梯度下降

Adam获时间检验奖！清华揭示保辛动力学本质，提出全新RAD优化器

作者

清华大学团队提出RAD优化器，该优化器通过神经网络与共形哈密顿系统的对偶性揭示了Adam的优化动力学机理，并提出了新的Relativistic Adaptive Gradient Descent (RAD)优化算法，实验表明其在多种强化学习任务中表现优于Adam。