Adam获时间检验奖！清华揭示保辛动力学本质，提出全新RAD优化器
清华大学团队提出RAD优化器，该优化器通过神经网络与共形哈密顿系统的对偶性揭示了Adam的优化动力学机理，并提出了新的Relativistic Adaptive Gradient Descent (RAD)优化算法，实验表明其在多种强化学习任务中表现优于Adam。
Adam优化器
刚刚，ICLR 2025时间检验奖颁给Adam之父！Bengio「注意力机制」摘亚军
ICLR 2025时间检验奖揭晓，Adam优化器和注意力机制分别由Jimmy Ba、Yoshua Bengio领衔的两篇2015年论文摘得冠军与亚军。Adam让大模型训练更快更稳；注意力机制为Transformer奠定基础并广泛应用于各类AI模型。