梯度下降

Anthropic CEO：模型可在一亿上下文窗口中学习，且不改变权重，未来AI将每月10万美元

作者

Anthropic CEO预测几年内将出现月费10万美元的AI模型，支持1亿词上下文窗口。Google Research论文解释了如何实现这一目标：通过「临时便签」机制在不改变权重的情况下学习超长上下文。

Adam获时间检验奖！清华揭示保辛动力学本质，提出全新RAD优化器

作者

清华大学团队提出RAD优化器，该优化器通过神经网络与共形哈密顿系统的对偶性揭示了Adam的优化动力学机理，并提出了新的Relativistic Adaptive Gradient Descent (RAD)优化算法，实验表明其在多种强化学习任务中表现优于Adam。