罕见合著！谷歌、Meta、英伟达团队联手发文，揭秘语言模型 “记忆” 能力
一篇新论文揭示了语言模型的记忆能力，并提出了新的量化指标用于衡量这种能力。研究表明，Transformer模型每个参数大约可存储3.5到4比特信息，模型的“记忆”与其泛化能力有关，理解这一点有助于开发更安全、可靠的大规模AI系统。
Transformer模型
ICML 2025 长文本救星！清华等提出傅里叶位置编码，多项任务全面超越RoPE
清华大学团队研究发现，RoPE 带来的周期性延拓受到频谱损坏影响限制了 LM 的长度外推能力。他们提出傅里叶位置编码（FoPE）来提升 Transformer 的长文本泛化能力。
Transformer 架构重大改进：华人科学家刘壮联合何恺明，Yann LeCun整活
Meta AI华人团队联合大牛发布论文，证明Transformer模型可以不用Normalization层也能达到甚至超越现有性能。核心秘密是Dynamic Tanh (DyT)函数，相比传统方法，DyT简单有效，性能不输且速度快、成本低。
DeepSeek开源周首发，H800算力狂飙，网友：提升GPU效率可以，别毁了我的Nvidia股票！
DeepSeek开源周启动，FlashMLA项目因高效MLA解码内核受到关注。此项目优化了可变长度序列处理，并显著降低了GPU内存使用和计算成本。