实验结果
上海AI Lab最新推出Mixture-of-Memories：线性注意力也有稀疏记忆了
AIxiv专栏介绍及新模型MoM发布。MoM通过混合记忆机制实现大规模内存扩展，显著提升长序列建模能力，在in-context recall-intensive任务上超越Transformer。
大模型轻量化系列解读 (八)：降低 LLM 中因 Activation Spikes 导致的量化误差
型语言模型在后训练量化时面临的激活量化挑战，发现GLU激活中的“激活尖峰”会导致显著的量化误差。为此
