注意力机制
1-bit大模型还能再突破！新一代BitNet架构启用4位激活值
BitNet系列原班人马推出新一代架构BitNet a4.8，采用两阶段权重衰减和学习率调度。实验对比显示其在语言模型困惑度和任务准确性方面与LLaMA相当，并且平均精度几乎没有损失。
揭秘注意力机制真正起源！10年前3项研究几乎同时独立提出，背后故事细节被Karpathy晒邮件公开了
2014年来自Karpathy与Dzmitry Bahdanau的实习生提出的简化注意力机制在机器翻译项目中诞生，后来被应用于Transformer模型。
Andrej Karpathy 首次公开私人邮件：揭秘Transformer 注意力机制真相
揭秘Transformer‘注意力’机制的起源故事，它源于2014年实习生Dzmitry Bahdanau在Yoshua Bengio实验室中的实践思考与创新。通过软搜索设计解决了序列到序列模型中的瓶颈问题，最终提出RNNSearch架构，并引入softmax加权平均技术。
Token化一切！北大、谷歌等提出TokenFormer，Transformer从未这么灵活过
TokenFormer 是一种新的网络结构，通过在注意力机制中引入参数化键值对，实现了模型的灵活扩展和性能提升。它展示了在语言建模和视觉建模上的卓越能力，并提出了专家混合、参数高效微调、端云协同和增强可解释性等未来研究方向。