日期: 2025 年 5 月 6 日

ICML 2025 注意力机制中的极大值：破解大语言模型上下文理解的关键

作者

近日，ICML 2025 新研究揭示大型语言模型中注意力机制的查询 (Q) 和键 (K) 表示存在极大值现象，而值 (V) 表示则没有这种模式。极大值对上下文理解至关重要，研究提出保护 Q 和 K 中的大值能有效维持模型的上下文理解能力。