ICML 2025 注意力机制中的极大值:破解大语言模型上下文理解的关键

近日,ICML 2025 新研究揭示大型语言模型中注意力机制的查询 (Q) 和键 (K) 表示存在极大值现象,而值 (V) 表示则没有这种模式。极大值对上下文理解至关重要,研究提出保护 Q 和 K 中的大值能有效维持模型的上下文理解能力。

刚刚,OpenAI放弃营利性转型!奥特曼:非营利组织继续掌控,AGI造福全人类使命不变

OpenAI 发布公告,宣布放弃将公司完全转为营利性机构的计划,并继续由非营利组织控制。公司转型为公益公司(PBC),维持相同的使命——确保通用人工智能造福全人类。

边学边练,推理觉醒:LUFFY让强化学习即学即用!

AI模型训练中常见的两种策略——模仿学习和强化学习各有弊端。上海、西湖大学等团队提出LUFFY,结合两者优势,通过混合策略和策略塑形函数提升推理能力,实现即学即练的效果,已在GitHub开源。