挑战 next token prediction,Diffusion LLM 够格吗?

本周解读了Diffusion LLM和AI推理成本相关话题。Gemini Diffusion因其扩散架构被社区热议,其生成效率高且并行高效机制让其有潜力成为自回归模型的新挑战者;同时,AI开发者们也关注到基于扩散模型的NLP任务潜力及其与传统建模方式的关系。

12秒生成1万token!谷歌推出文本「扩散模型」Gemini Diffusion,研究员:演示都得降速看

谷歌推出Gemini Diffusion,通过扩散技术将语言模型文本生成速度提升至2000token/秒,甚至超越了较大的模型Gemini 2.0 Flash-Lite。这种技术能够快速迭代并纠正错误,提高生成连贯性和一致性。

谷歌DeepMind强化学习微调技术重构了语言模型决策范式

AI决策能力不足成为行业关注的问题。谷歌DeepMind与LIT AI实验室的研究通过强化学习微调技术提升了语言模型500%的决策能力。该方法利用思维链作为训练信号,并设计了惩罚-塑造机制,使模型能够在动态环境中做出可持续决策。研究显示单一增加模型规模无法突破执行鸿沟。