开源推理大模型全面开花的一周:多模态、RAG、Agent、编码

热门模型排行榜Top10中出现多款推理大模型,包括代码推理、混合专家视觉-语言模型等。DeepCoder-14B-Preview在LiveCodeBench v5上的准确率提升了8%,仅用140亿参数实现相似性能;Llama-3.1-Nemotron-Ultra-253B-v1基于Meta Llama-3.1-405B-Instruct训练,支持长达128K标记上下文长度。OpenCodeReasoning是最大推理编程合成数据集,用于监督式微调;Kimi-VL-A3B-Thinking在多模态推理和视觉理解方面表现出色;Seed-Thinking-v1.5采用强化学习算法提升模型训练效率。

熵与优雅:GPT正在解压的宇宙分形密码

在Sam Altman与Daniel Selsam的对话中,讨论了GPT-4.5实验背后的扩展法则。Daniel提出智能源于压缩,而宇宙的知识是一个可以不断挖掘的分形。这引发了一个问题:为什么训练更大的模型需要更长的时间却能得到更好的结果?通过压缩原理,AI能发现隐藏在数据中的稀有而有意义的模式,揭示出现实是递归可压缩的本质。