把注意力计算丢给CPU,大模型解码吞吐量提高1.76~4.99倍
CMU、华盛顿大学及Meta AI的研究提出MagicPIG,通过CPU上的LSH采样技术缓解GPU内存限制,显著提高LLM解码吞吐量和下游准确率,有望降低模型部署成本。
CMU、华盛顿大学及Meta AI的研究提出MagicPIG,通过CPU上的LSH采样技术缓解GPU内存限制,显著提高LLM解码吞吐量和下游准确率,有望降低模型部署成本。
微软与OpenAI秘密协定要求OpenAI研发出带来1000亿美元收益的AI系统才能被视为实现AGI。双方围绕此定义展开谈判,同时存在其他方面的分歧,如产品使用权、云服务独占权等。
DeepSeek-v3在Aider多语言编程测试排行榜中超越Claude 3.5 Sonnet至第一,同时被评为当前最强开源LLM。模型参数提升显著,结构变化包括使用sigmoid作为门控函数、引入新的Top-k选择方法和调整专家评分等。
营销应用赛道也有Scaling Law。通过效率提升可以提高爆款发现概率。Tec Creative产品集成通用模型原子能力与场景Know how,快速生成高ROI素材。未来将打造智能剪辑工具和Agent系统,提升交互效率。
研究发现,题目中网格规模越大,大模型的表现越差。ML工程师米哥对ARC数据集进行观察后发现,o3、o1和Claude等模型的性能下降与网格数量有关,提示大模型在应对大规模网格问题时可能存在问题。
英伟达发布B300系列AI芯片,算力提高50%,显存从192GB提升到288GB。包含72块GB300的‘新一代计算单元’被评价为OpenAI推理模型唯一可行方案。