小模型路线图来了!苹果弄清楚了“蒸馏Scaling Law”
苹果研究人员发现,多次‘蒸馏’更具优势。当教师模型性能比大小更重要时,选择与学生模型相近大小的教师模型可优化学习效果。这一研究成果有望为业界提供更高效、低成本的小模型训练方案。
苹果研究人员发现,多次‘蒸馏’更具优势。当教师模型性能比大小更重要时,选择与学生模型相近大小的教师模型可优化学习效果。这一研究成果有望为业界提供更高效、低成本的小模型训练方案。
百度Q4财报显示,总营收1331亿元,同比增长-1%,归属百度核心的净利润234亿元,同比增长21%。智能云营收增长26%。李彦宏表示AI转型成效初现,自动驾驶出行服务进展良好。大摩称担忧百度搜索业务面临干扰和变现风险。
马斯克在社交平台X上宣布Grok 3——地球上最聪明的人工智能模型发布,声称其推理能力超越ChatGPT和DeepSeek。DeepSeek面临挑战,需加快技术追赶步伐。文章还介绍了DeepSeek的突破性成果原生稀疏注意力,并指出AI竞争远未结束。
埃隆·马斯克旗下xAI公司发布Grok 3大模型,性能超越GPT-4。该模型依托20万块H100 GPU数据中心构建,具备DeepSearch信息检索功能、太空轨道计算系统及AI自主开发游戏等能力,引发市场轰动。
一举突破
Transformer 注意力机制瓶颈!
梁文峰团队领衔研发
的 NSA 采用
原生稀疏
近日英伟达联合北京大学和Hedra Inc开源了Magic 1-For-1 AI视频生成模型,其特点是生成速度快且开源,并通过量化技术将模型体积从32GB压缩至16GB。该模型支持多模态输入、扩散步骤蒸馏等技术。缺点在于高速运动场景的处理能力有限,以及视频分辨率较低。