小米入局大模型赛道!开源MiMo-7B,性能超o1-mini
小米发布大模型MiMo-7B,参数70亿,在数学和代码测试中表现优异。MiMo-7B架构简单且效率高,通过MTP模块加速推理。训练数据集包含多种合成推理任务生成的数据,采用三阶段混合策略优化分布。后训练阶段通过SFT调整预训练模型,并使用高质量的强化学习数据提升性能。
小米发布大模型MiMo-7B,参数70亿,在数学和代码测试中表现优异。MiMo-7B架构简单且效率高,通过MTP模块加速推理。训练数据集包含多种合成推理任务生成的数据,采用三阶段混合策略优化分布。后训练阶段通过SFT调整预训练模型,并使用高质量的强化学习数据提升性能。
小米开源首个推理大模型Xiaomi MiMo,7B参数量的MiMo-7B-RL在数学和代码竞赛上超过OpenAI o1-mini及阿里Qwen。研究显示通过预训练和后训练过程中的多项创新联动提升推理能力,涵盖多样化数据与高质量推理模式相结合策略的有效性。
文章讨论了小米假公开信事件,指出AI生成的内容在细节和精确度方面具有辨识难度。文章引用研究说明大模型倾向于产生具体明确的数字,并解释了人类对客观性的崇尚及其带来的影响。
小米发布公告称已完成配售事项,成功募资425亿港元(约合人民币397亿元)。雷军家族信托持股比例从13.08%降至9.20%,但其投票权仍超60%。此次募集资金主要用于业务扩张和研发投资。
小米大模型团队通过微调阿里Qwen2-Audio-7B模型,结合DeepSeek-R1的GRPO算法,在MMAU评测集上实现了64.5%的准确率,显著提升31%,接近人类专家水平。