小米入局大模型赛道!开源MiMo-7B,性能超o1-mini

小米发布大模型MiMo-7B,参数70亿,在数学和代码测试中表现优异。MiMo-7B架构简单且效率高,通过MTP模块加速推理。训练数据集包含多种合成推理任务生成的数据,采用三阶段混合策略优化分布。后训练阶段通过SFT调整预训练模型,并使用高质量的强化学习数据提升性能。

小米首个推理大模型突然开源!股价上涨近5%

小米开源首个推理大模型Xiaomi MiMo,7B参数量的MiMo-7B-RL在数学和代码竞赛上超过OpenAI o1-mini及阿里Qwen。研究显示通过预训练和后训练过程中的多项创新联动提升推理能力,涵盖多样化数据与高质量推理模式相结合策略的有效性。