3B/16B参数

AI研究者Kimi发布了首个大规模混合专家模型Moonlight-16B-A3B，其使用Muon优化器在5.7T tokens的训练中实现了约2倍的计算效率提升，并开源了分布式Muon实现版本和预训练模型。