日期: 2025 年 2 月 25 日
刚刚,DeepSeek开源DeepEP,公开大模型训练效率暴涨秘诀!
专注AIGC领域的专业社区分享了开源的DeepEP库,用于优化混合专家模型训练和推理。DeepEP支持高效的All-to-All通信机制、高吞吐量和低延迟内核,以及原生支持FP8格式。
Kimi首次开源了其一个16B参数的MoE模型:Moonlight-16B
Kimi开源Moonlight-16B模型,参数量16B,激活3B,性能优于LLAMA、Qwen和Deepseek-v2-Lite,在英文和中文能力上表现优异。