MoE模型

最强开源模型！阿里发布并开源Qwen3，无缝集成思考模式、多语言、便于Agent调用

作者

阿里巴巴发布Qwen3系列模型，包括两个专家混合（MoE）模型和六个Dense模型，并开源了部分权重。该系列在多个基准测试中表现出与OpenAI等顶级模型相当的性能。Qwen3还具有高效的“思考模式”，支持119种语言且训练数据量是Qwen2.5的两倍，有助于Agent调用。部署成本显著降低，整体推理成本也有所节省。

从DeepSeek MoE专家负载均衡谈起

作者

上周同事分享了关于线上DeepSeek-R1推理的Expert激活数据的研究，发现专家负载不均衡现象。通过分析论文和内部请求数据，提出了一些关于MoE模型在不同场景下的应用观点，并讨论了细粒度MoE的重要性以及模型深度对Overlap的影响。

DeepSeek开源周五大兵器

作者

FlashMLA发布首日即引发广泛关注，通过智能调度大幅提升GPU利用率；DeepEP优化MoE模型通信效率；DeepGEMM实现高效FP8矩阵乘法，性能接近专家调优库；DualPipe+EPLB双剑合璧提升并行计算效率至30%以上；3FS文件系统进一步加速AI数据访问速度。