SGLang Team：在 96 个 H100 GPU 上部署具有 PD 分解和大规模专家并行性的 DeepSeek
25-05-05-large-scale-ep
DeepSeek 是一个广受欢迎的开源大型语言模型
数据并行
Infra视角下的DeepSeek-V3，到底有多强？
DeepSeek发布的大规模MoE模型DeepSeek-V3在两千张H800上仅用两个月训练完成，实现了显著的性能提升。通过MLA和MoE结构改进以及辅助损失无化策略等技术优化，使得模型稀疏程度提高，同时引入了64路专家并行、流水线并行及数据并行等高效部署方案，在推理阶段取得了较好的效果。