RDMA

DeepSeek开源第二天，目标就是榨干GPU的所有性能，国产AI猛兽比年前OpenAI发布会更凶猛。

作者

昨天DeepSeek开源第一天即收获9000颗星，今日其新项目DeepEP发布两天后已获3900颗星星。支持低精度计算、优化NVLink和RDMA数据转发等特性，专为混合专家（MoE）和专家并行（EP）设计的高效通信库。

DeepSeek开源第二弹，为MoE和EP量身定制的通信库！暂和英伟达显卡绑定

作者

DeepSeek开源第二弹来了！首个用于MoE模型训练和推理的开源EP通信库DeepEP提供高吞吐量和低延迟的all-to-all GPU内核，支持低精度运算包括FP8。性能方面涵盖高效和优化的all-to-all通信、NVLink和RDMA的支持、预填充任务和推理解码任务等。团队建议使用Hopper GPUs及更高版本Python 3.8及以上CUDA 12.3及以上PyTorch 2.1及以上环境，并提供详细的使用指南。