DeepSeek今日连开3源!针对优化的并行策略,梁文锋本人参与开发

DeepSeek开源周第四天发布三项优化并行策略的技术成果,包括DualPipe、EPLB和Profiling Data。DualPipe是一种双向流水线并行算法,旨在减少计算与通信阶段的气泡;EPLB是MoE模型负载均衡器,确保计算资源平衡利用;Profiling Data提供了实际应用中的效果数据可视化支持。

DeepSeek创始人梁文锋亲自署名的论文长啥样?

最近,DeepSeek团队发表的论文《Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention》引起广泛关注。该文由DeepSeek创始人梁文锋亲自署名。NSA(Natively Sparse Attention)通过动态分层稀疏策略、粗粒度token压缩和细粒度token选择,显著提升了长文本处理速度,并在多个任务中超越了传统注意力模型。