梁文锋
2025全球机器学习技术大会部分议题揭晓:大模型、智能体、DeepSeek、工程架构等12大专题共话AI核心技术!
2025 全球机器学习技术大会即将召开,汇聚 AI 领域顶尖专家,探讨大模型应用、智能体及行业落地等前沿话题。
一文看懂 DeepSeek 开源第四弹,梁文锋亲自下场开发
DeepSeek 在 OpenSourceWeek 开源了两项 AI 训练加速技术,包括 DualPipe 和 EPLB。DualPipe 通过双向计算与通信提升了训练效率;EPLB 则优化了 MoE 架构中的资源分配,显著提高 GPU 的利用率。
DeepSeek一口气开源3个项目,还有梁文锋亲自参与,昨晚API大降价
DeepSeek 发布了DualPipe和EPLB两个新工具以及训练和推理框架的分析数据,旨在帮助社区更好地理解通信-计算重叠策略和底层实现细节。
DeepSeek今日连开3源!针对优化的并行策略,梁文锋本人参与开发
DeepSeek开源周第四天发布三项优化并行策略的技术成果,包括DualPipe、EPLB和Profiling Data。DualPipe是一种双向流水线并行算法,旨在减少计算与通信阶段的气泡;EPLB是MoE模型负载均衡器,确保计算资源平衡利用;Profiling Data提供了实际应用中的效果数据可视化支持。
刚刚!梁文锋亲自贡献:DeepSeek全面开源优化并行策略!
DeepSeek在OpenSourceWeek分享了多个开源项目,包括用于V3/R1训练的DualPipe、EPLB负载均衡算法以及用于深度学习模型的profile-data分析数据。
DeepSeek开源通用矩阵乘法库,300行代码加速V3、R1,R2被曝五月前问世
DeepSeek 推出开源项目 DeepGEMM,是一款支持密集型和专家混合(MoE)的 FP8 GEMM 库,在 Hopper GPU 上可实现 1350+ FP8 TFLOPS 的计算性能。
DeepSeek创始人梁文锋亲自署名的论文长啥样?
最近,DeepSeek团队发表的论文《Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention》引起广泛关注。该文由DeepSeek创始人梁文锋亲自署名。NSA(Natively Sparse Attention)通过动态分层稀疏策略、粗粒度token压缩和细粒度token选择,显著提升了长文本处理速度,并在多个任务中超越了传统注意力模型。