DeepSeek 开源周第四弹:双向流水并行与专家并行负载均衡器!一次开源三个项目!

DeepSeek开源周第四弹来了!他们发布了DualPipe、EPLB两个新组件以及训练和推理框架的性能分析数据。DualPipe通过双向流水线提高计算效率,EPLB则实现专家并行负载均衡,共同提升模型在不同GPU之间的协同表现。

扎克伯格来救市了?报道称Meta正筹划2000亿美元巨型数据中心

据报道,Meta正在商讨建立一个新的数据中心园区用于其人工智能业务。该项目可能超过2000亿美元规模最大,并需要5-7千兆瓦的电力供应。扎克伯格筹划的大动作可能缓解市场对数据中心过剩的担忧。