昇腾集群

华为训练出的盘古Ultra模型参数量为135B，在数学、编程等推理任务中与DeepSeek-R1相当。该模型在预训练和指令调优阶段采用了Sandwich-Norm层归一化、TinyInit初始化策略及多并行优化技术，实现了52%以上的算力利用率，并在多个数据集上取得优异表现。