预训练阶段

文章介绍了LayerNorm Scaling解决大语言模型深层训练不足的问题，并通过实验验证了其在提升模型性能和训练效率方面的有效性。