μP++

ArchScale是微软推出的一个神经架构预训练工具，支持多种前沿模型及扩展比例定律，提供优化器、高性能训练和全面评估方案等，适合专业研究和实验。