FSDP2

PyTorch通过FSDP2、DTensor和torchao实现Float8训练提升吞吐量50%，展示了Float8在不同模型规模上的有效性，并进行了模型质量和评估基准验证。