破解国产芯片FP8及DeepSeek部署难题,清华团队开源“赤兔Chitu”大模型引擎

专注AIGC领域的专业社区,聚焦微软&OpenAI、百度文心一言等大语言模型的发展与应用。清华大学高性能计算研究所团队开源了名为‘赤兔Chitu’的大模型推理引擎,首次实现在非英伟达H系列GPU及国产芯片上原生运行FP8精度模型,有效突破部署限制。

重磅论文!何恺明、Yann LeCun等改造Transformer,CVPR 2025已收录

Transformer模型可能迎来新变化。一篇最新论文提出无需归一化的Transformer模型能够达到甚至超过带有归一化层的性能,通过动态双曲正切函数(DyT)替代传统归一化层,有望进一步改进AI模型性能。