性能提升

中科院、百度提出新架构：突破参数限制，实现高效推理

作者

专注于AIGC领域，讨论微软&OpenAI、百度文心一言等大语言模型的发展与应用。提出Inner Thinking Transformer架构（ITT），通过动态分配计算资源和思考步骤提升模型性能而不增加参数，显著优于基线模型。

DeepSeek开源第三弹！极致榨干GPU，FP8训推秘籍公开

作者

DeepGEMM是DeepSeek开源的一款支持FP8 GEMM的库，为V3/R1训练和推理提供动力，在Hopper GPU上性能高达1350+ FP8 TFLOPS。该库采用JIT即时编译技术，核心逻辑约为300行，仅支持英伟达Hopper Tensor Core架构，设计简单高效，且在某些形状上的表现优异。