FP8模型

清华系科创企业清程极智联合清华大学团队开源大模型推理引擎”赤兔”，支持非H卡设备运行原生FP8模型，相比vLLM方案，使用GPU数量减少50%，输出速度提升3.15倍。