超大模型推理加速2.18倍!SGLang联合美团技术团队开源投机采样训练框架
SGLang团队联合美团搜推平台和Cloudsway.AI开源SpecForge,这是一个专为投机采样训练而设计的框架。它支持超大模型并显著提升了推理效率,通过集成Eagle3技术实现了2.18倍的加速效果。
SGLang团队联合美团搜推平台和Cloudsway.AI开源SpecForge,这是一个专为投机采样训练而设计的框架。它支持超大模型并显著提升了推理效率,通过集成Eagle3技术实现了2.18倍的加速效果。