Omni-Infer 归档

MoE那么大，几段代码就能稳稳推理开源

2025年7月2日23时作者量子位

华为Omni-Infer项目开源，提供推理超大规模MoE的框架和加速套件。支持昇腾硬件平台的大模型推理，兼容主流开源框架，具有智能调度、负载平衡等功能。

2025年7月1日16时作者量子位

华为开源Omni-Infer项目，提供超大规模MoE模型推理的框架和加速套件。支持昇腾硬件平台上的大模型推理，并实现PD分离自动化部署，简化使用环境与安装流程。