分布式环境

近日NVIDIA推出开源高性能推理框架Dynamo，专为大规模分布式环境中的生成式AI模型服务设计。它提高了吞吐量30倍以上，并提供了分离预填充、智能路由和动态GPU调度等核心组件来优化性能。