Dynamo:NVIDIA最新开源的数据中心级分布式推理框架
近日NVIDIA推出开源高性能推理框架Dynamo,专为大规模分布式环境中的生成式AI模型服务设计。它提高了吞吐量30倍以上,并提供了分离预填充、智能路由和动态GPU调度等核心组件来优化性能。
近日NVIDIA推出开源高性能推理框架Dynamo,专为大规模分布式环境中的生成式AI模型服务设计。它提高了吞吐量30倍以上,并提供了分离预填充、智能路由和动态GPU调度等核心组件来优化性能。
Nvidia宣布收购生成合成AI训练数据平台Gretel,预计九位数交易金额,其技术将用于 Nvidia 的生成式 AI 服务套件。
NVIDIA在GTC 2025上发布了基于Llama模型的Nemotron推理系列AI模型,支持128K个标记上下文长度,并推出了新的Agentic AI构建模块加速协作AI系统的开发和应用。
IDIA GTC 2025 的主会开场演讲来了!
在黄仁勋的这场演讲前,英伟达股票还是
119.53
去年,49家AI初创公司完成了1亿美元或以上的融资轮次。今年前两个月已有3家美国AI公司融资超1亿美元,包括E轮融资达到615亿美元的Anthropic等。
Nvidia CEO 黄仁勋在财报电话会议上重申DeepSeek不会影响销售,并强调其旗下的R1模型对Nvidia来说是重大利好消息。黄仁勋还宣布NVIDIA专为推理定制的最新Blackwell芯片需求强劲,公司收入创纪录达到393亿美元。