推理、训练、数据全链条的工程挑战,谁在构建中国 AI 的底层能力?|AICon 北京

在大模型快速演进的浪潮中,模型本身不再是唯一的挑战,推理慢、训练不稳、数据难迁 等“系统性问题”正成为决定技术能否规模化落地的关键变量。特别是对国产 AI 而言,算力适配、系统容错、数据合规等问题,更是绕不开的现实考验。

6 月 27~28 日,AICon 全球人工智能开发与应用大会·北京站将带来聚焦系统层的七大关键议题,涵盖国产芯片推理适配、开源部署实践、大规模训练容错机制、AI 数据底座的云原生演进等多个方向。既有深耕国产平台的实践派,也有活跃在开源社区的一线开发者,共同勾勒出国产 AI 基础设施建设的技术全貌。

 了解大会日程查看:
https://aicon.infoq.cn/2025/beijing/schedule

以下是这七个演讲议题前瞻,一起提前了解他们将带来的分享内容:

开源赤兔推理引擎助力国产算力突破 FP8 挑战
by 汤雄超 清程极智 CEO

随着国产大模型技术的快速发展,如何利用国产算力芯片高效部署和运行这些模型成为关键问题。当前,FP8 精度模型的推理高度依赖英伟达 Hopper 架构 GPU,这使得国内企业在部署时面临硬件成本高昂、依赖进口芯片等困境。为解决这一问题,清程极智与清华团队联合开源了赤兔推理引擎,本次演讲将分享赤兔推理引擎如何通过底层技术革新,实现了在非英伟达 Hopper 架构 GPU 及各类国产芯片上原生运行 FP8 精度模型,并确保模型精度无损。

✨ 关键词:FP8 精度原生适配 / 非 Hopper 架构 / 国产芯片推理 / 开源部署

昇腾 DeepSeek 大模型推理架构
by 王建辉 华为昇腾 / 架构师

在大模型加速部署进入深水区的今天,如何在国产算力平台上高效运行大模型,已成为影响应用落地的重要一环。本次分享将介绍昇腾 DeepSeek 大模型推理架构,性能优化方案及关键优化措施,以及优化建议。

✨ 关键词: 昇腾芯片推理优化 / 专家并行调度 / 集合通信加速 / MoE 模型部署

京东零售大模型推理优化实践
 by 杨培军 京东零售 /AI 架构师

LLM 模型在京东零售内部有大量面向 C 端用户、B 端商家和广告主系统等的落地应用,业务场景提出了较高的 SLO 要求和成本压力,如何兼顾高吞吐与低时延是迫切要解决的问题。本次演讲将展开介绍这其中面临的技术挑战和核心技术要点,分享可落地的优化实践经验。

✨ 关键词:高吞吐低延迟优化 / 请求调度与流水线执行 / 零售级推理系统实践

强化学习 AI 系统的设计实现及未来发展
by 曹宇 阿里巴巴 / 算法专家

强化学习作为推动大语言模型进一步提升智能程度的手段,一直是大语言模型训练环节中最核心且复杂的环节。其中的复杂度不仅仅体现在其算法方面,也体现在其系统的整体要求上,本次分享从传统的 RLHF 系统开始,结合算法实践展示出 RL 系统的现状及发展脉络。通过具体的实践,与从业者共同探讨未来超大规模 RL 的发展方向,分享内容既包括理论基础,也包含业界实践,最后开源生态及社区共建也会涉及。

✨ 关键词:RLHF 系统架构 / 自对齐与课程学习 / 分布式训练 / 开源 RL 生态

SGLang 推理引擎——高效的开源部署方案
by 尹良升 /SGLang 核心开发者

开源大语言模型快速发展,如 Deepseek V3 和 R1,展现了卓越的性能表现,同时其高效的部署方案大幅降低了推理成本。该方案整合了多项前沿技术,包括大规模专家并行、注意力并行、推测解码、Prefill 与 Decode 的分离部署,以及高效的 KV 缓存落盘实现。这些技术的结合,构成了当前最先进、最高效的大语言模型推理体系。

作为主流开源推理框架之一,SGLang 已深度集成这些技术。本次演讲将深入解析这些关键技术,并探讨其在实际应用中的优化与落地,同时结合最新版本展示如何以极低的成本部署 Deepseek V3/R1 等开源大语言模型。

✨ 关键词: 开源推理框架 / 多并行优化 / 推测解码 / 结构化部署方案

DLRover 在万卡规模大模型训练中的稳定性实践
b马介悦 蚂蚁集团 / 高级专家

本次演讲将从万卡大模型训练的痛点出发,以业界通用的有效训练时长为核心指标,系统性介绍大模型训练稳定性的挑战,并结合蚂蚁集团的实践经验,重点介绍开源项目 DLRover(分布式训练容错框架)和 XPUTimer(性能分析工具),整体提升训练稳定性的关键技术难点。目前业界对蚂蚁的国产卡训练也表现了极大的兴趣,本次演讲也会把国产卡场景下的踩坑经历和大家一起分享。

✨ 关键词: 分布式训练容错 / 万卡规模调度 / 国产卡适配 / 异常诊断工具

AI 时代数据基础设施:向量数据库与云原生进化之路
by 武云峰 Zilliz / 技术总监

随着 GenAI 的广泛应用,传统数据库架构在迁移、合规、数据模型演进等方面频频“掉链子”。本次分享将聚焦 Zilliz 在向量数据迁移工具、数据主权(BYOC 部署)、Schema 演进机制等方面的最新进展,展示如何构建面向 AI 场景的企业级数据基础设施。

✨ 关键词: 向量数据迁移 / BYOC 部署 / Schema 演进 / 云原生数据平台

活动推荐

6 月 27~28 日的 AICon 北京站将继续聚焦 AI 技术的前沿突破与产业落地,围绕 AI Agent 构建、多模态应用、大模型推理性能优化、数据智能实践、AI 产品创新等热门议题,深入探讨技术与应用融合的最新趋势。欢迎持续关注,和我们一起探索 AI 应用的无限可能!


今日荐文

阶跃星辰高管离职,跳槽京东;百度最大规模抢夺顶尖AI人才,岗位增超60%;阿里自曝:被DeepSeek逼急了 | AI周报

员工每天花1000美元也要用ClaudeCode!创始人:太贵了,大公司专属,但它比 Cursor 猛!

三大云厂同时瘫了?Cursor、ChatGPT跟着倒下!网友:整个互联网都要废了

被“网暴”两个月后,Yann LeCun 携最新世界模型杀回!小扎千万美元激励抢人,Meta AI 内部权利之争开始

字节 AI 卷出新高度:豆包试水“上下文定价”,Trae 覆盖内部80%工程师,战略瞄定三主线

你也「在看」吗?👇


(文:AI前线)

发表评论