AI前线

硅基流动完成新一轮数亿元融资，打造开发者首选生成式 AI 开发平台

作者

硅基流动完成数亿元人民币 A 轮融资，阿里云领投。公司推出高性能推理引擎和一站式异构算力纳管平台，助力大模型开发与应用。袁进辉将在 AICon 大会上分享 AI-Native Cloud 的探索与展望。

SGLang 推理引擎的技术要点与部署实践｜AICon 北京站前瞻

作者

SGLang 是一个备受瞩目的开源推理引擎，在 GitHub 上已有近 15K 星星和月均 10 万次下载。尹良升分享了 SGLang 的关键技术和优化，包括 PD 分离、推测解码和 KV 缓存落盘等技术，帮助平衡性能、资源利用率和成本，并强调开源社区对于推动技术演进和应用落地的重要性。