成本驱动的精细系统优化,蚂蚁技术专家解密大模型推理优化秘籍|ML-Summit 2025
蚂蚁集团在AI模型训练技术上取得突破,结合’专家混合机器学习’方法提升性能和降低成本。李龙飞将分享蚂蚁集团的探索实践,包括优化推理架构、网络架构,并使用国产芯片实现降本增效。
蚂蚁集团在AI模型训练技术上取得突破,结合’专家混合机器学习’方法提升性能和降低成本。李龙飞将分享蚂蚁集团的探索实践,包括优化推理架构、网络架构,并使用国产芯片实现降本增效。
ComfyUI在中国举办了官方会议,尽管存在质疑声音,但Comfy本人表示不会放弃开源精神,并提到未来可能通过整合大模型实现类似GPT4的效果。
MCP简化了LLM与外部服务交互的标准化协议,通过MCP Server提前创建连接器并提供统一访问方式,使得开发者无需为集成细节烦恼。文中通过.NET示例详细介绍了如何利用MCPServer和Semantic Kernel实现AI应用集成的过程。
Databricks的TAO方法利用测试时计算和强化学习优化无标签数据,无需人工标注即可提升模型质量,降低成本。它在多个企业任务上提升了LLM性能,接近昂贵专有模型水平。