无损减少80%激活值内存,提升5倍训练序列长度,仅需两行代码

香港中文大学(深圳)和上海交通大学团队提出StreamBP算法,通过线性分解和分步计算降低大语言模型训练所需的激活值内存消耗。相比梯度检查点方法,StreamBP将内存消耗降低至20%左右,并在相同内存限制下实现更大序列长度的训练。

【Agent专题】架构篇:Agent核心技术与底层架构一次讲透!全网最全总结来了!

文章系统梳理了AI Agent领域的核心知识,包括单Agent与多Agent系统的架构模式和关键技术协议。介绍了单Agent的简单直接设计以及多Agent系统的模块化、并行性和可扩展性优势,并详细探讨了多Agent系统中的通信、协作、协商机制及A2A协议的应用。文章还讨论了构建Agent框架的重要性和Agentic RAG在增强Agent主动规划与迭代能力方面的突破,展示了从顶层设计到底层实现的完整流程。