机器之心

Linear-MoE：线性注意力遇上混合专家的开源实践

作者

近年来，大语言模型的研究热点转向了线性序列建模和混合专家架构的高效结合。来自上海人工智能实验室团队的Linear-MoE首次系统地实现了这两者的结合，并开源了完整的技术框架，支持层间混合架构。

成本暴降88%！通义实验室、北大发布ZeroSearch，无需搜索即可激活LLM检索能力

作者

本文提出ZeroSearch框架，无需真实搜索引擎即可激活大语言模型搜索能力。通过轻量级监督微调将LM转为检索模块，并采用课程学习逐步降低文档质量来激发推理能力，显著降低训练成本和提高性能。