大语言模型
成本暴降88%!通义实验室、北大发布ZeroSearch,无需搜索即可激活LLM检索能力
本文提出ZeroSearch框架,无需真实搜索引擎即可激活大语言模型搜索能力。通过轻量级监督微调将LM转为检索模块,并采用课程学习逐步降低文档质量来激发推理能力,显著降低训练成本和提高性能。
QwenLong-L1:迈向具备长上下文推理能力的大型语言模型的强化学习方法
本文提出了一种强化学习框架QwenLong-L1,旨在提升大语言模型在长上下文中的泛化能力,并通过逐步扩展上下文长度、混合奖励函数等方法实现这一目标。
低Token高精度!字节复旦推出自适应推理框架CAR
复旦大学余海洋与字节的研究人员提出CAR自适应推理框架,根据模型困惑度动态选择短回答或长文本推理,在多模态视觉问答和关键信息提取任务中实现最佳平衡。