200美金,人人可手搓QwQ,清华、蚂蚁开源极速RL框架AReaL-boba
蚂蚁技术研究院和清华大学交叉信息院联合发布训练速度最快最稳定的开源强化学习训练框架AReaL,显著提升了数学推理能力,并通过创新性数据蒸馏技术复现了32B模型训练。
蚂蚁技术研究院和清华大学交叉信息院联合发布训练速度最快最稳定的开源强化学习训练框架AReaL,显著提升了数学推理能力,并通过创新性数据蒸馏技术复现了32B模型训练。
复旦大学知识工场实验室团队基于 GRPO 算法高效复现了 R1-zero 自发反思能力,项目代码简洁,仅依赖基础库实现,训练 7B 模型成本低至 7.3 元。
团队介绍并指出多业务微调模型部署存在的成本和管理问题。分享了一个成功案例:通过Infini-AI异构云平台·大模型服务平台的Lora自部署模型服务,无需采购GPU即可在1小时内完成100个7BLoRA微调模型的部署,并确保高调用量模型的响应速度,同时实现成本低和资源利用高效。
清华大学与面壁智能团队提出Delta Compression技术,通过存储主干模型与任务专用模型之间的参数差值显著降低模型对显卡的存储需求。混合精度压缩方法Delta-CoMe进一步提升了模型推理效率和灵活性,支持多达50个7B模型加载在一块80G A100 GPU上,几乎不损失任务性能。
清华大学NLP实验室提出Delta-CoMe模型增量压缩技术,80G的A100 GPU可加载50个7B模型,节省显存约8倍。该方法结合低秩分解和低比特量化技术,显著提升复杂任务性能并兼顾效率,优于传统微调方法。