高效训练

Linear-MoE：线性注意力遇上混合专家的开源实践

作者

近年来，大语言模型的研究热点转向了线性序列建模和混合专家架构的高效结合。来自上海人工智能实验室团队的Linear-MoE首次系统地实现了这两者的结合，并开源了完整的技术框架，支持层间混合架构。

SkyReels 重塑 AI 短剧创作，开源、经济高效的个人 AI 助手，最简单的代码开源复现R1 思维方式

作者

本文介绍了五款开源项目，包括视频生成模型SkyReels V1、高效训练大型语言模型的simple_GRPO、经济高效的个人AI助手Auto-Deep-Research、轻量级主动智能框架LightAgent以及记忆系统Memobase。