告别O(n²)！上海AI Lab开源Linear-MoE：线性注意力+MoE的终极缝合术
近期研究表明，线性序列建模（如 Lightning Attention、Mamba2）与混合专家模型架构（MoE）的结合在高效大模型领域引起了广泛关注。上海人工智能实验室团队的最新研究首次系统地实现了这两种技术的结合，并开源了完整的技术框架。
Linear-MoE
Linear-MoE：线性注意力遇上混合专家的开源实践
近年来，大语言模型的研究热点转向了线性序列建模和混合专家架构的高效结合。来自上海人工智能实验室团队的Linear-MoE首次系统地实现了这两者的结合，并开源了完整的技术框架，支持层间混合架构。