告别O(n²)!上海AI Lab开源Linear-MoE:线性注意力+MoE的终极缝合术
近期研究表明,线性序列建模(如 Lightning Attention、Mamba2)与混合专家模型架构(MoE)的结合在高效大模型领域引起了广泛关注。上海人工智能实验室团队的最新研究首次系统地实现了这两种技术的结合,并开源了完整的技术框架。
近期研究表明,线性序列建模(如 Lightning Attention、Mamba2)与混合专家模型架构(MoE)的结合在高效大模型领域引起了广泛关注。上海人工智能实验室团队的最新研究首次系统地实现了这两种技术的结合,并开源了完整的技术框架。
北京大学等机构提出GAPrompt,一种面向三维视觉预训练模型的几何感知高效微调方法,通过引入点云结构化提示提升下游任务中的几何适应能力。该研究已被人工智能顶会ICML 2025接收,并已开源相关代码与模型。
lerating-llama-4-moe-inference/
MetaShuffling: 加速L
方 X 账号
生物科技公司 NewLimit 宣布完成 1.3 亿美元 B 轮融资,其利用单细胞组学
本研究提出了一种基于3D隐式空间引导扩散模型的Playmate框架,用于音频驱动肖像动画生成。该方法通过解耦面部属性并引入情感控制模块实现了高质量、可控的情感表达和头部姿态调整。研究成果已在ICML2025收录,并展示了在FID、FVD及唇同步方面的优势。