突破全模态AI理解边界:引入上下文强化学习,赋能全模态模型“意图”推理新高度

阿里巴巴通义实验室团队推出的HumanOmniV2,强调模型必须对多模态输入有全局上下文理解的基础上进行推理,解决了现有模型存在的全局理解不足和捷径问题。通过引入强化学习方法、多维度奖励机制等手段提升模型的复杂逻辑推理能力,并构建了高质量数据集与评测基准,最终在多个全模态基准测试中取得了最佳性能。

阿里多模态推理模型开源!精准捕捉视频隐藏信息,三大杀手锏让AI更懂“人情世故”

阿里通义实验室开源多模态推理模型HumanOmniV2,通过引入强制上下文总结机制、大模型驱动的多维度奖励体系以及基于GRPO的优化训练方法,实现对多模态信息全面理解。HumanOmniV2在633个视频和2689个问题的评测基准IntentBench上准确率达到69.33%。