多模态模型

GPT-4o连验证码都解不了？？SOTA模型成功率仅40%

作者

MetaAgentX团队推出首个专注于‘多模态交互智能体×CAPTCHA问题’的开放式研究平台——Open CaptchaWorld，实测结果显示多模态模型在解验证码方面表现不佳。该平台旨在评估和改进大模型的解题能力，并揭示当前多模态Agent在高交互任务中的短板。

AI学习如何连接视觉和声音，无需人工干预​

作者

研究人员开发出一种新方法提高AI学习多模态信息的能力，使机器能够自动检索视频和音频内容，并有望在新闻、电影制作等领域发挥作用。该方法通过改进训练方式和技术架构提高了模型对音频与视觉数据的对应关系理解能力。

多模态模型具备“物理推理能力”了吗？新基准揭示：表现最好的GPT-o4 mini也远不及人类！

作者

香港大学和密歇根大学的研究人员发布首个专门面向多模态大模型物理推理能力的大规模基准测试PhyX，评估结果表明表现最好的GPT-o4 mini准确率仅为45.8%，远不及人类水平。