真实科研水平集体不及格!全新基准SFE给主流多模态LLM来了波暴击
研究团队发布SFE科学评估基准,并构建了SciPrismaX科学评测平台,展示不同大小模型在科学领域的表现。结果显示,最新的MLLMs在高阶推理任务上进步显著,但知识广度变化不大;闭源模型普遍优于开源模型,在可扩展性方面表现出色。研究团队希望构建更严谨、动态且与科研实践深度契合的评估生态。
news
研究团队发布SFE科学评估基准,并构建了SciPrismaX科学评测平台,展示不同大小模型在科学领域的表现。结果显示,最新的MLLMs在高阶推理任务上进步显著,但知识广度变化不大;闭源模型普遍优于开源模型,在可扩展性方面表现出色。研究团队希望构建更严谨、动态且与科研实践深度契合的评估生态。
AGICamp 第002周发布了20款新AI应用,涵盖企业端和消费者端。新增的应用包括语音输入法、翻译工具、数据检测系统等,进一步丰富了用户的使用场景和需求。