PaperWeekly
南加大团队提出MARVEL：基于认知科学的多维抽象视觉推理基准测试
研究团队提出MARVEL数据集来评估多模态大语言模型的抽象视觉推理能力，该数据集中包含了770个高质量测试样例，并覆盖了六种核心知识模式、多样化的几何和抽象形状输入以及五种不同的任务配置方式。实验结果显示大多数模型在MARVEL上的表现接近随机水平，揭示出模型的视觉感知能力是提升其抽象视觉推理的关键瓶颈。
NeurIPS 2024 如何缓解长文本情境下的中间信息丢失问题？
最近提出的方法通过在短时间内微调插入位置编码（PE）来有效地扩展预训练 LLM 的上下文窗口。然而，现有的方法仍存在两个显著的局限性：需要对目标长度进行微调，并且难以有效利用来自上下文中间部分的信息。为了解决这些问题，本文提出了 CREAM 方法，通过操纵位置索引来生成较短序列，在保持高效的同时增强模型在处理“中间”内容时的有效性。
GPT-4其实根本听不懂声音？港中文、斯坦福等联合打造视觉听觉评估新基准
多模态大模型在听觉任务上表现不佳，甚至无法正确分辨明显不同的声音大小。研究团队提出了DeafTest和AV-Odyssey基准测试，揭示了现有模型在音频感知上的短板，并激发了对未来AI模型的改进方向。
