学术

ICLR 2025｜浙大、千问发布预训练数据管理器DataMan，53页细节满满

作者

AIxiv专栏探讨了DataMan数据管理器在优化大语言模型预训练中的应用。该研究提出了一个全面的质量评分体系，用于15个常见应用领域的预训练数据质量评估和领域识别，显著提升了模型性能。

谷歌发布BIG-Bench超难基准：DeepSeek-R1得分6.8，只有o3-mini超过10分

作者

近日，谷歌发布了一项高难度基准BIG-Bench Extra Hard（BBEH），旨在评估AI模型的高阶推理能力。该基准包含了23个任务，并将每个任务替换为更难的任务，覆盖更多方面的技能需求。如o3-mini (high)得分为44.8分不及格，而其它模型得分不超过10分。