「0污染」LLM理解基准来了!20000道题14个学科全覆盖,来自微软
MMLU-CF是微软亚洲研究院推出的一个新的多任务语言理解基准测试,旨在消除数据污染并提供更为公平、可靠的评估。该基准包含20,000道题目,涵盖14个学科领域,验证集公开透明,测试集闭源防泄露。研究人员通过去污染规则防止恶意数据泄露,并在Huggingface上开放了该数据集。
MMLU-CF是微软亚洲研究院推出的一个新的多任务语言理解基准测试,旨在消除数据污染并提供更为公平、可靠的评估。该基准包含20,000道题目,涵盖14个学科领域,验证集公开透明,测试集闭源防泄露。研究人员通过去污染规则防止恶意数据泄露,并在Huggingface上开放了该数据集。
中国人民大学等机构的研究者提出MoCa框架,通过双阶段方法将预训练因果VLM转化为双向多模态编码模型。该框架利用持续预训练和异构对比微调提升表示能力和泛化性能,在多种任务上优于现有模型。
微软亚洲研究院联合清华大学、北京大学提出RPT预训练范式,将强化学习深度融入预训练阶段,通过生成思维链推理序列和使用前缀匹配奖励来提升模型预测准确度。
微软发布PIKE-RAG,旨在提高RAG系统在复杂企业场景下的知识提取、推理和应用能力。该方法聚焦于连贯的推理逻辑构建,并提出针对不同任务的不同技术策略。
2024 ACM Fellows名单公布,多位华人学者上榜。入选者来自香港科技大学、微软亚洲研究院等机构,涵盖计算机科学多个领域,包括数据管理、机器学习和量子计算等。
Microsoft亚洲研究院发布的rStar-Math通过代码增强CoT、蒙特卡洛树搜索等方法提升小模型数学推理能力,平均在AIME 2024测试中解决了53.3%的难题,并显著提升了多个数学基准测试的表现。