学术

陈丹琦团队降本大法又来了：数据砍掉三分之一，性能却完全不减

作者

MLNLP社区是国内外知名的人工智能社区，致力于促进自然语言处理领域学术界、产业界及爱好者的交流合作。陈丹琦团队提出了元数据调节然后冷却（MeCo）方法，显著提升了大模型预训练的效率和效果。

活动回顾 计算-网络-软件-算法-生态的协同发展，2024 Meet AI Compiler 圆满收官！

作者

2024 Meet AI Compiler 第 6 期技术沙龙在上海成功举办，涵盖编译器架构设计、性能优化策略等内容。来自地平线、智源研究院、字节跳动等专家分享最新研究成果，并与观众深入讨论计算-网络-软件-生态协同发展的主题。

少用33％数据，模型性能不变，陈丹琦团队用元数据来做降本增效

作者

普林斯顿大学研究团队提出了一种名为MeCo的方法，通过在大规模预训练模型中加入文档链接信息来提升下游任务性能。该方法能够减少33%的数据和计算量，并在不同规模的模型上均提升了性能，在多个数据源上也表现出了显著优势。