7个月翻一番!AI agent能力飙升,METR报告揭示指数级进化规律
报告指出,大模型在软件开发、数学竞赛等任务上的能力每2-6个月翻一番,表明其正在迈向高度自动化。METR选取9个基准测试评估AI agent的time horizon,发现这些智能体的能力呈现出‘摩尔定律’式的增长趋势。
报告指出,大模型在软件开发、数学竞赛等任务上的能力每2-6个月翻一番,表明其正在迈向高度自动化。METR选取9个基准测试评估AI agent的time horizon,发现这些智能体的能力呈现出‘摩尔定律’式的增长趋势。
研究发现,AI编程工具并未如预期那样提高经验丰富的开发者的生产力。在随机对照实验中,16位开发者使用AI工具解决问题时所需时间反而增加了19%。
METR研究揭示,即使是顶级程序员在使用AI工具时,代码编写效率也会平均下降19%,且开发者往往无法察觉。该研究强调了开发过程中AI拖慢工作流的问题,提醒人们不要被基准测试的高分所迷惑。
AI编程智能体的能力正在迅速增长,据最新研究揭示了一种新的摩尔定律。如果任务时长以每4个月翻倍的速度增长,到2027年可能完成长达167小时的任务!这一趋势还在加速。
AI智能体在完成50%任务时所需时间每隔约7个月减少一半,研究团队提出了这一现象为‘智能体摩尔定律’,预测未来AI模型可能在2028年或2031年前后能够自动完成人类目前一个月才能完成的任务。