METR 更新 AI 能力时间跨度曲线:编码仍在快速进步,判断力仍是短板
METR:AI编码进步快,判断力仍弱
andy
2026-11-21 06:47
4 阅读
人工智能 · 研究评测 · 科技动态
4
阅读量
2026-11-21
发布时间
科技
所属分类
新文
热度
新闻正文
AI 评估非营利机构 METR 发布的时间跨度(time horizon)报告迎来重要更新。这张曾被广泛分享、也被广泛误读的图表,描绘了前沿模型能够独立完成的任务时长——在此前版本中,该时长大约每四个月翻一倍。
METR 的评估方法是让模型尝试大量任务,每项任务都有人类完成的基准。任务难度按人类测试者完成所需的时间打分,再根据模型能成功完成多长的任务来评定模型水平。新版图表加入了更多任务——一部分据估计需要人类远超原套件的时间,另一部分则更具开放性。
当前 AI 领域最大的问题之一,正是「可验证任务」上的进步能否迁移到成功或失败难以判定的任务上。我们已经知道如何教神经网络做可验证任务:让系统反复尝试,强化有助于成功的神经通路,弱化导致失败的通路。这也是为什么 AI 系统在编程和数学这两类可以自动判定对错的领域表现优异。
但同样的强化学习技术,要应用到诸如「选择新的研究方向」这类成功标准模糊、判定周期漫长的工作上就困难得多。这类任务也难以评估,因此 METR 最初的时间跨度图表并未纳入。而恰恰是这类任务,将来若要实现 AI 对研发工作的自动化,将不可或缺。
