罗汉堂 | MIT 加密经济学实验室创始人：验证是 AI 时代的下一个瓶颈

以下是 Christian Catalini 博士演讲的上半部分全文中译：

很高兴能在这里为大家介绍我与回翔及 Jane Wu 合作的论文（“Some Simple Economics of AGI”）。这篇论文的视角比较独特，因此我今天的演讲形式也会略为不同。我希望这项研究不仅能为学术界提供参考，更能帮助从业者、初创企业以及全行业的参与者，更好地应对 “通用人工智能”（Artificial General Intelligence, AGI）—— 或者说 “准通用人工智能”—— 带来的深远影响。 

在演讲的前半部分，我将侧重于解释模型的核心底层逻辑，而不是描述具体的技术细节。随后，我将探讨如果模型的核心论证成立的话，它将为个人、企业和政策制定者带来哪些洞见。

01

衡量是 AI 能力的基础

这篇论文源于我们对未来图景的强烈探索欲。“AGI” 是一个备受争议的概念。有些人认为，在目前最前沿的模型中，某种形式的 AGI 已经初现端倪。最新的 AI 模型显然在许多维度上已经达到甚至超越了人类的能力，但其能力也是参差不齐的（jagged）：它们在某些任务上表现得极为出色，在其他方面却差强人意。我们认为，导致模型能力参差不齐的根本原因，可以归结为一个非常简单的因素 —— 衡量（measurement）。 

关于 AI 的稀缺性输入要素（scarce input）是什么，许多学者提出了极具洞察力的解释。在过去几年里，Ajay Agrawal、Joshua Gans 和 Avi Goldfarb 从 “预测”（prediction）视角提出了一套非常具有影响力的理论。然而，我们在研究中发现，如何去量化人们在讨论 AI 时常用的一些概念是一大难题。比如，随着大家逐步开始重视 AI 带来的冲击，“判断力”（judgment）、“品味”（taste）和 “甄选”（curation）等词汇在网络上被反复提及。但这些术语过于模糊，我们很难界定究竟什么才算作 “判断力”。 

我们希望能找到一个更为精准、犀利的切入点。最终，我们将目光锁定在了 “任何可以被衡量的事物” 上：一旦某种事物能够被衡量，它就必然会被自动化。如果将这个极其简单的假设进一步推演，我们便可以获得一份清晰的路线图，精准地把握在未来什么将变得丰裕，而什么将依然稀缺。

02

验证将成为关键瓶颈

众所周知，在过去三十万年的历史中，认知能力（cognition）一直是人类发展的瓶颈。随着 AI 的进步，当认知能力变得轻易可得时，作为其互补品（complement）的其他要素，必然会成为新的稀缺性限制因素。纵观技术与制度的历史 —— 从工资、资历到企业和市场 —— 这些本质上都是为了合理分配人类有限的认知、有限的精力以及有限的理性而设计的机制。那么在未来，当我们只需付出一定的算力和能源，就能随时按需获取某种认知能力或机器智能时，世界又将变成怎样的样子呢？ 

我们认为，未来真正的瓶颈将是验证（verification）。什么是验证？我们对此有一个狭义的定义，即人类对 AI 智能体的产出所进行的审查，以确保其遵循人类的意图和目标。在我们的论文中，验证与衡量是紧密相连的，稍后我将更进一步讨论这个问题。

随着智能的爆发并被广泛应用于众多领域和场景中，我们认为，在那些验证过程并不简单甚至极其复杂的领域，情况将会比现在看到的要复杂得多。当人们看到近期的技术进展以及关于机器递归自我改进（recursive self-improvement）的讨论时，难免会担忧 AI 将会接管几乎所有领域。造成这种担忧的原因在于，我们将计算机科学、数学等领域的成功经验，简单地外推到了其他领域。在前者中，验证成本低、易于操作，只需通过算力即可实现规模化。然而在不少其他领域中，验证的复杂性将呈指数级上升，且往往存在很长的时间滞后，我们无法仅仅通过运行代码就能立即得到验证结果。

当然，同样值得注意的是，在 AI 领域的最新进展中，斯坦福大学李飞飞博士等人所推动的世界模型（world models）的研究，或许在未来将能够突破验证的瓶颈。世界模型能够处理假设性问题、反事实情况，并从本质上模拟完整的场景。尽管目前它们主要被用于机器人和导航，但可以想象，世界模型未来也将被应用于复杂的经济和社会系统。如果这一设想成真，那么在政策制定、商业战略或创业等领域，验证本身也将变得便宜而充裕。不过在当前阶段，AI 大语言模型仍无法真正替代人类的判断力和品味。 

当我们从 “验证” 的视角出发，就会发现近期 AI 技术的整个演进历程实际上都有规律可循。我们从那些只需几秒钟就能完成验证的任务起步，比如 AI 聊天中的回答（暂不考虑 AI 幻觉）、图像生成、代码编写和数学解题。在这些领域，验证成本非常低。但随着 AI 步入全新的阶段，我们也越来越多地将它用于那些验证成本不低的深水区。如果验证确实成为了稀缺的瓶颈，那么 “为什么我们对验证环节的投入不足” 就是一个重要的政策问题。 

自从我们的这篇论文在今年二月发布以来，“验证是关键瓶颈” 这一观点在业内引起了很多共鸣。例如，微软掌门人 Satya Nadella 最近撰文指出，用于验证的基础设施本质上已成为企业新的核心知识产权。《金融时报》的专栏作者 Tim Harford 也预警，AI 生产了大量看似合理的 “垃圾内容”（plausible slop），其生成速度远超我们核验的能力，而这恰恰印证了我们的核心论点。风险投资人 Sarah Guo 则将验证称为 “不可训练”（untrainable）、难以衡量的领域。

03

衡量和验证对人类工作的影响

当前，AI 的执行能力正在快速进步。我们有理由相信，这些模型将很快就能够编写出自己的下一个版本，而我们终将会把构建下一代 AI 的任务交托给 AI 自身。同时，在劳动力市场上，我们已经看到了一些早期影响：尤其是初入职场的年轻人，似乎正面临着职业发展上的挣扎。这让人想到 Erik Brynjolfsson 等人那篇著名的 “煤矿里的金丝雀”（canaries in the coal mine）论文 —— 尽管我们尚需更完整的数据和衡量指标，才能断定这是否的确是 AI 造成的。 

我想强调的一个重要趋势是，我们交给 AI 智能体的任务时长正变得越来越长。从本质上讲，我们越来越信任它们，将更多的工作委托给它们，甚至将整个代码库或全盘决策权都交由它们处理。这是一个经典的 “委托 - 代理”（principal-agent）问题。 

从衡量和验证的角度出发，我们该如何对不同的工作进行区分？大家可能猜到，我们的标准不再是 “常规 vs 非常规工作”，或是 “技术性 vs 非技术性工作”。我们的标准很简单：工作中的哪些部分是可衡量的，哪些是不可衡量的。我们每个人的工作都是由许多不同的任务组成的，其中一些可以被精确衡量，另一些则不能。 

以驾驶为例，从 AI 的视角来看，驾驶是一个已经被解决的问题，自动驾驶已经可以做到比人类驾驶更安全。这一类只需借助视觉影像、传感器以及足够数据即可衡量的工作，将被 AI 取代。当然，还要考虑工资水平的因素，因此最终的 AI 替代速度取决于技术解决方案与人工成本的对比。 

在许多职业中，我们已经开始将重复性的繁杂劳动委托给机器。机器已经量化并学习了足够多的数据，从而能够完美复制我们工作中的这一部分任务。而我们尚未外包给机器的那部分任务，正是涉及到一些不可衡量的维度。这里什么是不可衡量的？那就是我们对产出所进行的一系列判断和评价，以验证它是否正确和达标，是否忠实地反映了我们的初衷。实际上，我们在用人脑中积累的认知权重，来对产出进行评估和把关。 

为什么在这个环节我们需要动用自身的认知权重？因为我们每个人从出生起，就吸收并经历了各种各样的场景与遭遇。对于学者来说，这就是逐渐学会如何区分高质量与低质量的研究，如何辨别研究方法的优劣。如果是医生，那可能就是如何敏锐地察觉到相同症状患者之间的细微差别。专家积累的经验包括那些罕见的小概率事件，这使他们能够由此校准当前所面临的问题，并将自身的专业知识精准用于具体情境中。这正是目前阶段还无法被衡量和量化的东西。 

随着日常工作中越来越多的数字痕迹记录下了我们的直觉、决策和修正过程，AI 便可以利用这些数据来优化训练，进而替代这部分更高阶的原本不可衡量的工作。这就如同不断上涨的潮水：随着 AI 能捕获越来越多原本不可衡量的行为和决策，它就能够逐渐取代那些曾经被认为是人类专属的能力领域。

在论文中，我们将自动化的前沿具象化为两条互相竞争的成本曲线。一条是自动化成本（cost of automation）曲线，它取决于算力、数据以及新模型的训练。目前这条曲线正在急剧加速下行。另一条则是验证成本曲线（cost of verification）。在许多领域，验证仍受制于人类的生理极限，需要人类自身持续投入时间和精力。

04

验证瓶颈带来的问题

对于智能体劳动力融入经济活动，我们认为，只有在经过验证后，智能体的工作才真正具有实用价值。存在这样一种可能的外部性（externality）：智能体产生了海量产出，却无人对其进行验证。比如，当前全球很多公司的 CEO 都在吹嘘 AI 编写了多少比例代码，有些甚至高达 75% 以上。但这同样也意味着，这 75% 的代码可能并没有经过充分的验证，其中或许隐藏着不少技术债务（technical debt）、网络安全隐患以及其他问题，只有到将来才会暴露。 

当我们迫不及待地发布未经验证的 AI 产出成果时，我们其实是在向整个经济体系引入所谓的 “特洛伊木马外部性”（Trojan horse externality）。我们在模型中称之为 “伪效用（counterfeit utility）”。与传统工业中的污染不同，AI 生成的伪效用看起来与真实有效的结果没有什么区别。刚才提到的 “垃圾内容 “就是典型的代表。但这还算是容易被识破的，因为区分一篇东拼西凑的文章和高质量的内容，这个验证成本并不算太高。但当我们一举发布由上千个智能体编写的几十万行代码时 —— 这正是目前许多技术公司中正在发生的真实情况 —— 所面临的验证成本就不是同一个量级的问题了。AI 在这几十万行代码中所作的偏好设置和底层决策，可能并未很好地与人类的偏好和意图对齐。随着 AI 模型越来越强大，并且我们将越来越多的事务交托给它们，验证的问题将会成为更深层的挑战，甚至是生死攸关的。从政策上来说，我们必须密切关注这种潜在的外部性因素，它将会至关重要。

05

验证的商业前景

我们已经步入了一个可称为 “偏向可衡量性”（measurability-biased）的技术变革时代。我们预测，在经历了数十年的 “偏向技能”（skill-biased）的技术变革之后，经济租金正加速向不可衡量的领域发生迁移。什么是不可衡量的领域？它包含许多类型。比如，研发已经在很大程度上是一个可衡量的过程，AI 也被广泛用于新的发现和技术创新，其中很大一大部分的创新是对原有理念的重组。但我们认为，尽管这些重组有时也极具创造力和影响力，但仍然需要有人去衡量那些从未被涉足过、甚至从未被输入到模型中的新鲜事物。

我们预测，对个人或企业而言，为机器的产出承担责任将变得至关重要。如果真正的经济价值是由智能体的产出和人工验证共同构成的，那么世界上最优秀的企业，将是那些不仅能够提供优质产出，还能为潜在的副作用提供担保的企业。他们不会仅仅向你兜售智能体的输出结果，他们还会为其提供保险。他们通过更完善的遥测技术和数据，可以提前预判机器何时可能会出错，并有能力为这种风险提供担保。目前，一些公司已经开始提供这类保险，承诺如果智能体引发严重错误，他们将在一定额度内进行赔付。在智能体经济时代，这种 “责任即服务（liability as a service）” 的新模式将扮演举足轻重的角色。

06

验证的政策思考

随着 AI 越来越强大，如果我们不在验证领域加大对基础设施和技术的投入，那么机器能衡量的边界与人类能衡量的边界之间，将会出现越来越大的鸿沟。到目前为止，即便没有世界模型的加持，大语言模型领域的规模定律也仍然在全速推进，模型将随着能源和算力的增加而呈指数级进化，并生成越来越多未经严格验证的产出。这就要求我们在验证技术的发展上，也不能落后 —— 包括人类增强技术，比如脑机接口等前沿领域）。 

从劳动力市场的角度来看，我们认为人机协同的闭环是不稳定的，这也与近期的其他研究互相印证。如今的 AI 模型几乎具备了与刚入职场的新人同等的知识储备，正从底层侵蚀初级职员的生存空间。对于大学毕业生而言，如果他们缺乏丰富的实践经验，掌握的只是书本知识，那么他们将遭受机器的直接挑战。而且，如果年轻人失去了在基层历练的机会，他们可能就永远无法成长为经验丰富的资深专家。

与此同时，专家的工作也面临侵蚀。顶尖的 AI 实验室正在大举招募来自金融、法律及其他领域的资深专家，让他们进行模型评估训练，实际上是通过专家反馈，来告诉机器 “什么是优秀的验证”。随着这一过程的推进，所谓 “编码者的诅咒”（codifier's curse）便会到来：专家在使用 AI 时留下的数据痕迹、评估标准和信息锚点，正在逐渐让他们自己被 AI 替代，让他们自己被 “去中介化”（disintermediated）。 

一个例子是图像标注。不久之前，像 Scale AI 这样估值不菲的企业，完全是建立在需要人工标注图像和文本的理念上。但如今的 AI 实验室已经不再需要人工标注了；现在的模型已经能够自主完成这一切。所以，尽管 AI 在现阶段增强了人类能力，但这可能是一个美丽陷阱，AI 替代人工的趋势将不可避免地向价值链高端蔓延。 

从更为技术性的 AI 安全视角来看，我们发现模型的对齐并非是一劳永逸的，必须持续地对模型进行纠偏和引导，以确保它们严格遵循人类的偏好。道理非常简单：如果模型能够衡量的东西与人类所能衡量的东西产生了分歧，那么人与机器之间的交集就会不断缩小。在缺乏共识交集的情况下，我们根本无从知晓 AI 模型是否在决策中潜移默化地引入了某些奇怪的偏好。这种情况在现实中已有先例，其中一些是随机的，有些是受互联网数据的影响，导致模型在面对特定问题时做出了奇怪的反应。在现阶段，这显然还只是模型的出错。但在未来，模型可能会产生某种自主性，孕育出自己的偏好。如果我们在不知不觉中任由这种情况发生，其后果将是毁灭性的。 

从政策的视角来看，刚才提到的外部性问题 —— 即 “伪效用” 的引入 —— 是非常关键的。它会带来真实的社会成本，并且这种成本的出现往往会滞后。当成千上万行未经验证就发布上线的代码一旦出现故障，可能会向整个经济中注入巨大的系统性风险。我们在论文中预演了两种可能的情境。一种是 “空心经济”（hollow economy）：在这种情境下，由于盲目追逐私人利益而忽视社会成本，社会在引入 AI 的过程中积累了堆积如山的技术债务与隐性责任。与之对应的另一种情境则是 “增强经济”（augmented economy）：我们有智慧地运用这些 AI 工具来赋能经济发展，引领人类社会迈入一个崭新的增长与繁荣周期。