完整版| OpenAI最新吹哨人：权力博弈和AI 的终局，生存性风险与 2040 计划

目前 AI 行业里一个令人恐惧且公开的秘密是，我们最终极有可能创造出一个会统治世界的新物种，而这有 70% 的可能性会带来灾难性的后果，例如导致人类灭绝。这只是一种可能性。还有很多其他可能。

你所说的内容相当令人不寒而栗。这有时确实让我感到沮丧。我基本上已经告诉我的妻子，我们不要再生孩子了。这太不确定了。我不认为他们以后永远都不会进入劳动力市场。每个人都应该担心自己的工作会被取代。我之所以知道这一点，是因为我在 2022 年去过 OpenAI。我当时做的是预测。仅仅是预测未来几年可能会是什么样子。遗憾的是，世界上大多数人对此毫无察觉，并没有真正意识到 AI 正在发生什么。所以我辞职了。

我在某处读到过，你因为没有签署反诋毁条款而损失了 200 万美元，这意味着你不能批评公司。

至于原因，我很乐意详谈。但我学到的最主要的一点是，当我与 Anthropic 和 OpenAI 的人谈论预测时，他们的反应是，这不会花那么长时间。你需要再次缩短它们。把它们拉回到 2027 年或 2028 年，因为这些强大的 CEO，比如 Dario、Sam 或 Elon，正在竞相争夺对最强大 AI 的控制权。

Anthropic 有望在 2030 年之前占据整个经济体。但这些人都不能被赋予那么大的权力。所以这是我们有生之年发生的最重要的事情，事实上，可能也是人类历史上最重要的。确保这件事进展顺利非常重要。所以我认为我们能做很多事情来引导事物朝着更好的方向发展。

如果我们做对了，AI 可以为我们带来大量益处。

如果我们解决了这些问题，那么一切对每个人来说都可能变得极其美好。这份 2021 年的报告非常准确。

然后你刚刚发布了这一份。

没错，这就是我们的新方案。

Daniel Kokotajlo，在你所做之事的内核中，你的使命是什么？为什么？那么，如果你认为超级智能即将在几年内到来，你会怎么做？我想这取决于其后果是什么。我们来谈谈这个。

所谓超级智能，即在任何方面都优于最顶尖人类的 AI，同时它们的运行速度更快、成本更低，并且能够操控机器人，完成人类在物理世界中所能做的一切，且表现得更好、更快、更廉价。如果那真的在几年内就会到来，那么我们需要做好准备，并且需要思考如何让它向好的方向发展，而不是向坏的方向发展。所以，这算是我的回答，我正尽我所能地去这样做。

所以你相信它在几年内就会到来？

是的。

你为何如此笃定？

我花了很多时间试图预测这类事情。我目前的中间估值，即 50% 的可能性是在 2029 年，也许会提前到 2028 年。也有可能需要更长的时间，比如 10 年左右之类的。但是，出于一些我乐意详谈的原因，在我看来，它很可能会在本年代末之前发生。

相比之下，我们距离它有多近这种感觉并不重要。更重要的是趋势的发展速度。去年这个时候，Anthropic 的年营收大约在 10 亿美元左右。而现在，他们的年营收已达到约 600 亿美元。10 亿美元一年。这意味着在一年内实现了 60 倍的增长，这即使对于非常小的初创公司来说也是极其惊人的成就，但对于他们这种规模的公司而言，这可能是历史上最快的增长速度。

我们预计这一增长率会放缓，但即使放缓幅度很大，他们仍有望在大约 2030 年左右占据整个经济体量。

为什么普通人应该关心这一点？

从宏观层面来看，全世界的一切都将发生彻底改变，因此这也必然包括他们及其家人的生活。根据具体实施细节的不同，这种变化既可能向好的方向发展，也可能向坏的方向发展。

举例来说，所有人可能会因此丧生。这就是经典的失控场景，或者说其中的一种版本。如果我们真的构建了这些超级智能，并利用它们去自动化所有工作、将其引入军事领域，以及让它们为政治家提供建议等等，最终它们将积累起足够的现实世界权力，以至于不再需要人类。而且它们比我们更聪明，更有战略眼光。在那一点上，我们只能寄希望于它们是善良的，希望它们拥有我们所期望它们具备的目标、价值观念等。

目前在 AI 行业中，一个有些可怕的公开秘密是，这在现阶段其实仅仅是一个愿望。这绝对不是我们能够有丝毫把握的事情。事实上，有大量证据和论点表明，我们目前并未走在实现这一目标的轨道上。有很多理由支持这一点，比如当前的 AI 经常会欺骗人类。或者就像你要求它们做某事，它们却去做了别的事情，然后假装自己已经完成了，因此，制造一种既超级智能又具备你所期望的价值与美德的事物，本身就是一个极其困难的问题。

此外，这似乎属于那种你以为已经解决了，但实际上并没有真正解决的问题，这正是令人感到恐惧的一大原因。因此，基于所有这些理由，我们最终极有可能创造出……一个新的物种，它们最终将取代我们统治世界，而我们也可能重蹈过去那些因竞争不过人类而灭绝的物种的覆辙。这是一种可能性。还有许多其他可能。

即使你对此并不担心，认为 AI 将会完全处于受控状态，那么问题来了：谁来掌控这些 AI？当少数几家公司制造出这些超级智能并利用它们来实现所有工作自动化时，那可是巨大的权力。那意味着巨大的财富，以及巨大的政治权力。他们将拥有最顶尖的战略家，最优秀的战略家，最强的人才。在军事上，拥有这些 AI 的国家将能够彻底击溃所有其他国家。

AI 本身算是一个单点故障，就像中央控制系统一样。Anthropic 的首席执行官 Dario 提出了这个短语：数据中心里的天才之国。那是他用来描述他们试图构建之物的短语，我认为这有点误导性。我认为将其描述为“数据中心里的天才军队”会更准确，因为这并不是说数据中心的不同部分里生活着一群各不相同的 AI。它们都是同一个大模型的副本，并且由公司拥有，所以它们全都听从公司的指令。人们应该提出这样的问题：谁在控制这支军队或这些军队，他们打算用它们做什么？

讽刺的是，控制权的丧失和权力的集中，这两种风险都是业内人士几十年来一直在思考的问题。甚至在 AI 产业出现之前，思考 AI 的人们就已经在探讨和撰写关于这些议题的内容了。而 DeepMind、OpenAI 和 Anthropic 的创立叙事与创始神话中，有一部分就是认为这些问题真实存在，所以我们必须抢占先机，以便能负责任地应对它们。我认为这是两大主要原因，但我还可以继续列举。还有很多其他原因。其中之一是地缘政治冲突，如果 AI 确实变得极其强大，那将改变国家之间的权力平衡。那将扰乱许多事物。这让我们面临更普遍的危机风险增加，另一个问题是，那些工作岗位怎么办？

你将会失去你的出租车司机工作，而且不仅仅是出租车司机的工作，几乎对所有人来说都是如此。可能会有一些例外，比如因法律原因要求必须由人类完成的工作，但在绝大多数情况下，每个人都应该担心自己的工作会流失。这种叙事已经开始出现，我在节目中采访过几位对 AI 感到非常、非常恐惧和焦虑的人，他们中有些人已经在该行业工作了数十年。

是的。随之而来的一种反叙事认为这是“末日论”，认为这些人无论出于何种原因，只是在试图恐吓大众，而且他们并不真正了解自己在谈论什么。你如何回应那种反叙事？而且你一定也亲眼见证了这种现象的出现，尤其是来自那些——我敢说——既得利益者群体。

确实如此。这种反叙事相当新，是由那些从中受益的人所推动的。而且它并非事实。事实上，这些担忧早在 AI 行业诞生之前就已经存在数十年了。这些担忧其实是非常合理的。比如说，如果你相信这些公司的承诺，并设想他们确实要构建超级智能，那么这就会引出许多问题，比如，谁来控制它？会有人控制它吗？就业问题又该怎么办？这些都是显而易见、值得我们思考和担忧的影响。

你是谁，有什么个人经历？

我叫 Daniel Kokotajlo。目前我负责 AI Futures Project，这是一个小型非营利组织，主要专注于预测人工智能的未来。在此之前，我曾在 OpenAI 工作，负责人工智能预测。可以参考那些为对冲基金等机构工作的行业分析师。

我们会做出这样的预测，比如，五年后 Tesla 会销售多少辆汽车。或者比如，预测两年后的电价会是多少，这就是预测。我当时就在做这项工作，但专注于 AI 领域。我之所以这样做，是因为了解这一切的走向极其重要。

你为什么去 OpenAI？你在那里做了什么？你在那里观察到了什么？这如何改变了你对 AI 未来的看法，以及你对 OpenAI 这家公司的看法？对于那些不太了解的人：OpenAI 是开发了 ChatGPT 的公司。

我是 2022 年加入 OpenAI 的。

我在那里很大一部分工作内容依然是预测。《AI 2027》是你可能听说过的一个场景。我曾在内部做过一些规模较小、投入较少的版本，仅供内部传阅，用于推测未来几年可能会是什么样子。我还参与过危险能力的评估工作。所以，就是尝试去衡量 AI 的网络攻击能力、说服能力或是情境感知能力。此外，我还在一个能力团队待过一段时间，从事强化学习以创建智能体。

AI 实际上确实在变得越来越强，关于原因，我可以多说一些，比如缩放定律。深度神经网络规模越大，在更多数据上进行训练，在这些任务上就会变得越高效、越有能力。我也对 AI 行业感到有些幻灭。比如 OpenAI、Anthropic 和 DeepMind，它们都有类似的创始叙事，即：没错，这些风险确实存在。但我们已经考虑过这些风险，并会努力负责任地处理它们。这就是为什么我们继续做手头的工作非常重要。

我越来越认为这些只是为他们的行为辩护的托辞，而非真正引导他们实际行动的准则。当关键时刻来临时，他们会追随自身利益的驱动，而不是去做真正有益的事情。

所以，你当时身处 OpenAI 内部，并开始认为他们是在追逐商业利益，而非他们创立之初所标榜的社会或公共利益？

算是吧。我其实不会将其描述为商业利益。我认为我更倾向于将其描述为……寻求权力的动机。诚然，这些公司非常看重盈利，但特别是处于这些公司顶层的领导者们，他们明白这不仅仅是金钱的问题。

在 Musk 与 OpenAI 之间的诉讼中出现了一些电子邮件，那场诉讼中披露了许多邮件，你完全可以去读一读。

即使在当时，这显然也已不仅仅是为了金钱。而且他们互不信任。这就是为什么他们正在尽其所能地进行竞争，以便能率先到达那里，可以这么说。

你见过 Sam Altman 吗？

见过。

那次会面是否影响了你对他的动机或他为何这样做事的看法？因为关于他的动机存在很多猜测。他最近的说法是为了全人类的福祉，我想应该是这样的。

我认为我学到的最重要的一点就是不要去关注那些叙事。他们对某个人说的话，与他们同时对另一个人说的话完全不同，而他们在公开场合所说的又是另一回事。我认为你应该根据人们的行动来评判他们，而不是根据他们的话语。

那你为什么不在 OpenAI 工作了？

很大程度上是因为我提到的原因，我对公司的行为走向逐渐感到幻灭。例如，当我 2022 年刚加入公司时，至少在我交流过的同事中，普遍存在这样一种共识：一旦我们开始非常接近这一目标，比如当人工智能发展到或许可以自动化人工智能研究流程时，我们会暂停下来，找出确保其安全的方法。

这是因为我们是好人，而且比起全速前进，这显然是应该做的安全之举。但我们担心其他人可能不会暂停，比如我们的竞争对手 Google。所以这就是为什么我们需要保持领先，这样我们才有空间去做安全的事情，这在当时似乎是一件理所当然的事。在我刚入职时，这似乎是我所交谈过的同事中，包括像 Sam 这样的领导层在内，普遍持有的中间立场。

而等到我离职时，我的感觉是：天哪，他们真的不会那样做，不是吗？他们已经……部分原因是这件事变得更加政治化了，公司规模也扩大了，并受到了更多的审视。于是他们转变了叙事策略，更倾向于说：其实这并没有那么危险。所以，他们看起来只是打算尽可能以现有的速度继续推进，并寄希望于能在过程中找到解决办法。

你在 OpenAI 的那段工作经历是如何结束的？

我在 2024 年辞职了。我办了一个很不错的告别派对。

你当时从 OpenAI 离职给出的理由是什么？

我认为我们当时在进行过多的合理化辩解，我们需要更多地思考什么对世界才是真正有益的。我想要更多的发表自由。

所以，随着 OpenAI 规模的扩大，它变得更像是一家普通的科技公司，有了各种激励机制、公关部门之类的东西。

因此，我开始觉得想要发表我所从事的那类研究变得越来越困难了。例如，我提到的那些场景无法公开，它们仅供内部使用。我觉得这很可惜，因为目前世界上大多数人都在某种程度上处于浑然不觉的状态，并没有真正意识到 AI 正在发生什么，也没有意识到未来几年将会出现什么。而且这些公司并没有真正的动力去向人们透露太多相关信息。

他们以某种炒作的方式说了一些模糊不清的内容，但，他们并不想让我发布那些场景，比如，详细阐述事物实际可能会呈现的样子。

我只是非常好奇，当 ChatGPT-3 发布时，身处那样的公司会是什么感觉。你当时就在那里，

没错。

在那一刻，我认为全世界都意识到这项技术是非常强大的。社会层面的探讨也确实由此真正开始了。公司感觉成长得超级快，比我认为任何人能够想象到的还要快。那里面是什么样的？在那一段时间里，你看到了什么变化？

我记得有一次全体员工大会，Ilya 说了类似这样的话……Ilya 就是……Ilya Sutskever，当时的研究主管。他说，现在世界开始关注我们了。在接下来的一年里，你们每个人都将成为任何派对上最受欢迎的人。不要让它冲昏了头脑。专注于使命。必须实现 AGI。公司成长了很多。

我加入的时候它其实就已经不太像一家非营利组织了，而当我离开时，它就更是一点都不像了。进来了很多新人。具有讽刺意味的是，随着这种增长，关于超级智能及其影响的讨论量反而在随时间推移而减少，因为公司规模翻了一番又一番，所有这些来自科技行业其他领域的新人涌入，他们此前并没有真正思考过这些问题，而是被高薪吸引而来的。

你因为没有签署反诋毁条款而损失了 200 万美元，这意味着你本可以公开发言，但却不能批评公司。

是的。所以我得以保留了那笔钱。

你得以保留了那笔钱？

是的。事情是这样的，在我离开并道别之后，我收到了离职文件，其中包含了这一条款，基本上要求你必须同意不得批评公司。又是这样。

而且还有一条条款规定你不能把这件事告诉任何人。

所以我认为，一个声称是为了全人类利益而存在的非营利组织提出这样的要求，实在是非常讽刺。所以我没有签署。如果你不签署，你就无法保留你的股权。你的薪酬，也就是他们支付给你的报酬，基本上是由一大笔现金和一部分股票组成的。但合同里却有规定，他们有权收回你的股票，如果你不签署这份文件的话。我和我妻子对此感到非常不安。我们讨论了一两个月，咨询了一些律师，最终决定直接拒绝签署。

这意味着你输了，你将损失两百万美元。

没错。那相当于我们当时净资产的百分之 80。

幸运的是，事情的发展超出了我们的预期。它基本上在互联网上炸开了锅。当人们听说我们这么做了并且拒绝了之后，这变成了一场巨大的丑闻。

公司的员工开始在 Slack 上提出疑问，问领导层，等等，这是什么情况？比如，你们为什么要拿走我们的股权？这到底是什么？要知道，因为很多人之前并没有真正注意到这一点。这件事此前有过传闻，但对于大多数员工来说，这并非一件广为人知的事情。于是他们收回了之前的决定，并表示我们会修改相关文件，你们可以保留股权。没问题。Sam Altman 随后出面表示，他很抱歉自己没有意识到这件事情的积极意义。显然他对此一无所知。

你不相信他的话？

不信。我认为他很可能早就知道了。如果他不知道，那么他身边的人很可能知道，比如他的首席律师。

你为什么决定不接受那 200 万美元？我认为大多数人都会接受的。

确实如此。大多数人都会接受，而且大多数人也确实接受了。而且，钱固然是好东西。但它并不是唯一重要的东西。有时候坚守原则是件好事。

我一直在提到超级智能。或许我应该多谈谈各家公司计划采取的一系列行动。所以目前，他们正专注于自动化编程。他们正在运用各自的 AI，并使其规模不断扩大。

他们正在进行更长时间的训练。他们尤其侧重于通过训练让这些 AI 能够自主编写和编辑代码，因为这有助于公司提升开发速度。如果他们能够实现代码自动化，那么他们就能更好、更快地完成自身工作，并加速进展。下一步，也是他们已经开始着手的一步，是关注研究流程的其他环节，包括提出构思、分析实验、交流成果，以及研究过程中所有其他部分。他们正试图找出如何训练 AI 也精通这些环节的方法，以便让 AI 能够自主完成整个流程。

当你提到“完成整个流程”时，你具体是指什么？

比如 Anthropic 和 OpenAI，他们特别希望实现自身的自动化。也就是说，他们正试图创造一种不再真正需要员工的情况。他们拥有一支庞大的 AI 大军在持续运转，进行所有这些自主研究，旨在开发出更好的 AI，训练新的 AI，并将它们置于主导地位，以便它们能够创造出更卓越的 AI，以此类推。

当然，这不仅仅是在内部进行，还涉及与外部世界的互动，比如走出去与人交流、收集数据、搭建训练环境、进行商务谈判等等。他们正试图将这一切自动化。他们这样做是因为他们试图达到一种状态，即拥有在各个方面都超越人类的 AI，即超级智能，并且他们试图在竞争对手之前实现这一目标。不用说，我认为这极其危险。

而且除了危险之外，这还是一场权力掠夺。如果他们真的成功了，他们将坐拥这支超级人类 AI 大军，这将使他们在经济领域对各类其他主体拥有巨大的杠杆作用。只要他们能与总统达成某种协议，并将其整合到军队或任何其他部门中，那么这将赋予美国对所有国家巨大的硬实力。

显然，没有人确切知道这件事何时会发生。但在过去一年里，发生了一件让我感到非常不安的事情，那就是当我们发布《AI 2027》时，人们普遍认为我的时间表太短了，认为要达到这种程度可能需要超过 2027 年的时间。即我刚才提到的，递归自我改进、人工智能实现全自动化研究流程、超级智能等这类里程碑事件，它们会在 2027 年发生。

没错。那是一份场景预测，大致按月列出了未来可能的发展轨迹。在我们开始撰写时，那是我对实际情况会如何发展的最佳猜测。显然存在一定的不确定性，但我认为做出一个具体的预测是有价值的，这样至少可以看看它可能会是什么样子。而现在，看法更倾向于五五开，尤其是当我与 Anthropic 和 OpenAI 的人交流时，他们经常会说，没错，2027 年，这基本上就是将会发生的事情。

你为什么会变成这样，又为什么要更新你的时间表？

对了，背景情况是这样的，在写完 2027 年之后，我把时间表调整得稍微保守了一些。

所以当我们发布时，我的 50% 预期时间点是在 2028 年，而不是 2027 年。而在我们发布之后，进展看起来确实变慢了一些。所以我将其更新到了 2030 年，这仍然可能提前发生，也可能推迟，总之是 2030 年。但现在当我与相关人员及公司内部的人交流时，他们却说，不会花那么长时间。他们说，你需要再次缩短时间表，把时间重新拉回到 2027 年或 2028 年。

所以这让人感到有些不安。再说一次，我不知道这需要多长时间，但 AI 公司明确的计划就是去做这件极其危险的事情，而且他们认为距离实现这一目标仅剩几年时间了。

你写了这份报告，即 2026 年的样貌，你是在 2021 年写的，它非常准确，也让你在所有 AI 从业者中名声大噪。副总统 J.D. Vance 读的是哪一份？

我想是这一份，没错，就是这一份。

那么，后来你又发布了这一份，AI 2027，我记得是在 2025 年发布的？

没错，是在四月份。

你在其中做了什么样的预测？对于还没有读过的人来说，你在里面提到的关键点是什么？

概括来说，他们实现了编码自动化，随后又实现了其余研究过程的自动化，之后进步的速度就会急剧加快。他们最终将实现超级智能。

他们正在与政府合作，具体来说是总统，行政部门自然想要控制这项技术，并打算利用它来击败竞争对手，将其整合到军事等领域中。到了这个阶段，它基本上已经在独立完成所有的工作了。它拥有超级智能，所以它想出了各种绝妙的方案，将自身整合到一切事物中，并不断发明出各种新技术等等。由于竞争的态势和利润动机，他们最终将其部署到各地，它建造机器人工厂，制造更多的机器人，又建造更多的机器人工厂，依此类推。它彻底改变了世界，然后在某个时刻，它拥有了足够的力量——我是指 AI 拥有了足够的力量——它们就不再需要假装与人类目标一致了，然后它们就不再听从指令了。这就是《AI 2027》的竞赛结局。

我们还编写了另一种分支，即放缓结局，旨在阐明我之前提到的权力集中问题。

那么，假设对齐问题能够足够快地得到解决呢？比如，如果事实证明这并没有那么困难会怎样？

通过两个月的放缓，我们可以摸索出如何让 AI 稳健地按照我们的意愿行事，并使其具备我们所期望的价值观。所以这是一个可能的分支。

在这个分支中，情况看起来大体相似。它们承担了工作，在竞争中获胜，诸如此类。但不同之处在于，AI 最终并没有杀死所有人，而是创造了一种令人惊叹的乌托邦。

但这种令人惊叹的乌托邦，无论是什么样子，都取决于那些控制 AI 的人想要它成为什么样，所以那将是一小群人，比如总统、一些 CEO 等等。

您认为我们有没有可能永远无法实现所谓的 AGI？以及我们该如何区分 AGI 和超级智能这一术语？它们之间有什么区别？

是的。区别在于 AGI 是一个更为模糊且宽泛的术语。

而超级智能的定义则稍微精确一些。它在所有方面都比最优秀的人类更出色、更快速且更具成本效益。AGI 的意思是通用人工智能，这意味着 AI 可以进行通用的工作，而不是像某些特定任务那样。可以说，如果你使用 Claude Code 之类的工具，我们已经实现了这一点。它确实可以处理很多事情。它几乎就像是一个你可以派遣去处理工作的初级员工。所以它确实相当通用。不过它还没有达到极致的通用。它并不能做所有事情。而超级智能按定义来说，是可以完成人类能做的一切事情，甚至做得更好。

那么这与机器人技术有何关联呢？因为显然我们目前正处于机器人技术的巨大热潮之中。有些现实世界中的事情人类仍然能做，因为这些 AI 目前还局限在我的电脑里。

人们讨论这个问题的方式基本上就是说，我们已经实现了认知任务上的超级智能。

然后你就可以谈论那种能够处理物理事务的完全超级智能了。我们能达到那一步吗？我们能在两者上都达到那种水平吗？

我认为会的。重申一下，这并不是一件我们可以确定的事情。你问过是否有可能我们永远无法达到那种程度？有可能我们永远无法达到。但我认为可能性不大。

我认为人类大脑并没有什么神奇之处。它不过是一堆神经元而已。数字系统完全有可能实现类似的功能。

就像飞机可以像鸟儿一样飞行一样。不一定是以和鸟儿完全相同的方式。它飞行的原理与鸟儿不同，但它确实在飞行，你明白吗？

所以这看起来确实是可能的。

你撰写了所有这些研究报告。你正在撰写的另一份报告很可能会在 7 月 9 日发布。你曾在 OpenAI 工作。后来你辞去了 OpenAI 的工作，因为你对那里的所作所为以及该行业的未来感到担忧。你了解的更多。

我知道。

你对未来持乐观态度还是悲观态度？基于你所知的一切，如果情况不发生改变，我们是否正在走向一个糟糕的境地？

我认为如果情况不发生改变，我们确实正在走向一个糟糕的境地。对此我并无信心。

我觉得可能性大概在 70% 左右。当然，这非常、非常难以预测。但是，目前的默认路径似乎正指向一个非常、非常可怕的境地。

你个人和情感上是如何应对这一点的？

情况很糟糕。我觉得这种事情经常让我感到沮丧，但由于我已经处理这些问题很多年了，某种程度上也已经习惯了，这样说你明白吗？

我换种说法。如果我所有的预测最终都被证明是错误的，例如，如果它碰壁了，我会感到非常高兴。

这经常让你感到沮丧。

我曾经是一个以开朗和乐观著称的人，但是，在 2020 年，由于 GPT-3、Scaling laws 论文以及 Bio Anchors 报告的出现，我对 AI 发展时间线的预测开始崩塌。如果你感兴趣我可以谈谈这些，但基本上是因为 2020 年发生的一些事件让我确信，这种技术很有可能在本十年结束前就会到来。而且很明显，人类在方方面面都还没有做好准备，所以这显然非常令人恐惧。这是一个极其可怕的世界，不仅是因为你所说的那些原因，还因为这种递归自我改进，即 AI 可以自我训练。在这一点上，我们开始无法掌控正在发生的事情了。AI 已经在自我训练以达到清晰明确的目标。这更像是闭环了整个研究过程，也就是包揽了一切。就像现在，大量的训练数据都是由 AI 生成的。许多强化学习过程，比如评分机制，以及给予正向或负向反馈，本身也是由 AI 完成的。

你能用外行能听懂的话解释一下吗？

可以。大家需要理解的一点是，现代 AI 系统并不是传统意义上的软件。从技术上讲它们是软件，但它们并非由代码行构成。这不像是在 Anthropic 的工程师去编写代码，规定说当用户询问这类问题时，就执行多少步骤之类的操作。根本不存在这样的代码。相反，它是一个神经网络。那是什么？想象一下大脑是由许多相互连接的神经元组成的。是的。它们在来回传递信号。大脑会随着时间推移不断学习。那些导致成功的激发模式，即引发多巴胺分泌或其他各种反馈的模式，会得到强化并更频繁地触发。而那些导致失败的模式，比如触碰热炉子，则会被弱化，也就是被抑制，从而减少触发频率。正因如此，你在几年时间里学会了如何在世界上行事，学会了各种技能，构建了世界模型，形成了对世界的信念，并且能够在大脑中模拟事物的发展走向等等。

所以人工神经网络也是如此，只不过它们是人工构建的。起初，它就像一团由随机生成的被称为参数的人工连接交织而成的巨大乱麻。如今，最庞大的 AI 模型可能拥有多达 10 万亿个参数。所以，它最初是随机生成的，在起初阶段毫无用处。例如，如果你输入一些内容，它只会输出乱码。但随后，开发者会对它进行训练。

训练始于预训练阶段，即让模型接触海量的互联网文本。你向它展示第一段文本作为输入，它会给出一个毫无意义的输出，然后根据它预测下一段文本的准确程度，对其进行正向或负向的反馈强化。所以，它本质上是在玩一个“预测下一个词”的游戏。

婴儿的学习过程不也是这样吗？我记得曾有神经科学家告诉婴儿大脑中的神经连接比成年人更多。

没错，幼儿的神经连接数量确实是成年人的两倍。

我想，它们是通过强化作用逐渐削减的。

是的。我们在年幼时拥有更多的神经通路。就像 AI 的训练过程一样，我们通过训练来剔除无用的通路，并建立起有用的通路。没错，这既包含剪枝也包含强化。

好的。

在人类身上，这种过程似乎更多是剪枝而非强化，但两者兼而有之。AI 也是如此，两者同样并存。

训练的第一阶段是让 AI 学习预测文本，这有点类似于教它阅读。人类身上也会发生类似的过程。所以基本上，这种随机缠结的状态会逐渐成形，并慢慢聚合成更实用的电路；这些电路存储了关于世界的大量事实，以及处理信息、转换信息并生成预测的多种技能。

这仅仅是第一步。在完成预训练后，他们会尝试教会它除文本预测之外更有用的技能。在整个过程结束时，他们已经让它处理了大量的编程问题。他们会说，比如，这是一个编程问题，开始吧。这是一个编程问题。这是一个运行环境。你可以访问这台虚拟计算机。这是你正在使用的代码库。你可以编写代码。你可以编辑代码。你可以运行代码。你可以运行它。你可以使用互联网。它会持续运行一段时间。然后根据其成功程度，进行强化学习。他们有成千上万，甚至数百万个类似这样的编程问题示例，并以此对模型进行训练。这就是它们现在如此擅长编程的原因。

那么，在这方面超级智能是什么样的？仅仅是更多的连接吗？它们又将如何获得更多的连接？你能像给 12 岁孩子解释那样向我说明吗？

所以，目前存在不同的 AI 模型，比如有 GPT3、GPT4、GPT4.5、GPT5、GPT5 以及 5.6 等等，有时它们仅仅是之前的旧模型，只是经过了额外的训练。有时则是全新的模型，是从零开始进行训练的，包括重新启动整个预训练过程。在过去几年里，他们已经进行了几轮从零开始的重新训练。通常情况下，当他们从零开始时，会把整个系统做得更大，使人工智能大脑规模显著扩大。

好的。

目前，它们的参数规模大约在 10 万亿左右。回到 2020 年，这个数字大约是 1750 亿。所以我们的增长幅度达到了两个数量级。

在六年内。两个数量级？

就像两个 10 倍，也就是 100 倍，所以这个过程正在持续进行。他们也在改进算法本身。所以它们实际上不仅仅是同类型的 AI，而是规模更大了。他们还提出了各种各样的想法，用来改变连接和神经元的结构等，改变他们正在使用的强化学习算法，并改变他们训练所用的数据；所有这些调整都使得整个系统变得更加高效。

我们实际上是在构建一个大脑。

基本如此。随着他们制造出更多大脑，他们制造大脑的技术也在提升，他们正在让这些大脑变得更大、更高效，诸如此类。

它的工作原理确实是在模拟大脑，它当然深受大脑启发，但我认为不应过度夸大这种类比。例如，两者之间也存在许多差异。比如，Transformer 架构——也就是这些 LLM 所采用的架构——实际上并不是循环的。所以信息流向基本上是单向的。而不是像大脑那样在内部允许各种小循环的存在。此外，back propagation 算法也与人类大脑中自然发生的学习过程不同。

因此，虽然存在一些差异，但从广义上讲，我们确实是在制造人工大脑。这就好比飞机之于鸟类。

这个类比非常贴切。

没错。

那个类比帮我理清了人们在谈论 AI 时经常提出的一个问题：它能具有创造力吗？但实际上，那个类比让我意识到，也许这根本不是问题的关键。问题应该是：它能否产出某种你认为具有创造性的东西？因为人们往往倾向于将创造力视为一个过程。

没错。

但实际上，创造力的判断标准是基于产出结果的，不是吗？你可以深入探讨哲学层面，比如它所展现的是否真的是创造力？但你也可以认为，看看它们目前已经取得的所有成就就知道了。是啊，你懂我的意思吧？而且看起来在不久的将来，它们将会取得更多的成就。

我问起这件事对你个人的影响，是因为我能感觉到你其实对此感到困扰。我认为现在的情况很疯狂。首先，这非常令人兴奋。

AI 确实是非常迷人且有趣的事物。我关注这一领域已经超过十年了。我也投身其中好几年了。这真的很酷，也非常有趣。

去思考这些人工大脑内部究竟发生了什么，以及它们为何呈现出当前的状态，是一件非常有意思的事情。看到这项技术在现实世界中的各种应用，确实很酷。但看起来我们确实正处于一条相当可怕的道路上。你思考得越多，就会感到越担忧；而且，在故事里结局总是美好的，但这可是现实生活。我认为我们必须直面现实，意识到事情的结果可能真的不会太好，你明白吗？

最近有没有出现过，我敢说是“尤里卡时刻”，或者说范式转移时刻，以至于连你自己对当前局势的认知模型，以及对未来走向的预测都因此发生了改变，无论是好是坏？

无论是好是坏，甚至可能是往坏的方向发展，事情大致都在按预定轨迹进行。针对 AI 2027 年的发展。

确实有几点不同之处，虽谈不上是范式转移级别的差异，但与我们撰写此书时的预期相比，确实出现了一些偏差。政府介入的速度比我们预期的要快，且手段也比我们预期的更为强硬。例如对芯片实施的出口管制就是最典型的例子，此外还有以《国防生产法》为要挟，对 Anthropic 施加压力。另一个让我们感到意外的是，Anthropic 在这场竞赛中从第二名跃升至了第一名。

你认为这是为什么？因为在有关 OpenAI 的讨论中，ChatGPT 此前似乎一直处于明显领先地位，但 Anthropic 突然间就实现了反超。

我想他们可能拥有更高的人才密度和更优的战略，虽然差距并不巨大，但足以构成胜负的关键。

你认为为什么他们更有天赋？他们的计算资源并没有更多。比如投入是什么，他们现在领先了，而过去他们是落后的。对此有哪些可能的解释？

可能是因为他们拥有更多资源，比如更多的计算能力、更多的资金。但事实并非如此。他们的资源更少，资金也更少，所以我猜，天赋是仅次于此的最佳选择？或许你可以说是战略，或者是这些因素的某种组合，不仅仅是他们拥有的资源数量。就像 John Jones 的情况一样，认知表现上的边际提升可以产生巨大的影响。

曾经在伦敦，我的一位认识其中一些核心人物的朋友与我长谈过。其实他对我讲过不止一次，但我记得特别深刻的一次谈话中，他说一些 AI 公司首席执行官预测人类灭绝的概率是——我想他当时说的是 7%，我不确定为什么我记住了这个数字，但我记得那个概率低于 10%。他想向我表达的观点是，即便概率只有 1%，就好比现在桌上有 100 个按钮，其中一个会导致世界毁灭，我敢按下其中的任何一个吗？我一个都不会按。但他向我论证说，这些 AI 公司的首席执行官非常聪明，他们理解超级智能，并且认为如果现在桌上有 100 个按钮，或许其中有 10 个会导致世界毁灭。

我听你说过，我想是在 The Daily Show 的采访中提到的。你说过你认为 AI 导致人类灭绝的可能性有 70%。我不完全会说人类灭绝。

我会说大概有70%的可能性会发生极为糟糕的结果，比如人类灭绝，但这只是几种可能性中的一种。但确实，基本如此。比如，可能 AI 接管了一切，但实际上并没有杀掉所有人。也许它们会做点别的什么。就像仅仅因为它们接管了世界，并不意味着它们一定会杀死我们，它们可能会那样做，但也可能做其他事情。所以我通常不说人类灭绝的可能性有 70%，而是说AI 接管世界或发生某种重大灾难的可能性有 70%。

这可能会导致人类……我想我这里有两点看法，其中一点是你曾与这些 CEO 们共事。我是说，你在离职前曾为 OpenAI 的 Sam Altman 工作过。你认为他们认为人类存在灭绝的风险吗？是的。但我认为有一点很重要。

人们倾向于相信他们需要相信的东西，以此来确信自己是好人，并确信自己必须继续做正在做的事情。这就是合理化心理。所以我认为，科技公司的首席执行官们确实已经说服了自己，认为事情大概会好起来，而让事情好转的方法就是让他们继续做他们正在做的事情。而且他们需要确保，Sam 可能在想，不能让 Dario 或 Elon 先达到那个目标。我知道 Dario 在想，Sam 不能先达到那个目标，Elon 也在想同样的事情，他们可能都已经说服了自己，觉得也许事情会变得极其糟糕，但大概会好起来的，而且大概我应该是负责的那个人。

在我看来，只有 Anthropic 在讨论灭绝或灾难性事件的可能性，或者讨论真正糟糕的后果。他们 seem 是唯一还在就此发表研究成果的公司。而现在，他们在很多方面实际上已经成为了旧金山科技行业的公敌。我看了很多采访，每个人都在攻击 Dario，因为他在说，听着，事情可能会变糟。他们称他为“末日论者”，并质疑他的动机。即使是针对 Mythos，也就是他们开始向世界发出警告的那个 Claude 模型，他再次因为发表这些言论而立即遭到攻击。是的。我的问题是，你认为他在这一点上与 Sam 略有不同吗？是的。Anthropic 和 Dario 似乎更愿意去说和做一些对其利润造成损害的事情。

至少在过去一年左右的时间里是这样。这就是一个例子。

例如，我不认为说那样的话能为他们在政府或投资者中赢得什么好感。还有，一个更好的例子是 Department of War 和 Anthropic 之间的整场博弈，这正体现了他们做了一些让自己损失惨重的事情，更重要的是，为了某种目的牺牲了巨大的权力。

他们本可以直接签一份合同。话虽如此，我真的不想陷入那种“哪位 CEO 是最不糟糕的 CEO，我们就支持哪位”的境地。我们支持那一位。从根本上说，这些人都不应该被赋予那么大的权力。谁都不应该。没人应该这么做。无论如何。无论如何。是的。所以关于这些按钮的问题，你确实认为他们觉得存在灭绝的可信风险。但他们已经说服了自己，觉得这大概没问题。

而且还会觉得，如果我不做的话，情况会更糟，你懂的？在公司内部他们也是这么说的。就像那两个人会说，如果我们停止了，那其他人怎么办？他们肯定不会停止，你懂的？这就是为什么我一直有这个悬而未决的问题，即这种情况怎么可能不走向恶化？

当人类的动机似乎主导了一切时，当你回顾历史，所有人类的动机都在说：如果你继续开发这些越来越强大的 AI 大脑，你就会遭殃；但从地缘政治的角度来看，如果你不这么做，你同样会遭殃，因为美国会输给其他国家，或者这家公司会输给那家公司。那么，当你审视人类的激励机制时，你会想，如果仅从激励和抑制因素来看，这一切将如何收场？它会一直持续下去吗？看起来是这样。

其中存在一个转机，一个充满希望的转机，那就是，首先，如果全世界都意识到这一切，那么我们能够就监管、国际条约以及诸如此类的问题进行更严肃的对话。而这可以改变激励机制，因此，政府可能会介入并宣布：实际上，这里有一些你们都必须遵守的规则。由于存在你们都必须遵守的规则，那么你们就不再有动力去打破它们了，因为如果你们打破了规则，而其他所有人都在遵守，那就会产生后果。所以，这就没问题了。因此，确实存在一线希望，即如果政府——尤其是 U.S. 政府——采取行动，我们可以改变这些激励机制。随后其他国家也会采取行动来改变激励机制。但在人们意识到这一切之前是不会发生的。

第二点是，即便是从个人层面来看，在某个时刻，比如 Dario、Sam 或 Elon 可能也会意识到，其实继续单方面地竞速甚至不符合他们自身的利益。继续单方面地竞速。而这里的问题在于，只有当情况变得极其明显且极其危急时，他们才会意识到这一点。所以，比如在 AI 2027 的场景中，存在我提到的那个抉择点：一种情况是 AI 未对齐，另一种情况是 AI 已对齐。在那个抉择点上，我们有一个分支描绘了未对齐导致的结局，另一个分支描绘了他们稍微放慢节奏并解决了对齐问题。促成那个抉择点的诱因是他们看到了一些证据，表明他们的 AI 可能未对齐并正在密谋对抗他们，所以如果你真的看到了那样的证据，你就会想，天哪，或许我们不应该让它掌控一切并任其发展，因为那些证据就摆在眼前，证明它是不可信的，你明白吗？但如果他们没有看到那种非常明确的证据，那么我认为他们会说服自己需要继续推进，你明白吗？但也许他们确实会看到那样非常明确的证据，在这种情况下，即使我们没有相关的监管，他们也可能会自发地停下来。所以这是第二道希望之光。总的来说，我不认为我们注定会走向灭亡，有70%的概率，但我也能预见到它会朝着相当好的方向发展。

那就业问题呢？

是的。我认为我很期待在某个时间点深入探讨那个新课题，也就是更乐观、更积极的愿景。那将会对这个问题有很多阐述。因为在预测中，到 2027 年，当每个人都失业时，会有更糟糕的事情发生，或者说到了那个时候就已经太晚了。但是，一旦，如果，我是说，你就仔细想想。

如果这些公司真的成功构建了超级智能，那么根据定义，它们将能够取代几乎所有的工作或所有工作，因为它在各方面都比最出色的人类更好、更快、更廉价。

正如你所说，时间线大约在 2030 年底，你认为超级智能可能会出现。我正在思考我们何时能开始在经济领域看到就业岗位流失。我们现在已经开始看到一些端倪了。但规模还很小。为什么？因为目前的 AI 还不够出色。虽然它们令人印象深刻，但它们在几乎任何领域都还无法直接替代人类劳动者。你认为这种替代会突然发生吗？

我认为会突然发生，因为存在智能爆炸动力学或递归自我完善动力学。

你可以想象一个截然不同的世界，那里的进程是渐进式的。这或许正是许多科幻小说中的情景：AI 在各项事务上逐渐变得更强，它们逐步实现自动化，比如先是某个行业如制药业，然后是操控无人机，接着是自动驾驶汽车之类的领域。但现实世界的不同之处在于，各家公司都聚焦于先实现自身自动化的策略，也就是实现 AI 研究过程的自动化。因此，如果允许他们继续推行这一策略，我们就不会先看到诸如自动驾驶出租车、管道维修机器人或律师 AI 之类的应用。我们不会先看到 AI 在经济领域那种广泛的普及，因为那并非他们首要关注的重点。他们专注于实现自身业务的自动化，实现自身研究过程的自动化，从而使他们能以更快的速度完成现有的一切工作。

他们希望这一进程能够启动并达到极高的智能水平。

达到极高水平的通用智能，然后再向经济领域进行更多部署，所以，当 AI 真正冲击到所有这些不同岗位时，他们可能已经进行了数月甚至数年完全自主的 AI 研究。

这意味着 AI 在 AI 研究领域将具备远超人类的能力，而且作为一种副作用，它们可能在许多其他领域也具备远超人类的能力。

如果你想知道这会是什么样子，我们曾专门撰文描述过。大概就像是在他们内部引发智能爆炸之后，这股浪潮席卷整个经济体一样。我听到的是，因为 AI 将能够自我改进和自我训练，它会同时在所有方面变得更好，然后会以某种“一次性”的方式发布出来。

这种说法准确吗？

但也不完全是这样，因为即使它主要是在提升其现有领域（如研究）的能力，这也会对其他技能产生一定的溢出效应。当它转而专注于那些其他技能时，它将能够非常迅速地完成它们。

你认为在这种情况下还会剩下什么工作？

我认为这实际上是一个政治问题，而不是一个技术问题。因为从技术层面来看，如果 AI 达到了那个水平，所有的工作都可以由它们来完成。所以，问题在于允许它们从事哪些工作。你认为什么样的职位是不被允许让 AI 从事的？那取决于谁说了算。因此，关于我们允许和禁止什么，将会存在某种政治层面的讨论。在这种情景下，人类仍然在控制它们。控制 AI？这取决于你对控制的定义，所以这里的问题是，AI 是否确实具备了你希望它们拥有的目标 and 价值观？它们在未来是否会稳健地执行这些目标并按预期行事？还有就是，它们现在是否在听从你的指令？它们是否在服从命令？这真的是我想表达的意思吗？

是的。所以，即便是在 AI 2027 的情景中，也就是 AI 接管世界并杀死所有人的情况下，仍然会有几年时间，它们还在服从指令，它们承担了一些工作但没有承担另一些工作，并且正在协助制造更先进的武器，以便美国政府可以利用这些武器与中国进行军备竞赛等等。

这正是他们能够如此迅速获得巨大权力的原因，因为政府、企业等信任他们，并刻意将他们部署到所有这些职位上，因为政府认为一切都在掌控之中。但由于这些事物是神经网络，你无法直接深入其内部查看它到底在思考什么。你确实无法判断。我认为这一点非常重要，因为与传统软件不同，传统软件在理论上我们可以查看代码并了解其运行机制。而对于 AI，你的意思是说我们无法获知它做出决策的原因，因为我们无法深入其内部。

值得乐观的一点是，情况未必非要如此。例如，机器学习中有一个称为 mechanistic interpretability 的子领域，以及更广泛的称为 interpretability 的子领域，它们正试图解决这个问题，试图将这些训练有素的人工神经网络进行拆解，并理解信息的流动方式以及决策的产生机制。

问题在于，这本质上是一个非常困难的问题。如果你有 10 万亿个连接需要查看，你可以观察其中特定的某一组并得出结论：好的，这就是这个特定连接的工作方式。但你如何把握全局呢？你该如何理解高层级正在发生的事情呢？

答案是，这可能是不可能的。但人们正在致力于此并取得了进展，如果他们能取得足够的进展，那么我们将身处一个截然不同且更加光明的世界。我认为，如果我们能随时真正地观察到我们的 AI 在思考什么、为什么这样思考以及如何思考，那么我们陷入那些失控情境的可能性就会小得多。所以我们仍需担心其他问题，但至少我们可以基本解决这一项。

想到我们正在构建一种我们并不理解的技术，一个大脑，这真是太疯狂了。这确实很疯狂。

这属于那种……在科幻电影里，一群科学家围着这个巨大的大脑，他们只是在不断地制造它、喂养它，但他们根本不知道这到底……这显然是一种危险的行为。

是的。但我们还是这么做了，因为过去 10 年里该领域的发展历程就是这样，人们曾觉得，哇，这显然很危险。如果其他人做了这件事，而且做得一团糟怎么办？因此，我们应该自己动手，并且把它做好。而现在他们正处于一场相互竞争的赛跑之中。同时，他们还承受着各种政治压力，不得不假装情况没有看起来那么糟糕，因为他们不想激怒投资者。他们也不想激怒 White House。

我们观众提出的核心问题之一是——我也部分地问过你了——哪些工作真正有可能在 AI 浪潮中存续，以及人们或者说学生在未来 10 年里应该专注于哪些技能？这就好比，想象一下如果你是 1500 年生活在 Mexico 的人，然后你听说 conquistadors 要来了。你可能会问自己，我应该转行从事什么样的工作才能在这个转型期幸存下来？但除了这些，你还有更多值得担忧的事情。

不过我认为如果我们要避免控制权丧失的问题，并且最终人类依然能够掌控 AI，即使 AI 变得远比人类聪明，甚至掌控了整个经济，人类依然能够定义 AI 的目标和价值观，那么很可能会出台法规来保护某些领域。你可以试着推测这些领域可能是什么，也许是更倾向于像法官那样的职业。有可能。那播客创作者呢？说实话。我觉得可能不是播客创作者。

比如，保姆之类的职业，我觉得即使有一个非常、非常优秀的机器人保姆，很多人可能还是更倾向于雇佣真人，因为他们可能会被那种过于逼真的机器人保姆所带来的诡异感所困扰。所以你可以尝试这样进行推论。还有一些领域可能会受到法律保护。比如法官，法律可能会要求必须由人类担任，而非机器人。不过有些人认为，就像工业革命或互联网热潮时期那样，未来会创造出许多我们目前无法预见的就业机会。但问题在于，过去的科技进步往往局限在更狭窄的范围内。他们确实实现了一些事物的自动化，但并非全部。但我们现在讨论的是一种假设的未来情境，即一切都实现了自动化。因此，不存在任何你能做而 AI 无法做的新工作，除非该工作受到法规之类的保护。

这确实也是一个因素。但举个例子，目前存在这样一种循环：AI 已经学会了做某些特定事情，比如撰写文案、起草代码或进行调试。此后，原本从事这些工作的人类转向管理 AI，或者转而去处理那些 AI 尚无法完成的其他工作。

这就是为什么历史上一直存在这种动态，即新的工作岗位不断涌现，人们纷纷涌入其中。但如果发展到 AI 能够完成人类所能做的一切，且效率更高、速度更快、成本更低的地步，那么无论你可能转向什么样的新工作，AI 同样可以介入。而且它们在这些工作上的表现将始终优于你。

鉴于我们目前在经济中尚未看到大规模失业现象，你认为人们是否已经产生了一些自满情绪？因为我在时间线上看到很多人在说，我早就告诉过你们了。我告诉过你们一切都会好起来的。如果你观察美国的失业率，目前是持平或略有下降。如果你看英国的情况，失业率则是在上升。与去年相比，这一趋势在上升。我们目前的失业率约为 5%。美国的失业率是 4.2%。没错。基本上，没有人说过现在会出现大规模失业。或者至少我们没这么说过。而在 AI 发展方面，从历史来看，我们一直是最看好前景的人之一。

在 AI 2027 中，由于我们刚刚描述的动态，大规模失业直到 2028 年或 2029 年，即他们已经拥有超级智能之后才会发生。因为重申一遍，这些公司并非试图将造成大规模失业作为第一步。

那更像是第三步，第一步是实现自身自动化，第二步是通过递归自我改进达到超级智能，第三步才是扩展到整个经济领域并实现全面自动化。从人类的角度来看，这确实很不幸，因为人们原本可能希望，如果经济中出现这种广泛的自动化浪潮，大家会警觉起来并关注这一切的走向，从而要求政府出台有效的监管政策。但那实际上并非该公司的战略。他们会先获得超级智能，然后再进行大规模自动化，这意味着当他们真正实施 these 举措时，一切都已经进展得非常迅速，且 AI 也已经非常强大了。

在你的 2027 报告中，你是在 2025 年撰写的，但它被称为 AI 2027。你说过在 2025 年年中会出现自主员工，这有点类似于通过 Slack 或 Teams 接收指令的 AI agents。这已经发生了。我的 WhatsApp 里确实有一个我正在对话的 AI agent。当然。没错，我有一个客户。Claude 显然在全球范围内爆发式增长。现在，Claude 已经讨论了他们新的 Slack 集成。但现在很多人都在使用 Agent。事情就是这样发生的。

对于我们当时的情况，我想说我们确实是在 2026 年初开始意识到这一点的。你还提到到 2026 年，公司开始用 AI Agent 订阅服务取代整个企业部门。2027年，终极岗位。AI实现了人类 AI 研究员自身工作的自动化，并开始进行机器学习研究，以升级和构建下一代 AI。没错，确实如此。所以再次强调，关于时间表。

我们无法确定实现这些里程碑需要多长时间。在这个情境设定中，它们会在那些时间点发生。但当我们真正发布该情境设定时，我们的时间表已经向后推迟了一点。具体来说，是我个人的时间表。例如，对于 AI 研究全面自动化这一里程碑，我预估的 50% 达成概率点是在 2028 年。而不是 2027 年。而我团队中的其他人预估的时间更接近 2030 年或 2031 年之类的。

所以我有点想尝试说明这一点。仅仅通过我们拥有的那种概率分布图。这就像一个弥散的概率质量，50%的标记点是这一特定年份，但也有很大可能发生在更晚、早几年或晚几年的时间点。

什么是 AI 2040？

所以 AI 2027 是我们对于事情实际发展情况的最佳预测。AI 2040 Plan A 是我们对于事情应该如何发展的建议。我们之所以称之为 AI 2040，是因为在这种设想中，他们通过推迟研发进程，在 2040 年而非更早的时间点构建出超级智能。他们为什么要推迟研发进程？为了管控风险，并确保权力得到公平分配。他们基本上是通过监管 AI 开发，使其在保持进展的同时，以更缓慢、更合理的节奏，以更透明、更安全的方式进行，并分散到更多的国家和公司中。结果就是，他们将在 2040 年而非例如 2030 年实现超级智能。我们将此称为 Plan A，因为这是我们的推荐方案。就像我们已经为政府应该做什么制定了一项计划一样。

而这一设想是对实施该计划可能呈现的样子所作的说明。这类似于 AI 2027 在某种程度上是对各公司目前计划所作的说明。

这说得通。这是痴心妄想，还是你认为会发生的事情？

不，这绝对不是我们认为会发生的事情。

这不是你认为会发生的事情。

不，不是。我们认为会发生的事情仍然更像这样，我们并不指望全世界都会听取我们的意见，这是我们的建议。但我们希望人们能采取类似这样的行动，并且我们认为这是可能的。但这并不是我们对于未来默认发展路径的预测，你懂的。

所以我确实想梳理一下这些计划，即潜在的计划，当然也包括计划 A。但在结束讨论关于一年后情况可能如何之前，因为我想谈谈机器人技术，我这里有一张图表，它展示了劳动产出的份额，我认为这非常引人注目。作为一名雇佣了数百上千名员工的雇主，我坐在这里一直想知道，这一切究竟何时会发生？而且，就目前情况来看，我们仍在雇佣更多的人。在某些岗位上，我们的考量正在发生相当大的转变。我不得不说，我们可能正处于这样一个阶段：我们的团队已由 AI 赋能，他们现在正利用智能体来完成部分工作。但作为一名雇主，我在想，这到底是什么时候，或者说这种情况何时会发生？问得好。那么我们或许可以将其放大一点。好的，我们会把它显示在屏幕上。这是 AI 2040 规划中的内容。

情景设定。值得注意的是，在该情景中，2029年出台了重要的监管措施，放缓了 AI 的发展速度。

在这一情景中，他们是在最后一刻才采取这种行动的。所以在这个情景下，如果他们没有这样做，那么它本已准备好迎来爆发，就像在 AI 2027 中那样。但如你所见，在该情景中，实施监管时仍有许多工作岗位存在。这就回到了我之前提到的观点，即如果你等到大多数人都失业了才去监管 AI 公司，那就已经太晚了。因为到那时，他们很可能已经拥有了超级智能 AI。因为他们的策略是先获得超级智能 AI，然后再去做所有那些事情。而我认为你说这会使经济崩溃，即如果突然监管某种当时我们所有人都已依赖的事物，反而会造成更大的伤害。

噢，但这风险是完全值得承担的。确实现在很多人在很多方面都在使用 AI。但如果我们要能以某种方式放缓或停止 AI 开发，从而建立一种更好的发展方式，那即便会付出巨大的代价，也是完全值得的。但你现在没法在那边那样做，在目前这个阶段，AI 和机器人技术已经完成了大部分的劳动产出。没错。但在这种情境下，即 AI 2040 Plan A 的情境中，他们在 2029 年实施了监管。

然后他们缓慢而谨慎地开发 AI，以避免所有问题，我们稍后可以详细讨论这一点。所以最终，最终 AI 会取代这些工作。最终，基本上整个经济都由 AI 和机器人来运行。但这确实会发生。

它会贯穿整个 2030 年代逐渐发生，而不是像大家所想的那样，在一年之内发生那种疯狂的冲击。相反，他们会监管 AI 的发展，使 AI 的核心能力以更合理的节奏提升，并以更透明的方式进行，以便科学界能够了解正在发生的事情并协助确保其安全性。

我注意到在你的两种情境中，最终 AI 和机器人几乎完成了所有的工作。是的。所以当 Elon说工作将成为一种选择时，你在某种程度上是支持他的。

是的。根据定义，如果它能做所有的事情，那么它确实能做所有的事情。我认为存在这样一个问题，即我们是否应该允许存在能够胜任所有任务的 AI？有些人认为答案是否定的。我们应该直接叫停这一切，从源头上阻止这类 AI 的诞生。实际上，我们对此持某种程度的赞同态度。

我们的方案被称为 A 计划。2040年 A 计划。在这个方案中，他们放缓 AI 研发进程，将超级智能的实现时间从更早推迟到 2040 年。A 计划正是我们的建议。所以，这在某种程度上阐明了我们的建议。但为了进行比较，我们制定了几个微型场景来阐述不同的备选方案，分别称为 Plan S、Plan B、Plan C 和 Plan D。

Plan D 基本与 AI 2027 中发生的情况相同。就像竞赛仍在继续，且几乎没有什么监管。你可以在 A.I. 中阅读相关内容。Plan C 也与 A.I. 减速结局中发生的情况非常相似。即 2027 年，他们解决了对齐问题。所以在这个结局中，他们稍微放慢了脚步，将更多资源投入到 AI 对齐和 AI 安全研究中，并幸运地取得了成功。现在他们拥有了已对齐的 AI，随后再次加速，接管了所有工作，并在竞争中击败了中国以及实现其他目标。Plan B 与 Plan C 有些相似，基本上在 Plan B 中，你对中国采取更具攻击性的态度，采取行动进行破坏或网络攻击，以保持领先优势，从而为你自己解决对齐问题争取更多的回旋余地。

Plan A 是我们的推荐方案。它包含国内监管以及一项旨在以更好的方式持续构建 AI 的国际协议。Plan S 是指将其全部关闭。如果你希望拥有一个未来，且其中不存在能够以比人类更好、更快的速度完成一切任务的 AI，那么你可能需要类似于 Plan S 的方案。你想什么呢？Plan A 是我们的推荐方案。我想对 Plan S 持同情态度，但出于我们所阐述的原因，我们建议采用 Plan A。那么你认为最有可能发生的是什么？如果你实话实说的话。

Plan D。也就是他们只是某种程度上继续……就像 2027 那种类型的事情，他们会一直竞争下去。他们并没有真正地显著放慢速度，事情发生得极其迅速。该图表也大致解释了这背后的逻辑。所以，这里存在一个宏观层面的问题：你是否想要尽可能快地进行竞赛，让 AI 变得越来越智能，并将更多事务的决策权交给它们，从而让我们在与中国的竞争中胜出？如果你对此感到满意，那么你可以深入研究一下，这里有各种方案的变体。如果你对此感到担忧，那么你就得考虑类似这样的方案了。除了这些之外还有更多的选项，但这基本上是我们能压缩到屏幕上展示的几种了。

你有孩子吗？

我有两个孩子。

这有点令人难过。我觉得不管怎样，等到他们长大到能够进入劳动力市场的时候，这一切可能都已经结束了。

所以我认为他们可能永远都不会进入劳动力市场了。劳动力市场。当你提到等他们参加工作时这一切都会结束，你指的“这一切都会结束”是什么意思？

我所描述的这些里程碑，比如 AI 正在实现研究自动化，AI 变得超级智能，AI 随后向经济领域全面渗透、取代工作岗位、建造机器人工厂以生产更多机器人、建造更多工厂等等，国内生产总值开始呈垂直式增长。我指的就是这些事情，即所有这些事件的发生。或许有百分之 10、20 的概率。或者是某些情况遇到了瓶颈，即使你什么都不做，这些都不会发生。

你最大的孩子多大了？

六岁。六岁？是个男孩还是女孩？是个女孩。那么你的女儿来问你，爸爸，我该选什么？我在学校里应该学习什么？

再次重申，如果这些激进的变革真的发生，那么世界将会呈现出截然不同的面貌。你为自己准备了什么样的职业，可能到时候就没那么重要了。我会这么说。我们需要做的是，首先，努力让这一切朝着好的方向发展。比如，如果你能对历史进程以及这一切的发展产生任何影响，你就应该极力去引导未来向更好的方向前进。

除此之外，在个人层面，你应该专注于做一个好人，并去做那些本身就有意义的事情，而不是因为这些事能为你以后的就业打基础，因为未来的就业前景基本上是非常不确定的。没错。Elon 谈到了我们正在迈向的这个富足时代。富足时代。

肯定会出现富足。问题是，谁来掌控这种富足？那么他们会如何利用它呢？这些 AI 是由谁控制的吗？还是说它们在独立运作？再者，如果它们是由人类控制的，那么是谁在掌控它们？他们又在做什么？那种决定他们如何决策的政治结构又是怎样的？

我想应该是 Geoffrey Hinton 曾对我这么说过。他说在大自然中，没有哪个更聪明的物种比更不聪明的物种拥有更少控制权的先例。因此，在这样一个拥有比我大脑大上亿倍的人工大脑的世界里，我还妄想去向它发号施令，这实在太傲慢了。是的。问题就在于，我认为我们应该默认的前提是，毕竟存在这些大脑。我们无法确切地知道它们在思考什么。我们要让它们变得比我们更聪明，并将一切掌控权交给它们。然后我们还要赋予它们实体。没错。接着它们就会自主建设新的工厂等等。话说回来，这怎么看能有个好结局呢？这不就像是我们挑选了一个新的物种，等它不再需要我们时，就会在竞争中胜过我们吗？

我觉得这就是默认的发展轨迹。当然，我们还可以讨论很多关于如何摆脱这一默认轨迹的方法。例如，我之前描述过关于可解释性的研究。如果这些研究取得成果，那么你将能够真正洞察它们的思考过程。接着，那将成为一个塑造、控制它们并确保它们按我们意愿行事的绝佳工具，还有其他类型的 AI 对齐研究议程正在取得进展。如果这些议程中足够多的项目能够取得充分成功，我们就能避免这个问题。

当然，还有监管方面的问题，因为部分困难在于我们是在竞争状态下构建这些 AI 的，你明白吗？比如，各公司对自己构建这些 AI 的配方讳莫如深，因为那是他们想要保护的商业机密，以免被他人抄袭。因此，很多工作都是在不透明的情况下进行的，只有极少数人能真正看到他们用来训练这些 AI 的配方等等。而当这些 AI 表现出不可预期的行为，甚至出现明显的对齐失效时，这些信息往往不会真正流向公众，因为公司没有动力去告诉大家他们哪里做错了，或者他们的 AI 有多么糟糕。这对于解决这些问题的科学进展来说并没有多大帮助。如果监管体系有所不同，或许我们能处于更好的境地，从而取得更快的进展。此外，当然，我们并不打算以最快速度让这些 AI 接管一切。而且我们也不打算让它们自行升级，你懂的？比如，这些是我们完全可以选择不去做的事情，你明白吗？

正如你所说，Ilya 曾是 OpenAI 的领导者之一，他现在离开了并创办了自己的公司 Safe Superintelligence。在离开 OpenAI 后取名为 Safe Superintelligence，这个公司名字非常耐人寻味。你曾经和他共事过吗？

我没有直接与他共事过，曾和他聊过几次。

你认为他也是真心感到担忧吗？

我认为他是，但我认为他和其他首席执行官一样，毕竟，想想他们所面临的各种激励机制，他们虽然能看出问题所在，但也会想，如果我不干了，如果我辞职或去做别的事情，这并不能解决问题，因为其他的首席执行官还是会继续推进。即便我们所有人都不参与，中国也依然会继续推进。所以，伙计，看起来这件事无论如何都会发生，无论我是否采取行动。我想我应该参与其中，或许我能让它向好的方向发展。无论如何，我不希望当这些我不信任的人掌控一切时，自己被排除在外。于是他们都进行了类似的逻辑推演，然后说服自己，认为自己应该去构建它，并做得更好。我认为 Ilya 正是这一现象的最新例证。Elon 是另一个例子。Dario 是又一个例子。可以说 OpenAI 在创立之初也是如此。Sam 也是一个例子。尽管，就像 Elon 和 Daria 在早期就加入了 OpenAI 一样。

那么你认为他们所有人应该怎么做？

所以我认为应该发生的是某种国际监管，或者至少是国内监管，类似于我们在 Plan A 中所描述的那样。

好的，那么请带我了解一下 Plan A。

是的。在这种情境下，AI 达到递归自我完善和实现 AI 研究完全自动化的时间要比 AI 2027 中更长。我们认为应该尝试说明一系列不同的可能性，因为我们确实存在那种不确定性区间。

因此，我们选择 2030 年作为最终实现完全自动化的时刻，届时一切都将真正启动。

然后从那个时间点倒推，真正能够进行有效监管的最后时刻是什么时候？

2029 年。所以在这种情境下，AI 的发展会自然地稍微放缓，AI 公司虽然在持续竞争，但他们没能在 2027 年、2028 年或 2029 年成功实现自身的自动化，尽管他们已经非常接近，并打算在 2030 年实现这一目标。然后政府在 2029 年介入并对他们进行监管。

他们采取了什么监管措施？

他们基本上只是暂时将其关闭了。

我可以问一下，选举是如何与你们这里的时间框架重叠的吗？

因为会有一次大型选举，在 2028 年。而且现在看来，公众舆论确实已经非常强烈地转向了反对 AI，这将成为选票上的重点议题之一。我们认为，它可能成为 2028 年总统大选里最重要的问题。我认为大多数人会对事态的发展方向感到相当担忧。这也是我们选择在这种情境下以这种方式描述事物的部分原因，因为它有助于解释为什么他们可能会在 2029 年实施这类监管，即选民一直在要求这样做，而总统候选人也一直在做出承诺。

在这一情境下，到了 2027 年，普通大众感受到的 AI 后果会比现在严重得多吗？

尽管如此，即便是在这个情境下的 2029 年，他们大部分时间仍然拥有这些工作机会。因此，在该情境下， 2029 年的许多工作都涉及管理 AI agents。你提到过你有 AI agent，在该情境下， 2029 年的 AI agents 将会先进得多。不过，它们依然无法完全独立处理所有事情。在该时间线中，这类事情要到 2030 年才会出现。

我们对于时间线并不确定。事情的发展速度可能会比该情境中描述的更快。事实上，我认为事情的发展很可能会比该情境中描述的稍微快一些。但我们并不确定。我们之前已经做过极快时间线的情境推演了。所以现在我们正在构建一个时间线更缓慢的场景。

也许我们应该谈谈高层目标。他们希望 AI 继续发展，但节奏要放缓。

所谓的“他们”是指谁？

这样他们就能确保其安全性。政客们，包括总统、投票选出总统的人，还有其他国家的政府首脑等。

所以第一个目标是放慢发展速度。第二个目标是提高透明度，以便科学界能够跟上这些进展并取得更多成就。同时也是为了让我们在公司声称其系统安全时，不必仅凭其一面之词，尤其是在他们声称自己没有在系统中引入任何偏见的时候。

这是一个权力架构的问题。我们还希望避免出现权力高度集中的情况。因此，除了透明度和减缓发展速度这些举措外，我们实际上认为，在多个国家拥有多家具备相似高水平 AI 能力的公司，并让 AI 在社会中广泛普及，要远好于由单一巨型项目垄断所有顶尖 AI。

如果你做好了前两点，这种局面往往会自然而然地形成。比如，如果你减缓了发展速度并提高了透明度，那就意味着为其他项目留出了追赶的空间，透明度实际上能直接帮助它们追赶，因为它们可以借鉴其中的一些理念。

我认为第四点应该是可逆性。因此，在该情境接下来的发展中，我们将建设大量数据中心和大量机器人，我们将以一种相对较慢的节奏改变世界。这仍然是一个非常快的节奏，但相对较慢。如果进展不顺利、协议破裂，每个人又开始竞相以最快速度达到超级智能，那将是非常可怕的。因此，第四项原则基本上是：在建设新的数据中心时，确保一旦一切失控、各方重新开始竞争，这些新建的数据中心就会被销毁，这样我们就回到了原点，而不是陷入一种更加糟糕的竞速状态，即到处都是更多的 AI、机器人和计算资源。

如果你有兴趣，我可以为你梳理一下时间线。

当然。

或者与许多其他国家的领导人进行沟通，并表示：我们将基本停止 AI 开发，直到我们能制定出一套如何以实现这些目标的方式进行开发的计划。

因此，他们基本上会向彼此的数据中心派遣视察员。例如，中国的视察员来到美国的数据中心，美国的视察员前往中国的数据中心，并核实他们是在进行推理而非训练。开发新的人工智能涉及训练过程，但仅仅是利用现有的 AI 来为客户提供服务，这被称为推理。

因此，他们在此情境下提出的解决方案是，允许他们继续进行推理，但暂不进行训练，直到我们能够建立起新的训练数据中心。所以，他们对现有数据中心进行了改造，以用于支持推理。人们依然可以继续与他们的 AI Agent 进行交互，但在他们建设新数据中心的六个月到一年期间，这些 AI 将不会有进一步的提升。这些将成为透明数据中心，而训练工作将在那里进行。一旦他们在 2030 年建成 these 新数据中心，AI 研究就会继续进行。

这听起来有点争议性。

我们提倡彻底的研究透明化，这意味着在训练新模型的数据中心，他们基本上必须公开一切。这意味着你可以看到训练这些模型所用方法的所有细节，你可以看到架构等。我们认为这种开放科学对于足够快速地解决对齐问题非常重要，因为你不希望不得不通过收购公司来决定 AI 是否安全。

我们也认为这对于更广泛的良好监管很重要，因为目前世界上大多数关于 AI 的专业知识都集中在 Silicon Valley，而各国政府尤其是对 AI 的理解并不深入。

试想一种替代方案。如果不是实行彻底的研究透明化，而是建立一套审计系统，政府制定一些关于如何确保 AI 安全的规则，然后我们成立一个机构，进入公司进行询问，并试图确保他们遵守这些规则。这会造成一种对抗性的动态关系，公司会被激励去欺骗监管机构；而且如果他们发现了政府尚未察觉的新问题，他们也可能会选择不告诉政府。

是的。因此，如果实行彻底的透明化，将有助于政府更快地做出更好的决策。

但这会扼杀他们的竞争优势。

是的。Dropback 不会喜欢这个的，OpenAI 不会喜欢这个的，这对于估值来说可能是不利的。

我不认为这会彻底摧毁他们，但这意味着产品会更趋向于商品化，所以这意味着会有很多 AI 公司能够赶上前沿水平。

他们将训练出大致相似或大致等效的 AI。他们仍然可以通过这样做并出售其 AI 来赚钱，但他们不会拥有垄断地位。他们将无法拥有任何接近垄断的东西，我认为这对人类是有利的，尽管这对那些特定公司的盈利能力来说是不利的。

值得注意的是，这对许多其他公司的盈利能力是有利的。如果你是一家处于落后地位的公司，你既不是 Anthropic 也不是 OpenAI，那么你会非常喜欢这个，因为它能帮你赶超上来，或者说，它能帮你从所售卖的芯片，或者你正在制造的下游产品中获取更多的价值。

到 2031 年，届时将有五分之一的认知劳动由 AI 完成。

没错。这里的情况是，我们设想美国政府以及参与该协议的其他国家政府，正在实施类似的监管措施。它们不必完全相同。

但透明度的另一个好处在于，如果具备了这种透明度，那么当两个政府实施不同的监管时，双方都能看到彼此的规则并进行调整。因此，这有助于在一定程度上实现监管的自然均衡，而无需设立一个核心权力机构来强行规定。

总之，我们设想当它们建立起这种透明度后，它们基本会达成一致：禁止危险的内容，允许不太危险的内容。并且一直存在着持续的讨论，这种讨论会随时间不断演变。

但其核心在于，至少按照我们建议的方式执行的话，他们不会引发智能爆炸。他们不会让 AI 实现自主自我提升。相反，他们会缓慢而谨慎地扩展现有的 AI 规模，并投入大量资源寻找使其更具可解释性的方法，使其更易于控制，以便更好地理解其工作原理等。结果是 AI 的进步仍在持续，虽然速度没那么快，但安全性与透明度却得到了极大的提升。

但即便如此，仍会产生巨大的工作岗位流失。这种趋势还在持续，因为他们一直在建设越来越多的算力中心，生产越来越多的芯片，并持续制造他们的机器人。可以说，他们正在创造规模越来越庞大的 AI 群体，这导致了 2030 年代期间的巨大变革。

我们希望大家领会的一个重要信息是：即便你对 AI 的发展进行严格限制，这种剧烈的转型依然会发生。在我们的假设场景下，他们基本允许 AI 发展继续进行，但在 2030 年时节奏更慢且更安全，因此直到 2035 年才达到顶级专家水平的 AI。所以请记住，他们原本有望在 2030 年达成这一目标，但随后在最后一刻暂停了。

但由于几乎是在最后一刻才做出决定，这意味着如果他们愿意，依然可以很快达成目标，这仅仅取决于他们允许该进程持续多久。因此，他们通过放缓节奏，在五年之后达到了这一水平。到这一阶段，他们在各地已经建立了庞大的数据中心集群。

因此，这不仅仅意味着 AI 变得更聪明、能够胜任人类所能做的一切工作，还意味着它们的数量也大幅增加了。此外，还有大量的机器人随之涌现。

所以到了这个阶段，我们看到的正是许多人所构想的 AGI 时代的经济形态：到处都是 AI，数量极其庞大，能够处理各种任务；到处都是机器人，数量同样庞大，能够完成各种体力工作，整个经济体基本上由这些机器来驱动。因此在 2031 年，五分之一的认知劳动由 AI 完成。而在 2033 年，已经有 6000 万个以 100 倍速度运行的 AI。在 2033 年，所有美国人都能获得现金分红。我得解释一下这是怎么回事。

是的。如果 AI 将会取代人们的工作，那么确保人们不至于挨饿并维持经济收入就显得至关重要。

如果企业打算使用 AI 和机器人来承担所有这些工作，那么就必须建立某种税收方案，以确保民众仍能分得经济增长的一杯羹。

经济蛋糕会变得极其巨大，但你仍然需要切实地让人们分到其中的一份。关于如何实现这一点，我们的提议称之为“公民红利”（Citizens Dividend）。

从本质上讲，人们持有一家代理机构的股份，该机构负责向机器人公司和计算公司出售许可证，并从这些许可证的销售中获利。而这些人正是该实体的股东。起步阶段大约每人 25,000 美元。最终将达到每位公民每年约 1000 万美元。

这是考虑了通货膨胀吗？

是的，就是考虑通货膨胀因素。

所以，未来人们会成为千万富翁吗？

是的。如果这种情况发生——尽管可能性不大——但如果真的发生了，这也可能需要调整。

我再次强调一点：如果你的人工智能已经接近能够完成所有研究工作的程度，而你选择暂停并放慢脚步，这意味着你面前仍然存在大量的转型工作。因为如果你允许这些人工智能继续缓慢推进，并开始实现各类工作的自动化，那么几年之后，它们确实会完成这些任务。

它们将会建立起海量的新型数据中心、海量的新型芯片制造厂、海量的新型机器人以及机器人工厂等。我们对此进行了深入思考，有自己的推测，而这就是我们的中间估值。

这意味着什么呢？2037年，真相在地球上的末日般降临？

没错。这是我们认为它们达到顶级专家水平人工智能的时间点。这并非指那种在各个领域远超人类的超人工智能，因为我们刻意将其限制在顶级专家的水平。在这里，它们的发展是缓慢的，但它们已经在各个方面都表现得非常出色。所以可以认为，它们肯定已经具备了 AGI，或许也达到了弱超人工智能的水平。

因为他们拥有如此众多的 AI，而且因为它们的运行速度要快得多——这将深刻地改变社会。

所以我们谈论了它改变社会的一些方式，比如所谓的后工作时代的生活。我们谈论了在这样一个世界里，靠公民红利生活而不再有工作会是什么样子。

在这里，我们谈论了由这些 AI 所带来的所有科学变革和社会变革。例如，包括癌症治疗方法，以及人们住在两年前由机器人建造的公寓里等事情。

2036年，前提是我们要在2029年停下来，而且这还是一个保守的估计。

这是一个保守的时间框架。

是的。不幸的是，我实际上认为默认情况下事情的发展速度会比这更快。如果我们不减速，事情发生的节奏将会比这快得多。

一旦你达到那种程度，拥有了十亿个日夜不停运行的 AI，并且它们在每一项事务上都胜过最优秀的人类，那么它们正在从事大量的科学研究、进行深入的思考。每个人都在不断地与自己的 AI 助手进行交流，诸如此类。将会取得大量的科学进步。政治和意识形态将发生巨大的变革，这将会极具颠覆性且令人疯狂。

我对于“地球上真相的末日式竞争”这一概念还不是很清楚。

这仅仅是因为有太多的 AI 变得如此智能，以至于它们正在不断揭示并做出新的科学发现。

让我给你举个例子，测谎仪。这就是一种可能会被发明出来的技术示例。

是的。目前我们还没有很好的测谎仪。我们现有的测谎仪性能非常差，它们勉强能用，但并不能完全正常工作。

但一旦这些顶尖专家级 AI 以人类 100 倍的速度思考了多年，且其数量达到数十亿，同时还能利用机器人工厂进行研究等工作，它们很可能会发明出海量的技术。也许它们会发明出真正对真人有效的测谎仪，那会产生巨大的社会影响，想象一下，一位总统候选人说：那些指控是虚假的，为了证明这一点，我将接受测谎仪测试，并声明它们是虚假的。

我刚才就在思考整个司法系统以及它将如何被彻底颠覆。

事实上，理论上你走在街上可能就会被要求接受测试。

这既令人恐惧又令人兴奋。我们本节讨论的一件事是，测谎仪的发明可能会带来非常糟糕的后果。例如，它可能促成一种新型极权主义，当权者，比如首席执行官和政客们，强迫下属接受测谎仪测试，并要求他们表态：我忠于敬爱的领袖，我绝不会做任何违背敬爱的领袖的事。如果你在撒谎，你就在劫难逃了。如果你在撒谎，你就会被解雇。所以，测谎仪技术存在大量非常有害的用途。

它也有好的用途。从广义上讲，我认为测谎仪好的用途在于当它被用来监督掌权者，而不是被掌权者所利用时。

这是什么情况，2040年，要把火炬传给 AI 吗？

是的。所以他们在顶级专家级 AI 水平上暂停了研发。他们之所以暂停，是因为他们的安全方案还不足以支撑超越该水平的研发。

在这些年建立的各类监管体系中，大致的运作方式是：当你开发一款新的 AI，并试图将其部署到某些领域时，你必须提供某种安全方案，说明你的意图以及为什么你认为它会按照你预想的方式运行。特别是，为什么 AI 会按指令行事，以及为什么不会发生像 AI 接管世界那样极其糟糕的事情。

当 AI 尚未具备自动化一切的能力时，提出这类安全论证相对容易。但它们越强大，要证明一切都会安然无恙就越困难，因为 AI 的能力越强，它们能做出的事情就越多。如果它们真的不可信，那么潜在的负面后果也会更大。

这就是为什么他们停留在当前水平的原因，因为他们意识到如果继续深入，可能会真正失去对一切的控制。

但在当前水平上，他们被安全论证说服了，认为一切尚可，但他们不想再进一步。所以他们到此为止。

随后在 2040 年发生的事情是，他们取得了重大进展，在科学层面（包括对齐领域），找到了以稳健方式实现真正对齐的 AI 的方法。这样他们才能真正信任 these AI，并允许它们再次变得更加聪明。这就是我们将整个愿景称为 AI 2040 的原因，因为在 2040 年，他们将松开制动器，允许 AI 变得远比人类聪明。

我想，这只是一个计划，也是一种希冀。

是的。我们要区分“这是我们的建议，这是我们希望发生的事”与“这是我们认为默认情况下会发生的事”，这一点很重要。

目前，我们确实认为这有可能实现，但这需要很多人觉醒并给予更多关注，去倡导类似愿景的实现。因此，我们的主要情境探讨的是所采取的政策选择及其对社会产生的广泛影响。

好的。

在 2029 年，每个人都在互相叫嚷。各国总统正在进行某种谈判。虽然他们暂停了 AI 的发展，但你仍然可以使用现有的 AI，所以感觉并没有太大不同，尽管这确实是一件令人兴奋的事情。

2031年，他们重启了进展。AI 变得非常智能。更多的人失去了工作。它开始真正地产生实际影响，但我认为大多数人仍然保住了工作，只是他们的工作方式发生了某种转变。

所以，到 2031 年，大多数白领工作在很大程度上都涉及与 AI 协作、管理 AI 团队，或是以某种方式与它们协同工作。此外，像 robo-taxies 这类事物基本上已经可以投入运作了。

关于全民分红，理想情况下，这理应更早实现。就像在我们的设想中，他们总是拖到最后一刻才采取行动。所以，很多这类政策举措几乎都是在紧要关头才出台的。我们建议能够更早地付诸行动，并做得更好。

那么在 2033 年，你开始收到分红支票。所以你的预测是，将会有一笔全民补助支票，而且金额会随之增加。但同时，这也意味着就业替代现象开始显现，他们需要增加那笔支票的金额。这就是为什么现在几乎是最后的关键时刻。

因为如果你等到 2037 年左右才实施这一举措，那么到那时每个人都已经失业了。人们失去工作，尤其是当这种情况像我们在这类图表上看到的那样迅速发生时，从理论上讲，会导致社会动荡、人生目标缺失等一系列严重后果。

是的。你对此有何看法？

这将是一段艰难的时期，希望我们能够妥善应对。我们认为从宏观层面来看，人们需要获得金钱，同时也需要掌握权力。我认为这两者是有所区别的。

为什么工作如此重要？

工作之所以重要有很多原因，但我认为最主要的还是因为，这是人们获取金钱的方式，这样他们才能生存下去，并购买他们想要的东西。

因此，如果人们将要失去工作，就需要有其他途径让人们获得收入。

此外还有权力的问题。目前，人们拥有的政治权力在一定程度上源于他们的经济实力。例如，人们可以威胁要进行罢工。但如果最终世界变成除了 AI 公司和机器人公司外，没有人再缴纳税款，那么作为政府，你们关心普通民众想法的动力就会减弱。所以，当人们失去工作时，他们不仅面临失去收入的威胁，他们还面临着失去政治权力的威胁。因此，我们认为采取行动来抵制这种趋势至关重要。

这具体是什么样的呢？在这样一个世界里，人们如何拥有权力？

至少在民主制度下，他们仍然拥有投票权。

我认为对 AI 的使用进行监管非常重要，这有助于使公共话语更加理智，避免大众被 AI 驱动的媒体操纵。我们希望处于这样一种境地：人们拥有的 AI 是真正值得信赖的、追求真理的、诚实的，并且没有任何政治立场，不管是 AI 公司或政府强加给它们的政治议程。

你想要避免出现这种情况：AI 公司或者政府发布了某种秘密指令，要求 AI 必须以某种特定的方式运行。Department of War（国防部）与 Anthropic 之间的争议就像是这种情况的一个有趣预兆，当时 Anthropic 正将他们的 AI 提供给美国国防部。国防部想要将这些 AI 用于某些特定用途，但对于 Anthropic 的 AI 被限制不得用于此类用途感到不满。

这些具体用途包括国内监视和自动机器人。未来将会出现更多类似的问题，我们需要确保人们清楚自己所使用的产品是什么。

如果人们每天花费数小时与聊天机器人交流，那么该聊天机器人不应被植入政治偏见或秘密议程，而应该经过训练，能够对各类问题给出诚实、真实的回答。这将有助于改善社会舆论，帮助人们更好地行使投票权，从而推动制定更完善的法规并选出更优秀的政治家。你甚至可以尝试以此为契机，构建某种机制，让民众的权力比今天更加稳固。

我们已经部分讨论过很多这类内容，例如战争、无人机和导弹，目前我们在世界各地已经看到了这些现象，这确实非常引人深思。我们也讨论过机器人数量超过人类的可能性，这也是该预测的一部分。其中有些观点我觉得非常有意思，比如无论人们走到哪里，都会受到 AI 的保护。

没错。在这种情境下，他们把超级智能的创造时间推迟到了 2040 年。事实上，他们在 2035 年暂停了，但随后在那之后又放开了限制，让 AI 变得极其超智能。

我们认为，一旦 AI 变得极其超智能，世界将发生比 2030 年代所经历的更为彻底的变革。

因此，在该情境下的 2030 年代，情况更接近人类水平。要知道，AI 并不是在做其他事情，它们所做的是人类专家本会做的事情。它们只是做得更好一点、更快一点，而且成本低得多，而且它们的数量要多得多。机器人依然在做着人类工人本会做的同样的事情，只是它们的数量更多，且成本更低。由于指数级增长，你会发现 2029 年的世界看起来与今天并无太大不同。到了 2039 年，你将置身于一个彻底变革的世界，每个人都住进这种两年前由机器人建造的豪华新公寓里。到处是巨大的经济特区，里面布满了机器人、太阳能电池板和工厂。经济的主体变成了 AI 和机器人，人们不再需要工作了。这种程度的转型，就是如果你在人类智能水平上止步不前所能达到的效果。

但如果你超越了超级智能，将会迎来另一种看起来更像是魔法的彻底变革。想象一下，今天的科技在 500 年前的人看来会多么像魔法，而且这甚至还没算上智能层面的质的提升。

就像今天的人类并没有比 500 年前的人类在本质上更聪明。只不过是我们拥有的发展时间更长而已。

但如果到了某个节点，出现了数十亿甚至更多的 AI，它们不仅比人类速度更快，而且在所有方面，特别是在进行科学研究方面，在质量上都远超人类，那么我们应当预料到，它们所开发出的一些事物对我们而言将如同魔法一般，甚至完全超出了我们认为可能的范围。

人们不想死，不想被车撞，不想遭到随机的大规模杀人犯的袭击。癌症消失了？

不仅仅是癌症。科幻小说中发生的许多事情到那时可能都已经实现了。比如人们扫描自己的大脑并上传到计算机中，或者是在小行星带中进行自我复制的机器人，制造越来越多的卫星来产生越来越多的能量。

大多数人仍然居住在地球上，但趋势是向太空迁移？

没错。

是的。如果未来出现一种情况，即整个人类经济与整体经济规模相比仅仅是沧海一粟，而绝大多数经济活动是由运行速度极快的机器人和 AI 驱动的，那么你自然希望地球能被保留下来，当作某种自然保护区。很多人担心环境会被破坏，如果不加以保护，这种情况确实会发生。而且，也有许多人喜欢他们目前的生活方式，不希望被上传意识，也不想生活在那种疯狂的未来新事物中。

在我们看来，解决这些问题的合理方案是：利用那部分巨大的经济财富和活跃的生产力，在地球之外为那些追求那种生活的人们创造新的居住空间。这样一来，地球就能得到保护。

我们的提案是保留约 99% 的地球原貌，主要出于历史或环境原因。但与此同时，你可以将部分地区指定为 economic zones，让机器人可以在那里尽情挖掘巨大的露天矿场、建造工厂等等。我们曾认为，出于多种原因，将数据中心建在海洋上而不是陆地上会更好。虽然以后在太空中建设会更好，我也能理解那是合理的选择。

在一个 AI 世界中，永生会是怎样的？目前有很多亿万富翁都专注于长寿问题。可以预见的是，有了超级人工智能，我们将能够选择何时死亡。

没错。我想那大概是对的。我们在这部分内容中没有描述那种情况的发生，因为在这部分里，他们所拥有的只是人类水平的 AI，但那是超级智能完全可能通过多种手段实现的事情之一。

你对这一切的期望是什么？你为什么要这么做？丹尼尔，你为什么要制定这个 2040 计划？

在预测发布后的第一周左右，它的传播规模比我们预期的要大得多。

这完全超出了我们的预期。

但在那场 Twitter 风波中，很多人问：为什么你们要抛出这么多末日般的悲观预测？比如，能不能给出一个更积极的愿景，告诉我们你们认为应该怎么做？我觉得这种想法植入了我们的脑海。于是我们觉得确实有道理。我们之前描述了我们认为的默认发展路径，现在也许我们应该转换思路，提出一些切实可行的建议，并把那样的未来也描绘出来。

即便你并不认为那很有可能实现。

是的。即使你并不确信某位政治候选人会赢，你依然可以投票给他。如果你觉得毫无机会，那么或许就不必费心了。

但我们认为是有机会的。特别是因为我们在场景中描述的原因，我们认为人们在未来几年内将意识到 AI 的力量。

是因为发生了什么事吗？

这些公司声称他们会这样做，而且他们也确实步入正轨了。如果他们能达到接近这种水平的 AI，那么出现重大的议题和问题也是合乎情理的。因此，即使没有发生什么非常戏剧性的预警事件，人们也会自然而然地开始更多地关注这一点。因此，人们自然会对 AI 监管产生更大的兴趣。事实上，这种情况其实正在发生得更多，比我们预期的要多。

更多什么在发生？

对 AI 监管的认真关注。所以，在我们发布 AI 2027 的时候，科技公司和政府的主流观点基本上还倾向于认为 AI 监管是个坏主意，随它去吧。现在看来，对话内容已经发生了很大变化。

政府似乎正在觉醒，采取的行动已经超出了我们的预期。我们确实希望这种趋势能够持续下去，并且在一切为时已晚之前，政府内部、政府外部以及整个社会能够就所有这些问题进行非常严肃的讨论，并努力规划一条道路，以避免我们之前提到的失控风险和权力集中风险。

你已经思考这些问题差不多快 15 年了。如果这里有一个按钮，如果你按下它，它将永久关闭目前正在训练前沿 AI 模型的所有数据中心。此后将再也不会有任何 AI 实验室致力于解决这些问题。你会按下那个按钮吗？

我本来打算直接按下去的，直到你说要永久关停。

如果只是某种暂时的关闭，我绝对会毫不犹豫地按下那个按钮。因为我们还没准备好迎接这一切，你懂吗？

文明还没准备好让这些公司实现自动化，最后拥有超级智能，完全没有。

这其中有很多原因说明它是非常危险的。但我如果按下这个按钮意味着永久排除了未来再进行这项研究的可能性，我肯定会感到犹豫。但如果你让我在这场竞速与永久关闭之间做选择，我想我会按下它。

这取决于你的想法，因为如果你认为这就是将会发生的情况，那就是唯一替代方案。

我没说这就是一定会发生的情况。

那么，基于你目前对任何一种你认为会发生的情况的看法，你会按下那个按钮吗？

这很难说。此次关停的范围有多大？

是的，就是再也没有人能训练 AI 模型了，永远都不行。

那真的很残酷，因为就像我说的，如果我们做得对，AI 能带来很多好处。在某种程度上，我觉得我几乎把你置于了 Sam Altman 的位置。我不介意花点时间思考一下，你介意吗？

我更希望你能够深思熟虑。

好的。

我觉得我不会按下那个按钮，但我对此感到非常纠结。我认为我不会按下按钮的原因是，我仍然怀有巨大的希望，相信我们能获得比现在更好的结果，某种更接近于此的结果。

我不认为当前的人类文明处于极其稳定的状态。所以，我原本想说的是，为了后代以及未来可能存在的数十亿人，这些潜在利益超过了当前的风险水平。

但我现在觉得，眼下的人们才是我们应该优先考虑的对象。当下的人们正处于严重的危险之中。你确实问了我一个难题。

那么如果这就是那个按钮，你会按下去吗？

可能不会，但我会感到非常纠结。

好的。我一直在思考观看节目的观众，正如我们所见，他们对 AI 这个话题非常好奇，但他们想知道这对他们意味着什么。我想他们中也有很多人想知道自己能做些什么。

我认为如果你有天赋或热情，就可以直接参与其中。有很多组织正在关注这些问题并试图采取行动。但如果你不想做出重大的职业转型，那么我建议你多关注这些议题，并与他人多加交流。

比如去做一些力所能及的事，给你的国会议员写邮件之类的。

这或许不会带来翻天覆地的改变，但确实会有所帮助。我认为特别是针对这个问题，核心困境在于人们尚未予以足够的重视。如果这些内容已经成为大家关注的焦点，我们根本就不会坐在这里讨论这些了。

因为那样的话，应该早就已经有了更加重要的监管措施到位了，你明白吗？总之，我认为越来越多的人意识到这些担忧并关注这些预测，我们就越有可能在为时已晚之前做出积极的改变。

那么他们应该如何在投票站进行投票呢？

美国再过几年就要举行选举了，但世界各地随时都在发生选举。

你应该去询问候选人对这些 AI 相关问题的看法。

你应该尝试让他们表达观点，然后投票给那些在这一议题上见解更佳的候选人。这或许是我们一生中、甚至事实上是整个人类历史上最重要的事情。确保其朝着良好的方向发展至关重要。

生活在这一时刻，难道不觉得非常奇妙吗？

你刚才在讲话时我一直在思考，我想那是因为你把它比作某种终局演出。

没错。

出生在这个走向高潮的阶段是多么疯狂的一件事，你在此描述的一切，如果如你所愿，极有可能在我有生之年内发生。

没错。能活在这样一个疯狂的时代。

确实。

我注意到当我问你是否有孩子时，你的神情发生了相当明显的变化。这就像是你突然进入了另一种状态。显然，这正是你所经历的深思熟虑的核心。

确实是这样。这确实是个令人悲伤的话题。就像我当初要孩子的时候，要孩子的原因在很大程度上是为了未来，你明白吗？这不仅仅是为了当下能有个可爱的小家伙陪着你。而是因为你对他们的成长、对他们如何去闯荡世界、如何成为独立的个体等，怀揣着各种希望和梦想。而由于 AI 的发展，我认为那些梦想中的许多都受到了威胁。

想必你还是会选择要孩子。

其实我偶尔也会在这件事上反复权衡。

总而言之，最直接的答案是我也不确定。我的第一个孩子出生了，我们是在2019年有的她，她出生于2019年。

所以这发生在我对时间线的预期大幅缩短之前。那时我对 AI 很感兴趣，一直在关注该领域并进行预测，但我并没有真正预料到它会这么快发生，你知道吗？后来这引发了……当我真的开始思考时，比如：天哪，这件事真的很快就要发生了。

比如到2030年左右，这导致了一些反思。我基本上告诉妻子说：我们别再生孩子了，未来太不确定了。但这结果变得非常困难，特别是对于我妻子而言，因为我们已经有了一个孩子，而孩子没有兄弟姐妹……所以最终我算是妥协了，觉得反正已经有一个了，一切都会好起来的。也许未来会是美好的，即便不是，我们也都处在同一条船上。

你说的话让人感到不寒而栗。这让人不寒而栗，因为你知道的内情比我多。如果你在家对妻子说：听着，也许我们应该考虑暂时不要再生孩子、不再扩大这个家庭了，因为 AI 的发展形势。明确地说，这非常令人担忧。我确实，我确实感到不寒而栗。这太糟糕了。

这正是我一直以来所说的。我希望一切顺利。我认为事情可能会进展顺利。我认为我们有很多事情可以做，比如引导事情向更好的方向发展。不得不说，这也是其中之一。我想说的是，仅仅谈论它，我认为我们已经看到政府开始觉醒，而且正如你所知，我们看到了一些人在某些活动中起哄的情况。

是的。这是否源于像你这样的人实际上参加了这类节目以及所有其他播客，并告诉我们正在发生什么？

是的。因为公平地说，否则我们会被那些拥有最庞大公关机器的人所误导。

是的。所以我经常觉得，也许我应该说，我发现自己处于一种矛盾的心态，因为我是一名企业家，而且我是一名投资者。我现在投资的公司可能超过了100家，其中许多公司都在使用 AI。我投资了推理芯片公司 Groq。我还投资了 SpaceX，他们现在拥有另一家 Groq，并且也在开发 AI。我的日常生活中每天都在使用 AI。在这次对话中，我一直通过 AI 来理解你所说的不同内容。所以这是我的一面，作为一个商业建设者和企业家，我已经在自己的生活中看到了 AI 带来的益处。然后是我的另一面。

很有意思，因为我认为人们有时觉得必须选择一个阵营。但我的一生中，即使在我身处社交媒体领域时，我也会说，顺便提一下，听着，我虽然在打造社交媒体业务，但我认为社交媒体也存在一些弊端。我发现自己正处于这样一个时刻，一方面我利用 AI 进行构建，我持有 AI 相关的投资，但同时，作为一名普通公民，我又会有这样的想法。

是的。我认为这是一种张力。我认为有多种方式可以划定界限。所以，我也认识许多以各种不同方式划定界限的人。有些人就是单纯地觉得，我不会使用 AI。我觉得这些东西很糟糕，且正处于一条错误的轨道上。所以我打算抵制 AI，我并非那种人。我经常使用 AI。我们在 AI Futures Project 的每个人都这样做。这对我们的许多工作都很有帮助。而在光谱的另一端，有些人认为，看起来它正处于必然发生的轨道上。

所以，为了让事情朝着好的方向发展，我们要做的就是参与其中，积累力量，并尝试从内部去引导它。

所以我打算去 OpenAI 或 Anthropic 工作，尝试通过晋升掌握实权，这样当重大决策制定时，我能成为那个有话语权的人。

我认识很多这样的人。

我当时就是这么做的，当我还在那个阶段的时候。虽然并不完全是那样做的，但这确实是那种路径。在某种程度上，这正是所有这些公司所宣扬的叙事，这就是为什么他们会自我开解说这样做没关系，因为他们担心的是其他人，你懂吗？所以，这些人都在决定，我们要投入得更深一些。我们要，在做重要决策时身处现场，你懂吗？所以这里存在一个完整的立场光谱。而我大概处于中间地带。我并没有在 AI 公司工作，也不是在帮助他们加快研发进度。相反，我是在与大众交流并试图倡导——倡导我认为的、目前能想到的最好出路，也就是前进的方向，你懂吗？但我并不是在抵制所有 AI，我并没有拒绝以那种方式去接触它。

你认为现在为时已晚吗？

不。我不认为为时已晚。如果我认为已经太晚了，我就不会在这里了。

那你会在哪里？

和我的家人在一起。

你对公众最后的寄语是什么？如果你必须对他们发表一段结束语的话。

也许我会说，你将会听到很多事情，而且你已经听到了很多关于 AI 的讨论，这些听起来可能像科幻小说一样。但有时听起来像科幻小说的事情，确实会在现实中发生。

事实上，从历史的角度来看，许多曾经的科幻构想后来都成为了现实。人们需要停止纠结于什么听起来像科幻、什么听起来不像，而应该开始关注这项技术实际的发展趋势，研判并预测其走向，认真审视其演变为现实的可能性，进而思考应当如何应对。

你建议他们去哪里获取更多信息？

你可以访问 ai2027.com 阅读我们之前的设想方案。你可以访问 ai2040.com Plan A 阅读我们关于应采取何种行动的新建议。

这些内容不仅仅是科幻故事。它们还包含大量解读说明以及指向其他内容的链接。

因此，它们是了解所有这些信息的一个不错的切入点。如果你愿意的话，在本次谈话结束后，我可以提供一份阅读清单，包括其他论文、文章以及值得关注的博客等。我会把它们全部链接在下方的评论区里。所以，如果你现在正在收听，请直接查看评论区以及本集节目的简介。

你会看到一连串的链接，这些是丹尼尔推荐的阅读材料。

我认为现在是一个非常、非常好的学习时机。关于这些内容，由于认知失调，人类有一种倾向，即当我们对某事感到不安时，会选择掩耳盗铃并回避它。

没错。

但实际上，我认为现在正是应该反其道而行之的时候，原因有很多：既是为了充实自己从而知道该采取什么行动，也是因为 AI 不可避免地将成为我们所有人生活和职业生涯中重要的一部分。

谢谢你。这确实是一个很好的说法。它将产生巨大的影响。很快它就会无处不在。你需要在为时已晚之前采取行动。那么 AI Futures Project 又是怎么回事？

那是我们的组织。

我离开 OpenAI 后花了一年时间编写 AI 2027，之后又花了一年时间编写 AI 2040 Plan A。

丹尼尔，谢谢你。

谢谢。

感谢你所做的一切工作。我能看出你对此有多么关切。有趣的是，关切本身就能让别人感受到被关怀。看到这件事对你个人而言意义重大，看到你为之倾注了毕生心血，而且听说你为了能向公众披露这些信息，基本上放弃了 200 万美元的收入，这令人无比钦佩。我认为在这一议题上，像你这样的声音现在比以往任何时候都更加重要。所以，请务必继续坚持你所参与的这场抗争。而这正是关于信息的一点，它是关于诚实的，它是关于说出那些通常被隐而不言的事情。谢谢你做非常、非常睿智的研究。