llya最新判断：Scaling Laws逼近极限，AI暴力美学终结

在硅谷的叙事体系里，Ilya Sutskever 是一个少数可以被称作“图腾”的名字。

作为 ImageNet 革命的重要推手、OpenAI 的联合创始人、GPT 系列的关键缔造者，他几乎定义了过去十年深度学习的前进方向。

但就在全球产业都把赌注押在“堆更多 GPU、做更大模型”之上，试图用规模化（Scaling）去撞开 AGI 的大门时，这位技术奠基者选择了另一条路：创立SSI。

11 月 26 日凌晨，Safe Superintelligence（SSI）首席执行官、OpenAI 联合创始人伊利亚·苏茨克维（Ilya Sutskever，下称苏茨克维）在接受播客主持人德瓦克什·帕特尔采访时，罕见系统地谈论了他对当前 AI 路径的核心判断：

1、预训练时代的突破在于，它提供了一套可复用、几乎必然奏效的“配方”：准备足够的数据、算力和一个能撑住规模的模型结构，性能就会持续上升。

如今，规模法则正在接近极限。强化学习的算力消耗巨大，却并不能算作真正的“扩展”。同时，扩展与浪费算力之间的界线变得模糊。

这意味着行业正在从“规模驱动”重新回到“研究驱动”。科研确实需要算力，但并不需要绝对最多的算力。真正需要的是正确的问题和新的方法。

2、停滞时代的 AI 公司将趋同，但仍能赚取巨额收入。就算创新放缓，各公司依旧会取得显著进展并获得高额收入。差异化可能变得更难，但“停滞”并不意味着“衰落”。

如果模型被限定在某些领域，它们一样可以极其强大，你可以拥有许多功能狭窄的超级智能。

3、人类能迅速学习，是因为进化内置了强大的通用学习机制。人类学习速度快，不是因为我们预装了大量知识，而是因为进化为我们挑选了一小批极其有用的先验。

我们之所以能在极短时间内掌握技能，是因为大脑就是一种高度通用、极其高效的学习系统。这为人工智能提供了启发：未来的突破来自更强的学习方式，而不是简单扩展规模。

4、当 AI 足够强时，许多今天不存在的社会行为会出现。强大的 AI 很可能带来“全民高收入”，极大提升生产力，政治结构、体制与治理方式都会随之重塑。

在这种世界里，每个人都将拥有一个为自己行动的 AI。真正的风险在于，人类可能逐渐从参与者变成旁观者。保持主体性的答案之一，是与 AI 建立更深层的耦合，让人类继续能够理解并参与 AI 所处的情境，脑机接口是一个可行的方案。

5、超级智能最令人担忧的并不是它的意图，而是它的力量：当一个系统强大到足以决定一切时，即便它的目标是善意的，人类仍可能不喜欢它实现目标的方式。力量本身就是风险，而非动机。

6. 真正的研究品味来自对“美学信念”的坚持：美、简洁、优雅。

研究品味来自对简单而清晰的信念的坚持：人工智能应该符合大脑的本质结构，但要以正确方式理解大脑。

重要的不是大脑的形状，而是神经元的数量、连接的可塑性，以及通过局部规则从经验中学习的能力。这些是“事情本该如此”的基础。

当这些元素同时出现时，你才会对方法产生真正的信心。这种信心，就是自上而下的信念：当数据暂时不支持你的猜想时，它仍能支撑你继续前进，因为你相信背后存在内在的正确性。

以下为苏茨克维专访实录：

01 模型考试满分，实战翻车

伊利亚·苏茨克维尔：你知道最不可思议的是什么吗？这一切都是真的。

德瓦尔凯什·帕特尔：什么意思？

伊利亚·苏茨克维尔：你不觉得吗？所有这些人工智能的东西，还有旧金山湾区的一切……这一切都在发生。这难道不是科幻小说里的情节吗？

德瓦尔凯什·帕特尔：还有一点很不可思议，那就是人工智能缓慢起步的感觉竟然如此正常。想想我们之前计划将GDP的1%投资于人工智能，我觉得这应该是一件大事，但现在却感觉……

伊利亚·苏茨克维尔：事实证明，我们很快就能习惯一些事情。但这同时也有点抽象。这意味着什么呢？这意味着你会在新闻里看到某某公司宣布了某某金额的融资。你看到的就只有这些。到目前为止，你还没有真正感受到其他任何形式的影响。

德瓦尔凯什·帕特尔：我们真的应该从这里开始吗？我觉得这是一个很有意思的讨论。

伊利亚·苏茨克维尔：当然。

德瓦尔凯什·帕特尔：我认为你的观点，即从普通人的角度来看，一切都没有太大的不同，即使在奇点到来之后也仍然成立。

伊利亚·苏茨克维尔：不，我不这么认为。

德瓦尔凯什·帕特尔：好的，有意思。

伊利亚·苏茨克维尔：我之前提到的那种感觉，就是感觉没什么不同，比如说，某某公司宣布了一笔数额巨大的投资，金额之大令人难以置信。我觉得没人知道该怎么应对这笔投资。

但我认为人工智能的影响终将显现。人工智能将会渗透到经济的各个领域。这将受到非常强大的经济力量的推动，我认为其影响将会非常显著。

德瓦尔凯什·帕特尔：你预计何时会产生影响？我认为这些模型看起来比它们所暗示的经济影响要更智能。

伊利亚·苏茨克维尔：是的。这正是目前这些模型最令人困惑的地方之一。如何解释它们在评估中表现如此出色这一事实？你看那些评估结果，会觉得“这些评估相当严格”。它们的表现确实非常出色。但经济影响似乎却远远滞后。这很难理解，一方面，模型能做出如此惊人的预测，另一方面，在某些情况下，它们又会重复同样的错误两次？

举个例子，假设你用Vibe Code来做某件事。你去某个地方，然后遇到了一个bug。你告诉模型：“你能修复一下这个bug吗？”模型说：“我的天哪，你说得太对了。我的确遇到了一个bug。让我去修复它。”

然后它又引入了第二个bug。接着你告诉它：“你又遇到了第二个bug。”它又说：“我的天哪，我怎么会犯这种错误？你又说对了。”然后它又把第一个bug放了回来，你可以交替地在这两个bug之间切换。这怎么可能呢？我也不确定，但这确实表明有些奇怪的地方正在发生。

我有两种可能的解释。比较异想天开的解释是，强化学习训练可能使模型过于单一、过于狭隘，缺乏一定的感知能力，尽管它也在某些方面提升了模型的感知能力。正因如此，它们无法完成一些基本任务。

但还有另一种解释。以前人们进行预训练的时候，训练数据的选择问题已经有了答案，因为答案就是所有数据。预训练需要所有数据，所以你不需要考虑是用哪些数据。

但是，当人们进行强化学习训练时，他们确实需要思考。他们会说：“好的，我们希望针对这个事物进行这种强化学习训练，针对那个事物进行那种强化学习训练。” 

据我所知，所有公司都有团队负责创建新的强化学习环境，并将其添加到训练组合中。问题是，这些环境究竟是什么？自由度如此之高。你可以创建种类繁多的强化学习环境。

有一件事你可以做，那就是人们会从评估结果中汲取灵感。你会想：“嘿，我希望我们的模型发布时表现非常出色。我希望评估结果看起来很棒。什么样的强化学习训练可以帮助我们完成这项任务呢？”我认为这种情况确实存在，而且它或许可以解释很多正在发生的事情。

如果将这一点与模型泛化能力不足的情况结合起来，就有可能解释我们所看到的很多现象，即评估性能与实际现实世界性能之间的脱节，而我们今天甚至还不理解这种脱节意味着什么。

德瓦尔凯什·帕特尔：我喜欢这种观点，即真正的奖励机制被滥用的是那些过于关注评估结果的人类研究人员。

我认为有两种方法可以理解或思考你刚才提出的观点。第一种方法是，如果一个模型仅仅在编程比赛中表现得像超人一样，并不会自动变得更有品味，也不会对如何改进代码库做出更好的判断，那么你应该扩展测试环境，使其不仅仅局限于在编程比赛中的最佳表现。它还应该能够针对特定需求（例如 X、Y 或 Z）开发出最佳的应用程序。

另一种观点，或许这正是你想表达的，那就是：“为什么在编程竞赛中取得超人般的成绩，就不能让你成为一个更优秀的程序员呢？”或许正确的做法并非一味地增加比赛环境的数量和种类，而是找到一种方法，让你能够从一种环境中学习，并提升你在其他环境中的表现。

伊利亚·苏茨克维尔：我有一个可能对你有帮助的类比。既然你提到了算法竞赛，我们就以它为例。假设有两个学生，其中一个学生立志成为最优秀的算法竞赛选手，于是他投入一万个小时练习这个领域。他会解决所有问题，记住所有证明技巧，并且能够快速准确地实现所有算法。通过这种方式，他最终成为了顶尖选手之一。

二号学生心想：“哦，编程竞赛真酷。”也许他练习了100个小时，甚至更少，但他也取得了非常好的成绩。你认为哪位学生将来在职业生涯中会发展得更好？

德瓦尔凯什·帕特尔：第二个。

伊利亚·苏茨克维尔：没错。我觉得基本上就是这样。这些模型更像第一个学生，甚至更胜一筹。因为我们会说，这个模型应该擅长算法竞赛，所以我们会收集所有曾经出现过的算法竞赛题目。然后我们进行一些数据增强，这样我们就有了更多的算法竞赛题目，并用这些题目进行训练。现在，你就得到了一个非常优秀的算法竞赛选手。

我觉得用这个比喻更容易理解。没错，如果它训练得这么好，所有不同的算法和证明技巧它都能轻松掌握。但更直观的是，即使它具备了这种能力，也未必能推广到其他领域。

德瓦尔凯什·帕特尔：那么，第二个学生在进行 100 小时的精细调整之前所做的事情，又该如何类比呢？

伊利亚·苏茨克维尔：我觉得他们具备那种“特质”。那种“特质”。我记得我读本科的时候，有个学生就是这样，所以我知道这种特质是存在的。

德瓦尔凯什·帕特尔：我认为区分“它”和预训练本身的作用很有意思。理解你刚才说的预训练不需要选择数据，其实可以把它理解为和一万小时的练习很相似。只不过这一万小时的练习是免费的，因为它已经存在于预训练数据分布中了。但也许你的意思是预训练的泛化能力其实并不强。预训练的数据量虽然很大，但它的泛化能力并不一定比强化学习更好。

伊利亚·苏茨克维尔：预训练的主要优势在于：A，数据量非常庞大；B，你无需费心考虑应该使用哪些数据进行预训练。这些数据非常自然，包含了人们的许多行为特征：人们的想法和许多个人特征。它就像是人们将整个世界投射到文本上的过程，而预训练正是试图利用海量数据来捕捉这种投射。

预训练很难理解，因为很难明白模型是如何依赖预训练数据的。模型出错时，会不会是因为某些信息恰好没有得到预训练数据的充分支持？“预训练的支持”或许只是个不太准确的说法。我不知道还能补充什么有用的信息。我认为人类的某些行为方式与预训练并无直接对应。

02 情绪，是一种价值函数

德瓦尔凯什·帕特尔：以下是一些人们提出的关于人类“前期训练”的类比。我很想听听你们的看法，为什么这些类比可能存在问题。一种类比是思考一个人生命的前18年、15年或13年，这段时间他们未必具有经济生产力，但他们所做的事情让他们更好地理解世界等等。另一种类比是将进化想象成一场持续30亿年的探索，最终形成了人类的一生。

我很好奇你是否认为这两者类似于预先训练。如果不是预先训练，你会如何看待人类终身学习？

伊利亚·苏茨克维尔：我认为这两者与预训练有一些相似之处，预训练试图同时扮演这两者的角色。但我认为它们之间也存在一些很大的差异，预训练数据的数量非常非常庞大。

德瓦尔凯什·帕特尔：是的。

伊利亚·苏茨克维尔：不知何故，即使人类拥有预训练数据的一小部分，经过15年的训练，他们所掌握的知识仍然远不及人工智能。但无论他们掌握了什么，他们的理解都更加深刻。到了那个年纪，你都不会犯人工智能会犯的错误。

还有一点。你可能会问，这会不会跟进化有关？答案是也许吧。但就这件事而言，我认为进化论可能更有优势。我记得读过相关的案例。神经科学家了解大脑的一种方法是研究大脑不同区域受损的人。有些人会出现你想象不到的奇怪症状。这真的很有意思。

我想到一个相关的案例。我读到过一个人，他脑部受损，可能是中风或意外事故，导致他丧失了情感处理能力。所以他不再能感受到任何情绪。他仍然能言善辩，也能解一些简单的谜题，考试成绩也一切正常。但他感觉不到任何情绪。他不会感到悲伤，不会感到愤怒，也不会感到兴奋。不知何故，他变得极其不擅长做任何决定。他甚至要花几个小时才能决定穿哪双袜子。他在财务方面也会做出非常糟糕的决定。

这说明我们与生俱来的情感在使我们成为合格的行动主体方面扮演着怎样的角色？说到你提到的预训练，如果你能充分发挥预训练的优势，或许也能达到同样的效果。但这似乎……嗯，预训练是否真的能达到这种效果还很难说。

德瓦尔凯什·帕特尔：“那”是什么？显然不仅仅是情绪。它似乎是一种类似价值函数的东西，告诉你任何决定的最终回报应该是什么。你认为这不会在某种程度上隐含在预训练中吗？

伊利亚·苏茨克维尔：我觉得有可能。我只是说这并非百分之百确定。

德瓦尔凯什·帕特尔：你如何看待情绪？机器学习中情绪的类比是什么？

伊利亚·苏茨克维尔：它应该是一种价值函数之类的东西。但我认为目前还没有很合适的机器学习类比，因为价值函数在人们的实际行为中并没有扮演非常重要的角色。

德瓦尔凯什·帕特尔：如果你想这样做，或许有必要向听众解释一下什么是价值函数。

伊利亚·苏茨克维尔：当然，我很乐意这么做。目前强化学习的训练方法很简单，人们是如何训练这些智能体的呢？首先，你需要一个神经网络，然后给它一个问题，并告诉模型“去解决这个问题”。模型可能需要成千上万次的动作、思考或其他操作，最终生成一个解决方案。然后，这个解决方案会被评分。

然后，这个分数会被用来为你的轨迹中的每一个动作提供训练信号。这意味着，如果你正在执行一个持续时间很长的任务——如果你正在训练一个需要很长时间才能解决的任务——那么在你找到建议的解决方案之前，它根本不会进行任何学习。这就是强化学习的简单实现方式。这就是O1和R1 的实现方式。

价值函数表达的意思类似于：“我或许有时（但并非总是）能告诉你你做得好还是不好。”价值函数的概念在某些领域比其他领域更有用。例如，下棋时你刚丢了一个子。其实不用把整盘棋都走完，你就能立刻判断——刚才那步是坏棋；而既然这步是错的，那它之前的一连串布局和思路，多半也都偏了。

价值函数的作用，就是让系统在中途就能发出这种“提前预警”，而不是等到终局才知道全局是否失败。假设你正在进行某种数学运算或编程，并试图探索某个特定的解决方案或方向。经过大约一千步的思考后，你得出结论，这个方向没有希望。

在你得出这个结论的那一刻，你就可以提前一千步收到奖励信号，也就是在你决定沿着这条路径前进的时候。也就是说，在你真正想出解决方案之前很久，你就已经告诉自己：“下次遇到类似情况，我不应该再走这条路了。”

德瓦尔凯什·帕特尔：DeepSeek R1 论文指出，轨迹空间庞大且复杂，导致模型很难从中间轨迹与最终价值之间学到稳定的映射。这一点在现实任务中非常常见。

例如，在编程中，你可能会有错误的想法，然后你会回头修改，然后再修改一些东西。

伊利亚·苏茨克维尔：这听起来像是对深度学习缺乏信心。虽然很难，但我确信深度学习没有上限。“预期价值函数”这个概念非常强大，未来一定会被重用。

那个情感中枢失控的案例其实揭示了一个真相：人类的价值判断情感，这就是在我们基因里的底层代码中演化出来的。这种“情感关键点”，或许就是我们在社会中正常运转的基石。

德瓦尔凯什·帕特尔：这正是我要问你的问题。关于价值函数中的情感因素，确实有一点非常有趣，那就是它们既实用又相当容易理解，这一点令人印象深刻。

伊利亚·苏茨克维尔：我有两点思考。首先，与我们正在构建的复杂人工智能相比，人类的情感机制其实意外地“简单”。简单到我们的未来甚至可能直接画出它的“底层图谱”，这本身就是一件很酷的事。

其次，这里存在一个“复杂度与成熟性”的博弈：复杂的东西可能非常有用，但简单的东西才更有泛化性。我们的情感大多继承自远古的价值资源祖先，只是在进化中经过了迭代。正因为它的机制足够简单、基础，才能具备极强的泛化能力，帮助我们在与祖先完全不同的现代社会中依然有效运作。

实际上，它们也会犯错。例如，我们的情绪……嗯，其实我也不知道。饥饿算是一种情绪吗？这还有待商榷。但我认为，举个例子，在这个食物丰富的世界里，我们凭直觉感受到的饥饿感并不能正确地引导我们。

03 Scaling Laws结束了，AI重回研究时代？

德瓦尔凯什·帕特尔：人们一直在讨论数据扩展、参数扩展和计算扩展。有没有更通用的扩展思路？还有哪些扩展维度？

伊利亚·苏茨克维尔：这里有一个我认为相当关键的观察。

过去的机器学习更多依赖研究者“不断试错”。大家尝试各种模型和技巧，希望从中撞出一些有趣的结果——这是典型的“研究驱动时代”。

直到规模化法则出现。一旦人们意识到“只要把模型变大、数据变多、算力变强，性能就会上升”，整个行业立刻统一了方向。“规模化”这个词之所以强大，就在于它直接告诉所有人：要做的就是扩大规模。而当你进一步追问“那我们到底要把什么放大”，答案很明确——预训练。

预训练的突破在于，它提供了一套可复用的“配方”。你只要准备足够的数据、算力和一个能撑住规模的神经网络结构，就几乎可以保证性能持续提升。这是一种极低风险的投入方式。相比之下，投资基础研究困难得多：你只能说“各位研究人员，请去探索、去创新”，至于能不能做出来，全靠运气。而规模化预训练几乎是“确定产出”。

从一些人在推特上的言论来看，Gemini 似乎找到了一种更有效地利用预训练的方法。然而，预训练终究会耗尽数据。数据显然是有限的。接下来该怎么办？要么进行某种强化预训练，采用与以往不同的方法，要么进行强化学习，或者采取其他方法。

但如今计算能力如此庞大，某种程度上来说，我们又回到了研究时代。

或许可以换个说法，2012年至2020年，也就是2020年之前，是研究的时代。而现在，从2020年到2025年，是规模化的时代。

现在规模如此庞大。人们真的会认为，“哦，规模这么大，但如果规模扩大100倍，一切都会截然不同”吗？当然会有所不同。但人们真的认为只要规模扩大100倍，一切都会改变吗？我不这么认为。所以，我们又回到了研究时代，只不过多了大型计算机而已。

德瓦尔凯什·帕特尔：这真是个很有意思的说法。不过，我想问问你刚才提出的问题：我们究竟在扩展什么？制定一个“配方”又意味着什么？我猜想，在预训练阶段，数据、计算量、参数和损失之间似乎不存在某种清晰的、近乎物理定律的关系。我们究竟应该追求什么样的关系？又该如何构思这个新的“配方”呢？

伊利亚·苏茨克维尔：我们已经见证了规模化方式的转变，从预训练转向强化学习（RL），现在人们正在扩展强化学习。

根据推特上的讨论，目前强化学习的计算资源消耗量超过了预训练，因为强化学习本身就非常消耗计算资源。强化学习需要进行非常长的迭代，因此生成这些迭代需要大量的计算资源。而每次迭代的学习量相对较小，所以强化学习确实会消耗大量的计算资源。

但我并不认为这能算作真正的“扩展”。换句话说，我会更倾向于问一句：

“你现在做的事情，是利用计算资源最有效率的方法吗？”

我们之前讨论过价值函数业务。也许一旦人们精通了价值函数，他们就能更有效地利用资源。未来如果出现一种全新的训练范式，它一定会面临同样的质疑：

“这是真正意义上的扩展，还是只是更昂贵的计算浪费？”

在今天这个阶段，两者之间的界线正变得越来越模糊。

从某种意义上说，过去的科研时代是这样的：

“我们试试这个，再试试那个……哦，居然出了点有意思的东西。”

我认为这种状态会重新回来。

德瓦尔凯什·帕特尔：如果我们回到研究时代，我们最需要思考的是方案中的哪一部分？你提到价值函数，人们已经在尝试现有的方案，但同时也引入了LLM作为评判者等等。你可以说这就是价值函数，但听起来你似乎有更深层次的想法。我们是否应该重新思考预训练，而不仅仅是在流程末尾添加更多步骤？

伊利亚·苏茨克维尔：关于价值函数的讨论，我觉得很有意思。我想强调的是，我认为价值函数能够提高强化学习的效率，而且我认为这确实会带来显著的改变。但我觉得任何可以用价值函数实现的功能，不用价值函数也能实现，只是速度会慢一些。我认为最根本的一点是，这些模型的泛化能力远不如人类。这一点显而易见，而且似乎是一个非常根本的问题。

04 为什么人类比AI更擅长概括？

德瓦尔凯什·帕特尔：所以，关键就在这里：泛化能力。这里有两个子问题。第一个是关于样本效率的：为什么这些模型需要比人类多得多的数据才能学习？

第二个问题是，即使撇开数据量不谈，为什么教模型理解我们想要的东西比教人类要难得多？对人类来说，我们并不一定需要可验证的奖励才能……你现在可能正在指导一群研究人员，你和他们交流，给他们看你的代码，并向他们展示你的思考方式。他们从中学习你的思维方式以及他们应该如何进行研究。

你不需要为他们设定可验证的奖励，比如“好的，这是课程的下一部分，这是你课程的下一部分。哦，这次培训不太稳定。” 不需要这种繁琐的定制流程。或许这两个问题实际上在某种程度上是相关的，但我很想探讨第二个问题（更像是持续学习），以及第一个问题（感觉就像是样本效率）。

伊利亚·苏茨克维尔：你或许会想，人类样本效率高的一个可能解释是进化。进化赋予了我们少量但最有用的信息。对于视觉、听觉和运动能力这类能力，我认为有充分的理由相信进化赋予了我们很多。

举个例子。人类在灵巧度上的优势是巨大的。当然，如果你在模拟环境里让机器人经历海量训练，它们最终也能变得灵活。但要让机器人像人类一样在现实世界里快速掌握一项新技能，目前仍是非常遥远的目标。

你可能会说：“那是因为我们在运动能力上有强大的先验。”的确，我们的祖先必须具备高超的动作与平衡能力才能生存下来——想想松鼠那样的灵敏性。因此，人类在运动和协调方面天生拥有某种深层次的结构优势。

你也可以用同样的道理来解释视觉。我记得Yann LeCun说过，孩子们练习10个小时就能学会开车，这没错。但我们的视觉能力也很强。

至少对我来说，我还记得自己五岁的时候，那时我对汽车非常着迷。我确信，五岁时我对汽车的认知能力就已经足以胜任驾驶工作了。五岁的孩子接触到的信息量非常有限。他们大部分时间都待在父母家，所以接触到的信息种类非常匮乏。

但你也可以说，这或许也是进化的一种表现形式。但在语言、数学和编程领域，可能并非如此。

德瓦尔凯什·帕特尔：它似乎仍然比模型更好。显然，模型在语言、数学和编程方面都比普通人强。但它们在学习方面也比普通人强吗？

伊利亚·苏茨克维尔：是的，语言、数学和编程都表明，使人们擅长学习的因素可能并非复杂的先决条件，而是更根本的东西。

德瓦尔凯什·帕特尔：我不太明白。为什么会这样呢？

伊利亚·苏茨克维尔：因此，当我们看到人类在某项技能上表现得极其可靠时，一个合理的推断是：如果这项能力在数百万、甚至数亿年的进化过程中对我们的祖先至关重要，那么人类之所以擅长它，很可能源于某种深层的进化先验——某种被隐秘编码在我们认知与身体结构中的“默认能力”。

但如果人类在一个极其新近才出现的领域中，也能展现出高度的能力、稳定性和学习效率，那就更说明问题。这样的能力很难靠漫长的自然选择塑造而来，更可能反映的是：人类本身就具备更强的通用学习机制，一种类似“更先进的机器学习系统”的能力。

德瓦尔凯什·帕特尔：我们应该如何理解它？机器学习的类比是什么？它有几个有趣的特点。它需要的样本更少，而且更倾向于无监督学习。一个青少年学开车也不是在获得某种预先设定的、可验证的奖励。它的成功来自于他们与机器和环境的互动。它需要的样本少得多，似乎更倾向于无监督学习，而且似乎更稳健？

伊利亚·苏茨克维尔：人类的韧性要强得多。人类的韧性真是令人震惊。

德瓦尔凯什·帕特尔：你有没有一个统一的思路来解释为什么所有这些事情会同时发生？有没有一个机器学习的类比可以解释类似的情况？

伊利亚·苏茨克维尔：你之前提过一个问题：青少年驾驶员为何能在没有外部指导的情况下，自我纠正并从经验中快速学习？

原因在于，他们拥有自己的价值体系，即一种对“好”与“坏”“做得对”与“做得错”的内在感知。这种普遍的感知能力在人类身上极其强大——除了少数与成瘾相关的例外，它几乎是稳定而可靠的。

因此，当一个青少年第一次上路时，他们能立刻“感觉到”自己的表现：哪里不稳、哪里不自信、哪里明显开得不好。这种即时反馈会促使他们不断调整。

再加上青少年极快的学习速度，大约十个小时左右，他们就能从完全不熟练，进步到可以独立驾驶。

德瓦尔凯什·帕特尔：人类似乎找到了某种解决方案，但我很好奇他们是如何做到的，以及为什么会这么难？我们需要如何重新构思训练模型的方式才能实现这样的目标？

伊利亚·苏茨克维尔：这是个非常好的问题，我其实有很多想法。不过遗憾的是，我们如今所处的环境并不允许所有机器学习的理念被公开讨论，而你提到的方向正属于这类敏感话题之一。

我只能说，我认为它在原理上是可行的，而且某些人对这个议题的态度本身，就已经暗示了它的可行性。至于具体怎么实现，也许是可以做到的——但这部分恐怕不适合在公开场合展开。

不过，可能还存在另一个障碍，那就是人类神经元的计算能力可能比我们想象的要强。如果真是如此，而且这确实发挥着重要作用，那么事情可能会更加复杂。但无论如何，我认为这确实指向某种机器学习原理的存在，而我对这种原理有一些自己的看法。可惜的是，由于种种原因，我很难对此进行深入探讨。

05 规模化扼杀了所有创新空间

德瓦尔凯什·帕特尔：我很好奇。如果我们真的回到科研时代，现在的氛围会是什么样的呢？

例如，即使在AlexNet之后，用于运行实验的计算量仍然持续增长，前沿系统的规模也持续扩大。您认为如今的研究时代是否仍然需要大量的计算资源？您是否认为需要重新翻阅历史文献，阅读旧论文？

你曾在谷歌、OpenAI 和斯坦福大学等地工作过，那时科研氛围比较浓厚。我们应该对社区未来的发展抱有怎样的期待？

伊利亚·苏茨克维尔：规模化时代的一个后果是，规模化扼杀了所有创新空间。正因为规模化扼杀了所有创新空间，每个人都开始做同样的事情。我们最终陷入了公司数量远超创意数量的困境。

事实上，硅谷有一句老话：创意不值钱，执行力才是关键。人们经常这么说，而且这话不无道理。但我后来在推特上看到有人说：“如果创意这么便宜，为什么没人有创意呢？” 我觉得这话也很有道理。

如果从瓶颈的角度来看待科研进展，就会发现存在好几个瓶颈，其中一个是想法，另一个是将想法付诸实践的能力，这可能涉及到计算能力，也可能涉及到工程技术。

比如说，回到上世纪90年代，当时有些人有很多不错的想法，如果他们拥有更强大的计算机，或许就能证明这些想法的可行性。但当时他们没有这样的计算机，所以只能进行非常小规模的演示，根本无法说服任何人。因此，当时的瓶颈在于计算能力。

在规模化时代，计算能力大幅提升。当然，我们需要多少计算资源是个问题，但计算资源的确非常庞大。庞大到什么程度呢？你很难一眼看出为了验证某个想法是否真的需要那么多计算资源。

我举个例子。AlexNet 只用了两块GPU构建，这就是它使用的全部计算资源。Transformer模型则用了 8 到 64 块 GPU。

2017 年，没有一篇 Transformer 论文的实验使用了超过 64 块 GPU，这相当于现在的两块 GPU 吧？ResNet也一样，对吧？你可能会说，o1 推理并不是世界上最耗费计算资源的算法。

所以，科研肯定需要一定的计算能力，但这并不意味着科研就需要绝对最多的计算能力。你可能会说（而且我认为这是事实），如果你想构建绝对最好的系统，那么拥有更强大的计算能力当然是有帮助的。尤其是在所有人都遵循相同范式的情况下，计算能力就成了重要的差异化因素之一。

德瓦尔凯什·帕特尔：我问你这段历史，是因为你当时就在现场。我不太清楚当时究竟发生了什么。听起来好像可以用极少的计算资源来实现这些想法。但Transformer模型并没有立刻成名。它之所以能成为大家的入门工具，是因为它在越来越高的计算资源下都得到了验证，然后才开始在此基础上进行实验和扩展。

伊利亚·苏茨克维尔：正确的。

德瓦尔凯什·帕特尔：如果SSI有 50 个不同的想法，在没有其他前沿实验室所拥有的那种计算能力的情况下，你怎么知道哪个是下一个变革性的想法，哪个是脆弱的呢？

伊利亚·苏茨克维尔：我可以就此补充一些看法。具体来说，对我们 SSI 而言，用于研究的计算资源其实比外界想象的要多得多。我来解释为什么。

首先，SSI 已经筹集了 30 亿美元，这本身就是一笔极其可观的投入。你可能会说：“别的公司融资更大。”没错，但它们的大部分算力预算都被严格指定用于推理——也就是直接服务于产品的在线部署。这是一笔必须花的成本。

其次，如果你要构建一款需要大规模推理部署的产品，你还得配备庞大的工程、销售与产品团队。大量资金和精力会被投入到产品功能、平台搭建、商业化流程等工程环节里。真正能留给基础研究的资源，其实并没有想象中那么多。

把这些因素都算进去，你会发现：看似融资规模差距巨大，但实际可用于研究的算力差距并没有那么悬殊。

德瓦尔凯什·帕特尔：据公开估计，像 OpenAI 这样的公司每年仅在实验上的花费就高达 50 亿至 60 亿美元。这还不包括他们在推理等方面的投入。所以看起来，他们每年用于研究实验的花费比你们的总经费还要多。

伊利亚·苏茨克维尔：我认为关键不在于你拥有多少算力，而在于你如何使用它。真正的区别就在这里。

对其他公司而言，他们对训练算力的需求要大得多：工作流更复杂、模态更多、要兼顾的方向也更多。结果就是，资源被分散到无数子任务里，整体变得支离破碎。

而这正是差异所在——不是算力的绝对规模，而是算力能否被集中地、有效地投入真正重要的方向。

德瓦尔凯什·帕特尔：SSI将如何盈利？

伊利亚·苏茨克维尔：目前，我们只专注于研究，答案自然会水到渠成。我认为会有很多可能的答案。

德瓦尔凯什·帕特尔：SSI的计划仍然是直接研发超级智能吗？

伊利亚·苏茨克维尔：也许吧。我觉得这有道理。我认为好处很多，因为不受日常市场竞争的影响非常好。但我认为有两个原因可能会促使我们改变计划：

一是出于务实的考虑，如果时间表最终被证明是漫长的，而这种情况很有可能发生。二是我认为让最先进、最强大的人工智能造福世界具有巨大的价值。我认为这是一件意义非凡的事情。

德瓦尔凯什·帕特尔：那么，为什么你们的默认方案是直接研发超级智能呢？因为听起来像OpenAI、Anthropic以及其他所有这些公司，他们明确的想法是：“看，我们研发出的智能体越来越弱，公众可以逐渐适应并做好准备。” 为什么直接研发超级智能可能更好呢？

伊利亚·苏茨克维尔：我会分别阐述正反两方面的观点。支持的观点是，人们在市场竞争中面临的挑战之一就是不得不参与激烈的市场竞争。这种竞争非常艰难，因为它迫使你做出艰难的权衡。

但反对的观点也同样成立，而且这两种观点截然相反。反对的观点是：“让世界看到强大的人工智能是有益的。因为这是向世界展示人工智能的唯一途径。”

德瓦尔凯什·帕特尔：我想，你不仅能传达这个想法。

伊利亚·苏茨克维尔：传达的是人工智能本身，而不是它的理念，传达的是人工智能。

德瓦尔凯什·帕特尔：你说的“与人工智能沟通”是什么意思？

伊利亚·苏茨克维尔：假设你写了一篇关于人工智能的文章，文章里写道：“人工智能将会是这样，人工智能将会是那样，它还会是这样的。”

你读完后觉得：“嗯，这是一篇有趣的文章。”现在假设你看到人工智能在做这个，在做那个。你会发现两者根本无法比较。我认为，人工智能走向大众化会带来巨大的好处，这也是我们不应该过于武断的原因之一。

德瓦尔凯什·帕特尔：我想甚至可能并非如此，但我确实认为这是其中重要的一部分。另一个点是，我想不出人类工程和研究领域还有哪个学科，其最终产品的安全性主要体现在思考如何使其安全上，而不是像现在这样，每英里飞机坠毁率比几十年前低得多。为什么现在在Linux系统中查找漏洞比几十年前难得多？我认为这主要是因为这些系统已经部署到世界各地。人们发现了故障，这些故障得到了纠正，系统也变得更加健壮。

我不确定通用人工智能（AGI）和超人类智能为何会有所不同，尤其考虑到——我希望我们最终能探讨到这一点——超级智能的危害似乎不仅仅是拥有一个邪恶的回形针那么简单。它确实非常强大，我们甚至不知道该如何设想人们会如何与之互动，以及人们会用它做什么。逐步普及似乎是分散其影响、帮助人们做好准备的更好方法。

06 AGI不是一种能力，而是一个动态演化的系统

伊利亚·苏茨克维尔：我认为，即便要直接部署，也应该采取循序渐进的方式。这几乎是任何计划的内在结构：第一步是什么，先推出什么，再逐步迭代，这本身就是部署的一部分。

接下来，我想谈你更强调的另一点——持续学习。通用人工智能（AGI），以及预训练（pre-training）。

先说“通用人工智能”。这个词并不是因为它深刻描述了某种最终的智能形态才存在的，我认为它的意义更像是对另一个词——“狭义人工智能”（narrow AI）——的回应。

回到人工智能的早期历史：跳棋AI、国际象棋AI、游戏AI……每当它们取得突破，人们都会说：“这是狭义人工智能。是的，它能击败卡斯帕罗夫，但它只会下棋，别的不会。”

于是，“AI 过于狭窄”的批评催生了另一个概念：“我们需要的是一种能做所有事情的智能。” AGI 就是在这样的语境下被提出来，随后迅速流行开来。

第二个例子是“预训练”。尤其是预训练的具体方法，它让大家形成了一个非常鲜明的印象：预训练越多，模型在几乎所有方面都会变强。可以说，预训练造就了当代意义上的“通用人工智能”。

但这两个词的问题在于，它们把概念推得太远了。如果你认真思考“AGI”这个概念，尤其是在预训练的范式下，就会意识到：人类其实根本不是 AGI。

人类确实具备一套基础能力，但我们的知识储备极其有限；我们真正依赖的是 持续学习 ——不断在世界中试错、修正、积累。

因此，当你设想“我们成功了，造出一个安全的超级智能”，真正的问题就变成：

你如何定义它？它在持续学习曲线上的哪个位置？

也许它更像是一个天赋极高的 15 岁少年：对世界理解有限，但学习速度快、好奇心强、能很快掌握新领域。你不会把这样一个少年直接当作成品丢进社会，而是会让他在真实环境中继续学习、试错、成长。

从这个角度看，部署本身就会包含一个学习与适应的过程。它不是一次性产出的成品，而是一个动态演化的系统。

德瓦尔凯什·帕特尔：我明白了。你的意思是，你所说的超级智能并非指某种已经具备所有技能、能够胜任经济领域所有工作的成熟思维。因为像最初的OpenAI章程或其他对通用人工智能（AGI）的定义那样，它似乎可以完成人类能够做的所有工作。而你提出的超级智能则是一种能够学习完成所有工作的思维。

伊利亚·苏茨克维尔：是的。

德瓦尔凯什·帕特尔：但是一旦你有了学习算法，它就可以像人类工人加入组织一样部署到世界各地。

伊利亚·苏茨克维尔：确切地。

德瓦尔凯什·帕特尔：似乎这两种情况中的一种可能会发生，也可能两种都不会发生。第一种情况是，这种超高效的学习算法变得超乎常人，在机器学习研究方面达到甚至超越你的水平。结果就是，算法本身变得越来越强大。

另一方面，即便上述情况没有发生，如果你有一个单一的模型——这显然是你的设想——在这个模型的实例被部署到经济体系中，从事不同的工作，学习如何完成这些工作，在工作中不断学习，掌握任何人类都能掌握的所有技能然后将它们的学习成果融合起来，那么你基本上就拥有了一个功能上超级智能的模型，即使软件中没有任何递归式的自我改进机制。因为你现在拥有了一个可以胜任经济体系中所有工作的模型，而人类无法以同样的方式融合彼此的思维。那么，你是否期待这种模型的广泛部署会带来某种智能爆炸？

伊利亚·苏茨克维尔：我认为我们很可能会迎来快速的经济增长。关于人工智能的广泛应用，我认为存在两种相互矛盾的观点。

一种观点认为，一旦人工智能发展到能够快速学习并完成任务的程度，并且数量众多，那么就会出现一股强大的力量将其部署到经济领域，除非有某种监管措施阻止这种行为——顺便说一句，这种监管措施很可能存在。

但我认为，在广泛部署的情况下，经济在一段时间内实现高速增长的可能性非常大。真正困难的是预测增长的幅度会有多大。

原因在于，一方面，人工智能本身是一种高度高效的劳动形式；但与此同时，我们正处在一个奇特的时点：人工智能的能力足以影响几乎所有类型的任务，而它的部署成本在迅速下降。因此，经济高速增长的可能性确实存在。

更复杂的是，不同国家的政策与监管路径会产生巨大差异。那些制度环境更友好、更愿意接纳人工智能的国家，可能会迎来明显更快的增长；而限制更多的地区则发展更缓慢。

这一切都让整体趋势变得难以预测。但可以确定的是，当 AI 以接近劳动力倍增器的形式进入经济时，高速增长将成为一个现实可能性，而不是遥远假设。

07 追求对生命体有关怀的AI

德瓦尔凯什·帕特尔：在我看来，这确实是一个非常危险的局面。从理论上讲，这应该是可能的。如果你拥有某种学习能力堪比人类，却能融合自身大脑——以人类无法做到的方式融合不同实例——那么这在物理上应该是完全可能的。人类是可能的，数字计算机也是可能的。你只需要将两者结合起来就能创造出这种东西。

这种东西似乎威力无穷。经济增长是其中一种说法。戴森球本身就能带来巨大的经济增长。但换个角度来说，你可能在很短的时间内……你在SSI雇佣员工，六个月后，他们很可能就能产生净生产力。人类学习速度非常快，而这东西也在以惊人的速度变得越来越智能。你认为如何才能让它顺利进行？为什么SSI有能力做到这一点？我真正想问的是，SSI在这方面的计划是什么。

伊利亚·苏茨克维尔：我的思维方式发生了转变，其中一个方面是我现在更加重视人工智能的逐步部署和提前规划。人工智能最大的困难之一，是我们讨论的是一种尚未存在的系统，而人类天然不擅长想象不存在的事物。

当前的现实是：我们很难真正“感受”通用人工智能（AGI）的存在。围绕 AGI 的许多争论，其实都源于这种想象力的缺失：未来的人工智能会以一种我们目前难以理解的方式变得强大，而其核心问题，从始至终都是——力量本身。

当力量足够强大时，会发生什么？

过去一年，我的看法在这里发生了很大变化，这种变化——坦率地说——可能会影响到我们公司的计划。如果一个系统难以被想象，那你必须让它被看见。

我认为，大多数从事人工智能工作的人也无法想象它，因为它与人们日常生活中所见的事物截然不同。

我仍然坚持我的判断，并且愿意给出一个预测：随着人工智能的能力持续增强，人类的行为方式将随之发生改变许多今天还不存在的现象，会在未来逐渐出现。

首先，前沿公司与政府将在其中扮演核心角色。你已经能看到一些早期信号——曾经的竞争对手开始在 AI 安全方面合作。OpenAI 和 Anthropic 已经迈出了第一步，而在几年前，这是不可想象的。我在三年前的演讲中就预测过这一趋势。随着 AI 能力的显现，政府与公众的参与意愿也会迅速增强。展示 AI 的真实能力，是促使社会行动的重要力量。

第二，AI 公司对“安全”的态度会发生根本转变。今天的研究者往往觉得 AI “还不够强”，因为它仍会犯许多错误。但我认为，总有一天，当 AI 的力量变得不可忽视时，行业对安全的认知将彻底反转——谨慎会成为共识。我预测这一定会发生，因为届时人们将亲眼看到 AI 能力的跃升，而不是停留在对当下系统的想象里。

第三，从更广泛的角度来看，有一个问题值得思考：企业到底应该构建什么？长期以来，行业沉迷于一个中心理念——“构建能自我改进的 AI”。原因简单：真正具有突破性的创意远比企业的数量稀少。

然而，我认为，还有更值得追求的方向。我指的是一种核心目标明确的人工智能：

它的中心不是自我升级，而是对所有具有感知能力的生命体表现出关怀。

从某种意义上讲，构建这样一种 AI 要比构建只关心“人类生命”的 AI 更容易。原因在于：AI 本身也是一种具备某种感知形式的系统。

就像镜像神经元使人类能够对动物产生同理心一样，同情与关怀往往来自模拟他者——而最节能、最高效的模拟方式，就是使用模拟“自我”的那套认知回路。

因此，这条路径并非遥远的抽象设想，而是建立在人类认知机制基础上的、一条更自然的技术路线。

德瓦尔凯什·帕特尔：所以，即便我们设法让人工智能具备对“有感知能力生命体”的关怀——事实上，如果阵营问题（alignment）能够解决，我并不确定这是否真的是我们该追求的最终方向——问题仍然存在。

原因在于：未来绝大多数有感知能力的生命体，都将是人工智能本身。

从这个角度看，如果我们的目标是确保“人类”在未来文明中拥有主导地位，那么将“关怀所有有感知生命体”作为标准，可能就不是最优解。因为在这样的设定下，AI 的利益会天然占据绝对权重，而人类的份额会变得极小。

伊利亚·苏茨克维尔：没错。这可能不是最佳标准。我想说两点。第一，关爱有感知能力的生命，我认为这一点很重要，应该考虑在内。第二，我认为如果能有一个包含各种建议的清单，供公司在遇到这种情况时参考，那就很有帮助了。

第三，我认为如果能以某种方式限制最强大的超级智能体的能力，将会非常有益，因为这可以解决很多问题。至于如何做到这一点，我还不确定，但我认为，当我们谈论真正强大的系统时，这将非常有帮助。

德瓦尔凯什·帕特尔：在我们继续讨论对齐问题之前我想先追问一个更根本的问题：在智能的顶端，还有多少“空间”？我们到底应该如何理解超级智能？

你认为，如果运用学习效率的概念，它是不是只是学习新技能或新知识的速度极快？或者它只是拥有更庞大的策略库？是否存在一个位于中心、更强大或更庞大的单一“它”？如果是这样，你认为它相对于人类文明的其他部分会像神一样吗？还是仅仅感觉像是另一个主体，或者另一个主体群？

伊利亚·苏茨克维尔：在这个领域，不同的人有不同的直觉。我认为它肯定会非常强大。我认为最有可能的情况是，多个这样的AI会几乎同时被创造出来。

我认为，如果集群足够大，比如集群的规模堪比一个大陆——那么它确实会非常强大。如果集群的规模真的达到一个大陆级别，那么这些AI就会非常强大。我只能说，如果你谈论的是极其强大的AI，真正意义上的强大，那么最好能以某种方式限制它们，或者达成某种协议之类的。

超级智能真正令人担忧的地方在于：当一个系统强大到足以决定一切时，即便它的目标是善意的，我们仍可能不喜欢它给出的结果。这就是问题的症结所在。

或许，答案在于你无法以通常意义上的方式构建强化学习智能体。我指出几点：

我认为人类是半强化学习智能体。我们追求某种奖励，然后情绪或其他因素让我们对这种奖励感到厌倦，于是我们又去追求另一种奖励。市场是一种目光短浅的智能体。进化也是如此。进化在某些方面非常智能，但在另一些方面却非常愚蠢。政府被设计成三个部门之间永无休止的斗争，而这会产生影响。所以我认为诸如此类的事情……

让这场讨论变得困难的另一个原因是，我们讨论的是尚不存在的系统，我们不知道该如何构建它们。

我认为，人们现在所做的一切会取得一定进展，然后逐渐衰落。它会不断改进，但永远不会是“最终版本”。我们不知道该如何构建“最终版本”，而很多关键在于理解可靠的泛化方法。

一致性难以达成的原因之一，可能在于我们理解人类价值观的能力本身就很脆弱。更进一步，我们“优化这些价值观”的能力也同样脆弱，因为这些价值观本身是在“学习如何优化”的过程中逐渐形成的。

这就引出一个反思：难道这些价值观不是一些不可靠的概括吗？为什么人类似乎比其他系统更擅长这种概括？但这些问题目前仍然无法解答。

德瓦尔凯什·帕特尔：如何想象人工智能发展顺利的样子？你已经展望了人工智能可能的发展方向。我们将拥有这类持续学习的智能体。人工智能将非常强大。或许会出现许多不同的人工智能。你如何看待大量体量堪比大陆的计算智能体？这有多危险？我们如何降低这种危险？我们又该如何做到这一点，才能在可能存在失衡的人工智能和恶意行为者的情况下，维护一种平衡？

伊利亚·苏茨克维尔：这也是我喜欢“关爱有感知生命的 AI”这个概念的原因之一。至于它究竟好不好，可以讨论。但如果最早出现的那一批强大系统——前 N 个——真的能够关心、爱护人类或其他有感知的生命，那么这就是必须实现的能力。只要前 N 个系统具备这种倾向，我相信至少在相当长的一段时间里，局面都会是稳定而有利的。

那么更长期会发生什么？如何维持长期均衡？我认为是有答案的，尽管我并不喜欢它。

从短期看，一个拥有强大 AI 的世界可能出现“全民高收入”：人人生活更好，财富与能力被极大放大。但佛教说过，“变化是唯一不变的”。政治结构、政府形态都会随着时间更新换代，没有任何体制是永恒的。

长期来看，有一种设想是：每个人都拥有一个为自己行动的 AI。这当然很好，若能永续更是理想。但问题在于，这可能让人类逐渐失去参与感。AI 会替你赚钱，为你争取政治利益，再把结果写成一份简短报告：“事情已经处理好了。”

而你只需回答：“很好，继续。”从主体性来看，这是一种危险的局面。

我并不喜欢另一种方案，但它确实是一个可行的答案：

让人类通过某种 Neuralink++ 式的接口，成为“半人工智能”。

这样，人类与 AI 可以共享理解、共享情境。AI 能理解的，你也能理解；它的体验可以完整传递到你身上。只有在这种深度耦合下，人类才能继续成为未来文明的“参与者”，而不是被 AI 代理的旁观者。

在我看来，这才可能是长期均衡的答案——尽管它令人不安。

德瓦尔凯什·帕特尔：我想知道，数百万年前（甚至在很多情况下是数十亿年前）在完全不同的环境中形成的情感，是否仍然如此强烈地指导着我们的行为，这是否是协调一致的成功例证。

为了更清楚地说明我的意思——我不知道称之为价值函数还是奖励函数更准确——脑干有一个指令，它会说：“和更成功的人交配。”大脑皮层理解在现代语境下成功的含义。但脑干能够协调大脑皮层，并说：“无论你如何定义成功——我没那么聪明，无法理解那是什么——你仍然要遵循这个指令。”

伊利亚·苏茨克维尔：我认为这里还有一个更普遍、但也更神秘的现象：进化究竟是如何把“高级欲望”编码进人类的？

对于某些低层次的驱动，我们很容易理解。比如对香味食物的渴望：气味是一种具体的化学信号，进化要让我们追求这种信号并不难想象。

但进化同样赋予了我们各种高度抽象的社交欲望，我们强烈在意别人怎么看我们，渴望获得社会认可，追求地位与声望。

问题是：进化是如何做到这一点的？进化似乎能对大脑说一句非常明确的指令：“这就是你应该在乎的。”

而且它做得极其高效。我们今天珍视的那些复杂社会现象——地位、声誉、群体接受度——从进化时间尺度上看都极其新近。但进化却把这些高层次的欲望轻而易举地写进了我们的价值体系，让它们像吃甜食或闻到危险一样“自然”。

至于它究竟是如何实现的，我现在还没有令人满意的解释。我曾经试图推导一些机制，但都不够充分。

德瓦尔凯什·帕特尔：尤其令人印象深刻的是，欲望是你后天习得的，这很合理，因为你的大脑很智能。你能习得智能欲望也合情合理。也许这并非你的重点，但理解这一点的一种方式是，欲望根植于基因组之中，而基因组本身并不智能。但你却能够描述这种特性。你甚至不清楚自己是如何定义这种特性的，而且你还能将其构建到基因中。

伊利亚·苏茨克维尔：从基因组的视角，它更像是一份“构建大脑的工程配方”。它可以轻松写下这样的规则：“把多巴胺神经元连到嗅觉受体上；如果某种气味触发这个回路，就产生愉悦感。”这种机制我们很好理解。

难点在于另一类欲望：那些依赖于大脑大范围、高维度计算的复杂社会直觉。很难想象基因组可以直接告诉大脑：“你应该关心这些抽象的、分布式的高层计算结果。”这对基因来说似乎太复杂了。

我有一个推测，但它多半是错的：进化可能利用了大脑区域的“地理结构”来写入高层意愿。

大脑皮层虽然在微观上均质，但它被组织成多个区块，因为神经元主要与邻近神经元交流。语音、视觉、社交推断等不同功能，各自聚在特定区域。更重要的是，不同人的大脑，这些区域的位置基本一致。

因此，或许进化通过硬编码某些地理坐标来传递价值：“当大脑中这个固定区域被激活时，你应该在意它。”这符合进化的逻辑，它不需要理解那块区域具体在计算什么，只需要把“位置”作为代理信号。

德瓦尔凯什·帕特尔：是的，虽然也有一些例子，比如先天失明的人，他们大脑皮层的失明区域会被其他感官所取代。我不知道，但如果大脑皮层的不同区域被其他感官所取代，那些需要视觉信号的欲望或奖励功能是否会失效，我会感到惊讶。

例如，如果你失去了视力，你还能感受到你想让周围的人喜欢你等等这种感觉吗？通常情况下，这些感觉也会有视觉线索。

伊利亚·苏茨克维尔：我完全同意。我认为这个理论还有更强有力的反驳论点。有些人童年时期切除了半个大脑，但他们仍然保留着所有的大脑区域。然而，这些区域却都以某种方式集中到了大脑的一侧半球，这表明大脑区域的位置并非固定不变，因此这个理论是不成立的。

如果这是真的就好了，可惜不是。这的确是个有趣的谜。事实是，进化不知怎么地赋予了我们非常可靠地关注社会事务的能力。即使是那些患有各种奇怪精神疾病、缺陷和情绪问题的人，也往往很关心这些。

08 研究品味，来自于对“美”的执着

德瓦尔凯什·帕特尔：SSI 有什么与众不同的计划？想必你们的目标是成为时代前沿的公司之一。想必你们创办 SSI 的初衷是：“我认为我有一种方法可以安全地完成这项工作，而其他公司没有。” 那么，这种不同之处究竟是什么？

伊利亚·苏茨克维尔：我的理解是，我有一些想法，我觉得很有前景，我想研究一下，看看它们是否真的有前景，就这么简单。这只是一次尝试。如果这些想法——我们之前讨论过的关于理解概括性的想法——最终被证明是正确的，那么我认为我们会有所收获。

他们的观点最终会被证实吗？我们正在进行调研。我们是一家名副其实的“研究型企业”。我们正在取得进展。事实上，过去一年我们取得了相当不错的进展，但我们需要继续取得更多进展，进行更多研究。我是这么认为的。我认为这是一种尝试，一种发出声音、参与其中的方式。

德瓦尔凯什·帕特尔：您的联合创始人兼前任首席执行官最近去了 Meta ，有人问：“如果公司取得了很多突破性进展，这似乎不太可能发生。” 我想知道您对此有何回应。

伊利亚·苏茨克维尔：为此，我只想简单回顾几个可能已被遗忘的事实。我认为这些事实能帮助我们理解当时的处境。当时我们正在以320亿美元的估值进行融资，之后Meta提出收购我们，我拒绝了。但我的前联合创始人某种程度上同意了。结果，他也因此获得了大量的短期流动资金，而且他是SSI唯一一位加入Meta的人。

德瓦尔凯什·帕特尔：听起来SSI的计划是成为一家在人类历史上这个拥有超人类智能的重要时期处于前沿的公司。他们有一些关于如何有效利用超人类智能的想法。但其他公司也会尝试他们自己的想法。SSI在有效利用超人类智能方面的独特之处是什么？

伊利亚·苏茨克维尔：SSI 的主要特点在于其技术方法。我们采用了一种我认为很有价值且行之有效的独特技术方法，我们正在努力推进。

我认为最终各种策略会趋于一致。随着人工智能变得越来越强大，我认为在某个时刻，各种策略会趋于一致，届时每个人都会或多或少地清楚地认识到应该采取什么策略。这大概就是：你需要找到某种相互沟通的方式，并且你希望你的第一个真正意义上的超级智能人工智能能够协调一致，并且以某种方式关爱有感知能力的生命，关爱人类，秉持民主的理念，或者兼具其中之一。

我认为这是每个人都应该努力追求的目标，也是SSI正在努力的方向。我相信这一次，即便其他公司还没有意识到，他们也会明白自己正在朝着同一个目标努力。我认为随着人工智能的日益强大，世界将会发生翻天覆地的变化。一切都将截然不同，人们的行为方式也会发生巨大的改变。

德瓦尔凯什·帕特尔：说到预测，你对你所描述的这个系统有什么预测？这个系统可以像人类一样学习，并最终变得像人类一样强大。

伊利亚·苏茨克维尔：我觉得大概还需要5到20年吧。

德瓦尔凯什·帕特尔：我只是想阐述一下你对未来世界的看法。比如说，未来几年，其他公司继续沿用目前的做法，最终会停滞不前。“停滞不前”是指他们的营收不会超过几千亿美元吗？你觉得“停滞不前”意味着什么？

伊利亚·苏茨克维尔：我认为停滞不前的情况会是……所有公司的情况都会非常相似。我不确定，因为我觉得即使停滞不前，这些公司也能获得惊人的收入。也许利润不会很高，因为他们需要努力使彼此之间产生差异化，但收入肯定不会低。

德瓦尔凯什·帕特尔：但你的模型中似乎暗示，当正确的解决方案出现时，所有公司之间都会趋于一致。我很想知道你为什么会这么认为。

伊利亚·苏茨克维尔：我主要指的是他们在战略协调方面的趋同。我认为最终他们在技术方法上也可能趋同，但我指的是战略协调方面的趋同。

德瓦尔凯什·帕特尔：目前，我们有很多不同的公司，您期望他们的方法能够继续创造收入，但却无法实现像人类一样的学习能力。所以现在出现了很多不同的公司分支。有您，有Thinking Machines ，还有很多其他的实验室。也许其中一家会找到正确的方法。但那样的话，他们产品的发布就会让其他人明白该怎么做。

伊利亚·苏茨克维尔：我认为具体该怎么做还不清楚，但可以肯定的是，另一种可能性是存在的，那就是信息。人们会试图弄清楚它是如何运作的。

不过，我认为这里没有提及或讨论的一点是，随着人工智能能力的不断提升，我认为某些方面会发生改变，但我并不清楚具体会是哪些改变，以及事物运作方式的改变。我认为这很重要，但我无法具体说明它究竟是什么。

德瓦尔凯什·帕特尔：按理说，采用这种模式的公司应该获得所有这些收益，因为他们的模式让他们积累了全球范围内所需的技能和知识。那么，有什么理由认为这些收益会广泛传播，而不仅仅是最终落入率先建立起这种持续学习循环的模式公司手中呢？

伊利亚·苏茨克维尔：以下是我认为接下来会发生的情况。首先，我们回顾一下以往人工智能的发展历程。一家公司率先研发出先进技术，其他公司则在一段时间后迅速跟进，推出类似产品，并在市场上展开竞争，最终导致价格下降。因此，我认为从市场角度来看，类似的情况也会在人工智能领域重演。

顺便说一句，我们谈论的是理想世界。什么是理想世界？在理想世界里，我们拥有这些强大的、类人学习者，而且……顺便说一句，关于超级人工智能的规范，或许还有一点我们没讨论过，我认为值得考虑。

那就是，如果你把它的功能限定在特定领域，它既可以很有用，也可以功能狭窄。你可以拥有许多功能狭窄的超级人工智能。

但假设你有很多这样的领域，并且有一家公司从中获得了丰厚的利润。然后另一家公司进入市场，开始与之竞争。竞争的方式是通过专业化。你在市场中可以看到这一点，在进化过程中也可以看到。

你会看到许多不同的细分市场，也会有许多不同的公司占据不同的细分市场。在这个世界里，我们可能会说，一家人工智能公司在某个非常复杂的经济活动领域表现出色，而另一家公司在另一个领域更胜一筹，还有其他家公司则非常擅长诉讼。

德瓦尔凯什·帕特尔：这难道不与类人学习的含义相矛盾吗？类人学习的含义是它能够学习……

伊利亚·苏茨克维尔：确实可以，但你已经积累了丰富的知识。你投入了大量资源。你耗费了大量的计算资源，才在这个领域变得如此精通，如此卓越。

其他人也投入了大量的计算资源和经验，才在其他领域变得如此出色。你运用了大量的学习方法才达到现在的成就，但你现在已经达到了一个很高的水平，其他人可能会说：“听着，我不想再去学习你已经学到的东西了。”

德瓦尔凯什·帕特尔：我想这需要很多不同的公司同时从类人持续学习智能体入手，这样它们才能在不同的分支上开始各自的树状搜索。但如果一家公司率先获得了这个智能体，或者说率先获得了这个学习器，那么看起来……嗯，如果你仔细想想经济中的所有工作岗位，让一个实例学习每个岗位对一家公司来说似乎是可行的。

伊利亚·苏茨克维尔：这确实是一个合理的论点。但我强烈的直觉告诉我，事情不会这么发展。理论上，理论和实践没有区别。但实际上，它们是有区别的。我认为这件事就是其中之一。

德瓦尔凯什·帕特尔：许多人的递归自我改进模型实际上明确指出，服务器中将有上百万个伊利亚，他们会提出不同的想法，这将导致超级智能迅速出现。

你对你正在做的事情的并行化程度有什么直觉吗？复制 Ilya 有什么好处？

伊利亚·苏茨克维尔：我不知道。我觉得肯定会有收益递减，因为你需要的是思维方式不同的人，而不是思维方式相同的人。如果只是复制我一个人，我不确定还能增加多少价值。你需要的是思维方式不同的人。

09 自我博弈和多智能体

德瓦尔凯什·帕特尔：为什么即使查看完全不同的公司发布的、使用可能不重叠的数据集训练的不同模型，LLM 之间的相似度也高得惊人？

伊利亚·苏茨克维尔：也许这些数据集并不像看起来那样完全不重叠。

德瓦尔凯什·帕特尔：但从某种意义上说，即使单个人类的生产力可能不如未来的人工智能，人类团队的多样性或许也比人工智能团队更高。我们如何才能在人工智能中实现有意义的多样性？

伊利亚·苏茨克维尔：我认为缺乏多样性的原因在于预训练。所有预训练模型都大同小异，因为它们都是用相同的数据进行预训练的。而强化学习和后训练阶段则开始出现差异，因为不同的人会提出不同的强化学习训练方法。

德瓦尔凯什·帕特尔：我之前听你暗示过，自博弈可以作为一种获取数据或将智能体与其他同等智能体匹配以启动学习的方法。我们应该如何看待目前还没有公开的、将这种方法应用于学习生命周期模型（LLM）的提案呢？

伊利亚·苏茨克维尔：我想说两点。我认为自博弈之所以有趣，是因为它提供了一种仅使用计算资源而无需数据即可创建模型的方法。如果你认为数据是最终的瓶颈，那么仅使用计算资源就非常有趣。这就是它有趣的地方。

问题在于，自我博弈，至少在过去那种方式下，即让不同的个体相互竞争，只对培养某些特定技能有益。它的适用范围太窄了。它只对谈判、冲突处理、某些社交技能、策略制定之类的东西有用。如果你重视这些技能，那么自我博弈就很有用。

不过，我认为自我博弈已经以另一种方式找到了新的位置。例如辩论、证明者—验证者机制，其中包含一种“LLM 作为裁判”的结构，而裁判本身也有动力去寻找错误、拆解漏洞。这可能不算严格意义上的自我博弈，但它确实是一种相关的对抗结构，而且正在被广泛使用。

从更宽泛的角度看，自我博弈只是主体之间竞争的一种特殊形式。竞争的自然结果，是推动差异化。如果你把多个主体放在一起，对他们说：“你们都要解决同一个问题，彼此可以观察对方的做法。” 那么主体们立刻就会想：

“如果大家都在用同一种方法，那么我是否也该这样做就不确定了。我应该找到别的路径。”

因此，即便不是直接的自我博弈，只要有竞争结构存在，它就能激励主体不断寻找新的方法，从而产生多样性与创新。

德瓦尔凯什·帕特尔：最后一个问题：什么是研究品味？您显然是公认的人工智能研究领域品味最高的人。您曾参与撰写深度学习历史上一些最重要的成果，例如 AlexNet 和 GPT-3 等等。您的研究品味是什么？您如何描述自己产生这些想法的过程？

伊利亚·苏茨克维尔：我可以就此发表一些看法。我认为不同的人会采取不同的方法。对我个人而言，指导我的一个原则是，人工智能应该具有怎样的美学特征，那就是思考人类的本质，但要以正确的方式思考。我们很容易错误地思考人类的本质，但正确地思考人类的本质又意味着什么呢？

我举几个例子。人工神经元的概念直接来源于大脑，而且这个想法很棒。为什么呢？因为大脑有很多不同的器官，有褶皱，但褶皱可能并不重要。为什么我们认为神经元很重要呢？因为神经元数量众多。这种想法似乎合情合理，所以我们需要神经元。我们需要一些局部学习规则来改变神经元之间的连接。大脑似乎也能够做到这一点。

大脑能做到从经验中学习，因此我们的神经网络也应该从经验中学习。这些并非附属性质，而是“事情本该如此”的基础结构。

这类来自大脑的启发，对我有很强的指引作用。它们推动我从多个角度追求一种接近“纯粹”的美——美、简洁、优雅，以及合乎大脑结构的灵感。只有这些元素同时出现时，你才会对一种方法有真正的自信。而这种自信，就是所谓的自上而下的信念。

它的作用在于：当实验结果与你的直觉或理论相冲突时，它能支撑你继续前进。如果总是盲目依赖数据，你可能会在正确的道路上被一些噪声或漏洞绊倒，却不知道该坚持还是转向。

自上而下的信念告诉你：“事情应该以这种方式运作；这种方法一定存在某种内在正确性。”

正是这种信念，让你愿意继续调试、继续探索，而不是轻易放弃。这种信念本质上来自一个来源：

人类大脑中蕴含的深层智慧，以及它带给人工智能设计的启发。

本文来自微信公众号“硅基观察Pro”，作者：硅基观察Pro，36氪经授权发布。