Ilya Sutskever（OpenAI首席科学家）：为什么下一个词预测可能超越人类智能

谢谢，很高兴来到这里。

谢谢你这么说。这个问题很难回答。我非常努力，把自己所有的精力都投入进去，而到目前为止这确实奏效了。我想大概就是这么回事。

也许他们还没有大规模这么做。不过，如果现在已经有一部分人在这么做，我也不会意外。我完全可以想象他们会拿一些开源模型来实现这个目的。我肯定预计，未来他们会对这件事感兴趣。

他们也可能已经在这么做了，这挺让人恼火的。

我认为可以进行大规模追踪。需要一些特别的操作，但做得到。

很难给出精确答案，而且肯定会持续好几年。这也取决于怎么定义。因为在成为 AGI 之前，AI 的价值会逐年以指数方式增长。

AGI……这个问题很难回答，我不太愿意报一个数字。还有一个影响判断的因素：乐观、又在开发这项技术的人，往往会低估抵达目标需要的时间。我用自动驾驶汽车来校准自己的判断。尤其是这个类比：你看一辆特斯拉，再看它的自动驾驶表现，会觉得它什么都能做；但显然，在可靠性方面还有很长的路要走。我们的模型可能也处在类似的位置：看上去什么都能做，但我们还需要继续努力，把所有问题逐一解决，让它真正好用、可靠、稳健，行为也得当。

哎呀，这个问题确实太难回答了。问题在于，我的误差范围是按对数尺度算的。我既能想象一个很大的比例，也能同时想象一个小得令人失望的比例。

先说明，我真的不认为这很可能发生。但如果按你问题里的前提来想，为什么它们对现实世界的影响令人失望？我的答案会是可靠性。如果最后真的变成这样，可能是因为人们确实需要它们可靠，而它们却不可靠；或者可靠性比我们预想的更难解决。我真的不认为会是这样。但如果你非要我选一个原因，问我“为什么事情没成”，我会说是可靠性：你还是得检查它们给出的答案、把每件事再核实一遍。这会大大压低这些系统能够创造的经济价值。

（它们）在技术上还不成熟。

我认为这个范式会走得非常、非常远，不要低估它。很可能，完全照现在这样发展的范式并不是 AGI 最终的具体形态。我不太敢准确地说下一个范式会是什么，但它很可能会整合过去出现的各种不同想法。

表面上看，它似乎无法超越人类表现：如果你只是学着模仿、预测人们会做什么，那就意味着你只能复制人类。不过，有个反驳能说明事情也许并非如此。如果你的基础神经网络足够聪明，你只要问它：“一个洞察力出众、充满智慧、能力很强的人会怎么做？”也许现实中根本不存在这样的人，但神经网络很有可能推演出这样的人会如何行动。你明白我的意思吗？

想想看，把下一个 token 预测得足够好，到底意味着什么？这其实是个比看起来深得多的问题。准确预测下一个 token，意味着你理解促成这个 token 产生的底层现实。这不只是统计规律。是，它算统计，但统计到底是什么？要理解这些统计规律并把它们压缩起来，你就得理解：这个世界的什么东西产生了这组统计规律？

事实上，现在默认的强化学习已经有大部分数据来自 AI。人类用来训练奖励函数；之后，奖励函数与模型之间的交互是自动进行的，强化学习过程中产生的所有数据也都是 AI 生成的。看看目前这项因为 ChatGPT 而受到大量关注的技术范式——基于人类反馈的强化学习（RLHF）：人类反馈被用来训练奖励函数，然后再由奖励函数生成数据，用这些数据训练模型。

人类教师教 AI 与 AI 协作。你可以把它想成这样一个世界：人类教师完成 1% 的工作，AI 完成 99%。你不希望变成 100% 都由 AI 来做；你希望的是人机协作，由这种协作来训练下一代机器。

基础模型不断改进，就能把我们带到那里。不过，根本上我也不觉得它们的多步推理能力那么差。我认为，它们在不允许把思路写出来时，不擅长在脑中进行多步推理；但如果允许它们把思路写出来，它们就相当不错了。我预计这种能力会有显著提升，既靠更好的模型，也靠专门训练。

是的，我认为这一天会到来。到那时，我们就得有其他训练模型的办法，以其他方式有效提升模型能力、打磨它们的行为，让它们不靠更多数据也能准确做到你想要的事。我会说，数据的情况现在仍然相当不错，还有很大的空间；但某个时候数据确实会用完。

一般来说，我们希望获得讨论更聪明事物的 token，内容更有意思的 token。你提到的这些来源都很有价值。

我认为只用文本仍然能走得很远，但转向多模态看起来是个很有前景的方向。

显然，我不能回答我们自己的情况；但我相信每个人对这个问题都有不同的答案。

很难说，但我相信会有一些办法。

只有一种办法能知道答案。

听起来很有希望。

当时因为数据太少，继续做机器人研究并不可行。那时候如果想做机器人，就得变成一家机器人公司：要有一大群人负责制造机器人并维护它们。即便你有 100 台机器人，已经是个很庞大的项目了，可你还是拿不到多少数据。在一个大部分进展都来自算力和数据结合的世界里，机器人研究根本没有获得数据的路径。所以当年我们决定停止机器人研究时，确实看不到前进的路。

现在是有办法开辟出一条路的。但你必须真正投入机器人这项工作。你得说：“我要造很多很多机器人——几千台、几万台、几十万台——再想办法从它们身上收集数据，逐步找到一条路，让机器人做一些稍微更有用的事。”然后把得到的数据拿来训练模型，模型就能做得稍微更有用。你可以想象一条逐步改进的路径：造更多机器人，让它们做更多事，收集更多数据，依此类推。但你必须真心投入这条路。如果你说“我要让机器人技术成为现实”，那就需要这么做。我相信现在确实有些公司正在这么做。不过，你必须真的喜欢机器人，还得愿意解决与它们打交道时遇到的所有物理问题和后勤问题。这跟软件完全不是一回事。只要有足够的动力，我认为今天就能在机器人领域取得进展。

我不认为当前硬件构成了限制，事实并非如此。

当然。你可能会希望现有硬件更便宜一些，或者希望它有更高的内存带宽，比如说。不过总的来说，硬件根本不是问题。

我认为我们不会只得到一个数学定义，而会有多个定义，从不同方面考察对齐。这样才能让我们获得想要的确信。我指的是，可以通过各种测试来观察模型的行为，考察它是否符合要求；可以在各种对抗性压力情境下测试它；还可以从内部研究神经网络如何运行。你必须同时考察其中好几个因素。

模型能力越强，我们就越需要有把握。

这取决于你说的 AGI 能做什么。要记住，AGI 是个含义模糊的术语。

普通的大学本科生也算 AGI，对吧？“AGI”指什么，本身就有很大歧义。你把这条界线划在哪里，决定了你需要有多大把握。

我真的认为，我们不应该只采用一种方法。人们需要把多种方法结合起来：投入大量算力，通过对抗性测试找出你希望教会它的行为与它实际表现之间的任何不匹配；再用另一个神经网络观察神经网络的内部运行方式。所有这些方法都不可或缺。每种方法都能降低发生失配的概率。你也希望对齐程度持续提升，而且提升速度要超过模型能力的增长速度。

这并没有保证。我会说，我们现在对模型的理解仍相当初步。我们已经取得了一些进展，但还能取得多得多的进展。我预计，最终真正奏效的方法会是这样的：有一个我们理解得很透彻的小型神经网络，让它去研究一个我们尚未理解的大型神经网络的行为，并加以验证。

你现在用 Copilot 时，怎么分配工作？我预计有一天，你会问 ChatGPT 的后继版本：“我在想这个和那个问题，你能不能给我一些值得尝试的好想法？”然后你确实会得到好想法。但我不认为这就能让你解决以前解决不了的问题。

它会以多种方式参与。但瓶颈在于好想法、好洞见，而神经网络能在这方面帮助我们。

有意思，你问的正是这个问题。我刚好也在想这个。我还没想出具体标准。也许可以这样设奖：两年、三年或五年之后回头看，我们能说“那就是最重要的成果”。

取得很大进展，是的。但我不会说这就是全部。

端到端训练很有希望，把各种东西连接起来也很有希望。

所有东西都有希望。

为什么是那个特定数字？

AGI 到来之后我会做什么，这是个很棘手的问题。人们会从哪里找到生活的意义？但我认为 AI 可以帮助我们解决这个问题。我设想的一件事是，我们可以通过与 AGI 互动而变得更加开明：AGI 会帮助我们更正确地看待世界，互动之后，我们内在也会变得更好。想象一下，能和历史上最好的冥想老师交谈，这会很有帮助。

公元 3000 年？我怎么知道公元 3000 年会发生什么？

这个问题问得很好，因为它暗含一个前提：我们可以决定自己想让世界变成什么样。我认为这种图景并不准确。变化是唯一不变的东西。即使 AGI 建成了，也不意味着世界就会静止；世界会继续变化、继续演进，经历各种转型。我认为没人知道公元 3000 年的世界会是什么样子。但我希望人类会有很多后代，过着幸福而充实的生活，可以自由地按自己的意愿行事，也能自己解决问题。

我确实花了不少时间思考这些事。它们都是很有意思的问题。

公平地说，今天的情况大体就是我 2015 年预想的样子。那时我的想法比较笼统：我只是不想押注深度学习会失败。我想尽可能大力地押注深度学习。我不知道具体该怎么做，但它总会找到办法。

我 2015 年作过一些具体预测。不过我肯定会说，总体来看……2015 年我只想尽可能大力地押注深度学习，但我并不确切知道事情会发展到什么程度，也没有具体设想过七年后会走多远。嗯，不对，2015 年时我确实和别人打过一些赌，押注 2016 年，也许 2017 年，事情会发展得很远。但具体细节呢？所以两方面都成立：事情确实让我感到惊讶。

我当时也作过一些激进的预测。不过，我内心可能只有 50% 相信那些预测。

我们在 OpenAI 经常交流，所以大家大致了解我的想法。我们在 OpenAI 确实已经到了对这些问题看法一致的地步。

TPU 刚出来时，我一开始非常惊讶，心想：“哇，这太厉害了。”但那是因为当时我不太懂硬件。事实证明，TPU 和 GPU 几乎是一回事，非常相似。GPU 芯片稍微大一点，TPU 芯片稍微小一点，也许稍微便宜一些；但他们会制造更多 GPU 和 TPU，所以最后 GPU 也可能更便宜。

至于 TPU 的成本，我猜如果真有差别，TPU 可能反而更贵，因为数量更少。

我会说两方面都有。提出全新想法只占工作的一小部分。提出新想法当然重要，但更重要的是理解结果、理解已有想法、理解正在发生什么。神经网络是个非常复杂的系统，对吧？你运行了它，看到某种行为，却很难理解这是怎么回事。理解结果、想清楚下一步该做什么实验，很多时间都花在这些事上。还要弄明白哪里可能出了问题，是什么让神经网络产生了意料之外的结果。

至少在我看来，你说“提出新想法”，我想到的是：“如果做这个、做那个，会发生什么？”而所谓理解，更像是在问：“这一切到底是怎么回事？正在发生的底层现象是什么？底层效应是什么？我们为什么要这样做，而不是用另一种方式？”当然，这跟提出想法非常接近，但真正发生关键进展的地方，是理解。

那绝对是加深理解，是对非常古老的事物有了新的认识。

非常好。微软一直是我们非常、非常好的合作伙伴。他们确实帮助 Azure 发展到非常适合机器学习的程度，我们对此特别满意。

几年里就没人能再获得更多算力了。不过，我预计算力会重新出现。比如，我认为 Intel 还留有几代之前的晶圆厂。这意味着，如果 Intel 愿意，它可以生产类似四年前 GPU 的东西。不过，这当然不是最好的选择。其实我不确定自己关于 Intel 的说法是否准确；但我知道台湾以外也有晶圆厂，只是没那么先进。仍然可以使用它们，也仍然能走得很远，只是成本更高、进度会受影响。

这个问题的关键不在于推理会不会变得贵到无法承受。更好的模型确实会让推理成本变高，但这算不算贵得无法承受，要看它有多大用处。如果它带来的价值高于成本，那就谈不上无法承受。举个例子，假设你要找律师，有个案子需要建议之类的，你完全愿意每小时花 400 美元。对吧？如果神经网络能给你非常可靠的法律建议，你会说：“这份建议我愿意花 400 美元。”这样一来，推理成本就完全谈不上难以承受。问题在于，神经网络能不能以这个成本给出足够好的答案？

今天已经是这样了。我们的产品 API 提供多种不同规模的神经网络。

不同客户会根据自己的使用场景，选择不同规模的神经网络。如果有人能拿一个小模型进行微调，得到自己觉得够用的结果，他们就会用那个模型。但如果有人想做更复杂、更有意思的事情，就会用最大的模型。

如果你想避免这种局面，答案就是必须不断取得进展，不断改进模型，不断提出新想法，让模型变得更好、更可靠、更值得信任，这样人们才能相信它给出的答案。所有这些都很重要。

对某些用途来说，可能确实如此。2025 年会有新模型，推动那些更有意思的用途。推理成本也是一个问题。如果你能通过研究，以更低成本提供同一个模型，不同公司提供相同模型的成本也会不一样。我也可以想象，各家公司在一定程度上会走向专业化：有些公司专注于某个领域，在那里比其他公司更强。在我看来，这可能是对商品化趋势的一种回应。

我觉得会出现一种“趋同—分化—再趋同”的过程：近期的工作会有很多趋同，长期工作会出现一些分化；但等长期工作开始开花结果之后，又会重新趋同。

是的，绝对不能排除这种可能。我们会尽最大努力防范，但所有开发这类技术的人都会遇到这个问题。

安全团队做得非常好，所以我真的不担心权重泄露。

我相信会出现真正新颖、令人惊讶的特性，我不会对此感到意外。我最期待、最想看到的是可靠性和可控性。我认为这会是一类非常、非常重要的涌现特性。有了可靠性和可控性，就能帮助你解决很多问题。可靠性意味着你可以相信模型的输出；可控性意味着你能控制它。我们拭目以待，但如果真的出现这些涌现特性，那会非常酷。

我认为可以对具体能力作出一些预测，尽管这并不简单，至少目前还不能做到特别细致。但把这件事做得更好确实非常重要。有研究想法、又对这件事感兴趣的人，可以作出很有价值的贡献。

把预测做得更好确实很重要。有兴趣、并且在这方面有研究想法的人，都可以作出有价值的贡献。

问题在于，规模定律告诉你下一词预测准确率的对数会怎样变化，对吧？把下一词预测准确率和推理能力联系起来，是完全另外一个挑战。我相信两者有关联，但这种关联很复杂。我们也可能会发现，有其他方法可以用同样的精力获得更多推理能力。

可能确实会有一些有帮助的办法。

让人类教我们的模型做事，我认为这是极其明智的做法；尤其是教它们行为得当，确保它们不会编造错误的内容。

这确实是个有意思的情况。我会说，这既有奇怪的地方，从某种程度上看也没那么奇怪。为什么数据、GPU 和 Transformer 会同时出现？背后的驱动力是什么？

数据之所以存在，是因为计算机变得更好、更便宜，晶体管也越来越小。后来，个人电脑终于便宜到每个人都买得起。一旦人人都有个人电脑，人们就想把它们连起来，于是有了互联网；有了互联网，数据就突然大量涌现。GPU 也在同期不断改进，因为晶体管越来越小，人们也在寻找它们的用途。后来发现，游戏就是一种用途。再后来，Nvidia 想：“也许我们可以把游戏 GPU 变成通用 GPU 计算机，也许有人会发现它有用。”结果它很适合神经网络。

也许会有一些延迟，比如晚一年？

很难说。我不太敢把答案说得更长，因为 GPU 会一直变得更好。我想不出为什么就不会有人发现它。还有一点：即使没人做这些事，计算机也会继续变快、变好。GPU 越来越大，训练这些神经网络就越容易，工程投入也越少；你不需要像以前那样优化代码。ImageNet 数据集刚出现时规模很大，用起来也非常、非常困难。现在想象几年之后，下载它变得很容易，人们随手就能试。我的猜测是，最多也就延迟若干年，不过我不太愿意把答案说得更长。

以目前的能力水平来看，我们已经有一套相当不错的想法，知道如何对齐这些模型。但我不会低估对齐真正比我们聪明的模型有多难，尤其是那些能够歪曲、掩饰自身意图的模型。这件事需要大量思考和研究。学术研究者常问我，他们在哪里最能作出贡献。对齐研究就是学术研究者能够作出非常有意义贡献的领域之一。

学术研究完全有可能提出这些洞见。出于某些原因，这种情况似乎不太常见，但我不认为学术界有任何根本限制。并不是说学术界做不到。也许他们只是没有在思考正确的问题，或者说，在这些公司内部更容易看清楚需要做什么。

也许有人会突然想到……我怎么可能排除这种可能？

我不认为比特世界和原子世界之间有清晰的界线。假设神经网络告诉你：“嘿，你可以做这件事，它会改善你的生活。不过你得按某种方式重新布置公寓。”于是你真的去重新布置了公寓。神经网络就影响了原子世界。

我不觉得这两种情况之间有那么大的区别，我解释一下为什么。过去推动进步的一种方式，是我们发现某样东西一直具有某种理想属性，只是我们之前没有意识到。这算不算突破？可以说算。算不算把书里已有的东西实现出来？也算。

我认为那是在尝试不用反向传播来训练神经网络。如果你的动力是想理解大脑如何学习神经连接，这个方法尤其有意思。据我所知，神经科学家非常确信大脑无法实现反向传播，因为突触里的信号只会朝一个方向移动。如果出于神经科学的动机，你想问：“怎样才能设计一种不使用反向传播、但试图近似反向传播优良特性的东西？”Forward-Forward 算法就是在尝试做这件事。但如果你只是想工程化地造出一个好系统，就没有理由不使用反向传播。

它是唯一的算法。

到什么时候，我才会不再把人类看作智能的一种存在性证明？

从人类和大脑中获得启发是很好的，但从中正确地汲取灵感也是一门艺术，因为人很容易抓住人类或大脑某种并不重要的特征。许多试图从人类和大脑获得启发的研究，会变得有点过于具体：大家会开始问：“应该遵循哪一种认知科学模型？”与此同时，也要考虑神经网络本身、人工神经元这个想法。它同样受到大脑启发，结果却极富成效。

人们可以、也应该谨慎地从人类智能中获得启发。

我不认为两者有特别强的关联。说实话，这个问题很难回答。我只是一直非常努力，至少到目前为止，这就够了。

（毅力）本身并不足够。很多因素需要共同作用，才能真正弄明白某件事。你必须全力以赴，也必须有正确的观察方式。这个问题很难给出真正有意义的答案。