万亿美元级算力集群与能力解禁 · 1
万亿美元级算力集群与能力解禁 · 2
万亿美元级算力集群与能力解禁 · 3
万亿美元级算力集群与能力解禁 · 4
万亿美元级算力集群与能力解禁 · 5
万亿美元级算力集群与能力解禁 · 6
AI 2028：历史的回归 · 1
AI 2028：历史的回归 · 2
AI 2028：历史的回归 · 3
AI 2028：历史的回归 · 4
AI 2028：历史的回归 · 5
间谍活动与美国 AI 优势 · 1
间谍活动与美国 AI 优势 · 2
能源、工业动员与中美竞赛
中东资本、联盟与 AGI 谈判席位
模型权重、算法机密与安全
算法秘密、数据墙与原子弹往事
并行发明、领先窗口与竞赛风险
AI 的地缘政治影响
国家级间谍活动与企业安全
AI 的地缘政治影响 · 3
AI 的地缘政治影响 · 4
AI 的地缘政治影响 · 5
AI 的地缘政治影响 · 6
国家主导与私营主导的 AI · 1
国家主导与私营主导的 AI · 2
国家主导与私营主导的 AI · 3
国家主导与私营主导的 AI · 4
国家主导与私营主导的 AI · 5
国家主导与私营主导的 AI · 6
国家主导与私营主导的 AI · 7
国家主导与私营主导的 AI · 8
我觉得在这种情况下，私营公司有资本，也能筹集资本。
你需要政府力量来加快建设。
我正想问：我们知道私营公司有望做到这一点；中国如果不受气候承诺之类的限制，也会推进吧？
这正是我想说的一部分。
如果击败中国真的很重要，实际操作会有很多难题：AI 研究人员会加入国家项目吗？如果加入，目前在不同公司做预训练的至少三支团队要怎么整合？最后谁来决定？到某个时刻，你得对万亿美元集群的超参数来一次 YOLO 式拍板。把完全不同组织的复杂研发流程合并起来，怎么会让美国更快地超过中国？
Google Brain 和 DeepMind 合并了，有点混乱，但还算可以。
挺混乱的；而且那还是同一家公司，合并发生得早得多。
但本质上差不多，对吧？只是代码库、基础设施和团队都不一样。过程谈不上顺利，不过 DeepMind 现在做得很好。
你举了新冠疫情的例子。疫情期间，我们醒悟过来，也许有点晚了，但随后投入了大量资金。政府的新冠应对一团糟。我同意“曲速行动”得到了政府支持，但政府基本上就是批准了相关工作——
还提前做了大规模采购承诺。
对，我同意。但从根本上说，那是由私营部门主导的努力，也是新冠应对中唯一奏效的部分。
我认为这个项目更像“曲速行动”。所有公司都会参与政府项目。我不太确信合并就那么困难：选定一个代码库，用 GPU 在上面做预训练；再用另一套代码库和 TPU 做第二阶段的强化学习。我觉得可行。
那他们是不是应该更悲观？我们根本没有计划，必须尽快行动，因为 AGI 已经近在眼前。眼下唯一有能力、有技术实力造出 AI 的机构就是私营公司，而且它们会继续发挥主导作用；总体上会是一种合作关系。
二战刚开始时，美国毫无准备、一团混乱；但美国拥有深厚的人才储备，也有非常出色的管理人才和许多愿意投入的人。我设想的会是某种“曲速行动”式的公私合作。
国家主导与私营主导的 AI · 9
国家主导与私营主导的 AI · 10
国家主导与私营主导的 AI · 11
19 岁成为哥伦比亚大学毕业代表 · 1
19 岁成为哥伦比亚大学毕业代表 · 2
19 岁成为哥伦比亚大学毕业代表 · 3
19 岁成为哥伦比亚大学毕业代表 · 4
19 岁成为哥伦比亚大学毕业代表 · 5
OpenAI 经历 · 1
OpenAI 经历 · 2
我觉得那是个非常重要的问题。那起安全事件让我很担心。之所以提起这件事，是因为我被解雇时，对方明确表示，那份安全备忘录是解雇我的一个重要原因。我记得他们大概是这么说的：“这次是解雇而不是警告，原因在于那份安全备忘录。”——也就是我把它发给了董事会。
你把备忘录发给董事会这件事？
还有我此前因那份安全备忘录收到过的警告。
你当时是大概八个人之一吗？
没有那么少。我想，当时职位最高、没有签名的两个人是 Andrej 和 Jan；他们后来也都离开了。至于那封信，到周一早上它已经开始传阅时，我觉得董事会大概确实该辞职，因为他们在员工中的信誉和信任已经损失太多。但我觉得那封信也有不少问题：它没有要求成立一个独立董事会，而独立董事会本来就是公司治理的基本要求。其他讨论中，我也曾就一些问题向领导层施压。
OpenAI 经历 · 3
我要求 OpenAI 遵守它公开作出的承诺。我还提出了一系列尖锐问题：与专制独裁政权合作、为 AGI 建设核心基础设施，这是否符合 OpenAI 的使命和国家利益？
你离开时，正好有报道称，前员工必须签署一份 NDA 才能拿到已经归属的股权。你签了这种 NDA 吗？
没有。我的情况有点不同，因为当时我还差一点才到股权归属的悬崖期。不过他们还是给我提供了股权，但我不想签那份禁止贬损公司的协议。自由无价。
那些股权值多少钱？
接近一百万美元。
所以这显然是你和其他人都知道的一种选择：OpenAI 明确提出给你股权，但你要签一份带有这些限制的 NDA。比如，你就不能像现在这样，在播客上谈自己对 AGI 和 OpenAI 的看法。
我不知道整个情况。我确实觉得，如果把已经归属的股权和签 NDA 绑定起来，这挺过分的。如果是离职补偿协议，情况或许有所不同。
对，但签了协议的 OpenAI 员工，大概就不能像你今天这样来上播客了。
很可能不能。我也不清楚。
好。来分析一下这里的情况：如果你要替他们辩护，可能会说：“听着，你就是绕过了正常的汇报链条。”这或许有一点道理。不过，人力资源的人认为你和董事会应该处于对立关系，这就很奇怪了。你把与 OpenAI 是否履行使命、以及如何做得更好有关的信息告诉董事会；董事会本来就应该确保 OpenAI 遵循自己的使命。把这说成泄密，听起来很……
说清楚，泄密指控只涉及那份我拿去征求意见的文档。这是他们提出的另一个问题。他们说，如果不是那份安全备忘录，我本来不会被解雇。
他们说你不会因为那份文档被解雇？
他们说，这次之所以是解雇而不是警告，是因为我此前因安全备忘录收到过警告。
在你离开之前，董事会风波已经发生：Sam 被解雇，后来又重新当上 CEO，现在还进了董事会；超级对齐团队的负责人 Ilya 和 Jan 都离开了。Ilya 是 OpenAI 的共同创办人，从研究角度看，他显然是 OpenAI 最重要的成员之一。看起来，尤其是超级对齐方面，加上 OpenAI 过去几个月的人事风波——这到底怎么回事？
OpenAI 经历 · 4
对，风波确实很多。为什么会有这么多风波？如果 OpenAI 声称自己只是在开发 ChatGPT 或商业软件，风波就会少得多。我觉得很多风波都来自这样一点：OpenAI 真的相信自己正在开发 AGI。这不只是为了营销才说说而已。比如有报道称 Sam 正在为芯片筹集 7 万亿美元；只有你真的相信 AGI 即将到来，这种事才说得通。
智能爆发 · 1
谈谈这个故事里很重要的一部分。我们在地缘政治上必须采取某种行动，一个重要动机是：一旦有了 AGI，很快就会发展到 ASI，也就是超级智能。因为这些 AGI 可以作为研究员，继续推动 AI 进展；也许只要几年，甚至更短，就会进入超级智能阶段。之后，按照你的叙事，我们会围绕机器人、袖珍核武器以及其他疯狂的东西，开展大量研发。
但我对这个叙事有很多怀疑。概括地说，我不确定研究实际上是靠这种“投入—产出”模式推进的。看看整个经济：Patrick Collison 等人指出，与一百年前相比，如今世界上的研究人员多了 100 倍，但进展并没有快 100 倍。所以显然，不能只靠把更多人口投入研究，就让研究产出随之提高。我不明白 AI 研究员为什么会例外。
好，这就进入有意思的部分了。这是我和 Patrick 等人之间一个经典分歧。投入当然重要。美国的科学和技术进展远远多于列支敦士登或瑞士。
我不确定我同意。历史上有很多例子，少数人组成的小团队——比如贝尔实验室或“臭鼬工厂”——取得了重大进展。OpenAI 也就几百名研究员。
但他们是经过高度筛选的。
这正是 Patrick Collison 当独裁者能把事情做好的原因。
是的，如果他能从全世界挑出最优秀的 AI 研究员，几百个人可能就够了。但那就是人才池：全世界最优秀的 300 名 AI 研究员。
可从一百年前到现在，人口大幅增长了。考虑到营养不良、贫困等过去会损害人才发展的因素，如今没那么严重了，你本来会预期人才密度也提高了。
我不知道是不是 100 倍，但我觉得至少提高了 10 倍。有些人会说，想法并没有变得难找很多，那我们为什么需要把研究投入提高 10 倍？在我看来，这个故事非常自然。为什么自然？因为它在双对数图上是一条直线——这简直是深度学习研究员的梦想。
智能爆发 · 2
我同意。但如果投入增加时，边际收益递减的系数足够高，那么抽象地说，“投入很重要”这个事实也没那么关键。我们一直在很高的层次讨论；具体一点看，OpenAI 直接参与未来模型算法进展的员工，顶多也就是几百人。如果人数可以随意增加，从而加快算法进展、做出更好的 AI，那为什么 OpenAI 不把全世界所有智商 150 的人都招来？这样的人有几十万。
好，我们就谈 OpenAI 和自动化 AI 研究员。看看过去一年 AI 研究员薪水的涨幅；我不知道具体是 4 倍还是 5 倍，总之很惊人。他们显然在努力招揽全世界最好的 AI 研究员，而且确实招得到。对你刚才那个问题，我的回应是：这些智商 150 的人里，几乎所有人即使明天就被招进来，也不会立刻成为优秀的 AI 研究员；他们不会马上变成 Alec Radford。
可他们愿意做要花几年才见效的投资。现在买的数据中心，到 2026 年就会投入使用。招来的人里，有些可能不合适，有些可能没有我们看重的特质；但为什么不赌一把，让这些智商 150 的人到 2026 年成为出色的 AI 研究员？
这种事有时确实会发生。聪明的物理学家在 AI 研究上表现一直不错，Anthropic 的联合创办人就是例子。
但比如 Dario 上节目时就说过，他们的政策很谨慎：不会随便招人，而是会极度挑选。
培养人才不像扩大规模那样容易。培养真的很难。如果你招来 10 万人，要把他们全都培养起来会难得不得了；你就没法做任何 AI 研究。引进新人、培训他们，都有很大的成本。
智能爆发 · 3
打个比方：如今我们一年申请的专利，比 20 世纪初那场真正的物理学革命期间多；当时他们用了大约半个世纪才做出那些成果。那我们今天一年取得的物理学进展，比当时半个世纪的进展还多吗？你现在生成的这些 token，未必等同于人类最初建立互联网时所创造的那么多可编码知识。
互联网上的 token 通常是最终输出。我们刚才谈到了“解除束缚”。我把一个 GPT token 想成自己内心独白中的一个 token；我就是这样换算成人类等效工作量的。大概是每分钟 100 个 token，再乘以人类工作 X 个小时——这相当于多少工作量？
这又回到前面提过的一件事：为什么我们还没从 AI 身上看到巨额收入？人们常问，如果把 GPT-4 带回十年前，大家会觉得它能自动化一半的工作。这里有个“肯定前件、否定后件”（modus ponens / modus tollens）的问题：一种解释是，我们已经快到那个临界点了，只差解除这些束缚；这可能确实是部分原因。但还有另一条值得吸取的教训：只看表面能力，很可能会漏掉背后更多尚未解除的限制。我觉得 AI 作为研究员时也是这样，表面能力之外还有很多隐性的限制。
我基本同意你说的很多内容。我的叙事是，能力提升会有一段长尾。也许到 2026 或 2027 年，会出现一个原型自动化工程师，工程能力已经很强，但还没有研究直觉；我们也还不太知道该怎么让它发挥作用。
还有一个问题：实际要怎么管理一百万个 AI 研究员？
智能爆发 · 4
人类的一种比较优势，或许是我们受过特别多的训练，擅长团队协作。可即便如此，几千年来我们一直在学习如何群体合作，管理还是一团糟。大多数公司管理得都很差，这件事真的很难。
说得太好了。我回应几点。现实世界的瓶颈确实存在，我完全同意这一点，而且我们很容易低估它们。我们所做的事情基本上是移除劳动力约束、自动化劳动力，再让技术呈爆发式增长；但世界上还有很多其他瓶颈。
我喜欢你的模型里 AI 研究听起来一点也不复杂，就像翻汉堡；它就是 AI 研究。
这是因为有人会这样论证：“AGI 什么也做不了，因为它不会翻汉堡。”没错，它不会翻汉堡，但它能推动算法进步；有了算法进步，它就会想出怎样造一个能翻汉堡的机器人。再说，我们谈的这些数量其实只是下限。我们肯定可以运行一亿个这样的系统。
智能爆发 · 5
我同意，时间拉长后会达到那个阶段。我不是说 ASI 不可能，只是在问：怎么会在一年里发生？
我觉得这个故事更像连续的过程。正如我说过的，到 2025 或 2026 年，你基本会有大学毕业生水平的模型。我不知道具体会在哪些方面解除束缚，但即使那时，出现一个原型自动化工程师也是有可能的。
回到解除束缚这个话题。我们会在今年年底前得到一批模型。假设到年底它们仍缺少某种能力：有没有哪种能力如果没有出现，就说明 AI 进展要比你预测的慢？
我觉得有两个关键问题：解除束缚，以及数据墙。我们先谈数据墙。虽然我们一直在讨论 AI 进展有多惊人，但数据墙其实被低估了。确实存在一种可能：我们会停滞不前，因为过去一直搭着一股顺风——无监督学习、预测下一个 token 这种方法很容易起步，模型能学到很棒的世界模型；只要买更多算力，再做些简单的效率改进，就会获得很大的提升。
假设 Common Crawl 和互联网上的数据比我们碰巧拥有的少三个数量级。过去几十年里，随着互联网等事物的发展，人类拥有的数据总量一直在迅速增加。你的看法是，出于偶然因素，我们刚好有足够的数据，训练出像 GPT-4.5 这样强、恰好能启动自我博弈强化学习循环的模型吗？
数据少三个数量级就相当糟了。按照 Chinchilla 缩放定律，那会让计算最优的模型规模和算力都小六个数量级，基本上只能停在勉强比 GPT-2 好一点的水平；那就非常糟糕了。
智能爆发 · 6
如果能得到不同数据数量级条件下的概率分布，那会是个有意思的练习。
是的，我同意。
让我对这个故事持怀疑态度的地方是，预训练为什么有效，其实很好理解；但其他这些事情只是有一些“原则上应该有效”的解释，比如人类能够这样学习。它们或许是真的。
这要看后续发展。再说样本效率，它确实属于第一性原理层面的推论，但中间明显缺了一环。以前人们没怎么尝试，现在大家真的开始尝试了。深度学习里，很多时候最明显的办法就能奏效，只是有很多细节要做好，所以可能需要时间；不过现在大家真的在投入，我觉得接下来几年会有很多信号。
特别是在这一点上，很多持较长时间线观点的人上过这个节目，他们说训练长时程强化学习的方法……我之前提过，模型可以思考五分钟，却没法思考更久；这并不是因为它们在物理上无法输出长达一小时的 token。至少按我对他们说法的理解，Gemini 的上下文窗口有一百万 token，这对读取和吸收材料确实很有帮助，也解决了一个重要的束缚：新人入职的问题。
对，生成一百万个 token 这件事……
说到生成一百万个 token，目前没有公开证据表明存在某种很容易优化的损失函数，就能让 GPT-4 大幅变好。
GPT-4 发布后确实变好了很多，发布后的提升本身就是一个重要信号。你在节目里和 John Schulman 谈过这件事；John 说主要是后训练带来的提升。如果看 LMSys 评分，大约提高了 100 个 Elo 点；这比 Claude 3 Opus 和 Claude 3 Haiku 之间的差距还大，而两者价格相差 60 倍。
但它的能动性并没有更强，只是在相同类型的对话中表现更好。
它的数学成绩从 40% 提高到——
智能爆发 · 7
数学成绩从 40% 提高到了 70%。这清楚表明，解除束缚方面显然还有很多工作可做。我觉得有意思的问题是：一年以后，会不会有模型能够连贯、连贯地思考几千个 token？如果数据再多一两个数量级，我大概会更放心，因为缩放本身会带来顺风。
这是个很好的收尾方式：我们已经知道争论的核心是什么，也知道怎样的进展能构成证据，判断 AGI 会不会进展到超级智能。也许现在的改进都很容易；你只要放开 Alec Radford，给他一笔算力预算，他就能做出一些改动——比如改这段代码，从而产生计算乘数。
我觉得你把时间线说得有点夸张了，但“一年取得相当于十年的进展”是个合理的设想。这就是自动化 AI 研究员发挥作用的地方：它能为其他一切带来巨大的顺风。
智能爆发 · 8
这很有意思。不过，如果增加资本 K 或劳动力 L，却没有提高全要素生产率 A，会怎么样？可以看看苏联或中国：它们迅速增加了投入，这确实改变了地缘政治格局。上海这样的城市在几十年里发生了惊人的变化。
它们十年左右就能建出令人惊叹的城市。
人们会说，AI 能带来 30% 的增长率……最接近的例子——
看看亚洲四小龙，10% 的增长完全有可能。
可要是没有生产率提升，就不像工业革命。站在体系之外看，你会发现商品变便宜了，制造能力变强了，但这不代表下一个世纪正飞速朝你奔来。
两方面都重要。我还想说，这些事情的数量级确实非常、非常重要。我们讨论过研究投入增加 10 倍，或者十年里增加 10 到 30 倍。即使没有自我改进循环——即便只按 GPT-4 发展到 AGI 的叙事——有效算力每年也增加一个数量级。
这不就是你刚才说的均衡叙事吗？你用它解释为什么整个经济的增速只有 2%。你只要继续按均衡推下去——我猜你的意思是，到那个时候……
这里的均衡结果是进展会快得多。当然，这取决于各种指数。假设最近四五年里，为了维持 AI 研究进展的速度，有效研究投入需要提高 10 倍；但我们得到的不只是 10 倍，而可能是 100 万倍，或者 10 万倍。数量级确实很重要。
我上 Tyler 的节目时问过他这个问题：1776 年之后，经济从几乎没有增长进入每年 2% 的增长状态，这很有意思。站在中世纪或更早时期的人角度看，2% 大概就相当于如今的 10%。我猜你对 AI 经济的预测还要高得多。
这要看情况。这些事情我都有很大的不确定性。我经常试着讲最可能出现的情景，因为我觉得把它说得具体、形象很重要。我对 2030 年代会怎样有很多不确定性；我只知道那会疯狂得不得了。至于具体有哪些瓶颈，等等……
那我们来看看具体数字。
智能爆发 · 9
你说会有数亿个 AI 研究员。现在 GPT-4o 的输出价格大概是每百万个 token 15 美元。人类每分钟大概思考 150 个 token。这样算下来，人类一小时的输出成本大约是 10 美分。
比雇一个人类员工便宜。只是它现在还做不了那份工作。
没错。但等到模型是在 10 吉瓦的集群上训练出来的，它的推理成本可能要高四个数量级，或者说三个数量级左右。那相当于每小时 100 美元的劳动力成本；而你还要有数亿这样的劳动力。算力够不够，让规模大 1000 倍的模型承担这些劳动？
这是个好问题。我其实不认为前沿模型的推理成本一定会涨那么多。
可是测试时计算不是会让成本涨得更高吗？
我们现在算的是每个 token 的成本。假设模型每个 token 相当于人类每分钟思考 100 个 token；它确实会用更多算力，但按 token 计算时，这已经包含在成本里了。关键是每个 token 的定价。
真的吗？这太惊人了。
我们还得看后续。即使成本涨 10 倍，也只是从一亿个减到一千万个，问题不算太大。
但智能爆发的一部分在于，每个 AI 都要运行 GPT-4 规模的实验，这会占用大量算力。然后你还得整合实验结果。最后合成出来的权重是什么？
反正你的推理算力本来就会比训练算力大得多；不过，实验所需的算力确实是个约束。
回到一个更根本的问题：在系列文章里，你建议用有效算力的数量级来表示到达 AGI 的概率。这里的“有效”考虑了算法更好时会带来的算力乘数。我不确定我们是否有理由确信这是预测进展的合理方法；它也许合理，但我对此很不确定。
智能爆发 · 10
我觉得这两个例子很不一样。我不懂火箭科学，不过我不觉得火箭科学里存在一种明确的缩放规律，能把喷气燃料的用量直接对应到结果。AI 则不同。首先，缩放定律一直成立。一位朋友指出了一个很好的观点：把最初的 Kaplan 缩放定律论文——我记得研究范围从 10 的负 9 次方到 10 petaflop-days——和此后一路增加到 GPT-4 的算力衔接起来，并假设算法也在进步，那么缩放定律大概在超过 15 个数量级的范围内都成立了。这个计算比较粗略，实际范围可能还更大；总之，它们在许多个数量级上都成立。
可它们对模型训练所用的特定损失函数成立，也就是预测下一个 token。你预测的这种能力进步需要发生；但我们已经知道，数据墙会让这条路走不通，所以还得有新的东西发生。我不确定能不能把同一条缩放曲线外推，用来预测这些限制会不会也被解除。这些限制根本不在同一张图上。
“解除束缚”是另一回事。这里有几点。关于有效算力的缩放，人们总把缩放定律摆在中心，因为它们容易解释。但为什么缩放重要？在 Dario、Ilya 等人意识到规模很重要之后，缩放定律才出现。我觉得比损失曲线更重要的是一个一般事实：你把模型做大，它就能学到更多。Dario 在你的节目里有句很好的话，大意是模型就是想学习；你把它们做大，它们就学得更多。这适用于各种领域、各种能力。
这让我想起 Steven Pinker 的《人性中的善良天使》。书里谈到暴力、战争长期以来在下降。你可以从二战结束时、甚至二战之前把趋势线画出来，然后说：“这些战争——”
智能爆发 · 11
对齐 · 1
这是个看起来合理的故事；我们先沿着它推演，看看它意味着什么。你在系列文章里谈对齐时，并不是把它说成一个末日论者的方案，好像只是要捞出那种极小的概率——那种极小的概率情景，确保事情不会失控。你的重点更像是控制这些系统，确保它们按我们的意图行事。
如果最终形成的是民主国家联盟，那确实是个问题。对齐也常常具有双重用途。对齐团队开发了 RLHF，这是对齐领域的一项重大成果，但它显然也让模型变得有用。对齐能造出中共机器人；美国 AI 要遵循宪法、拒绝违法命令、尊重权力分立和制衡，也需要对齐。无论你想做什么，都得用到对齐；它就是底层技术。
说说你怎么看我最近一直在琢磨的这个观点。未来可能有许多不同走向。有一种是 Eliezer 描述的那类：疯狂的 AI 带着纳米机器人接管未来，把一切变成灰蛊或回形针。对齐解决得越好，这条决策树上的道路就越受限制；对齐解决得越好，未来就越取决于不同的人以及他们各自的愿景。当然，我们知道历史从来不会完全按预期发展，所以这不是说你能决定未来。
这正是其中一部分美妙之处；我们想要的就是这种纠错机制——
但从任何观察这个系统的人角度看，他都会觉得：“我可以控制它最终会走向哪里。”所以你越是解决对齐、限制 AI 可能带来的各种未来，人们不同未来愿景之间的冲突就越突出。对齐解决的世界，可能恰恰是人类围绕“AI 应该走向哪里”发生最多冲突的世界。
把 AI 接管世界的那些情景排除掉之后，剩下的情景就是由人类决定会发生什么。正如我们刚才说的，这里面仍有许多种可能，也有许多不同的走向。
你把对齐看作控制这些系统。再往前想一点：未来也可能是人类后代——或者未来的某种人类形态——与超级智能融合，并在某种以法律和市场为基础的秩序里生活。我担心的是，如果这些东西有意识，就应该受到权利保护。
对齐 · 2
也许我把这个类比拉得太远了，但对齐技术竟然这么容易对应到毛泽东文化大革命期间的那一套，这让我有些不安。
有意识的 AI 是另一个话题，我不知道我们要不要谈。我同意，未来如何对待它们会非常重要。但具体来说，你把这些系统编程成什么样，仍然是技术问题；对齐只是一种技术方案，它也能造出中共机器人。
说到对齐，你似乎相当乐观。我们来看看乐观的来源。你描述了 AI 可能出现的几种世界：一种概率较低的情景是，明年 GPT-4 加上脚手架和解除束缚就达到 AGI——不是 GPT-4，嗯，抱歉，抱歉，G……；还有一些情景需要更久。
我不确定自己是否相信“急剧左转”这个概念，但从现在到早期智能爆发中某种程度超人类的系统之间，确实会有重要的质变；从早期智能爆发到真正拥有全部力量的超级智能之间，也会有重要的质变。我们分别谈谈。
对齐 · 3
这是自动化 AI 研究所需的前提。关于对齐，我基本认为预训练本身是中性的：它会学到各种表征，既包括好事，也包括做坏事的表征；但这不等于模型在暗中谋划对付你。
对齐 · 4
对我们来说，这就像一个领域专家面对一名小学生或初中生。这会是对齐领域极其棘手的一段时期。好在你会有自动化 AI 研究员，也可以让它们帮助研究对齐。
在这种情景下，为什么我们应该乐观地认为，这个项目会由真正考虑这些问题的人来管理？有一点可以想：OpenAI 起步时，确实有一批人非常明确地在思考这些事情。
可他们现在还在那里吗？
不过，看看现在的管理层，他们也在采访和博客文章里谈过这些事。这不只是你这么说，Jan 在他的推文串里也谈过。正如你刚才说的，事情总会有一些取舍：比如这周发布一个吸睛的产品，还是等到下周再发，因为 Google I/O 下周就要召开。最后，取舍往往偏向于更草率的决定。
他们也许不会认真考虑。我有几点想法。首先，即使私人公司名义上关心对齐，在私人领域做对齐也极其困难，原因有几个。商业实验室之间存在竞赛，你没有余地说：“不如暂停三个月，把问题弄清楚；我们把 90% 的算力用于自动化对齐研究，而不是继续推进下一个数量级。”
好，那我们来聊聊——
德国与理解外国视角 · 1
德国吧。我们把现在类比为二战；好几个小时前，你提了一个很有意思的观点：纵观历史，按人口比例来衡量，二战并不是独一无二的灾难。还有别的灾难也造成了大量人口死亡，但后来国家恢复了，重新回到原来的高度。
因为他们是盟友。
对，但后来发生了什么？二战结束后，德国并没有重新回到七年战争那样的状态，对吧？
我总体上很看衰德国。但在这个讨论里，我觉得你有些低估了它。德国可能仍是世界上最重要的五个国家之一。整个欧洲的 GDP 规模也接近美国。德国确实有些做得不错的地方，比如国家能力：道路状况良好、干净、维护得很好。
如果你想矫枉过正、避免重蹈纳粹覆辙，为什么这种反叛会成为逻辑上、思想上的选择？是因为纳粹非常崇尚精英主义吗？我不理解为什么这会成为自然的反应。
也许这确实是对雅利安种族观念之类东西的一种反作用。再看看第一次世界大战结束时和第二次世界大战结束时的德国。常见说法是《凡尔赛和约》对德国太严苛；但二战后施加的和平条件严苛得多。
而且德国边界比《凡尔赛和约》划定的范围小得多。
没错。双方都彻底重建了政治制度。从某种意义上说，二战后的和平安排比一战后的效果更好；
德国与理解外国视角 · 2
一战后的德国民族主义重新抬头，这成了一种历史模式。某种意义上，你也会犹豫是否要唤醒沉睡的野兽。不过我确实觉得，如今它已经沉睡得有点过头了。
你说我们低估了美国政治制度，这个观点很有意思；我自己也一直在作同样的修正。有一本中国经济学家写的书，叫《中国的世界观》。整体而言，我不太喜欢这本书，但它提出了一个很有意思的观点：中国政治和行政体系中的候选人，是怎样沿着层级一步步上升的。某种程度上，这套筛选机制意味着你不会看到玛乔丽·泰勒·格林那样的人。
德国也不会有这样的人。
但书里特别指出，这也意味着中国永远不会出现亨利·基辛格或巴拉克·奥巴马那样的人。等他们升到政治局掌权时，可能已经成了从不惹麻烦的老官僚。
美国那种喧闹的政治辩论非常重要。一般来说，美国有很多人活在各自的世界里。我们住在旧金山这个古怪的小泡泡里，周围的人也是如此。但这种环境对思想演进、纠错之类的事情很重要。
这是个很好的观点。关键问题是，大家都同意彼此的看法。
正是如此，根本没有过辩论，最后变成一种“共识大团块”。说到中国，我读德国报纸时会想，如果只从远处观察，我对德国的辩论和社会心态会了解得多么有限。中国对我来说尤其难以看透，那里有十亿人口。
这确实很有意思。我甚至有点惭愧，自己还没去做这件事。几个月前 Alexey 在他的 YouTube 频道采访我时，我说过，我一直打算去中国亲自看看那里发生了什么。顺便说一句，如果正在收听的人很了解中国，而且能在我去中国时介绍一些人给我，请给我发邮件。
你应该做几期播客，找一些中国 AI 研究人员聊聊，那会很棒。我不知道他们能不能畅所欲言。
他们的论文会列出合著者。我当时想，不如给所有人发冷邮件：“这是我的 Calendly，我们聊聊吧。”我只是想感受一下他们是什么样的人、受西方影响有多深。即使他们什么也不告诉我也没关系。
德国与理解外国视角 · 3
直接向 CTO 汇报。”
秘密就是这样流出去的。
是啊。我本来更早就想问这个：如果只有大约一百人，甚至更少，在做关键的算法工作，那么只要他们挖走其中一个人，这些实验室所有的领先优势是不是就都没了？
如果这个人是有意为之，能带走不少东西。他甚至可能直接把代码拷出去。直到不久前，很多东西还会公开发表；即使如此，只要他真的想打探，还是能获取大量关键思路。我觉得有不少人其实不会主动了解其他团队在做什么，但你确实可以去了解。这很可怕。
这样一来，“这个项目”的逻辑就更说得通了：你不能只挖来一位曼哈顿计划的工程师，就把事情办成。
这些秘密可能会用于未来几乎每一次训练。它们也许是突破数据墙的关键；没有它们，后续训练可能就无法继续。它们带来的算力倍增效应，价值可能达到数千亿、数万亿美元。中国只要给某人一亿美元，说“来为我们工作”，就有可能挖走人才。我真的不确定中国现在对 AGI 到底有多认真。
这说明什么？他们不让资深 AI 研究人员离开中国？有意思。
这有点像典型的东欧集团做法。我不知道这件事是不是真的，但我听到的说法是这样。
回到你刚才说的读德国报纸。你早先提过自己对经济学、法律和国家安全感兴趣；这种多元的知识来源，让你能从别人谈 AI 时不太会采用的角度思考地缘政治问题。
中国是一个重要方面。另一个是很有泰勒·考恩风格的问题：你接触不到普通美国人会怎样使用 AI。这个因素可能会成为 AI 普及的瓶颈。我可能高估了收入前景，因为我以为大家都会采用它。但公司里一个普通工程师，真的能把 AI 整合进工作吗？人们会作何反应？几个小时前我们也问过：他们会不会反抗，不愿参与这个项目？我不知道，也许会吧。
有一种我没料到的政治反应。我之前跟你说过这个故事，但我还是再讲一遍。塔克·卡尔森最近上了乔·罗根的节目，他们开始聊第二次世界大战。
德国与理解外国视角 · 4
“这些机器是为了服务人类，而不是奴役人类。他们还在不停制造这些机器，所以我们当然应该用核弹炸掉数据中心。”这绝不是我原以为 2024 年会出现的政治反应。谁知道呢，事情会变得很疯狂。新冠疫情让我们看到，单凭直觉预想的左右派反应也会彻底翻转。
它翻转过好几次。最初右派大概是……左派则说“这是种族主义”；后来局面又翻转了，左派非常支持新冠封控。整件事也一直很直白、粗糙。
你提到间谍和国家安全部门会介入。抽象地谈这些还好，但我们现在生活在旧金山，认识许多从事顶尖 AI 研究的人。想到我认识、和我做朋友的人，如果他们脑中的秘密价值一千亿美元，绑架、暗杀、破坏活动都不是不可能发生的，这让人有些害怕。
他们的家人也会受牵连。情况很糟。说到安保，现在这一切还显得很遥远；但等事情变得非常严重时，你会需要安保人员。
你想必考虑过，中国的人会听这个节目、会读你的系列文章。你似乎权衡过：与其保持沉默，不如让全世界、包括中国都知道这些事，让他们也意识到 AGI——而让中国意识到 AGI，正是你担心的问题之一。我很好奇你是怎么权衡的，能不能谈谈你的思路？
这是个很难的取舍，我认真想过很多次。中国大陆的人会读到这些内容。
移民经历与播客缘起 · 1
好。顺便说说德国：我们之前聊过移民经历。我觉得你有一段很有意思、还没讲过的故事，我想听听。
几年前我还在上大学，那时 20 岁，快要满 21 岁了。
你很小的时候就从印度来了，对吧？
我八九岁之前一直住在印度，之后我们搬去了很多地方。印度人的绿卡积压很严重，我们已经排队排了几十年。
你八岁就来了，现在还是 H-1B 身份。
对。满 21 岁时，我会从排期里被踢出去，必须重新开始申请。我爸爸是医生，我是他的 H-1B 家属；但我满 21 岁时就会失去这个身份。那时我才 20 岁，突然意识到这就是我的处境。
你就彻底完了，对吧？
我也经历过我爸爸的处境。我们家几乎搬遍了全美。因为我爸是医生，他们必须证明找不到本地人才。
而且你也不能自己创业。即便要给你办 H-1B，也得参加抽签；运气好的话，中签率大约只有 20%。
另外，他们还得证明找不到本地人才，所以我们在北达科他州住了三年，在西弗吉尼亚州住了三年，还住过马里兰州。后来我逐渐意识到，等我满 21 岁，就只能参加抽签；就算抽中，我也会一辈子当个写代码的工具人，因为这套制度不会松手。
是啊，没法创业。
没错。与此同时，过去一年我一直在读保罗·格雷厄姆的文章，简直着了迷。当时我想创业，对这件事特别兴奋；后来我突然意识到自己做不到，这条路对我来说根本走不通。我因此很沮丧。期末考试那段时间，我整个人都恍恍惚惚，因为突然想到了这个问题，也非常焦虑。
做这个播客。
我大学毕业后有段时间无所事事，提前一个学期毕业，然后想：“我来做做播客，看看会怎样。”如果没有绿卡，最好的情况也许只是……这个播客能存在，完全是因为我拿到了绿卡。
这真像一个时代的缩影。移民改革会产生什么影响？清理积压中的五万张绿卡又会带来什么影响？你就是一个很好的例子，说明这一切都取决于这些条件。想到制度如此失灵，实在令人难过。
太离谱了。
我很高兴你做了这件事，也很高兴你尝试了这条不同寻常的路。
不过我能做成这件事，显然是因为很幸运地拿到了绿卡。我攒了一点钱，大学毕业后还从 Future Fund 得到一笔小额资助，让我能用差不多六个月来做这件事。结果还不错；但每到一个阶段，我都会想：“好吧，播客也做过了。我在这上面浪费了几个月，现在该去做点真正的事了。”
移民经历与播客缘起 · 2
总会有一件大事发生。每当我快要放弃播客时，总会遇上某个节点：杰夫·贝索斯会在 Twitter 上夸我一句；某一期节目会有五十万播放。然后播客就成了我的职业。回头看，事情能以正确的方式发展，实在非常偶然。
如果 AGI 的事真的发生了，这个播客可能会成为大多数最先感受到 AGI 的人了解它的渠道。
你也和这个故事紧密相连。你知道，我刚毕业时从 Future Fund 拿了两万美元资助，靠这笔钱撑了六个月左右。没有这笔资助，情况就很难说了。当时是 1 万美元，还是……？
数额其实不大，但这说明小额资助能发挥多大作用。Emergent Ventures 也是如此。
对，Emergent Ventures。过去一年我在旧金山，我们一直保持密切联系，不停地交换想法。我想大家会惊讶，我的很多信息优势有多少来自你、Sholto、Trenton 和另外几个人。
这段经历非常愉快。
我也一样，特别开心。
随机问题 · 1
是啊，我也觉得这段经历特别愉快。
好，接下来问几个随机问题。如果你可以皈依摩门教，而且真的相信它，你会这样做吗？你会按下那个按钮吗？
好，在回答之前，我先谈谈摩门教徒。有篇文章对我影响很大，是《大西洋月刊》的麦凯·科平斯写的，谈摩门教徒；他还采访过米特·罗姆尼。文章里有个很有意思的观点：从小与众不同，尤其是在犹他州以外的地方长大的摩门教徒，会经历一种很不寻常的成长环境。你可能是唯一一个不喝咖啡因饮料、不喝酒的人，显得格格不入。这会让人后来更愿意站在常规之外。
你会想：“哦，这是个好的开端，摩门教徒会取代所有人。”
我不知道这是不是好事，但至少有些人的生育率还能保持在较高水平。不，不过即使摩门教徒也一样：那些生育率很高的宗教小群体，一旦发展到足够大，就会与普通社会接触得越来越多，逐渐被常态化。生育率可能在 10 到 20 年间从 4 降到 2。
但你可以选择一个自己会相信它的世界。
相信某种高于自我的事物、拥有一定程度的信仰，是很有价值的。
你确实有这种信念吧？你的系列文章就是这样。
感到自己对某种高于自我的事物负有责任，也很有价值。也许我理解这种责任的方式有些不同。我觉得自己对历史的走向负有某种责任，想让事情朝好的方向发展。我也觉得自己对我们的国家、对美国的国家安全负有责任。这可以成为一股巨大的向善力量。
回到我们开头谈的 OpenAI 那件事，尤其令人印象深刻的是：公司里有人在科技行业工作了许多年、几十年，积累了数千万美元的流动资产，股票权益可能还不止这些。很多人都担心中东的算力集群、秘密泄露给中国等问题；可真正站出来闹、把这件事提出来的人，却是一个 22 岁、入职不到一年的员工，没有攒下什么钱，也还不是公司的资深成员。我觉得，愿意把事情闹出来这件事被低估了。
也许是我太天真，不了解大公司怎么运作；不过我——
随机问题 · 2
有时候我有点像言语义务论者：我觉得应该说出自己的想法。有些朋友会告诉我，我应该更像言语后果论者。
我想，很多人即使有机会和某个人谈这件事，也不会主动提出来。我和你在好几种场合共处过；我想我不该透露那个人是谁，也不该透露具体情境。但我一直很佩服：一场晚餐开始时，某个人对某种世界观可能觉得极其陌生；到了晚餐结束，那位对事情有重大影响力的人却认真地在思考这种世界观。我很佩服你会直接把这套说法讲出来，也会不断推动他们思考。
我现在对这些事情有非常切身的感受。以前我也会花很多时间想这些，但那时更多是经济学模型、理论抽象，比如谈人类大脑的规模之类。至少从去年开始，我觉得自己能看见它了，也能感受到它。我仿佛能看见训练 AGI 的算力集群，也能看见大致会采用哪些算法组合、哪些人会参与，以及事情会怎样发展。当然，最后会怎样还要看；这个判断可能在许多方面出错，事情也可能有很多种走向，但我觉得它真的可能很快变得无比真实。
那我们要不要聊聊——
创办 AGI 投资机构 · 1
你接下来准备做什么？
好，当然。
你正在创办一家投资机构，锚定投资人包括 Nat Friedman、Daniel Gross、Patrick Collison 和 John Collison。首先，如果你相信几年内会出现 AGI，为什么要做投资机构？
问得好。我们之前聊过，AGI 到来时，屏幕不会就此变黑。人们严重低估了智能爆发之后的十年——那可能是最狂野的时期之一。爆发之后的十年同样会很疯狂：人类制度要与超级智能共存，地缘政治也会发生剧烈变化，爆发式增长还会进一步扩散。这会是极其重要的一段时期，资本也会很重要。最终我们会走向群星、走向星系。
彼得·蒂尔的传记里有个有意思的说法：他的对冲基金回报很差，所以这不是个好先例。
它确实失败了，这是看空的一面：理论性太强。
书里还提到一个有意思的说法：它基本上是装在对冲基金里的智库。
这就是我打算尝试打造的东西。
你大概考虑过这类机构会怎样失败。有很多商业史书讲人们看对了趋势，却没把握好时间：他们知道互联网会很重要，却在互联网泡沫期间买错、卖错，结果错过收益，尽管方向判断是对的。怎样才能避免这种情况？
显然，首要任务和第二重要的任务都是别把机构搞垮。这家投资机构会押注 AGI，押注本十年结束前出现 AGI 和超级智能，并认真对待这一点，按照真正相信它会发生的方式下注。如果这个判断错了，机构的表现就不会很好。
创办 AGI 投资机构 · 2
他觉得晶圆厂会非常值钱；而英伟达有很大的个股特有风险，也许别家公司会做出更好的 GPU。这个担忧基本没错。
但只有英伟达带有 AI 贝塔，因为它的业务里有很大一部分与 AI 相关。接下来几轮翻倍增长会显著推高它的收入；而台积电的 AI 业务只占几个百分点。即使 AI 规模再翻几倍，对台积电整体的影响也不会那么大。所以有一段时间，基本上只有英伟达能提供 AI 贝塔。
在这种情景下，人们下注所依赖的金融市场还会受到尊重吗？如果经济增速达到 50%，我的 Fidelity 账户还意味着什么？谁会在这种情况下维护财产权？这已经是很深入的推演了。
这中间当然有一整套顺序要考虑。但我认为，在最可能的情景下，财产权仍会受到尊重。未来某个时候，人们还得弄清楚星系中的财产权该如何界定，那会很有意思。
这确实是个有意思的问题。回到你的策略：你认为三十年代对未来走向非常重要……
创办 AGI 投资机构 · 3
……到那时，你希望自己能凭借资本处在有影响力的位置。这值得考虑。我知道这方面可能有一大堆文献；我现在只是随口发挥。工业革命开始前的土地贵族，能否凭借自己的地位，以乔治主义或皮凯蒂式的方式，获得工业革命实现的那些回报？后来他们怎么样了？我不确定。到了某个时候，他们似乎就不再是土地贵族了。
你认为 AGI 还没有被市场计入价格，理由是什么？金融市场理论上很有效率，想取得优势非常难。天真地看，你可以说：“我看了这些规模曲线，它们说明我们会购买远超分析师预期的算力。”分析师现在是不是早该破产了？这是怎么回事？
我以前是个真正相信有效市场假说的人，也学过经济学。我后来改变看法，是因为我觉得可能存在一些聪明人群体——比如旧金山的一些人——他们在某些方面领先社会其他人，提前看到了未来。
二战留下的启示 · 1
我还有几个刚才想过、但没来得及聊的观点。其中一个是制度竞争。我最喜欢的二战书籍之一，是维克托·戴维斯·汉森对整场战争的梳理。他解释了为什么盟军比轴心国作出了更好的决策。
为什么？
轴心国也作出过一些不错的决策，比如闪电战。
不过那多少是偶然形成的。
怎么说？他们只是碰巧继承了现成的基础设施吗？
我的理解是，闪电战并不是什么天才的战略；他们只是被形势逼到了那一步。这是很有亚当·图兹风格的二战叙事。这里有个长战争和短战争的概念，我觉得很重要。德国意识到，如果打一场包括美国在内的长期战争，他们在工业生产上无法竞争；唯一的胜利路径就是把战争打成短战。这招的效果远比他们预想得好，让他们占领了法国和欧洲大部分地区。
你大概是世界上少数既担心对齐、又希望在我们抢在中国前获得 ASI 后，仍让机器人化工厂继续发展的其中一人。这一点很有意思。
这些都是整体图景的一部分。
说到 ASI、机器人化工厂和机器人军队，还有一个有意思的问题：面对工业规模的智能，我们该怎么做？它显然不会只是聊天机器人，而且很难预测。
二战留下的启示 · 2
石油史很有意思。大概在 19 世纪 60 年代，人们学会了怎样提炼石油，一位地质学家发现了相关方法，随后标准石油公司成立。石油带来巨大繁荣，也改变了美国政治：整个立法机构都被石油利益集团收买，总统选举也会围绕石油和拆分石油公司等议题展开。
所以他们当时觉得，灯泡发明后石油就不再重要了？
对。灯泡发明时，人们担心标准石油公司会因此破产。后来大家才意识到，石油是极其浓缩的能源；每年会有数十亿加仑这种东西。事先很难预测它能被用来做什么。后来人们才发现，它可以用于交通运输和汽车。
数以亿计的 GPU 会轰鸣运转。
那我们拿它们来做什么？事先很难预测。我觉得弄清楚“木星大脑”会做什么，会非常有意思。
这个问题很好。保持思维灵活、愿意改变主意非常重要。我觉得，AGI 讨论中的许多思维僵化就是这样产生的。一些“末日派”十年前就在认真思考 AGI、提出警告，但他们没有根据深度学习的经验事实更新看法；他们提出的方案很天真、行不通，也不太合理。
二战留下的启示 · 3
……所以要记得保持清醒。我觉得这里最重要的是——这也关系到我们谈过的一些内容，比如世界比想象中小得多——我过去总觉得，世界上确实有重要的事情发生，但会有人负责处理：政府里有人在管，AI 实验室里的人也理应在管。肯定有人已经意识到问题了吧？
好，这正是很好的收尾。Leopold，非常感谢你。
这是一次很愉快的对谈。
谢谢大家收听这期与 Leopold 的节目。其实中间休息之后，我们还聊了另一段德国历史，我觉得很有意思，所以不想把它删掉，直接放在片尾了。现在节目也开放广告合作，有兴趣可以通过下方简介里的 The Forum 联系我们。除此之外，如果你喜欢这期节目，最有帮助的事就是把它分享出去：发到群聊、Twitter，或者其他可能有人喜欢这期节目的地方。最后，请听这段关于腓特烈大帝的闲聊，我们下期再见。
片尾闲谈：腓特烈大帝
有意思的是，我们聊到的很多德国历史，其实不是我在德国时学到的，而是后来才学到的。圣诞节前后回德国时，我会突然理解街道名称的来历，比如 Gneisenau 这样的名字，以及那些普鲁士军事改革者。那时我才终于理解 Sanssouci 这个名字，以及它为什么会和腓特烈有关。