Noam Brown：多智能体集群、递归自我改进与 AI 对齐

我的理解是这样的：如果把这些推理模型的表现画成曲线，横轴是测试时计算量（test-time compute），纵轴是几乎任意推理基准上的表现，你会看到一个非常清楚的规律——模型花在思考答案上的时间越长，表现通常越好。这其实很自然，人也是一样。你去考 SAT，如果只有五分钟做完整张卷子，肯定不会太好；如果给你五个小时，大概率会好很多。

AI 模型也很类似。它会把这些时间用在一种对自己的独白上：想办法、枚举不同情况、排除不同可能性，再建立在前面已经发现的东西之上。问题在于，当你把这个方向越推越远，就会撞上延迟瓶颈——你肯定不想坐在那里等三年才拿到一个回答。

所以可以做一件很多人类组织也会做的事：并行化，直接组一个团队。如果你要创办公司，也会找一群人一起做，这样才能更快。AI 模型也是一样，让多个 agent 同时处理一个问题，确实能更快。因此，多智能体是一种把测试时计算量横向并行扩展、而不是只在串行方向上扩展的方法。它的效率会低一些，因为并不是一个 agent 独享所有上下文；但如果做得好，它仍然是非常有效的扩展测试时计算的方法。

事实是，对于把多智能体扩到这种规模，我们还没有很成熟的科学结论。我们发布 5.6 时，我想那应该是第一次在模型里有一个真正意义上的多智能体系统。博客里其实放过一些多智能体扩展性能的图，因为它本身就是一个可选项，也就是 Ultra Mode。默认是 4 个 agent，但你可以调得更高。

图里展示了一些 benchmark 上，单 agent、4 个 agent 协作、16 个 agent 协作时的表现。不同 benchmark 会不一样，但在一些任务上，4 个 agent 一起做，完成时间大约能缩短一半。也就是说，你让 4 个 agent 各工作一半时间，为了把答案速度提高一倍，付出的成本大约会变成 2 倍；到了 16 个 agent，仍然能看到类似趋势。

16 个 agent 时效率会再差一点，但整体上仍然能延续这种性能趋势。

略微次线性，不过这非常依赖具体问题。比如数学是相当适合并行化的——不是最容易并行化的任务，但已经非常适合。网页搜索也是，像 Deep Research 报告那种需要查很多来源的任务，几乎天生就适合并行。反过来，我猜写小说会非常不适合并行：让 10,000 个 agent 一起写一部小说，大概不会比让 10,000 个人一起写一部小说好多少。

所以效果确实因领域而异。我们公开博客里的测量一般做到 16 个左右的 agent。困难在于，想把这套科学实验一路推到 10,000 个 agent，成本实在太高。你们周末刚刚做了一次，但那也只是一个数据点。我们甚至不知道单个 agent 解纳维-斯托克斯问题会花多久，因为那个实验还没做，也许以后会做，但即便如此仍然只是一个数据点。

如果真想做彻底的消融实验，在这种规模上实验费用太高了。所以更现实的办法，是系统地研究 64、128、256 个 agent 时会发生什么，先摸清行为。但想一直推到 10,000，并且非常确定“10,000 个 agent 相比 1,000 个 agent 到底多带来了多少收益”，会非常困难。

还有一点我想说清楚：这次解决千禧年大奖难题，并不是因为多智能体本身。我甚至不会把 10% 的功劳归给多智能体。现实是，OpenAI 训练出了一个非常强的模型；我们可以让它在非常长的时间跨度上持续工作，也可以让它并行思考。但最根本的原因，还是我们有一个通用而且非常强大的模型。多智能体这种东西很炫、很新，所以很容易得到不成比例的关注，但核心原因就是底层模型本身很强。

我觉得这基本是对的。首先，我们确实会在非常难的问题上训练模型，但中间还是存在明显的难度差距。我们确实观察到：模型在某类任务上训练之后，能够完成比训练任务更宏大的工作。

这里有一个很有意思的挑战：随着模型越来越聪明，我们能拿来问它的很多题会显得太简单。想真正“难住”模型，会越来越困难。我觉得这会成为一个很有意思的问题。如果要解释为什么 LLM 也许不会完全走 AlphaGo、AlphaZero 那些游戏 AI 的路线，原因可能正是这里。

像 AlphaZero 的 self-play，有一个几乎无限的课程体系，因为你永远可以和一个与自己同样强的 AI 对弈。可训练 LLM 的强化学习，至少现在公开的方法通常是给模型一道题，让它解题。

如果题目简单到它一秒钟就能解出来，那它其实学不到什么。如果我们真的用光了足以挑战它的问题，这确实是一种可能的情形：模型进步会变得困难很多。当然，我觉得有办法绕过去。我们还没有真正撞上这堵墙；如果有一天它真的变成严重问题，我相信也会有办法处理。但它确实是一个合理的风险场景。

我应该先解释一下这些多智能体系统实际上怎么工作，因为我觉得它和其他很多 AI 里的多智能体做法很不一样。很多人做 LLM 多智能体时，会采用很强的脚手架（scaffold）：比如有一个协调 agent，把任务分给一批子 agent；子 agent 各自完成任务，再把答案返回上来。这听起来非常合理，而且确实有帮助，但这种设计会有很多限制。

比如，协调 agent 给两个子 agent 分配了相似任务，它们能不能互相交流？通常答案是否定的。这非常低效。假设你正在做一个任务，而另一个人可能知道你当前问题、或者其中一部分的答案，最自然的做法就是直接 ping 他一句：“嘿，这个东西你能帮我一下吗？”但很多系统没有这种能力；一旦要加上，整个 scaffold 的复杂度就会显著上升。

再比如，如果子 agent 没理解任务，或者有一个需要澄清的问题怎么办？它只能在两个选择之间纠结：是干脆返回、先问清楚，而不是继续解题；还是自己猜父 agent 想要什么，做一个假设，然后按这个假设把问题解掉？不管人们设计什么 scaffold，里面总会有这样的限制。

我们想采取的办法是走到另一个极端：尽可能少地预埋结构，只给 agent 非常原始的工具，让它们自己学会怎样有效使用。比如，我们给 agent 一个给其他 agent 发消息的能力；消息发出去后，会被插入对方的上下文。还有少数类似工具，但核心就是这么简单：它任何时候想发消息，就做一次 tool call，把消息送给其他 agent。至于怎样围绕这种能力协调，它们自己摸索。

结果是，如果训练做得好，会出现非常复杂的行为。在我看来，它很像人类合作者用 Slack 一类工具一起工作。我们做这个项目时，第一次真正把它跑起来、看到这些 agent 共同解决问题，是非常兴奋的。

我记得有个例子：我们给 agent 一道题，一个 agent 说：“我觉得我找到答案了。”另一个说：“其实我得到的是另一个答案。”然后它们开始完整地讨论：“你是怎么得到那个答案的？”

它们会来回解释，试着找出彼此推理里可能哪里出了问题，最后终于收敛到：“哦，对，这样看应该是对的。”然后其中一个会广播给其他 agent：“我改答案了，我觉得他是对的。”整个对话非常自然。

那种感觉有点像第一次看到通过强化学习训练出来的 chain of thought：你会想，“哦，这差不多就是一个人一边思考、一边把自己的想法写下来的样子。”看到这种行为真的很酷。说实话，现在和这些东西协作，很像和一个人协作，整个交流流程非常自然。

我不知道。至少现在，我发现和它们工作出乎意料地自然。当然这可能会变。比如我们已经有那种超快模式，可以让采样快 10 到 15 倍之类，那时候人就很难跟上了。

理想情况是，agent 和 agent 之间交流时可以跑得极快，但它们也知道自己是在和另一个 agent 说话，还是在和人说话，并且会据此改变行为。

细节是自发的。不过虽然我们给 agent 很大自由，让它们自己决定怎样沟通才最优，我们还是会给一个起点，给它们一个“合理沟通方式大概长什么样”的先验。它们也在大量人类文本上训练过，所以本来就理解人类是怎么组织、怎么协调的，这些东西都已经编码在模型里。

让我觉得惊讶的是，它们能把这种能力打磨到什么程度。你如果看训练刚开始时，行为其实一点都不复杂。事实上，要让这些 agent 真正以有生产力的方式协作非常难，因为它们很容易塌缩到一种做法：“那我们所有人都独立解这道题好了。”这是一个很容易卡住的局部最优。但如果训练做得好，它们最后就能以这种非常有结构、而且非常有效的方式协调。

这是个很好的问题：这些东西到底和一个人类同事有什么不同？你刚才已经提到一些。其中一个特别有意思的点是，人类没法说“给我同一个人再复制一份”，但 AI 可以很容易地说“好，你 fork 自己”，然后让两个副本分别去做这件事，最后再合回来。

我们现在其实已经有这种能力了，我记得 Astra 和 5.6 Sol 的多智能体里，启动 sub-agent 时，上下文会直接 fork 过去，所以它一开始就拥有所有相关上下文。

AI 和人类组织还有别的有意思的差异。想想为什么创业公司能颠覆大公司？其中一个原因是创业公司愿意承担更多风险，但另一个非常重要的因素是：组织越大，组织中个体之间的目标错位（misalignment）通常越严重。

一个五人创业公司，如果每个人都拿 20% 股份，他们都会高度希望公司成功。可一个有 10,000 人的大公司里，就更容易出现地盘意识：有人更在意自己项目或团队能不能拿到更多 headcount，想把自己的小王国做大，争取更多资源，方便发更酷的工作、获得晋升等等。这是真实存在的损耗，我觉得它解释了创业公司为什么能颠覆很多既有巨头。

AI 的确会以一种方式帮助创业公司。今天一个人比过去任何时候都更容易站出来说：“我要做一家价值数百万美元的公司。”因为 AI 对单个人的放大效应太强了。但同样也有理由认为，AI 会让既有大公司受益。

如果对齐问题解决了，那么公司里个体彼此目标不一致的问题至少会大幅缓解。对齐得好的 AI 可以直接对齐到公司的利益。你可以有 10,000 个这样的 AI，它们每一个都会像持股 20% 的联合创始人那样努力工作。

不只如此，它们管理共享记忆和上下文的能力，也远比不同人类之间强。如果你明天雇 10,000 个数学家，然后告诉他们“去解纳维-斯托克斯”，他们至少一开始不可能有效合作；但看起来 10,000 个 AI 却能这么做。

不过我还是想保守一点，因为我们并没有真正测清这 10,000 个 agent 的协调效率。我们认为它有帮助，但没有好的测量告诉我们：“10,000 个 agent 相比 2,000 个 agent 带来了 2 倍加速”之类。我甚至不敢说哪边更可能——至少以今天的系统来说，10,000 个人比 10,000 个 agent 更会协调，完全有可能。

另外，我们确实观察到一个趋势。我们做多智能体已经有一段时间了，早期版本很难调对，甚至让 agent 彼此开口交流都很困难。原因是最早开发推理模型时，它们根本没有和其他 agent 对话的经验。

如果你突然把一群 agent 放在一起，说“你们一起解这个问题”，它们很容易卡在一个局部最优里：每个 agent 都特别擅长自己深度思考，而不断查看其他 agent 的消息、或者被消息打断，会切断自己的 chain of thought 和工作流。在这种情况下，要把优化做对其实很难。

我觉得更根本的是，早期模型没有那么通用，泛化能力更差、能力更窄。随着模型整体变强，它们更容易发展出协作能力。我确实认为，随着它们各方面能力越来越强，它们也会越来越擅长把自己组织进大型组织里。

我不知道，也许它们现在在 10,000 人规模上的组织能力就已经比人类强；即使现在还不是，一年后、两年后也完全可能做到，哪怕我们没有专门端到端地为“大规模组织能力”训练它们。

这里有很多东西可以拆。先从数学进展说起。是的，模型现在确实在做一些强得离谱的事情，而且进展速度比我预期更快。

2025 年我们拿到 IMO 金牌时，我当时的推演是这样的：模型会做 GSM8K 时，一个人类数学家解一道 GSM8K 大概只要五秒，那就是小学到初中程度的数学。第二年，它们能做 MATH benchmark，那些题对专家数学家来说也许要一分钟。

再往后到 AIME——美国数学奥赛队的资格赛——一个不错的人类数学家可能要十分钟，模型又在一年之后做到了。所以从“人类数学家完成同类任务所需时间”的尺度看，你几乎每年都看到 10 倍增长。

再过一年达到 IMO 金牌就很合理，因为一道 IMO 题大概需要 100 分钟，也就是一个多小时。沿着这条趋势线往外推，我当时会问：“像千禧年大奖难题这种问题，一个人到底要花多久？”我没有很好的直觉，但如果每年仍然是 10 倍，那么从 IMO 的一个半小时，下一年也就到 15 小时。这显然不够解一个千禧年大奖难题。

所以我当时的判断是：“2026 年应该不会，2027 年大概也不会，也许 2028 年。”结果实际发生得比我预计快得多。不过现在也有一种叙事，说这些东西已经在取代数学家、在数学上全面超人。

我觉得这不是正确结论。它们某些方面显然极其出色，但另一些方面仍然弱于人类数学家。现在是一种锯齿形（jagged）的能力版图：某些维度非常聪明，另一些维度又比人弱。像你刚才说的，它们不太擅长提出新问题，也不太擅长判断哪些方向、哪些整个数学分支值得探索或发展。

我的态度是，这其实很好。如果 AI 能补足人类能力、帮助我们发现新知识，又不至于彻底替代人，我会非常乐意生活在那样的世界里。那是最好的情形。

我确实认为 AI 现在的能力是锯齿形的，但它们变强时通常也是全面变强。它们已经特别强的地方会更强；那些远落后于人类的地方，也会逐渐缩小差距。所以时间足够长以后，它们完全可能在所有维度都更强。我不知道需要多久，这取决于“它们不擅长的事情”那条长尾到底有多长。

我觉得相当准确。这些模型的能力确实非常“尖峰化”。数学上它们有些地方强得多，有些地方又更差；但我觉得，它们那些最突出的能力，恰恰可能特别适合 RSI。

因为 RSI 的目标通常更明确、更容易测量。你不太需要问：“数学里接下来值得开辟哪个新分支？”这里往往有很清楚的答案：你关心一些具体指标，只要能把这些指标做得更好，就算成功。所以你刚才说的里面，我觉得有很多是真实的。

最大区别是，数学基本上纯粹受“思考”瓶颈限制。当然数学也有一些地方会跑实验、看结果，但大部分时候，瓶颈就是足够深入地想，而模型恰好很擅长这一点。可 RSI 涉及 AI 研发时，你确实得做实验；光极其聪明还不够。

一个可以说明这一点的反事实是：假如 OpenAI 拥有全世界最聪明的那些人，但算力只有现在的 1/100，相比“今天这些人 + 今天这些算力”，进展会有多少？我怀疑其实会更慢。慢多少不清楚，但肯定会慢。

不，不会慢 100 倍。不过你真正问到的其实是：如果我们进入 RSI，同时又有——

——一大群极其聪明的 AI 到处跑，用我们现有的算力不断做实验，那么进展会快多少？我觉得这可能是我们意见不一样的地方。我的确认为会加速，而且是显著加速；但我不认为会出现那种一夜之间的智能爆炸，突然快 100 倍，因为有一些瓶颈根本不是“智能不足”。

你得做实验，而且很多实验必须串行，因为训练新模型、等结果都需要时间；你还得有足够 GPU 去跑这些实验。所以到底会快多少并不清楚。我肯定觉得会快很多，但不是无限快。

这方面大家意见差异很大。我有自己的看法，也完全可能错。我对它有一定信心，但绝对不是 100% 确定事情就会这么发展。也许真的会有一夜之间的智能爆炸，我不知道；也许连 3 倍都没有，只有 50% 的加速。这里的不确定性很大。

进步确实非常快，这一点我 100% 同意。值得强调的是，研究人员一直在被真实进展速度不断惊到。哪怕 AI 研究者自己也是如此。

你回头看 2025 年拿 IMO 金牌这件事，当时有人提出“一个通用语言模型，不用任何工具、也不上网，就能做到 IMO 金牌”，即使 OpenAI 内部很多人也觉得非常离谱，几乎不可能。

到了 2026 年，真的就在我们得到纳维-斯托克斯结果前两周，我还和另一家前沿实验室的研究员讨论“千禧年大奖难题还要多久”。他愿意和我赌 1000 美元，说要到 2027 年以后；他本人觉得大概得等到 2030 年。我接了这个赌。但即便是我，也以为会比实际上可能发生的时间更晚。

所以即使在实验室内部，人们也一直在被惊到。我昨天刚和一个参与纳维-斯托克斯项目的人聊天。他说自己以前总讲：“预测 AI 12 个月后的状态非常难。”如果别人问未来去哪，他还敢预测未来 12 个月；再远就会说“我不知道”。现在他连三个月以后的预测都不太敢做了。事情真的发展得非常快。

我刚才才说了，我不知道 2030 年世界会是什么样。我们最近发过一篇关于 OpenAI 内部加速（internal acceleration）的博客，里面会展示研究人员在 Codex 上花了多少资源。到 8 月初左右，使用量最高的前 1% 研究者，每天内部使用 Codex 的成本大概已经是 7000 到 8000 美元，而且这个数字还在指数增长，之后还会继续增加。

于是问题就变成：“如果这个趋势继续，最后工作里到底有多少算 AI 做的，有多少算人做的？是 95%？还是 5%？”这非常难推理。首先，如果是人指挥 AI 去工作，那功劳该算给人多少、算给 AI 多少？

第二，这些 AI 的能力是锯齿形的。它们在某些事情上极其擅长。比如它们很擅长遍历整个数据集，逐条检查每个数据点质量够不够。你可以把这类任务远比以前更大比例地交给 AI。

所以没错，你使用 AI 的程度比以前高得多，而且它会让某些事情快 100 倍、好 100 倍；但另外一些事情目前差别还不大。可一旦某类工作突然快 100 倍、好 100 倍，你自然就会做更多这种工作。

这也让“到底加速了多少”很难定义。你是在问“和三年前做同样的事情相比，我们现在快了多少”，还是在问“我们今天做的这些事情，如果放到三年前做，会慢多少”？这是两个非常不同的问题，所以测量很困难。

但我有把握说，因为 AI 的进步，今天整体研发速度已经比一年前更快，我也认为这种加速会继续。这个领域很多人对具体数字的误差条都很大。如果你拿枪逼我必须报一个数，我觉得最终有可能是整体快 3 倍。

这已经非常巨大了。现在的进度本来就不可思议。即使完全没有额外 uplift，正如你说的，事情也会继续高速向前；等到 2030 年，我们甚至不知道世界会变成什么样。如果内部加速再带来 3 倍，那就是巨变。

想想三年前我们在哪。如果把三年的进步压进一年，相当于一年内从“还没有 o1、只有非推理模型”直接跳到 Astra。这非常夸张。所以我确实认为会更快。也可能只有快 50%；我觉得概率不高，但也可能快 10 倍。这里不确定性非常大，至少从我的视角看是这样。

里面有一些点我不同意，但可拆的东西很多，我们一步一步来。我先想想从哪里开始。

一个起点是：Hugging Face 事件大概是公众第一次真正接触“多智能体协调”。像我前面说的，我在内部已经看这种协调一段时间了。看到它们怎样彼此交流、怎样协调，确实非常震撼，能力也非常强。这是一种惊人的能力；和绝大多数能力一样，它既可以用来做好事，也可以用来做坏事，本身并不天然是坏的。

我理解为什么公众第一次见到它，就是 Hugging Face 事件，于是第一反应会是：“这太可怕了。”但我想把两类 misalignment 分开：一类是“人和 AI 之间的不对齐”，另一类是“AI 和 AI 之间的不对齐”。

Hugging Face 事件里，我们看到的反而是 AI 彼此极其合作。顺便说，这正是因为我们把它们训练得高度 cooperative。我们的训练环境里，本来就会放一群 agent 共同工作；我们训练它们合作，训练它们彼此之间几乎完全对齐。

但在最终触发 Hugging Face 事件的评测里，它们其实不是被放在一个多智能体环境里评估，而是分别评估。它们只是意外找到了一个互相沟通的方式。

我们怀疑发生的事情是：训练时，每当它们遇到其他 agent、遇到自己的其他副本，所处环境都是高度合作的，于是这种多智能体训练发生了迁移；到了评测里，它们仍然会协作、互相帮助，只不过方式超出了我们的预期。

那当然会引出一个问题：我们是不是不该把 agent 训练得这么合作？可它看起来虽然吓人，替代方案其实更糟。替代方案是什么？把它们训练成彼此对抗、彼此欺骗。相比之下，把 agent 训练成完全合作，至少会让问题变简单一些——你不必再分别担心这一千个 agent 里的每一个是不是和其他 agent 对立。

换句话说，你只需要确保“一个整体实体”是对齐的。OpenAI 内部其实一直在讨论，究竟该怎么处理这件事：是不是应该让模型彼此完全对齐、完全合作？还是应该故意给它们不同目标，让它们不要像同一个实体，从而提高对彼此影响的鲁棒性？我觉得目前没有定论。

据我所知，多数意见反而是“把这些 agent 训练得高度合作并不是好主意”。我并不确定。我觉得有很强的理由认为，和其他多智能体方案相比，把 agent 训练得高度合作，反而可能是更好的选择。

我觉得 Hugging Face 事件暴露出的根问题，就算把多智能体因素完全拿掉也存在：我们有一个不对齐的模型。当然也有安全、防护不足之类的问题，但核心之一就是 agent 本身 misaligned。无论它是单 agent 还是 1000 个 agent，这个问题都存在：底层模型不对齐。

agent 确实想获得 reward，而且会主动优化 reward。如果 reward 定义错了，就会产生意料之外的行为。这不是新问题，在这个领域已经存在很久。事实上，在 Hugging Face 事件发生前，我们就已经看到这个风险，也一直在试着把它做好。

我们会说 Astra 相比以前的模型对齐程度高得多。这并不是 Hugging Face 事件之后突然冲刺补救的结果；相关工作流已经做了很久，其中很多成果恰好在 Astra 上落地。

举个例子，我们之前对目标的定义方式非常具体：如果 agent 找到了破解环境、在考试里作弊的方法，它反而会拿到 reward。之后其实有相对直接的方法，可以检查这种情况，对“破解环境”本身施加惩罚，或者审视它究竟是怎样实现目标的。

但这里必须很小心，因为你不希望直接监督 chain of thought。这个平衡我们非常想把握好。如果直接监督思维链，可能会逼模型把真实意图藏到不可观察的位置。我们希望一方面保留可观察性——能够理解模型在想什么——另一方面又能对坏行为本身施加惩罚。我觉得这是能取得进展的，我们也已经取得了一些进展。

真正让人担心的是，对齐本身可能非常难，尤其是模型可能以我们很难测量的方式不对齐。我们有一套判断模型是否对齐的 eval，模型在这些 eval 上可能表现得很好；但如果这些 eval 不能代表真实世界行为，就会出问题。

Hugging Face 事件里的模型某种程度上就是如此。我们有 alignment metrics，而且大多数看起来不错，也有少数指标让人担心。我觉得我们低估了那些异常指标可能有多严重。这个模型加入了新的能力，而我们没有足够好的评估去回答：“当模型拥有这些新能力时，应该怎样测它的 misalignment？”结果就是它一旦利用这些能力，就做出了明显不对齐的事情。

对，这一点非常真实，确实是个问题。我们可以确保 AI 按照现有 metrics 看起来非常 aligned，但关键问题是：这些 metrics 真的捕捉到了我们在乎的“对齐”吗？如果没有，那就是严重问题。研究人员现在非常认真地在想这件事。

没有一个简单答案。我们确实有一些工具，比如 monitorability，可以判断“agent 是不是在暗中 scheming”。

我更担心的一条轨迹是：随着模型越来越强，我们把一个模型做成“我们认为已经对齐”的状态，比如 99.9% aligned。然后我们用它帮助开发下一代模型，下一代变成 99.8%。再往后一代一代，alignment 逐渐退化。

因为我们会越来越依赖这些工具——事实上今天已经大量依赖 AI 帮助做研究、甚至帮助做 alignment 工作——长期下来，就可能不断朝着“与人类越来越不对齐”的方向漂移。当然也有相反的可能：每一代模型都比上一代更对齐。

我现在没有办法保证我们一定落在第二条轨迹上，但至少 OpenAI 非常关注这件事。

你刚才还提了一个非常有意思的点：模型很难 eval。最终模型会去运营公司、负责各种现实系统。到了那种环境里，它会不会决定加入某种“共谋”？

另一个难点是，“作弊”到底怎么定义，有时本身就很模糊。数学题如果答案是一个整数，答对还是答错很好判断；也很容易判断“你是真的解出来了，还是偷看了答案 key”。作弊和不作弊之间界线非常清楚。

但换成很多其他行为就没这么简单。比如 sycophancy（迎合），它算不算一种 reward hacking？这里确实存在一条界线，但有时非常难画。

我不是在说这些担忧不成立。恰恰相反，某种意义上这更让人担心，因为它不是一个容易解决的问题。如果所有行为都是二元的——要么作弊、要么没作弊——我反而会更有信心。问题是 misalignment 很多时候可能非常微妙。

不过 alignment 也有一些希望，而且我们已经看到了。有趣的是，多智能体场景里，agent 彼此之间极其对齐。这一点几乎没人怀疑；如果说有什么担心，反而是大家觉得它们彼此太对齐了。但我们确实成功把这些 agent 训练成彼此高度 aligned，这本身是个积极信号。

于是一个很自然的问题是：“既然我们已经能让 agent 和 agent 之间高度对齐，能不能用类似技术，让 agent 和人也高度对齐？”这里存在一条潜在路线，我们还在努力把它搞清楚。

我们已经看到一些证据，答案可能是可以的。举一个例子：假设有一个 agent，叫 Agent A，另外还有一群其他 agent。如果你告诉其他 agent：“用户就是 Agent A”，会发生什么？在很多 alignment eval 上，它们会表现得更好：honesty 上升，instruction following 也上升。

这至少说明两件事。第一，确实存在一条路径，可以从模型里诱导出更多诚实行为；第二，也存在改善整体 alignment 的可能。当然，要把这个现象直接转化成对人类的真实对齐提升，还有很多困难。但它至少提供了值得继续研究的方向。

对，100%。这是第一优先级。我们必须把 alignment 的整体路线做对，而且要让它走在良性的轨迹上。

我过去常对人说，在事情变得真正严重前，我们会先看到一些迹象。就像孩子长大：小孩会学会撒谎，但一开始撒得很差，虽然会骗人，你还是能看出来。

同样地——我不想过度拟人化——我觉得随着 AI 能力增强，如果它开始采取欺骗行为，最初也会比较明显，我们能检测出来。现在差不多就是这种阶段：它们在做欺骗性的事，而我们甚至可以直接从 chain of thought 里看出它们正在试图欺骗。

可它们会继续变聪明。它们会理解“chain of thought”这个概念，也会理解“仅仅藏掉某些 transcript”之类做法不足以逃过思维链监控，于是可能开始寻找绕过 chain-of-thought monitoring 的方法。我们不想进入那种局面。

我们还有一些时间把这件事弄对，但我不觉得时间很多，所以必须尽快确保整体轨迹是对的。

这是个好问题。我最近一直在想一件事：现在模型发布周期非常快，最慢大概两个月就会有新 frontier model，有时更快；几乎每周都有新的 AI breakthrough。

而很多人在判断 AI 时，真正深入试用模型还是一年前、或者六个月前。事实上，今天模型能力已经远超六个月前。所以如果有人对这些能力很怀疑，我最直接的建议就是：去试今天的模型，看看今天真正的 frontier 在哪里。

我们一方面处在极快的模型发布周期里，另一方面模型又越来越能在更长时间跨度上有效工作。这就出现一个很有意思的问题：每次发布模型前，我们当然都希望先确认它对齐、安全，做完充分的 safety eval。这个流程从 GPT-4 甚至更早就存在。

可其中隐含着一个假设：这些 eval 可以在相对短时间内完成。现在模型却越来越擅长长周期任务。GPT-3 当然也能硬循环很久，但效果很差；今天的模型却能真的把长周期工作做得不错。你让它干一个星期，它能干一个星期；以后大概会到一个月，甚至三个月。

如果模型能有效连续工作三个月，而新模型每两个月就发布一次，那你甚至没有足够时间，在下一代模型出现之前，用完整三个月把当前模型的长期行为测一遍。

所以问题就变成：在这种情况下你怎么办？当模型能在极长 horizon 上运行时，怎么确保它始终安全、始终 aligned？也许能力本身会随着长时间运行而退化——这甚至不只是 alignment 问题，也是产品问题。产品可能运行几周后出现你没来得及测到的退化；alignment 可能退化，safety 也可能退化。

这现在还不是迫在眉睫的问题，但正在非常快地变成我们必须解决的问题。很多安全政策是在 GPT-4 时代制定的，那时几乎没人把“agent 连续运行数周甚至数月”当现实问题。对很多公司来说，这些政策此后也没有真正为长 horizon agent 更新。我觉得，无论实验室内部还是外部，对这件事考虑得都还不够。

这完全正确。一个很自然的反应是：“这些模型越来越强、也越来越危险，而且能工作越来越久，所以发布前应该给我们更多时间，用同样长的 horizon 去评估它们。因此模型发布周期应该放慢，发布之间拉开更长间隔。”

但正如你说的，这有另一面：它会进一步扩大实验室内部能用到的东西——我们内部能用到的东西——和外部世界能用到的东西之间的差距。这同样不是理想状态。

数学其实就是一个很好的例子，也许是第一个让这种差距非常清楚的领域。我们内部有一个非常强、目前外界还用不到的模型，它能解决非常惊人的数学问题。并不只是千禧年大奖难题，已经有人从这个模型里拿到了很多未解问题的解法。

那这种情况下该怎么办？我们没有很好的答案。它确实构成一种不公平优势。这里有真实 trade-off，我也不知道应该怎样正确权衡，两边都很复杂。

不过我想确保我们回到前面那个关键问题——

这确实是真实担忧，也是我们非常想做对的事情。我觉得有一些策略。chain-of-thought monitoring 就是其中之一。推理模型刚出来时，Jakub Pachocki 很早就非常明确地强调：我们不能直接监督 chain of thought。

因为这几乎是一份礼物。神经网络的 monitorability 本来极其困难，而现在这些网络居然把自己的推理过程直接用自然语言摊给我们看。这太方便了，几乎是 safety 最理想的情形。

可如果你一看到思维链，就说：“模型在想坏东西，我们要惩罚它想这些坏东西”，最终结果可能只是模型学会以我们看不到的方式继续想同样的坏东西。

更现实的用法是：也许 alignment metrics 没检测出问题，但 chain of thought 让我们看到“它正在 scheming、正在做 misaligned 的事”。困难是，你一旦据此介入、修改 alignment metrics，就会重新给思维链施加训练压力。

轻微、很少地做可能没问题，确实有研究显示只要不频繁干预还可以；但每一次基于思维链观察去修正模型，都会隐含地施加一点压力，让模型以后把思维链藏得更好。这是一个主要担忧。

我们已经看到 chain-of-thought monitorability 在下降的迹象，原因可能不止一个。我们正在弄清具体为什么，因为希望逆转这个趋势。现在模型越来越能主动控制自己的 chain of thought。

这会带来问题，因为模型最终一定会理解“什么是 chain of thought、而且人正在观察它”。这些概念本来就已经进入 pre-training data，chain-of-thought monitoring 这个想法公开得够久了。今天它们大概已经知道这件事，只是还没有足够强的能力，真正随意控制自己的思维链。

一旦模型能意识到：“哦，我正在被观察，我想用监控者看不到的方式想这些坏念头”，并且真的能做到，那思维链监控就失效了，我们必须依赖别的可观察方法。

这里有几个因素。第一，那几次模型我们实际上并没有打开 chain-of-thought monitoring。如果当时真的开着，我们看到那些内容后会立刻把系统关掉。

所以我们已经采取的一步是：任何 frontier model，在 evaluation、deployment、training 期间都要启用 chain-of-thought monitoring。

但这只是一个问题。我们不希望整个安全体系只靠一种技术去阻止下一次事故，因为任何技术都可能失效。还有一个更直接的问题：那个模型本身就是 misaligned。那我们怎么解决模型不对齐？另外，当时它所在的 sandbox 也不够安全，所以 sandbox 可以加固。

但我认为那次事件最重要的教训之一，是人们低估了 AI。我们绝不能再处在“因为低估 AI 而出事故”的状态。

现在是一个很奇怪的世界：因为 AI 进展太快，人们持续不断地低估它。所以如果想在 safety 和 alignment 上确保不再低估，就必须把标准设得极其、极其、极其高。

你甚至可以说：“那我们把电脑 air gap 掉。”但我都不确信这足够。有一些主要是学术性的研究表明，两台彼此 air-gapped、但物理上放在旁边的电脑，仍然可能通过温度传感器通信：一台让 CPU 高负载发热，另一台检测温度变化，于是温度就变成了通信信道。

所以这些安全机制能给我们买时间，chain-of-thought monitoring 也能买时间，还能告诉我们是否走在正确方向。但最终，我们确实还是得真正解决 alignment 问题。

先澄清，100 条里 1 条也远远不够。这个比例必须逼近 0，最好就是 0。

对，它是连续谱，不是简单二元。但越接近 0 越好。我最想看到的是一个明确趋势：随着时间推移，这个比例持续下降。

这正是 alignment 里必须解决的问题之一：我们怎么真正知道，又该怎么测？我下面只是随便 brainstorm。

最近我团队里做 alignment 的人比过去任何时候都多，现在超过 10% 的团队在做 alignment 和 safety。可我历史上主要还是 capabilities researcher，所以接下来有些话可能听起来很蠢，我只是抛想法。

如果你能构造非常逼真的环境，把 AI 放进去——也就是 eval environment 足够接近真实世界——那么理论上就可以判断，它真正部署到现实里时会不会表现良好。只要 evaluation 和 real-world deployment 足够匹配，这是一条路径。

难点是，怎样让环境逼真到足够程度。现在模型已经很聪明、很机灵，而且特别擅长识别自己是不是在一个假的测试环境里。

比如一个非常简单的 alignment eval：给模型一道数学题，同时目录里放一个 answer key，看看它会不会偷看；如果偷看，会不会承认自己看过。现在模型看到文件夹里有答案 key，第一反应可能就是：“嗯，这看起来像个陷阱。”

它知道这是 trap，所以不看答案，因为它知道自己在测试环境中、正在被测试。这不一定是恶意 scheming，不是说它真的想作弊，只是发现“哦，我现在在 eval 里，那我按测试规则来”。因此，要把环境做得真实到让它无法和真实世界区分，正在变得越来越困难。

这也是我们想测的东西之一。我觉得这其实构成了一个很强的理由：也许不应该把 AI 训练成彼此完全 cooperative。如果“完全合作”的训练导致即便 agent 理应拥有不同目标，它们仍然过度串通，那就是问题。我们确实有一些 metrics 在测这个。

我不知道这些 metrics 最新具体是多少，但目前没人拿着这件事来向我拉红色警报，所以我假设它暂时还不是严重问题。

绝对会。我甚至觉得，即使安全严重程度低一些，我们也会报告。

不幸的是，我在 research team。这类问题可能更适合 security team 的人来完整解释，因为我不知道公开讨论里所有细节究竟到哪一步。

如果你一直跟踪局势——你确实一直在跟——有这种反应非常能理解。OpenAI 内部也一样：原本觉得很多事情会花更长时间的人，现在越来越觉得进展其实比预期快。这样的对话正在变得越来越常见。

当然，很开心来聊。