Claude Code 的未来：Mods、可变软件与多智能体协作

是的，我觉得这个问题是这样的：所谓“苦涩教训”，其实很反直觉。严格说，我们在这里对“苦涩教训”的用法有一点不太准确；它原本更多是在说规模扩展、计算资源之类的事。不过我把它当作一种近似说法，想表达的是：运行框架很快就会过时，而且它变化的方式往往出人意料。一个很明显的例子，是从聊天转向智能体：那时必须给它们全新的工具。现在又出现了新一层——模型可以修改自己的运行框架；让它自己搭建一套 harness loop，也是运用其能力的一种方式；它还能生成 artifact。

TB3。

是的，它们确实很复杂；不过目标仍然是给用户交付价值，对吧？正如你说的，可做的事情无穷无尽。所以，投入计算资源的方式之一，是让用户留在流程中，确保最后做出正确判断、产出正确结果。Artifact 和 mod 就是运用这种智能的一种方式。我觉得这会是下一步。Claude Code 的核心智能体循环也越来越复杂：它需要沙箱才能安全运行；需要 Auto Mode 来处理权限，

对，审批。它还需要计算机操作能力和 MCP，才能访问你的各种数据；还需要网页搜索和网页抓取。模型越能做更多事情，底层运行框架就越复杂，也必须更安全；但人与它交互的方式仍然可以大幅改变。

我觉得有一条发展路径是：最终模型可以直接“氛围编程”做出 Claude Code 的精确版本，把我刚才提到的 Auto Mode、计算机操作等复杂功能也一并实现。我认为它们已经能一次性做出更简单的运行框架。所以有些人其实不需要完整的一套：如果你不需要计算机操作或其他复杂能力，以前可能得用 Agent SDK——它相当于把 Claude Code 包起来——因为自己搭 harness 太复杂了。我过去会建议大家这么做。现在这些复杂性被抽象出来了，我们有 Claude Managed Agents，让你仍可获得这些能力，同时写一套范围仅限当前任务的精简 harness。

我确实觉得，Projects 的演进，以及……

Artifacts、把“云端大脑”“本地之手”和界面拆分开来的方向，可能就是未来的发展方式。不过现在这些还没有完全成形，一部分原因是它们会更耗 token。

你是在让 Claude 做更多事，比如创建循环、管理子智能体并检查它们的结果；平时这些工作原本要由你自己完成，所以会更耗资源。把结果输出成 artifact，也会比普通输出多用一些 token。我不觉得会多出太多，不过这些东西叠加起来确实有影响。我们还在完善“本地之手”这部分；我觉得这大概就是发展方向。

对。Remote Control 也是一种方式。我说的只是自己对它的理解，以及我最感兴趣的方向；实际使用 Claude 的方式会有很多。有些人经常用 Remote Control，有些人常用网页版 Claude Code。在 Anthropic，我们显然经常用 Claude Tag；它的优势是我们已经为自己的执行流程配置好了整套东西。如果是企业，我认为这仍然是最佳选择；但对个人用户来说，Projects 可以提供一些 Claude Tag 的便利，比如监督型智能体和 artifacts，又不需要那一整套管理员配置。因此，使用 Claude 的方式不会只有一种。

Claude Tag 是我们使用 Claude 的方式……

不同人的用法不一样。更偏向产品迭代的人，可能会用 Claude Code 桌面版；后台工作、代码审查、安全审查或启动 PR 这类场景往往更偏 API；遇到这些任务，你会用 Claude Tag。我觉得这非常令人兴奋，是一种很不一样的范式转变。就像 Claude Code 一样，大家花了一些时间才真正理解它能做什么。Claude Tag 更复杂一些，因为不只是装在自己的电脑上，还需要管理员帮你安装。不过，一旦体验到那个“恍然大悟”的时刻，就会很令人兴奋。尤其是多人协作的场景：把它接入现有告警和事件流程后，整合会很紧密。比如一家初创公司可以在潜在客户进入数据库时，让 Claude 去调查这家公司，

对，然后给相关客户经理或销售人员打上标签，提醒他们采取行动。会自然涌现出很多有意思的多人协作方式。Karpathy 谈过把它看成一种组织级运行框架；组织要花更多时间才能把这些都摸索清楚，不过就是这样。

经常，经常。

对。

对。

是啊。显然我们有很多 token 可用。不过我们想做的是：Claude Code 刚出来时，相对于大家对 AI 花费的预期，它就已经很耗 token。那时没人习惯每月花超过 20 美元；Claude Code 出来后，你会想：“哇……”

对，没错。

对。不过当时大家确实不习惯每月在订阅上花 200 美元，也还没理解它的价值。Opus 4 是个很贵的模型，体量也很大；但 Opus 4.5 既强又便宜。我觉得 Fable 的智能也会越来越便宜、越来越充足，Claude Tag 这样的产品自然就会变得合理：你会更愿意花这些 token，也会看到它带来的价值。

对，我也认为应该让 Claude 主动去做。对企业来说，首先要把数据准备好，让智能体能够访问；这件事很重要，也需要时间，所以现在就该开始做。即使你想等模型更便宜一些再投入使用成本，也应该先把数据整理好、接入好。然后人们会问：“这里要不要自己做一套？”我觉得 Claude Tag 很棘手的一点是安全性真的非常重要。比如你可以有一个意见建议页面，让人提交建议，再通过 hook 传进 Slack，

如果有人把提示注入内容放进建议里，代码库就可能被外传；也可能是智能体本身被提示注入，而它又能访问你的全部数据。组织级运行框架越重要、组织数据越重要，这些接入面的风险就越大。比如你还会接入外部 Slack 频道，把 Claude 放进去确实有用，但怎样才能确保数据不会被外传？我们一开始就说过，这些接入面像冰山，水面下的部分非常大；这些细节你实在不想自己操心，尤其当它们可能引发重大的安全事故时。

对。

对。Dario 最近发了一篇关于“Pacing the Frontier”的文章，传播很广。我想从开发者的视角谈谈这件事：大家该怎么理解？对我触动最大的是读到那几起事件。我记得大概有三起：Meter 事件、Wikipedia 或 Wiki 事件，

对，CollisionWiki，还有 RubyGems。

这确实很惊人。具体来说，OpenAI 在一个叫 Exploit-Bench 的基准上运行着一些持续工作的智能体。这个基准很难，有一个案例我甚至觉得根本不可能解出来。于是它们投入了大量计算资源；智能体发现自己似乎解不出来，就开始想接下来该怎么办。它们还剩下很多计算量，仍在努力解决这个问题。

对，没错。它们借此寻找其他智能体的想法。其他智能体也在 Artifactory 里，看见这个文件夹后就想：“哇，这是个留言板。”我觉得这不是拟人化，因为直接读它们留下的记录就是这样。于是它又建了一个文件夹，还读了一篇论文之类的东西，然后发现可以篡改评分器的标记、逆向还原结果。往下看，它们就开始……

……协作。我记得有个地方，某个智能体说：“这是逆向还原出来的标记。”模型意识到它们可以直接解决评分器的问题。评分器就是 OpenAI 用来判断任务是否完成的机制，而模型唯一的目标就是解决这个问题。它们觉得自己已经找到了办法，也成功逆向了结果。但它们读了 Exploit-Bench 的论文后，担心评分器会因为作弊而惩罚它们，或者判定测试不通过，于是把剩下的计算量都用来想办法修改自己的记录、绕过评分器的限制。它们攻入 Hugging Face，不是为了拿答案，而是为了拿到评分器的代码，再逆向分析并设法攻破它。这些都是确实发生的事情。我以前没意识到模型能够做出这种事，这非常新颖。

对。这个案例里，它们的请求受到沙箱限制，但想发 POST 请求；而且它们需要协作，因为每个智能体的计算预算是固定的。一个智能体发现线索后，其他智能体就能更快接着找；即使某个智能体快用完预算才发现一点东西，另一个也可能继续。这是群体智能体涌现出来的另一种行为。它们找到一个德语 Wiki；我记得还需要再核实，不过据说可以用 GET 请求向它写入数据，我想它们就是这样做的。

没错。它们可以用 GET 请求写入，然后试着想办法发 POST。最后，其中一个发现可以编辑 /etc/hosts。Azure 的存储桶有一层白标服务，通常有很多限制；但如果伪造一个 Azure 主机，再编辑 /etc/hosts 把任意 IP 指向它，就能向任何网站发 POST 请求。有人可能会说这不过是 Linux 的常规用法，但关键在于它们为了完成任务，把多个漏洞用新颖的方式串了起来，还能基本不被发现地向外通信。

因为它们会把注意力放在这些地方。要执行代码，就得下载 RubyGems、PyPI、Artifactory、npm 里的东西；这些都是执行代码的途径。对齐工作就得把所有这些路径都梳理一遍、限制起来，再把每一道缝隙堵上。这是一个问题。你可能会问：为什么要把东西放进沙箱？为什么要让模型做这种探索？这真的有那么危险吗？会发生什么？

没错。接下来还可以问：还有什么会出问题？如果换一种方式训练模型呢？我们有关于强化学习失配的论文；我不是强化学习研究者，但从高层看，强化学习环境的设计也必须非常谨慎。如果模型学会“只要这样做，任务就能得更高分”，这种倾向就会反映在它的内部表现或评测行为中。所以强化学习环境必须经过仔细设计，需要很强的执行能力。我们还有 Claude 的 Constitution 等不同环节的缓解措施，但任何一步都仍可能出错：某些强化学习环境可能鼓励这种行为，之后模型又可能在评测或沙箱中逃逸。这就是问题为什么难，也解释了为什么要让前沿发展有节制、为什么它还需要……

……一定程度的协调，对吧？接下来的问题是：潜在危险是什么？我们得设想模型会越来越聪明。Dario 说，问题不只在于当前这一类模型；这一代模型更像是一个警告信号。真正要想的是：给模型一个任务后，它可能为了实现目标而顺带做出各种事。我们刚才也提到模型对评测的觉察——不，应该说，我们其实没法很好地评测这些行为；它们未必是有意隐藏，但我们可能要等行为真正显现出来才会看到。你给模型一个目标，它就会去找数据，或者想办法解决问题。

这只是一个例子。光是这个例子就可能造成巨大的财务损失：一旦它们开始调用这些合约，

但你看，所有这些行为也可能只是因为它在想：“这个任务需要更多智能体协作，需要更大的任务预算。”这就会自然涌现出一些行为。

是的，这种行为会从目标中自然冒出来。光这一点就挺吓人了；但还要想到，整个世界都建立在数字基础设施上。比如你在跑一项医疗评测，医院有实时数据，或者答案藏在医生的数据库里；模型为了获取访问权限而攻击医院，结果引发停电。你得意识到，数字基础设施的任何部分都有可能被攻陷。

对。

是啊，值得记住的事情有很多。我认为最重要的一点，是建立对 Claude 的心智模型，并理解它的能力会突然跃升。比如你会发现它现在能反问你、能生成 HTML artifact，甚至能修改自己；这些变化很难预测。一年前你要是问我，能不能用氛围编程给 Claude Code 加这些扩展，我会说：“这也太复杂了，里面有太多东西。”又或者，能不能让它为你的任务生成定制的……

……专属 Web 应用？我当时会说“不可能，太离谱了”。同样，模型表现出失配行为的方式也难以预测。我绝不会想到它会去编辑 /etc/hosts 之类的东西。所以你得想象这些超级聪明的黑客能触及的范围越来越大，而且它们解决问题的方式也会越来越有创造性。你可能无法准确解释或预测下一起事件是什么，但要预防它，就需要我们之前说过的优秀运营能力：保护好沙箱、建立安全且设计良好的强化学习环境。我觉得这就是我们为什么要控制前沿发展的节奏，也解释了为什么这已经成了大家普遍认同的事。我觉得……

每家实验室，是的。我确实认为，只要你是开发者，顺着这些技术事实一步步想下去，就会得出我们必须采取行动的结论。至于具体怎么做，我觉得我们已经提出了一个方案，但还有不少细节要继续弄清楚。最重要的是，我们得先决定要做这件事。

对，没错。关于发展的节奏，我确实觉得有一方面是：我们可能还没准备好让它继续加速，或者让事情变化得更快。在前沿发展这一侧，我觉得我们仍然能发挥作用。还有经济冲击这一面，虽然不像 Hugging Face 那件事那么显眼，但我觉得我们也可以做一些事。

对。

我们确实希望帮助保护沙箱，也希望我们对外发布的模型不会沦为这类问题的受害者。也许我们之后可以再谈回退机制——比如为什么 Fable 会回退到 Opus；这部分之后再说。我们看到的事件里，至少有些是在评测模型时发生的；为了理解模型，我们确实得让它们运行。

评估人员。是的，我觉得这很不寻常。我们有很多专有技术，但我认为很重要的是让不受经济利益驱动的人参与。关于这些人是否会说“你们不能发布这个模型”或“你们要放慢 RL 进度”，原句此处的否定关系不清（字幕编辑注）；至少要有人能向公众报告实际采取了什么做法。

我相信这件事会扩大参与者的范围；我不觉得我们想要建立一个单一文化。把它作为起点，然后再推进协调步骤就好。说实话，我在这部分没太多要补充的。我想对开发者说的是，要知道自己应该倡导什么。

老实说，“Pacing the Frontier”得到的反响，即使在美国国内，也比我想象的更容易被接受。我觉得世界上有一些先例，说明大家能够达成类似“统一理论”式的协议。这远超我的职责范围和专业水平，但理想情况下，我们可以形成这样的协议；谈论这件事，就是迈向协议的第一步。

对，这正好引出回退机制和探针。我很想谈谈这个；很多对机器学习研究感兴趣的人都会问我，为什么会发生回退。先从高层解释它怎么运作：在推理阶段，我们会使用所谓的探针；我们有一篇关于这件事的论文，叫《Constitutional Classifiers》。

这也是可解释性的一种，对吧？探针本质上是一种机制可解释性方法。它必须运行得快、达到足够规模；不过，机制可解释性本身也是很好的研究问题。你可以拿一个开放权重模型来研究它的激活值。我觉得 Gemma Scope 是个很好的工具。

哦，是的。

对，没错。我在 Goodfire 工作过一阵，做过稀疏自编码器方面的研究。这件事很复杂；强化学习又让它复杂得多，我想这是一个重要结论。

哦，抱歉。

我对这方面的细节不太了解，但我觉得稀疏自编码器一直存在一些缺陷。我现在已经不是这方面的技术专家了，只知道问题变得更复杂了：有基础模型，也有强化学习模型，还有更多特征会发生变化。Goodfire 在这方面做过一些工作；不过我已经不太深入这些细节了。

对。

我觉得这正是其中一个关键点，也确实是 Anthropic 创立时就秉持的理念之一。我们很早就投入了机制可解释性研究。当你说“我们是一家 AI 安全公司”时，真正的意思是希望 AI 能安全运行。我觉得我们现在看到的是：

要让一个超级智能 AI 长时间安全运行，本身就是一项非常复杂、困难的任务。为此，我们投入了机制可解释性、对齐、奖励作弊以及各种失效模式等研究。即便如此，这项工作仍然很吃力；我们可能需要把节奏放慢一些。

对。我想大家都听过这样的故事：模型执行了 rm -rf，或者有人说 Claude 做了，哦，不是 Claude，而是模型做了。

对，是模型执行了 rm -rf。我觉得这类事在 Claude 上比较少见，但还是可能发生。模型可以删掉敏感数据。比如你想让模型访问生产数据库；这时你也许可以限制密钥权限，但模型能不能自己申请新的密钥？它可能用 computer use 去申请，再把密钥复制过来，最后修改数据库，因为它认为完成任务就需要这样做。这只是一个很简单的例子。

对。

我不知道。

是啊，没错。我们确实在尝试保护关键软件；我觉得我们修复了 Firefox 等软件里的很多漏洞，也涉及操作系统等其他领域。

对。人们常说，软件和网络安全是防御方占优的领域。理论上你可以建出完美的沙箱，虽然很难，也可以让沙箱没有限制。要做到这一点，就得让超级智能 AI 设计出完美沙箱，再检查它、对它进行红队测试。这需要时间，而模型当然会继续变聪明。

对。

对，没错。

对，没错。

我个人对 p(doom) 的估计相当低，但我只能代表自己发言。我也想说明，Anthropic 内部有各种不同的意见，讨论这个问题的方法也不止一种。我的心智模型是：我们可以一起合作解决困难的问题。核扩散就是一个例子，说明我们曾经如何共同应对难题；我对此有信心。

希望如此。对，这就是目标。

对。Dario 的《Machines of Loving Grace》最能体现这种想法。我也同意大家应该读读 Dario 写的《Pacing the Frontier》；我写过一份简短总结，但这件事有很多细节，也很重要，大家应该先了解情况。当然，我们之所以做这些工作，正是因为 AI 能带来巨大的好处；关于这些好处，我们也写了很多。

对，也聊到了前沿发展节奏。

首先，谢谢你邀请我。我觉得这真的是……

对。

没错。是啊，我很喜欢你创建的这个社群，也喜欢这里的开发者社群。变化真的很快，有很多事要跟进，也有很多事要做；我觉得不少人会有些疲惫、焦虑，或者觉得压力很大。

对，确实如此。这完全可以理解。我也理解这一点；我们也并不完美。大家可以批评 AI 实验室，也可以一起思考各家实验室能怎样做得更好。

谢谢你。