OpenAI 全新智能体技术栈：计算机操作、Decisions API、UltraFast 与 Dots

现在，计算机操作在完成任务方面，可能在大多数情况下已经比普通人快。我觉得下一道前沿，是让计算机操作真正达到超人水平：使用软件时，速度至少能和我们这样的资深电脑用户一样快，甚至更快。

等这件事发生，会非常重要、令人兴奋，因为我们可能突然就能打造出提供更多实时体验的产品。

四周前完全不是这样。不是，这像是受 Jev 启发的……

对，对。我觉得 OpenAI 的黑客文化特别浓，大家遇到新东西就会兴奋起来。推理团队有位同事——基础设施团队有位特别棒的同事——觉得“这太厉害了，我们要动手试试”。他们做了个原型，居然跑通了。现在我们就在不断爬升性能，努力把延迟压到尽可能低，希望未来几天能推出。等达到延迟目标，我们就会设法发布。

对，今天特别令人兴奋。我们刚听完主题演讲，确实很精彩。我觉得有不少计算机操作相关发布值得关注。首先是 Dots，一款新的个人助理产品，也加入了一些很令人期待的计算机操作功能。还有 GPT-6.1 Sol，这是个很棒的新模型；我认为它尤其适合计算机操作，因为成本和速度都有优势。我们分享过，它的成本是 Astra 的五分之一；如果专门看计算机操作，成本是七分之一。这太厉害了。抱歉，今天事情太多，我还在努力理清头绪。

还有 Agents API，现在也加入了计算机操作。开发者可以基于同一套计算机操作能力构建产品；这套能力也用于 Codex 和 ChatGPT。我们还演示了已有的计算机操作功能，例如 App Shots：可以把你正在电脑上处理的事情的上下文带进 Codex 和 ChatGPT，而且速度很快。Mac 上的原生计算机操作也有演示：Roman 让它自动为应用截图，而他可以继续在电脑上做别的事，同时计算机操作功能还在使用这些应用。总之，这场主题演讲非常令人兴奋。

Decisions API 很酷的一点是，它带来了很多新能力，能并行执行推理，而且不带推理能力；它用的模型比计算机操作所用的模型小。因此它的速度很快，但做长程、复杂任务的能力会稍弱一些。我认为，如何把这些方法结合起来，仍然是一个开放的研究方向。不过我很期待看到大家会用 Decisions API 构建什么。

Dots 是一款很棒的产品，因为每个 Dot——

——都有自己的 Linux 云端虚拟电脑，这和我们的其他产品不同。过去通常是让智能体使用云端浏览器，或者访问你自己的电脑；现在，它有一整台属于自己的云端 Linux 电脑，可以运行完整的桌面应用，也可以使用网页浏览器。

完全同意。最近我订了一项预制餐服务，因为想吃得健康一些。我很喜欢这家服务，因为它能让我非常细致地定制餐食：比如鸡肉要多少克、米饭要多少克。不过下单流程特别复杂，我花了两个小时才下完。我发现可以让计算机操作替我下单，结果只用了十五分钟。所以我确实省下了两个小时；它做这件事的速度比我快八倍，也让我省了两个小时。我用的是 GPT-6.1 Sol。这类任务让我觉得计算机操作非常有用。

我从开发者体验团队那里听过这话（笑）。他们经常用它操作 YouTube。对，这确实很有用。

我想他们几个月前说过这句话；希望他们现在看法不同了，因为计算机操作已经和过去“180度不同”。

贯穿始终的，是我一直对自动化很感兴趣，也希望帮人把任务自动化。这样人们就能省下时间，把精力放在更重要的事情上，而不是费劲地操作电脑。这也是我们做那些产品的原因：我之前在 Apple 工作，后来我们创办了 Sky，最后加入 OpenAI，这段经历很令人兴奋。

回头看 Sky 很有意思。我们当时也在做计算机操作，但那时的模型能力弱得多。就在过去一年，模型的计算机操作能力已经变得非常强。我看到最大的变化是：以前它们能可靠地开始执行任务，但遇到问题就会卡住；现在它们很擅长调试、重试，也能检查哪些环节有效、哪些不行。

我们有很多不同的衡量方法，其中一些会采用不同版本、不同配置的执行框架。事情有点复杂，因为生产环境中的产品还会加上安全检查，而且这些检查会根据具体任务配置。所以衡量方式很多，但无论怎么衡量，我们看到的提升都相当一致；有时改进来自执行框架，有时来自模型。我也很高兴看到 GPT-6.1 在计算机操作上的成本效益，甚至比它相对于 Astra 的基准成本降幅还要好。这真的很棒。

不想重复前面的话，不过，引入更多模态真的很有用。一个具体例子是：过去很多计算机操作产品得花大量时间滚动页面。它截一张图，尝试做点什么，然后发现“我得滚到下一页结果”，再截图、再尝试、再往下滚。现在有了无障碍信息，也能直接访问 DOM 等数据，语言模型可以一次看到整页或整个应用，还能编写代码、同时执行多个步骤。我认为这可能是最重要的几个顿悟之一。还有许多小改动没那么引人注目，但我们发现，很多提速其实来自逐项检查和修复大量细小问题。

对，完全是这样。如果你想深入研究，可以在 Codex 里按两下 Command 键截取 App Shot，把当前应用的内容带进 Codex 或 ChatGPT。点开附件右上角那个小按钮，就能看到原始文本和无障碍信息的表示方式。我们为此做了很多工作——

——既要导出所有内容，又要让它节省 token、高效传递。这有点像一门手艺。无障碍技术最初是为需要使用屏幕阅读器的人设计的，帮助他们操作电脑；结果发现，同一套技术对语言模型使用电脑也很有帮助。做这项工作很有意思。

没错。比如，你对网页截图，截图里不会包含链接实际指向哪里；日历截图里的活动标题也可能被截断。但 App Shot 会把完整上下文交给语言模型，让它能做更多事情。

太棒了。

过去几个月团队做成的一件很惊人的事，是计算机操作现在大概在大多数情况下都比普通人完成任务更快。我认为下一道前沿，是让它真正达到超人水平：使用软件时至少和我们这样的资深电脑用户一样快，甚至更快。那会带来很大的影响，也令人兴奋，因为我们可能突然就能打造提供更多实时体验的产品。

能用事件驱动时就应该这样做。JavaScript 有网页浏览器的加载事件，不过还有其他类型的事件不太可能完全由事件驱动，所以这件事挺复杂。

首先，我真的很高兴我们把计算机操作加入了 Agents API。这很有价值，因为很多开发者要做的应用都需要和第三方网站、服务协作；计算机操作具有普适性，几乎什么都能操作。现在开发者可以用上和我们自己相同的计算机操作实现。

我最喜欢、也最常在实际使用中看到的场景之一，是让智能体测试它自己构建的软件。这比听起来更重要：以前你在 Codex 里让智能体写好代码、构建软件，接下来就得自己测试，成了智能体的 QA。现在计算机操作可以补全整个软件开发生命周期：智能体可以构建软件，也可以测试它。我很喜欢先让它开发，再让它测试；等软件交到我手上时，通常已经能用了。

谢谢你们邀请我，聊得很开心。

当然。我叫 Nick，负责 API 团队的产品，加入 OpenAI 大约三年了。这段时间一直在发布模型；每有新模型，我们都会和后训练团队、研究团队密切合作，弄清楚它有什么新能力，再通过 API 把这些能力开放出来，大致就是这样。

我们 API 团队的主要目标，是等某个能力经过训练、能够和执行框架配合后，再把它放进 API。我们会等它成熟到足够好。很多进展实际上由 WebSockets 提供支持；我们大概几个月前发布了 WebSockets，它让模型可以进行双向通信。这不是 GPT Live 的功能，我说的是 GPT-6：你可以异步调用工具、异步推理、注入消息。这是个很有意思、做起来也很开心的 API。

是的。UltraFast 理论上能达到你所能获得的最快速度，同时保留前沿智能。

在讲 API 之前，我觉得 UltraFast 最有意思的部分，是看推理团队如何用 Astra 大展身手。他们不断让 CEX 智能体运行（字幕原词，疑指 Codex，见“翻译待核对”），想办法挤出更多性能。至少有几个月，团队都在专注提升效率、压低成本；Luna 的价格能降低大约 80%，其中很大一部分就来自他们落地的推理改进。现在他们又转向另一个阶段：怎样让它尽可能快地运行？看 Astra 这样的模型跑得这么快，真的很棒。

我想它终于已经取消了（笑）。

旧版本？那真是很棒的一周。我觉得那是我们第一次拥有——

——能以极高速度运行的前沿智能。

是啊。

对。至于 GPT-5.3 Spark，明确来说——

是啊。

首先要特别感谢 Dogo 和 Jev 团队，他们启发了市场上的整个方向。Jev 一推出，大家都兴奋得不得了；我们的用户来问，内部团队也说需要一个快得多的分类系统。我不想提前透露 Dots 接下来会发布的一些功能，不过你们会看到基于 Decisions API 构建的东西：反应很快、很灵敏。还得感谢 Jev 给了我们启发。OpenAI 有不少人会被这类点子“ nerd-sniped ”，然后开始琢磨怎样把它做出来；我们并不打算训练一个新模型。

完全没有。是的，这确实受 Jev 启发。

对，对。我觉得 OpenAI 的黑客文化特别浓，大家一遇到新东西就会兴奋。推理团队有位同事，还有基础设施团队一位特别棒的同事，觉得“这太厉害了，我们来动手试试”。他们做了一个原型，居然跑通了。现在我们就在不断爬升性能、压低延迟，努力把它做得尽可能快，希望未来几天推出；一旦达到延迟目标，我们就会设法发布。

目前我们看到的主要用例是快速分类。大家展示的计算机操作演示都很棒，不过这项能力当然也有局限。让 Astra 写一段 JavaScript 来控制电脑，和让 Luna 一次选择一个动作，智能水平不会相同；但有些计算机操作任务可能用 Luna 就足够了。我很期待看看这种组合会怎样发展。

真的吗？太厉害了。最早的那类东西就是仿制 Jeff API，本质上是结构化输出，而 OpenAI 很早就有这项功能。

对，完全正确。我们没有为此训练新模型；这是在相同的 Luna 权重上构建的。结构化输出是其中很重要的一部分，另外还要优化推理栈，让 TDF 的速度非常快。由于可能有多个问题，我们会把它们并行运行、打成批次，再使用各种推理技术尽量提速。至少在最初版本里，我们只是先在 Luna 上实现，看看效果如何，再按经典的迭代方式发布、听取反馈，之后视情况改进模型。这就是当前的 Decisions API。

对。视觉能力可以直接从 Luna 得到。

对。

对，完全同意。我也很想看看最后会怎样发展。这些可能就是未来发布模型时需要继续爬升改进的关键方向。

这两种方向都有人做过演示。我记得 Gemini 分享过 Gemini Diffusion、Gemma Diffusion，以及在 Jev 风格输出上的展示；也有人从中间层抽取可解释性信息。不过这些都还是猜测。

完全同意。现在整个领域已经被带动起来，大家会做出很多有意思的东西，也会互相学习，我很期待看到这些发展。

想一想……Decisions API 的内部用例其实很明显：用户运营团队马上就用上了，说我们得给所有支持工单分类。还有什么？当然有很酷的 GPT Live 演示。我猜 Codex 应用团队也会尝试基于它做些新东西。不过这项工作大概一周前才开始，所以还非常早期。我很期待后续发展。

对，这值得关注。Agents API 这边，OpenAI 还有一批第一方产品完全构建在它上面。刚推出的 COC 安全功能就是如此。我们今天还要上线一类会议功能；Sam 展示插件扩展时有过一个演示：你在日历里开会，可以把会议笔记放进类似 Granola 的工具里。

是啊。Astra 让这些事情都成为可能。现在从想法到执行的速度太快了，真令人惊叹。

Agents API 和 Decisions API 都是最新产品，我们希望收到各种反馈，弄清应该把它们带向哪里。Responses API 是我们的主力产品，现在重点是性能，主要包括两方面。第一是延迟：我们一直在重写整个 Responses API 技术栈，尽可能改善 DTFD、DBD 方面的表现，这仍然是重点。第二是深入改进缓存，特别是针对个人智能体：它们通常会在同一个会话线程里一直运行下去。我们正在提升缓存能力，现在可以保证三十分钟内命中缓存；最近还给一位用户推出了更长的缓存窗口，提供十二小时的缓存保证。

还没有，它仍在预览阶段。我们会尽快向所有人开放。你可以多付一点费用，让缓存读请求在更长时间内得到保证；这样，即使一个智能体线程暂停三到四小时后再继续，你仍能享受到缓存带来的性能提升。

对。我们也在降低缓存读取方面的成本。

是的。构建应用时要考虑缓存，让应用具备缓存感知能力；也可以用提示诊断或缓存诊断工具查清缓存在哪些环节失效。缓存这部分很重要。

正是这样，可以不断扩展下去。我很希望收到大家对低延迟性能的反馈，这样我们就能继续把 Responses API 做成性能和可靠性都最好的 LLM 构建平台。对这些新产品，也欢迎大家给我们各种反馈。

OpenAI 有自己的专有压缩方法，叫 comp。

没错。在 Agents API 里，它内置于执行框架中。Responses API 有两种做法：一种叫服务端压缩，你可以告诉 Responses API，token 达到某个阈值时就自动压缩上下文、降低使用量；另一种是 /compact，给你完整控制权，你可以随时调用，并按自己的逻辑决定什么时候压缩。

对，就是手动方式。很多大型编程智能体都喜欢自己手动做。如果你去看 Codex 开源执行框架的实现，会发现他们用 /compact 来完成这件事。我们也在研究新的压缩技术，其中一些已经能在 Codex 执行框架里看到；我们还在试验一些基于文件的系统。上下文压缩方面还有很多有意思的工作在进行。

我们现在显然处在很底层的位置。我以前在 Stripe 工作，在那里很大一部分工作是基于支付的核心原语，构建更高层的原语和产品。我一直很好奇，AI 领域该怎样做同样的事。

没错。