开场
各位听众好。今天 Elad 和我请到了 Tuhin Srivastava——AI 推理云平台 Baseten 的创始人兼 CEO。我们会聊 AI 算力的容量限制、为什么推理是“最后一个市场”、工作负载如何变化、开源乃至多芯片的未来，以及一年增长 30 倍究竟是什么样子。Tuhin，欢迎再次来到节目。
大家好。
很高兴见到你。
谢谢邀请。
Baseten 的增长
好，你身处一个最疯狂的市场之一——AI 推理。它非常重要，而且正在发生很多事情。你们过去一年增长了 30 倍；我想现在也可以说，你们预计今年收入会超过 10 亿美元。到底发生了什么？请谈谈这种规模增长。
是的，确实非常疯狂。过去大约 24 个月发生的事情——而且规模还在不断扩大——是所有人都逐渐意识到，AI 可以被放进任何地方。现在既有闭源模型，也有开源模型，选择都很好。开源模型的基础能力已经跨过了某个临界点；同时，用强化学习技术和后训练来打造专用模型，也已经成熟到足以进入主流，并且已有足够多成功案例。
为什么应用层会胜出
这里有一个大家一直在问的生存性问题：相对于模型实验室，独立的应用层到底还能不能存在？你显然必须相信它能存在。你为什么相信？
如果它不存在，整体而言会是一件令人难过的事。我个人当然会觉得——
一直都很难过。
对，难过归难过，但这并不是我认为应用层会存在的理由。我认为它会存在有几个原因。
能解释一下 Abridge 是做什么的吗？
抱歉。Abridge 是一种环境式医疗记录助手，供医生使用，几乎进入了美国所有大型医院。Greg Shive 很出色，这是一家很棒的公司，有很棒的团队和产品。他们已经深入整合进医院和临床医生的工作流。
那么这里几乎有两类市场。一类是 Abridge、Decagon 等新公司，它们用 AI 构建新型应用并销售给客户；另一类是企业在内部构建应用或自己的模型。今天的市场中，新应用公司与普通企业采用 AI 各占多大比例？几年后又会是什么样？
这个问题很有意思。我记得两年前你也问过我同样的问题。
我不喜欢重复提问。
疯狂的是，答案到现在似乎仍然一样。如果按推理调用量计算，我认为 99% 仍来自前一类，也就是 AI 原生应用公司。
对。
这也体现了机会的规模：市场中的绝大多数企业还没有真正上线，还没有把 AI 加入自己的业务。
企业采用的大部分进程仍在前方。我觉得这是 AI 最令人兴奋的地方之一。后面还有太多事情会发生，而人们低估了这一点。
完全同意。更酷的是，我们已经看到这种转变开始发生。两年前的问题还是：“企业到底有没有在用 AI 工具？”当时答案并不明显；现在很明显，它们正在使用。接下来是：“它们有没有在使用闭源模型 API？”我认为它们正在走到这一步。一旦开始使用，并看到实际可能性，下一步就会是全面采用定制模型。今天，这整个阶段都还在我们前方。
服务前沿客户
如果你今天的大多数客户正如你描述的那样，是应用公司、AI 原生公司，而且增长很快，其中一些已经达到相当大的规模，比如 Abridge、Cursor——
OpenEvidence。
对，像 OpenEvidence 这样的公司。它们教会了你们什么？它们迫使公司去做什么？你如何权衡服务这类客户与逐步面向大型企业？
首先，与规模最大、在做最有趣事情的公司一起构建产品，会让你学到很多。我们从两个角度看这个问题。
开源模型组合的变化
你看到客户使用的开源模型类型发生了多大变化？两三年前主要是 Mistral 和少数其他模型，后来 Meta 推出 Llama，格局明显改变。
对。
现在，性能最好的模型有不少来自中国。你是否也在客户的实际使用组合中看到这种变化？
是的。至少我们服务的客户——它们是全球增长最快、思维非常前沿的一批 AI 公司——都想使用最好的模型，也会持续优化。今天确实有一小部分任务会从成本出发做选择，但我认为占比还不大。
中国模型与地缘政治
围绕使用中国模型，人们提出了不少担忧，尤其是安全问题：模型里是否嵌入了什么东西，是否存在“特洛伊木马”等。第一，你认为这是真实风险吗？第二，人们常说美国应该推出相应的制衡力量。从地缘政治角度看，这种担忧合理吗？我们该如何看待模型的来源与实际用途？
首先，这些模型非常棒，真的令人惊叹。我们与这些团队合作过，他们确实很优秀。
嗯。
否则就有点只见树木、不见森林。实际上只有两种情形：要么美国永远做不出优秀的开源模型，那说明存在某种根本问题；要么我们终究会做到，那就需要为那个世界提前做好准备。
这很有道理。我也认为，美国在这里保持强大的开源影响力非常重要。至少目前看来，中国政府实际上在补贴其中相当一部分模型，而这种补贴或剩余价值又直接传递给了采用这些模型的美国企业。换言之，中国政府在以一种间接方式补贴美国企业。我觉得这一点目前没有得到足够关注。当然，它也需要与其他人提出的风险担忧放在一起权衡。谢谢你的看法。
对。另一个担忧是：如果我们拿不到这些模型，会发生什么？从经济性看，DeepSeek 按大多数标准都是一个很好的模型。你当然可以争论它是否处于绝对前沿，但我们只要把时间倒回三个月，当时大家还在用它完成很多事情。
这里还有一个我们没有明确说明的重要前提：目前最先进、在能力前沿领先最远的模型，仍然是 Anthropic、OpenAI、Google 等公司的闭源模型。
对。
定制推理占据主导
能不能描述一下 Baseten 上的工作负载？你们服务的 token 中，有多少来自某种定制模型，又有多少来自原版开源模型？
基本全是定制模型。
明白。
95% 以上。我坦白说觉得这非常酷。我们有两项业务——不，现在是三项业务。
已经有三项了吗？要不要帮你数一下？
不用，不用。第一是专用推理，本质上就是定制模型推理，每个客户有自己的服务等级协议（SLA）；第二是共享推理，即共享端点和共享 SLA；第三是训练业务。
收购后训练团队
几个月前，你们收购了一个研究团队。你也提到后训练和定制。收购的理由是什么？这个团队今天在做什么？
收购的理由是，我们原本是基础设施和产品人员。我们一直很擅长产品，现在也成了很强的基础设施团队，但内部并没有太多研究能力。
嗯。
现在越来越明显，后训练与推理是同一个问题的两面。理想情况下，推理会产生更多后训练：推理过程生成数据；你做评测；再根据评测发现的奖励函数进行后训练。希望最终整个闭环能够完整运转起来。
何时投资定制模型
Anthropic、OpenAI，以及 Sam、Greg 等人在近几个月都说过：推理极具战略意义，推理人才是战略资源，容量也是战略资源。再加上后训练，这些都是非常难以积累的能力。
首先，用当前最好的模型证明自己确实创造了值得优化的价值。
对，对。
不过你们合作的一些公司，确实一开始就已经处在很大规模。
是的。它们已经拥有知道该如何优化的用户信号，也证明了自己能够向客户交付价值，而且在这种价值周围有独特优势。
供应紧张与数据中心
容量方面呢？你们最初是把不同云、新兴云的容量统一起来。现在大家持续讨论供应短缺，而且可能是多年的短缺，你如何看待这个问题？
关于供应短缺已经有很多讨论，但无论大家听过多少，我认为多数人仍没有意识到情况究竟有多严重。市场上几乎没有闲置算力。
现在最多能提前多久购买容量？如果提前两年或五年预订，市场会不会有一些余量？
你问的是合同期限，还是说：“我想在 2028 年 1 月拿到这些容量”？
两者都算。更准确地说，是我希望在 2028 年 1 月拿到容量，或者至少能够看清未来的供应。
可以买到，但也要记住市场变化得非常快。另一方面，H100 又确实是一款非常优秀的芯片。
对。
很疯狂的是，它已经问世四年到四年半，价格却仍在上涨。
对，也许它的有效寿命能达到九年。
是的。这当然是好事。你确实可以提前锁定容量，但与此同时，你也在做出很多长期押注。
更长期的 GPU 合同
对，这也是其中一部分。我认为过去六个月最大的变化，是供应商要求的合同期限明显变长了。
这会不会影响你对公司上市时间的看法？因为从某种意义上说——
会，我认为会更早上市。
对，正是如此。
我认为确实会出现这种需要。我们最近才意识到一件事：我们是软件行业的人，通常不会总用这种方式思考，但这项业务有很特别的营运资金需求，因此也会产生很特别的融资需求。至少目前，我们甚至还没有深入走到——
也可以使用债务或其他融资结构。
对。我最近确实学了很多有关债务融资的东西。
什么造就赢家
在供应紧张的背景下，推理又是你们正在争夺的头部市场之一，自然会有很多人理解这个问题，也就会有竞争。你认为哪些因素会造就市场中的主导者或赢家？是你刚才说的资本成本、获取供应的能力、软件，还是需求？
所有事情都做到卓越。
是的。推理市场很有意思的一点是——
运营能力是不是也很特殊？
是，我认为是。单纯的 GPU 即服务并没有黏性，客户通常把它看成商品；但加入软件层后的推理服务极具黏性。
对。在算力受限的世界里，最值得拥有的东西就是算力。
没错。单是拥有它，本身就是资产。我认为人们低估了这一点。
没有牛奶就做不出好喝的热巧克力。
除非你是纯素主义者。不过没人想要“纯素推理”。
但大家也可能想要植物奶，对吧？H100 是很棒的芯片，人们也想要 B200、GB200，当然还想要大量 Nvidia 芯片。当你要对几年后的未来下注时，你相信会出现多芯片并存的世界吗？从计算和芯片角度看，会发生什么？
多芯片未来
我认为各方面的多样化都是好事。就像我希望世界上存在许多不同模型一样，我们也希望大多数事物都有多种选择。
如果没有发生，会令人难过。
是，我想大家都会难过。我认为未来会出现专门面向推理的芯片，也会有专门为解码阶段设计的芯片。我们已经看到有人沿着这个方向尝试，例如围绕 LPU 等架构的讨论。这条路线很直观，也有道理。
运行时路线图
当你考虑如何响应市场时，实际工作负载正在发生什么变化？哪些方向需要你们投入？代码智能体和长时程智能体逐渐变得很重要；大家更多谈论 CPU 算力；视频推理也不同；编码智能体还需要沙箱。现在你们最重要的投资方向是什么？
对我们来说，所有运行时相关能力显然都非常重要：在哪些芯片上运行、怎样运行、支持何种工作负载。我们是否需要非常擅长扩散 Transformer？答案是肯定的。编码智能体需要沙箱，我们也必须支持。还有各种新的推测解码技术可以加速推理，我们也要做好。
只有规模化后才会出现的边缘问题
哪些问题只有达到一定规模后才会出现，并且会让人感到意外？举个例子：我很惊讶你们会撞上某些超大规模云产品的根本限制，因为我通常会把 AWS、GCP 这类平台想象成可以支持无限规模。
我想，任何以巨大规模运行服务的大公司，大概都会遇到类似问题。
什么事情会让你夜里睡不着？
容量。
回答很快。
对，就是容量。这个市场太大了，也意味着现在是应该尽可能激进的时刻。过去 12 个月、尤其最近几个月，我们已经增长了很多，但答案永远是：做得更大、跑得更快。
我们还必须发明很多新东西。
对，正是如此。
招聘与领导团队
再谈谈你在规模化过程中的学习吧。一家公司经历 30 倍增长是非常激进的。你们引入了很多优秀人才，比如 Danny、Sameer、Stephen Day，技术和市场团队都有。你认为招聘与扩张方面哪些做法有效？你的理念是什么？
大约 8 到 18 个月前，我们的组织仍然非常扁平。我记得自己曾和 Elad 散步讨论这件事。结论很大一部分是：你就是需要领导者。
一切都是开销。
你以前好像还对我说过：“Sarah，要不我们只招工程师，不招销售？”
对。那是个糟糕的想法。
每个人最后都会学到这一课。
是。Elad 当时把这件事说得很清楚，而我们后来真正体会到：拥有一支你可以信任的领导团队极其重要。
运营与值班文化
运营文化呢？我们之前和 Alyssa Henry 聊过。她说，云业务真正困难的地方其实就是运营；她有十年把寻呼机放在枕头下面睡觉。我好像也从没见过你真正离开 Slack 频道。
我的手机现在就在震。我已经开始焦虑了。
你以前也担心过，员工是否真正理解这种工作。它有什么特别之处？
如果你在基础设施公司工作过，就会理解。我们有一次和一群 AWS 高管开会，都是非常资深的人。在 45 分钟会议里，他们每个人的告警都响了好几次。这确实是一种文化。
“这是 P0 吗？”
对。你只能习惯它，这就是你生活在其中的文化。它会改变整个团队的速度，也会很快排斥那些不适应的人。
比如逃避值班告警的工程师。
是。发生严重事故时，所有人都会加入处理电话。办公室里一直有个玩笑：还不如直接装一台警报器；一旦警报响起，大家就都知道该上线了。
效率提升反而扩大需求
AI 社区已经反复讨论杰文斯悖论。它本质上与价格弹性和可获得性有关：当一种商品——例如智能——的成本下降时，人们实际上会消费更多。由于个人或企业获得的投资回报提高，需求会上升，而不是下降。
要分别从消费者和开发者的角度看。
我只想要更好的答案。
更好的答案、更好的体验、更多收入。所以推理成本下降只会催生更多推理。
所以你没有在客户那里看到“这个答案已经够好，这个动作已经够用”的状态？
没有。
我也认为这会持续很长时间。你怎样看它未来的演变？这似乎会成为有史以来最大的市场之一。我们正在经历一次巨大转变：从按软件席位收费和数字化，转向真正销售智能、销售认知单位——
万事皆可“专属管家”
对。
——以及销售智能体工作流。几年后会是什么样？你想象中的未来世界是什么？
对消费者来说，这可能是最好的结果。一切都会变得更智能。医生拥有更好的工具，所以你能得到更好的医疗照护。
就像每个人在每件事上都有自己的团队：有一个智能体协助你和医生沟通，有一个帮助你学习，还有一个帮你安排生活。
就是“专属管家”。万事皆有专属管家。
每个人、每件事都有专属管家。
对，这非常棒。教育也是一样：你会拥有专属的个性化教育，获得针对自己的资源和支持。
非常令人兴奋。谢谢你今天来参加节目。
结语
谢谢各位。
欢迎在 Twitter 上关注 @NoPriorsPod。想看到我们的真人画面，请订阅 YouTube 频道；也可以在 Apple Podcasts、Spotify 或你常用的平台关注节目，每周接收新一期内容。你还可以订阅邮件，或前往 no-priors.com 阅读每一期的文字稿。