开场：18 个月“还是造不出来”
你们每六周开一次董事会，而你能说的只有一句：“还是造不出来。”是吧？这就是整场董事会？除此之外还能聊什么？
对，就是一遍又一遍地说：“还是造不出来。”
然后他们会问：“我要不要进去帮忙？有什么我能做的吗？”
没错（笑）。他们会说：“我们能帮什么？”答案是：“帮不了。”但我们一直相信，只要我们真能把它造出来，市场需求一定会非常大。
好，今天特别高兴做这期节目。Andrew，非常感谢你来。你是 Cerebras 的 CEO 和创始人，它显然已经是最重要的芯片公司之一。也很高兴我的合伙人 Eric 今天一起参加，他算是一半主持、一半嘉宾，而且从一开始就一直和 Andrew 共事。谢谢你们两位抽时间来。
Andrew 为什么在 2016 年创办 Cerebras
Jack，谢谢邀请。我一直很喜欢和 Eric 待在一起，也很感谢你请我来。我觉得，对计算机架构师来说，当你看到一种新的工作负载正在出现时，会天然兴奋起来。因为在一个已经成熟的计算市场里抢份额非常非常难，所以一旦有新的东西出现，你会立刻往前探：我能不能让它跑得更快？能不能做一颗更适合这种工作的芯片？
在进入“又长又难”的部分之前，Eric，我想先问你。作为投资人，当时也还不是今天这个 AI 时代，但你看到了某些东西，决定投这家公司。我印象里你之前并不是芯片投资人，更多投别的领域……
而且以后大概也不会再投了。
大概真的不会了（笑）。如果再来一次，你还会做同样的决定吗？当时有什么东西让你觉得这件事很清楚，还是说你当时到底经历了怎样的判断过程？
Eric 为什么在没有芯片投资经验时下注
我觉得风险投资里最可怕的一件事——我一直在想这个问题——是你做的公司越多，看到的挑战越多，越清楚事情有多难，你身上就会积累越来越多“疤痕组织”。然后理论上你应该再做一次，可问题是：你真的还会再做吗？我经常问自己这个问题。
所以千万别告诉你的 VC 这事到底有多难（笑）。故事的教训就是告诉他们：“没问题。”把困难都憋在里面，往下压，再往下压。别告诉他们这是个很难的问题。对外就说：“一切都很好，兄弟。”
好，那后来发生了什么？你们创办公司，做到 tape-out，然后就结束了，对吧？大概就是这么简单？
不，当然不是。
那实际是怎么走的？到底发生了什么？
如何挑战歌利亚
我觉得首先，我们不是第一次做芯片公司。这是我的第五家。创始团队在上一家公司就已经一起工作过，所以我们对“应该怎么做”有一些非常清晰的理念。
那什么必须掌握在自己手里？
设计的每个方面、实现方式都得掌握。你得理解制造，理解所有环节。对我们来说，这意味着从芯片、板卡、整机、软件，一直做到 API。
我觉得 Andrew 在半导体这件事上教给我的一个方法，也适用于别的领域：你得把“究竟应该瞄准多大的优势”这件事算具体。
目标不是今天的对手，而是五年后的对手
所以你现在会听到很多新想法，说：“我们会好 50%”“我们会好 2 倍”，或者说：“等设计完成，我们会比今天的东西好 10 倍。”但问题在于，今天的产品不是你的真正目标。
Nvidia、Google，还有 Trainium，大家都在把边界往前推。所以如果你希望几年后真正切入市场，你得瞄准 100 倍、500 倍，甚至更大的数量级。
对，你得在它们未来所在的位置前面与市场相交。意识到这一点以后，你就会明白：不能只是对现有东西做一点小改。底层必须发生非常大的架构变化，必须有一个真正不同的大想法。不管是 wafer scale，还是别的什么，关键是要有那种结构性的改变。
你不可能靠一堆温和的小改进拼出这种优势。
嗯。
你的最大竞争对手买硅片比你便宜，买制造产能也比你便宜，对吧？它们甚至可能连 EDA 工具都比你便宜。所以你不能沿着正面战线直接和歌利亚硬碰硬。你必须想办法交付某种本质上不同的东西。
濒死阶段与“死亡之谷”
那在早期这些阶段之后，沿途有哪些特别难的坎？我知道公司有过一些接近“濒死”的时刻。那些真正困难的门槛是什么？
我自己倒是有过几次濒死体验（笑）。当你造不出自己应该造出来的东西时，胸口是真的会疼。
那些时期该怎么描述？是你知道自己需要一定的时间和一定的资本，所以只是必须穿过一个“死亡之谷”？还是说，你根本不知道某个技术突破到底能不能发生？究竟是什么让这些阶段变得那么危险？
在我们这个领域，我们其实一直很有信心：只要做得出来，就一定卖得出去。我们的生活里有两个坐标轴，一个是“你能不能造出来”，另一个是“你能不能卖出去”。而我们始终相信，只要能造出来，就会有巨大需求。
18 个月的“还是造不出来”
当时有一大群人说这件事永远不可能成功。老实说，我们自己也不确定。我们相信自己能做出来，但没有任何证据。大概有 18 个月，我们就是造不出来，同时每个月烧掉大约 800 万美元。
然后董事们会说：“我要不要进来？有什么我能做的吗？”
对（笑）。他们会问：“我们能帮忙吗？”答案是：“不能，什么也做不了。”
全都换成新的错误。
对，全是新的错误。那基本成了我们的口号：只犯新的错误，只出现新的失败。
解决一个 75 年的计算问题
到 2019 年 7 月左右，有一天系统一直在跑，温度曲线是平的。我们就站在一个很小的办公室里，那间办公室被改成了实验室。为了把热空气抽出去，我们甚至在墙上打了个洞。
这很酷。往前看，你们已经有 wafer scale，以及围绕它的封装、散热、供电等一整套东西。如果看未来五年的研发边界，我知道肯定有很多你兴奋的方向，但你会把这个“巨型计算平台”继续带到哪里？下一个类似 wafer scale 级别的创新会是什么？
晶圆级之后还有什么
如果把我们做的计算机简化到最基本的元素，其实只有三件事：做计算、存储结果、把结果移动到有用的地方。
我想把视野放大到整个供应链。现在大家都知道 AI 很受供应约束，但我和很多人一样，并不能说自己真正理解完整供应链。我做这个播客最喜欢的一件事，就是镜头一开，我就可以逮住像你这样很成功的人，问一个特别基础的问题，然后逼你认真回答（笑）。所以能不能用比较简单的方式解释一下：我们究竟是怎么从沙子一路走到一个 ChatGPT 回答的？
芯片供应链是怎样运转的
兄弟，很简单，就两个字：TSMC（笑）。就这样。一个黑盒叫 TSMC，旁边还有另一个黑盒叫 ASML，然后另一头就会吐出好东西。
我知道我们受供应限制，但我确实不知道供应链具体怎么运作。你能给我上一课吗？
我觉得第一件要理解的是，一座 fab，尤其是能做最先进制程的 fab，就像现代金字塔。它是人类能建造的最了不起的东西之一。
它有多大？
几个足球场那么大。
好吧。
Samsung 在得州建厂的时候，他们先开始建一座发电厂。那座电厂一开始是为了生产混凝土服务的。数百辆混凝土搅拌车，24 小时、每周 7 天，连续跑了好几年，才浇出足够的混凝土，做出承载 fab 的地基。这个东西复杂得难以置信。
所以 ASML 是做机器的。它做光刻设备。那一台机器到底是什么样？
每台大概五六十英尺长、二十英尺高。
价格呢？五亿美元左右？
对，很贵。有意思的是，ASML 把同样的设备卖给不同 fab，但每家 fab 用法不同，能做到的事情也不同。TSMC 能用这些机器实现一些其他厂商做不到的东西。
还有别人能造这种机器吗？还是全世界真的只有 ASML？
目前就是 ASML。
全世界？
全世界。
这很奇怪，对吧？
是。真正像这样的垄断其实非常少见，而且它不是 De Beers 那种通过控制供给形成的垄断。ASML 掌握的是别人一直没能复制出来的技术。
那我们现在的瓶颈是光刻机数量不够吗？
大概不是。我们这个行业真正的问题，是需求变化得太快。你看 Nvidia 这样的伟大公司，需求是指数式增长的，但 fab 不可能用同样速度建设。一座 fab 要五年才能建起来。
对，而且每一次建设都要投入巨额资本。需求在飞速超过这种“五年一押、押上巨额资本”的建设能力。现在数据中心也是同样问题：AI 按软件的速度前进，数据中心却按房地产的速度前进。这就是为什么我们总是落后，没有别的原因。
这个说法非常清楚。好，所以 TSMC 买光刻机……
对。TSMC 买光刻机，同时它有几十年的工艺经验，把这些能力组合在一起。它拿到一根硅锭——可以理解成一根硅做的圆柱——把它切成圆片，这些圆片就是 wafer，也就是晶圆。然后晶圆会被送进后续整个制造流程……
芯片供应链是怎样运转的（续）
晶圆会继续经过光刻工艺，在硅上刻出晶体管，然后一路往后走。最后会切割——我们叫 dicing；当然我们 Cerebras 的晶圆级方案不切——另一端出来的就是芯片。
这大概是人类做过最令人印象深刻的事情之一，对吧？
结果一个 burrito 要 23 美元（笑）。
对，没错。你从这里走到 Mission District，一份 burrito 都要 17 美元。
所以芯片出来以后就完事了，对吧？到这里就好了？
不。芯片出来以后，你大概只解决了四分之一的问题。
好，不过我们先继续讲 TSMC。也就是说，他们收到你们的设计，操作那些机器，然后把芯片交给你？
对。
但这本身听起来几乎不可复制。美国没有这样的 fab 吗？
有，TSMC 和 Samsung 都在美国运营 fab，GlobalFoundries 也有。
那整个瓶颈里，有多大一部分是在 TSMC 这一层？
非常大。
为什么？因为 fab 建得太慢？
因为需求增长速度已经超过了建设 fab 的能力。它不像公寓楼，不是有几百家施工方可以让你挑一家来盖。真正把一座先进 fab 建出来，本身就是只有少数人掌握的能力，TSMC 就拥有这种能力。即便是他们，也不可能同时开建 12 座。
为什么美国把一个战略性产业拱手让出
而美国过去大约 30 年里的一系列糟糕政策，又把 fab 一步步推到了海外。fab 一走，设备供应商、给 fab 提供各种服务的供应商也一起走了。再往下一步是 packaging，也就是封装，像 Amkor、ASE 这类公司也离开了美国。
那你觉得现在应该怎么办？
我认为应该把 GlobalFoundries、TSMC、Samsung 这些公司请到一起，给出一个长达 20 年的窗口，在这个窗口里豁免那些会阻碍建厂的地方性条例，让他们能够建设 fab。核心就是重新建设美国本土的 fab 产能。
是。我是说，你看，当一艘大船试图在一条重要运河里“侧方停车”的时候，我们立刻就遭遇了芯片延迟，甚至连洗衣机都买不到。
对。如果我们失去芯片制造能力，那对我们的产业将是灾难性的。其实不只是产业，而是对整个国家、整个经济都是灾难性的。
Eric，你当董事的时候也是边做边学这些东西。显然——至少我觉得 Andrew 没在骗我——你后来确实帮上了很大忙。你是怎么处理这种“自己不是技术专家，但又要当董事”的局面的？
Eric 帮了我们非常大的忙。
那你具体是怎么做的？
我的能力圈其实非常小，而且完全不包括 Andrew 刚才讲的这些。如果你现在让我解释 packaging 是什么，我都未必解释得清楚，更不可能解释得足够好。Andrew 到现在还经常给我讲这些东西。
我觉得 Eric 成为一个好董事，有几个很基础的原因，而这些也适用于任何好董事。第一，你得承认自己不可能什么都懂。你只在真正擅长的领域里给公司增加价值、让我们变得更好；对于你不懂的那些领域，就少说话。
怎样做一家硬件公司的好董事
我还挺好奇的。对一家硬件公司来说，董事会成员到底应该做什么？因为如果是软件公司，投资人有时还能围绕产品、增长、市场给出很多具体建议；但在这种硬件公司里，很多核心问题他们根本没法直接参与。那主要就是融资、招人这些事情吗？
硬件公司的节奏完全不同。它不是 SaaS。你先融资，然后可能要花两三年真正把东西造出来，之后才第一次得到真实的客户验证。
Eric，这跟你平时投软件、基础设施公司的董事工作，体感是不是非常不一样？
硬件投资和软件投资有什么不同
完全不一样。第一，距离收入出现的时间长得多；第二，收入往往不是一点点爬起来，而是一大块一大块地出现。
对，早于 Transformer。
那时 TensorFlow 还是主流，ResNet 还是大家讨论的东西，神经网络跟今天相比非常小、非常简单。机器学习和 AI 当时看起来……
从训练转向推理
……跟今天完全不是一回事。其实我觉得这里对听节目的创业者很有意思：Cerebras 一开始是作为一个训练系统创办的。
对。你当时讲的愿景里，很重要的一部分是：训练因为反向传播而更难；而推理可能更多发生在设备、个人电脑上，以一种非常分布式的方式进行——未来也许仍然会走到那里。可到了 2022、2023，甚至 2024 年左右，公司明显更转向了 inference。也许“pivot”这个词不完全准确，但至少重心确实变了。这里面哪些是运气，哪些是真正的前瞻判断？为什么会走到这一步？
我觉得做决策、思考未来大概有两种方式。一种像老式电话电路：你提前建立一条从这里一路通到纽约某个人那里的专用线路。你脑子里已经有一个很远的未来图景，然后从现在直接拉一根线过去。这是一种 vision。
这个很有意思。软件里你当然可以非常灵活，今天有一个想法，明天就把所有东西改掉。
对。
但硬件没法这样。
没错。硬件里的决策更大、更离散。所以芯片架构里“专用化”与“灵活性”之间的选择格外重要。
硬件为什么比软件更不容犯大错
所以，确实有几个关键决定做对了，会帮你很多。
现在回头看 SpaceX、Anduril、Cerebras、Palantir 这些公司，硬件已经热得不能再热，人人都想投硬件。但听你一路讲下来，它真的难得离谱。
真的很难。它需要非常强的内在韧性，而且从历史上看，在这个领域里，过去的实际经验确实是成功的一个很重要预测因素。
这跟 AI 软件有点不一样。AI、社交网络里，很多创始人和领导者实际上是在给自己、同学和朋友造工具，所以他们天然拥有某种独特洞察。像 Cognition、Cursor 这样的公司，里面就是全世界最强的一批软件工程师，他们在给自己造工具。
我还在想，可能刚才那一点也解释了很大一部分差异。软件里，如果你明天就可以改变主意，那么昨天错了也没关系；速度和决策速度往往更重要。但如果今天做了一个决定，接下来一年都得承担后果……
不是一年，是很多年。
对，很多年。那你就不能今天错了、明天修掉。
我们做芯片时经常说：量三次，只切一次。它对重大错误极其不宽容。所以那些真正大的事情，你必须非常、非常确定自己做对了。
这也让我想到你们组建公司的方式。你刚才提到，早期团队里很多人已经一起做过不止一家公司，彼此合作很多年。你本人也更有经验——当然我不是说你很老（笑）。
有人现在已经叫我 boomer 了（笑）。我只能说，我爸才是 boomer。
当你还年轻的时候，往上看，反正所有比你大的年龄都像同一种“老”。就像你八岁的时候，看谁都觉得特别老（笑）。
年轻的产品领导者与资深硬件工程师
……可能 27 岁吧（笑）。不过有意思的是，如果看你们公司的产品负责人、go-to-market 负责人，他们其实都非常年轻。
是。
这是有意设计的吗？当然不是说按年龄歧视，而是你们怎么把站在最前沿的年轻产品领导者，和那些经验非常深的硬件工程师组合起来？
我们会非常认真地区分：哪些岗位最需要经验，哪些岗位最需要的是极高的智力、方法论和洞察力。
那“关系”呢？这些是不是同样需要很多年积累，还是年轻人也可以很快建立起来？
我先说一件事：五个创始人毫无疑问太多了（笑），唯一让它成立的原因，是我们以前已经一起工作过。所有人都知道别人擅长什么，也知道自己不擅长什么。大家彼此非常尊重，所以几乎没有那种创始人互相顶牛的问题。
外部关系、TSMC 与硬件供应链
然后这种人会以非常快的速度把工作一件件吃掉。
我做招聘时一直有一个判断：如果一次面试结束后，我真的学到了新东西，而且我会因为“下一次还能继续从这个人身上学”而主动想再见他一次，那通常是我最好的预测指标。
最好的指标。真的特别好。
那外部关系呢？硬件公司得跟公司外面非常多的人协作。你得去台湾，得和很多供应商打交道。
这时候过去积累的一些关系确实很有帮助。我们已经跟 TSMC 一起造了几十年芯片，也跟合同制造商合作了几十年。尤其当产能紧张、各方争抢资源的时候，这些关系已经存在很多年，而且你不是只在顺境里守信，而是在好时候、坏时候都守信，这非常、非常重要。
这对我来说是很大的学习，尤其是 COVID 那几年。我们平时投的软件公司，甚至软件基础设施公司，真正关键的 vendor 可能就是 AWS；现在也许再加一家 foundation model 公司。你大概只有两家真正关键的供应商。
多得离谱，几十家。系统里的各种组件、专门制造冷板的厂商、水冷系统的一部分……所有这些东西最后必须同时拼起来。
对，而我以前根本不习惯交付一个产品需要这么多依赖。对我来说，这是一个软件人终于被迫理解“供应链”是什么（笑）。
对，所以才叫 chain（笑），真的就是一条链。你会突然意识到：“天哪，原来这里有这么多东西。”而一旦公司在指数增长，整个问题又会复杂很多。
AI 基础设施建设到底有多大
我们内部最近经常讨论一件事：不管你觉得这波建设有多大，好像都很难真正把正在发生的 AI buildout 的规模想明白。
真正看对这件事的人大概只有一个，就是你兄弟。
这倒是真的。
对。所有人当时都觉得 Sam 疯了。我觉得他真正厉害、也最难做到的一点，是他看到了一条指数曲线，却没有害怕。
现在这种疯狂建设还在继续，而且 inference 的需求看起来增长得比我们无论如何能建设出来的供给还快。那就会引出很多问题：算力价格会怎样、到底能提供多少算力、token spend 会变成什么样。
数据中心供应链
数据中心只是“通过云交付计算”这条供应链中的一个环节。无论你最终通过 cloud 交付，还是我们说的 on-prem，本质上都会受到它影响。一个场景是我们租容量，把自己的设备放进去；另一个场景是客户自己租数据中心。所以目前它确实是整个市场的约束之一。
所以水其实不是那个真正的问题？
对，不是。
这跟整个科技行业在“怎么向外界解释 AI”这件事上做得很糟糕，其实是同一个主题。
非常糟。我们确实做得很差。
数据中心这件事另一个让我觉得有意思的地方是：如果 2018、2020 年你问我们，数据中心会不会成为整个 AI 扩张里的关键瓶颈……
这也是一件我当时会答错的事。
我们都会答错。
对。它突然就成了一个必须从头到尾全部建出来、真正交付出去的新问题。那么一座数据中心从“准备动土”到最终完成，到底要多久？你之前还开过 shovel-ready 这个词的玩笑。
“Shovel-ready” 是数据中心行业特别爱说的一个词。它大概意味着：“我们其实什么都还没干（笑），但已经准备好让你开工了。”
换句话说，就是“我们这里有一堆土，等着你把铲子插进去”。听起来当然比“我在 Oklahoma 有块荒地”高级一点（笑）。
它不应该至少代表许可证这些重要东西已经有了吗？
有时候有，有时候没有（笑）。我们以前根本不会想到，自己有一天会像现在这样深入到这些问题里。
数据中心供应链（续）
如果施工方靠谱，从一块有许可证的原始土地开始，到建成 50MW 的数据中心容量——这是一个很常见的建设单元，大型园区也往往按 50MW 一块一块展开——现在大概需要 18 个月。
那整个瓶颈里，究竟多少是能源、多少是芯片、多少是施工、多少是审批？
供应链的每一段自己又有一条供应链。混凝土通常不缺，大多数地方劳动力也还行；不过像 Wyoming 当时很多数据中心抢着建，电工甚至要从 Denver 那么远的地方调过去。
我昨晚离开 Memphis 时正好从 Macrohard 和 Macroharder 上空飞过。那种规模真的把我震住了，建筑本身、旁边的施工，全都大得惊人。
没人像 Elon 那样会造东西，真的难以置信。
这也引出一个很有意思的问题：未来可能有两个世界。一个世界是未来十年数据中心永远都不够；另一个世界是因为现在所有人按很长的 lead time 疯狂开工，最后反而出现 overbuild。谁能正确押中是哪一个世界，可能会有很大的 alpha。
至少可见的未来里，我们数据中心肯定不够。现在让我看十年以后，我确实没有把握——十年前 Transformer 都还没开始跑，人们只是在跑很小的模型，识别人脸、猫、椅子之类。2016 根本不算什么 AI 大年。
政治怎么介入这件事也会很有意思。现在政府对科技、尤其 AI 的兴趣和参与程度，大概是史无前例的。
对，我们显然最需要的，就是让更多完全不理解这件事的人来替我们做决定（笑）。很明显，最需要的是更多毫无头绪的人来做重大决策。
先离开政治。如果我们同意一个基本前提：算力无论被内存、芯片、数据中心空间还是别的东西限制，总之供给有硬约束，而需求又极其旺盛——
算力真正的分母是什么
——那是不是意味着，最终真正重要的指标就是类似 tokens per watt？因为分母是有限的，无论这个分母是 watt、facility、chip 还是别的东西，我们都应该尽可能从有限的分母里榨出最多的 numerator，也就是尽可能多的 token、尽可能多的任务。
我觉得要分几件事看。第一，我们选择把重点放在 speed 上，而历史上，速度会创造市场。
速度会创造新的市场
如果你真想惩罚孩子，别把手机没收，把网速调回 dial-up 就行（笑）。让他用一周拨号速度，那才是真正的惩罚。
与 AMD、AWS 做 inference disaggregation
速度是一件事，另一件事是怎么提高 throughput，让系统在同样时间里产出更多 token。
那 Nvidia 到底做对了什么，才会有这么疯狂的一轮增长？
Nvidia 真正伟大的地方是什么
我觉得大多数人对“Nvidia 为什么伟大”这件事都看错了。毫无疑问，在这个世纪的前四分之一，Nvidia 是一家伟大的公司，甚至是最伟大的公司之一。
你现在看 Jensen 去参加活动，还是那种状态。
还是在拼命打。
对。你很难想象以前那些万亿美元级公司的老派科技领导者，到了这个规模以后还会这么打。
没错。对我来说，这才是最厉害的地方。其他东西当然也很酷，但如果我想的是“我作为 CEO 还能做得更好什么”，我真正会去学习的就是这种 fighting intensity。
那你觉得 Cerebras 自己经历过的那些 near-death moments，也把这种 DNA 写进公司了吗？
九死一生经历与“职业大卫”的 DNA
我觉得有。其实 Jensen 有一点也很有意思：他到现在仍然把自己看作 underdog。虽然今天他已经是 big dog 了，但他的心理状态仍然像挑战者。
那他们现在还说什么？
现在说“CEO 是个 boomer”（笑）。
这个不错（笑）。
那我就变成 millennial，把这个问题也解决掉（笑）。
Eric 跟我说，你的童年也挺独特、挺酷的。不知道这跟你后来这种性格有没有关系。你是怎么长大的？
在 William Shockley 隔壁长大
我是在 Stanford 校园里长大的。我父母都是 faculty，校园里有一个小社区，邻居基本都是其他教授。
太疯狂了（笑）。
我们八岁、十岁的时候，对他的了解其实很简单：他老婆万圣节会发全尺寸糖果棒（笑）。
但他们双打打得不怎么样吧（笑）？
对，那真的是老头网球，发球惨不忍睹（笑）。
但物理学肯定很好（笑）。
这种成长环境太离谱了。
是，真的很特别。而且那个社区非常安全。我们骑上自行车，整个夏天就在外面跑，天黑了再回家。
所以你小时候原本以为自己会去做学术吗？
是。我其实真的读过博士，已经在做 PhD 了。后来我有点无聊，于是在完成博士资格考试的同时去了 Stanford 商学院，然后阴差阳错被商业和创业这条路吸了进去。
太棒了。Andrew，今天聊得非常开心，谢谢你来。你确实造出了一件非常特别的东西。我们也一直通过 Eric 从旁边看、边看边学。谢谢你做的这一切。
很高兴来这里跟你们聊天。Benchmark 一直是非常出色的合作伙伴。做硬件的话，你和背后的投资人可能要绑在一起整整十年，所以一定要选好。我很自豪，我们当时选对了。谢谢。