机器人终局：英伟达 Jim Fan 的物理智能路线图

谢谢大家，谢谢。

那是 2016 年夏天，事实上就在我们现在坐着的这间办公室里。一个穿着闪亮皮夹克、手臂肌肉很壮的人，搬来了一大块金属板。他在上面写道：“献给 Elon 和 OpenAI 团队，献给计算与人类的未来，我把世界上第一台 DGX-1 交给你们。”

第一个阶跃是 GPT-3，也就是预训练。下一个词元预测，本质上是在学习语法规则、语言的形状，以及思想、代码和一般字符串应该怎样展开。它是在模拟这些序列的演化方式。

那么，我们应该怎样打这场终局之战？归根结底只有两件事：模型战略和数据战略。先从模型开始。

过去三年，机器人领域主要由 VLA，也就是视觉—语言—动作模型主导。π0、GR00T 等模型都属于这一类。我们通常假设预训练由视觉语言模型完成，然后只需在顶部接上一个动作头。

那么，第二种预训练范式是什么？我一直以为答案会非常宏大、非常壮丽。不幸的是，结果竟然是我们口中的“AI 视频垃圾”。

这就是 DreamZero。它是一种新的策略模型，会先“梦见”未来几秒钟，再据此采取行动。

接下来是数据战略。画面里是英伟达首席科学家 Bill Dally，正在实验室里做遥操作。考虑到他的薪资，这大概是我们数据集中最昂贵的一条遥操作轨迹。

这就是 EgoScale，其中 99.9% 的训练来自人类第一视角视频。最终得到的是一个端到端策略：从摄像头像素，直接映射到拥有二十二个自由度的高灵巧机械手。

但这套方法仍然依赖经典图形引擎。能不能再进一步？这就是 Dream Dojo。