不用采一条数据就把杯子拿起来：世界模型的三种用法，和它真正补的那块缺口

先看一个让人不太舒服的对照实验。

一边是主流 VLA 的入场券：智元在 9 月公布的 Scaling 数据里，折叠毛巾、嵌套纸杯这类精细操作要堆到 3 万小时训练数据才出现能力跃升。另一边是 Meta 的 V-JEPA 2-AC：在 Droid 数据集上拿了不到 62 小时无标注机器人视频做后训练，然后零样本部署到两个不同实验室的 Franka 机械臂上，用图像目标做规划，完成抓取与放置——这两个环境的数据一条都没采过，也没有任何任务特定训练或奖励信号。

两三万小时对不到 62 小时，而且后者还没见过目标本体。这不是「谁更强」的比较，是两个不同的解题方向：一边在扩大模仿的数据量，一边在试图学一个不依赖具体本体的世界表征。本篇沿着【世界模型深潜】这条线，把 JEPA 到 WAM 的谱系讲清楚——以及，它到底在补 VLA 缺的哪一块。

回到那份失效清单

首季讲双系统架构时，文末留了一份清单：π0.5 自己承认的三种失效模式——没有持久的空间地图、会被显著但无关的物体带跑、没有失败恢复能力。当时我给的判断是，这三种失效共同指向同一个缺失：策略没有一个显式的世界状态。

现在可以把这句话讲得更精确一点。所谓「没有显式世界状态」，意思是：VLA 学的是「当前观测 → 动作」的映射，它内部可能有世界知识，但从来没有任何一个环节要求它把世界的状态说清楚。于是当观测发生微小变化（桌上多了一个杯子、相机挪了几毫米、物体重心偏了一点），映射关系就崩了——这正是捷径学习那篇里那组数字的物理来源：相机挪几毫米，成功率 85% 掉到 43%。

世界模型就是往这条链里插一个环节，强制系统显式回答「现在世界是什么状态、我这么做之后会变成什么状态」。但「世界模型」这个词现在被用得太宽，至少混着三种完全不同的用法。

三种用法，别混着谈

第一种：当数据引擎。 生成式世界模型合成 corner case、构造仿真评测环境——这是产业界目前最主流的用法，仿真引擎之战那篇讲的 RoboDojo、Genesis 都属于这条线。它解决的是首季 04 的数据瓶颈：源头不产数据，只做放大器。价值明确，但它不直接改策略。

第二种：当规划器。 在隐空间里预演未来、用模型预测控制挑动作序列——Dreamer 系列和 JEPA 路线。这类世界模型是策略的一部分，直接参与决策：不需要奖励函数训练策略，只需要一个世界模型加一个测试时的目标函数。

第三种：当物理感知层。 这是 9 月国内刚冒出来的一支——在感知与动作之间插入一层「物理 Token」表征，把摩擦、重量、重心、接触状态这些看不见的物理量显式建模出来。它既不主要生成数据，也不直接做仿真规划，而是给策略补上「物理直觉」。

三种用法对应三种不同的技术赌注，混着谈只会得到「世界模型很重要」这种废话。下面分开讲。

第二种用法：JEPA 谱系，为什么要在隐空间里预测

JEPA（Joint-Embedding Predictive Architecture，联合嵌入预测架构）是 LeCun 2022 年提出的方案，核心主张一句话：不要在像素空间预测，在表征空间预测。

理由很直白：视频的下一帧里，大量像素级细节（树叶抖动、光影变化）不可预测也不重要，为它们花掉模型容量是浪费。JEPA 的做法是把观测编码成隐向量，然后在隐空间预测下一个隐向量，用一个正则项（SIGG）约束隐向量的分布接近高斯，防止表征崩塌。省下来的容量用于建模可预测的物理结构。

V-JEPA 2 是这个思路的规模化版本：

• 预训练：100 万小时互联网视频 + 100 万张图像，用视觉掩码去噪目标训练。纯自监督，没有动作标签。
• 能力指标：Something-Something v2 运动理解 77.3 top-1；Epic-Kitchens-100 人类动作预判 39.7 recall-at-5（超过此前所有任务专用模型）。与 LLM 对齐后，80 亿参数规模上 PerceptionTest 拿到 84.0。
• 行动条件版本 V-JEPA 2-AC：冻结视频编码器，只训练一个新的动作条件预测器。给定目标图像，它在隐空间定义一个能量函数，用交叉熵方法优化动作序列——这是标准的模型预测控制。零样本杯子上架/放置成功率约 80%。

关键在 62 小时那个数字。它说明两件事：第一，世界知识的来源可以是纯观察，不需要动作标签；第二，真正需要真机数据的只是「如何把自己的动作接进这套表征」这一小步。这和 VLA 那套「几万小时真机轨迹 + 行为克隆」的路线，在数据经济学上完全不是一个量级。

LeCun 为此押了重注：2026 年 1 月离开 Meta 后，AMI Labs 为 JEPA 路线募了 10.3 亿美元。这笔钱赌的就是上面这句话。

从「预测」到「预测 + 动作」：WAM 在补什么

JEPA 的原始形态只做一件事：预测。但机器人最终要动作，于是 2026 年出现了一类新命名——WAM（World-Action Model，世界-动作模型），把预测和动作合成一个模型。8 月的一篇工作 JEPA-WAM 值得单独讲，因为它正面回应了首季那份失效清单。

它的观察是：「未来」有两种粒度，而现有方法只建模了其中一种。

• 短期物理未来：未来几帧画面怎么演化——用于执行。VLA 的视频-动作 chunk 学的是这个。
• 阶段级语义未来：任务应该从当前阶段推进到哪个下一阶段——用于规划。这个没人显式建模。

JEPA-WAM 的解法是给一个 WAM 主干挂一个 Stage-JEPA：用冻结的 V-JEPA2 编码器抽取当前状态表征，预测「下一个阶段的隐目标」，再通过一个门控接口把阶段隐向量注入主干，同时条件化视频预测和动作生成。

结果：RoboTwin 2.0 的 50 个任务上（干净与随机化环境）整体成功率 90.25%，成功回合的平均执行步数比最强基线减少 5.97%。

这个数字结构很有意思——成功率提升是意料之中，步数减少才是关键信号。步数少意味着轨迹更直，说明模型不是在试错中碰对了，而是知道「这个阶段的终点在哪」。用这份工作的说法：它把阶段级任务进度和局部动力学解耦了。

对照首季那份失效清单：π0.5 的失效之一「没有持久空间地图」，本质是缺阶段级语义未来——它知道怎么动，不知道当前处在哪一步、下一步该到哪。Stage-JEPA 正是往这个位置填的东西。（这份工作也诚实标注了局限：只在 RoboTwin 2.0 上验证，真机泛化未证明；依赖冻结的 V-JEPA2 编码器，状态表征差异大的任务可能受限。）

第三种用法：物理 Token，把「看不见的量」显式建出来

如果说 JEPA 路线是在隐空间里做预测，国内 9 月冒出来的这支是在物理量上做预测。

杭州美梦空间（Memo，北大信研院 AVS 中心孵化）9 月 26 日在数贸会发布了 Physical-WAM，思路是在感知和动作之间插入一层物理表征，三个模块构成闭环：

• PhysLens：从多模态信号里提取摩擦、重量、重心、接触状态这些不可直接观测的物理量，输出统一的物理 Token；
• PhysDream：结合当前物理表征与候选动作，推演未来物理状态，预判打滑、脱手并给出不确定性；
• PhysAct：把物理属性与未来状态引入动作生成，环境发生物理漂移时自动调整策略。

例子很直观：机器人抓纸杯，PhysLens 识别出杯壁刚度低，PhysDream 预测注水后负载增加可能形变或滑脱，PhysAct 据此调整抓握力度和接触位置——这不是动作复现，是基于物理预判的实时修正。

配套的 RoboTwin-Phys 评测更值得记一笔。它提出一个我认为非常锋利的问题：现有基准只测「任务完成度」，忽略了摩擦、质量、刚度这些物理变量——高摩擦的罐子倒了，低摩擦的罐子直接滑飞，同一个动作结果完全不同，而传统评测区分不出来。

它的设计有三处讲究：新增 13 类物理扰动（覆盖物体属性、接触属性、阻尼、任务环境、相机配置五维度，支持单因素到组合扰动）；用固定种子配对评估，让不同模型面对相同的扰动实例；结果分层诊断——把失败拆成「物理状态识别错误」和「识别正确但动作策略没适配」两类。

这最后一点和盘点篇讲的那道分水岭是同一件事：天花板在涨，最后一毫米没动。物理扰动的鲁棒性，正是「最后一毫米」的可测量化。

顺带说一句术语撞车：首季 06 篇讲的「物理 Token」是按干活量计费的商业单位，这里的「物理 Token」是表征单位——同名不同物，别混。

这条路上三件还没解决的事

第一，表征的粒度边界。 Physical-WAM 团队自己列了未解问题：物理 Token 对表面粗糙度各向异性、材料非线性弹性这类细粒度属性的表征上限在哪；对织物大变形、颗粒材料流动这类连仿真都难建模的效应，闭环鲁棒性边界不明。换句话说，物理 Token 能应付刚体与简单接触，但真实世界的多样性远超此列。

第二，跨本体迁移的效率。 同一物理参数在不同末端执行器之间的映射高度依赖形态——二指夹爪和灵巧手对同一「摩擦系数」的动作含义不同。这直接关系到 JEPA 路线那个最诱人的卖点：世界表征能不能真的与本体解耦。

第三，评测与仿真的保真度制约。 PhysDream 的推演精度受仿真引擎保真度和传感器噪声限制；而仿真引擎那篇已经证明，现有仿真在长程任务上的成绩单远比宣传难看。世界模型路线并没有绕开仿真保真度这道坎，只是把它推到了下一层。

一个可以带走的判断

2026 年关于「世界模型 vs VLA」的路线之争其实已经收敛了——它们不是竞争关系，世界模型在补 VLA 缺的那块（这一点在第二篇里已经埋过伏笔）。真正还在分化的是预测的粒度：

• 预测像素/视频：擅长当数据引擎与仿真环境，算力贵；
• 预测隐空间表征：省容量，能直接进规划回路，但表征不保证对应任何人类可解释的量；
• 预测物理量：可解释、可评测、直接对应「最后一毫米」，但泛化边界受限。

三层不是替代关系，是三个不同的杠杆位置。我的判断是：物理量这一层最值得盯——因为它第一次让「物理智能」变成可评测的东西。一个能力无法被度量，迭代就失去锚点；RoboTwin-Phys 这类基准出现的意义，不在它当下测出了什么分数，而在它把抽象物理参数变成了可控、可标记、可复现的变量。

王兴兴给过行业一个粗糙但好用的判据：机器人被带到任意陌生环境，靠语音指令自主完成约 80% 的任务，就是爆发的临界点——「快的话两三年，慢的话五到十年」。王鹤的坐标系更保守：今天大约在 GPT-2 水平，2028 年才可能摸到 GPT-3.5 到 GPT-4 的门槛。两个判断的差距就是世界模型这条路要走的路程。而世界模型要答的那道题，恰好就是这两个数字之间缺的东西。

---

信息源说明：V-JEPA 2 的技术细节（100 万小时预训练视频、62 小时 Droid 后训练、77.3 / 39.7 / 84.0 等指标、V-JEPA 2-AC 的 MPC 规划方式与约 80% 零样本成功率）引自 Meta FAIR 论文《V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning》（arXiv:2506.09985，官方一手）；JEPA-WAM 的架构与结果（Stage-JEPA、冻结 V-JEPA2 编码器、RoboTwin 2.0 50 任务 90.25%、步数减少 5.97% 及其局限自陈）引自其论文摘要（arXiv:2608.10780，第三方论文，数据未经复现验证）；AMI Labs 10.3 亿美元融资、世界模型发展谱系与四类形态划分引自 Taskade 2026 年世界模型综述（第三方整理，融资数字为媒体报道口径）；Physical-WAM 三模块架构、RoboTwin-Phys 的 13 类扰动与分层诊断设计、以及其自陈的三项未解问题，引自钛媒体、网易科技关于 9 月 26 日数贸会发布会的报道（媒体报道 + 厂商自述，效果数据未见第三方独立复现）；王兴兴 80% 判据与王鹤「GPT-2 水平」判断引自公开演讲与媒体转述（当事人观点，非行业共识）；智元 3 万小时 Scaling 结论引自其官方发布（官方一手）。