数据瓶颈：遥操一天 150 条，而缺口有五个数量级

大模型的训练数据是互联网——十几年时间、全人类免费生产、随手可得。 机器人的训练数据需要一个人戴着设备、站在真机前、一条一条操作出来：一天 100 到 150 条。 想靠这种方式喂出一个通用模型，从业者的原话是「得干十万年」。

上一篇讲完分层架构，这篇讲那堵更硬的墙。

一、先把缺口量化

数据稀缺这件事，用数字看比用形容词看有说服力得多。中泰证券的研报横向对比了几种模态的存量：

模态	数据量
文本	约 15T tokens
图片	约 6B 图文配对
视频	约 2.6B 视听特征
机器人	约 240 万个数据片段

翻译成人话：机器人数据大约是文本的六千万分之一。 缺口是五个到六个数量级。

换一个口径看现实供给：国内真实物理交互场景的合规数据约 50 万小时，而商业化落地需要数千万小时——缺口超过 99%。

银河通用联合创始人张直政把这个差异的根源说得很清楚：具身智能与多模态大模型最大的不同，是它无法直接从互联网获取数据。 物理交互的性质很难通过其他模态获得，这是自变量创始人王潜说的「不可替代性」。

二、遥操作的账，得算清楚

先把最贵的那条路的成本摊开，因为后面所有替代方案的合理性，都建立在它的成本之上。

• 速度：单人遥操作一天采集 100–150 条有效数据
• 单价：单条有效数据成本约 10 到 50 元
• 总量需求：训练一个机器人通常需要数万到数十万条
• 人力曲线：单臂任务就要多个操作员、数月人力；双臂 + 多指灵巧手的控制复杂度呈指数上升，专用遥操作界面成本高昂、难以规模化

拿这几个数字做个粗算：假设某个任务需要 10 万条数据，单条按 30 元计，光采集成本就是 300 万元；按一天 150 条的速度，需要约 667 人天。而这只是一个任务。

这笔账推不出通用模型。所以业内判断相当一致地指向同一个方向：

• Jim Fan（英伟达）认为遥操作主导的数据采集「正在接近上限」，他预判未来一到两年遥操占比会降到几乎可以忽略不计，机器人的「主食」将变成第一视角人类视频。
• 贾奎 / Ken Goldberg 在 ICRA 2026 的主旨演讲里给出了同一个判断——按遥操作的速度喂通用模型「得干十万年」。

注意这两句话的语气：不是「遥操作不够好」，是「这条路走不到终点」。 遥操作数据的质量至今没被超越——它和机器人本体高度对齐、动作可执行、有真实接触反馈。问题在规模和多样性。

所以正确的定位不是「替代」，而是：遥操作数据从「主粮」变成「种子」。 下面三条路，全都是在给这颗种子做扩增。

三、路一：仿真合成（扩增倍数最高）

仿真目前被认为是最有可能实现规模化数据生成的路径，核心逻辑是：用少量真实演示作为种子，在仿真里长出成千上万条。

英伟达的 DexMimicGen 是这条路的代表，工作流程值得逐步骤看：

输入：少量人类遥操作演示（约几十条）
  ↓ 1. 把演示切分成「物体-中心」的子任务片段
  ↓ 2. 把片段适配到新环境（相对物体位置重新对齐）
  ↓ 3. 在不同初始条件下插值和组合片段
  ↓ 4. 在仿真中执行并验证任务成功
输出：大量成功的演示轨迹（每个任务约 10,000 条）

第 1 步那个「物体-中心」是整件事的技术关键。 每个片段记录的是「机器人相对于某个物体的位置关系」，而不是世界坐标系里的绝对位置。这样把片段搬到新场景、物体换了位置，动作依然成立——泛化就是这样从数据增强里「免费」长出来的。

成果对比：

指标	数值
输入	5 个源演示
输出	1000 个灵巧操作演示（单任务规模可达 10,000 条）
一次实测的数据总量	780,000 条仿真轨迹 ≈ 6,500 小时
时间成本	11 小时 GPU 计算
人力成本	几乎为零
策略成功率	源演示 0.7%–62% → 训练后 69.3%–97.3%

「0.7% 到 97.3%」这个跨度值得多看一眼。 它说明的不是「仿真数据质量高」，而是仿真数据能覆盖真机数据给不出的初始条件分布。同一条技能换个物体位置、换个场景配置、加几个干扰物，真机采集要重来一遍，仿真里是自动插值出来的。（顺带一提，11 小时 GPU 换 6500 小时数据，这个交换比对算力充裕的团队来说是压倒性的。）

还有一条更激进的技术：用视频生成模型「想象」没做过的动作。

流程是——拿 88 小时真实遥操作数据加初始画面帧，用 LoRA 微调一个图像到视频的生成模型，然后给不同语言指令、从同一初始帧生成多种「反事实」轨迹，最后用潜在动作模型或逆动力学模型给生成的视频打上动作标签。产出是 827 小时生成视频，约 10 倍扩展。

这条路的道理很漂亮：视频生成模型预训练于互联网规模的视频，它本身就带着物理先验——知道物体怎么动、液体怎么晃、铰链怎么转。微调只是把这些先验对齐到特定机器人上。它能生成的恰恰是仿真最不擅长的东西：倒液体、操作铰接物体这类接触丰富、物理仿真难以准确建模的场景。

四、路二：人类视频（规模最大，但要跨过两道 gap）

这一条被 Jim Fan 押注为「机器人的主食」，理由是规模：互联网上现成的第一视角人类操作视频是免费的，量级远超任何自采数据。

GR00T N1 的预训练就把 20,000+ 小时第一视角人类视频当成了主要数据源之一，用的是 LAPA（潜在动作预训练）思路——不学具体动作，先学「看着这段画面，接下来该发生什么变化」的潜在表示。

但它要跨两道 gap：

• 控制 gap：人类视频里没有机器人本体的运动数据。你不知道人的手部姿态怎么映射到 35 个自由度的机械手上。
• 感知 gap：人类视角和机器人视角不同——身高、位置、视野都不一样。你看到的是人手伸进抽屉，机器人看到的是自己的机械臂。

这两道 gap 决定了人类视频短期内只能做「预训练」而不能做「微调」。 它能提供语义和物理常识（这是什么东西、该怎么对待它），但教不会具体动作。想让它变成可执行的动作数据，得靠上面说的逆动力学模型补标注，或者用真机数据做对齐。

五、路三：真机回流（量最少，价值最高）

GR00T N1 的数据金字塔里，真机遥操作数据在顶层——只占总量的约 7%，但价值最高。

这一层的作用不是「提供规模」，是校准。北大王鹤提出的训练范式把这个分工写得很具体：合成数据为主、真实数据校准。 用十亿级高质量仿真数据训练端到端模型，再用真机数据把偏差拉回来。

（还有个容易被忽略的第四种采集方式：斯坦福李飞飞团队的 ARCap，用 AR 加触觉警告给新手提供视觉反馈，让他们也能采出与机器人运动学匹配的可执行数据。思路是把采集门槛降下来，让「非专业操作员」也能贡献数据。 这是唯一一条试图绕过「专业操作员稀缺」这个约束的路。）

六、「仿真占多少比例」是个假问题

贾奎给了一个我觉得是这一篇里最有价值的判断，直接引用：

“从来不存在仿真数据和真实数据各占多少比例的问题。”

他把机器人的「聪明」拆成两种能力：

	语义泛化性	物理泛化性
是什么	认出这是什么、知道该怎么处理	东西换了位置、颜色、材质，照样能干
数据来源	必须真实数据（本质是人的操作数据）	完全可以用仿真解决

这就把「比例之争」换成了「分工问题」。 语义需要真实世界的多样性和常识，这是仿真造不出来的；物理泛化本质上是分布覆盖问题，仿真恰好是最擅长的。两种能力要的数据种类不同，讨论百分比没有意义。

这个框架对自动驾驶的读者应该特别耳熟——这就是「语义长尾」和「几何长尾」的老区分。 你不可能只靠仿真学会「前面那个穿玩偶服的人是行人」，但「杯子的把手朝向改变后抓取点在哪」这种问题，仿真里能穷举。AD 行业十几年前就分开处理这两类长尾了（这一点在 DINOv3 系列里反复出现过），机器人行业正在重新发明同一个框架。

七、算一笔跨领域的账

最后回到本专栏的参照系，讲一个我觉得被低估的相似点。

机器人数据采集的困境，和自动驾驶的数据闭环是同构的，只是机器人落后了大约十年。

	自动驾驶	机器人
高价数据	路测车队、标注	遥操作、动捕
廉价替代	仿真、影子模式、回放	仿真合成、人类视频
真机回流	车队持续回传	部署后数据回流（刚开始）
核心矛盾	长尾场景采不到	物理交互采不起

AD 的解法里有一条特别值得机器人行业抄：影子模式。 车在路上跑、模型在后台判断「我本来会怎么开」，人怎么开就是标签——数据采集变成了免费的副产品。 机器人现在还没有等价物，因为机器人没有「上路」这个场景。谁先想到机器人的影子模式，谁就解决了数据瓶颈的一半。

这可能比再堆一条仿真管线更值钱。

下一篇讲泛化：既然数据缺口这么大，那模型到底学到了什么。

---

信息源：数据量对比（文本 15T tokens / 图片 6B 配对 / 视频 2.6B / 机器人 240 万片段）、遥操作速度与单价（单人日采 100–150 条、单条 10–50 元）、四种采集方法的成本分析，引自中泰证券《2026 年具身智能行业报告》相关章节；「得干十万年」为贾奎 / Ken Goldberg 在 ICRA 2026 主旨演讲中的表述，Jim Fan 关于遥操作接近上限与第一视角视频将成为主粮的判断引自其公开演讲；DexMimicGen 的 5→1000 扩增、78 万条轨迹 / 6500 小时 / 11 小时 GPU、成功率 0.7–62%→69.3–97.3%，以及基于 WAN2.1 的神经轨迹生成（88 小时→827 小时，约 10 倍）来自英伟达相关研究与公开技术说明；50 万小时合规数据 vs 数千万小时需求的缺口引自人民网《产业观察：具身智能，数据如何”止渴”？》；王鹤「合成数据为主、真实数据校准」与贾奎「语义泛化 vs 物理泛化」的分工框架引自公开演讲报道；GR00T N1 数据金字塔三层结构与约 7% 真机占比、ARCap 引自李飞飞团队与英伟达公开材料。第七节「影子模式」的类比与判断属于本专栏分析，非行业共识。