相机挪几毫米，成功率腰斩：泛化为什么这么难

一个训练好的机器人，抓笔放笔筒，成功率 95%。 把笔筒挪开一个直径的距离，成功率跌到 72%。 相机碰了一下、画面偏移几毫米，另一个任务从 85% 直接掉到 43%。 模型没有坏。它从来就没学会你以为它学会的那件事。

王兴兴把泛化能力称为当前全球最大的瓶颈之一。这篇不重复这个判断，而是回答更有用的问题：泛化失败的时候，模型到底在干什么？

2026 年有两份诊断价值很高的研究把这个黑箱拆开了。看完你会发现，「泛化难」不是一句模糊的能力评价，而是一张可以逐条检查的机制清单。

一、先看两个一致的结论

这不是一家的发现。斯坦福-谷歌的 Generalization-Gap 研究、同济-复旦的 LIBERO-Plus、招商局狮子山 AI 实验室被 IROS 2026 接收的论文，结论高度一致：

VLA 模型在标准评测里动辄 90%+ 的成功率，视觉输入轻微偏移后可能直接跌到 30% 以下。

注意「轻微」的分量——不是换了一个厨房，不是换了光照，是相机被碰了几毫米、物体挪了一个直径。这个脆弱程度意味着：模型的成绩单和它的真实能力之间，隔着一整个数据分布。

狮子山实验室把原因归为捷径学习：模型没有学「空间关系」，而是在背「相对位置」。他们识别出三种具体模式。

二、三种隐性耦合

这三种耦合值得逐条过，因为每一条都对应一类你在部署时必然会撞上的失效。

耦合一：相机-基座耦合。 模型没学「桌面上笔在哪里」，学的是「笔在画面右下角四分之一处」。相机一动，画面里的相对坐标全变，模型当场失忆。这是从业者遇到的最普遍问题——只要相机视角和训练集不同，成功率可以腰斩（85% → 43%）。

耦合二：相机-物体耦合。 模型依赖特定视角认物体，换个角度看，同一个物体在它眼里是另一个东西。

耦合三：物体-物体耦合。 这条最隐蔽。实验设计得很聪明：训练数据里刻意让笔筒位置固定，训练后笔筒在原位时成功率 95%；把笔筒挪开一个直径，成功率跌到 72%。结论很硬：模型学会的不是「把笔放进笔筒」，而是「移动到那个坐标」。

三条耦合的本质是同一件事：模型抓住了训练数据里所有免费的统计规律，包括那些你根本不希望它学的。 相机没动过、笔筒没挪过——这些「没发生的事」在数据里就是规律。

三、第二种捷径：腕部相机的纹理

狮子山讲的是相机视角层面的捷径。另一份工作（AC-VLA，即插即用框架，已在 π0.5 上验证）把诊断推到了动作 token 层面，而且拆得更细——他们发现 OOD 失败来自两个互相强化的模式：

其一：轨迹过拟合。 模型学的是整条轨迹的统计模式，而不是每个子技能的语义。子任务换个顺序、换个空间组合，整条轨迹的模式就失效了。

其二：感知捷径。 动作 token 过度依赖腕部相机的纹理信息——近距离的局部纹理是很好用的信号，但缺少全局空间语境。物体一挪位置、任务顺序一变，这个局部纹理信号就从「有帮助」变成「主动误导」。

他们的解法之一在工程上非常优雅：在夹爪闭合的阶段（也就是搬运物体的阶段）屏蔽腕部相机输入，强迫模型在这个最容易被骗的阶段依赖全局场景语境。就这一个改动，在 LIBERO-OOD 上拿到约 28 个百分点的绝对提升，且不改动任何底层架构。

四、这个桥段你见过

如果你读过 DINOv3 那个系列，上面这段应该有强烈的既视感。

DwD（那个用 DINOv3 做端到端驾驶的工作）发现视觉编码器会抓高频纹理做捷径，解法是把特征投影到低维 PCA 子空间、截掉高频纹理分量，训练时还随机采样活跃通道数，让模型对不同程度的截断都见过。

把两个工作并排放：

	DwD（驾驶）	AC-VLA（操作）
诊断	模型抓高频纹理走捷径	动作 token 依赖腕部相机纹理
解法	抑制纹理通道	闭合抓握阶段屏蔽腕部相机
时机	训练全程（随机截断）	特定阶段（搬运时）
效果	空间语义保住、真实感提升	OOD 提升 28 个百分点

结构上是同一个技巧：在模型最容易走捷径的时刻，把捷径的入口关掉。 自动驾驶行业至少从 2023 年就在跟纹理偏差搏斗了，机器人领域 2026 年重新发现了同一个敌人。

还有第三份证据把「注意力」这层也补上了：Pelican-VLA 的作者们分析了代表性 VLA 的注意力图，发现动作通路的注意力弥散在整个视觉输入上——机械臂、背景杂物、无关物体都分到注意力，而不是集中在指令相关的目标区域。他们的解法是在感知和动作之间插一组可学习的「推理槽」做瓶颈。有趣的细节是：微调前注意力就已经对准目标，微调后注意力图几乎不变——微调提升的只是「从注意力到动作」的映射，不是注意力本身。

五、解法为什么是数据，不是模型

狮子山团队的解法名字很朴素：混合动态数据采集。核心思想只有一句话——在采集数据的时候就把耦合打断。

他们用双臂机器人，一条臂操作、另一条臂当移动相机，系统比较了三种数据分布：固定视角、多固定视角、移动视角。结论：连续移动相机 + 多样静态视角的混合策略效果最好——移动视角破坏伪相关，静态视角保住训练稳定性。

关键发现是这个方案架构无关：ACT、Diffusion Policy、π0、GR00t 全都受益。也就是说，这不是某个模型的缺陷，是所有在这些数据上训练的模型都会走的路。

这接上了上一篇的数据主线：数据不只是燃料，还是反捷径的解药。同样的模型、同样的算力，只改数据采集方式就能拿到泛化提升——改数据的边际成本远低于改模型，而前者恰恰是大多数团队预算最少的地方。

六、一个不舒服的结论

把上面的机制拼起来，会得到一个不太舒服但很重要的认识：

捷径学习不是模型的失败，是训练目标的成功。

模型被训练去最小化「在训练分布里的预测误差」。在这个目标下，抓统计捷径是最优策略——相机没动过，「笔筒在画面右下角」就是可靠规律；腕部纹理好使，用它就是理性的。捷径之所以存在，是因为它在训练分布内确实有效。

所以「让模型别走捷径」这个愿望，逻辑上不可能靠改模型结构单独实现——只要数据分布里存在耦合，模型就会找到它。 部署时崩掉不是模型出了 bug，是它忠实地执行了它在训练分布里学到的最优策略，只是这个世界换了分布。

这给了三条很具体的行动指南：

1. 采集数据前，先列耦合清单。 相机会不会被碰？物体会不会被挪？灯光会不会变？每一个「部署时会变、采集时没变」的维度，都是一个未来的失效点。
2. 变动要进数据，不要进部署。 狮子山的移动相机、AC-VLA 的阶段屏蔽，本质都是在训练时就引入受控变化。等部署后再发现，代价是十倍。
3. 对基准数字保持警惕。 LIBERO-OOD 这类基准的 OOD 是「可控的 OOD」——子任务重组合但还在同一套物体和场景里。从基准 OOD 到工厂和家庭的真实 OOD，中间的距离就是行业还没解决的问题。

泛化不是一种能力，是一堆「没有耦合」的负空间。 你没法直接训练「泛化」，只能一条一条地把耦合从数据里拆掉。这是这篇最想留下的判断，也是下一篇讲商业落地时的前提——因为按作业量计费的前提，恰恰是模型得在没见过的现场干活。

---

信息源：三种隐性耦合、85%→43% 与 95%→72% 实验、混合动态数据采集策略及「架构无关」结论，引自招商局先进技术研究院狮子山 AI 实验室论文（IROS 2026 接收，arXiv:2607.02322）及其官方说明；斯坦福-谷歌 Generalization-Gap 与 LIBERO-Plus 的「90%+ 跌至 30% 以下」结论为多家独立研究的共同发现，属交叉验证；AC-VLA 的双失效模式诊断、闭合抓握阶段屏蔽腕部相机的设计与约 28 个百分点 OOD 提升，引自其论文与 HumanoidIntel 的报道；Pelican-VLA 0.5 的注意力弥散观察与推理槽设计引自 arXiv:2607.06655。DwD 的纹理抑制细节引自 DINOv3 系列已梳理的原文；两个工作的结构类比与「捷径是训练目标的成功」的论断属于本专栏分析，非论文原意。