The Constant Eye:DINOv3 冻结编码器如何解决端到端规划的视觉域偏移
端到端自动驾驶在晴天训、大雪天废——这是视觉域偏移的经典难题。The Constant Eye(2026-02)提出一个反直觉的解法:把视觉编码器锁死,不让它参与下游规划的训练。冻结 backbone 如何变成 OOD 鲁棒性的来源?
系列文章 · 共 4 篇,按阅读顺序排列
端到端自动驾驶在晴天训、大雪天废——这是视觉域偏移的经典难题。The Constant Eye(2026-02)提出一个反直觉的解法:把视觉编码器锁死,不让它参与下游规划的训练。冻结 backbone 如何变成 OOD 鲁棒性的来源?
感知层用 DINOv3 冻结 backbone 接三种规划范式,数据层用 DINOv3 特征做 Sim-to-Real 桥接。两篇论文合在一起,就是 DINOv3 在一段式端到端自动驾驶里从感知到数据的完整应用图景。
The Constant Eye 证明了 DINOv3 冻结编码器能解决视觉域偏移,但这篇要补上反面:DINOv3 逐帧独立处理,没有时间建模。晴天雪天都稳,但前车急刹、行人横穿这类运动依赖任务会掉链子。冻结 backbone 之后,运动从哪来?
前几篇都在说 DINOv3 该不该冻、冻了多强,这篇回答一个更基础的问题:冻结完的特征,到底以什么形态喂给规划头?答案是 Transformer 解码器式的接口——轨迹当 query、场景特征当 KV。但「直接当 KV」和「随机加噪」两个直觉,跟论文里的真实机制都有出入。