开车的能力能不能借给机器人：导航成功率 45.8%，对手 5.3%

导航基准 R2R Val-Unseen 上，成功率第一名 45.8%，第二个名字点是 5.3%。

两个数字来自同一张表，中间隔着八倍多。做出 45.8% 的那一方，是一家自动驾驶公司。

2026 年 9 月 21 日，理想汽车 Foundation Model 团队把 ME-VLM 挂上 arXiv（2609.24526）：一个 4B、一个 35B-A3B，底座是 Qwen3.5 系列的原生多模态模型，目标是把”具身认知”和”多模态 Agent”两种能力揉进同一个网络，还要能塞进车里的自研芯片跑。

但这篇论文真正值得记的，不是它拿了几个第一。

一、先把专栏开篇那句话接回来

开篇立过一个判断：驾驶是第一个真正落地的大规模具身任务——有数据、有闭环、有商业压力，机器人在实验室里凑不齐的三样东西，驾驶早就有了。那篇的主线是”用驾驶解释机器人”。

这一篇要接的是后半句：反过来，机器人的脑子，能不能开回驾驶座上。

ME-VLM 给的答案是”能，但要付费”。而且它不是第一个这么想的——论文的 Related Work 里点了一句小米的 MiMo-Embodied，说它”把自动驾驶和具身 AI 放进一个 VLM，观察到正向跨域迁移”。也就是说，这条路已经有两家中国公司在走，而且不约而同地选了同一句话术：不是跨界，是同一件事的两个投影。

二、ME-VLM 是个什么样的东西

一句话：它要同时长两条腿。

一条是具身认知——物体是什么、在空间的哪个位置、动作受什么约束；另一条是Agent 能力——把目标拆成子任务、调用工具和技能、维护跨步骤的上下文、出错后归因。模型围绕”感知—推理—行动—验证—重规划”五段闭环组织，执行后的物理观测会反过来校正下一步决策。

论文特意跟老路子划了界线：现有方案是把感知模型、规划器、技能控制器串成一串，ME-VLM 是让两边互相约束——物理环境的感知给规划和技能选择提供依据，执行中的真实状态反向让模型重新聚焦相关物体和目标区域。

这段话听着像宣传，但它对应的是前面几篇反复出现的一个结构问题：级联系统里，每一级都只看上一级的输出，误差无法回传。双系统那篇讲的”最前沿的具身大脑都在同一个地方妥协”，说的就是这件事。ME-VLM 的姿态是：我不妥协，我把两条腿长在一个身体上。

三、论文里最值钱的部分，是那条”迁移边界”

如果这篇论文只让你记一件事，记这个。

它把”数字智能升级成具身智能”拆成了一个能力清单，明确区分哪些能搬、哪些搬不动：

能力	能不能从数字世界迁移过来
多模态感知、长程任务理解	能，属于通用问题求解结构
工具与技能调用	能，接口语义一致
带归因的推理	能，失败分析的逻辑同构
空间状态估计	不能，必须建立物理世界认知
物体可供性（affordance）推理	不能
物理动作约束建模	不能
动作后果预测	不能
真实世界闭环反馈	不能

论文的论证是：数字 Agent 面对的是二维、确定性的虚拟空间，而具身 Agent 面对的是三维、有物理扰动的真实空间；数字侧遵循软件约定，具身侧必须服从力平衡和运动约束。所以多模态感知、长程规划、工具调用这些”通用解题结构”可以平移，但空间估计、物理约束、闭环反馈这些必须从物理交互里长出来。

它用了一个大脑类比：前额叶负责目标设定、长程规划、元认知监控，对应 Agent 能力；感觉-运动皮层负责场景感知、肢体调控、动作执行，对应具身物理认知。两者靠持续的前馈指令和反馈信号协同，而不是各跑各的。

这张表是全文最有实操价值的东西。 因为它实际回答了一个正在被反复问的问题：一个做软件、做数字产品的团队，跨界做具身，到底有多少积累是可复用的？答案是有，但复用的是”怎么想问题”的那一半，“怎么感知空间”的那一半，一分钱都省不下来。

四、怎么把两种会打架的能力塞进一个模型

这是工程上最硬的一段。ME-VLM 的训练分三步，每一步都在处理同一个矛盾：Agent 能力要的是目标拆解和工具编排，具身认知要的是空间精度和物理可行性，两者的优化方向并不天然一致。

第一步，具身能力注入，两段 SFT 叠起来。先一段基础 SFT 建立物理接地——把多模态观测和”动作相关的物理状态”（空间关系、可供性、动作前提、可行性、预期后果）对齐；再一段推理 SFT，训练模型在给定观测和任务状态下识别相关条件、评估可行动作、选出动作、预测状态变化，并说清”怎么验证这个动作有没有达到目的”。

第二步，专家强化学习，关键在两个专家是分开初始化的。多模态 Agent 专家直接从原始基座起，保住通用的多模态推理、规划、工具使用；具身认知专家从第一段的 SFT 检查点起，继承物理接地。论文给的理由很直白：把异构的 RL 目标直接混在一起，会削弱各自领域的能力——所以先各自专精，最后再调和。

两个专家各自还在两个粒度上训练：一个是能力单元 RL，用 GRPO 的组内相对奖励归一化和 GSPO 的序列级重要性比，按任务族校准奖励，处理的是”下一步决策对不对”（空间预测、子目标选择、工具调用、动作可行性）；另一个是环境闭环 RL，每个 rollout 跑在独立的沙箱或模拟器里，从可复现的快照初始化，多轮交互直到成功、失败或超出交互预算。有一个设计细节值得单独点出来：执行失败的轨迹会被保留，让模型学到验证、纠错和恢复，而不是只看到成功路径。

第三步，多教师在线策略蒸馏（MOPD）。两个专家不会作为推理期的集成保留下来，而是要蒸馏成一个能部署的学生模型。学生从具身专家初始化——论文的措辞是”以具身能力为锚点”，先用反向 KL 对齐每个在当前位置上有效的教师，按决策类型分配权重（Agent 决策多给 Agent 教师，具身决策多给具身教师），权重只在训练期存在。

目标是推理时不需要专家路由。这个设计是在回答一个很实际的问题：双专家效果好，但部署时你没法给一个动作先判断”这该走哪个专家”。要么路由准确率拖后腿，要么干脆融掉。理想选了后者，代价是融合过程本身可能损失能力——而论文并没有给出这一步的消融。

五、导航那八倍差距，和它脚注里的前提

现在回到开头那张表。

模型	R2R SR↑	R2R SPL↑	R2R NE↓	RxR SR↑	RxR SPL↑	RxR nDTW↑
ME-VLM 35B-A3B	45.8	39.4	5.9	42.6	35.3	57.9
ME-VLM 4B	42.9	36.8	6.4	38.0	29.3	51.2
HY-Embodied 30B-A3B	5.3	4.4	9.9	8.3	5.6	26.3
RynnBrain 1.1 9B	5.3	1.8	9.4	4.2	2.8	15.2
PhysBrain 1.5 8B	3.9	1.9	9.3	6.1	4.7	17.8
MiMo-Embodied 7B	2.7	0.7	9.2	3.8	3.1	15.6

R2R 成功率 45.8% 对最强的 5.3%，RxR 42.6% 对 8.3%。放到任何一份榜单上，这都是”碾压”级别的差距。

但有三件事必须放在一起看。

第一，这不是零样本迁移，是轻量领域后训练之后的结果。论文自己写了，导航数据是”in-house data pipeline”产出的：基于 R2R 和 RxR 场景，用模拟器沿真值路径采集第一人称观测和原子动作，把同方向的连续动作合并成高层动作，再重组成多轮对话格式训练模型——动作空间都定死了，前进 25/50/75 厘米，R2R 转向 15/30/45 度、RxR 转向 30/60/90 度。它专门练过导航。

第二，对照的四个模型都是通用具身 VLM，没做导航后训练。自己练过、对手没练过，这八倍里有多少是”能力迁移”，有多少只是”训练数据的差”，这张表分不出来。严格说，它证明的是”这套能力配上导航数据能打”，而不是”这套能力天然会导航”。

第三，论文没给训练数据规模，也没给蒸馏各阶段的消融。所以”能力迁移成立”这件事基本可信——它确实比没练过的通用模型强得多；但”迁移有多容易、代价有多大”，从公开信息里还看不到。

这跟我们专栏泛化与捷径学习那篇的结论是同一个意思的两面：分数是训练目标的函数。 想说清楚”能力”，你得先扣掉”数据”。

六、自动驾驶那张表：不是每项第一

再看它”迁移回老家”的那张表——五项自动驾驶基准的算术平均：

模型	平均	MAPLM	CODA-LM	DriveAction	nuScenes-QA	MME-RealWorld
ME-VLM 35B-A3B	70.2	72.2	70.5	78.6	61.1	68.5
MiMo-Embodied 7B	66.2	74.5	58.6	81.0	56.7	60.3
HY-Embodied 30B-A3B	53.5	21.8	75.8	74.8	34.2	60.7
RynnBrain 1.1 9B	50.8	37.5	30.5	83.2	33.7	69.0
ME-VLM 4B	61.6	41.1	70.9	75.8	54.0	66.1
PhysBrain 1.5 8B	46.1	34.7	56.1	63.4	29.1	47.4

平均 70.2 是第一，nuScenes-QA 的 61.1 也是第一。但把行拆开看：MAPLM 的 72.2 输给小米 MiMo 的 74.5，DriveAction 的 78.6 输给 RynnBrain 的 83.2，MME-RealWorld 的 68.5 也差 RynnBrain 的 69.0 一口气。

换句话说，这个”第一”是靠平均赢的，不是每一项。而且更扎眼的是：MiMo-Embodied 只有 7B，在 MAPLM 上压过了 35B 的 ME-VLM。

对一家自动驾驶公司来说，这张表的含义有点微妙。它想说”我们的具身脑能开回车上”，但一个做手机的同行用一个更小的模型，在部分驾驶基准上做得更好。至少说明”跨域一个 VLM”这条路上，理想不占独占优势。

数据来源上还有个小口径问题：论文注明 MiMo-Embodied 的分数直接引自其原论文，其余模型都在自己的测试框架下重测。跨框架的分数不完全可比，这是所有这类横评的通病，看的时候心里得有这笔账。

七、端侧：为什么”非要塞进车里”

前面都是能力账，这一段是成本账，也是我认为对做产品的人最有参考价值的一段。

ME-VLM 的 4B 版本跑在理想自研的 M100 SoC 上：自研 NPU + 24 核 ARM + LPDDR5X 内存子系统（最高 64GB、峰值带宽 273GB/s），编译器编排的数据流架构，靠计算和数据搬运的流水重叠榨效率。

算法侧做了两件事：

一个是 training-free 的视觉 token 压缩，插在 visual projector 和 LLM 之间，把已经映射到语言模型嵌入空间里的视觉 token 选一个子集出来。选法是特征空间的多样性最大化——贪心 Max-Min，先取 L2 范数最大的 token，之后每一步选”与已保留集合最大相似度最小”的那个，直到凑够 K 个。不改权重、不改架构、K 可以按算力和时延预算独立调。

另一个是 W4A8 量化，权重压到 4 bit、激活用 8 bit。论文给的掉点是不到 1%。

两个合起来的效果：prefill 参与计算的 token 从 4096 降到 3328，prefill 时延从 400ms 降到 188ms，降幅约 53%，加速比约 2.13 倍。token 选择本身保住了 96.7%（4B）和 98.2%（35B）的原始得分。

为什么要单独说这段？因为它接上物理 Token 经济学那篇的另一半。那篇算的是机器人怎么收钱，这一篇算的是机器人的脑子怎么省电。当一台机器的商业模型按”它算得起多快”定价时，端侧就不再是可选项，而是交付条件本身。 论文写得很直：“端侧芯片本地部署不再是可选的性能优化手段，而是技术落地与产业规模化的必然选择。”

顺带一句，它压缩掉的正是”物理推理的 token”——4096 到 3328 砍掉的那 768 个，是模型觉得对下一步动作没什么用的视觉冗余。这个”哪些 token 没用”的判断，本身就是一种空间理解。

八、这一篇要记住的一件事

回到那个问题：开车的能力，能不能借给机器人？反过来呢？

ME-VLM 的答案是：能，但两边都不是白嫖。

从数字世界搬进物理世界的那部分——感知、规划、工具调用、归因——是免费的，因为它们本质上是同一套解题结构。但空间、约束、闭环反馈这三样，数字经验一分都换不来，必须重新学。反过来，具身侧练出来的空间推理，配上导航数据就能打回驾驶和导航——但”配上数据”这四个字，就是那八倍差距的脚注。

所以真正可复用的，既不是任务，也不是模型，是空间。导航之所以能同时当驾驶和机器人的公共语言，是因为两边都在回答同一个问题：我在哪，我要去哪，中间有什么挡着。驾驶只是把这个问题的商业化版本先跑通了十年。

开篇说”驾驶是第一个具身智能”。这篇是一年后的注脚：正因为如此，驾驶侧攒下的那套空间理解，是具身智能最便宜的一笔启动资金。

而这笔资金能不能变现，取决于一个更朴素的问题——你打算为”换个地方还认不认路”这件事，花多少数据。

---

信息源：

ME-VLM 的模型规格（4B / 35B-A3B 两个版本、底座为 Qwen3.5 系列原生多模态 Agent 模型）、五段闭环（感知—推理—行动—验证—重规划）、能力迁移边界（多模态感知 / 长程任务理解 / 工具与技能调用 / 推理归因可迁移，空间状态估计 / 可供性推理 / 物理动作约束建模 / 动作后果预测 / 真实世界闭环反馈不可迁移）、前额叶与感觉-运动皮层的类比、三段训练管线（两段 SFT 的具身能力注入、非对称初始化的双专家 RL、多教师在线策略蒸馏 MOPD 及其反向 KL 目标、学生锚定具身专家、推理期无需专家路由）、RL 的两个粒度（能力单元 RL 用 GRPO + GSPO、环境闭环 RL 用沙箱/模拟器快照与失败轨迹保留）、导航数据管线（R2R/RxR 场景、多轮对话格式、动作空间前进 25/50/75 厘米与转向 15/30/45 度、30/60/90 度）、自动驾驶数据四类能力（全景场景理解、长尾交通场景感知、风险物体识别、感知-预测-规划闭环决策）及”轻量领域后训练”表述，引自 arXiv:2609.24526 论文（一手），并经官方项目页 https://machembodied.com/ME-Brain/ME-VLM.html 交叉核对。

具身能力 26 项基准（35B-A3B 平均 70.9、14 项最高，领先 8.2 分；4B 平均 63.4、第二）与 Agent 能力 16 项基准（35B-A3B 平均 72.5、13 项最高，领先 9.6 分；4B 平均 63.1、第二）的完整榜单，引自官方项目页（一手）；对照组为 HY-Embodied 30B-A3B、RynnBrain 1.1 9B、MiMo-Embodied 7B、PhysBrain 1.5 8B。

具身导航表（表 4）与自动驾驶表（表 3）的全部数值，引自论文原文（一手）。导航侧：ME-VLM 35B-A3B 在 R2R Val-Unseen 上 NE 5.9 / OS 56.3 / SR 45.8 / SPL 39.4，在 RxR Val-Unseen 上 NE 6.8 / SR 42.6 / SPL 35.3 / nDTW 57.9；4B 版本两基准 SR 分别为 42.9 和 38.0。驾驶侧：五项基准算术平均，ME-VLM 35B-A3B 为 70.2、4B 为 61.6；论文标注 MiMo-Embodied 的分数引自其原论文、其余模型在其测试框架下重测，跨框架分数不完全可比；MAPLM、DriveAction、MME-RealWorld 三项 ME-VLM 35B-A3B 未取得最高分，分别输给 MiMo-Embodied 7B（74.5）、RynnBrain 1.1 9B（83.2）与 RynnBrain 1.1 9B（69.0）。

端侧部分（自研 M100 SoC 的 NPU + 24 核 ARM + LPDDR5X 配置、最高 64GB 内存与 273GB/s 峰值带宽、编译器编排数据流架构、training-free 视觉 token 压缩的贪心 Max-Min 选法与多样性最大化目标、W4A8 量化、量化后掉点不到 1%、token 选择后分别保留 4B 的 96.7% 与 35B 的 98.2% 得分、prefill token 由 4096 降至 3328、prefill 时延由 400ms 降至 188ms 即约 53% 降幅与约 2.13 倍加速），引自论文原文与官方项目页（一手）；“端侧部署是必然选择”为论文原文表述。

“小米 MiMo-Embodied 把自动驾驶和具身 AI 集成进一个 VLM、观察到正向跨域迁移”引自论文 Related Work 对 [[10]] 的转述（一手转述）；“理想 ME-VLM 由 Foundation Model 团队发布、2026 年 9 月 21 日上传 arXiv、9 月 22 日更新 v2”引自 arXiv 提交记录（一手）；本篇选题由公众号「智驾具身数据挖掘」的介绍文章引出（第三方推荐），论文事实均以 arXiv 原文与官方项目页为准。

论文未公开训练数据规模（样本数、轨迹数、环境数均未给出），亦未提供针对蒸馏阶段、联合训练或各训练阶段的消融；公开的仅有三项部署侧消融（W4A8 量化、视觉 token 选择、软硬件协同 prefill 优化）。本文对”八倍差距中含多少数据成分”的质疑、对”能力可复用但空间不可复用”的归纳、对”导航是驾驶与机器人的公共语言”的判断，以及”能力迁移不是白嫖，是付费”的表述，均属本专栏观点，非论文结论。