Henry 发自 凹非寺

量子位 | 公众号 QbitAI

群众首个自驾+机器东谈主兼并基座模子开源了！

针对自驾与具身操作场景的常识挪动难题，小米汽车陈龙团队提倡并开源了群众首个买通这两大领域的跨具身（X - Embodied）基座模子——MiMo-Embodied。

MiMo-Embodied基于MiMo-VL架构，通过构建涵盖通用视觉、具身任务及驾驶场景的高质料数据集，并罗致包含念念维链（CoT）和强化学习（RL）的渐进式四阶段造就战略，有用冲破了室内操作与户外驾驶之间的领域界限。

在实测后果上，MiMo-Embodied在自动驾驶与具身智能揣度29个Benchmark上均卓越了现存的专用模子及通用模子，末端了跨领域的起原进（SOTA）性能。

不管是开车的环境感知、策画，一经机器东谈主的拿取、导航，主打一个我透澈要。

具身与智驾，小米透澈要！

在以往具身/自驾的VLM领域中，往往存在以下问题：

一方面是枯竭兼并的具身VLM(Unified Embodied VLM)。

现存的视觉话语模子（VLMs）大多专注于单一领域（仅室内任务或仅户外驾驶），枯竭简略团结这两个领域的兼并模子。限度了模子在动态环境中与物理寰球有用交互的才调。

而这，也带来了领域差距与挪动辛苦。

具身智能侧重于室内操作，而自动驾驶侧重于户外谈路，两者存在显赫的领域差距（Domain Gap），退却了才调的跨领域挪动 。

另一方面则是评估体系缺失， 即枯竭全面的跨具身才调评估体系来预计模子在两个领域的详尽确认。

为了处置这些挑战， MiMo-Embodied试图将自动驾驶和具身智能的任务合并到一个兼并的VLM中，以整合模子的跨具身才调。

如上图所示，

MiMo-Embodied架构由以下三个部分构成：

用于编码视觉输入的 Vision Transformer (ViT)：模子使用ViT来编码种种类型的视觉输入，包括单张图像、多张图像和视频。这使得模子简略索求复杂的模式和关系。一个投影器（projector）： 使用多层感知机（MLP）四肢投影器（Projector），将视觉Token映射到与诳言语模子对皆的潜在空间。认真文才能略和推理的LLM：LLM四肢中枢组件，认真潜入文本教导并团结视觉信息进行推理，生成连贯且高下文有计划的反映。

由此，通过无缝集成视觉和文才能域，MiMo-Embodied增强了种种化多模态推理任务和运用的后劲。

接下来，为了末端跨领域的兼并才调，论文提倡了一套系统的数据构建和分阶段造就战略：

领先在数据方面，造就数据涵盖了通用多模态潜入、具身 AI（功能性预计、策画、空间潜入）和自动驾驶（感知、预计、策画）三个维度的多模态数据：

通用数据：基于MiMo-VL语料库，包含图像、视频、长文本等，长文档和合成推理数据，确保平凡袒护感知、推理和交互才调。具身智能数据：涵盖可供性预计（Affordance Prediction）、高层任务策画和空间潜入，整合了如 PixMo-Points, RoboAfford, RoboRefIt等数据集。自动驾驶数据：涵盖环境感知、景色预计和驾驶策画，整合了 CODA-LM, DriveLM, nuScenes-QA等数据集。

基于上述构建的数据集，盘考又迷惑了一种四阶段造就战略。

基于MiMo-VL，盘考引入了具身智能和自动驾驶方面的特意监督，最终通过念念维链微谐和强化学习末端高等推理才调 。

这一战略有助于模子成就在先前赢得的才调之上，从而在具身交互和自动驾驶领域末端矜重的性能。

阶段1：具身智能监督微调 (Embodied AI Supervised Fine-tuning)：团结通用数据和具身数据，成就中枢的视觉话语潜入、具身推理才调。

阶段2：自动驾驶监督微调 (Autonomous Driving Supervised Fine-tuning)： 在阶段1的基础上，加入多半自动驾驶数据。重心造就多视角空间推理、视频本领一致性和复杂交通场景分析 。

阶段3：念念维链推理微调 (CoT Supervised Fine-tuning)： 使用包含明确推理法子的数据进行微调。这增强了模子处理复杂多步问题的才调，举例风险评估和行径合感性讲授。

阶段4：强化学习微调 (RL Fine-Tuning)： 使用 GRPO (Group Relative Policy Optimization) 算法。通过针对正确性（如遴荐题匹配、IoU运筹帷幄）想象奖励信号，进一步优化模子的精准度和可靠性。

实验测试

为了考证MiMo-Embodied的性能，盘考辩认在定性和定量两层面进行评估，定量比较波及针对具身智能和自动驾驶的种种既定学术和行业基准的客不雅评估，从而简略与高出模子进行平直的实证比较。

定性评估则展示了MiMo-Embodied在践诺寰球任务中的本色遵循，杰出了其在复杂机器东谈主和自动驾驶场景中的部署，并提供了其将习得才调飘舞为有用性能的具体根据 。

基准测试上的定量比较

领先，在具身才调方面，盘考在三个中枢领域进行了全面评估：可供性预计、任务策画和空间潜入。

隔断标明，MiMo-Embodied 取得了具有竞争力的隔断，与通用多模态模子和专工具身模子比拟，在可供性预计和空间潜入方面确认出绝顶的上风。

其次，在自动驾驶才调方面，盘考在感知才调、预计才和谐策画才调上进行了评估。包含在4种数据类型上的12个基准测试中的性能，涉过头潜入复杂交通场景、预计动态谈路智能体行径以及生成安全高效驾驶建议的才调。

实验隔断走漏，MiMo-Embodied在悉数感知基准测试、预计、策画中均取得了强盛的性能，在全景语义理奉命务中展示了起原进的隔断，同期在具有挑战性的局部感知场景中也确认出超卓的鲁棒性。

践诺寰球任务的定性评估

领先，为了考证MiMo-Embodied 在复杂交互环境中的本色效用，盘考评估了其在两个基本下贱运用中的性能：具身导航和操作。

在具身导航中，相较于GPT-4o、Qwen2.5-VL和RoboBrain-2.0，MiMo-Embodied展现出在种种化家庭场景中增强的对象定位才和谐一致的性能。

在操作任务中，MiMo-Embodied相同展现出浩大的可供性和空间推理才调。

在自动驾驶才调上，盘考领先在具有挑战性的NAVSIM上深信性能以进行表率化比较，然后在一个包含种种化真的寰球驾驶场景的大限制极端数据集上测试模子的才调。

实验隔断标明MiMo-Embodied不错处理种种化的自动驾驶情况并完成具有挑战性的任务，包括交叉路口转弯、弯谈掉头、跟车和变谈超车。

在每种情况下，模子都应感知谈路高下文，整合自车景色和导航意图，并作念出连贯的有筹商。

此外，MiMo-Embodied在悉数评估类别中弥远优于基线。值得瞩主义是，在转弯、绕开起劲物和变谈等复杂、交互式操作中，性能晋升最为显赫。

在终末，论文暗示还将基于MiMo-Embodied模子的才调，探索具身智能视觉-话语-动作（VLA）模子，以增强复杂环境中的交互，通过当然话语潜入末端更直不雅的任务奉行。

One more thing

这篇论文的一作是郝孝帅博士。他于本年8月加入小米汽车，在陈龙博士的教导下，从事具身多模态大模子标的的盘考。

郝孝帅博士毕业于中国科学院大学信息工程盘考所。此前，他曾在北京智源盘考院、三星、亚马逊等机构职责。

这篇论文的project leader是小米智能驾驶的首席科学家陈龙博士，他此前赴任于英国AI独角兽公司Wayve，主导新一代端到端自动驾驶VLA模子的研发。

更早前，他还以盘考工程师身份加入Lyft，牵头车队学习形式，通过大限制众包车队数据完成自动驾驶车辆机器学习策画器的预造就。

论文联贯： https://arxiv.org/abs/2511.16518

GitHub： https://github.com/XiaomiMiMo/MiMo-Embodied

Huggingface： https://huggingface.co/XiaomiMiMo/MiMo-Embodied-7B

— 完 —

量子位 QbitAI · 头条号签约

矜恤咱们赌钱赚钱软件官方登录，第一本领获知前沿科技动态