用大视觉模型开车，理想和清华叉院联手了

在大语言模型让语音助手开始 " 说学逗唱 " 的时候，另一边的大视觉模型已经发力自动驾驶了。

而且一出手，目标就是解决自动驾驶老大难的长尾问题。

新自动驾驶系统DirveVLM，融合视觉语言模型VLM的视觉理解、推理能力，让自动驾驶系统能认出来道路上倒着的自行车、横穿马路的牛、甚至是打手势的交警，并作出正确驾驶决策。

更重要的是，这还是个端到端系统，在英伟达 Orin上就能跑，处理时间只需0.3s。

清华叉院联合理想汽车出品。

DriveVLM：长尾场景也会开

先看看论文中展示 DriveVLM 处理的几个场景。

场景一，一处城市开放道路，没有明显车道线，左边是对向车辆，比较拥挤；前方有一辆三轮车，路中央还有一位交警在指挥交通。

DriveVLM 识别出这位交警在指挥左边道路的交通情况，并且由于前面的三轮车正在缓慢行驶，系统作出 " 缓慢直线行驶 " 的决策。

并且解释道，这么做是因为需要和前方及两侧车辆保持安全距离，所以需要缓慢直行。

场景二，阴雨天的城市道路，车辆准备向右前方道路行驶，但这条路上有一行人骑着电动车迎面而来。

DriveVLM 识别出电动自行车位于车辆前方道路右侧，结合车辆的前进方向，作出 " 车辆先减速，右转，并缓慢直行 " 的决策。

并给出说明，减速是为了等骑车的人通过，待其通过后车辆再右转。

场景三，前方道路可能发生事故，车道前方有一辆自行车倒在路上，还有交警和一位行人站在道路上。

DriveVLM 判断，由于自行车阻挡了前方道路，车辆又要前行，因此要 " 先减速，再向右变道，并缓慢直行 " 的决策。

同时系统还特别解释，减速并且确保右后方没有车辆驶来时，再向右变道。

不仅如此，高速公路上偶遇过路的牛群、路的另一侧即将倒下的树木、通过只够单车通过的桥、只有两条车辙的雪路等非常规场景，DriveVLM 也都能一一识别并应对。

并且，DriveVLM 除了能处理这些 corner case，还能提供直观的语言界面，提供与用户的交互功能。

系统能够分析道路情况、天气条件、会影响本车前进的因素，并作出对应的驾驶决策，还能给出轨迹预测。

而这一切，除了基础的自动驾驶系统外，还离不开大模型的参与。

DriveVLM：大模型应用于行车域

实际上，DriveVLM 是在传统的自动驾驶系统上，增加了大视觉语言模型（VLM）的能力。

由于 VLM 在视觉理解和推理方面的能力突出，所以结合该大模型能力后，DriveVLM 不仅具备基本的自动驾驶能力，而且还能够理解输入的图像信息，并作出对应驾驶决策。

摄像头输入的图像序列先由视觉编码器进行处理，生成图像 tokens，并通过自注意力机制捕捉其中的重要特征，与 VLM 的组成部分大语言模型进行对齐。

随后，大语言模型通过思维链（chain-of-thought，CoT）进行推理，主要包含三个模块，场景描述，场景分析和分层规划。

场景描述即输出驾驶环境的语言描述，包括天气状况、时间、道路类型和车道状况，方便系统判断是否选择更谨慎的驾驶方式（比如在夜间或者能见度较低的时候），以及选择是否需要变道。

描述完场景后，系统则开始场景分析，主要对关键对象进行分析，即会影响车辆驾驶决策的。

关键对象的判断要素包括三个，静态属性、运动状态和特定行为，比如正在做手势的交警就要列为关键对象，因为这时首先要参考交警的手势而不是交规。

在分析完这三个要素后，DriveVLM 将预测每个关键对象对本车的潜在影响，比如路边醉酒的行人可能走上马路，挡住前方道路。

而这就增强了传统自动驾驶系统对交通环境的判断和理解，能够更加适应不常见，特别是训练时未见过的长尾场景。

这一模块的最后，系统还会生成场景摘要，分析总结当前场景下所有关键对象和环境描述，并与驾驶路线、车辆位置和速度信息结合，给出规划提示。

最后就是分层规划模块，DriveVLM 主要分三部分进行：基础行为（meta-actions）、决策描述和轨迹航点。

基础行为包括 17 类，包括加速、减速、左转、变道、轻微位置调整、等待等等。

而决策描述则是在基础行为之上，结合场景里的关键主体（行人、红绿灯、车道等）和持续时间，给出更详细、简洁和可操作的驾驶决策。

比如在面对道路一侧有即将倒下的树木时，DriveVLM 给出的决策是：立刻减速停车，在倒下的树木被清除后再继续行驶。

并且在给出决策描述后，系统还可以生成相应的轨迹航路点，实现语言处理模块和空间导航的无缝集成。

不过，VLM 大模型虽然能帮助系统复杂场景理解，但模型巨大、反应速度慢，这就让 DriveVLM 无法直接应用于自动驾驶系统这种必需实时响应和决策能力。

所以，研究团队还推出DriveVLM-Dual，可集成 3D 物体感知进行关键对象分析，还能把轨迹航路点连点成线，输出线性的轨迹结果，并且降低延迟。

并且，团队还特意从大型数据库中挖掘出各种具有挑战性的长尾场景，并选取关键帧进行注释，给出了规划场景理解数据集SUP-AD。

最后，团队在常用的自动驾驶数据 nuScenes 和 SUP-AD 上都验证了效果。

结果显示，DriveVLM 在 SUP-AD 上，对于场景的理解以及给出的基础行为都实现 SOTA，还超过 GPT-4V。

另一边在 nuScenes 上，DriveVLM-Dual 在规划任务方面取得 SOTA。

并且，团队还在英伟达 Orin 芯片上运行了 DriveVLM-Dual，DriveVLM-Dual 只需0.3s就能完成单一场景的推理，在保证推理结果的情况下，还能兼顾推理时间。

这意味着 DriveVLM-Dual 不仅是一个能快速响应、解决 corner case 的自动驾驶系统，而且还能在端侧部署，属于大模型加持下的新一代端到端自动驾驶系统。

研究团队简介

已经进入智能驾驶第一梯队的理想汽车和大佬云集的清华叉院，联合推出了 DriveVLM。

来自叉院的Xiaoyu Tian和Junru Gu，以及来自理想汽车的Bailin Li，对本文有同等贡献。

其中，Xiaoyu Tian 是目前就读于清华叉院的博士生，硕士毕业于清华大学软件学院，研究方向包括计算机视觉、自动驾驶、多模态学习等等。

而 Bailin Li 则是理想汽车静态感知部软件架构师。

他本科毕业于哈尔滨工业大学机械工程专业，还拥有密歇根大学机器人技术工程硕士学位，在 2021 年入职理想汽车。

本文的其他作者中，Yicheng Liu和胡晨旭也来自叉院，都是博士在读，胡晨旭还是清华 MARS 实验室的研究助理。

△

胡晨旭

而Yang Wang、Kun Zhan和Peng Jia则来自理想汽车，其中 Kun Zhan 是理想汽车高级研发工程师，Peng Jia 是 AI 基础设施高级总监。

作者还包括理想汽车自动驾驶副总裁郎咸朋，拥有中科大博士学位。

他曾在中国自动驾驶黄埔军校百度 Apollo 工作过，2018 年入职理想汽车，2020 年升任理想汽车副总裁，一直负责理想汽车自动驾驶业务。

本文的通讯作者是赵行，目前是清华叉院的助理教授，以及 MARS 实验室首席研究员。

赵行拥有麻省理工博士学位，师从计算机视觉大牛 Antonio Torralba。来清华大学之前曾就职于美国自动驾驶巨头之一的Waymo，担任研究科学家，在谷歌学术上被引次数达到 16804 次。

在他们的共同努力之下，端到端、能理解城市道路中复杂的长尾场景的自动驾驶系统 DriveVLM 就此诞生。

随着 AIGC 产业的浪潮，大模型在车圈智能化下半场的竞争中，参与度越来越高。

从端侧来划分，应用于自动驾驶的大模型可以分为云端大模型和车端大模型两类。

比如毫末智行的雪湖 · 海若 DriveGPT、华为盘古大模型、百度文心大模型，就是部署在云端，可以在场景生成、数据标注等方面，训练和优化自动驾驶系统的感知和决策能力。

在车端，现在已经成为行业标配的 "BEV Transformer"，则是主要用于优化车端系统的感知能力。

还有可以应用在车端的感知决策一体化的端到端大模型，比如特斯拉FSD V12、商汤等联合推出的UniAD，以及本文的 DriveVLM。

大模型在 AI 行业带来的变革有目共睹，对于细分自动驾驶赛道来说，在大模型的帮助下，相信距离落地完全自动驾驶的那一天，也不远了。