理想硬控车圈1小时 VLM决策更像人 端到端 无图NOA全国都能开 (理想汽车 暗盘)

昨晚，理想开了一场智能驾驶夏季发布会，与其说是发布会，更像一场 理想汽车的AI Day 。

复盘整场活动，技术干货满满，甚至有点过于干了。。

从推送“全国都能开”的无图NOA，再到后半场的基于端到端模型、VLM视觉言语模型和全球模型的全新智能驾驶技术架构。

或许由于纯技术类解读，李想自己并没有在发布会出面。看来自理想MEGA发布以来，李想越来越低调，但理想汽车的斗志却越来越强了。

理想拉齐“无图化”

这次的发布会，最重磅的莫过于理想的智能驾驶迎来拐点——无图NOA，并将在 7月内全量推送 。

这次更新尽管掩盖了理想MEGA和理想L9、理想L8、理想L7、理想L6一切车型，但仅限AD Max版本。

理想有两套独立智驾计划，区分是“AD PRO”和“AD MAX”，详细到车型也很好区分，理想L系列MAX版以上搭载都是”AD MAX“高阶智驾，具有城区和高速NOA性能；PRO、AIR车型搭载的都是”AD PRO“智驾，具有高速NOA性能。

从这次的发布会的重点来看，只是针对 AD MAX计划 的优化。

而且直接和众多友商看齐：全国都能开，不论城市主干道、小道还是乡间，能导航的中央都可以经常经常使用。

在发布会上，理想汽车还展现了一张在全国范围内，在18点到20点这两个小时之间经常经常使用无图 NOA的用户数据，依据他们的位置，构成了一张轨迹图，以此来佐证理想汽车的无图NOA真正具有了全国都能开的才干。

最新的无图NOA相比过去的版本，BEV、感知才干、规控才干，还有全体系统才干失掉片面优化，特地是将纯视觉的OCC占用网络更新为 Lidar与视觉前融合的占用网络 ，具有分米级的微操才干，从而精准识别更大范围内的不规则阻碍物，感知精度更高。

做到“全国都能开”，是由于无图的概念就代表着不再依赖高精地图或先验信息，在以往的智驾决策中理想打了个比如，就像面前很多“小”在运转，或许有一些“小机器人”要求一些先验信息，也就是要求导航数据的先验信息启动决策。

而经过运用BEV算法的感知才干启动一系列技术复合决策，并将摄像头拼接的周边环境、路途信息、导航提供的轨迹和数据信息一切兼并在一同，构成超视距才干，内行驶的环节中就可以生成最优路途， 不再过多依赖“先验”信息 。

另外，新系统采纳了全新的时空规划算法，使全体决策变得武断，从而表现出第二个特点——— 绕行才干强 。

绕行才干是评价城市 NOA 的一个关键目的，由于其在通常驾驶中运转的场景十分频繁，比如遇到灵活态的阻碍物，优良的绕行才干可以巧妙化解，绕行才干弱就只能堕入无尽的等候，甚至接纳。

这里理想汽车衍生出了时期和空间的概念，经过 横纵（前后左右） 同步规划，能够继续预测自车与他车的空间交相互关，并规划出“未来一段时期窗口内”的一切可行驶的轨迹，挑选出最优最高效的轨迹。

这样一来，即使是在复杂路口也能轻松经过，似乎拥有了“上帝视角”，也是其另一个特点——路口轻松过。

搞定“高频低危”

理想汽车表示，往年上半年，理想汽车人类驾驶的异常率降低了30%，时期理想 AD Max 主动安保系统共为用户规避了36万起潜在异常，且AEB误触发率降低到小于 30万公里。

而且关于路途上的潜在要挟，理想汽车做了一个「安保风险场景库」，依照从低危到高危、从低频到高频的顺序排开，把风险场景分红了 9 种类型。

理想汽车初级副总裁范皓宇表示，去年推送的 OTA 5.0 曾经能够应酬「低频高危」和「中频中危」这两个部分的要挟。

现在推送的OTA 6.0 就是要优化车辆在 高频低危 场景下的才干。

比如在经过复杂路口，理想汽车的AEB（智能紧急制动）系统能够片面掩盖行人、两轮车和三轮车等典型阻碍物，无论它们从左、右或前方接近，系统都能及时照应。

而且系统内设计了安保阈值，一旦有阻碍物侵占了理想汽车的安保系统区间，都会启动AEB协助用户主动刹停。假定发生了在盲区的车辆，自己的车辆侵占了对方的安保性空间，相同会主动刹停。

另外就是高速上的夜间行驶，周围基本上没有光照的状况下，夜间AEB尤为关键。假定前方不远处有一辆货柜车停着运动不动，没有开灯、没有反光条，这样的场景下，AD Max的 AEB能做到120公里时速完全刹停 。

理想汽车还提供了全智能AES（智能紧急转向）性能，以应对“消逝的前车”这种极端场景。

比如说，以十分快的速度在高速上传驶时，突然前车急刹停或许避让，由于距离太近无法及时停下时，这种状况下AES（智能紧急转向）就会介入，车辆会减速并执行避让性能，进一步优化了安保的下限。

最后，还提供了全方位低速AEB（智能紧急制动），关键针对泊车和低速行车场景。

在日常的高频低速场景中，特地在地库停车环境复杂的状况下，或许会发生比如柱子、墩子或许低速的行人介入剐蹭风险，全方位低速AEB就能识别来自前向、后向和侧向的碰撞风险，及时紧急制动。

当然，从安保性的性能上看，可以说是全方位无死角的维护，但是在通常运转中发生误报和误刹也是一个不小的困扰，这一点仍要求后续的通常体验。

双系统支持

除了7月内推送无图 NOA，理想汽车还在发布会的后半程提出来一个灵魂拷问：真正成功智能驾驶的技术计划是什么样的？

理想给出的答案，也是端到端大模型，不过理想以为假定面对中国复杂路况， 只需端到端不够 。

基于此，理想提出来一个全新的计划： E2E（端到端大模型）+VLM（视觉言语模型） 。

系统1是人依据自己过去的阅历和习气构成的直觉，可以做出加快的决策，比如“1+1=2”的疑问系统2就是一个思想推理才干，人要求经过思索或推理才干处置这种复杂的疑问和应对未知的场景。

简言之， 系统1和系统2相互配合 ，构成了人类认知和了解全球、做出决策的基础。

那么，系统1和系统2是如何类比到智能驾驶中的？很方便，端到端是系对立，作为主决策者，VLM视觉言语模型，当作系统2，可以了解为系统1的“冗余”。

这么了解就方便了，运用端到端技术处置泛化的场景，而VLM视觉言语模型作为系统2，则具有一些逻辑思索的才干，会在一些复杂状况下验证“端到端”的决策，最终成功车辆的兜底或控制。

依照理想汽车智能驾驶技术研发担任人贾鹏的说法，人开车的时辰其实都是系统1在任务，或许只需 5%的状况，会经常经常使用系统 2。

理想汽车也表示，届时会有 两颗Orin-X 区分担任系对立和系统二。

现在端到端大家都知道是怎样回事，但理想提出的VLM视觉言语模型还很新颖的。

VLM视觉言语模型可以看做是一个分歧的Transformer模型，参数量能抵达22亿，Prompt（提醒词）文本启动Tokenizer（分词器）编码，并将前视相机的图像和导航地图信息启动视觉信息编码，再经过图文对齐模块启动模态对齐，最终分歧启动自回归推理，输入对环境的了解、驾驶决策和驾驶轨迹，传递给系统1辅佐控制车辆。

深入点说，其具有弱小的了解才干，识别路面平整度、光线等环境信息，同时，VLM模型还具有更强的导航地图了解才干，可以修改导航，预防驾驶时走错路途。

不过现在这套系统还没能上车验证，但理想为了验证这些技术的有效性，他们经常经常使用Diffusion Transform在模拟环境中构建小型全球模型，让车辆在其中启动测试。

理想称其为智能驾驶系统考试计划，其中包括“ 重建+生成 ”。

理想先是经过3DGS（3D高斯溅射）技术对真实数据启动场景重建，然后运行生成模型补充新的视角，从而创立出既契合真实全球场景又能处置新视角模糊疑问的环境。

在场景重建时，其中的灵活态要素将被区分，静态环境失掉重建，灵敏物体则启动重建和新视角生成。再经过对场景的重新渲染，构成3D的物理全球，其中的灵敏资产可以被恣意编辑和调整，成功场景的部分泛化。

生成模型相较于重建模型具有更好的泛化性。理想能够自定义改动天气、时期、车流等条件，生成多样化的场景用于评价智能驾驶系统在各种条件下的顺应才干，经过这种有限环境，理想可以对智能驾驶系统启动充沛的学习和测试。

尽管尚未失掉验证，但也不远了，理想汽车在发布会上走漏，端到端+VLM大模型也行将末尾内测，尽早让用户启动早鸟体验。

---

李想：三季度推出无图NOA L4级别智能驾驶三年内可以成功

易车讯 6月8日，理想汽车人CEO李想列席了2024中国汽车重庆论坛并宣布演讲。 李想表示，理想汽车将在往年三季度推出无图NOA，最早往年年底最晚明年年终，推出基于理想自研大模型和VLM视觉模型的L3级智能驾驶系统。 李想进一步强调，随着这套技术的演进、算力的增强、模型的加大，无监视的L4级别智能驾驶至少三年内一定可以成功。

以下为演讲原文：

李想表示在过去半年多的时期里，理想汽车做出的一项关于智能驾驶的技术打破，他强调这里的智能驾驶不是智能驾驶，也不是辅佐驾驶，而是智能驾驶。 李想进一步谈到，我们外部从去年9月份末尾思索一个疑问，并为此专门树立了一个用于智能驾驶研讨的团队。 这个疑问是人类开车为什么不触及学习corner case（极端状况）？假设我们不能处置这个疑问，一切的智能驾驶团队每天干的活，都是靠人工去调试各种各样的corner case，而且放的人越多，corner case越多，和真正的智能驾驶就越悠远。

首先从通常的角度，我们先是从一本书《思索，快与慢》里失掉了启示。 《思索，快与慢》讲述了我们的大脑日常在任务的时刻，分为系统一和系统二。 系统一来处置一些要求直觉、加快照应的事情。 就像很多时刻我们在开车，开了10分钟、20分钟、30分钟，脑子里在想别的事情，但是我们依然能够处置路上的各种路况。 开到家的时刻遗忘了过去这半个小时我们是怎样任务的，这时刻意味着我们用系统一在任务，并不是我们的大脑不在任务，而是我们大脑以一种它独有的方式，低能耗的方式在任务。

当我们去到一个复杂路况，比如一个十字路口，或许开车的时刻遇到一个水坑，这时刻我们的大脑就会调用系统二来任务，用它来处置这种比拟复杂的逻辑推演的才干，但是它对大脑消耗比拟大，所以不会不时用系统二的方式启动开车。 处置各种复杂路况、泛化疑问和未知疑问，大脑会启用系统二来启动任务。 正常状况我们开车的时刻基本上95%的时期在经常使用系统一，5%的时期经常使用来系统二，所以人脑每天并不要求很多的功耗，人也不要求学习corner case，就能学会开车。

这时刻我们在想，假设人类是这样的任务方式，那么智能驾驶应该怎样任务呢？什么是智能驾驶的系统一？什么是智能驾驶的系统二？我们随着对各种技术研讨，智能驾驶的系统一其实是如今很多智能驾驶团队都在做的端到端的技术。 端到端意味着把完整的训练片段放出去，最后发生的结果是，输入直接发生输入，而不是像过往的要分红一个感知模块、一个规划模块、一个决策的模块、一个执行的模块。

（端到端）这样的效率更高，但是应战也来了，各种人类的规则不会发扬作用。 它的应战关键来自于三个方面：第一个是要求有真正会做端到端，包括端到端数据训练的人才；第二个要求真正高质量的数据；第三个要求有足够多的算力。

由于端到端关于算力的需求和以往比，变得完全不一样了。 我们过去在端到端方面做的研讨测试中，放了大约100万的clips（预训练模型），用于端到端的训练。 大约一个月只要求做10轮左右的训练，训练卡（Training GPU ）要足够多，基本上可以成功一个无图NOA相反下限的水平。

但是面对中国复杂路况，只要端到端不够，所以我们思索什么是系统二。 系统二的一个启示是，人类处置各种各样的corner case和各种泛化疑问，并不是经过学习corner case。 （我身边的）一个清楚案例和启示是来源于我的爱人。 我爱人刚学会开车后在很长一段时期甚至延续很多年，不停地剐蹭。 我和她剖析下一次性怎样不再剐蹭，其实没有用，下一次性还是剐蹭。 我就在想，是不是由于买的车个头太大了，一辆宝马X6，所以我换辆小车，换一辆高尔夫GTI，她依然会刮蹭。

这时刻我们会发现学习corner case没有用，我们能不能经过优化才干的方式来处置，所以事先给我爱人报了宝马驾驶培训初级班。 宝马驾驶培训初级班一整天经过各种各样的方式只教了两个（内容），第一个是赛道过弯、绕桩、处置环形路面的时刻、打转向之前，眼睛看往哪里，不是看行将经过的路口而是看接上去要去的中央；另外一个才干，就是在各种复杂的场景里如何把刹车踩究竟，包括在湿滑路面，转弯路面、一半钢板一半路途的路面，如何把刹车踩究竟，从而优化一团体关于整车刹车才干的认知。 所以宝马驾驶培训初级班一整天时间只教了两个事情，第一个是教看路的才干，第二个是教刹车的才干，没有教任何的corner case。 经过一天的训练，我爱人彻底和剐蹭告别了，在接上去十几年里没有出现任何剐蹭。 这是人类学习开车的一个方式，我们思索如何把这样的一套才干给到车上。 我们看到一个很关键的技术是VLM的视觉言语模型。 为什么不是视觉大言语模型，而是视觉言语模型，是由于没有方法把一个大模型放在云端让车经常使用，由于照应速度会有比拟大的风险。

所以如何把视觉大言语模型启动足够紧缩，最后能够放到车上，能够面对没有红绿灯的左转路口提早做出预判，知道这个路口如何启动特殊处置，启动复杂的处置。 它还有另外一个关键性能，就是告别高精地图，告别一切轻图在内的方式。 为什么？由于视觉言语模型还有一个最关键的性能，就是能够像人类一样去读懂导航地图，导航地图的横向、纵向、速度、时期，包括红绿灯，哪怕有车辆遮挡红绿灯也不会再成为疑问。

我们发现可以有效地经过视觉言语模型来处置系统二的疑问。 一方面为端到端启动兜底，另外一方面能处置各种各样的泛化疑问。 我们发现十分有意思，我们AD max有两颗Orin-X芯片，正好一个Orin-X芯片跑端到端，另外一颗Orin-X芯片可以运转一个紧缩到大约20亿规模的VLM模型。 我们验证的结果其实是令人十分兴奋的，我们以为最早在往年年底，最晚在明年上半年，真正的L3我对L3的定义是有监视的智能驾驶，就可以批量向用户交付了，而不是只用于做实验。

处置这两个疑问以后，其实还有第三个疑问。 由于端到端是黑盒子，VLM其实也是黑盒子，它跟过去我们在做智能驾驶、辅佐驾驶的一个最大不同是，它不再是性能而是才干。 我觉得AI最大的差异是才干，而过去的编程体系，最关键的是性能，由于性能在过去是要经过测试和实验来验证的。 但是才干，一个黑盒子怎样拿测试和实验来验证？这是无法能的。 所以这时刻面临的一个新的应战是，我们用什么样的技术方式来验证才干？这时刻我们又找到了一个新的方式，关键的原理是来自于Sora，我们用Diffusion Transformers (DiTs）的方式来构建一个关键的、小型的全球模型，拿这个全球模型，让我们的车在外面考试。

所以，我们模拟人的一套真正的任务原理就末尾出现了。 用端到端来承载人的系统一，VLM来承载人的系统二。 系统一来处置一切智能驾驶的，这些正常的反响和驾驶的才干，系统二来处置兜底和泛化的才干，并运行生成式的小的全球模型来启动考试。 这是我们在过去的一段时期里，做的最关键的一个技术性的打破，而且我们的研讨团队曾经经过了正常的研讨验证。

李想表示将在往年第三季度推出全国无图NOA，并同步向测试用户推出经过300万clips训练出来的端到端+VLM的监视型智能驾驶体系。 最早会在往年年底，最晚明年年终，我们会推出大约经过超越1000万clips训练出来的端到端+VLM，整个带有监视的智能驾驶的体系，我们以为这套体系会是未来整个物理全球机器人最关键的技术架构和技术体系。

李想进一步谈到，接上去的一段时期里，在AI方面的几个关键的技术论坛，我们的技术研讨团队也会向整个行业来分享我们对这方面的一切的研讨，包括这里的原理和实践结果，把我们启动的一些探求与同行们启动分享。

李想以为，经过这套技术，带有监视的L3级别智能驾驶是100%可以成功的，最早往年年底最晚明年年终，带有监视的L3级别智能驾驶就可以批量向用户交付。 而且随着这套技术的演进，算力的增强，模型的加大，李想以为无监视的L4级别智能驾驶至少三年内一定可以成功。