理想汽车最新的无图NOA,不管是在城市、城镇,还是二级道路,都能够行驶。 最新的无图NOA相比过去的版本,BEV、感知能力、规控能力,还有整体系统能力都得到全面的提升,可以应对更多的条件和环境。
哪里都能开,不再依赖过多“先验信息”。理想汽车的智能驾驶系统背后很多“小机器人”在运行,可能有一些“小机器人”需要一些先验信息。但是我们整体能力的提升,就不再需要先验证,能更自如地解决在路面上行驶中遇到的各种各样的情况。
绕行丝滑,时空联合。在实际道路上驾驶,会经常遇到一些车辆、行人等对象,阻碍我们通行。这种情况下,我们引出了“绕行丝滑”能力,它背后是时空联合能力,就是具备时间和空间的能力。空间概念是横纵(前后左右)同步规划;时间概念是能够持续预测自车与他车的空间交互关系,并规划出“未来一段时间窗口内”的所有可行驶的轨迹,筛选出最优最高效的轨迹。
路口轻松,上帝视角。路口轻松过背后是我们具备“上帝视角”的能力。将摄像头拼接的周边环境、道路信息、导航提供的轨迹和数据信息全部合并在一起,形成超视距能力,在通过路口的时候找到最优路线。
默契安心,分米级微操。无图NOA重点考虑了用户心理安全边界的设计,将纯视觉的Occ占用网络升级为Lidar与视觉前融合的占用网络,从而识别更大范围内的不规则障碍物,感知精度也会更高。提升可行驶区域内的安全性和连续性,可以做到分米级别的微操。让用户和车之间产生了一种默契和安心的感觉。
理想汽车还有一件非常重要的事情是在持续做,那就是安全。这对于家庭用户来说不可或缺。
2024年上半年里,理想汽车人类驾驶里程安全事故率降低30%,帮助用户规避了36万起潜在事故,误触发率小于1次每30万公里*。我们为用户打造了全场景的主动安全,全方面保护用户出行。
复杂路口 AEB(自动紧急制动):行人、两轮车、三轮车典型的三种类型,从左、右、前靠近,我们做到了全覆盖。这三种对象从任何一个方向靠近,如果它侵占了理想汽车的安全系统区间,理想汽车都会启动AEB帮助用户主动刹停。如果出现了在盲区的车辆,我们侵占了对方的安全性空间,我们也会主动刹停。
夜间AEB(自动紧急制动):在高速上夜间行驶,周围基本上没有光照,前方不远处有一辆货柜车停着静止不动,没有开灯、没有反光条。在这种极限场景下,理想AD Max的AEB能做到120公里时速完全刹停。
全自动AES(自动紧急转向):场景为“消失的前车”,行驶过程中的我车和前车,都以非常快的速度在高速上行驶,突然前前车急刹停,前车避让而我车距离很近不可能刹停。这种情况下理想汽车提供了避让的功能——AES(自动紧急转向),车辆会减速并避让过去,进一步提升了安全的上限。 全方位低速AEB(自动紧急制动):用户在日常生活的低速场景中,特别在地库停车环境复杂的情况下,可能会出现比如柱子、墩子,理想汽车的低速AEB,以上情况都可以刹停,避免剐蹭,减少用户的烦恼。
理想自动驾驶理论来源是《思考,快与慢》理论。诺贝尔经济学奖得主丹尼尔·卡尼曼在《思考,快与慢》中阐述了认知心理学中系统1与系统2的概念,为理解人类的认知模式提供了一个重要框架。
系统1其实是人根据自己过去的经验和习惯形成的直觉,可以做出快速的决策。系统2其实是一个思维推理能力,人需要经过思考或推理才能解决这种复杂的问题和应对未知的场景。简言之,系统1和系统2相互配合,成为了人类认知和理解世界、做出决策的基础。
系统1和系统2是如何应用到自动驾驶中的?
系统1由一个端到端模型(E2E)实现,直接用来快速响应常规驾驶问题。系统2由一个视觉语言模型(VLM)实现,里面包含了思考的能力。我们利用世界模型在云端来验证系统1和系统2的能力。以上三个系统组成了理想汽车下一代自动驾驶技术架构。 什么是端到端,到底是哪个端到哪个端?它和以往的智能驾驶系统有什么区别?
理想汽车系统1的进化过程:
第一代:NPN。采用模块化的设计,包含感知、定位、规划、导航、NPN等,这一代架构支撑我们在全国100个城市推送了城市NOA功能。第二代:无图,分段式端到端。只有两个模型组成,分别是感知和规划。最大的变化是去掉了NPN,不依赖于先验信息,让我们真正做到了全国都能开,有导航就能开。第三代:端到端模型,它是一个One Model的结构,只有一个模型,输入的是传感器,输出的是行驶轨迹。
端到端模型的优势在于:高效传递,驾驶体验更聪明和更拟人。
在无图中有两个模型,模型之间的信息传递我们运用了大量的规则;而到了端到端模型,它是一体化的模型,信息都在模型内部传递,具有更高上限。用户所能感受到整套系统的动作、决策更加拟人。高效计算,驾驶时车辆会反应更及时和更迅速。因为是一体化模型,可以在GPU里一次完成推理,端到端的延迟会更低。用户感知到的是,「眼」和「手」协调一致,反应迅速,车辆动作响应及时。高效迭代 ,更高频率的OTA。一体化模型可以实现端到端的可训,完全的数据驱动。对于用户来说最大感受就是OTA的速度越来越快。
理想汽车的自动驾驶系统考试方案:重建+生成的世界模型。
把真实数据通过3DGS(3D高斯溅射)进行重建,并使用生成模型补充新视角,两者结合所生成的场景既可以保证场景是符合真实世界的,也同时解决了新视角模糊的问题。同时我们这套系统的生成部分可以独立工作,通过Layout(布局)先验、再Reference(参考帧)的图片,再加上Prompt(提示词),生成符合真实规律但没有见过的新场景。
在场景重建时,我们需要将场景中的动静态分离,核心思想是静态环境进行重建,动态物体进行重建和新视角生成,变成360°的新资产,将两者结合生成一个3D的物理世界,同时里面的动态资产可以被随意编辑和调整,实现场景的部分泛化。
生成相对于重建具备更好的泛化性,我们可以自定义地改变天气、时间、车流等条件,生成不同的场景来考验我们模型的泛化能力,评价自动驾驶系统在各种条件下的适应能力。
在这样的无限环境里,我们可以进行自动驾驶系统的充分学习和考试,让用户获得一个高效、安全和舒适的自动驾驶系统。