什么是端到端自动驾驶

端到端自动驾驶是一种利用单一、统一的模型直接将从传感器(如摄像头、激光雷达等)获取的原始数据映射到车辆控制信号(如转向、油门、刹车等)的自动驾驶技术。与传统的模块化自动驾驶系统不同,它无需分步处理感知、决策、规划等任务,而是通过深度学习模型直接学习输入到输出的映射关系。目前,端到端技术成为产业和学术界研究的热点,被认为将引领自动驾驶进入下一波产业发展的浪潮。

发展历程:从神经网络到纯端到端

2016年,NVIDIA团队的论文《End to End Learning for Self-Driving Cars》首次证明端到端深度学习可直接从像素映射到方向盘控制,为端到端自动驾驶的后续研究奠定了基础。该论文提出名为 PilotNet 的卷积神经网络结构,输入是66×200×3的图像,中间经过了5层卷积提取视觉特征,如边缘、纹理,经过3层全连接回归转向角度,最终输出方向盘转向角度,该数值是一个可以直接控制车辆的连续值。

在NVIDIA团队纯模仿学习的基础上,Waymo团队于2018年通过论文《ChauffeurNet: Learning to Drive by Imitating the Best and Synthesizing the Worst》提出了一种混合模仿学习和对抗生成数据的自动驾驶方法,该方法的输入值是BEV鸟瞰图,包含车道、障碍物、交通灯等语义分割结果,以及车辆过去一秒的历史轨迹。输入的值通过CNN + LSTM组成的编码器提取空间和时间特征,在解码器中输出未来路径点进行路径轨迹预测,同时输出用于动作控制的速度和转向角信息。除了通过传统的模仿学习从人类驾驶数据中学习最佳行为之外,还通过对抗训练生成“边缘案例”(如突然切入、违规行人),强制模型学习应对高风险场景。

混合模仿学习和对抗生成数据的自动驾驶方法依赖高精地图和语义分割的输入,还不是纯端到端。2022年Waymo和Google Research团队联合发表的论文《End-to-End Model-Free Reinforcement Learning for Urban Driving》提出了一种完全基于无模型强化学习的端到端自动驾驶方法,能够在复杂的城市环境中实现高效决策,而无需依赖传统的高精地图或预定义规则。该方法能够从原始传感器输入(如摄像头、激光雷达)直接输出控制信号(转向、油门、刹车等)。

主流框架:从单纯视觉到模型赋能

 当前端到端自动驾驶的前沿框架主要包括纯视觉的端到端框架,多模态融合的端到端框架以及基于大模型的端到端框架。

在纯视觉端到端框架方面,英伟达推出了一款基于云的仿真平台NVIDIA DRIVE Sim,它利用高性能计算和逼真的虚拟环境,帮助开发者安全、高效地测试和训练自动驾驶系统,而无需依赖成本高昂且耗时的真实道路测试。其中的核心技术就是基于视觉Transformer的端到端控制。NVIDIA DriveSim 的完整技术细节尚未以独立论文形式公开发表,但DriveSim 的决策部分可能借鉴了论文《Planning-oriented Autonomous Driving》中的BEV+Transformer框架。这篇论文通过端到端学习框架,将感知、预测和规划任务统一优化,直接输出可执行的驾驶轨迹或控制指令。输入的数据是多传感器数据和高精地图,输出的数据是未来一段时间的轨迹点序列或控制指令。该框架主要采用Backbone+任务头的网络架构,Bachbone通过Camera-LiDAR跨模态注意力机制提取特征,同时将前视图或3D点云转换为BEV特征。任务头则可以输出未来轨迹的概率分布。

在多模态融合的端到端框架方面,英国自动驾驶初创公司 Wayve 推出新一代端到端人工智能自动驾驶系统Wayve AV 2.0。该平台的多模态融合技术采用“视觉主导,雷达辅助”的设计理念,实现视觉-雷达跨模态对齐。该框架首先采集多摄像头阵列及4D毫米波雷达数据,再将雷达点云转换为2D密度图,与BEV特征图相加,同时使用TCN时序卷积网络补偿摄像头与雷达的时序差异。

 在基于基于大模型的端到端框架方面,中国首个自动驾驶大模型毫末智行DriveGPT,该模型基于Transformer架构实现端到端的感知-决策一体化。其核心创新在于采用"驾驶链"技术,将复杂驾驶场景分解为逻辑子任务序列,并引入人类反馈强化学习优化决策过程。该模型通过日均100万公里真实道路数据与10亿公里仿真数据训练,已成功部署至长城汽车量产车型,支持城市NOH功能在100多个中国城市的复杂路况下运行,实现了接近人类司机的博弈能力和场景适应性。

DriveGPT的特别之处在于将大语言模型的思维链技术迁移到自动驾驶领域,使系统能像人类一样逐步推理"变道-减速-转向"的决策过程,同时通过在线学习持续进化。

目前问题:从技术实现到道德伦理

目前的端到端自动驾驶技术虽然在学术界和产业界都取得了显著进展,但仍面临诸多挑战,涵盖技术实现、产业发展等多个维度。这些问题不仅限制了现有系统的可靠性和泛化能力,也影响了大规模商业落地的进程。  

从技术实现的角度来看,端到端自动驾驶的核心问题之一是数据依赖性与泛化能力的矛盾。端到端模型通常需要海量的驾驶数据来训练,但即使如此,依然难以覆盖所有可能的驾驶场景,尤其是长尾事件(如极端天气、罕见交通事故等)。虽然模仿学习可以通过人类驾驶数据快速学习基本驾驶策略,但其性能受限于数据集的质量和多样性。强化学习虽然在仿真环境中能优化策略,但仿真到现实的迁移仍然存在显著差距,导致训练出的模型在真实路况中可能表现不稳定。此外,端到端系统的可解释性较差,黑箱特性使得调试和故障分析变得困难,这在安全至上的自动驾驶领域是一个重大隐患。  

另一个关键挑战是系统安全性与实时决策的平衡。自动驾驶汽车需要在毫秒级时间内做出决策,而端到端模型的计算复杂度较高,尤其是在使用大规模神经网络时,可能影响实时性。虽然离线强化学习和安全约束RL被引入以降低风险,但在动态开放环境(如城市复杂交通)中,模型仍可能出现不可预测的行为。例如,面对人类驾驶员的不规范操作(如加塞、违规变道),端到端系统可能缺乏合理的博弈策略,导致保守或激进的驾驶行为,影响安全性和舒适性。  

在产业发展层面,端到端自动驾驶的商业化落地仍面临高成本与法规限制。目前,大多数端到端方案仍处于研发和测试阶段,尚未形成成熟的商业模式。一方面,训练和部署高性能端到端模型需要巨大的算力支持,这使得中小型企业难以承担研发成本。另一方面,如果事故发生时无法明确是算法缺陷、传感器故障还是人为干预导致的问题,将极大阻碍技术的推广。此外,用户对完全无人驾驶的信任度仍然较低,市场接受度需要更长时间的培养。 

世界模型:从数据依赖到内部模拟

对于端到端自动驾驶数据依赖性与泛化能力的矛盾问题,个人认为可以从世界模型的角度进一步提升端到端自动驾驶的性能。

世界模型是近年来人工智能领域的重要研究方向,它通过构建对环境的内部模拟来辅助智能体决策。与传统的强化学习和模仿学习相比,世界模型在数据效率、泛化能力、长期规划等方面展现出显著优势,尤其在自动驾驶任务中表现突出。强化学习通常需要大量试错来优化策略,样本效率极低,尤其是在现实世界任务中,频繁交互可能带来高昂成本甚至安全风险。模仿学习虽然能利用专家数据减少探索,但其性能受限于数据集质量,且难以应对未见过的场景。相比之下,世界模型通过学习环境的动力学模型,可以在虚拟模拟中预测未来状态,使智能体能够在“想象”中预演不同策略的效果,而无需真实环境交互。例如,DeepMind的Dreamer系列算法利用世界模型在Atari游戏和机器人控制任务中实现了比传统RL更高效的学习。在自动驾驶中,世界模型可基于历史数据预测交通流变化,减少对真实路测的依赖。因此,端到端自动驾驶技术可以与世界模型进行深度融合,解决传统模仿学习,强化学习等在泛化能力,实际场景迁移以及罕见场景应对等方面存在的问题。

世界模型是近年来人工智能领域的重要研究方向,它通过构建对环境的内部模拟来辅助智能体决策。与传统的强化学习和模仿学习相比,世界模型在数据效率、泛化能力、长期规划等方面展现出显著优势,尤其在自动驾驶任务中表现突出。强化学习通常需要大量试错来优化策略,样本效率极低,尤其是在现实世界任务中,频繁交互可能带来高昂成本甚至安全风险。模仿学习虽然能利用专家数据减少探索,但其性能受限于数据集质量,且难以应对未见过的场景。相比之下,世界模型通过学习环境的动力学模型,可以在虚拟模拟中预测未来状态,使智能体能够在“想象”中预演不同策略的效果,而无需真实环境交互。例如,DeepMind的Dreamer系列算法利用世界模型在Atari游戏和机器人控制任务中实现了比传统RL更高效的学习。在自动驾驶中,世界模型可基于历史数据预测交通流变化,减少对真实路测的依赖。因此,端到端自动驾驶技术可以与世界模型进行深度融合,解决传统模仿学习,强化学习等在泛化能力,实际场景迁移以及罕见场景应对等方面存在的问题。

发展趋势:从低迷之谷到浪潮之巅

2023年以来,端到端自动驾驶在学术界,产业界的热度逐渐升高,特斯拉自FSD v12更新以来切换至端到端架构。国内以鸿蒙智行,小鹏汽车,元戎启行为代表的头部汽车主机厂和智能驾驶技术公司纷纷投入研发端到端系统,并于最近陆续对外发布上车量产计划。2024年5月,聚焦研发端到端自动驾驶以及自动驾驶大模型的英国初创公司Wayve AI获得了10.5亿美元融资,自2021年上半年以来,全球资本市场自动驾驶融资陷入低迷期,Wayve的融资可能意味着端到端技术将引领自动驾驶进入下一波产业发展和资本涌入的浪潮。

辰韬资本在其研报中对30余位自动驾驶行业一线专家,研究人员和公司决策者进行了问卷调查,覆盖了主机厂,算法公司,数据服务和数据链公司等与端到端密切相关的产业链环节。在受访者公司对自动驾驶的整体态度方面,端到端这一技术方向获得普遍认可,各家公司要么已经投入重要资源全面拥抱端到端,要么已经开启端到端自动驾驶的前瞻预研探索,持观望态度的极少。然而,在对端到端发展的具体预判上,受访者的分歧较大。关于落地时间的预测方面,一半左右受访者认为端到端自动驾驶会在2-5年内落地,态度非常激进(2年落地)和态度非常保守(5年以上落地)的观点也同时存在。在关于技术终局的预判方面,一半左右的受访者认为端到端是自动驾驶的最终解决方案,一半受访者认为端到端只是未来技术方案之一。在关于行业格局的预测方面,一半受访者认为端到端会催生出新的巨头公司,而现有巨头的优势将不再明显,一半受访者认为现有的巨头仍能保持竞争优势。这体现了关于端到端自动驾驶是否是一种颠覆式的创新,目前仍存在争议。

个人认为,端到端自动驾驶毫无疑问是一种突破性的创新,未来端到端的技术一定会逐步取代现有分阶段的自动驾驶框架。这是因为人工智能的发展趋势就是在朝着通用人工智能的方向发展,未来会更加注重生成式人工智能的“生成”能力,这种生成当然也包括直接生成驾驶指令,正如同当前端到端自动驾驶正在做的事情一样。但是,在越来越注重自动驾驶安全性的今天,端到端自动驾驶的落地可能不会特别快。因为毕竟端到端的网络结构更加复杂,会对反应时间带来新的挑战,同时也会带来更多决策伦理方面的问题,而这些问题目前仍未找到特别令人满意的解决方案。

责任编辑：石旭