本文经自动驾驶之心公众号授权转载，转载请联系出处。
大模型今年爆火，很多领域上的应用如雨后春笋般涌现，很多优秀的工作出现，主要集中在数据生成和场景分析表述两部分，重点解决自动驾驶的长尾分布问题和场景识别。今天自动驾驶之心带大家梳理下自动驾驶行业上的大模型应用主要方案。所有论文可以在底部获取下载链接！
1、ADAPT
ADAPT: Action-aware Driving Caption Transformer（ICRA2023）
ADAPT提出了一种基于端到端transformer的架构ADAPT（动作感知Driving cAPtion transformer），它为自动驾驶车辆的控制和动作提供了用户友好的自然语言叙述和推理。ADAPT通过共享视频表示联合训练驾驶字幕任务和车辆控制预测任务。
整体架构：
ADAPT框架概述，（a） 输入是车辆的前视图视频，输出是预测车辆的控制信号以及当前动作的叙述和推理。首先对视频中的T帧进行密集和均匀的采样，将其发送到可学习的视频swin transformer，并标记为视频标记。不同的预测头生成最终的运动结果和文本结果。（b） （c）分别显示预测头~
2、BEVGPT
Generative Pre-trained Large Model for Autonomous Driving Prediction, Decision-Making, and Planning.（AAAI2024）
BEVGPT 是第一个生成式, 集预测、决策、运动规划于一体的自监督 pre-trained的大模型。输入BEV images, 输出自车轨迹, 并且能够输出对驾驶场景的预测, 该方案训练时需要高精地图。之所以叫GPT,一方面是因为利用了GPT式的自回归训练方法, 这里自回归的输入是历史的轨迹及BEV， target 是下一个BEV和轨迹。另一方面，能够做到生成, 即给定初始桢的BEV, 算法能够自己生成接下来的多帧BEV场景。该方法并不是一个从传感器输入的端到端方法, 可以看成是基于感知的结果,将后面的模块用一个模型给模型化了, 在实际中也有重要的应用价值. 比如能够基于很多驾驶回传数据的感知结果和轨迹真值来训练驾驶专家模型。
整体结构：
3、DriveGPT4
DriveGPT4 Interpretable End-to-end Autonomous Driving via Large Language Model
在过去的十年里，自动驾驶在学术界和工业界都得到了快速发展。然而其有限的可解释性仍然是一个悬而未决的重大问题，严重阻碍了自动驾驶的发展进程。以前使用小语言模型的方法由于缺乏灵活性、泛化能力和鲁棒性而未能解决这个问题。近两年随着ChatGPT的出现，多模态大型语言模型（LLM）因其通过文本处理和推理非文本数据（如图像和视频）的能力而受到研究界的极大关注。因此一些工作开始尝试将自动驾驶和大语言模型结合起来，今天汽车人为大家分享的DriveGPT4就是利用LLM的可解释实现的端到端自动驾驶系统。DriveGPT4能够解释车辆动作并提供相应的推理，以及回答用户提出的各种问题以增强交互。此外，DriveGPT4以端到端的方式预测车辆的运动控制。这些功能源于专门为无人驾驶设计的定制视觉指令调整数据集。DriveGPT4也是世界首个专注于可解释的端到端自动驾驶的工作。当与传统方法和视频理解LLM一起在多个任务上进行评估时，DriveGPT4表现出SOTA的定性和定量性能。
4、Drive Like a Human
Drive Like a Human: Rethinking Autonomous Driving with Large Language Models.
code：https://github.com/PJLab-ADG/DriveLikeAHuman
作者提出了理想的AD系统应该像人类一样驾驶，通过持续驾驶积累经验，并利用常识解决问题。为了实现这一目标，确定了AD系统所需的三种关键能力：推理、解释和记忆。通过构建闭环系统来展示LLM的理解能力和环境交互能力，证明了在驾驶场景中使用LLM的可行性。大量实验表明，LLM表现出了令人印象深刻的推理和解决长尾案例的能力，为类人自动驾驶的发展提供了宝贵的见解！
5、Driving with LLMs
Driving with LLMs: Fusing Object-Level Vector Modality for Explainable Autonomous Driving.
大型语言模型（LLM）在自动驾驶领域显示出了前景，尤其是在泛化和可解释性方面。本文引入了一种独特的目标级多模式LLM架构，该架构将矢量化的数字模态与预先训练的LLM相结合，以提高对驾驶情况下上下文的理解。本文还提出了一个新的数据集，其中包括来自10k驾驶场景的160k个QA对，与RL代理收集的高质量控制命令和教师LLM（GPT-3.5）生成的问答对配对。设计了一种独特的预训练策略，使用矢量字幕语言数据将数字矢量模态与静态LLM表示对齐。论文还介绍了驾驶QA的评估指标，并展示了LLM驾驶员在解释驾驶场景、回答问题和决策方面的熟练程度。与传统的行为克隆相比，突出了基于LLM的驱动动作生成的潜力。我们也提供了基准、数据集和模型以供进一步探索。
模型结构：
LLM驾驶体系结构概述，演示如何使用来自驾驶模拟器的对象级矢量输入来通过LLM预测动作！
6、HiLM-D
HiLM-D: Towards High-Resolution Understanding in Multimodal Large Language Models for Autonomous Driving.
自动驾驶系统通常针对不同的任务使用单独的模型，从而产生复杂的设计。这是首次利用奇异多模态大语言模型（MLLMs）来整合视频中的多个自动驾驶任务，即风险目标定位和意图与建议预测（ROLISP）任务。ROLISP使用自然语言同时识别和解释风险目标，理解自我-车辆意图，并提供动作建议，从而消除了特定任务架构的必要性。然而，由于缺乏高分辨率（HR）信息，现有的MLLM在应用于ROLISP时往往会错过小目标（如交通锥），并过度关注突出目标（如大型卡车）。本文提出了HiLM-D（在用于自动驾驶的MLLMs中实现高分辨率理解），这是一种将人力资源信息整合到用于ROLISP任务的MLLMs中的有效方法。
HiLM-D集成了两个分支：
（i） 低分辨率推理分支可以是任何MLLMs，处理低分辨率视频以说明风险目标并辨别自我车辆意图/建议；
（ii）HiLM-D突出的高分辨率感知分支（HR-PB）摄取HR图像，通过捕捉视觉特异性HR特征图并将所有潜在风险优先于仅突出的目标来增强检测；HR-PB作为一个即插即用模块，无缝地适应当前的MLLM。在ROLISP基准上的实验表明，与领先的MLLMs相比，HiLM-D具有显著的优势，在BLEU-4中用于字幕的改进为4.8%，在mIoU中用于检测的改进为17.2%。
7、LanguageMPC
LanguageMPC: Large Language Models as Decision Makers for Autonomous Driving.
这项工作将大型语言模型（LLM）作为需要人类常识理解的复杂AD场景的决策组件。设计了认知途径，以实现LLM的全面推理，并开发了将LLM决策转化为可操作驾驶命令的算法。通过这种方法，LLM决策通过引导参数矩阵自适应与低级控制器无缝集成。大量实验表明，由于LLM的常识性推理能力，提出的方法不仅在单车任务中始终优于基线方法，而且有助于处理复杂的驾驶行为，甚至多车协调。本文在安全性、效率、可推广性和互操作性方面，为利用LLM作为复杂AD场景的有效决策者迈出了第一步，希望它能成为该领域未来研究的灵感来源。
网络结构：
8、Planning-oriented Autonomous Driving
今年CVPR2023的best paper！UniAD将各任务通过token的形式在特征层面，按照感知-预测-决策的流程进行深度融合，使得各项任务彼此支持，实现性能提升。在nuScenes数据集的所有任务上，UniAD都达到SOTA性能，比所有其它端到端的方法都要优越，尤其是预测和规划效果远超其它模型。作为业内首个实现感知决策一体化自动驾驶通用大模型，UniAD能更好地协助进行行车规划，实现「多任务」和「高性能」，确保车辆行驶的可靠和安全。基于此，UniAD具有极大的应用落地潜力和价值。
9、WEDGE
WEDGE：A multi-weather autonomous driving dataset built from generative vision-language models.
开放的道路给自主感知带来了许多挑战，包括极端天气。在好天气数据集上训练的模型经常无法在这些分布外数据（OOD）设置中进行检测。为了增强感知中的对抗性鲁棒性，本文引入WEDGE（WEather Images by DALL-E GEneration）：一个通过提示用视觉语言生成模型生成的合成数据集。WEDGE 由 16 种极端天气条件下的 3360 张图像组成，并用 16513 个边框手动注释，支持天气分类和 2D 目标检测任务的研究。作者从研究的角度分析了WEDGE，验证了其对于极端天气自主感知的有效性。作者还建立了分类和检测的基线性能，测试准确度为 53.87%，mAP 为 45.41。WEDGE 可用于微调检测器，将真实世界天气基准（例如 DAWN）的 SOTA 性能提高 4.48 AP，适用于卡车等类别。
原文链接：https://mp.weixin.qq.com/s/jJkwrf_-1mjO4yGjbJXb3Q