NVIDIA --- 端到端自动驾驶

前言

参加了NVIDIA 高级辅助驾驶开发者实验室的活动，本次活动基于 NVIDIA 汽车行业的端到端解决方案——DRIVE AGX™ 平台，实现高级别智能和安全性的软硬件开发工具和 AV 基础设施。并且NVIDIA自动驾驶实验室推出了一系列自动驾驶算法最新的前沿研究视频以供学习，其中视频 “大规模端到端驾驶” 详细的介绍了Hydra-MDP框架，接下来进行简单的梳理。

端到端自动驾驶指的是系统接收来自摄像头雷达和激光雷达的原始传感器数据，并直接输出车辆控制指令的整体方案。端到端自动驾驶已成为自动驾驶汽车领域的一个重要方向，NVIDIA提出了一种基于BEV特征的神经网络规划器。

一、传统驾驶模型

传统驾驶模型由以下几个模块组成：汽车传感器、BEV网络、BEV功能、检测、跟踪、预测、规划，最后输出一条汽车可执行的轨迹。

在这里插入图片描述

二、NVIDIA的端到端驾驶模型

与基于模块化设计，包含检测、跟踪、预测、规划和控制等独立组件的传统系统不同，端到端自动驾驶旨在简化这一过程，避免感知到规划的过程过于繁琐。

1.基本模型

NVIDIA的端到端驾驶模型，使用简约的设计将检测、跟踪、预测和规划结合到单一网络中，规划模块的输入直接来自摄像头和激光雷达等传感器生成的BEV特征图，这种简化的方式反映了基于深度学习的数据驱动方法。

在这里插入图片描述

2.自查讯向量

在这些系统中，任务被集成到一个连贯的端到端学习过程中，具体而言，该方案的端到端驾驶模型使用自查讯向量一个可学习的嵌入表达，来交叉关注BEV特征，由此改进后的自查讯向量。

在这里插入图片描述

随后通过一个多层感知器（MLP）输出规划轨迹，这种简单的设计挑战了传统假设，即有效的自动驾驶规划需要一个复杂的级联系统，该方案提出的设计简单高效，不仅具有跨平台部署的灵活性而且还能扩展以处理更大的数据集，它通过直接利用BEV特征进行规划得到了出色的性能。

在这里插入图片描述

3.通用框架

NVIDIA的端到端驾驶还提供了一个通用框架，以增强基于机器学习的规划与基于规则的规划的结合，使用多目标Hydra-distillation(多头蒸馏)作为核心策略。该方法采用多个专家教师来学习符合各种模拟指标的轨迹，此集成确保了模仿不仅模仿人类驾驶行为还遵守交通规则和安全标准解决了传统模仿学习的局限性。

在这里插入图片描述