仿站容易还是建站容易,免费.net网站空间,企业做网站要注意些什么,扁平化蓝色网站在上一讲《Coursera自动驾驶课程第2讲#xff1a;The Requirements for Autonomy》中我们了解到了如何划分自动驾驶汽车等级、以及自动驾驶三大模块#xff1a;感知、决策和执行。 本讲我们将学习新的模块#xff1a;自动驾驶汽车的硬件和软件架构。 B站视频链接#xff…在上一讲《Coursera自动驾驶课程第2讲The Requirements for Autonomy》中我们了解到了如何划分自动驾驶汽车等级、以及自动驾驶三大模块感知、决策和执行。 本讲我们将学习新的模块自动驾驶汽车的硬件和软件架构。 B站视频链接https://www.bilibili.com/video/BV1WE411D74g?p1 1.Sensors and Computing Hardware理解 1.1 Sensors 这里给出了传感器的定义传感器是测量或检测环境某些属性或随时间变化的任何设备。传感器根据其记录的属性大致可以分为两类如果是记录了周围环境特性那么传感器是exteroceptive。 另一方面如果传感器记录了自车属性则它们是proprioceptive的。 下面我们来一起认识自动驾驶车辆常见的传感器。 1.2 Camera 相机或摄像头是自动驾驶中最常用的传感器。它是一种被动式集光传感器能够捕获有关场景的丰富、详细的信息。实际上也有些专家认为相机是真正实现自动驾驶所需的唯一传感器。但是仅凭视觉尚无法实现最先进的性能。在谈论相机时我们通常倾向于谈论三个重要的比较指标 我们根据分辨率选择相机。分辨率是创建图像的像素数。因此这是一种指定图像质量的方法。我们也可以根据视野选择摄像机。视野由照相机可见的水平和垂直角度范围定义可以通过选择镜头和变焦来改变视野。另一个重要指标是动态范围。摄像机的动态范围是图像中最暗和最亮色调之间的差异。高动态范围对于自动驾驶汽车至关重要因为在驾驶过程中尤其是在夜间会遇到可变的照明条件。 相机和摄像头的选择需要考虑很多因素需要在视野和分辨率之间进行这种。较宽的视野允许在环境中有较大的视野。但是从一个特定物体吸收光的像素更少。随着视野的增加我们需要提高分辨率以仍然能够以相同的质量感知我们可能会遇到的各种信息。还存在影响感知的照相机的其他属性例如焦距景深和帧频等。 上面是单目摄像头自动驾驶中常见的还有双目摄像头即具有重叠视场和对齐图像平面的两个摄像头的组合。 双目摄像头可以从同步图像对目标进行深度估计。一张图像中的像素值可以与另一张图像进行匹配从而产生视差图。 然后可以使用该视差来估计每个像素的深度。 1.3 LIDAR 激光雷达是自动驾驶车辆常见的3D传感器。LIDAR感应原理为将光束发射到环境中并测量反射的回波。 通过测量返回的光束飞行时间。 可以估计到反射物体的范围内的强度。 LIDAR通常包括带有多个堆叠光源的旋转元件。 并·输出三维点云图·这对于评估场景几何非常有用。 由于它是具有自己的光源的有源传感器因此LIDAR不受环境照明的影响。 因此在恶劣或多变的照明条件下操作时激光雷达不会像摄像机一样面临挑战。 现在来一起讨论激光雷达一些比较重要的性能指标 第一个是它包含的beams 数量目前常见线数为大小为16、32、64和128线。第二点是·每秒可以收集的点数·。点收集越快3D点云就越详细。第三个是转速。此速率越高更新3D点云的速度就越快。第四个是视野即可检测的角度范围。最后还有一种高分辨率固态激光雷达。 1.4 RADAR 毫米波雷达的使用寿命比LIDAR更长可以可靠地检测环境中的大型物体。 通常会根据探测范围视野以及位置和速度测量精度选择雷达。毫米波雷达常见有两种检测范围一种具有较宽的视角范围但测量范围很近另一种视野狭窄但测量范围更远。 1.5 Ultrasoncis 超声波雷达是一种短距离测量传感器。 非常适合用于停车场景在这种情况下自车需要非常缓慢的接近其他车辆。另一个优势是它们的成本很低。 而且就像雷达和激光雷达一样它们不受光照和降水的影响。 通常可以根据其测量的范围视野及其成本来进行选择。 1.6 GNSS/IMU 上面介绍的传感器是用来检测车辆周围环境现在让我们来认识一些检测自车状态的传感器。这里最常见的是全球导航卫星系统简称GNSS例如GPS惯性测量单元或IMU。 GNSS接收器用于测量自我车辆的位置速度有时甚至还提供航向信息。精度在很大程度上取决于实际的定位方法。IMU可以测量自转车辆的角速度加速度并且可以将组合的测量结果用于估算车辆的3D方向。前进方向对车辆的控制很重要。 最后还有有车轮里程传感器。该传感器跟踪车轮的旋转速度并使用这些速度来估算自车的速度和前进方向速度。 简单总结来说当今用于自动驾驶感知的主要传感器包括摄像头雷达激光雷达超声波雷达GNSSIMU和车轮里程计等。这些传感器具有不同的特性包括分辨率检测范围和视野。为自动驾驶汽车选择合适的传感器配置并非易事。下面是一张示意图显示了每个传感器以及它们通常在汽车上的安装位置。 1.7 Computing Hardware 最后让我们来认识一下当今自动驾驶汽车中最常用的计算硬件。 其中最关键的部分是自动驾驶大脑这是汽车的主要决策单元。它接收所有传感器数据并输出驾驶车辆所需的命令。现在越来越多的大公司偏向于设计自己的大脑系统以满足其传感器和算法的特定要求。但是也存在一些可以开箱即用地处理自动驾驶负载的硬件。最常见的例子是Nvidia的Drive PX和IntelMobileye的EyeQ。 任何用于自动驾驶的计算大脑都需要串行和并行计算模块。特别是对图像和LIDAR处理进行分割对象检测。在这里常用的GPUFPGA和ASICs它们是用于执行特定类型计算的专用硬件。例如Drive PX包括多个GPU。 EyeQ具有FPGA来加速可并行化的计算任务例如图像处理或神经网络推理。 最后简要介绍一下传感器时间同步硬件。因为我们要根据道路场景的连贯性做出驾驶决策。GPS依靠极其精确的计时来起作用因此GPS可以在可用时充当适当的参考时钟。无论如何传感器测量值必须加上时间戳记并带有一致的时间以使传感器融合功能正常发挥作用。 2.Hardware Configuration Design 2.1 Overview 上一个视频视频介绍了自动驾驶中常见的传感器。本视频将会介绍在不同驾驶场景中对传感器测量覆盖范围的需求将分为两个场景来讨论Highway和Urban。 在讨论覆盖率之前让我们先定义车辆减速度假设一个激进的车辆减速度为5m/s25m/s^25m/s2这大约是猛踩刹车并在紧急情况下尝试突然制动时遇到的减速度。而正常的车辆减速度一般为2m/s22m/s^22m/s2这样在乘客感到舒适的同时车辆也会快速停住。对于恒定的减速度可以根据如下公式计算制动距离ddd。 dv22ad\frac{v^2}{2a}d2av2​ 其中vvv是车速aaa是其减速度。我们有时候还需要考虑制动系统的反应时间和路面摩擦系数等。 现在让我们谈谈覆盖率。我们要回答的问题是我们应该在哪里安装传感器以便为驾驶任务提供足够的输入 实际上我们希望我们的传感器捕获我们所想到的ODD或系统可以为其做出决策的ODD。 现在我们考虑两种场景高速公路和城市情况。对于高速公路车流量很大并且有很多车道需要监控但是所有车辆的行驶方向都是相同的。 在高速公路上行驶的另一个特点是弯道越来越少而且通常也需要考虑退出和合并 另一方面在城市情况下将考虑适度的交通流量和中等速度的交通车道数量较少但交通流向四面八方尤其是在交叉路口。 2.2 Highway 让我们先分析高速公路场景大致可以分为三种情况 紧急制动 Emergency Stop定速 Maintain Speed变道Lane Change 1) Emergency Stop 我们先讨论第一种情况紧急制动。 在紧急制动情况下如果前方道路发生拥堵我们希望能够及时停车。假设高速公路速度为120km/h我们需要能够感应到前方110米处。因此大多数自动驾驶系统的目标是感应到车辆前方150至200米的范围。同样为了避免横向碰撞或更改车道以避免撞到车道上的障碍物我们需要至少能够感知我们相邻的车道在北美车道的宽度为3.7米。 2) Maintain Speed 下面讨论第二种情况定速 为了在跟随车辆时保持速度需要在自车道上感应前方车辆。它们的相对位置和速度对于保持安全的跟随距离都很重要。假如以每小时120公里的速度行驶相对位置和速度的测量需要达到165米的范围而典型的系统为此使用100米。 在横向上我们需要知道相邻车道上任何地方发生的情况以防其他车辆试图合并到我们的车道中或者我们需要与其他车辆合并。跟踪相邻车道需要160至180度的视野并且需要40至60米的范围才能找到车辆之间的空间。 3) Lane Change 最后我们讨论第三种情况变道。 假设我们要进行图示的变道在纵向上我们需要向前看因此我们距离前方车辆要有一段安全距离我们还需要向后看才能看到后方车辆在做什么而从侧面看这比较复杂。我们可能需要超越相邻的车道。例如如果车辆试图像我们一样同时操纵进入相邻车道怎么办 总体而言下图为高速公路驾驶场景的覆盖范围要求。不同的驾驶场景对传感器的覆盖范围要求不同我们需要根据具体情况来选择符合实际需求的传感器。 2.3 Urban 下面来分析另一种场景城市情况。正如之前讨论的那样城市情况中高速公路上的车道较少但行人的复杂性却增加了。这里有六种情况。显然除了紧急制动定速和变道但同时也有一些其它情况发例如超车在十字路口处向左和向右转弯以及通过诸如大转盘等。实际上对于前三个场景覆盖率分析与高速公路分析几乎相同但是由于我们的移动速度并不快因此我们不需要相同程度的感知范围。 1) Overtaking 现在我们来讨论超车情况。 纵向上需要感知停放的汽车以及迎面而来的车辆。因此我们既需要传感器又需要较宽的短距离传感器来检测停放的汽车还需要较窄的远程传感器来确定迎面而来的车辆是否正在接近。从侧面看我们需要像在高速公路中那样观察相邻车道以外的车辆并入。 2) Turning, crossing at intersections 接下来我们来讨论十字路口情况。 对于十字交叉路口我们需要对可能发生的所有类型的运动进行全方向感知接近的车辆附近的行人转弯等等。 3) Passing roundabouts 最后对于大转盘。 由于车速较慢我们需要横向安装一个大范围的短距离传感器但由于圆周式的运动我们也需要纵向一个大范围的短距离传感器。我们需要感知所有通过回旋处的传入流量以做出正确的决策。 因此我们最终得到了针对城市案例的总体覆盖图。让我们总结一下覆盖率分析。对于我们所做的所有操作我们需要通常具有较短的视角范围的远程传感器和通常具有中至短距离感测的宽视角传感器。随着场景变得越来越复杂我们看到了对短距离至约50米的完整360度传感器覆盖范围的需求以及对纵向范围的更大要求。我们还可以添加更短距离的传感器如声纳在停车场景中非常有用。 总而言之我们对传感器的选择应取决于我们要执行的操作的要求并且应包括用于纵向危险的远程传感器和用于全向感知的宽视野传感器。配置的最终选择还取决于我们对工作条件由于故障而造成的传感器冗余以及预算的要求。对于自动驾驶汽车需要哪些传感器没有唯一的答案。 3.Software Architecture重点 3.1 Overview 本视频我们将学习用于自动驾驶汽车的模块化软件体系结构。我们将讨论以下五个软件模块 环境感知环境地图运动规划车辆控制系统管理器。 虽然本视频不会提供具体的细节但它也会帮助我们对实现自动驾驶汽车功能所需的所有软件组件有很好的了解。下面是自动驾驶汽车软件堆栈的高级软件架构。 3.2 Environment Perception 我们先来讨论第一个模块环境感知。 环境感知模块有两个主要作用首先是确定自动驾驶汽车的当前位置其次是对自动驾驶汽车周围障碍物进行分类和定位。 定位模块会接收多个传感器信息例如当前GPS位置IMU和车轮里程计然后将它们组合以输出准确的车辆位置。 动态目标检测模块使用摄像头、LIDAR、毫米波雷达来创建3D场景中动态目标的bounding box。 包含目标的位置方向和大小信息。一旦检测到目标下面通过跟踪模块进行目标跟踪。跟踪模块不仅提供目标的当前位置及其通过环境的历史轨迹。还会使用轨迹的历史记录与地图以预测未来道路上的所有动态目标。这通常是由预测模块融合所有动态目标相关信息和当前环境进行预测所有动态目标的路径。 静态目标检测模块还依靠高精度地图来识别场景中的重要静态目标。这些重要数据包括当前发现无人驾驶车辆的车道以及监管地点标牌和交通信号灯等元素。 3.3 Environmental Maps 下面我们来讨论环境地图模块。 这里我们简要讨论了三种类型的地图即占用网格地图定位地图和详细的路线图。 占用网格是车辆周围环境中所有静态对象的地图。占用网格图将环境表示为一组网格单元并关联每个单元被占用的概率。这使我们能够处理测量数据中的不确定性并随着时间的推移改进地图。 定位模块使用LIDAR或相机数据构建的定位图。在驾驶时将传感器数据与此地图进行比较以确定汽车相对于定位地图的运动。然后将此运动与其他本体传感器信息组合在一起以准确定位车辆。 详细的路线图提供了代表自动驾驶车辆当前正在行驶的驾驶环境的路段图。它以可用于运动规划的方式捕获标志和车道标记。 3.4 Motion Planning 接下来我们来讨论运动规划模块。 自动驾驶汽车的运动规划是一项艰巨的任务而且通常很难在单个过程中解决。取而代之的是当今大多数自动驾驶汽车都使用一种分解方法将问题分为以下三层。 在最高层任务规划者处理长期计划定义整个驾驶任务即从当前位置到最终目的地。为了找到完整的任务任务规划者会确定连接起点和终点的最佳路段顺序然后将其传递到下一层。行为规划者负责处理解决短期计划建立一组在沿着任务路径行驶时要执行的安全动作。如决定何时加速、减速等。最后本地规划者执行计划负责定义要驱动的行驶路径和速度曲线。 3.5 Vehicle Controller 下面我们来看看车辆控制模块。 如上图所示典型的控制器将控制问题分为纵向控制和横向控制。横向控制器输出维持计划轨迹所需的转向角而纵向控制器则调节油门齿轮和制动系统以达到正确的速度。 3.6 System Supervisor 最后我们看看系统管理器模块。 系统管理器是持续监视自动驾驶汽车各个方面并在子系统发生故障时发出适当警告的模块。有两个部分硬件管理和软件管理。 硬件监控器会持续监视所有硬件组件以检查是否有任何故障例如传感器损坏测量值丢失或信息降级。硬件主管的另一项职责是持续分析硬件输出查找与无人驾驶汽车所要执行的域不匹配的任何输出。例如如果一个摄像头传感器被纸袋挡住。软件监控器负责验证软件堆栈以确保所有元素均按正确的频率按预期运行并提供完整的输出。 4.Environment Representation 4.1 Localization Map 我们将仔细研究为表示汽车周围环境而创建的地图。我将概述传统上用于自动驾驶的三种不同的地图类型在上一个视频中已经对此进行了简要介绍。 我们将讨论的第一张地图是定位地图。 当汽车在环境中移动时此地图由连续的激光雷达点集或相机图像特征创建。然后定位模块将此地图与GPSIMU和车轮里程表结合使用来准确估算车辆的精确位置。 下面我们来详细了解定位地图的作用。自动驾驶汽车收到新的LIDAR或摄像机数据后会将其与定位地图进行比较并通过将新数据与现有地图对齐来创建自车位置的测量值。然后将该测量值与其它传感器组合在一起以估计自车的运动并最终用于控制车辆。 4.2 Occupancy Grid 下面我们讨论网格地图。 网格地图使用一组连续的LIDAR点集来构建环境地图该地图表示所有静态或固定障碍物的位置。该地图可以用于规划自动驾驶汽车的安全无碰撞路径。 网格地图是周围环境中静态物体的2D或3D离散地图。使用点云作为输入再次创建此地图以识别自动驾驶汽车周围的所有静态物体。静态的对象包括树木建筑物路缘石和所有其他不可驱动的表面。 4.3 Detailed Roadmap 下面我们来讨论第三种地图Detailed Roadmap。 详细的路线图是可以由自动驾驶汽车驾驶的整个道路网的地图。该地图包含有关道路车道的信息以及可能影响其的任何交通法规要素。详细的路线图用于计划自动驾驶汽车采用的安全有效的路线。可以通过以下三种方式之一来创建详细的路线图。·完全在线完全离线或离线·创建和在线更新。 完全在线创建的地图在很大程度上取决于感知堆栈的静态对象比例以准确标记和正确定位所有相关静态对象来创建地图。这包括所有车道边界在当前的驾驶环境中任何管制元素例如交通信号灯或交通标志车道的任何管制属性例如右转标记或人行横道。由于实时创建这种地图的复杂性很少使用这种地图创建方法。完全脱机创建的地图通常是通过多次收集给定道路的数据来完成的。带有高精度传感器的专业车辆会定期沿着道路行驶以构建离线地图。收集完成后即可使用静态对象感知以及人工标记的混合来标记信息。这种地图创建方法在生成非常详细和准确的地图时无法响应或适应不断变化的环境。第三种方法是离线创建它们然后使用新的相关信息在线更新它们。这种地图创建方法充分利用了这两种方法可创建可在驾车时进行更新的高精度路线图。 总结在本模块中我们学习了 如何在自动驾驶汽车中选择合适的传感和计算硬件以及如何根据驾驶需求设计特定的传感器[。如何分解用于自动驾驶的软件系统。代表环境的三种主要地图类型。