app界面设计欣赏网站,无锡高端网站设计制作,专门代做毕设的网站,网站开发网站定制0. 简介 关于车辆的全景环视系统网上已经有很多的资料#xff0c;然而几乎没有可供参考的代码#xff0c;这一点对入门的新人来说非常不友好。全景环视系统#xff0c;又称AVM。在自动驾驶领域#xff0c;AVM属于自动泊车系统的一部分#xff0c;是一种实用性极高、可大幅…0. 简介 关于车辆的全景环视系统网上已经有很多的资料然而几乎没有可供参考的代码这一点对入门的新人来说非常不友好。全景环视系统又称AVM。在自动驾驶领域AVM属于自动泊车系统的一部分是一种实用性极高、可大幅提升用户体验和驾驶安全性的功能。AVM汽车环视影像系统如图所示由安装在前保险杠、后备箱、后视镜上的四个外置鱼眼相机构成。该系统包含的算子按照先后顺序去畸变、四路鱼眼相机联合标定、投影变换、鸟瞰图微调、拼接融合、3D模型纹理映射等。下面我们将围绕着算子的先后顺序来对AVM进行介绍。 1. AVM算法分类 先来粗略浏览下AVM算法Pipeline包含那些算子 2D AVM 3D AVM 2. 镜头去畸变标定 首先我们需要获取每个相机的内参矩阵与畸变系数。以下是视频中四个相机分别拍摄的原始画面顺序依次为前、后、左、右并命名为 front.png、back.png、left.png、right.png .你可以看到图中地面上铺了一张标定布这个布的尺寸是 6mx10m每个黑白方格的尺寸为 40cmx40cm每个圆形图案所在的方格是 80cmx80cm。我们将利用这个标定物来手动选择对应点获得投影矩阵。 相机去畸变通常使用张正友老师的棋盘格标定方法首先通过矩阵推导得到一个比较好的初始解然后通过非线性优化得到最优解包括相机的内参、外参、畸变系数然后对鱼眼图像做去畸变处理。内参即 3. 四路鱼眼联合标定 接下来我们需要获取每个相机到地面的投影矩阵这个投影矩阵会把相机校正后的画面转换为对地面上某个矩形区域的鸟瞰图。这四个相机的投影矩阵不是独立的它们必须保证投影后的区域能够正好拼起来。 这一步是通过联合标定实现的即在车的四周地面上摆放标定物拍摄图像手动选取对应点然后获取投影矩阵。 请看下图 每个标定板应当恰好位于相邻的两个相机视野的重合区域中。 在上面拍摄的相机画面中车的四周铺了一张标定布这个具体是标定板还是标定布不重要只要能清楚的看到特征点就可以了。 然后我们需要设置几个参数(以下所有参数均以厘米为单位) innerShiftWidth, innerShiftHeight标定板内侧边缘与车辆左右两侧的距离标定板内侧边缘与车辆前后方的距离。shiftWidth, shiftHeight这两个参数决定了在鸟瞰图中向标定板的外侧看多远。这两个值越大鸟瞰图看的范围就越大相应地远处的物体被投影后的形变也越严重所以应酌情选择。totalWidth, totalHeight这两个参数代表鸟瞰图的总宽高在这个里我们设置标定布宽 6m 高 10m于是鸟瞰图中地面的范围为 (600 2 * shiftWidth, 1000 2 * shiftHeight)。为方便计我们让每个像素对应 1 厘米于是鸟瞰图的总宽高为 totalWidth 600 2 * shiftWidth totalHeight 1000 2 * shiftHeight 车辆所在矩形区域的四角 (图中标注的红色圆点)这四个角点的坐标分别为 (xl, yt), (xr, yt), (xl, yb), (xr, yb) (l 表示 left, r 表示 rightt 表示 topb 表示 bottom)。这个矩形区域相机是看不到的我们会用一张车辆的图标来覆盖此处。 设置好参数以后每个相机的投影区域也就确定了比如前方相机对应的投影区域如下 4. 投影变换 投影变换的通俗理解就是假设同一个相机分别在A、B两个不同位置以不同的位姿拍摄同一个平面重点是拍摄平面例如桌面、墙面、地平面生成了两张图象这两张图象之间的关系就叫做投影变换。张正友老师的相机标定法使用的就是从标定板平面到图像平面之间的投影模型。 图中相机从两个不同的角度拍摄同一个X平面两个相机拍摄到的图像之间的投影变换矩阵H单应矩阵为 其中K为相机内参矩阵R、T为两个相机之间的外参。这个公式怎么推导的网上有很多我们只需要知道这个单应矩阵H内部实际是包含了两个相机之间的位姿关系即可。这也就解释了为什么有的AVM pipeline的方法是需要标定相机的外参然后通过厂家提供的相机安装参数将四路鱼眼全部统一到车身坐标系下而我们不需要这个过程只需要用标定布来做联合标定。其实两种方法内部都是相通的都绕不开计算相机外参这件事情。 下面就展示了我们使用标定布的过程 然后依次点击事先确定好的四个标志点 (顺序不能错)得到的效果如下 点击https://guyuehome.com/39649 可查看全文