OpenCV立体视觉深度匹配：SGBM算法详解

简介：SGBM（Stereo Block Matching with Adaptive Pruning）是一种在OpenCV中用于立体视觉的深度匹配算法，旨在提高立体匹配的精度和效率。算法涵盖了从图像预处理到后处理的整个流程，并提供了动态参数调整以优化匹配质量。该算法特别适用于解决遮挡和反射等问题，并且可以采用 cv::StereoSGBM 类来实现，通过精心设计的参数设置获取深度图。通过分析示例图像（如teddy图片），可以更深入理解算法的工作原理及其在实际应用中的优势。
1. OpenCV中立体视觉的重要性
在现代计算机视觉领域，立体视觉技术扮演着至关重要的角色。立体视觉通过分析从两个不同角度获得的图像来构建场景的三维信息。这一过程模仿了人类的双眼视觉机制，为机器提供了深度感知能力。这种能力在如自动驾驶、机器人导航、三维建模和虚拟现实等应用中显得尤为关键。
立体视觉不仅提高了计算机视觉系统的可靠性，而且拓展了它们的功能性，使之能够执行更多复杂的任务。本章将概述立体视觉在计算机视觉中的作用和重要性，为读者提供对后续章节内容的背景知识和基础理解。在接下来的章节中，我们将深入探讨Semi-Global Block Matching（SGBM）算法，这是OpenCV库中处理立体视觉的关键技术之一。通过对SGBM算法的学习，您将能够掌握如何在实际应用中运用立体视觉来实现深度感知和三维建模。
随着对立体视觉技术的深入理解，我们将逐步揭示该技术在特定应用场景中的潜力，以及如何有效地实现和优化立体视觉系统。
2. SGBM算法的基本概念和优势
2.1 SGBM算法的理论基础
2.1.1 立体匹配算法的发展历程
立体匹配算法是计算机视觉领域中解决立体视觉问题的核心技术之一。立体视觉技术模拟人类双眼观看世界的方式，通过分析来自两个不同视角的图像来获得场景的三维信息。立体匹配算法的发展历程经历了从简单的块匹配到基于图像特征的匹配，再到基于机器学习和深度学习的高级算法。

早期的立体匹配算法主要依赖于像素强度信息进行块匹配，这种方法计算量相对较小，但容易受到光照变化和纹理缺失的影响。随着算法的发展，研究人员开始引入图像特征提取，如边缘、角点和SIFT特征等，以提高匹配的准确性。近年来，随着计算能力的提升，基于深度学习的立体匹配方法开始涌现，能够自动学习和提取图像特征，显著提升了匹配的准确性和鲁棒性
2.1.2 SGBM算法的原理介绍
Semi-Global Matching（SGBM）算法是一种高效的立体匹配算法，它结合了全局优化方法与局部匹配技术的优势。SGBM算法的核心思想是在多个方向上独立地进行路径搜索，然后将这些方向上的路径代价合并起来进行全局优化，从而获得一致的视差图。

SGBM算法引入了一种称为路径代价的度量方式，通过对图像中的像素进行评分，来确定最佳的匹配。算法的全局优化通过最小化路径代价来实现，这通常通过动态规划的方法完成。SGBM算法利用了图像的连续性和几何约束，能够产生较为平滑且符合实际几何约束的视差图。
2.2 SGBM算法的优势分析
2.2.1 与其他立体匹配算法的比较
与其他立体匹配算法相比，SGBM算法在多个方面表现出了明显的优势。首先，SGBM算法在处理无纹理区域和遮挡区域方面更具鲁棒性。它通过对路径代价进行累积和优化，能够有效地处理这些困难区域，避免了因纹理缺失或重复而导致的错误匹配。

其次，SGBM算法在处理图像噪声方面也展现出了较好的性能。算法设计中考虑到了噪声的影响，并通过动态规划方法确保了结果的平滑性。这一点对于提高立体匹配的实用性和准确性至关重要，尤其是在真实世界的复杂环境中。

2.2.2 SGBM算法在实际应用中的优势
在实际应用中，SGBM算法的性能优势体现在多个方面。例如，在工业自动化领域，准确的深度信息可以用于物体定位、尺寸测量和缺陷检测。在自动驾驶领域，精确的深度感知对于环境感知系统是必不可少的，SGBM算法能够为车辆提供可靠的道路和障碍物信息。此外，在虚拟现实（VR）和增强现实（AR）领域，SGBM算法通过快速生成高精度的深度图，有助于创建更加逼真的三维场景。

SGBM算法还具有较好的可调性和适用性，能够根据不同的应用场景调整参数，以达到最佳的性能表现。算法的这些优势使其成为了立体视觉研究和应用中的重要工具。
3. SGBM算法的主要步骤和流程
3.1 SGBM算法的数据预处理
3.1.1 图像的预处理方法
在进行立体视觉深度匹配之前，图像预处理是一个重要的步骤。它包括图像灰度化、滤波去噪以及图像的校正等环节。图像灰度化是将彩色图像转换为灰度图像，这一步可以减少数据处理量，而且因为立体匹配主要是基于亮度信息，所以通常不会影响最终结果。在OpenCV中，可以使用 cv::cvtColor 函数来实现灰度化转换。
接下来是滤波去噪，由于实际拍摄的图像通常会含有噪声，这些噪声可能会干扰立体匹配的准确性。因此，在进行视差计算之前，需要对图像进行去噪处理。常用的滤波方法有均值滤波、中值滤波等，而在立体视觉中，为了更好地保留边缘信息，高斯滤波或者双边滤波通常是更合适的选择。
最后，图像校正也是预处理的一部分。立体视觉中使用的成对图像必须是校正过的，即它们的扫描线必须是共面的。这一步骤通常使用立体校正算法来完成，它可以确保左、右图像在同一个水平线上，为立体匹配打下良好的基础。
3.1.2 视差图的初始化
初始化视差图是SGBM算法中的重要步骤。视差图的初始化通常会根据拍摄的图像信息和相机参数预先设定一个合理的视差范围。对于固定的相机和拍摄距离，视差的可能值范围可以通过相机的基线距离和焦距计算得到。
在OpenCV中，初始化视差图可以使用 cv::Mat 类来创建一个与输入图像尺寸相同的矩阵，并将其数据类型设为CV_16S。这样做的好处是可以在后续的视差计算中直接使用这个视差图的数据结构，无需额外的数据类型转换。
接下来，视差图需要被赋予初始的视差值。一般来说，整个视差图会被初始化为0或一个预估的最小视差值。这是因为算法会从这个初始视差值开始，逐步计算并更新视差图中的每个像素点的视差值。
3.2.1 匹配成本计算
在立体视觉中，匹配成本是指为图像对中的每个像素找到对应点所需的计算量。SGBM算法利用半全局匹配（Semi-Global Matching）来计算匹配成本。与传统的局部匹配算法不同，SGBM算法考虑了像素在整条扫描线上的成本累积，使得匹配结果更加稳定可靠。
SGBM算法的匹配成本计算包括以下几个步骤：
像素成本计算 ：对于一对左视图和右视图中的像素，首先计算它们的亮度差异。通常使用绝对值之和或平方和来表示两个像素间的成本。
路径成本计算 ：在像素成本计算完成后，沿水平和垂直方向计算成本累积路径。这是通过累加上一像素的成本并加上当前位置的像素成本来实现的。
路径成本归一化 ：将路径成本归一化，以确保不同路径的成本具有可比性。
最小成本选择 ：最后，选择每个像素点所有路径中的最小成本作为最终的匹配成本。
SGBM算法通过构建多个这样的路径并找到最小成本的路径，最终确定像素点的视差值。
3.2.2 视差图的优化和后处理
在计算出初始的视差图后，为了提高匹配的准确性和鲁棒性，通常需要对视差图进行优化和后处理。优化步骤通常包括视差图的滤波、边缘平滑以及未匹配区域的填补等。
在SGBM算法中，后处理的一个重要步骤是使用半全局优化技术。半全局优化通过对图像进行多方向的成本聚合来优化视差图。每个像素点的最终视差值是由其周围像素点的视差值共同决定的，这样可以使得整个视差图在视觉上看起来更加连贯。
此外，为了进一步提高匹配精度，还可以使用一些局部优化算法，比如动态规划或图割技术，来调整和优化局部区域的视差值。例如，可以使用 cv::ximgproc::disparityWLSFilter 函数来进行加权最小二乘法滤波，这是一种有效的后处理方法，可以平滑视差图中的不连续区域。
在实际应用中，后处理步骤还包括对未匹配区域的处理。由于遮挡或纹理不足等因素，可能会有一些区域无法匹配成功，这些区域在视差图中通常表示为无效值。可以通过插值或者区域生长算法来填补这些区域，提高视差图的整体质量。
下面是伪代码示例：

点击查看代码

// 计算匹配成本
cv::Mat cost = cv::Mat::zeros(imageLeft.size(), CV_32F);
for (int y = 0; y < imageLeft.rows; y++) {for (int x = 0; x < imageLeft.cols; x++) {// 计算像素成本cost.at<float>(y, x) = pixelCostFunction(imageLeft, imageRight, x, y);}

在上述伪代码中， pixelCostFunction 是一个自定义的函数，负责计算两个像素之间的成本。 lambda_value 和 sigma_color 是算法调优的参数。通过上述步骤，最终得到的 filteredDisparity 即为优化后的视差图。
4. cv::StereoSGBM 类的使用方法
4.1 cv::StereoSGBM 类的基本功能
cv::StereoSGBM 是OpenCV中实现半全局块匹配算法（Semi-Global Block Matching）的类，用于计算两个摄像头图像间的视差图。这种视差图可以用来估算场景中物体的深度信息。 cv::StereoSGBM 类封装了SGBM算法的多个步骤，提供了一系列的成员函数来控制算法的执行过程和结果的优化。
4.1.1 类的结构和主要成员函数
cv::StereoSGBM 类主要包含初始化、配置和计算视差的方法。类的结构如下：
create ：创建并初始化 cv::StereoSGBM 对象。
set ：设置算法的参数。
compute ：计算左右图像间的视差图。
getMinDisparity 、 getSpeckleWindowSize 、 getDisp12MaxDiff 等：获取当前算法参数值的方法。
4.1.2 类的创建和初始化
创建 cv::StereoSGBM 对象时，需要指定视差计算的一些基本参数，例如最小视差、最大视差、P1、P2等。最小视差通常设置为0，最大视差则取决于摄像头的基线距离和所观测场景的深度范围

点击查看代码

cv::StereoSGBM sgbm;
sgbm 创建对象后，通过set方法来设置各个参数。以下为一些核心参数的设置方法和意义：- sgbm.setMinDisparity(0); // 最小视差设置为0
- sgbm.setMaxDisparity(128); // 最大视差通常设定为128或160
- sgbm.setNumDisparities(16); // P1参数，用于计算单个像素代价
- sgbm.setSpeckleRange(32); // P2参数，用于控制去噪的范围

**4.2 cv::StereoSGBM 类的高级应用** **4.2.1 参数设置和调优** cv::StereoSGBM 类允许用户对算法进行精细的调优。正确的参数设置对于生成高质量的视差图至关重要。例如，P1和P2参数对于控制匹配成本计算的平滑度和噪声影响有显著作用。

点击查看代码

int P1 = 8 * 3 * 7;  // 8条路径，每个路径3个像素，7个不同尺度
int P2 = 32 * 3 * 7;
sgbm.setP1(P1);
sgbm.setP2(P2);

**4.2.2 类在不同场景下的应用示例** 在不同的应用场景中，如工业视觉检测、自动驾驶、虚拟现实等， cv::StereoSGBM 可以针对特定的场景需求进行参数调整以达到最佳效果。在自动驾驶中，对于动态范围大的场景，可能需要增加最大视差值来适应更远距离的物体。

点击查看代码

// 自动驾驶场景下的参数设置
int maxDisparity = 160; // 适合远距离检测
sgbm.setMaxDisparity(maxDisparity);

对于虚拟现实中的三维重建，可能需要更精细的视差计算，可以通过增加视差级数或调整P1、P2等参数来实现。 通过调整 cv::StereoSGBM 的参数和对算法的工作方式的深入理解，开发者可以显著提高视差计算的质量和效率。这不仅在学术研究中重要，同样也是商业应用中对精确度和性能有着高要求的领域的一个关键因素。

5. SGBM算法参数设置和优化
Stereo Matching using Semi-Global Matching (SGBM) 是 OpenCV 中用于立体视觉的算法，它可以在不同条件的图像对中找到对应的像素点，进而估算出深度信息。该算法高度可配置，通过调整不同的参数，可以对性能和结果质量进行优化。本章节我们将详细探讨 SGBM 算法参数的意义和影响，以及如何进行优化策略的选择。
5.1 SGBM算法参数的意义和影响
SGBM 算法通过一系列参数来调整计算过程，以适应不同的应用场景和硬件环境。正确理解这些参数的含义和作用对于得到高质量的深度图至关重要。
5.1.1 主要参数的作用解析
minDisparity 和 numDisparities : 这两个参数定义了视差搜索的范围。 minDisparity 表示搜索的最小视差点，而 numDisparities 表示搜索范围的宽度。通常， numDisparities 设置为 16 的倍数。
P1 和 P2 : 这两个参数用于控制匹配代价计算的平滑性。 P1 是像素对之间代价计算的.penalty，而 P2 是一个更高级别的 penalty。它们对于控制视差图的平滑性和边缘细节的保持非常重要。
disp12MaxDiff : 用于视差图在左右匹配过程中的一致性检验，如果两个视差图之间的差异大于该值，则认为该点的视差值为无效。
preFilterCap : 在视差计算前，用于图像预处理的一个参数，主要影响通过高斯滤波后的像素值的最大范围。
5.1.2 参数调整对结果的影响分析
minDisparity 和 numDisparities 的设置决定了视差范围，过小会导致搜索范围不足而产生错误匹配，过大则会增加计算量并可能引入噪声。

P1 和 P2 的调整会影响视差图的细节和平滑度。较低的值会产生更多细节但噪声更多，较高的值则会导致过度平滑。

disp12MaxDiff 调整不当可能导致大量的视差值被标记为无效，影响结果质量。

preFilterCap 会影响算法处理噪声的能力。设置得太高可能会保留噪声，太低则可能会丢失重要细节。
5.2 SGBM算法优化策略
优化立体匹配算法是一个实验和调整的过程。通过不同的策略，我们可以找到特定场景下最佳的参数设置。

5.2.1 如何选择最佳的参数设置
对于一般情况，可以从默认参数开始实验，然后根据实际图像的质量和算法性能逐步调整。
在不同的应用中，可能需要根据场景的复杂性和计算资源限制来平衡视差图的质量和速度。
为确保算法的鲁棒性，可以采用交叉验证方法测试不同参数组合。
5.2.2 实践中的性能优化技巧
在视觉系统设计初期，应该进行参数敏感性分析，找出对结果影响最大的参数，并集中优化。
实时应用中可以考虑使用硬件加速，如利用 GPU 并行计算，或者使用针对特定硬件优化的算法实现。
可以通过分阶段处理来降低计算成本，例如首先进行低分辨率的视差估计，然后再在关键区域进行高分辨率细化
通过这一系列的策略和技巧，我们可以有效地对 SGBM 算法进行优化，以适应不同的视觉任务要求。

点击查看代码

import cv2
import numpy as np# 创建 StereoSGBM 对象
sgbm = cv2.StereoSGBM_create(minDisparity=0,numDisparities=16*5,blockSize=3,P1=8*3*3,P2=32*3*3,disp12MaxDiff=1,preFilterCap=63,uniquenessRatio=10,speckleWindowSize=100,speckleRange=32)# 计算视差图
disparity = sgbm.compute(imageL, imageR).astype(np.float32) / 16.0

在上述代码示例中，我们使用 cv2.StereoSGBM_create() 创建了一个 StereoSGBM 对象，并设置了部分关键参数。通过调整这些参数，我们可以控制算法的行为和最终输出的视差图质量。 优化算法参数是提高立体视觉系统性能的关键步骤。通过本章的学习，您应该能够对如何设置和调整 SGBM 算法参数有一个清晰的认识，并能够将这些知识应用到实际项目中去。