综述北航基于视觉的无人机定位与导航方法研究

主要贡献

全面总结了基于视觉的无人机定位与导航技术，包括图像检索和图像匹配两大类定位方法，以及障碍物检测与规避、路径规划两类导航方法，揭示了现有技术的优势和局限。
特别关注了近年来基于深度学习的最新技术进展，如图像检索中的深度学习方法、图像匹配中的深度学习特征匹配方法等，并对这些方法在不同场景中的定量和定性性能进行了系统性梳理和分析。
深入探讨了无人机视觉定位与导航领域所面临的核心挑战，例如数据集多样性不足、实时性要求、能源限制以及复杂环境的适应性，并展望了未来研究的关键方向。

引言

无人机的应用背景

应用领域广泛：无人机因其便携性、机动性和灵活性，在多个领域得到了广泛应用，包括农业、消防、测绘、航拍和娱乐等。
具体应用举例：

农业：无人机能够高效地进行作物监测和病虫害预防。
测绘：无人机的使用大大提高了地形测绘的效率和精度。
物流：无人机正逐渐成为快递配送的新选择，尤其是在偏远或难以到达的地区。
紧急救援：无人机能够迅速穿越难以通行的地带，进行搜救行动和灾害评估。

定位与导航技术的重要性

依赖全球导航卫星系统：无人机通常依赖GNSS（如GPS）进行定位和导航，但在某些环境中（如城市峡谷、室内、地下等），GNSS信号可能会丢失或受到干扰，严重影响无人机的定位精度和操作安全。
GNSS的局限性：GNSS在长距离无线电通信方面存在多种缺陷，如非视距接收、多路径效应和欺骗信号等，这推动了补充或取代卫星导航的新方法的发展。

于视觉的定位与导航技术

视觉定位与导航的优势：通过无人机搭载的视觉传感器（如摄像头）捕捉实时图像，结合惯性传感测量单元（IMU），无人机能够在无GPS信号的情况下自主定位与导航。
应用场景：这种技术不仅提高了无人机的操作灵活性和任务适应性，还极大地拓展了其应用场景，使其能够在复杂环境中自主飞行。
技术挑战：尽管视觉定位与导航技术具有巨大潜力，但仍面临许多挑战，如在低光照或直射阳光下有效工作、处理动态场景中的飞行障碍以及提高算法的实时性和鲁棒性等。

研究现状与综述意义

现有研究综述：尽管已有研究对无人机定位方法或导航方法进行了综述，但这些工作主要关注传统方法，对近年来基于深度学习的最新技术进展调研不足。
本文贡献：本文系统性地梳理了基于视觉的无人机定位与导航技术，全面总结了该领域的研究现状和发展趋势。特别关注了近年来基于深度学习的最新技术进展，包括图像检索、特征匹配、双目避障及强化学习等方法，并对这些方法在不同场景中的定量和定性性能进行了系统性梳理和分析。

研究目的

提高实时性和鲁棒性：本文旨在进一步提高基于视觉的无人机定位与导航方法的实时性和鲁棒性，使无人机能够在GNSS拒止环境下实现自主定位与导航。
提供研究参考：通过对现有方法进行全面回顾与多维度分析，本文为研究人员提供深入理解和实践指导，为未来的发展提供参考。

无人机视觉定位

无人机在空中飞行时，首先需要解决自身定位的问题。定位技术是实现无人机自主飞行的核心技术之一，尤其是在全球导航卫星系统（GNSS）信号受限的环境中，视觉定位技术显得尤为重要。视觉定位技术利用无人机搭载的视觉传感器（如摄像头）捕捉的图像，结合惯性测量单元（IMU）的数据，实现无人机的自主定位。

无人机视觉定位方法概述

无人机视觉定位方法主要分为两大类：图像检索方法和图像匹配方法。这两种方法各有优缺点，适用于不同的场景和需求。

图像检索方法：通过从预先构建的地理数据库中搜索与查询图像相似的图像，以估计无人机的绝对位置。此类方法在具有标注数据的大范围环境中具有显著优势，尤其适用于目标环境中具有明显地标或参考特征的场景。
图像匹配方法：通过直接比较无人机当前图像与参考图像之间的特征（如特征点和图像内容）来确定相对位置信息。此类方法在缺乏全局地理数据库或动态环境中（如飞行器进入GPS信号受限区域）具有优势，能够通过特征匹配实现位置跟踪，获得更加精准的位置。

图像检索方法

图像检索方法的核心在于从数据库中快速准确地找到与当前无人机视角图像相似的图像，从而确定无人机的位置。根据实现方式的不同，图像检索方法可以进一步分为传统方法和基于深度学习的方法。

传统图像检索方法

传统图像检索方法主要依赖于图像的低层次特征，如颜色、纹理、形状等。这些方法通过计算特征之间的相似度来进行图像检索。以下是一些具体的实现方法：

归一化互相关（NCC）：Van Dalen等人提出使用归一化互相关系数作为相似度度量，并结合粒子滤波框架，将无人机捕获的图像与全局参考图进行对齐，从而实现定位。
改进的Cholesky分解：Magree等人通过改进Cholesky分解来存储协方差矩阵，提高了计算效率，解决了标准EKF在SLAM框架中可能出现的数值不稳定问题。
互信息（MI）：Yol等人提出使用互信息作为相似度度量，通过最大化互信息来估计相机相对于参考图像的位置变换，提高了对光照和季节变化的鲁棒性。

传统图像检索方法的优点在于计算资源需求较低，适合资源受限的无人机平台。然而，这些方法在处理光照变化、图像噪声、视角差异等方面表现出较低的鲁棒性，难以处理低重叠度或跨尺度的图像对。

基于深度学习的图像检索方法

随着深度学习技术的发展，基于深度学习的图像检索方法逐渐成为主流。这些方法通过卷积神经网络（CNN）提取高层次的语义特征，从而实现更准确的图像匹配。以下是一些具体的实现方法：

局部模式网络（LPN）：Wang等人提出了一种局部模式网络，通过方形环分区策略，使网络关注邻近区域的上下文信息，从而提高匹配精度。
基于Transformer的特征分割与区域对齐（FSRA）：Dai等人提出了一种基于Transformer的结构，通过特征图的热分布划分区域，并在不同视图中对齐特定区域，提高了模型对上下文信息的理解能力。
联合学习表示与关键点检测（RK-Net）：Lin等人提出了一种联合学习框架，通过引入单元减法注意模块（USAM），自动发现具有代表性的关键点，并将注意力集中在这些点附近区域，从而提高匹配精度。

基于深度学习的图像检索方法在处理复杂环境、光照变化和视角变化时表现出更强的鲁棒性。然而，这些方法对计算资源的需求较高，可能在资源受限的无人机平台上受到限制。

图像匹配方法

图像匹配方法通过比较无人机当前图像与参考图像之间的特征点，实现精确的定位。根据实现方式的不同，图像匹配方法可以进一步分为传统特征点匹配方法、基于深度学习的图像匹配方法和视觉里程计方法。

传统特征点匹配方法

传统特征点匹配方法主要依赖于经典的特征检测和描述技术，如SIFT、SURF和ORB等。以下是一些具体的实现方法：

随机抽样一致算法（RANSAC）：Seema等人提出使用RANSAC算法进行特征点匹配，通过筛选匹配点来确定无人机的位置。
光流估计：Shan等人提出结合光流估计和HOG特征描述，使用粒子滤波器进行全局搜索，从而提高定位的准确性和效率。

传统特征点匹配方法在处理光照变化、旋转、尺度变化等方面表现出一定的鲁棒性，但对特征点的依赖较强，计算复杂度较高。

基于深度学习的图像匹配方法

基于深度学习的图像匹配方法通过卷积神经网络提取图像的高级特征，从而实现更精确的匹配。以下是一些具体的实现方法：

深度城市特征：Amer等人提出使用CNN提取城市或区域的视觉特征，通过这些特征完成识别和定位任务。
多任务多阶段神经网络：Marcu等人设计了一种多任务多阶段神经网络，可以在一次前向传播中同时解决语义分割和定位问题，适用于资源受限的无人机平台。

基于深度学习的图像匹配方法在处理复杂场景和环境变化时表现出更强的鲁棒性，但对计算资源的需求较高。

视觉里程计方法

视觉里程计方法通过分析连续图像帧之间的运动，估计无人机的相对运动轨迹。以下是一些具体的实现方法：

视觉教学与重复（VT&R）：Warren等人提出使用视觉教学与重复技术，通过将无人机捕获的实时视图与之前构建的局部地图进行匹配，实现无人机的视觉定位和控制。
联合优化：Goforth等人提出一种联合优化方法，通过最小化相邻无人机帧和卫星地图之间的误差，优化无人机的姿态估计。

视觉里程计方法在动态环境中表现出较强的适应性，但对光照变化和低纹理场景的鲁棒性仍有提升空间。

对比与分析

定性对比

图像检索方法和图像匹配方法在原理、算法、适用场景和匹配精度等方面存在显著差异。以下是它们的详细对比：

图像检索方法：

优点：计算复杂度低，适合大规模数据库的快速查询，对光照变化和部分遮挡具有一定的鲁棒性。
缺点：匹配精度较低，对结构相似但内容差异较大的图像可能出现误判。

图像匹配方法：

优点：通过精确的特征点匹配，能够实现高精度的定位和匹配，适合需要精确分析和决策的场景。
缺点：计算复杂度高，对图像质量和特征点的依赖较强，特征点稀少或图像质量较差时匹配效果可能不佳。

定量对比

为了更全面地评价不同方法在数据集上的表现，研究者们开发了更为标准化的公共数据集，以便更公平地评估算法的性能。以下是几个常用的无人机视觉定位数据集及其评估指标：

数据集：

University-1652：包含由72所大学1,652栋建筑的无人机视图、地面视图和卫星视图组成的图像数据对。
SUES-200：包含120个类别的无人机视图和卫星视图，覆盖不同高度（150m、200m、250m、300m）的数据。
DenseUAV：专注于低空城市场景，包含无人机视图和卫星视图，数据密集采样。

评估指标：

Recall@K（R@K）：衡量在前K个返回结果中正确结果的比例。
平均精度（Average Precision, AP）：衡量检索结果的精确度和召回率之间的综合表现。
鲁棒性（Robustness, RB）：衡量模型在不同飞行高度的鲁棒性。
空间距离度量（Spatial Distance Metric, SDM@K）：结合Recall@K的特征，提供更准确的定位精度度量。

分析：

图像检索方法：在大规模数据库中表现出较高的效率，适合快速检索和粗略定位。例如，MuSe-Net在不同环境下的综合表现最好，但在精确度上不如图像匹配方法。
图像匹配方法：在精确度上表现出显著优势，特别是在复杂环境中。例如，SDPL在多个数据集上均取得了最高的R@1和AP指标，显示出其在特征点匹配和定位精度上的强大能力。

无人机视觉导航

无人机视觉导航是利用计算机视觉技术实现无人机自主导航和控制的关键技术。通过摄像头等视觉传感器获取环境信息，无人机可以进行环境感知、障碍物检测、路径规划等任务，从而在复杂环境中实现自主飞行。视觉导航不仅依赖于精准的定位，还需要结合路径规划和障碍物规避等技术。

障碍物检测和规避方法

障碍物检测和规避是无人机自主导航的关键组成部分，能够显著提升无人机的自主性和飞行安全性。根据实现方式的不同，障碍物检测和规避方法可以分为三类：基于光流的方法、基于双目的方法和基于SLAM的方法。

基于光流的方法通过分析单个摄像机捕获的图像序列中的像素运动，推测障碍物的位置和运动方向。这些方法通常计算简单，适合实时避障。以下是一些具体的实现方法：

Lucas-Kanade梯度法：Ameli等人提出了一种基于Lucas-Kanade梯度法的光流方法，通过分析连续图像帧中的像素运动来估计障碍物的距离和方向。
昆虫仿生视觉：Strübbe等人提出了一种受昆虫视觉启发的光流方法，通过模拟昆虫视觉神经解剖学的Reichardt模型，生成全局光流和自我运动估计。
二次多项式光流估计：Lin等人提出了一种基于二次多项式展开的光流估计方法，通过优化像素运动的平滑限制和均匀性参数，提高光流估计的精度和速度。

基于光流的方法的优点在于计算简单，适合实时处理，但其精度有限，特别是在纹理较少或环境光照变化明显时，鲁棒性较低。

基于双目的方法

基于双目视觉的方法利用两台相机从不同角度同时捕捉环境图像，通过计算图像之间的视差生成深度图，从而提取环境的三维信息。这些方法能够生成精确的深度信息，适合复杂环境中的障碍物检测。以下是一些具体的实现方法：

立体视觉占据图：Hrabar等人提出了一种结合概率路线图和D*Lite的路径规划方法，使用基于立体视觉的占据图进行动态重新规划，能够检测并避开电线杆等障碍物。
前视立体相机：Matthies等人构建了一个微型无人机户外飞行避障系统，使用前视立体相机对进行障碍检测，并通过视差图进行碰撞检查。
恒速避障策略：Tijmons等人提出了一种基于立体视觉的恒速避障策略，适用于受限的机载传感和处理设备，能够在未知环境中进行自主导航。

基于双目视觉的方法的优点在于深度信息精度高，能够精确识别障碍物，但需要较高的计算资源进行视差计算和深度图生成，特别是高分辨率图像。

基于SLAM的方法

基于SLAM（Simultaneous Localization And Mapping）的方法通过同时构建环境地图和确定自身位置，使无人机能够在未知环境中实现自主导航与避障。这些方法集成了传感器数据处理、环境感知、路径规划和运动控制等多个模块。以下是一些具体的实现方法：

自适应地图特征点生成：Bai等人提出了一种基于PTAM算法的自适应地图特征点生成方法，能够在室内光线不足和特征点数量较少的情况下，降低系统对特征点数量和照明条件的依赖。
ORB-SLAM：Esrafilian等人提出了一种基于ORB-SLAM的方法，通过计算无人机的3D位置和生成稀疏点云图，处理视频数据并生成无碰撞路径。
非线性模型预测控制（NMPC）：Potena等人提出了一种结合NMPC的避障方法，通过添加动态和静态避碰功能，优化路径规划，确保无人机在复杂环境中的安全操作。

基于SLAM的方法的优点在于精度较高，能够在未知和复杂环境中提供强大的自主导航能力，但计算复杂度高，需要实时处理大量传感器数据和图像。

路径规划方法

路径规划是无人机导航中的关键任务，需要根据一系列性能特征（如最低工作成本、最短飞行时间和最短路线）确定从起点到目的地的最有效路径。路径规划方法可以分为全局路径规划和局部路径规划。

全局路径规划方法

全局路径规划方法根据起点和目标点的位置创建初始路径，依赖静态地图来进行导航任务。这些方法通常分为启发式搜索方法和基于优化的方法。以下是一些具体的实现方法：

改进的A*算法：Vachtsevanos等人设计了一种支持高级控制和任务规划算法的混合硬件/软件平台，使用改进的A*算法选择最佳路径。
稀疏A*搜索：Szczerba等人提出了一种稀疏A*搜索方法，通过引入空间搜索限制和实时参数调整，降低计算复杂度。
动态A*算法：Stentz提出了动态A算法（D算法），适用于部分或未知的动态环境，能够实时更新路径规划。

全局路径规划方法的优点在于能够提供最优的整体路径，但在动态环境中可能不如局部路径规划灵活。

局部路径规划方法

局部路径规划方法在局部环境中实时规划路径，适应动态变化的场景。这些方法通常使用局部环境数据和无人机的状态估计来规划动态避碰的局部路径。以下是一些具体的实现方法：

分子力场算法：Wang等人提出了一种基于分子力场的无人机群最优部署算法，通过虚拟力场控制无人机的移动，实现最大覆盖。
人工势场法：Souza等人提出了一种利用人工势场法计算障碍物路径的方法，通过旋转涡流场避免局部最小值和碰撞。
遗传算法：Shen等人提出了一种基于多级约束处理的进化算法，使用遗传算法优化无人机的路径规划。

局部路径规划方法的优点在于能够快速响应环境变化，鲁棒性强，但可能会陷入局部最优。

深度学习路径规划方法

深度学习路径规划方法利用深度神经网络处理复杂的环境感知和决策问题，通过对海量数据的训练，提高无人机的自主导航能力。这些方法可以分为基于强化学习的方法和基于神经网络的方法。以下是一些具体的实现方法：

深度强化学习：Maciel-Pearson等人提出了一种基于深度强化学习的方法，通过双状态输入策略，结合原始图像和位置信息，优化无人机的导航策略。
模仿学习与强化学习结合：He等人提出了一种将模仿学习和强化学习结合的方法，通过专家演示数据加速训练过程，解决从模仿学习到强化学习的分布不匹配问题。
端到端强化学习：Theile等人提出了一种基于端到端强化学习的方法，通过双深度Q网络（DDQN）优化无人机的路径规划，适用于不同的电力约束条件。

深度学习路径规划方法的优点在于能够适应复杂环境和动态变化，具有较强的泛化能力，但对计算资源的需求较高。

对比与分析

在无人机视觉导航任务中，障碍物检测和规避方法与路径规划方法承担着不同的功能任务。障碍物检测和规避方法侧重于安全性和实时性，确保无人机能够及时规避障碍物；而路径规划方法则更关注路径的全局优化和导航效率。

定性对比

障碍物检测和规避方法：

基于光流的方法：计算简单，适合实时避障，但精度有限，鲁棒性较低。
基于双目的方法：深度信息精度高，适合复杂环境，但计算复杂度高。
基于SLAM的方法：精度高，适合未知环境，但计算复杂度高，对特征点依赖较强。

路径规划方法：

全局路径规划：能够提供最优路径，但动态适应性较差。
局部路径规划：能够快速响应环境变化，但可能陷入局部最优。
深度学习路径规划：适应复杂环境，泛化能力强，但计算资源需求高。

定量对比

成功率（Success Rate）：衡量算法在给定测试场景中成功避开障碍物并完成任务的比例。
路径长度（Path Length）：无人机从起点到终点沿规划路径的总距离，用于评估路径优化的程度。
均方根误差（RMSE）：评估实际路径与规划路径之间的偏离程度，数值越低，路径精度越高。
绝对轨迹误差（ATE）：衡量实际路径与目标路径之间的整体误差，用于评估导航精度。
平均位姿误差（APE）：评估路径规划过程中无人机的姿态误差，包括位置误差和旋转误差。
平均超体积（HV）：衡量路径规划中多目标优化的效果，越高表示算法在更多优化目标中表现出色。
平均平方误差（MSE）：评估无人机在路径规划中的预测值与真实值之间的误差。
平均绝对误差（MAE）：衡量预测值与真实值偏差的指标，直观体现预测误差。

通过定量对比，可以更好地评估不同导航方法在不同环境下的性能表现，为实际应用提供参考。

挑战与未来展望

公共可用数据集

现状：

无人机视觉定位与导航的有监督学习需要可靠的样本和标签，但该领域缺乏现实世界和开源的定位导航数据集。
数据集的多样性和质量直接影响模型的泛化能力和实际应用效果。目前的数据集大多集中在特定场景，缺乏多地形和多环境条件的覆盖。

挑战：

数据多样性不足：现有数据集多为单一场景或特定环境，缺乏多样性和复杂性，难以覆盖无人机在实际应用中可能遇到的各种环境。
多模态数据缺乏：现有数据集大多只包含视觉信息，缺乏激光雷达、IMU等多源传感器数据，限制了多模态融合模型的训练。

未来展望：

开发更多数据集：需要开发更多种类和规模的数据集，覆盖不同地形和环境条件，以便全面评估算法的性能和鲁棒性。
多模态数据集：构建包含多模态信息的数据集，如视觉、激光雷达、IMU等多源传感器数据，以便训练多模态融合模型。
多任务学习数据集：开发支持多任务学习的数据集（如同时包含定位、避障和目标识别任务），进一步推动该领域的发展。

硬件加速

现状：

目前的无人机定位与导航方案大多在离线环境下实现，很少有作者探索嵌入式和实时定位导航解决方案。
大多数GNSS拒止的自主导航任务需要密集的机载计算资源，导致比无地图导航花费更多的时间。

挑战：

计算资源限制：无人机的计算资源有限，难以满足复杂视觉算法的实时性要求。
功耗限制：无人机的电池容量有限，对搭载的计算设备和传感器的功耗提出了严格限制。

未来展望：

硬件加速技术：使用FPGA、GPU、TPU等硬件加速器来加速地图构建和深度学习模型的推理速度，提高导航和定位的精度和效率。
低功耗算法：设计低功耗的算法和硬件，探索能源管理策略，如在非关键时刻关闭部分传感器或计算模块，通过能量回收技术延长电池寿命。

环境复杂性

现状：

无人机在现实世界中飞行时，会遇到各种复杂和动态的环境，如天气变化、障碍物干扰和光照条件变化等。
这些因素对无人机视觉定位和导航系统提出了极高的要求。

挑战：

环境适应性不足：现有算法在低光环境、强烈阳光反射、雨雪天气等复杂环境中的适应性不足。
真实环境测试不足：虽然有研究使用风格迁移技术生成不同光照和天气的数据，但生成数据与真实数据的分布之间仍存在差异，缺乏真实环境中的测试。

未来展望：

预处理和增强方法：设计专门的预处理和增强方法，提高算法在复杂环境中的鲁棒性。
真实环境测试：在真实环境中进行测试，验证算法的实际性能和适应性。

多模态融合

现状：

单一视觉信号可能因天气条件或障碍物遮挡而失效，多模态传感器的融合技术可以提升感知精度和系统的鲁棒性。

挑战：

融合算法复杂：多模态数据的融合需要复杂的算法和计算资源，难以在资源受限的无人机平台上实现。
传感器校准和同步：多模态传感器的校准和同步是一个技术难题，影响融合效果。

未来展望：

轻量化多模态算法：开发轻量化的多模态感知算法，使无人机在传感器部分失效的情况下仍能完成任务。
传感器融合技术：研究高效的传感器校准和同步技术，提高多模态数据融合的精度和效率。

实时性要求

现状：

无人机的视觉定位和导航需要在飞行过程中实时处理大量图像和传感数据，以确保其能够及时做出反应。

挑战：

计算复杂度高：现有算法的计算复杂度较高，难以满足实时性要求。
分布式计算不足：缺乏有效的分布式计算和边缘计算技术，难以将部分计算任务分配到云端或地面站进行处理。

能源限制

现状：

无人机的电池容量有限，对其搭载的计算设备和传感器的功耗提出了严格限制。

挑战：

功耗优化不足：现有算法和硬件的功耗优化不足，难以在有限的能源条件下实现高效的计算和精确的导航。
能源管理策略不足：缺乏有效的能源管理策略，难以延长无人机的续航时间。

未来展望：

低功耗设计：设计低功耗的算法和硬件，探索能源管理策略，如在非关键时刻关闭部分传感器或计算模块。
能量回收技术：通过能量回收技术延长电池寿命，提高无人机的续航能力。

模拟器到真实世界的泛化

现状：

Gazebo和Unreal Engine等环境模拟器结合ROS和AirSim等飞行模拟器能够收集数据，但虚拟环境与现实世界之间存在较大差距。

挑战：

泛化能力不足：现有算法在模拟器中的表现与真实环境中的表现存在较大差异，泛化能力不足。
高保真模拟器不足：缺乏能够模拟各种环境条件和约束的高保真模拟器。

结论

基于视觉的无人机定位与导航方法在GNSS拒止环境下展现出了巨大潜力，但仍有许多技术难题亟待解决。
尽管深度学习方法在处理复杂场景和应对环境变化方面表现出色，但其对计算资源的需求较高，且在极端环境下的泛化能力仍有待提升。
此外，传统方法在特定条件下的有效性和对计算资源的低需求使其在资源受限的无人机平台上仍具有一定的适用性。