文章：Tracking the Unstable: Appearance-Guided Motion Modeling for Robust Multi-Object Tracking in UAV-Captured Videos

代码：暂无

单位：中国科学院光电研究所

一、问题背景：无人机跟踪为啥总“掉链子”？

无人机拍摄场景有两个核心痛点，让传统跟踪算法难以应对：

• 视角多变+运动复杂：无人机飞行时视角频繁切换（近拍变远拍、左拍变右拍），且与地面目标的相对运动剧烈，导致目标外观和位置变化极大；

• 传统方法“各自为战”：现有算法大多分开处理“目标外观”和“运动轨迹”信息，忽略了两者的内在关联。一旦目标突然位移或外观模糊，就容易出现跟踪断裂、身份认错的问题。

这些问题最终导致跟踪准确率低、轨迹碎片化，严重影响无人机在安防监控、交通疏导等场景的应用效果。

二、方法创新：AMOT算法的两大“独门绝技”

研究团队提出的AMOT算法，基于联合检测与嵌入（JDE）架构，核心创新在于两个“即插即用”的模块，完美解决了传统方法的缺陷：

1. 外观-运动一致性矩阵（AMC）：让匹配更靠谱

AMC矩阵不再分开看“外观”和“运动”，而是通过双向空间距离计算，将两者深度融合：

• 先通过目标外观特征（ReID嵌入）生成响应图，预测目标在相邻帧的位置；

• 再计算“正向距离”（上一帧轨迹预测位置到当前帧检测位置）和“反向距离”（当前帧检测预测位置到上一帧轨迹位置）；

• 只有双向距离都小时，才判定为可靠匹配，大幅减少误匹配情况。

2. 运动感知轨迹延续模块（MTC）：让跟踪不中断

针对目标被遮挡、漏检导致的轨迹断裂问题，MTC模块能“复活”失联轨迹：

• 为每个轨迹维护近期状态缓存，若轨迹暂时无匹配检测，就标记为候选；

• 同时用卡尔曼滤波（运动模型）和外观特征（响应图）分别预测候选轨迹的当前位置；

• 若两个预测位置距离小于阈值，就判定目标仍在画面中，激活轨迹继续跟踪。

更实用的是，这两个模块无需额外训练，能直接集成到现有JDE类跟踪器中，兼容性拉满。

三、实验结果：三大 benchmark 全面领先

研究团队在VisDrone2019、UAVDT、VT-MOT-UAV三大无人机跟踪基准数据集上做了充分测试，结果惊艳：

• VisDrone2019：IDF1（身份一致性指标）达61.4%，MOTA（整体跟踪准确率）达46.0%，超越MM-Tracker等主流算法；

• UAVDT：IDF1高达74.7%，MOTA达55.1%，在鸟瞰视角场景中表现突出；

• VT-MOT-UAV：面对复杂光照和杂乱背景，仍实现52.7%的IDF1和31.8%的MOTA，优于SORT、FairMOT等经典算法。

更关键的是，AMOT保持36.4 FPS的实时推理速度，完全满足无人机实时跟踪的需求。 ablation实验还证明，AMC和MTC模块联合使用时，能让身份切换次数大幅减少，轨迹连续性显著提升。

四、优势与局限：理性看待这项新技术

核心优势

1. 鲁棒性强：能应对无人机视角多变、目标大幅位移的复杂场景，身份识别更稳定；

2. 即插即用：无需重新训练，可快速集成到现有跟踪器，降低应用成本；

3. 实时高效：在保证精度的同时，推理速度满足实际应用需求；

4. 通用性好：在不同数据集、不同跟踪器上都能带来性能提升。

现存局限

1. 依赖ReID特征质量：若目标外观极度相似（如多辆同款白色汽车），仍可能出现匹配误差；

2. 阈值设置敏感：AMC的尺度因子σ和MTC的距离阈值λ需根据场景微调，缺乏自适应机制；

3. 复杂遮挡应对有限：若目标长时间被严重遮挡，轨迹仍可能断裂。

五、一句话总结

AMOT通过融合外观与运动信息的AMC矩阵和轨迹复活MTC模块，解决了无人机多目标跟踪中“匹配不准”“轨迹断裂”的核心痛点，为实时、稳健的无人机监控提供了高效解决方案。