计算机视觉（opencv）实战二十七——目标跟踪

计算机视觉（opencv）实战二十七——目标跟踪 - 教程

光流法与特征点跟踪 —— 原理解析与代码实现

在计算机视觉中，目标跟踪是一个非常常见的任务。它的目标是：在一段视频中，自动地跟踪目标物体或者特征点的运动轨迹。本文通过一个实际的 OpenCV 代码示例，演示如何用 角点检测 + Lucas-Kanade 光流法 来跟踪视频中显著的特征点，并绘制出它们的运动轨迹。

一、核心原理

1. 特征点检测（Shi-Tomasi）

首先需要找到“容易被跟踪”的点。OpenCV 提供了 cv2.goodFeaturesToTrack 函数，它基于 Shi-Tomasi 角点检测算法，能够找到一幅图像中最稳定、最有代表性的角点。

角点（Corner）：图像局部区域的梯度变化显著的点。例如：十字路口、物体边缘的尖角、纹理丰富的区域。这类点在相邻帧中比较容易匹配。
Shi-Tomasi 算法：通过计算图像的二阶矩矩阵（结构张量），选择响应值最大的若干个点作为角点。

2. 光流法（Optical Flow）

当我们获得了角点，就需要在下一帧图像中找到它们的新位置。光流法的基本思想是：

假设相邻两帧之间，像素的灰度值保持不变；
在一个小的邻域窗口内，通过最小化误差来求解像素的新位置。

这里使用的是 Lucas-Kanade 光流法，它在小窗口内假设所有像素具有相同的运动，从而用最小二乘法快速解算出运动向量。

3. 金字塔光流法

为了应对较大位移，OpenCV 提供了 金字塔 Lucas-Kanade 光流法：先在低分辨率图像中计算粗略位移，再逐级在更高分辨率的图像中细化结果，从而提高算法的鲁棒性和准确性。

二、代码详解

import numpy as np
import cv2
# 打开视频文件
cap = cv2.VideoCapture('test.avi')
# 随机生成颜色，用于绘制轨迹
color = np.random.randint(0, 255, (100, 3))
# 读取视频的第一帧
ret, old_frame = cap.read()
# 转为灰度图像
old_gray = cv2.cvtColor(old_frame, cv2.COLOR_BGR2GRAY)

首先读取视频的第一帧，转成灰度图，因为光流计算只需要灰度信息，减少计算量

特征点检测

feature_params = dict(maxCorners=100,
qualityLevel=0.3,
minDistance=7)
# 检测角点
p0 = cv2.goodFeaturesToTrack(old_gray, mask=None, **feature_params)

参数解释：

maxCorners=100：最多检测 100 个角点；
qualityLevel=0.3：只保留质量值大于 0.3 * 最大质量值的角点；
minDistance=7：确保角点之间的最小距离，避免聚集在一起。

光流法参数

lk_params = dict(winSize=(15, 15),
maxLevel=2)

winSize：搜索窗口大小，越大越能容忍较大位移，但会降低速度；
maxLevel：金字塔层数，2 表示在原图、缩小一半、再缩小一半的三层图像上计算。

主循环与光流计算

mask = np.zeros_like(old_frame)
while True:
ret, frame = cap.read()
if not ret:
break
frame_gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
p1, st, err = cv2.calcOpticalFlowPyrLK(old_gray, frame_gray, p0, nextPts=None, **lk_params)

这里使用 cv2.calcOpticalFlowPyrLK 计算光流，得到：

p1：新位置；
st：状态向量（1 表示跟踪成功，0 表示跟踪失败）；
err：跟踪误差。

绘制轨迹

good_new = p1[st == 1]
good_old = p0[st == 1]
for i, (new, old) in enumerate(zip(good_new, good_old)):
a, b = new.ravel()  # 获取新点的坐标 或者[a, b] = new
c, d = old.ravel()  # 获取旧点的坐标
a, b, c, d = int(a), int(b), int(c), int(d)  # 转换为整数
# 在掩模上绘制线段，连接新点和旧点
mask = cv2.line(mask, pt1=(a, b), pt2=(c, d), color=color[i].tolist(), thickness=2)
cv2.imshow(winname='mask', mat=mask)

每对跟踪到的特征点用一条彩色线段连接，形成运动轨迹。轨迹被累积到 mask 上，叠加到视频帧中显示。

更新特征点

img = cv2.add(frame, mask)
# 显示结果图像
cv2.imshow(winname='frame', mat=img)
# 等待150ms，检测是否按下了Esc键(键码为27)
k = cv2.waitKey(150)
if k == 27:  # 按下Esc键，退出循环
break
# 更新旧灰度图和旧特征点
old_gray = frame_gray.copy()
p0 = good_new.reshape(-1, 1, 2)  # 重新整理特征点为适合下次计算的形状 (38,2)-->(38,1,2)
# 释放资源
cap.release()
cv2.destroyAllWindows()

把当前帧作为下一轮的“上一帧”，继续跟踪新的点位置。