LightGlue-OpenCV
文章目录
- LightGlue-OpenCV
- Step 1: 创建虚拟环境
- Step 2: 安装 LightGlue-OpenCV 并运行
- Step3: 运行 demo_camera.py
- 效果
- 原理
LightGlue 是一种新的基于深度神经网络，用来匹配图像中的局部特征的深度匹配器。是 SuperGlue 的加强版本。相比于 SuperGlue，LightGlue 在内存和计算方面更高效，同时结果更准确，也更容易训练。
其原项目地址如下：
https://github.com/cvg/LightGlue
近期由于实习项目需要，需要在相机上进行实时的特征点追踪。然后配置了LightGlue 原项目。但是发现 LightGlue 计算推倒出图像上左右匹配的特征点后，在代码进行到的可视化环节时，会花费大量的时间，无法满足实习项目中实时性的要求。因此在 viz2d.py 里对原项目可视化部分的代码进行修改，并添加了摄像头捕获图像后，根据捕获的第一帧图像的特征点进行特征匹配的 demo 文件 demo_camera.py，便于下载者可以直接使用。
且本项目保留了原有项目代码里的可视化部分 viz2d_bak.py，添加了一些注释便于后续读者阅读理解。因为原项目里面并没有相关的 demo，因此本项目按照原本项目里面可视化的部分也编写了相关的 demo 文件 demo_bak.py、demo2image.py 可供学习参考。
本项目地址：
https://github.com/sugarknight999/LightGlue-OpenCV.git
Step 1: 创建虚拟环境
conda create -n lightglue python=3.10conda activate lightglue
Step 2: 安装 LightGlue-OpenCV 并运行
git clone https:https://github.com/sugarknight999/LightGlue-OpenCV.gitcd LightGlue-OpenCVpython -m pip install -e .
Step3: 运行 demo_camera.py
在终端进入虚拟环境
python demo_camera.py
即可运行相机并实时获得图像和匹配的特征点
效果
结果如图所示
lightglue
原理
主要是因为 matplotlib 这个库擅长画图，但是因为画图效果比较好，因此在调用里面画图部分以及保存图片部分的时候非常花费时间。
因此改动了 viz2d.py 里面的
def plot_images(imgs, cmaps="gray", dpi=100, adaptive=True):def plot_keypoints(plot_img, kpts, colors=(0, 255, 0), radius=5, thickness=-1, alpha = 1):def plot_matches(plot_img, kpts0, kpts1, color=None, lw=2, ps=4, a=1.0, labels=None):
三个函数。
按照本来函数里面的逻辑，用 OpenCV 库重新实现了相关的功能。具体代码解释可以参考 LightGlue-OpenCV 里面的注释
