RoMa v2

 

特别地，航空数据集AerialMD [45]和BlendedMVS [49]的包含，使我们提出的模型对大旋转和空对地视点变化显著更加鲁棒。小基线数据集的包含，如FlyingThings3D [26]，使RoMa v2在预测精细细节方面显著更好。我们在图7中定性地比较了RoMa v2与RoMa在FlyingThings3D数据集上的精细预测。我们还发现，我们的数据混合使我们能够比RoMa显著更好地预测无纹理表面，特别是在自动驾驶（AD）场景中，尽管只在非常小规模的数据集VKITTI2 [6, 13]上训练。我们在图8中展示了从NuScenes数据集[7]中随机选择的一对的结果。

————————————————
版权声明：本文为CSDN博主「昵称是6硬币」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_46248968/article/details/155163674

特别地，航空数据集AerialMD [45]和BlendedMVS [49]的包含，使我们提出的模型对大旋转和空对地视点变化显著更加鲁棒。小基线数据集的包含，如FlyingThings3D [26]，使RoMa v2在预测精细细节方面显著更好。我们在图7中定性地比较了RoMa v2与RoMa在FlyingThings3D数据集上的精细预测。我们还发现，我们的数据混合使我们能够比RoMa显著更好地预测无纹理表面，特别是在自动驾驶（AD）场景中，尽管只在非常小规模的数据集VKITTI2 [6, 13]上训练。我们在图8中展示了从NuScenes数据集[7]中随机选择的一对的结果。

————————————————
版权声明：本文为CSDN博主「昵称是6硬币」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_46248968/article/details/155163674

 

 

 

RoMa v2: Harder Better Faster Denser Feature Matching
RoMa v2：更强更好更快更密集的特征匹配

论文地址：https://arxiv.org/abs/2511.15706

官仓地址：https://github.com/Parskatt/romav2

1林雪平大学，2查尔姆斯理工大学，3阿姆斯特丹大学，4隆德大学数学科学中心

【论文总结】

RoMa v2，密集特征匹配方法，通过系统性改进实现了更强、更快、更精确的匹配性能。总结如下：

（1）新颖的匹配架构与损失函数：将DINOv2升级到冻结的DINOv3基础模型提取特征，用单头注意力机制替代高斯过程（GP）解决梯度传播问题，引入负对数似然损失L N L L \mathcal{L}_{\mathrm{NLL}}L
NLL
​
作为辅助监督，结合鲁棒回归损失L w a r p \mathcal{L}_{\mathrm{warp}}L
warp
​
和重叠损失L o v e r l a p \mathcal{L}_{\mathrm{overlap}}L
overlap
​
，通过多视图Transformer实现帧级和全局注意力交替，学习多视图上下文；

（2）高效的两阶段匹配-细化流水线：解耦训练粗匹配器（步长4）和三级细化器（步长4/2/1），采用广义Charbonnier损失进行鲁棒回归，通过自定义CUDA内核优化局部相关计算显著降低内存占用，使用指数移动平均（EMA）消除亚像素偏差；

（3）像素级误差协方差预测：通过2 × 2 2\times22×2精度矩阵Σ − 1 \Sigma^{-1}Σ
−1
建模各向异性不确定性，采用Cholesky分解保证正定性，分层累积预测从粗到细的精度增量，可用于下游几何估计的残差重加权；

（4）多样化训练数据策略：混合宽基线数据集（MegaDepth、AerialMD、BlendedMVS）和小基线数据集（FlyingThings3D、VKITTI2）平衡极端视点鲁棒性与亚像素精度；

（5）分辨率自适应设计：在归一化网格上使用RoPE位置编码，固定低频位置嵌入（ω = 1 \omega=1ω=1），多分辨率混合训练确保跨分辨率泛化。实验表明RoMa v2在MegaDepth-1500、ScanNet-1500等多个基准上达到最先进性能，相比RoMa速度提升1.7倍，在AerialMegaDepth上EPE降低84%，同时保持对极端外观变化的强鲁棒性。
————————————————

 

【翻译】密集特征匹配旨在估计3D场景的两幅图像之间的所有对应关系，由于其高精度和鲁棒性，最近已被确立为黄金标准。然而，现有的密集匹配器在许多困难的真实世界场景中仍然失败或表现不佳，而高精度模型往往速度较慢，限制了其适用性。在本文中，我们通过一系列系统性改进从多个方面攻克这些弱点，这些改进共同产生了一个显著更好的模型。特别地，我们构建了一种新颖的匹配架构和损失函数，结合精心策划的多样化训练分布，使我们的模型能够解决许多复杂的匹配任务。我们进一步通过解耦的两阶段匹配-然后-细化流水线使训练更快，同时通过自定义CUDA内核显著减少细化的内存使用。最后，我们利用最新的DINOv3基础模型以及多个其他见解，使模型更加鲁棒和无偏。在我们广泛的实验中，我们表明所得到的新颖匹配器创造了新的最先进水平，比其前辈显著更准确。代码可在https://github.com/Parskatt/romav2获得。

【解析】密集特征匹配是在两幅图像的每个像素之间建立对应关系。作者提出的RoMa v2通过多个技术创新来提升效果。首先，新的匹配架构和损失函数设计，能更好地处理复杂的匹配场景，不仅考虑了像素级别的相似性，还融入了更广泛的上下文信息。其次，两阶段的匹配-细化流水线将粗匹配和精细匹配分离，既提高了训练效率，又保证了最终的匹配精度。使用自定义CUDA内核，进一步优化内存使用，使模型在实际应用中更加实用。DINOv3基础模型的引入为特征提取提供了更强的表示能力，提升了模型在各种视觉条件下的鲁棒性。最终使RoMa v2在多个基准测试中都达到了最先进的性能水平。