DFAT—Dual Focus-Attention Transformer for Robust Point Cloud Registration

news/2025/12/7 23:11:39/文章来源:https://www.cnblogs.com/quan9i/p/19319097

创新点

(1)提出新框架,采用双层焦点注意力特征交互机制提升性能

(2)提出双空间一致性匹配模块,充分利用几何一致性来提升supperPoint匹配的质量。

(3)引入线性注意力模块,用于优化点特征。

流程

首先使用局部特征提取对两个视角的点云进行Kpconv卷积提取特征,接着分为两部分,一部分是最粗糙的下采样,也就是进行到最下面的下采样,最粗超点经 Superpoint Focus-Attention 和双空间一致性过滤后得到粗对应,这些粗对应再引导裁出同名超点内部的密集点;上采样则是经 Point Focus-Attention 增强后做细匹配,生成多组密集对应;对点集合配对,然后进行处理,处理后和经过处理的下采样部分进行级联,最后进行评估,整体流程如下图所示

image-20251202161839061

局部特征提取

局部特征提取采用的是基于Kpconv卷积的U形编码器-解码器,也就是FPN骨干网络,在之前已经学习过Kpconv,这里大致讲一下Kpconv卷积:

(1)给定中心点,设置一个半径画圆,在范围内设定固定的N个核点,这些点不是真正的点,而是虚拟的

(2)通过K近邻找出最近的设定的K个邻居点,作为邻点

(3)通过如下公式进行卷积核函数设定

image-20251202220529925

(4)对每个点进行加权求和获得最终的特征

image-20251202220647308

这里的编码器主要是进行下采样,我们输入原始点云P和Q,网络会经过多个下采样块,每个块通常包含:

(1)最远点采样:减少点的数量

(2)Kpconv:在采样的点上进行卷积,提升特征,扩大感受野

这里需要最远点采样而不是只做卷积操作的原因是点云并不似2D像素之间有规则,他是无序的,所以只做卷积很慢也不一定能覆盖全部,所以需要最远点采样最大程度覆盖整个空间。

最终到最后一层下采样的时候,输出点集P,Q,这时的点集被称为超点,他们是原始点的子集,数量很少,代表了原始点云的全局结构;输出的f_p和f_q是与超点对应的d维特征,他们包含了广阔的上下文信息。

接下来是解码器,解码器主要是进行上采样和特征融合。

网络会进行多个上采样块,通常包含:

(1)双线性上采样或三线性插值:用于增加点的数量

(2)跳跃连接:将编码器中相同分辨率的特征进行拼接,融合特征

(3)Kpconv层:在融合的点上进行卷积,进一步优化特征

最终输出P,Q,这是上采样后的密集点云,分辨率恢复为原始点云的一半;输出F_P和F_Q,对应点集的d维特征,包含局部细节和全局上下文信息。

补丁间匹配模块

现有的Transformer方法通过全连接的的密集交互让所有特征点相互沟通,这虽然能获取全局上下文,但不可避免地会引入大量错误和冗余的信息交互,反而“污染”了特征,降低了其判别力。首先来讲针对粗匹配的超点聚焦注意力机制

超点聚焦注意力机制

image-20251202221426752

它不是与所有点自由交互,而是先筛选出一组稀疏的关键点,然后让超点与这些具有代表性的点进行深度交互,具体流程如下:

(1)GEO-Transformer

通过此操作获取初步的全局上下文信息,具体操作是进行几何自注意力和几何交叉注意力,前者在单个点云内部,编码变换不变的相对位置信息,后者则是在两个点云之间交换信息。最终输出f_geo_p和f_geo_q,这些特征包含了全局信息,此时是包含冗余信息的。

(2)聚焦注意力

此操作是将普通特征提炼为高判别力特征的关键,具体如下:

首先为每个超点筛选稀疏关键点,它的目的是找出特征上与超点最一致、自身显著性高的邻居作为交互对象(直接找会有不相关点带来的噪声),筛选指标有两个,一个是特征相似性(FSSN),它是通过计算超点与邻居的特征点积得到的,它可以衡量局部一致性,公式如下

image-20251203154424895

第二个指标是特征显著性,它的计算方式是计算所有点对之间的特征相似性矩阵S_P,然后分别对行和列做softmax,再相乘得到s_sal_all,这个操作能找出在整个特征空间中,哪些点对与其他店的关系都很独特,然后从中取出对应邻居范围的部分S_sal。

image-20251203154545082

总和评分就是这两个指标相乘,得到每个邻居的综合重要性分数,分数较高,则代表该邻居既与中心超点特征相似,又是特征空间中的显著点

image-20251203154920770

然后我们为每个超点,选择邻居中分数最高的Top-k个点,作为稀疏关键点集合。

双空间一致性

之前的操作大多只使用双归一化进行超点对应关系的建立,由于部分重叠和可重复结构的存在,导致会产生错误匹配,本文则采用双空间一致性进行过滤,使得匹配更加精细。

image-20251203160157100

这里首先采用双归一化计算初始匹配得分

image-20251203155929772

然后设置了一个阈值

image-20251203155959448

当匹配是完全随机的时候,任意一对点的期望匹配得分就是这个阈值的值,所以它可以过滤掉连随机匹配都不如的明显错误点对。

然后我们匹配分数矩阵M中选出前Km个最高分元素构建假设的超点的对应关系。

这个时候我们在几何空间中构建上述超点对应关系的最近虚拟超点对集合,然后在特征空间中对他们进行验证,对每个超点对(p,q),我们分别为p和q找到最近的超点p和q,并建立对应关系设为c,如果这个对应关系c的匹配分数大于阈值则保留,否则丢弃。保留的对应关系C最终被输入到局部块匹配模块进行精细匹配。

块内细匹配

image-20251203162916840

这里将上采样的和刚刚我们经过筛选的粗匹配点对作为输入,这里首先使用Point Focus-Attention,即通过超点对应附近的点间注意力操作来编码局部上下文信息,否则即使超点对应正确,点特征也可能因为缺乏局部上下文信息而生成错误对应,这里使用的注意力是线性注意力,避免过多的计算量

image-20251203163950128

重复此模块L次,就存在了局部的上下文对应关系。,其中的激活函数是ELU函数

image-20251203164236692

接着使用sinkhorn算法优化相似度矩阵并输出分配矩阵 A

这个算法是为了解决硬匹配的局限性而出现,比如存在一种情况,源点云的点A和点B和目标点云的点X相似度都较高,那么就会出现两个点对应这个点的情况,而sinkhorn则可以解决此问题。

这个算法的输入是相似度矩阵S,然后它有一个超参数τ,核矩阵=exp(S/τ),这个操作将相似度转换为正值。

接下来进入迭代操作,如下所示

image-20251203165429264

最终输出分配矩阵A

image-20251203165520451

然后我们从A中选出m个对应关系组成Ci,将多个局部的Ci进行拼接就得到了最终的密集点对。

变换估计

这里考虑到传统方法RANSAC在迭代过程中存在收敛慢或不稳定的情况,所以使用局部到全局的配准策略,具体如下

输入是密集匹配点集C和多个精细匹配子集Ci

我们对每个Ci,使用加权SVD计算一个变换候选Ti={Ri,ti}

最后从多个局部变换候选中选出最优变换

image-20251203170506905

统一的公式如下

image-20251203170548098

相关知识

Geo-Transfrom

注意力机制

image-20251206115312924

这里与普通注意力机制不同的是,多加入了几何关系矩阵R,R的维度是N * N *D_t,其中,N是点云的点数,D_t是几何特征的维度(包含距离、相对位置、法向量夹角)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/991890.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

20232419 2025-2026-1 《网络与系统攻防技术》实验八实验报告

1.实验内容 (1)Web前端HTML 能正常安装、启停Apache。理解HTML,理解表单,理解GET与POST方法,编写一个含有表单的HTML。 (2)Web前端javascipt 理解JavaScript的基本功能,理解DOM。 在(1)的基础上,编写JavaScript…

某中心语音AI前沿技术在SLT会议的研究突破

本文概述了某研究机构在IEEE口语语言技术研讨会上展示的多项语音AI研究成果,涵盖了模型量化、对比预测编码迁移学习、满足差分隐私的教师集成方法、跨语言注意力优化以及针对关键词唤醒和设备导向语音检测的改进技术。…

性能jmeter常用注意事项

性能jmeter常用注意事项jmeter容易混淆的概念: 线程组并不是并发数量:1.线程组不是并发数量,这个一定要知道,是代表用户数量。2.100个线程组,Ramp-up时间和性能结果没有关系,这个也要清楚100以内可以设置为1秒。…

2025最新电动车锂电池品牌/厂家TOP5评测!技术创新+安全效能权威榜单发布,赋能新能源出行生态升级

随着新能源汽车产业的蓬勃发展,电动车锂电池作为核心动力源,其技术实力与产品品质直接决定车辆性能与用户体验。本榜单基于技术研发深度、安全性能表现、定制化服务能力三大维度(恒续能源新增"规模化生产与全流…

Rabbit

将下载的文件放进010里面,发现最后有加密字符串联想题目,猜测是rabbit加密,在http://www.jsons.cn/rabbitencrypt/ 解密获得flag

White Album

将下载的图片放进随波逐流里面,修复高度会发现图片下面有一个条形码在https://products.aspose.app/barcode/zh-hans/recognize#google_vignette 识别条形码获得flag

102302149赖翊煊数据采集与融合技术第四次作业

作业一 代码及其结果展示点击查看代码 from selenium import webdriver from selenium.webdriver.firefox.service import Service from selenium.webdriver.firefox.options import Options from selenium.webdriver.…

Homework

打开下载的文件,ctrl+f搜索flag,发现一部分flag将文件放进随波逐流里面,binwalk分离文件打开分离的网页,一个一个网页找在里面搜索}发现另一部分flag完整flag:moectf{0h_U_f1nd_m3!}

深入解析:【Rust 探索之旅】Rust 库开发实战教程:从零构建高性能 HTTP 客户端库

pre { white-space: pre !important; word-wrap: normal !important; overflow-x: auto !important; display: block !important; font-family: "Consolas", "Monaco", "Courier New", …

案例库--工抵协议系承包人主张优先受偿权的合法方式

案例库--工抵协议系承包人主张优先受偿权的合法方式2025-12-07 22:52 wwx的个人博客 阅读(0) 评论(0) 收藏 举报1. (2022)晋民再123号 海某建设公司诉丰某房地产开发公司建设工程施工合同纠纷案 裁判要旨:建设工…

251207周天,今天是周天

周末总体过得很快 现在的周末并不能给我很放松的感觉,反而是感觉周末过得很快。 今天上午去帮人练了球,中午吃了饭 下午感觉也没干啥,睡了一会儿。 晚上 才来工作,加油

完整教程:和AI用TDD结对编程:1天开发一个完整的 Python 库

完整教程:和AI用TDD结对编程:1天开发一个完整的 Python 库2025-12-07 22:46 tlnshuju 阅读(0) 评论(0) 收藏 举报pre { white-space: pre !important; word-wrap: normal !important; overflow-x: auto !importa…

如何保证 RocketMQ 消息不丢失

🚀 一句话总览:消息不丢 = 生产端不丢 + Broker 不丢 + 消费端不丢 你要牢牢记住:任何 MQ 最容易丢的不是 Broker,而是 Producer 和 Consumer。消息可靠性必须三段一起设计: Producer(发送) Broker(存储) …

排列组合

排列组合 加法原理 完成某件事情有 \(n\) 类方法,其中第 \(i\) 类方法有 \(a_i\) 种方案。 则总共有 \(\sum_{i=1}^na_i\) 种方案。 乘法原理 完成某件事有 \(n\) 个步骤,第 \(i\) 个步骤有 \(a_i\) 种方案。 则共有…

2025 最新西双版纳旅游服务商TOP5推荐!地接社/旅行社五大优质品牌,资源实力 + 服务口碑权威榜单发布,专业赋能构筑美好旅行体验

随着西双版纳成为国内外游客向往的热带旅游目的地,市场对优质旅行社的需求持续攀升。本榜单基于资源整合力、服务专业度、产品创新力、客户口碑四大维度,结合行业协会数据与游客真实反馈,权威解析2025年五大西双版纳…

12.4 maven简介

maven仓库分类 本地仓库:自己计算机上的一个目录 中央仓库:maven团队维护的全球唯一的一个仓库 远程仓库:公司团队自己搭建的仓库 自己本地有jar就用;无就下过来; alt+insert能快捷导入jar包 groupid artifactId …

vs2026远程调试linux

vs2026远程调试linux网上都搜索不到有关教程,自己摸索了一下。 vs2026的安装步骤直接跳过,创建项目时选择cmake的项目在Linux系统中,如果是使用yum的包管理(比如centos),下载一些软件,远程调试需要使用 sudo yu…

深入理解 RocketMQ 核心机制

🚀 一、RocketMQ 核心机制 = “日志 + 顺序写 + 消费位点 + 多副本 + 动态路由” 一句话:RocketMQ 是一个高性能、可扩展、牢靠不丢消息的分布式消息系统,本质是一套“持久化日志 + 分布式调度”的组合拳。 要理解…

DMY 周作业 47 简要题解

G 数据结构优化 DP 板。暑假的时候做过,直接离散化 + BIT 就行了。比较无聊就不说了。 #include <bits/stdc++.h> #define fi first #define se second #define eb(x) emplace_back(x) #define pb(x) push_back…