网站如何做流量赚钱吗,深圳龙华区高风险区域,网站建设想法,国家高新技术企业认定有什么好处首先是关于SuMa的阅读#xff0c;SuMa是一个完整的激光SLAM框架#xff0c;核心在于“基于面元(surfel)”的过程#xff0c;利用3d点云转换出来的深度图和法向量图来作为输入进行SLAM的过程#xff0c;此外还改进了后端回环检测的过程#xff0c;利用提出的面元的概念和使…首先是关于SuMa的阅读SuMa是一个完整的激光SLAM框架核心在于“基于面元(surfel)”的过程利用3d点云转换出来的深度图和法向量图来作为输入进行SLAM的过程此外还改进了后端回环检测的过程利用提出的面元的概念和使用到的虚拟帧来优化回环检测的过程。 SuMa的核心分为以下几个步骤 1. SuMa预处理 预处理的部分将3d点云转换为两张图原文用的词是vertex map和normal map这里直接翻译为顶点图和法向量图。 预处理的过程本质上就是建立一个3d到2d的转换原始的点云是3d的顶点图和法向量图都是2d的所以需要一个转换关系论文首先使用的是点云到顶点图的转换对于点云中的每个点有 其中出现的两个参数分别是 其中r是深度f是竖直方向的视野范围 此外w和h分别表示顶点图的大小。对于顶点图中的每个点论文都使用 V D V_D VD​来表示。得到了顶点图后利用其相邻的关系就可以得到法向量图就像其名字一样法向量图存储的是每个位置上的法向量normal在计算时可以直接使用顶点图中的相邻元素进行计算 为了保证计算的有效性对于边界的元素如果位置超过了图像的范围也就是说位置不合法了这种情况直接不参与计算只保留合法位置的法向量信息。 在经过预处理之后原本的3D点云地图就被转换成两张二维的图像后续的里程计和回环检测都是在这两张图的基础上 2. SuMa地图表示 前面看过的论文里地图的表示方法有很多种最普通的基于特征点、特征线稍微进阶一些的比如基于物体的就是用的物体地图而LOAM也可以看作是基于边和面的地图在SuMa中作者提出了一种基于面元的地图。 面元即论文中的surfel这个单词面元地图指的就是面元作为地图中的基本元素一个面元就相当于一个小平面可以抽象为一个小的圆形每个面元用一个位置向量、一个法向量和一个半径表示此外还保留两个时间戳分别是创建面元的时间和最后一次更新面元的时间。 除此之外为了体现面元的置信度方便后续筛选掉错误的面元论文对每个面元设置了一个优势比odds ratio用来体现一个面元的可靠程度其计算方法为 其中的odds为一个函数具体表示为 p s t a b l e p_{stable} pstable​和 p p r i o r p_{prior} pprior​表示面元是一个稳定面元的概率和先验概率这其实是一个不断更新的过程如果确定两帧的两个面元对应的是地图上的同一个面元那么更新时必然是一个迭代的更新原面元法向量与待整合面元的法向量夹角越小、距离越近对应到公式中的 e x p exp exp项也就越接近1整体也就向着 p s t a b l e p_{stable} pstable​的方向移动从而让面元的可靠程度越高。 此外关于时间戳信息引入这个量主要是为了将地图中的面元区分为两部分动态图和静态图。动态图记为 M a c t i v e M_{active} Mactive​而静态图记为 M i n a c t i v e M_{inactive} Minactive​里程计进行位姿估计的过程主要是用动态图而回环检测的部分则使用静态图。最近更新时间超过一定阈值就将其记为静态图否则放在动态图。 3. SuMa里程估计 前面提到里程计估计这部分只用动态图也就是距离当前不太远的内容。这部分就是利用这些内容通过最小化一个偏差来得到一个帧间位姿变换。论文使用的是类似于重投影误差的方法或者说类似ICP的方法对于当前帧的顶点图的每个点根据位姿变换T投影到上一帧找到上一帧的顶点图中距离其最近的一点从而得到该点所在的面元计算投影点到面元的距离并求和最小化这个距离就是我们优化过程的目标函数 其中 T C t − 1 C t ( k ) u T^{(k)}_{C_{t-1}C_{t}}u TCt−1​Ct​(k)​u是将当前帧的点转换到上一帧 v u v_u vu​是上一帧与之对应的点 n u T n^T_u nuT​是对应点的面元的法向量因为是计算到面元距离所以要乘以一个法向量 通过迭代优化图中的T从而得到一个更加准确的位姿变换T这个过程称为帧到模型的ICP。可以看到目标函数中是对当前帧顶点图的所有点进行距离的统计所以必然需要一定的筛选措施这里除了去除投影后位置不合法的点还将角度偏差过大和距离偏差过大的点也去除了这里的角度偏差过大指的是法向量图中对应位置的角度的偏差。 在优化的过程中先用上一帧和上上帧之间的帧间变换作为初始值之后利用高斯牛顿法进行后端的非线性优化最终计算出帧间变换T。 4. SuMa地图更新 面元计算这部分首先对当前帧的每个点计算其所在面元的半径公式如下 其中p和clamp都是函数具体表示为 这个半径表示的是当前这个点所在的面元的可能的半径但是不是保留这个点还需要判断。判断的过程首先利用前面得到的帧间变换矩阵将当前帧的信息投影到世界坐标系下在这一步我们需要用到前面保留的2d-3d之间的转换关系这个关系可以给我们指明点之间是怎样的一个观察方法按照这个方法我们沿着当前点的视线延长看看延长线能否与一个地图上的面元相交如果没有相交那么根据当前点的信息新建一个面元添加到地图中如果存在一个面元那么就检测距离与角度的偏差值 如果符合条件则认为当前的点所在的面元和地图上的面元是一个面元如果新的测量更加准确比如说半径更小就进行整合操作 这时前面计算的半径就能用到了而且与位置和法向量的整合方法不同半径的整合是完全替代直接用新的、更小的半径代替前面的半径。之后更新面元的可信度。如果不符合条件就调低面元的可信度除此之外不做其它操作。在一次更新之后去除过旧的面元和可信度过低的面元。 5. SuMa回环检测 回环检测的部分首先是要获得一个候选回环帧论文中使用的方法是遍历静态图从中找出距离当前帧最近的一帧公式如下 这里所谓的最近是只考虑了平移没有考虑旋转这是因为旋转在寻找距离最近的时候并不会产生影响。得到最近的帧之后利用存储的位姿变换关系可以得到这两帧之间的旋转和平移关系 对于这两个关系旋转可以直接拿来使用但是平移上论文又引入了一个参数量 这里是考虑到单纯使用重叠程度作为是否出现回环的判断标准容易出现误判所以这里在平移上增加了一个系数从而产生了三个初值从这三个初值中选一个最优值作为回环的匹配程度。 除此之外论文还提出了一个虚拟帧虚拟帧本质上就是投影后的候选回环帧和当前帧的整合具体做法是先利用位姿变换关系将候选回环帧投影到当前位置之后采用与前面一样的视角检测方法如果视线上存在更近的点就用这个点去替代投影帧上的点以此构成虚拟帧。 得到虚拟帧之后采用相同的方法计算帧间残差因为增加了参数所以是三个位姿去计算残差从中选择最小的作为评判回环是否出现的标准。如果出现了回环还要持续检测后面一个时间段内的位姿变换必须保证一个时间段内位姿的变换与候选回环帧之间保持一致性才可以认为真正出现了回环。如果真的出现了回环就利用位姿图进行优化对回环进行优化。 总的来说在回环检测这部分首先要遍历静态图选择距离最近的一帧作为候选回环帧根据候选回环帧和当前帧制作虚拟帧利用虚拟帧和三个位姿变换计算相似度如果相似度满足阈值且后续一个时间段内都符合条件就认为真正出现回环通过图优化进行回环校正。 6. SuMa SuMa则是在SuMa的基础上引入了语义相关的内容因为大部分的框架都是相似的这里就简单记录一下。 首先SuMa使用RangerNet来获得点的语义标签产生一个语义mask用来标记点的语义信息。其次考虑到错误分类会对后序的内容产生影响SuMa引入了一种洪泛算法来消除错误标签。洪泛算法以语义mask和顶点图为输入输出修正之后的语义mask伪代码如下 整个过程主要是对边缘信息的处理首先对于语义mask中的一个点如果在其邻域范围内有其它语义信息的点那么就认为这个点是边缘点将这个点去除全部处理一遍之后相当于将两个物体边缘的部分去除掉了。之后再对这些去掉的空白位置采用就近分配的原则重新为其分配标签。最终效果为 很直观的可以发现从( a )图到( c )图物体与物体之间的边界区分更加明显可以更好的为后续的动态物体的去除作铺垫。 除此之外考虑到对于SLAM过程而言制图起着关键作用的主要是静态的物体而非动态物体因此SuMa将动态物体去除掉主要方法是在更新地图时检测地图与当前帧对应点的语义一致性简单来说就是如果是同一个位置但是标签变了那么就认为这个位置上的面元是动态物体上的一个面元通过在可信度函数是增加语义一致性项来加速置信度的降低。 但是作者也提到了在场景特征不那么丰富的情况下这种过滤方法会让特征不足从而影响SLAM的效果。 最后SuMa还使用了语义ICP在里程计的目标函数部分增加一个语义权重项通过比较地图点与扫描点之间的语义一致性来调整权重也就是说不仅空间上要存在一致性语义上也要满足一致性。 SuMa在SuMa的基础上增加了语义信息将语义信息与面元相结合语义获取部分使用Rangenet来获取语义mask并通过洪泛算法对mask中的物体边界部分进行修正。语义的应用方面SuMa利用语义的一致性通过比较地图点和当前帧的同一位置上的语义信息将对制图过程意义不那么明显的动态物体筛除此外还将语义信息应用在里程计的目标函数中为目标函数增加语义权重从而体现出语义一致性。