上海住房和城乡建设部网站首页,为新创业公司建设网站,外链推广,一个外国人做的破解游戏网站4. 全局位姿对齐(glob pose alignment) 输入系统的是使用消费级的传感器获取的RGBD数据流#xff0c;并且保证这些数据中的彩色图像和深度图像是时间和空间上都对齐的。图像分辨率是640x480,频率是30hz。我们的目的就是要找到frames之间的3D对应#xff0c;然后根据这些对应… 4. 全局位姿对齐(glob pose alignment) 输入系统的是使用消费级的传感器获取的RGBD数据流并且保证这些数据中的彩色图像和深度图像是时间和空间上都对齐的。图像分辨率是640x480,频率是30hz。我们的目的就是要找到frames之间的3D对应然后根据这些对应信息找到刚体相机变换Ti。Ti(p) Rip ti(Ri为旋转ti为平移)Ti实现从相机系到世界系的映射。并且将系统的第一帧作为世界系的坐标系。 4.1 搜索特征匹配Feature Correspondence Search 在这个系统框架下首先搜索图像画帧之间的saprse correspondences包括特征提取特征匹配和外点剔除步骤。这些稀疏的对应将会被用在接下来的dense photometric correspondences的搜索中。针对每一个input frame都要先提取sift特征点将提取的这些点与之前所有看到的帧进行匹配。之所以使用sift特征是因为他考虑了相机扫描过程中发生的的图像的位移旋转和尺度的变化。搜索correspondence的工作都是在GPU中完成的。在这样的分辨率下提取一帧图像的特征和计算描述子需要4-5ms匹配两幅图像需要大概0.05ms。基于以上的一些指标该系统可以实时处理大致20k的图像。 4.1.1 correspondece Filter 使用几何和光度的连续性的方法来过滤掉检测的不对的correspondences. Key Point Correspondence Filter 图像Fi和图像Fj上的特征的3D correspondences, key point correspondence filter可以找到一组可以表示一个稳定的分布和连续的刚体变换的feature correspondences.对于新加入的correspondence我们计算一个刚体变换使用Kabsch算法可以用这个刚体变化最小化当前correspondences的Pcur和Qcur之间的距离。随后我们将执行一些条件分析包括点Pcur和Qcur的协方差和Pcur和Qcur之间的cross-convariance、如果任何的condition numbers大于100那么这个系统被认为是不稳定的。如果Tij下特征点的重投影误差大于或者在上述condition number中系统被认为是不稳定的情况下这些correspondences将被删除。除非删除情况不出现或者此时没有足够的特征点用来计算刚体变换。如果根据找到的correspindences已经计算出了一个刚体变换那么就讲Fi和Fj之间的这些correspondences删除。 Surface Area Filter 另外我们还检查检测到的特征张成出的面是否足够大因为我们认为如果找到的correspondences张成的平面比较小那么此时的correspondences趋于ambiguity.对于图像Fi和图像Fj,我们估计Fi图像的3D点P张成的面的区域面积以及Fj图像的3D点Q张成的面的区域面积然后我们将两个三维的surfaces根据他们的principal axes向平面投影。如果P和Q张成的面积不足0.032平方米那么这组matches被认为是ambiguous并且被删除。 Dense Verification 最后一步是执行稠密校验包括稠密光度校验和稠密几何校验对于图像Fi和图像Fj我们使用上述通过key point correspondence filter计算得到的相对变换Tij,来对齐图像Fi和图像Fj之间的坐标系。为了找到有效的像素对应(pixel correspondence),我们测量重头影两个方向的平均深度差别depth discrepancy, 法向量偏差(normal deviation), 光度一致性(photoconsistancy), 并且计算这些pixel correspondences的重投影误差。 4.2 等级化的优化Hirerachinal Optimization 为了能够实时的处理成千上万的RGBD图像我们使用了等级化的优化策略。输入的连续的图像序列被分割成小的chunk。在最低等级的优化中我们在chunk内部实时优化。在第二等级优化中使用所有的chunks中的代表关键帧以及该关键帧所在chunk内的相关的特征数据进行全局的优化。为了提高处理效率这一步骤只在经过滤波的并且下采样之后的图像上执行。注意为了提高效率当有一个新的RGBD数据输入到系统时经过滤波和下采样处理的彩色图C和深度图D被缓存下来。相机的空间位置Pi和每一个深度的法向量Ni也被计算兵器被缓存下来。 LocalIntra-Chunk Pose Optimization(chunk内部的位姿优化) chunk内部的位姿对齐优化时基于该chunk内的11个连续的图像帧数据的。连接的两个chunk之间有一个重叠的图像帧。局部位姿优化的目标是求解该chunk内任意一帧图像相对于chunk中的第一帧图像的变换{Ti}.通过搜索correspondences构建代价方程然后最小化代价方程的方式求解代价方程中包含了稀疏特征correspondecs和dense photometric and geometric correspondences约束。因为每一个chunk内只包含很少的连续图像帧并且chunk内的位姿变换也很小所以可以将每一个Ti初始化为单位阵。为了确保局部位姿优化的精度我们使用优化的局部轨迹对chunk内的每一对图像实时dense verification测试如果重投影误差太大大于0.05m,这个chunk就会别删除并且也不会被用到全局优化中来。 Per-Chunk Keyframes 一旦一个chunk已经被处理完成我们将该chunk中的第一帧图像定义为这个chunk的关键帧同时也会计算这些关键帧的特征得到keyframe feature set.根据chunk的优化的位姿估计计算chunk内部的特征点在世界空间中的3D位置。我们将在0.03m空间中的3D点用一个最佳的3D点来表示。一旦这个全局的关键帧和关键帧特征序列被创建该chunk data(包括chunk内的特征点描述子和correspondences) 将被删除因为在第二层的位姿对齐中用不到他们了,但是他们的图像还有,图像的位姿态还有,当在全局优化中关键帧位姿被优化了,则这个关键帧所处的chunk中的其他帧的位姿将被被更新,要知道在intro-chunk优化中,我们已经知道了chunk中的任意一帧相对于第一帧的相对位姿.。 Global Inter-Chunk Pose Optimization 和chunk内的位姿优化类似chunk间的全局位姿优化也是进行全局特征点之间的稀疏特征匹配搜索和外点剔除。如果一个关键帧在过去看到的关键帧中找到任意的匹配那么这个关键帧被标记为“独立” individual, 但是仍然被作为候选允许被再次校验当将来得到关键帧与该关键帧之间有联系。全局位姿优化需要计算所有全局关键帧的global alignments{Ti}同样需要构建代价方程最小化代价方程求解同样在代价方程中包括稀疏和稠密两种约束。使用对应的intra-chunk中优化的位姿的depta 变换来初始化全局关键帧的位姿。我们得到所有输入帧的全局一致性变换通过将对应的delta transformations作用到chunk中的每一帧图像这样就可以得chunk内没一帧图像的位姿。 5. Dynamic 3D Reconstruction(动态的3D重建) 需要根据最新优化的相机位姿不断更新重建的模型。我们采用integration和de -integration的方式来更新模型的表示。当累计误差过大或者特征过少导致的模型重建错误可以被很好的恢复一旦一个好的位姿估计可以获取到。 5.1 Scene Representation 通过将RGBD数据融合到TSDF模型中来恢复场景的几何使用voxel hashing的方式来存储TSDF中的数据。根据spatial harshing将TSDF存储在一个稀疏的volumetric grid中。 5.2 Integration and De-integration 系统中分两种pose一种是integration pose一种是optimized pose是经过优化的位姿首先我们按照integration pose将图像数据融合到TSDF模型中当位姿态被优化更新之后我们就需要同时更新重建的模型那么就需要按照integration pose将TSDF中的相关数据从TSDF中剔除掉然后再按照优化后的位姿重新将刚才被剔除出来的数据融合到TSDF中实现地图更新的目的。