网站备案 不关站,wordpress配置发信,常用的seo工具推荐,南京企业网站设计项目地址#xff1a;https://github.com/leVirve/lsun-room/tree/master 发表时间#xff1a;2018 icpr 场景理解#xff0c;在现实交互的众多方面中#xff0c;因其在增强现实#xff08;AR#xff09;等应用中的相关性而得到广泛关注。场景理解可以分为几个子任务https://github.com/leVirve/lsun-room/tree/master 发表时间2018 icpr 场景理解在现实交互的众多方面中因其在增强现实AR等应用中的相关性而得到广泛关注。场景理解可以分为几个子任务即布局估计、场景分类、显著性预测等。在本文中我们提出了一种基于深度学习的方法来实时估计一个给定的室内图像的布局。我们的方法包括一个深度全卷积网络一种新的布局-退化增强方法以及一种新的训练pipeline它将自适应边缘惩罚和平滑项集成到训练过程中。与以前基于深度学习的方法例如提案排序和优化不同我们的方法在不需要部署后处理技术的情况下激发了网络的泛化能力和估计布局边缘的平滑性。此外该方法是高效的因为它只需要模型一次来呈现精确的布局。我们在LSUN房间布局和Hedau数据集上评估了我们的方法并获得了与最先进的方法相比较的估计结果。 这是一篇比较早的论文偶然发现。其亮点有二1、将室内布局估计任务转换为语义分割任务使用像素交叉熵平滑边缘loss进行训练。2、构建布局退化模式见2.3实现了数据增强过程中的布局属性的变化. 该论文已经是6年前的后续在该领域当有更优质的算法。实在不行换个模型也有巨大的效果提升。 该论文主要是带来启发1、语义分割模型还能这样子使用作用于室内布局估计2、任务转换的启发将室内布局任务转换为语义分割那室内布局任务也可以转换为关键点检测等任务3、特定任务场景下的数据增强模式存在label的退化行为数据增强不可滥用。 1. INTRODUCTION 最近对现实交互的需求源于相关应用将研究人员对场景理解的识别提高到了新的高度。通过使用算法识别场景结构我们可以很容易地与环境进行交互并为智能家居、增强现实、机器人导航等任务提供关键信息。虽然对三维场景理解的研究可以追溯到20世纪60年代的简单块世界假设[1]以当地证据重建全球室内布局的愿景它已成为人工智能和深度学习时代最关键的研究领域之一。 在早期的计算机视觉方法中已经提出了多种室内场景估计方法。线段提取是布局估计的基础[1]、[2]是通过外科医生[3]、边缘特征提取[4]、超像素[5]和线段[6]等体积形式实现的。然而这些方法大多在房间结构被物体遮挡的情况下失败。由于很难仅用局部证据来估计布局一些研究了通过超体积推理[7][8][9]进行推断估计。后来随着机器学习的兴起结构化学习[10]被开发出来用于布局估计其通过生成具有不完整的低层次局部特征[7]、[11]、[8]的假设来建模环境结构。 上述传统的结构推理方法严重依赖于手工特征提取并是在许多假设下发展起来的。与之前的工作一样我们在曼哈顿世界假设[12]下发展了我们的方法其中我们考虑一个房间由正交平面组成并以房间布局作为长方体结构。从不同的角度来看布局估计也可以看作是长方体每个表面上的区域分割问题。 近年来深度学习方法在语义分割等一些计算机视觉任务中的表现都优于传统方法。Long等人[13]提出了第一个用于对象语义分割的端到端监督FCN全卷积网络模型并达到了最先进的性能。因此一些人采用了将布局估计视为关键线检测的任务如[11]中的信息边缘估计和[14]中的粗布局预测。Mallya等人[11]是第一个使用分割网络通过检测信息边缘的布局估计任务。Dasgupta等人[15]2015年LSUN房间布局挑战的赢家采用两阶段框架处理任务 1)用深度神经网络分割输入图像的平面和壁2)用消失点估计优化输出。达斯库普塔等的结果al启发几个后续工作[16][17]遵循两阶段管道由FCN-like网络语义分割和布局优化技术例如布局假设建议排序[11][15][14][16]和特殊优化模块[17]后处理。 这并不是要否认上述方法所取得的惊人结果然而后处理技术的额外时间消耗使这些方法不适合在时间效率发挥关键作用的应用程序。因此我们提出了一个单阶段管道来解决基于时间消耗的问题。本文的主要贡献如下 我们提出了一个单级管道来训练一个端到端神经网络来进行室内布局估计。我们提出了一种新的布局结构退化方法来扩充数据并补偿现有数据集中的不平衡分布问题。我们的方法可以推断一个网络推断空间布局并实时提供最先进的结果。 2. PROPOSED APPROACH 2.1 Overview 在本节中我们首先提供了网络设计的详细描述和定制定制的训练准则其中边缘/表面信息被集成在密集的像素级预测过程中。第二部分将介绍另一种旨在缓解数据不平衡问题的额外训练策略即布局结构退化。 2.2. Planar Semantic Segmentation 在曼哈顿世界假设[12]下我们可以考虑每个场景都是由多个平面组成的因此在不同的视角下捕获的布局类型有限。我们将这些布局称为[15]中描述的平面语义表示这些平面被标记为前墙、右墙、左墙、天花板和地板。因此我们可以将空间布局估计问题建模为表面标记或平面语义分割。 我们的模型设计是受到最近的FCN布局估计工作的启发。Ren等人[14]使用原始FCN的类似配置VGG-16作为基础网络预测粗布局和语义表面[15]采用扩展卷积FCN的CRF细化[17]采用ResNet101的扩展卷积网络在大型数据集上进行语义分割然后进行微调转移语义特征进行布局估计以获得更好的结果。 因此我们选择了更深的网络即普通的ResNet101作为我们的特征提取器并采用DeLay等人[15]提出的布局表示其中布局估计可以视为一个五类平面语义分割问题。我们的网络的完整视图如图2所示。我们将最大池化替换原始ResNet101中的最后一个平均池化层用1×1卷积层替换全连接层并附加三个转置卷积层通过跳过连接对特征图进行上采样。为了使特征映射的维度保持一致在转发到上样本模块之前插入了额外的卷积层。此外对于网络中的主干在转换分类器块之前有两个额外的辍学层和批处理范数层以防止对该特定任务的过拟合。 2.3. Layout Structure Degeneration 我们主要在LSUN房间布局数据集上训练和评估我们的方法。尽管我们的模型的性能可以以9.75%的错误率与几种现有的方法竞争表一中我们的条目。现有数据集中的房间类型分布图4以绿色条和表二的第三列非常不平衡我们从结果中观察到房间类型包含较少的训练图像会导致更高的错误率特别是对于由较少的表面组成的房间类型表I。换句话说这意味着模型不能很好地处理这些罕见的情况而最常见的解决方案是在训练阶段扩充原始数据集。但是一般的随机裁剪和随机旋转等增强技术并不适用于我们想要保留曲面语义意义的情况裁剪可能会破坏场景的一侧破坏左墙、前墙、右墙之间的语义关系。因此我们提出了布局结构的退化来产生和补偿不同房间类型的不平衡分布。 我们观察到具有更多表面的房间类型较高程度的表面可以通过适当的变换退化为较低程度的表面。以LSUN房间布局中的0型房间为例去掉天花板退化为1型拆除地板退化为2型拆除左、右墙退化为5型需要重新标记保留左右语义。因此我们可以在LSUN房间布局中建立11种房间类型之间的关系如图3所示的DAG有向无环图所有的非叶节点都退化为较低程度的表面。 通过深度优先搜索我们可以枚举退化路径从而将特定房间类型的图像增强到其他类型中以弥补某些类型的样本不足。在那些包含较少图像的房间类型上应用布局退化如类型2、类型3、类型7和类型8可以使每种类型的分布更加平衡。在图4中黄色条意味着新生成的数据的数量只有一步退化节点和红色的意味着更激进的退化与更多的步骤这意味着将会有更多的数据类型由低程度的表面有更多的退化步骤。 我们提出的增强策略可以有效地通过更复杂的变换扩展现有数据集的场景变化从而有效地提高模型的性能和泛化能力。此外它可以成功地将错误率从9.75%降低到6.25%表二中我们的条目通过在训练中使用两次或第四次额外的增强数据样本分别为图4中的黄色条和红色条可以与最先进的方法竞争。与在以前的方法中对几十次训练数据进行随机增强相比我们可以在训练中使用更少的数据获得更好的性能。 2.4 Layout Criterion 语义分割任务是一个像素级分类问题其原始目标函数是每个像素上的交叉熵损失Lseg。从平面语义分割的结果中我们发现它在平面中心之外经常发生扭曲或撕裂也有[15]中提到的“波浪曲线”而不是直线。图6 (a)描述了一个远离二维图像上的投影的示例。因此我们引入了自适应边惩罚和平滑项来缓解这些伪影。通过这些定制的准则我们可以在边缘上强制执行更光滑、更直的布局预测结果从而得到更好的定性布局估计。 Smoothness Term: 将地面真实标签与分割布局之间的像素级L2距离lplesp最小以增强各平面内的一致性并对预测施加平滑约束。 Adaptive Edge Penalty: 边缘的分布往往是扭曲的不够直的布局线索。因此我们计算了预测布局的边缘图并使用二值交叉熵损失的边缘来最小化与地面真相的差异。此外该标准是自适应的在开始时放松随着训练迭代的增加更严格图5。采用这种自适应策略计算结果的收敛性优于固定宽度的边缘约束。 训练深度神经网络模型的总体损失函数为: 其中M表示网络的输出分块图和E表示边缘图通过计算梯度M∗生成预测的边缘图表示最终分段布局预测和较低的注释gt和pred表示地面真相和预测输出。 图6 (b)中的结果显示了应用这两个约束条件的视觉效果。虽然没有太多的改进定量措施降低错误率性能在约1%整体可视化见图7表明约束可以有效地平滑和抑制噪声和人工预测混乱场景的表面以及理顺扭曲的轮廓布局。 3、EXPERIMENTAL RESULTS 对于平面语义分割的评估我们使用LSUN房间布局估计数据集该数据集包含4000张图像用于训练394张图像用于验证1000张图像用于测试。在训练过程中我们应用随机的颜色抖动如轻微改变输入图像的亮度和对比度以增加场景的多样性。除了布局退化增强外我们还进一步引入了语义增强通过交换左右两侧的语义标签以获得更有效的增强。 由于测试集没有公开的地面真实标签我们使用LSUN Room布局官方工具包在验证集上评估我们的方法就像在之前的工作[14]中那样。首先我们想证明我们所提出的标准项的效果。在边缘惩罚和附加的平滑项的监督下预测变得更平滑减轻了伪影如图6 (b).所示图7描述了在训练准则中添加附加的平滑项和自适应边缘约束后验证集中的一些布局估计结果。 我们进一步证明了改进的模型在提出的布局退化增强策略的结果。图8是在我们的完整策略下的视觉输出它们都有非常清晰但很直的边缘并且在每个预测的表面上都有很强的一致性。我们的方法的准确性与在LSUN挑战的官方学习板上表现最好的方法相当并达到了6.25%的像素级错误率。 除了LSUN Room布局数据集外我们还通过直接应用于Hedau数据集的测试集来评估我们的模型的泛化能力而不使用其训练数据进行微调。从精度和可视化结果的表现我们可以观察到我们的模型可以应用于不同的室内数据集即使无需再训练。图9描述了Hedau测试数据集中高质量布局估计结果的一些示例表IV显示了我们的模型的准确性几乎可以达到最先进的结果。 我们用PyTorch实现了我们的方法并在使用单个NVIDIA GeForce 1080 GPU和Inteli7-7700K4.20 GHz CPU的机器上执行了所有的实验。对于时间效率的分析表三显示了退出方法的网络转发和后处理时间的消耗时间。因为我们找不到这些论文的任何发布的完整实现我们列出了他们论文的官方报告记录或他们发布的演示视频的信息作为后处理列的统计。为了使网络转发列更加耗时使用Caffe实现了几种方法并发布了这些网络配置文件所以我们可以用Caffe官方分析工具进行测量并在我们自己的机器上进行公平竞争的评估。 因此我们提出了一个单一的网络来进行布局估计并且该模型可以给出许多令人印象深刻的视觉结果。此外布局结构退化可以有效缓解数据不平衡问题进一步提高布局估计精度。此外我们的端到端网络方法可以直接预测房间的布局而无需进行任何后处理因此它可以有效地实时预测来自图像的布局。 4、CONCLUSION 我们提出了一种端到端深度神经网络模型该模型可以通过加强对边缘信息的平滑性约束和整体平滑性来估计房间的布局。同时我们还引入了一种新的增强方法来进一步提高模型的布局估计精度和泛化能力。我们的实时方法可以在不使用任何后处理的情况下达到最先进的水平我们还可以将布局估计模型移植到一个移动设备上从现实世界中捕获时间图像。然而我们发现布局估计结果的时间不一致性是一个需要解决的问题因为许多现实世界的应用程序需要对视频进行稳健的时间布局估计。因此我们未来的工作将集中于提高视频布局估计的鲁棒性。