CVPR 2020 | 从重建质量到感知质量：
用于低光照增强的半监督学习方法
Code: https://github.com/flyywh/CVPR-2020-Semi-Low-Light
1
背景
本篇为大家介绍我们组被2020年IEEE国际计算机视觉与模式识别会议(CVPR 2020)接收的工作《From Fidelity to Perceptual Quality: A Semi-Supervised Approach for Low-Light Image Enhancement》。该文章主要针对低光照增强任务。现有的高性能低光照增强工作大多数基于全监督或无监督学习方法——前者提供更详细具体的建模信息，但一方面数据往往难以收集导致缺乏多样性，另一方面客观的重建质量与主观的感知质量并不完全重合；后者可以收集更多样的数据提升泛化性能，但代价是噪声消除以及细节重建性能较差。本文通过深度学习来进行低光照图像的半监督学习，提出了一种递归频带表示来连接无监督和全监督框架。本文提取出一系列由粗到精的频带表示，并通过递归的端到端学习进行增强，进行噪声去除和细节修正。在感知质量引导的对抗学习下，深度频带表示进行重构，生成最终的增强结果。大量实验从多角度证明了该网络结构的有效性，展现出超过现有各类方法的优秀表现。
低光照增强任务介绍
在暗光场景下进行拍摄会导致成片的一系列降质，例如低亮度、低对比度以及密集的噪声。利用更尖端的摄影设备或是更专业的摄像技术可以在一定程度上降低暗光带来的降质。然而这些选择也很难解决较弱的信号淹没在相对高强度的系统噪声中这一问题。利用长曝光来减轻噪声是一个常见且有效的选择，然而在动态场景下长曝光会带来运动模糊。在拍摄设备普及，拍摄需求旺盛且拍摄场景多样的当下，如何减轻，甚至去除这种暗光场景带来的图像降质，成为了学术界及工业界亟待解决的问题。
2
算法
本文首先使用端到端的网络提取出一系列由粗到精的频带表示，并用重建目标进行全监督，保证频带表示的重建质量要求，并通过递归的框架进行增强，进一步进行噪声去除和细节修正。然后通过对抗学习的方法，组合不同粒度的频带表示，重构最终结果，使用对抗学习以及感知损失进行感知质量引导的无监督学习。
网络结构
具体的半监督深度递归频带网络(DRBN)结构如图所示。
图1 深度递归频带网络结构
首先是深度频带学习阶段。将低光照图像输入带有残差连接的深度网络中，提取其中不同粒度的特征作为图像的频带表示。在重建时粒度最粗的表示作为基本层，对粒度相对较细的表示采取残差学习的方式，输出重建结果。在进行第一轮的特征提取后，与图像同分辨率的频带表示和图像同时作为下一轮递归网络的输入，不同粒度的表示都会作为下一轮递归的基础做残差学习。本文采用了4轮递归，最后一轮递归重建出的最细粒度的图像将作为整个深度频带学习阶段的最终结果，与重建目标进行目标函数计算并反传。此阶段的目标函数为三个粒度上的SSIM Loss。
然后是频带重构阶段。将深度频带学习阶段三个粒度上的最终输出插值到标准分辨率后做差，输入网络进行权重学习，将输出的权重与对应的通道相乘后求和，输出最终的重构结果。重构出的图像将计算目标函数。此阶段的目标函数包括判定是否为高质量图像的Discriminator Loss，利用VGG提取特征的Perceptual Loss以及衡量保真度的SSIM Loss，其中Discriminator由工作[1]提供的数据作为训练集。该目标函数作为感知引导，可以将仅关注重建质量的图像进一步进行感知质量的增强。
3
实验
本文利用LOL[2]数据集进行训练以及测试，在不同的设置下进行了实验以验证网络的性能。这些实验证明DRBN在低光照场景下的应用价值以及网络所采用的模块的有效性。
定量实验
图2 客观指标对比实验
定量对比试验与BIMEF, BPDHE, CRM, DHECE, MR. JED, RRM, SRIE, Dong, EFF, CLAHE, LIME, MF, DRD, DeepUPE, SICE和EG进行了对比，指标选择了PSNR，SSIM以及基于伽马矫正结果的SSIM(SSIM-GC)。可以看到在这些指标下，DRBN对LOL-Real数据集有更好的重建质量。
定性实验
图3 主观结果对比实验
定性对比试验提供了各类低光照增强方法的最终结果。可以看到与其他方法相比，DRBN在噪声处理和细节恢复上有着更佳的性能，且输出的图像有更好的视觉质量。
消融实验
图4 感知引导有效性实验
消融实验主要针对本文采用的两阶段框架。图4中从左到右依次是：输入、第一阶段输出、第二阶段输出以及作为参考的正常光照图像。可以看到第二阶段的感知引导能有效地提升图像的主观质量，有更鲜明的色彩和较强的对比度。
4
总结
该文章设计了一种基于半监督学习的兼顾重建质量以及感知质量的低光照增强方法，利用两阶段的框架实现了图像重建质量和感知质量的增强。作者通过实验证明了整体网络框架的优越性以及感知引导作为网络模块的有效性，为未来相关领域的工作提供了新的思路。
扫码访问代码主页
或点击左下方“阅读原文”进行跳转。
参考文献
[1] N. Murray, L. Marchesotti, and F. Perronnin. Ava: A largescale database for aesthetic visual analysis. In Proc. IEEEInt’l Conf. Computer Vision and Pattern Recognition, pages2408–2415, June 2012. 5
[2] Chen Wei, Wenjing Wang, Wenhan Yang, and Jiaying Liu.Deep retinex decomposition for low-light enhancement. InBritish Machine Vision Conference, Sept 2018. 1, 3, 5, 6
想知道更多有趣项目
欢迎扫码访问小组主页
www.wict.pku.edu.cn/struct/
)
