培训学校如何做网站宣传,怎样做28网站代理,广东东莞招工信息最新招聘,园区二学一做网站点击上方“AIWalker”#xff0c;选择加“星标”或“置顶” 重磅干货#xff0c;第一时间送达Tips#xff1a;一点点提示#xff0c;因内容较多建议先关注#xff0c;再置顶#xff0c;最后端杯茶来精心浏览。背景低光图像是夜晚拍照时极为常见的一种现象。不充分的光…       点击上方“AIWalker”选择加“星标”或“置顶”    重磅干货第一时间送达Tips一点点提示因内容较多建议先关注再置顶最后端杯茶来精心浏览。背景低光图像是夜晚拍照时极为常见的一种现象。不充分的光照会极大的降低图像的视觉质量细节损失、低对比度不仅导致令人讨厌的主观感受同时会影诸多计算机视觉系统的性能(这些系统往往为正常光照图像而设计)。导致低光图像的原因有很多如低光环境、低端拍摄设备以及不合理的拍照设备的配置等。为尽可能的恢复图像的细节信息改善图像质量我们急需一种有效的低光图像增强方案。在过去的十年里许多研究人员对低光图像增强展开了研究并提出了多种技术。如Histogram Equalization(HE)及其改进Retinex理论及其改进等等。本文主要关注深度学习方法在该领域的一些进展将简单汇总与介绍近几年相关的深度学习方法以及相应的数据集、相关技术的评价标准等等。数据这里汇总了一些公开论文中用到的低光图像数据供模型训练与测试参考。   在低光图像增强领域中目前最常用的数据集为SID与LOL这两种数据集。这两个数据集分别代表了低光图像增强领域的两个场景。SID是极暗场景下的数据集它的输入为未经任何处理的RAW格式数据未经ISP处理而LOL则是类似夜景这种有一定光照条件下的低光数据集它的输入与输出均为PNG格式的数据即经过了ISP处理。Table.1 与低光图像增强相关的数据集dataset简介链接VIP-LowLightEight Natural Images Captured in Very Low-Light Conditions链接ReNOIRRENOIR - A Dataset for Real Low-Light Image Noise Reduction链接Raw Image Low-Light Object-链接SIDLearning to see in the dark链接ExDARKGetting to Know Low-light Images with The Exclusively Dark Dataset链接MIT-FivKLearning Photographic Global Tonal Adjustment with a Database of Input / Output Image Pairs链接LRAICE-DatasetA Learning-to-Rank Approach for Image Color Enhancement-The 500px DatasetExposure: A White-Box Photo Post-Processing Framework-DPEDDSLR-quality photos on mobile devices with deep convolutional networks链接LOLDeep Retinex Decomposition for Low-Light Enhancement链接VV-链接方法时间方法场景2015LLNet A Deep Autoencoder Approach to Natural Low Light Image Enhancement低光2017DSLR Quality Photos on Mobile Devices with Deep ConvolutionalNetworks低光2017MSRNet Low Light Image Enhancement using Deep Convolutional Network低光2017LLCNN A Convolutional Neural Network for Low light Image Enhancement低光2017LIME Low light Image Enhancement via Illumination Map Estimation低光2017Deep Bilateral Learning for Real Time Image Enhancement低光2018DeepISP Towards Learning an End to End Image Processing Pipeline低光2018Getting to Know Low Light Images with The Exclusively Dark Dataset低光2018Deep Retinex Decomposition for Low Light Enhancement低光2018Learning to see in the dark暗光2019End to End Denoising of Dark Burst Images using Recurrent Fully Convolutional Networks暗光2019GLADNet: Low Light Enhancement Network with Global Awareness低光2019Kindling the Darkness: A Practical Low Light Image Enhancer低光2019Learning Digital Camera Pipeline for Extreme Low Light Imaging暗光2019A Pipeline Neural Network for Low Light Image Enhancement低光2019Underexposed Photo Enhancement using Deep Illumination Estimation低光上表中汇总了最近几年深度学习在低光图像增强领域中的几种方法。下面将分别针对这些方法进行简单的总结与介绍。0. Retinex理论经典的Retinex理论模拟了人眼颜色感知它假设观测图像可以被分解为两种成分Reflectance与Illumination。假设表示观测图像它可以被分解为其中表示反射图表示亮度图 表示点乘操作。反射图描述了观测目标的固有属性它可以被视作常量且与光照无关亮度图表示了目标的不同光照。低光图像存在暗光与不平衡的亮度分布。在传统方法中Single Scale Retinex, SSR通过高斯滤波为亮度图添加平滑性作为最早期的尝试MSR, MSRCR通过添加多尺度高斯滤波与颜色还原对SSR进行了拓展。关于更多相关技术可以参考Retinex Image Processing.在深度学习方法中已有诸多方法尝试将Retinex理论与深度网络相结合在降低学习难度的同时提升算法性能如RetinexNet。1. GLADNetproject, codeGLADNet的核心(1)为低光输入计算全局亮度估计(2)基于前述所得与原始输入调整亮度。它将输入图像缩放到特定尺寸并送入到编解码网络中生成关于亮度的全局先验信息基于全局先验信息与原始输入图像采用卷积神经网络进行细节还原。在训练过程中作者采用RAW图像合成的数据进行训练。通过大量实验验证了所提方法的有效性。img上图给出GLADNet的框架图从中可以看出该网络由两部分构成全局亮度先验估计在该部分中作者采用了一个编解码网络架构用于估计全局亮度信息。注为估计亮度信息它需要将输入图像下采样到固定尺寸这样可以保证该架构的底层感受野可以包含整个图像。该子网络包含三个步骤(1) 缩放输入特征到特定分辨率(2) 采用编解码架构估计全局亮度信息(3)缩放到原始分辨率。细节还原全局亮度估计过程中由于尺度缩放问题会导致细节损失为弥补该问题作者设计了该细节还原子网络。相比编解码网络输出原始输入图像应当包含更多的细节信息因而可以为细节还原提供更多信息。该子网络以全局亮度信息原始输入图像作为输入(这样可以保证了原始信息与亮度估计互补并传递到后续网络)该子网络另外包含三个卷积操作。作者在训练过程中采用RAW图像进行训练数据的合成采用加权损失函数进行训练。加权损失函数定义如下其中这种参数设置可以保证颜色平衡问题提升网络的鲁棒性。1558145522602155814569462715581457334112. RetinexNetRetinexNet, paper, BMVC2018,poster,ppt, codeRetinex是一种有效的低光图像增强方法。它假设观测图像可以被分解为Reflectance与Illumination。现有的基于Retinex的模型需要精心设计人工约束条件与参数用于求解该病态分解问题(这限制了模型在不同场景应用中的泛化性能)。作者收集了一批低亮度图像对(含低光与正常光图像)并提出一种RetinexNet架构在该数据集上进行训练学习。RetinexNet包含一个DecomNet用于图像分解分解以及一个EnhanceNet用于亮度调整。在训练过程中DeconmNet并没有关于Reflectance与Illumination的真值。因而该网络学习了这样的关键约束图像对的反射一致性与亮度的平滑一致性。基于该分解方案EnhanceNet用来进行亮度增强同时需要对Reflectance进行降噪处理。该RetinexNet可以通过端到端的方式进行训练。大量实验表明RetinexNet不仅取得极好的视觉效果同时可以提供一种良好的图像分解表达。1558071668969RetinexNet是一种数据驱动的Retinex分解方法它集成图像分解与增强操作于一体。首先子网络DecomNet用于将观测图像划分为亮度独立的反射图与结构平滑的亮度图DecomNet网络存在两个约束条件(1) 低光与正常光具有相同的反射图(2) 亮度图应该是平滑的且保留有主要结构(可通过结构相关的全变差损失约束学习)。在训练过程中它以成对图像作为输入(用于约束反射一致性)在测试阶段仅需要输入低光图像。然后子网络EnhanceNet通过多尺度Concat操作调整亮度图以保证(1)在大范围内保持一致(2)小范围内进行裁剪局部分布。它主要作用是提升亮度图的亮度它是一种类似UNet的编解码架构。由于噪声往往存在于暗区且易被增强过程放大因而采用在反射图上进行降噪。最后在重建阶段通过组合调整后的亮度图与反射图计算输出图像。注为训练这样一个网络作者利用RAW数据集构建了一个包含真实与合成图像的低光数据集。损失函数相关RetinexNet用到的损失函数包含三项重建损失、不变反射损失以及亮度平滑损失。总体损失函数定义如下其中分别表示用于均衡不变反射损失与亮度平滑损失的系数作者的参数设置为。DecomNet部分用到的重建损失函数定义如下EnhanceNet部分用到的重建损失函数定义如下注上述两种重建损失区别在于采用的梯度图对进行了加权。用于约束反射一致性的不变反射损失定义如下用于约束亮度平滑的亮度平滑损失在Total Variation Loss基础上进行改进得到定义如下其中表示梯度操作(包含)表示结构强度平衡系数降低了图像梯度剧烈区域的平滑约束性作者的参数设置。更多关于损失函数的介绍建议查看论文介绍。155808347945515580836830203. Kindling the Darkness: A Practical Low Light Image Enhancerarxiv paper低光条件下所拍摄的图像存在严重的质量问题。除了低光外噪声、颜色失真等同样限制了图像的质量。换句话说简单的调节的暗区的亮度不可避免的放大暗区的噪声和伪影等。受Retinex理论启发作者构建了一种简单有效的网络Kindling the Darkness, KinD网络它将图像分解为两部分亮度部分用于调整图像亮度反射部分用于移除降质。经过上述处理原始空间被分解为两个更小的子空间以期具有更好的泛化性能。需要注意的是该网络通过不同曝光图像对进行训练而非真实的反射与亮度信息。通过通过实验验证了所提kinD架构的优异性能同时在2080TiGPU下可以以不超过50ms的速度处理VGA分辨率的图像。1558333260322从方法流程图来看KinD与RetinexNet如出一辙两者整体思想基本一致尽在损失函数设计方面存在差异。故而这里仅对损失函数进行描述介绍。损失函数从上图可以看出KinD的损失函数主要由三部分损失构成它们分别是层分解部分损失、反射重建部分损失以及亮度调整部分损失。层分解部分损失定义如下其中表示反射相似性损失(Reflectance Similarity)即短曝光与长曝光图形的反射图应该是相同的表示亮度平滑损失约束(Illumination Smoothness)它度量了亮度图与输入图像之间的相对结构边缘区域惩罚较小平滑区域惩罚较大表示相互一致性约束(Mutual Consistency)它意味着强边缘得以保留弱边缘被抑制表示重建损失(Reconstruction Error)。反射部分损失定义如下亮度调整部分损失定义如下以上简单描述了网络训练过程中的相关损失函数更多详细信息建议参考原文。155833576908715583358359404. MSRNet Low Light Image Enhancement using Deep Convolutional Networksarxiv paper低光图像存在低对比度问题导致后续视觉任务的难度提升。基于Retinex理论与CNN作者提出一种低光增强方法。作者表示多尺度Retinex等价于带有不同高斯卷积核的CNN首次启发作者考虑采用端到端的方式学习多尺度CNN(MSRNet)。不同于已有方法作者将低光增强视作机器学习问题该模型的所有参数通过反向传播方式学习得到而传统方法则需要人工设置相关参数。最后作者通过大量图像已验证了所提方法的有效性。1558337147748上图给出了作者所提MSRNet它采用低光图像作为输入通过监督学习方式训练网络参数。它包含三个部分多尺度对数变换、差分卷积以及颜色还原。总体过程可以描述为。多尺度对数变换以低光图像作为输入得到相同尺寸的输出。低光图像通过几个不同的对数变化进行增强公式描述为其中表示对数基下的不同尺度的输出n表示对数变换数。下一步则将多尺度输出结果通过Concat方式拼接得到并将其送入卷积与ReLU描述如下这里表示将输入Shrinks到3通道的卷积变换参数表示更进一步提升非线性表达能力的卷积核参数。该模块的功能主要是通过加权组合多尺度对数变换得到更好的初始图像以加速网络收敛。差分卷积以作为输入计算同尺寸的输出。公式描述如下表示不同尺度平滑结果将他们通过Concat方式拼接得到并执行后续操作类似MSR的输出计算为。颜色还原以作为输入通过卷积执行色彩还原.网络训练过程中的损失函数定义如下155833969635515583397476235. A Pipeline Neural Network for Low Light Image Enhancementpaper受多尺度Retinex(MSR)原理启发基于全卷积网络与离散小波变换(DWT)作者提出一种端到端的低光图像增强框架。首先作者说明MSR可以视为一种CNN架构集成DWT可以改进MSR所生成图像的质量然后作者提出具有去噪和增强的框架最后醉着在合成数据与公开数据上对所提框架进行了评估。1558344572086上图给出作者所提框架在训练与测试阶段的流程图该网络采用损失进行参数训练学习同时去噪与增强模块交替训练学习。鉴于该论文参考意义不大故略更多细节见原文。15583450769836. LLCNN A Convolutional Neural Network for Low Light Image Enhancementpaper作者提出采用CNN进行低光图像增强。作者设计了一种特殊的模块处理多尺度特征同时避免了梯度小时问题。为尽可能保留图像的纹理信息作者采用SSIM损失进行模型训练。基于该方法低光图像的对比度可以自适应增强。作者通过实验验证了所提方法的有效性。1558340366047上图给出了作者所设计的网络架构图。为避免梯度消失问题作者参考Inception, Residual模块设计了一种新颖的卷积模块如下图所示。1558340484927总而言之作者所设计的网络架构可以描述为采用一个卷积预处理图像得到均匀输入一个卷积用于生成增强图像其他特殊模块插入到前面两个卷积中间。15583407790207. DSLR Quality Photos on Mobile Devices with Deep Convolutional Networksarxiv paper, project, code,尽管智能手机内置相机具有越来越好的拍照效果但是物理约束(如传感器大小、镜头以及特定硬件的缺失)仍阻碍更高质量图像的获取。作者提出一种端到端的方式将普通光照图像变换为高质量视觉效果图像。作者采用残差卷积网络它可以提升图像的颜色与细节锐利度。由于标准的MSE损失并不适合度量图像的感知质量作者引入一种混合损失函数(组合纹理、颜色以及上下文)。作者同时构建了一个DPED数据集通过该数据集进行网络训练并验证了所提方法的有效性。1558341636811给定低质图像该增强人物的目标是通过DSLR相机生成。假设残差卷积网络为给定训练数据,该优化问题可以描述为其中为本文的关键所在它是多种损失函数的组合定义如下颜色损失用于度量增强图像与目标图像之间的颜色差异性(注为避免高频细节影响在计算之前进行高斯模糊)定义如下其中。该损失函数主要用于评估图像的亮度、对比度以及颜色的差异性而忽略掉纹理与内容的差异。纹理损失用于度量图像之间的视觉相似性通过GAN方式训练调整生成图像的纹理质量定义如下其中分别表示生成网络与对抗网络。注该损失具有平移不变性。内容损失基于预训练VGG19网络的激活特征图进行统计分析它可以确保图像的语义特征不变令表示VGG19的第j层激活输出该损失定义如下全变差损失用于确保生成图像的空域平滑性定义如下155834337270815583435158418. Learning to see in the darkarxiv paper,CVPR2018, code, demo由于低光子、低SNR等原因导致低光成像极具挑战。短曝光图像存在高噪声长曝光会引入模糊不切实际。为解决低光成像存在的问题作者构建了一个低曝光长曝光RAW数据集并开发一个端到端的全卷积低光图像处理框架。该框架直接以RAW数据作为输入经全卷积操作后输出RGB图像。1558321555119数据集作者收集一个新的低光RAW数据集它包含5094对短曝光-长曝光图像对同时包含室内与室外两种不同的场景。室外场景的亮度变化范围室内场景的亮度变化范围短曝光时长为对应的长曝光时长为。作者采用了索尼与富士胶片分别采集数据它们具有不同的传感器类型。索引传感器类型为Bayer模式图像分辨率富士胶片传感器类型为APS-C X-Trans传感器图像分辨率。更多关注的描述可以参考原文。方法作者提出采用全卷积网络直接采用RAW数据作为输入经卷积计算后直接输出RGB结果。对于Bayer形式数据需要事先将其打包为多通道数据并进行预处理(可参考上图流程)。在全卷积网络架构方面作者主要参考了CAN与UNet默认架构为UNet。除了RAW数据外另一个输入为参数为放大比例系数它用于控制输出图像的零度。下图给出了不同放大比例系数的输出结果对比。在训练过程中作者采用损失从头开始训练整个网络放大系数设置为输入与真值之间的曝光差异比例。下面列出了所提方法在所构建数据集上的部分效果。1558329681018155832975021315583297923099. Learning Digital Camera Pipeline for Extreme Low Light Imagingarxiv paper在低光条件下 传统的ISP处理会导致生成的图像极暗(过少的光子)且高噪(低信噪比)。作者提出一种数据驱动的方法用于学习低曝光与正常曝光之间的一种映射关系从而极大的提高低光图像的视觉效果。作者提出一种新的损失函数以促进深度网络可以学习短曝光图像到正常曝光图像之间的ISP流程即lowRAW-sRGB这样的一个过程。实验结果表明相比已有网络中采用的像素级损失该方法可以取得更优的视觉效果。1558316339487损失函数该文的主要创新点在于损失函数的设计故而这里对文中所提到的损失函数进行简单汇总分析。文中所设计的多准则损失函数定义如下其中表示每个独立的损失函数分别表示作用于输入与输出的函数随损失函数的类型变化而变化。表示像素级的损失函数如损失与损失表示更高层的感知损失。直接在网络输出与真值之间计算误差信息此时有损失函数定义为其中用于均衡两种损失可通过Grid Search方式在验证集上进行估计得到表示尺度数用于调整每项损失的相对重要性在实验过程中所有参数设置为。用于在特征层面衡量两个图像之间的相似性有助于保持颜色与色彩一致性此时其中表示神经网络第层的激活特征损失函数定义如下作者实验过程中采用在ImageNet上预训练的VGG16(注其他AlexNet, ResNet, GoogLeNet亦可)提取特征并进行相似性比较。网络架构从上图可以看出作者设计的网络架构包含两个子网络图像还原子网络与感知损失子网络。图像还原子网络采用了***带跳过连接的UNet架构***(更多细节参考原文)它具有以下几个优点在图像还原与分割任务中它具有极优的性能它可以处理任意分辨率图像跳过连接确保了上下文信息的自适应传递保留了高分辨率细节信息感知损失子网络采用VGG16的前两个卷积提取特征这两个特征可以精确的编码图像的风格与内容感知信息。15583203411581558320526072155832078286410.  End to End Denoising of Dark Burst Images using Recurrent Fully Convolutionaly Networksarxiv paper作者提出一种递归全卷积网络(Recurrent Fully Convolutional Network, RFCN)用于处理极暗场景下的降噪并提升亮度的问题。该方法以RAW数据作为输入直接生成RGB数据它可以同时进行降噪、色彩校正以及增强等任务。该方法取得SOTA性能且具有极好的泛化性能(一种类型相加训练模型不经finetune仍可很好的处理不同相机得到的图片)。1558345763871上图给出了作者提出低光图像降噪增强流程图它的核心在RFCN模块针对单帧降噪与多帧降噪其处理流程存在些微差异见下图。1558346307229损失函数定义如下1558346547017155834649120811. Deep Burst Noisingarxiv paper, code噪声在低光图像采集过程中不可避免的(由于手机设备有限的孔径、较小的传感器这类问题会进一步恶化)。一种减缓低光场景噪声的方法是提升曝光时间但是这会导致两个问题(1) 亮区会超出传感器范围(2)会相机或场景运动导致模糊。另一种方法是一次获取多帧短曝光图像协同降噪。本文基于后一种方案采用RFCN架构处理低光降噪问题。该架构可以处理任意长度序列降噪并取得了SOTA性能。本文目标有以下几点可以处理单帧降噪问题可以拓展到任意帧可以对整个序列进行降噪对运动鲁棒具有时序相关性可以推广到其他图像还原任务中本文所涉及方案流程如下构建单应性矩阵解决对齐问题采用FCN独立的为每帧图像降噪拓展FCN为并行递归网络即集成多帧信息降噪网络架构单帧降噪问题可以视为这样的优化问题。这里采用FCN构建映射函数它包含个含通道输出卷积核为的卷积层。多帧降噪问题可以视为这样的优化问题.对于多帧问题作者采用RNNFCN架构进行处理。下图给出了作者所提出的多帧降噪架构。155841570679015584161946311558416256211 Note: 10 与11两种方法基本相同区别仅在于处理数据的类型 10用于处理RAW数据降噪11用于处理RGB数据降噪其他无甚区别。 12. DeepISP Toward Learning an End to End Image Processing Pipelineproject, paper作者提出一种端到端的用于模拟ISP流程的深度神经网络DeepISP。它学习了从低光RAW到最终视觉效果良好RGB的映射集成去马赛克、降噪以及颜色校正、图像调整等功能。在专用数据集(由三星S7只能手机采集的低光RAW与正常光RGB数据对)上对所提框架进行了训练与测试。所提方法在联合去马赛克降噪方面取得了SOTA性能。相比传统ISP方案该方案具有更优的视觉效果。1558420054895上图给出了DeepISP架构图它包含两个部分底层特征处理(局部修正)与高层特征处理(全局校正)。Low Level Stage.该部分包含个模块每个模块执行的卷积操作它的输入与输出均为。注输入到网络中的为去马赛克后并进行双线性插值的RGB图像。在这64个通道中其中61个通道为标准的前向卷积ReLU另外三个通道则采用残差架构tanh。High Level Stage该部分包含个卷积层()它可以获得更大的感受野降低计算损失。这些卷积后接全局均值池化得到一个特征向量并通过全连接层得到变换参数W。Output在得到变换矩阵W后将其作用于底层特征记得得到最终的输出。这里的变换公式定义如下其中 表示上三角矩阵向量化操作。经此操作即可得到每个像素的输出。采用这种处理的原因(1)线性回归不适用于两者之间的变换(2)具有更好的视觉效果。在训练过程中损失函数在Lab域进行计算在Lab域三个通道分别计算损失尽在亮度通道计算MS-SSIM损失。整体损失定义如下155842271698313. Underexposed Photo Enhancement using Deep Illumination Estimationpaper这是腾讯优图贾佳亚团队发表于CVPR2019用于低光图像增强的一种基于Retinex的深度网络方法。本文提出一种欠曝光图像增强方法。不用于已有直接学习Image2Image映射的方法我们在网络中引入了中间亮度对输入与期望增强结果构建相关性这种处理方式提升了网络处理复杂图相对的能力。基于该模型我们构建了一种集成亮度约束与先验的损失函数同时准备了3000对欠曝光图像用于网络训练。该方法可以为图像重建清晰的细节、明显的对比度以及更为自然地颜色。基于所构建数据集与MIT-Adobe FiveK数据集的实验证实该网络可以有效处理不同挑战难度的图像。1558485749732该方法基于Retinex而进行设计假设反射分量是正常曝光图像I为欠曝光图像S为亮度图像即。此时需要采用深度网络估计亮度图像S。作者将亮度图像S视为三通道数据而非单通道数据以提升其在色彩增强方面的能力尤其对于跨颜色通道的非线性能力。网络架构上图给出了作者所涉及的网络架构图它具有两个优点亮度图的有效学习与整体网络的高效计算。有效学习欠曝光图像增强需要调整局部(对比度、锐化细节、阴影、高光等)与全局(颜色分布、平均亮度与场景类别等)特征。因而作者考虑从编码网络中提取局部与全局特征同时设计了一种集成亮度平滑先验、重建损失、颜色损失的损失函数。这些策略有确保网络可以有效的学习到亮度图像S。高效计算为计算计算作者采用低分辨率局部与全局特征学习亮度图像然后采用Bilateral Grid Upsampling方式进行上采样。因此该网络的大部分计算量均位于低分辨率区域进而确保高分辨率图像处理的实时性。损失函数作者所设计的损失函数定义如下其中。重建损失。平滑损失.注表示水平与垂直方向的偏导表示输入图像的对数图像用于控制图像梯度的敏感度。该损失函数可以避免过拟合同时提升图像的对比度。颜色损失。用于计算两个颜色向量(RGB三维)的角度。使用该损失而非的原因(1) 重建损失已明确度量颜色差异(2)只能度量颜色差异而无法颜色向量具有相同方向进而容易导致明显的颜色偏差。155848901260614. Deep Bilateral Learning for Real Time Image Enhancementproject, paper, code这是一篇Google Research发表于SIGGRAPH2017 用于图像增强的方法。基于双边网络处理与局部颜色仿射变换作者提出一种新的深度网路架构用于图像增强。采用图像对训练深度网路学习双边空间下的局部仿射系数该架构可以学习局部、全局以及内容相关的决策参数以生成期望的图像变换。在运行时该网络在低分辨空间学习双边空间内相关仿射参数然后将这些参数采用保边形式上采样最后将这些参数作用于全分辨率输入图像得到最终期望的输出。最终该算法可以在手机端以毫秒级处理高分辨率图像对于1080p分辨率图像可以做到实时处理。1558495390250网络架构该网络的大部分推理均在低分辨率上执行该部分用于预测类似Bilateral Grid的局部仿射变换。图像增强不仅依赖于局部特征同时还依赖于全局特征。因而低分辨率流进一步划分为两个分支最后融合两个分支的结果得到最终的仿射变换系数。在高分辨率分支在全分辨率图像上执行它占据较少的计算但对于获取高频信息、保边有很重要作用。为此作者一如了Slicing节点以参考图为例采用查找表方式构建最终的放射系数图。最后将所得到的高分辨率仿射系数作用于原始输入图像即可得到期望的增强图像。低分辨率分支低分辨率输入具有固定的尺寸后接一些列卷积操作以提取底层特征并降低分辨率然后将所得特征送入非对称分支中局部特征提取分支与全局特征提取分支。全局特征与局部特征融合为特征最终通过Pointwise Linear Layer生成最终的Bilateral Grid仿射系数。局部特征提取分支由全卷积构成在学习局部特征的同时保持空间分辨率全局特征提取分支由卷积与全连接层()构成以学习一个固定尺寸的全局特征。高分辨率分支为尽可能的降低整体的计算复杂度高分辨率分会应当简单且易于并行。对于全分辨率输入提取特征。它有两个作用(1) 生成参考图(2)局部仿射模型的回归变量。定义为全分辨率图像的线性仿射变换。其中表示的颜色放射矩阵更多参数见原文。重建分支最终的模型输入可以通过全分辨率特征与仿射参数计算得到.1558510947455评价指标关于图像质量评价的指标可以参考参考链接。这里仅仅列举了几种较为常见的评价指标。方法公式说明MSE-PSNR-SSIM-MS-SSIM-JND--NIQE-VMAF 1VMAF 2小结从数据层面可以划分为低光图像与暗光图像。低光图像增强则更多是在RGB层面进行处理而暗光图像增强则是在RAW层面进行处理。从网络架构方面可以划分为基于UNet的架构与基于Retinex的架构。UNet架构是一种更具通用性的架构但其存在不可控性因素最终生成图像无法进行人工调控Retinex架构则是参考了传统图像增强中的Retinex理论与深度网络技术而提出的方案其架构可以赋予人工交互因子可控性稍高。从损失函数方面可以划分为单一损失函数(等损失)与组合损失函数( 感知损失等)。单一损失函数(如)往往会导致生成图像的模糊、颜色失真等现象组合损失函数可以在一定程度避免上述现象但有可能出现纹理失真现象。欢迎关注AIWalker公众号在这里您将得到独家深度学习经验分享与个人思考。想支持Happy继续写下去就点个赞关注一下吧