一、前言介绍

        前面两章里面，已经分别讲解了在Raw和Rgb域里面，ISP的相关算法流程，从前面文章里面可以看到，在Raw和Rgb域里面，很多ISP算法操作，更像是属于sensor矫正或者说sensor标定操作。本质上来说，设计的目的上很多是为了改善sensor本身的硬件缺陷。

        而在Yuv域中，更多一些的是对图像画质的增强或者说风格化处理，在设计意义上，与前面Raw和Rgb阶段稍微存在一点区别。如前文描述，Rgb图像经过CSC格式转换得到YUV图像，将人眼敏感的亮度信息和不太敏感的颜色信息分离。因此，在Yuv阶段整个流程中，可以看作是能够并行的对亮度通道Y处理，和对颜色通道UV处理。

二、Y通道处理

1、Luma NR

        Luma NR也就是对亮度通道去噪，其实前面Raw格式阶段，已经有去噪模块，并且有提到，在Raw图像上去噪，去噪难度上能明显好于在后端去噪。但是这块存在历史问题，以前的ISP设计或者说低端硬件设备上，通常无法集成太强大的复杂去噪算法，这就导致Raw图像去噪时候，为了保留更多细节，通常并不会做太多或者太强的去噪，导致后面这边YUV处理时候，需要做进一步的去噪处理。

        就目前来说，比较好的ISP上，比如最近比较火的AI ISP，通常都集成的相对强大的Raw去噪算法，可以做到在保住尽可能多细节情况，把图像噪声基本处理到期望水平。这种情况下Yuv这里，就可以直接把去噪模块省掉了。

常见的luma NR算法有很多，这里就不详解列举了，后面要研究去噪算法时候再慢慢折腾。

如下图所示：左边为待去噪图像，右边为Luma去噪后图像，可以看到去噪后图像上亮噪基本没了，但是由于没有UV去噪，导致残留有大量的色斑。

 

 2、Edge Enhance

        Edge Enhance某种程度上可以理解成抗噪声的图像锐化，期望是在不明显放大噪声情况下，对图像做一些锐度调整，让图像清晰度看起来更加符合人眼感觉。需要注意的是：该模块通常可以明显提升图像清晰度，让图像纹理更清晰，但是并不能无中生有，生成出图像上原本没有的纹理细节。

        常见的作法有选择性锐化或者说多尺度锐化，简单理解就是将输入图像分解到不同频段，在不同频段做纹理细节或者说边缘检测，然后做不同强度的锐化增强，进而得到期望的清晰度增强结果图像。

        但是边缘增强，并不是越强越好，如下图可以看到，右边锐化后结果图像，红框位置出现了明显黑白边异常，因此调整边缘增强时候，需要主要各个频段增强系数，避免图像异常。

        根据个人经验来说，这类算法在实现上，最大的难点在于如何抗噪声干扰，也就是如何保证确实只对连续的边缘进行了增强，这就需要比较准确的，从噪声中分离出边缘细节。但是换句话说，既然都能把噪声和边缘细节分离出来，那基本上也就做了和去噪类似的事情。换个角度来说，如果去噪算法足够好，那么细节增强时候，不用考虑噪声干扰的话，该算法在设计和实现上，将会变得非常简单。

 

3、Contrast & Brightness

亮度的定义上：Y图像上像素值越接近255表示图像越亮，越接近0表示图像越暗；

对比度的定义上：假定图像亮度范围为[a, b],那么b-a越接近255则表示图像对比度越强，反之越接近于0，则表示图像对比度越差。

数字图像处理上，定义了最常见的亮度/对比度调整公式：g(x)=αf(x)+β， 其中α和β分别表示图像的对比度和亮度调整强度。

常用的对比度调整算法还有直方图均衡化，CLAHE等，主要用来控制结果图像的用户风格喜好。

简单效果对比，可以参考如下截图(左图为亮度/对比度调整前，右图为调整后)。

 

三、UV通道处理

1、Chroma NR

        Chroma NR也就是彩色噪声去除，它的实现和Luma NR有比较大的区别，最明显的差异在于人眼对颜色的敏感程度远小于亮度变化，因此设计UV通道去噪时候，可以不用考虑微弱纹理，只需要保住强边就好，简单暴力来说，可以直接使用多尺度的强保边滤波器进行去噪处理， 另外在不考虑微弱纹理情况下，多帧堆叠对去uv色噪非常友好。当然了，如果是因为awb异常导致的整体色斑偏色或者暗电流整片底噪的话，那当我没说过。。。

        需要特别小心2个地方：1、边缘颜色扩散。2、滤波去噪后uv出现颜色偏差。一般来说，会考虑将y通道信息加入滤波，使用y通道信息作为引导，来改善滤波可能引起的颜色扩散和偏色等问题。

        具体算法实现的话，等后面有兴趣整理这块时候，在单独慢慢折腾了。对细节感兴趣的话，小伙伴们可以先参考这个：刘斯宁：Understanding ISP Pipeline - Noise Reduction

        去噪前和去噪后效果对比大致如下，可以看到输入图像上色斑基本处理干净。

 

 2、Hue & Saturation

        Hue & Saturation主要是在做颜色和饱和度调整，简单来说就是根据需求，针对性的对图像不同区域的UV通道信息进行调整。YUV格式之类科普我这里就不做了，需要了解的话，可以参考：YUV格式到底是什么？-腾讯云开发者社区-腾讯云 等资料。

        具体来说，这里设计的功能，最初主要用来对不同应用场景和不同客户喜好的风格调整，比如希望颜色更鲜艳一些之类需求。随着发展逐渐加入了肤色调整(让肤色还原度更高)，天空调整(比如让天空更蓝)等操作，近些年很多还加入了场景适配，简单理解就是对预览输入画面进行场景识别，比如风景/人像/宠物/美食等，对不同场景适配不同参数，让对应的场景颜色等维度，分别能都更加符合人眼感官。

        具体颜色转换相关细节,这里也不深入讲了，后面研究这块时候慢慢刷再。目前的话，小伙伴们，可以参考：刘斯宁：Understanding Hue and Saturation 等资料