简单来说:
前处理 (Pre-Processing):在RAW域进行的处理,主要目标是“校正”和“还原”,纠正传感器和光学系统引入的缺陷,为后续处理准备好高质量的原始数据。
后处理 (Post-Processing):在RGB域或YUV域进行的处理,主要目标是“增强”和“优化”,根据最终用途(拍照、视频、预览)对图像进行美化和风格化。
下面我们进行详细的分解。
一、前处理 (Pre-Processing) - “RAW域处理”
前处理作用于图像传感器输出的最原始数据——Bayer RAW资料。每个像素点只包含R、G、B三种颜色中的一种,图像是马赛克状的。这里的处理是线性的、与图像内容无关的,主要纠正硬件层面的误差。
核心步骤包括:
黑电平补偿 (Black Level Compensation, BLC)
目的:图像传感器即使在完全黑暗环境下也会产生微弱的电流信号(暗电流),这会导致图像偏亮、噪点增多。
做法:测量并记录这个“黑电平”值,然后从每个像素的数值中减去它,使黑色的部分真正归零。
镜头阴影校正 (Lens Shading Correction)
目的:由于镜头的光学特性,光线到达传感器边缘和中心的角度和强度不同,造成画面中心亮、四角暗 (暗角)和色彩偏移。
做法:ISP会提前预存一组校正系数(LSC表),对画面不同区域的像素值进行增益补偿,使亮度均匀。
坏点校正 (Defective Pixel Correction)
目的:传感器上可能存在永久亮或永久暗的坏点。
做法:通过检测相邻像素,用正常像素的值来替换这些坏点的值。
降噪 (Noise Reduction)
目的 :在RAW域进行初步降噪,此时噪声是相对轻松的随机噪声,处理效率高。
做法 :运用时域降噪(多帧平均)或空域滤波(如高斯滤波)来抑制噪声,但同时要小心保留细节。
二、核心转换处理
ISP管线中最关键的一步。就是这是连接前处理和后处理的桥梁, 通常不被划入严格的前后处理,但它
去马赛克 (Demosaic)
目的:将Bayer格式(每个像素只有一种颜色)的RAW资料, 插值计算出每个像素点的R、G、B三个分量,从而得到一张全彩色的图像。
重要性:这个算法的优劣直接决定了最终图像的细节解析力和伪色(False Color)的多少。从这里开始,信息从RAW域进入了RGB域。
三、后处理 (Post-Processing) - “RGB/YUV域处理”
与图像内容相关的。就是经过Demosaic后,图像变为全彩RGB数据,后续的处理更侧重于图像质量的提升和风格化,很多处理
核心步骤包括:
色彩校正 (Color Correction)
目的:由于传感器对颜色的响应与人眼和显示设备不同,得转换色彩空间。
做法:通过一个3x3的色彩校正矩阵 (CCM) 对RGB值进行矩阵乘法运算,使颜色更加准确和鲜艳。
伽马校正 (Gamma Correction)
目的:人眼对暗部变化更敏感,而传感器是线性响应的。为了优化存储(更少带宽)和显示(符合人眼感知),要求对亮度进行非线性压缩。
做法:应用一个Vout =Vinγ 的幂律函数曲线,通常是将亮度值提升(γ<1),为显示做准备。
锐化 (Sharpening)
目的:补偿去马赛克和降噪过程中损失的细节,让图像看起来更清晰。
做法 :使用非锐化掩模 (Unsharp Mask) 等算法,增强图像的边缘对比度。
高级降噪 (Advanced Noise Reduction)
目的:在RGB域或YUV域进行更复杂、更智能的降噪。
做法:可能会区分亮度噪声和色度噪声进行处理,并采用基于边缘保护的滤波算法,在降噪和保细节之间取得平衡。
色彩与对比度增强 (Color & Contrast Enhancement)
目的:让照片更吸引人。这不是还原,而是“美化”。
做法:调整饱和度、对比度、动态范围(HDR)、白平衡等,使天空更蓝、草地更绿、人脸更红润。这也是不同手机品牌形成自家“色彩风格”的关键环节。
缩放与输出 (Scaling & Output)
目的 :将处理好的图像调整到目标分辨率(例如4K、1080P或预览小图),并转换为最终的输出格式(如JPEG、HEIC或视频流)。
总结与类比
为了帮助您更好地理解,我们可以做一个简单的类比:
前处理就像冲洗胶卷:
在暗房中进行的化学处理,纠正曝光不足、去除瑕疵,得到可用的底片(RAW数据)。这是一个基础且关键的还原过程。
去马赛克就像印相 :
将底片(RAW)变成一张正像照片(RGB图像)。
后处理就像数码修图或暗房特技 :
在照片(RGB图像)上进行调整饱和度、对比度、锐化、磨皮等执行,让照片最终变得好看、有风格。
现代ISP,尤其是AI ISP,正在将人工智能技术深度融入前处理和后处理中。例如,用AI模型进行更精准的降噪、更聪明的Demosaic、区域化的自适应锐化,以及自动场景识别后的个性化色彩增强,这些都让图像处理的效果和效率达到了新的高度。