一、黑电平
由于传感器,即便在无光的情况下,依然会产生微小的暗电流,这些暗电流可能是噪点会影响后期的调试。因此,我们便将这些电流处理为0,成为纯黑的颜色。可以在源头消除这些误差。
如何矫正黑电平:
在其中有个ob区域(Optical Black Region),这个区域是不感光的,但是也会接收到黑电平。因此,可以把有效区域的值减去ob区的值,这样就可以得到矫正后的值。
-
获取OB区数据:从传感器读取遮蔽区域的像素值(如每行的前若干列)。
-
计算基准值:取OB区所有像素的均值或中位数(避免异常值干扰)。
-
矫正图像数据:
矫正后像素=原始像素−OB区基准值矫正后像素=原始像素−OB区基准值 -
限幅处理:确保结果不小于0(避免负值)。
二、ISP的调试思路
1、明确ISP的调试顺序。
因为靠前的会影响到靠后顺序的模块。不同平台会不同,一定要问清楚对应的厂商。
如上是一个比较简单的 ISP pipeline,各家平台会有些差异,但其实大概的流程原理都是差不多的,可能会多些小的功能模块,及做一些数据转换处理,比如raw域去噪前,因为raw数据比较暗,可能会加一条曲线把暗部调亮一点,有助于去噪的处理。
简单过一下如上的流程图,可以分为3个模块来看,sensor 出来的是 bayer 格式的raw 数据,中间经过黑电平矫正(blc),去除暗电流、镜头阴影矫正(lsc),去掉边缘暗角及color shading、接着经过坏点矫正(dpc),去除sensor中的动静态坏点。
再经过 Demosaic 处理后,输出RGB格式的数据,接着会经过时/空域的去噪处理、白平衡(awb)、颜色矩阵矫正(ccm)、gamma的处理,后面会转换成YUV格式的数据输出,再经过自动曝光(ae)、降彩噪(CNR)、锐化等的处理,最后经过编码输出显示出来。
2、特征标定
特征标定是ISP调试的第一步,目的是通过实验室环境下的标准化测试,提取传感器模组的物理特性,并生成一组静态参数。
-
BLC(Black Level Correction,黑电平校正):消除传感器暗电流引起的基线噪声。
-
LSC(Lens Shading Correction,镜头阴影校正):补偿镜头边缘亮度衰减和颜色不均匀性。
-
Noise Profile(噪声特性分析):量化传感器在不同光照条件下的噪声分布,为降噪算法提供依据。
-
Gamma(伽马校正):调整图像对比度,使输出符合人眼感知特性。
-
AWB(Auto White Balance,自动白平衡):校正色温,确保白色物体在不同光照下呈现中性色。
-
CCM(Color Correction Matrix,颜色校正矩阵):补偿传感器颜色滤波阵列(CFA)的色偏。
-
CAC(Chromatic Aberration Correction,色差校正):修正镜头色散导致的颜色边缘偏移。
这些参数本质上是传感器模组的 "物理指纹",反映了其硬件特性(如感光能力、噪声特性、镜头缺陷等)。标定得到的参数是 静态的,即在特定实验室环境下(固定光照、色温、标定板等)生成的参数,理论上 不随场景变化。它们是后续在线调试的基准。如果不矫正好,会影响后续的模块。在标定完成后,ISP会进入 在线调试(Tuning) 阶段,即根据实际场景动态调整参数(如动态降噪强度、局部对比度增强等)。但这一阶段需要 基于准确的标定参数。
3、不同功能模块调试
亮度/对比度相关的模块,如 gamma、ltm、gtm、aeb、色彩相关模块,如 ccm、awb、gamma、blcc、清晰度相关模块,如 ae、lsc、2d/3d nr、demosaic、dpc
4、在线调试
①在线调试的第一步是AE。
因为很多模块都是基于曝光的,AE里面会涉及gain值和噪点,如果AE不确定,其他模块的噪点也不确定,调试也是没有意义的。
②降噪和清晰度调试。
接着可以是降噪和清晰度模块的调试,降噪过大肯定是会对清晰度有损失,调试时是需要平衡的, 还有调试时要注意是raw域还是yuv域的处理(如果是raw域锐化或去噪过大,可能就会放大噪声或者损失清晰度,你后续yuv域的去噪或锐化就做不出来了),另外清晰度不够时,要思考是否是 demosaic 模块细节没做出来,或者raw域去噪太强,导致细节损失了,而不是一味的去调整锐化强度。解释如下:
在低光场景(ISO 3200),需 适度放松降噪强度 以保留暗部细节,同时 降低锐化强度 避免放大噪声;而在明亮场景(ISO 100),可 增强降噪和锐化 以提升清晰度。
③ RAW域与YUV域处理的差异
RAW域处理
-
输入数据:传感器输出的原始RAW数据(Bayer格式,未插值)。
-
关键操作:
-
降噪:优先在RAW域进行 基础降噪(如时域降噪、空域滤波),因为此时噪声尚未被后续处理(如Demosaic)放大。
-
锐化:RAW域锐化需谨慎,避免在插值前破坏Bayer模式的结构(可能引入伪色或混叠噪声)。
-
风险:
-
RAW域降噪过强:会抹除高频细节(如纹理、边缘),导致后续Demosaic无法恢复。
-
RAW域锐化过度:可能放大噪声或产生伪色,后续YUV域处理难以修正。
YUV域处理
-
输入数据:经过Demosaic、色彩校正、Gamma后的YUV格式数据(亮度Y + 色度UV分离)。
-
关键操作:
-
降噪:针对YUV分量的特性进行 精细化降噪(如亮度通道降噪、色度通道降噪分离)。
-
锐化:在Y通道(亮度)进行边缘增强,或在UV通道抑制色噪。
-
-
RAW域:侧重 基础降噪(抑制固定模式噪声、时域噪声),避免过度处理。
-
YUV域:侧重 精细化降噪(如色度降噪、亮度通道自适应滤波)和 可控锐化。
④色彩模块
色彩相关的模块可以单独去调影响不大,但ccm调整的过饱和时,会出现色噪。一般整体的偏色都是白平衡偏了,图像中某个颜色不对可以调整ccm,一般情况下不建议手动去调整ccm,因为这肯定是会影响到其他颜色的。另外gamma的调整会对颜色有影响(具体为啥会有影响,我后续文章会在具体总结)。