【CVPR 2025】迭代预测-评判编解码网络：突破真实场景去雾的极限
摘要
本文提出了一种名为IPC-Dehaze的创新去雾方法，通过迭代预测-评判框架和码本解码机制，有效解决了现有去雾算法在复杂场景下的性能瓶颈。该方法在多个基准测试中取得了SOTA性能，尤其在非均匀雾霭、色彩失真和低光照条件下表现出色。代码已开源，为后续研究提供了重要参考。
引言
图像去雾是计算机视觉的基础任务，在自动驾驶、遥感和监控等领域具有广泛应用。现有方法主要分为物理模型驱动和数据驱动两类，但在处理真实场景中的复杂雾霭时仍存在不足。本文提出的IPC-Dehaze框架通过迭代优化和码本解码机制，显著提升了去雾效果，特别是在非均匀雾霭和低光照条件下。
相关工作
- 物理模型方法：基于大气散射模型，通过估计传输图和大气光来恢复图像。代表性方法包括He等人的暗通道先验(DCP)和Fattal的独立成分分析。这类方法对雾霭分布假设较强，在复杂场景下效果有限。
- 数据驱动方法：利用深度学习直接学习雾霭图像到清晰图像的映射。代表性方法包括AOD-Net、MSCNN和GridDehazeNet。虽然取得了不错的效果，但在处理非均匀雾霭和保留图像细节方面仍有挑战。
- 迭代优化方法：通过多次迭代逐步改进去雾结果，如GFF-Net和ID-CGAN。这些方法通常计算复杂度较高，但能获得更精细的结果。
方法
整体框架
IPC-Dehaze采用编码器-解码器架构，包含三个核心组件：
- 特征提取编码器：使用ResNet骨干网络提取雾霭图像的多尺度特征。
- 迭代预测器：通过多次迭代逐步生成去雾结果，每次迭代都基于上一次的输出和原始特征。
- 评判解码器：评估当前预测结果的质量，并生成反馈信号指导下一次迭代。
迭代预测-评判机制
- 预测器：设计为U-Net结构，通过跳跃连接融合多尺度信息，逐步细化去雾结果。
- 评判器：采用PatchGAN架构，评估预测结果的局部和全局质量，并生成质量图。
- 迭代优化：通过预测器和评判器的交互，实现结果的逐步优化，避免陷入局部最优。
码本解码机制
引入可学习的码本，将特征表示为码本向量的组合，有效压缩特征空间并增强特征表达能力。码本解码过程分为两步：
- 编码阶段：将输入特征映射到码本空间，生成稀疏编码。
- 解码阶段：通过加权组合码本向量，重建去雾图像。
实验
数据集
- 合成数据集：RESIDE标准数据集(OTS和SOTS)。
- 真实数据集：HazeRD、NH-HAZE和I-HAZE。
评估指标
使用PSNR、SSIM、NIQE和LPIPS等指标评估去雾质量。
对比方法
与10种SOTA方法进行对比，包括物理模型方法(DCP、Fattal)和深度学习方法(AOD-Net、MSCNN、GridDehazeNet等)。
实验结果
- 定量结果：在所有评估指标上均显著优于现有方法，特别是在PSNR和SSIM上提升明显。
- 定性结果：能有效去除非均匀雾霭，保留图像细节，减少颜色失真和伪影。
- 消融实验：验证了迭代机制和码本解码的有效性。
结论
本文提出的IPC-Dehaze框架通过迭代预测-评判机制和码本解码，显著提升了真实场景下的图像去雾效果。实验结果表明，该方法在多个基准测试中取得了SOTA性能，特别是在处理复杂雾霭条件下表现出色。未来工作将探索在视频去雾和实时应用中的扩展。
应用场景
- 自动驾驶：提升恶劣天气下摄像头的感知能力，增强自动驾驶系统的安全性。
- 遥感与卫星成像：去除大气雾霾对遥感图像的影响，提高地物识别和分析的准确性。
- 监控系统：改善恶劣天气下监控摄像头的图像质量，提升安防监控效果。
- 无人机巡检：在雾霾天气下获取清晰的巡检图像，保障电力、管道等设施的安全。
- 影视后期制作：快速去除镜头中的雾气，节省人工处理成本，提升制作效率。
)
