多彩编程 多彩编程MZPH · CODE BLOG
ARTICLE DETAIL

文章详情

深耕前端与后端开发技术的一线实战笔记与踩坑复盘。

图像质量评价(IQA)

图像质量评价(IQA) 1.评价方法图像质量评价分为主观和客观两个方面。其中客观又分为全参考、半参考和无参考三种详情见如下博客内容https://blog.csdn.net/shinuone/article/details/1491764942.评价指标和评价算法GitHub - chaofengc/IQA-PyTorch: ️ ️ PyTorch Toolbox for Image Quality Assessment, including PSNR, SSIM, LPIPS, FID, NIQE, NRQM(Ma), MUSIQ, TOPIQ, NIMA, DBCNN, BRISQUE, PI and more...IQA-PyTorch/docs/ModelCard.md at main · chaofengc/IQA-PyTorch · GitHubhttps://github.com/chaofengc/IQA-PyTorch/blob/main/docs/ModelCard.md按照git上的要求搭好环境后使用以下testiqa.py进行测试图片可以放在绝对路径下import pyiqa # pyiqa是pytorch实现的图像质量评估库直接pip install import torch from PIL import Image import torchvision.transforms as transforms # 可以列出左右库里的函数 print(pyiqa.list_models()) device torch.device(cuda) if torch.cuda.is_available() else torch.device(cpu) # 示例 iqa_metric pyiqa.create_metric(arniqa, devicedevice) #随意选择上述存在的模型注意是否是NR的 to_tensor transforms.ToTensor() img_pathrE:\code\pytorch_test\IQA-PyTorch-main\IQA-PyTorch-main\test.jpg #图片路径 img to_tensor(Image.open(img_path)).unsqueeze(0) score iqa_metric(img) print(NIME:, score.item())测试结果如下图所示表示使用该模型arniqa得到的分数为0.453.常用的无参考的IQA方法详细解析详见博客【IQA技术专题】使用CLIP进行IQACLIPIQA-CSDN博客其中涉及到图像的美感以及感知评价的模型主要有LPIPS(learned perceptual Image patch similarity)使用预训练的深度网络(如VGG、Alexnet)来提取图像特征然后计算这些特征之间的距离以评估图像之间的感知相似度hyperiqa(blindly Assess Image Quality in the wild Guided by A self-Adaptive Hyper Network)一种针对无参考图像质量评价的自适应Hyper Network提出了一种自适应超网络架构来无参考评估图像质量。将IQA过程分为三个阶段内容理解、感知规则学习和质量预测提取图像语义后由超网络自适应建立感知规则再由质量预测网络采用。clipiqa(contrastive language-image pretranining mode)图文多模态模型exploring clip for assessing the look and feel of image 探索了clip模型在图像的质量感知(look)和抽象感知(feel)评估中的潜力提出了clip-iqa模型其核心改进为反义词提示词配对策略和移除位置嵌入无需任务特定训练即可实现评估这种方法突破了传统iqa方法的三大局限1.无需手工特征工程2.跨领域泛化能力3.零样本学习能力对于CLIP模型的结构学习【小白】一文读懂CLIP图文多模态模型_clip模型-CSDN博客经典多模态模型CLIP - 直观且详尽的解释 - 知乎将CLIP模型用于iqa的过程见如下博客【IQA技术专题】使用CLIP进行IQACLIPIQA-CSDN博客
返回列表