CV 图像质量评估 IQA

图像质量评估(Image Quality Assessment,IQA)

全参考图像质量评估(Full Reference-IQA,FR-IQA)、

半参考图像质量评估(Reduced Reference-IQA, RR-IQA)

无参考图像质量评估(No Reference-IQA, NR-IQA),

NR-IQA也称为盲参考图像质量评估(Blind IQA, BIQA)。

FR-IQA

常用于评估编解码算法性能、图像增强算法性能等场景

均方误差(MSE)、峰值信噪比(PSNR)、结构相似性(SSIM)

MSE

PSNR

SSIM

局部归一化亮度系数(MSCN)

RR-IQA

半参考图像质量评估以原始图像的部分信息,或从原始图像中提取的特征作为参考,难度介于全参考和无参考图像质量评估之间。

NR-IQA

自然场景统计方法(Natural Scene Statistic, NSS)

方法

BRISQUE 2012

《No-Reference Image Quality Assessment in the Spatial Domain》

libsvm,聚类方法

BLNDER

BLNDER [4]考虑到了不同网络层对图像质量相关特征的敏感程度不同,从预训练好的VGG网络中提取多个网络层的特征表示来分别训练SVR并预测每层特征的质量评分,最后取各层得分的平均值作为输入图像最终的质量评分(如图4所示)。

图4. BLNDER从预训练网络的多个层提取特征

DIQA [7]、BIECON[8]等方法结合了已有的全参考方法,在参考图像存在的情况下为图像块生成新的标签,当然这就引入了参考图像的限制。

RankIQA 2017

GitHub - xialeiliu/RankIQA: ICCV 2017

GitHub - YunanZhu/Pytorch-TestRankIQA

RankIQA [9]通过人工生成不同程度的失真图像来扩充数据集,虽然没有确定的质量得分标签,但可以根据失真程度对图像进行排序,从中抽取两张图像质量相对高低已知的图像构成图像对,来训练一个双生网络,最后取单路网络在小规模数据集上进行微调(如图5所示)。

之前的模型主要都是从提取特征和网络方面做改进,并没有考虑数据集图像少的问题。而RankIQA正是从数据预处理出发,取得了NR-IQA最好效果。

HIQA

HIQA[10]则借助GAN来扩充参考图像,让无参考图像评估跨越了没有原始图像作参照的鸿沟,如图6所示。通过GAN生成失真图像的参考图像,并与失真图像计算差值图,作为质量回归网络的输入来预测失真图像的质量,极大地提升了无参考图像质量评估模型的性能。

DIQA 2018

Deep CNN-Based Blind Image Quality Predictor

CLRIQA 2019

GitHub - GZHU-Image-Lab/CLRIQA: Controllable List-wise Ranking for Universal No-reference Image Quality Assessment

Contrique 2021

GitHub - pavancm/CONTRIQUE: Official implementation

Image Quality Assessment using Contrastive Learning

task-amenability

半监督训练方法

参考资料:

https://zhuanlan.zhihu.com/p/32553977

https://github.com/HuiZeng/BIQA_Toolbox

本行业相关

知物由学 | 告别挑花眼,AI算法如何筛选低质量图片?_网易易盾

开源社区

图像质量检测_CV_MulanAI实验室

https://modelscope.cn/models/damo/cv_vgg19_facial-expression-recognition_fer/summary

Image Quality Assessment | Papers With Code