图像质量评估(Image Quality Assessment,IQA)
全参考图像质量评估(Full Reference-IQA,FR-IQA)、
半参考图像质量评估(Reduced Reference-IQA, RR-IQA)
无参考图像质量评估(No Reference-IQA, NR-IQA),
NR-IQA也称为盲参考图像质量评估(Blind IQA, BIQA)。
FR-IQA
常用于评估编解码算法性能、图像增强算法性能等场景
均方误差(MSE)、峰值信噪比(PSNR)、结构相似性(SSIM)
MSE
PSNR
SSIM
局部归一化亮度系数(MSCN)
RR-IQA
半参考图像质量评估以原始图像的部分信息,或从原始图像中提取的特征作为参考,难度介于全参考和无参考图像质量评估之间。
NR-IQA
自然场景统计方法(Natural Scene Statistic, NSS)
方法
BRISQUE 2012
《No-Reference Image Quality Assessment in the Spatial Domain》
libsvm,聚类方法
BLNDER
BLNDER [4]考虑到了不同网络层对图像质量相关特征的敏感程度不同,从预训练好的VGG网络中提取多个网络层的特征表示来分别训练SVR并预测每层特征的质量评分,最后取各层得分的平均值作为输入图像最终的质量评分(如图4所示)。
图4. BLNDER从预训练网络的多个层提取特征
DIQA [7]、BIECON[8]等方法结合了已有的全参考方法,在参考图像存在的情况下为图像块生成新的标签,当然这就引入了参考图像的限制。
RankIQA 2017
GitHub - xialeiliu/RankIQA: ICCV 2017
GitHub - YunanZhu/Pytorch-TestRankIQA
RankIQA [9]通过人工生成不同程度的失真图像来扩充数据集,虽然没有确定的质量得分标签,但可以根据失真程度对图像进行排序,从中抽取两张图像质量相对高低已知的图像构成图像对,来训练一个双生网络,最后取单路网络在小规模数据集上进行微调(如图5所示)。
之前的模型主要都是从提取特征和网络方面做改进,并没有考虑数据集图像少的问题。而RankIQA正是从数据预处理出发,取得了NR-IQA最好效果。
HIQA
HIQA[10]则借助GAN来扩充参考图像,让无参考图像评估跨越了没有原始图像作参照的鸿沟,如图6所示。通过GAN生成失真图像的参考图像,并与失真图像计算差值图,作为质量回归网络的输入来预测失真图像的质量,极大地提升了无参考图像质量评估模型的性能。
DIQA 2018
Deep CNN-Based Blind Image Quality Predictor
CLRIQA 2019
Contrique 2021
GitHub - pavancm/CONTRIQUE: Official implementation
Image Quality Assessment using Contrastive Learning
task-amenability
半监督训练方法
参考资料:
https://zhuanlan.zhihu.com/p/32553977
https://github.com/HuiZeng/BIQA_Toolbox
本行业相关
知物由学 | 告别挑花眼,AI算法如何筛选低质量图片?_网易易盾
开源社区
https://modelscope.cn/models/damo/cv_vgg19_facial-expression-recognition_fer/summary