基于图片质量水平分类的图片质量评价方法
【专利摘要】本发明提供了一种基于图片质量水平分类的图片质量评价方法，包括如下步骤：步骤一，对图片质量水平进行分类，分成高质量水平图片、低质量水平图片两类；步骤二，对于高质量水平图片使用类结构相似性方法进行评价图片质量，对于低质量水平图片使用类视觉信息保真度方法来评价图片质量。本发明利用人分别在低质量和高质量状况下不同的视觉感知机制，通过对图片质量水平进行分类，在高图片质量水平下使用类结构相似性方法，在低图片质量水平下使用类视觉信息保真度方法来评价图片质量，提供了比主流图片质量评价方法更加优良的性能。
【专利说明】基于图片质量水平分类的图片质量评价方法
【技术领域】
[0001] 本发明涉及图像处理【技术领域】，具体地，涉及一种基于图片质量水平分类的图片 质量评价方法。
【背景技术】
[0002] 图像质量评价技术在许多图像处理应用中具有非常重要的作用，如图像压缩、存 储、传输和重构方法的开发和优化。现今的图像质量评价方法可以分为主观评价和客观评 价，主观评价是图像质量的最终标准，但是主观评价对于实际的图像处理系统来说通常不 太现实。近年来许多研究者投入到客观图像质量评价方法中，客观图像质量评价方法根据 是否能够得到原图可以分为全参、半参及无参三类方法。
[0003] 均方误差（MSE)和峰值性噪比（PSNR)尽管有时候与测试者的主观评分不是特 别符合，但由于其简单性，MSE和PSNR仍然是目前最普遍的质量评价标准。近年来，受一 些经典心理学认知范例的激发，许多研究者提出了一些基于认知的评价方法。如Wang，Z. 等人在《IEEE Trans. Image Process》第13卷第4期第600页至第612页发表的论文 "Image quality assessment:from error visibility to structural similarity，'中 提出的结构相似性方法（SSIM)就是现今非常流行的基于认知的图像质量评价方法，该 方法实际上关注的是图像的结构信息。Wang, Z.等人在《IEEE Asilomar Conference on Signals, Systems and Computer》第 2 卷第 1398 页至第 1402 页发表的论文"Multi-scale structural similarity for image quality assessment" 中提出的多尺度结构相似性方 法（MS-SSM)将SSM方法扩展到多尺度上，提供了更好的性能。Sheikh，H.R.等人在《IEEE Trans. Image Process》第15卷第2期第430页至第444页发表的论文《Image information and visual quality》中提出的视觉信息保真度方法（VIF)也提供了良好的性能，该方法通 过量化从原图到失真图的图片信息损失进行质量评价。此外，作者还在该文中提供了 VIF 方法的低计算复杂度版本：基于像素的视觉信息保真度方法（VIFP)。
[0004] 最近许多图像质量评价领域的研究者发现图像失真类型分类对图像质量评价非 常重要，如 Liu, H.等人在《IEEE Trans. Circuits Syst. Video Technol.》第 21 卷第 7 期 第971页至第982页提出的Blind Image Quality Indices (BIQI)方法。该方法分为两个 步骤，首先利用失真图像统计（DIS)将图像根据失真类型进行分类，再根据不同失真类型 进行质量评价。
[0005] 图像质量评价方法很多，但是很少有人研究过图像质量水平对图像质量评价方法 预测准确性的影响。通过实验发现图像质量水平对图像质量评价方法的预测准确性有显著 的影响，如上述的SSM方法和MS-SS頂方法评价高质量图像时通常更准确；而VIF方法和 VIFP方法评价低质量图像时更准确。该发现可以通过人在不同视觉质量条件下的视觉感知 机制来解释：当图片质量状况较好时，人类视觉系统通常提取图片的结构信息，类结构相似 性的方法能够提供更良好的性能；当图片质量状况较差时，图片的质量可以通过图片场景 不准确部分的不确定性来表达，类视觉信息保真度方法通过计算互信息，通常能够提供更 好的性能。
【发明内容】
[0006] 针对现有技术中的缺陷，本发明的目的是提供一种基于图片质量水平分类的图片 质量评价方法，该方法利用人分别在低质量和高质量状况下不同的视觉感知机制，并充分 利用SSM/MS-SSM方法和VIF/VIFP方法的优势，通过对图片质量水平进行分类，在高图片 质量水平下使用SSIM/MS-SSIM方法，在低图片质量水平下使用VIF/VIFP方法来评价图片 质量，提供了更加良好的性能。
[0007] 为实现以上目的，本发明提供一种基于图片质量水平分类的图片质量评价方法， 所述方法包括以下步骤：
[0008] 步骤一，对图片质量水平进行分类，分成高质量水平图片、低质量水平图片两类；
[0009] 步骤二，对于高质量水平图片使用类结构相似性方法进行评价图片质量，对于低 质量水平图片使用类视觉信息保真度方法来评价图片质量。
[0010] 优选地，本发明采用类结构相似性方法的图像质量评估值q(sA)对图片质量水平 进行分类，当q (sA)大于设定的阀值THRA+B时，认为图片是高质量水平图片，选择类结构相似 性方法的评估值q(s A)作为整个图片质量评价方法的评估值；当q(sA)小于阀值THRA+B时， 认为图片是低质量水平图片，利用类视觉信息保真度方法对图像质量进行预测，并将图像 质量评估值q(s B)作为整个图片质量评价方法的的预测值；其中阀值THRA+B通过在不同的 图片质量评价库上训练得到。
[0011] 优选地，所述类结构相似方法（A)，可以是结构相似性方法（SSM);还可以利用多 尺度结构相似性方法（MS-SSIM)。
[0012]优选地，所述的类视觉信息保真度方法（B)，可以是视觉信息保真度方法（VIF); 可以利用VIF方法外，还可以利用其基于像素域的低计算复杂度版本：基于像素的信息保 真度方法（VIFP)。
[0013] 优选地，所述的图片质量水平阀值thra+b，可以通过在不同的图片质量评价库上训 练得到，对于不同的质量评价方法A(SS頂或MS-SSM)和B(VIF或VIFP)的组合，阀值THRa+b 通过以下优化问题确定：
【权利要求】
1. 一种基于图片质量水平分类的图片质量评价方法，其特征在于，包括如下步骤： 步骤一，对图片质量水平进行分类，分成高质量水平图片、低质量水平图片两类； 步骤二，对于高质量水平图片使用类结构相似性方法进行评价图片质量，对于低质量 水平图片使用类视觉信息保真度方法来评价图片质量。
2. 根据权利要求1所述的一种基于图片质量水平分类的图片质量评价方法，其特征 在于，采用类结构相似性方法的图像质量评估值q(sA)对图片质量水平进行分类，当q(sA) 大于设定的阀值THRA+B时，认为图片是高质量水平图片，选择类结构相似性方法的评估值 q(sA)作为整个图片质量评价方法的评估值；当q(sA)小于阀值THRA+B时，认为图片是低质 量水平图片，利用类视觉信息保真度方法对图像质量进行预测，并将图像质量评估值q(sB) 作为整个图片质量评价方法的的预测值；其中阀值THRA+B通过在不同的图片质量评价库上 训练得到。
3. 根据权利要求1所述的一种基于图片质量水平分类的图片质量评价方法，其特征在 于，所述类结构相似方法选择结构相似性方法SSIM，该方法通过比较失真图和原图的亮度、 对比度和结构特性，得到一幅SSM图： SSIM_MAP(Xi，= [l(Xi，yi)]a ? [c (xi； ]0 ? [s(Xi，yi)]Y 其中：xjPyi为第i个局部窗口的图片内容，a，Y为三个常数，用于调节各部分 的权重，1 (Xi, yj, c(Xi, yj, s(Xi, yj分别代表原图和失真图亮度，对比度，结构信息的对比 函数，分别通过下式计算：
其中yx，〇x，〇xy分别表示图片的均值、标准差和互相关评价，心(： 2，(：3为很小的常数， 将以上三式代入SSM_MAP得：
其中，X和Y分别为原图和失真图，L为图片的局部窗口的数量。
4. 根据权利要求1所述的一种基于图片质量水平分类的图片质量评价方法，其特征 在于，所述类结构相似方法选择多尺度结构相似性方法MS-SSIM，该方法将结构相似性方法 SSIM方法扩展到多尺度上，MS-SSIM方法将原图和失真图进行多级的低通滤波和下采样， 考虑经过每级处理后的对比度信息Cj(Xi，yi)和结构信息Sj( Xi，yi)以及最后一级的亮度信 息 :
其中：M为低通滤波和下采样的总级数，下标j表示第j级，a M，L为调节权重的 常数，MS-SSIM的最终评估值综合考虑所有局部框的MSSIM_MAP值。
5. 根据权利要求1-4任一项所述的一种基于图片质量水平分类的图片质量评价方法， 其特征在于，所述类视觉信息保真度方法选择基于像素的信息保真度方法VIFP。
6. 根据权利要求2所述的一种基于图片质量水平分类的图片质量评价方法，其特征在 于，所述的图片质量水平阀值THRA+B，可以通过在不同的图片质量评价库上训练得到，对于 不同的质量评价方法A和B的组合，阀值THRA+B通过以下优化问题确定：
其中上式：A为类结构相似性方法，B为类视觉信息保真度方法；RMSE表示客观质量 评价方法的预测值与图片的主观意见值MOS之间的标准差，Sl，…，sK表示该图片库的所有 图片的质量按大小的排列，K表示所有图片的数量；上式所述的优化问题表示，寻找最优的 THRA+B，当图片的质量值小于THRA+B时，将B方法的预测值作为预测值，其中Sl，…，s k表示所 有质量值小于THRA+B的图片；当图片的质量值大于THRA+B时，将A方法的预测值作为预测值， 其中sk+1，…，sK表示所有质量值大于THRA+B的图片；优化目标是最小化图片集的MOS值和 方法预测值之间的标准差。
7. 根据权利要求6所述的一种基于图片质量水平分类的图片质量评价方法，其特征在 于，为了寻求最优的THRA+B，在不同的图片质量评价库上，根据不同的原图，将所有图片随机 地分为两组，分别在两个图片组上利用上式进行训练得到THRA+B，比较两个图片集上的阀值 THRA+B，取其平均得该图片库上针对该AB组合方法的阀值。
【文档编号】G06K9/66GK104346810SQ201410490293
【公开日】2015年2月11日 申请日期:2014年9月23日 优先权日:2014年9月23日
【发明者】杨小康, 闵雄阔, 翟广涛, 顾锞 申请人:上海交通大学