基于结构降化模型的半参考图像质量评价方法
【专利摘要】本发明提供了一种基于结构降化模型的半参考图像质量评价方法，该方法主要考虑到对于图像在不同失真类型、不同失真程度上的响应空间频率响应的区别，并结合利用结构相似指数(SSIM)来提取图像特征，从而实现一种半参考的图像质量评价方法。根据在现有的LIVE数据库的测试结果来看优于大部分主流图像质量评价方法。本发明所述的评价方法仅依赖于结构相似性指数的计算函数，而无需引入其他复杂算法，不仅拥有卓越评价准确度，并且兼具了计算复杂度低、执行效率高的特点；本发明只需要四个数值作为特征值，这相比于图像本身的大小是可以忽略不计的。
【专利说明】基于结构降化模型的半参考图像质量评价方法
【技术领域】
[0001] 本发明涉及一种图像质量评价领域的系统，具体地，涉及一种基于结构降化模型 的半参考图像质量评价方法。
【背景技术】
[0002] 随着诸如图像视频压缩、存储以及传输技术在多媒体领域的广泛应用，对于高效 的图像质量评价技术的需求也在高速增长。现有的图像质量评价方法主要分为主观与客观 两种。其中主观评价方法应当是最为贴近真实的，但是代价非常昂贵，同时十分浪费时间， 并且这种主观评价方式在实时图像处理系统中是无法应用的。而对于客观质量评价，均方 差（Mean-Squared Error)以及峰值信噪比（Peak Signal-to-Noise Ratio)这两种评价方 法在当前有着非常广泛的应用，然而这两种方法并不能非常准确的与人们的主观评价结果 相匹配。
[0003] 考虑到这种状况，Z. Wang 等人在 2004 年《IEEE Transaction on Image Processing))上发表了 "Image quality assessment ：From error visibility to structural similarity",充分考虑到人类视觉认知系统，提出了一种全新的基于图像结 构信息的客观图像质量评价方法，即结构相似指数（SSIM)。Z. Wang因此论文获得IEEE Signal Processing Society Best PaperAward。随后，大量的基于结构相似指数的改进方 法纷纷涌现。例如，Z. Wang 等人又在 2011 年《IEEE Transaction on Image Processing》 发表的论文"Information content weighting for perceptual image quality assessment",提出基于信息内容加权的结构相似指数（IW-SSIM)等。此外，还有一些基于 人类视觉认知系统的模型陆续提出，比如H. R. Sheikh等人在2006年《IEEE Transaction on Image Processing〉〉发表的论文''Image informationand visual quality",提出视觉 信息保真度模型（VIF)等。然而，这些质量评价需要原始参考图像的所有信息，这样会造成 非常大的数据冗余。这促使我们去设计一种新的客观质量评价方法，使用有限的原始图像 信息，在提高客观图像质量评价的准确度的同时，减少数据冗余量。
【发明内容】
[0004] 针对现有技术中的缺陷，本发明的目的是提供一种基于结构降化模型的半参考图 像质量评价方法，该方法仅依赖于结构相似性指数的计算函数，而无需引入其他复杂算法， 不仅拥有卓越评价准确度，并且兼具了计算复杂度低，执行效率高的特点。
[0005] 为实现以上目的，本发明提供一种基于结构降化模型的半参考图像质量评价方 法，包括以下步骤：
[0006] 第一步、分别对原图X与失真图Y进行分割，分为内区图像块与外区图像块；
[0007] 第二步、对于原图X的内区图像块与外区图像块，对其分别进行程度为0. 1与1. 5 的Fw滤波，以及程度为0. 1与1. 5的F。滤波；得到原图X内区图像块Fw滤波后图像μ x, i(0. 1)与^^(1.5)^。滤波后图像〇)^(0. 1)与〇)^(1.5)，以及原图父外区图像块？^ 滤波后图像 μχ,ε(〇. 1)与 yx,e(i.5)、F。滤波后图像 〇x,e(〇. 1)与 〇x,e(i.5);
[0008] 第三步、对于原图X内区图像块Fw滤波后图像1)与μ^α. 5)计算结构 相似指数（SSIM)，得到原图特征值SD^JX)，对其F。滤波后图像σ)Μ(0. 1)与〇)^(1.5)， 计算结构相似指数（SSIM)，得到原图特征值SDv,i, N(X);同样的，对原图X外区图像块Fw滤 波后图像yx,e(〇. 1)与yx,e(1.5)、F。滤波后图像Ox,e(〇. 1)与0χ,ε(1.5)分别计算结构 相似指数（SSIM)，得到相应的原图特征值SD m,e,N(X)与SDv,e, N(X);
[0009] 第四步、对于失真图Y的内区图像块与外区图像块，对其分别进行程度为0. 1与 1. 5的Fw滤波，以及程度为0. 1与1. 5的F。滤波，得到失真图Y内区图像块Fw滤波后图 像μγ,?(〇. 1)与μ^α. 5)、F。滤波后图像〇^(〇. 1)与〇^(1. 5)，以及失真图Y外区图 像块Fw滤波后图像μγ,ε(0. 1)与μγ,ε(1. 5)、F。滤波后图像μγ,ε(0. 1)与σγ,ε(1. 5);
[0010] 第五步、对于失真图Υ内区图像块Fw滤波后图像μ Y,i(0. 1)与μ lid. 5)计算 结构相似指数（SSIM)，得到失真图特征值SD^JY)，对其F。滤波后图像OyJO. 1)与σγ, i (1. 5)，计算结构相似指数（SSIM)，得到原图特征值SDV, i, Ν(Υ);同样的，对失真图Υ外区图 像块Fw滤波后图像μγ, ε(0. 1)与μγ,ε(1. 5)、F。滤波后图像σγ,ε(〇. 1)与0Y,e(l. 5)分别 计算结构相似指数（SSIM)，得到相应的失真图特征值SDm,e, N(Y)与SDv,e,N(Y); toon] 第六步、分别计算原图X各项特征值与失真图Y相应特征值之差，定义为相应特征 值的距尚，记为 Dm, i>N、Dv, i>N、Dm, e,N 以及 Dv, e,N ;
[0012] 第七步、分别对各项特征值的距离01^|0^1<、0" 1,^以及1^进行非线性变换， 将其结果相加后得到本发明图像质量评价指数SDM。SDM的值越大，则预测图像质量越好， 值越小则预测图像质量越差。
[0013] 优选地，第一步中，所述的图像分割方式：
[0014] 以8*8的像素块为单位的将图像平分，将各像素块中心部分的6*6像素块的集合 定义为该图像的内区图像块，将各像素块外围剩余的一圈像素的集合定义为该图像的外区 像素块。
[0015] 优选地，第二步中，所述的F w滤波：
[0016]
【权利要求】
1. 一种基于结构降化模型的半参考图像质量评价方法，其特征在于，包括以下步骤： 第一步、分别对原图X与失真图Y进行分割，分为内区图像块与外区图像块； 第二步、对于原图X的内区图像块与外区图像块，对其分别进行程度为0. 1与1. 5的Fw 滤波，以及程度为0.1与1.5的F。滤波；得到原图X内区图像块Fw滤波后图像μ x,i (0.1) 与以5^(1.5)、？。滤波后图像〇!^(0.1)与〇)^(1.5)，以及原图父外区图像块？ 1^虑波后 图像 μχ,ε(0. 1)与 yx,e(1.5)、F。滤波后图像 σχ,ε(〇. 1)与 〇x,e(l. 5); 第三步、对于原图X内区图像块Fw滤波后图像μ)Μ(0. 1)与μ^α.δ)计算结构相似 指数SSIM，得到原图特征值SD^JX)，对其F。滤波后图像〇)^(0. 1)与〇)^(1.5)，计算 结构相似指数SSM，得到原图特征值SDv,i, N(X);同样的，对原图X外区图像块Fw滤波后图 像yx,e(〇. 1)与yx,e(1.5)、F。滤波后图像σχ,ε(〇. 1)与0χ,ε(1.5)分别计算结构相似指 数SSIM，得到相应的原图特征值SD m,e,N⑴与SDv,e, N(X); 第四步、对于失真图Y的内区图像块与外区图像块，对其分别进行程度为〇. 1与1. 5的 Fw滤波，以及程度为0. 1与1. 5的F。滤波，得到失真图Y内区图像块Fw滤波后图像μ γ, i(0. 1)与滤波后图像σγ,^Ο. 1)与〇^(1.5)，以及失真图￥外区图像块？^ 滤波后图像 μΥ,ε(〇. 1)与 μγ,εα. 5)、F。滤波后图像 〇Y,e(0.1)与 〇Y,e(i. 5); 第五步、对于失真图Y内区图像块Fw滤波后图像yY,i(0. 1)与μ^α.δ)计算结构相 似指数SSM，得到失真图特征值SDm,i,N(Y)，对其F。滤波后图像〇Y,i(〇. 1)与Ογ,^Ι.δ)， 计算结构相似指数SSIM，得到原图特征值SDv,i,N(Y);同样的，对失真图Y外区图像块F w滤 波后图像yY,e(〇. 1)与yY,e(1.5)、F。滤波后图像σγ,ε(〇. 1)与0γ,ε(1.5)分别计算结构 相似指数SSIM，得到相应的失真图特征值SD m,e,N(Y)与SDv,e, N(Y); 第六步、分别计算原图X各项特征值与失真图Y相应特征值之差，定义为相应特征值的 距尚，记为 Dm, i>N、Dv, i>N、Dm, e,N 以及 Dv, e,N ; 第七步、分别对各项特征值的距离Dm, i,N、Dv, i,N、D_,N以及D_N进行非线性变换，将其 结果相加后得到图像质量评价指数SDM，SDM的值越大，则预测图像质量越好，值越小则预 测图像质量越差。
2. 根据权利要求1所述的一种基于结构降化模型的半参考图像质量评价方法，其特征 在于，第一步中，所述的图像分割方式： 以8*8的像素块为单位的将图像平分，将各像素块中心部分的6*6像素块的集合定义 为该图像的内区图像块，将各像素块外围剩余的一圈像素的集合定义为该图像的外区像素 块。
3. 根据权利要求1所述的一种基于结构降化模型的半参考图像质量评价方法，其特征 在于，第二步中，所述的Fw滤波：
其中N为图像被滤波窗口切分的数量，高斯权重窗口 ω = {ω」? = 1，2,3, ...，N}， 窗口大小11*11，标准差为d的高斯分布，并进行归一化处理； 所述的F。滤波：
其中N为图像被滤波窗口切分的数量，高斯权重窗口 ω = {ω」? = 1，2,3, ...，N}， 窗口大小11*11，标准差为d的高斯分布，并进行归一化处理。
4.根据权利要求1所述的一种基于结构降化模型的半参考图像质量评价方法，其特征 在于，第三步中，所述的结构相似指数计算方式： i) 分别利用下述公式计算图像X，Y的局部统计平均μ χ、μ y，标准差σ χ、σ y以及相关 系数σ xy :
其中N为图像被滤波窗口切分的数量，高斯权重窗口
窗口大小11*11，标准差为1. 5的高斯分布，并进行归一化处理； ii) 分别计算图像X，Y的亮度1 (X，y)、对比度c (X，y)以及结构相似度s (X，y):
其中 Q = 〇(山)2，(：2 = (K2L)2，C3 = (^/2,1 = 0.01，K2 = 0.03, L 为灰阶深度，如常用 的8位图像，则L = 28-1 = 255 ; iii) 计算出图像X、Υ的结构相似指数：
其中，Xi，yi分别为参考图X、失真图Y在第i个窗口的图像内容； 所述的原图特征值SD_?(X):
其中，t = {i，e}是指图像的内部图像块与外部图像块，μ x(d)由第二步中的Fw滤波 获得； 所述的原图特征值SDv,t,N(X):
其中，t= {i，e}是指图像的内部图像块与外部图像块，@(d)由第二步中的F。滤波获 得。
5. 根据权利要求3所述的一种基于结构降化模型的半参考图像质量评价方法，其特征 在于，第四步中，所述的Fw滤波与F。滤波与第二步中的相同。
6. 根据权利要求4所述的一种基于结构降化模型的半参考图像质量评价方法，其特征 在于，第五步中，所述的结构相似指数计算方式与第三步中的相同； 所述的失真图特征值SD^.JY):
其中，t = {i，e}是指图像的内部图像块与外部图像块，μγ((1)由第二步中的Fw滤波 获得； 所述的失真图特征值SDv,t,N(Y):
其中，t= {i，e}是指图像的内部图像块与外部图像珙
由第二步中的F。滤波获 得。
7. 根据权利要求1所述的一种基于结构降化模型的半参考图像质量评价方法，其特征 在于，第六步中，所述的原图X各项特征值与失真图Y相应特征值之差：
其中，s = {m，v}是指图像Fw滤波与F。滤波后图像，t = {i，e}是指图像的内部图像 块与外部图像块。
8. 根据权利要求1所述的一种基于结构降化模型的半参考图像质量评价方法，其特征 在于，第七步中，所述的非线性变换：
其中，s = {m，v}、t = {i，e}、p = {1，h}，s = {m，v}中 m、v 分别是指图像 Fy 滤波与 F。滤波后图像，t= {i，e}中的i、e是指图像的内部图像块与外部图像块，at,p、i3s, t,p、 Ys,t,P、5^!>与es, t,p为模型参数由训练获得； 士 toKI俺庙县士&米fr cniu .
S = {m，v}是指图像Fw滤波与F。滤波后图像，t = {i，e}是指图像的内部图像块与 外部图像块。
【文档编号】G06T7/00GK104112272SQ201410317455
【公开日】2014年10月22日 申请日期:2014年7月4日 优先权日:2014年7月4日
【发明者】顾锞, 翟广涛, 许祺, 杨小康 申请人:上海交通大学