基于多级字典集的无参考图像质量评价方法
【专利摘要】本发明公开了一种基于多级字典编码的无参考质量评价方法，主要解决计算机对噪声图像的评价与人眼感知不符的问题。其实现步骤是：1.划分图像数据库；2.提取单个实验样本的特征向量；3.计算训练样本一副污染图的特征向量质量值；4.计算全部训练样本的特征向量；5.计算训练样本中所有污染图的特征向量质量值；6.用训练样本参考图的特征向量构建第一级字典集；7.用训练样本污染图的特征向量构建第二级字典集；8.计算第二级字典集中每个聚类中心的质量值；9.将测试样本投影到第二级字典集计算测试样本的质量值；10.根据样本质量值判断样本质量。本发明的评价结果与人眼感知一致，可用在互联网上图像筛选、传输、压缩。
【专利说明】
基于多级字典集的无参考图像质量评价方法
技术领域
[0001] 本发明属于图像处理技术领域，特别涉及一种基于多级字典集的无参考图像质量 评价方法，可以用在互联网上图像筛选、传输、检索、压缩以及对质量等级参差不齐的海量 图像数据鉴别中。 技术背景
[0002] 随着数字图像、网络技术和多媒体技术的发展，数字图像已经成为了信息的主要 载体，在越来越多的应用场合中被处理、传递、存储以及重构。然而，原始的图像信号中通常 含有大量的冗余并且图像数据在进行多步处理的过程中会混入多种噪声，怎样从包含各种 噪声并且质量等级参差不齐的大量图像数据中获得更有价值的信息成为热门的研究课题。
[0003] 在过去的几十年里，图像质量评价方法取得了较大的进展，大量的评价算法被提 出。根据对参考图像的依赖程度，这些算法可大致分为三类:全参考图像质量评价算法，部 分参考图像质量评价算法和无参考图像质量评价算法。全参考质量评价需要原始图像的全 部信息做参考，部分参考质量评价需要一部分原始图像信息作参考。在更多的实际应用中 我们无法知道污染图，如无人机的航拍图、地球卫星的遥感图以及地面监控设备拍摄的自 然图像的原始图像信息，但是使用计算机对这些污染图进行客观分析评价又是我们必须用 到的，基于此，提出了不需要任何原始图像信息的无参考质量评价算法。
[0004] 无参考质量评价的目的是建立一种不需要任何原图信息就能预测污染图质量的 数学模型，并且计算出来的质量值与人的主观评价具有一致性。现有的一般意义上的无参 考质量评价算法是基于这样的假设:用于测试的污染图和用于训练的样本拥有相同或者相 似的质量衰减。在这样的假设下，可以用"学习"的思想来建立拟合模型进行分析预测。实际 实现过程中，采用机器学习的方法进行质量评价，把质量评价的问题转化为线性回归或者 分类问题，然后选用与图像质量相关联的特征向量进行训练得到回归模型或者分类器。由 于回归算法和分类算法已经比较成熟，如何选用特征向量来捕获影响图像质量的相关因素 成为工作的重点。基于自然场景统计特性的方法在众多特征描述算法中脱颖而出，该方法 假定自然场景具有某种统计学特性并且噪声的出现会影响这种特性。Queluz等人在文章 "No-reference image quality assessment based on DCT domain statistics，''Signal Proscess，vol. 88，no. 4，pp. 822-833，Apr. 2008中依据基于离散余弦变换系数的统计特性 对具有JPEG或者MPEG压缩噪声的污染图进行质量评价;Moorthy等人在文章 "Blind image quality assessment:From natural scene statistics to perceptual quality，''IEEE Trans. Image Process.，vol .20,no. 12,pp.3350-3364,Dec.2011 中提出使用小波变换系数 建立统计模型，将估计好的统计模型参数作为特征向量执行回归算法SVR并预测出图像质 量。这些不同的特征提取方法被开发出来并取得成功，但是仍然有缺点：1)许多同类算法只 针对特定一两种噪声来设计并且假设噪声种类已知，对于其它噪声的评价效果不理想；2) 还有一些算法是在某一种变换如离散余弦变换、小波变换域中进行，需要依赖较多的变换 域知识并且限制了这些算法在其它图像域中的使用。这些缺点会影响质量评价的准确性， 在实际应用中存在较多限制。
【发明内容】
[0005] 本发明目的在于针对上述已有技术中存在的缺陷和不足，提出基于多级字典集的 无参考图像质量评价方法，以实现对多种噪声类型在不同图像域中进行无参考质量评价， 并提高质量评价的准确性。
[0006] 本发明的技术方案是这样实现的：
[0007] 本发明首先学习高质量图像的基元组成，结合使用基向量组描述多维空间元素的 数学思想，构建对应的基元字典;然后分析噪声对每个基元的影响，以及造成的质量衰减。 通过分析不同基元下不同类型噪声所带来的变化，构建字典集codebook，这些字典集就如 同人们大脑中的先验知识，指导无参考质量评价的进行;最后将测试样本投影到codebook 中通过加权求和的方式得到测试样本的质量值，其实现步骤包括如下：
[0008] (1)将图像数据库中的实验样本随机分为两份，其中80%的参考图及其对应的污 染图作为训练样本，20%的参考图对应的污染图作为测试样本；
[0009] (2)提取实验样本的特征向量：
[0010] (2a)输入大小为ΜX N的待处理图像I，将该图像I按大小为B X B进行无混叠分块， 得到Κ个子块；
[0011] (2b)用Gabor滤波器组对各个子块进行滤波，将滤波结果作为各个子块对应的特 征向量，即一副待处理图像对应K个特征向量；
[0012] (3)给训练样本污染图的特征向量赋予质量值：
[0013] (3a)输入大小为MXN的训练样本中的污染图X及其对应的参考图Y，并使用梯度相 似性算法GMS计算它们的梯度相似性矩阵g;
[0014] (3b)将得到的梯度相似性矩阵g归一化，并将归一化后的梯度相似性矩阵与污染 图X的质量值mos相乘得到质量值矩阵m;
[0015] (3c)对污染图X对应的质量值矩阵m按大小为BXB进行无混叠分块，得到K个子块 并将第i个子块设为Pi，将每个Pi的中点值作为其对应特征向量的质量值mosi，1 ;
[0016] (4)对所有训练样本进行步骤(2)的操作，得到所有训练样本的特征向量，其中每 一副参考图对应的第i个特征向量为ri，每一副污染图对应的第i个特征向量为di;
[0017] (5)将训练样本中每一副污染图及其对应的参考图进行步骤(3)的操作，得到每一 副污染图的K个特征向量di对应的质量值mosi;
[0018] (6)将聚类中心的个数设为200,用kmeans聚类算法对训练样本中所有参考图的m 个特征向量进行聚类，每一个聚类中心是一个基元向量C，用所有聚类中心构成第一级11的 字典集codebook11，该字典集codebook 11中每个聚类中心C对应参考图的多个特征向量ri，l ^i^200；
[0019] (7)从参考图的多个特征向量Γι找到这些参考图特征向量对应的污染图特征向量 cU;用kmeans聚类算法对第i个聚类中心C对应的污染图的特征向量cU进行聚类，将聚类中心 个数设为64,得到第二级12字典集的第i个字典codebooki 12,将200个聚类中心C对应的200 个字典codebooki12组合在一起，构成第二级12的字典集codebook 12;
[0020] (8)计算第二级12的字典集codebook12中每个聚类中心C对应的多个特征向量质量 值的均值，用这个均值作为该聚类中心C的质量值；
[0021 ] (9)将测试样本的特征向量投影到第二级12的字典集codebook12中，计算测试样本 的质量值Q;
[0022] (10)根据质量值Q对测试样本图像的质量进行判断：
[0023] 若Q = 0,则表示该测试样本没有被噪声污染；
[0024] 若0〈Q<5,则表示该测试样本被噪声轻度污染；
[0025] 若5〈Q<8,则表示该测试样本被噪声中度污染；
[0026]若Q>8，则表示该测试样本被噪声重度污染。
[0027] 本发明与现有技术相比，具有如下优点：
[0028] 1)本发明提出的无参考图像质量评价方法由于是以图像块为单位提取训练样本 特征，然后用训练样本特征建立特征空间的基元向量组，以图像块为单位而不是以像素点 为单位提取训练样本特征，因而对特定变换域的依赖性较少，方便以后在不同的变换域中 使用。
[0029] 2)本发明充分考虑了一副污染图不同区域质量可能不一致的情况，使用梯度相似 性算法给污染图的不同区域赋予一个更能衡量其污染程度的质量值，使得基元向量的计算 质量值更加准确有效，提高了预测测试样本质量的准确度。
[0030] 3)本发明由于构建字典集是基于建立图像特征空间的基向量组的思想，当选定有 效的基向量组时，就能表征大量的视觉内容信息，突破了噪声种类的限制，减少对数据库的 依赖程度；同时由于在第一层字典集的基础上构建第二层字典集，使得第二层字典集的每 个基元向量提取更加丰富了噪声和图像结构信息，减少了基元向量之间的线性相关性和冗 余度。
【附图说明】
[0031]图1是本发明的实现流程图。
【具体实施方式】
[0032] 以下结合附图对本发明作进一步详细描述。
[0033] 参照图1，本发明的具体实现步骤如下：
[0034]步骤1，划分图像数据库。
[0035] 无参考质量评价的图像数据库包含多幅参考图以及参考图对应的污染图，通常的 做法是将图像数据库随机地分成两份，80%的图像用于训练，20%的图像用于测试。按照这 个原则将实验数据库中的参考图按照8:2的比例随机分为两份，其中80%的参考图及其对 应的污染图作为训练样本，20%的参考图对应的污染图作为测试样本。训练样本中的每幅 污染图都对应一个质量值mos用来表征污染图的质量等级。
[0036] 步骤2,提取单个实验样本的特征向量。
[0037] (2a)输入大小为MXN的待处理图像I，对该图像I按大小为BXB进行无混叠分块， 得到K个子块，并将第i个子块记为Pi，1 < 1
表示不大于 Μ xN f 的最大整数，Β = 11; Β~
[0038] (2b)用Gabor滤波器组对各个子块?:进行滤波，将滤波结果作为各个子块Pi对应的 特征向量fvi, KKK:
[0039] (2b 1)给出二维Gabor滤波器的函数表达式：
[0040]
[00411其中X和y是像素点的横纵坐标，f是正弦曲线的频率，Θ是Gabor核函数的方向，Φ是 相位偏移，它的取值范围为-180度到180度；X' = xcos0+ysin0，y ' = -xsin0+ycos0;o是 Gabor核函数的标准差，当f选定后γ是空间纵横比，其决定Gabor函数形状的椭圆 率，取值为0.5;
[0042] (2b2)选取Gabor滤波器组的参数:选用5种频率?
，4个方向Θ:
.，_用这5种频率和4个方向任意组合产生20个Gabor滤波器，构成一个Gabor滤波 器组，其中第i个滤波器为
[0043] (2b3)用构建好的Gabor滤波器组的各个滤波器81&，7彳，0)与子块? 1作卷积得到 响应矩阵GiS
[0044] G; = d.(.r,y，/,<9)
[0045] 其中，*代表卷积运算；
[0046] (2b4)计算响应矩阵GJ的均值nu，再计算响应矩阵GJ的方差Si，将每个6^的均值和 方差组合在一起构成子块Pi的特征向量fvi:
[0047] fvi= (mi，m2，· · ·，nu，· · ·，m2〇, si，S2，· · ·，Si · · ·，S20)，
[0048] 其中1彡i彡20。
[0049] 步骤3,给训练样本中一幅污染图的特征向量赋予质量值。
[0050] (3a)输入大小为Μ X N的训练样本中的污染图X及其对应的参考图像Y，分别计算污 染图X和参考图Υ的梯度值矩阵gx和g y:
[0051] gx=maxk=i，2{mean | X*Mk | }，
[0052] gy=maxk=i，2{mean I Y*Mk I }，
[0053] 其中，*代表卷积运算，M#PM2是卷积算子， mean I X*Mk I代表对(X*Mk)先取绝对值再求均值，mean I Y*Mk I代表对(Y*Mk)先取绝对值再求 均值，maxk=i,2{. . .}代表对括号中的部分求最大值；
[0054] (3b)计算污染图X和参考图Y的梯度相似性矩阵g:
[0055]
[0056] 其中gx和gy分别代表污染图X和参考图Y的梯度值矩阵，S取一个较小的正实数 0.0001，为了防止分母过小引起算法的不稳定；
[0057] (3c)训练样本中每一副污染图都对应一个质量值mos，将得到的梯度相似性矩阵g 归一化并与这个mos值相乘得到质量值矩阵m;
[0058] (3d)对污染图X对应的质量值矩阵m按大小为BXB进行无混叠分块，得到K个子块 并将第i个子块设为 Pl，将每个中点值作为其对应特征向量的质量值记为m〇Sl，l<i< K〇
[0059 ]步骤4，提取全部训练样本的特征向量。
[0060]将所有的训练样本经过步骤(2)的操作，每一个训练样本都能得到Κ个特征向量， 其中每一副参考图对应的第i个特征向量为ri，每一副污染图对应的第i个特征向量为di，l ^i^K〇
[0061 ]步骤5,给训练样本中所有污染图的特征向量赋予质量值。
[0062]将训练样本中每一副污染图及其对应的参考图经过步骤(3)的操作，得到每一副 污染图的K个特征向量di对应的K个质量值mosi。
[0063] 步骤6，用kmeans聚类算法构建第一级11的字典集codebook11。
[0064]将聚类中心的个数设为200,用kmeans聚类算法对训练样本中所有参考图的m个特 征向量进行聚类，每一个聚类中心是一个基元向量C，用所有聚类中心构成第一级11的字典 集codebook11，该字典集codebook 11中每个聚类中心C对应参考图的多个特征向量ri，1彡i彡 200 〇
[0065] 步骤7,用kmeans聚类算法构建第二级12的字典集codebook12。
[0066] (7a)第一级11的字典集codebook11的每个聚类中心C对应参考图的多个特征向量 r i，从参考图的特征向量η找到r i对应的污染图的特征向量di;
[0067] (7b)用kmeans聚类算法对第i个聚类中心C对应的污染图的特征向量di进行聚类， 将聚类中心个数设为64,得到第二级12字典集的第i个字典codebooki 12,将200个聚类中心C 对应的200个字典codebooki12组合在一起，构成第二级12的字典集codebook12:
[0068] codebook12= (codebooki12，codebooki12，···，codebooki12，···，codebook2QQ 12)，
[0069] 其中，codebooki12代表第二级12字典集codebook12的第i个字典。
[0070] 步骤8,计算第二级12的字典集codebook12中每个聚类中心C的质量值。
[0071] (8a)给出第i个字典codebooki12与其对应的聚类中心的关系式：
[0072] mdebookl1 ,
[0073] 其中，codebooki12代表第二级12字典集codebook12的第i个字典，Cij 12代表第i个字 典codebooki12对应的第j个聚类中心，1 < j <64，每个聚类中心Cij12对应污染图的多个特征 向量；
[0074] (8b)计算每个聚类中心Cu12对应的多个特征向量质量值的均值，用这个均值作为 Cij12 的质量值 mosij，l^a<200，l彡 j彡64。
[0075]步骤9,将测试样本的特征向量投影到第二级12的字典集codebook12中，计算测试 样本的质量值Q。
[0076] (9a)将用于测试的一个样本进行步骤(2)的操作，得到该测试样本的K个特征向 量，其中第i个特征向量为
[0077] (9b)计算特征向量ti到第m个字典c〇deb〇〇k m12中所有聚类中心C的欧几里得距离 之和Dm:
[0078]
[0079] 其中，Cm?2代表第m个字典c〇deb〇〇k m12的第j个聚类中心，^代表测试样本的第i个 特征向量，d( ti，Cmj12 )代表特征向量ti和聚类中心Cm/2的欧几里得距离dmj ;
[0080] (9c)将最小的距离值Dm对应的第m个字典codebookm12设为codebookp 12，并将 C〇deb〇〇kP12中所有聚类中心C对应的距离值归一化，再用归一化后的距离值与对应聚类中 心C的质量值进行加权求和，得到第i个特征向量ti的质量值qi;
[0081 ] (9d)将测试样本中的K个特征向量进行(9a)到(9c)的操作，得至ijK个特征向量的质 量值qi，1 ，取K个特征向量质量值qi的均值作为测试样本的质量值Q;
[0082] (9e)重复步骤(9d)的操作得到多个测试样本的质量值。
[0083]步骤10,根据质量值Q对测试样本图像的质量进行判断。
[0084] 每个测试样本的计算质量值Q的取值范围在0到10之间，Q值越大代表测试样本的 污染程度越严重：
[0085] 若Q = 0,则表示该测试样本没有被噪声污染；
[0086] 若0〈Q<5，则表示该测试样本被噪声轻度污染；
[0087] 若5〈Q<8,则表示该测试样本被噪声中度污染；
[0088] 若8〈Q< 10，则表示该测试样本被噪声重度污染。
[0089]以上描述仅是本发明的一个具体实例，不构成对本发明的任何限制。显然对于本 领域的专业人员来说，在了解了本
【发明内容】
和原理后，都可能在不背离本发明原理、结构的 情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍 在本发明的权利要求保护范围之内。
【主权项】
1. 一种基于多级字典集的无参考图像质量评价方法，包括： (1) 将图像数据库中的实验样本随机分为两份，其中80%的参考图及其对应的污染图 作为训练样本，20%的参考图对应的污染图作为测试样本； (2) 提取实验样本的特征向量： (2a)输入大小为MXN的待处理图像I，将该图像I按大小为BXB进行无混叠分块，得到K 个子块； (2b)用Gabor滤波器组对各个子块进行滤波，将滤波结果作为各个子块对应的特征向 量，即一副待处理图像对应K个特征向量； (3) 给训练样本污染图的特征向量赋予质量值： (3a)输入大小为MXN的训练样本中的污染图X及其对应的参考图Y，并使用梯度相似性 算法GMS计算它们的梯度相似性矩阵g; (3b)将得到的梯度相似性矩阵g归一化，并将归一化后的梯度相似性矩阵与污染图X的 质量值mos相乘得到质量值矩阵m; (3c)对污染图X对应的质量值矩阵m按大小为BXB进行无混叠分块，得到K个子块并将 第i个子块设为Pi，将每个Pi的中点值作为其对应特征向量的质量值moSi，l《i《K; (4) 对所有训练样本进行步骤(2)的操作，得到所有训练样本的特征向量，其中每一副 参考图对应的第i个特征向量为ri，每一副污染图对应的第i个特征向量为di; (5) 将训练样本中每一副污染图及其对应的参考图进行步骤(3)的操作，得到每一副污 染图的K个特征向量di对应的质量值mosi; (6) 将聚类中屯、的个数设为200,用kmeans聚类算法对训练样本中所有参考图的m个特 征向量进行聚类，每一个聚类中屯、是一个基元向量C，用所有聚类中屯、构成第一级11的字典 集codebookii，该字典集codebookii中每个聚类中屯、C对应参考图的多个特征向量ri，1《i《 200； (7) 从参考图的多个特征向量ri找到运些参考图特征向量对应的污染图特征向量di;用 kmeans聚类算法对第i个聚类中屯、C对应的污染图的特征向量di进行聚类，将聚类中屯、个数 设为64,得到第二级12字典集的第i个字典codebookii2,将200个聚类中屯、C对应的200个字 典codebookiU组合在一起，构成第二级12的字典集codebookU; (8) 计算第二级12的字典集codebookU中每个聚类中屯、C对应的多个特征向量质量值的 均值，用运个均值作为该聚类中屯、C的质量值； (9) 将测试样本的特征向量投影到第二级12的字典集codebookU中，计算测试样本的质 量值Q; (10) 根据质量值Q对测试样本图像的质量进行判断： 若Q = 〇，则表示该测试样本没有被噪声污染； 若0<Q《5，则表示该测试样本被噪声轻度污染； 若5<Q《8，则表示该测试样本被噪声中度污染； 若Q〉8，则表示该测试样本被噪声重度污染。2. 如权利要求1所述的方法，其步骤(2)中用Gabor滤波器组对各个子块Pi进行滤波，按 如下步骤进行： (2a)给出Gabor滤波器的函数表达式：其中X和y是像素点的横纵坐标，f是正弦曲线的频率，目是Gabor核函数的方向，Φ是相位 偏移，它的取值范围为-180度到180度；X' =xcos目+ysin目，y ' =-xsin目+ycos目；日是Gabor核 函数的标准差，当f选定后(了==^ ; 丫是空间纵横比，其决定Gabor函数形状的楠圆率，取值为 0.5; (2b)选取Gabor滤波器组的参数：选用5种频率f4个方向Θ : (0，;.;.^)，用运5种频率和4个方向任意组合产生20个Gabor滤波器，构成一个Gabor滤波 '424 器组，其中第i个滤波器为gi(x，y，f，目 (2c)用构建好的Gabor滤波器组的各个滤波器gi(x，y，f，0)与子块Pi作卷积得到响应矩 阵 Gii: 其中，*代表卷积运算；(2c)计算响应矩阵Gii的均值mi，再计算响应矩阵Gii的方差si，将每个Gii的均值和方差 组合在一起构成子块Pi的特征向量fvi: fvi=(mi,m2, . . . ,ΠΗ, . . . ,m2〇,si,S2, . . . ,si. . . ,S2〇) 其中l《i《20。3. 如权利要求1所述的方法，其步骤(3)中使用梯度相似性算法GMS计算训练样本中的 污染图X及其对应的参考图Y的梯度相似性矩阵g，按如下步骤进行： (3a)分别计算污染图X和参考图Y的梯度值矩阵gx和gy，gx和gy的计算公式为： gx=maxk=i,2{mean|X*Mk| } gy=maxk=i,2{mean|Y*Mk| } 其中，*代表卷积运算，Ml和M2是卷积算子X*Mk I代表对(X*Mk)先取绝对值再求均值，mean I Y*Mk I代表对(Y*Mk)先取绝对值再求均值， maxk=i,2{. . .}代表对括号中的部分求最大值； (3b)计算污染图X和参考图Y的梯度相似性矩阵g:其中gx和gy分别代表图像X和Y的梯度值矩阵，S取一个较小的正实数0.0001，为了防止 分母过小引起算法的不稳定。4. 如权利要求1所述的方法，其步骤(8)中计算第二级12的字典集codebookU中每个聚 类中屯、C对应的多个特征向量质量值的均值，按如下步骤进行： (8a)给出第二级12的字典集codebookU的表达式： codebooki2=(codebookii2,codebook2i2, . . . ,codebookii2, . . . ,codebook2〇〇i2) 其中，codebookiU代表字典集codebookU的第i个字典，codebookiU对应的第j个聚类中 屯、为CijU, j《64，codebookii2与CijU的对应关系表示如下：第i个字典codebookiU的每个聚类中屯、Cl产对应污染图的多个特征向量； (8b)计算每个聚类中屯、Cl/2对应的多个特征向量质量值的均值，用运个均值作为CijU 的质量值mosu。5.如权利要求1所述的方法，其步骤(9)中将测试样本的特征向量投影到第二级12的字 典集codebookU中，计算测试样本的质量值Q，按如下步骤进行： (9a)将用于测试的一个样本进行步骤(2)的操作，得到该测试样本的K个特征向量，其 中第i个特征向量为 (9b)计算特征向量ti到第m个字典codebookm"中所有聚类中屯、C的欧几里得距离之和 Dm：其中，Cm/2代表第m个字典codebookmU的第j个聚类中屯、，ti代表测试样本的第i个特征 向量，d(ti，Cmjl2)代表特征向量ti和聚类中屯、Cm/2的欧几里得距离dmj。 (9c)将最小的距离Dm对应的字典codebookmU设为codebookpi2,并将codebookpU中所有 聚类中屯、C对应的距离值归一化，再用归一化后的距离值与对应聚类中屯、C的质量值进行加 权求和，得到第i个特征向量ti的质量值qi; (9d)将该测试样本中的K个特征向量进行(9a)到(9c)的操作，得至化个特征向量的质量 值qi，1《i《K，取K个特征向量质量值qi的均值作为测试样本的质量值Q; (9e)重复步骤(9d)的操作得到多个测试样本的质量值。
【文档编号】G06K9/62GK105976361SQ201610273831
【公开日】2016年9月28日
【申请日】2016年4月28日
【发明人】吴金建, 张满, 石光明, 张亚中, 谢雪梅
【申请人】西安电子科技大学