一种与视觉感知相关的图像质量评价方法与流程

本发明属于计算机图像质量分析方法技术领域，具体涉及一种与视觉感知相关的图像质量评价方法。

背景技术：

随着移动网络的快速发展，图像作为信息传送的载体，使图像的应用场合越来越多，人们对图像的高质量要求也越来越高，由于数字图像在获取、存储、传输和处理等各个环节都会引入不同失真，从而造成图像质量退化问题，并且越来越多的领域对图像质量评价(imagequalityassessment)的应用变得更加广泛，对其评价精度的要求也逐步提高。

如专利号为201810319898.7，公开号为cn108550146a，公开日为2018年9月18日，发明名称为：一种基于roi的图像质量评价方法，与人眼主观感知并没有达到很好的一致性。

传统的基于计算引导的fr-iqa方法，即通过提取符合hvs的特征，使用各种数学公式进行加权计算来衡量参考图像与其失真版本之间的差异性或相似性，从而评估失真图像质量；但是，传统的统计学方法大多对数据有一定的要求或假定，并且用有限的数学公式来描述复杂的现实情形是非常困难的。近年来，随着各领域对机器学习的研究进一步深入，基于机器学习的iqa研究也变得越来越广泛，这一类方法对数据没有任何的假定，产生的结果用交叉验证的方法进行判断也很容易被人理解；另外，研究表明，基于机器学习的iqa方法在图像质量预测精度以及鲁棒性等方面均显示出绝对优势，并且一个性能优越的基于机器学习的iqa算法主要表现在两个方面：一是通过模拟hvs对视觉场景的视觉感知来提取图像特征，包括空域特征和变换域特征；二是通过模拟大脑机制建立质量回归模型。

目前，随着iqa在各个行业中的应用不断拓展，对其预测精度的要求也越来越高，在保证计算复杂度的前提下，iqa模型与hvs视觉感知的相关性越高，其预测的准确性就越高；因此，开发基于视觉感知高度相关的iqa模型不仅是当务之急，同时有着非常广阔的应用前景。

技术实现要素：

本发明的目的在于提供一种与视觉感知相关的图像质量评价方法，解决了现有的图像质量评价方法，与人眼主观感知并没有达到很好的一致性的问题。

本发明所采用的技术方案是，一种与视觉感知相关的图像质量评价方法，具体按照以下步骤实施；

步骤1、将iqa数据库中所有参考图像和失真图像由rgb颜色空间转换到yiq颜色空间中，将图像亮度通道y与i和q两个色度通道进行分离，得到亮度通道y的亮度特征，以及i和q色度通道的两个色度特征；

步骤2、分别在亮度通道y中提取参考图像和失真图像的梯度特征，并计算两个梯度特征的相似性，得到梯度相似性特征；

分别在亮度通道y中提取参考图像和失真图像的对比敏感度特征，并计算两个对比敏感度特征的相似性，得到对比敏感度相似性特征；

计算参考图像和失真图像在i和q两个色度通道的色度相似性特征；

步骤3、采用高斯差分dog模型在亮度通道y中分别对参考图像和失真图像进行5个等级的频带分解，得到5个频带相似性特征；

步骤4、通过池化策略，提取梯度相似性特征的平均值、标准偏差及熵，提取对比敏感度相似性特征的平均值、标准偏差及熵，以及色度相似性特征的平均值、标准偏差及熵，再与5个频带相似性特征进行多特征融合，从而为每幅失真图像生成一个表征其失真程度的14-d特征向量；

步骤5、将iqa数据库中所有失真图像生成的14-d特征向量及其对应的主观平均得分mos值一同输入到随机森林rf中训练回归模型；

步骤6、将待评价的失真图像及其对应的参考图像分别经过步骤1到步骤4，得到代表失真图像质量的14-d特征向量，输入到已经训练好的rf回归模型中，输出结果即为模型预测的待评价图像的质量分数。

本发明的特点还在于：

步骤1中，图像的颜色空间转变过程表示为：

(式(1)中矩阵的第1行系数决定亮度y，对归一化的rgb值均为1时，即r＝g＝b＝1，即有y＝1，因此矩阵第一行系数之和为1；

经式(1)后，即可实现图像亮度通道y和两个色度通道i和q的分离，得到亮度通道y的亮度特征，以及i和q色度通道的两个色度特征。

步骤2中，具体的按照以下步骤实施：

步骤2.1，在亮度通道y中分别提取参考图像和失真图像的梯度特征，并计算梯度相似性，得到梯度相似性特征，具体按如下操作：

首先选择大小为n×n的四方向高通滤波模板对参考图像和失真图像的y通道图像做卷积运算，四方向取值分别为0°、90°、45°、135°，卷积方法如下：

式(2)中：mk表示卷积模板，k＝1，2，3，4分别表示四个方向，(i,j)表示卷积模板中的像素点，(x,y)表示y通道图像中的像素点，gm表示使用mk的模板对图像做卷积而得到的梯度分量，gm中的m＝x，y，u，v分别表示k＝1，2，3，4四个方向；经卷积操作后，分别计算参考图像和失真图像的梯度幅度值，计算过程如下：

式(3)中：g1(x,y)为融合0°-90°两个方向的梯度分量值，g2(x,y)为融合45°-135°两个方向的梯度分量值，gmap(x,y)表示一幅图像提取的包含四个方向的梯度幅度值；

然后，计算参考图像和失真图像所提取的包含四个方向的梯度幅度值之间的相似性，得到梯度相似性特征，具体方法如下：

式(4)中，gmap1(x,y)和gmap2(x,y)分别表示参考图像和失真图像提取的包含四个方向的梯度幅度值，c1为常数；

y＝(y1+y2)/2(5)

通过公式(5)将参考图像与失真图像的亮度通道y进行融合，再经过式(2)和(3)，计算融合亮度通道后的图像梯度特征，记为gy，然后，通过公式(6)和(7)分别计算gy与参考图像的梯度特征gmap1以及失真图像的梯度特征gmap2之间的相似性，分别用gry和gdy表示，式(6)和(7)中，c2为常数；

最后，参考图像与失真图像计算的最终的梯度相似性特征为：

g＝gsim+[gdl-grl](8)；

步骤2.2，在亮度通道y中分别提取参考图像和失真图像的对比敏感度特征，并计算相似性，得到对比敏感度相似性特征，具体实现过程如下：

首先将参考图像与失真图像从空域经离散余弦变换转变为dct系数，然后将csfl1、csfl2，csfm1、csfm2和csfh1、csfh2分别定义为参考图像和失真图像在低频lf、中频mf和高频hf区域的分量，对于一幅参考图像，其对比度能量值计算如式(9)所示：

式(9)中，k＝l1,m1,h1分别对应rk为lf、mf和hf这三个区域，p(u,v)表示在(u,v)点处dct系数的归一化值，同理，对失真图像用同样方法计算这三个指标，计算结果记为:csfl2、csfm2以及csfh2；

然后，通过式(10)～(12)分别计算参考图像与失真图像在lf、mf和hf区域的对比度相似性值分别计算如下：

式(10)、(11)和(12)中，c3、c4和c5均为常数；

最后，参考图像与失真图像的对比敏感度相似性特征计算为：

f＝csflmap(x)*csfmmap(x)*csfhmap(x)(13)；

步骤2.3，将参考图像和失真图像的i通道分别用i1、i2表示，参考图像和失真图像的q通道分别用q1、q2表示，然后采用式(14)计算两幅图像之间的色度相似性特征：

式(14)中，c6＝c7，均为常数。

步骤2.1中，优选c1＝386；优选c2＝55。

步骤2.2中，优选c3＝2000、c4＝1.7、c5＝0.0063。

步骤2.3中，优选c6＝c7＝130。

步骤3中，具体按照以下步骤实施：

首先，使用式(15)定义一幅图像的dog响应，其中i代表图像的亮度通道，gσ1(x)和gσ2(x)分别表示标准偏差为σ1和σ2的两个高斯函数；

idogσ1,σ2(x)＝i×(gσ1(x)-gσ2(x))(15)

然后，通过式(15)将一幅图像分解为5个等级的频带：

式(16)中，n代表图像的分解级数，σi＝k^i-1(i＝1～n-1)；

最后，利用式(16)分别对参考图像亮度通道y1与失真图像亮度通道y2分解为5个等级的频带，并计算在各级频带间的相似性特征，即：

式(17)中，ssim(﹒)表示相似性计算指标，i＝0～4。

步骤4中，具体按照以下步骤实施：

经步骤3完成后，可得到参考图像与失真图像之间的色度相似性特征、梯度相似性特征、对比敏感度相似性特征以及dog频带特征，经过池化策略，提取色度相似性特征的均值、标准偏差及熵，分别用cm、cs及ce表示，提取梯度相似性特征的均值、标准偏差及熵，分别用gm、gs及ge表示，提取对比敏感度似性特征的均值、标准偏差及熵，分别用fm、fs及fe表示，dog频带特征是一个5-d的特征向量，记为[f0f1f2f3f4]；

然后，将提取的3-d色度相似性特征、3-d梯度相似性特征、3-d对比敏感度相似性特征以及5-d频带特征进行多特征融合，融合后的特征空间用一个14-d特征向量表示，即：

v＝[cmcscegmgsgef0f1f2f3f4fmfsfe](18)。

本发明的有益效果：

通过建立iqa模型和对待评价的失真图像质量进行回归预测，充分模拟hvs可同时处理低级和高级图像特征的特性，采用dog频带特征以及对比敏感度特征来共同反映人眼视觉系统的频率响应特性，增强模型对不同空间频率的分辨能力，实现与人眼主观感知判断的高度相关性，并在模型运算复杂度和预测精度上实现了很好的平衡的效果。

附图说明

图1为本发明一种与视觉感知相关的图像图像质量评价方法流程图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明为一种与视觉感知相关的图像质量评价方法，其流程图如图1所示，具体按照以下步骤实施：

分为两大部分，即建立iqa模型和回归预测；

iqa数据库的建立过程是通过组织主观实验获取图像的主观质量分数，每个iqa数据库中有参考图像、失真图像和主观质量分数组成，参考图像被认为是没有任何缺陷的标准图像，而失真图像是存在某种缺陷(如模糊、白噪声等)的图像；待评价的失真图像是指在iqa模型建立完成后，希望使用该模型预测出质量的失真图像，称为待评价的失真图像，该待评价的失真图像所对应的标准的无任何缺陷的图像称为对应的参考图像。

建立iqa模型步骤如下：

步骤1，将iqa数据库中所有参考图像和失真图像由rgb颜色空间转换到yiq颜色空间中，将图像亮度通道y及i和q两个色度通道进行分离；为后续分通道提取图像特征做准备；具体来说，每一幅图像的颜色空间转变过程表示为：

式(1)中矩阵的第1行系数决定亮度y，对归一化的rgb值均为1时(即r＝g＝b＝1)，应有y＝1，因此矩阵第一行系数之和为1，经式(1)后，即可实现图像亮度通道y和两个色度通道i和q的分离，得到亮度通道y的亮度特征，色度通道i和q的色度特征，分通道后不会改变图像大小。

步骤2，分别在亮度通道y中提取参考图像和失真图像的梯度特征，并计算两个梯度特征的相似性，得到梯度相似性特征；

分别在亮度通道y中提取参考图像和失真图像的对比敏感度特征，并计算两个对比敏感度特征的相似性，得到对比敏感度相似性特征；

计算参考图像和失真图像在i和q两个色度通道的色度相似性特征；

具体按照以下步骤实施：步骤2.1，在亮度通道y中分别提取参考图像和失真图像的梯度特征，并计算两个梯度特征的相似性，得到梯度相似性特征。具体按如下操作：

首先选择大小为n×n的四方向高通滤波模板对参考图像和失真图像的y通道图像做卷积运算，四方向取0°、90°、45°、135°，卷积方法如下：

mk表示卷积模板，k＝1，2，3，4分别表示四个方向，(i,j)表示卷积模板中的像素点，(x,y)表示y通道图像中的像素点，gm表示使用mk的模板对图像做卷积而得到的梯度分量，mk中的m＝x，y，u，v分别表示k＝1，2，3，4四个方向；经卷积操作后，分别计算参考图像和失真图像的梯度幅度值，计算过程如下：

式(3)中：g1(x,y)为融合0°-90°两个方向的梯度分量值，g2(x,y)为融合45°-135°两个方向的梯度分量值，gmap(x,y)表示一幅图像提取的包含四个方向的梯度幅度值；

然后，计算参考图像和失真图像所提取的包含四个方向的梯度幅度值之间的相似性，得到梯度幅度值相似性特征，具体方法如下：

式(4)中，gmap1(x,y)和gmap2(x,y)分别表示参考图像和失真图像提取的包含四个方向的梯度幅度值，c1为常数，用于防止分母为零而造成gsim的不稳定，优选c1＝386；

y＝(y1+y2)/2(5)

为考虑参考图像和失真图像之间的边缘相关性，通过公式(5)将参考图像与失真图像的亮度通道y进行融合，再经过式(2)和(3)，计算融合亮度通道后的图像梯度特征，记为gy，然后，通过公式(6)和(7)分别计算gy与参考图像的梯度特征gmap1以及失真图像的梯度特征gmap2之间的相似性，分别用gry和gdy表示，式(6)和(7)中，c2为常量，用于防止分母为零而造成gry和gdy的不稳定，优＝55选c2＝55；

最后，参考图像与失真图像计算的最终的梯度相似性特征为：

g＝gsim+[gdl-grl](8)。

步骤2.2，在亮度通道y中分别提取参考图像和失真图像的对比敏感度特征，并计算相似性，得到对比敏感度相似性特征。具体实现过程如下：

首先将参考图像与失真图像从空域经离散余弦变换转变为dct系数，然后将csfl1、csfl2，csfm1、csfm2和csfh1、csfh2分别定义为参考图像和失真图像在低频lf、中频mf和高频hf区域的分量，对于一幅参考图像，其对比度能量值计算如式(9)所示：

式(9)中，k＝l1,m1,h1分别对应rk为lf、mf和hf这三个区域，p(u,v)表示在(u,v)点处dct系数的归一化值。同理，对失真图像用同样方法计算这三个指标，计算结果记为:csfl2、csfm2以及csfh2；

然后，通过式(10)～(12)分别计算参考图像与失真图像在lf、mf和hf区域的对比度相似性值分别计算如下：

式(10)、(11)和(12)中，c3、c4和c5均为常数，用于防止分母为零而造成csflmap、csfmmap及csfhmap的不稳定，优选c3＝2000、c4＝1.7和c5＝0.0063；

最后，参考图像与失真图像的对比敏感度相似性特征计算为：

f＝csflmap(x)*csfmmap(x)*csfhmap(x)(13)。

步骤2.3，将参考图像和失真图像的i通道分别用i1、i2表示，参考图像和失真图像的q通道分别用q1、q2表示，分别计算两幅图像在i和q通道的色度相似性，采用式(14)，将两个色度相似性的乘积即为色度相似性特征：

式(14)中，c6＝c7，且均为常数，用于防止分母为零而造成c的不稳定，优选c6＝c7＝130。

步骤3，采用高斯差分dog模型在亮度通道中分别对参考图像和失真图像进行5个等级的频带分解，得到5个频带相似性特征；高斯差分dog的原理其实就是通过将图像与高斯函数进行卷积得到一幅图像的低通滤波结果；步骤3的具体步骤实施：

首先，使用式(15)定义一幅图像的dog响应，dog响应是通过对两个相邻高斯尺度空间的图像相减，得到dog的响应值图像，其中i代表图像的亮度通道，gσ1(x)和gσ2(x)分别表示标准偏差为σ1和σ2的两个高斯函数。

idogσ1,σ2(x)＝i×(gσ1(x)-gσ2(x))(15)

然后，通过式(15)将一幅图像分解为n个等级的频带：

式(16)中，n代表图像的分解级数，σi＝k^i-1(i＝1～n-1)；

其中，n为5个等级的频带分解，因为可将原图分解为更多的低频和高频子图像，此操作有助于获得关于失真图像的更丰富更详尽的特征表示；

最后，利用式(16)分别对参考图像亮度通道y1与失真图像亮度通道y2分解为5个等级的频带，并计算在各级频带间的相似性特征，即：

式(17)中，ssim(﹒)表示相似性计算指标，i＝0～4；

在亮度通道y中提取图像的梯度特征、对比敏感度特征以及dog频带特征，在i和q两个颜色通道中提取图像的色度特征，从而充分模拟hvs可同时处理低级和高级图像特征的特性；

用dog频带特征以及对比敏感度特征来共同反映人眼视觉系统的频率响应特性，两种特征结合使用有助于增强模型对不同空间频率的分辨能力，实现与人眼主观感知判断的高度相关性。

步骤4，步骤3完成后，通过池化策略，提取梯度相似性特征的平均值、标准偏差及熵，提取对比敏感度相似性特征的平均值、标准偏差及熵，以及色度相似性特征的平均值、标准偏差及熵，再与5个频带相似性特征进行多特征融合，从而为每幅失真图像生成一个表征其失真程度的14-d特征向量；具体步骤实施：

步骤3完成后，可得到参考图像与失真图像之间的色度相似性特征、梯度相似性特征、对比敏感度相似性特征以及dog频带特征，经过池化策略，提取色度相似性特征的平均值、标准偏差及熵，分别用cm、cs及ce表示，提取梯度相似性特征的平均值、标准偏差及熵，分别用gm、gs及ge表示，提取对比敏感度相似性特征的平均值、标准偏差及熵，分别用fm、fs及fe表示，dog频带特征是一个5-d的特征向量，记为[f0f1f2f3f4]；

色度相似性特征、梯度相似性特征及对比敏感度相似性特征均为得到的一幅图像，图像由像素组成，在此基础上提取各个特征的平均值，标准偏差及熵；

然后，将提取的3-d色度相似性特征、3-d梯度相似性特征、3-d对比敏感度相似性特征以及5-d频带特征进行多特征融合，融合后的特征空间用一个14-d特征向量表示，即：

v＝[cmcscegmgsgef0f1f2f3f4fmfsfe](18)。

步骤5，步骤4完成后，将图像数据库中所有失真图像生成的14-d特征向量及其对应的主观平均得分mos值一同输入到随机森林rf中训练回归模型，并将模型中决策树的数量和节点预选变量个数优选设置为(ntree,mtry)＝(500,2)。

步骤6，经步骤5完成后，训练好的回归模型即可用于精确预测待评价的失真图像质量，预测方法是将一幅或多幅待评价图像及其对应的参考图像分别经过步骤1到步骤4，并经相似性计算和池化策略后，得到代表失真图像质量的14-d特征向量，并输入到已经训练好的rf回归模型中，输出结果即为模型预测的待评价图像的质量分数，从而实现对待评价的失真图像质量的精确预测；

将图像数据库中所有失真图像生成的14-d特征向量及其对应的主观平均得分mos值一同输入到具有强大学习能力的随机森林rf中训练回归模型，有效提高了模型的鲁棒性，跨数据库交叉验证实验也证明了本发明具有卓越的泛化能力。

实施例

本发明为一种与视觉感知相关的图像质量评价方法，具体方法分为两大部分，即建立iqa模型和回归预测；

建立iqa模型具体按照以下步骤实施：

步骤1，将图像由rgb颜色空间转变为yiq颜色空间中：

步骤2，具体按照以下步骤实施为：

步骤2.1，选择大小为5×5的四方向高通滤波模板对参考图像和失真图像的y通道图像做卷积运算：

四方向取0°、90°、45°、135°，mk中k＝1，2，3，4分别表示四个方向的卷积模板，定义为：

式(2)中：mk表示卷积模板，k＝1，2，3，4分别表示四个方向，(i,j)表示卷积模板中的像素点，(x,y)表示y通道图像中的像素点，gm表示使用mk的模板对图像做卷积而得到的梯度分量，mk中的m＝x，y，u，v分别表示k＝1，2，3，4四个方向；经卷积操作后，分别计算参考图像和失真图像的梯度幅度值，计算过程如下：

然后，计算参考图像和失真图像所提取的包含四个方向的梯度幅度值之间的相似性，得到梯度相似性特征：

将参考图像与失真图像的亮度通道y进行融合：

y＝(y1+y2)/2(5)

分别计算gy与参考图像的梯度特征gmap1以及失真图像的梯度特征gmap2之间的相似性，分别用gry和gdy表示：

最后，计算参考图像与失真图像计算的最终的梯度相似性特征：

g＝gsim+[gdl-grl](8)；

步骤2.2，首先将参考图像与失真图像从空域经离散余弦变换转变为dct系数，然后将csfl1、csfl2，csfm1、csfm2和csfh1、csfh2分别定义为参考图像和失真图像在低频lf、中频mf和高频hf区域的分量，对于一幅参考图像，其对比度能量值计算如式(9)所示：

式(9)中，k＝l1,m1,h1分别对应rk为lf、mf和hf这三个区域，p(u,v)表示在(u,v)点处dct系数的归一化值，同理，对失真图像用同样方法计算这三个指标，计算结果记为:csfl2、csfm2以及csfh2；

然后，通过式(10)-(12)分别计算参考图像与失真图像在lf、mf和hf区域的对比度相似性值分别计算如下：

最后，参计算考图像与失真图像的对比敏感度相似性特征：

f＝csflmap(x)*csfmmap(x)*csfhmap(x)(13)；

步骤2.3，计算两幅图像之间的色度相似性特征：

步骤3中，具体按照以下步骤实施：

首先，分别将参考图像亮度通道y1与失真图像亮度通道y2分解为5个等级的频带：

idogσ1,σ2(x)＝i×(gσ1(x)-gσ2(x))(15)

式(16)中，σi＝k^i-1(i＝1～4)；

然后，计算两幅图像在各级频带间的相似性，即：

式(17)中，ssim(﹒)表示相似性计算指标，i＝0～4。

步骤4中，具体按照以下步骤实施：

首先，分别提取色度相似性特征、梯度相似性特征以及对比敏感度似性特征的均值、标准偏差及熵，将上述提取的9-d特征与5-d频带特征进行多特征融合，融合后的特征空间用一个14-d特征向量表示，即：

v＝[cmcscegmgsgef0f1f2f3f4fmfsfe](18)；

现在，选择一种主流的iqa数据库tid2013训练iqa模型，方法是对tid2013数据库中所有参考图像和失真图像均执行上述步骤1-步骤4特征提取过程，为每幅失真图像生成一个14-d特征向量。由于tid2013数据库总共包含3000幅失真图像，因此此操作可获得一个3000×14-d的特征向量。

步骤5，将tid2013数据库中所有失真图像获得的3000×14-d的特征向量以及每幅失真图像对应的主观得分mos值一起输入到随机森林rf中，即可完成iqa模型建立过程。

回归预测过程实施步骤：

步骤6，随机选择tid2013数据库中某幅待评价的失真图像及其对应的参考图像；例如：选择tid2013数据库中第一幅参考图像，和选择第一幅参考图像对应的第8种失真类型(高斯模糊失真)下的第1个失真等级的失真图像作为本实例的待评价的失真图像；将上述两幅图像执行步骤1～步骤4，生成表征该失真图像质量的14-d特征向量，并将该向量输入到已经训练好的iqa模型中，输出结果即为该模型预测的待评价的失真图像的质量分数，结果为5.2411。

tid2013数据库中主观分数mos值的取值范围为0-9之间，因此，iqa模型预测的待评价的失真图像的质量分数越接近9，则表明此图像的质量越好；反之，质量分数越接近0，则图像的质量越差。

失真图像的失真等级越高，则质量越差。为验证此规律，我们选择tid2013数据库中第一幅参考图像对应的第8种失真类型(高斯模糊失真)下的第5个失真等级的失真图像作为待评价的失真图像，操作过程同上，此时iqa模型预测的失真图像的质量分数为1.7851，与上面选择第1个失真等级的失真图像进行实验的结果进行对比，结果验证了我们所建立的iqa模型满足图像的失真等级越高则其质量越差的规律。

综上所述，为解决现有的图像质量评价方法，与人眼主观感知并没有达到很好的一致性的问题；本发明通过建立iqa模型和对待评价的失真图像质量进行回归预测，充分模拟hvs可同时处理低级和高级图像特征的特性，采用dog频带特征以及对比敏感度特征来共同反映人眼视觉系统的频率响应特性，增强模型对不同空间频率的分辨能力，实现与人眼主观感知判断的高度相关性，并在模型运算复杂度和预测精度上实现了很好的平衡的效果。