基于拆分结构失真与信号误差的全参考图像质量评价方法

1.本发明涉及一种基于拆分结构失真与信号误差的全参考图像质量评价方法，属于图像质量评价技术领域。


背景技术：

2.图像质量评价在图像处理的很多领域都有重要的应用，比如图像恢复、图像编码、图像通信等，是目前图像处理领域的研究热点。由于图像处理的不同阶段常会引入不同类型不同程度的失真，以及图像内容的多样性及其与失真之间的相互掩盖关系，使得对失真图像的质量评价较为困难。目前，最准确的图像质量评价方法仍然是依据人工打分的主观评价方法，但主观评价方法耗时耗力且无法应用于实时图像处理系统，因此客观评价方法被提出以自动地对失真图像进行质量评价。
3.目前图像处理系统中应用最广泛的仍是经典的均方误差(mse)或峰值信噪比(psnr)，它们主要基于像素级误差进行质量测量，优点在于计算简单、物理意义明确且尤其对像素级失真(如噪声失真)评价效果很好，但缺点是对结构性失真(如jpeg压缩)评价效果不好。考虑到人类视觉系统(hvs)对图像中的结构信息非常敏感，结构相似性(ssim)测量被提出并广泛应用，结构相似性主要测量了失真图像相比参考图像结构信息的变化，因而对像素级失真评价效果一般，而且计算量相比均方误差增加较多。
4.考虑到失真图像中常同时存在结构失真与像素级信号失真，而人类视觉系统对结构失真与信号失真都非常敏感，但感知特性不同，我们提出将失真图像从空间上拆分为结构失真区域与信号失真区域，并分别测量失真再融合的方法进行质量评价，得到了更好的质量评价效果。


技术实现要素：

5.本发明所要解决的技术问题是克服现有技术的缺陷，提供一种基于拆分结构失真与信号误差的全参考图像质量评价方法。
6.为达到上述目的，本发明是采用下述技术方案实现的：
7.第一方面，本发明提供了一种基于拆分结构失真与信号误差的全参考图像质量评价方法，包括：
8.读入参考图像与待测失真图像；
9.用prewitt算子计算所述参考图像与待测失真图像各像素位置的水平与垂直方向梯度，进而计算各像素位置的梯度幅值以及参考图像的梯度均值；
10.根据所述参考图像的梯度均值计算区分结构失真与平坦或纹理区域的两个梯度阈值；
11.根据所述参考图像与待测失真图像各像素位置的梯度幅值与两个梯度阈值的关系将失真图像以像素为单位划分为结构保持像素、结构变化像素、平坦区域像素与纹理区域像素；
12.将所述结构保持像素与结构变化像素区域合并为结构失真特性区域，将所述平坦区域像素与纹理区域像素合并为信号误差特性区域；
13.对所述结构失真特性区域，计算梯度幅值相似性的标准差作为结构失真分数，对所述信号误差特性区域，计算平均信号误差能量作为信号失真分数；
14.融合所述结构失真分数与信号失真分数作为失真图像的最终质量分数。
15.进一步的，所述用prewitt算子计算所述参考图像与待测失真图像各像素位置的水平与垂直方向梯度，进而计算各像素位置的梯度幅值以及参考图像的梯度均值，包括：
16.用prewitt水平与垂直方向梯度算子与两个图像对应位置像素区域做模板运算，来计算两个图像各像素位置的水平与垂直方向梯度，所述prewitt水平与垂直方向梯度算子(gx,gy)如下：
[0017][0018]
记参考图像r在像素坐标(i,j)位置计算出的水平与垂直方向梯度分别为与失真图像d在像素坐标(i,j)位置计算出的水平与垂直方向梯度分别为与则按如下公式计算参考图像r与失真图像d在(i,j)位置的梯度幅值(与)：
[0019][0020]
按如下公式计算参考图像r的梯度均值
[0021][0022]
其中，m与n分别为参考图像r的宽度和高度。
[0023]
进一步的，所述根据所述参考图像的梯度均值计算区分结构失真与平坦或纹理区域的两个梯度阈值，包括：
[0024]
根据参考图像r的梯度均值计算区分结构区域的阈值t1与区分平坦或纹理区域的阈值t2，计算公式如下：
[0025][0026]
其中，α与β为经验性常数，根据实验取值分别为1与0.6。
[0027]
进一步的，根据所述参考图像与待测失真图像各像素位置的梯度幅值与两个梯度阈值的关系将失真图像以像素为单位划分为结构保持像素、结构变化像素、平坦区域像素与纹理区域像素，包括：
[0028]
如果并且则表示参考图像r在(i,j)位置较大的梯度幅值在失真图像d中得以保持，定义像素(i,j)为结构保持像素；
[0029]
如果并且或者并且则表示参考图像r在(i,j)位置较大的梯度幅值在失真图像d中由于失真而变小，或者较小的梯度幅值在失真图像d中由
于失真而变大，定义像素(i,j)为结构变化像素；
[0030]
如果并且则表示参考图像r在(i,j)位置较小的梯度幅值在失真图像d中仍然较小，定义像素(i,j)为平坦区域像素；
[0031]
除上述三种情况，则表示参考图像r与失真图像d在(i,j)位置的梯度幅值处于中等水平，定义像素(i,j)为纹理区域像素。
[0032]
进一步的，所述将所述结构保持像素与结构变化像素区域合并为结构失真特性区域，将所述平坦区域像素与纹理区域像素合并为信号误差特性区域的原理是基于人类视觉系统对不同类型失真的感知机理不同。
[0033]
进一步的，所述对所述结构失真特性区域，计算梯度幅值相似性的标准差作为结构失真分数，包括：
[0034]
对结构失真特性区域，计算参考图像r与失真图像d在此区域各像素的梯度幅值相似性标准差作为结构失真分数，计算公式如下：
[0035][0036]
sd
score
＝std(sdgs
i,j
)
[0037]
其中，与分别表示参考图像r与失真图像d在结构失真特性区域中(i,j)位置的梯度幅值，t为经验性常数，根据实验取值为170，sdgs
i,j
为(i,j)位置的梯度幅值相似性，sd
score
为梯度幅值相似性的标准差，定义为结构失真特性区域的结构失真分数，其值越大，表示结构变化失真越大，图像质量越低。
[0038]
进一步的，所述对所述信号误差特性区域，计算平均信号误差能量作为信号失真分数，包括：
[0039]
对信号误差特性区域，计算参考图像r与失真图像d在此区域各像素的平均信号误差能量作为信号失真分数，计算公式如下：
[0040][0041]
其中，n
se
为信号误差特性区域的像素数目，rk与dk分别为参考图像r与失真图像d在此区域的第k个像素亮度值，se
score
为平均信号误差能量，定义为此区域的信号失真分数，其值越大，表示信号误差越大，图像质量越低。
[0042]
进一步的，所述融合所述结构失真分数与信号失真分数作为失真图像的最终质量分数，包括：
[0043]
定义如下公式来融合结构失真分数与信号失真分数作为失真图像的最终质量分数：
[0044]
sdse
score
＝sd
score
+γ
×
log(se
score
+ε)
[0045]
其中，ε为经验性小常数以保持对数运算的稳定性，取值为0.001，γ为结构失真分数与信号失真分数的平衡因子，根据实验取值为0.05，sdse
score
为失真图像的最终质量分数。
[0046]
第二方面，本发明提供一种基于拆分结构失真与信号误差的全参考图像质量评价
装置，包括：
[0047]
输入单元，用于读入参考图像与待测失真图像，提取所述参考图像与待测失真图像的亮度分量用于质量评价；
[0048]
第一计算单元，用于使用prewitt算子计算所述参考图像与待测失真图像各像素位置的水平与垂直方向梯度，进而计算各像素位置的梯度幅值以及参考图像的梯度均值；
[0049]
第二计算单元，根据所述参考图像的梯度均值计算区分结构失真与平坦或纹理区域的两个梯度阈值；
[0050]
划分单元，用于根据所述参考图像与待测失真图像各像素位置的梯度幅值与两个梯度阈值的关系将失真图像以像素为单位划分为结构保持像素、结构变化像素、平坦区域像素与纹理区域像素；
[0051]
合并单元，用于将所述结构保持像素与结构变化像素区域合并为结构失真特性区域，将所述平坦区域像素与纹理区域像素合并为信号误差特性区域；
[0052]
第三计算单元，用于对所述结构失真特性区域，计算梯度幅值相似性的标准差作为结构失真分数，对所述信号误差特性区域，计算平均信号误差能量作为信号失真分数；
[0053]
融合单元，用于融合所述结构失真分数与信号失真分数作为失真图像的最终质量分数。
[0054]
第三方面，本发明提供一种基于拆分结构失真与信号误差的全参考图像质量评价装置，包括处理器及存储介质；
[0055]
所述存储介质用于存储指令；
[0056]
所述处理器用于根据所述指令进行操作以执行根据上述任一项所述方法的步骤。
[0057]
与现有技术相比，本发明所达到的有益效果：
[0058]
1、本方法对失真图像进行质量评价时，从空间上拆分为结构失真特性区域和信号误差特性区域，分别进行失真测量，更好地表达了人类视觉系统对不同特性失真的感知机理。
[0059]
2、对结构失真特性区域，采用梯度幅值相似性的标准差作为结构失真分数，对信号误差特性区域，采用平均信号误差能量作为信号失真分数，更准确地计算了不同特性区域的失真分数；融合结构失真分数与信号失真分数的最终评价结果与人眼评价更加一致，而且计算复杂度仅略高于均方误差，低于结构相似性测量。
附图说明
[0060]
图1是本发明实施例提供的一种基于拆分结构失真与信号误差的全参考图像质量评价方法的流程图；
[0061]
图2是本发明实施例提供的在最常用的live图像质量评价数据集上的差分主观评价分(dmos)与所提供算法质量预测分数(sdse)的测试结果示意图。
具体实施方式
[0062]
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0063]
实施例1
[0064]
本实施例介绍一种基于拆分结构失真与信号误差的全参考图像质量评价方法，包括：
[0065]
读入参考图像与待测失真图像；
[0066]
用prewitt算子计算所述参考图像与待测失真图像各像素位置的水平与垂直方向梯度，进而计算各像素位置的梯度幅值以及参考图像的梯度均值；
[0067]
根据所述参考图像的梯度均值计算区分结构失真与平坦或纹理区域的两个梯度阈值；
[0068]
根据所述参考图像与待测失真图像各像素位置的梯度幅值与两个梯度阈值的关系将失真图像以像素为单位划分为结构保持像素、结构变化像素、平坦区域像素与纹理区域像素；
[0069]
将所述结构保持像素与结构变化像素区域合并为结构失真特性区域，将所述平坦区域像素与纹理区域像素合并为信号误差特性区域；
[0070]
对所述结构失真特性区域，计算梯度幅值相似性的标准差作为结构失真分数，对所述信号误差特性区域，计算平均信号误差能量作为信号失真分数；
[0071]
融合所述结构失真分数与信号失真分数作为失真图像的最终质量分数。
[0072]
本实施例提供的基于拆分结构失真与信号误差的全参考图像质量评价方法，如图1所示，其应用过程具体涉及如下步骤：
[0073]
步骤1)读入参考图像与待测失真图像，提取两个图像的亮度分量用于质量评价。
[0074]
步骤2)用prewitt算子计算两个图像各像素位置的水平与垂直方向梯度，进而计算各像素位置的梯度幅值以及参考图像的梯度均值。
[0075]
本发明实施中，用prewitt水平与垂直方向梯度算子与两个图像对应位置像素区域做模板运算，来计算两个图像各像素位置的水平与垂直方向梯度。所使用的prewitt水平与垂直方向梯度算子(g
x
,gy)如下：
[0076][0077]
记参考图像r在像素坐标(i,j)位置计算出的水平与垂直方向梯度分别为与失真图像d在像素坐标(i,j)位置计算出的水平与垂直方向梯度分别为与则按如下公式计算参考图像r与失真图像d在(i,j)位置的梯度幅值(与)：
[0078][0079]
按如下公式计算参考图像r的梯度均值
[0080][0081]
其中，m与n分别为参考图像r的宽度和高度。
[0082]
步骤3)根据参考图像的梯度均值计算区分结构失真与平坦或纹理区域的两个梯度阈值，并根据两个图像各像素位置的梯度幅值与两个梯度阈值的关系将失真图像以像素
为单位划分为结构保持像素、结构变化像素、平坦区域像素与纹理区域像素。
[0083]
本发明实施中，根据参考图像r的梯度均值计算区分结构区域的阈值t1与区分平坦或纹理区域的阈值t2，计算公式如下：
[0084][0085]
其中，α与β为经验性常数，根据实验取值分别为1与0.6；
[0086]
根据两个图像各像素位置的梯度幅值与两个梯度阈值的关系将失真图像以像素为单位划分为结构保持像素、结构变化像素、平坦区域像素与纹理区域像素的规则定义如下：
[0087]
1)如果并且则表示参考图像r在(i,j)位置较大的梯度幅值在失真图像d中得以保持，定义像素(i,j)为结构保持像素；
[0088]
2)如果并且或者并且则表示参考图像r在(i,j)位置较大的梯度幅值在失真图像d中由于失真而变小，或者较小的梯度幅值在失真图像d中由于失真而变大，定义像素(i,j)为结构变化像素；
[0089]
3)如果并且则表示参考图像r在(i,j)位置较小的梯度幅值在失真图像d中仍然较小，定义像素(i,j)为平坦区域像素；
[0090]
4)除上述三种情况，则表示参考图像r与失真图像d在(i,j)位置的梯度幅值处于中等水平，定义像素(i,j)为纹理区域像素。
[0091]
本发明实施中的改进点如下：
[0092]
根据参考图像的梯度均值计算区分结构失真与平坦或纹理区域的两个梯度阈值，并根据两个图像各像素位置的梯度幅值与两个梯度阈值的关系将失真图像以像素为单位划分为结构保持像素、结构变化像素、平坦区域像素与纹理区域像素，不同失真特性区域的划分结果更为稳定。
[0093]
步骤4)将结构保持像素与结构变化像素区域合并为结构失真特性区域，将平坦区域像素与纹理区域像素合并为信号误差特性区域，更符合人类视觉系统对不同特性失真的感知机理。
[0094]
步骤5)对结构失真特性区域，计算梯度幅值相似性的标准差作为结构失真分数，对信号误差特性区域，计算平均信号误差能量作为信号失真分数。
[0095]
本发明实施中，对结构失真特性区域，计算参考图像r与失真图像d在此区域各像素的梯度幅值相似性标准差作为结构失真分数，计算公式如下：
[0096][0097]
sd
score
＝std(sdgs
i,j
)
[0098]
其中，与分别表示参考图像r与失真图像d在结构失真特性区域中(i,j)位置的梯度幅值，t为经验性常数，根据实验取值为170，sdgs
i,j
为(i,j)位置的梯度幅值相似性，sd
score
为梯度幅值相似性的标准差，定义为结构失真特性区域的结构失真分数，其值越大，表示结构变化失真越大，图像质量越低；
[0099]
对信号误差特性区域，计算参考图像r与失真图像d在此区域各像素的平均信号误差能量作为信号失真分数，计算公式如下：
[0100][0101]
其中，n
se
为信号误差特性区域的像素数目，rk与dk分别为参考图像r与失真图像d在此区域的第k个像素亮度值，se
score
为平均信号误差能量，定义为此区域的信号失真分数，其值越大，表示信号误差越大，图像质量越低。
[0102]
本发明实施中的改进点如下：
[0103]
对结构失真特性区域，采用梯度幅值相似性的标准差作为结构失真分数，对信号误差特性区域，采用平均信号误差能量作为信号失真分数，更准确地计算了不同特性区域的失真分数。
[0104]
步骤6)融合结构失真分数与信号失真分数作为失真图像的最终质量分数。
[0105]
本发明实施中，定义如下公式来融合结构失真分数与信号失真分数作为失真图像的最终质量分数：
[0106]
sdse
score
＝sd
score
+γ
×
log(se
score
+ε)
[0107]
其中，ε为经验性小常数以保持对数运算的稳定性，取值为0.001，γ为结构失真分数与信号失真分数的平衡因子，根据实验取值为0.05，sdse
score
为失真图像的最终质量分数。
[0108]
表1为本发明提出的基于拆分结构失真与信号误差的全参考图像质量评价方法在live图像质量评价数据集上对不同类型失真图像和所有失真图像测试的srocc、krocc、plcc和rmse指标。
[0109]
表1
[0110]
指标jp2kjpegwngblurffallsrocc0.98540.97990.98700.96680.95870.9733krocc0.90070.89760.90730.84570.83630.8673plcc0.98220.98380.98540.97010.94960.9669rmse5.43606.31995.64085.82089.81517.9845
[0111]
表1表示本发明所述方法在live图像质量评价数据集上的整体性能，结果表明本发明的方法对不同类型失真图像都取得了很好的质量评价效果，与人眼评价结果的一致性较好。
[0112]
实施例2
[0113]
本实施例提供一种基于拆分结构失真与信号误差的全参考图像质量评价装置，包括：
[0114]
输入单元，用于读入参考图像与待测失真图像，提取所述参考图像与待测失真图像的亮度分量用于质量评价；
[0115]
第一计算单元，用于使用prewitt算子计算所述参考图像与待测失真图像各像素位置的水平与垂直方向梯度，进而计算各像素位置的梯度幅值以及参考图像的梯度均值；
[0116]
第二计算单元，根据所述参考图像的梯度均值计算区分结构失真与平坦或纹理区
域的两个梯度阈值；
[0117]
划分单元，用于根据所述参考图像与待测失真图像各像素位置的梯度幅值与两个梯度阈值的关系将失真图像以像素为单位划分为结构保持像素、结构变化像素、平坦区域像素与纹理区域像素；
[0118]
合并单元，用于将所述结构保持像素与结构变化像素区域合并为结构失真特性区域，将所述平坦区域像素与纹理区域像素合并为信号误差特性区域；
[0119]
第三计算单元，用于对所述结构失真特性区域，计算梯度幅值相似性的标准差作为结构失真分数，对所述信号误差特性区域，计算平均信号误差能量作为信号失真分数；
[0120]
融合单元，用于融合所述结构失真分数与信号失真分数作为失真图像的最终质量分数。
[0121]
实施例3
[0122]
本实施例提供一种基于拆分结构失真与信号误差的全参考图像质量评价装置，包括处理器及存储介质；
[0123]
所述存储介质用于存储指令；
[0124]
所述处理器用于根据所述指令进行操作以执行根据下述任一项所述方法的步骤：
[0125]
读入参考图像与待测失真图像，提取所述参考图像与待测失真图像的亮度分量用于质量评价；
[0126]
用prewitt算子计算所述参考图像与待测失真图像各像素位置的水平与垂直方向梯度，进而计算各像素位置的梯度幅值以及参考图像的梯度均值；
[0127]
根据所述参考图像的梯度均值计算区分结构失真与平坦或纹理区域的两个梯度阈值；
[0128]
根据所述参考图像与待测失真图像各像素位置的梯度幅值与两个梯度阈值的关系将失真图像以像素为单位划分为结构保持像素、结构变化像素、平坦区域像素与纹理区域像素；
[0129]
将所述结构保持像素与结构变化像素区域合并为结构失真特性区域，将所述平坦区域像素与纹理区域像素合并为信号误差特性区域；
[0130]
对所述结构失真特性区域，计算梯度幅值相似性的标准差作为结构失真分数，对所述信号误差特性区域，计算平均信号误差能量作为信号失真分数；
[0131]
融合所述结构失真分数与信号失真分数作为失真图像的最终质量分数。
[0132]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0133]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实
现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0134]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0135]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0136]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。