一种基于梯度相似性标准差的视频质量评价方法与流程

本发明涉及电网技术领域，特别是涉及一种视频质量评价领域。

背景技术：

视频质量评价对视频的获取、压缩、传输以及存储有着极其重要的作用。视频质量评价主要分为主观质量评价和客观质量评价。前者主要通过观察者对失真视频的主观感受来衡量视频质量；后者主要利用算法来衡量视频质量。主观质量评价的准确性高，但是容易受到周围环境的影响，费时费力。因此，在实际应用中，通常采用客观评价算法来自动预测视频的质量，并且利用主观质量来对客观算法的性能进行衡量。

客观质量评价方法主要分为两种：信号保真度的测量方法(Signal Fidelity Measures)和基于视觉感知的质量评估方法(perceptual visual quality metrics,PVQMs)。其中，信号保真度的测量方法如均方误差MSE和峰值信噪比方法PSNR等。基于视觉感知的质量评估方法如C.van den Branden Lambrech等人提出来的运动图像质量方法(MPQM)、S.Winkler等人提出来的感知失真方法(PDM)等。由于人眼视觉系统的复杂性，这些方法并没有与主观质量评价结果具有很好的一致性。总体而言，虽然视频质量评价虽然取得了一定的进展，但是依然存在着许多技术难题，需要进一步的发展与完善。

Wufeng Xue等人利用局部梯度相似度与标准差的方法，提出一种基于梯度相似度标准差(Gradient Magnitude Similarity Deviation,GMSD)的图像质量评价方法，该算法能够快速而又较为准确的预测失真图像的质量。Woei-Tan Loh等人利用视频当前帧与前两帧的帧差和结构相似度(Structural Similarity Index，SSIM)，提出一种基于SSIM的视频质量时域评价方法，该评价方法能够较好的拟合人眼视觉系统(HVS)的时域感知变化。

技术实现要素：

1.基于现有技术，本发明提出了一种基于梯度相似性标准差的视频质量评价方法，借鉴GMSD在空域计算图像质量评价的方法与视频质量时域评价方法的人眼视觉系统的时域感知变化计算方法，采用最差情况权重池化策略(worst-case pooling strategy)对两种方法进行融合。

1.一种基于梯度相似性标准差的视频质量评价方法，其特征在于，该方法包括以下步骤：

步骤一、计算帧差的梯度相似度矩阵，即分别计算m₁(i)、m₃(i)的梯度相似度矩阵GMS₁(i)与m₂(i)、m₄(i)的梯度相似度矩阵GMS₂(i)：

其中，T表示正常数；m₁(i)、m₂(i)、m₃(i)、m₄(i)表示difference矩阵中每一点的梯度值，结合水平方向与垂直方向的Prewitt算子h_x、h_y，遵循以下计算公式

其中，i表示difference矩阵中像素点的位置，表示卷积；参考视频分别与前两帧的帧差difference₁、difference₂，失真视频分别与参考视频前两帧的帧差difference₃、difference₄；

步骤二、计算视频当前帧的时域失真程度，即

当前帧的梯度相似性标准差GMSD₁(x)、GMSD₂(x)，计算公式如下：

其中，N为difference矩阵中像素点的个数，x表示当前帧的位置，x＝3.......F-3，F表示视频序列的总帧数；

步骤三、计算视频当前帧的空域失真程度，即获取参考帧与失真帧的梯度相似度矩阵S-GMS(i)以及当前帧的空域质量SQ(x)：

分别m_r(i)、m_d(i)分别为获取参考帧与失真帧的每一点梯度值，计算公式如下：

假设参考视频的当前帧为r_i，失真视频的当前帧为d_i；

步骤四、计算当前帧的失真程度

步骤五、计算视频序列的质量，即假设视频序列中每一帧的质量为Q＝{Q(3),Q(4),......Q(F-3)}，对每一帧视频质量从小到大进行排序，越大的Q(x)值表示当前帧的失真程度越大，取Q中值最大失真程度的H％，则视频序列的失真程度表示如下：

其中，H表示最大失真程度的H％中的值，N_H为H中元素的数量。

与现有技术相比，本发明提出的基于梯度相似性标准差的视频质量评价评价算法旨在提高视频客观质量评价与人眼的主观质量评价的一致性。该算法对于不同的失真类型、不同的场景均能够有较好的视频评价性能，并且该算法具有较低的复杂度，能够实现实时质量评价。

附图说明

图1是本发明的基于梯度相似性标准差的视频质量评价评价方法模型框图；

图2是视频质量评价方法的客观评分与DMOS的拟合曲线。

具体实施方式

下面结合附图对本发明作进一步详细描述：

相比较静态图像，视频序列具有较为复杂的时域相关特性，人眼视觉系统对于视频质量的评价，除考虑视频单帧图像的空域感知特性之外，还要考虑视觉系统的时域感知特性，因此，本发明在图像质量评价方法GMSD中引入视频帧差的方法来模拟视觉系统的时域感知变化，从而计算视频序列的空域与时域的失真程度，提出一种基于梯度相似性标准差的视频质量评价评价模型，将最终得到的值作为视频失真程度的评分。

如图1所示，该方法的具体实现步骤如下：

第一步：计算帧差的梯度相似度矩阵

假设参考视频的当前帧为r_i，前两帧分别为r_i-1、r_i-2,失真视频的当前帧为d_i，则参考视频分别与前两帧的帧差difference₁、difference₂，失真视频分别与参考视频前两帧的帧差difference₃、difference₄的计算分别为：

结合水平方向与垂直方向的Prewitt算子h_x、h_y，计算difference矩阵中每一点的梯度值m₁(i)、m₂(i)、m₃(i)、m₄(i)：

其中，i表示difference矩阵中像素点的位置，表示卷积。

分别计算m₁、m₃的梯度相似度矩阵GMS₁(i)与m₂、m₄的梯度相似度矩阵GMS₂(i)：

其中，T表示正常数。

第二步：计算视频当前帧的时域失真程度

结合梯度相似度GMS₁(i)、GMS₂(i)，分别计算当前帧的梯度相似性标准差GMSD₁(x)、GMSD₂(x)：

其中，N为difference矩阵中像素点的个数，x表示当前帧的位置，x＝3.......F-3，F表示视频序列的总帧数。

第三步：计算视频当前帧的空域失真程度

假设参考视频的当前帧为r_i，失真视频的当前帧为d_i，以公式(2)、(3)的方法分别获取参考帧与失真帧的每一点梯度值m_r(i)、m_d(i)：

以公式(4)、(6)的方法获取参考帧与失真帧的梯度相似度矩阵S-GMS(i)以及当前帧的空域质量SQ(x)：

第四步：计算当前帧的失真程度

第五步：计算视频序列的质量

假设视频序列中每一帧的质量为Q＝{Q(3),Q(4),......Q(F-3)}，对每一帧视频质量从小到大进行排序，越大的Q(x)值表示当前帧的失真程度越大，取Q中值最大失真程度的H％，则视频序列的失真程度

其中，H表示最大失真程度的H％中的值，N_H为H中元素的数量。

最佳实施方式

1)拟选取T＝170，H＝40

2)然后按照公式(1)分别计算失真视频当前帧与参考视频当前帧、前一帧、前两帧的帧差，并对所获得的帧差首先利用2×2的均值滤波器进行滤波，再对已经滤波后的矩阵进行下采样，下采样因子为2。

3)对已经经过均值滤波、下采样后的帧差利用公式(2)-(11)分别计算空域失真程度、时域失真程度和单帧视频质量，利用公式(12)的最差权重池化最终权重池化策略，从而获取最终视频的质量。

4)性能测试

所提出的质量评价方法选用LIVE视频数据库进行测试，其中包含有10种不同场景的参考视频以及150个失真视频序列。每种视频源包括4种不同水平的失真类型(Wireless失真、IP失真、H.264压缩和MPEG-2压缩)，IP失真有3种不同水平，而其余三种失真类型均各自有4中不同程度的失真，即每种场景下的参考视频都含有15个失真视频。本算法使用视频质量专家组(VQEG)提出的4种评价指标：斯皮尔曼等级次序相关系数(SROCC)、肯德尔等级次序相关系数(KROCC)、皮尔森线性相关系数(PLCC)和均方根误差RMSE作为评价算法性能的指标。较大的SROCC值、KROCC值、PLCC值和较小的RMSE值表示视频质量评价算法具有较好的准确性和一致性。表1给出了所提算法对不同失真类型视频的评价性能，可以看出，本发明提出的算法对在对各种失真类型视频都具有很好的性能，具有较好的鲁棒性。表二给出了所提出算法对于150个失真视频的评价性能，可以看出该算法具有很好的通用性。表三给出了该算法对于一个250帧视频pa2_25fps.yuv的运行时间，表明了该算法可用于视频的实时评价。

表1、所提出的算法对不同失真类型视频的评价性能

表2、所提出的算法对LIVE库中150个失真视频的总体评价性能

表3、所提出的算法对一个live库中pa2_25fps.yuv视频的运行时间

图2为本文所提视频质量评价模型分别与LIVE数据库中150个失真视频主观评分(DMOS)的一致性对比图。图中横坐标为视频序列的客观评分，纵坐标为视频序列的主观评分，黑色的实线是Logistic函数对视频序列的客观评价结果与主观数据的非线性拟合曲线。如果蓝色的离散点能够均匀分布在拟合曲线上并且为单调曲线则认为评价算法性能较好，从中可以看出，本算法与人眼主观质量评价结果具有较好的一致性。