一种基于运动特性的视频流编码质量评价方法与流程

本发明属于多媒体通信领域，具体涉及一种基于运动特性的视频流编码质量评价方法。

背景技术：

视频和图像的最终用途是为了人观看。视频质量评价旨在通过一些方法，得到人眼对视频图像质量好坏的感知度量，包括主观评价方法和客观评价方法。主观评价在严格的实验环境和实验流程下进行，要求一组观察者对视频质量进行打分。客观评价方法拟在通过计算模型或评价设备，模拟人眼对视频质量进行测量。主观评价是获得质量评分的最准确的方法。但是由于实验要求严格，同时费时、费力，并且不适用于实时的监控场合，因而，客观质量评价模型就成为研究热点。

视频质量评价在系统设备的研发阶段、网络系统的设计搭建阶段和运营维护阶段都有很重要的作用。视频质量评价在系统设备的研发阶段发挥着重要作用。例如，在图像处理系统中，视频质量评价可以作为算法和参数优化的参考。在视频编码系统端，可以对预滤波和比特分配等算法进行最优化处理。在视频解码系统端，视频质量评价可以对图像重建、误码掩盖和后滤波等算法进行最优处理。在网络系统的设计搭建阶段，视频质量评价结果可以用作图像处理系统优劣性的一个度量。例如，可以用于不同视频编解码器的评估和比较。通过对各种不同类型素材编码解码处理，可以用评价结果来决定哪一个系统的处理效果最好。在系统的运营维护阶段，诸如一些实时应用中，视频质量评价可以用来动态地监测和调整图像质量的状况，例如网络视频服务器、交换机和复用器等的在线质量的监测和控制。在数字网络视频服务中，可以用评价模型来实时地检查当前网络上传输视频的质量状况以分配数据流资源。

视频图像数据存在很多冗余信息。空间上相邻的像素相关性较高，造成空间冗余。时间上前后帧之间往往存在关联，造成了时间冗余。压缩编码算法旨在去除冗余信息，减少数据量。因为人眼不能分辨所有的损伤，所以压缩编码算法通常也会利用视觉特性，进一步做有损压缩来降低数据量。但是如果压缩的倍数较高，视频图像丢失的信息变多，人眼就可以察觉。码率较低时，视频图像上可能出现块效应、模糊、振铃及色彩流失等现象，极大地降低了视频图像的感观质量。因而，码率可以作为衡量视频质量的一个重要参数。码率高，视频质量通常较好，码率低，视频质量相应变差。

但是，码率仅仅可以反映视频集的平均质量。不同的视频，即使在相同的码率下，图像质量也可能存在很大的差别。时间复杂度高的视频，在编码过程中运动搜索和运动补偿时，寻找匹配块的难度大，残差数据较多，在相同的码率下，相较于帧间变化小的视频，丢失的信息更多，视频质量通常更差。Michal Ries等人在“Motion Based Reference-Free Quality Estimation for H.264/AVC Video Streaming”一文中指出，视频序列的时间特性可以较好地反映视频的主观质量。但是，该论文针对移动应用场合的低码率低分辨率可变帧率的视频(图像分辨率为SIF格式)，因而该模型不适用于标清甚至高清视频，并且该模型没有详细分析每个视频运动特征与主观感知质量的关系。

技术实现要素：

针对现有技术中存在的上述问题，本发明将视频的运动特征与由码率决定的视频集的平均感知质量相结合，利用运动特征去调节视频平均质量曲线的斜率，设计了一种基于运动特性的视频流编码质量评价方法。

一种基于运动特性的视频流编码质量评价方法，包括以下步骤：

步骤1，建立视频集平均质量评价模型

步骤1.1，获取各视频序列的主观感知质量评分；

步骤1.2，建立基于码率的视频集平均感知质量评价模型；

采用最小平方曲线拟合得到码率与感知DMOS的关系，即，

其中，a1和a2为视频集平均感知质量评价模型的拟合常数，BR为码率，PDMOS_BR为预测的DMOS值，

步骤2，建立基于运动特性的视频流编码质量评价模型

步骤2.1，定义视频序列运动特征；

对视频序列从3个角度定义运动特征，分别是运动矢量大小、运动矢量方向及运动块占比，

对运动矢量大小，按如下步骤计算：

(1)首先对每个4*4的块，运动矢量大小|MV|的计算公式如(2)所示：

其中，MV_x代表运动矢量的水平分量，MV_y代表运动矢量的垂直分量。

(2)然后对每帧图像，统计了一帧中所有|MV|≠0的块的|MV|的均值MV_a，

(3)最后对所有帧，计算了MV_a的均值A_MV_a，

对运动块占比，按如下步骤计算：

(1)统计一帧中运动矢量非0的4*4块占全部4*4块的比例NonZeroMV，

(2)然后计算了所有帧的NonZeroMV的均值A_NonZeroMV，

对于运动矢量的方向，按如下步骤计算：

(1)对每个4*4的块，首先计算运动矢量的方向θ_MV：

(2)对一帧中所有的运动矢量非0的块，以10度为单位统计运动矢量方向的直方图，考虑到大部分的运动为水平方向，第一个统计区间取[355°,360°)+[0°,5°)第二个区间为[5°,15°)，以此类推，

(3)对运动矢量方向的统计直方图进行归一化处理，然后求标准差MV_DirStd，

(4)对序列的所有帧求MV_DirStd的均值A_MV_DirStd，

步骤2.2，得到运动特征与视频时间复杂度特性的关系；

对所有序列的所有压缩样本，分别从码流中提取P帧的运动矢量，按步骤2.1计算三个运动特征，将所有序列样本的运动矢量大小A_MV_a、运动块占比A_NonZeroMV及运动矢量方向A_MV_DirStd三个特征与码率的关系按序列分别画成折线图，与主观实验结果的折线图和在像素域计算的序列特性信息进行比对，可以得出如下结论：A_MV_a和A_NonZeroMV两个特征不足以反应序列的时间复杂度特性，运动矢量方向A_MV_DirStd的杂乱程度可以较好地表征视频序列的时间复杂度特性，

步骤2.3，建立基于视频运动特性的视频流编码质量评价模型。

将视频的运动特征与由码率决定的视频集的平均感知质量相结合，利用运动特征去调节视频平均质量曲线的斜率，得到基于视频运动特性的视频流编码质量评价模型，即

其中，f₁、f₂、f₃和f₄为基于视频运动特性的质量评价模型的拟合常数，BR为码率，PDMOS为质量评价模型最终预测的DMOS值。

附图说明

图1是本发明实施例的方法的流程图；

图2为序列SI和TI最大值分布图；

图3是主观评价实验结果码率与DMOS的关系图；

图4是视频集平均感知质量评价模型的预测结果图；

图5是A_MV_a与码率的关系；

图6是A_NonZeroMV与码率的关系；

图7是A_MV_DirStd与码率的关系；

图8是10Mbps下花蓝序列的某一P帧的运动方向统计直方图；

图9是10Mbps下秋叶序列的某一P帧的运动方向统计直方图；

图10是基于视频运动特性的视频流编码质量评价模型的预测结果图，横轴为主观DMOS值，纵轴为本发明模型的计算结果。

具体实施方式

为了加深对本发明的理解，下面将结合实施例对本发明作进一步详述，该实施例仅用于解释本发明，并不构成对本发明保护范围的限定。

本发明实施例提供一种基于运动特性的视频流编码质量评价方法，包括以下步骤：

步骤1，建立视频集平均质量评价模型。

步骤1.1，得到各视频序列的主观感知质量评分。

选用7个具有不同图像细节和运动情况的高清序列。每个序列均为250帧，色度取样格式为4:2:0。采用H.264高清编码器进行7种码率的压缩(分别为4，6，8，10，12，14，16Mbps)，GOP长度设置为12，帧结构为IBBP，型和级采用HP@HL，熵编码方法选用CABAC。然后将各码率视频样本解码，与原始视频序列一同够成本发明的主观评价视频素材集。该素材集中共包含49个不同受损程度的视频样本。采用DSCQS方法进行主观评价实验，并对评价结果按照ITU-R BT.1788的筛选准则进行筛选，最终计算每个测试序列与无压缩原始序列分数差值的平均意见分DMOS(Differential Mean Opinion Score)作为最终的主观评价结果。

步骤1.2，建立基于码率的视频集平均感知质量评价模型。

主观评价实验结果显示：随着码率变高，DMOS值逐渐下降。也即码率越高，压缩编码后的视频序列与原始序列的主观感知差异越小。用最小平方曲线拟合得到码率与感知DMOS的关系，幂指数函数有最好的拟合结果，得到如公式(1)所示的模型公式。式中，a₁和a₂为视频集平均感知质量评价模型的拟合常数，BR为码率，PDMOS_BR为预测的DMOS值。

用该模型预测得到的PDMOS_BR值接近主观评价试验中同一码率下所有序列的DMOS均值。也即该模型可以较好地预测视频序列集的平均质量。但是该模型只有一个输入参数BR，对于不同的视频序列，只要码率相同，得到的客观评价结果也一样。需要进一步增加可以反应不同视频序列的特性的输入参数，以更准确地预测视频的感知质量。

步骤2，建立基于运动特性的视频流编码质量评价模型。

步骤2.1，定义视频序列运动特征。

对视频序列从3个角度定义运动特征，分别是运动矢量大小、运动矢量方向及运动块占比。从压缩视频码流中提取每个P帧的运动矢量。P帧是前向预测帧，运动矢量直接反映了当前帧相较前面帧的运动情况。因为编码器选用的压缩算法为H.264，宏块存在不同的分割方式。对宏块的各种分割情况，统一以4*4像素大小的块为基本单位进行统计。例如，如果一个宏块为帧间16*16预测模式，就将其拆分为16个4*4的块，每个小块的运动矢量与帧间16*16预测模式对应的运动矢量相同。

对运动矢量大小，按如下步骤计算：

(1)首先对每个4*4的块，运动矢量大小的计算公式如(2)所示：

其中，MV_x代表运动矢量的水平分量，MV_y代表运动矢量的垂直分量。

(2)然后，对每帧图像，统计了一帧中所有|MV|≠0的块的|MV|的均值(用MV_a表示)。

(3)最后对所有帧，计算了MV_a的均值(用A_MV_a表示)。

对运动块占比，按如下步骤计算：

(1)统计一帧中运动矢量非0的4*4块占全部4*4块的比例(用NonZeroMV表示)。

(2)然后计算了所有帧的NonZeroMV的均值(用A_NonZeroMV表示)。

对于运动矢量的方向，按如下步骤计算：

(1)对每个4*4的块，首先计算运动矢量的方向：

(2)对一帧中所有的运动矢量非0的块，以10度为单位统计运动矢量方向的直方图。考虑到大部分的运动为水平方向，第一个统计区间取[355°,360°)+[0°,5°)第二个区间为[5°,15°)，以此类推。

(3)对运动矢量方向的统计直方图进行归一化处理，然后求标准差MV_DirStd。MV_DirStd反映了运动矢量在每个直方图区间上的分布程度。标准差越小，说明每个区间的运动矢量分布越平均，视频的运动方向就越杂乱，而标准差越大，说明不同区间运动矢量分布的差异越大，也即某些区间的运动矢量更多，而其他区间的运动矢量较少，此时运动越一致。

(4)对序列的所有帧求MV_DirStd的均值(用A_MV_DirStd表示)。

步骤2.2，得到运动特征与视频时间复杂度特性的关系。

对所有序列的所有压缩样本，分别从码流中提取P帧的运动矢量，按步骤2.1计算三个运动特征。将所有序列样本的运动矢量大小A_MV_a、运动块占比A_NonZeroMV及运动矢量方向A_MV_DirStd三个特征与码率的关系按序列分别画成折线图。与主观实验结果的折线图和在像素域计算的序列特性信息(按照ITU-R BT.1788标准在像素域计算序列的空间信息和时间信息)进行比对。可以得出如下结论：A_MV_a和A_NonZeroMV特征与主观感知质量没有较好的对应关系。A_MV_a和A_NonZeroMV数值较大的视频也可能有较好的感知质量。A_MV_a和A_NonZeroMV与像素域计算的时间信息也不存在较好的对应关系。理论上来说，像素域时间信息越大，对应的序列时间复杂度越高，可是对该序列计算A_MV_a和A_NonZeroMV，其数值却并不一定大。综上，A_MV_a和A_NonZeroMV两个特征不足以反应序列的时间复杂度特性。而A_MV_DirStd特征的大小与序列主观实验的DMOS值基本呈反比关系。这是因为，该特征计算了运动矢量在各方向区间的分布的标准差，标准差越大，说明各区间分布差异越大，对应着视频序列的运动方向越统一。该值越小，说明运动矢量的分布在各区间越均匀，对应着视频序列的运动方向越杂乱。对压缩编码的帧间预测环节来说，如果图像呈现较规律的运动，即使运动矢量较大、运动块占比较多，运动估计也可能找到较好的匹配块，但如果图像呈现不规律的杂乱运动，运动估计和运动补偿的难度也会较大，预测残差也可能较多，视频质量可能较差。也即，运动矢量方向的杂乱程度可以较好地表征视频序列的时间复杂度特性。

步骤2.3，建立基于视频运动特性的视频流编码质量评价模型。

将视频的运动特征与由码率决定的视频集的平均感知质量相结合，利用运动特征去调节视频平均质量曲线(也即步骤1.2中的公式(1))的斜率，得到如公式(4)所示的基于视频运动特性的视频流编码质量评价模型。

其中，f₁、f₂、f₃和f₄为基于视频运动特性的质量评价模型的拟合常数，BR为码率，PDMOS为质量评价模型最终预测的DMOS值。

本发明所述方法的流程图如图1所示，包括以下步骤：

步骤1，建立视频集平均质量评价模型。

步骤1.1，得到各视频序列的主观感知质量评分。

选用7个高清序列，序列名称及序列描述如表1所示。每个序列均为250帧，色度取样格式为4:2:0。按照ITU-R BT.1788的建议，计算所有序列的空间信息(SI)和时间信息(TI)，如图2所示，可见本发明所用序列包含各种空间复杂度和时间复杂度情况。

表1本发明所用的测试序列描述

将各原始序列经过H.264高清编码器压缩成7种码率的受损视频(分别为4，6，8，10，12，14，16Mbps)，编码器其他参数设置如下：GOP长度设置为12，帧结构为IBBP，型和级采用HP@HL，熵编码方法选用CABAC。然后将各码率视频样本解码，与原始视频序列一同够成本发明的主观评价视频素材集。该素材集中共包含49个不同受损程度的视频样本。

主观评价实验采用DSCQS方法。评价员观看一对测试序列，其中一个是隐藏的参考视频，另外一个为经过编解码之后的视频序列。采用类似于5级打分制的方法，要求评价员对每个序列给出0～100的评分。对每一对视频序列，计算原始和受损视频序列的差值。一共21人参加了主观评价实验，评价人员年龄在22～54岁之间，其中一半是专家，另一半为非专家。按照ITU-R BT.1788的筛选准则，最终保留了15人的评价结果。对15人的评分，本发明计算了每个测试序列与无压缩序列分数差值的平均意见分DMOS、标准差和置信区间。不同序列在不同码率下的DMOS结果如图3所示。所有序列95％的置信区间均值为2.23，99％的置信区间均值为2.94。

步骤1.2，建立基于码率的视频集平均感知质量评价模型。

图3的主观评价实验结果显示：随着码率变高，DMOS值逐渐下降。也即码率越高，压缩编码后的视频序列与原始序列的主观感知差异越小。用最小平方曲线拟合得到码率与感知DMOS的关系，幂指数函数有最好的拟合结果，得到如公式(1)所示的模型公式。

图4出示了用该模型预测得到的客观视频质量评价曲线。图4中，横轴为码率，纵轴为DMOS标度。用该曲线计算的客观评价分与全部序列视频主观感知DMOS分的皮尔逊相关性为63.3％，客观值与主观值之间的均方根误差为(RMSE，Root Mean Square Error)为5.183(大于主观评分99％置信区间的均值2.94)。从图4中也可以看到，客观评价曲线逼近于同一码率下所有序列的DMOS均值，他们之间的皮尔逊相关性为99.4％。因而仅仅以码率作为输入的评价模型，可以很好地预测视频序列集的平均质量。但是由于该模型不具备分辨视频内容的能力，所以对整体序列的拟合度较低，RMSE也较大。

步骤2，建立基于运动特性的视频流编码质量评价模型。

步骤2.1，定义视频序列运动特征。

对视频序列从3个角度定义运动特征，分别是运动矢量大小、运动矢量方向及运动块占比。从压缩视频码流中提取每个P帧的运动矢量。P帧是前向预测帧，运动矢量直接反映了当前帧相较前面帧的运动情况。因为编码器选用的压缩算法为H.264，宏块存在不同的分割方式。对宏块的各种分割情况，统一以4*4像素大小的块为基本单位进行统计。例如，如果一个宏块为帧间16*16预测模式，就将其拆分为16个4*4的块，每个小块的运动矢量与帧间16*16预测模式对应的运动矢量相同。

对运动矢量的大小，按如下步骤计算：

(1)首先对每个4*4的块，运动矢量大小的计算公式如(2)所示：

(2)然后，对每帧图像，统计了一帧中所有|MV|≠0的块的|MV|的均值(用MV_a表示)。

(3)最后对所有帧，计算了MV_a的均值(用A_MV_a表示)。

对运动块占比，按如下步骤计算：

(1)统计一帧中运动矢量非0的4*4块占全部4*4块的比例(用NonZeroMV表示)。

(2)然后计算了所有帧的NonZeroMV的均值(用A_NonZeroMV表示)。

对于运动矢量的方向，按如下步骤计算：

(1)对每个4*4的块，首先计算运动矢量的方向：

(2)对一帧中所有的运动矢量非0的块，以10度为单位统计运动矢量方向的直方图。考虑到大部分的运动为水平方向，第一个统计区间取[355°,360°)+[0°,5°)第二个区间为[5°,15°)，以此类推。

(3)对运动矢量方向的统计直方图进行归一化处理，然后求标准差MV_DirStd。MV_DirStd反映了运动矢量在每个直方图区间上的分布程度。标准差越小，说明每个区间的运动矢量分布越平均，视频的运动方向就越杂乱，而标准差越大，说明不同区间运动矢量分布的差异越大，也即某些区间的运动矢量更多，而其他区间的运动矢量较少，此时运动越一致。

(4)对序列的所有帧求MV_DirStd的均值(用A_MV_DirStd表示)。

步骤2.2，得到运动特征与视频时间复杂度特性的关系。

对所有序列的所有压缩样本，分别从码流中提取P帧的运动矢量，按步骤2.1计算三个运动特征。将所有序列样本的运动矢量大小A_MV_a、运动块占比A_NonZeroMV及运动矢量方向A_MV_DirStd三个特征与码率的关系按序列分别画成折线图，如图5、图6及图7所示。

从图5中可以发现，花篮序列的运动矢量大小A_MV_a较高。但是从图2对序列特性的分析中可以看到，花篮的SI和TI值较小，有相对较少的空间和时间信息，图3所示的主观评价结果对花篮的可感知损伤较之其他序列也比较小。因而，将运动矢量大小作为序列帧间复杂度的衡量参数并不完全准确，需要寻找其他的特征。图6给出运动块占比A_NonZeroMV与码率的关系图，该特征为视频序列中有运动矢量的块占总块数的比例。从图6中可以发现，秋叶和喷水序列的A_NonZeroMV特征值较低，也就是说有运动矢量的块相对较少，但是由图2序列特性的分析和图3主观评价实验可知，这两个序列的时间复杂度较高，主观感知质量也较差。所以并非运动矢量多，就代表帧间复杂度高，A_NonZeroMV特征也不能很好地表征视频序列的时间复杂度特性。

图7出示了A_MV_DirStd与码率的关系。该特征计算了运动矢量在各方向区间的分布的标准差，标准差越大，说明各区间分布差异越大，对应着运动的方向越统一。该值越小，说明运动矢量的分布在各区间越均匀，对应着视频序列的运动方向越杂乱。图7可以看出，运动方向最一致的是花蓝，其次是树枝，然后是市场，跑步、鸭子、喷水和秋叶。秋叶的运动方向是最为杂乱的。与图3对比分析，可以发现，相同码率条件下，主观感知质量最好的是花蓝，其次是树枝、市场、鸭子、跑步、喷水和秋叶。两者之间除了跑步和鸭子外，是一一对应的。运动矢量方向的杂乱程度可以较好地表征视频序列的时间复杂度特性。图8和9给出了花篮和秋叶在10Mbps压缩码率下，其中一个P帧的运动方向的归一化的统计直方图。从两个图中可以发现，花篮序列基本全部的运动矢量都为水平向右的方向，而秋叶序列的运动方向相对更为分散。

步骤2.3，建立基于视频运动特性的视频流编码质量评价模型。

最终的视频质量客观评价模型按照如下思路设计：输入参数为码率的评价模型可以预测视频序列的平均质量。在此基础上，用视频特性参数对平均质量做调节，就可以针对不同视频进行质量评价。模型如公式(4)所示，用A_MV_DirStd来调节基于码率的评价模型曲线的斜率。主观感知DMOS与预测的PDMOS间的关系如图10所示。基于该公式预测的质量与主观感知DMOS的相关性为86％。