专利名称：无参考视频质量评价方法
技术领域：
本发明涉及一种无参考视频质量评价方法。
背景技术：
现有的视频质量评价方法，根据评价对象的不同可以分为两类一类是对于用 户体验质量(Quality of E邓erience，以下简称QoE)的评价；另一类是服务质量的评价 (Quality of Service,以下简称QoS)。在数字通信中，原始的视频(也称为未损伤的视频) 经过编码器、传输信道后，呈现在用户面前的是必然是有损伤的，感官质量上肯定不是完美 的。且根据损伤程度的不同，感官质量也是变化的。 视频在编码、传输、播放的过程中，需要对QoE进行评价以确定损伤对于人的感 官有多大的影响。在针对于Q0E的评价方法中，最可靠的就是主观评价方法(Subjective Assessment),即集合一定数量的评价者，根据观看感受给视频打分，后取平均分值(Mean Opinion Score,以下简称M0S)作为最终评价。因为是用户体验质量的评价，所以人的感官 评价是最可信的。但是在实际的应用中，用人来对视频质量进行评价耗时耗力。因此迫切 需要一种客观的度量方法，使其对QoE的评价能够尽量达到采用主管评价方法的效果。也 就是这种客观的度量方法输出的M0S值，与相应的主观M0S值有较高的相关度。
目前对QOE评价的客观方法(Objective Assessment)有三大类，分别为全参考度 量(Full-Reference，以下简称FR)，部分参考度量(ReduceReference，以下简称RR)和无参 考度量(No-Reference，以下简称NR)三种方法。 FR就是以原始的(没有损伤的)视频作为参考，用损伤的视频和其作比较，来对损 伤视频的QoE进行评价。这种方法由于有未损伤的视频作为参考，所以其结果可以获得与 M0S值有较高的相关度。但是由于视频在实时的应用中，在用户端原始视频是不可用的，所 以全参考的方法只适用于实验室环境。 RR就是原始视频的部分参数可以作为参考，在实时应用中需要额外的带宽来传输 这些参数到用户端，所以也是不适合实际应用的。 而NR在实际应用中不需要原始的视频作为参考，所以可以较高效率的对损伤视 频的Q0E进行评价。但是这也增加了其结果逼近主观MOS值的难度。所以目前现有的NR 方法中，其结果与主观M0S值的相关度都不高。 目前已有的无参考度量方法，核心思想就是提取视频某几种特征参数，然后确定 特征参数与客观M0S值之间的函数，即评分函数(评分模型)，使此函数得出的客观M0S值 与主观M0S值之间有较高的相关度，从而实现无参考度量。 提取的视频特征参数主要有两种第一种是基于主要感官损伤的特征参数；第二 种是基于TS流(Transport Stream,传输数据流)的参数。 基于主要感官损伤的特征参数，就是对于接收端解压后的视频，从空域或时域中 用数学模型描述其各种感官损伤特征，获得损伤特征参数。比如块效应，模糊等特征参数。 块效应俗称"马赛克"，是指在数据流传输后造成的画面损伤。
基于TS流的参数，就是在接收端从解压縮前的TS流中提取特征参数，比如码率， 丢包率等。码率就是数据传输时单位时间传送的数据位数。对于音频和视频文件来说，码 率通俗一点的理解就是取样率。单位时间内取样率越大，精度就越高，处理出来的文件就越 接近原始文件。但是文件体积与取样率是成正比的，所以几乎所有的编码格式重视的都是 如何用最低的码率达到最少的失真。从音频方面来说，码率越高，被压縮的比例越小，音质 损失越小，与音源的音质越接近。 目前已有的方法中用到的特征参数，要么是某个或者综合基于主要感官损伤的特 征参数；要么是某个或者综合基于TS流的参数。 对于从TS流提取参数的方法，有一个不足，就是某些参数并不能准确反应用户感 官质量，因为QoE针对的是解码之后的视频，即机顶盒的输出，而TS流是解码之前的数据。 机顶盒的重传机制和error concealment可以纠正部分损伤，减少误码率等。所以针对解 码后的视频提取的参数才能比较实际的反应最终视频感官质量，基于主要感官损伤的特征 参数更可靠。 但是TS流中的某些参数，却又是非常重要，且不会因为机顶盒的重传机制和 error concealment等纠错机制而改变的。所以选取什么样的特征参数能最大化的反应视 频质量，或者说损伤的程度是一个很大的问题。 提取特征参数后，就是确定评分函数。判断评分函数的好坏的度量就是其得出的 客观分S与对应的主观分S'是否有较高的相关度。目前用到的最多的确定评分函数的方 法就是统计学中传统的回归方法，比如二次多项式(Polynomial) :S = = j一+5《+C 和最小二乘法等，S为输出的客观MOS值，ei为某个特征参数，函数S-F(》即为所求函数，
传统的回归方法输出的客观MOS值与主观MOS值的相关度不是很高，而且其预测 精度和泛化能力非常弱。这与传统回归方法的以下几个特点有关系 (1)需要事先给出一定拟合函数。而特征参数与客观MOS值之间的函数不完全是 一个简单规整的二次函数。 (2)自变量少，只允许一个或两个特征参数参与运算。 (3)对异常值很敏感。这就使得因为某几个异常值而降低了预测的精度。 针对以上不足，在申请号为01806282. 2，名称为《自动视频质量评价的可縮放客观
度量》的中国专利中提出了一种改进的方法用神经网络(BPNN)的方法。它允许多种特征
参数参与运算，并且不需要事先给出拟合函数。其主要思想是根据下式5* = ^(》=2卩为特征参数向量，^;为权值向量。神经网络可以通过训练样本集中样本的特征参
数向量和其对应的主观M0S值进行学习训练，以求得评分函数，使得函数输出的S即客观
MOS值，与主观MOS值有较高的相关度。其泛化能力通过测试集的样本进行测试。 此方法虽然将客观MOS值与主观MOS值的相关度提高了很多，但是仍存在不足由
于其数学原理基于经验风险最小化，所以其拟合的函数不是最优的。也就是说其在学习的
过程中，对于目标函数的求解，很可能找到的是局部极值，而不是全局的极值，所以就造成
了过学习的问题，即泛化能力差。也就是说可能过分适合某些训练集的样本，而不适合测试集。
5
由以上可知，无参考的视频用户体验质量的评价方法对于视频质量Q0E的评价很 重要，但由于目前算法中还有很多不足，所以其结果与主观MOS值之间的相关度不是很高。 主要的不足就是 1、对于特征参数的选取，选择什么样的特征参数能更好的反应视频的质量；哪几 个特征参数最有用。 2、评分函数确定的方法，由于目前的方法自身的问题(如上所说)，使得其并不能 找到一个最优的函数逼近主观MOS值，并且泛化能力比较弱。
发明内容
针对现有技术中存在的缺陷和不足，本发明的目的是提出一种无参考视频质量评 价方法，能够解决现有技术中输出的客观MOS值与主观MOS值的相关度不是很高且其预测 精度和泛化能力非常弱的问题，提高无参考视频质量评价与主观MOS值之间的相关度。
为了达到上述目的，本发明提出了一种无参考视频质量评价方法，包括
步骤1、提取接收端接收到的视频的块效应参数、模糊参数、码率参数；并根据解 码后的视频的时域为该视频设置运动复杂度参数； 步骤2、根据块效应参数、模糊参数、码率参数、运动复杂度参数，使用基于支持向 量SV的回归机SVR预先获得的评价模型，输出客观MOS值。 作为上述技术方案的优选，所述步骤1中为视频设置运动复杂参数的方法具体 为 步骤A、计算相邻两帧间像素的变化复杂度，TI(i,j,n) = Y(i,j,n)-Y(i,j,n) 其中Y(i， j， n)为第n帧图像位于(i， j)位置的像素灰度值，其中i为图像中的
横坐标，j为图像中的纵坐标； 步骤B、计算第n帧图像中的平均变化复杂度；
u")=-
其中A， B为每帧图像的行列的大小 步骤C、计算第n帧图像的运动复杂度
^ 5
77 =平[^^-]
步骤D、计算共N帧的视频序列的运动复杂度
作为上述技术方案的优选，所述块效应参数的计算方法具体为 步骤a、根据解码后的视频的空域，计算每一帧图像块效应的垂直方向参数和水平
6方向
其中A， B为每帧图像的行列的大小 步骤C、计算第n帧图像的运动复杂度
<formula>formula see original document page 9</formula>
步骤D、计算共N帧的视频序列的运动复杂度 1 W 在本发明的第二优选实施例中，对于通过客观方式获得"运动复杂度"这一参数的 方法进行了定义。对于视频来说，视频中的运动复杂程度不同造成了在评价视频时即使是 在同等条件下传输后也会给人以不同的主观感觉。因此本发明提出的视频复杂程度计算方 法应用于无参考视频质量评价会提高其与主观MOS值之间的相关度。 本发明第三优选实施例是在第一、第二优选实施例的基础上改进而来，上述两个 实施例中块效应参数的计算方法具体为根据解码后的视频的空域，计算每一帧图像的垂 直方向参数和水平方向的块效应参数，并根据垂直方向参数和水平方向的块效应参数计算 每帧图像块效应参数。 其中，在本发明中块效应参数可以分为垂直方向的块效应参数和竖直方向的块效 应参数。 垂直方向的块效应参数包括垂直方向的块间相关和块内相关
块间相关，为相邻两块竖直方向相邻两列像素间的相关Svint CT，
inter
)
块内相关，为每块边界像素和内侧相邻列像素的相关SVi
intra 其中，除水平方向最后一个块之外的每个块的最后一列组成子图像S^除水平方 向第一个块之外的每个块(的第一列组成子图像S。，除水平方向第一个块之外的每个块的 第二列组成子图像S。 上述方法中计算每帧图像的垂直方向的块效应参数方法具体为
水平方向的块效应参数包括水平方向的块间相关以及块内相关
块间相关，为相邻两块竖直方向相邻两列像素间的相关Shint CT，
inter
尸W，7)
9<formula>formula see original document page 10</formula>块内相关，为每块边界像素和内侧相邻列像素的相关Shi
<formula>formula see original document page 10</formula>其中，除水平方向最后一个块之外的每个块的最后一列组成子图像sw，除水平方 个块之外的每个块(的第一列组成子图像s。，除水平方向第一个块之外的每个块的
'lJ组成子图像Sp
其中竖直方向和水平方向的块间相关、块内相关的计算方法为现有技术。 在上述实施例中，计算根据垂直方向的块效应参数和水平方向的块效应参数计算
效应参数的方法具体为
步骤a、计算每帧图像块效应参数
步骤b、计算共n帧的视频序列的块效应参数
<formula>formula see original document page 10</formula>
本发明第四实施例是对第一、第二、第三实施例的优选，即上述三个实施例中的步
暖2可以具体为
步骤21、对于待评价的视频序列D，提取特征参数向量^ ，x = {xn，x,.2,x,.3，;ci4}，其中
xi3， xi4分别为步骤1所得的块效应参数、模糊参数、码率参数、运动复杂度参数； 步骤22、与特征向量相对应的客观M0S值由下式评分函数给出
<formula>formula see original document page 10</formula>
其中5，支持向量SV及每个SV对应的每一个cii事先由支持向量回归机SVR获得， SVR根据大量已知主观MOS值的视频序列训练并测试获得，其过程包含SVR损伤函数
和惩罚参数的设定；
其中第四实施例中的步骤22中 所述K(Xi，Xj)为核函数， 设定为径向基核函数K(Xi，Xj) =exp(-Y 其中，Y = 2—10
所述损伤函数为￡-敏感损伤函数 <formula>formula see original document page 10</formula>
s 其它
其中，e = 23 所述惩罚参数C二24。
其中所述步骤22中涉及的事先获得评价模型的方法具体如下
步骤a、根据大量已知主观M0S值的视频建立序列样本
D = {(Xl， y》，(X2， y2)，…，(Xl， yi)}x G Rn y G R，其中壬="^,2,《3,、4}，其中Xil， xi2， xi3， xi4分别为步骤1所得的块效应参数、模
糊参数、码率参数、运动复杂度参数；yi为每一个视频序列对应的主观MOS值；将D分为训 练集Dl和测试集D2，比例2:1;
步骤b、根据训练集样本序列 Dl = {(Xl， y》，(X2， y2)，…，(Xl， yi)}x G Rn yGR 在条件
Z 1 Z Z
maya*) = may Z O, + 。 - ？ Z S_ a'* )( —"/)《"，x))
一'—' ~ ~ 2 ,'=1 乂=1
or,or
, =1
0^,or,、Cz = l"..，/ /
''=i
下，求解以下函数，即评分模型
/(x) = ^ (or, -)iC(《，x》+5
奶
K(Xi， Xj)为核函数。 、C、K(Xi， Xj)对应的f(x)， 其中e为损伤函数值，C为惩罚参数，《为松弛变j
步骤c、对e 、 C、 K(Xi， Xj)设定不同的形式；将每组e 代到测试集D2中进行pearson相关度测试，选择相关度结果最好的f(x)作为最终应用的 评分函数，具体方法为提取测试集每个样本的特征参数，将特征参数通过f(x)获得客观 MOS值，用客观MOS值和相应的主观MOS值进行相关度计算； 虽然，本发明已通过以上实施例及其附图
而清楚说明，然而在不背离本发明精神 及其实质的情况下，所属技术领域的技术人员当可根据本发明作出各种相应的变化和修 正，但这些相应的变化和修正都应属于本发明的权利要求的保护范围。
1权利要求
一种无参考视频质量评价方法，包括步骤1、提取接收端接收到的视频的块效应参数、模糊参数、码率参数；并根据解码后的视频的时域为该视频设置运动复杂度参数；步骤2、根据块效应参数、模糊参数、码率参数、运动复杂度参数，使用基于支持向量的回归机预先获得的评价模型，输出客观MOS值。
2. 根据权利要求l所述的无参考视频质量评价方法，其特征在于，所述步骤l中为视频 设置运动复杂参数的方法具体为步骤A、计算相邻两帧间像素的变化复杂度，TI(i,j,n) = Y(i,j,n)-Y(i,j,n)其中Y(i,j,n)为第n帧图像位于(i， j)位置的像素灰度值，其中i为图像中的横坐标，j 为图像中的纵坐标；步骤B、计算第n帧图像中的平均变化复杂度；^T7(/，y.，") 77(w、 = ~^-其中A， B为每帧图像的行列的大小步骤C、计算第n帧图像的运动复杂度4 5艺艺(77(/,/，") —77画 ):马,》 =平[^""^F1-]步骤D、计算共N帧的视频序列的运动复杂度
3.根据权利要求1所述的无参考视频质量评价方法，其特征在于，所述块效应参数的计算方法具体为步骤a、根据解码后的视频的空域，计算每一帧图像块效应的垂直方向参数和水平方向 的参数计算竖直方向的块效应参数，包括计算竖直方向块间相关SvintCT和竖直方向块内相关 计算水平方向的块效应参数，包括计算竖直方向块间相关ShintCT和竖直方向块内相关 步骤b、计算每帧图像块效应参数intra intra步骤c、计算共n帧的视频序列的块效应参数<formula>formula see original document page 3</formula>
4.根据权利要求1所述的无参考视频质量评价方法，其特征在于，所述步骤2具体为步骤21、对于待评价的视频序列D，提取特征参数向量^ ^^A，^，&，xJ ，其中Xn，xi2， xi3， xi4分别为步骤1所得的块效应参数、模糊参数、码率参数、运动复杂度参数； 步骤22、与特征向量相对应的客观MOS值由下式评分函数给出<formula>formula see original document page 3</formula>其中^ ，支持向量SV及每个SV对应的每一个a ,预先由支持向量回归机SVR获得，即 由SVR根据大量已知主观MOS值的视频序列训练并测试获得，其过程包含SVR损伤函数和 惩罚参数的设定。
5.根据权利要求1所述的无参考视频质量评价方法，其特征在于，所述步骤22中 所述K(Xi， Xj)为核函数，设定为径向基核函数<formula>formula see original document page 3</formula>; 其中，<formula>formula see original document page 3</formula>所述损伤函数为e-敏感损伤函数<formula>formula see original document page 3</formula>其中，e = 23 所述惩罚参数C二 24。
全文摘要
本发明提出了一种无参考视频质量评价方法，针对现有方法输出的客观MOS值与主观MOS值的相关度不是很高且其预测精度和泛化能力非常弱的问题而发明。本发明提出的方法包括提取接收端接收到的视频的块效应参数、模糊参数、码率参数；并根据解码后的视频的时域为该视频设置运动复杂度参数；根据块效应参数、模糊参数、码率参数、运动复杂度参数，使用基于支持向量SV的回归机SVR事先获得的评价模型，输出客观MOS值；可以获得与主观MOS值较高的相关度。在特征参数选择上，综合了TS流的参数和主要感官损伤参数；评分模型的确定方法采用支持向量回归机的方法。本发明适用于不同分辨率的视频，尤其适用于编码器损伤的视频。
文档编号H04N17/00GK101742353SQ20081022605
公开日2010年6月16日 申请日期2008年11月4日 优先权日2008年11月4日
发明者何宝宏, 叶卫平, 徐贵宝, 杨崑, 栗蔚, 魏凯 申请人:工业和信息化部电信传输研究所;栗蔚;北京师范大学