视频质量测量方法及装置制造方法
【专利摘要】视频质量测量的精确度和效率是要解决的主要问题。根据本发明，一种用于精确预测视频质量的方法(506)使用量化参数QP的有理函数，它通过取决于内容不可预测性CU的校正函数校正。示例性地，校正函数是CU的幂函数。QP和CU都可以从视频基本流计算(511)得到，而不需要对视频完全解码。这保证了较高的效率。
【专利说明】视频质量测量方法及装置
【技术领域】
[0001]本发明涉及视频质量测量，尤其涉及不参考原始未压缩视频的副本评估压缩视频。
【背景技术】
[0002]在IPTV(互联网协议电视)中，视频节目在其生命周期期间有不同的格式阶段。视频编码器将视频节目压缩为比特流，也称为基本流(ES)。ES被进一步打包成传输流(TS)，最后在IP信道上传送。视频质量可以使用通过访问传输流、基本流或解码视频获得的数据来测量。在三种类型的测量中，使用传输流通常是最快的，但最不精确，因为它具有最少量的可用视频数据；使用解码视频往往是精确的，但是最慢，因为视频解码在计算上代价高昂；使用基本流能够实现精确度和计算复杂度之间的折衷。目前，正在研究特别是基于基本流的视频质量测量。
[0003]视频压缩通常采用量化技术。量化是通过限制信号值的精确度的有损压缩技术。众所周知的是，量化是伪像可见性的显著因素，量化参数(QP)是视频质量的强大预测器。在文献中已经提供了关于QP的视频质量的各种函数，如线性函数[1，2]和指数函数[3]。但是，它们对于相对较大和/或相对较小的QP水平是不够精确的，因此其结果对于低带宽或高保真度的应用来说是不能令人满意的。
[0004]内容的复杂度是视频质量测量(VQM)的另一个关键因素。复杂视频中的视觉伪像更可能被人眼容忍，并因此显示出更好的质量。因此，相对于只使用QP，内容复杂度结合QP可以提高质量测量的精确度。
[0005]传统上，如在[4]中，内容的复杂度可以量化为方差、梯度或像素值的边缘滤波器响应，或它们的组合。传统的方法至少具有以下缺点。
[0006]首先，这些特征不是与人类视觉感知紧密关联的。具有较高内容复杂度的视频可能不仅有丰富的纹理和不规则的运动，还有许多边缘和/或规则运动。对于人眼，更可能容忍在纹理和不规则(即，随机)运动区域中的视觉伪像，而在边缘或规则(即，恒定)运动区域中的视觉伪像通常更引人注意。第二，直到像素在完全解码之后恢复，几乎不能计算这些特征。因此，传统的复杂度测量在计算上是代价高昂的，因为它需要对视频完全解码。
【发明内容】
[0007]本发明至少解决了提高视频质量测量的精确度和/或效率的问题。根据本发明，一种用于精确预测视频质量的方法使用通过依赖于内容的不可预测性(CU)的校正函数校正的QP的有理函数。在各种实施例中，校正函数是⑶的幂函数。QP和⑶都可以在不对视频完全解码的情况下从视频基本流计算得到。有利地，这可以保证高效率。
[0008]本发明的第一个优点是视频质量预测的高精确度，这通过符合ITU-T SG12的主观实验[5]以及统计验证确认。精确度由至少两个特征保证。
[0009]一是计算平均QP和使用平均QP的有理函数来预测由于量化造成的基本减损(basic impairment)。该函数可以捕获相对较大和相对较小QP水平时的质量饱和的影响，从而提供足够精确的结果。另一特征是使用CU的幂函数来校正基于QP的预测，这进一步提高了预测精确度。
[0010]具体地，CU作为视频特征，可以从视频信号中的规则变化以及“无变化”区分出不规则变化。因此，CU在捕获内容特征对感知质量的影响上更强大。本发明还提供了一种从视频基本流估计CU的快速算法，这导致得到第二个优点。
[0011]第二个优点是，该方法只需要视频的基本流，而不需要完全解码的视频，因此在计算上比已知的方法代价更低。
[0012]由于这样的精确度和较低的计算成本，因此VQM可以有效地用在例如用户终端、机顶盒、家庭网关、路由器或视频流传输服务器中，以监测视频质量，并提供反馈用于服务规划。
[0013]本发明在一个方面涉及一种用于估计包含宏块预测残差的编码视频流的视频质量的方法，其中该方法包括以下步骤:对于包括多个帧的视频序列，根据基本质量得分Qb乘以校正因子Qc计算整体质量得分Q，其中基本质量得分Qb从视频序列的帧的平均量化参数fP得到，并且其中校正因子Qc从视频序列的宏块预测残差内的平均像素方差得到。
[0014]在一个方面，本发明涉及一种用于估计包含宏块预测残差的编码视频流的视频质量的装置，该装置包括处理元件，用于对于包括多个帧的视频序列，根据基本质量得分Qb乘以校正因子Qc计算整体质量得分Q，其中基本质量得分Qb从视频序列的帧的平均量化参数值得到，并且其中校正因子Qc从视频序列的宏块预测残差内的平均像素方差得到。
[0015]在各种实施例 中，该装置包括以下的一个或多个:
[0016]量化参数解析器，用于检测宏块(MB)的量化参数并求它们的平均值，其中量化参数解析器提供MB的量化参数和所述平均量化参数值；
[0017]DCT系数解析器，用于检测和提取MB的DCT系数；
[0018]内容不可预测性计算器，用于根据MB的DCT系数和MB的量化参数计算表示局部内容不可预测性的第一值CU1和表示全局内容不可预测性的第二值cug，其中第二值通过求第一值的平均值计算；
[0019]解包器，用于对传输流进行解包(或解分组)处理，其中得到基本流(ES);以及
[0020]选择性熵解码器，用于对ES的至少一部分进行解码。
[0021]在一个方面，本发明涉及具有存储于其上的使得计算机执行包括以下步骤的方法的可执行指令的计算机可读介质:对于包括多个帧的视频序列，根据基本质量得分Qb乘以校正因子Qc计算整体质量得分Q，其中基本质量得分Qb从视频序列的帧的平均量化参数
I?得到，并且其中校正因子Qc从视频序列的宏块预测残差内的平均像素方差得到。
[0022]本发明的有利实施例在从属权利要求、下面的描述和附图中公开。
【专利附图】
【附图说明】
[0023]本发明的示例性实施例参照附图描述，附图中
[0024]图1示出了视频质量测量工具的结构；
[0025]图2-4示出了使用测量函数拟合主观质量的不同视图；[0026]图5示出了使用不同的QP函数拟合基本减损；
[0027]图6示出了根据本发明的，尤其在较大QP水平的改进的质量预测；以及
[0028]图7示出了视频质量测量的流程图。
【具体实施方式】
[0029]在本发明的一个实施例中，图1示出了视频传送系统100内的视频质量测量(VQM)工具106的结构。视频节目的典型格式阶段101，102，103如下:视频编码器104将视频节目101压缩为比特流，也称为基本流(ES)(图1中示例性地只在视频编码器104内，因此未示出)。ES被进一步打包成传输流(TS) 103，然后在传送信道，例如IP信道中传送。VQM工具106原则上对视频TS 103进行解包处理，由此获得视频ES，然后解析QP并求它的平均值，并从获得的视频ES获得内容不可预测性CU值，最后从QP和CU值预测视频质量Q。更多细节在下面给出。有利地，这一过程快速进行，并且不需要对视频完全解码。
[0030]视频质量使用是两个子函数相乘的函数预测。第一个子函数的值确定由于量化造成的基本减损，即基本质量得分。在一个实施例中，第一子函数是QP的有理函数。具体地，它的分母是关于视频的平均QP的多项式，而它的分子是分母减小常数(例如I)。第二子函数是校正因子，它的值量化内容不可预测性(CU)对感知质量的影响。优选地，如下面进一步说明地，第二子函数是关于视频CU的幂函数。
[0031]⑶是与视频相关联的值，有利地可以如下所述从视频ES计算得到，特别是通过使用视频的量化DCT系数计算得到。视频的CU反映内容的内在特征，即提供表征内容特性的值。因此，它可以用于确定内容对感知的视频质量的影响。
[0032]在一个实施例中，QP和量化DCT系数在选择性熵解码模块108中进行选择性熵解码之后再次获得。其中将包括完整的游程长度(run-length)解码、去量化、逆离散余弦变换(IDCT)和残差补偿的对视频的完全解码一般是不需要的。
[0033]本发明的视频质量预测是“无参考”NR(或非侵入式)类型的。也就是说，它不需要访问原始未压缩视频的副本。另外，本发明的质量预测没有必要对视频完全解码。在一个实施例中，预测使用可以直接从视频基本流中提取的数据。
[0034]在下文中，对图1中示出的视频质量测量(VQM)工具106的工作流程进行详细说明。
[0035]VQM工具106的输入可以是传输流103，传输流103可以通过视频编码器和打包器104从视频节目101生成。视频编码器和打包器104可以但不必须是本发明的一部分。在另一个实施例中，包括编码的视频节目101的视频ES 102直接输入VQM工具106。VQM工具106的输出115是与输入视频相关联的预测的质量得分Q。
[0036]在工具106内，在能够处理传输流的实施例中，第一解包器107解析接收到的传输流103以得到视频基本流102。其次，包括平均QP 112和全局⑶113的视频特征通过在选择性熵解码器108中进行选择性熵解码、在QP解析器109和DCT系数解析器110中解析选择性熵解码的数据，以及在⑶计算器111中计算全局⑶得到，其中QP解析器109提供平均QP 112。最后，质量预测器模块114根据视频特征经由预定的测量函数确定质量得分Q。
[0037]具体地，视频特征从选择性熵解码器108的输出通过两个同时执行的功能块或线程获得。在一个线程中，QP解析器109拾取(S卩，提取)每个MB的QP，并将QP提供给⑶计算器111。此外，QP解析器109求多个MB的QP的平均值，并输出得到的平均值112。在另一线程，首先，DCT系数解析器110拾取(即，提取)每个MB的DCT系数，然后CU计算器111根据来自DCT系数解析器110的DCT系数和来自QP解析器109的对应的QP计算局部⑶。最后，⑶计算器111求局部⑶的平均值，并输出通过求所有局部⑶的平均值获得的全局CU113。
[0038]在下文中，对测量函数的整体视图进行说明。
[0039]测量函数根据描述对于至少两个视频特征(包括平均QPl 12和全局⑶113)的视频质量的数学模型在质量估计模块114中工作。在一个实施例中，测量函数定义为:
[0040]Q = QbXQc(I)
[0041]其中Qb为由于量化得到的基本质量水平，Qc是根据视频的内容不可预测性校正Qb的项，Q是最终的预测质量。
[0042]在实施例中，由于量化得到的基本质量水平Qb和用于根据CU校正基本质量水平Qb的校正因子Qc根据以下计算
【权利要求】
1.一种用于估计编码视频流的视频质量的方法，所述编码视频流包含宏块预测残差，该方法包括以下步骤: 对于包含多个帧的视频序列(VS)，根据基本质量得分Qb乘以校正因子Qc计算(714)整体质量得分Q， 其中基本质量得分Qb从视频序列的帧的平均量化参数—得到，并且其中校正因子Qc从视频序列的宏块预测残差内的平均像素方差得到。
2.如权利要求1所述的方法，进一步包括执行QP解析(509)和求MB内QP的平均值以确定平均QP的步骤。
3.如权利要求1-2任一项所述的方法，进一步包括以下步骤:根据宏块的DCT系数和量化参数计算表示局部内容不可预测性的第一值CU1和表示全局内容不可预测性的第二值cug，其中第二值通过求第一值的平均值计算。
4.如权利要求1-3任一项所述的方法，进一步包括以下步骤: 根据xb/(l+xb)形式的线性函数确定所述基本质量得分Qb，其中Xb取决于所述平均量化参数I?;以及 根据b2.xc+b3形式的有理函数确定所述校正因子Qc，其中b2和b3是常数，并且χ。是预测残差内所述平均像素方差的幂函数。
5.如权利要求4所述的方法，对于所述基本质量得分Qb，xb= a2.(QP_a3)a1，其中&1、a2、a3是正的有理参数。
6.如权利要求5所述的方法，其中正的参数在以下范围内:
2 ≤ B1 ≤ 6
10-5 ≤ a2 ≤ 10-4
30 ≤ a3 ≤ 75。
7.如权利要求4、5或6所述的方法，对于所述校正因子Qc，xc=(⑶g)b1，其中bpbyb3是正的参数。
8.如权利要求4或7所述的方法，其中参数在以下范围内:
0.1 ≤ bi ≤ 0.3 0.1≤b2≤0.3以及
I ≤ b3 ≤ 2ο
9.如权利要求1-8中任何一项所述的方法，其中所述方法工作在传输流级，进一步包括以下步骤: 解析传输流(103)并对其进行解包处理(107)，其中得到基本流(102)，以及 通过选择性熵解码器(108)解码基本流(102)的至少一部分以得到所述量化参数和像素值。
10.一种用于估计编码视频流的视频质量的装置(106)，所述编码视频流包含宏块预测残差，所述装置包括: 处理元件(114)，用于对于包括多个帧的视频序列，根据基本质量得分Qb乘以校正因子Qc计算整体质量得分Q， 其中基本质量得分Qb从视频序列的帧的平均量化参数值(112)得到，并且其中校正因子Qc从视频序列的宏块预测残差内的平均像素方差(113)得到。
11.如权利要求10所述的装置，进一步包括量化参数解析器(109)，用于检测宏块的量化参数并求量化参数的平均值，量化参数解析器提供宏块的量化参数和所述平均量化参数值。
12.如权利要求10或11所述的装置，进一步包括DCT系数解析器(110)，用于检测和提取宏块的DCT系数。
13.如权利要求10-12中的一项所述的装置，进一步包括内容不可预测性计算器(111)，用于根据宏块的DCT系数和宏块的量化参数计算表示局部内容不可预测性的第一值CUl和表示全局内容不可预测性的第二值CUg，其中第二值通过求第一值的平均值计算。
14.如权利要求10-13中的一项所述的装置，其中所述装置工作在传输流级，进一步包括解包器(107)，用于对传输流(103)进行解包处理，其中得到基本流(102);以及选择性熵解码器(108)，用于对基本流的至少一部分进行解码。
15.如权利要求10-14中的一项所述的装置，其中 根据xb/(l+xb)形式的线性函数确定所述基本质量得分Qb，其中Xb取决于所述平均量化参数P;以及 根据b2.xc+b3形式的有理函数确定所述校正因子Qc，其中b2和b3是常数，Xc是预测残差内所述平均像素方差 的幂函数。
【文档编号】H04N19/89GK103999461SQ201180075448
【公开日】2014年8月20日 申请日期:2011年12月15日 优先权日:2011年12月15日
【发明者】张帆, 廖宁, 谢凯, 陈志波 申请人:汤姆逊许可公司