视频质量客观评价方法、视频质量客观评价设备及程序的制作方法

专利名称：视频质量客观评价方法、视频质量客观评价设备及程序的制作方法
技术领域：
本发明涉及一种视频质量客观评价方法、视频质量客观评价设备以及程序，在对 观看视频的人所体验的质量(主观质量)进行估计时，在不进行主观质量评价实验的情况 下，根据经编码的比特流的信息来客观地导出主观质量，从而检测编码导致的视频质量退 化。
背景技术：
传统上，已经研究了一种使用编码参数信息(如比特率或帧率)和IP分组的首部 信息来对视频质量进行客观评价的技术，以精确而高效地评价视频传送和通信服务的用户 所观看的视频的主观质量(Kazuhisa Yamagishi, Takanori Hayashi, “ Video Quality EstimationModel for IPTV Services " , Technical Report of IEICE, CQ2007-35, pp. 123-126，July. 2007 (参考文献1))。还研究了一种通过将经编码的比特流信息与像素 信号信息进行组合来对视频质量进行客观评价的技术(D. Hands，“ Quality Assurance for IPTV"，ITU-T Workshop on" End-to-End QoE/QoS"，June. 2006 (参考文献 2))。

发明内容
本发明要解决的问题这些现有技术的目标是在精确抑制计算量的同时，构造一种对视频质量进行客观 评价的技术。然而，参考文献1中描述的技术估计采取平均场景的主观质量，不能考虑到根 据场景的主观质量变化。因此不能实现精确的主观质量估计。参考文献2中描述的技术尝试使用经编码的比特流和通过将经编码的比特串作 为子信息添加至经解码的像素信息而获得的信息来估计主观质量。特别地，H. 264需要巨 大计算量来解码至像素信息，因此难以实际执行。解决问题的技术方案为了解决上述问题，本发明包括以下步骤接收使用运动补偿的帧间预测和DCT 来编码的视频的比特串；通过输入所接收的比特串中包括的信息来执行预定操作；以及基 于执行预定操作的步骤的操作结果来执行估计视频的主观质量的操作。更具体地，本发明包括以下步骤从通过当前广泛应用的使用运动补偿的帧间预 测和DCT的编码方法(更具体为H. 264)来编码的比特流中，检测帧/片/运动向量的I/P/ B属性；提取运动向量及其数据量；提取DCT系数及其数据量；提取编码控制信息及其数据 量；提取量化系数/量化参数；以及通过整合这些信息来对视频的主观质量进行客观估计。在本发明中，由于未对比特流进行解码，可以以较小计算量来估计视频质量。此 外，由于使用运动向量和DCT系数(均为能够考虑比特流中场景差异的参数)的内容和数 据量来估计主观质量，可以精确地估计视频的主观质量。根据本发明，在执行预定操作的步骤中，提取比特串中包括的量化信息，并计算量 化信息的统计量(例如H. 264的量化参数的最小值)。在执行估计主观质量的操作的步骤中，估计视频的主观质量的操作是基于量化信息的统计量(例如H. 264的量化参数的最小 值)来执行的。在执行预定操作的步骤中，提取比特串中包括的运动向量的信息，并根据所提取 的运动向量的信息来计算运动向量的统计量(例如向量幅度的峰度)。在执行估计主观质 量的操作的步骤中，估计视频的主观质量的操作是基于量化信息的统计量(例如H. 264的 量化参数的最小值)和运动向量的统计量(例如向量幅度的峰度)来执行的。在执行预定操作的步骤中，提取比特串中包括的I片、P片和B片的信息，并且基于 所提取的I片、P片和B片的信息来计算I片、P片和B片的统计信息。在执行估计主观质 量的操作的步骤中，估计视频的主观质量的操作是基于量化信息的统计量(例如H. 264的 量化参数的最小值)和I片、P片和B片的统计信息来执行的。注意，在执行预定操作的步骤中，可以提取用于预测编码的信息、用于变换编码的 信息以及用于编码控制的信息(均包括在比特串中)，并且可以根据所提取的信息来计算 用于预测编码的比特量、用于变换编码的比特量和用于编码控制的比特量。在这种情况下， 在执行估计主观质量的操作的步骤中，估计视频的主观质量的操作是基于表示执行预定操 作的步骤的操作结果的用于预测编码的比特量、用于变换编码的比特量和用于编码控制的 比特量来执行的。在这种情况下，在执行预定操作的步骤中，提取比特串中包括的运动向量的信息， 并根据所提取的运动向量的信息来计算运动向量的统计量(例如向量幅度的峰度)。在执 行估计主观质量的操作的步骤中，估计视频的主观质量的操作是基于用于预测编码的比特 量、用于变换编码的比特量和用于编码控制的比特量以及运动向量的统计量(例如向量幅 度的峰度)来执行的。在执行预定操作的步骤中，提取比特串中包括的I片、P片和B片的信息，并且基 于所提取的I片、P片和B片的信息来计算I片、P片和B片的统计信息。在执行估计主观 质量的操作的步骤中，估计视频的主观质量的操作是基于用于预测编码的比特量、用于变 换编码的比特量和用于编码控制的比特量以及I片、P片和B片的统计信息来执行的。本发明的效果如上所述，根据本发明，使用了通过使用DCT和运动补偿的编码方法(更具体为 H. 264)来编码的比特串(比特流)的信息。从而可以在抑制计算量的同时，以高精度来对 主观质量进行客观估计。使用本发明来代替主观质量评价方法或者传统的客观质量评价方 法，不需要大量劳动力和时间。因此，可以大规模地实时管理视频传输服务中用户感受到的 主观质量。


图1是用于解释导出所选帧中的量化参数的最小值的方法的视图；图2是用于解释运动向量导出目标帧的位置的视图；图3是示出了运动向量导出目标帧与参考帧之间的位置关系的视图；图4是示出了运动向量导出目标帧与参考帧之间的位置关系的视图；图5是示出了视频质量客观评价设备的配置的框图；图6是示出了根据本发明第一实施例的配置的功能框图7是示出了根据本发明第二实施例的配置的功能框图；图8是示出了根据本发明第三实施例的配置的功能框图；图9是示出了根据本发明第四实施例的配置的功能框图；图10是示出了根据本发明第五实施例的配置的功能框图；图11是示出了根据本发明第六实施例的配置的功能框图；图12是示出了根据本发明第七实施例的配置的功能框图；图13是示出了根据本发明第八实施例的配置的功能框图；图14是示出了根据本发明第九实施例的配置的功能框图；图15是示意了根据本发明第一实施例的处理操作的流程图；图16是示意了根据本发明第二实施例的处理操作的流程图；图17是示意了根据本发明第三实施例的处理操作的流程图；图18是示意了根据本发明第四实施例的处理操作的流程图；图19是示意了根据本发明第五实施例的处理操作的流程图；图20是示意了根据本发明第六实施例的处理操作的流程图；图21是示意了根据本发明第七实施例的处理操作的流程图；图22是示意了根据本发明第八实施例的处理操作的流程图；图23是示意了根据本发明第九实施例的处理操作的流程图；图24A是示出了量化系数/参数的特性的图；图24B是示出了量化系数/参数的特性的图；图25A是示出了与一般质量估计模型的精度比较结果的图；以及图25B是示出了与一般质量估计模型的精度比较结果的图。
具体实施例方式现在参照附图来描述本发明的实施例。图5是示出了根据本发明实施例的视频质量客观评价设备的配置的框图。如图5 所示，视频质量客观评价设备1包括接收单元2、算术单元3、存储介质4和输出单元5。图 5中所示的H. 264编码器6使用以后要描述的H. 264来对输入视频进行编码。经编码的视 频比特串作为传输分组通过传输网络来传输，并被发送给视频质量客观评价设备1。视频质量客观评价设备1的接收单元2接收传输分组，即经编码的比特串。CPU读 出并执行存储介质4中存储的程序，从而实现算术单元3的功能。更具体地，在第一至第八 实施例中，算术单元3使用接收单元2接收的比特串的信息，来执行以后要描述的各种算术 处理，并将算术处理结果输出至输出单元5 (如显示器单元)，从而估计视频的主观质量。(第一实施例)在第一实施例中，如图6所示，提供了量化参数统计量计算单元11和整合单元20。 使用量化参数的信息(由H. 264编码的评价视频V的比特流中存在的量化信息)来估计主 观质量EV。理论上，该方法适用于使用DCT系数和运动补偿的编码方法。接下来将简要描述本实施例的过程。参照图6，经编码的比特流首先输入至量化参 数统计量计算单元11。量化参数统计量计算单元11从比特流中提取量化参数，并根据以下 算法导出量化参数的表示值QPmin。接着，整合单元20根据以下算法，从量化参数的表示值QPfflin估计评价视频V的主观质量EV。该过程由图15的流程图示意。参考文献1中描述了 H. 264比特串的规范(ITU-T H. 264, “ Advanced video coding for generic audiovisualservices" ,Feb. 2000)。提 取根据H. 264规范在宏块中设置的量化参数的信息。如图1所示，首先，使用评价视频V的每一帧中存在的所有宏块(总计m个宏块) 的量化参数值来导出每一帧中的量化参数的表示值QPmin(i)，其中i是帧编号(视频回放从 i = 1开始，在i = n结束)。QPfflin(i)由以下数学式导出[数学式1]
j=mQPmin(I) = min QPij
j=i其中QPij是第i帧中第j个宏块的量化参数(图1)。运算符[数学式2]
j=mft"Aj参照自然数~至々111来输出最小值。取而代之地，可以导出不同于最小值的任意统 计量(例如最大值或平均值)。根据上述处理，导出第i帧中具有最小值的量化参数。当量化参数变小时，将更精 细的量化应用至宏块。因此，该处理导出经过最精细量化的宏块。视频图像越复杂，所需量 化越精细。也就是说，上述处理的目标在于，指定第i帧中具有最复杂图像的宏块。使用如此导出的、每帧的量化参数的表示值QPmin(i)，接下来导出评价视频的所有 量化参数的表示值QPmin。QPmin由以下数学式导出[数学式3]QPmin = 二 QPmin⑴
1 = 1运算符[数学式4]ave Aj j=i参照自然数A1至Am来输出平均值。使用如此导出的QPmin，估计评价视频V的主观质量EV。考虑主观质量EV与H. 264 中的量化参数的表示值QPmin之间存在的非线性，主观质量EV由以下数学式导出[数学式5]
b __ Γ Π EV = -7-Λ + d
_9] 1 + - a) 其中a、b、c和d是通过预先进行主观评价实验和执行回归分析而优化的系数。注 意，可以使用参考文献2 中描述的ACR(ITU-T P. 910，" TELEPHONE TRANSMISSION QUALITY, TELEPHONE INSTALLATIONS, LOCAL LINE NETWORKS “，Sep. 1999)或参考文献 3 中描述的 DSIS 或DSCQS(ITU-R BT. 500, “ Methodology for thesubjective assessment of the quality of television pictures"，2002)作为主观质量EV的尺度。使用每帧的量化参 数QPmin⑴，可以使用QPmin⑴的统计量，如QPmin⑴的平均值QPare,或者最大值QPmax，来代替 QPmin °(第二实施例)在第二实施例中，如图7所示，提供了量化参数统计量计算单元11、运动向量统计 量计算单元12和整合单元20。不仅使用H. 264编码中使用的量化参数，还使用运动向量的 信息来对由H. 264编码的评价视频V的主观质量EV进行客观估计。理论上，该方法适用于 使用DCT系数和运动补偿的编码方法。接下来将简要描述本实施例的过程。参照图7，经编码的比特流首先输入至量化参 数统计量计算单元11和运动向量统计量计算单元12。量化参数统计量计算单元11从比特 流中提取量化参数，并根据以下算法导出量化参数的表示值QPmin。运动向量统计量计算单 元12从比特流中提取运动向量，并根据以下算法导出运动向量的表示值MVkurt。接着，整合 单元20根据以下算法，从量化参数的表示值QPmin和运动向量的表示值MVkurt估计评价视频 V的主观质量EV。该过程由图16的流程图来示意。参考文献1中描述了 H. 264比特串的规范。提 取根据H. 264规范在宏块中设置的量化参数和在宏块/子宏块中设置的运动向量的信息。对于量化参数，使用第一实施例中描述的QPmin(取而代之地，可以使用第一实施例 中描述的量化参数的统计量)来导出EV。参照图2、3和4来描述运动向量的表示值。如图2所示，在H. 264中，针对每个宏 块/子宏块，可以选择两个任意参考帧(不需要总是先前和后续帧)，以用于导出运动向量。 为了将针对每个宏块/子宏块设置的运动向量的幅度归一化，将宏块/子宏块投影至运动 向量导出目标帧的一个先前帧或一个后续帧。具体处理将参照图3和4来进行解释。图3示意了运动向量导出目标帧i中的第j个块MBij的参考帧是帧i之后的第 P+1帧的情况。如图3所示，从运动向量导出目标帧i至参考帧存在运动向量MVijtl通过以 下数学式，将MVu投影至运动向量导出目标帧i之后的第一帧的向量MV' ,j[数学式6]mvId = ^TY图4示意了运动向量导出目标帧i中的第j个块MBij的参考帧是帧i之前的第 q+Ι帧的情况。如图4所示，从运动向量导出目标帧i至参考帧存在运动向量MVijtl通过以 下数学式，将MVu投影至运动向量导出目标帧i之前的第一帧的向量MV' ,j[数学式7]MVij = -- MVij
q + 1通过上述处理，可以将针对运动向量导出目标帧i的每个宏块/子宏块
j (1 ^ j ^ χ)而设置的运动向量投影至第i士 1帧上的向量上，其中χ是帧i中的宏块数目。使用如此导出的、运动向量导出目标帧i上的向量MV' 通过以下等式导出峰度 Kurt (i)作为运动向量导出目标帧i的统计量。可以使用各种统计量(如平均值、最大值、 最小值和方差)来代替峰度Kurt (i)。在以下等式中，[数学式8]
MVij 丨 iv, jv表示向量的幅度。[数学式9]
_0] MW ⑴=(χ -- 3) Σ
j = l使用如此导出的、每帧中的运动向量的表示值MVkurt (i)，导出评价视频的所有运 动向量的表示值MVkmt。MVkurt由以下导出[数学式10]MVkurt = ave MVkurt(I)
i = l运算符[数学式11]
j=mave Ai j=i参照自然数A1至Am来输出平均值，其中η是评价视频V的帧的总数。这里，使用运动向量的峰度来表示运动向量分布，从而对视频中的勻速运动或指 定对象的运动进行量化。可以使用具有类似物理意义的特征量(例如方差或偏度)。使用如此导出的MVkurt和QPmin，估计评价视频V的主观质量EV。EV由以下等式导 出。在以下等式中，MVkurt表示向量的幅度。[数学式12]
「 . EV = -7-τ- + h Iog(MVkurt)1 I 二q^eQPmjn + fm^ + gOPmin^kurt ~ ^+ it^kurt + Iog(QPmin) + ^QPmin + IQPmlnM^urt + m Iog(M^curt) Iog(QPmin) + d其中a，b，c, d，e, f，g，h，i，j，k，1和m是通过预先进行主观评价实验和执行回归 分析而优化的系数。注意，可以使用参考文献2中描述的ACR或参考文献3中描述的DSIS 或DSCQS作为EV的尺度。(第三实施例)在第三实施例中，如图8所示，提供了量化参数统计量计算单元11、帧类型统计量 计算单元13和整合单元20。不仅使用H. 264编码中使用的量化参数，还使用I片、P片和 B片的统计信息来对由H. 264编码的评价视频V的主观质量EV进行客观估计。注意，切换 (switching) I片被视为I片；切换P片被视为P片。理论上，该方法适用于使用DCT系数 和运动补偿的编码方法。接下来将简要描述本实施例的过程。参照图8，经编码的比特流首先输入至量化参 数统计量计算单元11和帧类型统计量计算单元13。量化参数统计量计算单元11从比特 流中提取量化参数，并根据以下算法导出量化参数的表示值QPmin。帧类型统计量计算单元 13从比特流中提取帧类型，并根据以下算法导出帧类型统计量R。接着，整合单元20根据 以下算法，从量化参数的表示值QPmin和帧类型统计量R估计评价视频V的主观质量EV。
MVij - I J MVik
7Σ - -Zmv^
-3
(x - Vf (χ - 2) (χ - 3)
该过程由图17的流程图来示意。参考文献1中描述了 H. 264比特串的规范。提 取根据H. 264规范在宏块中设置的量化参数和针对片设置的I/P/B属性的信息。对于量化参数，使用第一实施例中描述的QPmin(取而代之地，可以使用第一实施例 中描述的量化参数的统计量)来导出EV。对于针对每一片设置的I/P/B属性，通过对评价视频中的I片进行计数来导出S1, 通过对P片进行计数来导出Sp ；通过对B片进行计数来导出SB。通过以下等式导出片计数 与片总数的比值Rsi、Rsp、Rsb和Rspb。基本上，当如P片或B片之类与其他片的差值片的数目 增大时，理论上每片的质量提高。另一方面，当I片的数目增大时，每片的质量退化。这就 是说，每种类型的片相对于片总数的比值与质量紧密相关，因此，引入了这些参数。可以不 使用片，而使用I/P/B属性的帧或块来执行上述处理。[数学式13] Rg = --- /Rc = --- 'Rs- = --- I^sPB ο φ q J.
1 S1 + Sp + SbS1 + Sp + Sb b S1 + Sp + Sb!^1 十 bp 十 t>B对通过使用这些参数来进行主观评价实验和执行回归分析而预先导出的与主观 质量的相关性进行比较，并将与最高主观质量估计精度相对应的参数定义为R。使用如此导出的R和QPmin，估计评价视频V的主观质量EV。EV由以下等式导出[数学式14]
r n EV = -7---T + h Iog(R)1 ι c:<eQPmin + fR + gU ~ a)+ iR + j Iog(QPmin) + kQPmin + IQPminR + m Iog(R) Iog(QPmin) + d其中a，b，c，d，e，f，g，h，i，j，k，1和m是通过预先进行主观评价实验和执行回归 分析而优化的系数。注意，可以使用参考文献2中描述的ACR或参考文献3中描述的DSIS 或DSCQS作为EV的尺度。(第四实施例)在第四实施例中，如图9所示，提供了量化参数统计量计算单元11、运动向量统计 量计算单元12、帧类型统计量计算单元13和整合单元20。不仅使用H. 264编码中使用的 量化参数，还使用运动向量和I片、P片和B片的信息来对由H. 264编码的评价视频V的主 观质量EV进行客观估计。注意，切换I片被视为I片；切换P片被视为P片。接下来将简要描述本实施例的过程。参照图9，经编码的比特流首先输入至量化参 数统计量计算单元11、运动向量统计量计算单元12和帧类型统计量计算单元13。量化参 数统计量计算单元11从比特流中提取量化参数，并根据以下算法导出量化参数的表示值 QPfflin0运动向量统计量计算单元12从比特流中提取运动向量，并根据以下算法导出运动向 量的表示值MVkmt。帧类型统计量计算单元13从比特流中提取帧类型，并根据以下算法导 出帧类型统计量R。接着，整合单元20根据以下算法，从量化参数的表示值QPmin、运动向量 的表示值MVkurt和帧类型统计量R估计评价视频V的主观质量EV。该过程由图18的流程图来示意。参考文献1中描述了 H. 264比特串的规范。提 取根据H. 264规范在宏块中设置的量化参数、针对片设置的I/P/B属性、以及针对宏块/子 宏块设置的运动向量的信息。对于量化参数，使用第一实施例中描述的QPmin(取而代之地，可以使用第一实施例中描述的量化参数的统计量)来导出EV。对于运动向量，使用第二实施例中描述的MVkmt来导出EV。对于I片、P片和B片，使用第三实施例中描述的R。使用所导出的MVkurt、R和QPmin，估计评价视频V的主观质量EV。EV由以下等式导 出。在以下等式中，MVkurt表示向量的幅度。[数学式15]
b
EV = --ν1 I c-gpf eQPmin + fR + g^kurt + hQPminR + IRs1M^turt + jMVkurtQPmln + kQPn>inRMV)curt - a) + 1 Iog(R) + mR + η Iog(QPmin) + OQPmin + ρ Iog(M^curt) + gMVkurt + rQPminR + SRMVkurt
+ tMVkurtQPmin + UQPminRMVkurt + ν Iog(QPmin) log (R) + w Iog(MVkurt) log (R) + X(MVkurt)Iog(QPmin)
+ γ log (QPlnin) log (R) log (MVkurt) + d其中 a，b，c，d，e，f，g，h，i，j，k，1，m，o，p，q，r，s，t，u，v，w，χ 禾口 y 是通过预先 进行主观评价实验和执行回归分析而优化的系数。注意，可以使用参考文献2中描述的ACR 或参考文献3中描述的DSIS或DSCQS作为EV的尺度。(第五实施例)在第五实施例中，如图10所示，提供了比特量总和统计量计算单元14和整合单元 20。使用由H. 264编码的评价视频V的比特流的用于预测编码的比特量、用于变换编码的 比特量和用于编码控制的比特量来估计主观质量EV。理论上，该方法适用于使用DCT系数 和运动补偿的编码方法。接下来将简要描述本实施例的过程。参照图10，经编码的比特流首先输入至比特 量总和统计量计算单元14。比特量总和统计量计算单元14从比特流中提取比特量总和，并 根据以下算法导出比特量总和的表示值Bitmax。接着，整合单元20根据以下算法，从比特量 总和的表示值Bitmax估计评价视频V的主观质量EV。该过程由图19的流程图来示意。上述参考文献1中描述了 H. 264比特串的规范。 导出根据H. 264规范针对宏块设置的用于预测编码的比特量、用于变换编码的比特量和用 于编码控制的比特量的信息。如图19所示，首先，针对评价视频V的所有帧，使用每一帧中存在的所有宏块(总 计m个宏块)的用于预测编码的比特量、用于变换编码的比特量和用于编码控制的比特量 之和，导出每帧中的比特量总和的表示值Bitmax(i)，其中i是帧编号(视频回放从i = 1开 始，在i=n结束)。Bitfflax(i)由以下数学式导出[数学式16]
j=mBitmax(i) = max Bitij
j = l其中Bitij表示第i帧中第j个宏块的比特量之和。运算符[数学式17]
j=mmax Aj j = l参照自然数~至々 1来输出最大值。取而代之地，可以导出不同于最大值的任意统 计量(例如最小值或平均值)。采用上述处理，导出第i帧中具有最大值的比特量总和。当比特量总和变大时，将分配较大比特量的编码处理应用至宏块。因此，该处理导出难以高效处理的宏块的比特量 总禾口。接下来，使用如此导出的、每帧的比特量总和的表示值Bitmax(i)，导出评价视频的 所有比特量总和的表示值Bitmax。Bitfflax由以下数学式导出[数学式18]Bitmax = G^Bitmax⑴
i=l运算符[数学式19]
j=mave Aj j=i参照自然数A1至Am来输出平均值。 使用如此导出的Bitmax，估计评价视频V的主观质量EV。考虑主观质量EV与H. 264 中的比特量总和的表示值Bitmax之间存在的非线性，主观质量EV由以下数学式导出[数学式2O]
b , 「 . EV = -7-τ + d1 + expiBit— - a]其中a、b、C和d是通过预先进行主观评价实验和执行回归分析而优化的系数。注 意，可以使用参考文献2中描述的ACR或参考文献3中描述的DSIS或DSCQS作为EV的尺 度。使用每帧的比特量总和的表示值Bitmax(i)，可以使用Bitmax(i)的统计量，如Bitmax(i) 的平均值Bitave，或者最小值Bitmin，来代替Bitmax。(第六实施例)在第六实施例中，如图11所示，提供了比特量总和统计量计算单元14、运动向量 统计量计算单元12和整合单元20。使用H. 264编码中使用的比特流的用于预测编码的比 特量、用于变换编码的比特量和用于编码控制的比特量来客观估计由H. 264编码的评价视 频V的主观质量EV。理论上，该方法适用于使用DCT系数和运动补偿的编码方法。接下来将简要描述本实施例的过程。参照图11，经编码的比特流首先输入至比特 量总和统计量计算单元14和运动向量统计量计算单元12。比特量总和统计量计算单元14 从比特流中提取比特量总和，并根据以下算法导出比特量总和的表示值Bitmax。运动向量统 计量计算单元12从比特流中提取运动向量，并根据以下算法导出运动向量的表示值MVkurt。 接着，整合单元20根据以下算法，从比特量总和的表示值Bitmax和运动向量的表示值MVkurt 估计评价视频V的主观质量EV。该过程由图20的流程图来示意。参考文献1中描述了 H. 264比特串的规范。提取 根据H. 264规范在宏块/子宏块中设置的量化参数、针对宏块/子宏块设置的比特流的用 于预测编码的比特量、用于变换编码的比特量和用于编码控制的比特量、以及在宏块/子 宏块中设置的运动向量的信息。对于比特流的用于预测编码的比特量、用于变换编码的比特量和用于编码控制的 比特量，使用第五实施例中描述的Bitmax来导出EV。导出运动向量的表示值的操作与参照图2、3和4在第二实施例中描述的操作相 同，不再重复其描述。
使用如此导出的、评价视频的所有运动向量的表示值MVkurt和评价视频的所有比 特量总和的表示值Bitmax，估计评价视频V的主观质量EV。EV由以下等式导出。在以下等 式中， m ν Jiurl- 表示向量的幅度。[数学式21]
EV = -T-7- + h Iog(MVkurt)1 ι cxpfeBitmax + flyt^urt + QBitmaxMVkurt - a) + IMVkurt + j Iog(Bitmax) + kBitmax + IBitmaxMVkurt + m Iog(MVkurt) Iog(Bitmax) + d其中a，b，c，d，e，f，g，h，i，j，k，1和m是通过预先进行主观评价实验和执行回归 分析而优化的系数。注意，可以使用参考文献2中描述的ACR或参考文献3中描述的DSIS 或DSCQS作为EV的尺度。(第七实施例)在第七实施例中，如图12所示，提供了比特量总和统计量计算单元14、帧类型统 计量计算单元I3和整合单元20。不仅使用H. 264编码中使用的比特流的用于预测编码的 比特量、用于变换编码的比特量和用于编码控制的比特量，还使用I片、P片和B片的统计 信息来对由H. 264编码的评价视频V的主观质量EV进行客观估计。注意，切换I片被视为 I片；切换P片被视为P片。理论上，该方法适用于使用DCT系数和运动补偿的编码方法。接下来将简要描述本实施例的过程。参照图12，经编码的比特流首先输入至比特 量总和统计量计算单元14和帧类型统计量计算单元13。比特量总和统计量计算单元14从 比特流中提取比特量总和，并根据以下算法导出比特量总和的表示值Bitmax。帧类型统计量 计算单元13从比特流中提取帧类型，并根据以下算法导出帧类型统计量R。接着，整合单元 20根据以下算法，从比特量总和的表示值Bitmax和帧类型统计量R估计评价视频V的主观 质量EV。该过程由图21的流程图来示意。参考文献1中描述了 H. 264比特串的规范。提 取根据H. 264规范针对宏块设置的用于预测编码的比特量、用于变换编码的比特量和用于 编码控制的比特量以及针对片设置的I/P/B属性的信息。对于比特流的用于预测编码的比特量、用于变换编码的比特量和用于编码控制的 比特量，使用第五实施例中描述的Bitmax来导出EV。对于针对每一片设置的I/P/B属性，通过对评价视频中的I片进行计数来导出S1, 通过对P片进行计数来导出Sp ；通过对B片进行计数来导出SB。导出片计数与片总数的比 值Rsi、Rsp、Rsb和Rspb作为参数。对通过使用这些参数来进行主观评价实验和执行回归分析 而预先导出的与主观质量的相关性进行比较，并将与最高主观质量估计精度相对应的参数 定义为R。使用如此导出的参数R和Bitmax，估计评价视频V的主观质量EV。EV由以下等式 导出[数学式22]
r ， EV = -；-Γ- + h Iog(R)χ + ,^eBitmax + ￡R + gBitmaxR - aj + iR + j Iog(Bitmax) + kBitmax + IBitmaxR + m Iog(R) Iog(Bitmax) + d
其中a，b，c，d，e，f，g，h，i，j，k，1和m是通过预先进行主观评价实验和执行回归分析而优化的系数。注意，可以使用参考文献2中描述的ACR或参考文献3中描述的DSIS 或DSCQS作为EV的尺度。(第八实施例)在第八实施例中，如图13所示，提供了比特量总和统计量计算单元14、运动向量 统计量计算单元12、帧类型统计量计算单元13和整合单元20。不仅使用H. 264编码中使 用的比特流的用于预测编码的比特量、用于变换编码的比特量和用于编码控制的比特量， 还使用运动向量和I片、P片和B片的信息来对由H. 264编码的评价视频V的主观质量EV 进行客观估计。注意，切换I片被视为I片；切换P片被视为P片。理论上，该方法适用于 使用DCT系数和运动补偿的编码方法。接下来将简要描述本实施例的过程。参照图13，经编码的比特流首先输入至比特 量总和统计量计算单元14、运动向量统计量计算单元12和帧类型统计量计算单元13。比 特量总和统计量计算单元14从比特流中提取比特量总和，并根据以下算法导出比特量总 和的表示值Bitmax。运动向量统计量计算单元12从比特流中提取运动向量，并根据以下算 法导出运动向量的表示值MVkmt。帧类型统计量计算单元13从比特流中提取帧类型，并根 据以下算法导出帧类型统计量R。接着，整合单元20根据以下算法，从比特量总和的表示值 Bitmax、运动向量的表示值MVkurt和帧类型统计量R估计评价视频V的主观质量EV。该过程由图22的流程图来示意。参考文献1中描述了 H. 264比特串的规范。提 取根据H. 264规范针对宏块设置的比特流的用于预测编码的比特量、用于变换编码的比特 量和用于编码控制的比特量；针对片设置的I/P/B属性；以及针对宏块/子宏块设置的运 动向量的信息。对于比特流的用于预测编码的比特量、用于变换编码的比特量和用于编码控制的 比特量，使用第五实施例中描述的Bitmax来导出EV。对于运动向量，使用第二实施例中描述的MVkmt来导出EV。对于I片、P片和B片，使用第三实施例中描述的R。使用如此导出的MVkmt、R和Bitmax，估计评价视频V的主观质量EV。EV由以下等 式导出。在以下等式中，MVkurt表示向量的幅度。[数学式23]
b
EV = -；---χ + exJ eBitmax + fR + gM^urt + hBitmaxR + iRSiMVkurt + jM^turtBitmax + kBitmaxRM^urt — a) + 1 Iog(R) + mR + η Iog(Bitmax) + OBitmax + ρ Iog(MVkurt) + QMVjturt + rBitmaxR + SRMVjcurt + tM^curtBitmax + UBitmaxRM^urt + ν Iog(Bitmax)Iog(R) + W Iog(MVkurt) log (R) + X(MVjturt)Iog(Bitmax) + y log (Bitmax) log (R) log (MVkurt) + d其中 a，b，c，d，e，f，g，h，i，j，k，1，m，o，p，q，r，s，t，u，v，w，χ 禾口 y 是通过预先 进行主观评价实验和执行回归分析而优化的系数。注意，可以使用参考文献2中描述的ACR 或参考文献3中描述的DSIS或DSCQS作为EV的尺度。(第九实施例)在第九实施例中，如图14所示，提供了 I片/P片/B片比特量总和统计量计算单 元15、I片/P片/B片量化信息统计量计算单元16和主观质量估计单元17。不仅使用在 H. 264编码中使用的比特流的I片、P片和B片的用于预测编码的比特量、用于变换编码的比特量和用于编码控制的比特量，还使用I片、P片和B片的量化参数(量化信息)来对由 H. 264编码的评价视频V的主观质量EV进行客观估计。注意，切换I片被视为I片；切换P 片被视为P片。接下来将简要描述本实施例的过程。参照图14，经编码的比特流首先输入至I片 /P片/B片比特量总和统计量计算单元15。计算单元15分别与运动向量、量化系数或编码 控制信息相对应地导出I片、P片和B片的比特量。接下来，I片/P片/B片量化信息统计 量计算单元16提取I片、P片和B片中的量化信息，并根据以下算法来导出I片、P片和B 片的量化信息的统计量QPmin(I)、QPmin(P)和QPmin(B)。然后，主观质量估计单元17根据以下算法，使用统计量QPmin(I)、QPmin(P)和 QPmin(B)等来估计评价视频V的主观质量EV。该过程由图23的流程图来示意。参考文献 1中描述了 H. 264比特串的规范。提取根据H. 264规范针对宏块设置的比特流的用于预测 编码的比特量、用于变换编码的比特量和用于编码控制的比特量和针对片设置的I/P/B属 性的信息。对于I片、P片和B片的用于预测编码的比特量、用于变换编码的比特量和用于 编码控制的比特量，将I片的用于预测编码的比特量、用于变换编码的比特量和用于编码 控制的比特量分别定义为Bitpred (I)、Bitres (I)和Bit。thCT (I)。将P片的用于预测编码的 比特量、用于变换编码的比特量和用于编码控制的比特量分别定义为Bitpral(P)、BitreJP) 和Bit。thCT(P)。将用于B片的用于预测编码的比特量、用于变换编码的比特量和用于编码 控制的比特量分别定义为Bitpral(B)、Bitres(B)和Bit。thCT(B)。每个比特量可以是评价视 频的所有片的比特量，或者是指定时间内存在的片的比特量。此外，定义了值Bitpral(BP)、 Bitres(BP)和Bit。thCT(BP)，并且上述值由以下等式导出Bitpred(BP) =Bitpred (B)+Bitpred (P)Bitres(BP) = Bitres (B)+Bitres (P)Bitother(BP) = Bittrther ⑶+Bit。ther (P)使用仅对I片应用第一实施例中描述的导出每个片的QPmin的过程而获得的 QPmin(I)、仅对P片应用该过程而获得的QPmin(P)和仅对B片应用该过程而获得的QPmin⑶ 作为量化信息。更具体地，针对评价视频V的所有片确定I/P/B属性。使用每个片中存在的所有 宏块(总计m个宏块)的量化信息的值，通过以下等式导出每个片的量化信息的表示值 QPmin(i)，其中i是片编号(视频回放从i = 1开始，在i =n结束)。[数学式24]
j = mQPmin(I) = min QPij其中QPij是第i片中第j个宏块的量化参数(图1)。运算符[数学式邪]
j = mmin Aj j=i参照自然数A1至Am来输出最小值。根据上述处理，导出了第i片中具有最小值的量化参数。当量化参数变小时，将更 精细的量化应用至宏块。因此，该处理导出经过最精细量化的宏块。视频图像越复杂，所需量化越精细。这就是说，上述处理的目标在于指定第i片中具有最复杂图像的宏块。注意，在以下处理中，可以使用另一参数，如平均值QPave(i)、最小值或最大值来代 替QPmin(i)。QPave(i)由以下数学式导出[数学式沈]
j=mQPave(i) = ave QPij
j=i运算符[数学式27]
j = mave Aj j=i参照自然数A1至Am来输出平均值。使用如此导出的、每片的量化信息的表示值QPmin(i)，接下来导出评价视频的所有 量化信息的表示值QPmin。QPmin由以下数学式导出[数学式28] QPrain = ave QPmin⑴ 1-1通过将参考帧导出处理应用至I/P/B属性而获得的值分别定义为QPmin(I)、 QPmin(P)和QPmin(B)。此外，定义值QPmin(BP),并且QPmin (BP)由以下导出QPmin(BP) = (QPmin (B)+QPmin ⑵)/2接下来，估计评价视频V的主观质量EV。考虑I、P和B片的比特量、量化信息的 表示值与H. 264中的主观质量EV之间存在非线性，主观质量EV由以下数学式导出EV = a + -,^-- χ expf"—-⑴一叫
1 + exp(- c χ (QPmin ⑴-d》 ％fJ+ —— _§-- x expf"“ j))
1 + exp(- h χ (QPrain(BP) - i)) 、kJ+ - ~ -. + ι, χ expi- —res⑴ _ e))
LJ 1 + exp(- c X (QPmin⑴-d))iIf J+ - _2-- + ο x expf-- j))
1 + exp(- h χ (QPmin(BP) - i))%kJ+- _^-. χ expf- (Bit一工> _ e))
1 + exp(- c χ (QPmin ⑴-d
、fJx ——]_i-. χ axpf- (Bit-_ _。
1 + exp(- h χ (QPrain(BP) - i)) tIkJ
^a,b,c,d,e,f,g,h,i,j,k,l,m,n,o:系数 、 QPmin(I):神贞的量化参数的表示值 QPmin(BP) 贞的量化参数的表示值 Bitres (I) /巾贞的用于变换编码的比特量 、Bitres (BP):万巧贞的用于变换编码的比特量，其中a，b，c，d，e，f，g，h，i，j，k，1，m，η和ο是通过预先进行主观评价实验和执 行回归分析而优化的系数。注意，可以使用参考文献2中描述的ACR或参考文献3中描述的DSIS或DSCQS作为EV的尺度。可以使用Bitpred(I)和Bitpred(BP)、以下定义的比特量比值Rres(I)和Rres(BP)、或 Bitother(I)和Bitother(BP)来代替BitreJDand Bitres(BP)0可以根据情况的组合来应用和 叠加各种统计运算，如求和、平均和方差，从而导出主观质量。在上述等式中，可以不基于指 数函数，而基于对数函数、多项式或其倒数来考虑非线性。[数学式30]
「02311 Rres(I)--Bltres(I)-
L JSBitres(I) + Bitres(P) + Bitres(B)
r ，, 、Bitres(P) + Bitres(B)
「02321 Rres ΒΡ = -^mmlj--—-
LUZ 乂」resBitres(I) + Bitres(P) + Bitres(B)在本实施例中，针对每一片来执行操作。然而，操作的单元可以改变为宏块、帧、 GoP、整个视频等等。注意，如上所述，主观质量EV与量化参数的表示值之间具有非线性关系。图24A和 24B示出了这种关系。图24A示出了在QPmin较小的区域中主观质量饱和，在QPmin中等的区 域中急剧改变，并且在QPmin较大的区域中饱和的状态。图24B从上到下依次示出了主观质 量与场景1、2、3和4的比特率之间的关系，指出主观质量根据编码的难度等级而变化。考 虑主观质量EV与量化参数的表示值之间存在的特性，可以执行更精确的质量估计。作为参 考，图25A和25B分别示出了通过应用作为一般统计量的平均值和标准差来估计主观质量 而获得的估计结果，以及通过使用本发明的模型来估计主观质量而获得的估计结果。在图 25A和25B中，横坐标表示主观质量评价实验获取的直观质量，纵坐标表示通过估计主观质 量而获得的客观质量。如图25A和25B所示，在使用平均值和标准差的一般模型中，由于图24A和24B示 出的饱和特性未得到充分考虑，因此估计精度退化。然而在本发明中，可以正确考虑所述特 性，从而提高估计精度。
权利要求
一种对视频的主观质量进行评价的视频质量客观评价方法，包括以下步骤接收使用运动补偿的帧间预测和DCT或如小波变换的另一正交变换编码的视频的比特串；通过输入所接收的比特串中包括的信息来执行预定操作；以及基于执行预定操作的步骤的操作结果来执行估计视频的主观质量的操作。
2.根据权利要求1所述的视频质量客观评价方法，其中在执行预定操作的步骤中，提取比特串中包括的量化信息，并计算量化信息的统计量；以及在执行估计主观质量的操作的步骤中，估计视频的主观质量的操作是基于量化信息的 统计量来执行的。
3.根据权利要求2所述的视频质量客观评价方法，其中在执行预定操作的步骤中，提取比特串中包括的运动向量的信息，并根据所提取的运 动向量的信息来计算运动向量的统计量；以及在执行估计主观质量的操作的步骤中，估计视频的主观质量的操作是基于量化信息的 统计量和运动向量的统计量来执行的。
4.根据权利要求2所述的视频质量客观评价方法，其中在执行预定操作的步骤中，提取比特串中包括的运动补偿的帧间预测的I (帧内编码) 帧、片或块、P (前向预测)帧、片或块、以及B (双向预测)帧、片或块的信息；并且基于所提 取的1(帧内编码)帧、片或块、P(前向预测)帧、片或块、以及B(双向预测)帧、片或块的 信息来计算1(帧内编码)帧、片或块、P(前向预测)帧、片或块、以及B(双向预测)帧、片 或块的统计信息；以及在执行估计主观质量的操作的步骤中，估计视频的主观质量的操作是基于量化信息的 统计量和1(帧内编码)帧、片或块、P (前向预测)帧、片或块、以及B (双向预测)帧、片或 块的统计信息来执行的。
5.根据权利要求1所述的视频质量客观评价方法，其中在执行预定操作的步骤中，提取比特串中包括的用于预测编码的信息、用于变换编码 的信息以及用于编码控制的信息，并且根据所提取的信息来计算用于预测编码的比特量、 用于变换编码的比特量和用于编码控制的比特量；以及在执行估计主观质量的操作的步骤中，估计视频的主观质量的操作是基于用于预测编 码的比特量、用于变换编码的比特量和用于编码控制的比特量来执行的，所述用于预测编 码的比特量、用于变换编码的比特量和用于编码控制的比特量表示执行预定操作的步骤的 操作结果。
6.根据权利要求5所述的视频质量客观评价方法，其中在执行预定操作的步骤中，提取比特串中包括的运动向量的信息，并根据所提取的运 动向量的信息来计算运动向量的统计量；以及在执行估计主观质量的操作的步骤中，估计视频的主观质量的操作是基于用于预测编 码的比特量、用于变换编码的比特量、用于编码控制的比特量以及运动向量的统计量来执 行的。
7.根据权利要求5所述的视频质量客观评价方法，其中在执行预定操作的步骤中，提取比特串中包括的1(帧内编码)帧、片或块、P(前向预 测)帧、片或块、以及B(双向预测)帧、片或块的信息，并且基于所提取的1(帧内编码)帧、 片或块、P(前向预测)帧、片或块、以及B(双向预测)帧、片或块的信息来计算1(帧内编 码)帧、片或块、P (前向预测)帧、片或块、以及B (双向预测)帧、片或块的统计信息；以及 在执行估计主观质量的操作的步骤中，估计视频的主观质量的操作是基于用于预测编 码的比特量、用于变换编码的比特量、用于编码控制的比特量以及1(帧内编码)帧、片或 块、P(前向预测)帧、片或块、以及B(双向预测)帧、片或块的统计信息来执行的。
8.根据权利要求1所述的视频质量客观评价方法，其中在执行预定操作的步骤中，提取比特串中包括的I片、P片和B片的比特量和I片、P片 和B片的量化信息的统计量；以及在执行估计主观质量的操作的步骤中，估计视频的主观质量的操作是基于比特量和量 化信息来执行的。
9.根据权利要求8所述的视频质量客观评价方法，其中，所述比特量包括根据通过提 取比特串中包括的用于预测编码的信息、用于变换编码的信息和用于编码控制的信息而获 得的信息计算得到的用于预测编码的比特量、用于变换编码的比特量和用于编码控制的另一比特量。
10.根据权利要求8所述的视频质量客观评价方法，其中，所述比特量包括用于对P 片和B片进行预测编码的比特量之和、用于变换编码的比特量之和、以及用于编码控制的 其他比特量之和。
11.根据权利要求8所述的视频质量客观评价方法，其中，所述量化信息是P片和B片 的比特串中包括的量化信息的平均值和通过加法、乘法或指数/对数运算而获得的统计量之一。
12.根据权利要求1至11中任一项所述的视频质量客观评价方法，其中，使用I宏块 和I帧代替I片、使用P宏块和P帧代替P片、并使用B宏块和B帧代替B片，估计视频的主观质量。
13.根据权利要求1至11中任一项所述的视频质量客观评价方法，其中，I模式不使用 运动补偿，P模式执行来自一个参考帧的运动补偿，B模式执行来自至少两个参考帧的运动 补偿。
14.一种对视频的主观质量进行评价的视频质量客观评价设备，包括接收单元，接收使用运动补偿的帧间预测和DCT或如小波变换的另一正交变换编码的 视频的比特串；第一操作单元，通过输入所接收的比特串中包括的信息来执行预定操作；以及 第二操作单元，基于所述第一操作单元的操作结果来执行估计视频的主观质量的操作。
15.一种程序，使计算机执行以下处理接收处理，接收使用运动补偿的帧间预测和DCT或如小波变换的另一正交变换编码的 视频的比特串；算术处理，通过输入基于接收处理所接收的比特串中包括的信息来执行预定操作；以及主观质量估计处理，基于算术处理的操作结果来执行估计视频的主观质量的操作。
全文摘要
本发明提供了一种用于对视频质量进行客观评价的方法、设备和程序，其中，接收使用运动补偿的帧间预测和离散余弦变换(更具体地使用H.264来编码)的视频的比特串；提取所接收的比特串中包括的量化参数；计算其特性；以及基于量化参数的最小值来估计视频的主观质量。
文档编号H04N7/26GK101978700SQ20098010921
公开日2011年2月16日 申请日期2009年3月23日 优先权日2008年3月21日
发明者冈本淳, 山岸和久, 渡边敬志郎 申请人:日本电信电话株式会社