用于测量闪烁的方法

专利名称：用于测量闪烁的方法
技术领域：
本发明涉及用于测量闪烁(flicker)的方法，并且更具体地涉及一种可以准确地 测量每帧闪烁伪像(flickering artifact)的方法。
背景技术：
帧间闪烁是经编码的视频信号中，尤其是以低或中比特率被编码的周期性I帧中 常见的伪像，其大大降低了经编码的视频的整体感觉质量。如何准确地测量闪烁伪像是实 践中的一个重要问题。现有的闪烁度量一般是粗略的解决方案，只适用于测量整个序列的I 帧闪烁以提供对描述整个序列的I帧闪烁的单测量，而在测量每帧闪烁伪像时则不能适用 (即，它们不能提供针对给定帧的单测量)帧间闪烁也是视频编码中常见的伪像。虽然在原始视频信号中它们看起来一样， 但是在经编码的/重构(reconstructed)的视频中，两个连续的视频帧中的相同静态背景 区域可能看起来不同。这是因为这些区域利用不同的编码参数通过不同的编码处理而被编 码，例如，不同的宏块(MB)、量化参数(QP)和/或不同的MB编码模式(例如，帧间模式或帧 内模式)。因此，当播放经编码的视频时，可能感觉到闪烁。由于众所周知的人类视觉系统(HVS)的运动掩蔽作用，在视频帧的静态或低运动 区域比在中或高运动区域中更易感觉到闪烁。另外，在低或中比特率编码中和/或在经编 码的序列中的周期性I帧处，闪烁更显著。在前帧使用帧间预测被编码为P帧，而当前帧对 于所有MB使用帧内预测被编码为I帧。由于有限的比特率，所以粗量化常常被使用。因此， 对于在两个帧中被比较的相应静态MB，可能产生大重构差，并且因此，可能产生严重的I帧 闪烁或脉冲伪像。闪烁伪像，尤其是I帧闪烁，大大损害经编码的视频的感觉质量。如何准确地测量闪烁伪像是实践中的一个重要问题。用于测量闪烁的好的方法不 仅能够证明对评价各种去闪烁解决方案的性能有价值，而且，可能更重要的是，这样的方法 可以被用来开发各种用于更高效地减少闪烁的编码器优化技术。例如，速率-失真(RD)优 化是在实践中通常被用来在多种编码选项(例如，宏块(MB)、运动矢量和编码模式，等等) 中做出编码决定的架构。传统的RD优化只考虑了重构视频和原始视频之间的失真。为了 减少闪烁并因此提高感觉视频编码质量，可以进一步在RD优化中引入闪烁失真。一种广泛被用来测量闪烁的方法是所谓的S度量，其测量整个经编码的视频序列 的全部I帧闪烁伪像。其被定义为如下。 这里，所考虑的帧涉及序列中的所有无场景变化(non-scene-change) I帧。也就是，帧η表示无场景变化I帧，并且帧η-1是在帧η之前播放的帧。注意，场景变化I帧被
排除在外，因为闪烁一般只对于相同场景中的帧才出现。另外，/ ,.和分别表示帧η中的
MB i的原始和重构像素j。M表示MB中的像素的总数，并且Nstatiejffis表示在所有无场景变 化I帧中的静态MB的总数。闪烁被假定为只发生在静态MB中，被定义为如下。帧η中的MB i是静态MB，如果其平均绝对值差(MAD)小的话，即MADn,i=1/M∑PIXELS:J|FJN,I-FJN-1,|<W实践中，参数ε例如可以是10。注意，替代MAD，(1)和(2)也可以基于例如均方 差(MSD)的另一测量来定义，此时参数ε例如被设定为500。S度量已经被广泛用于评价各种I帧去闪烁解决方案的性能。然而，实践中，通过 实验，S度量实际上是相当粗略的模型。例如，其仅可以适用于测量整个序列的全部I帧闪 烁，并且不能被应用于一般性地测量每个单个帧的闪烁。注意，S度量旨在被应用于序列， 如由公式1中对I帧集合的加和来证明。去除所述加和将产生逐帧提供结果的度量，但是 如下所述此结果不可靠。此度量的一个重要缺点是使用(/ !,.-/么，,.)+来测量每个像素处的闪 烁只在/力小(例如，小于10)才准确。然而，即使对于整个MB有小MAD，某些特定像素的 l//,.-/^^也可能较大(例如，约100)。在此情况中，准确地给出很少闪烁的小7 二-Jt1,,.
像素将会导致大P,,·-(/ _,.-/Λ,)|，也就是，度量中的大闪烁失真。这与实际的观看
体验相悖，并且损害闪烁模型的准确性。作为一个示例，图1示出应用公式(1)来测量每帧 闪烁伪像(通过去除对I帧集合的加和)的结果。图1相对沿着水平轴10的帧编号示出 了使用现有闪烁度量时的沿着垂直轴20的闪烁失真。该序列是150帧的CIF序列“Bus”， 具有30f/s，以300kb/s编码，并且每图片组(GOP) 30帧。所有无场景变化I帧以圆30标 记，并且其余的帧所有都是P帧。视觉上，在所指示的I帧处观察到显著闪烁，而在P帧处 闪烁很小。然而，如图1所示，现有度量不能真实地反映此差。此现有度量的另一缺点是静态MB是在两个连续帧中正好位于相同位置的MB。也 就是，不涉及运动补偿。然而，闪烁伪像不仅可能在完全静态的区域被感觉到，而且在低运 动区域也能被感觉到。因此，低运动MB也应包括在闪烁失真计算中。然而，在没有运动补 偿的情况下，即使非常低运动的MB也可能具有大的帧间MB差。因此，这样的低运动MB被 不适当地从计算中排除，这也损害度量的准确性。

发明内容
提供了一种总是可以准确地测量每个单个帧的闪烁并且优于已知技术的方法。本 发明一般可被应用于准确感觉质量评价和高效闪烁减少方案的开发。此用于测量闪烁的方 法首先基于第一图片和第二图片中相应位置的像素值之间的差来确定原始值。接着，基于 根据第一图片的编码的重构图片和根据第二图片的编码的重构图片中相应位置的像素值 之间的差来确定重构值。然后，判断是否将基于重构值和原始值之间的差所确定的比较值包括在第一图片和第二图片之间的闪烁的测量值中。


下面将参考涉及附图的实施例来更详细地描述本发明，在附图中图1是表示当使用已知闪烁度量时闪烁失真相对帧编号的曲线图；图2是表示当使用所提出的闪烁度量时在没有运动补偿的情况下的闪烁失真相 对帧编号的曲线图；图3是所提出的每帧闪烁失真度量的流程图。
具体实施例方式现在将更详细地描述本发明。现在将更详细地提及本发明的实现方式，这在附图 和公式中被图示出。在至少一个实现方式中，提供了一种测量闪烁的方法，该方法准确地测量每帧闪 烁伪像，并且比现有的S度量具有更好的测量性能。实验表明，所提出的方法总是能够准确 地测量帧的闪烁。也就是说，该方法逐帧地准确地测量闪烁(实际上，该方法逐宏块地测量 闪烁)。所提出的可靠的方法一般可被应用于准确感觉质量评价和高效闪烁减少技术的开发。根据本发明以及一个实现方式，所提出的方法被定义为如下。帧η的闪烁失真被 计算为 这里，Nmbs是给定帧中静态MB的总数，mv表示MB的运动矢量(mv)，并且帧n_l的 MB i+mv表示帧η的MB i的运动补偿基准。类似于现有方法S度量，除了绝对值差以外，所提出的方法还可以基于其它失真 测量，例如，方差。所提出的方法相对现有方法S度量至少有三点改变。“max”函数被使用，并且所提 出的方法不同地计算像素差。此外，所述提出的方法包括运动补偿，并且总是逐帧地执行。 现有方法S度量包括对一系列帧的测量。将公式(3)中公开的所提出的模型与在公式(1)中示出的现有 模型相比，基本并且重要的改变在于像素的闪烁通过如公式⑶中所示的
测量，正如如果将s度量扩展为包括运动补偿时所预测的。从
现在起，此改变以基于像素的闪烁测量而非运动调整的形式来描述。在所提出的方法中， I/ ,-/Λ，,实际用作关于闪烁的恰好可察觉差阈值，在该阈值以下将不会感觉到闪烁。应当 注意，从现在起，运动信息被包括在讨论中，以便隔离基于像素的计算。
5
显然，在大的情况中，闪烁掩蔽JND阈值也大。因此，小的7H
将被掩蔽，并且对整体的闪烁失真没有贡献。这与实际的观看体验很好地相关，其中，小
fl-fU总是表示平滑的光流，并且因此几乎没有闪烁伪像。此重要的改变使得所提出
的方法能够提供比现有模型更优越的性能，并且因此可被应用于准确地测量任何单独帧的 帧水平的闪烁伪像，并且不被限制于无场景变化I帧。如果底层的目标图像很少有大的差 别，则重构图像中的改变可根据失真计算被掩蔽。作为一个示例，图2示出对于与图1相同的序列和编码设置的每帧闪烁测量结果。 图2示出使用根据本发明的闪烁度量的相对沿水平轴10的帧编号的沿着垂直轴20的闪烁 失真。再次，无场景变化I帧以圆30指示。图2清楚地示出，所提出的方法适当地检测出 以下事实，即在I帧处闪烁伪像比P帧更强烈。此外，图2示出在没有运动补偿的情况下所 执行的测量的示例。在所提出的方法中，静态MB的定义还涉及一定程度的运动补偿，以解决完全静态 或低运动MB处的闪烁伪像。这将产生更准确的闪烁建模性能。静态MB被定义为具有如下 的MB MADnJ(mv) = j- Σ \fj,-flhi+mv\<s(4)
pixels'.j运动补偿一般是在有限搜索范围中(例如，在3个像素内)进行的。超出此范围， 假定闪烁将被高运动掩蔽。另外，在运动估计中，子像素MV搜索一般将产生比全像素搜索 更准确的结果，并且因此在实践上更优选。此外，所提出的用于测量闪烁方法的优越性能还通过使用
max&l^,- ^.+-IA-/^,j)被提供以计算每像素闪烁伪像。再次，运动补偿已经被去
除以隔离形式改变。也就是，即使在不包括运动补偿的情况中，所提出的方法也提供比现有 方法S度量更优越的性能。使用运动补偿将进一步提高建模准确性，虽然一般以增加计算 复杂度为代价来做此。因此，实践中，可以基于实际系统的能力来决定是否使用运动补偿。 也就是，对于任意给定实现方式，可以确定是否可承受额外的计算复杂度和/或通过增加 的准确性来判断。由于优越的性能，所提出的用于测量闪烁的方法可被应用于开发高效闪烁减少技 术。例如，该方法提供准确的基于像素的度量计算并且因此准确地测量每个单独的MB(以 及帧)的闪烁。因此，所提出的用于测量闪烁的方法可被集成到广泛采用的RD优化架构中 以优化诸如MV的各种编码参数、量化参数或MB编码模式，等等。相对地，现有闪烁度量已 经被示出在帧水平不具有足够的建模准确性，并且因此在MB水平也不具有足够的建模准 确性，并且因此，不能适当地被集成到标准RD优化架构中。图3表示所提出的用于测量每帧闪烁失真的方法的一个实施例的计算流程图。本 质上，对于在框100中提供的每个视频帧n，在框110中表示从原始输入视频和重构视频检 索当前帧η和前一帧n-1，其中在框120中表示出每帧失真度量DFli。kCT F 。对于在框130 中表示的每个宏块MB，运动估计在有限搜索范围内(即，3个像素内)被进行，这在框140 中表示出。之后是判断框145。超出所述范围，假定闪烁将全部被高运动掩蔽。另外，在运动补偿中，子像素估计被执行以利用宏块MB的最小平均绝对差MAD找出最佳运动矢量MV。 如果MAD小于有关闪烁的恰好可察觉差(JND)阈值，则与框160相一致，没有闪烁感觉到。 然而，如果MAD大于阈值，则每像素闪烁伪像在框150中被计算。判断分支框150、160之后 是170的宏块的结束。这将在全部帧集合中逐MB以及逐帧地执行。因此，所提出的方法可 以准确地测量整个视频序列中(1)像素水平的闪烁(框110-120)、(2)MB水平的闪烁(框 130-170)；以及(3)帧水平的闪烁(框180-200)中的一个或多个。一个或多个实现方式被提供为具有特定特征和方面。然而，所描述的实现方式的 特征和方面也可以适用于其它实现方式。例如，所描述的度量在不同实现方式中可以以若 干种方式变化。这些方式中的一些方式例如包括，调整公式4中的阈值，在公式4中使用不 同的度量(例如，基于方差)，或者调整公式3中的“max”表达式忽略不大于阈值的差。虽 然在此描述的实现方式可能是在特定上下文中被描述的，但是这些描述决不被认为是将特 征和概念限制于这些实现方式或上下文。在此所描述的实现方式例如可以方法或处理、装置、或软件程序来实现。即使讨论 只是在单个形式的实现方式的上下文中进行讨论的(例如，仅以方法来讨论)，所讨论的实 现方式或特征也可以其它形式来实现(例如，装置或程序)。装置例如可以适当的硬件、软 件和固件来实现。方法例如可以在诸如计算机或其它处理设备之类的装置中被实现。另外， 方法可以通过由处理设备或其它装置执行的指令来实现，并且这些指令可以存储在例如CD 的计算机可读介质中或其它计算机可读存储设备或集成电路中。此外，计算机可读介质可 以存储由实施所产生的数据。对于本领域技术人员，应当很明显，实施还可以产生格式化的用于承载例如可以 被存储或发送的信息的信号。所述信息例如可以包括用于执行方法的指令、由所描述的实 现方式之一所产生的数据。另外，许多实现方式可以在编码器、预处理器到编码器、解码器或后处理器到解码 器的一个或多个中来实施。在本发明的一个实现方式中(例如，方法或装置或指令集合)，提供了一种测量I 帧闪烁的方法，如果相邻重构图片(或帧)的相应像素的差不大于底层目标图像的相应差， 则该方法通过失真计算来掩蔽此差。此外，运动估计被用来确定哪些像素彼此对应。对本领域技术人员，应当很明显，实施还可以产生格式化的用于传送I帧闪烁的 测量的信号。在本公开中描述了根据一个或多个实现方式来创建、组配、存储、发送、接收和/ 或处理闪烁的测量。根据本发明，考虑了能够根据所描述的实现方式之一进行操作或通信的设备(例 如编码器、解码器、预处理器或后处理器)，以及根据在本共开中所描述的实现方式的用于 存储I帧闪烁的测量或者根据在本公开中所描述的实施方式之一用于存储用于测量I帧闪 烁的指令的设备(例如，计算机可读介质)。另外，根据本发明的度量，考虑了被格式化以包括有关I帧闪烁的测量的信息的 信号，如在本公开中所描述的。所述信号可以是电磁波或基带信号，其中，所述信息包括残 余数据、运动矢量数据和基准指示符数据中的一个或多个。此外，本公开也预期到了其它实现方式。例如，其它实现方式可以通过组合、删除、
7修改或增补所公开的实现方式的多种特征来创建。另外，本发明旨在包括可执行上述公开 的方法并将这些方法用于减少失真的一种或多种设备。
权利要求
一种方法，包括以下步骤基于第一图片和第二图片中相应位置的像素值之间的差来确定原始值；基于来自对所述第一图片进行编码的重构图片和来自对所述第二图片进行编码的重构图片中相应位置的像素值之间的差来确定重构值；基于所述重构值和所述原始值之间的差来确定比较值；以及基于所述比较值来判断是否将所述比较值包括在所述第一图片和所述第二图片之间的闪烁的测量值中。
2.根据权利要求1所述的方法，其中，所述原始值等于所述第一图片和所述第二图片 中相应位置的像素值之间的差的绝对值。
3.根据权利要求2所述的方法，其中，所述重构值等于来自对所述第一图片进行编码 的重构图片和来自对所述第二图片进行编码的重构图片中相应位置的像素值之间的差的 绝对值。
4.根据权利要求3所述的方法，其中，所述比较值等于所述重构值减去所述原始值。
5.根据权利要求4所述的方法，其中，判断是否将所述比较值包括在闪烁的测量值中 的步骤包括如果所述比较值大于一阈值，则将所述比较值包括在所述测量值中。
6.根据权利要求1所述的方法，包括判断是否将所述比较值包括在闪烁的测量值中以 及将所述闪烁的测量值应用到用于减少闪烁的装置中的步骤。
7.根据权利要求5所述的方法，包括将所述闪烁的测量值应用到用于减少闪烁的装置 中的步骤。
全文摘要
一种用于准确测量闪烁的方法，首先基于第一图片和第二图片中相应位置的像素值之间的差来确定原始值。接着，基于根据第一图片的编码的重构和根据第二图片的编码的重构中相应位置的像素值之间的差来确定重构值。然后，判断是否将基于重构值和原始值之间的差所确定的比较值包括在第一图片和第二图片之间的闪烁的测量中。
文档编号H04N9/73GK101933334SQ200980102556
公开日2010年12月29日 申请日期2009年1月7日 优先权日2008年1月17日
发明者加德·摩沙·伯格, 杨华, 艾伦·杰伊·斯坦 申请人:汤姆逊许可证公司