图像序列中闪烁的检测和抑制的制作方法

专利名称：图像序列中闪烁的检测和抑制的制作方法
技术领域：
在此公开的本发明一般涉及视频处理，更准确地，涉及视频帧序列中非期望的短暂变化的连续检测。具体地，本发明适合于检测通过通信网络进行流传输的视频帧序列中与混淆相关的假象(aliasing-related artefact)。有利地，本发明还提供了非期望的短暂变化的结合的检测和抑制的方法和设备。
背景技术：
在运动图像的播放期间(也就是说，静止图像(帧)序列在适当时间点连续呈现)，观众有时会观察到非期望的亮度变化，即“闪烁”(flicker)，其不会出现在描绘的场景中。如此处所使用的，场景(scene)是在记录运动图像的成像设备的视野中可见或部分可见的一个空间区域。尽管整个场景在给定时刻可能不可见，但是其能够通过扫视(span) 在一个镜头期间被成功覆盖。闪烁可能具有快到人眼感觉不到的剧烈振动的光源引起。然而，记录包括以成像设备的帧速率(frame rate)对这种振动频率进行采样，通过采样处理， 该振动频率可能变为更低的、可见地感受到的频率。

图1示出了高频信号的采样(如圆圈所示)如何被解释为来自低频信号，反之亦然；这种现象就是混淆(aliasing)。人们可以区分不同种类的闪烁。在灰度级视频序列中，闪烁是图像信号的单信道的非故意的(并且通常是周期性的)变化。这种变化可能影响整个帧或者仅仅子区域，该子区域可能对应于具有特定亮度的空间区域。当运用彩色视频技术时，振动的白色光源可能以不同于振动的彩色光源的方式来影响记录的视频序列。正如在接下来的几个段落将会解释的，对图像分量的闪烁的精确解释取决于所使用的精确彩色视频格式。首先，如果视频序列以线性原色分量编码，例如RGB，那么在白色光源的情况下，非期望的振动将存在于所有颜色中。如果振动光源是彩色的，则将会给每个彩色分量按照光源颜色组成的比例贡献振动条件(term)；例如，振动的红色光源会主要贡献RGB信号的R 分量，而较少贡献G分量和B分量。其次，若干普遍彩色视频格式基于三维YCbCr彩色空间。这种视频格式包括一个亮度信道Y(对像素的亮度分量，或者辉度(brightness)分量编码)和两个色度信道Cb、 Cr (根据与白色的偏离，对像素的色度分量编码)。亮度分量对应于灰度级视频的单图像信道；因此如果YCbCr彩色视频信号将通过灰度级接收器重现，那么可以简单地忽略信道 Cb、Cr。图像分量(如关于常量、缩放、偏移等)的准确定义可能在不同的具体视频格式之间变化，但是一般来说在原色格式和YCbCr格式之间存在明确的转换(有时是线性转换)。尤其是，所有三原色分量都为亮度做出积极(positive)贡献，例如经由线性关系Y = P R+Y G+β B，其中根据标准白色确定系数的相对值P >0, γ >0, β >0ο因此，不管导致闪烁的光源是白色还是彩色的，闪烁将自身显现为亮度分量中的变化。另一方面，彩色光源也会导致Cb分量和/或Cr分量的振动。再次，还存在基于色调、饱和度和辉度三者的彩色视频格式，特别是HSL、HSV、HLS、 HIS和HSB格式。一般来说，转换到RGB格式或者自RGB格式的转换伴随着这一类的每种视频格式。闪烁，至少白色闪烁，在光度/数值/辉度/强度信道(L或者V)中是可检测的， 这将不与本公开的其它地方的亮度相区分。在前面段落的讨论故意没有将模拟格式与数字格式相区分，因为对于本公开的目的而言，数字格式可以看作模拟格式的量化版本。同样地，除了线性版本之外，一些视频格式可以存在于伽马(gamma)压缩或者部分伽马压缩版本中，例如R’ G’ B’和Y’ CbCr格式。 然而，视频格式是否包括这种压缩对于理解本发明是无关紧要的。因为观众会觉得闪烁令人烦恼或不快，所以在视频处理领域已经关注对闪烁进行检测和校正。关于检测，许多目前先进的方法都是基于傅立叶转换的，其将信号分解为具有包括0在内的不同频率的分量的线性组合。基于不同频率的相关重要性(正如傅立叶系数所示)，不论闪烁是否出现都能够建立线性组合。根据这一原则的检测方法如EP1324598中所示；该方法包括图像信号的平均的离散傅立叶转换。正如信号处理领域的普通技术人员所认识到的，傅立叶转换涉及的算法有以下缺点 它们不能应用于非固定信号，例如由于非等距采样导致帧速率可能随时间变化的视频信号； 它们不能解决在信号阱中的非正弦闪烁，因为基频的能量在较高谐波会部分丢失；以及 它们可能推算起来很复杂。其它检测方式可以基于对统计方差的计算。例如，在US2007/036213中公开的方法将较低阀值条件应用于方差以确定什么时候需要减少闪烁。部分地，由于方差的增加可能具有除闪烁以外的其它来源，因此众所周知地，这种检测方法会产生较大百分比的误报。用于抑制或者消除闪烁的若干可用方法是基于闪烁序列中的每个帧相对参考帧进行校正。更确切地说，对于将校正的帧生成累积分布函数(⑶F)，或者用另一个名称，累积直方图，并且对于参考帧生成参考CDF。像素值随后被调整以便校正帧的CDF近似地等于参考帧的CDF。一般来说，参考帧不必等于(除了由闪烁导致的变亮或者变暗)将校正的帧， 但是优选地，应该对于背景、照明等描绘了相似的场景。US5793886中公开的方法提供了代表性的示例。为了生成参考CDF，该方法对于序列中的较早帧和较晚帧都计算CDF，随后根据将校正的帧的位置将⑶F内插。随着消费者对宽带互联网连接的访问的增加，不仅是IP语音技术，还有视频电话和视频会议在近年来广泛流行。因为音频和视频数据在这里作为分组流而传输，因此发送和接收双方都需要实时处理数据，而不是作为有限批处理(finite batch)。讨厌的图像闪烁可能出现在视频电话中，正如出现在任何种类的运动图像中一样，但是检测和解决闪烁的可用方法(见上)经常是不合适的。更重要的是，除了上述方法，许多现有方法必须知道在流中的前面的帧和后面的帧。这些无关联的(non-causal)处理方法无法用于没有缓冲帧的实时事件，其中对帧进行缓冲延误了数据流的传输。最小缓冲器长度是视频序列的闪烁部分的最大期望持续时间加上每帧和闪烁部分末端的一个参考帧的处理(校正)时间。 在已经存在用于隐蔽网络抖动的一定延迟的、目前先进的互联网通信的情况下，大多数用户会发现不可接受的附加延迟。因此，缓冲将意味着重大缺陷。虽然本领域中已知用于在直播中检测和/或抑制图像闪烁的装置，但是大多数这样的设备因为其高复杂度而不能集成到消费产品中。类似地，致力于在记录期间减少闪烁的方法可能预示着对高级光学硬件的访问，例如自适应图像传感器和易调整的快门配置。 例如视频电话服务的供应商无法设想这样的硬件特征是可用的，而是不得不从任何服务的用户所操作的设备那里接受图像数据。最后，某些方法的绝对复杂性使其无法用于视频电话。在正常加载的个人计算机上，相当精确的基于傅立叶的检测方法可能占用大部分CPU 性能；至少，计算上复杂的方法意味着强迫视频电话系统产生特别的质量降低的风险，诸如帧速率的下降、图像大小的减小等。

发明内容
考虑到现有技术中检测和抑制非期望的短暂变化的缺陷，本发明的目的是提供一种检测(以及有利地，抑制)这种变化的可选技术，与现有技术的缺陷相比，本发明的技术的缺陷较少，特别是在实时执行的时候。因此，根据第一方面，本发明提供了权利要求1所述的用于在视频帧序列中检测非期望的短暂变化的方法。根据第二方面，如在权利要求3所阐述的，提供了用于检测非期望的短暂变化的设备(视频帧接收器)。如在权利要求16中所限定的，根据本发明的第三方面，提供了用于检测非期望的短暂变化的计算机程序产品。本领域技术人员将理解的是，在研究独立权利要求时，根据发明的思想和实施例的检测包括 在固定时间间隔取决于每次帧内的像素的亮度来评估变量。数值形成变量的时间序列。适当地，在每个帧内的像素子集的基础上执行评估，这通常提供了足够准确的检测。用于评估变量的像素集在帧之间可能是不变的。然而，自由选择属于这个集合的像素也可以有利于避免将可能导致错误检测的分离物(outlier)(具有在数字上远离其余数据的值的像素)贡献给变量。 在变量的时间序列的基础上估计全局亮度的变化频率。举例来说，如果变量与帧的全局亮度成比例，那么变量的时间序列的振动将具有与连续帧上的全局亮度相同的频率。 估定全局亮度的变化频率的估计是否接近任何期望的变化频率，也就是说，全局亮度的变化频率的估计是否与任何这样的期望的变化频率相差少于预定容差。如果发现满足了最后的条件，则检测到视频序列中非期望的短暂亮度变化。当本发明的思想在具体实施为检测算法、检测器等时，提供了通过改变容差而能够准确地调谐的灵敏度的条件下的鲁棒性，因此检测既不过于宽容也不过于严苛。根据本发明的检测在计算上是经济的，而且适于被实施为实时视频处理组件，特别是与处理流式视频数据的、基于互联网的视频电话系统有关的实时视频处理组件。如果实施方式利用了可能涉及恢复时间序列中先前计算的值等的、该方法的连续性特征，则可以进一步降低复杂性和诸如存储器空间的硬件要求。上述变量可以是对所有像素的亮度给出相等权重的帧均值，或者可以是加权均值。在本发明的实施例中，如用于检测非期望的短暂亮度变化的设备，无论变量是否是(加权)均值，用于评估变量的功能部分被称为帧平均器。上述变量适于估计全局亮度变化频率，而非主要用于估计局部亮度变化。全局亮度变化可以自身显现为帧序列中随时间的总体辉度波动。与此相反，局部亮度变化可以看作是帧内的空间辉度波动，例如线变化(line-wise variation)(线闪烁)。为了估计全局亮度变化的变化频率，如在本公开其它部分中所讨论的，计算在整个帧或在帧的代表性部分上的辉度平均可能是合适的。作为本发明的一个可选特征，通过计数每单位时间内变量的时间序列多久与参考水平交叉来估计变化频率；交叉数除以序列的持续时间是全局亮度变化频率的估计。假设交叉计数捕获了帧均值可能的振动行为，则参考水平的准确值并不是非常重要的。例如，参考水平可以选择为全局均值，也就是说，在时间序列中最后几个数值上取的平均。有利地， 可以通过限定全局均值周围(分别地，零点周围)的延迟区，而使得时间序列和参考水平的交点的计数(或者，时间序列减去参考水平的零交叉计数)更加可靠。与第二公差相比更接近参考水平的时间序列中的值被认为是不可靠的，而其对计数可能的贡献被忽略。相反， 考虑在时间序列中的下一个输入(entry)。这样，根据本发明的方法和设备对不准确测量的影响不那么敏感，否则不准确的测量可能导致不正确的检测结果。作为本发明的、可以单独使用或与其它可选特征相结合使用的另一个可选特征， 帧速率(获取图像的频率)的值以及亮度频率的值被确定。在这两个频率的基础上确定期望的变化频率。此处，亮度频率与视频序列中可见的物体或者表面的亮度相关。如果这个亮度是变化的以及(类)周期性的，则亮度频率不是零。具有周期性变化的亮度的物体的例子包括荧光光源和被这些荧光光源照亮的物体。作为这种思想的概括，可以使用多个亮度频率。需要强调的是，要求保护的方法也适用于具有可变帧速率的视频序列。因此，所述方法应该基于帧速率的实际值确定期望的变化频率，例如在计数零交叉的间隔上的局部均值帧速率。进一步需要注意的是，所述方法可以等效地以测量的变化频率作为其起点，并基于此来确定那些已经生成的可能的亮度频率；然后估定实际亮度频率是否与任意这些亮度频率相差少于容差。正如前面部分中已经指出的，本发明的目的是，HSL和类似图像格式中的辉度(或者辉度、或者值、或者强度)信道等同于亮度信道。期望的变化频率可以计算为从亮度频率&相对于帧速率fs的混淆中得到的频率分量。然后，对于整数N，通过Ifi-NfsI给出所有混淆的频率分量。考虑到混淆的频率分量在以帧速率播放期间必须是可见的(即，根据尼奎斯特准则，其必须小于帧速率的一半)， 因此N必须满足下面的条件
权利要求
1.一种在视频帧序列中检测非期望的短暂亮度变化的方法，该方法包括以下步骤 在固定时间间隔基于亮度评估变量，从而产生所述变量的时间序列；基于所述变量的时间序列，计算全局亮度的变化频率的估计；以及确定所述全局亮度的变化频率的估计是否与任何期望的变化频率相差少于预定容差。
2.如权利要求1所述的方法，包括，在肯定所述变化频率的估计与期望的变化频率相差少于预定容差的情况下，抑制所述视频帧序列中非期望的短暂亮度变化，该方法还包括以下步骤选择将校正的帧集； 对于所述选择的帧集中的每个帧对于至少一个图像分量的实际值生成累积分布函数CDF ；以及对于每个像素和所述至少一个图像分量中的每个图像分量确定校正值，所述校正值使对于所述实际值读取的CDF和对于所述校正值读取的参考CDF之间的差异最小化，并且以所述校正值代替所述实际值，其中每个参考CDF基于对于更早的帧中相应图像分量的值的CDF ；以及所述至少一个图像分量包括以下中的至少一个 线性亮度， 线性原色， 伽马压缩亮度， 伽马压缩原色，以及以上两个或更多个的线性组合。
3.—种适于在视频帧序列中检测非期望的短暂亮度变化的设备，该设备包括 帧平均器，用于在固定时间间隔基于亮度评估变量，从而产生所述变量的时间序列； 频率估计器，用于接收所述变量的时间序列，并且计算全局亮度的变化频率的估计；以及比较器，用于确定所述全局亮度的变化频率的估计是否与任何期望的变化频率相差少于预定容差。
4.如权利要求3所述的设备，其中，所述频率估计器包括计数器，所述计数器适于对所述变量的时间序列在每单位时间内对于参考水平的交叉进行计数。
5.如权利要求4所述的设备，还包括全局平均器，其用于接收所述变量的时间序列并且计算全局均值，其中所述参考水平是所述全局均值。
6.如权利要求4或5所述的设备，其中，如果所述变量的时间序列中的任意值与所述参考水平相差少于预定的第二容差，那么所述计数器适于忽略该值。
7.如权利要求3-6中任一项所述的设备，其中，所述变量是所述亮度的帧均值。
8.如权利要求3-7中任一项所述的设备，其中，所述帧是以帧速率获得的，所述设备还包括预测器，其用于在所述帧速率的实际值以及所述视频帧序列中出现的至少一个可见实体的亮度频率的基础上，计算至少一个期望的变化频率。
9.如权利要求8所述的设备，其中，所述亮度频率是电力频率的倍数。
10.如权利要求8或9所述的设备，其中，所述预测器适于使用公式Ifi-NfsI来计算所述至少一个期望的变化频率，其中A是亮度频率，fs是帧速率，并且N是满足以下条件的整数
11.如权利要求3-10中任一项所述的设备，还适于在所述比较器确定所述变化频率的估计与期望的变化频率相差少于所述预定容差的情况下，抑制所述视频帧序列中非期望的短暂亮度变化，所述设备还包括帧选择器，其用于选择将校正的帧集；累积分布函数CDF发生器，其用于接收将校正的帧并生成与至少一个图像分量的实际值有关的⑶F ；参考⑶F发生器，其用于从所述⑶F发生器接收多个将校正的⑶F，并且对于每个图像分量基于与将校正的帧以前的帧中的这个图像分量的值有关的CDF生成参考CDF ；以及校正器，其用于接收将校正的帧集中的每一帧、用于以校正值代替每个像素的实际值、 并且用于输出校正帧， 其中所述校正值使对于所述实际值读取的CDF和对于所述校正值读取的参考CDF之间的差异最小化；以及所述至少一个图像分量包括以下中的至少一个 线性亮度， 线性原色， 伽马压缩亮度， 伽马压缩原色，以及以上两个或更多个的线性组合。
12.如权利要求11所述的设备，还包括滤波器，所述滤波器通过对与将校正的帧之前的帧中的这个图像分量的值有关的CDF进行滤波、来生成对于这个图像分量的参考CDF，所述滤波器具有低通特性。
13.如权利要求11或12所述的设备，其中，对于图像分量的参考CDF是与所选择的、将校正的帧集中的最早帧之前的帧中的这个图像分量的值有关的CDF的平均。
14.如权利要求11-13中任一项所述的设备，还包括饱和补偿器，其适于接收校正帧， 并且以变亮的值代替校正帧中所述图像分量的每个校正值，其中所述变亮的值是min{(l+a )xcorr, ICMAX}， 其中是校正值，α是正数。
15.如权利要求3-14中任一项所述的设备，其中，所述视频帧序列通过通信网络进行流传输。
16.一种存储计算机可执行指令的计算机可读介质，当在通用处理器上执行所述计算机可执行指令时，所述通用处理器执行权利要求1的步骤。
全文摘要
本发明涉及在视频帧序列中检测非期望的短暂变化(闪烁)的方法、设备和计算机程序产品。在一个实施例中，将帧的亮度均值与参考水平相比较，并且将交叉频率与诸如通过混淆的亮度频率相关联的频率的、期望的变化频率相比较。通过引入参考水平周围的延迟区，可以改进交叉计数。在非期望的短暂变化的肯定检测的情况下，还提供了使用累计分布函数的校正方法、设备和计算机程序产品。通过使非饱和像素变亮，或者通过以根据参考累积分布函数随机采样的值来代替饱和像素，减轻了闪烁引起的像素饱和的视觉损害。本发明提供了适于流视频序列的实时处理的实施例。
文档编号H04N7/01GK102461160SQ201080034903
公开日2012年5月16日 申请日期2010年6月2日 优先权日2009年6月9日
发明者B.沃尔克, W.B.克莱恩 申请人:谷歌股份有限公司