用于在视频帧中使用空间特征检测频闪的系统和方法
【专利说明】用于在视频帧中使用空间特征检测频闪的系统和方法
[0001]相关引用
[0002]本公开要求2015年3月15日提交的美国临时申请号61/799，839的优先权，以及2013年4月8日提交的美国专利申请号13/858，921的优先权，其全部公开内容作为引用被并入本文中。
【背景技术】
[0003]本公开涉及一种用于检测视频的图像帧中的频闪(strobe)的系统和方法。
【附图说明】
[0004]被并入本说明书并且形成其一部分的附图图示了示例实施例并且与描述一起用于解释其原理。在附图中:
[0005]图1图示了传统的视频系统；
[0006]图2图示了两种图像帧；
[0007]图3图示了示例直方图；
[0008]图4图示了示例视频系统；
[0009]图5图示了图4的编码器的示例组件；
[0010]图6图示了操作图4的编码器的示例方法；
[0011]图7图示了示例直方图；
[0012]图8图示了示例原始帧、对应的直方图和三个掩模；
[0013]图9图示了另一个示例原始帧、对应的直方图和四个掩模；
[0014]图10图不了另一个不例原始帧、对应的直方图和一个掩模；
[0015]图11图示了如被分割成多个分段的两个示例图像帧；
[0016]图12图不了另个不例视频系统；
[0017]图13图示了图12的编码器的示例组件；
[0018]图14图示了操作图13的编码器的示例方法，以及
[0019]图15A-B图示了如被分割成多个分段的图像帧。
【具体实施方式】
[0020]本公开一般地描绘检测图像内的频闪的系统和方法。在视频中产生频闪是常见的。作为电影的特征，其经常被用于标志(signal)情感或者作为用于从一个镜头过渡至另一个镜头的分离器。有时候，由于诸如视频源直接面对方向型光源的物理原因而产生频闪。频闪通常包括被过渡带包围的极其明亮的核心，过渡带的明照度的强度随着远离核心而逐渐降低并且最终融入背景。
[0021]检测以及识别图像帧内的频闪可以是有用的，其原因有很多。例如，在其中具有频闪的图像帧可能需要不同的编码。因此，如果可以识别出频闪，则可以分配合适的编码资源。为了在其中讨论的目的，将结合编码来讨论对图像内的频闪的识别。然而，应该注意的是，这样的讨论仅仅是用于解释为目的，并且不被限制。
[0022]图1图示了传统的视频系统100。如图中所示，传统的视频系统100包括视频源102、编码器104和存储/传输组件106。视频源102的非限制性示例包括媒体服务器、照相机、视频储存器、接收器和视频解码器(在转码的场境中，其中输入视频首先被解码并且被重新编码成不同大小、格式等)。
[0023]视频源102能操作成向编码器104提供图像数据108。编码器104能操作成向存储/传输组件106提供编码数据110。
[0024]在操作中，视频源102生成图像数据108作为一系列静态图像，其中每个静态图像称为一帧。每帧由多个像素组成，其中每个像素包括像素数据。每个像素的像素数据包括至少一个特性以及该像素的一个或多个特性(S)的关联值。特性的非限制性示例包括色度、照度等。所述特性的关联值可以是在预定范围内所检测到的值。例如，像素数据可以包括在像素中检测到的红色的量作为特性，而关联值的范围从O到255，其中零是没有检测到红色的指示并且255是检测到最大量红色的指示。类似地，在另一个示例中，像素数据可以包括在像素中所检测到的照度的量作为特性，而关联值的范围从O到255，其中零是没有检测到照度的指示并且255是最大照度的指示。
[0025]现在可以参考图2来描述与图像帧相关联的像素数据的示例。
[0026]图2图示了图像帧200和图像帧202。
[0027]图像帧200包括人204、背景206和频闪209的图像。图像帧202包括人212、背景214和频闪217的第二图像。
[0028]在图像帧200中，频闪209被清楚地图示为由过渡带210所包围的明亮核心208，过渡带210的照度随着远离核心208至背景206而逐渐降低。类似地，在图像帧202中，频闪217被清楚地图示为被过渡带218所包围的明亮核心216，过渡带218的照度随着远离核心216至背景214而逐渐降低。
[0029]能够识别帧内的频闪是有用的。例如前面所提到的，为了编码的目的，可能需要附加的编码资源对具有频闪的帧进行编码。具体地，一些编码技术依赖于对相邻帧的比较以减少描述帧所需要的数据量。在这样的编码技术中，当相邻帧之间存在大量的差别时，要对这样的相邻帧进行编码需要更多的数据。
[0030]考虑到这一点，返回图2，对图像帧200和图像帧202进行比较，频闪209可以一般地被考虑为与频闪217的照度和位置类似。然而频闪209的大小比频闪217小得多。此夕卜，频闪209的过渡带210比频闪217的过渡带218小得多。因此，不同的频闪可能需要附加的处理资源用于编码。至少由于这个原因，识别频闪帧可以是重要的。
[0031]返回图1，编码器104对图像数据108进行编码。对图像数据进行编码所需要的资源量在很大程度上取决于要进行编码的数据的量和类型。
[0032]为了提高图像的质量，多种特性可以被用于像素数据。为了进一步提高图像的质量，可以与每个特性相关联地使用更大的标度。为了再进一步提高图像的质量，可以增加每帧的像素数目。随着像素数目增加、随着每像素特性的数目增加、以及随着每特性的标度增加，相对应的每图像帧的数据量增加。
[0033]图3图示了直方图300。直方图300包括y轴302、χ轴304以及函数306。
[0034]直方图是示出数据分布的视觉印象的图形化表示。在这个示例中，直方图300是示出图像帧的像素照度的分布的视觉效果的图形化表示。y轴302测量帧内的像素数目，其中原点指示没有像素并且其中I轴的最上面部分指示像素的最大数目。χ轴304测量照度，其中原点指示零照度(黑色)，并且χ轴304的最右边部分指示最大照度。函数306示出该帧内像素照度的分布。
[0035]函数306包括由椭圆308所指示的部署在y轴302的原点以及χ轴304的原点附近的部分。因此，由椭圆308所指示的函数306的部分指示了该帧内具有低照度的像素的量。
[0036]函数306包括由椭圆310所指示的部署在y轴302上部较高处和χ轴304的原点右边的部分。因此，由椭圆310所指示的函数306的部分指示了与在该帧中具有更低照度的像素数目(如由椭圆308所指示的)相比，在该帧内存在许多更多的具有更高照度的像素。
[0037]函数306包括由椭圆312所指示的部署在y轴302上与椭圆310相比下部较低处以及χ轴304上与椭圆310相比位于右边的部分。因此，由椭圆312所指示的函数306的部分指示在该帧内具有更高照度的像素的数目是减少的。
[0038]函数306包括由椭圆314所指示的隔离尖峰(spike)，其与椭圆306相比在y轴302上向上延伸更高并且在χ轴304上位于右侧远端。因此，由椭圆314所指示的函数306的部分指示了该帧内具有相对高照度和相对小偏差的像素的数目。如将在下面进一步详细讨论的，诸如由椭圆314所指示的函数306的部分所指示的隔离尖峰，可以是帧中的频闪的指示符。
[0039]图4图示了示例视频系统400。如图中所示，视频系统400包括视频源102、编码器402和存储/传输组件106。
[0040]视频源102能操作成向编码器402提供图像数据108。编码器402能操作成向存储/传输组件106提供编码数据404。
[0041]图5图示了编码器402的示例组件。如图中所示，编码器402包括控制组件502、直方图生成组件504、分析组件506、比较器508以及编码组件510。
[0042]控制组件502能操作成:通过控制信号512来控制直方图生成组件504的操作；通过控制信号514来控制分析组件506的操作；通过控制信号516来控制比较器508的操作；以及通过信号518来控制编码组件510的操作。
[0043]直方图生成组件504被配置成接收图像数据108和控制信号512。直方图生成组件504能操作成基于图像数据108生成直方图并且通过信号520输出直方图数据。
[0044]分析组件506被配置成接收信号520和控制信号514。分析组件506能操作成分析该直方图，以识别直方图中的隔离尖峰并且通过信号522输出频闪参数。
[0045]比较器508被配置成接收控制信号516和信号522。比较器508能操作成:对频闪参数和预定阈值进行比较；当该频闪参数大于预定阈值时，通过信号524输出第一指令信号；以及当该频闪参数小于或等于预定阈值时，通过信号524输出第二指令信号。如将在下面更详细地讨论的，在示例实施例中，比较器508能够对该频闪参数和三个预定阈值进行比较。二进制“是频闪”/ “不是频闪”的输出仅仅被提供为以讨论为目的的示例实施例。在其它实施例中，可以基于位于图像中的频闪多么大、或者多么明亮等来优化视频编码器。
[0046]编码组件510被配置成接收图像数据108、控制信号518以及接收信号524。编码组件510能操作成基于第一指令信号以第一方式对该图像数据进行编码，并且基于第二指令信号以第二方式对图像数据进行编码。编码组件510进一步能操作成输出所输入的图像数据作为编码数据404。
[004