用于检测视频序列中的结构化伪像的系统的制作方法
【专利摘要】本发明涉及用于检测视频序列中的结构化伪像的系统。用于检测视频中的结构化伪像的方法从在视频输入端处接受视频帧并且随后从视频帧生成滤波后帧开始。在生成差值图像后，识别差值帧内的相连像素的群组(斑点)，并且去除孤立的斑点以生成清除后图像。对清除后图像执行傅里叶变换，并且可以基于清除后图像的傅里叶分量的量值的比较来识别结构化伪像。还描述了检测和识别结构化伪像的设备。
【专利说明】用于检测视频序列中的结构化伪像的系统
【技术领域】
[0001]本公开针对视频的分析，并且更具体地针对检测视频帧的部分中的结构化伪像。【背景技术】
[0002]视频或者视频流是连续图像帧的集合。有时，由于多个原因中的任何原因，伪像可能出现在视频巾贞的部分中。有时，伪像是由于从视频磁带的缺陷部分读取视频时引起的信号丢失而产生的。缺陷可能是由例如磁带颗粒中的瑕疵、磁带老化、对磁带的损坏、脏的或者坏了的视频头引起的。在其他情况下，伪像可能似乎并不是由磁带瑕疵引起的，而可能是由其他途径引起的，并且甚至在彻底数字的系统中。
[0003]如在本文中使用的，伪像可以被认为是视频帧的一组受影响的像素。典型地，该组是矩形形状，并且结构化伪像内的像素形成图案。该图案可以包括例如交替的水平或者垂直的行，或者类似于棋盘的2D阵列图案中的交替的像素，或其变形。图1示出了示例结构化伪像。如图1中所看到的，帧5包括多个伪像8，伪像8的特定示例被识别为区域10。典型地，帧5将被图像数据以及少量或者若干伪像8填充。如在分解部分中所看到的，由交替的水平行组成的伪像15可填充区域10。该伪像可能是由磁带信号丢失或者如上所述的其他途径引起的。
[0004]图2示出了可以填充图1的任意伪像8的其它伪像形状。例如示例伪像形状可包括垂直行25、一系列单独的像素35或者垂直和水平行与像素的组合,如通过45、55、65和75示出的。伪像图案在与周围未受影响的像素相比时一般具有引人注意的对比度。
[0005]由于标准误差校正技术可补偿伪像，因此微小伪像在回放时可能趋于完全不被观众注意。但是，大的伪像可被观众注意到。有时，伪像出现在多个相继帧中。伪像通过使用户的注意力从视频内容本身转移开而负面地影响观众体验。
[0006]本发明的实施例解决现有技术的这些和其他限制。
【发明内容】
[0007]本发明的方面包括用于检测视频中的结构化伪像的方法。该方法可在视频输入端处接受视频帧并且随后从该视频帧生成滤波后帧。接下来，求出滤波后帧相对于所接受的帧的差值以建立差值帧。然后识别差值帧内的相连像素的群组，并且去除孤立的群组以生成清除后图像。对该清除后图像执行傅里叶变换，并且可以基于清除后图像的傅里叶分量的量值的比较来识别结构化伪像。
[0008]本发明的其他方面包括用于检测视频中的结构化伪像的视频伪像检测设备。该检测设备包括例如用于接受视频帧的视频输入端、滤波器、以及被构造为从视频帧和已通过滤波器被滤波的视频帧生成差值图像的差值生成器。该设备还包括:斑点识别器，其被构造为将差值帧内的相连像素的群组识别为斑点，以及斑点清除器，其被构造为去除孤立的斑点以生成清除后图像。存在用于从清除后图像生成输出的傅里叶变换器。该设备还包括识别器，其被构造为基于清除后图像的傅里叶分量的量值的比较而将视频帧检测为具有结构化伪像。
【专利附图】
【附图说明】
[0009]图1示出了具有示例结构化伪像的视频中贞。
[0010]图2示出了可使用本发明的实施例来识别的示例结构化伪像。
[0011]图3是示出了根据本发明的实施例的检测视频中的结构化伪像的示例方法的第一部分的流程图。
[0012]图4是示出了根据本发明的实施例的检测视频中的结构化伪像的示例方法的第二部分的流程图。
[0013]图5是示出了根据本发明的实施例的计算的傅里叶分量的量值的图。
[0014]图6是示出了根据本发明的实施例的用于视频的伪像检测器的部件的框图。
【具体实施方式】
[0015]在图3中，正针对伪像被测试的视频帧110的亮度分量被传递至滤波级120，诸如通过3X3中值滤波器。当然可以处理亮度和色度分量这两者，并且可以使用具有良好结果的其他滤波器。
[0016]在操作120中通过滤波器被滤波之后，求差值操作130通过从原始帧110中减去滤波后图像来生成差值图像。这可以通过逐像素的减法来执行。
[0017]随后可发生阈值化操作140。例如，将差值图像的每个值都与阈值进行比较。例如，任何大于阈值的值都可被设置为255，并且任何小于阈值的值都可被设置为O。值255还可被称为“亮的(lit)”，而值O被称为不亮的(un-lit)。操作140的输出可被称为二值图像，因为它的值或者是O或者是255(亮的或者不亮的)，并且在该二值图像中没有像素值出现在这些数值之间。
[0018]接下来，确定操作150确定二值帧中的亮像素的数目是否大于或者小于阈值。如果二值图像中的亮像素的数目小于阈值，则测试帧110被认为是好的帧，并且流程100沿着否方向退出操作150。操作155递增至下一帧。相反地，如果二值帧中的亮像素的数目大于阈值，则流程100沿着是方向退出。
[0019]典型地，为了高灵敏度，在操作150中将阈值设置在大约32-64个像素之间。该阈值数字可根据用户期望的灵敏度而被增大。
[0020]斑点处理操作160生成关于二值图像的信息。二值图像中的单独的未相连像素或者相连像素的群组被称为“斑点”。在一个实施例中，通过使用8连通性分析来确定相连像素的群组。每个斑点具有唯一标签，诸如索引。操作160的斑点处理额外地生成每个斑点的质心并且计算每个斑点的面积。该斑点处理操作160还可以生成每个斑点内的每个像素的像素坐标的列表和每个斑点的边界框。
[0021]清除操作170去除孤立的斑点。在一个实施例中，去除所有具有四个或者更少像素的面积并且距离下一最近的斑点至少两个像素的斑点。在二值图像的上下文中去除意味着将值设置为零。在该方案中，大于四个像素的斑点或者距离最近的斑点在两个像素内的那些斑点不被清除。当然，清除的斑点的尺寸和与最近斑点的距离是实施因子并且不是本发明的限制。[0022]当孤立的斑点已在清除操作170中被去除之后，清除后的二值图像再次针对亮像素的阈值数目被检查，类似于上述操作150。典型地，相同的阈值被用于两个阈值评估操作150、180这两者。如果清除后的二值图像具有少于阈值数目的亮像素，则流程100沿着否方向退出并且该帧被标记为好的，即，被标记为不具有结构化伪像，或者不具有足够多被这样标记的结构化伪像。随后在操作155中递增下一帧。相反地，如果二值图像仍然包含超过阈值数目的亮像素，则流程100沿着是方向退出操作180，并且流程继续，如图4中所示。
[0023]在操作210处对清除后的二值图像执行诸如二维快速傅里叶变换的变换。该变换产生分量量值，例如在图5中所示的那些。
[0024]在图5中，分量c5表不零频率并且剩下的分量cl_c4、c6_c9表不在水平、垂直和对角线方向上的最高空间频率(正的以及负的两者)，即，以一个不亮像素宽的间隙在任一或者两个方向上分隔开的亮像素。随后计算若干个比率:
[0025]rl = c5/cl
[0026]r2 = c5/c2
[0027]r3 = c5/c3
[0028]r4 = c5/c4
[0029]r5 = c5/c5
[0030]r6 = c5/c6
[0031]r7 = c5/c7
[0032]r8 = c5/c8
[0033]r9 = c5/c9
[0034]基于这些比率可以确定存在伪像。例如，如果比率(rlto"2to"3)或(r4to"5to"6)或(r7&r8&r9)或(rl&r4&r7)或(r2&r5&r8)或(r3&r6&r9)落在下限和上限之间，贝U可以确定伪像存在于被测试帧中。在一个实施例中，下限可以是0.99而上限可以是3。这些极限值可以根据经验确定。
[0035]如果比率没有落在如上所述的极限值内，则流程100沿着否方向退出操作220并且该帧被标记为好的，即不包括伪像的帧。
[0036]相反，如果确定被测试帧不包括伪像，则操作230、240和250用于标记被测试帧内的区域。
[0037]在操作230中，清除后的二值图像在将受影响的像素合并成区域的处理中被扩展。在一个实施例中，使用清除后的二值图像的形态扩展来执行该合并。在其他实施例中，该形态扩展可被执行多次，诸如三次。在形态扩展后形成的每个新的斑点现在具有接近于如由人类观众所感知到的伪像块的边界框。人类观众将伪像块感知为单个块，尽管其可能由物理上不相连的很多单独的斑点组成。在该形态扩展后，现在斑点包括接近于如人类观众感知的伪像块的边界框。
[0038]在接下来的操作240中，以与在上述操作160中如何执行斑点处理的方式相同或者类似的方式执行斑点处理，但是对扩展的二值图像执行该斑点处理。质心、边界框和面积被再次计算，并且被用于在操作250中标记原始测试帧的受影响区域。
[0039]图6是示出了根据本发明的实施例的用于视频的示例伪像检测器的部件的框图。伪像检测器500的任意部件都可以通过编程处理器或者本领域中已知的任何其他方法以硬件、固件的方式来实现。例如，示出的部件可以由通过存储在相关存储器598中的指令和/或数据被编程的处理器597来执行。
[0040]伪像检测器500可包括用于接受一个或者多个视频帧的输入端。滤波器510如上所述被用于对巾贞进行滤波。差值生成器520从滤波后巾贞和原始巾贞生成差值巾贞。阈值器530从差值帧生成二值图像。
[0041]斑点处理器540如上面参考操作160所述的那样对二值图像进行操作。一旦被斑点处理器处理，则孤立的斑点可在斑点清除器550中被清除。诸如FFT570的变换器对靖除后图像执行变换。
[0042]识别器580通过评估FFT570的输出来确定帧是否包括伪像。如果帧包括伪像，则如上所述，可在二值图像扩展器560中扩展清除后的二值图像。随后，识别器580或者识别器580的一部分以及质心和边界框生成器590标记包括所检测到的伪像的原始帧的区域。
[0043]因此，本发明的实施例包括用于检测视频中的结构化伪像的方法。该方法包括在视频输入端处接受视频帧，从该视频帧生成滤波后帧，求出滤波后帧相对于所接受的帧的差值以建立差值帧，将差值帧内的相连像素的群组识别为斑点，去除孤立的斑点以生成清除后图像，对清除后图像执行傅里叶变换，以及基于清除后图像的傅里叶分量的量值的比较而将视频帧识别为具有结构化伪像。该视频随后可被标记为包括伪像，并且还产生伪像位置。
[0044]实施例还包括用于检测视频中的结构化伪像的视频伪像检测设备。该检测器包括:用于接受视频帧的视频输入端；滤波器；差值生成器，其被构造为从视频帧和已通过滤波器被滤波的视频帧来生成差值图像；斑点识别器，其被构造为将差值帧内的相连像素的群组识别为斑点；斑点清除器，其被构造为去除孤立的斑点以生成清除后图像；傅里叶变换器，用于从清除后图像生成输出；以及识别器，其被构造为基于清除后图像的傅里叶分量的量值的比较而将视频帧检测为具有结构化伪像。其他实施例还包括阈值器，用于生成差值帧的阈值化输出。其他实施例还包括二值图像扩展器以及质心和边界框生成器。
[0045]在各种实施例中，本发明的部件可以硬件、软件或它们的组合的方式来实现，并且可包括通用目的微处理器、数字信号处理器(DSP)和专用集成电路(ASIC)、现场可编程门阵列(FPGA)等。
[0046]根据前面的讨论将认识到的是，本发明代表视频帧评估领域中的显著进步。尽管本发明的特定实施例已被举例说明并且为此举例说明目的而被描述，但将理解的是，在不脱离本发明的范围和精神的情况下，可以做出多种修改。因此，本发明不应当由除了所附权利要求以外的内容进行限制。
【权利要求】
1.一种用于检测视频中的结构化伪像的方法，包括: 在视频输入端处接受视频帧; 从该视频帧生成滤波后帧； 求出所述滤波后帧相对于所接受的帧的差值从而建立差值帧； 将差值帧内的相连像素的群组识别为斑点； 去除孤立的斑点以生成清除后图像； 对清除后图像执行傅里叶变换；以及 基于清除后图像的傅里叶分量的量值的比较而将视频帧识别为具有结构化伪像。
2.根据权利要求1的用于检测视频中的结构化伪像的方法，还包括: 标记视频帧的出现结构化伪像的区域。
3.根据权利要求1的用于检测视频中的结构化伪像的方法，还包括: 阈值化差值帧。
4.根据权利要求3的用于检测视频中的结构化伪像的方法，还包括: 将阈值差值帧与帧中的亮像素的阈值最小值进行比较，以确定视频帧是否包含结构化伪像。`
5.根据权利要求2的用于检测视频中的结构化伪像的方法，其中标记视频帧的出现结构化伪像的区域包括: 扩展二值图像； 识别扩展的二值图像中的斑点；以及 生成边界框。
6.根据权利要求2的用于检测视频中的结构化伪像的方法，其中标记视频帧的出现结构化伪像的区域包括: 扩展二值图像； 识别扩展的二值图像中的斑点；以及 生成质心。
7.根据权利要求1的用于检测视频中的结构化伪像的方法，其中去除孤立的斑点以生成清除后图像包括: 当在两像素附近不具有斑点时，以及当斑点具有小于四个像素的面积时，以O取代斑点中的每个像素。
8.一种用于检测视频中的结构化伪像的视频伪像检测设备，包括: 用于接受视频帧的视频输入端； 滤波器； 差值生成器，其被构造为从视频帧和已通过滤波器被滤波的视频帧来生成差值图像； 斑点识别器，其被构造为将差值帧内的相连像素的群组识别为斑点； 斑点清除器，其被构造为去除孤立的斑点以生成清除后图像； 傅里叶变换器，其用于从清除后图像生成输出；以及 识别器，其被构造为根据清除后图像的傅里叶分量的量值的比较而将视频帧检测为具有结构化伪像。
9.根据权利要求8的视频伪像检测设备，还包括:阈值器，用于生成差值帧的阈值化输出。
10.根据权利要求8的视频伪像检测设备，其中斑点清除器被构造为当在两像素附近不具有斑点时以及当斑点具有小于四个像素的面积时，以O取代斑点中的每个像素。
11.根据权利要求8的视频伪像检测设备，还包括: 伪像标记器，其被构造为生成一个或者多个伪像的位置。
12.根据权利要求11的视频伪像检测设备，其中所述伪像标记器包括二值图像扩展器。
13.根据权利要求12的视频伪像检测设备，其中所述伪像标记器还包括质心生成器。
14.根据权利要求12的视频伪像检测设备，其中所述伪像标记器还包括边界框生成器。
15.根据权利要求8的视频伪像检测设备，其中斑点清除器被构造为当在每侧上在两像素附近不具有斑点时以及当斑点具有小于四个像素的面积时，以O取代斑点中的每个像素 。
【文档编号】G06T5/00GK103873880SQ201310757401
【公开日】2014年6月18日 申请日期:2013年12月13日 优先权日:2012年12月14日
【发明者】A·纳亚克, G·V·瓦拉普拉萨德 申请人:特克特朗尼克公司