用于数字基带视频中场景剪切检测的启发式方法
【专利摘要】根据实施例用于检测视频中场景变化的视频检测器包括用于接受该视频的输入，用于计算两个相邻视频帧之间的差异度量的差异度量计算器，用来检测差异度量计算器的输出是否包括位于高斯分布的标准背离的阈值水平之外的测量的异常检测器。也描述了方法。
【专利说明】用于数字基带视频中场景剪切检测的启发式方法
【技术领域】
[0001]本公开针对视频分析，以及更具体地，针对检测视频流中何时发生场景剪切。
【背景技术】
[0002]视频序列由一组视频帧组成，视频帧之间具有一定的时间间隔。作为给定“场景(scene) ”的一部分,该场景内的视频巾贞具有时间一致性。场景剪切(scene cut)由于许多因素——例如视频编辑效果，改变摄像机角度和艺术效果等等——以及由于场景自身变化而在视频序列中的各个点引入。
[0003]图1示出了在视频中包含两个场景的一系列视频帧，在该视频中从第一场景到第二场景的场景变化是突然的。在突然的场景变化中，在这些场景变化的任意一侧的帧是完全不同的。例如，视频的第一个场景可以是一个人从外面靠近一栋建筑物，然后该视频改变场景到这个人从里面进入这栋建筑物的视图。在这个例子中，第一个场景的最后一个帧和第二个场景的第一个帧是根本不同的。其他场景变化在许多视频帧中逐步发生。这些逐步的场景变化可以包括衰退、擦除、溶解，等等。本发明的实施例针对先提到的场景变化类型。
[0004]有多种检测场景变化的方法，但是他们可以宽泛地分类为两个类别之一——分析压缩视频流的类别和分析未压缩视频流的类别。后一种类型也称为未压缩像素域中的分析，并且是本发明所针对的类别。
[0005]一种在未压缩视频流中检测场景变化的普遍方法是使用强度直方图。在该方法中，计算两个连续视频帧之间的直方图差异。然后该差异与阈值进行比较以决定在两个帧之间是否发生场景剪切。这种方法的潜在缺陷是如何选择所述阈值。有时应用到视频序列的所有帧的全局阈值会产生较好的结果，但是其他时候局部阈值会更好。直方图方法的另一个可能的限制是很难检测具有不同结构但具有相同像素值的两幅图像。
[0006]本发明的实施例致力于现有技术的这些以及其他限制。
【发明内容】
[0007]本发明的一些方面包括用于检测可以包括多个不同场景的视频中的场景变化的方法。这样一种方法包括在视频输入处接受至少两个视频帧，以及计算两个相邻视频帧之间的差异度量。接着，该方法检测差异度量计算器的输出是否包括在高斯分布的标准偏差的阈值水平之外的测量。当存在这种异常时，该方法指示该视频具有场景变化。差异度量可以包括例如均方根误差。该方法还可以包括异常检测，用于验证一对异常是基于来自在至少一个相同尺寸的滑动窗中的相同元素的数据。
[0008]本发明的其他方面包括用于检测可以包括多个不同场景的视频中的场景变化的视频检测器，其中该视频包括多个帧，每一个帧由单独的像素组成。这种视频检测器包括用于接受视频的输入，用于计算两个相邻视频帧之间的差异度量的差异度量计算器，以及检测所述差异度量计算器的输出是否包括在高斯分布的标准偏差的阈值水平之外的测量的异常检测器。一旦计算完，该视频检测器的标识符基于异常检测器的输出指示该视频具有场景变化。
【专利附图】
【附图说明】
[0009]图1示出了在视频中包含两个场景的一系列视频帧，在该视频中从第一场景到第二场景的场景变化是突然的。。
[0010]图2示出了通过本发明实施例使用的在没有场景剪切的帧区间中的相邻帧之间的差异度量的行为。
[0011]图3示出了通过本发明实施例使用的在有一个场景剪切的帧区间中的相邻帧之间的差异度量的行为。
[0012]图4是示出根据本发明的实施例检测视频中的场景剪切的示例方法的流程图。
[0013]图5是根据本发明的实施例由用于错误警报检测器的块匹配方法所使用的示例窗尺寸。
[0014]图6是示意根据本发明的实施例检测针对视频中的场景剪切的错误警报的示例方法的流程图。
[0015]图7是示出根据本发明的实施例构造为识别视频的场景剪切的视频检测器的部件的框图。
【具体实施方式】
[0016]本发明的实施例采用统计建模来检测视频中的场景变化。计算两个连续视频帧之间的差异度量，然后统计分析该度量的数据以寻找异常。如果存在异常，很可能是被用来计算该度量的帧是来自不同的场景。该方法的变型被用来减少假阳性结果的概率。
[0017]一个差异度量是均方根误差(root mean squared error, RMSE)。在这个实施例中，针对以YUV格式表示的两个相邻帧的亮度分量计算RMSE，该YUV是一种通常在流视频中出现的格式，其把亮度值增强到超过色度值。
[0018]RMSE公式阐述如下:
[0019]RMSE=平方根(MSE)，其中
[0020]MSE= Σ Nx-(n-l)x*Nx_ (N-1)x) / 图像中的像素数，
[0021]其中
[0022]Nx是帧N中的亮度分量的像素X ；
[0023](n-1) χ是帧N-1中的亮度分量的像素χ ；以及
[0024]χ从O变化到(帧亮度宽度*帧亮度高度)。
[0025]由RMSE值通过滑动窗展示的统计行为近似于高斯分布，其中所述值的大部分以均值为中心，并且一些值在离该均值一个标准偏差内。
[0026]图2示出了这种行为。图2是针对没有突然场景剪切的测试视频序列的样本数而绘制的RMSE值的图表。通过使用已知的属性，即展示高斯属性的分布的样本的95%位于离均值两个标准偏差内，可以假设位于离RMSE分布的均值两个标准偏差以外的任何东西可以被认为是潜在的异常。图3示出了具有突然场景剪切的视频测试序列的RMSE值的图表。很明显在图3中，当大多数样本以均值为中心时，存在具有约为40的RMSE值的一个异常，该异常约为均值的8倍。该异常RMSE值对应于在该帧处的场景剪切，该场景剪切已由人工检查确认。
[0027]因此，本发明的实施例以差异度量检测到异常，所述差异度量例如是特定窗尺寸的RMSE样本。一个这样的统计方法是Huber方法，在2001年4月出版的第6卷AMCTechnical Brief 中的题目为“Robust Statistics:a method of coping with outliers”中详述，其通过引用被结合于此。
[0028]然而，有时例如相机平移或缩放的影响、文本标题的出现或在视频序列的两个连续帧之间的一些丢帧也可能产生RMSE值的峰值。如果没有错误检测，这些RMSE峰值会被归类为异常，并因此被错误地当做场景剪切。为了使这种错误归属的可能性最小化，本发明的实施例包括如下描述的块匹配方法。
[0029]图4A-4C示出了根据实施例的示例方法。流程100在操作110中从视频序列的第一个帧开始。决定操作114检查当前帧是否是视频序列中的至少第二个帧。既然第一个帧不是至少第二个帧，决定操作114初始地向否方向退出，并且流程100继续到获取视频序列中的下一帧的操作168 (图4C)。由于该视频序列的末端还未到达，决定操作170向否方向退出，并且流程100循环回到操作114(图4A)。
[0030]然后该流程继续到操作116，如下所述，这里决定操作确定是否达到滑动窗的末端。该滑动窗的尺寸可以由用户指定。假设还没到达该滑动窗的末端，操作116向否方向退出，并且流程100继续过程160 (图4C)，这里计算帧N和N-1之间的RMSE差异度量。
[0031]然后操作162计算帧N和N-1之间的块失配百分比，下面参考图5和6详细描述该操作。
[0032]接着，流程100继续到操作164，该操作将在操作160和162中分别计算的RMSE和块失配百分比相组合，并且该滑动窗的尺寸增加I。
[0033]然后流程100在操作168中选择视频序列中的下一帧。如果决定操作170确定还没有达到该视频序列中的最后一帧，则该流程100在处理114中再一次重复。
[0034]又参照操作116(图4A)，如果相反已经到达该滑动窗的末端，那么该流程100向是方向退出决定操作116。然后在操作120中采用例如上面描述的Huber方法的统计方法确定异常。如果存在这种异常，决定操作122向是方向退出，并且在操作124中再次采用Huber方法以块失配百分比的方式确定异常。
[0035]如果以块失配百分比的方式存在这种异常，那么流程100继续操作130，该操作开始一个序列来检查假阳性场景检测。
[0036]为了检查这种假阳性，首先决定操作140(图4B)检查循环索引是否小于该滑动窗的尺寸。由于第一次通过该分支时该循环索引必须小于滑动窗的尺寸，因此决定操作140向是方向退出。然后决定操作142验证在RMSE中的异常和块失配百分比的异常二者是指向滑动窗中的相同元素。如果是，那么决定操作142向是方向退出，并且确定在帧号(N-滑动窗尺寸-循环索引)处存在场景剪切。然后在操作146中增加该循环索引，并且该分支继续回到操作140，直到循环索引等于滑动窗的尺寸。
[0037]当循环索引等于滑动窗的尺寸时，流程100继续到决定操作150。如果在操作144中检测到场景剪切，那么决定操作150向是方向退出，并且在操作152中将用于RMSE和块失配的数据从滑动窗中的场景剪切检测的点移动到滑动窗的开始，并且流程100继续操作160 (图4C)。如果相反在操作144中没有检测到场景剪切，那么决定操作150向否方向退出，并且将用于RMSE和块失配二者的滑动窗统计从滑动窗尺寸的I / 2移动到该滑动窗的开始，并且流程100再次继续操作160 (图4C)。
[0038]下面参照图5和6描述操作162(图4C)中引用的块失配方法。在这些图中:
PO是帧(N-1)中的当前块的共位块；
PO:P48是当前块所匹配的帧(N-1)中的块；以及 窗X和窗Y是匹配窗的用户可配置尺寸。
[0039]现在参照图6中的流程200描述块匹配方法的要点。初始化操作220后，在操作222中，帧N和N-1被分为多个例如二维16X16的块。虽然没有示出，对于帧N中的每一个块“X”，也计算块χ的亮度分量的均值作为均值X。
[0040]然后，只要在决定操作230中块计算器没有达到最后的块，就在操作240中对于帧(N-1)中的窗X*窗Y中的每一个块“y”，计算块y的平均亮度分量作为均值y，并且与均值χ进行比较。在决定操作250中，如果均值χ在误差容差范围之外，例如每个均值y的五个单位，那么在操作260中增加块失配计数。接着在操作270中也增加块计数器。
[0041]最后，当这样针对每个块χ对每个块y估值之后，在操作280中计算块失配百分比为(块失配计数/块的总数)*100。
[0042]块匹配方法的精炼包括采用不同于操作122中的16X16的块尺寸。也可以存储重叠的相邻块的均值，使得不必在每个块中计算均值。
[0043]用于检测可以包括多个不同场景的视频中的场景变化的场景变化检测器可以包括如在图7中所示的元件。在图7中，场景变化检测器700包括用于接受视频的输入。差异度量计算器720用于如上参考图4A-4C所述计算两个相邻视频帧之间的亮度分量的差异度量。在一些实施例中，差异度量计算器可以计算两个相邻视频帧之间的均方根误差。
[0044]场景变化检测器700也包括异常检测器730，用来检测差异度量计算器720的输出是否包括在高斯分布的标准偏差的阈值水平之外的测量。然后标识符750可以基于异常检测器的输出指示该视频具有场景变化，并且还可以指示场景变化的位置。
[0045]场景变化检测器700也可以包括异常检测器验证器732，其构建来验证一对异常是基于来自在至少一个相同尺寸滑动窗中的相同元素的数据。这减少了当实际没有场景变化时错误标注场景变化的可能性。
[0046]场景变化检测器700也可以包括块失配计算器，其构建来比较两个相邻帧的第一帧的块与两个相邻帧的第二帧的一组块，并且在一些实施例中，该块失配计算器被构建来对不同尺寸的块操作。在图7的功能框图中示出的任何功能可以由处理器760实现，并且可以存储在相关的内存770中。
【权利要求】
1.一种用于检测在可以包括多个不同场景的视频中的场景变化的视频检测器，该视频包括多个帧，每个帧由单独的像素组成，该检测器包括: 输入，用于接受该视频； 差异度量计算器，用于计算两个相邻视频帧之间的差异度量； 异常检测器，用来检测差异度量计算器的输出是否包括位于高斯分布的标准偏差的阈值水平之外的测量；以及 标识符，构建来基于异常检测器的输出指示该视频具有场景变化。
2.如权利要求1所述的用于检测场景变化的视频检测器，其中，差异度量计算器计算两个相邻视频帧之间的均方根误差。
3.如权利要求2所述的用于检测场景变化的视频检测器，其中所述两个相邻视频帧是以YUV格式表示的，并且其中差异度量计算器计算所述两个相邻视频帧的亮度分量的均方根误差。
4.如权利要求3所述的用于检测场景变化的视频检测器，进一步包括: 异常检测器验证器，其构建来验证一对异常是基于来自在至少一个相同尺寸滑动窗中的相同元素的数据。
5.如权利要求1所述的用于检测场景变化的视频检测器，进一步包括: 块失配计算器，其构建来比较两个相邻帧的第一帧的块与两个相邻帧的第二帧的一组块。
6.如权利要求6所述的用于检测场景变化的视频检测器，其中与两个相邻帧的第一帧的所述块进行比较的两个相邻帧的第二帧的所述一组块是可配置的。
7.一种用于检测在可以包括多个不同场景的视频中的场景变化的方法，该方法包括: 在视频输入处接受至少两个视频帧； 计算两个相邻视频帧之间的差异度量； 检测差异度量计算器的输出是否包括位于高斯分布的标准偏差的阈值水平之外的测量；以及 基于异常检测器的输出指示该视频具有场景变化。
8.如权利要求7所述的用于检测场景变化的方法，其中，计算两个相邻视频帧之间的差异度量包括计算两个相邻视频帧之间的均方根误差。
9.如权利要求7所述的用于检测场景变化的方法，其中所述两个相邻视频帧是以YUV格式表示的，并且计算两个相邻视频帧之间的差异度量包括计算所述两个相邻视频帧的亮度分量的均方根误差。
10.如权利要求7所述的用于检测场景变化的方法，进一步包括: 验证一对异常是基于来自在至少一个相同尺寸滑动窗中的相同元素的数据。
11.如权利要求7所述的用于检测场景变化的方法，进一步包括: 比较两个相邻帧的第一帧的块与两个相邻帧的第二帧的一组块。
12.如权利要求11所述的用于检测场景变化的方法，其中与两个相邻帧的第一帧的所述块进行比较的两个相邻帧的第二帧的所述一组块是可配置的。
【文档编号】H04N5/14GK103780801SQ201310631179
【公开日】2014年5月7日 申请日期:2013年10月24日 优先权日:2012年10月25日
【发明者】K·斯尔 申请人:特克特朗尼克公司