专利名称：检测运动图像中视频镜头变化的方法及使用该方法的设备的制作方法
技术领域：
本发明涉及检测运动图像数据中的视频镜头(shot)变化，并且更加具体地讲，涉及一种通过以多层分级流为单元分类视频帧来检测运动图像的视频镜头变化和高速检测视频镜头变化以便快速地索引(index)运动图像的内容的方法，以及采用该方法的设备。
背景技术：
视频镜头是在拍摄视频时通过单一摄像机的移动连续捕获的一系列视频帧，并且在通过主题索引视频时，它被用作基本处理单元。用于检测视频镜头变化的技术在视频索引中是很重要的。视频镜头边界的信息是在基于视频内容组织内容表、实现视频内容概括功能、或通过主题编辑视频时使用的基本的片段数据。
所述用于检测视频镜头变化以提供视频镜头边界的信息的技术主要可以分为压缩区域检测技术和非压缩区域(或像素区域)检测技术。最初，处理多种像素区域图像特性的非压缩区域检测技术被频繁地使用。但是，近来部分地解码压缩视频流然后利用诸如DCT(离散余弦变换)系数、运动矢量、宏块模式和比特率分配等的某种流数据的压缩区域方法得到广泛地发展，从而加速了对以压缩格式存储的视频内容的变化检测任务。
根据通常的检测视频镜头变化的过程，对每一帧计算出相邻帧之间的差别(differential)特征值，作为检测测量值。主要地，使用在随后的相邻帧的色彩柱状图之间的差别。然后，比较差别特征值与预先确定的阈值来确定在当前帧中是否产生了视频镜头变化。在压缩区域方法的情况下，大多数检测测量是直接根据DCT(离散余弦变化)系数、运动矢量、宏块模式和比特流分配的部分解码流数据计算出的。因此，可以不用完全解压缩而快速执行镜头变化检测。
但是，通常用于压缩或非压缩区域的镜头变化检测技术一般具有以下局限性。
第一，视频中对应于视频镜头变化的帧可能低于全部视频帧的1％的比例。然而，多数视频镜头变化检测技术在每一帧时或在具有一定的帧跳跃长度的其它帧处重复。因此，该检测方案的计算负荷的效率非常低，所以不允许处理速度的改善。为了改善检测速度，一些压缩区域检测方法计算在压缩流数据中随后的内部编码帧之间的检测测量值，该内部编码帧通常属于每一个由大约15个帧组成的GOP(图像组)流单元中的第一帧。GOP流单元中存在内部编码帧使得能够随机访问GOP单元中的压缩视频流。更特别地，通过比较在每一个GOP流单元计算的检测测量值与给定的阈值，可以作出一个关于当前GOP流单元在其自身中是否存在视频镜头变化的判定。然后，检验在被声明为镜头变化候选GOP单元的当前GOP流单元中所有的视频帧是镜头变化帧的可能性。此外，为了覆盖这样的视频镜头变化检测，该变化被特定地分为突变(cut)或GT(逐渐变化)，在每一帧处需要计算出两种不同的检测测量值。详细地，对于表示随后两个视频摄像机镜头的无重叠连接的突变型镜头变化的有效的检测，在具有相对短的帧距离(例如，1帧)的两个后续帧中计算出的检测测量值就足够了，而在表示在随后两个视频摄像机镜头的部分重叠连接的GT型镜头变化的情况下，就应该计算出在具有相对长的帧距离(例如，15～45帧)的两个后续帧之间的另一个检测测量值。上述检测方法的这些因素成为改善检测速度的干扰。
第二，将色彩柱状图差别用作主要检测测量的传统方法暴露出在时间上相邻的、具有相似色彩分布的视频镜头之间的镜头变化检测上的局限性。此外，在可以频繁地观察到一种如闪光的有效照明度变化的新闻视频或音乐视频中，在具有闪光的视频帧周围检测到许多虚假镜头变化。为了弥补这一问题，一些早期的工作提出一些独立处理步骤，如独立闪光检测模块或用于图像照明度补偿的复杂的处理。
发明内容
本发明提供一种用于检测运动图像中的视频镜头变化的方法，在该方法中运动图像的压缩视频流数据可以以多级流为单元来划分，并且只对一些被检测为具有镜头变化可能性的流组应用分级镜头变化检测处理。
同样，本发明提供一种用于检测运动图像中的视频镜头变化的设备，在该设备中运动图像的压缩视频流数据可以以多级流单元来划分，并且只对一些被检测为具有镜头变化可能性的流组应用分级镜头变化检测处理。
根据本发明的一个方面，提供一种用于检测运动图像中的视频镜头变化的方法，该方法包括操作(a)对于通过组合运动图像的视频帧组成的第一至第K(此处，K是大于1的正整数)上层帧组、通过组合第一至第K上层帧组中的第L(此处，L是大于1并小于K的正整数)上层帧组中的视频帧组成的第一至第M(此处，M是大于1的正整数)中间层帧组、以及在第一至第M中间层帧组的第N中间层帧组中的第N(此处，N是大于1并且小于M的正整数)下层帧组，检测是否存在视频镜头变化；和(b)通过使用操作(a)的结果产生一个视频镜头变化列表。
根据本发明的另一方面，提供一种用于检测运动图像中的视频镜头变化的设备，该设备包括镜头变化检测单元，该单元对于通过组合运动图像的视频帧形成的第一至第K(此处，K是大于1的正整数)上层帧组、通过组合第一至第K上层帧组中的第L(此处，L是大于1并小于K的正整数)上层帧组中的视频帧组成的第一至第M(此处，M是大于1的正整数)中间层帧组、以及在第一至第M中间层帧组的第N中间层帧组中的第N(此处，N是大于1并且小于M的正整数)下层帧组，检测视频镜头变化；和镜头变化列表产生单元，用于产生已检测的视频的镜头变化列表。
结合附图，从下面对实施例的描述中，本发明的这些和/或其他方面、特征和优点将变得清楚和更加容易理解，其中图1是描述根据本发明的一个实施例检测运动图像中的视频镜头变化的方法的流程图；图2是示出视频流数据帧编组的例子的示意图；图3是描述根据本发明的一个实施例的、图1中的操作10A的流程图；图4是描述根据本发明的一个实施例的、图3中的操作32的流程图；图5是描述根据本发明的一个实施例的、图3中的操作42的流程图；图6是描述根据本发明的一个实施例的、图3中的操作56的流程图；图7是描述根据本发明的一个实施例的、图6中的操作158的流程图；图8是描述根据本发明的一个实施例的、图3中的操作60的流程图；图9是描述根据本发明的一个实施例的、图8中的操作184的流程图；
图10描述根据本发明的一个实施例的、图8中的操作186的流程图；图11描述根据本发明的一个实施例的、图1中的操作10的流程图；图12是示出根据本发明的一个实施例的、用于检测运动图像中的视频镜头变化的设备的框图；图13是示出根据本发明的一个实施例的镜头变化检测单元的框图；图14是示出根据本发明的一个实施例的第三镜头变化可能性检测单元502的框图；图15是示出根据本发明的一个实施例的、图13中的第一镜头变化可能性检测单元508的框图；图16是示出根据本发明的一个实施例的、图13中的第二镜头变化可能性检测单元518的框图；图17是示出根据本发明的一个实施例的、图16中第四镜头变化可能性检测单元648的框图；图18是示出根据本发明的一个实施例的、图13中的突变型变化检测单元520的框图；图19是示出根据本发明的一个实施例的、图18中的第二突变型帧确定单元804的框图；图20是示出根据本发明的另一个实施例的、图18中的第二突变型帧确定单元804的框图；和图21是示出根据本发明的另一个实施例的、图12中的镜头变化检测单元400的框图。
具体实施例方式
现在将参照附图对本发明进行更为全面地介绍，其中在附图中给出了本发明的示范性实施例。不过，本发明可以以多种不同的形式具体实施并且不应被理解为局限于在本文提出的实施例；相反，给出这些实施例使得本公开内容更加全面和完整，并且将会把本发明的概念完整地传达给本领域技术人员。在附图中相同的参考数字表示相同的元件，因此省略对它们的介绍。
参见图1，根据本发明的一个实施例检测运动图像中的视频镜头变化的方法包括检测是否存在视频镜头变化和随后产生镜头变化列表的操作10和12。
首先，对于通过组合运动图像的视频帧形成的第一至第K(此处，K是大于1的正整数)上层帧组、通过组合第一至第K上层帧组当中的第L(此处，L是大于1并小于或等于K的正整数)上层帧组中的视频帧形成的第一至第M(此处，M是大于1的正整数)中间层帧组、和通过组合第一至第M中间层帧组当中的第N个中间层帧组中的视频帧形成的第N(此处，N是大于1并且小于或等于M的正整数)个下层帧组进行视频镜头变化的检测(操作10)。第一至第K上层帧组是包括内部帧、前向预测帧、双向预测帧的图像组(GOP)。该GOP是由从一个内部帧延续到下一个内部帧的一组帧组成的，并且其作为可以任意访问的最小独立图像单元。
而且，优选的是对于比第一至第K上层帧组更高的最高层帧组检测视频镜头变化。
参见图2，最高层帧组是通过将两个上层帧组组合为一个帧组形成的。每一个上层帧组被分为多个中间层帧组。类似地，每一个中间层帧组被分为多个下层帧组。如图2所示，第一最高层帧组包括位于两端的内部帧(I1和I3)，并且第一和第二上层帧组也分别包括位于两端的内部编码帧集合(I1和I2)及(I2和I3)。这里，显示为第一最高层帧组内包含有两个上层帧组。然而，第一最高层帧组内也可以包含三个上层帧组。第一上层帧组还包括第一至第五中间层帧组，这些中间层帧组分别由以下五个边界帧集合(I1和P1)、(P1和P2)、(P2和P3)、(P3和P4)、(P4和I2)表示。显示为每一个中间层帧组包括介于内部帧或前向预测帧之间的两个双向预测帧。但是，也可以包括预定数量的双向预测帧。这里，显示的是单独的双向预测帧作为下层帧组的单元帧。注意，由于为了便于解释说明，所描绘的连续帧是以视频播放顺序排列的，而不是按照视频编码顺序排列的，因此，上述分级帧分组与对真实压缩视频流数据实行的分组应当略有不同。
参见图3，操作10包括操作30至68，用于通过对于多层帧组执行分级镜头变化检测处理来检测在帧单元中是否存在突变型变化或是渐变型变化。
首先，在通过组合在第一至第K上层帧组中的预定数量的上层帧组而形成的第一至第G(其中，G是一个大于1的正整数)最高层帧组中指定第H(其中，H是一个大于1并且小于或等于G的正整数)最高层帧组(操作30)。例如，如果运动图像是由第一至第G最高层帧组组成，则顺序指定第一至第G最高层帧组。
在操作30之后，对于第H最高层帧组检测镜头变化的可能性(操作32)。这里，镜头变化可能性表示经历镜头变化的一帧或多帧能够被包括在帧组中的概率。如上所述，镜头变化被分类为突变型变化和渐变型变化。突变型变化指的是一种在相邻视频摄像镜头之间的突然变化，而渐变型变化指的是相邻视频摄像镜头之间的平滑或渐进变化。如果确定可能发生突变型变化和渐变型变化中的任何一个，就确定镜头变化是可能的。
参见图4，操作32包括通过使用对于第三参考帧计算的第二差别特征值和第二相关系数来确定镜头变化可能性的操作100至110。通常，参考帧是指视频压缩序列中的一个内部编码帧或前向预测帧。
首先，对于位于第H最高层帧组的两端的第三参考帧计算基于色彩柱状图的第二差别特征值(操作100)。特别地，第三参考帧是内部帧。例如，如图2所示，对于位于第一最高层帧组两端的第一和第三内部帧I1和I3、根据两个色彩柱状图计算第二差别特征值。下面的等式用于计算第二差别特征值。
|ΔFij|=1AΣk=1n|Fi(k)-Fj(k)|]]>其中，下标i和j代表位于最高层帧组两端的帧；F表示指定帧的色彩柱状图；k表示色彩柱状图中的格(bin)编号；n表示在色彩柱状图中的格的总数；和A表示指定帧的图像大小。
等式1的结果被用作用于确定两个参考图像之间色彩分布相似性的差别特征值。当差别特征值越接近于0，就认为两幅图像在色彩分布上越相似，由所述两幅图像定义的流帧单元(或组)被认为具有越低的镜头变化可能性。相反，当差别特征值从0变得越大，则认为由所述两幅图像定义的流帧单元的镜头变化可能性越大。
在操作100之后，将计算的第二差别特征值与预定的第三阈值进行比较(操作102)。如果通过等式1计算的第二差别特征值不大于第三阈值，就执行下面将要描述的操作110。
但是，如果计算的第二差别特征值大于第三阈值，则对于第三参考帧计算归一化(normalized)的第二相关系数(操作104)。下面的等式被用于计算第二归一化的相关系数，该相关系数防止由照明度变化，尤其是闪光灯，引起的虚假检测。
γij=1mΣp=1m[(Di(p)-Bi)(Dj(p)-Bj)Ei*Ej]]]>其中，下标i和j表示位于最高层帧组两端的(参考)帧；p表示一个像素位置；m表示图像帧像素的总数；Di(p)和Dj(p)表示i和j帧中的p像素的亮度值；Bi和Bj表示i和j帧的平均亮度值；Ei和Ej表示i和j帧的亮度值的标准差。
通过等式2计算出的归一化相关系数是分布在-1到1之间的。当估算的相关系数变得越接近1，在由所述两幅图像定义的流单元中发生镜头变化的可能性就越低。正相反，当相关系数越接近-1，镜头变化可能性就越高。所述的相关系数与基于色彩分布的差别特征值相比更有力地预防照明度变化。
在操作104之后，将由等式2得到的第二相关系数与预定的第四阈值进行比较(操作106)。如果比较的结果是第二相关系数不比第四阈值小，就如下执行操作110。
但是，如果计算的第二相关系数比第四阈值小，就确定对于第H最高层帧组存在镜头变化可能性(操作108)。
同时，如果操作102的结果是第二差别特征值不大于第三阈值，或者如果操作106的结果是第二相关系数不小于第四阈值，就确定对于第H最高层帧组不存在镜头变化可能性(操作110)。无镜头变化可能性意味着在第H最高层帧组中不存在在其中发生了突变型变化或渐变型变化的帧或帧块。
在操作32之后，基于操作32的结果确定对于第H最高层帧组是否存在镜头变化可能性(操作34)。如果对于第H最高层帧组存在镜头变化可能性，就执行操作40。
但是，如果对于第H最高层帧组不存在镜头变化可能性，就确定第H最高层帧组是否是第一到第G最高层帧组的最后一个(操作36)。换句话说，没有要检测的最高层帧组。
如果第H最高层帧组不是第一到第G最高层帧组的最后一个，就指定第(H+1)最高层帧组(其中，H+1是大于1并且小于或等于G的正整数)，并且执行操作32(操作38)。如果指定了第(H+1)最高层帧组，则在步骤32中对于第(H+1)最高层帧组检测镜头变化可能性。
但是，如果第H最高层帧组是第一至第G最高层帧组的最后一个，则如下所述执行操作12。如果第H最高层帧组是最高层帧组的最后一个，由于没有将要被检测的最高层帧组，就执行操作12。
在操作34中，如果对于第H最高层帧组存在镜头变化可能性，就指定第L上层帧组(操作40)。如上所述，第L上层帧组是GOP结构类型。在包含在第H最高层帧组中的第一至第K上层帧组中，按照帧位置的顺序从第一上层帧组开始第L上层帧组的指定。
在操作40之后，对于第L上层帧组检测镜头变化可能性(操作42)。
参见图5，操作42包括通过使用对于第二参考帧计算的第一相关系数和计算的第一差别特征值来检测镜头变化可能性的操作130到140。
首先，对于位于第L上层帧组两端的第二参考帧，计算基于色彩柱状图的第一差别特征值(操作130)。类似于第三参考帧，第二参考帧是内部帧。例如，如图2所示，第一上层帧组的第二参考帧是第一内部帧I1和第二内部帧I2。第一差别特征值可以由等式1得到。
在操作130之后，将得到的第一差别特征值与预定的阈值进行比较(操作132)。如果比较的结果是第一差别特征值不大于第一阈值，则如下所述执行操作140。
但是，如果所得到的第一差别特征值大于第一阈值，则对于第二参考帧计算归一化的第一相关系数(操作134)。第一相关系数可以由等式2得到。
在操作134之后，将得到的第一相关系数与预定的第二阈值进行比较(操作136)。如果比较的结果是第一相关系数不小于第二阈值，则如下所述执行操作140。
但是，如果得到的第一相关系数比第二阈值小，就确定对于第L上层帧组存在镜头变化可能性(操作138)。
同时，如果操作132中的比较结果是第一差别特征值不大于第一阈值，或者如果操作136中的比较结果是第一相关系数不小于第二阈值，就确定对于第L上层帧组不存在镜头变化可能性(操作140)。
在操作42之后，通过使用操作42的结果确定对于第L上层帧组是否存在镜头变化可能性(操作44)。如果对于第L上层帧组存在镜头变化可能性，则如下所述执行操作50。
但是，如果对于第L上层帧组不存在镜头变化可能性，则确定第L上层帧组是不是第一到第K上层帧组的最后一个(操作46)。换句话说，不存在将要被检测的上层帧组。
如果第L上层帧组不是第一至第K上层帧组的最后一个，就指定第(L+1)上层帧组(其中，(L+1)是大于1并且小于或等于K的正整数)，并且执行操作42(操作48)。
但是，如果第L上层帧组是第一至第K上层帧组的最后一个，就执行操作36。这是因为在第H最高层帧组中没有将要被检测的上层帧组。因此，为了检测其它的最高层帧组，就执行操作36。
在操作44中，如果存在针对第L上层帧组的镜头变化可能性，就确定在第L上层帧组中是否包括一个或多个第一参考帧，所述参考帧将第L上层帧组分为第一至第M中间层帧组(操作50)。特别地，第一参考帧是前向预测帧。如图2所示，可以认识到对应于前向预测帧的第一参考帧P1、P2、P3、P4包括在第一上层帧组中。最后，基于该第一参考帧P1、P2、P3、P4而形成第一到第五中间层帧。
如果在第L上层帧组中包括一个或多个第一参考帧，就执行操作54。
但是，如果在第L上层帧组中没有第一参考帧，位于第L上层帧组两端的第二参考帧中的第二个被确定为相应于视频镜头的突然变化的突变型变化帧。然后执行操作46(操作52)。如果在操作44中确定存在镜头变化可能性的第L上层帧组中没有前向预测帧，其就确定存在一个突变型变化。
在操作50中，如果在第L上层帧组中存在第一参考帧，就指定第N中间层帧组以便检测视频镜头变化(操作54)。如果第一参考帧包括在第L上层帧组中，就确定存在分割第L上层帧组的中间层帧组。在这种情况下，从第L上层帧组的多个帧中的前面的中间层帧组进行顺序指定。
在操作54之后，对于第N中间层帧组检测镜头变化可能性(操作56)。
参见图6，操作56包括使用对于预定帧计算的第三相关系数和第三差别特征值来检测镜头变化可能性的操作150到164。
首先，对于位于第N中间层帧组两端的帧，基于色彩柱状图计算第三差别特征值(操作150)。预定的帧可以是内部帧或是前向预测帧。如图2所示，计算位于在第一上层帧组中的第二中间层帧组的两端的预定帧P1和P2的第三差别特征值。第三差别特征值通过使用等式1计算出。
在操作150之后，将计算出的第三差别特征值与预定的第五阈值比较(操作152)。如果比较结果是第三差别特征值不大于第五阈值，就如下所述执行操作164。
但是，如果得到的第三差别特征值大于第五阈值，则对于预定帧计算归一化的第三相关系数(操作154)。第三相关系数通过使用等式2计算出。
在操作154之后，确定得到的第三相关系数是否在预定的第六阈值和预定的第七阈值之间(操作156)。
如果得到的第三相关系数在第六阈值和第七阈值之间，则对于第N中间层帧组，基于运动信息检测镜头变化可能性(操作158)。对于相应帧的每一个块执行运动矢量预测，从而基于运动补偿技术实现视频压缩。在这种情况下，根据在相应帧中是否存在镜头变化来确定是否应该执行运动矢量预测。如果应该执行预测模式，就确定应该采用前向预测模式、反向预测模式、和双向预测模式中的哪种模式来实现运动矢量预测。换句话说，可能通过对于由运动补偿压缩的帧的流数据中的每一个块检测运动矢量预测和检测每一个预测模式的比例，来间接确定是否有镜头变化。换句话说，在运动预测帧中的宏块中，如果内部模式的数量大于运动预测模式(例如，前向预测模式，反向预测模式，和双向预测模式)的数量，这意味着镜头变化可能性变高了。
参见图7，操作158包括操作170到178，用于基于对于在第N中间层帧组中的第一参考帧计算的第一发生率比例检测对于第N中间层帧组的镜头变化可能性。
首先，确定位于第N中间层帧组两端的预定帧中的第二个是否是第一参考帧中的一个(操作170)。如上所述，预定帧可以是内部帧也可以是前向预测帧。然后，确定预定帧中位于第二个的帧是否是与第一参考帧相应的前向预测帧。如果预定帧中位于第二个的帧不是第一参考帧，就执行操作178。
但是，如果预定帧中位于第二个的帧是第一参考帧，则计算出第一发生率比例(操作172)。第一发生率比例是内部模式的发生率和前向预测模式的发生率的比例。内部模式的发生率表示在第一参考帧，也就是前向预测帧，中存在多少具有内部模式的宏块。前向预测模式的发生率表示在第一参考帧，也就是前向预测帧，中存在多少具有前向预测模式的宏块。第一发生率比例可以由下面的等式得到。
R1＝S1/T1，其中，R1是第一发生率比例S1内部模式的发生率；和T1是前向预测模式的发生率。
在操作172之后，将得到的第一发生率比例与预定的第八阈值进行比较(操作174)。如果第一发生率比例大于第八阈值，执行操作178。
相反地，如果获得的第一发生率比例不大于第八阈值，确定对于第N中间层帧组不存在镜头变化性(操作176)。
作为操作170的结果，如果预定帧中的第二个不是第一参考帧，或者如果操作174的结果是第一发生率比例大于第八阈值，就基于运动信息确定对于第N中间层帧组存在镜头变化可能性(操作178)。
如果图6中的操作156的结果是确定第三相关系数不在第六和第七阈值之间，则确定得到的第三相关系数是否小于第六阈值(操作160)。
如果得到的第三相关系数小于第六阈值，就基于归一化的相关性确定对于第N中间层帧组存在镜头变化可能性(操作162)。
相反地，如果在操作152中确定第三差别特征值不大于第五阈值，或者如果在操作160中确定第三相关系数大于第七阈值，就确定对于第N中间层帧组不存在镜头变化可能性(操作164)。
在操作56之后，基于操作56的结果确定对于第N中间层帧组是否存在镜头变化可能性(操作58)。
如果对于第N中间层帧组不存在镜头变化可能性，就确定第N中间层帧组是否是第一到第M中间层帧组的最后一个(操作62)。
作为操作62的结果，如果确定第N中间层帧组不是第一至第M中间层帧组的最后一个，则指定第(N+1)中间层帧组(其中，N+1是大于1并且小于或等于M的正整数)，并且执行操作56(操作64)。在操作56中，对于第(N+1)中间层帧组检测镜头变化可能性。
作为操作62的结果，如果第N中间层帧组是第一至第M中间层帧组中的最后一个，这就意味着在第L上层帧组中检测镜头变化的处理完成了。因此，确定对于第一到第M中间层帧组是否检测到突变型镜头变化(操作66)。换句话说，确定在第L上层帧组中是否存在突然的镜头变化。
如果确定在第一至第M中间层帧组的任何一个中没有突变型变化，就检测对于第L上层帧组是否存在渐变型变化，然后执行操作46(操作68)。
相反地，如果对于在第L上层帧组中的第一至第M中间层帧组存在突变型变化(该变化是视频镜头的突然变化)，就执行操作46。
同时，作为操作58的结果，如果对于第N中间层帧组存在镜头变化可能性，就确定对于第N下层帧组是否存在突变型变化，该变化是突然的视频镜头变化(操作60)。
参见图8，操作60包括操作180至188，用于基于在第N下层帧组中是否存在双向预测帧来对于第N下层帧组检测是否存在突变型变化。
首先，确定在第N下层帧组中是否存在双向预测帧(操作180)。如果在第N下层帧组中不具有双向预测帧，执行操作188。
相反地，如果在第N下层帧组中具有双向预测帧，就基于运动信息确定第N中间层帧组是不是被确定为具有镜头变化可能性的中间层帧组(操作182)。
如果基于运动信息确定第N中间层帧组是被确定为具有镜头变化可能性的中间层帧组，则最后基于运动信息确定对于双向预测帧是否存在突变型变化(操作184)。
参见图9，操作184包括操作200至212，用于通过使用第二和第三发生率比例确定对于双向预测帧是否存在突变型变化。
首先，在双向预测帧中指定第一双向预测帧(操作200)。第一双向预测帧是第N下层帧组中双向预测帧中位于第一位置(order)的帧。
在操作200之后，对于第一双向预测帧计算第二和第三发生率比例(操作202)。第二发生率比例是双向预测模式发生率与前向预测模式和反向预测模式发生率的比例。第三发生率比例是反向预测模式发生率与前向预测模式发生率的比例。反向预测模式发生率表示在双向预测帧中有多少个具有反向模式的宏块存在。前向预测模式和反向预测模式发生率表示在双向预测模式中，具有前向预测模式的宏块的数量与具有反向预测模式的宏块的数量的总和。双向预测模式发生率表示在双向预测模式中存在多少具有双向预测模式的宏块。第二发生率比例可以从下面的等式得到。
R2＝T1+T2)/U1，其中，R2表示第二发生率比例；T1表示前向预测模式的发生率；T2表示反向预测模式的发生率；和U1表示双向预测模式的发生率。
另一方面，第三发生率比例可以由下面的等式得到。
R3＝T1/T2其中，R3表示第三发生率比例；T1表示前向预测模式的发生率；和T2表示反向预测模式的发生率；在操作202之后，将得到的第二发生率比例与预定的第九阈值进行比较，并将得到的第三发生率比例与预定的第十阈值进行比较(操作204)。
如果得到的第二发生率比例大于第九阈值，并且如果得到的第三发生率比例小于第十阈值，则确定第一双向预测帧为一个突变型变化帧(操作206)。
但是，如果得到的第二发生率比例不大于第九阈值，或者如果得到的第三发生率比例不小于第十阈值，就确定第一双向预测帧是否是双向预测帧中的最后一个(操作208)。换句话说，确定在操作200中指定的双向预测帧是否是第N下层帧组中按照顺序的最后一个双向预测帧。
如果第一双向预测帧是双向预测帧的最后一个，则确定位于第N中间层帧组两端的预定帧的第二个为突变型变化帧(操作210)。
但是，如果第一双向预测帧不是双向预测帧的最后一个，则指定不同于第一双向预测帧的下一个双向预测帧，然后执行操作202(操作212)。在操作202中，对于不同于第一双向预测帧的下一个双向预测帧计算第二和第三发生率比例。
同时，如果第N中间层帧组与在操作182中基于运动信息确定为具有镜头变化可能性的中间层帧组不对应，则最后基于归一化的相关性确定对于双向预测帧是否存在镜头变化(操作186)。
参见图10，操作186包括操作220至232，用于通过使用第四相关系数确定对于双向预测帧是否存在突变型变化。
首先，在双向预测帧中指定一个第一双向预测帧(操作220)。
在操作220之后，对于位于第N中间层帧组两端的预定帧中的第一个帧和指定的双向预测帧计算归一化的第四相关系数(操作222)。第四相关系数可以从等式2得到。
在操作222之后，将得到的第四相关系数与预定的第十一阈值比较(操作224)。
如果得到的第四相关系数小于第十一阈值，就确定第一双向预测帧是突变型变化帧(操作226)。
相反地，如果得到的第四相关系数不小于第十一阈值，就确定第一双向预测帧是不是双向预测帧中的最后一个(操作228)。
如果第一双向预测帧是双向预测帧中的最后一个，就确定位于第N中间层帧组两端的预定帧中的第二个为突变型变化帧(操作230)。
相反地，如果第一双向预测帧不是双向预测帧中的最后一个，则指定不同于第一双向预测帧的下一个双向预测帧，并且执行操作22(操作232)。
同时，作为操作188的结果，如果在第N中间层帧组中没有双向预测帧，就确定位于第N中间层帧组两端的预定帧中的第二个帧为突变型变化帧(操作188)。
参见图11，操作10B包括操作300至338，用于基于检测到的第一和第二列表，对于全部视频帧序列检测是否存在突变型变化以及随后仅对于受限的视频帧片段检测是否存在渐变型变化。
图11示出的操作30至64与图3所示的操作300至334相对应，因此下面就不给出它们的详细描述了。
作为操作306的结果，如果最高层帧组是第一至第G最高层帧组的最后一个，就检测第一和第二列表(操作336)。第一列表包括在第一至K上层帧组中具有镜头变化可能性的上层帧组，而第二列表包括对应于视频镜头的突然变化的突变型变化帧。例如，如果上层帧组是多个GOP，则将检测到的具有镜头变化可能性的多个GOP列入第一列表。另外，在上述每一个操作中检测到的突变型变化帧的列表用作第二列表。
在操作336之后，通过使用第一和第二列表检测是否存在渐变型变化(操作338)。关于具有镜头变化可能性的上层帧组的信息可以从第一列表获得。可以基于有关第一列表中具有镜头变化可能性的上层帧组(但不包括在第二列表中的突变型变化帧)的信息，来确定是否存在视频镜头的渐变型变化。渐变型变化的检测可以通过基于普通的坪特性(plateau)状态检测、使用镜头变化检测技术来实现。渐变型变化的检测在本领域中是熟知的，因此下面就不给出关于它的详细描述。
在操作10之后，基于所检测的视频的镜头变化检测结果、结合检测为镜头变化的帧的位置信息来生成镜头变化列表(操作12)。换句话说，镜头变化列表是基于从图3所示的操作30至68或图11所示的操作300至338得到的镜头变化帧的位置信息产生的。
产生的镜头变化列表是基本视频内容结构信息，其根本上是用于视频索引，作为结果，它可以组织视频内容的表格从而概括视频内容，或者以视频镜头为单元容易地编辑视频。
现在，将参考附图描述根据本发明的、用于检测运动图像中的视频镜头变化的设备。
参见图12，用于检测在视频图像中的视频镜头变化的设备包括镜头变化检测单元400和镜头变化列表产生单元420。
镜头变化检测单元400对于通过组合运动图像的视频帧得到的第一至第K(此处，K是大于1的正整数)上层帧组、通过组合从第一至第K上层帧组的第L(此处，L是大于1并小于或等于K的正整数)上层帧组中的视频帧得到的第一至第M(此处，M是大于1的正整数)中间层帧组、以及第一至第M中间层帧组的第N中间层帧组中的第N(此处，N是大于1并且小于或等于M的正整数)下层帧组，检测视频镜头变化。镜头变化检测单元400对于通过输入终端IN1输入的视频序列检测视频镜头变化，并且将检测结果输出到镜头变化列表产生单元420。
参见图13，镜头变化检测单元400包括最高层帧组指定单元500、第三镜头变化可能性检测单元502、末端最高层帧组感测单元504、上层帧组指定单元506、第一镜头变化可能性检测单元508、末端上层帧组感测单元510、参考帧感测单元512、第一突变型变化帧确定单元514、中间层帧组指定单元516、第二镜头变化可能性检测单元518、末端中间层帧组感测单元522、突变型变化检测单元520、突变型变化感测单元524、和渐变型变化检测单元526。
最高层帧组指定单元500在通过将第一到第K上层帧组组合成预定数目的束而形成的第一至第G(这里，G是大于1的正整数)最高层帧组中指定第H(H是大于1并且小于或等于G的正整数)最高层帧组。最高层帧组指定单元500对于通过输入终端IN2输入的视频序列，将上层帧组捆绑为预定个数的束，并在最高层帧组中指定第H最高层帧组。然后，将指定的结果输出到第三镜头变化可能性检测单元502。
第三镜头变化可能性检测单元502对于由最高层帧组指定单元500指定的第H最高层帧组检测镜头变化可能性，并且将检测结果输出到末端最高层帧组感测单元504和上层帧组指定单元506。
参见图14，第三镜头变化可能性检测单元502包括第二差别特征值计算单元600、第三比较单元602、第二相关系数计算单元604、第四比较单元606、第二镜头变化可能性确定单元608。
当指定的第H最高层帧组从输入终端IN3输入时，第二差别特征值计算单元600通过使用等式1对于第三参考帧计算色彩柱状图的第二差别特征值，然后将计算结果输出到第三比较单元602。
第三比较单元602比较计算的第二差别特征值和预定的第三阈值，然后将比较结果输出到第二相关系数计算单元604和第二镜头变化可能性确定单元608。
第二相关系数计算单元604响应于第三比较单元602的比较结果对于第三参考帧计算归一化的第二相关系数，然后将计算结果输出到第四比较单元606。
第四比较单元606比较由第二相关系数计算单元604计算的第二相关系数和预定的第四阈值，然后将比较结果输出到第二镜头变化可能性确定单元608。
第二镜头变化可能性确定单元608响应于来第三比较单元602和第四比较单元606的比较结果，确定对于第H最高层帧组是否存在镜头变化可能性。第二镜头变化可能性确定单元608响应于来第三比较单元602的比较结果确定对于第H最高层帧组不存在镜头变化可能性，然后通过输出终端OUT3输出该确定结果。另外，第二镜头变化可能性确定单元608从第四比较单元606接收第二相关系数小于第四阈值的比较结果作为输入、确定对于第H最高层帧组存在镜头变化可能性、然后将确定结果输出到输出终端OUT3。另外，第二镜头变化可能性确定单元608从第四比较单元606接收第二相关系数不小于第四阈值的比较结果作为输入、确定对于第H最高层帧组不存在镜头变化可能性、然后通过输出终端OUT3输出该确定结果。
图13所示的末端最高层帧组感测单元504感测第H最高层帧组是不是第一到第G最高层帧组的最后一个。末端最高层帧组感测单元504响应于来自第三镜头变化可能性检测单元502的检测结果或来自下面将要描述的末端上层帧组感测单元510的感测结果，感测第H最高层帧组是不是第一到第G最高层帧组的最后一个帧，并且通过输出终端OUT2将感测结果输出到最高层帧组指定单元500。
上层帧组指定单元506响应于来自第三镜头变化可能性检测单元502的结果而指定第L上层帧组，随后将指定结果输出到第一镜头变化可能性检测单元508。
第一镜头变化可能性检测单元508对于由上层帧组指定单元506指定的第L上层帧组检测视频镜头变化的可能性，然后将检测结果输出到末端上层帧组感测单元510和参考帧感测单元512。
参见图15，第一镜头变化可能性检测单元508包括第一差别特征值计算单元620、第一比较单元622、第一相关系数计算单元624、第二比较单元626、和第一镜头变化可能性确定单元628。
第一差别特征值计算单元620对于位于第L上层帧组两端的第二参考帧计算色彩柱状图的第一差别特征值。如果指定的上层帧组是从输入单元IN4接收到的，第一差别特征值计算单元602通过利用等式1对于第二参考帧计算色彩柱状图的第一差别特征值，然后将计算结果输出到第一比较单元622。
第一比较单元622比较计算的第一差别特征值与预先确定的第一阈值，然后将比较结果输出到第一相关系数计算单元624和第一镜头变化可能性确定单元628。
第一相关系数计算单元624响应于来自第一比较单元622的比较结果，通过利用等式2对于第二参考帧计算归一化的第一相关系数，并且将比较结果输出到第二比较单元626。
第二比较单元626比较在第一相关系数计算单元624中计算的第一相关系数与预定的第二阈值，然后将比较结果输出到第一镜头变化可能性确定单元628。
第一镜头变化可能性确定单元628确定对于第L上层帧组是否存在镜头变化可能性。第一镜头变化可能性确定单元628响应于来自第一比较单元622的比较结果，确定对于第L上层帧组不存在镜头变化可能性，然后将比较结果通过输出终端OUT4输出。另外，第一镜头变化可能性确定单元628从第二比较单元626接收第一相关系数小于第二阈值的比较结果，确定对于第L上层帧组存在镜头变化可能性，然后将确定结果通过输出终端OUT4输出。另外，第一镜头变化可能性确定单元628从第二比较单元626接收第一相关系数不小于第二阈值的比较结果，确定对于第L上层帧组不存在镜头变化可能性，然后将确定结果通过输出终端OUT4输出。
图13所示的末端上层帧组感测单元510感测第L上层帧组是不是第一至第K上层帧组的最后一个。末端上层帧组感测单元510响应于来自第一镜头变化可能性检测单元508的检测结果、来自下面将要描述的第一突变型帧检测单元514的检测结果、来自突变型变化感测单元524的感测结果、或来自渐变型变化感测单元526的感测结果，感测第L上层帧组是不是第一至第K上层帧组的最后一个，并且将感测结果输出到末端最高层帧组感测单元504和上层帧组指定单元506。
参考帧感测单元512响应于来自第一镜头变化可能性检测单元508的检测结果，感测在第L上层帧组中是否包含一个或多个将第L上层帧组分割为第一至第M中间层帧组的第一参考帧，然后将感测结果输出到第一突变型帧确定单元514和中间层帧组指定单元516。在这一情形中，第一参考帧是前向预测帧。
第一突变型帧确定单元514响应于来自参考帧感测单元512的感测结果，确定位于第L上层帧组的两端的第二参考帧的第二个为突变型变化帧，并且将确定结果输出到末端上层帧组感测单元510。在这一情形中，第二参考帧是内部帧。
中间层帧组指定单元516响应于来自参考帧感测单元512的感测结果或来自下面将要描述的中间层帧组感测单元522的感测结果，指定第N中间层帧组，并且将指定结果输出到第二镜头变化可能性检测单元518。
第二镜头变化可能性检测单元518响应于来自中间层帧组指定单元516的结果，对于第N中间层帧组检测镜头变化可能性，然后将检测结果输出到末端中间层帧组感测单元522和突变型变化检测单元520。
参见图16，第二镜头变化可能性检测单元518包括第三差别特征值计算单元640、第五比较单元642、第三相关系数计算单元644、第六比较单元646、第四镜头变化可能性检测单元648、和第三镜头变化可能性确定单元650。
第三差别特征值计算单元640响应于从输入终端IN5输入的第N中间层帧组，通过利用等式1对于位于第N中间层帧组两端的预先确定的帧计算色彩柱状图的第三差别特征值，然后将计算结果输出到第五比较单元642。
第五比较单元642比较从第三差别特征值计算单元640得到的第三差别特征值与预定的第五阈值，然后将比较结果输出到第三相关系数计算单元644和第三镜头变化可能性确定单元650。
第三相关系数计算单元644响应于从第五比较单元642得到的比较结果，通过利用等式2对于预定的帧计算归一化的第三相关系数，然后将比较结果输出到第六比较单元646。
第六比较单元646基于预定的第六和第七阈值进行比较，以确定从第三相关系数计算单元644获得的第三相关系数属于哪里，然后将比较结果输出到第四镜头变化可能性检测单元648和第三镜头变化可能性确定单元650。
第四镜头变化可能性检测单元648响应于从第六比较单元646获得的结果，基于运动信息对于第N中间层帧组检测是否存在镜头变化可能性，并且通过输出端口OUT5输出该比较结果。
参见图17，第四镜头变化可能性检测单元包括第一感测单元700、第一发生率比例计算单元702、第七比较单元704、和第四镜头变化可能性确定单元706。
第一感测单元700响应于通过输入单元IN6从第六比较单元646得到的比较结果，感测位于第N中间层帧组的两端的预先确定的帧的第二个是否与第一参考帧中的一个相对应，然后将感测结果输出到第一发生率比例计算单元702和第四镜头变化可能性确定单元706。
第一发生率比例计算单元702响应于从第一感测单元700得到的感测结果，对于第一参考帧中的一个帧计算和前向预测帧模式发生率与内部模式发生率的比例相对应的第一发生率比例，并且将计算结果输出到第七比较单元704。
第七比较单元704比较由第一发生率比例计算单元702计算的第一发生率比例与预定的第八阈值，然后将比较结果输出到第四镜头变化可能性确定单元706。
第四镜头变化可能性确定单元706确定对于第N中间层帧组是否存在镜头变化可能性。第四镜头变化可能性确定单元706响应于从第一感测单元700中得到的检测结果，基于运动信息确定对于第N中间层帧组是否存在镜头变化可能性，然后将确定结果经由输出终端OUT7输出。另外，第四镜头变化可能性确定单元706从第七比较单元704接收第一发生率比例大于第八阈值的比较结果、基于运动信息确定对于第N中间层帧组存在镜头变化可能性、然后通过输出终端OUT7输出确定的结果。同样，第四镜头变化可能性确定单元706从第七比较单元704接收第一发生率比例不大于第八阈值的比较结果，确定对于第N中间层帧组不存在镜头变化可能性，然后通过输出终端OUT7输出确定结果。
图16所示的第三镜头变化可能性确定单元650基于归一化的相关性确定对于第N中间层帧组存在镜头变化可能性，或者不存在镜头变化可能性。第三镜头变化可能性确定单元650响应于来自第五比较单元642的比较结果确定对于第N中间层帧组不存在镜头变化可能性，然后通过输出终端OUT6输出确定结果。另外，第三镜头变化可能性确定单元650从第六比较单元646接收第三相关系数小于第六阈值的比较结果、基于归一化的相关性确定对于第N中间层帧组存在镜头变化可能性、然后通过输出终端OUT6输出确定结果。同样，第三镜头变化可能性确定单元650从第六比较单元646接收第三相关系数大于第七阈值的比较结果、确定对于第N中间层帧组不存在镜头变化可能性、然后通过输出终端OUT6输出确定结果。
图13所示的突变型变化检测单元520响应于从第二镜头变化可能性检测单元518输入的检测结果检测对于第N下层帧组是否存在突变型变化，然后将检测结果输出到末端中间层帧组感测单元522。
参见图18，突变型变化检测单元520包括第二感测单元800、第三感测单元802、第二突变型变化帧确定单元804。
第二感测单元800响应于从第二镜头变化可能性检测单元518得到并从输入终端IN7输入的检测结果感测在第N下层帧组中是否包括双向预测帧，然后将感测结果输出到第三感测单元802和第二突变型变化帧确定单元804。
第三感测单元802响应于从第二感测单元800得到的感测结果，基于运动信息感测第N中间层帧组是否与确定为具有镜头变化的中间层帧组相对应，然后将感测结果输出到第二突变型变化帧确定单元804。
第二突变型变化帧确定单元804最后基于运动信息或归一化的相关系数确定哪一个双向预测帧与突变型变化帧相对应，或确定位于第N中间层帧组两端的预先确定帧的第二个与突变型变化帧相对应。第二突变型变化帧确定单元804响应于来自第二感测单元800的检测结果确定位于第N中间层帧组两端的预先确定帧的第二个与突变型变化帧相对应，然后通过输出终端OUT8输出确定的结果。另外，第二突变型变化帧确定单元804响应于来自第三感测单元802的检测结果，基于运动信息或归一化的系数最终确定双向预测帧中的哪一个与突变型变化帧相对应，然后通过输出终端OUT8输出确定结果。
参见图19，第二突变型变化帧确定单元804包括第一双向预测帧指定单元900、第二和第三发生率比例计算单元(902)、第八比较单元904、第一确定单元906、和第一末端帧感测单元908。
第一双向预测帧指定单元900响应于通过输入终端IN8从第三感测单元802输入的感测结果，在第N下层帧组的双向预测帧中指定第一双向预测帧，然后将指定结果输出到第二和第三发生率比例计算单元902。
第二和第三发生率比例计算单元902对于从第一双向预测帧指定单元900输入的第一双向预测帧计算第二发生率比例，然后将计算结果输出到第八比较单元904。第二发生率比例和双向预测模式的发生率与前向预测模式及反向预测帧模式的发生率的比例相对应。相似地，第二和第三发生率比例计算单元902对于从第一双向预测帧指定单元900输入的第一双向预测帧计算第三发生率比例，然后将计算结果输出到第八比较单元904。第三发生率比例和反向预测模式发生率与前向预测模式发生率的比例相对应。
第八比较单元904比较从第二和第三发生率比例计算单元902得到的第二发生率比例与预先确定的第九阈值，并比较第三发生率比例和预先确定的第十阈值。然后，将比较结果输出到第一确定单元906和第一末端帧感测单元908。
当从第八比较单元904接收到第二发生率比例大于第九阈值和第三发生率比例小于第十阈值的比较结果时，第一确定单元906确定第一双向预测帧与突变型变化帧相对应，并且通过输出终端OUT9输出确定结果。另外，当从下面将要描述的第一末端帧感测单元908接收到感测结果时，第一确定单元906确定位于第N中间层帧组两端的预先确定帧的第二个与突变型变化帧相对应，并且通过输出终端OUT9输出确定结果。
当得到的第二发生率比例不大于第九阈值，或当得到的第三发生率比例不小于第十阈值时，第一末端帧感测单元908感测第一双向预测帧是不是双向预测帧的最后一个，然后将感测结果输出到第一确定单元906和第一双向预测帧指定单元900。
参见图20，第二突变型变化帧确定单元804包括第二双向预测帧指定单元920、第四相关系数计算单元922、第九比较单元924、第二确定单元926、和第二末端帧感测单元928。
第二双向预测帧指定单元920响应于通过输入终端IN9从第三感测单元802输入的感测结果，在双向预测帧中指定第一双向预测帧，然后将指定结果输出到第四相关系数计算单元922。
第四相关系数计算单元922对于位于第N中间层帧组的两端的预先确定帧的第一个以及由第二双向预测帧指定单元920指定的第一双向预测帧计算归一化的第四相关系数，然后将计算结果输出到第九比较单元924。
第九比较单元924比较从第四相关系数计算单元922得到的第四相关系数与预先确定的第十一阈值，然后将比较结果输出到第二确定单元926和第二末端帧感测单元928。
当从第九比较单元924接收到所获得的第四相关系数小于第十一阈值的比较结果时，第二确定单元926确定第一双向预测帧与突变型变化帧相对应，然后通过输出终端OUT10输出确定结果。另外，当从下面将要描述的第二末端帧感测单元928接收到检测结果时，第二确定单元926确定位于第N中间层帧组两端的预先确定帧的第二个与突变型变化帧相对应，然后通过输出终端OUT10输出确定结果。
当得到的第四相关系数不小于第十一阈值时，第二末端帧感测单元928感测第一双向预测帧是不是与最后一个双向预测帧相对应，然后将感测结果输出到第二确定单元926和第二双向预测帧指定单元920。
同时，图13所示的末端中间层帧组感测单元522响应于来自第二镜头变化可能性检测单元518或突变型变化检测单元510的检测结果，感测第N中间层帧组是否是第一至第M中间层帧组的最后一个，然后将感测结果输出到突变型变化感测单元524和中间层帧组指定单元516。
突变型变化感测单元524响应于来自末端中间层帧组感测单元522的感测结果，感测在第L上层帧组的第一至第M中间层帧组中是否存在突变型变化，然后输出感测结果到渐变型变化检测单元526和末端上层帧组感测单元510。
当响应于来自突变型变化感测单元524的感测结果确定在第L上层帧组的第一至第M中间层帧组中不存在突变型变化时，渐变型变化检测单元526检测在第L上层帧组中是否存在渐变型变化，然后将检测结果输出到末端上层帧组感测单元510。
参见图21，镜头变化检测单元400包括最高层帧组指定单元1000、第三镜头变化可能性检测单元1002、末端最高层帧组感测单元1004、上层帧组指定单元1006、第一镜头变化可能性检测单元1008、末端上层帧组感测单元1010、参考帧感测单元1012、第一突变型帧确定单元1014、中间层帧组指定单元1016、第二镜头变化可能性检测单元1018、末端中间层帧组感测单元1020、突变型变化检测单元1022、突变型变化感测单元1024、第一和第二列表检测单元1026、以及渐变型变化检测单元1028。
除了第一和第二列表检测单元1026以外，图21所示的组成部分的功能与图12所示的那些类似，因此就不给出它们的详细描述。代替的，下面的描述主要集中在第一和第二列表检测单元1026。
第一和第二列表检测单元1026响应于来自末端最高层帧组感测单元1004的感测结果而构成第一列表和第二列表，然后将结果输出到渐变型变化检测单元1028。第一列表包括在第一到第K上层帧组中的、具有镜头变化可能性的上层帧组，并且第二列表包括与视频镜头的突然变化相对应的突变型变化帧。
图12中的镜头变化列表产生单元420响应于在图13中的末端最高层帧组感测单元504中的检测结果或来自图21中的渐变型变化检测单元1028的检测结果，产生一个视频镜头变化列表，然后通过输出终端OUT1输出镜头变化列表的结果。
如上所述，根据本发明的用于检测运动图像中的视频镜头变化的方法和利用该方法的设备，因为以多级流帧为单元分组运动图像的压缩流数据，并且随后只对一些被检测为具有镜头变化可能性的流组应用分级镜头变化检测处理，因此可以较快地检测视频镜头变化。
另外，由于基于色彩分布的差别特征值以及归一化的相关系数被用作检测特征值，因此可以防止由于亮度变化而在镜头变化检测中引起的虚假检测，并且对于相似性色彩分布能有效地检测镜头变化。
虽然已经参考本发明的优选实施例详细示出和描述了根据本发明的、用于检测运动图像中的视频镜头变化的方法和利用该方法的设备，本领域的技术人员应当理解在不背离由所附的权利要求定义的本发明的精神和范围的情况下，可以在形式和细节上的作出各种改变。应当从描述的意义上来考虑本发明的优选实施例，而并非是为了限制的目的。因此，本发明的范围并不是通过发明的详细描述来定义而是通过所附的权利要求来定义，并且所有包含在本发明范围之内的不同将被解释为包含在本发明中。
权利要求
1.一种用于检测运动图像中的视频镜头变化的方法，该方法包括(a)对于通过组合运动图像的视频帧组成的第一至第K(此处，K是大于1的正整数)上层帧组、通过组合第一至第K上层帧组中的第L(此处，L是大于1并小于或等于K的正整数)上层帧组中的视频帧组成的第一至第M(此处，M是大于1的正整数)中间层帧组、以及在第一至第M中间层帧组的第N中间层帧组中的第N(此处，N是大于1并且小于或等于M的正整数)下层帧组，检测是否存在视频镜头变化；和(b)通过使用操作(a)的结果产生一个视频镜头变化列表。
2.根据权利要求1的方法，其中的操作(a)包括操作(a1)指定第L上层帧组以便检测视频镜头变化；(a2)对于第L上层帧组检测是否存在镜头变化可能性；(a3)对于第L上层帧组确定是否存在镜头变化可能性；(a4)如果确定在第L上层帧组中存在镜头变化可能性，则确定在第L上层帧组中是否存在将第L上层帧组分割为第一到第M中间层帧的一个或多个第一参考帧；(a5)如果第一参考帧在第L上层帧组中，则指定第N中间层帧组以用于检测视频镜头变化；(a6)对于第N中间层帧组检测镜头变化可能性；(a7)对于第N中间层帧组确定是否存在镜头变化可能性；和(a8)如果对于第N中间层帧组存在镜头变化可能性，则检测对于第N下层帧组是否存在突变型变化。
3.根据权利要求2的方法，其中的操作(a)的特征在于第一参考帧是前向预测帧。
4.根据权利要求3的方法，其中的操作(a)还包括操作(a9)在通过组合第一至第K上层帧组构成的第一到第G最高层帧组中，指定第H最高层帧组(H是大于1并且小于或等于G的正整数，G是大于1的正整数)；(a10)对于第H最高层帧组检测是否存在镜头变化可能性；(a11)对于第H最高层帧组确定是否存在镜头变化可能性；和如果对于第H最高层帧组存在镜头变化可能性，就返回操作(a1)。
5.根据权利要求4的方法，其中的操作(a)进一步包括操作(a12)如果操作(a11)的结果是确定对于第H最高层帧组不存在镜头变化可能性，则确定第H最高层帧组是不是运动图像的第一到第G最高层帧组的最后一个；(a13)如果确定第H最高层帧组不是第一至第G最高层帧组的最后一个，则指定第(H+1)最高层帧组(其中，H+1是大于1并且小于或等于G的正整数)，然后返回到操作(a10)；和如果确定第H最高层帧组是第一到第G最高层帧组的最后一个，就返回操作(b)。
6.根据权利要求5的方法，其中的操作(a)进一步包括操作(a14)如果在操作(a3)中确定对于第L上层帧组不存在镜头变化可能性，则确定第L上层帧组是不是第一到第K上层帧组的最后一个；(a15)如果确定第L上层帧组不是第一到第K上层帧组的最后一个，则指定第(L+1)上层帧组(其中，L+1是大于1并且小于或等于K的正整数)，并且返回操作(a2)，和如果第L上层帧组与第一到第K上层帧组的最后一个相对应，则返回操作(a12)。
7.根据权利要求6的方法，其中操作(a)进一步包括操作(a16)如果操作(a4)的结果是确定在第L上层帧组中不存在将第L上层帧组分割为第一到第M中间层帧组的第一参考帧，则确定位于第L上层帧组两端的第二参考帧的第二个对应于突变型变化帧，该突变型变化帧是视频镜头的突然变化，然后执行操作(a14)。
8.根据权利要求7的方法，其中的操作(a)进一步包括操作(a17)如果操作(a7)的结果是确定对于第N中间层帧组不存在镜头变化可能性，则确定第N中间层帧组是否是第一至第M中间层帧组的最后一个；和(a18)如果确定第N中间层帧组不是第一至第M中间层帧组的最后一个，则指定第(N+1)中间层帧组(其中，(N+1)是大于1并且小于或等于M的正整数)，然后返回操作(a6)。
9.根据权利要求8的方法，其中操作(a)进一步包括(a19)如果操作(a17)的结果是确定第N中间层帧组是第一到第M中间层帧组的最后一个，则确定对于第L上层帧组的第一到第M中间层帧组是否存在突变型变化帧；(a20)如果确定在第一至第M中间层帧组中不存在突变型变化帧，则检测对于第L上层帧组是否存在渐变型变化，并且返回操作(a14)，和如果在第L上层帧组的第一至第M中间层帧组中存在突变型变化，则返回操作(a14)。
10.根据权利要求3的方法，其中的操作(a2)包括操作(a100)对于位于第L上层帧组两端的第二参考帧计算色彩柱状图的第一差别特征值；(a102)比较第一差别特征值与预先确定的第一阈值；(a104)如果计算的第一差别特征值大于第一阈值，则对于第二参考帧计算归一化的第一相关系数；(a106)比较第一相关系数和预先确定的第二阈值；(a108)如果第一相关系数小于第二阈值，则确定对于第L上层帧组存在镜头变化可能性；和(a110)如果操作(a102)的结果是第一差别特征值不大于第一阈值或者如果操作(a106)的结果是第一相关系数不小于第二阈值，则确定对于第L上层帧组不存在镜头变化可能性。
11.根据权利要求10的方法，其中操作(a2)的特征在于第二参考帧是内部帧。
12.根据权利要求4的方法，其中的操作(a10)包括操作(a200)对于位于第H最高层帧组两端的第三参考帧计算色彩柱状图的第二差别特征值；(a202)比较第二差别特征值与预先确定的第三阈值；(a204)如果计算的第二差别特征值大于第三阈值，则对于第三参考帧计算归一化的第二相关系数；(a206)比较第二相关系数与预先确定的第四阈值；和(a208)如果第二相关系数小于第四阈值，则确定对于第H最高层帧组不存在镜头变化可能性；和(a210)如果在操作(a202)中计算的第二差别特征值不大于第二阈值或者如果在操作(a206)中计算的第二相关系数不小于第四阈值，则确定对于第H最高层帧组不存在镜头变化可能性。
13.根据权利要求3的方法，其中的操作(a6)包括操作(a300)对于位于第N中间层帧组两端的预先确定的帧计算色彩柱状图的第三差别特征值；(a302)比较第三差别特征值和预先确定的第五阈值；(a304)如果第三差别特征值大于第五阈值，则对于预先确定的帧计算归一化的第三相关系数；(a306)确定第三相关系数是否在预先确定的第六阈值和预先确定的第七阈值之间；(a308)如果第三相关系数在第六阈值和第七阈值之间，则基于运动信息确定对于第N中间层帧组是否存在镜头变化可能性；(a310)如果第三相关系数不在第六阈值和第七阈值之间，则确定第三相关系数是不是小于第六阈值；(a312)如果第三相关系数小于第六阈值，则基于归一化的相关性确定对于第N中间层帧组存在镜头变化可能性；和(a314)如果在操作(a302)中计算的第三差别特征值不大于第五阈值或者在操作(a310)中计算的第三相关系数大于第七阈值，则确定对于第N中间层帧组不存在镜头变化可能性。
14.根据权利要求13的方法，其中的操作(a308)包括操作(a400)确定位于第N中间层帧组两端的预先确定帧的第二个是否与第一参考帧中的一个相对应；(a402)如果预先确定帧中的第二个与第一参考帧中的一个相对应，则对于第一参考帧中的一个计算与前向预测帧模式的发生率和内部模式的发生率的比例相对应的第一发生率比例；(a404)比较第一发生率比例与预先确定的第八阈值；(a406)如果第一发生率比例不大于第八阈值，则确定对于第N中间层帧组不存在镜头变化可能性；和(a408)如果预先确定帧中的第二个与第一参考帧中的任何一个不相应或者如果第一发生率比例大于第八阈值，则基于运动信息确定对于第N中间层帧组存在镜头变化可能性。
15.根据权利要求14的方法，其中操作(a8)包括操作(a500)确定第N下层帧组是否包括一个双向预测帧；(a502)基于运动信息确定第N中间层帧组与确定为具有镜头变化可能性的中间层帧组相应；(a504)如果基于运动信息确定第N中间层帧组与确定为具有镜头变化可能性的中间层帧组相对应，则基于运动信息确定对于双向预测帧是否存在镜头变化可能性；(a506)如果基于运动信息确定第N中间层帧组与确定为具有镜头变化可能性的中间层帧组不相应，则基于运动信息确定对于双向预测帧是否存在镜头变化可能性；和(a508)如果第N下层帧组不包括任何一个双向预测帧，则确定位于第N中间层帧组两端的预先确定帧的第二个帧与突变型镜头变化帧相对应。
16.根据权利要求15的方法，其中的操作(a504)包括操作(a600)在双向预测帧中指定第一双向预测帧；(a602)对于第一双向预测帧计算和双向预测模式发生率与前向预测模式和反向预测模式的发生率的比例相对应的第二发生率比例，以及和反向预测模式发生率与前向预测模式发生率的比例相对应的第三发生率比例；(a604)比较第二发生率比例与预先确定的第九阈值，以及比较第三发生率比例与预先确定的第九阈值；(a606)如果第二发生率比例大于第九阈值并且如果第三发生率比例小于第十阈值，确定第一双向预测帧与突变型变化帧相对应；(a608)如果第二发生率比例不大于第九阈值并且如果第三发生率比例不小于第十阈值，确定第一双向预测帧是不是双向预测帧的最后一个；(a610)如果第一双向预测帧是双向预测帧的最后一个，确定位于第N中间层帧组两端的预先确定帧的第二个是不是与突变型变化帧相对应；和(a612)如果第一双向预测帧不是双向预测帧的最后一个，指定除了第一双向预测帧以外的下一个双向预测帧，然后返回操作(a602)。
17.根据权利要求15的方法，其中的操作(a506)包括操作(a700)在双向预测帧中指定第一双向预测帧；(a702)对于第一双向预测帧和位于第N中间层帧组两端的预先确定帧中的第一个帧计算归一化的第四相关系数；(a704)比较第四相关系数与预先确定的第十一阈值；(a706)如果第四相关系数小于第十一阈值，确定第一双向预测帧与突变型变化帧相对应；(a708)如果第四相关系数不小于第十一阈值，确定第一双向预测帧是不是双向预测帧的最后一个；(a710)如果第一双向预测帧是双向预测帧的最后一个，确定位于第N中间层帧组两端的预先确定帧的第二个对应于突变型变化帧；和(a712)如果第一双向预测帧不是双向预测帧的最后一个，指定除了第一双向预测帧以外的下一个双向预测帧，并且随后返回到操作(a702)。
18.根据权利要求8的方法，其中操作(a)进一步包括操作(a21)如果操作(a12)的结果是确定第H最高层帧组是第一到第G最高层帧组的最后一个，则检测包含有在第一到第K上层帧组中具有镜头变化可能性的上层帧组的第一列表，和包含有与视频镜头的突然变化相对应的突变型变化帧的第二列表；(a22)通过使用第一列表和第二列表检测是否存在与视频镜头的平滑变化相应的渐变型变化帧，和通过使用在操作(b)中检测的第一和第二列表以及在操作(c)中的检测结果来产生一个视频镜头变化列表。
19.根据权利要求1的方法，其中的操作(a)的特征在于第一到第K上层帧组是包括有内部帧、单向预测帧、和双向预测帧的图片组。
20.一种用于检测运动图像的视频镜头变化的设备，该设备包括镜头变化检测单元，用于对于通过组合运动图像的视频帧组成的第一至第K(此处，K是大于1的正整数)上层帧组、通过组合第一至第K上层帧组中的第L(此处，L是大于1并小于或等于K的正整数)上层帧组中的视频帧组成的第一至第M(此处，M是大于1的正整数)中间层帧组、以及在第一至第M中间层帧组的第N中间层帧组中的第N(此处，N是大于1并且小于或等于M的正整数)下层帧组，检测视频镜头变化；和镜头变化列表产生单元，其产生所检测的视频镜头变化列表。
21.根据权利要求20的设备，其中镜头变化检测单元包括用于指定第L上层帧组的上层帧组指定单元；检测对于第L上层帧组的镜头变化可能性的第一镜头变化可能性检测单元；参考帧感测单元，用于感测在第L上层帧组中是否包括一个或多个将第L上层帧组分割为第一至第M中间层帧的第一参考帧；用于指定第N中间层帧组的中间层帧组指定单元；检测对于第N中间层帧组的镜头变化可能性的第二镜头变化可能性检测单元；检测对于第N下层帧组是否存在突变型变化的突变型变化检测单元。
22.根据权利要求21的设备，其中的镜头变化检测单元的特征在于第一参考帧是前向预测帧。
23.根据权利要求22的设备，其中的镜头变化检测单元还包括最高层帧组指定单元，用于在通过将第一至第K上层帧组组合成预定数目的组所构成的第一至第G最高层帧组中指定第H最高层帧组(H是大于1并且小于或等于G的正整数，G是大于1的正整数)；对于第H最高层帧组检测镜头变化可能性的第三镜头变化可能性检测单元；末端最高层帧组感测单元，用于感测第H最高层帧组是不是运动图像的第一到第G最高层帧组的最后一个。
24.根据权利要求23的设备，其中的镜头变化检测单元还包括末端上层帧组感测单元，用于感测第L上层帧组是不是运动图像的第一至第K上层帧组的最后一个。
25.根据权利要求24的设备，其中的镜头变化检测单元还包括第一突变型变化帧确定单元，响应于来自参考帧感测单元的感测结果，将位于第L上层帧组两端的第二参考帧的第二个确定为与视频镜头的突然变化相对应的突变型变化帧。
26.根据权利要求25的设备，其中的镜头变化检测单元还包括末端中间层帧组感测单元，用于感测第N中间层帧组是不是运动图像的第一到第M中间层帧组的最后一个。
27.根据权利要求26的设备，其中的镜头变化检测单元还包括突变型变化感测单元，用于对于第L上层帧组中的第一至第M中间层帧组感测是否存在突变型变化；和渐变型变化检测单元，如果确定对于第一至第M中间层帧组不存在突变型变化，则该检测单元用于检测在第L上层帧组中是否存在渐变型变化。
28.根据权利要求22的设备，其中的第一镜头变化可能性检测单元包括第一差别特征值计算单元，用于对于位于第L上层帧组两端的第二参考帧计算色彩柱状图的第一差别特征值；第一比较单元，用于比较第一差别特征值与预先确定的第一阈值；第一相关系数单元，用于对于第二参考帧计算归一化的第一相关系数；第二比较单元，用于比较第一相关系数和预先确定的第二阈值；第一镜头变化可能性确定单元，用于对于第L上层帧组确定镜头变化可能性。
29.根据权利要求28的设备，其中的第一镜头变化可能性检测单元的特征在于第二参考帧是内部帧。
30.根据权利要求23的设备，其中的第三镜头变化可能性检测单元包括第二差别特征值计算单元，用于对于位于第H最高层帧组两端的第三参考帧计算色彩柱状图的第二差别特征值；第三比较单元，用于比较第二差别特征值与预先确定的第三阈值；第二相关系数计算单元，用于对于第三参考帧计算归一化的第二相关系数；第四比较单元，用于比较第二相关系数与预先确定的第四阈值；和第二镜头变化可能性确定单元，用于确定对于第H最高层帧组是否存在镜头变化可能性。
31.根据权利要求22的设备，其中的第二镜头变化可能性检测单元包括第三差别特征值计算单元，用于对于位于第N中间层帧组两端的预先确定帧计算色彩柱状图的第三差别特征值；第五比较单元，用于比较第三差别特征值和预先确定的第五阈值；第三相关系数计算单元，用于对于预先确定帧计算归一化的第三相关系数；第六比较单元，基于预先确定的第六阈值和第七阈值执行用于确定第三相关系数属于哪里的比较；第四镜头变化可能性检测单元，基于运动信息检测对于第N中间层帧组是否存在镜头变化可能性；第三镜头变化可能性确定单元，基于归一化的相关性确定对于第N中间层帧组存在镜头变化可能性或不存在镜头变化可能性。
32.根据权利要求31的设备，其中的第四镜头变化可能性检测单元包括第一感测单元，用于感测位于第N中间层帧组两端的预先确定帧的第二个是否与第一参考帧中的一个相对应；第一发生率比例计算单元，用于对于所述第一参考帧中的一个计算与前向预测帧模式的发生率和内部模式的发生率的比例相对应的第一发生率比例；第七比较单元，用于比较第一发生率比例与预先确定的第八阈值；第四镜头变化可能性确定单元，用于确定对于第N中间层帧组是否存在镜头变化可能性。
33.根据权利要求32的设备，其中的突变型变化检测单元包括第二感测单元，用于感测在第N下层帧组中是否存在双向预测帧；第三感测单元，用于感测第N中间层帧组是否与基于运动信息被确定为存在镜头变化可能性的中间层帧组相对应；和第二突变型变化帧确定单元，用于基于运动信息或归一化的相关系数确定双向预测帧与突变型变化帧相对应，或确定位于第N中间层帧组两端的预先确定帧的第二个与突变型变化帧相对应。
34.根据权利要求33的设备，其中的第二突变型变化帧确定单元包括第一双向预测帧指定单元，用于在双向预测帧中指定第一双向预测帧；第二和第三发生率比例计算单元，用于计算和双向预测模式发生率与前向预测模式和反向预测模式发生率的比例相对应的第二发生率比例，以及和反向预测模式发生率与前向预测模式发生率的比例相对应的第三发生率比例；第八比较单元，用于比较第二发生率比例与预先确定的第九阈值以及比较第三发生率比例与预先确定的第十阈值；第一确定单元，如果第二发生率比例大于第九阈值并且如果第三发生率比例小于第十阈值，则确定第一双向预测帧与突变型变化帧相应，或者如果第一双向预测帧是双向预测帧的最后一个，则确定位于第N中间层帧组两端的预先确定帧的第二个帧与突变型变化帧相对应；和第一末端帧感测单元，如果第二发生率比例系数不大于第九阈值或如果第三发生率比例不小于第十阈值，则感测第一双向预测帧是否与双向预测帧的最后一个相对应。
35.根据权利要求33的设备，其中的第二突变型变化帧确定单元包括第二双向预测帧指定单元，用于在双向预测帧中指定第一双向预测帧；第四相关系数计算单元，用于对于位于第N中间层帧组两端的双向预测帧的第一个帧和第一双向预测帧计算归一化的第四相关系数；第九比较单元，用于比较第四相关系数与预先确定的第十一阈值；第二确定单元，如果第四相关系数小于第十一阈值，则确定第一双向预测帧与突变型变化帧相对应，或者如果第一双向预测帧是双向预测帧的最后一个，则确定位于第N中间层帧组两端的预先确定帧的第二个与突变型变化帧相对应；和第二末端帧感测单元，如果第四相关系数不小于第十一阈值，则感测第一双向预测帧是不是双向预测帧的最后一个。
36.根据权利要求26的设备，还包括第一和第二列表检测单元，用于检测包含有第一到第K上层帧组中具有镜头变化可能性的上层帧组的第一列表，和包含经历视频镜头的突然变化的突变型变化帧的第二列表；和渐变型变化检测单元，用于检测是否存在与运动图像中的视频镜头的平滑变化相对应的渐变型变化，和通过使用由第一和第二列表检测单元检测的第一和第二列表以及在渐变型变化检测单元中的检测结果来产生视频镜头变化列表。
全文摘要
一种用于检测运动图像中的视频镜头变化的方法和设备。该方法包括a)对于组合运动图像的视频帧组成的第一至第K上层帧组、组合第一至第K上层帧组的第L上层帧组中的视频帧组成的第一至第M中间层帧组、在第一至第M中间层帧组的第N中间层帧组中的第N下层帧组，检测是否存在视频镜头变化(K和M是大于1的正整数，L是大于1且小于K的正整数，N是大于1且小于M的正整数)；b)使用操作a)的结果产生视频镜头变化列表。由于区别地分级处理运动图像的压缩流数据，可以较快地检测视频镜头变化，由于将归一化的相关系数和基于色彩分布的差别特征值用作检测特征值，可能防止亮度变化引起的误差，并对于相似性色彩分布有效地检测镜头变化。
文档编号G11B27/30GK1738433SQ200510109840
公开日2006年2月22日 申请日期2005年3月4日 优先权日2004年3月5日
发明者文永秀, 金智渊 申请人:三星电子株式会社