视频序列结构的自动提取方法

专利名称：视频序列结构的自动提取方法
技术领域：
本发明涉及一种用于自动提取对应于连续帧的视频序列的结构的方法，包括下列步骤(1)一个拍摄镜头检测步骤，用于检测在连续拍摄镜头之间的边界，该连续拍摄镜头是指一组连续帧而无编辑效果的拍摄镜头，并且根据平均的移位帧间差曲线的计算和所说曲线的最高峰值的检测而使用一个相似性准则；(2)一个分段(partitioning)步骤，用于把每一拍摄镜头分解成称为微段(micro-segments)的子实体；(3)一个集群步骤，用于创建该已经处理的图像序列的一个最终分级结构。
本发明还涉及一个用于索引数据的对应方法、用于执行所说方法的一个装置、以及其中实施所说方法的一个图像检索系统。本发明的技术将特别适于使用在与MPEG-7标准关联的应用程序中。
背景技术：
MPEG-7标准将被打算在今后规定那些可用于描述各种类型的多媒体信息的描述的一个标准设置。与给定内容相关的描述允许实现快速及有效地搜索用户感兴趣的资料。本发明更具体地涉及视频序列的表示情况，力图为用户提供搜索信息的方式。针对视频序列，文档的内容描述表的目的是以一个分层方式定义此序列的结构，类似于针对书本所做的那样，其中的文字被分成章和段落该原来的序列被细分为子序列，其可以进一步分成更短的子实体。
用于定义这种结构的一个方法在申请人先前提交的欧洲专利申请99402594.8(PHF99593)中有描述。根据所说的文件，该方法分成三个步骤，如

图1所示，它们是一个拍摄镜头检测步骤11(在一个图像序列中，图像拍摄镜头是一个显示单一背景的具体序列，即一组无编辑效果的连续帧)；一个分区步骤12，用于把检测的拍摄镜头分割成展现一致摄像运动特性的实体，以及一个拍摄镜头集群步骤13。
涉及该拍摄镜头检测步骤，在R.Brunelli等的文献＂视频数据自动标引的测量＂(Journal of Visual Communication and Image Representation，1999.6月.2号pp.78-112)中已经建议了几个方案。在提到文件描述的方法中，第一步骤11检测在利用两个主要子步骤连续的拍摄镜头之间的过渡a计算子步骤111，实现确定的一个平均移位帧间差(mDFD)曲线，以及一个分割子步骤112。
在子步骤111过程中计算的mDFD曲线的获得既考虑亮度又考虑色度信息。对于在时间t的一帧来说，具有下面定义亮度Y＝{fK(i，j，t)}K＝Y(1)色度分量(U，V)＝{fK(i，j，t)}K＝U，V(2)DFD由下式给出DFDK(i，j；t-1，t+1)＝fK(i，j，t+1)-fK(i-dx(i，j)，j-dy(i，j)，t-1)(3)并且mDFD由下式给出mDFD(t)=1IXIYΣKY.U.VwkΣi,jIXIY|DFDK(i,j;t-1,t+1)|----(4)]]>其中IX，IY是图像尺度，wk是Y、U、V成份的加权。表示拍摄镜头s1到s10所获得曲线的一个例子(并且是相应的已滤波的曲线)，图2中以已经设置为{wY，wU，wV}＝{1，3，3}的加权示出。在此实例中，曲线的最高峰值对应于从一帧到随后一帧的突然过渡(帧21100，21195，21633，21724)，同时在另外一方面，从帧21260到帧21279的振动对应于一个淡入淡出(通过简单的涉及淡入淡出处理的线性组合，从一个摄像机记录到另一摄像机记录的一个渐变)以及在产生高电平mDFD曲线的振动的帧21100-21195和21633-21724中的前景目标大移动的出现。
用于检测该图像编辑效果并且把mDFD曲线分段成若干拍摄镜头，子步骤112根据分割使用一个阈值，提取该mDFD曲线的最高峰值(即一维曲线的另一类型)，如T.Shin等在文献＂MPEG-2压缩视频序列中的分层场景改变检测＂(1998年IEEE电路和系统的国际讨论会ISCAS′98，卷4，pp.253-256，1998，3月)中描述的那样。
第二步骤12是一个时间分割步骤，用于把每一检测的拍摄镜头拆分成表现有关摄像机运动参数的均匀性的很高水平的子实体。其包括两个子步骤一个超分段(oversegmentation)子步骤121，力图把每一拍摄镜头分成必须显示出很高一致水平的所谓的微段，以及一个合并子步骤122。
为了执行第一子步骤121，有必要首先定义所谓＂距离＂的含义(如此定义的距离允许微段的比较)，也是实现评价一个微段或一个分区(＝一组微段)的品质的一个参数。两种情况中都使用一个运动直方图，其中每一个条块都示出具有具体运动类型的帧的百分比，并且由下面关系式(5)所定义Hs[i]=NiLs----(5)]]>其中S表示涉及在拍摄镜头内的微段的标记，i表示运动类型(这些运动是所谓的左跟踪、右跟踪、速降、速升、俯摄、仰摄、左摇摄全景、右摇摄全景、左卷摄、右卷射、移前、移出、固定)，Ls表示微段S的长度，而Ni表示具有运动类型i的微段s的帧的数量(由于不同运动能够同时出现，所以有可能∑Hs[i]＞1)。
当沿着所有的帧表示摄像机运动参数的单一组合时，一个微段被认为是完全均匀的(即具有很高水平的均匀性)，或当其表示有关这些参数的重大变化时，则该微段被认为是不均匀的。该微段的均匀性是根据其直方图计算的(关系(5))如果一个微段是完全均匀的，则直方图条块或等于0(认为根本没有运动出现)或等于1(在整个部分上出现运动)，而如果不是1或0，则条块可以表现中间值。随后通过测量其直方图与该理想直方图不同程度(即计算直方图的条块不同于1或0的程度)获得该微段均匀性的测量。对应于具有高值的条块的距离是该条块值和1之间的差值；相似地，对于具有小值的条块来说，该距离是该条块值本身。一个直方图的例子在图3中示出，其中该坐标轴表明每一运动类型的比例(＝运动出现)因为运动不在该微段的所有帧中出现(左摇摄全景PL和移前ZI)，所以两个运动类型将引入某些误差，而且两个其他运动类型(速降BD和右卷RR)将因为相反的原因引入某些误差。
由关系式(6)数学地给出一个微段的均匀性H(s)=Σie(i)----(6)]]>其中e(i)＝1-Hs[i]如果H，[i]＝0，5e(i)＝Hs[i]如果Hs[i]＜0，5Hs[i]＝该微段s的直方图i＝运动类型。一个拍摄镜头S的均匀性则等于由它们每一个的长度加权的微段的均匀性，如方程式(7)示出H(S)=1L(S)Σj=1j=NLjH(sj)----(7)]]>其中L(S)＝ 是该拍摄镜头S的总长度，N是所说拍摄镜头包括的微段的数量(注意，较小的H(S)值对应于高级别的均匀性。两个微段s1和s2之间的距离则是该微段连接的均匀性d(s1，s2)＝H(s1Us2) (8)因此，初始的超分段子步骤121实现对该相关拍摄镜头的超分段，以便获得一组完全均匀的微段，对应于下面的关系(9)H(s)＝0，S无论包括什么 (9)如何获得最初超分段分区的例子在图4中显示，具有运动类型，左摇摄全景(PL)、移出(ZO)和固定(FLX)，指定该微段的s1至s7(针对某些帧的摄像机运动参数可以是未知的在该例子中，该拍摄镜头的最后帧-段s7不具有任何相关的参数)。
合并子步骤122包括一个计算操作，其中使用方程式(8)计算(时间连接的)全部相邻微段之间的距离，用于选择最接近的微段对(用于在随后操作过程中的可能的合并)，随后是一个结合判定操作，其中确定是否该微段选择对将被合并，假定该最小间距微段已经被合并，(根据该方程式(7))计算该拍摄镜头的均匀性。执行下面的结合判据合并，如果H(S)＝阈值T(H)不合并，如果H(S)＞阈值T(H)(这种结合判据是全局的该判定取决于结果分段的均匀性，而不专门取决于该结果微段的均匀性)。如果实现该合并，以第二子步骤该水平开始一个新迭代(执行一个第二计算操作等等…)。当不存在仍能被合并的相邻微段对时，合并过程结束。
第三步骤13被分成两个子步骤一个拍摄镜头合并子步骤131，其中拍摄镜头对被分组在一起，用于创建一个二进制树，以及一个树形结构子步骤132，用于重建所说的二进制树，以便反映存在于该图像序列中的相似性。
该拍摄镜头合并子步骤131被用于产生表示该初始的拍摄镜头的合并次序的一个二进制树左边表示这些初始的拍摄镜头，顶节点表示整个顺序，中间节点表示通过该几个拍摄镜头的合并产生的序列。合并判据由拍摄镜头之间的距离定义，并且最接近的拍摄镜头被首先合并。为了计算拍摄镜头之间的距离，有必要定义一个拍摄镜头模型，提供将要被比较的特征，并且设置它们之间的邻近链路(表明能够做什么合并)。当全部该初始拍摄镜头已经合并成单一结点或当所有的链接结点的耦合之间最小间距是大于一种规定的阈值时，该处理结束。
该拍摄镜头模型必须明显地允许比较几个拍摄镜头的内容，以便确定何种拍摄镜头必须合并以及它们的合并顺序如何。在静止图象中，亮度和色度是该图像的主要特性，而在一个图像序列中，由于该时间的进展，运动是一个重要信息源。所以，平均图像、亮度和色度信息的直方图(YUV分量)以及运动信息将被用于模拟该拍摄镜头。
为了实施该拍摄镜头合并子步骤131，有必要执行下面操作(a)得到最小间距链接(操作1311)；(b)检验一个距离判据(操作1312)；(c)合并结点(操作1313)；(d)更新链接和距离(操作1314)；(e)检验该顶部结点(操作1315)。
在操作1311中，针对每一对链接结点计算最小和最大距离。首先检验最大距离如果其高于最大距离阈值d(max)，放弃该链接，否则考虑该链路。一旦已经扫描了所有的链接，则获得该最小间距。
在该操作1312中，为了确定是否必须合并该最小间距链接的节点，该最小间距被与一个最小间距阈值d(min)比较如果其高于所说的阈值，则不执行合并并且结束该处理，否则指示的结点被合并并且继续该处理。
在该操作1313中，由最小间距链接的节点被合并。在操作1314中，所说链路被更新以便考虑已经完成的合并，并且一旦链接已经更新，则指向该新模式的那些链路的距离将被重算。在最终操作1315中，检验剩余结点的数量如果全部初始拍摄镜头已经合并成单一结点，该处理结束，否则开始一新迭代。
如果全部该初始拍摄镜头非常类似，则该拍摄镜头合并子步骤131可以产生单一树形；或如果初始拍摄镜头相当不同，则合并子步骤131可以产生一个树群。用于一个内容表格的创建的二进制树形的例子在图5中示出。在此树的树叶结点内，其标记以及在括号之间，已经指示一些拍摄镜头的开始和结束帧；在其余结点内，该标记示出结合次序(在括弧之间)和在两个同类物之间的最小和最大距离。
树形重建子步骤132被用于把子步骤131中获得的二进制树形重建成将更清楚地反映该图像结构的一个任意树形消除那些由合并过程产生但不传输任何相关信息的结点，所说的消除是根据在以该结点中包含的拍摄镜头之间的相似程度(距离)的变化为基础的一判据而进行-如果该分析结点是根节点(或该根节点之一，如果在合并过程之后已经获得各种二进制树)，随后该结点应该被保存和出现在该最终树形中；-如果该分析结点被叶节点(即对应于一个初始的拍摄镜头)，则其也必须保持在该最终树形中；-否则，如果如下状态(10)和(11)被满足，该结点将仅保持在该最终树形中|d(min)[分析结点]-d(min)[父辈节点]|＜T(H)(10)|d(max)[分析结点]-d(max)[父辈节点]|＜T(H)(11)如图6所示，从重建子步骤132产生的树形更清楚地表示该图像序列的结构在分层结构(28、12、13、21)的第二层中的结点表示该序列的四个场景，而第三(或偶而在第四)层中的结点表示初始拍摄镜头。
然而，当执行从上述提到的文献得知的方法时，可能注意到这类方法有时对于噪音敏感，这将造成难于检测小对比度的峰值，当那些小对比度的峰值对应于淡出或特殊效果时。
本发明概要因此本发明的一个目的是建议用于创建一个图像序列的描述的更可靠的方法，其中不再有所说的限制。
为此目的，本发明涉及例如在本说明书的介绍段落中定义的一种方法，并且其特征在于，该拍摄镜头检测步骤包括一个附加分段子步骤，应用到所说的移位帧间差曲线的装置，并且包括下面的操作(a)一个第一滤选操作，根据一个结构单元，消除其长度小于一个预定值(min)的负峰值；(b)第二滤选操作，根据一个对比度滤波器，消除具有一个低于一个预定值c的正对比度的正峰值；(c)一个标记提取操作；一个标记传播操作。
附图的简要描述现在参照附图举例来更详细地描述本发明，其中
图1示出一个方框图，显示了所述欧洲专利申请中描述的定义方法；图2示出用于一个给定帧序列的mDFD曲线；图3示出一个说明均匀性的测量的直方图的例子；图4示出上述定义方法的一个子步骤；图5示出一个二进制树形，例如由在所说定义方法中提供的合并子步骤的一个拍摄镜头的实施方案产生的二进制树形；图6示出在所说定义方法的重建子步骤之后产生的树形；图7示出当实施根据本发明的技术方案时的定义方法的一个方框图；图8示出用于索引已经根据本发明处理的数据的一个方法；图9示出实施所说索引方法并且执行一个图像检索的图像检索系统。
本发明的详细说明在此之前已经表明了实现选取该mDFD曲线的最高峰值的分割子步骤112。尽管大量的拍摄镜头能够实际上利用这样一个操作检测，但是似乎更难于检测小对比度的峰值。该建议的技术解决方案是依靠形态工具均匀性为基础的所说操作的替换。根据所说的解决方案，并且如表示该定义方法的方框图的图7所示，当执行根据本发明的技术方案时，四个连续的操作构成一个改进的分段子步骤70，被连续应用到mDFD曲线。子步骤70替代了先前图1的子步骤112。
第一操作是一个简单化操作71，在目前的情况下其执行是利用一个暂态滤波一个与等于被检测的该最短拍摄镜头的持续时间的长度(min)的一个一维结构单元接近的形态。借此操作，消除长度小于(min)帧的负峰值。操作71后面是另一简化操作72，利用一个正对比度滤波器实现效果，其中消除具有比给定参数c低的正对比度的正峰值。
然后提供一个标记提取操作73。对应于一个拍摄镜头中心的每一标记必须覆盖很可能属于单一拍摄镜头的曲线的一个位置。因为属于同一拍摄镜头的连续帧相当类似，所以围绕那些帧的mDFD值将是小的。因此为了选取该标记，一个负对比度滤波器(具有与先前操作72中相同的参数c)被用于检测该弯曲的每一相对极小值。一个最终操作74实现在该曲线上传播该标记，直到所有的点都指定一个标记。通过在用作在先前操作73中获得的那些初始标记的该mDFD曲线上使用例如该公知的流域算法，执行此传播处理。
在图2的滤波曲线的例子中，使用(min)＝10和c＝10产生标记以及检测的拍摄镜头。即使某些超分段围绕帧21150以及21700出现，但是已经正确地检测了场景剪切和淡入淡出。这样一个超分段不是一个问题，因为在该方法的下一个步骤12和13将消除了该问题。
本发明不局限于上述实施方案，从该实施方案可以在不背离本发明的范围的条件下推导出其修改或更宽广的应用。例如，本发明还涉及一种用于索引已经根据先前描述的方法处理过的数据的方法。这种方法在图8中示出，包括构造步骤81，执行把每一处理序列子分段成连续地拍摄镜头，以及把获得拍摄镜头的每一个拆分成子实体(即微段)，和一个集群步骤82，创建该最终分级结构。步骤81和82分别与先前描述的步骤11-12和步骤13类似，随后是一个附加索引步骤83，用于把一个标记加到针对每一处理图像序列定义的该分级结构的每一单元。
本发明还涉及例如图9中示出的一个图像检索系统，包括一个摄像机91，用于该视频序列的采集(能以顺序图像比特数据流的形式得到)，一个图像索引装置92，用于执行所说的数据索引方法(所说的装置通过分析捕获在所说序列中的内容信息的不同级别、等级的分段，并且根据从所说的分段产生的分类进行索引)，一个数据库93，存储从所说的分类得出的数据(这些数据有时称为元数据)，一个图形用户接口94，用于执行从该数据库请求的检索，以及一个视频监视器95，用于显示该检索信息。本发明还涉及图像索引装置92，该装置允许实施根据本发明的方法。
权利要求
1.一种用于自动提取对应于连续帧的视频序列的结构的方法，包括下列步骤(1)一个拍摄镜头检测步骤，用于检测在连续拍摄镜头之间的边界，该连续拍摄镜头是指一组连续帧而无编辑效果的拍摄镜头，并且根据平均的移位帧间差曲线的计算和所说曲线的最高峰值的检测而使用一个相似性准则；(2)一个分段(partitioning)步骤，用于把每一拍摄镜头分解成称为微段(micro-segments)的子实体；(3)一个集群步骤，用于创建该已经处理的图像序列的一个最终分级结构；其中所说的检测步骤包括一个附加分割子步骤，平均的移位帧间差曲线，并且包括下列操作(a)一个第一滤选操作，根据一个结构单元，消除其长度小于一个预定值(min)的负峰值；(b)第二滤选操作，根据一个对比度滤波器，消除具有一个低于一个预定值c的正对比度的正峰值；(c)一个标记提取操作；(d)一个标记传播操作。
2.根据权利要求1的方法，其中所说的标记提取操作器是利用一个使用同一个预定值c的负对比度滤波器实施的。
3.根据权利要求1和2任一个的方法，其中所说的标记传播操作是通过采用所谓的流域方法执行的。
4.一种用于索引对应于连续帧的视频序列形式的可用数据的方法，包括下列分段步骤(1)一个构造步骤，用于把所说的序列细分成连续地拍摄镜头并且把所说拍摄镜头的每一个拆分成称为微段的子实体；(2)一个集群步骤，用于根据所说的分段创建该已经处理的图像序列的一个最终分级结构；(3)一个索引步骤，用于把一个标记添加到所说分级结构的每一单元。
5.一个图像索引装置，包括用于执行根据权利要求4的方法的装置。
6.一个图像检索系统，包括(1)用于执行根据权利要求4的方法的装置，用于自动提取对应于连续帧的一个视频序列的结构，以及标记如此定义的该分级结构的每一单元的操作，并且存储所说的标记；(2)使用将要检索的所说图像的一个或几个特征，用于根据该存储的标记而执行任何图像检索的装置。
全文摘要
本发明涉及一种方法,利用对图像序列的分析,力图自动地创建所说的图像序列的一个描述,即目录。所说方法的主步骤是一个拍摄镜头检测,这些拍摄镜头被子分段成称为微段的子实体,以及该处理了的序列的最终分级结构的创建。根据本发明,该拍摄镜头检测步骤计算该平均移位帧间差曲线,检测所说的曲线的最高峰值,通过滤波消除某些负或正峰值,提取标记并且在所说曲线上传播该标记。
文档编号H04N5/76GK1352856SQ00801243
公开日2002年6月5日 申请日期2000年7月4日 优先权日1999年7月6日
发明者J·拉克－平萨克, P·萨莱姆比尔 申请人:皇家菲利浦电子有限公司