一种近似重复视频片段自动定位方法

文档序号:6372561阅读:576来源:国知局
专利名称:一种近似重复视频片段自动定位方法
技术领域
本发明涉及多媒体图像视频检索技术领域。尤其是一种近似重复视频片段自动定位方法,可应用于视频拷贝检测、近似重复视频检索等子领域。
背景技术
近似重复视频片段自动定位是视频检索领域中,一个重要的子问题。与其紧密相关的技术领域包括近似重复图像检索、近似重复视频检索和拷贝视频检测等。近似重复的视频检索技术的一个显著特征是,其检索返回的视频具有高度的相似性。尽管如此,由于视觉信息缺乏语义性,信息量巨大,并且易受编码格式、视频分辨率、视频对比度等视频参数变换的影响,快速准确的进行近似重复视频内容检测,仍然是一项极具挑战性的技术。目前,随着广播电视、互联网、电信网等带宽的不断增加,视频的生成、传播、消费规模呈现几何级增长,传统的人工标注、查询、管理的方式效率低下,急需基于内容相似性的视频检测 技术进行智能化的处理。目前,针对近似重复视频片段自动定位技术展开的各项研究,主要是集中在如何选取更好的视频表达特征上,而由于定位问题对于时间精度的要求,查询方法基本都是采用串匹配的方式进行。常用的特征表示有,统计颜色直方图、运动估计向量、梯度直方图,以及空间灰度序和时间灰度序等。其中,基于灰度序的各种特征,由于其计算简单,并对颜色退化等问题不敏感,在定位查询时往往能取得较好的效果。然而,传统的灰度序特征的唯一性表示能力不够,使得尤其在查询视频较短时,误判率较高。综上所述,传统的近似重复视频片段自动定位问题主要存在以下两个问题一是定位查询的效率不高,方法时间复杂度为O(MN) (M为查询视频抽取的关键帧序列帧数,N为目标视频抽取的关键帧序列帧数。不引起歧义的情况下,下文以视频长度代替关键帧序列帧数)不适合实时定位查询;二是定位查询的精度在召回率较高时下降较快,难以达到实际应用的要求。

发明内容
针对上述两个主要问题,本发明提出了一种近似重复视频片段自动定位方法。本发明所提出的一种近似重复视频片段自动定位方法,其特征在于,该方法包括以下步骤步骤I,对于查询视频片段和目标视频,分别抽取该查询视频片段和目标视频中的关键巾贞序列;步骤2,提取抽取出的关键帧序列的视频二值时间灰度序特征;步骤3,提取所述关键巾贞序列的视频时空统一灰度序特征;步骤4,基于提取出的所述视频二值时间灰度序特征与所述时空统一灰度序特征对所述目标视频进行自动定位,得到所述目标视频中与查询视频片段近似重复的视频片段;其中,所述步骤4进一步包括以下步骤
步骤4. 1,利用所述视频二值时间灰度序特征,提取所述查询视频片段以及目标视频中所有候选视频片段的时空二值模式直方图,并计算所述查询视频片段与每一所述候选视频片段的时空二值模式直方图相交度量下的相似度,所述相似度大于给定阈值T1的候选视频片段通过第一层的定位过滤,所述候选视频片段为所述目标视频中可能与所述查询视频片段近似重复的视频片段;步骤4. 2,利用所述视频二值时间灰度序特征,计算所述查询视频片段与通过第一层定位过滤的候选视频片段之间的串匹配相似度,所述串匹配相似度大于给定阈值T2的候选视频片段通过第二层的定位过滤;步骤4. 3,利用所述视频时空统一灰度序特征,计算所述查询视频片段与通过前两层定位过滤的候选视频片段之间的串匹配相似度,所述串匹配相似度大于给定阈值T3的候选视频片段即为所述目标视频中与所述查询视频片段近似重复的视频片段。本发明所提出的一种近似重复视频片段自动定位方法对于目标视频中的候选视 频片段首先进行基于时空二值模式直方图的实时过滤,在线性时间复杂度O(N)内过平均滤掉80%以上的候选视频片段,然后进行基于二值时间灰度序特征的快速过滤,使平均过滤率达到99%,大幅提闻了定位过滤的执行效率,能够在召回率较闻的情况下,显者提闻定位精度。本发明虽然主要针对基于内容相似性的近似重复视频片段自动定位领域,但对于其他相似领域亦具有借鉴意义。


图I是本发明近似重复视频片段自动定位方法的流程图。图2是本发明提出的二值时间灰度序和时空统一灰度序特征提取示意图。图3是本发明提出的对目标视频中与查询视频片段近似重复视频片段进行三层自动定位过滤的方法流程图。图4是本发明方法、基于空间灰度序的近似重复视频片段自动定位方法和基于时间灰度序的近似重复片段自动定位方法在测试数据集上的召回率平均值-精度平均值曲线图。
具体实施例方式为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。本发明提出了一种近似重复视频片段自动定位方法,能够快速、准确的定位出目标视频中与查询视频片段近似重复的相关片段。本发明的基本特征主要有以下七个方面一是采用均匀抽取的方式,抽取视频关键帧序列;二是提出并应用了一种视频时空二值模式直方图特征表示方法,该特征利用一个包含了视频中灰度序时空分布信息的二值模式直方图来表示一段视频,特征表示非常紧凑,使得计算视频相似度时不依赖串匹配,时间复杂度为O(N)(由于目标视频中候选视频片段的划分随查询视频片段长度变化而变化,因此时空二值模式直方图的统计是在定位查询过程中根据事先提取的视频二值时间灰度序特征动态生成的);三是提出并应用了一种视频二值时间灰度序特征表示方法,该特征较以往灰度序特征仅使用0,I两个数字表示帧间平均灰度的相对关系,使得特征表示更加紧凑,在特征提取或计算视频相似度时均不需要进行排序操作,且可以采用位运算,因此其计算速度较传统灰度序特征更快;四是提出并应用了一种视频时空统一灰度序特征表示方法,该特征较以往灰度序特征,具有更好的唯一性,能够减少定位查询的误判率;五是利用视频时空二值模式直方图,计算查询视频片段与目标视频中候选视频片段之间在直方图相交度量下的相似度,对候选视频片段进行线性时间复杂度的实时过滤;六是应用视频二值时间灰度序,采用串匹配的方式对通过时空二值模式直方图的候选视频片段进一步进行过滤,缩小精确定位时的查询范围;七是采用区分性更好的视频时空统一灰度序特征,计算查询视频片段与目标视频在该特征下的串匹配相似度,通过过滤的视频片段认为与查询视频片段近似重复。实验证明,与以往方法相比,本发明所提方法,大幅提高了定位查询的效率,并进一步提高了定位查询的准确度。本发明的目的在于,给定一个查询视频片段,从一个目标视频中将与该查询视频片段近似重复的视频片段检索、定位出来。图I是本发明近似重复视频片段自动定位方法 流程图,如图I所示,本发明所提出的近似重复视频片段快速定位方法包括以下几个步骤步骤I,对于查询视频片段和目标视频,分别抽取该查询视频片段和目标视频中的关键巾贞序列;由于视频片段定位一般对定位出的视频片段的起始时间和结束时间有精度要求,因此本发明采用均匀抽取的方式,抽取查询视频片段和目标视频中的关键帧序列,而不是采用基于镜头分割的关键帧序列抽取方式。比如,对于重复播放广告的广播视频,由于广告片段时长一般较短,因此,抽取间隔可以采用5帧,即每隔5帧抽取一帧。具体的关键帧序列抽取频率可根据具体应用进行调整。步骤2,提取抽取出的关键帧序列的视频二值时间灰度序特征;类似于其他灰度序特征的提取过程,该步骤依次对抽取出的关键帧序列中的每一帧进行处理,所述视频二值时间灰度序特征的提取进一步包括以下步骤步骤2. 1,首先,将关键帧序列中的每一个帧图像转化成灰度图像;灰度图像的转化为本领域的通用技术,在此不再赘述。本发明中,采用8位灰度图。步骤2. 2,然后,将每一个灰度图像划分成k*k个均匀大小的矩形图像块,如图2 (a)所示;在本发明的一个实施例中,为了避免广播视频的台标、挂角广告和滚动字幕等因素的干扰,在将灰度图像划分成矩形图像块之前,首先去除了灰度图像的顶部和底部各20%的图像(如图2(a)所示)。所述k为一正整数,比如2、3、4。步骤2. 3,计算各矩形图像块的灰度平均值,如图2(b)所示;步骤2. 4,最后,按照下面的公式(I)提取相邻两个关键帧之间的二值时间灰度序特征,得到关键帧序列的视频二值时间灰度序特征Sgn(/*,(M,r) — hM{u,v)):恤(队◎〈<㈨"¢1)其中,Fi (U,v)表示关键帧序列中第i个关键帧第(U,V)个矩形图像块的灰度平均值,U,V < k。提取的二值时间灰度序特征如图2(c)所示。提取得到的视频二值时间灰度序特征,可以以矩阵形式来描述,该矩阵的行数为帧图像分成矩形图像块的个数(k*k),由于视频二值时间灰度序特征描述的是帧间的特征,所以该矩阵的列数为帧图像的个数减1,矩阵中的各个元素的值为相应矩形图像块之间的二值时间灰度序特征值,如图2(e)所示其中,第一行的矩阵元素为图2(c)所示的帧图像中按照从左至右、从上至下的顺序排列矩形图像块时,每幅图像的第一个矩形图像块与下一帧图像中相应位置的矩形图像块之间按照公式(I)计算得到的二值时间灰度序特征,其他的矩阵元素依次类推。步骤3,提取所述关键帧序列的视频时空统一灰度序特征;所述视频时空统一灰度序特征是对关键帧序列的视频二值时间灰度序特征进行的一个整体上的描述,具体地,是对帧内(空间)和帧间(时间)的所有矩形图像块的灰度平均值进行统一的排序,而不仅仅对帧内矩形图像块的灰度平均值进行排序(此种方式为空间灰度序特征的灰度序生成方式),或是仅仅对帧间对应矩形图像块的灰度平均值进行排序(此种方式为时间灰度序特征的灰度序生成方式)。
所述关键巾贞序列的视频时空统一灰度序特征的提取进一步包括以下步骤步骤3. 1,将所述关键帧序列中的所有帧图像转化成灰度图像;该步骤中,仍然采用8位灰度图。步骤3. 2,将转化得到的每个灰度图像均匀划分成k*k个矩形图像块,如图2(a)所示,其中k的取值与所述步骤2. 2中k的取值相同;步骤3. 3,计算得到的所有矩形图像块的灰度平均值,如图2(b)所示;步骤3. 4,对所有矩形图像块的灰度平均值按照从小到大的顺序进行统一排序并编号;对于图2(b)所示的关键帧序列,其视频时空统一灰度序特征如图2(d)所描述。抽取的视频时空统一灰度序特征,也可以以矩阵的形式表示,如图2(f)所示。矩阵中的各个元素的值为相应矩形图像块的时间统一灰度序特征值,其中第一行为帧图像中按照从左至右、从上至下的顺序排列矩形图像块时,每幅图像的第一个矩形图像块的排序编号,其他矩阵元素依次类推。由上可见,所述视频时空统一灰度序特征提取过程的前三步与所述视频二值时间灰度序特征提取过程的前三步相同,只是在最后一步进行特征描述时不同,所述视频时空统一灰度序特征的提取是对关键帧序列中所有帧的所有矩形图像块的灰度平均值进行统一排序,而不仅仅是在每一帧空间内部或仅仅在时间序列上对于空间位置相同的矩形图像块进行排序,本发明称这种灰度序表示方式为时空统一灰度序特征。不难分析,这种表示方式较空间灰度序的帧内排序和时间灰度序的帧间排序,特征表示的唯一性更强。类似于时间灰度序特征,时空统一灰度序特征在保存特征时有两种方式,一是保存各个矩形图像块的灰度平均值,在后续对视频片段进行查询时根据查询视频片段的长度,动态计算所述关键帧序列的时空统一灰度序特征;二是保存该目标视频整个视频长度的时空统一灰度序特征,在后续对视频片段进行查询时根据具体查询的查询视频片段的长度,将全局时空统一灰度序特征转换成与查询视频片段长度相同的局部灰度序特征,具体转换可采用经典的快速排序方法,对候选视频片段对应的全局灰度序的编号进行排序,并分配连续的局部排序编号,作为候选视频片段的灰度序特征。本发明采用第二种特征保存方式。步骤4,基于提取出的所述视频二值时间灰度序特征与所述时空统一灰度序特征对所述目标视频进行自动定位,得到所述目标视频中与查询视频片段近似重复的视频片段;对于一长度为M的查询视频片段和一长度为N的目标视频,目标视频中任一连续的M帧组成的视频片段均可能与所述查询视频片段近似重复,因此目标视频中共有N-M+1个可能的候选视频片段,但其中绝大多数候选视频片段是与所述查询视频片段明显不可能近似重复的,因此可以首先利用简单的特征对所述候选视频片段进行快速过滤,最后再利用复杂的特征对所述候选视频片段进行准确定位。基于上述思想,本发明提出了一种对目标视频中与查询视频片段近似重复的视频片段三层自动定位过滤的方法,所述三层自动定位过滤的方法的流程图如图3所示。所述步骤4进一步包括以下步骤步骤4. 1,利用所述视频二值时间灰度序特征,提取所述查询视频片段以及目标视频中所有候选视频片段的时空二值模式直方图,并计算所述查询视频片段与每一所述候选 视频片段的时空二值模式直方图相交度量下的相似度,所述相似度大于给定阈值T1的候选视频片段通过第一层的定位过滤;时空二值模式形式上与局部二值模式(Local Binary Pattern)类似,具体是指二值时间灰度序特征中满足一定约束的二值取值组合,该约束可以是空间位置上或时间序列上的约束。例如,当k = 2时,满足空间位置约束(比如按照从左至右、从上至下的矩形图像块排列顺序)的4个二值时间灰度序特征的组合,可以认为是一个二值模式,如公式(2)所示
r 、
'I.' s(v!(. . e {O,I},/e (1,2}, / e (1,2})(2)
V2,'
V22 _其中,i,j为矩形图像块的位置坐标,Vi,」是对应位置矩形图像块的二值时间灰度序特征。由于二值时间灰度序特征取值的不同,上述二值模式的所有取值共2Wk种。定义好时空二值模式之后,对于一视频片段可以从其二值时间灰度序特征中统计生成该视频片段的时空二值模式直方图。传统的直方图统计方法为本领域的通用技术,在此不再赘述;本发明中,根据视频关键帧序列的连续性,采用如下步骤所描述的时空二值模式直方图快速统计方法来提取所述查询视频片段和所述候选视频片段的时空二值模式直方图步骤4. I. 1,采用传统直方图统计方法,统计在时间序列上第一个候选视频片段的时空二值模式直方图;步骤4. I. 2,由第i个候选视频片段的时空二值模式直方图,减去所述目标视频二值时间灰度序特征中第i个帧间特征对应的二值取值,加上第i+M个帧间特征对应的二值取值,生成所述目标视频中第i+Ι个候选视频片段的时空二值模式直方图,其中,
N-M。所述步骤4. I中所述时空二值模式直方图相交度量下的相似度根据下式来
计算
权利要求
1.一种近似重复视频片段自动定位方法,其特征在于,该方法包括以下步骤 步骤I,对于查询视频片段和目标视频,分别抽取该查询视频片段和目标视频中的关键帧序列; 步骤2,提取抽取出的关键巾贞序列的视频_■值时间灰度序特征; 步骤3,提取所述关键巾贞序列的视频时空统一灰度序特征; 步骤4,基于提取出的所述视频二值时间灰度序特征与所述时空统一灰度序特征对所述目标视频进行自动定位,得到所述目标视频中与查询视频片段近似重复的视频片段; 其中,所述步骤4进一步包括以下步骤 步骤4. 1,利用所述视频二值时间灰度序特征,提取所述查询视频片段以及目标视频中所有候选视频片段的时空二值模式直方图,并计算所述查询视频片段与每一所述候选视频片段的时空二值模式直方图相交度量下的相似度,所述相似度大于给定阈值T1的候选视频片段通过第一层的定位过滤,所述候选视频片段为所述目标视频中可能与所述查询视频片段近似重复的视频片段; 步骤4. 2,利用所述视频二值时间灰度序特征,计算所述查询视频片段与通过第一层定位过滤的候选视频片段之间的串匹配相似度,所述串匹配相似度大于给定阈值T2的候选视频片段通过第二层的定位过滤; 步骤4. 3,利用所述视频时空统一灰度序特征,计算所述查询视频片段与通过前两层定位过滤的候选视频片段之间的串匹配相似度,所述串匹配相似度大于给定阈值T3的候选视频片段即为所述目标视频中与所述查询视频片段近似重复的视频片段。
2.根据权利要求I所述的方法,其特征在于,所述步骤I中,采用均匀抽取的方式来抽取查询视频片段和目标视频中的关键帧序列。
3.根据权利要求I所述的方法,其特征在于,所述视频二值时间灰度序特征的提取进一步包括以下步骤 步骤2. 1,将关键帧序列中的每一个帧图像转化成灰度图像; 步骤2. 2,将每一个灰度图像划分成k*k个均匀大小的矩形图像块; 步骤2. 3,计算各矩形图像块的灰度平均值; 步骤2. 4,提取相邻两个关键帧之间的二值时间灰度序特征,得到关键帧序列的视频二值时间灰度序特征。
4.根据权利要求3所述的方法,其特征在于,所述步骤2.2之前还进一步包括去除所述灰度图像顶部和底部各20%的图像的步骤。
5.根据权利要求3所述的方法,其特征在于,所述步骤2.4中根据下面的公式提取相邻两个关键帧之间的二值时间灰度序特征g ( 5 1+1 ( 5 .)) _ [Oi F.(u,v)< Fm(ilv) 其中,Fi(Uj)表示关键帧序列中第i个关键帧第(u,v)个矩形图像块的灰度平均值,u,V < k。
6.根据权利要求I所述的方法,其特征在于,所述关键帧序列的视频时空统一灰度序特征的提取进一步包括以下步骤步骤3. 1,将所述关键帧序列中的所有帧图像转化成灰度图像; 步骤3. 2,将转化得到的每个灰度图像均匀划分成k*k个矩形图像块; 步骤3. 3,计算得到的所有矩形图像块的灰度平均值; 步骤3. 4,对所有矩形图像块的灰度平均值按照从小到大的顺序进行统一排序并编号。
7.根据权利要求I所述的方法,其特征在于,所述时空二值模式为二值时间灰度序特征中满足一定约束的二值取值组合,该约束是空间位置上或时间序列上的约束。
8.根据权利要求I所述的方法,其特征在于,所述步骤4.I中提取所述查询视频片段和所述候选视频片段的时空二值模式直方图的步骤进一步包括 步骤4. I. 1,统计在时间序列上第一个候选视频片段的时空二值模式直方图; 步骤4. I. 2,由第i个候选视频片段的时空二值模式直方图,减去所述目标视频二值时间灰度序特征中第i个帧间特征对应的二值取值,加上第i+M个帧间特征对应的二值取值,得到所述目标视频中第i+Ι个候选视频片段的时空二值模式直方图,其中,M为查询视频片段的长度,N-M, N为目标视频的长度。
9.根据权利要求I所述的方法,其特征在于,所述步骤4.I中所述时空二值模式直方图相交度量下的相似度根据下式来计算
10.根据权利要求I所述的方法,其特征在于,所述步骤4.2中,所述查询视频片段与通过第一层定位过滤的候选视频片段之间的串匹配相似度根据下式来计算
11.根据权利要求I所述的方法,其特征在于,所述步骤4.3中,所述查询视频片段与通过前两层定位过滤的候选视频片段之间的串匹配相似度根据下式来计算
全文摘要
本发明公开了一种近似重复视频片段自动定位方法,该方法包括以下步骤抽取查询视频片段和目标视频的关键帧序列;提取关键帧序列的视频二值时间灰度序特征;提取关键帧序列的视频时空统一灰度序特征;对目标视频进行三层自动定位过滤,得到目标视频中与查询视频片段近似重复的视频片段。本发明方法较基于空间灰度序的定位方法平均能够节省约62%的响应时间,较基于时间灰度序的定位方法平均能够节省约89%的响应时间,并能够使定位查询在召回率平均值为1.0时,精度平均值达到0.965,高于基于空间灰度序方法的0.934,以及基于时间灰度序方法的0.775。由上可知,本发明方法大幅提高了定位过滤的执行效率,能够在召回率较高的情况下,显著提高定位精度。
文档编号G06F17/30GK102779184SQ20121022609
公开日2012年11月14日 申请日期2012年6月29日 优先权日2012年6月29日
发明者张树武, 李和平, 王方圆 申请人:中国科学院自动化研究所
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1