专利名称：一种视频片段拷贝检测方法
技术领域：
本发明涉及数字视频技术，特别涉及一种视频片段拷贝检测方法。
背景技术：
视频片段拷贝检测主要是判断一个视频内容之间是不是另 一视频的
拷贝，其在视觉信息处理中有着重要的实际用途首先视频拷贝检测在视 频信息检索和对搜索结果进行过滤、排序方面具有重要意义。其次，在媒 体追踪方面，视频拷贝检测可以用来自动地监控特定内容视频的播出状 况。此外，在数字视频版权保护方面，相对于传统的数字水印技术而言， 由于具有无需在媒体中加入附加信息，特征提取可在媒体发布之后进行等 良好的特性，拷贝检测也开始受到关注。为此，研究者提出了多种视频拷 贝检测方法，但由于视频格式和内容的多样性，如何选取有效的特征，准 确地检测视频拷贝依然是一个未解决的问题。现有视频拷贝检测方法多采 用提取视频帧，进行基于图像特征进行匹配的方法，但该类方法所提取的 视频帧由于其图像特征会受到视频编码格式变化的影响，因此实用性较 差。
因此迫切需要 一 种能够同时满足如下两方面要求的视频片段拷贝检 测方法 一方面要对因格式转变而产生的视频数据变化鲁棒，另一方面又 要对因视频内容变化产生的视频数据变化敏感。
发明内容
本发明要解决的技术问题是提供一种对因格式变化而产生的视频数 据变化鲁棒的视频片段拷贝检测方法。
为实现上述目的，根据本发明的一个方面，提供了一种视频片段拷贝 检测方法，包括下列步骤
1 )提取原视频片段和待检测视频片段的时空切片；
2)计算所述时空切片的时空联合特征；
43)根据所述时空联合特征的相似度，判断所述待检测视频片段是否是所述原视频片段的拷贝。
其中，所述步骤1)包括
11) 对原视频帧提取水平方向像素线A,,并按时间顺序拼接构成横向时空切片《，提取竖直方向像素线v,,并按时间顺序拼接构成纵向时空切
片《；
12) 对待^r测一见频帧提取水平方向像素线/z;,并按时间顺序拼接构成
水平切片《，提取竖直方向像素线v;，并按时间顺序拼接构成竖直切片《，其中，所述A和所述v,在原视频帧中的位置分别对应所述《和所述v;在待检测视频帧中的位置。。
其中，所述步骤12)中所述A和所述《分别位于原视频帧和待检测视
频帧的纵向中间位置。。
其中，所述步骤i2)中所述v,和所述v;分别位于原视频帧和待检测视频帧的横向中间位置。。
其中，所述步骤2)包括
21) 将所述时空切片分割为多个处理单元；
22) 对所述处理单元进行离散余弦变换，取所述离散余弦变换的低频系数作为所述处理单元的特征向量；
23) 将所述处理单元的特征向量按时间顺序排列，构成所述时空联合特征。
其中，所述步骤3)包括
31 )计算所述原视频片段的时空联合特征与所述待检测视频片段的时空联合特征的相似度；
32)根据所述时空联合特征的相似度，计算所述原视频片段和所述待检测视频片段的相似度；
33 )根据所述原视频片段和所述待检测视频片段的相似度是否大于阈
其中，所述步骤33)所述阈值的取值范围是(0.35-0.45 )。本发明的效果在于对视频提取简洁的时空联合特征，以此作为分析的基础，该特征对视频格式变化中对视频信号带来的变化鲁棒，从而能够減少衡量视频内容相似度时受视频格式的影响，提高拷贝检测的准确度。对特征进行存储时选用的是所提特征中的中低频信号，并按频率由低到高进行排列，得到特征向量，这样选取的特征一方面能代表视频内容，另一方面能少受噪声影响，是表达视频内容的鲁棒特征，从而在进行内容匹配时不易受噪声影响。
图1是根据本发明一个实施例的视频片段拷贝检测方法流程图。
具体实施例方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对根据本发明 一个实施例的视频片段拷贝检测方法进一 步详细说明。
如图l的方法流程图所示，提取原视频片段和待检测视频片段的时空
切片；对所得到的时空切片进行分析，计算得到视频内容相关的时空联合特征；根据二者的时空联合特征是否匹配，判断某段视频是否是另一段的拷贝。根据本发明的一个具体实施例，分别对每个步骤详细描述如下
首先，对每一原视频帧/确定一个固定的位置，以画面左上角为原点，右方作为x正向，下方作为r正向建立坐标系/皿，可选取某个固定y值，
取所有y值为y的像素，得到水平方向宽度为一个像素的线条。也可选取某个x值，取所有义值为x的像素，得到竖直方向宽度为一个像素的线条。本领域技术人员可以理解，还可以取多个像素的线条进行融合得到宽度为一个像素的线条，其中，优选的，多个像素是相邻的。
对从各视频帧中取出的像素线条，按时间顺序进行拼接，可得到原视频片段「的横向时空切片《和纵向时空切片《。其中《A〉为由原视频片段^的水平方向像素线/z,拼接生成的时空切片，&为第z'帧的像素线；《=< Vl,..., Vi >为由原视频片段「的竖直方向像素线v,拼接生成的时空切片，v,为第^帧的像素线。
与提取原视频片段的时空切片类似，提取待检测视频片段r'的所有r值为y，的像素线/7;組成的横向时空切片《和所有z值为x，的像素线v;组成
的纵向时空切片《。其中，y值和y，值是对应的，也就是，假设y占原视频帧r方向宽度的比例，与y，占待4全测视频帧7方向宽度的比例相等；同理x值和x，值也是对应的。优选的，为了使时空切片包含更多视频内容，
上述比例均为1/2，也即，/z,和; ;位于视频帧的i从向中间^立置，v,和v;位于
6视频帧的 一黄向中间位置。
然后，对上述提取的时空联合分析对象(也即时空切片)提取时空联 合特征。本领域技术人员可以理解，可将切片视为普通图像提取颜色、边 缘、梯度等信息特征，但这样的特征对于视频编码较敏感。根据本发明的 一个优选实施例，选用频率信息这一较为稳定的特征，其较少受噪声影响， 是表达视频内容的鲁棒特征。
将提取的时空切片分割为各个处理单元，设灰度切片沿时间轴方向为
宽，另一个方向为高，且宽为『，高为H，按时间轴从左到右的顺序将切 片分割成多个Hx/f的单元，称每个单元为一个切片单元块&、
对取出的各s"6块进行离散余弦变换(DCT),按时空切片中Zig-Zag 序取出低频交流系数所生成的向量，例如可取前16个低频系数，作为该&6 块的特征向量。将各个sw块的特征向量依时间顺序排列构成整个视频内 容的特征向量。
其中，所采用的离散余弦变换(DCT),是对切片图像进行的二维DCT 变换，二维DCT变换基体现了图像沿坐标轴方向变化的频率，而sw的坐 标方向分别为时间和空间方向，所以其DCT变换基体现了图像序列在时 间和空间上的变化频率。
最后，计算原视频片段r和待检测视频片段7'的时空联合特征之间的 相似度，从而判定视频之间是否存在拷贝关系。该步骤的具体实现是
计算时空切片《和《，以及《和《的相似度。引入如下符号 和St/A,分别是原视频片段F和待4全测视频片段7'的的序列；和&《, 分另'J是Sf/Sr禾口 S[/Sr中白勺第z'个块；Sw6^ =< Sw6 ^ [o],..., 5"w6《[尸一l] >禾口 ^/6P;,《Sw6J^
,…,5^《,[尸-l]〉分别是对^《和^《,进^f亍DCT变换后，才姿 Zig-Zag顺序依次取出前P个位置的DCT交流系数所生成的特征向量；
雄^;《^C)^,-X >和sl^,《s,rX…,j^ 〉分另'j是由
s^k;和s"6^,4要块顺序组成的特征向量组。时空切片的相似度计算公式为 其中，d表示向量间的距离，abs表示取绝对值。
根据上述时空切片的相似度，计算两视频间的相似度。以Sf/^^记视 频r横向切片的特征向量组，5T/g^T记视频r纵向切片的特征向量组；以 S"BJ^记视频r'横向切片的特征向量组；St/万"记视频r纵向切片的特征
7向量组。则视频7和视频^的相似度定义为
其中，max表示取最大值。
当5Vm《D)超过给定阈值r时，判定视频r'是视频^的拷贝视频。判 定公式C0P1^D〉如下，优选的，阈值取值范围是(0.35-0.45 )，特别是
L否否则
通过以上判定，确定了视频之间是否存在拷贝关系的判定结果。 本领域普通技术人员可以理解，上述相似度的判定方法是比对特征序
有效，因此该判定相似度的方法能够取得良好的结果；还可以采用例如计 算特征向量的夹角余弦方法等的其它比对特征序列的方法来判定时空联 合特征的相似度，进而判定视频间的相似度。
应该注意到并理解，在不脱离后附的权利要求所要求的本发明的精神 和范围的情况下，能够对上述详细描述的本发明做出各种修改和改进。因 此，要求保护的技术方案的范围不受所给出的任何特定示范教导的限制。
取0.4:
列的一般方法，
8
权利要求
1.一种视频片段拷贝检测方法，包括下列步骤1)提取原视频片段和待检测视频片段的时空切片；2)计算所述时空切片的时空联合特征；3)根据所述时空联合特征的相似度，判断所述待检测视频片段是否是所述原视频片段的拷贝。
2. 根据权利要求1所述的方法，其特征在于，所述步骤l)包括11) 对原视频帧提取水平方向像素线/z,,并按时间顺序4并接构成4黄向时空切片《，提取竖直方向像素线v,，并按时间顺序拼接构成纵向时空切片《；12) 对待;险测视频帧提取水平方向像素线《，并按时间顺序拼接构成水平切片《，提取竖直方向像素线v;，并按时间顺序拼接构成竖直切片《，其中，所述&和所述v,在原视频帧中的位置分别对应所述a;和所述v;在待检测^L频帧中的位置。
3. 根据权利要求2所述的方法，其特征在于，所述步骤12)中所述/7,和所述/z;分别位于原视频帧和待检测视频帧的纵向中间位置。
4. 根据权利要求2所述的方法，其特征在于，所述步骤12)中所述v,和所述v;分别位于原视频帧和待;险测视频帧的横向中间位置。
5. 根据权利要求1所述的方法，其特征在于，所述步骤2)包括21) 将所述时空切片分割为多个处理单元；22) 对所述处理单元进行离散余弦变换，取所述离散余弦变换的低频系数作为所述处理单元的特征向量；23) 将所述处理单元的特征向量按时间顺序排列，构成所述时空联合特征。
6. 根据权利要求1所述的方法，其特征在于，所述步骤3)包括31)计算所述原视频片段的时空联合特征与所述待检测视频片段的时空联合特征的相似度；32)根据所述时空联合特征的相似度，计算所述原视频片段和所述待检测视频片段的相似度；值，判断所述待检测视频片段是否是所述原视频片段的拷贝。
7.根据权利要求6所述的方法，其特征在于，所述步骤33)所述阈值的取值范围是(0.35-0.45 )。
全文摘要
本发明提供一种视频片段拷贝检测方法，包括下列步骤1)提取原视频片段和待检测视频片段的时空切片；2)计算时空切片的时空联合特征；3)根据时空联合特征的相似度，判断待检测视频片段是否是原视频片段的拷贝。本发明对视频提取简洁的时空联合特征，以此作为分析的基础，该特征对视频格式变化中对视频信号带来的变化鲁棒，从而能够减少衡量视频内容相似度时受视频格式的影响，提高拷贝检测的准确度。
文档编号G06K9/00GK101685496SQ20081022323
公开日2010年3月31日 申请日期2008年9月27日 优先权日2008年9月27日
发明者张勇东, 李锦涛, 潘雪峰 申请人:中国科学院计算技术研究所