专利名称：一种视频拷贝的检测方法和系统的制作方法
技术领域：
本发明涉及视频检测领域，特别是涉及一种视频拷贝的检测方法和系统。
技术背景数字化技术极大地方便了视频信息的存储、传输和复制，使得数字视频内 容的数量飞速增长。而在实际应用中受到网络传输带宽、视频质量要求等条件 的限制，相同的视频内容经常被编码为不同的格式，以适应不同的需求。一般地，称这种在内容上与原视频相同，而在格式上发生改变的视频为视 频拷贝，或者拷贝视频。检测拷贝视频在视觉信息处理中有着重要的实际用途首先视频拷贝检测 在视频信息检索和对搜索结果进行过滤、排序方面具有重要意义；其次，在媒 体追踪方面，视频拷贝检测可以用来自动地监控特定内容视频的播出状况；此 外，在数字视频版权保护方面，相对于传统的数字水印技术而言，由于具有无 需在媒体中加入附加信息，特征提取可在媒体发布之后进行等良好的特性，拷 贝检测也开始受到关注。要检测出经过格式变化后的拷贝视频，检测方法必须满足两个要求，即一 方面要对因格式转变而产生的视频数据变化鲁棒，另一方面又要对因视频内容 变化产生的视频数据变化敏感。为此，研究人员提出了多种视频拷贝检测方法，但由于视频格式和内容的 多样性，如何选取有效的特征，准确地检测视频拷贝依然是一个未解决的问题。发明内容本发明的目的在于提供一种视频拷贝的检测方法和系统，其减小视频拷贝 检测的搜索空间，有效提高了检测效率。为实现本发明目的而提供的一种视频拷贝的检测方法，包括下列步骤 步骤A，将査询视频和被检测视频转化为统一格式的数字视频；对所述査
询视频和被检测视频进行视频结构分析，分割视频中的镜头，提取关键帧；步骤B，对被检测视频的关键帧建立索引，利用查询视频的关键帧在索引中进行视频拷贝的初歩查找，得到与査询视频的关键帧具有相似内容的被检测视频，并将这些被检测视频作为下一步匹配的备选视频，-步骤C，计算查询视频的关键帧和备选视频的关键帧序列之间的相似度，对关键帧序列进行匹配，确认视频之间的相似度，相似度高的视频作为查询视频的拷贝视频源。所述歩骤A中，所述提取关键帧，包括下列步骤-.步骤A1，计算视频中各帧的HSI值；步骤A2，生成并统计整个视频的各帧HSI值的直方图，估算得到视频信 息熵；步骤A3，确定较佳的关键帧帧数。 所述步骤A3之后，还包括下列步骤步骤A4，根据较佳的关键帧数，用自适应无监督聚类方法的聚类中心作为K-均值聚类的初始中心，对视频中各帧进行K-均值聚类。所述歩骤B中，对被检测视频的关键帧的特征建立索引，包括下列步骤 歩骤B1 ，对提取的被检测视频的关键帧的SIFT特征进行主成分分析降维； 步骤B2，对降维后的被检测视频关键帧的特征采用仗*树结构建立索引。 所述步骤C中，计算査询视频的关键帧和备选视频的关键帧序列之间的相似度，对关键帧序列进行匹配，包括下列步骤步骤Cl，将一个关键帧作为时间序列上一时间点上的取值，则关键帧序列可视为时间序列，即随时间变化的一组值，将査询视频的关键帧序列和备选视频的关键帧序列分别视为两个关键帧时间序列 ，步骤C2，按特征对时间序列进行动态时间规整相似度计算，对关键帧序列进行匹配。为实现本发明目的还提供一种视频拷贝的检测系统，包括分析提取模块， 索引模块，检测模块，其中.-所述分析提取模块，用于将查询视频和被检测视频转化为统一格式的数字 视频；对所述查询视频和被检测视频进行视频结构分析，分割视频中的镜头， 提取关键帧；
所述索引模块，用于对被检测视频的关键帧建立索引，利用查询视频的关 键帧在索引中进行视频拷贝的初步查找，得到与査询视频的关键帧具有相似内 容的被检测视频的关键帧以及该被检测视频的视频号，并将这些被检测视频作 为下一步匹配的备选视频；检测模块，用于计算查询视频的关键帧和备选视频的关键帧序列之间的相 似度，对关键帧序列进行匹配，确认视频之间的相似度，相似度高的视频作为 查询视频的拷贝视频。所述提取关键帧，包括计算视频中各帧的HSI值；生成并统计整个视频的各帧HSI值的直方图，估算得到视频信息熵； 确定较佳的关键帧帧数。根据较佳的关键帧数，用自适应无监督聚类方法的聚类中心作为K-均值 聚类的初始中心，对视频中各帧进行K-均值聚类。所述对被检测视频的关键帧的特征建立索引，包括.-对提取的被检测视频的关键帧的SIFT特征进行主成分分析降维；对降维后的被检测视频关键帧的特征采用11*树结构建立索引。 所述计算查询视频的关键帧和备选视频的关键帧序列之间的相似度，对关键帧序列进行匹配，是指将一个关键帧作为时间序列上一时间点上的取值，则关键帧序列可视为 时间序列，即随时间变化的一组值，将査询视频的关键帧序列和备选视频的关 键帧序列分别视为两个关键帧时间序列 ，按特征对时间序列进行动态时间规整相似度计算，对关键帧序列进行匹配。本发明的有效效果是本发明的视频拷贝的检测方法和系统，对视频进行 关键帧提取，以此作为分析的基础，提高了效率和处理速率；对关键帧提取 SIFT特征，该特征对视频拷贝过程中对视频信号带来的噪声比较鲁棒，从而 在进行关键帧序列匹配时不受噪声影响。在进行关键帧匹配时采用时间序列匹 配中的DTW方法，能有效克服关键帧位置不完全对应而带来的序列匹配问题。
图1是本发明视频拷贝的检测方法流程图；图2是本发明视频拷贝的检测系统结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本发明的一种视频拷贝的检测方法和系统进行进一步详细说明。应当 理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。本发明的视频拷贝的检测方法和系统，是对视频片段是否为另一视频内容 拷贝进行检测，其对已经得到的数字视频进行内容分析，得到内容单元，对各 单元提取能表达单元主要内容的视频关键帧，通过分析关键帧序列的相似度来 确定一个视频片段是不是另一视频的全部或者部分的视频拷贝。在本发明实施例中，以具有版权的视频(称为被检测视频)，对来自于互 联网上的査询视频，检测其中的查询视频是否包含被检测视频中的内容(即查 询视频是否拷贝了被检测视频的部分或全部内容)为例，说明本发明的视频拷 贝检测方法，但其不是对本发明应用范围的限定，本发明也可以适用于其他视 频拷贝的检测。下面详细说明本发明的一种视频拷贝的检测方法，如图1所示，包括下列 步骤步骤S100，将査询视频和被检测视频转化为统一格式的数字视频；对所 述査询视频和被检测视频进行视频结构分析，分割视频中的镜头，提取关键帧。 将被检测视频和从互联网上下载的多个查询视频，转化为统一格式的数字视频格式，使得视频的尺寸、编码格式是统一的，如从AVI、 DV-AVI、 MOV 格式转化为MPEG格式等。这种转化是本领域的现有技术，本领域技术人员 在可以依照本发明公开的内容，实现其转化过程，因此，在本发明中不再一一 详细描述。对被检测视频和查询视频均进行视频结构分析，分割视频中的镜头(shot)， 提取关键帧。。视频结构化分析是指对视频流进行镜头分割、关键帧提取和场景分割等处 理。镜头分割的关键在于确定镜头的边界。现有镜头分割方法多以视频内容的 不连续性为划分镜头的依据，通常选取视频的某种特征来度量视频内容的不连 续性，如颜色特征、运动矢量特征、边缘特征等。通过镜头分割，可对视频内容进行基于镜头单元的简洁表达，从而在保持 视频基本内容的前提下对视频内容进行基于镜头单元的关键帧表达；镜头分割后，对每个镜头可提取若干关键帧，并用关键帧来简洁地表示镜头。由于同一个镜头中的各帧图像之间的内容有相当程度的冗余，因此可以选 取反映镜头中主要信息内容的帧图像作为关键帧。这样关键帧之间的冗余度被 降低了，可以提高基于内容的视频处理的效率。其中，在本发明实施例中，所述视频的关键帧提取的具体方法是步骤S110，计算视频中各帧的HSI值；其中，HSI(Hue, Saturation, Intensity,或称HSV)表示色相、饱和度和亮度。 HSI的计算方法是一种现有技术，作为一种可实施方式，可以利用如《多媒体计算机技术基础及应用》(钟玉琢等，高等教育出版社，1999年)中描述的方法来实现。以每帧图像的中各个像素点HSV的均值表示该图像，同时把HSI非均匀 量化到0 165共166个等级。量化方法也是一种现有技术，作为一种可实施的 方式，可以禾U用如《VIP: Vision tool for comparing Images of People》 (Michel Lantage, Marc Parizeau and Robert Bergevin, In: Vision Interface 2003 )中描述的方法来实现。步骤S120，生成并统计整个视频的各帧HSI值的直方图，估算得到视频其中信息熵的计算方法为= —f F腦函附,F謂一 比特/符号其中toto/^V,dV,表示该视频流的总帧数，^ww,'表示视频流中被量化到第''阶的帧数，N=l， 2，……。步骤S130，确定较佳的关键帧帧数；
关键帧个数与信息熵的关系可以表述如下对于关键帧，从关键帧精简的需要来看，关键帧是各不相同，对于K个 关键帧，可以视为等概率出现的K个符号，这时的信息熵为^(力-log^比特；从反映视频内容的角度来看，基于图像帧在视频中出现越多越重要的假 设，若//(1)>//(力，视频流信源的随机性大于精简后关键帧的随机性，关键 帧的个数不足以反映视频的变化，而若//(1)<//(勾，视频流信源的随机性小 于精简后关键帧的随机性，关键帧的个数过多，可能选取了在视频中出现很少 的帧作为关键帧。因此，较佳的情况是使关键帧的帧数K与视频的信息熵满 足//(f) = log2K = //(X)，即i^2"("。步骤S140，根据较佳的关键帧数，用自适应无监督聚类方法的聚类中心作为K-均值聚类的初始中心，对视频中各帧进行K-均值聚类。聚类是以数字公式为基础的在不同对象之间的相似性的度量。K-均值是简 单的非监督学习方法(算法)，它用于解决一些公知的聚类问题。K-均值聚类 方法被用于产生根据相似性的距离度量的聚类和固定尺寸的、平直的分类。其 通过事先固定的聚类的给定数目(例如，K个聚类)把给定的数据集进行分类。 其是一种现有技术，本领域技术人员根据本发明公开的内容，能够实现对视频 中各帧的K-均值聚类过程，因此，在本发明中不再一一详细描述。步骤S200，对被检测视频的关键帧建立索引，利用査询视频的关键帧在 索引中进行初步查找，得到与査询视频的关键帧具有相似内容的被检测视频的 关键帧以及该被检测视频的视频号，并将这些被检测视频作为下一步匹配的备 选视频。本发明实施例中，对被检测视频的关键帧建立索引，是对关键帧提取SIFT (Scale Invariant Feature Transform) f寺征，并建立索引，用来初步查找被检测 视频中是否存在与查询视频匹配的内容。其对关键帧提取能表达视频内容的鲁棒(robustness)特征，通过以这些 特征建立高维索引，加快查找相似关键帧的速度。在进行初步査找时，记录经查找，与査询视频(即所提交视频)的关键帧 具有相似内容的被检测视频的关键帧，以及该被检测视频的视频号，将这些被 检测视频作为下一步匹配的备选视频，依据关键帧査找的结果来初步选定进一 步进行视频拷贝检测的初歩范围。
其中，在本发明实施例中，对被检测视频的关键帧建立索引的具体方法是 步骤S210，对提取的被检测视频的关键帧的SIFT特征进行降维；因为生成的SIFT特征点比较多，数据量大，因此，对SIFT特征点的描述构成的矩阵进行降维。较佳地，鉴于主成分分析(Principal Component Analysis, PCA)在能量集中 意义方面最为有效，本发明实施例采用PCA对SIFT特征矩阵进行降维。本发明实施例中，将各点SIFT特征看作是特征矩阵的一行，则一帧图像 的特征成为一个特征矩阵，对该特征矩阵进行PCA变换.取变换后的低维特 征向量作为低维度的关键帧特征。作为一种可实施方式，PCA变换可以利用 如《The Complete Reference (2nd Edition)》 (David Salomon; Data Compression: The Complete Reference (2nd Edition), Springer, ISBN 0-387-95045-1, 2000)中描 述的方法实现。步骤S220，对降维后的被检测视频关键帧的特征采用11*树结构建立索引。其中，R^对是R树(regiontree，区域树)的变形结构，是目前大规模数 据库中的常用索引结构，具有结构稳定、检索迅速等优点。本发明针对图像特 征数据的特点，采用了R^对结构来实现图像库的索引。R^对是基于不同数据分布提出的R树变种。它不同于R树仅在小的叶子 区域体积优化，R^树还优化了 (1)叶子节点区域之间的覆盖；(2)叶 子节点区域的表面；(3)存储利用率。与R树插入算法不同，R^树在为一 个数据目标选择合适的插入叶子节点时，当点未被包括在任何叶子节点区域内 时，叶子节点和目录节点的处理方法是不同的。对于叶子节点，选择使覆盖产 生最小扩大值的区域，扩大值相同时，进一步比较叶子节点的体积扩大值和自 身体积大小。对于目录节点，先判断最小体积扩大区域，若不能判定时，则由 自身的体积决定。11*树分裂算法的特点在于提出了一种"强行再插入"的概 念，即如果一个节点溢出，就删除一定百分比的远离中心区域的目标，再按插 入方法重新插入这些目标。虽然尺*树的"再插入"算法会增加运算复杂度和 访问磁盘次数，但这种增加量避免了很多节点的分裂。步骤S300，计算查询视频的关键帧和备选视频的关键帧序列之间的相似 度，对关键帧序列进行匹配，确认视频之间的相似度，相似度高的视频作为查 询视频的拷贝视频源，即认为来自于网上的査询视频拷贝了被检测视频中的这
本发明中，将视频之间相似度的计算转化为关键帧序列相似性计算，通过 时间序列匹配方法，可以有效计算关键帧序列之间的相似度，从而依据相似度 来有效判断一视频是否是另一视频的全部或者部分的视频拷贝。其中，在本发明实施例中计算查询视频的关键帧和备选视频的关键帧序列 之间的相似度，对关键帧序列进行匹配的具体方法是步骤S310，将一个关键帧作为时间序列上一时间点上的取值，则关键帧序 列可视为时间序列，即随时间变化的一组值。将査询视频的关键帧序列和备选 视频的关键帧序列分别视为两个关键帧时间序列；时间序列是一类重要的数据对象，在经济、水文、气象等许多应用领域广 泛存在。时间序列具有维数高、数据量大以及噪声干扰严重等特点，时间序列 的模式表示有三方面的好处 一是对时间序列进行压縮，换来更小的存储和计算代价；二是只保留了时间序列的主要形态，去除了细节干扰，更能反映出时 间序列的自身特征，有利于提高数据挖掘的效率和准确性；三是很多应用领域关心的是时间序列一段时间内的变化模式和规律，而不是时间序列中单个序列 点的值，模式表示更能符合其特点。歩骤S320，按特征对时间序列进行动态时间规整(Dynamic Time Warping， DTW)相似度计算，对关键帧序列进行匹配。在进行DTW方法计算时，采用引入Keogh下界的快速算法来进行DTW 距离计算；按特征对时间序列进行DTW相似度计算是一种现有技术，作为一种可实 施方式，可以禾ll用如《Indexing Multi-Dimensional Time-Series with Support for Multiple Distance Measures》 (Michail Vlachos, Marios Hadjieleftheriou， Dimitrios Gunopulos， Eamo皿Keogh,SIGKDD '03, August 24-27, 2003, Washington, DC, USA)中描述的方法来实现。最后，可以通过预先设定一阔值，当相似度高于预先设定阀值的视频，则 作为查询视频的拷贝视频。本发明的视频拷贝的检测方法，通过确定备选视频，縮小了要进行视频片 段匹配的视频的范围；对该范围内的视频逐个进行关键帧序列匹配，从而得到 最终的判定结果，所选中的视频
相应地，本发明还提供一种视频拷贝的检测系统20，如图2所示，该系统包括分析提取模块21，索引模块22，检测模块23。其中所述分析提取模块21，用于将查询视频和被检测视频转化为统一格式的 数字视频；对所述查询视频和被检测视频进行视频结构分析，分割视频中的镜 头，提取关键帧。所述索引模块22，用于对被检测视频的关键帧建立索引，利用查询视频 的关键帧在索引中进行初步查找，得到与查询视频的关键帧具有相似内容的被 检测视频的关键帧以及该被检测视频的视频号，并将这些被检测视频作为下一 步匹配的备选视频。检测模块23，用于计算查询视频的关键帧和备选视频的关键帧序列之间 的相似度，对关键帧序列进行匹配，确认视频之间的相似度，相似度高的视频 作为査询视频的拷贝视频源。本发明的视频拷贝的检测系统，以与本发明的视频拷贝的检测方法相同的 过程进行工作，因此，在本发明实施例中，不再一一重复详细。本发明实施例的视频拷贝的检测方法和系统，对视频进行关键帧提取，以 此作为分析的基础，提高了效率和处理速率；对关键帧提取SIFT特征，该特 征对视频拷贝过程中对视频信号带来的噪声比较鲁棒，从而在进行关键帧序列 匹配时不受噪声影响。在进行关键帧匹配时采用时间序列匹配中的DTW方法， 能有效克服关键帧位置不完全对应而带来的序列匹配问题。通过结合附图对本发明具体实施例的描述，本发明的其它方面及特征对本 领域的技术人员而言是显而易见的。以上对本发明的具体实施例进行了描述和说明，这些实施例应被认为其只 是示例性的，并不用于对本发明进行限制，本发明应根据所附的权利要求进行 解释。
权利要求
1、一种视频拷贝的检测方法，其特征在于，包括下列步骤步骤A，将查询视频和被检测视频转化为统一格式的数字视频；对所述查询视频和被检测视频进行视频结构分析，分割视频中的镜头，提取关键帧；步骤B，对被检测视频的关键帧建立索引，利用查询视频的关键帧在索引中进行初步查找，得到与查询视频的关键帧具有相似内容的被检测视频，并将这些被检测视频作为下一步匹配的备选视频；步骤C，计算查询视频的关键帧和备选视频的关键帧序列之间的相似度，对关键帧序列进行匹配，确认视频之间的相似度，相似度高的视频作为查询视频的拷贝视频源。
2、 根据权利要求1所述的视频拷贝的检测方法，其特征在于，所述步骤 A中，所述提取关键帧，包括下列步骤步骤A1，计算视频中各帧的HSI值；步骤A2，生成并统计整个视频的各帧HSI值的直方图，估算得到视频信 息熵；步骤A3，确定较佳的关键帧帧数。
3、 根据权利要求2所述的视频拷贝的检测方法，其特征在于，所述步骤 A3之后，还包括下列步骤歩骤A4，根据较佳的关键帧数，用自适应无监督聚类方法的聚类中心作 为K-均值聚类的初始中心，对视频中各帧进行K-均值聚类。
4、 根据权利要求1所述的视频拷贝的检测方法，其特征在于，所述步骤 B中，对被检测视频的关键帧的特征建立索引，包括下列步骤步骤B1 ，对提取的被检测视频的关键帧的SIFT特征进行主成分分析降维； 歩骤B2，对降维后的被检测视频关键帧的特征采用尺*树结构建立索引。
5、 根据权利要求l所述的视频拷贝的检测方法，其特征在于，所述歩骤 C中，计算查询视频的关键帧和备选视频的关键帧序列之间的相似度，对关键 帧序列进行匹配，包括下列步骤步骤Cl，将一个关键帧作为时间序列上一时间点上的取值，则关键帧序 列可视为时间序列，即随时间变化的一组值，将査询视频的关键帧序列和备选视频的关键帧序列分别视为两个关键帧时间序列；步骤C2，按特征对时间序列进行动态时间规整相似度计算，对关键帧序 列进行匹配。
6、 一种视频拷贝的检测系统，其特征在于，包括分析提取模块，索引模 块，检测模块，其中所述分析提取模块，用于将查询视频和被检测视频转化为统一格式的数字 视频；对所述查询视频和被检测视频进行视频结构分析，分割视频中的镜头， 提取关键帧；所述索引模块，用于对被检测视频的关键帧建立索引，利用査询视频的关 键帧在索引中进行初步査找，得到与查询视频的关键帧具有相似内容的被检测 视频，并将这些被检测视频作为下一步匹配的备选视频；检测模块，用于计算查询视频的关键帧和备选视频的关键帧序列之间的相 似度，对关键帧序列进行匹配，确认视频之间的相似度，相似度高的视频作为 查询视频的拷贝视频源。
7、 根据权利要求6所述的视频拷贝的检测系统，其特征在于，所述提取关键帧，包括计算视频中各帧的HSI值；生成并统计整个视频的各帧HSI值的直方图，估算得到视频信息熵； 确定较佳的关键帧帧数。
8、 根据权利要求7所述的视频拷贝的检测系统，其特征在于，所述提取 关键帧，还包括根据较佳的关键帧数，用自适应无监督聚类方法的聚类中心作为K-均值 聚类的初始中心，对视频中各帧进行K-均值聚类。
9、 根据权利要求6所述的视频拷贝的检测系统，其特征在于，所述对被检测视频的关键帧的特征建立索引，包括对提取的被检测视频的关键帧的SIFT特征进行主成分分析降维； 对降维后的被检测视频关键帧的特征采用Rf树结构建立索引。
10、 根据权利要求6所述的视频拷贝的检测系统，其特征在于，所述计算査询视频的关键帧和备选视频的关键帧序列之间的相似度，对关键帧序列进行匹配，是指将一个关键帧作为时间序列上一时间点上的取值，则关键帧序列可视为 时间序列，即随时间变化的一组值，将査询视频的关键帧序列和备选视频的关 键帧序列分别视为两个关键帧时间序列；按特征对时间序列进行动态时间规整相似度计算，对关键帧序列进行匹配。
全文摘要
本发明公开了一种视频拷贝的检测方法和系统。该方法包括下列步骤将查询视频和被检测视频转化为统一格式的数字视频；对所述查询视频和被检测视频进行视频结构分析，分割视频中的镜头，提取关键帧；对被检测视频的关键帧建立索引，利用查询视频的关键帧在索引中进行视频拷贝的初步查找，得到与查询视频的关键帧具有相似内容的被检测视频，并将这些被检测视频作为下一步匹配的备选视频；计算查询视频的关键帧和备选视频的关键帧序列之间的相似度，对关键帧序列进行匹配，确认视频之间的相似度，相似度高的视频作为查询视频的拷贝视频源。其减小视频拷贝检测的搜索空间，有效提高了检测效率。
文档编号H04N5/76GK101394522SQ200710122018
公开日2009年3月25日 申请日期2007年9月19日 优先权日2007年9月19日
发明者张勇东, 李锦涛, 潘雪峰 申请人:中国科学院计算技术研究所