专利名称：一种并行视频拷贝检测系统和方法
技术领域：
本发明属于视频拷贝检测技术领域，涉及ー种并行视频拷贝检测系统和方法。
背景技术：
近年来，计算机技术和通信技术的快速发展极大地方便了数字视频信息的传输、存储和复制，使得视频信息的数量飞速增长。这对视频内容的管理和检索的方案是ー个很大的挑战。此外，一个复制的视频可能不是对原始视频的精确拷贝而是ー个对原始视频经过改造了的版本。视频拷贝检测的任务是在一个參考视频库中查找并确定查询视频被复制或修改的内容片段。视频拷贝检测技术在视觉信息处理中有着重要的用途，如发现多媒体内容的拷贝片段、通过样本视频检索相关的视频、商业电影或电视节目的监测等。
视频搜索特别是视频拷贝检测是ー个非常活跃的研究領域。现有的文献中Josefbivic ana Anarew Zisserman,，，Efficient Visual bearch οι Videos Last asTextRetrieval，，，IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 31, no. 4,pp. 591—606，April 2009.、HerveJegou, Matthijs Douze, CordeliaSchmid, ” ImprovingBag-of-Features for Large Scale Image Search”，Int JComput Visvol. 87，pp. 316-336，2010，对视频拷贝检测技术的研究做出了很大的贡献。但是这些方法在大型数据库上检索结果不够精确、运行效率不高，因此这些视频检索和视频拷贝检测技术没有得到广泛应用。尽管研究人员提出了多种视频拷贝检测方法，但由于视频格式和内容的多祥性，如何快速有效地检测视频拷贝依然是ー个未解決的问题。并行计算机提供了良好的运行环境，可以在大型数据库上高效地执行检索算法。最近，人们越来越关注并行检索算法。
发明内容
本发明解决的问题在于提供一种并行视频拷贝检测系统和方法，能够在海量的视频数据库中快速、精确的确定用户所关心视频是否是数据库中视频的拷贝的检索方法和系统。本发明是通过以下技术方案来实现ー种并行视频拷贝检测系统，包括离线子系统和在线子系统离线子系统的处理对象是參考视频库，对參考视频库中的视频进行关键帧提取、图像特征提取、特征矢量的聚类分析、特征矢量到视觉词汇的量化并生成视觉词汇表和关于特征的倒排索引表以供在线子系统的查询；在线子系统完成对查询视频在參考视频库中的查询；在线子系统对查询视频进打关键帧提取、图像特征提取、根据參考视频库生成的视觉词汇表对在线系统当前视频的所有关键帧中的特征量化成视觉词汇，然后结合參考视频库的倒排索引表以及当前视频所有关键帧中的视觉词汇进行候选视频的查找和捜索，接下来检查几何一致性和时间一致性，对检索得出的匹配分数进行融合、规ー化处理并得出最终检索結果。
所述的离线子系统包括特征提取模块和索引建立模块，征提取模块对參考视频库中的视频进行关键帧提取，并对关键帧进行图像特征提取，提取得到特征矢量；索引建立模块对特征矢量进行特征矢量的聚类分析，并根据聚类结果对特征矢量到视觉词汇的量化，生成视觉词汇表和关于特征的倒排索引表。所述的在线子系统包括特征提取模块、索引建立模块和检索模块；征提取模块对查询视频进行关键帧提取，并对关键帧进行图像特征提取，提取得到特征矢量；索引建立模块根据參考视频库生成的视觉词汇表对在线系统当前视频的所有关键帧中的特征量化成视觉词汇；检索模块在将索引建立模块建立的基础上，结合參考视频库的倒排索引表以及当 前视频所有关键帧中的视觉词汇进行候选视频的查找和捜索，接下来检查几何一致性和时间一致性，对检索得出的匹配分数进行融合、规ー化处理并得出最终检索結果。一种并行视频拷贝检测方法，包括以下步骤I)采用并行的方法，在线子系统和离线子系统分别对查询视频和參考视频选取关键帧，并对关键帧提取图像特征；2)采用并行的分级聚类方法，离线子系统对所提取的參考视频的特征数据进行聚类；3)离线子系统根据聚类的结果采用并行量化方法，对特征矢量到视觉词汇的量化，生成视觉词汇表和关于特征的倒排索引表；在线子系统根据參考视频库生成的视觉词汇表采用并行量化方法，对在线系统当前视频的所有关键帧中的特征量化成视觉词汇；4)在线子系统采用并行的方法检索，利用參考视频库的倒排索引表以及当前视频所有关键帧中的视觉词汇进行候选视频的查找和捜索，得到备选视频，然后计算空间一致性和时间一致性，对检索得出的匹配分数进行融合、规ー化处理并得出最终检索結果。所述对关键帧提取图形特征为采用单程序多数据流的方法，把视频数据η分成P等份数据块，每个CPU在一个数据块上运行ー个独立的程序进行关键帧选取、MIFT特征提取及MIFT特征描述，所生成的MIFT特征存放到指定的共享文件夹中。所述聚类包括下列步骤在并行框架下对特征数据进行分级采样，并应用分级量化方法把下级采样数据量化到当前级的所有中心上在分级比较的量化过程中根据SPMD并行原理，把需要量化的数据和计算机任务进行划分，使多个CPU并行执行量化程序，并且每ー个CPU都在不同的数据上运行相同的分级比较量化代码；在并行框架下应用K-均值聚类算法对当前级量化后的分组数据分别进行并行聚类应用多线程并行对下级分组采用K-均值聚类，把需要聚类的分组数据和计算机任务进行划分，使多个CPU并行执行聚类程序，并且每ー个CPU都在不同的分组数据上运行相同的聚类代码，所生成的类中心按顺序保存到共享内存中。所述的步骤3)的并行量化方法是应用多线程并行的方法在多个CPU上同时运行相同的分级量化代码；所述倒排索引表的生成为
根据视觉词汇的量化的结果，对于量化结果中的的η个视觉词汇中的ー个视觉词汇wk，在m个视频帧も…dm中的倒排索引表表示为wk (I1Cl)其中fm表示视觉词汇信息。所述备选视频的检索是，利用查询视频的量化数据在索引中初步查找得到备选视频，把需要检索的数据和计算机任务进行划分，使多个CPU并行执行检索程序，并且每ー个(PU都在不同的数据上运行相同的检索代码，然后计算空间一致性和时间一致性最終确定拷贝的视频，每个进程包括下列步骤基于词频/反词频加权的BOF投票检索在计算查询帧图像与參考帧图像之间的相似性时应用BOF投票方法，并应用TF-IDF对所计算出的分值进行加权处理；几何一致性检查查询帧图像与參考帧图像在局部具有空间几何一致性的属性，应用这一属性对查询的帧图像结果进行筛选；空间一致性检查查询视频与參考视频在时间上具有一致性的属性，应用这ー属性对查询的视频结果进行筛选。所述的基于词频/反词频加权的BOF投票检索为首先对查询视频的特征进行量化，并计算每帧的TIF-IDF权值q:Rd— [l，k](2)
权利要求
1.ー种并行视频拷贝检测系统，其特征在于，包括离线子系统和在线子系统 离线子系统的处理对象是參考视频库，对參考视频库中的视频进行关键帧提取、图像特征提取、特征矢量的聚类分析、特征矢量到视觉词汇的量化并生成视觉词汇表和关于特征的倒排索引表以供在线子系统的查询； 在线子系统完成对查询视频在參考视频库中的查询；在线子系统对查询视频进行关键帧提取、图像特征提取、根据參考视频库生成的视觉词汇表对在线系统当前视频的所有关键帧中的特征量化成视觉词汇，然后结合參考视频库的倒排索引表以及当前视频所有关键帧中的视觉词汇进行候选视频的查找和捜索，接下来检查几何一致性和时间一致性，对检索得出的匹配分数进行融合、规ー化处理并得出最终检索結果。
2.如权利要求I所述的并行视频拷贝检测系统，其特征在于，所述的离线子系统包括特征提取模块和索引建立模块，征提取模块对參考视频库中的视频进行关键帧提取，并对关键帧进行图像特征提取，提取得到特征矢量； 索引建立模块对特征矢量进行特征矢量的聚类分析，并根据聚类结果对特征矢量到视觉词汇的量化，生成视觉词汇表和关于特征的倒排索引表。
3.如权利要求I所述的并行视频拷贝检测系统，其特征在于，所述的在线子系统包括特征提取模块、索引建立模块和检索模块； 征提取模块对查询视频进行关键帧提取，并对关键帧进行图像特征提取，提取得到特征矢量； 索引建立模块根据參考视频库生成的视觉词汇表对在线系统当前视频的所有关键帧中的特征量化成视觉词汇； 检索模块在将索引建立模块建立的基础上，结合參考视频库的倒排索引表以及当前视频所有关键帧中的视觉词汇进行候选视频的查找和捜索，接下来检查几何一致性和时间ー致性，对检索得出的匹配分数进行融合、规ー化处理并得出最终检索結果。
4.一种并行视频拷贝检测方法，其特征在于，包括以下步骤 1)采用并行的方法，在线子系统和离线子系统分别对查询视频和參考视频选取关键帧，并对关键帧提取图像特征； 2)采用并行的分级聚类方法，离线子系统对所提取的參考视频的特征数据进行聚类； 3)离线子系统根据聚类的结果采用并行量化方法，对特征矢量到视觉词汇的量化，生成视觉词汇表和关于特征的倒排索引表； 在线子系统根据參考视频库生成的视觉词汇表采用并行量化方法，对在线系统当前视频的所有关键帧中的特征量化成视觉词汇； 4)在线子系统采用并行的方法检索，利用參考视频库的倒排索引表以及当前视频所有关键帧中的视觉词汇进行候选视频的查找和捜索，得到备选视频，然后计算空间一致性和时间一致性，对检索得出的匹配分数进行融合、规ー化处理并得出最终检索結果。
5.如权利要求4所述的并行视频拷贝检测方法，其特征在于，所述对关键帧提取图形特征为采用单程序多数据流的方法，把视频数据η分成P等份数据块，每个CPU在ー个数据块上运行ー个独立的程序进行关键帧选取、MIFT特征提取及MIFT特征描述，所生成的MIFT特征存放到指定的共享文件夹中。
6.如权利要求4所述的并行视频拷贝检测方法，其特征在于，所述聚类包括下列步骤在并行框架下对特征数据进行分级采样，并应用分级量化方法把下级采样数据量化到当前级的所有中心上在分级比较的量化过程中根据SPMD并行原理，把需要量化的数据和计算机任务进行划分，使多个CPU并行执行量化程序，并且每ー个CPU都在不同的数据上运行相同的分级比较量化代码； 在并行框架下应用K-均值聚类算法对当前级量化后的分组数据分别进行并行聚类应用多线程并行对下级分组采用K-均值聚类，把需要聚类的分组数据和计算机任务进行划分，使多个CPU并行执行聚类程序，并且每ー个CPU都在不同的分组数据上运行相同的聚类代码，所生成的类中心按顺序保存到共享内存中。
7.如权利要求4所述的并行视频拷贝检测方法，其特征在于，所述的步骤3)的并行量化方法是应用多线程并行的方法在多个CPU上同时运行相同的分级量化代码； 所述倒排索引表的生成为 根据视觉词汇的量化的结果，对于量化结果中的的η个视觉词汇中的ー个视觉词汇wk，在m个视频帧も…Clni中的倒排索引表表示为wk (I1LfJ-dm[fm](I) 其中fm表示视觉词汇信息。
8.如权利要求4所述的并行视频拷贝检测方法，其特征在于，所述备选视频的检索是，利用查询视频的量化数据在索引中初步查找得到备选视频，把需要检索的数据和计算机任务进行划分，使多个CPU并行执行检索程序，并且每ー个CPU都在不同的数据上运行相同的检索代码，然后计算空间一致性和时间一致性最终确定拷贝的视频，每个进程包括下列步骤 基于词频/反词频加权的BOF投票检索在计算查询帧图像与參考帧图像之间的相似性时应用BOF投票方法，并应用TF-IDF对所计算出的分值进行加权处理； 几何一致性检查查询帧图像与參考帧图像在局部具有空间几何一致性的属性，应用这ー属性对查询的帧图像结果进行筛选； 空间一致性检查查询视频与參考视频在时间上具有一致性的属性，应用这一属性对查询的视频结果进行筛选。
9.如权利要求8所述的并行视频拷贝检测方法，其特征在于，所述的基于词频/反词频加权的BOF投票检索为 首先对查询视频的特征进行量化，并计算每帧的TIF-IDF权值 q:Rd— [l，k] (2) j 1Λ(3) Hf, = log—(4) n, Wftfi · Idfi(5) 其中，yu I = 1，. . .，IH1为给定的查询视频巾贞的第I个特征，Xi, j, i = I,. . . , m2为參考视频库中第j帧中第i个特征，fij是第i个视觉词汇在第j个视频帧上出现的频率，Hi是包含第i个视觉词汇的參考视频帧的总数，N是总的參考视频数，q:表示量化，Rd表示实数空间中的d维数据，tfi表示词频率因子、Idfi表示逆词频率因子； 然后计算相似性
10.如权利要求8所述的并行视频拷贝检测方法，其特征在干， 所述的几何一致性的计算为
全文摘要
本发明公开了一种并行视频拷贝检测方法和系统，包括如下步骤:1.采用并行的方法对查询视频和参考视频选取关键帧，并对这些关键帧提取MIFT特征；2.采用并行的分级聚类方法对所提取的参考视频的特征数据进行聚类；3.根据聚类的结果采用并行量化方法对查询视频和参考视频的特征进行量化；4.对参考视频的量化数据建立索引；5.采用并行的方法检索，利用查询视频的量化数据在索引中初步查找得到备选视频，然后计算空间一致性和时间一致性最终确定拷贝的视频。本发明的系统在基于视觉词汇包模型(BOF)的快速检索基础上采用了并行机制，大大地提高了系统的检测效率。
文档编号G06T7/20GK102693299SQ20121015389
公开日2012年9月26日 申请日期2012年5月17日 优先权日2012年5月17日
发明者乔珍, 刘贵忠, 刘超腾, 廖开阳, 肖莉 申请人:西安交通大学