基于视觉特征的视频指纹检测及视频序列匹配方法及系统的制作方法
【专利摘要】本发明提出一种基于视觉特征的视频指纹检测方法，具体为：按照帧间相关性对视频序列分段，在分段中提取关键帧；在各关键帧中提取视频特征；利用像素点特征字典对像素点分类；对各关键帧分别进行多次不同数量的分块，在各子块中依据像素点的分类结果统计像素点特征字典各元素的出现次数，得到该子块的特征向量；将所有子块的特征向量拼接得到关键帧的高维视频指纹；对各高维视频指纹进行降维；将各视频片段关键帧的低维视频指纹按照时间先后顺序连成关键帧视频指纹串。本发明还提供了基于上述指纹检测方法的视频匹配方法。本发明通过对视频内容的关键信息进行有效描述，在不影响匹配率的情况下，大大降低了算法的复杂度，有效提高了检测效率。
【专利说明】基于视觉特征的视频指纹检测及视频序列匹配方法及系统
【技术领域】
[0001]本发明属于视频分析领域，尤其是涉及一种基于视觉特征的视频指纹检测及视频序列匹配方法。
【背景技术】
[0002]随着计算机技术及网络的快速发展，网络视频数量正在急剧增长。与此同时，随着视频处理技术的发展，视频编辑变得越发容易，针对视频内容进行内容的删减、分辨率改变、内容遮挡、内容替换、增加噪声等等都增加对相关视频内容检测的困难。如何有效地建立视频指纹从而能够在存在一定视频编辑的前提下仍然能够检测到相关视频内容成为一项日益迫切的需求。
[0003]目前主要的视频序列匹配方法主要可以分成两类。第一种方法是全局的亮度分析方法。该方法通过对视频帧的亮度分布进行分析，从而形成一种简单的特征用于视频比对。这种技术的优点是简单，而且计算迅速，可以快速生成用以匹配的视频指纹。缺点是该方法对视频内容的一致性要求较高，当视频内容经过编辑发生一定程度的变化时，该方法就无法检测到相关的视频。第二种方法基于运动轨迹的分析。这种方法首先获得视频序列的一些关键对象，并分析关键对象在整段视频序列中的变化情况，并依此作为视频指纹来进行相关视频检测。这类基于运动轨迹分析的方法能够对关键对象进行跟踪，从而相对基于全局亮度的方法鲁棒性较好，但是其计算复杂度很高，需要对关键对象进行检测并跟踪，从而在效率上具有一定的局限性。
【发明内容】
[0004]针对现有技术的以上缺陷或改进需求，本发明提供了一种基于视觉特征的视频指纹检测及视频序列匹配方法及系统，其目的在于通过对视频内容的关键信息进行有效描述，在不影响匹配率的情况下，大大降低了算法的复杂度，有效提高了检测效率。
[0005]一种基于视觉特征的视频指纹检测方法，包括以下步骤:
[0006](I)按照帧间相关性对视频序列分段，在得到的每个视频分段中提取最具有代表性的关键帧；
[0007](2)分别在各关键帧中采样，对采样得到的像素点提取视频特征；
[0008](3)依据视频特征，利用离线样本聚类得到的像素点特征字典对采样像素点分类；
[0009](4)对各关键帧分别进行多次不同数量的分块；在每次分块得到的子块中，依据采样像素点的分类结果统计像素点特征字典各元素的出现次数，从而得到该子块对应的特征向量；将统计得到的所有子块特征向量拼接得到关键帧的高维视频指纹；
[0010](5)对各高维视频指纹进行降维得到低维视频指纹；
[0011](6)将各视频片段关键帧的低维视频指纹按照时间先后顺序连成关键帧视频指纹
串O[0012]进一步地，所述步骤(1)按照帧间相关性对视频序列分段，在得到的每个视频分段中提取最具有代表性的关键帧的具体过程为:
[0013]计算视频序列中相邻两帧间的色彩直方图距离，将色彩直方图距离归一化处理后作为相邻帧间的相关性度量；若相关性度量低于分段阈值，则将该相关性度量对应的相邻帧间设为分割点；相邻分割点之间的视频划分为一个视频片断。
[0014]进一步地，所述视频特征为SIFT视频特征、颜色直方图、颜色矩、灰度统计特征、边缘特征或角点特征。
[0015]进一步地，所述像素点特征字典是采用K均值聚类算法、凝聚层次聚类算法或DBSCAN聚类算法聚类得到。
[0016]进一步地，所述步骤(5)采用主成份分析法、独立成分分析法、线性决策分析法或局部特性分析法对各高维视频指纹进行降维得到低维视频指纹。
[0017]总体而言，通过本发明所构思的以上技术方案与现有技术相比，本发明方法通过视频帧的视觉相似性的变化，首先获得多个连续的视频片段，并为每一个视频片段提取一个视频关键帧。接下来对每个视频关键帧进行具有空间位置信息描述的视频指纹提取，这种空间位置信息以例如SIFT特征的形式被提取出来。与每一帧都提取视频指纹相比，这种基于关键帧的视频指纹提取，在基本不影响匹配率的情况下，大大降低了算法的复杂度，有效提闻了运算效率。
[0018]进一步地，由于色彩直方图距离描述了不同颜色在图像中所占的比例，反映了图像颜色的统计分布和基本色调。因此，本发明采用色彩直方图距离来表征两帧间的相关性，在低算法复杂度的条件下可以准确的对视频进行分段。
[0019]本发明还提供了一种视频序列匹配方法，具体为:针对待分析视频序列和基准视频序列，分别按照所述的视频指纹检测方法进行检测，得到各自的关键帧视频指纹串；采用串匹配方法对两关键帧视频指纹串进行匹配。
[0020]进一步地，所述采用串匹配方法对两关键帧视频指纹串进行匹配的具体实现过程为:
[0021]令待检索视频Q的关键帧集合表示为
【权利要求】
1.一种基于视觉特征的视频指纹检测方法，其特征在于，包括以下步骤: (1)按照帧间相关性对视频序列分段，在得到的每个视频分段中提取最具有代表性的关键帧; (2)分别在各关键帧中采样，对采样得到的像素点提取视频特征； (3)依据视频特征，利用离线样本聚类得到的像素点特征字典对采样像素点分类； (4)对各关键帧分别进行多次不同数量的分块；在每次分块得到的子块中，依据采样像素点的分类结果统计像素点特征字典各元素的出现次数，从而得到该子块对应的特征向量；将统计得到的所有子块特征向量拼接得到关键帧的高维视频指纹； (5)对各高维视频指纹进行降维得到低维视频指纹； (6)将各视频片段关键帧的低维视频指纹按照时间先后顺序连成关键帧视频指纹串。
2.根据权利要求1所述的基于视觉特征的视频指纹检测方法，其特征在于，所述步骤(I)按照帧间相关性对视频序列分段，在得到的每个视频分段中提取最具有代表性的关键帧的具体过程为: 计算视频序列中相邻两帧间的色彩直方图距离，将色彩直方图距离归一化处理后作为相邻帧间的相关性度量；若相关性度量低于分段阈值，则将该相关性度量对应的相邻帧间设为分割点；相邻分割点之间的视频划分为一个视频片断。
3.根据权利要求1或2所述的基于视觉特征的视频指纹检测方法，其特征在于，所述视频特征为SIFT视频特征、颜色直方图、颜色矩、灰度统计特征、边缘特征或角点特征。
4.根据权利要求1或2所述的基于视觉特征的视频指纹检测方法，其特征在于，所述像素点特征字典是采用K均值聚类算法、凝聚层次聚类算法或DBSCAN聚类算法聚类得到。
5.根据权利要求1或2所述的基于视觉特征的视频指纹检测方法，其特征在于，所述步骤(5)采用主成份分析法、独立成分分析法、线性决策分析法或局部特性分析法对各高维视频指纹进行降维得到低维视频指纹。
6.—种视频序列匹配方法，其特征在于，具体为:针对待分析视频序列和基准视频序列，分别按照权利要求1~5任意一项所述的视频指纹检测方法进行检测，得到各自的关键帧视频指纹串；采用串匹配方法对两关键帧视频指纹串进行匹配。
7.根据权利要求6所述的一种视频序列匹配方法，其特征在于，所述采用串匹配方法对两关键帧视频指纹串进行匹配的具体实现过程为: 令待检索视频Q的关键帧集合表示为
8.根据权利要求7所述的一种视频序列匹配方法，其特征在于，所述匹配的具体实现过程还包括下述步骤: 若待检索视频的某个关键帧与基准视频中的第t个关键帧kf^匹配，则匹配标志flagt = 1，否则为flagt = O，该关键帧kf^t所代表视频片段与待检索视频某片段的相似度为 flagtXwkf (kfi；t)；
TJj 计算基准视频与待检索视频总相似度为
9.一种基于视觉特征的视频指纹检测系统，其特征在于，包括 第一模块，用于按照帧间相关性对视频序列分段，在得到的每个视频分段中提取最具有代表性的关键帧； 第二模块，用于分别在各关键帧中采样，对采样得到的像素点提取视频特征； 第三模块，用于依据视频特征，利用离线样本聚类得到的像素点特征字典对采样像素点分类； 第四模块，用于对各关键帧分别进行多次不同数量的分块；在每次分块得到的子块中，依据采样像素点的分类结果统计像素点特征字典各元素的出现次数，从而得到该子块对应的特征向量；将统计得到的所有子块特征向量拼接得到关键帧的高维视频指纹； 第五模块，用于对各高维视频指纹进行降维得到低维视频指纹； 第六模块，用于将各视频片段关键帧的低维视频指纹按照时间先后顺序连成关键帧视频指纹串。
【文档编号】G06F17/30GK103593464SQ201310608893
【公开日】2014年2月19日 申请日期:2013年11月25日 优先权日:2013年11月25日
【发明者】刘琼, 杨铀, 喻莉, 吴伟民, 高跃, 于国星 申请人:华中科技大学