基于多模式特征和张量分解的视频拷贝检测方法
【专利摘要】本发明提供了一种基于张量分解的视频拷贝提取方法，包括以下步骤：(1)视频预处理：通过时空采样是视频片段标准化；(2)视频张量建模和张量分解：分别提取视频的全局、局部和时域特征，进行张量建模，利用Tucker模型进行张量分解，得到核张量和低阶张量；(3)视频指纹匹配：利用核张量进行粗匹配，利用视频指纹在粗选集中进行精细匹配。与现有技术相比，本发明实现了视频多模式特征的真正互补融合，不仅克服了单一模式特征构造视频指纹鲁棒性差的缺点，而且还实现了多种模式特征之间的时序关联共生性，提高了视频拷贝检测的精确性和效率。
【专利说明】基于多模式特征和张量分解的视频拷贝检测方法
【技术领域】
[0001] 本发明涉及一种视频拷贝检测方法，尤其涉及一种基于多模式特征和张量分解的 视频拷贝检测方法，属于视频、多媒体信号处理【技术领域】。
【背景技术】
[0002] 数字视频因其直观、具体和生动而逐渐成为用户首要关注的多媒体形式。随着网 络技术的发展和网络带宽的不断提高，视频的传输和存储已经变得越来越便捷，因此，互联 网视频网站越来越多，视频内容变得越来越丰富，但随之而来的网络信息安全问题也变得 日渐突出。网络用户可W随意地下载、编辑视频并再次上传，由此网络中出现大量重复视 频，极大的影响了视频检索的效率。同时，由于互联网上对于海量视频的管理缺乏规划和统 一性，而用户又可W非常容易地编辑和修改视频的内容，因此网络中出现了很多盗版视频， 常常引起一些知识产权等的纠纷，盗版和非法下载的出现极大地危害了版权所有者的利 益，挫伤了创新的积极性。基于内容的视频拷贝检测技术正是解决上述问题的主要方法。
[0003] 基于内容的视频指纹技术，或称为鲁棒视频哈希技术是基于内容的视频拷贝检测 技术的具体表现形式，该类技术与数字视频水印不同，它不需要在视频发布或传播之前，人 工地在视频对象中嵌入附加信息，因此，基于内容的视频拷贝检测对于尚未发布和已经发 布的视频都有效；同时，由于不需要在视频上嵌入附加信息，它解决了数字视频水印技术中 水印的不可见性和鲁棒性之间的矛盾，从而提高了对于常见攻击的鲁棒性。利用基于内容 的视频拷贝检测技术不但可W在视频检索中搜索到多余的视频拷贝，并将其屏蔽，而且有 助于规范数字视频版权和传播的管理；同时，从另一个方面，也可W通过该类技术来对商 业视频及其视频拷贝进行跟踪分析，W获得有价值的营销策略信息。因此，在个人视频制 作与网络传播日益流行的情况下，基于内容的视频拷贝检测技术具有重要的理论价值和应 用价值，近年来已经成为了多媒体信息处理领域的研究热点，目前基于内容的视频拷贝检 测技术从不同的角度可W有不同的种类划分，但总体来说，可分为两大类，一类是基于全局 特征的方法，例如颜色直方图、分块灰度顺序度量等等，基于频域的方法也属于此类别，此 类方法的优点是速度快，运算量小，缺点是对于视频的一些局部攻击和后期处理攻击（例 如添加视频字幕，局部剪切等）的效果不好；第二类是基于局部特征的方法，主要是峽局 部特征点描述子，例如 Harris 特征点、SIFT(Scale Invariant Fea1:ure "Transform)和 SURF (Speed-up Robust Fea化re),此类方法对视频局部攻击具有较好的鲁棒性，但有时算 法的复杂度较高。
【发明内容】
[0004] 本发明针对现有视频拷贝检测技术方法的不足，提供一种利用张量分解融合多模 式特征的视频拷贝检测方法，本发明分别提取视频的全局特征、局部特征和时域特征，利用 张量分析理论，把视频多模式特征进行融合来计算视频指纹。与现有技术相比，本发明克服 了单一特征构造视频指纹的局限性，提高了视频拷贝检索的效率和精确性，同时，本发明利 用高阶张量表示视频，实现了视频特征的真正互补融合。现有的文献和技术中，也有基于多 特征融合的视频拷贝检测方法，此类方法一部分是利用同一模式下的不同特征（例如利用 不同的全局特征或不同的局部特征），另一部分是对多特征简单拼接综合或者利用线性、非 线性的加权来融合特征，该些方法不仅忽视了不同特征之间的量纲的不同，而且还减弱甚 至忽略了视频中该些多种模式特征之间的时序关联共生性。与传统融合特征方法相比，本 发明的方法利用多线性几何即高阶张量来表达和分析视频，张量分解过程中由于对组成张 量的所有阶按交错次序采样，并非简单先采样完某一类型特征再采样另外类型特征，而是 在采样过程中对不同类型特征混合在一起交错采样，该样的采样展开过程体现了不同类 型特征的传递和融合，该是传统的"拼接"和"加权"无法实现的。
[0005] 本发明采用的技术方案为：
[0006] 一种基于多模式特征和张量分解的视频拷贝检测方法，其特征在于该方法包括W 下步骤：
[0007] (1)视频预处理；利用时空采样把待测视频转换为标准视频；
[0008] (2)多模式视频特征提取；提取视频的全局特征、局部特征和时域特征；
[0009] (3)多模式特征融合；对多模式视频特征构造高阶张量，并进行张量分解获得高 阶张量的低阶逼近，利用低阶张量构造视频指纹；
[0010] (4)视频指纹匹配：利用张量分解中的核张量缩小匹配范围，利用视频指纹进行 详细匹配。
[0011] 优选地，所述步骤（1)的具体实现步骤是：
[0012] ①对视频进行空域和时域下采样，把视频转化为标准视频F e恨，w、H和K的 值根据具体系统设定，使得预处理过程不会更改视频的主要内容。
[0013] 优选地，所述步骤（2)的具体实现步骤是：
[0014] ①提取视频的全局特征，所述全局特征从峽颜色直方图、峽分块灰度秩序列和DCT 系数等特征中选择；
[0015] ②提取视频的局部特征，所述局部特征从Harris特征点，SIFT特征点、SURF特征 点等特征中选择；
[0016] ③提取时域特征，利用相邻峽之间的归一化灰度差作为时域特征。
[0017] 优选地，所述步骤（3)的具体实现步骤是：
[0018] ①对于步骤（2)提取的H种模式的特征构造H阶张量，其中，张量的H阶分别为 融合特征、特征向量索引和峽序列索引；
[0019] ②对视频张量进行化Cker分解，化Cker分解把一个高阶张量分解为核张量和低 阶张量的外积的形式，如式（1)所示：
【权利要求】
1. 一种基于多模式特征和张量分解的视频拷贝检测方法，其特征在于该方法包括以下 步骤： (1) 视频预处理：利用时空采样把待测视频转换为标准视频； (2) 多模式视频特征提取：提取视频的全局特征、局部特征和时域特征； (3) 多模式特征融合：对多模式视频特征构造高阶张量，并进行张量分解获得高阶张 量的低阶逼近，利用低阶张量构造视频指纹； (4) 视频指纹匹配：利用张量分解中的核张量缩小匹配范围，利用视频指纹进行详细 匹配。
2. 如权利要求1所述的基于多模式特征和张量分解的视频拷贝检测方法，其特征在 于：所述步骤（1)的具体实现步骤是： ①对视频进行空域和时域下采样，把视频转化为标准视频F e，W、H和K的值根 据具体系统设定，使得预处理过程不会更改视频的主要内容。
3. 如权利要求1所述的基于多模式特征和张量分解的视频拷贝检测方法，其特征在 于：所述步骤（2)的具体实现步骤是： ① 提取视频的全局特征，所述全局特征从帧颜色直方图、帧分块灰度秩序列和DCT系 数等特征中选择； ② 提取视频的局部特征，所述局部特征从Harris特征点，SIFT特征点、SURF特征点等 特征中选择； ③ 提取时域特征，利用相邻帧之间的归一化灰度差作为时域特征。
4. 如权利要求1所述的基于多模式特征和张量分解的视频拷贝检测方法，其特征在 于：所述步骤（3)的具体实现步骤是： ① 对于步骤（2)提取的三种模式的特征构造三阶张量，其中，张量的三阶分别为融合 特征、特征向量索引和帧序列索引； ② 对视频张量进行Tucker分解，Tucker分解把一个高阶张量分解为核张量和低阶张 量的外积的形式，如式（5)所示：
where:A = [a1； a2, aP] G Rixp B = [b" b2,…，bQ] G Rjxq C = [Cl，c2，…，cj G Rkxk k G Rpxqxe (5) 其中K为核张量，A, B和C是一阶张量ap, bq和q组成的矩阵，P = Q = R = 1。 ③ 选取一阶张量A作为视频指纹，一阶张量A融合了视频的全局、局部和时域特征。
5. 如权利要求1所述的基于多模式特征和张量分解的视频拷贝检测方法，其特征在 于：所述步骤（4)的具体实现步骤是： ①数据库中除了存储视频指纹还存储相应视频指纹的核张量，设待测视频的核张 量为K，在视频指纹数据库中搜索核张量的数值范围在[K-aK，K+aK]的视频指纹， a e (〇, 1)是一个参数，由此得到一个粗选指纹集合； ②在粗选指纹集合中，利用视频指纹进行详细匹配，从而判定待测视频拷贝是否存在 于数据库。
6.如权利要求5所述的基于多模式特征和张量分解的视频拷贝检测方法，其特征在 于：取a = 0. 2,能保证与待测视频内容相似的视频落入粗选指纹集的概率在99. 5%以上， 而且粗选集合的大小在原指纹数据库大小的三分之一以下。
【文档编号】G06F17/30GK104331450SQ201410593572
【公开日】2015年2月4日 申请日期:2014年10月29日 优先权日:2014年10月29日
【发明者】聂秀山 申请人:聂秀山