专利名称：基于局部线性嵌入的视频拷贝检测方法
技术领域：
本发明涉及一种基于局部线性嵌入的视频拷贝检测方法，属于视频、多媒体信号 处理技术领域。
背景技术：
随着多媒体技术和Internet的发展，网络视频变的越来越丰富，因此视频检索在 网络中的应用也越来越广泛。但在对互联网上视频的检索结果进行研究时发现，平均有 27%的检索结果属于视频拷贝(Video Copy)；特别地，在对最大的视频网站Youtube的检 索统计中，某些热点视频的检索结果中，视频拷贝的比例甚至高达93%，这大大降低了视频 检索的效率。与此同时，互联网上对于海量视频的管理却是缺乏规划和统一性，常常引起一 些诸如知识产权等的纠纷。作为视频检索的一个分支，视频拷贝检测被提出并成为了解决 上述问题的主要方法。基于内容的视频拷贝检测(Content-BasedVideo Copy Detection-CBVCD)与数 字视频水印技术不同，它不需要在视频发布或者传播之前，人工地在视频对象中嵌入附加 信息，因此，CBVCD对于尚未发布和已经发布的视频都有效；同时，由于不需要在视频上嵌 入附加信息，CBVCD解决了数字视频水印技术中水印的不可见性和鲁棒性之间的矛盾，从而 提高了 CBVCD对于常见攻击的鲁棒性。利用CBVCD技术不但可以在视频检索中搜索到多余 的视频拷贝，并将其屏蔽，而且有助于规范数字视频版权、数字视频传播等的管理；同时，从 另一个方面，也可以通过CBVCD来对商业视频及其视频拷贝进行跟踪分析，以获得有价值 的营销策略信息。因此，在个人视频制作与网络传播日益流行的情况下，CBVCD具有重要的 理论价值和应用价值，已经成为了多媒体信息处理领域的研究热点。但现有的视频拷贝检测技术大多关注于视频各帧的空域特性，而在某种程度上忽 略了视频在时域上的变化特性，这对于表达视频的总体特征是不利的。同时，现有的算法， 大多集中在视频像素、纹理或其频域的特性，其实这些特性存在于一个高维的空间中，对提 取视频特征是不利的。
发明内容
本发明针对现有视频拷贝检测技术存在的不足，提供一种具有较好的鲁棒性和区 分性的基于局部线性嵌入的视频拷贝检测方法。本发明的基于局部线性嵌入的视频拷贝检测方法，包括以下步骤(1)预处理将视频帧的尺寸标准化，改变视频的分辨率，但是不改变视频内容；(2)关键帧的选取根据视频层析成像技术和一个服从均勻分布的向量来选取视 频关键帧；(3)高维空间视频特征的提取利用四阶累积量的离散余弦变换(DCT)作为每帧 的高维特征；(4)以关键帧的累积量的离散余弦变换(DCT)系数作为局部线性嵌入的输入，利用局部线性嵌入的算法，把视频各帧映射成低维平面的点，以点的范数构成哈希序列作为 视频特征； (5)以一个动态的滑动窗来实现不同长度的视频匹配。所述步骤(2)的具体实现步骤是①扫描视频各帧特定列的像素点的亮度分量，构造一个视频层析成像图像，从而 划分视频镜头；②利用一个服从均勻分布的向量来在每一个镜头里选择代表帧，最终构成关键 帧；所述步骤(3)的具体实现步骤是①计算每个关键帧的四阶累积量；②计算每帧累积量的离散余弦变换(DCT)系数，取最大的40个系数待用，因为其 包含了主要的信息和能量。所述步骤(4)的具体实现步骤是①选取每帧四阶累积量离散余弦变换(DCT)变换最大的40个系数作为关键帧在 高维空间里的坐标；②把关键帧进行8x8分块，根据视频相邻关键帧对应块之间的离散余弦变换 (DCT)变换中频系数的差值，来判断是否为邻居，设定一阈值，若相邻关键帧所有对应块之 间的差值的平均值小于阈值，则说明两帧是邻居，计算出每个关键帧的邻居数目，选择一个 最小的作为所有帧的邻居数目；③利用局部线性嵌入把关键帧投影成低维平面上的点，计算各点的范数，并依据 一个密钥来把此序列量化成一个二值序列，此即为该视频的哈希序列。所述步骤(5)的具体实现步骤是①将两个视频做比较，以较短的视频的长度作为动态窗的宽度；②若前一次比较的错误码元数为d，则下一次动态窗滑动的步长为d。③以所有比较中最小的错误码元数作为两个视频的距离，然后计算误码率，若误 码率小于给定阈值，则说明两个视频中其一为拷贝。上述方法首先利用视频层析成像技术和服从均勻分布的向量对视频进行镜头分 割和关键帧提取，然后以高阶累计量作为视频在高维空间的特征并利用局部线性嵌入进行 降维，得到视频在三维空间中的轨迹，利用三维空间中点的范数构造视频哈希来实现视频 拷贝检测本发明在考虑视频时空特性的基础上，把视频投影到一个低维空间中来提取特 征，具有较好的鲁棒性和区分性，利用局部线性嵌入的方法把视频由高维的空间降低到低 维空间，克服了在高维空间中的计算复杂性，在低维空间中生成的哈希序列既简单又具有 较高的鲁棒性。
图1是本发明方法的步骤框架示意图。图2是视频层析成像形成的示意图。图3是利用局部线性嵌入对视频降维的示意图。
图4是本发明对于各种攻击后的误码率示意图(左上)随机噪声；(右上)帧旋 转；(左下)帧随机丢弃；(右下)帧像素平移。
具体实施例方式
下面结合附图对本发明的加以详细的说明。具体实施中采用视频切片技术进行视 频镜头分割，然后利用均勻分布的向量标记关键帧。本领域技术人员根据说明，也可采用其 他方法进行关键提取。视频的降维技术采用局部线性嵌入的方法，哈希序列的形成采用二 值量化的方法。本发明的方法按图1所示流程，包括如下具体步骤(1)预处理视频在传输的过程中，因为干扰和攻击会导致视频帧的大小发生变化，为了解决 这个问题，增加算法的鲁棒性，首先在预处理的工程中对视频帧的尺寸标准化，标准化的工 程使视频的分辨率改变，但是不改变视频内容。在本发明的方法中，可以只对关键帧进行尺 寸标准化，帧放缩处理函数S定义如下fk = S (Fk)其中Fk e Rmxn和fk e Rwxh分别代表标准化前后的第k帧，且w < m，h < η。(2)关键帧选取①利用视频层析成像技术进行视频镜头分割，视频层析成像是由视频各帧在特定 方向上的像素在二维平面上的投影形成的图像。假设视频V共有η帧，分别为f\ f^fn.每 帧的分辨率是wXh。则通过下式可得到视频V的视频层析成像图像VT。VT (k，) = [diag (fk)，indiag (fk) ]，1 彡 k 彡 η·层析成像如图2所示。②采取基于均勻分布的随机变量ijndex作为密钥来在一个镜头中选择关键帧。i_index = {tj i = 1,2, ...Ν，、ε{1，2， ...，Μ}其中M是一个镜头的视频帧数目，N是选取的关键帧的数目，一般定义的ijndex 的长度为M的五分之一到四分之一即可。以均勻分布的随机变量作为关键帧选取的索引， 既增加了方法的安全性同时又保证了关键帧分布于每个时间片段上。(3)视频哈希序列的生成①邻居的选取在局部线性嵌入的算法流程中，一个非常重要的步骤就是高维数据点邻居的选 取，根据不同的应用可以选择不同的度量标准来选取邻居，对于视频拷贝检测来说，最重要 的原则就是对一些非恶意修改的强鲁棒性。本发明采用帧间块的DCT系数差值作为邻居选 取的度量标准，具体实现的算法如下视频帧邻居选取算法输入原始视频V。(N帧)·以开始For k = 1 =N Do//对每帧采取相同的操作.把该帧分为8X8块，并对每块的亮度进行分块DCT变换。
对每块DCT系数进行zigzag拉伸，定义为-AQ: ·Λ引< m;l《《64}。m是每帧的块数。取每块的中间30%的DCT交流系数并相加，构成向量IS <m}。EndFor k = 1 :NFor t = 1 :NIf丄頃给定阈值。
m =ι则第t帧和第k帧互为邻居.EndEndEnd输出对于每帧Fk，得到邻居数目Nk，为计算方便，取所有帧一个公共的邻居数目K，即K = min {Nk | 1 彡 k 彡 N}。End②计算四阶累积量对于不改变视频内容的攻击可以建模成一高斯过程，而高阶累积量具有去高斯 性，因此选择高阶累积量作为视频高维空间的特征是具有很强鲁棒性的，本发明取四阶累 积量作为高维特征。对于含有wXh个像素的帧，可以得到wXh个累积量系数，这个数目可能会非常 大，为减少计算量，本文对累计量系数进行DCT变换，取前40个系数作为特征，即视频所在 高维特征空间的维数为40，每个坐标的大小即相应的累积量DCT系数的值。③利用局部线性嵌入对视频降维视频每帧可以看作以累积量的DCT系数为坐标的高维空间中的点，利用局部线性 嵌入，可把视频投影到一个三维的空间上，具体过程如下 提取给定视频的关键帧，并为每个关键帧寻找邻居。 对于每个关键帧，计算其亮度系数的四阶累计量并进行DCT变换，取 前40个较大的DCT系数，定义为竭，N是关键帧的数目。并组成矩阵 D40xjv :D,0:1 仏"}。 利用局部线性嵌入的方法，把视频各帧投影到三维空间中，得到点列ν = IvJixn，计算每个点的F-范数Il Vi Il F，则得到一个范数序列=KIV,.IIjBKW，并用 来生成视频哈希序列。图3是一个利用局部线性嵌入对视频降维例子的示意图，其中左图(a)是一段视 频片段，右图(b)是该段视频片段在三维空间中的投影轨迹。④哈希序列的计算鲁棒的哈希值是整个拷贝检测的关键，本发明采用如下的方法。首先生成一个范 围在W，1]，零均值服从均勻分布的随机序列P = IpkI作为密钥，根据下式，生成哈希序列 h = IhJ。
权利要求
1.一种基于局部线性嵌入的视频拷贝检测方法，其特征在于包括以下步骤(1)预处理将视频帧的尺寸标准化，改变视频的分辨率，但是不改变视频内容；(2)关键帧的选取根据视频层析成像技术和一个服从均勻分布的向量来选取视频关 键帧；(3)高维空间视频特征的提取利用四阶累积量的离散余弦变换(DCT)作为每帧的高 维特征；(4)以关键帧的累积量的离散余弦变换(DCT)系数作为局部线性嵌入的输入，利用局 部线性嵌入的算法，把视频各帧映射成低维平面的点，以点的范数构成哈希序列作为视频 特征；(5)以一个动态的滑动窗来实现不同长度的视频匹配。
2.根据权利要求1所述的基于局部线性嵌入的视频拷贝检测方法，其特征在于所述 步骤(2)的具体实现步骤是①扫描视频各帧特定列的像素点的亮度分量，构造一个视频层析成像图像，从而划分 视频镜头；②利用一个服从均勻分布的向量来在每一个镜头里选择代表帧，最终构成关键帧。
3.根据权利要求1所述的基于局部线性嵌入的视频拷贝检测方法，其特征在于所述 步骤(3)的具体实现步骤是①计算每个关键帧的四阶累积量；②计算每帧累积量的离散余弦变换(DCT)系数，取最大的40个系数待用，因为其包含 了主要的信息和能量。
4.根据权利要求1所述的基于局部线性嵌入的视频拷贝检测方法，其特征在于所述 步骤(4)的具体实现步骤是①选取每帧四阶累积量离散余弦变换(DCT)变换最大的40个系数作为关键帧在高维 空间里的坐标；②把关键帧进行8x8分块，根据视频相邻关键帧对应块之间的离散余弦变换(DCT)变 换中频系数的差值，来判断是否为邻居，设定一阈值，若相邻关键帧所有对应块之间的差值 的平均值小于阈值，则说明两帧是邻居，计算出每个关键帧的邻居数目，选择一个最小的作 为所有帧的邻居数目；③利用局部线性嵌入把关键帧投影成低维平面上的点，计算各点的范数，并依据一个 密钥来把此序列量化成一个二值序列，此即为该视频的哈希序列。
5.根据权利要求1所述的基于局部线性嵌入的视频拷贝检测方法，其特征在于所述 步骤(5)的具体实现步骤是①将两个视频做比较，以较短的视频的长度作为动态窗的宽度；②若前一次比较的错误码元数为d，则下一次动态窗滑动的步长为d。③以所有比较中最小的错误码元数作为两个视频的距离，然后计算误码率，若误码率 小于给定阈值，则说明两个视频中其一为拷贝。
全文摘要
本发明提供了一种基于局部线性嵌入的视频拷贝检测方法，包括以下步骤(1)预处理将视频帧的尺寸标准化；(2)关键帧的选取根据视频层析成像技术和一个服从均匀分布的向量来选取视频关键帧；(3)高维空间视频特征的提取利用四阶累积量的离散余弦变换作为每帧的高维特征；(4)以关键帧的累积量的离散余弦变换系数作为局部线性嵌入的输入，利用局部线性嵌入的算法，把视频各帧映射成低维平面的点，以点的范数构成哈希序列作为视频特征；(5)以一个动态的滑动窗来实现不同长度的视频匹配。本发明在考虑视频时空特性的基础上，把视频投影到一个低维空间中来提取特征，具有较好的鲁棒性和区分性。
文档编号G06K9/00GK102034085SQ20101029294
公开日2011年4月27日 申请日期2010年9月27日 优先权日2010年9月27日
发明者刘琚, 孙建德, 聂秀山 申请人:山东大学