专利名称：近拷贝视频检测方法
技术领域：
本发明属于图像与视频处理技术领域，具体涉及一种视频的拷贝检测方法。
背景技术：
随着多媒体硬件和软件技术的快速发展和广泛应用，使得图像和视频数据的采 集、创作和存储设备的成本日趋低廉化，每天都有数以万计的数字媒体数据产生和发布，这 些多媒体又通过不同的工具进行编辑、转换等操作变成其他的多个版本，并最终可能存储 在多种不同介质上，如磁带、V⑶、DVD等，或者通过互联网进行分发。正是这种编辑、传输 和复制的日趋方便和简单，使得图像和视频数据的近似重复检测成为一个非常有实际应用 价值研究课题。一些典型的场景是图像和视频的原创作者很想知道其他人是如何使用自 己的作品的，是否对其进行了编辑和删改；电影发行商非常担心他们的产品是否被非法拷 贝和传播。此外，还有一些较新的应用场景，如通过拷贝检测技术来过滤不健康或者非法 数据；当视频正在播放时，在线的视频拷贝检测能够警告可能存在的版权侵犯，以便提供即 时的知识产权保护；在广播域中，广告客户可以监测网络电视(IPTV)频道或视频流媒体网 站，检查其广告节目是否按实际合同以正确的时间与频率播出。
发明内容
本发明的目的在于提出一种准确率高、响应速度快的视频拷贝检测方法。本发明的视频拷贝检测方法的目标是要设计一个能用于实时检测互联网中近重 复图像和视频的系统，这样一个实际应用的检测系统必须满足以下三个条件1、高召回率。对于给定的查询图像和视频，系统必须能够从数据库中找到所有与 之近似重复的图像和视频，而这些图像和视频可能经过了多种不同的转换操作。2、高准确率。系统返回的查询结果必须是与查询图像和视频是近似重复和相关 的。3、高响应速度。系统应该能够实时响应用户提交的查询请求，尤其对于大规模的 图像和视频数据库，系统的响应速度成为了系统是否具有应用价值的前提。为了满足上述要求，主要有两个目标1)寻找一个更紧凑的描述子，有效降低特 征的维数；2)寻找一种高效的相似性搜索方法，缩小特征的查询范围。经过研究现有的方 法发现，基于局部图像特征的检测方法要明显优于基于全局图像特征的检测方法。而在局 部图像特征方面，由于从每幅图像中提取的关键点数目众多，而且每个关键点的描述维数 很高，因此，它很难满足大规模近重复视频的实时检测。因此本发明提出了梯度序数特征， 简称G0S。该特征具有维数低，计算简单和区分度高等优势。由于梯度序数特征实际上是一 个固定维数的排序特征，它的每一维的任意次幂的和为恒量，利用梯度序数特征的这一特 性，提出了一种基于固定点内积的相似性检索方法。实验结果表明我们的方法比其他相关 方法有更好的效果。本发明提出的视频拷贝检测方法，包括两个方面的内容A.提出一个简单而有效的特征——梯度序数特征；B.基于此特征的应用于图像特征匹配的快速过滤方法。A的具体步骤如下1)视频结构化分析，提取关键帧首先利用视频的亮度、颜色等特征对视频进行镜 头分割，找出视频边界，从而将视频分成多个连续的镜头。然后再在每一个镜头中提取出3 个关键帧(分别取镜头的第一帧，中间帧和最后一帧)。2)对于提取的每一个关键帧，应用局部关键点检测子检测图像中的所有的关键 点。本发明使用的是高斯差分算子(Differential of Gaussian) 03)对于图像中检测到的每一个关键点局部区域利用本发明的特征描述方法 (G0S)进行描述，得到关键点的描述特征梯度序数特征。其步骤为首先，为了获得特征的旋转不变性，需要将整个邻域旋转至关键点邻域的主方向。 考虑以关键点(x，y)为中心的一个KXK的矩形邻域，K为该矩形邻域的长度，也是像素个 数，一般可取16，计算这个邻域内的每一个像素点的梯度，统计得到这个局部区域的梯度 直方图，选取值最大的bin所在的方向作为关键点区域的主方向。在确定了关键点的主方 向后，为了保持特征的旋转不变性，需要对图像进行旋转，使得主方向和图像的水平方向重 合。然后考虑关键点一个NXN邻域，N为该矩形邻域的长度，也是像素个数，一般可取16， 计算这个邻域内的所有像素的梯度值，然后将这个矩形区域分成MXM个块，M —般可取4， 统计各个块的梯度的模的平均值，再对这些梯度模的均值按照大小进行排序。最后得到排 序序列，将这个排序序列作为这个关键点区域的描述子。4)对于视频中的所有的梯度序数特征，利用本发明所提出的快速匹配过滤方法。 首先，计算所有特征与参考特征点(例如，我们提取的特征是16维的话，固定特征就可以是 (1,2,3... 15,16))的内积，并归一化，得标准化内积；B的具体步骤如下1)利用快速匹配过滤方法的相似度搜索方法搜索候选被查询视频特征。对于一个 查询特征q，要查找所有满足1》N(r, q) ^ T的被查询特征，则只要找到在被查询特征里 边查找所有满足如下条件的r N(q, f)*T-^\-N\q,f) * VTt1 < N(r, f) < N(q, f) + ^l-N\q,f) * a/Tt7A(q,f)-A(r,q)>0N(q,f)*T- ^l-N2(q,f) * Vl^T7 < N(r, /)<1. A(q, f) - A(r, q)<0。2)在找到候选的r集合后，再从r集合中选出与q最相近的特征。对所有的查询 特征结果进行融合，找到匹配好的帧。3)融合所有匹配的帧，得到匹配的视频。4)对匹配的视频的score进行标准化。5)对于查找后的结果进行组合与后处理，得到匹配结果。下面进一步描述发明内容。梯度序数特征提取在关键点的抽取方法上，本发明直接使用了 David G. Lowe (1999)给出的高斯差分 算子检测子。抽取关键点以后，考虑以关键点(x，y)为中心的邻域。首先，为了获得特征的 旋转不变性，需要将整个邻域旋转至关键点邻域的主方向。考虑以关键点(x，y)为中心的一个KXK的矩形邻域，计算这个邻域内的每一个像素点的梯度，统计得到这个局部区域的 梯度直方图，选取值最大的bin所在的方向作为关键点区域的主方向。在确定了关键点的主方向后，为了保持特征的旋转不变性，需要对图像进行旋转， 使得主方向和图像的水平方向重合。然后考虑关键点一个NXN邻域，计算这个邻域内的所 有像素的梯度值，然后将这个矩形区域分成MXM块，统计各个块的梯度的模的平均值，再 对这些梯度模的均值按照大小进行排序。最后得到排序序列，将这个排序序列作为这个关 键点区域的描述子。图3描述了特征提取的过程。对于图像中88的像素区域内，计算各个点的梯度，然后再分成4个区域，计算各个 区域的梯度模的平均值，然后再进行排序。按从左到右，从上到下的顺序，上面四个块内的 梯度模的平均值分别是10. 1,8. 3,2. 3,5. 8.那么他们的顺序就是4,3,1,2.即最后得到的 描述子就是(4，3，1，2)。这个特征描述的是各个区域的梯度模的均值的排序，从图像信号的角度来说，它 反映的是关键点邻域内各个块的信号变化的平均强度的顺序。这个特征虽然简单，但是它 保持了局部特征的优点，同时又具有较好的描述能力。再考虑图像的镜像变换，要获得对于镜像变换具有不变性的特征，只需对于旋转 到主方向的图像区域进行列分块.如图4所示，对于图像中的4X4区域，分成4列，然后计 算各个块的梯度的平均值，再进行排序，得到描述子(1，4，3，2).这样的特征具有对镜像变 换保持不变性的特征.因此如果实际情况中包含有镜像变换的拷贝视频，可以考虑用图4 的方法来提取特征，不过在实际应用中应根据情况选择合适的特征维数(一般考虑选择16 维或者25维) 基于梯度序数特征的快速过滤方法通过上面介绍我们可以得知梯度序数特征实际上是一个排序特征，这样的特征满 足如下的条件假设抽取的梯度序数特征为t维，用特征向量v = (Xl，x2, . . . xt)表示，这个向量
满足:tx，= “。我们考虑当k取1和2时的特征所满足的几何特性。当k为1和2时方 ；=1
程变为x!+x2+. . . xt = lj(1)X2 +x22 + .. .x) =l2(2)当k等于1时，(1)式表示在特征空间中所有的点都是在满足方程Xl+X2+. ..xt = 1的超平面上，而< +...X2 =/2表示所有的特征都在满足此方程的一个超球上。结合⑴ 式和(2)式.可以发现所有的特征点应该分布在特征空间的一个超圆上。图2给出了特征的几何特性的图像化描述。图中，AO’ f 平面是当k等于1时，方 程所决定的超平面；球面0是当k取2时，方程所决定的超球面，球心为0。结合两个方程， 特征分布在超圆0'上，该超圆在AO’ f平面上，圆心为0'。发现了特征所满足的几何特征后，我们很自然的想到了一个降低特征维数的办 法。首先将特征空间进行平移。使得特征所在的超圆的中心0'平移到坐标原点0。超圆的中心在原来的坐标系下的坐标值C = (Yl, y2，. . . yt)满足y!+y2+... yt = 1” Yi = y2 = y3- = lt。
所以超圆中心在原坐标系下的坐标是
权利要求
一种近拷贝视频检测方法，其特征在于分为A和B两部分，其中A的具体步骤如下1)视频结构化分析，提取关键帧，首先利用视频的亮度、颜色特征对视频进行镜头分割，找出视频边界，从而将视频分成多个连续的镜头；然后再在每一个镜头中提取出镜头的第一帧、中间帧和最后一帧作为3个关键帧；2)对于提取的每一个关键帧，应用局部关键点检测子高斯差分算子检测图像中的所有的关键点；3)对于图像中检测到的每一个关键点用局部区域特征描述方法进行描述，得到关键点的描述特征梯度序数特征；其步骤为首先，考虑以关键点(x，y)为中心的一个K×K的矩形邻域，K为该矩形邻域的长度，计算这个邻域内的每一个像素点的梯度，统计得到这个局部区域的梯度直方图，选取值最大的bin所在的方向作为关键点区域的主方向；在确定了关键点的主方向后，对图像进行旋转，使得主方向和图像的水平方向重合；再考虑关键点一个N×N矩形邻域，N为该矩形邻域的长度，计算这个邻域内的所有像素的梯度值，然后将这个矩形区域分成M×M个块，统计各个块的梯度的模的平均值，再对这些梯度模的均值按照大小进行排序，得到排序序列，将这个排序序列作为这个关键点区域的描述子；4)对于视频中的所有的梯度序数特征，计算所有特征与参考特征点的内积，并归一化；B的具体步骤如下1)利用快速匹配过滤方法的相似度搜索方法搜索候选被查询视频特征，对于一个查询特征q，要查找所有满足1≥N(r，q)≥T的被查询特征，即要在被查询特征里边查找所有满足如下条件的特征r <mrow><mi>N</mi><mrow> <mo>(</mo> <mi>q</mi> <mo>,</mo> <mi>f</mi> <mo>)</mo></mrow><mo>*</mo><mi>T</mi><mo>-</mo><msqrt> <mn>1</mn> <mo>-</mo> <msup><mi>N</mi><mn>2</mn> </msup> <mrow><mo>(</mo><mi>q</mi><mo>,</mo><mi>f</mi><mo>)</mo> </mrow></msqrt><mo>*</mo><msqrt> <mn>1</mn> <mo>-</mo> <msup><mi>T</mi><mn>2</mn> </msup></msqrt><mo>≤</mo><mi>N</mi><mrow> <mo>(</mo> <mi>r</mi> <mo>,</mo> <mi>f</mi> <mo>)</mo></mrow><mo>≤</mo><mi>N</mi><mrow> <mo>(</mo> <mi>q</mi> <mo>,</mo> <mi>f</mi> <mo>)</mo></mrow><mo>+</mo><msqrt> <mn>1</mn> <mo>-</mo> <msup><mi>N</mi><mn>2</mn> </msup> <mrow><mo>(</mo><mi>q</mi><mo>,</mo><mi>f</mi><mo>)</mo> </mrow></msqrt><mo>*</mo><msqrt> <mn>1</mn> <mo>-</mo> <msup><mi>T</mi><mn>2</mn> </msup></msqrt> </mrow>A(q，f) A(r，q)＞0 <mrow><mi>N</mi><mrow> <mo>(</mo> <mi>q</mi> <mo>,</mo> <mi>f</mi> <mo>)</mo></mrow><mo>*</mo><mi>T</mi><mo>-</mo><msqrt> <mn>1</mn> <mo>-</mo> <msup><mi>N</mi><mn>2</mn> </msup> <mrow><mo>(</mo><mi>q</mi><mo>,</mo><mi>f</mi><mo>)</mo> </mrow></msqrt><mo>*</mo><msqrt> <mn>1</mn> <mo>-</mo> <msup><mi>T</mi><mn>2</mn> </msup></msqrt><mo>≤</mo><mi>N</mi><mrow> <mo>(</mo> <mi>r</mi> <mo>,</mo> <mi>f</mi> <mo>)</mo></mrow><mo>≤</mo><mn>1</mn><mo>.</mo> </mrow>A(q，f) A(r，q)＜0；2)在找到候选的r集合后，再从r集合中选出与q最相近的特征；对所有的查询特征结果进行融合，找到匹配好的帧；3)融合所有匹配的帧，得到匹配的视频；4)对匹配的视频的score进行标准化。5)对于查找后的结果进行组合与后处理，得到匹配结果；其中，q为查询特征，f为参考点特征，形式N(a，b)为a和b的标准化内积，形式A(a，b)为a，b两个向量在向量空间中的余弦值，R为特征库，T为阈值，0＜T＜1。
全文摘要
本发明属于图像与视频处理技术领域，具体涉及一种视频的拷贝检测方法。本发明提出了梯度序数特征概念，该特征具有维数低，计算简单和区分度高等优势。梯度序数特征是一个固定维数的排序特征，它的每一维的任意次幂的和为恒量，据此本发明提出了基于固定点内积的相似性检索方法。实验结果表明该方法比其他相关方法有更好的效果。
文档编号G06F17/30GK101937506SQ201010167078
公开日2011年1月5日 申请日期2010年5月6日 优先权日2010年5月6日
发明者文朝辉, 薛向阳, 路红 申请人:复旦大学