专利名称：基于三维空时特征的鲁棒视频指纹方法
技术领域：
本发明属于信息安全技术领域，涉及数字视频指纹提取和检测匹配方法，该方法可以抵抗常规的视频攻击和处理，用于互联网上的内容认证和近视频检测领域。
背景技术：
随着多媒体技术和网络技术的发展，视频信息的数字化给视频信息的存取，拷贝和修改提供了极大的便利，同时使得信息传输和表达的效率以及准确性有了显著的提高。 但是，由于大量的视频信息可以方便的从互联网上随意下载和发布，并且可以通过处理软件进行任意的修改，再加上一些传播存储过程中的非人为攻击，这就造成了网络上存在大量经过非法复制，剪辑，修改和攻击的视频以及片段，而这些视频片段的原始信息经常是未知的。人们在生活与工作中对得到的未知视频片段感兴趣，并且想找到视频的来源信息进一步了解和使用，这就涉及到了视频内容认证的问题。而针对如何检测视频是否受到版权侵害而被非法复制，剪辑和分发，即检测互联网上是否有与受版权保护内容一致的视频内容，或者需要对同一类视频进行检索，这涉及到了近视频检测的问题。因此，解决目前网络上视频信息数字化所面临的问题迫在眉睫，而如何有效的进行数字视频内容认证和近视频检测也就是关键所在。数字视频指纹作为一项新兴的并且很有潜力的手段，在最近几年受到了学术界和商业界的广泛关注。不同于数字水印技术，一方面数字指纹并不在视频中嵌入任何信息，所以也不会导致视频内容上的变化和扭曲；另一方面，数字水印技术对于大量已存的未嵌入水印的视频无效，而视频指纹是数字视频本身特性的表征，直接对数字视频提取，弥补了数字水印的不足。视频指纹的基本思想是从数字视频内容到一段指纹序列的映射，也就是数字视频视觉内容上的特征摘要，用一段简单的摘要序列最大程度上表征一段视频的内容，类似于一个指纹代表一个人的身份的概念，一段视频指纹也就代表了一段视频的内容。这样视频指纹就可以用于独一无二的表征一段视频并且与其他内容不同的视频进行区分，也就可以有效的完成视频内容认证和近视频检测两大问题，以便认证未知视频内容和提供产品的附加信息，或者保护数字视频的版权内容和跟踪盗版。鲁棒的视频指纹必须可以抵抗常见的视频攻击，在受到攻击前后都必须能保持指纹序列的成对独立性，在匹配过程中还必须具有搜索效率。鲁棒视频指纹技术的过程主要分为指纹提取和指纹匹配两个环节，其中指纹提取是视频指纹技术的主要环节，又可分为帧提取，特征提取，矢量量化三个部分，最终得到矢量形式的视频指纹。帧提取目前主要有关键帧提取，降采样提取等等，主要是为了减少冗余和计算量，用最少的帧内容来唯一表示一段视频，体现了视频指纹的意义所在。视频指纹研究的重点在于特征提取和矢量量化，目前大部分方法都是针对单独帧提取特征，也就是在二维空间上提取特征并量化为指纹向量。例如文献Sunil Lee and D. Yoo Chang, “ Robust Video Fingerprinting for Content-Based Video Identification, " IEEE Trans. Circuits and Systems for Video Technology, vol. 18, no. 7,pp.983-988, July2008.先把每一帧分成若干块，然后每一块的梯度方向质心作为指纹，所有块组成指纹向量进行范围搜索和匹配。这些方法基本可以抵抗大部分常见的视频攻击，但是，这些方法并没有注意到视频的空时性和冗余性，也就是仅仅对图像序列的简单排列，忽略了视频的时间信息，没有做到最大程度上代表一段视频，影响了数字视频指纹的独立性和鲁棒性，最终限制了在近复制视频检测时的检索精度以及检索效率。
发明内容
本发明的目的在于克服上述已有技术的不足，提供一种基于三维空时特征的鲁棒视频指纹方法，以有效利用视频的时间信息，用一段向量最大程度表征视频内容，提高视频指纹针对常见攻击时的独立性和鲁棒性，进而提高在视频内容认证的精度以及近复制视频检测时的检索精度以及检索效率。实现本发明目的的技术方案包括指纹提取和指纹匹配。—、基于三维空时特征的鲁棒视频指纹提取方法，包括如下步骤(1)将视频Q转换到灰度域，即将待检测视频每一帧图像变成灰度图像，得到一组灰度图像序列Z ；(2)将灰度图像序列Z的宽和高调整为固定值，得到一组大小统一的图像序列I ；(3)提取图像序列I的三维空时特征点，并在提取特征点的每一帧图像中提取一个特征强度最大的特征点H ；(4)对提取特征点后的图像序列H进行降2采样，获得降2采样后的视频帧以及每一帧中的空时特征点P ；(5)将每一帧中的空时特征点P周围圆形区域用对比度直方图表示，得到48维向量序列 c = (C1, C2, ...C48)；(6)将向量序列c归一化，得到视频指纹序列f = (f1 f2，…f48)。二、基于三维空时特征的鲁棒视频指纹匹配方法，包括如下步骤1)将待检测视频Q转换到灰度域，即将待检测视频每一帧图像变成灰度图像，得到一组灰度图像序列Z ；2)将灰度图像序列Z的宽和高调整为固定值，得到一组大小统一的图像序列I ；3)提取图像序列I的三维空时特征点，并在提取特征点的每一帧图像中提取一个特征强度最大的特征点H ；4)对提取特征点后的图像序列H进行降2采样，获得降2采样后的待检测视频帧以及每一帧中的空时特征点P ；5)将每一帧中的空时特征点P周围圆形区域用对比度直方图表示，得到48维向量序歹丨J C = (C1, C2, ...C48)；6)将向量序列c归一化，得到待检测视频指纹序列fqUCTy = (f1 f2，…f48)；7)用待检测视频指纹序列fqUCTy在指纹数据库中进行广泛的搜索，将待检测视频指纹序列fqUCTy与数据库中所有的候选指纹序列χ进行逐一求距离cKf^”，X)，当二者距离 d(fquery,x)低于设定的阈值T时，即找到待检测视频的原始信息完成匹配，否则继续进行搜索比较，若在数据库中未找到与待检测视频指纹序列之间距离低于阈值T的视频指纹序列时，匹配失败，即数据库中没有与待检测视频相近或相同的候选视频。
本发明具有以下优点(1)本发明由于将视频转换到灰度域使得视频指纹对于颜色变化具有鲁棒性；(2)本发明由于将灰度图像序列调整为统一固定大小使得视频指纹可以抵抗视频大小变化；(3)本发明由于结合了视频空域和时域的特征，利用三维空时特征检测算子和特征选择策略获得一组稳定的特征区域，同时反映了视频空间与时间维度上的内容，对旋转、 缩放、平移以及噪声干扰等具有较好的鲁棒性，并且进一步做到了数字视频指纹最大程度表征一段视频的目的；(4)本发明由于对视频帧序列进行降2采样，使得视频指纹对帧速率变化具有鲁棒性；(5)本发明由于用对比度直方图唯一的将特征区域描述为一个48维向量，使得相同或相似的视频指纹具有成对独立性，并且使得视频指纹具有高效的检索精度以及检索效率；(6)本发明由于在指纹匹配过程中直接计算指纹向量序列之间的距离并与阈值T 比较，进一步提高了检索精度以及检索效率。
图1是本发明的流程图；图2是用本发明形成特征区域的仿真示意图；图3是用本发明对特征点周围区域分割结果示意图；图4是本发明在一些常见的视频攻击下的I3R曲线。
具体实施方案参照图1，本发明包括指纹提取和指纹匹配，具体步骤如下步骤1，将视频Q转换到灰度域，即将视频Q每一帧图像变换为灰度图像，从而得到灰度图像序列Z。视频每一帧图像采用RGB图像，RGB图像中每一个点由三原色RGB按不同比例组成，其中R(0 25 代表红色道，G (0 25 代表绿色道，B (0 25 代表蓝色道，而灰度图像是单色道Gray (0 255)，按照如下公式Gray = (R+G+B) /3，将RGB图像中每一点转换到灰度域，最后得到灰度图像序列Z。步骤2 将灰度图像序列Z的每一帧灰度图像大小调整为固定值为240X 320像素，得到一组大小统一的图像序列I，如图2(a)所示，以抵抗视频大小调整对视频指纹性能造成的影响。步骤3 提取图像序列I的三维空时特征点，并在提取特征点的每一帧图像中提取一个特征强度最大的特征点H。图像序列的三维空时特征点由三维空时特征检测算子提取，是二维 Harris-Laplace检测算子的三维拓展，提取的特征点对常见的视频攻击例如旋转、缩放、平移以及噪声干扰具有较好的鲁棒性，具体步骤包括特征点提取和尺度自适应选择，该步骤的实现采用现有的三维空时特征点检测算子，具体过程如下所示
3. 1)特征点提取首先，给出三维尺度空间表示为 L(x, y, t; af ,rf) = g(x, y, t; af, τζ2) * /(χ,兄 式中，兄d2,τζ2)是一个高斯核函数卷积原始视频后的尺度空间表示，χ，y是每帧图像中的像素位置，t是时间信息，代表位于视频的第几巾贞，O1是空间微分尺度，、是时间微分尺度，这里W =^,...，σ,2 和< =<，...,心是初始给定的候选尺度，Wa2,τζ2) 是高斯卷积核，表示为g(x，兄 t,cj2I，巧2) = I, \2 4 2 Xexp(-(x2 +/)/2af -12 /2r')
λ/( 2π> σι τιf (Χ，y，t)代表视频第t帧中坐标为X，y的点的像素值；然后，将视频三维空时域的角函数表示为H = det ( μ ) -k · trace3 ( μ )式中det( ·) *trace(·)分别表示矩阵的行列式和矩阵的迹，k是常数，取0. 001， μ为自相关矩阵，表示为
Γ4LxLt"
=LyLt[LxLtLyLtT2 、J式中，Qi为空间积分尺度，Ti为时间积分尺度，Lx为尺度空间表示L对χ方向的偏导数，Ly为尺度空间表示L对y方向的偏导数，寻找每一帧中像素值同时在空域和时域方向上变化最大的点，也就是寻找角函数H的局部极值；最后，得到满足要求的候选特征点p = (χ, y，t)及统一的初始微分尺度τζ2 ；3. 选择自适应尺度对每个候选特征点，采用自适应迭代法确定特征点位置及其特征尺度step 1 ■.ρ]=(χργρ ],σΙρτΙ]),] = 1· ·· N 是角函数 H 在间隔选择的初始化空间微分尺度序列W =σ,和时间微分尺度序列 <=<，...,心以及空间积分尺度吃和时间积分尺度亡=2亡上取极值时确定的候选特征点；Step 2 对于每一个候选特征点p」，j = 1. . . N，计算在相邻尺度上其位置
(Xj，Yj, tj)处的空时拉普拉斯算子VL^的值，表示为
V2 L = &/o￡^2(L +L ) + &/oM2Ltt
normi,j i,j V xx; yy / i,j i,j tt式中，( = 2δσΙ,% =I5T213, δ =-0.25,0,0. 25，Lxx 为尺度空间表示 L 对 χ 方向
的二阶偏导数，Lyy为尺度空间表示L对y方向的二阶偏导数，Ltt为尺度空间表示L对t方向的二阶偏导数；Step 3 选择使得最大的尺度( ., .)，也就是在相邻空域尺度和时域尺度达到最大；Step 4 如果类σ^或者场类力，尺度未达到局部极值，需要在新的积分尺度和场=场，新的微分尺度#7 越和场场下重新检测兴趣点
种=(岭外移辟,,％)，找到最接近Pj= (Xj, yj; tj)的矜=(岭外明，令巧:=矜，重复St印 2 St印4直至IjPj =矜。以上步骤得到每个特征点的坐标以及特征强度和特征尺度(X，y，t，val, σ
σ τ)，这里val是特征强度，即兄^2A2)的值，根据时间尺度σ τ确定特征点在t+2o τ 帧中都存在，这里每帧中只选取特征强度val最大的点并以特征点的特征尺度σ i的一定倍数为半径构造圆形特征区域。最后提取特征点的每一帧图像中提取一个特征强度最大的特征点H以及H周围稳定的圆形特征区域。参照图2所示，大小统一的灰度图像序列I如图2(a)所示，对其提取三维空时特征点，并根据空间尺度形成圆形区域如图2(b)所示，然后通过尺度自适应形成不同点具有不同的尺度，如图2(c)所示，最后通过选择特征强度获得一组稳定的特征点和特征区域， 如图2(d)所示。步骤4 对提取特征点后的图像序列H进行降2采样，获得降2采样后的视频帧以及空时特征点P，方便存储与匹配。步骤5 将每一帧中的空时特征点P周围圆形区域用对比度直方图表示，得到指纹向量序列 c = (C1, C2, ...CM) ο参照图3，本步骤的实现采用现有的对比度直方图表示特征区域，具体过程如下5. 1)以特征点为圆心，将特征点周围区域划分成极坐标的形式，包括8个方向区
n 1 1 1 1 3 35 5 3 3 7 V_
01 U--π —π--π —π--π π--π —π--π —π--π _7 ~ Α7 , — Λ
4 4 2 2 4 44 4 2 2 4 4
半径区间0 5，5 So1Jo1-10 O1, 一共24个相邻但不重叠的区域；5. 2)以特征点的主方向作为对比度直方图下极坐标的零度角以抵抗旋转攻击，将特征点周围分割区域的零度角与此特征点的主方向对齐，以使得区域随着视频帧的转动而转动，从而区域不变，不影响直方图的统计；5. 3)统计每个区域氏，i = 1，2，. . . 24中与圆心特征点的正负两个对比度直方图
HEi+(Pc) ,HEi-(Pc)
X {C(尸)I尸 G Rand C(尸)2 0}Ηκ (pc) =#疋^^
T\C{p)\p GRi^ndCip) <0\Η _ (pc) =# 1-—~i
Ri、r c J林R-其中，是圆心特征点，ρ是圆心特征点周围区域中某一点，HKi+( ·)是对特征点周围区域中与中心特征点的灰度值差值为正的直方图统计，HKi_( ·)是对特征点周围区域中与中心特征点的灰度值差值为负的直方图统计，Ri为圆心特征点周围第i个划分区域，#<为区域Ri中对比度差值C(p)为正的个数，#疋为区域氏中对比度差值C(p)为负的个数，C(p) 是特征点周围区域中某一点P的灰度值I (P)与特征点的灰度值I (Pe)的对比度差值，表示为C(p)=I(p)-I(pc)
8
统计时，是在每一帧中的每个区域统计两个对比度直方图HKi+和HKi_，其区域统计顺序为半径从小到大，角度从小到大，即固定半径区间，角度区间从小到大遍历；然后增加
半径区间，再遍历角度区间，例如，第一个区域队的半径区间为0 5，角度区间为0~>，第二个区域&的半径区间为0 5，角度区间为以此类推。参照图3中标号顺序，在M个区域依次统计正负两个对比度直方图，把得到的对比度直方图依次排列，得到一组48维的向量c(pc) = (ΗΕ1+, ΗΚ1_，ΗΕ2+, ΗΚ2_，... , HE24+, He24J ；由此将图像序列的第i帧图像中的空时特征点P周围的圆形区域表示成向量Ci, 将图像序列用向量序列c = (C1, C2, -C48)表示。步骤6 将指纹向量序列c = (C1, C2,…C48)归一化为
厂从，J,=-式中，八为指纹向量Ci的均值，、为指纹向量Ci的方差，最后得到向量形式的视频指纹序列f = (f1 f2,…f48)。通过上述步骤1 步骤6可完成数据库中视频指纹的提取，视频内容的认证以及近复制视频的检测本质上就是待检测视频指纹向量序列与数据库中候选视频指纹序列之间的匹配。步骤7 将待检测视频Q转换到灰度域，即将待检测视频每一帧图像变成灰度图像，得到一组灰度图像序列Z ；步骤8 将灰度图像序列Z的宽和高调整为固定值，得到一组大小统一的图像序列 I ；步骤9 提取图像序列I的三维空时特征点，并在提取特征点的每一帧图像中提取一个特征强度最大的特征点H ；步骤10 对提取特征点后的图像序列H进行降2采样，获得降2采样后的待检测视频帧以及每一帧中的空时特征点P ；步骤11 将每一帧中的空时特征点P周围圆形区域用对比度直方图表示，得到48 维向量序列 c = (C1, C2, ...C48)；步骤12 将向量序列c归一化，得到待检测视频指纹序列fqUCTy = (fi;f2,…f48)；步骤13 用待检测指纹序列fqUCTy = (f1 f2,…f48)在数据库中进行广泛搜索，以距离cKf^”，X)作为待检测视频与候选视频之间的距离测度，X为候选指纹序列，d(fquery, X)表示为U) = ty^fqueryir)-X(j)\\]式中，，X)为待检测视频指纹序列和数据库候选视频指纹序列之间的距离， i为待检测视频指纹序列中指纹向量的标号，j为数据库候选指纹序列中指纹向量的标号，
fquery(i)-X(j) I I工即为计算待检测视频指纹序列中第i个指纹向量与数据库中候选指纹序列X中第j个指纹向量的L1距离。当距离，X)低于设定的阈值T时，认为候选视频片段与待检测视频片段相同或相似，即找到与待检测视频相近或相同的视频，否则继续进行搜索匹配，若在数据库中未找到与待检测视频指纹序列之间距离低于设定阈值的视频指纹序列，则认为匹配失败， 即数据库中没有与待检测视频相近或相同的视频。所述的阈值T是可变的，T越大则在数据库中搜索匹配到的视频越少，查全率越高，但查准率越小，反之亦然，阈值T的选择需要在查全率与查准率之间做一个权衡。本发明的优点可通过以下仿真实验进一步说明本发明在大量彩色以及黑白视频上进行了测试实验，其中包括标准测试视频，经典电影片段，YouTube网络视频。并且给予常见的视频攻击，例如，高高斯噪声，椒盐噪声， 中值滤波，剪切，帧平均，掉帧。以在不同攻击下视频指纹匹配效率以及鲁棒性作为本发明性能优劣的评测依据。本发明以客观指标I^recision-Recal 1 Curve作为评判依据，测试在不同攻击下的数据库的匹配能力，其中查准率!decision，查全率Recall是视频检索时的评判指标，表示为
权利要求
1.一种基于三维空时特征的鲁棒视频指纹提取方法，包括如下步骤(1)将视频Q转换到灰度域，即将待检测视频每一帧图像变成灰度图像，得到一组灰度图像序列Z ；(2)将灰度图像序列Z的宽和高调整为固定值，得到一组大小统一的图像序列I；(3)提取图像序列I的三维空时特征点，并在提取特征点的每一帧图像中提取一个特征强度最大的特征点H;(4)对提取特征点后的图像序列H进行降2采样，获得降2采样后的视频帧以及每一帧中的空时特征点P ；(5)将每一帧中的空时特征点P周围圆形区域用对比度直方图表示，得到48维向量序列 C = (C1, C2, ...C48)；(6)将向量序列c归一化，得到视频指纹序列
2.根据权利要求1所述的鲁棒视频指纹提取方法，其中步骤( 按如下步骤进行 (3a)利用三维空时特征检测算子提取图像序列I每一帧中像素值同时在空域和时域方向上变化最大的点首先，将图像序列的三维尺度空间表示为 L{x, y, t; O21 ,τζ2) = g(x, y, t; O21 ,τζ2)* /(χ,兄 t)式中，τζ2)是一个高斯核函数卷积原始视频后的尺度空间表示，X，y是每帧图像中的像素位置，t是时间信息，代表位于视频的第几帧，O1是空间微分尺度，T1是时间微分尺度，这里A2=R21, ...，σ,2 和< =<，...,r二是初始给定的候选尺度，g(x,Wa2,τζ2)是高斯卷积核，表示为
3.根据权利要求1所述的鲁棒视频指纹提取方法，其中步骤( 按如下步骤进行(5a)以特征点P为圆心，将特征点周围圆形区域划分成M个子区域，其中包括8个方 ,,___, n 1 1 1 1 3 35 5 3 3 7 7 0iSl Xl日· --71 y — 71--71 ？ — 71--71 ？ 一 Tt Tt 71--71 ？ — 71--71 ？ — 71--71 ,— 71 Σ71 ； 34 42 24 44 42 2 4 4个半径区间0 5，5 3σ ρ3σ i 10σ丄；(5b)以特征点P的梯度主方向作为特征点周围子区域第一个方向区间零度角的方向， 以抵抗旋转攻击；(5c)在每一个子区域统计与圆心灰度之间的正负两个对比度直方图HKi+和HKi_，从M 个子区域得到48个对比度直方图；然后将这48个对比度直方图依次排列，得到特征点周围圆形区域的 48 维向量c (pc) = (HE1+, HK1_，HE2+, HK2_，... , HE24+, He24J，即 48 维的视频指纹。
4.一种基于三维空时特征的鲁棒视频指纹匹配方法，包括如下步骤1)将待检测视频Q转换到灰度域，即将待检测视频每一帧图像变成灰度图像，得到一组灰度图像序列Z ；2)将灰度图像序列Z的宽和高调整为固定值，得到一组大小统一的图像序列I；3)提取图像序列I的三维空时特征点，并在提取特征点的每一帧图像中提取一个特征强度最大的特征点H;4)对提取特征点后的图像序列H进行降2采样，获得降2采样后的待检测视频帧以及每一帧中的空时特征点P ；5)将每一帧中的空时特征点P周围圆形区域用对比度直方图表示，得到48维向量序列C — (C” C2 j 。48^ ‘6)将向量序列c归一化，得到待检测视频指纹序列fquery= (f1 f2,…f48)；7)用待检测视频指纹序列在指纹数据库中进行广泛的搜索，将待检测视频指纹序列fqUCTy与数据库中所有的候选指纹序列X进行逐一求距离(!(‘”，X)，当二者距离 d(fquery,X)低于设定的阈值T时，即找到待检测视频的原始信息完成匹配，否则继续进行搜索比较，若在数据库中未找到与待检测视频指纹序列之间距离低于阈值T的视频指纹序列时，匹配失败，即数据库中没有与待检测视频相近或相同的候选视频。
5.根据权利要求4所述的鲁棒视频指纹匹配方法，其中步骤7)所述的阈值T是可变的，T越大则在数据库中搜索匹配到的视频越少，查全率越高，但查准率越小，反之亦然，阈值T的选择需要在查全率与查准率之间做一个权衡。
全文摘要
本发明公开了一种基于三维空时特征的鲁棒视频指纹提取方法，主要解决现有方法对于视频时间方向上特征利用不足的缺陷。其特点是将三维空时特征引入到指纹提取中，即首先提取待检测视频连续帧中的三维空时特征点，并通过特征强度和特征尺度选择获得每一帧中最稳定的特征区域；然后通过降采样得到特征区域；最后，用对比度直方图进行区域表示并归一化为矢量形式的待检测视频指纹序列；利用待检测视频的指纹序列与数据库中的候选指纹序列进行距离匹配，在数据库中得到与待检测视频相关的候选视频。本发明同时体现了视频的空间特性和时间特性，具有很好的鲁棒性，可用于视频内容认证和近视频检测。
文档编号G06K9/46GK102176208SQ20111004652
公开日2011年9月7日 申请日期2011年2月28日 优先权日2011年2月28日
发明者安玲玲, 张一凡, 朱楠, 李洁, 邓成, 高新波, 黄东宇 申请人:西安电子科技大学