数字视频来源取证方法

专利名称：：数字视频来源取证方法
技术领域：
：本发明属于数字视频资源信息安全
技术领域：
，具体涉及一种数字视频来源取证方法。
背景技术：
：本世纪初，数字视频已广泛应用于人们的日常生活和工作中，与此同时，视频编辑和处理软件的迅速发展，使得视频业余爱好者更容易利用这些视频编辑工具，修改视频内容而造出以假乱真的数字视频，这颠覆了人们“眼见为实”的传统观念。数字视频篡改和伪造如果被用于正式媒体、科学发现、保险和法庭证物等，将会对政治和社会稳定产生重要的影响。2007年捷克共和国的一家电视台播放了一段没有经过严格审查的视频，使得数以万计的观众看到了波希米亚发生核爆炸的假画面，几乎造成社会恐慌，其实它是由波希米亚的当地实景和核蘑菇云视频拼接而成的。另一方面，随着网络化的发展，出现了各种视频共享网站，例如YouTube、优酷。这些在线视频资源与传统的视频有很大的区别，它更私有化、可信度低。因此如何有效地监督和管理这些多媒体资源已经成为维持信息产业健康、稳定发展的关键。随着网络带宽的扩增，数字视频资源正逐步取代文字和静止图像的地位，成为网络信息资源的主流，而便捷的视频编辑软件的出现使得视频篡改技术大众化，在这种情况下，数字视频资源的取证技术成为信息安全领域的一个热点。数字视频取证技术包括主动取证和被动取证两种，它们都可以对视频是否经过了篡改进行认证，但是各自有着不同的应用领域。现有的主动取证技术包括以鲁棒数字水印为代表的防伪技术，以脆弱数字水印为代表的防窜改技术，以及以数字指纹、数字签名为代表的认证技术。这些技术所采用的基本思路都是通过添加附加信息对数字视频进行真实性和完整性鉴别。但是目前的情况是，绝大部分的数码摄像机中并不含有数字水印或者数字摘要。随着视频伪造篡改技术迅速发展，主动取证技术由于受到应用条件的限制，已经无法从根本上遏制视频篡改发展，现在数字视频取证更注重被动取证技术研究。当前有关视频被动取证技术的研究集中在两个方面数字视频来源检测和篡改检测。数字视频来源检测是媒体认证的第一步，主要提供有关数字视频收集、处理、输出设备(如数字摄像机)的信息，简而言之，就是分析和回答“从何而来”和“怎样产生”的问题。数字视频来源取证技术只需要取证方的参与就可以实施取证，可由取证方独立完成，即数字视频来源取证是直接依据媒体本身进行鉴别，不需要事先对数字视频做任何预处理如加入数字水印，实用性更强。最简单的一种方法就是查看视频文件头信息，一般数字摄像机等装置会在视频文件包头写入相关的系统信息、摄像机类型、编码模式、日期和时间等信息，但是这些信息都很容易被改变，可信度低；另一种方法就是利用编码器的内在属性和输出视频码流的统计特性来鉴别其来源，该方法可信度高、不易受攻击。
发明内容本发明的目的在于提供一种可信度高、不易受攻击的数字视频来源取证方法，该技术在不需要其他辅助信息(例如提前嵌入水印、视频头文件等)，单从视频编码流本身分析，鉴别出该视频文件是由哪个摄像机或软件编码器输出的，该方法针对性强，实用性强，不易受攻击。为此，本发明采用如下的技术方案。一种数字视频来源取证方法，包括以下步骤(1)建立用于训练的样本库，样本库包括一些由摄像机拍摄后得到的视频序列和由各种软件编码器编码产生的视频序列，这些视频序列都是原始压缩序列；(2)视频序列首先通过活动性与复杂度分析模块，计算每个图像组的活动性，并利用双门限将其划分为高活动性、中活动性、低活动性，其具体计算方法为i.首先根据公式(1)计算一个图像组(GOP)里每相邻两帧的亮度分量的能量差fd(x,y)fd(x,y)=If1(Xjy)-^(Xjy)(1)式中，f“X，y)和f2(x,y)分别代表第1帧和第2帧中位于(x,y)位置的亮度块的DC系数值；ii.然后计算总的平均能量差FdFd=^YYjfd(x,y)(2)式中，M表示一帧中块的个数，fd(x，y)是步骤1)中计算得到的能量差；iii.最后根据公式(3)计算一个图像组的能量方差，并利用它来决定该片段是属于高活动性图像组、中活动性图像组还是低活动性图像组<formula>formulaseeoriginaldocumentpage6</formula>(3)式中，Fd(i)是每相邻两帧的平均能量差，i是帧索引号，η是一个图像组包含的帧数；最后定义两个门限值T1和T2CT1<T2)，如果Z>T2则将其标记为高活动性图像组；如果T2>Z>T1则将其标记为中活动性图像组；否则将其标记低活动性图像组；(3)接着对视频序列进行部分解码，获取其压缩域的各种信息，并分别提取三类特征码率特征、纹理特征、运动矢量特征；iv.其中码率特征由以下7组特征量组成，本专利以NB1表示一个图像组中I帧的码率，NBJi)表示一个图像组中第i个P帧的码率，NBb(j)表示一个图像组中第j个B帧的码率a)M、N,它们分别是一个图像组中P帧的帧数和B帧的帧数；WNB1，它是一个图像组中I帧的码率；c)RPI，它是一个图像组中P帧的平均码率与I帧的码率之比，其计算公式如下<formula>formulaseeoriginaldocumentpage6</formula>(4)d)RBI，它是一个图像组中B帧的平均码率与I帧的码率之比，其计算公式如下<formula>formulaseeoriginaldocumentpage6</formula>e)RAP,RVP,它们分别是一个图像组中相邻两个P帧码率的相对差值的均值和方差<formula>formulaseeoriginaldocumentpage7</formula>其中，Dp(j)是相邻两个P帧码率的相对差值，计算公式如下(8)<formula>formulaseeoriginaldocumentpage7</formula>f)RAB,RVB,它们分别是一个图像组中连续两两B帧码率的相对差值的均值和方差<formula>formulaseeoriginaldocumentpage7</formula>其中，Db(j)是连续两两B帧码率的相对差值，计算公式如下<formula>formulaseeoriginaldocumentpage7</formula>g)RDIP，它是相邻两个图像组的I帧码率差值与P帧码率差值的比值，其计算公式如下<formula>formulaseeoriginaldocumentpage7</formula>式中，Il是前一个图像组的I帧码率，Pl是紧挨Il的第一个P帧的码率；12是当前图像组的I帧码率，P2是紧挨12的第一个P帧的码率；v.其中纹理特征包含了以下7组特征量，以Q(i)k表示在k类型的视频帧中第i个宏块的量化参数，K帧为I帧、P帧、B帧中的一种；QS(i)k表示在k类型帧中，第i个连续具有相同量化参数的宏块个数；用QD(i)k表示第i对相邻两个宏块的量化参数差值a)QAk,QVk,ke{I,P,B}，它是在一个图像组中，k类型帧的Q(i)k的均值与方差；b)QMAk,QMIk,ke{I，P，B}，它是在一个图像组中，k类型的帧的QS(i)k的最大值与最小值；c)QSAk，QSVk,ke{I,P,B}，它是在一个图像组中，k类型的帧的QS(i)k的均值和方差；d)QMDk，ke{I,P,B}，它是在一个图像组中，k类型的帧的QD(i)k的最大值；e)QADk,QVDk,ke{I,P,B}，它是在一个图像组中，k类型的帧的QD(i)k的均值与方差；f)ADI，它是相邻两个图像组I帧之间的绝对帧差；g)HEPk，ke{I,P，B}，它一个图像组中各种类型帧的高频能量占整体能量的比值；vi.其中运动矢量特征包含了以下几组特征量，以MV(k;x，y)表示位于k类型帧(X，y)位置的宏块的运动矢量，MVH(k；χ,y)、MVV(k；χ,y)分别是其水平和垂直分量￡1)1、1^，它是运动矢量驟&3，7)的水平和垂直分量的最大值；b)MZ，它是静止宏块特征量<formula>formulaseeoriginaldocumentpage8</formula>其中，MM和MS定义如下<formula>formulaseeoriginaldocumentpage8</formula>式中，XM(x，y;n)是当前帧第η个运动宏块的(x，y)位置上的像素值，XMK(x，y;n)是在其参考帧相应位置上的像素值；类似的，Xs(X，y；m)是当前帧第η个静止宏块的(x，y)位置上的像素值，XSE(x,y；m)是其在参考帧中相应位置上的像素值；c)MAXk，MAYk,MDXk,MDYk,ke{P,B}，它们分别是运动矢量的相对误差在水平和垂直分量上的均值和方差，该相对误差是指当前解码获取的运动矢量MV(X，y)与最优运动矢量MVtlU,y)之间的距离，该最优运动矢量MVtlU,y)是利用一个基于TM5的全局搜索算法得出；其水平分量和垂直分量的相对误差计算公式如下恤力=|層如)_丽。(咖<formula>formulaseeoriginaldocumentpage8</formula>式中MVHtl(k；χ,y)，MVV0(k；x,y)是K类型预测帧的最优运动矢量MVtl(x,y)的水平和垂直分量；d)MC，匹配准则特征量<formula>formulaseeoriginaldocumentpage8</formula>其中，Rm(x，y)是第m个P帧中位于(x，y)的宏块的匹配因子，其定义为<formula>formulaseeoriginaldocumentpage8</formula>式中，MAE(x，y)函数是计算当前宏块与运动矢量(x，y)所指的参考宏块的之间平均绝对差；(4)建立3个分类器，并分别进行训练针对不同活动性的图像组，采用不同的分类器，对于高活动性图像组，只使用运动矢量特征，低活动性图像组时只利用码率特征和纹理特征，中活动性图像组时同时使用三组特征量进行分类；(5)读取待检测视频来源的视频序列，对于其各个图像组，重复步骤(2)至(4)获取图像组的特征向量，根据其活动性选择相应的分类器并给出分类结果；(6)综合视频序列的所有图像组的分类结果进行最终判决。本发明主要为了满足在对视频资源进行取证时，要知道视频片段是由什么类型的摄像机录制的需要，而设计的一种来源检测技术，它有效的验证了视频的真实性，完成媒体认证的第一步，为司法机构提供了佐证。本发明的视频来源取证技术其明显特点包括(1)实用性视频来源取证技术只需要取证方的参与就可以实施取证，可由取证方独立完成，即来源取证技术是直接依据视频码流的内部属性和统计特性来鉴别编码器，不需要事先对数字视频做任何预处理如在编码器端嵌入数字水印，实用性强。(2)实时性在特征提取模块中都是在压缩领域提取特征量，即只需部分解码，需要的系统资源和时间都特别少。(3)创新性在活动性和复杂度分析模块中，对每个图像组(G0P)分别进行活动性判断并划分为高活动性、中活动性、低活动性，对不同活动性的视频采用不同的特征量和分类器，针对性强，这样就能灵活多变的适应各种视频资源，大大提高了视频来源检测的正确率。图1是本发明的整个视频来源取证的流程图；图2是本发明的特征提取模块的流程图；图3是本发明的综合判决器的流程图。具体实施例方式本发明的视频来源取证技术主要由活动性和复杂度分析模块、特征提取模块、分类器、综合判决器等几个部分构成。图1描述了整个视频来源取证的过程。在步骤A，通过活动性与复杂度分析模块计算每个G0P的活动性，并利用双门限将其划分为高活动性、中活动性、低活动性，其计算方法为首先计算一个G0P里每相邻两帧的亮度分量的能量差，其计算公式如下fd(x,y)=|f1(x,y)-f2(x,y)(1)式中f,(x，y)和f2(x，y)分别代表第1帧和第2帧中位于(x,y)位置的亮度块的DC系数值，则总的平均能量差为Fd=^YLfd^y)⑵式中M表示一帧中块的个数。然后通过计算一个图像组(G0P)的能量方差，来决定该片段是属于高活动性G0P、中活动性G0P还是低活动性G0P，其计算公式如下1广1z=——y|^(/)|2(3)n-\i式中的Fd(i)是在上一步过程中，计算得到的每相邻两帧的平均能量差，i是帧索引号，n是一个G0P包含的帧数。最后定义两个门限值和T2<T2)，如果Z>T2则将其标记为高活动性G0P；如果T2>Z>则将其标记为中活动性G0P；否则将其标记低活动性G0P。在步骤B，利用特征提取模块首先实现数据解码，获得三类原始数据然后再提取三类特征即码率特征、纹理特征、运动矢量特征。在步骤C，根据活动性与复杂度分析模块的结果选择相应的特征向量及分类器对待测图像组进行分类。在步骤D，综合所有图像组的分类结果，利用最大似然估计的方法作出最终判决。9图2描述了特征提取模块的流程图。首先利用数据分析器对视频资源进行部分解码，并获取三类原始数据。然后把这三类原始数据分别输入到码率特征提取器、纹理特征提取器、运动矢量特征提取器中，输出三类特征向量。1.码率特征向量码率分配是码率控制策略的第一步，能充分反映出编码器设计者的不同思路。在编码一帧之前，码率控制器会根据很多参数来预分配当前帧的比特数，如帧类型，以前相同类型帧的比特数，当前缓冲器状况，当前帧的复杂度等等。反过来，当得到每个图像组(G0P)中的每种类型帧(一共有3种即I帧、P帧、B帧)的存储空间大小即码率，我们可以提取一些特征量来反向建模体现出编码器的区别。我们用肌工表示一个G0P中I帧的码率，NBP(i)表示一个G0P中第i个P帧的码率，NBB(j)表示一个G0P中第j个B帧的码率。(1)M、N，一个G0P中P帧和B帧的帧数，它主要反应了一个图像组的帧结构。(2)NBI，一个G0P中I帧的码率，它主要体现了编码器的码率基准。(3)RPI，一个G0P中P帧的平均码率与I帧的码率之比，它反应出了编码器中的码率预分配方案。其计算公式如下<formula>formulaseeoriginaldocumentpage10</formula>(4)RBI，一个GOP中B帧的平均码率与I帧的码率之比，它反应出了编码器中的码率预分配方案。其计算公式如下<formula>formulaseeoriginaldocumentpage10</formula>NBj(5)RAP、RVP，一个GOP中相邻两个P帧码率的相对差值的均值和方差，它反应出编码器对P帧的微调能力。<formula>formulaseeoriginaldocumentpage10</formula>(7)其中DP(j)是码率的相对差值，计算公式如下<formula>formulaseeoriginaldocumentpage10</formula>(6)RAB，RVB，一个GOP中连续两两B帧码率的相对差值的均值和方差，它反应出编码器对B帧的微调能力。(9)<formula>formulaseeoriginaldocumentpage10</formula>其中DB(j)是码率的相对差值，计算公式如下<formula>formulaseeoriginaldocumentpage10</formula>(7)RDIP，相邻两个G0P的I帧码率差值与P帧码率差值的比值，其计算公式如下<formula>formulaseeoriginaldocumentpage11</formula>其中II是前一个G0P的I帧码率，P1是紧挨II的第一个P帧的码率；同理，12是当前G0P的I帧码率，P2是紧挨12的第一个P帧的码率。这些特征量组成的码率特征向量能够有效地反映出编码器中码率控制策略在预分配、微调等方面的区别，能有效地鉴别低活动性的视频片段。例如，如果编码器侧重于提高空间分辨的质量，那么它会加大I帧的码率，RPI将会下降；反之，如果侧重于提高时间分辨率的质量，那么它就要提高P帧的码率，RPI将会提升。再比如，码率的相对差值能反映出不同编码器针对相邻帧的码率分配微调能力，而有些简单或实时的编码器基本上是不会改变相邻B帧的码率分配。2.纹理特征向量不同的编码器根据具体的需要采用不同的码率控制策略，但是其稳定码流的方法却是一样的，即是调整三个参数——量化参数、帧率、帧间块的编码模式。后两个参数都是用来处理不正常的情况如缓冲区异常，改变量化参数是实现码率控制目标的主要手段。量化参数的变化规则同样能反映出编码器的区别。首先利用数据分析器对视频数据进行部分解码，获取一个G0P中每帧的量化参数分布情况，然后提出各种特征量。我们用Q(i)k表示在k类型的视频帧(I帧，P帧或B帧)中第i个宏块的量化参数；QS(i)k表示第i个连续具有相同量化参数的宏块个数；用QD(i)k表示第i对相邻两个宏块的量化参数差值。(l)QAk，QVk，kG{I,P，B}，它是在一个图像组(GOP)中，k类型帧的Q(i)的均值与方差。(2)QMAk,QMIk,kG{I，P，B}，它是在一个GOP中，k类型的帧的QS(i)k的最大值与最小值。(3)QSAk，QSVk，G{I，P，B}，它是在一个GOP中，k类型的帧的QS(i)k的均值和方差。(4)QMDk，kG{1，？，8}，它是在一个60中，1^类型的帧的00(1)1;的最大值。(5)QADk，QVDk，kG{I，P，B}，它是在一个GOP中，k类型的帧的QD(i)k的均值与方差。(6)ADI，相邻两个I帧之间的绝对帧差。(7)HEPk，kG{I，P，B}，一个GOP中各种类型帧的高频能量占整体能量的比值。这些特征量组合形成了纹理特征向量，它能反应出编码器中的码率控制策略的不同。例如，如果码率控制策略侧重于整个帧的质量，那么它就会很少大幅度改变相邻宏块的量化参数；反之，如果倾向于平稳的输出码率流，那么它就要引人微调机制，根据当前缓冲器的容量和前一个宏块的量化参数去调制当前宏块的量化参数。3.运动矢量特征向量运动估计算法是帧间预测编码技术的核心模块，大约占整个编码系统运算负荷的70%，是提高整个系统性能的关键。编码器设计者会在设计编码器时会根据具体的需要来权衡编码实时性和编码效率。因此，其编码侧重点不同，体现在运动矢量统计分布上也就有所不同。首先利用数据分析其获取一个G0P中每个预测帧(即P帧、B帧)的运动矢量分别情况，然后提出各种特征量。我们用MV(k;x，y)表示位于k类型帧(x，y)位置的宏块的运动矢量，MVH(k；x,y)、MVV(k；x,y)分别是其水平和垂直分量。(1)1、1^，它是运动矢量驟&口，7)的水平和垂直分量的最大值。(2)MZ，静止宏块特征量，它反应了运动估计算法判断当前宏块是否为静止宏块的门限值。所谓静止宏块是指在P帧或B帧里运动矢量为零的那些帧间宏块。<formula>formulaseeoriginaldocumentpage12</formula>其中MM和MS定义如下<formula>formulaseeoriginaldocumentpage12</formula>式中XM(x,y；n)是当前帧第n个运动宏块的(x,y)位置上的像素值，XME(x,y；n)是在其参考帧相应位置上的像素值。类似的，Xs(x，y;m)是当前帧第n个静止宏块的(x，y)位置上的像素值，XsE(x,y；m)是其在参考帧中相应位置上的像素值。(3)MAXk,MAYk,MDXk，MDYk，kG{P，B}分别是运动矢量水平和垂直分量的相对误差的均值和方差。这里的相对误差是指当前解码获取的运动矢量MV(x，y)与最优运动矢量MV0(x，y)之间的距离。为了评价运动估计算法的性能，利用一个基于TM5(MPEG-2TestModel5)的全局搜索算法去重新估计，获取最优的运动矢量MVjx，y)。其水平分量相对误差计算公式如下秘；⑶層(16)|MVH0(k;x,y)其垂直分量相对误差计算公式如下狄(17)式中醫氏&^，一^界^!^^，。是K类型预测帧的最优运动矢量MVjx，y)的水平和垂直分量。(4)MC，匹配准则特征量。<formula>formulaseeoriginaldocumentpage12</formula>(18)其中Rm(x，y)是第m个P帧中位于(x，y)的宏块的匹配因子。其定义为<formula>formulaseeoriginaldocumentpage12</formula>式中MAE(x，y)函数是计算当前宏块与运动矢量(x，y)所指的参考宏块的之间平均绝对差。即Rm(x，y)为1的意思是当前宏块与其参考宏块的平均绝对差在参考宏块的3X3邻域里是最小的。MC能够反应出编码器所采用的匹配准则与平均绝对差准则的距离。这几个特征量组成的运动矢量特征向量能反应出编码器在运动估计算法中的区别。例如，虽然编码标准规定了最大搜索窗口，但实用的编码器都会定义一个特别小的搜索窗口，以便减少计算复杂度。又如，实时的编码器会采用一个较大的静止宏块门限值，使得更多的宏块被判为静止宏块，从而提高编码速度；而其他的编码器系统为了能充分利用预测编码技术，会采用较小的门限值，然而会大大提高编码效率。图3描述的是综合判决器的流程图。本专利以图像组(G0P)为检测单元，提取出三类特征向量后，根据其图像组的活动性来选择相应的分类器。针对不同活动性的G0P，采用不同的分类方式。其中分类器1是针对高活动性图像组，它只利用运动矢量特征向量；分类器2是针对中活动性图像组，它同时使用运动矢量特征向量、码率特征向量以及纹理特征向量；分类器3是针对低活动性图像组，它只利用码率特征向量和纹理特征向量。然后对剩余的图像组进行相同的操作，并给出相应的判断结果，最后综合视频序列所有图像组的分类结果，利用最大似然估计的方法做出最终判决。在进行数字视频来源取证之前，首先要建立用于训练的样本库，它包括一些由摄像机拍摄后得到的视频片段和由各种软件编码器编码产生的视频序列，这些视频序列都是原始压缩序列。然后对样本库里的每个图像组进行部分解码和特征提取，获取特征向量，并建立分类器和利用相应的特征向量进行训练。而对于需要进行来源取证的图像组，也采用同样的方法获取其特征向量后，用相应的分类器进行判决，并给出该视频序列是由哪个编码器产生的结果，从而完成数字视频来源的检测。权利要求一种数字视频来源取证方法，包括以下步骤(1)建立用于训练的样本库，样本库包括一些由摄像机拍摄后得到的视频序列和由各种软件编码器编码产生的视频序列，这些视频序列都是原始压缩序列；(2)视频序列首先通过活动性与复杂度分析模块，计算每个图像组的活动性，并利用双门限将其划分为高活动性、中活动性、低活动性，其具体计算方法为i.首先根据公式(1)计算一个图像组(GOP)里每相邻两帧的亮度分量的能量差fd(x，y)fd(x，y)＝|f1(x，y)-f2(x，y)|(1)式中，f1(x，y)和f2(x，y)分别代表第1帧和第2帧中位于(x，y)位置的亮度块的DC系数值；ii然后计算总的平均能量差Fd<mrow><mi>Fd</mi><mo>=</mo><mfrac><mn>1</mn><mi>M</mi></mfrac><munder><mi>&Sigma;</mi><mi>x</mi></munder><munder><mi>&Sigma;</mi><mi>y</mi></munder><mi>fd</mi><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>2</mn><mo>)</mo></mrow></mrow>式中，M表示一帧中块的个数，fd(x，y)是步骤1)中计算得到的能量差；iii.最后根据公式(3)计算一个图像组的能量方差，并利用它来决定该片段是属于高活动性图像组、中活动性图像组还是低活动性图像组<mrow><mi>Z</mi><mo>=</mo><mfrac><mn>1</mn><mrow><mi>n</mi><mo>-</mo><mn>1</mn></mrow></mfrac><munderover><mi>&Sigma;</mi><mn>1</mn><mrow><mi>n</mi><mo>-</mo><mn>1</mn></mrow></munderover><msup><mrow><mo>|</mo><mi>Fd</mi><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>|</mo></mrow><mn>2</mn></msup><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>3</mn><mo>)</mo></mrow></mrow>式中，Fd(i)是每相邻两帧的平均能量差，i是帧索引号，n是一个图像组包含的帧数；最后定义两个门限值T1和T2(T1＜T2)，如果Z＞T2则将其标记为高活动性图像组；如果T2＞Z＞T1则将其标记为中活动性图像组；否则将其标记低活动性图像组；(3)接着对视频序列进行部分解码，获取其压缩域的各种信息，并分别提取三类特征码率特征、纹理特征、运动矢量特征；i.其中码率特征由以下7组特征量组成，本专利以NBI表示一个图像组中I帧的码率，NBp(i)表示一个图像组中第i个P帧的码率，NBB(j)表示一个图像组中第j个B帧的码率a)M、N，它们分别是一个图像组中P帧的帧数和B帧的帧数；b)NBI，它是一个图像组中I帧的码率；c)RPI，它是一个图像组中P帧的平均码率与I帧的码率之比，其计算公式如下<mrow><mi>RPI</mi><mo>=</mo><mfrac><mrow><mfrac><mn>1</mn><mi>M</mi></mfrac><munderover><mi>&Sigma;</mi><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>M</mi></munderover><mi>N</mi><msub><mi>B</mi><mi>P</mi></msub><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow></mrow><mrow><mi>N</mi><msub><mi>B</mi><mi>I</mi></msub></mrow></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>4</mn><mo>)</mo></mrow></mrow>d)RBI，它是一个图像组中B帧的平均码率与I帧的码率之比，其计算公式如下<mrow><mi>RBI</mi><mo>=</mo><mfrac><mrow><mfrac><mn>1</mn><mi>N</mi></mfrac><munderover><mi>&Sigma;</mi><mrow><mi>I</mi><mo>=</mo><mn>1</mn></mrow><mi>N</mi></munderover><msub><mi>NB</mi><mi>B</mi></msub><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow></mrow><msub><mi>NB</mi><mi>I</mi></msub></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>5</mn><mo>)</mo></mrow></mrow>e)RAP，RVP，它们分别是一个图像组中相邻两个P帧码率的相对差值的均值和方差<mrow><msub><mi>RA</mi><mi>P</mi></msub><mo>=</mo><mfrac><mn>1</mn><mi>M</mi></mfrac><munderover><mi>&Sigma;</mi><mrow><mi>j</mi><mo>=</mo><mn>1</mn></mrow><mrow><mi>M</mi><mo>-</mo><mn>1</mn></mrow></munderover><msub><mi>D</mi><mi>P</mi></msub><mrow><mo>(</mo><mi>j</mi><mo>)</mo></mrow><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>6</mn><mo>)</mo></mrow></mrow><mrow><msub><mi>RV</mi><mi>P</mi></msub><mo>=</mo><mfrac><mn>1</mn><mrow><mi>M</mi><mo>-</mo><mn>1</mn></mrow></mfrac><munderover><mi>&Sigma;</mi><mrow><mi>j</mi><mo>=</mo><mn>1</mn></mrow><mrow><mi>M</mi><mo>-</mo><mn>1</mn></mrow></munderover><msup><mrow><mo>(</mo><msub><mi>D</mi><mi>P</mi></msub><mrow><mo>(</mo><mi>j</mi><mo>)</mo></mrow><mo>-</mo><mi>R</mi><msub><mi>A</mi><mi>P</mi></msub><mo>)</mo></mrow><mn>2</mn></msup><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>7</mn><mo>)</mo></mrow></mrow>其中，DP(j)是相邻两个P帧码率的相对差值，计算公式如下<mrow><msub><mi>D</mi><mi>P</mi></msub><mrow><mo>(</mo><mi>j</mi><mo>)</mo></mrow><mo>=</mo><mfrac><mrow><mo>|</mo><msub><mi>NB</mi><mi>P</mi></msub><mrow><mo>(</mo><mi>j</mi><mo>+</mo><mn>1</mn><mo>)</mo></mrow><mo>-</mo><msub><mi>NB</mi><mi>P</mi></msub><mrow><mo>(</mo><mi>j</mi><mo>)</mo></mrow><mo>|</mo></mrow><mrow><msub><mi>NB</mi><mi>P</mi></msub><mrow><mo>(</mo><mi>j</mi><mo>)</mo></mrow></mrow></mfrac><mi>j</mi><mo>=</mo><mn>1,2</mn><mo>,</mo><mo>.</mo><mo>.</mo><mo>.</mo><mi>M</mi><mo>-</mo><mn>1</mn><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>8</mn><mo>)</mo></mrow></mrow>f)RAB，RVB，它们分别是一个图像组中连续两两B帧码率的相对差值的均值和方差<mrow><msub><mi>RA</mi><mi>B</mi></msub><mo>=</mo><mfrac><mn>1</mn><mrow><mi>N</mi><mo>-</mo><mn>1</mn></mrow></mfrac><munderover><mi>&Sigma;</mi><mrow><mi>j</mi><mo>=</mo><mn>1</mn></mrow><mrow><mi>N</mi><mo>-</mo><mn>1</mn></mrow></munderover><msub><mi>D</mi><mi>B</mi></msub><mrow><mo>(</mo><mi>j</mi><mo>)</mo></mrow><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>9</mn><mo>)</mo></mrow></mrow><mrow><msub><mi>RV</mi><mi>B</mi></msub><mo>=</mo><mfrac><mn>1</mn><mrow><mi>N</mi><mo>-</mo><mn>1</mn></mrow></mfrac><munderover><mi>&Sigma;</mi><mrow><mi>j</mi><mo>=</mo><mn>1</mn></mrow><mrow><mi>N</mi><mo>-</mo><mn>1</mn></mrow></munderover><msup><mrow><mo>(</mo><msub><mi>D</mi><mi>B</mi></msub><mrow><mo>(</mo><mi>j</mi><mo>)</mo></mrow><mo>-</mo><mi>R</mi><msub><mi>A</mi><mi>B</mi></msub><mo>)</mo></mrow><mn>2</mn></msup><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>10</mn><mo>)</mo></mrow></mrow>其中，DB(j)是连续两两B帧码率的相对差值，计算公式如下<mrow><msub><mi>D</mi><mi>B</mi></msub><mrow><mo>(</mo><mi>j</mi><mo>)</mo></mrow><mo>=</mo><mfrac><mrow><mo>|</mo><msub><mi>NB</mi><mi>B</mi></msub><mrow><mo>(</mo><mi>j</mi><mo>+</mo><mn>1</mn><mo>)</mo></mrow><mo>-</mo><msub><mi>NB</mi><mi>B</mi></msub><mrow><mo>(</mo><mi>j</mi><mo>)</mo></mrow><mo>|</mo></mrow><mrow><msub><mi>NB</mi><mi>B</mi></msub><mrow><mo>(</mo><mi>j</mi><mo>)</mo></mrow></mrow></mfrac><mi>j</mi><mo>=</mo><mn>1</mn><mo>,</mo><mn>3</mn><mo>,</mo><mi>N</mi><mo>-</mo><mn>1</mn><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>11</mn><mo>)</mo></mrow></mrow>g)RDIP，它是相邻两个图像组的I帧码率差值与P帧码率差值的比值，其计算公式如下<mrow><mi>RDIP</mi><mo>=</mo><mfrac><mrow><mi>I</mi><mn>2</mn><mo>-</mo><mi>I</mi><mn>1</mn></mrow><mrow><mi>P</mi><mn>2</mn><mo>-</mo><mi>P</mi><mn>1</mn></mrow></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>12</mn><mo>)</mo></mrow></mrow>式中，I1是前一个图像组的I帧码率，P1是紧挨I1的第一个P帧的码率；I2是当前图像组的I帧码率，P2是紧挨I2的第一个P帧的码率；ii.其中纹理特征包含了以下7组特征量，以Q(i)k表示在k类型的视频帧中第i个宏块的量化参数，K帧为I帧、P帧、B帧中的一种；QS(i)k表示在k类型帧中，第i个连续具有相同量化参数的宏块个数；用QD(i)k表示第i对相邻两个宏块的量化参数差值a)QAk，QVk，k∈{I，P，B}，它是在一个图像组中，k类型帧的Q(i)k的均值与方差；b)QMAk，QMIk，k∈{I，P，B}，它是在一个图像组中，k类型的帧的QS(i)k的最大值与最小值；c)QSAk，QSVk，k∈{I，P，B}，它是在一个图像组中，k类型的帧的QS(i)k的均值和方差；d)QMDk，k∈{I，P，B}，它是在一个图像组中，k类型的帧的QD(i)k的最大值；e)QADk，QVDk，k∈{I，P，B}，它是在一个图像组中，k类型的帧的QD(i)k的均值与方差；f)ADI，它是相邻两个图像组I帧之间的绝对帧差；g)HEPk，k∈{I，P，B}，它一个图像组中各种类型帧的高频能量占整体能量的比值；iii.其中运动矢量特征包含了以下几组特征量，以MV(k；x，y)表示位于k类型帧(x，y)位置的宏块的运动矢量，MVH(k；x，y)、MVV(k；x，y)分别是其水平和垂直分量a)MX、MY，它是运动矢量MV(k；x，y)的水平和垂直分量的最大值；b)MZ，它是静止宏块特征量<mrow><mi>MZ</mi><mo>=</mo><mfrac><mrow><mi>MM</mi><mo>+</mo><mi>MS</mi></mrow><mn>2</mn></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>13</mn><mo>)</mo></mrow></mrow>其中，MM和MS定义如下<mrow><mi>MM</mi><mo>=</mo><munder><mi>min</mi><mi>n</mi></munder><mrow><mo>(</mo><munderover><mi>&Sigma;</mi><mrow><mi>x</mi><mo>=</mo><mn>1</mn></mrow><mn>8</mn></munderover><munderover><mi>&Sigma;</mi><mrow><mi>y</mi><mo>=</mo><mn>1</mn></mrow><mn>8</mn></munderover><mo>|</mo><msub><mi>X</mi><mi>M</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>;</mo><mi>n</mi><mo>)</mo></mrow><mo>-</mo><msubsup><mi>X</mi><mi>M</mi><mi>R</mi></msubsup><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>;</mo><mi>n</mi><mo>)</mo></mrow><mo>|</mo><mo>)</mo></mrow><mi>n</mi><mo>=</mo><mn>1,2</mn><mo>,</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>14</mn><mo>)</mo></mrow></mrow><mrow><mi>MS</mi><mo>=</mo><munder><mi>max</mi><mi>m</mi></munder><mrow><mo>(</mo><munderover><mi>&Sigma;</mi><mrow><mi>x</mi><mo>=</mo><mn>1</mn></mrow><mn>8</mn></munderover><munderover><mi>&Sigma;</mi><mrow><mi>y</mi><mo>=</mo><mn>1</mn></mrow><mn>8</mn></munderover><mo>|</mo><msub><mi>X</mi><mi>S</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>;</mo><mi>m</mi><mo>)</mo></mrow><mo>-</mo><msubsup><mi>X</mi><mi>S</mi><mi>R</mi></msubsup><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>;</mo><mi>m</mi><mo>)</mo></mrow><mo>|</mo><mo>)</mo></mrow><mi>m</mi><mo>=</mo><mn>1,2</mn><mo>,</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>15</mn><mo>)</mo></mrow></mrow>式中，XM(x，y；n)是当前帧第n个运动宏块的(x，y)位置上的像素值，XMR(x，y；n)是在其参考帧相应位置上的像素值；类似的，XS(x，y；m)是当前帧第n个静止宏块的(x，y)位置上的像素值，XSR(x，y；m)是其在参考帧中相应位置上的像素值；c)MAXk，MAYk，MDXk，MDYk，k∈{P，B}，它们分别是运动矢量的相对误差在水平和垂直分量上的均值和方差，该相对误差是指当前解码获取的运动矢量MV(x，y)与最优运动矢量MV0(x，y)之间的距离，该最优运动矢量MV0(x，y)是利用一个基于TM5的全局搜索算法得出；其水平分量和垂直分量的相对误差计算公式如下<mrow><msub><mi>F</mi><mi>H</mi></msub><mrow><mo>(</mo><mi>k</mi><mo>;</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>=</mo><mo>|</mo><mfrac><mrow><mi>MVH</mi><mrow><mo>(</mo><mi>k</mi><mo>;</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>-</mo><mi>MV</mi><msub><mi>H</mi><mn>0</mn></msub><mrow><mo>(</mo><mi>k</mi><mo>;</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow></mrow><mrow><msub><mi>MVH</mi><mn>0</mn></msub><mrow><mo>(</mo><mi>k</mi><mo>;</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow></mrow></mfrac><mo>|</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>16</mn><mo>)</mo></mrow></mrow><mrow><msub><mi>F</mi><mi>V</mi></msub><mrow><mo>(</mo><mi>k</mi><mo>;</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>=</mo><mo>|</mo><mfrac><mrow><mi>MVV</mi><mrow><mo>(</mo><mi>k</mi><mo>;</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>-</mo><mi>MV</mi><msub><mi>V</mi><mn>0</mn></msub><mrow><mo>(</mo><mi>k</mi><mo>;</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow></mrow><mrow><msub><mi>MVV</mi><mn>0</mn></msub><mrow><mo>(</mo><mi>k</mi><mo>;</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow></mrow></mfrac><mo>|</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>17</mn><mo>)</mo></mrow></mrow>式中MVH0(k；x，y)，MVV0(k；x，y)是K类型预测帧的最优运动矢量MV0(x，y)的水平和垂直分量；d)MC，匹配准则特征量<mrow><mi>MC</mi><mo>=</mo><mfrac><mn>1</mn><mi>m</mi></mfrac><munder><mi>&Sigma;</mi><mi>x</mi></munder><munder><mi>&Sigma;</mi><mi>y</mi></munder><msub><mi>R</mi><mi>m</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>18</mn><mo>)</mo></mrow></mrow>其中，Rm(x，y)是第m个P帧中位于(x，y)的宏块的匹配因子，其定义为<mrow><mi>R</mi><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>=</mo><mfencedopen='{'close=''><mtable><mtr><mtd><mn>1</mn></mtd><mtd><mi>if</mi><munder><mi>min</mi><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></munder><mrow><mo>(</mo><mi>MAE</mi><mrow><mo>(</mo><mi>i</mi><mo>+</mo><mi>MVH</mi><mo>,</mo><mi>j</mi><mo>+</mo><mi>MVV</mi><mo>)</mo></mrow><mo>=</mo><mi>MAE</mi></mrow><mrow><mo>(</mo><mi>MVH</mi><mo>,</mo><mi>MVV</mi><mo>)</mo></mrow><mi>i</mi><mo>,</mo><mi>j</mi><mo>=</mo><mo>-</mo><mn>1,0,1</mn></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mi>otherwise</mi></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>19</mn><mo>)</mo></mrow></mrow>式中，MAE(x，y)函数是计算当前宏块与运动矢量(x，y)所指的参考宏块的之间平均绝对差；(4)建立3个分类器，并分别进行训练针对不同活动性的图像组，采用不同的分类器，对于高活动性图像组，只使用运动矢量特征，低活动性图像组时只利用码率特征和纹理特征，中活动性图像组时同时使用三组特征量进行分类；(5)读取待检测视频来源的视频序列，对于其各个图像组，重复步骤(2)至(4)获取图像组的特征向量，根据其活动性选择相应的分类器并给出分类结果；(6)综合视频序列的所有图像组的分类结果进行最终判决。全文摘要本发明属于数字视频检测
技术领域：
，具体涉及一种数字视频来源取证方法，该方法建立用于训练的视频序列样本库；通过活动性与复杂度分析模块，计算每个图像组的活动性，并利用双门限将其划分为高活动性、中活动性、低活动性；接着对视频序列进行部分解码，获取其压缩域的各种信息，并分别提取三类特征码率特征、纹理特征、运动矢量特征；建立3个分类器，针对不同活动性的图像组，采用不同的分类器进行分类；读取待检测视频来源的视频序列，对于其各个图像组，获取图像组的特征向量，根据其活动性选择相应的分类器并给出分类结果；综合视频序列的所有图像组的分类结果进行最终判决。本发明针对性强，实用性强，不易受攻击。文档编号H04N7/26GK101835040SQ20101012618公开日2010年9月15日申请日期2010年3月17日优先权日2010年3月17日发明者张静,徐俊瑜,苏育挺申请人:天津大学