插值帧定位方法及装置与流程

本发明涉及多媒体信息安全技术领域，尤其涉及插值帧定位方法及装置。

背景技术：

随着科技的发展和视频拍摄设备的普及，数字视频逐步丰富了我们的日常生活，很多人都会将自行拍摄的视频放到社交平台上跟大家共同分享。但是，目前现有的视频拍摄设备(例如，dv和智能手机等)的拍摄质量不理想，视频帧率达不到高清标准，导致使用者必须在后期通过视频编辑软件将拍摄的视频进行处理后才能上传。而多数视频编辑软件都是通过伪造的方法来制造出高帧率的符合运动规律的视频。

在上述视频“伪造”的过程中，常见的帧率上转换操作方法分为两类，参见图1，一类是帧复制或帧平均，也就是在两个原始帧间插入的视频帧为两帧中的前一帧或是这两帧对应像素点数值和的平均值，这类方法产生的上转换视频中常常出现人眼容易感知的鬼影或运动抖动现象，导致视频的观看体验差；另一类是运动补偿帧率上转换，这种方式克服了简单上转换方式产生的负效应，能够提取视频中连续两帧内运动对象的运动轨迹，并根据运动轨迹生成新的视频帧，由这种方式产生的新的视频帧更符合视频对象的运动规律，也就更逼近原始视频帧。

但是，对于采用运动补偿方式的帧率上转换产生的视频插值帧的定位判定还没有可靠的技术和手段。并且，采用运动补偿方式生成的插值帧需要充分考虑帧内运动对象的运动轨迹，在这种帧上转方法中利用各种运动估计技术获取运动对象的运动轨迹并在这个运动轨迹上采用运动补偿策略生成符合运动规律的视频帧，这样，生成的视频帧与前一帧的结构相似度小于99.5％这个阈值，因此，现有的判断方法无法准确的定位上述插值帧。

综上，目前关于基于运动补偿视频上转换的插值帧定位的问题，尚无有效的解决办法。

技术实现要素：

有鉴于此，本发明实施例的目的在于提供了插值帧定位方法及装置，通过提取马尔科夫特征等，提高了基于运动补偿视频上转换的插值帧的定位的准确性。

第一方面，本发明实施例提供了插值帧定位方法，包括：

从预先构建的训练集合样本中提取马尔科夫特征，将马尔科夫特征输入到集成分类器中构建分类模式；

计算待测视频的视频集合γ的马尔科夫统计特征，利用待测视频的视频集合γ的马尔科夫统计特征和分类模式获取决策结果，且，更新待测视频的视频集合γ；

将决策结果中每三个连续检测为插值帧的中间帧划归到每轮循环中检测到的插值帧ξ中，其中，中间帧的帧数目记为nup，标定检测到的所有插值帧的定位位置记作ψ，ψ修改为ψ和ξ的并集，ts为更新后的γ的播放时间，其中，∑为待测视频的视频集合γ内的视频帧的数目和，f为待测视频的帧率；

判断是否满足nup<ts；

如果是，则输出插值帧的定位位置集合ψ；

如果否，更新γ为γ和ξ的差集，重新计算待测视频的视频集合γ的马尔科夫统计特征。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，计算待测视频的视频集合γ的马尔科夫统计特征包括：

从待测视频的视频集合的第二帧开始直到倒数第二帧，每帧的时间差分矩阵tfdm计算公式为其中，f(x,y,t)为视频序列，x，y和t分别表示空间坐标和时间尺度，且，第一帧和最后一帧的tfdm等于前两帧和最后两帧间的差值；

分别计算空时差分矩阵stfdm沿着八个方向的空间差分矩阵，其中，八个方向分别为运用预先设定的阈值分别截取各个空间差分矩阵，使用一阶马尔科夫过程分别沿着八个方向建模，并计算各个方向的经验矩阵和

根据各个方向的经验矩阵提取最终的马尔科夫统计特征为和

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，方法还包括：

待测视频的视频集合γ的初始值为待测视频的所有帧；

插值帧的每轮定位位置集合ψ的初始值为空集；

检测到的所有插值帧ξ的初始值为空集；

中间帧的帧数目记为nup的初始值为0；

更新后的γ的播放时间ts的初始值为0。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，方法还包括：

当待测视频的视频集合γ中没有插值帧存在时，则输出插值帧的定位位置集合为空；

当待测视频的视频集合γ中有插值帧存在时，且，判断的执行次数超过预先设定的阈值时，则输出插值帧的定位位置集合为ψ。

结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，方法还包括：

当∑stp>0，设置评定指标其中，sp为插值帧的正样本，stp为插值帧的真正样本，sfp为插值帧的负正样本；

当∑stp＝0时，设置评定指标f1为0。

第二方面，本发明实施例提供了插值帧定位装置，包括：

分类模式构建模块，用于从预先构建的训练集合样本中提取马尔科夫特征，将马尔科夫特征输入到集成分类器中构建分类模式；

视频更新模块，用于计算待测视频的视频集合γ的马尔科夫统计特征，利用待测视频的视频集合γ的马尔科夫统计特征和分类模式获取决策结果，且，更新待测视频的视频集合γ；

定位模块，用于将决策结果中每三个连续检测为插值帧的中间帧划归到每轮循环中检测到的插值帧ξ中，其中，中间帧的帧数目记为nup，标定检测到的所有插值帧的定位位置记作ψ，ψ修改为ψ和ξ的并集，ts为更新后的γ的播放时间，其中，∑为待测视频的视频集合γ内的视频帧的数目和，f为待测视频的帧率；

判断模块，用于判断是否满足nup<ts；

肯定执行模块，用于如果是，则输出插值帧的定位位置集合ψ；

否定执行模块，用于如果否，更新γ为γ和ξ的差集，重新计算待测视频的视频集合γ的马尔科夫统计特征。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，定位模块包括：

时间差分矩阵计算单元，用于从待测视频的视频集合的第二帧开始直到倒数第二帧，每帧的时间差分矩阵tfdm计算公式为其中，f(x,y,t)为视频序列，x，y和t分别表示空间坐标和时间尺度，且，第一帧和最后一帧的tfdm等于前两帧和最后两帧间的差值；

空间差分矩阵计算单元，用于分别计算空时差分矩阵stfdm沿着八个方向的空间差分矩阵，其中，八个方向分别为运用预先设定的阈值分别截取各个空间差分矩阵，使用一阶马尔科夫过程分别沿着八个方向建模，并计算各个方向的经验矩阵和

位置定位单元，用于根据各个方向的经验矩阵提取最终的马尔科夫统计特征为和

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，还包括：

视频集合初始值设定模块，用于待测视频的视频集合γ的初始值为待测视频的所有帧；

定位位置初始值设定模块，用于每轮插值帧的定位位置集合ψ的初始值为空集；

插值帧初始值设定模块，用于检测到的所有插值帧ξ的初始值为空集；

中间帧初始值设定模块，用于中间帧的帧数目记为nup的初始值为0；

播放时间初始值设定模块，用于更新后的γ的播放时间ts的初始值为0。

结合第二方面的第二种可能的实施方式，本发明实施例提供了第二方面的第三种可能的实施方式，其中，还包括：

插值帧未存在模块，用于当待测视频的视频集合γ中没有插值帧存在时，则输出插值帧的定位位置集合为空；

重复执行模块，用于当待测视频的视频集合γ中有插值帧存在时，且，判断的执行次数超过预先设定的阈值时，则输出插值帧的定位位置集合为ψ。

结合第二方面的第三种可能的实施方式，本发明实施例提供了第二方面的第四种可能的实施方式，其中，还包括：

正数域评定模块，用于当∑stp>0，设置评定指标其中，sp为插值帧的正样本，stp为插值帧的真正样本，sfp为插值帧的负正样本；

零值评定模块，用于当∑stp＝0时，设置评定指标f1为0。

本发明实施例提供的插值帧定位方法及装置，其中，该插值帧定位方法包括：首先，从预先构建的训练集合样本中提取马尔科夫特征，将马尔科夫特征输入到集成分类器中构建分类模式，之后，计算待测视频的视频集合γ的马尔科夫统计特征，利用待测视频的视频集合γ的马尔科夫统计特征和分类模式获取决策结果，并且，更新待测视频的视频集合γ，然后，将决策结果中每三个连续检测为插值帧的中间帧划归到每轮循环中检测到的插值帧ξ中，其中，中间帧的帧数目记为nup，标定检测到的所有插值帧的定位位置记作ψ，ψ修改为ψ和ξ的并集，ts为更新后的γ的播放时间，其中，∑为待测视频的视频集合γ内的视频帧的数目和，f为待测视频的帧率，之后，判断是否满足nup<ts这个条件，如果上述条件满足，则输出插值帧的定位位置集合ψ，定位位置集合ψ即为基于运动补偿视频上转换的插值帧的定位信息；如果上述条件不满足，更

新γ为γ和ξ的差集，重新计算待测视频的视频集合γ的马尔科夫统计特征，之后再重复进行上述判断等处理过程，通过上述操作实现了运动补偿帧率上转换，并有效提取了高帧率视频中插值帧的定位信息。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了现有技术中的插值帧定位方法的连接图；

图2示出了本发明实施例所提供的插值帧定位方法的连接图；

图3示出了本发明实施例所提供的插值帧定位装置的结构框架图；

图4示出了本发明实施例所提供的插值帧定位装置的结构连接图。

图标：1-分类模式构建模块；2-视频更新模块；3-定位模块；4-判断模块；5-肯定执行模块；6-否定执行模块；31-时间差分矩阵计算单元；32-空间差分矩阵计算单元；33-位置定位单元。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，在帧率上转换操作的过程中，采用运动补偿方式生成的插值帧常常考虑帧内运动对象的运动轨迹，并利用各种运动估计技术获取运动对象的运动轨迹，之后在这个运动轨迹上采用运动补偿策略生成符合运动规律的视频帧即插值帧，然而，现有的判断方法无法准确的定位上述插值帧。

基于此，本发明实施例提供了插值帧定位方法及装置，下面通过实施例进行描述。

实施例1

首先，来说明下基于运动补偿视频上转换的插值帧定位的理论基础来源：运动补偿视频上转换方法是利用帧内对象的运动规律，来获取真实运动轨迹，并采取运动补偿策略获得插值帧，上述操作过程取决于获得的运动轨迹的正确性。然而，帧内对象的运动具有复杂性和非刚性的特点，较难获得完整真实的运动轨迹，从而导致帧内运动对象所在区域的像素值与真实的像素值之间存在差异，也就在一定程度上改变了像素间的相关性，而本发明利用这个相关性的变化来定位插值帧的位置。

参见图2，本实施例提出的插值帧定位方法具体包括以下步骤：

步骤s101：从预先构建的训练集合样本中提取马尔科夫特征，以区分出原始帧和插值帧内运动对象区域像素间的相关特性，将马尔科夫特征输入到集成分类器中构建分类模式，常见的集成分类器为ensembleclassifier分类器，也就是使用支持向量机获得能区分原始帧和插值帧的区别。

步骤s102：计算待测视频的视频集合γ的马尔科夫统计特征，利用待测视频的视频集合γ的马尔科夫统计特征和分类模式获取决策结果，且，更新待测视频的视频集合γ，更新γ是在决策结果中获得的第一个检测帧到最后一个检测帧的范围内进行的。

步骤s103：将决策结果中每三个连续检测为插值帧的中间帧划归到每轮循环中检测到的插值帧ξ中，其中，中间帧的帧数目记为nup，标定检测到的所有插值帧的定位位置记作ψ，ψ修改为ψ和ξ的并集，ts为更新后的γ的播放时间，其中，∑为待测视频的视频集合γ内的视频帧的数目和，f为待测视频的帧率。

步骤s104：判断是否满足nup<ts。

步骤s105：如果是，则输出插值帧的定位位置集合ψ。

步骤s106：如果否，更新γ为γ和ξ的差集，重新计算待测视频的视频集合γ的马尔科夫统计特征。

在这里，需要补充说明：1待测视频的视频集合的范围为：将候选视频的所有帧作为初始估计，随后逐渐更改为检测到第一个插值帧到最后一个插值帧范围，这样。范围就涵盖了所有的插值帧和它的左右相邻参考帧，这对于拼接视频来说也避免了提前终止。2插值帧通常认定为在每三个连续检查帧的滑动窗口中的中间帧，在每个滑动窗口中仅有一帧的重叠，这是由于马尔科夫统计特征是根据待测视频的每三个连续帧提取的。3当待测视频的视频集合γ中没有插值帧存在时，输出插值帧的定位位置集合为空；而当待测视频的视频集合γ中有插值帧存在时，并且，判断是否满足nup<ts的执行次数超过预先设定的阈值(例如，10次)时，则输出插值帧的定位位置集合为ψ，通过上述设置有效减小了定位方法的执行时间，进而提高了插值帧定位的执行效率。

这里，需要说明步骤s102中计算待测视频的视频集合γ的马尔科夫统计特征具体包括：

1从待测视频的视频集合的第二帧开始直到倒数第二帧，每帧的时间差分矩阵tfdm计算公式为其中，f(x,y,t)为视频序列，x，y和t分别表示空间坐标和时间尺度，且，第一帧和最后一帧的tfdm等于前两帧和最后两帧间的差值。

2分别计算空时差分矩阵stfdm沿着八个方向的空间差分矩阵，其中，八个方向分别为运用预先设定的阈值分别截取各个空间差分矩阵，使用一阶马尔科夫过程分别沿着八个方向建模，并计算各个方向的经验矩阵和

3根据各个方向的经验矩阵提取最终的马尔科夫统计特征为和这里，需要说明的是，预先设定的阈值选取数值为3，则矩阵的特征维数为(2*3+1)²＝49，即上述各个方向的经验矩阵的特征维数均为49，和的特征维数分别是49，从而本发明所采用的总维数为98。

此外，插值帧定位方法还包括：各个初始值设定具体为，待测视频的视频集合γ的初始值为待测视频的所有帧，插值帧的每轮定位位置集合ψ的初始值为空集，检测到的所有插值帧ξ的初始值为空集，中间帧的帧数目记为nup的初始值为0，更新后的γ的播放时间ts的初始值为0，通过上述各个初始值的设定能使插值帧的定位测定有统一的起点，进而提高了测试的准确性。

此外，为了进行测试，对不同的25个视频组进行实验，视频平均长度为450帧，视频随机的划分为2类：其中的50％作为训练样本集合用来训练ensembleclassifier分类器，余下的50％用来测试，插值帧定位方法还包括：当∑stp>0，设置评定指标其中，

sp为插值帧的正样本，stp为插值帧的真正样本，sfp为插值帧的负正样本，而当∑stp＝0时，设置评定指标f1为0。并与目前常用的视频编辑软件(例如，msu、yuvsoft、mvtools2、respeedr)分别在待测视频为未经过压缩处理的视频和待测视频为h.264压缩视频的情况下进行对比，得到如下对比表1和对比表2。

对比表1

对比表2

综上所述，本实施例提供的插值帧定位方法包括：首先，从预先构建的训练集合样本中提取马尔科夫特征，将马尔科夫特征输入到集成分类器中构建分类模式，之后，计算待测视频的视频集合γ的马尔科夫统计特征，利用待测视频的视频集合γ的马尔科夫统计特征和分类模式获取决策结果，并且，更新待测视频的视频集合γ，其次，将决策结果中每三个连续检测为插值帧的中间帧划归到每轮循环中检测到的插值帧ψ中，其中，中间帧的帧数目记为nup，标定检测到的所有插值帧的定位位置记作ξ，ψ修改为ψ和ξ的并集，ts为更新后的γ的播放时间，其中，∑为待测视频的视频集合γ内的视频帧的数目和，f为待测视频的帧率，然后，判断是否满足nup<ts，如果上述判断的结果为是，则输出插值帧的定位位置集合ψ，如果上述判断的结果为否，更新γ为γ和ξ的差集，重新计算待测视频的视频集合γ的马尔科夫统计特征，通过上述步骤实现了基于运动补偿视频的运动补偿帧率上转换过程，并准确提取了高帧率视频中插值帧的定位信息。

实施例2

参见图3和图4，本实施例提供了插值帧定位装置包括：依次相连的分类模式构建模块1、视频更新模块2、定位模块3、判断模块4、肯定执行模块5和否定执行模块6，使用时，分类模式构建模块1用于从预先构建的训练集合样本中提取马尔科夫特征，将马尔科夫特征输入到集成分类器中构建分类模式，视频更新模块2用于计算待测视频的视频集合γ的马尔科夫统计特征，利用待测视频的视频集合γ的马尔科夫统计特征和分类模式获取决策结果，且，更新待测视频的视频集合γ，定位模块3，用于将决策结果中每三个连续检测为插值帧的中间帧划归到每轮循环中检测到的插值帧ξ中，其中，中间帧的帧数目记为nup，标定检测到的所有插值帧的定位位置记作ψ，ψ修改为ψ和ξ的并集，ts为更新后的γ的播放时间，其中，∑为待测视频的视频集合γ内的视频帧的数目和，f为待测视频的帧率，判断模块4用于判断是否满足nup<ts，肯定执行模块5用于如果是，则输出插值帧的定位位置集合ψ，否定执行模块6用于如果否，更新γ为γ和ξ的差集，重新计算待测视频的视频集合γ的马尔科夫统计特征。

其中，定位模块3包括：时间差分矩阵计算单元31、空间差分矩阵计算单元32和位置定位单元33，使用时，时间差分矩阵计算单元31用于从待测视频的视频集合的第二帧开始直到倒数第二帧，每帧的时间差分矩阵tfdm计算公式为其中，f(x,y,t)为视频序列，x，y和t分别表示空间坐标和时间尺度，且，第一帧和最后一帧的tfdm等于前两帧和最后两帧间的差值，空间差分矩阵计算单元32用于分别计算空时差分矩阵stfdm沿着八个方向的空间差分矩阵，其中，八个方向分别为运用预先设定的阈值分别截取各个空间差分矩阵，使用一阶马尔科夫过程分别沿着八个方向建模，并计算各个方向的经验矩阵和位置定位单元33用于根据各个方向的经验矩阵提取最终的马尔科夫统计特征为和

此外，插值帧定位装置还包括：视频集合初始值设定模块用于待测视频的视频集合γ的初始值为待测视频的所有帧，定位位置初始值设定模块用于每轮插值帧的定位位置集合ψ的初始值为空集，插值帧初始值设定模块用于检测到的所有插值帧ξ的初始值为空集，中间帧初始值设定模块用于中间帧的帧数目记为nup的初始值为0，播放时间初始值设定模块用于更新后的γ的播放时间ts的初始值为0。

此外，插值帧定位装置还包括：插值帧未存在模块和重复执行模块，插值帧未存在模块用于当待测视频的视频集合γ中没有插值帧存在时，则输出插值帧的定位位置集合为空，重复执行模块用于当待测视频的视频集合γ中有插值帧存在时，且，判断的执行次数超过预先设定的阈值时，则输出插值帧的定位位置集合为ψ。

此外，插值帧定位装置还包括：正数域评定模块和零值评定模块，使用时，正数域评定模块用于当∑stp>0，设置评定指标其中，sp为插值帧的正样本，stp为插值帧的真正样本，sfp为插值帧的负正样本，零值评定模块用于当∑stp＝0时，设置评定指标f1为0。

综上所述，本实施例提供的插值帧定位装置包括：依次相连的分类模式构建模块1、视频更新模块2、定位模块3、判断模块4、肯定执行模块5和否定执行模块6，使用时，分类模式构建模块1用于从预先构建的训练集合样本中提取马尔科夫特征，将马尔科夫特征输入到集成分类器中构建分类模式，视频更新模块2用于计算待测视频的视频集合γ的马尔科夫统计特征，利用待测视频的视频集合γ的马尔科夫统计特征和分类模式获取决策结果，且，更新待测视频的视频集合γ，定位模块3，用于将决策结果中每三个连续检测为插值帧的中间帧划归到每轮循环中检测到的插值帧ξ中，其中，中间帧的帧数目记为nup，标定检测到的所有插值帧的定位位置记作ψ，ψ修改为ψ和ξ的并集，ts为更新后的γ的播放时间，其中，σ为待测视频的视频集合γ内的视频帧的数目和，f为待测视频的帧率，判断模块4用于判断是否满足nup<ts，肯定执行模块5用于如果是，则输出插值帧的定位位置集合ψ，否定执行模块6用于如果否，更新γ为γ和ξ的差集，重新计算待测视频的视频集合γ的马尔科夫统计特征，通过上述各个模块的设置，有效解决了基于运动补偿视频上转换的插值帧准确定位的问题。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。