一种智能提升运动流畅性的视频帧率上变换方法及系统与流程

本发明属于视频帧率上变换领域，具体地，涉及一种在源端智能提升运动流畅性，采用多种方法对帧率上变换各个流程上的智能融合、选择或判断的方法和系统。

背景技术：

视频帧率上变换，是视频图像处理领域的基本问题，是将具有低帧率的视频通过在原始视频帧之间插入中间帧的方法得到具有高帧率的视频,中间帧也称为内插帧，其中帧率是指每秒钟显示刷新的图像数量。这种方法能够改善低帧率视频在观看时所产生的画面抖动、卡顿、物体运动不连续、运动模糊等现象。

随着互联网、移动互联网的发展，大量的视频是通过网络传输被观看的。但是，由于网络带宽对视频码率的限制，视频内容服务商所提供的视频帧率较低，如10、15、20fps(frame per second,帧每秒)，而且由于视频压缩标准的规定，视频帧率大多为24、25或30fps，这些低帧率的视频并不能很好的满足用户对于视频的体验需求。

另一方面，液晶、OLED等显示技术已经能够支持高帧率的视频播放，如60、100、120fps,甚至部分设备能够显示240fps的视频。而且为了能够使这种高帧率显示技术得以展示，少数高端液晶电视芯片已经内置了帧率上变换的硬核芯片，因此低帧率视频进入这类电视机时，运动流畅性得以改善。这种硬核芯片内置于终端显示设备，对解码后待显示的视频图像进行插帧处理后，立即显示。然而，在移动互联网的趋势下，智能手机、普通液晶显示器是主要的显示设备，昂贵复杂的帧率上变换硬核芯片无法被应用于这些设备。

因而，为了使更多的终端显示设备能够体验到高帧率的视频，需要一种在源端将视频源进行帧率上变换的方法。

传统的帧率上变换方法按照是否计算运动矢量分为两大类，其中不计算运动矢量的方法有帧重复和帧平均；而计算运动矢量的方法包含基于块的运动估计和运动补偿两个步骤。其中，运动估计用于估计图像画面中划分的各个图像块的运动矢量，运动补偿插帧则是利用这些运动矢量估计出物体在中间帧上的位置，计算出中间帧。这类方法，受限于终端显示设备的硬核芯片对于功耗、成本、面积的约束，要求算法复杂度低。因此，传统方法在运动估计性能，插帧质量上较差，而且容易出现块效应，运动模糊等问题。

经检索，公开号为CN101616279A、申请号为CN200910157917.1，该发明为了解决现有视频帧率上变换方法存在的不能很好地解决运动物体遮挡和不规则运动的情况的问题，提供了一种视频帧率上变换的方法:将待处理视频序列归类于以下类别之一:电影模式视频序列或非电影模式视频序列；将电影模式视频序列进行帧选择；对经过前一步骤处理的电影模式视频序列进行运动估计运动补偿处理；对非电影模式视频序列进行插入低频帧或插入重复帧等处理。

但是，该发明针对的是对混杂有3:2PullDown的电影信号，进行归类判断，并对电影模式视频序列进行运动估计运动补偿处理。而本发明是对一般的电影、电视信号，根据画面内容的重复性、一致性进行智能的运动补偿插针处理。

另经检索，公开号为CN102665061A、申请号为CN 201210128996的专利，公开了一种基于运动矢量处理的帧率上转换方法及其装置，其中，该方法包括：对输入的原始视频序列进行场景检测，检测当前是否有场景变换发生；若检测到场景变换发生时，则采用内插方式对所述原始视频序列进行处理并获得处理后的数据；若未检测到场景变换发生时，则采用外推方式对所述原始视频序列进行处理并获得处理后的数据；采用对称运动估计对处理后的数据进行计算，获得初始运动矢量场；对所述初始运动矢量场的运动矢量进行运动矢量处理获得新运动矢量场；对所述新运动矢量场的运动矢量进行自适应运动补偿处理，获得待插帧。实施本发明实施例的方法及装置，可以降低计算复杂度与运动估计的复杂度，能提高内插帧的质量，满足实时应用的要求。

该方法判断场景变换的方法是采用帧差法检测场景变换，根据统计绝对差值和SAD超过特定阀值的块的个数判断是否有场景变换发生。它对于场景内容基本不变，但是物体运动较大的视频，容易判断出错，插帧质量不佳。

而且，上述的两项发明专利，在运动估计、运动补偿的方法上，都较为单一。如，运动估计只是采用块运动估计方法，补偿插帧只是利用两原始参考帧之间的运动矢量。而且它们还缺乏对插帧图像的后处理、以及质量判断等手段，使得它们对于的插帧结果没有很好的监控能力。

技术实现要素：

针对现有技术中的缺陷以及其应用的局限性，本发明的目的是提供一种智能提升运动流畅性的视频帧率上变换方法和系统，能够在源端实现低帧率视频转换为高帧率视频，提升画面物体运动流畅性。

根据本发明的第一方面，提供一种智能提升运动流畅性的视频帧率上变换方法，该方法对采集的视频在源端实现帧率上变换，并通过后续的编码、解码、显示，提升视频运动流畅性，改善视频观看体验。

具体地，所述方法包括如下步骤：

步骤一，对连续的两帧原始视频图像进行预分析，所述预分析指的是重复帧检测、内容一致性检测；

步骤二，对分析结果具有内容一致性的两帧图像进行运动估计，得到物体的运动信息，所述智能运动估计指的是采用多种方式进行运动估计和分析，它们包括特征点运动估计、块匹配运动估计、光流运动估计、多源运动矢量场融合、全局运动矢量分析、前景物体运动分析；

步骤三，在两帧原始视频图像之间，根据步骤二的运动信息计算出新的内插帧图像，所述计算出新的内插帧图像包括利用多场运动矢量场插值，并同时计算出每场内插帧的像素可靠度，通过可靠度将这多场内插帧加权融合到一起；

步骤四，对内插帧图像进行空洞填补和块效应滤波操作，并对插帧质量进行评价；

步骤五，根据上述四个步骤的结果，判断是否用重复帧取代内插帧。

优选地，步骤一中：所述预分析包含重复性检测和内容一致性检测，即判断两幅参考帧是否是逐像素相等的，以及它们是否属于同一场景下的采集画面。为了提高计算速度，在不影响检测效果前提下，可以对图像空间分辨率降采样后再检测重复性和内容一致性。

更优选地，所述重复性检测，可以检测两帧图像的亮度通道是否完全相同，或者亮度和颜色通道是否完全相同。

更优选地，所述内容一致性检测，比较两帧图像的直方图的相似度，具体地，设定像素灰度分类数BinNum，对统计得到的维度为BinNum的直方图向量H1和H2，各自进行归一化后，计算向量的夹角，根据设定的夹角阈值HistThreshold，如果夹角大于HistThreshold，认为内容不一致；否则，内容一致。

优选地，步骤二中，所述特征点是指通过特征检测算子，如SIFT、SURF、HOG等提取出来的。特征点运动估计是指将两帧图像中的相似特征点，进行匹配，并根据相似特征点的空间位置相对偏移，计算出特征点的运动矢量。

优选地，步骤二中，所述块匹配运动估计，是指将视频图像规则划分为NxN的图像块，并利用时间和空间上相邻块的运动矢量作为当前块的候选运动矢量，并从中挑选出最优运动矢量作为当前块的最终运动矢量。最优准则是候选运动矢量对应的候选块与当前块的差值最小。

优选地，步骤二中，所述光流运动估计，是指利用两帧图像亮度恒常性、梯度恒常性，和矢量场平滑约束，从图像缩放尺度上由粗到细的计算出图像的逐像素运动矢量场。

优选地，步骤二中，所述多源运动矢量场智能融合，是指将特征点运动估计、块匹配运动估计和光流运动估计三种不同的运动矢量场融合成为单一的矢量场。融合方式是，以块运动估计为基础，将特征点的运动矢量和光流运动矢量作为候选运动矢量，按照候选块相对于当前块误差最小为准则选择最优矢量。

优选地，步骤二中，所述全局运动矢量分析是指统计出融合的运动矢量场中出现频次最高的运动矢量，作为全局运动矢量，并描述该全局运动矢量在图像中的全局性强度。全局性强度是指与全局运动矢量差异小于GlobalVecThreshold的运动矢量占所有运动矢量的比例。

优选地，步骤二中，所述前景物体运动分析是指统计出融合的运动矢量场中出现频次第二高的运动矢量，作为前景物体运动矢量，并描述该前景运动矢量在图像中的前景性强度。前景性强度是指与前景运动矢量差异小于ForegroundVecThreshold的运动矢量占所有运动矢量的比例。

优选地，步骤三中，所述多场运动矢量场插帧，是利用多组运动矢量场进行内插，得到多幅内插帧。多组运动矢量场分别是：前向参考帧的前向运动矢量场和后向运动矢量场，后向参考帧的前向运动矢量场和后向运动矢量场。

优选地，步骤三中，所述内插帧可靠度度量利用的是运动矢量的块匹配误差，和运动矢量的平滑性计算得到。运动矢量的块匹配误差是运动矢量对应的图像块与当前块的差值的绝对值之和。运动矢量的平滑性是运动矢量与块周围各个运动矢量的差异之和。匹配误差与矢量差异越大，则该矢量所内插的得到像素可靠度越低；反之越高。

优选地，步骤三中，所述多内插帧融合，是指利用每幅内插帧的像素可靠度，然后根据它们的可靠度将多幅内插帧加权融合成为一幅内插帧。

优选地，步骤四中，所述时空域自适应空洞填补，是指对于插值留下的空洞像素，取其空域临近的非空洞像素和非空洞像素的运动矢量所对应的时域参考帧像素，加权融合填补。

优选地，步骤四中，所述自适应去块滤波，是指仅对多幅内插帧同时出现插值空洞的位置，检测是否有块效应，如果有，则计算块效应强度，根据块效应强度对该位置进行滤波处理。

优选地，步骤四中，所述内插帧质量评价是指对内插帧的自然统计特性与前后参考帧的自然统计特性的相似度。自然统计特性是指图像梯度的统计直方图，该直方图以一个自然统计特性矢量形式表达S_Vec，矢量的维数为直方图分类数BinNum。相似度则是内插帧自然统计特性矢量S_Vec1，前后参考帧的S_Vec2和S_Vec3，计算S_Vec1相对于S_Vec2、S_Vec3的内积之和，该值越大则质量越高，否则越低。

所述步骤五中，判断是否使用重复帧替换内插帧，是根据步骤一到步骤四各部分判决结果进行综合判断的。各部分判决情况包含：参考帧是否重复帧、参考帧内容场景是否不一致、特征点是否太少、全局运动矢量是否过大或者过小、前景运动矢量的前景性强度是否太低、插帧可靠度是否太低、空洞是否过大、插帧质量是否较差，一旦这些情况中出现，则使用重复帧代替内插帧。

根据本发明的第二方面，提供一种用于实现上述方法的智能提升运动流畅性的视频帧率上变换系统，包括：

图像读取模块，用于顺序读取视频中的图像；

帧缓冲模块，用于缓存待插帧附近前后的多帧图像；

图像预分析与帧间运动估计模块，用于评估连续的两帧的图像内容，并根据评估结果决定是否对这两帧图像进行运动估计，以及完成运动估计；

运动矢量缓冲模块，用于缓存待插帧附近前后的多场运动矢量；

运动补偿插帧与后处理模块，用于计算内插帧和对内插帧进行后处理；

内插帧缓冲模块，用于缓存内插帧图像；

信息综合评估与帧重复替换判决模块，用于综合图像预分析与帧间运动估计模块、运动补偿插帧与后处理模块的信息，决定是否采用帧重复替换内插帧；

图像输出与编码模块，用于对原始图像和内插帧图像编码；

流水控制模块，用于对图像读取模块、图像预分析与帧间运动估计模块、运动补偿插帧与后处理模块、图像输出与编码模块进行流水控制，使图像帧、矢量场实现高复用和高并行。

优选地，所述的图像预分析与帧间运动运动估计模块相对于图像读取模块延时一帧。

优选地，所述的运动补偿插帧与后处理模块相对于图像预分析与帧间运动估计模块延时一帧。

优选地，所述的图像输出与编码模块相对于运动补偿插帧与后处理模块延时一帧。

与现有技术相比，本发明具有如下的有益效果：

本发明所采用的预处理中的内容一致性判断，采用了直方图统计特性的相似性判断画面内容是否一致，该方法相对于判断SAD较大的块的个数方法，准确性更高；采用更为多元的运动矢量估计，并有效地将它们综合起来，显著地提高了运动估计的准确性；所采用的4场运动矢量场(包含了前向参考帧的前向运动矢量场和后向运动矢量场，后向参考帧的前向运动矢量场和后向运动矢量场)，而非传统的一场或两场运动矢量，插值结果更为稳健；所采用的内插帧后处理和质量评价，有效地保证了插帧质量，以防出较差的插值结果。

综上所述，本发明通过帧率上变换各个处理模块的流水控制，实现各模块信息的高复用和高并行，能够在源端实现高质量的视频帧率提升，智能地提升视频运动流畅性。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明一实施例的视频帧率上变换方法框图；

图2是本发明基于块的运动估计方法候选块示意图；

图3是本发明多源运动矢量插帧的所需的运动矢量场示意图；

图4是本发明一实施例的视频帧率上变换系统结构框图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示，一种智能提升运动流畅性的视频帧率上变换方法，包括如下步骤：

步骤一：对采集的视频图像进行预分析；在不影响检测效果前提下，即对图像空间分辨率Scale倍降采样后再检测重复性和内容一致性。在本实施例中，Scale取值为4。

A.重复帧检测：取两帧图像作逐像素差值处理，如果所有的像素差值的绝对值之和为0，则认为两参考帧为重复帧。

B.内容一致性检测：设定像素灰度分类数BinNum，对统计得到的维度为BinNum的直方图向量H1和H2，各自进行归一化后，计算向量的夹角Degree，根据设定的夹角阈值HistThreshold，如果Degree>HistThreshold,认为内容不一致；否则，内容一致。本实施例中BinNum＝32，设定的阈值HistThreshold＝10°。

步骤二：运动估计；

C.特征点运动估计：本实施例采用SURF特征检测算子，提取两幅参考帧的特征点和特征描述矢量。以其中一幅图像的特征点为查询点，在另一幅图像中寻找与其特征描述矢量最相似的特征点，该命中的特征点的空间坐标相对于查询点的空间坐标偏移即为该特征点的运动矢量。统计特征点个数，判断其数量是否太少的阈值为FeatureThreshold＝100。

D.块匹配运动估计：如图2所示，将图像规则划分为NxN的图像块，并利用时间和空间上相邻块的运动矢量作为当前块的候选运动矢量，并从中挑选出最优运动矢量作为当前块的最终运动矢量。最优准则是候选运动矢量对应的候选块与当前块的差值最小。本实例中，N＝4。相邻的候选块共有三个：空间上相邻的左边候选块，空间上相邻的上面候选块，以及前一帧中同一位置的候选块。

E.光流运动估计：利用两帧图像亮度恒常性、梯度恒常性，和矢量场平滑约束，精度上由粗到细的计算出图像的逐像素运动矢量场。

F.多源运动矢量场智能融合:以块运动估计为基础，将特征点的运动矢量和光流运动矢量作为候选运动矢量，按照候选块相对于当前块误差最小为准则选择最优矢量。

G.全局运动矢量分析:统计出融合的运动矢量场中出现频次最高的运动矢量，作为全局运动矢量，并描述该全局运动矢量在图像中的全局性强度。全局性强度是指与全局运动矢量差异小于GlobalVecThreshold的运动矢量占所有运动矢量的比例。本实施例中GlobalVecThreshold＝50％。判断全局运动矢量过小的阈值为GlobalVecLow，本实施例中GlobalVecLow＝5。判断全局运动矢量过小的阈值为GlobalVecHigh，本实施例中GlobalVecLow＝200。

H.前景物体运动分析：统计出融合的运动矢量场中出现频次第二高的运动矢量，作为前景物体运动矢量，并描述该前景运动矢量在图像中的前景性强度。前景性强度是指与前景运动矢量差异小于ForegroundVecThreshold的运动矢量占所有运动矢量的比例。

步骤三：在原始帧之间进行运动补偿插帧；

I.多运动矢量场插帧:利用多组运动矢量场进行内插，得到多幅内插帧。如图3所示，多组运动矢量场分别是：前向参考帧的前向运动矢量场V2和后向运动矢量场V1，后向参考帧的前向运动矢量场V4和后向运动矢量场V3。

J.内插帧可靠度度量：利用运动矢量的块匹配误差和运动矢量的平滑性计算得到，取值范围为[0,1]。运动矢量的块匹配误差是运动矢量对应的图像块与当前块的差值的绝对值之和。运动矢量的平滑性是运动矢量与块周围各个运动矢量的差异之和。匹配误差与矢量差异越大，则该矢量所内插的得到像素可靠度越低；反之越高。本实施例中，计算整帧图像的可靠度，是取每一个像素的可靠度的平均值。插帧图像的可靠度是否太低的阈值为FrameReliaThreshold＝0.5。

K.多内插帧融合：利用每幅内插帧的像素可靠度，然后根据它们的可靠度将多幅内插帧加权融合成为一幅内插帧。

步骤四：对内插帧进行后处理；

L.时空域自适应空洞填补：对于插值留下的空洞像素，取其空域临近的非空洞像素和非空洞像素的运动矢量所对应的时域参考帧像素，加权融合填补。本实施例中，统计内插帧的空洞占整幅图像的比例，判断空洞是否过大的阈值为HoleThreshold＝1％。

M.自适应去块滤波：对多源内插帧同时出现插值空洞的位置，检测是否有块效应，如果有，则计算块效应强度，根据块效应强度对该位置进行滤波处理。

N.内插帧质量评价：对内插帧的自然统计特性与前后参考帧的自然统计特性的相似度。自然统计特性是指图像梯度的统计直方图，该直方图以一个矢量形式表示，维数为直方图分类数BinNum。相似度则是内插帧自然统计特性矢量S_Vec1，前后参考帧的S_Vec2和S_Vec3，计算矢量内积，该值越大则质量越高，否则越低。本实施例中BinNum＝256。内插帧质量阈值为QualityThreshold＝0.9。

步骤五：判断是否使用重复帧替换内插帧：根据步骤一到步骤四各部分判决结果进行综合判断的。各部分判决情况包含：参考帧是否重复帧、参考帧内容场景是否不一致、特征点是否太少、全局运动矢量是否过大或者过小、前景运动矢量的前景性强度是否太低、插帧可靠度是否太低、空洞是否过大、插帧质量是否较差，一旦这些情况中出现，则使用重复帧代替内插帧。

如图4所示，一种用于实现上述方法的智能提升运动流畅性的视频帧率上变换系统，所述系统应用于视频采集源端，包括：

图像读取模块：用于顺序读取视频中的图像，存入帧缓冲区。

帧缓冲模块：耦接于图像预分析与帧间运动估计模块以及运动补偿插帧与后处理模块，用于缓存待插帧附近前后的多帧原始图像；

图像预分析与帧间运动估计模块：耦接于图像读取模块之后，用于评估连续的两帧的图像内容，并根据评估结果决定是否需要对这两帧图像进行运动估计，如果需要，则完成运动估计；

运动矢量缓冲模块：耦接于帧间运动估计模块，用于缓存待插帧附近前后的多场运动矢量；

运动补偿插帧与后处理模块：耦接于帧间运动估计模块之后，用于计算内插帧、内插帧可靠度和对内插帧进行后处理；

内插帧缓冲模块：耦接于运动补偿插帧之后，用于缓存内插帧图像；

信息综合评估与帧重复替换判决模块：耦接于图像预分析与帧间运动估计模块、运动补偿插帧与后处理模块，用于综合图像预分析与帧间运动估计模块、运动补偿插帧与后处理模块的信息，决定是否采用帧重复替换内插帧；

图像输出与编码模块：耦接于运动补偿插帧与后处理模块、信息综合评估与帧重复替换判决模块，用于对原始图像和选择的内插帧图像编码；

流水控制模块，用于对图像读取模块、图像预分析与帧间运动估计模块、运动补偿插帧与后处理模块、图像输出与编码模块进行流水控制，使图像帧、矢量场实现高复用和高并行。

本发明智能提升运动流畅性的视频帧率上变换系统的各个模块具体实现的技术，参照上述方法对应步骤，这对于本领域技术人员是很好理解和实现的，在此不再赘述。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。