一种帧速率上转换方法及系统与流程

本发明实施例涉及视频图像
技术领域：
，特别是涉及一种帧速率上转换方法及系统。
背景技术：
：帧速率上转换为在视频图像中的原始帧之间插入新的中间帧实现视频图像速率的提升。如图1所示为帧速率上转换的原理图，假设ft-1和ft+1为原始视频图像中的连续两帧的图像，在ft-1和ft+1之间插入新的中间帧图像ft即为帧速率上转换，由于插入新的中间帧，使得视频图像的速率得到了提升。现有的实现在原始帧之间插入新的中间帧的方法主要有帧复制、插黑帧、插灰帧等，上述方法完成中间帧的插入的原理为在找到连续两个原始帧的同像素点，找到同像素点之间的估计点，实现中间帧的插入。假设ft-1中的一像素点A经过一段时间的间隔后，有一个运动矢量的移动，运动到了ft+1中的像素点B点的位置。利用A点和B点的获得一C点为帧速率上转换插入的中间帧ft的待插像素点。按照上述方法依次找到其他的待插像素点，最终实现中间帧的插入。由于上述方法主要是利用前后帧的各种线性组合来完成新的中间帧的插入，对于静止场景下的中间帧插入可以得到比较好的效果。如果视频图像场景是运动的，连续两帧图像之间不存在线性关系，因此继续使用上述方法插入新的中间帧就会使得图像产生模糊和抖动，影响视频图像的质量。技术实现要素：本发明实施例中提供了一种帧速率上转换方法及系统，减小帧速率上转换中插入帧的抖动性，提升了视频图像的质量。第一方面，本发明实施例提供了一种帧速率上转换方法，所述方法包括：对视频图像中相邻的两帧图像进行运动估计，获得第一内插帧和第二内插帧的运动矢量；将所述第一内插帧和所述第二内插帧的运动矢量进行帧运动补偿，获得所述第一内插帧和所述第二内插帧图像；将所述第一内插帧和第二内插帧对应的图像进行图像融合，获得插入帧图像；对所述插入帧图像进行二次运动估计，补偿其中的空洞。结合第一方面的实现方式，在第一方面第一种可能的实现方式中，所述对视频图像中相邻的两帧图像进行运动估计包括：确定相邻两帧图像的时间先后顺序，将前一时刻的一帧图像作为第一参考帧，将后一时刻的一帧图像作为第二参考帧；将所述第一参考帧作为当前帧，并将所述第一参考帧划分为不重叠的小块；进行后向运动估计在所述第二参考帧中寻找与所述第一参考帧每个小块的匹配块；将所述第二参考帧作为当前帧，并将所述第二参考帧划分为不重叠的小块；进行前向运动估计在所述第一参考帧中寻找与所述第二参考帧每个小块的匹配块。结合第一方面第一种可能的实现方式，在第一方面第二种可能的实现方式中，所述获得第一内插帧和第二内插帧的运动矢量包括：所述第一参考帧中的小块与所述第二参考帧中对应的匹配块镜像对称，获得第一内插帧位置；所述第二参考帧中的小块与所述第一参考帧中对应的匹配块镜像对称，获得第二内插帧位置；根据所述第一内插帧位置和所述第二内插帧位置获得所述第一内插帧和所述第二内插帧的运动矢量。结合第一方面的实现方式，在第一方面第三种可能的实现方式中，将所述第一内插帧和所述第二内插帧的运动矢量进行帧运动补偿，获得所述第一内插帧和所述第二内插帧图像，包括：确定所述第一内插帧和所述第二内插帧的运动矢量对应的所述第一内插帧和所述第二内插帧中的遮挡区和显露区；分别对所述第一内插帧和所述第二内插帧中的遮挡区和显露区进行补偿。结合第一方面的实现方式，在第一方面第四种可能的实现方式中，所述将第一内插帧和第二内插帧对应的图像进行图像融合，获得插入帧图像，包括：确定所述第一内插帧和所述第二内插帧中的空洞像素和非空洞像素；如果两个内插帧的对应位置像素有一个内插帧的像素为空洞像素，另一个内插帧对应为非空洞像素，则将插入帧图像的对应位置像素选择非空洞像素；或者，如果两个内插帧对位置应像素均为非空洞像素，则将插入帧图像的对应位置像素选择两个内插帧对应位置像素的平均值。第二方面，本发明实施例提供了一种帧速率上转换系统，所述系统包括：运动估计模块，用于对视频图像中相邻的两帧图像进行运动估计，获得第一内插帧和第二内插帧的运动矢量；运动补偿模块，用于将所述运动估计模块获得的第一内插帧和所述第二内插帧的运动矢量进行帧运动补偿，获得所述第一内插帧和所述第二内插帧图像；图像融合模块，用于将所述运动补偿模块获得的第一内插帧和第二内插帧对应的图像进行图像融合，获得插入帧图像；空洞修复模块，用于对所述插入帧图像进行二次运动估计，补偿其中的空洞。结合第二方面的实现方式，在第二方面第一种可能的实现方式中，所述运动估计模块包括：第一确定单元，用于确定相邻两帧图像的时间先后顺序，将前一时刻的一帧图像作为第一参考帧，将后一时刻的一帧图像作为第二参考帧；后向运动单元，用于将所述第一参考帧作为当前帧，并将所述第一参考帧划分为不重叠的小块，进行后向运动估计在所述第二参考帧中寻找与所述第一参考帧每个小块的匹配快；前向运动单元，用于将所述第二参考帧作为当前帧，并将所述第二参考帧划分为不重叠的小块，进行前向运动估计在所述第一参考帧中寻找与所述第二参考帧每个小块的匹配块。结合第二方面第一种可能的实现方式，在第二方面第二种可能的实现方式中，所述运动估计模块还包括：第一获取单元，用于将所述第一参考帧中的小块与所述第二参考帧中对应的匹配块镜像对称，获得第一内插帧位置；第二获取单元，用于将所述第二参考帧中的小块与所述第一参考帧中对应的匹配块镜像对称，获得第二内插帧位置；计算单元，用于根据所述第一内插帧位置和所述第二内插帧位置获得所述第一内插帧和所述第二内插帧的运动矢量。结合第二方面的实现方式，在第二方面第三种可能的实现方式中，所述运动补偿模块包括：第二确定单元，用于确定所述第一内插帧和所述第二内插帧的运动矢量对应的所述第一内插帧和所述第二内插帧中的遮挡区和显露区；运动补偿单元，分别对所述第一内插帧和所述第二内插帧中的遮挡区和显露区进行运动补偿。结合第二方面的实现方式，在第二方面第四种可能的实现方式中，所述图像融合模块包括：第三确定单元，用于确定所述第一内插帧和所述第二内插帧中的空洞像素和非空洞像素；判决单元，用于如果两个内插帧的对应位置像素有一个内插帧的像素为空洞像素，另一个内插帧对应为非空洞像素，则将插入帧图像的对应位置像素选择非空洞像素；或者，如果两个内插帧对位置应像素均为非空洞像素，则将插入帧图像的对应位置像素选择两个内插帧对应位置像素的平均值。由以上技术方案可见，本发明实施例提供的一种帧速率上转换方法，所述方法包括：对视频图像中相邻的两帧图像进行运动估计，获得第一内插帧和第二内插帧的运动矢量；将所述第一内插帧和所述第二内插帧的运动矢量进行帧运动补偿，获得所述第一内插帧和所述第二内插帧图像；将所述第一内插帧和第二内插帧对应的图像进行图像融合，获得插入帧图像，对插入帧图像进行二次运动估计补偿填补其中的空洞。根据两个相邻帧的图形分别进行单向运动估计，获得两个内插帧的运动矢量，然后通过运动补偿获得两个内插帧的图像，最后对两内插帧图像进行融合获得插入帧图像，对插入帧中的空洞通过二次运动估计补偿来填补，获得的插入帧图像抖动性小、图像质量高，更符合实际的视频图像的运动。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为一种帧速率上转换的原理图；图2为本发明实施例提供的一种帧速率上转换方法示意图；图3为本发明实施例提供的一种单向运动估计原理图；图4为本发明实施例提供的一种区域划分示意图；图5为为本发明实施例提供的一种帧速率上转换系统示意图。具体实施方式为了使本
技术领域：
的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。参见图2，为本发明实施例提供的一种帧速率上转换方法示意图；如图2所示，本实施例提供的帧速率上转换方法包括：S101，对视频图像中相邻的两帧图像进行运动估计，获得第一内插帧和第二内插帧的运动矢量。首先获得相邻的两帧图像，确定量帧图像时间的先后顺序，将前一时刻的一帧图像作为第一参考帧，后一时刻的一帧图像作为第二参考帧。将所述第一参考帧作为当前帧，并将所述第一参考帧划分为不重叠的小块，进行后向运动估计在所述第二参考帧中寻找与所述第一参考帧每个小块对应的匹配块。将所述第二参考帧作为当前帧，并将所述第二参考帧划分为不重叠的小块，进行前向运动估计在所述第一参考帧中寻找与所述第二参考帧每个小块对应的匹配块。然后将所述第一参考帧中的小块与所述第二参考帧中对应的匹配块镜像对称，获得第一内插帧位置。所述第二参考帧中的小块与所述第一参考帧中对应的匹配快镜像对称，获得第二内插帧位置。根据所述第一内插帧位置和所述第二内插帧位置获得所述第一内插帧和所述第二内插帧的运动矢量。如图3所示即为一种后向运动估计的原理图，其中FP帧为所述第一参考帧作为当前帧，FN帧为所述第二参考帧。将FP帧划分为多个不重叠的小块，然后在FN帧中寻找FP帧中每个小块对应的匹配块。很据在FN帧中寻找到的匹配块与匹配块在FP帧中的对应小块的镜像对称获得第一内插帧的位置，即图3中的FI帧。单向运动估计对应的运动补偿公式如式(1)和式(2)所示。ft(i+12vx,j+12vy)=12[ft-1(i+vx,j+vy)+ft+1(i,j)]---(1)]]>ft(i+12vx,j+12vy)=12[ft-1(i,j)+ft+1(i+vx,j+vy)]---(2)]]>其中ft-1和ft+1分别表示前后时刻的两帧图像，即本实施例中的所述第一参考帧和第二参考帧，ft表示内插帧，v＝(vx,vy)表示两个参考帧之间的运动矢量。在公式(1)中将后一时刻的一帧图像作为当前帧，在前一时刻的一帧图像中寻找匹配块的运动估计，即为前向运动估计。公式(2)与公式(1)恰恰相反，是将前一时刻的一帧图像作为当前帧，到后一时刻的一帧图像中寻找匹配块，即为后向运动估计。为了提高运动估计的准确性，在执行运动估计的过程中，采用相应的匹配准则。考虑了运动矢量相关性和边缘匹配的匹配准则，如公式(3)E(ft-1,ft+1,mv)=Σx,y∈G[Dif_f(x,y)+λ·Dif_Hf(x,y)]+ρΣiDif_mvi---(3)]]>公式(3)中，λ和ρ为权重系数，G表示运动估计的块所包含的区域。E(ft-1，ft+1,mv)最小值对应的运动矢量即为最佳运动矢量。Dif_Hf(x,y)为边缘匹配误差，Dif_mvi为运动矢量相关因子，Dif_f(x,y)为块匹配运动估计的平均绝对差匹配准则。Dif_f(x,y)＝|ft-1(x,y)-ft+1(x,y,mv)|，Dif_Hf(x,y)＝|Hft-1(x,y)-Hft+1(x,y,mv)|，Hf(x,y)＝|f(x,y)-f(x+1,y)|+|f(x,y)-f(x,y+1)|。其中，Hft-1表示ft-1的高频信息，即边缘信息。mv＝(mvx,mvy)表示当前块的运动矢量。Dif_mvi＝||mvi-mv||＝|mvi,x-mvx|+|mvi,y-mvy|，其中mvi＝(mvi,x,mvi,y)，i＝1,2,3,4表示当前块4个相邻快的运动矢量。为保证整个估计过程为顺序执行，即不需要迭代，相邻块取当前块的左上、上、右上和左块。运动估计后的运动矢量不一定完全准确，可能存在奇异运动矢量，所以在运动估计过后分别对获得的两个运动矢量场进行校正，根据邻域运动矢量的空间相关性去除奇异运动矢量，对运动矢量场进行平滑，得到新的运动矢量场。这里采用选择性矢量中值滤波，利用运动矢量相关性因子Dif_mvi来计算滤波窗内的中值运动矢量与当前块运动矢量的差别，Dif_mvi表示输出的中值运动矢量与当前运动矢量的1-norm距离。若Dif_mvi大于预设阈值，则认为该运动矢量为奇异运动矢量，需要对其进行运动矢量平滑处理，否则保留原运动矢量不变。S102，将所述第一内插帧和所述第二内插帧的运动矢量进行帧运动补偿，获得所述第一内插帧和所述第二内插帧图像；确定所述第一内插帧和所述第二内插帧的运动矢量对应的所述第一内插帧和所述第二内插帧中的遮挡区和显露区；分别对所述第一内插帧和所述第二内插帧中的遮挡区和显露区进行补偿。遮挡、显露问题是帧速率上转换中影响插入帧图像质量的问题之一，遮挡、显露问题的处理直接影响着最终的插帧图像质量，图4为遮挡区和显露区示意图。传统的遮挡、显露问题的解决需要用到连续的3帧图像，给硬件实现带来了存储和带宽上的压力。本文为解决遮挡/显露问题，采用了一种复杂度较低且仅需采用2帧的算法，通过计算邻域运动矢量的梯度判断是否为遮挡/显露区，然后对遮挡/显露区采用不同的补偿方式。邻域运动矢量的梯度计算公式如下所示：▿mv(x,y)=[mvx(x+δ,y)-mvx(x-δ,y)]+[mvy(x,y+δ)-mvy(x,y-δ)]---(4)]]>δ表示一个很小的间隔(常数，可取1)。假设x轴正方向为向下，y轴正方向为向右。可见，如果表示当前位置为遮挡区，其运动矢量应指向前一时刻的一帧图像中的相同位置，相应地，对于遮挡区应采用前一时刻的一帧的图像进行补偿。如果则表示当前位置为显露区，其运动矢量应指向后一时刻的一帧图像中的相同位置，相应地，对于显露区应采用后一时刻的一帧图像进行补偿。由于块的划分并不是自适应的，即一个块中可能既包含背景也包含目标，所以这样补偿会在边缘产生块效应。为解决这个问题，在补偿时引入一个平滑函数w以改进补偿方式，以后向运动估计为例，补偿方式如式(5)所示：ft(x+12mvx,y+12mvy)=(1-w)ft-1(x,y)+wft+1(x+mvx,y+mvy)---(5)]]>w=0,▿mv≤-Th(1Th▿mv+1)/2,|▿mv|<Th1,▿mv≥Th]]>其中，Th为一正的预设经验阈值。S103，将所述第一内插帧和第二内插帧对应的图像进行图像融合，获得插入帧图像。由于本实施例中的的运动估计是单向运动估计，在获得所述第一内插帧和所述第二内插帧过程中是会产生空洞和叠加。对于产生的叠加，选择对应像素绝对差最小的运动矢量作为待插像素的运动矢量。二对于两个内插帧中的空洞，分别用掩膜hole_maskf和hole_maskb表示两个内插帧中的像素，值为1时表示当前像素为空洞像素，0表示非空洞像素。确定所述第一内插帧和所述第二内插帧中的空洞像素和非空洞像素；如果两个内插帧的对应位置像素有一个内插帧的像素为空洞像素，另一个内插帧对应为非空洞像素，则将插入帧图像的对应位置像素选择非空洞像素；如果两个内插帧对位置应像素均为非空洞像素，则将插入帧图像的对应位置像素选择两个内插帧对应位置像素的平均值；如果两个内插帧对位置应像素均为空洞像素，则对该位置进行二次运动估计和补偿。内插完成后，将两帧内插帧进行融合以减少空洞并提高图像质量，得到一个初始的估计内插帧图像，融合方法可由下式表示：S104，对所述插入帧图像进行二次运动估计，补偿其中的空洞。如果两个内插帧对位置应像素均为空洞像素，则对该位置进行二次运动估计和补偿来填补空洞。融合后的内插帧仍然存在空洞，故需要对其进行空洞的填补。由于空洞的形状和大小依赖于视频图像的内容和运动，并不固定，这使得传统的填补空洞算法的计算次数也变得不固定，从而导致硬件实现的同步和实时性难以控制。因此，本发明提出了一种适合于硬件实现的空洞填补算法，利用固定的块大小根据空洞周围的有效像素信息采用二次运动估计来填补空洞。具体为将内插帧分块，若块内不存在空洞，则不需重新估计，否则以内插帧中当前块为参考块，分别在前后帧中再次执行单向运动估计以搜索最匹配的块。在执行二次单向运动估计计算匹配误差时，由于当前块内存在空洞所以只计算其中有效像素(非空洞像素)的对应绝对差，而对于空洞像素则不做计算。如果参考块内有效像素过少，则增加相邻两行两列的像素，即扩展m×n大小的匹配块为(m+2)×(n+2)。得到前后两帧中的对应的匹配块后，利用这两帧中匹配块对应位置的像素来补偿内插帧中的空洞。二次估计得到补偿像素的补偿公式如下所示：ft,me(x,y)＝wt-1ft-1(x-mvx,t-1,y-mvy,t-1)+wt+1ft+1(x-mvx,t+1,y-mvy,t+1)(7)wt-1=SAD(ft,ft+1)SAD(ft,ft-1)+SAD(ft,ft+1)]]>wt+1=SAD(ft,ft-1)SAD(ft,ft-1)+SAD(ft,ft+1)]]>其中，(mvx,t-1,mvy,t-1)为在前一帧中寻找匹配块所对应的运动矢量，(mvx,t+1,mvy,t+1)为在后一帧中寻找匹配块所对应的运动矢量。由上述实施例可见，本发明实施例提供的一种帧速率上转换方法，所述方法包括：对视频图像中相邻的两帧图像进行运动估计，获得第一内插帧和第二内插帧的运动矢量；将所述第一内插帧和所述第二内插帧的运动矢量进行帧运动补偿，获得所述第一内插帧和所述第二内插帧图像；将所述第一内插帧和第二内插帧对应的图像进行图像融合，获得插入帧图像，对插入帧内的空洞采用二次运动估计补偿进行填补。根据两个相邻帧的图形分别进行单向运动估计，获得两个内插帧的运动矢量，然后通过运动补偿获得两个内插帧的图像，最后对两内插帧图像进行融合获得插入帧图像，采用二次运动估计和补偿来填补插入帧中的空洞。获得的插入帧图像抖动性小、图像质量高，更符合实际的视频图像的运动。与本发发明实施例提供的一种帧速率上转换方法下个对应，本发明实施例还提供了一种帧速率上转换系统的实施例。如图5所示，所述帧速率上转换系统包括：运动估计模块201、运动补偿模块202、图像融合模块203和空洞修复模块204。运动估计模块201，用于对视频图像中相邻的两帧图像进行运动估计，获得第一内插帧和第二内插帧的运动矢量；所述运动估计模块包括：第一确定单元，用于确定相邻两帧图像的时间先后顺序，将前一时刻的一帧图像作为第一参考帧，将后一时刻的一帧图像作为第二参考帧；后向运动单元，用于将所述第一参考帧作为当前帧，并将所述第一参考帧划分为不重叠的小块，进行后向运动估计在所述第二参考帧中寻找与所述第一参考帧每个小块的匹配快；前向运动单元，用于将所述第二参考帧作为当前帧，并将所述第二参考帧划分为不重叠的小块，进行前向运动估计在所述第一参考帧中寻找与所述第二参考帧每个小块的匹配快。所述运动估计模块还包括：第一获取单元，用于将所述第一参考帧中的小块与所述第二参考帧中对应的匹配块镜像对称，获得第一内插帧位置；第二获取单元，用于将所述第二参考帧中的小块与所述第一参考帧中对应的匹配块镜像对称，获得第二内插帧位置；计算单元，用于根据所述第一内插帧位置和所述第二内插帧位置获得所述第一内插帧和所述第二内插帧的运动矢量。运动补偿模块202，用于将所述运动估计模块获得的第一内插帧和所述第二内插帧的运动矢量进行帧运动补偿，获得所述第一内插帧和所述第二内插帧图像；所述运动补偿模块包括：第二确定单元，用于确定所述第一内插帧和所述第二内插帧的运动矢量对应的所述第一内插帧和所述第二内插帧中的遮挡区和显露区；运动补偿单元，分别对所述第一内插帧和所述第二内插帧中的遮挡区和显露区进行运动补偿。图像融合模块203，用于将所述运动补偿模块获得的第一内插帧和第二内插帧对应的图像进行图像融合，获得插入帧图像。所述图像融合模块包括：第三确定单元，用于确定所述第一内插帧和所述第二内插帧中的空洞像素和非空洞像素；判决单元，用于如果两个内插帧的对应位置像素有一个内插帧的像素为空洞像素，另一个内插帧对应为非空洞像素，则将插入帧图像的对应位置像素选择非空洞像素；如果两个内插帧对位置应像素均为非空洞像素，则将插入帧图像的对应位置像素选择两个内插帧对应位置像素的平均值。空洞修复模块204，用于对所述插入帧图像进行二次运动估计，补偿其中的空洞。如果两个内插帧对位置应像素均为空洞像素，则对该位置进行二次运动估计，补充其中的空洞像素。通过以上的方法实施例的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质。本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。以上实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。当前第1页1 2 3