一种应用于视频帧速率上转换的运动向量场生成方法
【专利摘要】本发明涉及视频图像处理领域，特别涉及一种应用于视频帧速率上转换的运动向量场生成方法，包括：(1)在粒子滤波的框架下，以自适应的方式确定块的尺寸，在呈现单一运动的区域采用较大的块，以利于减小图像噪声对于匹配搜索过程的影响，在呈现复杂运动的区域采用较小的块，以捕捉那些复杂的运动，从而有利于正确而可靠地构建用于运动补偿插值的运动向量场；(2)针对视频图像中存在的灰度均匀、缺少纹理信息的区域，待图像中的其余部分已经估计得到运动向量以后，采用两遍扫描的方式，以其邻域块的运动向量为候选向量，在一个较小的范围内搜索最佳匹配；(3)针对视频图像中存在的露出区域，采用位于插值帧之后的连续两帧I1和I2，由I1指向I2的运动向量来确定插值帧相应位置的运动向量，以有效地避免在露出区域出现的错误向量。
【专利说明】一种应用于视频帧速率上转换的运动向量场生成方法
【技术领域】
[0001]本发明涉及视频图像处理领域，特别涉及一种应用于视频帧速率上转换的运动向量场生成方法。
【背景技术】
[0002]帧速率上转换在较低帧率的视频中周期性地插入新的帧以提高视频的帧速率。在低帧率视频编码正常帧率回放、视频格式转换等应用中，能有效地提升观看者的观看体验度。
[0003]在现有的帧速率上转换算法中，基于运动补偿的算法比那些简单帧重复或前后帧平均的算法具有更好的性能，原因在于视频图像往往存在由运动物体引入的动态区域，基于运动补偿的算法试图在运动轨迹上插值每个像素，通过运动估计和邻域滤波的紧密结合，有可能避免由于简单重复引入的帧间跳动，以及由于帧平均引入的运动模糊。
[0004]对于基于运动补偿的算法，以下两个要素将决定插值帧的质量:(I)如何估计每个像素的真实运动以还原它们的运动轨迹；(2)如何在或多或少存在一些不可靠的运动向量的情况下，构建在视觉上物体呈现连续且平滑运动的插值帧。对于第一个要素，困难来自于运动估计本身是一个病态问题，并且现有的运动估计技术，大多数是针对视频编码设计的。它们以最小化补偿冗余、降低编码码率为目标，估计的运动向量有时并不反映物体的真实运动。
[0005]需要指出的是，对块匹配算法而言，块的大小将影响运动向量的可靠性和精度，当一个区域呈现一致的运动，采用较大尺寸的块有利于减小图像噪声对于匹配搜索过程的影响，相反地，在运动物体的边缘等区域，采用较小的块有利于捕捉那些复杂的运动；位于灰度均匀区域的块，块匹配搜索过程容易受到图像噪声的影响，对于这样的区域，在其它区域确定了运动向量以后，以邻近块的运动向量作为参考向量，更有利于得到反映该区域真实运动的运动向量，而且也有利于减少计算代价；另外，对于露出区域，采用紧邻插值帧的前一帧和后一帧作块匹配运动搜索得到的运动向量注定是不可靠的，需要处于插值帧后的连续两帧来反推插值帧对应位置的运动向量。
【发明内容】
[0006]本发明所要解决的技术问题在于提供一种应用于视频帧速率上转换的运动向量场生成方法，该方法根据视频图像时间域运动特征，自适应地在呈现单一运动的区域采用较大的块，在呈现复杂运动的区域采用较小的块进行块匹配运动估计，从而有效地避免由于在一个块的内部包含来自不同运动对象的像素而引入的错误的运动向量；根据空间域纹理信息，在具有均匀灰度、缺少纹理细节的区域采用较大的块尺寸，并且以与其相邻且具有明显纹理信息的邻域块的运动向量作为候选向量估计这些块的运动向量，以避免不可靠的运动向量。
[0007]为实现上述目的，本发明提供一种应用于视频帧速率上转换的运动向量场生成方法，包括以下步骤:
[0008]步骤一，读取时间域紧邻待插值帧，且在其之前的一帧，记作Itl,紧邻待插值帧且在其之后的两帧，记作I1和12，以Itl为当前帧，I1为参考帧，以多分辨率、变块尺寸的方式估计运动向量场MF_0，其中的每个向量对应Itl中的一个块，以向量的形式给出该块与参考图像中的最佳匹配块之间的相对偏移；
[0009]步骤二，判断运动向量场MF_0中的各个运动向量是否可靠；
[0010]步骤三，运动向量投影处理，根据插值帧IΛ t和Itl之间的时间间隔，将向量场MF_0中的各个可靠的运动向量投影赋予插值帧的像素，结果为一个与ΙΛ?相同大小的向量场MF_X ；
[0011]步骤四，对于向量场MF_X中没有被赋予运动向量的区域，寻求一个由插值帧ΙΔ?出发，穿过I1和I2，且能得到I1和I2之间最小匹配代价的向量作为运动向量。
[0012]进一步，所述步骤一，以多分辨率、变尺寸块匹配的方式估计运动向量场，将自适应地划分图像成不同尺寸的子块的过程建模成一个动态系统，以状态向量s = [S1, S2,...，SN]τ描述,其中N是总的块数,Si = (xi； Yi7Wi)代表第i个粒子,与一个图像块相对应，(Xi,Yi)是块的左上角点坐标，Wi是宽度和高度方向以像素计的块大小，在粒子滤波的框架下，由重要性密度函数q驱动，以迭代的形式实现运动向量场估计，包括以下步骤:
[0013]步骤1，构建L层图像金字塔，其中第O层对应原始图像，第L-1层对应最小分辨率图像，若第k层图像的大小为HXW，则第k+Ι层图像的大小为且其中的每个像素等于第k层图像4个像素的均值；
[0014]步骤2，以第O层图像为输入，计算图像梯度强度，以窗口扫描的方式检测梯度强度图，若窗口内具有较大梯度值的像素数目少于一个预先指定的阈值，则判定窗口位于灰度均匀区域，这样的区域在后续的步骤3至7不作处理；
[0015]步骤3，判断粒子对应的块是否由上一层的块以四叉树的形式分裂而来，或者当前处理的是第L-1层图像，若是，则采用快速块匹配算法，以最小化绝对帧差之和为匹配准贝U，在参考图像中搜索一个最佳匹配，以二者的相对偏移(Cb^dyi)作为运动向量；否则，根据上一层搜索得到的运动向量确定初始搜索位置，在一个较小的范围内搜索最佳匹配；
[0016]步骤4，由匹配误差和邻域块的运动向量分布一致性计算观测度量，具体地，首先对每个粒子按下式计算:
A,=^(l + ey)SAD
bk
其中bk是当前层的块尺寸，SAD是步骤3匹配过程中得到的、对应最佳匹配的绝对帧差之和，eve [0,1]是一个反映当前块与其邻域块运动一致程度的参数，若当前块与其邻域块具有一致的运动，则该参数取较小值，否则取较大值；
[0017]其次，对每个粒子按下式计算观测度量ok, i
_ Δ,.% = La
[0018]步骤5，由观测度量，按下式计算第k次迭代的观测似然密度函数Pk (z I s)
α(ζ|8) = Σο?>0Ο^Κ-Σ*,?)其中，N(.)代表高斯分布函数，uk, i代表第k次迭代时第i个粒子所对应的块中心位置，Σ u是协方差矩阵，与块的大小有关，z对应了与划分有关的观测度量；
[0019]步骤6，按下式更新重要性密度函数
【权利要求】
1.一种应用于视频帧速率上转换的运动向量场生成方法，其特征在于:以多分辨率、变尺寸块匹配的方式估计运动向量场，将自适应地划分图像成不同尺寸的块的过程建模成一个动态系统，以状态向量S = [S1, S2, , sN]T描述该系统,其中N是总块数，Si= (Xi,Yi, Wi)代表与一个图像块相对应的第i个粒子，(xi； Yi)是块的左上角坐标，Wi是宽度和高度方向以像素计的块大小，在粒子滤波的框架下由重要性密度函数驱动，以迭代的形式实现运动向量场估计，包括以下步骤: (1)构建L层图像金字塔，其中第O层对应原始图像，第L-1层对应金字塔中的最小分辨率图像，若第k层图像的大小为HX W，则第k+Ι层图像的大小为 (2)以第O层图像为输入，计算图像梯度强度，以窗口扫描的方式检测梯度强度图，若窗口内大于预先指定的阈值Te的像素数目少于一个预先指定的阈值Tn，则判定窗口位于灰度均匀区域，这样的区域在后续的步骤(3)至(7)不作处理； (3)对每个粒子，判断粒子对应的块是否由上一层的块以四叉树的形式分裂而来，或者当前处理的是第L-1层图像，若是，则采用快速块匹配算法，以最小化绝对帧差之和为匹配准则，在参考图像中搜索一个最佳匹配，以二者的相对偏移(dx，dy)作为运动向量；否则，根据上一层搜索得到的运动向量确定初始搜索位置，在该位置两个方向各为-3~+3的范围内搜索最佳匹配； (4)由匹配误差和邻域块的运动向量一致性确定观测度量，首先，对每个粒子按下式计算:
其中bk是当前层的块尺寸，SAD是步骤(3)匹配过程中得到的、对应最佳匹配的绝对帧差之和，ev e [0,1]是一个反映当前块Bm,n与其邻域块运动一致程度的参数，按下式计算:
其中Udx为四邻域块和Bm,n+1的运动向量的X分量的均值，Udy为Y分量的均值，min (a, b)和max (a, b)分别表示取a和b两数的较小值和较大值；其次，对每个粒子按下式计算观测度量Ou
(5)由观测度量，按下式计算第k次迭代的观测似然密度函数pk(z I s)
其中，Ν(.)代表高斯分布函数，Uu代表第k次迭代时第i个粒子所对应的块的中心位置，Σ u是协方差矩阵，与块的大小有关，按下式计算
(6)按下式更新重要性密度函数
其中ak e (0，I]是第k次迭代的改写系数； (7)根据重要性密度函数q，采样产生进行下一次迭代计算的粒子集，重新执行步骤(3)一(7)，直到执行完第L次循环。
2.如权利要求1所述的方法，其特征在于，所述的运动向量场是以连续输入的两帧中的第一帧I。为当前帧，第二帧I1为参考帧计算的，10位于插值帧之前，I1在插值帧之后。
3.如权利要求1所述的方法，其特征在于，进一步包括: (8)根据插值帧1&和^之间的时间间隔，作运动向量投影处理，设估计所得的向量场中(xQ，yQ)位置的向量为(vx，vy)，且与I。帧左上角坐标为(xqN，y0N)的一个NXN块对应，则插值帧中左上角坐标为(XdN+round(νχ Δ t), y0N+round(vy Δ t)),大小为NXN块的所有位置被赋予运动向量(νχ Δ t, Vy Δ t),其中round (.)代表取整运算； (9)对投影所得的运动向量场作扫描处理，若扫描窗口内包含了没有被赋予运动向量的像素，则寻求一个由插值帧Ut出发，穿过I1和其后的一帧12，且能得到I1和I2之间最小匹配代价的向量作为运动向量。
4.如权利要求1所述的方法，其特征在于，所述步骤(7)，第k次迭代针对的是第L-k层图像，其中的一个bkXbk块对应了 L-k-Ι层的一个2bkX 2bk块，若某个粒子具有较大的q值，则在下一次迭代的L-k-Ι层将其对应的块以四叉树的形式划分成四个子块，每个子块的大小为bkXbk，且分别对应第k+Ι次循环粒子集中的一个粒子，否则该粒子对应的子块不作划分，对应的块的大小为2bkX2bk，在第k+Ι次循环的粒子集只对应一个粒子。
5.如权利要求1所述的方法，其特征在于，所述步骤(9)的估计方法如下:将块匹配搜索限定在一定的范围内，对在搜索范围内的每一个可能的向量(ux，uy)计算不同i和j时的匹配误差
其中(Xo，y0)为步骤(9)所述扫描窗口的中心位置，I和j为整数，且-2≤i，j≤2，对所有的i和j，按下式计算
最后，确定该块的运动向量为
【文档编号】H04N19/139GK104202603SQ201410489709
【公开日】2014年12月10日 申请日期:2014年9月23日 优先权日:2014年9月23日
【发明者】陈卫刚, 时佳佳 申请人:浙江工商大学