Umh块匹配运动估计与光流场运动估计相结合的一种帧率提升方法
【专利摘要】本发明提供一种帧率提升的方法。该方法主要分为四个步骤，分别是图像分割，得到前景、背景以及物体边缘；对前景与背景采用可变尺寸块匹配运动估计，对物体边缘采用基于光流场的运动估计；对运动向量进行后处理，得到靠谱的运动矢量；采用重叠块运动补偿和双线性插值方法进行运动补偿，合成插入帧。本发明提出来的帧率提升的方法能够解决传统帧率提升方法中出现的光环效应、边缘块锯齿效应等问题，在帧率提升领域得到广泛的应用。
【专利说明】UMH块匹配运动估计与光流场运动估计相结合的一种帧率提升方法
【技术领域】
[0001]本发明涉及一种帧率视频提升的方法，属于视频数据处理领域。
【背景技术】
[0002]视频的帧率提升方法是通过在原始帧率视频序列中插入预测的帧来提升低帧率视频的视觉质量，获取高帧率的视频。由于视频帧率提升多样化的应用，帧率提升技术在消费电子领域越来越重要。HDTV和多媒体PC系统可以播放比广播视频流帧率高的视频，视频帧率提升技术就可以应用到提升原始视频帧率来提高终端用户的观影效果。
[0003]目前视频帧率提升采用最多的方法是基于运动估计的运动补偿方法，大部分的帧率提升方法都是基于块匹配的运动估计方法。然而在前景与背景的交界处，由于运动的物体边缘块匹配的不准确性，导致估计出不准确的运动矢量，从而在闭塞的区域会出现光环效应、锯齿边缘等问题，导致帧率提升后的视频质量下降，影响终端用户的视觉效果。
【发明内容】
[0004]针对帧率提升中存在的光环效应、锯齿边缘的问题，本申请提供了一种运动物体检测的前景、背景分离，采用基于块匹配的运动估计和光流场运动估计相结合的视频帧率提升方法，用以提高帧率提升后的视频质量。
[0005]本发明的技术解决方案如下:
[0006]—种基于UMHexagonS块匹配运动估计和光流场运动估计相结合的视频巾贞率提升方法，其特征在于该方法包括以下步骤:
[0007]步骤1:对原始视频进行处理，采用帧间差法分离前景背景，并标记边缘像素点；
[0008]步骤2:采用可变尺寸UMHexagonS块匹配运动估计得到前景、背景的运动矢量；
[0009]步骤3:采用光流场运动估计得到运动物体边缘像素点运动矢量；
[0010]步骤4:对得到的运动矢量进行后处理；
[0011]步骤5:对前景和背景进行重叠块运动补偿，对物体边缘进行双线性插值运动补偿，得到插入帧；
[0012]步骤6:将插入帧和原始帧合成高帧率的视频。
[0013]优选地，在步骤2和步骤3中对前景、背景、物体边缘分别采用自适应运动估计方法，以提高物体边缘像素点运动矢量的准确性。
[0014]优选地，在步骤4中对得到的运动矢量进行可靠性判断，对不可靠的运动矢量进行中值滤波，以提高运动矢量的准确性。
[0015]优选地，在步骤5中进行重叠块运动补偿，以降低块效应、提高视频质量。
【专利附图】
【附图说明】
[0016]图1:是本发明整体处理框图。[0017]图2:UMHexagonS块匹配运动估计方法示意图。
[0018]图3:仿真结果图。
【具体实施方式】
[0019]本发明针对图像中物体的运动情况，分为前景、背景、边缘区域，分别采用尺寸可变块匹配运动估计方法、基于光流场运动估计的方法，对运动矢量后处理后采用重叠块运动补偿的方法构造插入帧，起到降低光环效应、边缘锯齿化的作用，达到重构高质量高帧率视频的目标。
[0020]下面结合具体实施例(但不限于此例)以及附图对本发明进行进一步的说明。
[0021](一)对原始数字图像的处理:
[0022]( 1)读入视频；
[0023](2)设置计数器t=l，依次保存第i帧作为当前帧，第t+2帧作为下一帧，预留第t+1帧作为待插入帧；
[0024](3)利用动态自适应阈值帧间差法进行运动目标检测来分离前景与背景。基于帧间差分的运动检测即帧差法，它根据相邻帧或隔帧图像间亮度变化的大小来检测运动目标。具体包括以下几个步骤:
[0025]a.通过公式⑴计算第t帧图像与第t+2帧图像的差分，记为D (X，y):
[0026]D (χ, y) = | Ft+2 (x, y) -Ft (x, y) |(公式 I)
[0027]其中:Ft(x, y), Ft+2 (x, y)分别表示t和t+2时刻的图像；
[0028]b.动态自适应阈值TH的选取，阈值TH的取值为帧差法中差分图的最高灰度值和最低灰度值差的1/2。通过步骤a记录D(x，y)的最大值为Dmax,最小值为Dmin，TH =(Dmax-Dmin)/2 ；
[0029]c.对差分图像D(X，y)进行二值化处理，根据公式2进行图像分割:
【权利要求】
1.一种基于UMHexagonS块匹配运动估计和光流场运动估计相结合的视频巾贞率提升方法，其特征在于该方法包括以下步骤: 步骤1:对原始视频进行处理，采用帧间差法分离前景背景，并标记边缘像素点； 步骤2:采用可变尺寸UMHexagonS块匹配运动估计得到前景、背景的运动矢量； 步骤3:采用光流场运动估计得到运动物体边缘像素点运动矢量； 步骤4:对得到的运动矢量进行后处理； 步骤5:对前景和背景进行重叠块运动补偿，对物体边缘进行双线性插值运动补偿，得到插入帧； 步骤6:将插入帧和原始帧合成高帧率的视频。
2.根据权利要求1所述的基于UMHexagonS块匹配运动估计和光流场运动估计相结合的视频帧率提升方法，其特征在于在步骤2和步骤3中对前景、背景、物体边缘分别采用自适应运动估计方法，以提高物体边缘像素点运动矢量的准确性。
3.根据权利要求1所述的基于UMHexagonS块匹配运动估计和光流场运动估计相结合的视频帧率提升方法，其特征在于在步骤4中对得到的运动矢量进行可靠性判断，对不可靠的运动矢量进行中值滤波，以提高运动矢量的准确性。
4.根据权利要求1所述的基于UMHexagonS块匹配运动估计和光流场运动估计相结合的视频帧率提升方法，其特征在于在步骤5中进行重叠块运动补偿，以降低块效应、提高视频质量。
【文档编号】H04N19/176GK103888767SQ201410125926
【公开日】2014年6月25日 申请日期:2014年3月31日 优先权日:2014年3月31日
【发明者】孙国霞, 赵悦, 刘琚 申请人:山东大学