一种应用于视频帧速率上转换的插值帧生成方法
【专利摘要】本发明涉及视频图像处理领域，特别涉及一种应用于视频帧速率上转换的插值帧生成方法，针对现有的块匹配运动估计算法或多或少都会产生一些错误的运动向量，并且局部误差可能导致插值帧质量急剧下降的问题，所提出的方法具有对运动向量的误差敏感程度低的特点，从而具有较好的鲁棒性。包括：(1)以多分辨率块匹配算法由粗及精地估计运动向量场；(2)根据可靠性准则判断运动向量的可靠性；(3)运动向量场作分辨率提升处理，对由不可靠的块分裂而成的子块作进一步的由候选向量确定初始位置、限制在较小区域内的块匹配搜索；(4)以运动补偿的形式将输入图像中的块投影到插值帧，以计数图记录插值帧中的像素与输入帧中像素的对应关系，标记那些非一一对应的像素，以多候选时间域加权滤波计算这些像素的值。
【专利说明】一种应用于视频帧速率上转换的插值帧生成方法
【技术领域】
[0001]本发明涉及视频图像处理领域，特别涉及一种应用于视频帧速率上转换的插值帧生成方法。
【背景技术】
[0002]帧速率上转换是一种具有重要应用价值的视频图像处理技术，通过在时域内插出一些新的帧来提升帧速率，从而改善显示设备显示动态画面的性能，减少由于设备的显示保持特性(以LCD为例，其每个像素在一帧的持续时间内保持亮度不变)而引入的拖尾现象。帧速率上转换的应用场合包括:视频格式转换，如24帧/秒的电影在25帧/秒或30帧/秒播放速率的电视上播放；低码率视频编码，即在编码端以二分之一或更低的帧率编码，以减少网络传输对网络带宽的需求，而在解码端，通过帧速率上转换还原成正常速率的视频；另外，在慢速回放的应用中，帧速率上转换技术也有其用武之地。
[0003]现有的帧速率上转换算法粗略地可以划分成两大类:第一类算法不考虑运动物体帧间运动所产生的位置偏移，简单地采用帧重复或帧平均产生新的插值帧，对于存在动态区域的视频，这一类算法不可避免地将引入帧间抖动和运动模糊；第二类算法试图在运动轨迹上插值每个像素，通过运动估计和邻域滤波的紧密结合，实现减少帧间抖动和运动模糊的目的。可以预期，在大多数情况下，这一类算法具有比第一类算法更好的性能。
[0004]毋容置疑，在第二类算法中运动估计的精度将决定插值帧的质量。解码器从码流中提取的运动向量是由编码器采用某种快速匹配算法计算所得，在计算代价的角度，这样的运动向量由解码器直接从码流中获得，几乎不耗费额外的计算能力。然而，由于块匹配搜索以最小化帧间冗余为目标，所以很多时候这些运动向量并不反映物体的真实运动，以这样的运动向量构建运动轨迹将在插值帧中产生块效应和“鬼影”现象。为了获得能更好地反映物体真实运动的运动向量，针对帧速率上转换，解码器可以采取两种策略:对从码流中提取的运动向量作某种形式的后处理，使得运动向量场更为平滑；或者，在解码端重新估计更为准确的运动向量。
[0005] 中国专利CN201110058013.0，将待求的插值帧划分成较大的块，以双向运动估计求取各个大块的运动向量，将每个大块分解成若干个小块，以大块的运动向量为预测值对各个小块进行双向运动估计，得到各个小块的运动向量。文献“A Mult1-Pass True MotionEstimation Scheme With Motion Vector Propagation for Frame Rate Up-ConversionApplications”(Tai S._C.等，Journal of Display Technology, 2008 (2):188-197)使用多遍的策略估计真实运动向量。在最初的几遍，块尺寸被设置成32X32，在后续的搜索过程中，块尺寸逐步减小到16X16,8X8和4X4。每一遍搜索以后，以相邻块之间的运动向量差值是否小于一个阈值，以及由此运动向量产生的匹配误差是否足够小作为搜索是否收敛的准则，进而判断块的运动向量是否已具有足够的精度，无需作进一步的局部搜索。文献“A Multistage Motion Vector Processing Method for Motion-Compensated FrameInterpolation^(IEEE Trans.1mage Process.，2008 (5):694-708)在解码端以编码器估计所得的、随码流一起传送的运动向量作为输入，根据残差值将运动向量区分为不可靠(残差较大)、可能可靠(残差不大但至少与一个不可靠的宏块相邻)、可靠三类，合并那些相邻的不可靠的宏块，由参与合并的宏块以及与其相邻的宏块的运动向量构成候选运动向量集合，选择那个具有最小匹配误差的作为合并块的运动向量。
[0006]运动向量场逐帧地给出了各个图像块的运动轨迹，由运动向量可将图像块以运动补偿的形式投影到插值帧。为避免在边缘产生块间的不一致，文献“Multiple HypothesesBayesian Frame Rate Up-Conversion by Adaptive Fusion of Motion-CompensatedInterpolations”(IEEE Trans.Circuits Syst.Video Technol.，2012 (8): 1188-1198)以多阶段、且在不同的阶段采用不同的块尺寸的方式估计运动向量。这种方法使用多个向量场，每个向量场对应一个运动假设，采用多假设Bayesian估计，且在模型中同时引入了时间域和空间域的相关性约束，以最大化后验概率的方式实现图像插值。文献“Motion-Compensated Frame Rate Up-Conversion—Part II:New Algorithms for FrameInterpolation”(IEEE Trans.Broadcast., 2010 (2):142-149)针对单向运动估计容易产生空洞、块重叠等，以扩大的块进行运动补偿，且对块中的像素按其所在位置设定不同的权值。他们的方法计算两个向量场:前向运动向量场和后向运动向量场，分别以这两个向量场通过运动补偿产生两个插值图像，以加权合并的形式产生最后的插值图像。
[0007]需要指出的是，无论使用哪种运动估计技术和后处理修正，或多或少都会存在一些错误的运动向量，一些局部错误也可能导致插值帧视觉质量的急剧下降。
【发明内容】
[0008]本发明所要解 决的技术问题在于提供一种应用于视频帧速率上转换的插值帧生成方法，该方法具有对运动向量的误差敏感程度较低，从而具有较好的鲁棒性的特点。设输入的连续三帧为IclUdP I2，待插值的帧为Ιμ(0〈ΛΚ1)，本发明所公开的一种应用于视频帧速率上转换的插值帧生成方法，包括:
[0009](I)原图像、和I1作缩小处理，将低分辨率的输入图像划分成没有重叠的块，采用前向运动估计，以块匹配算法搜索每个图像块的运动向量。
[0010](2)将输入的未经缩小的原始图像划分成没有重叠的块，且通过设置低分辨率和原始图像的块为合适的尺寸，使得低分辨率图像的块在X和Y方向各覆盖原始图像的两个块，由低分辨率图像估计所得的运动向量确定初始搜索位置，以块匹配搜索算法计算原始图像各个块的运动向量。
[0011](3)块在X和Y方向各作一分为二的划分，评价每个运动向量的可靠性，对不可靠的块划分而成的子块，由其四邻域中可靠的运动向量构成候选向量集，分别由这些候选向量确定初始搜索位置，在较小的范围内搜索最佳匹配，且评价这些子块的运动向量是否可
靠
[0012](4)采用那些可靠的运动向量，以运动补偿的形式将Itl中的块投影到插值帧。并且，以假设运动物体在相邻帧的时间间隔内沿运动轨迹作平滑运动为基础，由参与补偿的块以及插值帧与输入帧之间的时间差值At，确定插值帧中各个补偿所得块的运动向量。
[0013](5)标记插值帧中的空洞区域和重叠区域，具体地，以计数图C记录补偿所得的图像像素与输入图像像素的对应关系，若C(m，n)==0，则像素(i，j)不与输入帧的任一个像素对应，属于空洞区域；SC(m，n)>l，则属于重叠区域。将空洞区域和重叠区域的像素值置为NULL，含义为“值待确定”；计数值等于I的像素，则根据运动向量，直接从输入帧Itl复制像素值。
[0014](6)检测插值帧水平和垂直方向单个像素宽度的NULL像素，对这些像素采用水平或垂直方向平均的方式计算其像素值。
[0015](7)以窗口扫描的方式从上到下、从左到右扫描插值帧,若窗口内包含值为NULL的像素则触发多候选时间域加权滤波处理，包括:
[0016](7.1)设(p，q)是一个待确定值的像素，该像素所在的块为Bp,q，以Bp,^块3X3邻域内的运动向量为候选向量构造候选向量集。
[0017](7.2)设(vx，vy)是集合中的一个向量，以Bp,,所在位置为基准，(vx, vy)为偏移量确定^㈧在^中的对应块以为当前块，I2为参考图像，(2vx，2vy)为候选向量确定
初始搜索位置，在一个较小的范围内寻找最佳匹配，记I2中的最佳匹配块为5?;以为当前块，Itl为参考图像，(-2vx,-2vy)为候选向量确定初始搜索位置，在一个较小的范围内寻找最佳匹配，记Itl中的最佳匹配块为#丨。由此，对于每个候选向量，将产生两对匹配块^
和 5S AX ο
[0018](7.3)计算这些匹配块之间的匹配误差:
【权利要求】
1.一种应用于视频帧速率上转换的插值帧生成方法，其特征在于，包括: 步骤一:对于输入的两帧Itl和I1,以快速块匹配算法计算运动向量场Λ41)，其中的每个元素对应Itl中的一个图像块，以向量的形式给出该块与其在I1中的最佳匹配块之间的相对偏移； 步骤二:根据如下的可靠性准则判断Mi0中的各个运动向量是否可靠， (1)空间域运动一致性准则:按下式计算Bm,n块与其四邻域块运动向量差值的最大值
Δ max=max {I vx (m, n) -vx (m+i, n+j) H vy (m, n) -vy (m+i, n+j) |} 其中i，j=0, ±1，且|i| Φ |j|，若Amax小于一个预先设定的阈值，则判定Bm, n块位于运动一致区域，其运动向量可靠，否则不可靠，可靠的块，跳过后续准则(2)和(3)的判断； (2)前后向运动向量一致性准则:设Ici帧中左上角坐标为(m，n)的块Bnun的运动向量为(m+vx，n+vy)为左上角坐标，取大小与Bnun相同的图像块，寻找该块在I。帧中的最佳匹配，且计算两者之间的相对偏移(ux，uy)，若下式成立，则(vx，vy)是Bm,n块的可靠的运动向量，否则该运动向量不可靠:
Vx+Ux I +1 vy+uy I ( Tmv 其中Tmv是一个由实验确定的阈值，对于未被判定为不可靠的块，以准则(3)作进一步的判断； (3)匹配误差准则:设定r为不可靠的块在所有块中所占的比例，且认为不可靠块的匹配误差将大于其它的部分，由此确定一个关于匹配误差的阈值，若Bp,,块的匹配误差小于该阈值，则对应的运动向量被判定为可靠，否则为不可靠； 使用(2)和(3)准则判断的某一块，当两个准则同时判定其为可靠，才作出肯定的判断，若有一个准则判定其为不可靠，则作出否定的判断； 步骤三:运动向量场Mj0作分辨率提升处理，形成运动向量场，若Mg)的某块具有可靠的运动向量，则Mj0)中与其对应的四个子块复制该运动向量，若Bm,η块的运动向量不可靠，由其分裂而成的子块，以其邻域块的运动向量构成候选向量集，由候选运动向量确定初始搜索位置，在一个较小的搜索范围内作进一步的块匹配搜索； 步骤四:采用中可靠的运动向量，以运动补偿的形式构建插值帧，以计数图C记录补偿所得图像的像素和输入图像Itl中像素的对应关系，若C(m，n)=l，则根据运动向量，直接从输入帧复制像素值到插值帧的(m，η)像素，若C(m，n)==0，则将(m，η)归为空洞区域，C(m, η) >1，则归为重叠区域，将空洞和重叠区域的像素值置为“NULL”，同时，假设运动物体在相邻帧的时间间隔内沿运动轨迹作平滑运动，由参与补偿的块以及插值帧与输入帧之间的时间差值At，确定补偿所得块的运动向量； 步骤五:以块扫描的形式从上到下、从左到右扫描插值图像，若块Bp,,包含了值为NULL的像素，则该像素的值以多候选时间域加权滤波的方式计算。
2.如权利要求1所述的应用于帧速率上转换的插值帧生成方法，其特征在于，所述步骤五以I1为当前帧，它的前一帧Itl和后一帧I2作参考帧，对插值帧中值为NULL的像素作时间域加权滤波运算，具体地，设块Bp,q中像素(p，q)的值为NULL，对其的处理包含如下步骤:(1)以Bp,q3 X 3邻域内的运动向量构成候选运动向量集； (2)对于候选向量集中的向量(vx，vy)，以Bp,,所在位置为基准，(vx，vy)为偏移量确定Bp,,在I1中的对应块5?，以为当前块，I2为参考图像，(2vx，2vy)为候选向量确定初始搜索位置，在一个较小的范围内寻找最佳匹配，记I2中的最佳匹配块为5?，以5$为当前块，Itl为参考图像，(-2vx,-2vy)为候选向量确定初始搜索位置，在一个较小的范围内寻找最佳匹配，记Itl中的最佳匹配块为由此，对于每个候选向量，将产生两对匹配块:5?和
【文档编号】H04N19/577GK103702128SQ201310731712
【公开日】2014年4月2日 申请日期:2013年12月24日 优先权日:2013年12月24日
【发明者】王勋, 陈卫刚, 时佳佳 申请人:浙江工商大学