专利名称：一种视频帧率提升方法
一种视频帧率提升方法技术领域
本发明属于视频数据处理领域，更具体地，涉及一种视频帧率提升方法。
背景技术：
视频帧率提升方法指的是通过视频相邻两帧的数据，用运动估计和插值的方法计算出中间帧并插入原视频图像序列，实现整个视频帧率的提高。
传统的视频帧率提升方法是基于分块分层的双向运动补偿插帧算法，其存在以下问题:
1、视频本身质量对运动估计准确性有较大影响。
2、分块大小一旦固定，会出现譬如同一块中包含不同运动情况物体的现象出现，进而影响整个算法的效果。
3、双线性插值算法基于块内像素运动线性变化的假设，且并未有最优的矢量选取规则。发明内容
针对现有技术的缺陷，本发明的目的在于提供一种视频帧率提升方法，旨在解决现有视频帧率提升方法在预处理、双线性插值优化、自适应块分裂方面存在的问题。
为实现上述目的，本发明提供了一种视频帧率提升方法，包括以下步
骤:
(I)读入视频；
(2)设置计数器i=l，并采用以下公式计算视频的第i帧作为当前帧、当前帧的下一帧中所有像素点的梯度值，Ji (x,y)
权利要求
1.一种视频帧率提升方法，其特征在于，包括以下步骤: (1)读入视频； (2)设置计数器i=l，并采用以下公式计算视频的第i帧作为当前帧、当前帧的下一帧中所有像素点的梯度值，(x,y) =、/(/(\'1-.1 O-/仏少))2+(/狀少 + 1) —/仏少.))2、Jh (x，y) =V(7i+i(x+少)—4ιO，y))2 + (4i(x,j+i)-/M(>'.>;))2，其中(x，y)表示帧中像素点的坐标，Ii (X，y)表示第i帧中像素点的像素值，Ji (X，y)表示第i帧中像素点的梯度值； (3)将第i帧和第i+Ι帧中所有像素点的梯度值作为像素值，重新构建第i帧和第i+1帧的像素点集合以形成重新构建的第i帧和第i+Ι帧； (4)对重新构建的第i帧和第i+Ι帧进行基于预测的双向分层运动估计，以得到前向运动矢量场和后向运动矢量场； (5)根据前向运动矢量场和后向运动矢量场，并采用双线性插值法计算出第i帧和第i+Ι帧中每个像素的运动矢量，并对第i帧中像素做遮挡判断， (6)利用双向运动补偿插值算法计算将要插入在第i帧和第i+Ι帧之间的M-1个帧中每个像素的值，其中M为大于2的正整数； (7)去除M-1个插入帧的块效应，并在第i帧和第i+Ι帧的中间插入M-1个插入帧； (8)设置i=i+l，并重复步骤(2)至(7)，直到视频的所有帧都处理完毕为止。
2.根据权利要求1所述的视频帧率提升方法，其特征在于，步骤(4)包括以下子步骤: (4.1)把重新构建的第i帧和第i+Ι帧分为N*N大小的块，其中N的大小为8或16 ; (4.2)采用均值滤波法对重新构建的第i帧和第i+Ι帧分别进行分层，其中分层的层数是大于等于3; (4.3)对分层后的第i帧和第i+Ι帧进行前向运动估计，以得到前向运动矢量场； (4.4)对分层后的第i帧和第i+Ι帧进行后向运动估计，以得到后向运动矢量场； (4.5)根据前向运动矢量场和后向运动矢量场判断第i帧和第i+Ι帧之间是否存在场景切换或运动过于剧烈，如果存在场景切换或运动过于剧烈，则转入步骤(4.6)，否则转入步骤(4.7)； (4.6)直接将第i+Ι帧插入第i帧和第i+Ι帧之间，设置i=i+l，并返回步骤(2)； (4.7)采用矢量中值滤波对上述得到的前向和后向运动矢量场中不可靠的运动矢量进行处理，并寻找搜索窗中，距离其它矢量最近的运动矢量替代该不可靠的运动矢量。
3.根据权利要求2所述的视频帧率提升方法，其特征在于，步骤(4.3)包括以下子步骤: (4.3.1)对第i帧中最上层的所有块进行前向运动估计，以获得所有块的运动矢量； (4.3.2)根据第i帧中最上层所有块的运动矢量计算第i帧中第二层所有块的运动矢量; (4.3.3)根据第i帧中最二层所有块的运动矢量计算第i帧中第三层所有块的运动矢量。
4.根据权利要求3所述的视频帧率提升方法，其特征在于，步骤(4.3.1)包括以下子步骤: (4.3.1.1)设置计数器k=l，对第k块进行空间运动矢量预测，以得到最上层第k块的空间运动预测矢量； (4.3.1.2)使用PMVFAST算法获取第k块的运动矢量； (4.3.1.3)设置k=k+l，并重复上述步骤(4.3.1.1)和(4.3.1.2)，直到获取第i帧中最上层所有块的运动矢量为止。
5.根据权利要求3所述的视频帧率提升方法，其特征在于，步骤(4.3.2)包括以下子步骤: (4.3.2.1)设置计数器m=l，并对步骤(4.2)分层后的第i帧中第二层的第m块进行层间运动预测，以得到第二层的第m块的层间运动预测矢量； (4.3.2.2)对第i帧中第二层的第m块进行全局运动估计，以得到第二层的第m块的全局运动预测矢量； (4.3.2.3)使用PMVFAST算法获取第二层的第m块的运动矢量； (4.3.2.4)设置m=m+l，并重复上述步骤(4.3.2.1)至(4.3.2.3)，直到获取第i帧中第二层所有块的运动矢量为止。
6.根据权利要求3所述的视频帧率提升方法，其特征在于，步骤(4.3.3)包括以下子步骤: (4.3.3.1)设置计数器n=l，并对步骤(4.2)分层后的第i帧中第三层的第η块进行层间运动预测，以得到第三层的第η块的层间运动预测矢量； (4.3.3.2)对第i帧中第三层的第η块进行全局运动估计，以得到第三层的第η块的全局运动预测矢量； (4.3.3.3)使用PMVFAST算法获取第三层的第η块的运动矢量MVC ； (4.3.3.4)判断第η块的SAD值是否超过某一阈值，如果超过，则转入步骤(4.3.3.5)，否则转入步骤(4.4.3.6)； (4.3.3.5)把第η块分为4q个均匀大小的小块，其中q为正整数，且满足4q ( N2,对这4q块，在η块的运动矢量所指区域的p*p (p为正整数)大小范围内找到SAD值最小的小块的运动矢量，然后转入步骤(4.3.3.6)； (4.3.3.6)设置n =n+l，并重复上述步骤(4.3.3.1)至(4.3.3.5)，直到获取第i帧中第三层所有块的运动矢量为止。
7.根据权利要求2所述的视频帧率提升方法，其特征在于，步骤(4.4)包括以下子步骤: (4.4.1)对第i+Ι帧中最上层的所有块进行后向运动估计，以获得所有块的运动矢量； (4.4.2)根据第i+Ι帧中最上层所有块的运动矢量计算第i+Ι帧中第二层所有块的运动矢量； (4.4.3)根据第i+Ι帧中最二层所有块的运动矢量计算第i+Ι帧中第三层所有块的运动矢量。
8.根据权利要求6所述的视频帧率提升方法，其特征在于，步骤(4.4.1)包括以下子步骤:(4.4.1.1)设置计数器k’ =1，对第k’块进行空间运动矢量预测，以得到最上层第k’块的空间运动预测矢量； (4.4.1.2)使用PMVFAST算法获取第k’块的运动矢量； (4.4.1.3)设置让’ =k，+1，并重复上述步骤(4.4.1.1)和(4.4.1.2)，直到获取第i+1帧中最上层所有块的运动矢量为止。
9.根据权利要求6所述的视频帧率提升方法，其特征在于，步骤(4.4.2)包括以下子步骤: (4.4.2.1)设置计数器m’ =1，并对步骤(4.2)分层后的第i+Ι帧中第二层的第m’块进行层间运动预测，以得到第二层的第m’块的层间运动预测矢量； (4.4.2.2)对第i+Ι帧中第二层的第m’块进行全局运动估计，以得到第二层的第m’块的全局运动预测矢量； (4.4.2.3)使用PMVFAST算法获取第二层的第m’块的运动矢量； (4.4.2.4)设置m’ =m’ +1，并重复上述步骤(4.4.2.1)至(4.4.2.3)，直到获取第i+1帧中第二层所有块的运动矢量为止。
10.根据权利要求6所述的视频帧率提升方法，其特征在于，步骤(4.4.3)包括以下子步骤: (4.4.3.1)设置计数器η’ =1，并对步骤(4.2)分层后的第i+Ι帧中第三层的第η’块进行层间运动预测，以得到第三层的第η’块的层间运动预测矢量； (4.4.3.2)对第i+Ι帧中第三层的第η’块进行全局运动估计，以得到第三层的第η’块的全局运动预测矢量； (4.4.3.3)使用PMVFAST算法获取第三层的第η’块的运动矢量； (4.4.3.4)判断第η’块的SAD值是否超过某一阈值，如果超过，则转入步骤(4.4.3.5)，否则转入步骤(4.4.3.6)； (4.4.3.5)把第η’块分为4q个均匀大小的小块，且满足4q ^ N2，对这4q块，在η’块的运动矢量所指区域的P’ *Ρ’大小范围内找到SAD值最小的小块的运动矢量，其中P’和q均为正整数，然后转入步骤(4.4.3.6)； (4.4.3.6)设置η’ =η，+1，并重复上述步骤(4.4.3.1)至(4.4.3.5)，直到获取第i帧中第三层所有块的运动矢量为止。
全文摘要
本发明公开了一种视频帧率提升方法，包括读入视频，设置计数器i=1，并计算视频的第i帧作为当前帧、当前帧的下一帧中所有像素点的梯度值，将第i帧和第i+1帧中所有像素点的梯度值作为像素值，重新构建第i帧和第i+1帧的像素点集合以形成重新构建的第i帧和第i+1帧，对重新构建的第i帧和第i+1帧进行基于预测的双向分层运动估计，以得到前向运动矢量场和后向运动矢量场，根据前向运动矢量场和后向运动矢量场，并采用双线性插值法计算出第i帧和第i+1帧中每个像素的运动矢量，并对第i帧中像素做遮挡判断。相对于现有的视频帧率提升方法，本发明减小了视频本身质量对运动估计准确性的影响，解决了分块过大带来的问题，并使得双线性插值的结果更精确。
文档编号H04N7/36GK103152566SQ20131005700
公开日2013年6月12日 申请日期2013年2月22日 优先权日2013年2月22日
发明者谢玖实, 谭毅华, 李彦胜, 田金文 申请人:华中科技大学