专利名称：一种基于多帧运动估计和融合的超分辨率重构方法
技术领域：
本发明涉及通信领域的视频图像处理，尤其涉及视频图像的超分辨率重构方法。
背景技术：
随着网络经济的快速发展和网络视频行业的不断成熟，网络视频市场消费需求将持续快速增长。互联网上出现了很多视频网站，这些视频网站运营成本支出主要包括三大块带宽、服务器和推广，其中高昂的带宽成本让许多中小视频网站不堪重负。最便宜的也在IG带宽400万/年，而要使视频流畅播放，实现观赏级的用户体验，一个视频网站至少需要2G以上的带宽，同时还需要在各地购买足够的服务器。在现有网络带宽条件下，支持不了高清视频源，用户端视频质量清晰度不高，严重影响了好的商业模式的推广和像IPTV产业的进行。目前的正版高清视频数据源的分辨率为1920*1080像素，帧率为60帧/秒。由于网络带宽的限制，在网络上传输到达用户端的视频数据的空间分辨率只能达到640*480，帧率为12 M帧/秒，还不能满足用户通过网络传输对高清视频数据的观赏级用户体验。
发明内容
本发明要解决的技术问题在于利用超分辨率重构技术将从网络接收的多帧低分辨率视频图像融合成一帧高分辨率的视频图像，例如将5帧640*480的低分辨率图像，融合后得到一幅1920*1080高分辨率的图像，以满足用户在现有的带宽条件下，通过网络传输对高清视频数据的观赏级用户体验。为了解决上述问题，本发明提供了一种基于多帧运动估计和融合的超分辨率重构方法，包括如下步骤(1)利用相位相关法对所有相邻的两帧图像中每一对相邻的两帧图像估算所述每一对相邻的两帧图像的亚像素运动向量，包括(10)求所述相邻的两帧图像的相位相关平面；(12)在所述相位相关平面上找局部最大值点，并且根据峰值大小排序，提取峰值较大的一个或多个峰值点，其中所述一个或多个峰值点的位置为运动向量；(14)由于实际的峰值点一般都不在整数位置上，因此，对于所述一个或多个峰值点中的每一个，在分离的两维相位相关平面上进行亚像素运动向量估计利用峰值点和与其相邻的像素点建立抛物线模型，根据抛物线模型来求得与所述一个或多个峰值点相对应的一个或多个实际的峰值点，所述实际的峰值点的位置能够介于两个整数位置之间，从而得到相邻的两帧图像的亚像素运动向量；(2)基于所估算的每一对相邻的两帧图像的亚像素运动向量，将当前帧图像和与其相邻的多个参考帧图像融合成为与当前帧图像对应的指定分辨率的高清晰图像，具体包括(20)将当前帧图像放大到所述指定分辨率的高分辨率图像，作为迭代的初始值；
(22)对参考帧图像中的每一帧以图像块为单位执行下述步骤(2210)把参考帧的图像块对应的亚像素运动向量分解成整数部分和小数部分，将所述参考帧的图像块移动所述整数部分的运动向量，得到移动的参考帧的图像块，将与参考帧的图像块对应的所述高分辨率图像的图像块移动所述小数部分的运动向量，得到移动的高分辨率图像的图像块；(2220)对所述移动的高分辨率图像的图像块进行高斯滤波并下采样，以得到与所述参考帧图像的分辨率相同的下采样图像块；(2230)将所述下采样图像块与所述移动的参考帧的图像块相减得到减图像块；(2240)将所述减图像块进行上采样和高斯低通滤波以得到所述指定分辨率的上采样图像块；(2250)将所述上采样图像块反向移动所述小数部分的运动矢量，以得到反向移动的上采样图像块；(2260)将所述反向移动的上采样图像块乘以迭代步长β并输出，其中所述迭代步长β的值在0到1之间的范围；(24)将所有参考帧图像的所述步骤0沈0)的输出结果累加到所述高分辨率图像，以更新所述高分辨率图像；(26)返回所述步骤0 重复迭代以得到所述指定分辨率的高清晰图像，迭代次数根据经验值确定。本发明所述的方法，在所述步骤(14)之后，还包括步骤(16)根据所述一个或多个实际的峰值点的峰值，来计算所述一个或多个实际的峰值点的相对峰值，所述相对峰值用每一实际的峰值点的峰值除以所有的实际峰值点的峰值之和来表示；在所述步骤Q230)之后，还包括步骤(223 求所述减图像块的绝对值之和，并根据所述绝对值之和从增益模型求出增益，将所述增益乘以所述参考帧的图像块的运动向量对应的相对峰值，以得到可靠性参数，其中所述增益模型是所述绝对值之和的函数，且当所述绝对值之和大于或等于预定阈值时增益为1，当所述绝对值之和小于预定阈值时增益线性下降；在所述步骤Q250)之后，还包括步骤025 将所述反向移动的上采样图像块乘以所述可靠性参数以修正所述反向移动的上采样图像块。本发明所述的方法，其中所述步骤(10)还包括步骤(1010)使用窗函数对所述相邻的两帧图像分别进行加窗处理；(1020)对加窗处理的两帧图像进行快速傅立叶变换；(1030)将傅立叶变换结果的实部加虚部的复数形式转换成幅值和相位的复数形式；(1040)将两帧图像的傅立叶变换结果的相位对应相减，得到相位差；(1050)将所述相位差转换为幅值为1的幅值和相位的复数形式；(1060)对所述步骤(1050)的转换结果进行快速的反傅立叶变换得到相位相关平面。本发明所述的方法，其中所述步骤(1010)中，所述窗函数是汉宁窗。本发明所述的方法，其中所述步骤(1010)之前还包括对所述相邻的两帧图像分别进行预处理，所述预处理包括去噪或下采样。本发明所述的方法，其中所述步骤(1030)和所述步骤(1020)中转换成复值和相位的复数形式是利用坐标旋转数字计算机CORDIC算法来实现的。本发明通过从多帧图像中的每一相邻两帧求取相位相关平面，并在分离的两维相位相关平面上基于抛物线模型来实现多帧亚像素运动估计，准确、可靠地获取帧内和帧间对应同一物体的运动信息；进而通过将该亚像素运动估计的小数部分的运动向量和整数部分的运动向量分别应用于低分辨率图像和高分辨率图像，将当前帧图像和相邻的多个参考帧图像融合，以重构与当前帧图像对应的高清晰图像提供给用户，从而实现了用户通过网络传输对高清视频数据的观赏级用户体验。
图1是本发明的相关平面计算窗口大小的选择示意图；图2是本发明的相位相关平面在图像内部划分的示意图；图3是本发明的相位相关运动估计的框图；图4是相位相关平面的峰值分布示意图；图5是在抛物线模型下求取实际峰值对应的亚像素位置的示意图；图6是真实图像退化成低分辨率图像的过程的示意图；图7是本发明中视频帧中的物体块对应于多帧图像的示意图；图8是本发明的视频帧Flri的融合过程的示意图；图9是本发明的基于图像块之差的绝对值之和的增益模型；图10是本发明的多帧迭代融合过程的示意图；图11是本发明的系统总框图。
具体实施例方式下面结合附图对本发明所述技术方案的实施方式作进一步的详细描述本发明所提出的技术方案的实施基于两个假设①在帧内，存在一些相似的结构或细节。②在帧间，由于采样相位不同，图像存在着同一物体的不同信息。同时基于两个过程①用超亚像素运动估计得到帧内和帧间对应同一物体的信息。②自适应融合所有的这些信息。相位相关平面运动估计原理相位相关平面(PPC)能反映视频间无限精度运动位移。其基本原理是假定在两幅图像有一个平移的运动Fn (n 1, n2) = F^fcl+dl, n2+d2)(1)二维傅立叶变换后Sn(f1 f2) = Sn-Jf1, f2)exp[j2 π (dlfl+d2f2)] (2)两帧互相关的傅里叶变换为Cnjn^1 (fl, f2) = Slri (Π，f2)Sn(fl, f2)(3)为了消除亮度变化的影响，归一化谱为
权利要求
1.一种基于多帧图像的运动估计和融合的超分辨率重构方法，包括如下步骤(1)利用相位相关法对所有相邻的两帧图像中每一对相邻的两帧图像估算所述每一对相邻的两帧图像的亚像素运动向量，包括(10)求所述相邻的两帧图像的相位相关平面；(12)在所述相位相关平面上找局部最大值点，并且根据峰值大小排序，提取峰值较大的一个或多个峰值点，其中所述一个或多个峰值点的位置为运动向量；(14)由于实际的峰值点一般都不在整数位置上，因此，对于所述一个或多个峰值点中的每一个，在分离的两维相位相关平面上进行亚像素运动向量估计利用峰值点和与其相邻的像素点建立抛物线模型，根据抛物线模型来求得与所述一个或多个峰值点相对应的一个或多个实际的峰值点，所述实际的峰值点的位置能够介于两个整数位置之间，从而得到相邻的两帧图像的亚像素运动向量；(2)基于所估算的每一对相邻的两帧图像的亚像素运动向量，将当前帧图像和与其相邻的多个参考帧图像融合成为与当前帧图像对应的指定分辨率的高清晰图像，具体包括(20)将当前帧图像放大到所述指定分辨率的高分辨率图像，作为迭代的初始值； (22)对参考帧图像中的每一帧以图像块为单位执行下述步骤 (2210)把参考帧的图像块对应的亚像素运动向量分解成整数部分和小数部分，将所述参考帧的图像块移动所述整数部分的运动向量，得到移动的参考帧的图像块，将与参考帧的图像块对应的所述高分辨率图像的图像块移动所述小数部分的运动向量，得到移动的高分辨率图像的图像块；(2220)对所述移动的高分辨率图像的图像块进行高斯滤波并下采样，以得到与所述参考帧图像的分辨率相同的下采样图像块；(2230)将所述下采样图像块与所述移动的参考帧的图像块相减得到减图像块； (2240)将所述减图像块进行上采样和高斯低通滤波以得到所述指定分辨率的上采样图像块；(2250)将所述上采样图像块反向移动所述小数部分的运动矢量，以得到反向移动的上采样图像块；(2260)将所述反向移动的上采样图像块乘以迭代步长β并输出，其中所述迭代步长 β的值在0到1之间的范围；(24)将所有参考帧图像的所述步骤0沈0)的输出结果累加到所述高分辨率图像，以更新所述高分辨率图像；(26)返回所述步骤0 重复迭代以得到所述指定分辨率的高清晰图像，迭代次数根据经验值确定。
2.如权利要求1所述的方法，在所述步骤(14)之后，还包括步骤(16)根据所述一个或多个实际的峰值点的峰值，来计算所述一个或多个实际的峰值点的相对峰值，所述相对峰值用每一实际的峰值点的峰值除以所有的实际峰值点的峰值之和来表示；在所述步骤O230)之后，还包括步骤(223 求所述减图像块的绝对值之和，并根据所述绝对值之和从增益模型求出增益，将所述增益乘以所述参考帧的图像块的运动向量对应的相对峰值，以得到可靠性参数，其中所述增益模型是所述绝对值之和的函数，且当所述绝对值之和大于或等于预定阈值时增益为1，当所述绝对值之和小于预定阈值时增益线性下降；在所述步骤O250)之后，还包括步骤(225 将所述反向移动的上采样图像块乘以所述可靠性参数以修正所述反向移动的上采样图像块。
3.如权利要求1或2所述的方法，其中所述步骤(10)还包括步骤 (1010)使用窗函数对所述相邻的两帧图像分别进行加窗处理； (1020)对加窗处理的两帧图像进行快速傅立叶变换；(1030)将傅立叶变换结果的实部加虚部的复数形式转换成幅值和相位的形式；(1040)将两帧图像的傅立叶变换结果的相位对应相减，得到相位差；(1050)将所述相位差转换为幅值为1的幅值和相位的复数形式；(1060)对所述步骤(1050)的转换结果进行快速的反傅立叶变换得到相位相关平面。
4.如权利要求3所述的方法，其中所述步骤(1010)中，所述窗函数是汉宁窗。
5.如权利要求4所述的方法，其中所述步骤(1010)之前还包括对所述相邻的两帧图像分别进行预处理，所述预处理包括去噪或下采样。
6.如权利要求4所述的方法，其中所述步骤(1030)和所述步骤(1020)中转换成复值和相位的复数形式是利用坐标旋转数字计算机CORDIC算法来实现的。
7.如权利要求5所述的方法，其中所述步骤(1030)和所述步骤(1020)中转换成复值和相位的复数形式是利用坐标旋转数字计算机CORDIC算法来实现的。
全文摘要
一种基于多帧运动估计和融合的超分辨率重构方法，从多帧图像中的每一相邻两帧求取相位相关平面，并在分离的两维相位相关平面上基于抛物线模型来实现多帧亚像素运动估计；进而通过将该亚像素运动估计的小数部分的运动向量和整数部分的运动向量分别应用于低分辨率图像和高分辨率图像，将当前帧图像和相邻的多个参考帧图像融合，以重构与当前帧图像对应的高清晰图像提供给用户，实现了用户通过网络传输对高清视频数据的观赏级用户体验。
文档编号H04N5/14GK102236889SQ20101017731
公开日2011年11月9日 申请日期2010年5月18日 优先权日2010年5月18日
发明者王洪剑 申请人:王洪剑