基于图像块自适应配准的视频超分辨重建方法
【专利摘要】本发明公开了一种基于图像块自适应配准的视频超分辨重建方法，首先输入低分辨率视频，获得多帧低分辨率图像；其次利用帧差法提取多帧图像的运动边缘信息，使用自适应图像块的配准准则来划分图像块的大小；然后根据图像降质模型，估计出降质点扩散函数，和多帧图像的运动补偿矩阵。最后根据图像降质过程获得高分辨率图像的重建优化目标函数，求解出高分辨率图像。本发明能够解决视频中的局部运动的超分辨率问题，具有较好的实用性。
【专利说明】基于图像块自适应配准的视频超分辨重建方法
【技术领域】
[0001] 本发明涉及图像处理，涉及到基于图像块自适应配准的视频超分辨重建方法。具 体应用在机器人视觉增强与监控视频增强领域。
【背景技术】
[0002] 监控摄像机广泛的应用在道路、社区、学校等公众场合。然而，目前大部分监控视 频的图像分辨率低以及摄像机离感兴趣的景物距离很远，使得视频图像分辨率低，无法得 到满意的图像细节信息。机器人自带摄像头是其视觉信息的来源，但是目标距离远，分辨率 常常较低，无法准确识别目标。因此，如何提高低分辨率视频图像的质量，有效增强视频中 低质量的图像分辨率，是当前亟待解决的问题。本发明提出了一种图像块自适应配准的视 频超分辨率重建算法，使用输入的低分辨率视频多帧图像生成高分辨率图像的一种算法。
[0003] 自从 1964 年起，Harris 等人在文献 1 (Harris J L. Diffraction and resolving power. Journal of the Opt. Soc.of America, 1964,54 (7) :931-936.)提出了 超分辨 率数学理论基础，并重建出高分辨率图像，奠定了超分辨率技术的理论基础。1984 年，Huang 和 Tasi 在文献 2 (Tsai R. Y. , Huang, T. S. Multiframe Image Restoration and Registration[C]. In: In Huang,T.S.Advances in Computer Vision and Image Processing, JAI Press, 1984:317-339.)中利用离散和连续傅立叶变换之间的平移以及混 叠等性质建立了由多幅低分辨率图像得到一副高分辨率图像的方程组，明确的提出了图像 超分辨率的概念。这时的超分辨率是在频率域求解的，这个解就是原始高分辨率图像的频 域信号，它经过傅立叶逆变换就可以得到一副高分辨率图像。频域超分辨方法得到了广泛 的发展，如将小波变换的思想引入图像超分辨率的研究。上述的频域超分辨方法都是基于 低分辨率图像之间仅仅只有全局平移运动的基础上，存在很大的局限性。
[0004] 为了适应一般的运动以及退化类别，基于空间域的图像超分辨率方法得到了 大力的发展。空间域方法对图像间的复杂运动模型与对应的插值算法和滤波重采样以 及解的优化收敛迭代放在一起进行处理，在插值算法方面，提出了一种专用于立体相机 获取超分辨率图像的插值模型。在滤波重采样和解的优化收敛迭代方面，发展起了目 前应用比较广泛的在文献 3 (PattiA J, Sezan Μ I，Tekalp A. M. Super-resolution Video Reconstruction With Arbitrary Sampling Lattices and Nonzero Aperture Time[J]. IEEE Trans IP, 1997, 6 (8) : 1064-1076.)中凸集投影算法以及文献 4 (R. Sehultz， R. Stevenson. ExtractionOfHighResolutionFrames FromVideo. Sequences[J].IEEET. ransactionsonlmageProcessi ng. 1996, 5(6) :996-1011.)中最大后验概率算法（MAP)。以 上大部分都是面向图像超分辩率技术，但因为目前常用的监控视频序列图像之间存在大量 的局部运动情况，在实际应用中甚至出现了无法配准的情况。
【发明内容】
[0005] 本发明目的是提供一种基于图像块自适应配准的视频超分辨率重建方法，解决现 有同类算法表示输入低分辨率视频图像块配准不准确的问题，提高最终合成高分辨率视频 图像的质量。
[0006] 本发明提供了一种基于图像块自适应配准的视频超分辨重建方法，包括如下步 骤：
[0007] 步骤1 :输入低分辨率视频图像，获得多帧低分辩率图像，将这些图像划分为当前 帧和多个参考帧，并用帧差法得到运动边缘提取信息图；
[0008] 步骤2 :用自适应图像块的配准准则对运动边缘提取信息图进行图像块的大小划 分，以确定原始图像块大小划分模型，根据该大小划分模型对所述运动边缘提取信息图进 行划分和配准得到块划分示意图；
[0009] 步骤3 :对块划分示意图进行降质模型分析，从而得出降质函数，并推导出成像模 糊降质值、加性干扰降质值以及图像欠采样值；
[0010] 步骤4:建立高分辨率图像与现有的低分辨率图像之间的数学表达关系，并根据 步骤3推导出的值以及配准过程中的配准参数得出高分辨率率图像的最佳估计值，最后根 据该最佳估算值生成高分辨率视频图像。
[0011] 本发明所述的基于图像块自适应配准的视频超分辨重建方法中，在步骤2和步骤 3之间还包括配准误差修正步骤：采用自适应阈值运动矢量修正法来修正图像块在配准中 存在配准误差。
[0012] 本发明所述的基于图像块自适应配准的视频超分辨重建方法中，步骤1中的帧差 法具体为将视频中相邻两帧对应像素点的像素值逐点相减，得到一个残差图像；对该残差 图像再进行阈值滤波，去除由于光照因素引起的像素值变动而带来的残差。
[0013] 本发明所述的基于图像块自适应配准的视频超分辨重建方法中，步骤2中，自适 应图像块的配准准则是根据图像块在配准当中的抗噪能力准确度和准精度选择不同大小 的划分块。
[0014] 本发明所述的基于图像块自适应配准的视频超分辨重建方法中，自适应阈值运动 矢量修正法具体为由已知的配准参数和参考图像求出补偿图像，计算待配准图像与补偿图 像中对应像素点之间的绝对差值，根据该绝对差值判断是否存在配准误差，对出现配准错 误的点，直接放弃当前的配准参数，补偿图像由原图像构成。
[0015] 本发明所述的基于图像块自适应配准的视频超分辨重建方法中，视频中单帧高分 辨率图像的重建代价函数如下：
[0016]
【权利要求】
1. 一种基于图像块自适应配准的视频超分辨重建方法，其特征在于，包括如下步骤： 步骤1 :输入低分辨率视频图像，获得多帧低分辩率图像，将这些图像划分为当前帧和 多个参考帧，并用帧差法得到运动边缘提取信息图； 步骤2 :用自适应图像块的配准准则对运动边缘提取信息图进行图像块的大小划分， 以确定原始图像块大小划分模型，根据该大小划分模型对所述运动边缘提取信息图进行划 分和配准得到块划分示意图； 步骤3 :对块划分示意图进行降质模型分析，从而得出降质函数，并推导出成像模糊降 质值、加性干扰降质值以及图像欠采样值； 步骤4 :建立高分辨率图像与现有的低分辨率图像之间的数学表达关系，并根据步骤3 推导出的值以及配准过程中的配准参数得出高分辨率率图像的最佳估计值，最后根据该最 佳估算值生成高分辨率视频图像。
2. 根据权利要求1所述的基于图像块自适应配准的视频超分辨重建方法，其特征在 于，在步骤2和步骤3之间还包括配准误差修正步骤：采用自适应阈值运动矢量修正法来修 正图像块在配准中存在配准误差。
3. 根据权利要求1所述的基于图像块自适应配准的视频超分辨重建方法，其特征在 于，步骤1中的帧差法具体为将视频中相邻两帧对应像素点的像素值逐点相减，得到一个 残差图像；对该残差图像再进行阈值滤波，去除由于光照因素引起的像素值变动而带来的 残差。
4. 根据权利要求1所述的基于图像块自适应配准的视频超分辨重建方法，其特征在 于，步骤2中，自适应图像块的配准准则是根据图像块在配准当中的抗噪能力准确度和准 精度选择不同大小的划分块。
5. 根据权利要求2所述图像块自适应配准的视频超分辨重建方法，其特征在于，自适 应阈值运动矢量修正法具体为由已知的配准参数和参考图像求出补偿图像，计算待配准图 像与补偿图像中对应像素点之间的绝对差值，根据该绝对差值判断是否存在配准误差，对 出现配准错误的点，直接放弃当前的配准参数，补偿图像由原图像构成。
6. 根据权利要求1所述的基于图像块自适应配准的视频超分辨重建方法，其特征在 于，视频中单帧高分辨率图像的重建代价函数如下：
其中，X是所求的高分辨率帧图像，C是包括配准参数在内的配准系数，λ是平衡因子， 调整重建误差与重建高分辨率图像平滑之间的关系，τ (X)是高分辨率图像的平滑先验。
【文档编号】G06T5/00GK104063849SQ201410280297
【公开日】2014年9月24日 申请日期:2014年6月20日 优先权日:2014年6月20日
【发明者】卢涛, 张彦铎, 李晓林, 卢腾, 万永静, 余军, 魏运运, 周敏 申请人:武汉工程大学