专利名称：基于多低分辨率图像的重构高分辨率图像方法及其装置的制作方法
技术领域：
本发明有关于图像处理，并且特别有关于利用多帧低分辨率图像完成对高分辨率图像的重构(reconstruction)。
背景技术：
在数字图像处理与显示的领域，经常需要基于低分辨率图像资源显示具有高分辨率的图像。例如，在网络协议电视(Internet Protocol Television, IPTV)应用中，可以发送低于电视机固有分辨率的视频流资源。为了在电视机上显示上述低分辨率视频流内容，视频源必须转换为电视机支持的固有分辨率。数码相机、卫星遥感影像以及医学影像皆存在相似的重构高分辨率图像的需求。文献中已经记载了各种各样的高分辨率图像重构技术。其中一种类型是基于单个低分辨率巾贞。双线性插值(bilinear interpolation)是一种对于高分辨率图像重构的传统流行方法。双线性插值是在水平与垂直两个方向皆执行线性插值。双线性插值的相关计算相对简单并且插值后图像的视觉效果也经常是可以接受的。然而，由于在垂直于物体边缘的方向进行插值，双线性插值过程经常会引起物体边缘周围的平滑度问题以及其他人为缺陷。相应地，基于单个帧的各种改善插值技术也已经出现在文献中以改善物体边缘周围的锐度。例如，Li等人揭露的边缘导向插值(“New Edge-Directed Interpolation”, IEEETRANSACTIONS ON IMAGE PROCESSING, pp.1521-1527, VOL.10, OCTOBER 2001)并且该方法在上述揭露中简称为NEDI。上述NEDI方法利用基于协方差适应的边缘导向特性来代替明确估计边缘取向。NEDI方法已经显示比双线性插值方法具有改善的图像质量。对于更先进的高分辨率图像重构，可运用信号处理技术，具体地利用多帧低分辨率图像产生高分辨率图像。在本领域基于多帧的高分辨率图像重构也称为超分辨率图像重构(super-resolution image reconstruction)。在上述揭露中，超分辨率图像重构与高分辨率图像重构的名称可相互替换使用。多帧图像可包含场景中的运动物体并且运动估计必须用于匹配不同帧中的相应像素。本领域中运动信息估计称为配准(registration)。
图1是典型的基于多帧的高分辨率图像重构方法示意图。如图1所示，涉及三个处理步骤，包含图像配准110、图像插值120以及图像修复(restoration) 130。图像配准110的阶段，接收多帧低分辨率图像yi，i=l，...,P0图像配准110的输出是运动补偿低分辨率图像。图像插值120的阶段利用上述运动补偿低分辨率图像在高分辨率网格(grid)上重构高分辨率图像。本领域存在多种插值技术。可利用图像修复130的阶段减少在插值阶段引入的噪声及/或人为缺陷。Park等人描述了超分辨率重构的概况(Super-Resolution Image Reconstruction:A Technical Overview, IEEE SIGNALPROCESSING MAGAZINE, pp.21-36，May 2003)。最近，Takeda等人已经介绍了用于高分辨率图像重构的核回归(kernel regression)方法(“Kernel Regression for Image Processing andReconstruction”，IEEE TRANSACTIONS ON IMAGE PROCESSING, pp.349-366, VOL.16，N0.2，FEBRUARY 2007)。对于二维核回归，可利用二维回归模型描述位于位置Xi的观测数据yi如下:
权利要求
1.于多低分辨率图像的重构高分辨率图像方法，包含: 接收多帧低分辨率图像； 对该多帧低分辨率图像应用图像配准过程，其中取得运动信息与图像配准残差； 确定核函数，其中该核函数关联于图像配准可靠度、旋转信息或该图像配准可靠度与该旋转信息的结合，其中从该图像配准残差中取得该图像配准可靠度，并且从该运动信息中取得该旋转信息；以及 利用该核函数的核回归方法重构该高分辨率图像上的像素数值。
2.权利要求1所述的基于多低分辨率图像的重构高分辨率图像方法，其特征在于，其中权重因子加权该图像配准残差，并且较小的权重因子用于具有较大差值的该图像配准残差。
3.权利要求1所述的基于多低分辨率图像的重构高分辨率图像方法，其特征在于，基于图像像素位置处的多于一个该图像配准残差来确定图像像素的该图像配准可靠度，其中该图像像素位置处的该多于一个该图像配准残差关联于该图像像素周围的一个或多个相邻像素。
4.权利要求1所述的基于多低分辨率图像的重构高分辨率图像方法，其特征在于，从图像像素位置处的该图像配准残差取得多尺寸图像配准残差，并且基于多于一个该多尺寸图像配准残差确定图像像素的该图像配准可靠度，其中该多于一个该多尺寸图像配准残差关联于该图像像素周围的一个或多个相邻像素。
5.权利要求1所述的基于多低分辨率图像的重构高分辨率图像方法，其特征在于，依据当前低分辨率图像的平均图像配准残差绝对值来衡量该图像整体配准可靠度。
6.权利要求1所述的基于多低分辨率图像的重构高分辨率图像方法，其特征在于，其中该旋转信息由旋转矩阵表现，以及该旋转矩阵从仿射转换模型中取得，该仿射转换模型根据该运动信息将位于当前低分辨率图像中的第一像素映射至参考低分辨率图像中的第二像素。
7.权利要求6所述的基于多低分辨率图像的重构高分辨率图像方法，其特征在于，利用格拉姆-施密特正交化从该仿射转换模型的仿射转换矩阵确定该旋转矩阵。
8.权利要求7所述的基于多低分辨率图像的重构高分辨率图像方法，其特征在于，该核函数KH(X1-X)可由下列等式表示:Jdet(C ) [ (x.-x)TC.R.(χ.-χ)
9.于多低分辨率图像的重构高分辨率图像装置，包含: 接收模块，用于接收多帧低分辨率图像； 图像配准模块，用于对该多帧低分辨率图像应用图像配准过程，其中取得运动信息与图像配准残差； 确定模块，用于确定核函数，其中该核函数关联于图像配准可靠度、旋转信息或该图像配准可靠度与该旋转信息的结合，其中从该图像配准残差中取得该图像配准可靠度，并且该运动信息中取得该旋转信息；以及 重构模块，用于利用该核函数的核回归方法重构该高分辨率图像上的像素数值。
10.权利要求9所述的基于多低分辨率图像的重构高分辨率图像装置，其特征在于，其中权重因子用于加权该图像配准残差，并且较小的权重因子用于具有较大差值的该图像配准残差。
11.权利要求9所述的基于多低分辨率图像的重构高分辨率图像装置，其特征在于，图像像素的该图像配准可靠度由基于该图像像素位置处的多于一个该图像配准残差来确定，其中该图像像素位置处的该多于一个该图像配准残差关联于该图像像素周围的一个或多个相邻像素。
12.权利要求9所述的基于多低分辨率图像的重构高分辨率图像装置，其特征在于，多尺寸图像配准残差从该图像像素位置处的该图像配准残差中取得，并且图像像素的该图像配准可靠度由基于多于一个该多尺寸图像配准残差来确定，其中该多于一个该多尺寸图像配准残差关联于该图像像素周围的一个或多个相邻像素。
13.权利要求9所述的基于多低分辨率图像的重构高分辨率图像装置，其特征在于，该图像整体配准可靠度依据当前低分辨率图像的平均图像配准残差绝对值来衡量。
14.权利要求9所述的基于多低分辨率图像的重构高分辨率图像装置，其特征在于，该旋转信息由旋转矩阵表现，以及该旋转矩阵从仿射转换模型中取得，该仿射转换模型根据该运动信息将位于当前低分辨率图像中的第一像素映射至参考低分辨率图像中的第二像素。
15.权利要求14所述的基于多低分辨率图像的重构高分辨率图像装置，其特征在于，该旋转矩阵是利用格拉姆-施密特正交化从该仿射转换模型的仿射转换矩阵确定的。
16.权利要求15所述的基于多低分辨率图像的重构高分辨率图像装置，其特征在于，该核函数Kh(X1-X)可由下列等式表示:
全文摘要
一种基于多低分辨率图像的重构高分辨率图像方法及其装置，其中方法包含接收多帧低分辨率图像；对多帧低分辨率图像应用图像配准过程，其中取得运动信息与图像配准残差；确定核函数，其中核函数关联于图像配准可靠度、旋转信息或图像配准可靠度与旋转信息的结合，其中从图像配准残差中取得图像配准可靠度，并且运动信息中取得旋转信息；以及利用核函数的核回归方法重构高分辨率图像上像素的数值。本发明的基于多低分辨率图像的重构高分辨率图像方法及其装置可处理多帧中复杂旋转运动图像的重构并且提高高分辨率图像重构的效果。
文档编号G06T5/50GK103093442SQ201210277030
公开日2013年5月8日 申请日期2012年8月6日 优先权日2011年9月14日
发明者张新峰, 马思伟, 郭峋, 雷少民 申请人:联发科技(新加坡)私人有限公司