专利名称：基于频域配准和凸集投影的多帧图像超分辨率重建方法
技术领域：
本发明涉及到一种基于频域配准和凸集投影的多帧图像超分辨率重建方法，此方 法主要是利用多帧低分辨率图像来重建高分辨率图像，旨在提高图像的分辨率，增强图像 的视觉效果，并且要求运算量较低，能够应用于快速的图像处理设备。本方法能够应用于医 学图像处理，遥感图像重建，SDTV转换为HDTV等领域。
背景技术：
超分辨率，简而言之就是提高图像或者视频的分辨率，给观看者提供更好的视觉 效果。超分辨率复原技术就是由一系列低分辨率图像来估计一幅(或一系列)较高分辨率 的图像，同时能够消除加性噪声以及由有限检测器尺寸和光学元件产生的模糊，它是图像 融合研究领域中的一个重要分支。随着科技的发展，摄像头等监控设施被广泛应用于各个领域。但是，由于受限于设 备成本(诸如镜头质量、使用年限较长引起的设备老化、为节省资料存储空间而进行的高 强度图像降质压缩)、天气条件、与事件目标间的拍摄距离，在所存储的视频资料中，人们感 兴趣的对于分析事件有重要意义的细节部分(我们称之为“目标”，例如交通事故中肇事车 的车牌，刑事案件中疑犯的人脸)往往由于分辨率过低而难以辨认。在不改变硬件增加成 本的情况下，采用超分辨率的方法改善图像或者视频质量，基于已得到的多幅或者单幅图 像中，利用各种方法提取更多的信息。如
图1所示，为一视频序列中的一帧，该图像由于噪 声，模糊，分辨率低等因素影响，所获取的图像模糊不清。图2为用超分辨率技术将宽度和 高度各放大两倍后的图像。从图中可以看出放大后的图像比原来图像的细节更加清晰。由于上述诸多条件的限制，在监控视频资料的每一帧图像中，人们关注的目标区 域已丢失了大部分的细节信息而成为低分辨率图像，因此从视频资料中提取并分析单帧图 像往往难以在事件分析中发挥作用。但是，计算机视觉领域的研究发现，在同一段视频资料 中，各幅低分辨率图像所丢失的细节信息是不尽相同的。而超分辨率技术正是通过提取在 这些低分辨率图像中所残留的细节信息，并将这些信息融合之后重新注入用户所指定的某 一幅高分辨率图像，从而在放大图像的同时，恢复目标区域的重要细节。其效果相当于在事 件发生时，现场有一架高质量的照相机拍摄下了一幅高分辨率图像。除了从低分辨率视频资料中恢复高分辨率图像之外，对于普通质量的视频，超分 辨率技术能有效抑制影像中的噪声以及视频压缩引起的伪彩、色块效应等，以达到提高视 频质量的效果，在网络视频点播、遥感、医学成像和高清晰度电视等多个领域也有重要应 用。
发明内容
本发明的目的在于针对已有技术催在的缺陷，提供一种基于频域配准和凸集投影 的多帧图像超分辨率重建方法实现图像放大，提高图像的分辨率，改善图像的质量，实现多 帧图像的超分辨率重建。针对视频序列各帧的相对位移较小的情况，提出一种快速的超分辨算法，并且图像重建质量良好。为了达到上述目的，本发明的构思是1.图像配准首先选取多帧低分辨率图像中的一帧作为参考图像，假设参考图像为AO^f2(X) 为需要估计位移的图像，f2(x) ^f1(X)旋转和偏移的结果。假设f2(x)相对f“x)的旋转 角为Φ，水平和垂直偏移量为分别为Δ X2，贝IJf2(X)和100的关系可表示为
-sin 彡
〕。则400的傅里叶变换 COS卢
(2)
权利要求
一种基于频域配准和凸集投影的多帧图像超分辨率重建方法，其特征在于其具体实现步骤是A、读入多帧图像，并选取一张作为配准的参考帧B、图像配准将图像转换到频域，对较小偏移量情况下，仅估计水平和垂直位移分量，忽略旋转角；C、图像重建根据所求的位移参数，将低分辨率图像配准到高分辨率的网格上，使用凸集投影算法进行超分辨率重建；D.输出图像。
2.根据权利要求书1所述的基于频域配准和凸集投影的多帧超分辨率重建方法，其特 征在于所述方法的步骤B中得图像进行配准是在频域对图像进行配准，其步骤为(1)对输入图像f\(X)，f2(x)...fn(x)进行傅里叶变换，并选取f“x)作为参考图像其 他为要估计相当位移的图像。傅里叶变换结果为F1(U)F2(U)... Fn(U)，以u为频域坐标。(2)根据εUmax < |r < Us-Umax选取图像的频谱范围，这个范围通常在图像中心的三 分之一的位置，其中其中ε e W，0.5]，Umax为假设的没有混叠效应的足以告频率，r为定 义频域图像中一点到图像中心的距离，Us为采样频率；F2 (u) =(u)(3)根据公式‘.二,,、、 计算图像之间的相对位移，采用最小 u Ax = angle( F2 [u) / Fx yujj/2π二乘法，其中，X= [X1 Χ2]Τ, Δχ = [Δ X1 Δχ2]τ，八\和Δ X2分别为水平和垂直的偏移量。
3.根据权利要求书1所述的基于频域配准和凸集投影的多帧图像的超分辨率重建方 法，其特征在于所述图像重建采用凸集投影算法进行图像超分辨率重建的步骤是a.对参考帧放大到目标尺寸，得到目标图像的初始估计y(°)这一过程采样双线性差值法；b.用高斯核对η次循环放大的结果图像7(11)进行模糊，来近似低通过程，将卷积核归一 化，保证能量在输入图像的幅值范围内，选取的高斯点扩散函数为矩阵W. 25 0 1 00. 25 ； 0 1 2 1 0 ；1 2 4 2 1 ；0 1 2 1 0 ；0. 25 0 1 0 0. 25]；c.将其他图像同样双线性差值放大，根据已经求得的配准信息，将这些图像依次投影 到模糊后图像的相应位置，得到η+1次循环的结果图像y(n+1)；d.重复步骤2和步骤3，直到满足循环结束条件。delta= norm(yn-yn_2)/norm(y11)小于预定值，其中膨一ηΣΣΙλΤ^。
全文摘要
本发明公开了一种基于频域配准和凸集投影的超分辨率重建，该方法首先读入多帧图像，并选取一张作为配准的参考帧，然后对图像进行配准，得到各帧图像的相对位移。配准算法采用一种基于频域的快速配准算法。然后根据各帧的相对位移，采用凸集投影算法对多帧图像进行超分辨率重建。最后输出图像，由于视频序列采样速度快，相邻帧的位移较小，因此本方法简化了配准过程，只利用图像的中频域信息估计运动平移，而不用估计旋转角，使得配准算法运算量大大减少。同时本方法简化了凸集投影重建过程，只使用图像的亮度幅值约束和高斯点扩散函数这一先验约束，使得超分辨率算法的整体运算量大大减少，同时可保证重建质量。
文档编号G06T5/50GK101980289SQ20101051835
公开日2011年2月23日 申请日期2010年10月25日 优先权日2010年10月25日
发明者丁保焱, 万发平, 刘志, 张兆杨 申请人:上海大学