专利名称：一种超分辨率稀疏重建方法
技术领域：
本发明属于图像处理的技术领域，具体地涉及一种超分辨率稀疏重建方法。
背景技术：
图像作为人类感知世界的重要信息形式，其内容的丰富和细节，直接决定着人类感受到内容的详细程度。当图像单位尺度 上的像素密度越高，则图像越清晰，其表达的细节能力越强，人类感知的信息越丰富，这也就是我们所说的高分辨率图像。因此在一些特定领域，如遥感图像，卫星成像领域，医学图像领域，和一些高清晰显示领域，获取高分辨率的数字图像是人们必须考虑的问题。提高图像的分辨率的方法主要有工艺上的改进传感器制造工艺以减小像元尺寸，增加单位面积内的像元数量，但是像素元的减少会像素元能够接受的电磁能量减少，易受噪声干扰，而降低图像的质量。其次是增加集成电路板的尺寸，导致电容增加。这很容易造成电容难以转移电荷，而且也会减少其应用领域。另一种广受关注的方法是采用信号处理技术利用单帧或多帧低分辨率图像重建出高分辨率图像，这就是图像处理领域的超分辨率重建技术。图像的超分辨率重建技术是指利用信号处理和计算机软件的方法消除由于成像系统聚焦不准、运动模糊以及非理想采样等因素引起的图像质量退化，形成空间分辨率更高的清晰图像。它能够融合来自相同动态场景的多个低分辨率(Low Resolution, LR)多帧图像的互补信息，或从单帧图像中推衍出截止频率以外的高频信息，重建出高分辨率的图像。超分辨率的概念和方法最早由Harris和Goodman于上世纪60年代提出，并相继提出了多种方法，如长椭球波函数法、线性外推法、叠加正弦模板法。这些方法都是基于单幅图像的，对超分辨率技术进行了有益的探索，但是在实际应用效果并不理想。上世纪代80年代，Tsai和Huang提出了多帧超分辨率重建方法，其主要思想是在不改变现有成像系统的前提下，如果存在多幅同一场景的低分辨率图像的情况，可以结合多幅图像信息重建高质量图像。在多帧超分辨率重建技术发展的同时，单帧图像重建方法也得到了长足发展。然而很多情况下，我们没有办法获得多幅符合条件的低分辨率图像，例如放大照片、放大网页中的“缩略图”等情况，我们这里主要考虑的是单帧超分辨率的重建问题。由高分辨率退化为低分辨率图像的模型(即，高分辨退化模型)如下Yk=DkBkMkX+nk, k=l, . . . p其中，Mk表示仿射变换矩阵，Bk表示模糊矩阵，Dk为下采样矩阵，nk则表示噪声矩阵。超分辨重建的目的就是如何通过Yk恢复出原始的X图像。单帧图像的超分辨率重建方法主要有以下方式1.基于插值的方法，主要是通过构造光滑曲线或者曲面的插值函数来产生高分辨率图像，即“图像插值”，目前常用的插值方法有如最近邻重复插值、双线性插值和样条插值。2.基于重构的方法，求解关于以上高分辨退化模型的逆问题，主要是通过一定先验信息的指导求解逆问题，由于逆问题的解不唯一，所以需要在一定约束，如分片线性、或者是边缘的约束性，最后找到关于误差的最小化问题，即最优化问题。类似的方法有最大后验概率(Maximize a posterior, MAP)等。但是由于模型中的约束条件没有充分利用先验信息，所以重建情况不是很好。3.基于学习的方法，Freeman et al.是最早提出了的基于实例学习的超分辨率重建，对于输入的单帧低分辨率图像，可以借助外部图像库的信息，提供额外的细节信息，来得到重建图像，很显然在外部图像库信息加入后，得到的重建图像，比过去用插值得到的高分辨率图像更清晰。而作为图像的先验信息的样例的引入，可以带来更有效的约束，提高求解的准确性。目前有代表性的学习的方法，就是训练高低分辨率之间的对应关系。不但保证边缘，而且增加纹理的细节信息。如利用马尔科夫场对图像块建模，同时使用置信传播(Belief Propagation, BP)的方法，来消除边界重复的问题。其主要思想就是将得到的低分辨率图像以大小适中的图像块作为输入单位，然后在数据库中寻找与它最相似的低分辨率图像块，而找到的最相似图像块所对应的高分辨率图像块就起到了补充高频细节的作用，也就可以用来重建高分辨率图像。关键就是训练字典的过程。
而随着稀疏表示理论的发展，Yang等人提出了超分辨率稀疏重建(Super-Resolution Sparse Representation, SRSR)方法，对于输入的低分辨图像块在训练得到的基空间中求解其稀疏表示系数，以实现超分辨在整个样本空间的优化求解。具体地，首先已知大量高分辨率图像him，通过3倍下采样得到的低分辨率图像11m，对IIm进行2倍插值上采样得到图像mlm。对him和mlm的特征图像，进行随机采样得到大量的高低分辨率图像块Xh和X1，然后对这些大量的图像块进行字典训练，最终得到高低分辨率的字典Dh和Dp在进行超分辨率重建时是已知某副低分辨率图像，并利用上述Dh和D1来实现的。具体是对已知的IImtl，利用简单插值方法如bicubic方法，进行2倍上采样，mltv得到其相应四副特征图像，对其进行采样得到对应的块，然后借助低分辨率图像的字典D1，利用稀疏表示的理论可以求出相应的稀疏系数，最后通过该稀疏系数复用于高分辨率图像的字典Dh，最终重建得到最终的高分辨率图像块。由此可见，这种方法需要借助大量外界的高分辨率图像的图像库。
发明内容
本发明的技术解决问题是克服现有技术的不足，提供一种在没有外界的高分辨率图像库的前提下得到高分辨率图像的超分辨率稀疏重建方法。本发明的技术解决方案是这种超分辨率稀疏重建方法，包括以下步骤(I)对给定的低分辨率彩色图像进行空间转化，得到其YCbCr空间图像，其中Y是非线性亮度分量，Cb是蓝色色差分量，Cr是红色色差分量，对Cb、Cr分量利用插值方法进行重建；(2)构造用于训练的数据库，即高分辨率图像块Xh和低分辨率图像块X1，并组合成数据库X ;(3)对数据库X利用稀疏编码Sparse Coding方法生成字典D，并分解为高分辨率图像的字典Dh和低分辨率图像的字典D1 ；(4)利用D1和低分辨率图像2倍上采样的图像对应的特征图像来求解稀疏系数；(5)通过稀疏系数和Dh，求解原始低分辨率图像3倍上采样的图像，即Y分量；
(6)将Y、Cb、Cr组合得到YCbCr图像，并转化为RGB图像，进行存储，就得到了最
终超分辨率重建图像。本方法在没有外界的高分辨率图像库的前提下，直接通过自身的低分辨率图像，构造近似高分辨率图像，然后建立采样块，并得到相应的训练字典，然后借助此时训练的低分辨率图像的字典D1，通过稀疏表示理论求出相应的稀疏系数，最后将该稀疏系数复用于高分辨率图像的字典Dh，重建得到高分辨率图像。还提供了另一种超分辨率稀疏重建方法，包括以下步骤(I)对给定的低分辨率彩色图像进行空间转化，得到其YCbCr空间图像，其中Y是非线性亮度分量，Cb是蓝色色差分量，Cr是红色色差分量，对Cb、Cr分量利用插值方法进行重建； (2)构造用于训练的数据库，即高分辨率图像块Xh和低分辨率图像块X1,并组合成数据库X ;(3)对数据库X利用稀疏编码Sparse Coding方法生成字典D，并分解为高分辨率图像的字典Dh和低分辨率图像的字典D1 ；(4)对Dh分解得到其相应的纹理基/ 和结构基D，对D1分解得到其相应的纹理基￡>/和结构基Aw，并得到低分辨率图像对应的纹理图像分量flmv和结构图像分量flmu;(5)利用A"和flmu的特征图像求解结构稀疏系数a u，同样利用A'和Hmv的特征图像求解纹理稀疏系数av;(6)通过步骤(5)的稀疏系数Civ和au、对应的纹理基代和结构基％，分别求解原始低分辨率图像3倍上采样的纹理图像hlmv和结构图像hlmu，然后得到Y分量；(7)将Y、Cb、Cr组合得到YCbCr图像，并转化为RGB图像，进行存储，就得到了最终超分辨率重建图像。这种方法主要是在第一种方法中增加了一个环节，就是在训练字典D1^PD1后通过建模，对IIm进行2倍上采样得到近似2倍高分辨率图像flm，建立分解和去噪模型，从而得到Dh的分解基——结构基/ 和纹理基I以及D1的分解基——结构基/Jf和纹理基D;,以及flm的结构图像flmu和纹理图像flmv。从而分别利用分解基和分解得到的分量重建得到高分辨率图像对应的纹理图像和结构图像，最终综合起来合成高分辨率的图像。
图I示出了根据本发明的一种超分辨率稀疏重建方法的流程图；图2示出了根据本发明的另一种超分辨率稀疏重建方法的流程图。
具体实施例方式如图I所示，这种超分辨率稀疏重建方法，包括以下步骤(I)对给定的低分辨率彩色图像进行空间转化，得到其YCbCr空间图像，其中Y是非线性亮度分量，Cb是蓝色色差分量，Cr是红色色差分量，对Cb、Cr分量利用插值方法进行重建；(2)构造用于训练的数据库，即高分辨率图像块Xh和低分辨率图像块X1,并组合成数据库X;
(3)对数据库X利用稀疏编码Sparse Coding方法生成字典D，并分解为高分辨率图像的字典Dh和低分辨率图像的字典D1 ；(4)利用D1和低分辨率图像2倍上采样的图像对应的特征图像来求解稀疏系数；(5)通过稀疏系数和Dh，求解原始低分辨率图像3倍上采样的图像，即Y分量；(6)将Y、Cb、 Cr组合得到YCbCr图像，并转化为RGB图像，进行存储，就得到了最终超分辨率重建图像。本方法在没有外界的高分辨率图像库的前提下，直接通过自身的低分辨率图像，构造近似高分辨率图像，然后建立采样块，并得到相应的训练字典，然后借助此时训练的低分辨率图像的字典D1，通过稀疏表示理论求出相应的稀疏系数，最后将该稀疏系数复用于高分辨率图像的字典Dh，重建得到高分辨率图像。优选地，所述步骤(I)中插值方法是双三次插值方法。优选地，所述步骤(2)为对Y分量记为11m，进行2倍上采样，得到对应的近似2倍高分辨率图像flm，它对应的采样数据作为对应Dh的来源，而Hm进行1/3下采样的结果lflm，再进行2倍上采样的结果作为D1的数据源12bflm ;对应IfIm的是逐点采样3x3的图像块，其重叠采样部分overlap=2，而对应flm则是采样9x9的图像块，相应重叠部分为3*overlap，对应12bflm则是采样6x6的图像块，相应重叠部分为2*overlap ;Xh是对当前块减去均值得到的结果，而X1是对12bflm求解其特征图。优选地，所述步骤(3)为对Xh和X1分别进行归一化，拼接成一个数据X，并进行归一化，然后利用稀疏编码Sparse Coding方法进行训练，最终将得到的D再拆分成Dh和
D1O优选地，所述步骤(4)为通过滤波器求解相应的特征图像，进行6x6的采样得到四组采样数据，而采样过程中对应于给定的低分辨率彩色图像的IIm的重叠部分overlap，flm的特征图像的图像块的重叠部分为2*0Verlap，然后利用该数据得到对应图像块的稀疏系数a。优选地，所述步骤(5)为利用a以及Dh求解得到Xh后，增加flm的均值得到最终高分辨率图像块；而对于边界，对给定的低分辨率彩色图像通过插值进行3倍上采样得到最终边界图像块；将最终高分辨率图像块和最终边界图像块合成Y分量，其中对于重叠图像块取均值。还提供了另一种超分辨率稀疏重建方法，包括以下步骤(I)对给定的低分辨率彩色图像进行空间转化，得到其YCbCr空间图像，其中Y是非线性亮度分量，Cb是蓝色色差分量，Cr是红色色差分量，对Cb、Cr分量利用插值方法进行重建；(2)构造用于训练的数据库，即高分辨率图像块Xh和低分辨率图像块X1,并组合成数据库X ;(3)对数据库X利用稀疏编码Sparse Coding方法生成字典D，并分解为高分辨率图像的字典Dh和低分辨率图像的字典D1 ；(4)对Dh分解得到其相应的纹理基珥和结构基I)';,樹D1分解得到其相应的纹理基代和结构基Aw，并得到低分辨率图像对应的纹理图像分量Hmv和结构图像分量flmu;(5)利用代和flmu的特征图像求解结构稀疏系数a u，同样利用/);和flmv的特征图像求解纹理稀疏系数Qv ;(6)通过步骤(5)的稀疏系数Civ和a'对应的纹理基/ 和结构基1 %分别求解原始低分辨率图像3倍上采样的纹理图像hlmv和结构图像hlmu，然后得到Y分量；(7)将Y、Cb、Cr组合得到YCbCr图像，并转化为RGB图像，进行存储，就得到了最终超分辨率重建图像。这种方法主要是在第一种方法中增加了一个环节，就是在训练字典D1^PD1后通过建模，对IIm进行2倍上采样得到近似2倍高分辨率图像flm，建立分解和去噪模型，从而得到Dh的分解基——结构基代:和纹理基代；以及D1的分解基——结构基化和纹理基釋5!以及flm的结构图像flmu和纹理图像flmv。从而分别利用分解基和分解得到的分量重建得到高分辨率图像对应的纹理图像和结构图像，最终综合起来合成高分辨率的图像。优选地，所述步骤(I)中插值方法是双三次插值方法。优选地，所述步骤(4)为利用Dh以及给定的低分辨率彩色图像2倍上采样的图像，进行逐点9*9的窗口采样，做成相应的图像块，为81*N个，N为图像块的个数，对每块求解相应的稀疏系数，对重叠部分进行平均，得到对应的flm的图像块以及其在Dh下的稀疏表示系数，然后对字典按照图像块的形式进行组织，并求解积极因子Activity，在给定的阈值T下，当每块字典的Activity大于T，则认为是纹理基，小于T则认为是结构基，然后得到分开的纹理基和结构基m口 A:;同时，相对应的D1也分解开得到纹理图的特征基D厂和结构图的特征基Dt;;于是得到了 Dh和D1的分解基，以及低分辨率图像2倍上采样图像的分解图像，即结构图像flmu和纹理图像flmv。为了便于分解，首先借鉴Elad分解方法，建立以下一个结合去噪的稀疏系数求解模型
权利要求
1.一种超分辨率稀疏重建方法，包括以下步骤 (1)对给定的低分辨率彩色图像进行空间转化，得到其YCbCr空间图像，其中Y是非线性亮度分量，Cb是蓝色色差分量，Cr是红色色差分量，对Cb、Cr分量利用插值方法进行重建； (2)构造用于训练的数据库，即高分辨率图像块Xh和低分辨率图像块X1，并组合成数据库X; (3)对数据库X利用稀疏编码SparseCoding方法生成字典D，并分解为高分辨率图像的字典Dh和低分辨率图像的字典D1 ； (4)利用D1和低分辨率图像2倍上采样的图像对应的特征图像来求解稀疏系数； (5)通过稀疏系数和Dh，求解原始低分辨率图像3倍上采样的图像，即Y分量； (6)将Y、Cb、Cr组合得到YCbCr图像，并转化为RGB图像，进行存储，就得到了最终超分辨率重建图像。
2.根据权利要求I所述的超分辨率稀疏重建方法，其特征在于所述步骤(I)中插值方法是双二次插值方法。
3.根据权利要求2所述的超分辨率稀疏重建方法，其特征在于所述步骤(2)为对Y分量记为11m，进行2倍上采样，得到对应的近似2倍高分辨率图像f Im，它对应的采样数据作为对应Dh的来源，而Hm进行1/3下采样的结果If Im，再进行2倍上采样的结果作为D1的数据源12bflm ;对应IfIm的是逐点采样3x3的图像块,其重叠采样部分overlap=2,而对应flm则是采样9x9的图像块，相应重叠部分为3*overlap，对应12bflm则是采样6x6的图像块，相应重叠部分为2*0verlap ;Xh是对当前块减去均值得到的结果，而X1是对12bflm求解其特征图。
4.根据权利要求3所述的超分辨率稀疏重建方法，其特征在于所述步骤(3)为对Xh和X1分别进行归一化，拼接成一个数据X，并进行归一化，然后利用稀疏编码方法进行训练，最终将得到的D再拆分成Dh和Dp
5.根据权利要求4所述的超分辨率稀疏重建方法，其特征在于所述步骤(4)为通过滤波器求解相应的特征图像，进行6x6的采样得到四组采样数据，而采样过程中对应于给定的低分辨率彩色图像的IIm的重叠部分overlap，flm的特征图像的图像块的重叠部分为2*0Verlap，然后利用该数据得到对应图像块的稀疏系数a。
6.根据权利要求5所述的超分辨率稀疏重建方法，其特征在于所述步骤(5)为利用a以及Dh求解得到Xh后，增加Hm的均值得到最终高分辨率图像块；而对于边界，对给定的低分辨率彩色图像通过插值进行3倍上采样得到最终边界图像块；将最终高分辨率图像块和最终边界图像块合成Y分量，其中对于重叠图像块取均值。
7.一种超分辨率稀疏重建方法，包括以下步骤 (1)对给定的低分辨率彩色图像进行空间转化，得到其YCbCr空间图像，其中Y是非线性亮度分量，Cb是蓝色色差分量，Cr是红色色差分量，对Cb、Cr分量利用插值方法进行重建； (2)构造用于训练的数据库，即高分辨率图像块Xh和低分辨率图像块X1，并组合成数据库X; (3)对数据库X利用稀疏编码SparseCoding方法生成字典D，并分解为高分辨率图像的字典Dh和低分辨率图像的字典D1 ； (4)对Dh分解得到其相应的纹理基1 和结构基/)；，对D1分解得到其相应的纹理基釋和结构基A" 并得到低分辨率图像对应的纹理图像分量Hmv和结构图像分量flmu ； (5)利用Df和flmu的特征图像求解结构稀疏系数au，同样利用/)/和flmv的特征图像求解纹理稀疏系数a v ; (6)通过步骤(5)的稀疏系数aV和a u、对应的纹理基/),!和结构基1 ，分别求解原始低分辨率图像3倍上采样的纹理图像hlmv和结构图像hlmu，然后得到Y分量； (7)将Y、Cb、Cr组合得到YCbCr图像，并转化为RGB图像，进行存储，就得到了最终超分辨率重建图像。
8.根据权利要求I所述的超分辨率稀疏重建方法，其特征在于所述步骤(I)中插值方法是双二次插值方法。
9.根据权利要求8所述的超分辨率稀疏重建方法，其特征在于所述步骤(4)为利用Dh以及给定的低分辨率彩色图像2倍上采样的图像，进行逐点9*9的窗口采样，做成相应的图像块，为81*N个，N为图像块的个数，对每块求解相应的稀疏系数，对重叠部分进行平均，得到对应的flm的图像块以及其在Dh下的稀疏表示系数，然后对字典按照图像块的形式进行组织，并求解积极因子Activity,在给定的阈值T下，当每块字典的Activity大于T,则认为是纹理基，小于T则认为是结构基，然后得到分开的纹理基和结构基/)和同时，相对应的D1也分解开得到纹理图的特征基体和结构图的特征基代;于是得到了 Dh和D1的分解基，以及低分辨率图像2倍上采样图像的分解图像，即结构图像flmu和纹理图像flmv。
10.根据权利要求9所述的超分辨率稀疏重建方法，其特征在于所述步骤(6)为对于稀疏系数a u和a V，分别对应1 和. ，可以得到对应的3倍上采样的结构图像和纹理图像him11、hlmv ;当有图像重叠时,按9x9以及对应的overlap部分来恢复图像的位置,其中重叠部分取均值，而边界部分采用Hmu和Hmv的分别1/2下采样，再3倍上采样得到对应hlmu和hlmv的边界；然后叠加hlmu和hlmv，得到Y分量。
全文摘要
在没有外界的高分辨率图像库的前提下得到高分辨率图像的超分辨率稀疏重建方法，包括步骤(1)对给定的低分辨率彩色图像进行空间转化，得到其YCbCr空间图像，对Cb、Cr分量利用插值方法进行重建；(2)构造用于训练的数据库，即高分辨率图像块Xh和低分辨率图像块Xl，并组合成数据库X；(3)对数据库X利用稀疏编码方法生成字典D，并分解为高分辨率图像的字典Dh和低分辨率图像的字典Dl；(4)利用Dl和低分辨率图像2倍上采样的图像对应的特征图像来求解稀疏系数；(5)通过稀疏系数和Dh，求解原始低分辨率图像3倍上采样的图像；(6)将Y、Cb、Cr组合得到YCbCr图像，并转化为RGB图像进行存储，就得到最终超分辨率重建图像。
文档编号G06T5/00GK102722865SQ20121015994
公开日2012年10月10日 申请日期2012年5月22日 优先权日2012年5月22日
发明者丁文鹏, 施云惠, 荆国栋, 齐娜 申请人:北京工业大学