本发明涉及图像超分辨率技术，具体涉及一种基于主结构分离的稀疏表示单帧图像超分辨率重建算法。
背景技术：
信息技术时代的发展使得人们获取图像的渠道越来越广，而受制于成像系统的限制，包括点扩散函数(PSF)以及频谱混叠效应，有些图像质量无法达到人们预期，比起花大量经费在成像设备上，通过一些软件算法来增强图像质量则省时省力，图像超分辨率技术就是其中的一种，现在已经被广泛应用在医学图像、卫星成像、目标识别和视频监视等领域。
早期的超分辨率算法主要基于多帧图像，如光流法、POCS、IBP、贝叶斯估计等，这些算法需要估计帧间的运动位移，并且在亚像素精度上进行配准。实际上我们很难一直获得低分辨率图像序列，而且也很难做到高精度的运动估计和配准，因此此类方法并不适合于实际的应用。在后续的发展中，单帧图像超分辨率方法逐渐占据了主流，这些方法通过运用图像的先验知识来解决多对一的病态问题。基本的有基于插值的算法，用一些简单函数来估计未知的图像点，这种方法虽然很快速但对于增加图像的未知细节帮助不大。较复杂的有基于重建的方法，这种方法将各种先验知识比如梯度、边缘等融入进代价方程中，从而恢复图像的某些细节，然而其效果很大程度上依赖所用的先验知识，因此效果并不能让人满意。近年来发展最迅速的是基于字典学习的方法，通过学习高低分辨率图像块之间的映射关系来恢复图像，获得了极好的效果，比如邻域内嵌法(NE)、稀疏表达法(SC)，其中SC通过机器学习训练一个对应的高低分辨率字典，用这个字典来重建输入图像，由于字典在表达图像块时的准确与快速使得SC得到了广泛的关注。然而，这种方法十分依赖于字典的大小，字典过大则消耗时间很长，字典过小，则无法应对复杂的图案。
主结构分离主要应用在边缘提取中，常见的有利用全变分，加权最小平方，双边滤波等，但这些方法都不能很好的去除图像的纹理。在超分辨率领域，主结构分离主要是利用全变分，对分离出的主结构部分采用全变分重建，由于计算复 杂，需要消耗大量时间，而对于纹理部分则是简单的采用插值，最后将两部分加起来得到最终的超分辨率图像。这种方法效果十分有限，因此逐渐的退出了舞台
技术实现要素：
本发明的目的在于提供一种基于主结构分离的稀疏表示单帧图像超分辨率重建算法，将主结构分离与字典学习方法结合，降低了对字典尺寸以及训练样本的依赖，在提升重建图像质量的同时最大限度的降低时间复杂性。
实现本发明目的的技术解决方案为：一种基于主结构分离的稀疏表示单帧图像超分辨率重建算法，包括以下步骤：
步骤1：通过RTV对输入的原始低分辨率图像进行主结构分离，IL＝SL+TL，其中IL表示输入的低分辨率图像，SL表示低分辨率图像的主结构图像，TL表示低分辨率图像的纹理图像，上述图像均表示为小图像块所组成的列向量集合；
步骤2：对原始低分辨率图像IL进行降采样，得到降采样后的低分辨率图像ILL，通过RTV分解ILL得到其主结构SLL，通过图像信息根据以下公式计算自适应字典尺寸Z：
其中m为ILL的图像的横向分辨率，n为ILL的图像的纵向分辨率，C为ILL图像块的自相似系数，ρ为固定参数；
然后对SL和SLL进行自驱动K-SVD字典训练，得到对应的主结构高低分辨率字典；
步骤3：利用主结构高低分辨率字典对SL进行超分辨率重建，得到高分辨率主结构SH；
步骤4：用离线训练的纹理字典对图像的纹理部分TL直接进行超分辨率重建，得到对应的高分辨率纹理TH；
步骤5：将高分辨率主结构SH和高分辨率纹理TH叠加，获得完整的高分辨 率图像IH＝SH+TH；
步骤6：对获得的高分辨率图像IH进行迭代反投影以满足原始低分辨率图像IL的约束，公式如下：
其中是第n次迭代后得到的高分辨率估计图像，u是梯度下降步长，B是双三次插值的模糊核，初始图像即为IH；
步骤7：迭代完成后，得到最终的输出图像Iout。
本发明与现有技术相比，其显著优点在于：
(1)通过将输入图像分解为主结构和纹理，然后对他们分开处理，相比较直接对混合的图案进行字典学习重建，能显著的降低对字典尺寸和训练样本的要求，从而在降低计算复杂度的同时大幅提升重建图像质量。
(2)采用相关全变分来分解图像，可以获得更加锐利的主结构边缘和更纯粹的纹理，使得最终图像的主结构部分可以直接利用自相似性来重建，节省了数十倍的运行时间。
(3)提出自适应字典尺寸计算函数对应不同主结构图像的特点得到最适的字典尺寸，防止过拟合的同时进一步减少了运行时间，使得提出的算法在提高主结构图像质量的同时更加高效。
附图说明
图1为本发明的基于主结构分离的稀疏表示单帧图像超分辨率重建算法的流程图。
图2为本发明实施例1中主结构部分运用不同的字典尺寸来构建字典时的重建情况。
图3为本发明实施例1中主结构部分运用最优字典尺寸和自适应字典尺寸来构建字典时的重建情况。
图4为本发明实施例1中运用不同训练方案得到的外部字典对所比较的经典算法的重建效果的影响，其中“1000全”代表字典尺寸为1000，训练时使用整 个训练图像库，“500全”代表字典尺寸为500，训练时使用整个训练图像库，“500半”代表字典尺寸为500，训练时使用半个训练图像库，相对PSNR代表经典算法重建PSNR值与双三次插值重建PSNR值的差值。
图5为本发明实施例1中运用不同训练方案得到的外部字典对所提出算法重建效果的影响，其中“1000全”代表字典尺寸为1000，训练时使用整个训练图像库，“500全”代表字典尺寸为500，训练时使用整个训练图像库，“500半”代表字典尺寸为500，训练时使用半个训练图像库，相对PSNR代表所提出算法重建PSNR值与双三次插值重建PSNR的差值。
图6为所提出算法与其他经典算法对图像“foreman”的重建视觉效果对比，其中(a)为高分辨率原图，(b)为双三次插值放大的重建结果，(c)为传统字典学习超分辨率算法的重建结果，(d)为改进的字典学习超分辨率算法，(e)为所提出的方法的重建结果。
图7为所提出算法与其他经典算法对图像“comic”的重建视觉效果对比，其中(a)为高分辨率原图，(b)为双三次插值放大的重建结果，(c)为传统字典学习超分辨率算法的重建结果，(d)为改进的字典学习超分辨率算法，(e)为所提出的方法的重建结果。
图8为所提出算法与其他经典算法对图像“baby”的重建视觉效果对比，其中(a)为高分辨率原图，(b)为双三次插值放大的重建结果，(c)为传统字典学习超分辨率算法的重建结果，(d)为改进的字典学习超分辨率算法，(e)为所提出的方法的重建结果。
具体实施方式
下面结合附图对本发明作进一步详细描述。
本发明是一种主结构分离的稀疏表示单帧图像超分辨率重建算法。其原理为：通过用一种高效的相关全变分方法对输入低分辨率图像进行分离，得到只包含锐利边缘的主结构成分和只包含纹理的部分。之后对两种成分分别进行不同的处理，这样可以使得对这两种不同的图案模式有针对性的进行重建。对于主结构成分，提出一种基于自相似的自驱动字典学习算法，充分利用其原始边缘信息来组合重构出高分辨率的主结构图像，相较于传统算法的复杂计算节省大量时间，而对于纹理部分，则采用外部字典来重建，由于纹理没有边缘的干扰，所以减少了对字典的依赖，该字典并不需要大量复杂样本训练和较大的尺寸。通过这种处 理框架，可以在提升重建图像质量的情况下大幅降低计算时间，使得算法高效易用。
结合图1，一种基于主结构分离的稀疏表示单帧图像超分辨率重建算法，包括以下步骤：
步骤1：通过相关全变分(RTV)对输入的原始低分辨率图像进行主结构分离，IL＝SL+TL，其中IL表示输入的低分辨率图像，SL表示低分辨率图像的主结构图像，TL表示低分辨率图像的纹理图像，上述图像均表示为小图像块所组成的列向量集合，具体步骤如下：
1-1)输入低分辨率图像IL，尺寸参数σ，强度参数λ；
1-2)计算权重信息：
其中ux是水平方向邻域梯度信息的权值，wx是水平方向像素梯度信息的权值，uy是垂直方向邻域梯度信息的权值，wy是垂直方向像素梯度信息的权值，Gσ是一个高斯滤波器，是水平方向的导数，是垂直方向的导数，ε和εs是任意极小值，用来稳定数值解。
1-3)解线性方程
其中Cx为水平方向离散梯度前向差分所获得的托普利兹矩阵，Cy为垂直方向离散梯度前向差分所获得的托普利兹矩阵，λ为平衡参数，t为迭代次数，均为对角矩阵，对角线上的值分别为对应的ux，uy，wx，wy的值。
1-4)将1-2)与1-3)迭代三次，获得分离的SL与TL。
步骤2：对原始低分辨率图像IL进行降采样，得到降采样后的低分辨率图像ILL，通过RTV分解ILL得到其主结构SLL，通过图像信息根据以下公式计算自适应字典尺寸Z：
其中m为ILL的图像的横向分辨率，n为ILL的图像的纵向分辨率，C为ILL图像块的自相似系数，ρ为固定参数。
然后对SL和SLL进行自驱动K-SVD字典训练，得到对应的主结构高低分辨率字典，具体步骤如下：
2-1)将SLL进行双三次插值放大，得到低分辨率训练图像SLM，同时输入SL和初始低分辨率字典DL，转入步骤2-2)；
2-2)根据目标方程：
采用OMP算法，求得SLM在DL上的稀疏编码X＝{x1,x2,x3...xi}，ε′为任意极小值；
转入步骤2-3)。
2-3)固定稀疏编码X和初始低分辨率字典DL，将初始低分辨率字典DL的第k列记为dk，同时令稀疏编码X中与dk相乘的第k行为重写目标函数为：
其中Ek表示去掉原子dk的成分在训练图像中造成的误差；
转入步骤2-4)。
2-4)对Ek和做变换，中只保留非零位置的系数，Ek只保留dk与中 非零位置乘积得到的项，从而得到Ek变换后的误差转入步骤2-5)。
2-5)对做SVD分解，更新dk，转入步骤2-6)。
2-6)返回2-3)，重复进行30次，获得最终的低分辨率字典DL，即为主结构低分辨率字典。
2-7)通过以下方程获得对应的主结构高分辨率字典DH
DH＝SLXT(XXT)-1 (6)。
步骤3：利用主结构高低分辨率字典对SL进行超分辨率重建，得到高分辨率主结构SH，具体步骤如下：
3-1)对SL中的3×3图像块sL进行双三次插值放大，得到中间图像块sM，转入3-2)。
3-2)通过OMP算法在主结构低分辨率字典DL找到最能表达sL的3个向量，并获得对应的稀疏编码表示系数x，转入3-3)。
3-3)将稀疏编码表示系数x乘上主结构高分辨率字典DH，得到主结构高分辨率图像块sH，转入3-4)。
3-4)返回3-2)，对SL中的所有图像块分别进行计算，得到对应的高分辨率图像块，将所得到的高分辨率图像块放在高分辨率网格中的对应位置，并且对重叠区域作平均，得到最终的主结构图像SH。
步骤4：用离线训练的纹理字典对图像的纹理部分TL直接进行超分辨率重建，得到对应的高分辨率纹理TH，具体步骤如下：
4-1)对专门用于字典学习的外部图像库中的高分辨率图片作RTV分解，得到对应高分辨纹理图像，同时将高分辨率图片降采样获得低分辨率图像；
4-2)对高分辨纹理图像和低分辨率图像进行K-SVD字典训练，得到纹理的高低分辨率字典；
4-3)将输入低分辨率图像的纹理图像在纹理字典上进行重建，得到高分辨率纹理图像。
步骤5：将高分辨率主结构SH和高分辨率纹理TH叠加，获得完整的高分辨率图像IH＝SH+TH。
步骤6：对获得的高分辨率图像IH进行迭代反投影以满足原始低分辨率图像IL的约束，公式如下：
其中是第n次迭代后得到的高分辨率估计图像，u是梯度下降步长，B是双三次插值的模糊核，初始图像即为IH。
步骤7：迭代完成后，得到最终的输出图像Iout。
实施例1
结合图6，图7和图8，对三幅图片“foreman”、“comic”和“baby”通过基于主结构分离的稀疏表示单帧图像超分辨率重建算法进行超分辨率重建处理，放大因子为2倍，获得重建图像相对于原始高分辨率图像的峰值性噪比与运行时间的详细情况，并与其他新型算法进行对比。
表1-1对图片“foreman”、“comic”和“baby”放大2倍后的信噪比(PSNR)和运行时间比较
结合图2-图5，从图2和图3可以看出，利用所提出的自适应字典尺寸相较于其他的字典尺寸能重建出更好的高分辨率图像，很好的适应了不同图像的特点。
从图4和图5可以看到，在使用相同模式的字典训练方案下，我们的算法效果领先于其他算法，当恶化字典训练方案时，我们的算法在重建质量上退化较少， 性能大幅优于其他算法，这证实了我们的主结构分离方案对字典依赖较小的设想。
结合表1-1、图6-图8，我们可以明显观察到所提出的算法在峰值信噪比(PSNR)上大幅优于其他算法，且提供了更好的视觉效果，包括更多的细节，更锐利的边缘，以及更少的人工痕迹。
综上所述，本发明首次引入了相关全变分来进行图像的超分辨率重建，将原始输入图像分解为只包含边缘的主结构部分和只包含纹理的部分，然后分开进行处理。同时，本发明提出一种自驱动的字典学习算法来对分离出的主结构部分进行重建，在提高图像质量的同时降低了计算的复杂度。对于纹理图像，则通过外部的冗余字典来进行重建，受益于分解过程的优异性，纹理部分几乎不受边缘信息的干扰，因此没有过多复杂的图案模式，避免了对字典尺寸和训练样本的依赖，使得最终的重建图像质量更进一步。