一种图像超分辨率重构的方法与流程

本发明涉及图像处理领域，尤其涉及一种图像超分辨率重构的方法。

背景技术：

随着现代科技的进步，数字图像得到越来越广泛的应用，逐渐演变成最重要的信息载体之一。而图像的分辨率是评价一幅图像的内容丰富程度的客观标准，分辨率越高说明图像内容越丰富，人们可以从中分析得到的信息越多。然而，现实中也有很多的原因会导致获取的图像分辨率不能达到需求，如硬件方面，受到传感器阵列密度限制的影响；外部条件方面，大气流动，光照条件变化，物体的相对运动等也会造成捕获的图像模糊，分辨率过低。所以，探索提高图像分辨率的方法成为了一件非常必要的事情。

目前，从信号处理方向来考虑，J.C.Yang在2010年提出的基于稀疏表示的图像超分辨率重构(SCSR)方法的基本思想是：以高低分辨率的图像块结合起来为训练数据，通过联合训练的方式得到高低分辨率字典对，使得高低分辨率图像块在高低分辨率字典对下具有相同的稀疏表示。但是，在Yang的方法中，直接将从样本库中采集的高分辨率图像块和低分辨率图像特征矩阵作为训练样本进行超完备字典对的训练，忽略了一些样本库的先验信息，同时也将低分辨率插值图像减去低分辨率插值图像均值的结果作为资源重构出对应的目标高分辨率部分，然后加上低分辨率插值图像均值部分得到最终的高分辨率图像。

于是本文在Yang的方法的基础上，在训练的时候利用图像块的灰度共生矩阵提取特征，然后根据提取的特征将图像块进行分类，对分类后的图像块集分别训练得到对应的高低分辨率字典对。重构的时候引入一种基于Mumford-Shah模型和G空间的图像纹理结构分解技术，将图像分割成纹理部分和结构部分，丢弃纹理部分，保留结构部分，通过训练高低分辨率的字典对来重构出纹理部分丢失的高频信息，然后将保留的结构部分和重构的纹理部分合成最终的高分辨率图像，实验结果证明，经过改进之后会得到更好的重构效果。

技术实现要素：

本发明要解决的技术问题在于，提供一种图像超分辨率重构的方法，具有更好的分辨率重构效果、更快速的重构速率。

为解决上述技术问题，本发明提供如下技术方案：一种图像超分辨率重构的方法，包括以下步骤：

S1、将高分辨率图像进行降采样和插值处理，得到低分辨率图像的插值图像；

S2、将低分辨率图像的插值图像作为训练样本进行训练，得到高低分辨率字典对

S3、输入低分辨率图像，对其进行插值处理，得到低分辨率图像的插值图像；

S4、将低分辨率的插值图像分解为低分辨率的结构部分、纹理部分，舍弃低分辨率的纹理部分；

S5、将步骤S3的低分辨率的插值图像进行提取特征，得到低分辨率图像特征；

S6、根据步骤S2得到的高低分辨率字典对，对低分辨率图像特征进行稀疏重建，得到高分辨率图像纹理部分；

S7、将高分辨率图像纹理部分与步骤S4中低分辨率的结构部分合并，得到重构后的高分辨率图像。

进一步地，所述步骤S2中进行训练的过程具体为：

S21、对低分辨率图像的插值图像进行分块得到图像块，使用滤波器对图像块进行处理，得到图像块的灰度共生矩阵；

S22、将灰度共生矩阵进行求熵处理得到熵值，判断熵值是否为0，若熵值大于0，得到丰富纹理图像块；若熵值等于0，则得到平滑均匀图像块；

S23、将丰富纹理图像块进行训练得到丰富纹理的高分辨率和低分辨率图像；

S24、将步骤S1中的高分辨率图像利用灰度共生矩阵进行提取特征，直接得到平滑均匀图像块；

S25、将平滑均匀图像块训练得到平滑均匀的高分辨率和低分辨率图像；

S26、结合丰富纹理的高分辨率和低分辨率图像、平滑均匀的高分辨率和低分辨率图像，得到高低分辨率字典对。

进一步地，所述步骤S3中插值处理，其具体使用双三插值法处理。

进一步地，所述步骤S4具体为：利用基于Mumford-Shah模型分解技术或G空间的图像纹理结构分解技术将低分辨率的插值图像分解为低分辨率的结构部分、纹理部分。

进一步地，所述步骤S6具体为：设低分辨率图像特征为F_y，高低分辨率字典对分别为D_h、D_l，高分辨率图像纹理部分为X_v

(1)低分辨率图像特征F_y，求优化问题得到α^*，其中λ表示分辨率转换系数；

(2)根据X_v＝D_hα^*，得到高分辨率纹理部分X_v。

进一步地，所述步骤S7具体为：高分辨率图像纹理部分与低分辨率的结构部分合并后，然后用梯度下降法搜索最接近且满足重构约束的高分辨率图像。

采用上述技术方案后，本发明至少具有如下有益效果：

(1)本发明在前人工作基础上，在训练样本的过程中提出利用图像块的灰度共生矩阵提取特征并进行分类的训练方法，能够针对性分类训练对应的样本，然后根据分类训练对应的字典对用于后续的超分辨率重构，更能准确地提高重构图像分辨率。

(2)本发明利用重构图像的MS_G模型：既可以保证分解后的结构部分的光滑性，避免阶梯效应，又可以使得分解后的纹理部分图像能够很好的体现图像的纹理信息，最后会得到更好的重构效果。

附图说明

图1本发明一种图像超分辨率重构方法的训练过程流程图；

图2本发明一种图像超分辨率重构方法的重构过程流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本申请作进一步详细说明。

如图1和图2所示，本发明提供一种图像超分辨率重构的方法，主要包括训练和重构两大部分，重点在于重构部分。

其中，训练部分步骤流程图如图1所示，重构部分如图2所示，本发明包括以下步骤：

(1)训练：

S1、将高分辨率图像进行降采样和插值处理，得到低分辨率图像的插值图像，使用滤波器对低分辨率图像的插值图像进行处理，得到插值图像的灰度共生矩阵；

S2、将灰度共生矩阵进行求熵处理得到熵值，判断熵值是否为0，若熵值大于0，得到丰富纹理图像块；若熵值等于0，则得到平滑均匀图像块；

S3、将丰富纹理图像块进行训练得到丰富纹理的高分辨率和低分辨率图像；

S4、还可以将步骤S1中的高分辨率图像利用求出来的灰度共生矩阵进行提取特征，可直接得到平滑均匀图像块；

S5、将平滑均匀图像块训练得到平滑均匀的高分辨率和低分辨率图像；

S6、结合丰富纹理的高分辨率和低分辨率图像、平滑均匀的高分辨率和低分辨率图像，得到高低分辨率字典对。

(2)重构：

S7、输入低分辨率图像，对其使用双三插值法进行插值处理，得到低分辨率图像的插值图像；

S8、利用基于Mumford-Shah模型分解技术或G空间的图像纹理结构分解技术，将低分辨率的插值图像分解为低分辨率的结构部分、纹理部分，舍弃低分辨率的纹理部分；

S9、将步骤S7的低分辨率图像的插值图像进行提取特征，得到低分辨率图像特征；

S10、根据步骤S6得到的高低分辨率字典对，对低分辨率图像特征进行稀疏重建，得到高分辨率图像纹理部分：设低分辨率图像特征为F_y，高低分辨率字典对分别为D_h、D_l，高分辨率图像纹理部分为X_v：

(1)低分辨率图像特征F_y，求优化问题得到α^*，其中λ表示分辨率转换系数；

(2)根据X_v＝D_hα^*，得到高分辨率纹理部分X_v；

S11、将高分辨率图像纹理部分与步骤S4中低分辨率的结构部分合并，得到重构后的高分辨率图像，然后用梯度下降法搜索最接近且满足重构约束的高分辨率图像。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解的是，在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种等效的变化、修改、替换和变型，本发明的范围由所附权利要求及其等同范围限定。