基于邻域回归与局部信息的图像重建方法与流程

本发明属于图像处理技术领域，特别涉及一种基于邻域回归与局部信息的图像重建方法。

背景技术：

图像超分辨率重建是图像处理领域中的一个重要内容，在遥感、监控、医疗等领域有着广泛的应用。由于采样设备、采样环境、信号传输等因素的影响，获取的图像通常是退化的。为了改善这些退化图像的质量，迄今许多研究学者提出了许多图像超分辨率重建方法。但是，现存的这些方法在重建效果上仍然存在不足，具备相当大的提升空间。

目前，关于图像超分辨率重建算法主要有几个大类：基于插值的重建、基于统计模型的重建、基于样本学习的重建。最早的基于插值的重建算法例如双三次插值虽然十分快捷，但重建图像的视觉效果并不能满足应用的需求，仍然存在较严重的模糊。2008年，yang等人在压缩感知的基础上提出了基于稀疏表示的重建算法。该算法利用外部样本学习过完备的字典，提高了图像超分辨率重建的效果。但对于纹理和结构复杂的图像，不能很好地重建出图像细节，而且l1范数的求解过程计算复杂度相对较高。在yang的研究成果的基础上，基于协同表示和回归模型的重建算法得到了广泛的研究。这些算法虽然提高了模型求解的效率，但仍然忽视了图像本身的结构信息。随着人工神经网络的发展，2014年dong等人提出了基于卷积神经网络的图像超分辨率重建算法。该算法利用多个卷积核提取图像的特征，并运用误差逆向传播算法训练相关参数。相较于基于稀疏表示、基于协同表示和基于回归等其他样本学习的重建算法，基于卷积神经网络的算法取得了显著的效果。然而，卷积神经网络的学习需要数量庞大的的学习样本，在学习样本数量不够多时，一些其他算法可以取得的重建效果，卷积神经网络却达不到。且对训练时间和空间的需求都相对较高，对程序运行的硬件设备也有较高的要求，例如gpu，执行的经济成本较大。

技术实现要素：

有鉴于此，本发明提供了一种图像细节重建效果好、执行成本低的基于邻域回归与局部信息的图像重建方法。

为了实现上述目的，本发明提供了以下技术解决方案：基于邻域回归与局部信息的图像重建方法，包括以下步骤：先根据图像补丁块的局部结构信息，对图像特征进行聚类，然后针对每一类特征样本训练过完备字典，利用回归模型和最小二乘方法估计低分辨率特征与高分辨率特征之间的映射关系。

可选的，更具体的步骤如下：

a、确定图像重建放大倍数r，将训练集中的低分辨率和高分辨率图像对按照重叠系数v分为大小为p×p的补丁块。设定搜索窗口q×q和搜索步长s，在低分辨率补丁块上提取大小q×q的子补丁块；

b、设定特征提取算子，分别提取低分辨率补丁块、低分辨率子补丁块和高分辨率补丁块的特征，并根据局部结构相似信息对子补丁块进行聚类，按照子补丁块的聚类标签对补丁块进行划分，构建新的子样本对集合；

c、根据步骤b得到的新的子样本对集合，分别训练过完备的联合字典；在字典对应的子样本集中，针对每个低分辨率字典原子寻找md个与其最近邻的样本，运用近邻回归方法计算低分辨率与高分辨率特征之间的映射关系；

d、根据低分辨率补丁块的子补丁块对应的聚类标签，每个低分辨率补丁块对应多个映射关系，其加权和即为重建的高分辨率补丁块特征。

可选的，在步骤a中，重叠系数v＝2r，补丁块大小p＝3r，搜索窗口大小为4×4，步长s＝1，每个补丁块上采集子补丁块数量为其中表示向下取整操作。

可选的，所述步骤b中，低分辨率特征提取算子为水平方向和垂直方向的一阶微分和二阶微分算子，对低分辨率补丁块及其子补丁块分别进行卷积操作，将四个微分算子提取的特征补丁块及特征子补丁块写成向量形式，并利用主成分分析去除数据中的冗余信息，对提取的子补丁块特征进行降维；高分辨率特征提取是从高分辨率补丁块中去除相应的低频信息；

对降维后的低分辨率子补丁块特征按照欧式距离进行聚类，聚类方法为k-means算法，聚类中心个数为256；记录每个子补丁块特征的聚类标签，按照聚类标签，将相应的低分辨率补丁特征和高分辨率补丁特征分类，构建新的训练样本子集。

可选的，所述步骤c中，利用k-svd算法来学习每一类样本集合对应的过完备联合字典，字典大小为1024，每个低分辨率字典原子对应的最近邻样本个数为；

利用近邻回归和最小二乘方法估计低分辨率特征与高分辨率特征之间的映射关系的公式为：

其中k表示聚类标签索引，j表示低分辨率字典原子索引，表示最近邻的低分辨率补丁块特征的样本集，表示对应的高分辨率补丁块特征的样本集，表示正则化系数。

可选的，所述步骤d中，利用本方法估计的高分辨率补丁块特征为：

其中u表示低分辨率子补丁块在其低分辨率补丁块上的位置索引，y表示降维的低分辨率补丁块特征，ωu表示权值，其取值为：

其中ys表示降维的低分辨率子补丁块特征，c表示聚类中心，k表示聚类标签索引，h是一个先验系数，通常取值为1。

与现有技术相比，本发明的有益效果在于：

先根据图像补丁块的局部结构信息，对图像特征进行聚类，然后针对每一类特征样本训练过完备字典，利用回归模型和最小二乘方法估计低分辨率特征与高分辨率特征之间的映射关系。利用图像补丁块的局部结构信息而非补丁块本身，对提取的图像特征进行聚类，对于包含不同局部结构信息的样本类，更有针对性的学习低分辨率和高分辨率字典和映射关系。背景技术中提及的算法没有考虑图像本身的局部结构相似信息。而本发明则考虑通过先提取图像补丁块的子补丁块，对补丁块的局部结构特征进行聚类，以此增强图像补丁块的局部信息表示，使得图像超分辨率重建过程能够包含更多复杂结构和纹理，重建出细节丰富的高分辨率图像。本发明运用图像补丁块的重建学习，同时有效重建出了图像较多的细节信息。

附图说明

图1构建子样本集的流程示意图；

图2学习映射关系的流程示意图；

图3a放大倍数为2时的低分辨率图像；

图3b放大倍数为2时本发明重建的高分辨率图像；

图4a放大倍数为3时的低分辨率图像；

图4b放大倍数为3时本发明重建的高分辨率图像；

图5为本发明超分辨率图像重建算法总体流程示意图；

具体实施方式

本发明基于图像补丁块的局部特征，从低分辨率图像补丁块上先提取子补丁块，然后根据结构相似信息对子补丁块特征进行聚类。根据子补丁块特征的聚类标签，对低分辨率和高分辨率补丁块特征进行类别划分。针对包含不同局部结构信息的样本类的集合，分别训练过完备的联合字典。在每一个样本类集合中，寻找每个低分辨率字典原子的若干个最近邻的低分辨率补丁块特征样本，并整合与其对应的高分辨率补丁块特征样本，利用回归模型和最小二乘方法计算低分辨率补丁块特征和高分辨率补丁块特征之间的映射关系。最后通过求每个低分辨率补丁块特征对应的映射关系的加权和，即可得出重建的高分辨率补丁块特征。根据高分辨率补丁块特征在高分辨率图像中的像素位置索引，即可得到最终重建的高分辨率图像。

本发明的基本思路为：

首先，将训练集图像对分割为小的补丁块，在低分辨率补丁块上提取子补丁块，并分别提取各补丁块和子补丁块的特征；

其次，对提取的低分辨率子补丁块特征进行聚类，按照聚类标签，将相对应的低分辨率补丁块特征和高分辨率补丁块特征进行类别划分，构建包含不同局部结构信息的样本类；

再次，针对不同的样本类分别训练过完备字典，在相应样本集中寻找每个低分辨率字典原子的若干最近邻低分辨率补丁块特征，结合其对应的高分辨率补丁块特征，运用回归和最小二乘方法估计低分辨率与高分辨率之间的映射关系；

最后，根据每个低分辨率子补丁块特征对应的聚类标签，求出低分辨率补丁块特征对应的多个映射关系的加权和，重建出高分辨率补丁块特征。

下面结合实施例对本发明进行进一步说明。

本发明提供一种图像超分辨率重建算法，包括如下步骤：

a、确定图像重建放大倍数r，将训练集中的低分辨率和高分辨率图像对按照重叠系数v分为大小为p×p的补丁块。设定搜索窗口q×q和搜索步长s，在低分辨率补丁块上提取大小q×q的子补丁块。

其中，重叠系数v＝2r，补丁块大小p＝3r。优选地，搜索窗口大小为4×4，步长s＝1，由此确定的从每个补丁块上采集的子补丁块数量为其中表示向下取整操作。

b、设定特征提取算子，分别提取低分辨率补丁块、低分辨率子补丁块和高分辨率补丁块的特征，并根据局部结构相似信息对子补丁块进行聚类，按照子补丁块的聚类标签对补丁块进行划分，构建新的子样本对集合。

其中，低分辨率特征提取算子为水平方向和垂直方向的一阶微分和二阶微分算子，对低分辨率补丁块及其子补丁块分别进行卷积操作，将四个微分算子提取的特征补丁块及特征子补丁块写成向量形式，并利用主成分分析(pca)去除数据中的冗余信息，对提取的子补丁块特征进行降维。高分辨率特征提取是从高分辨率补丁块中去除相应的低频信息；

对降维后的低分辨率子补丁块特征按照欧式距离进行聚类，聚类方法为k-means算法，聚类中心个数为256。记录每个子补丁块特征的聚类标签，按照聚类标签，将相应的低分辨率补丁特征和高分辨率补丁特征分类，构建新的训练样本子集。

训练样本子集的构建过程如图1所示。

c、根据步骤b得到的新的子样本对集合，分别训练过完备的联合字典。在字典对应的子样本集中，针对每个低分辨率字典原子寻找md个与其最近邻的样本，运用近邻回归方法计算低分辨率与高分辨率特征之间的映射关系。

其中，训练过完备联合字典的方法为k-svd算法，字典大小为1024，每个低分辨率字典原子对应的最近邻样本个数为md＝2048，利用近邻回归和最小二乘方法估计低分辨率特征与高分辨率特征之间的映射关系的公式为：

其中k表示聚类标签索引，j表示低分辨率字典原子索引，表示最近邻的低分辨率补丁块特征的样本集，表示对应的高分辨率补丁块特征的样本集；

估算映射关系的过程如图2所示。

d、根据低分辨率补丁块的子补丁块对应的聚类标签，每个低分辨率补丁块对应多个映射关系，其加权和即为重建的高分辨率补丁块特征。

其具体公式表示为：

其中u表示低分辨率子补丁块在其低分辨率补丁块上的位置索引，y表示降维的低分辨率补丁块特征，ωu表示权值，其取值为：

其中ys表示降维的低分辨率子补丁块特征，c表示聚类中心，k表示聚类标签索引，h是一个先验系数，通常取值为1。

如图3a所示，是放大倍数为2时的低分辨率图像，图3b所示，是用本发明重建的高分辨率图像。图4a所示，是放大倍数为3时的低分辨率图像，图4b所示，是用本发明重建的高分辨率图像。

虽然以上将实施例分开说明和阐述，但涉及部分共通之技术，在本领域普通技术人员看来，可以在实施例之间进行替换和整合，涉及其中一个实施例未明确记载的内容，则可参考有记载的另一个实施例。

以上所述的实施方式，并不构成对该技术方案保护范围的限定。任何在上述实施方式的精神和原则之内所作的修改、等同替换和改进等，均应包含在该技术方案的保护范围之内。