本发明涉及图像处理领域，特别涉及一种图像超分辨率重建方法。
背景技术：
在获取高分辨率图像时，提高成像系统的物理分辨率是最直接有效的手段，然而对成像系统的物理分辨率的升级需要精密的制造技术和高成本的元器件。因此在大多情况下，会采用图像处理技术如图像超分辨率重建将低分辨率图像转化为高分辨率图像。
然而现有的图像超分辨率重建技术中，有些技术保证了高质量的高分辨率图像，但存在计算复杂耗时耗内存的问题；还有些技术计算简单快速，但无法保证能够得到高质量的图像。
技术实现要素：
本发明提供一种图像超分辨率重建方法，以实现将低分辨率图像快速转化为高质量的高分辨率图像的目的。
为实现上述目的，本发明提出一种图像超分辨率重建方法，其包括以下步骤：将低分辨特征空间和高分辨特征空间构造成多个成对设置的低分辨特征子空间和高分辨特征子空间；在成对设置的低分辨特征子空间和高分辨特征子空间之间建立线性映射关系；根据线性映射关系将低分辨率重构图像重构成高分辨率重构图像。
其中，根据线性映射关系将低分辨率重构图像重构成高分辨率重构图像的步骤包括：从低分辨率重构图像提取出低分辨率重构图像块的低分辨率重构图像块特征；确定低分辨率重构图像块特征所对应的低分辨特征子空间；根据确定低分辨特征子空间的线性映射关系将低分辨率重构图像块特征映射成高分辨率重构图像块特征；将高分辨率重构图像块特征添加到低分辨率重构图像块中。
其中，将低分辨特征空间和高分辨特征空间构造成多个成对设置的低分辨特征子空间和高分辨特征子空间的步骤包括：获取低分辨训练图像集与高分辨训练图像集，其中低分辨训练图像集中包括至少一低分辨训练图像，高分辨训练图像集中包括与低分辨训练图像成对设置的高分辨训练图像；从低分辨训练图像和高分辨训练图像中提取成对设置的低分辨训练图像块和高分辨训练图像块的低分辨训练图像块特征和高分辨训练图像块特征，进而形成低分辨训练图像块特征集和高分辨训练图像块特征集；将低分辨训练图像块特征集聚类成多个低分辨训练图像块特征子集；根据多个低分辨训练图像块特征子集将高分辨训练图像块特征集对应的划分成多个高分辨训练图像块特征子集。
其中，获取低分辨训练图像集与高分辨训练图像集的步骤包括：获取高分辨训练图像集；对高分辨训练图像集中的高分辨率训练图像进行n倍下采样；通过插值方式对n倍下采样后的高分辨率训练图像进行n倍上采样，进而形成低分辨训练图像集中的低分辨训练图像，其中n为大于或等于2的正整数。
其中，从低分辨训练图像和高分辨训练图像中提取成对设置的低分辨训练图像块和高分辨训练图像块的低分辨训练图像块特征和高分辨训练图像块特征的步骤包括：将高分辨训练图像与低分辨训练图像进行相减；在相减后的图像上进行提取与低分辨训练图像块对应的图像块并作为高分辨训练图像块特征。
其中，将低分辨训练图像块特征集聚类成多个低分辨训练图像块特征子集的步骤包括：利用主分成分析算法对低分辨训练图像块特征集进行维数约简，再利用k-means聚类算法将约简后的低分辨训练图像块特征集聚类成多个低分辨训练图像块特征子集，并获取每个低分辨训练图像块特征子集所对应的聚类中心。
其中，在成对设置的低分辨特征子空间和高分辨特征子空间之间分别建立线性映射关系的步骤包括：根据成对设置的低分辨训练图像块特征子集和高分辨图像块特征子集形成成对设置的低分辨子字典和高分辨子字典；利用成对设置的低分辨子字典和高分辨子字典形成线性映射矩阵。
其中，根据成对设置的低分辨训练图像块特征子集和高分辨图像块特征子集形成成对设置的低分辨子字典和高分辨子字典的步骤包括：根据低分辨训练图像块特征子集形成低分辨子字典以及对应的多个表示系数；在假定成对设置的低分辨子字典和高分辨子字典采用相同的表示系数的情况下，根据多个表示系数形成高分辨子字典。
其中，利用成对设置的低分辨子字典和高分辨子字典形成线性映射矩阵的步骤包括：利用脊回归算法根据低分辨子字典和高分辨子字典形成线性映射矩阵。
其中，根据线性映射关系将低分辨率重构图像重构成高分辨率重构图像的步骤包括：根据高分辨率重构图像和低分辨率重构图像的分辨率倍数通过插值方式对低分辨率重构图像进行上采样；从上采样后的低分辨率重构图像提取低分辨率重构图像块的低分辨率重构图像块特征；确定低分辨率重构图像块特征所对应的低分辨训练图像块特征子集；根据低分辨训练图像块特征子集的线性映射矩阵将低分辨率重构图像块特征映射成高分辨率重构图像块特征；将高分辨率重构图像块特征添加到低分辨率重构图像块中；根据添加后的低分辨率重构图像块形成高分辨率重构图像。
本发明图像超分辨率重建方法包括以下步骤：将低分辨特征空间和高分辨特征空间构造成多个成对设置的低分辨特征子空间和高分辨特征子空间；在成对设置的低分辨特征子空间和高分辨特征子空间之间建立线性映射关系；根据线性映射关系将低分辨率重构图像重构成高分辨率重构图像。本发明图像超分辨率重建方法中建立起多对低分辨率特征子空间和高分辨率特征子空间不同的线性映射关系，然后根据该多对线性映射关系将低分辨率重构图像重构成高分辨率重构图像，此重构过程中采用以特征来区分的多对线性映射关系，能够更准确的实现高分辨率重构图像的重构，以得到高质量的高分辨率图像。
附图说明
图1是本发明图像超分辨率重建方法一实施方式的流程示意图。
具体实施方式
为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对发明所提供的一种图像超分辨率重建方法做进一步详细描述。
请参阅图1，图1是本发明图像超分辨率重建方法一实施方式的流程示意图。本实施方式图像超分辨率重建方法包括以下步骤：
S1：将低分辨特征空间和高分辨特征空间构造成多个成对设置的低分辨特征子空间和高分辨特征子空间。
本步骤中将特征空间划分为多个特征子空间，并且使低分辨特征子空间与高分辨特征子空间一一对应。其中，特征空间也可看作是一个包含多种图像特征的集合，对该集合中的图像特征进行划分，得到多个图像特征的子集即特征子空间。
本步骤S1中将特征空间划分为一一对应的特征子空间后，进行步骤S2，以获得一一对应的特征子空间之间的对应关系。
S2：在成对设置的低分辨特征子空间和高分辨特征子空间之间建立线性映射关系。
本步骤S2中在多个成对的低分辨特征子空间及高分辨特征子空间之间建立起线性映射关系，得到多个线性映射关系。所建立的线性映射关系即表示低分辨特征子空间可通过该线性映射关系映射到高分辨特征子空间。基于本步骤中所建立的线性映射关系，进行步骤S3的操作。
S3：根据线性映射关系将低分辨率重构图像重构成高分辨率重构图像。
本步骤S3最终得到高分辨率重构图像，实现了本发明图像超分辨率重建方法的最终目的，即获得高质量的高分辨率图像。根据步骤S2中的多个线性映射关系，将低分辨率重构图像重构成高分辨率重构图像，在此过程中，低分辨率重构图像中有多个图像特征，找到图像特征对应的特征子空间，即可依据对应的线性映射关系将低分辨率重构图像重构成高分辨率重构图像。
本实施方式首先建立以特征划分的多个线性映射关系，即步骤S1和S2，相当于机器学习过程；然后根据多个线性映射关系对低分辨率重构图像进行重构，即步骤S3，相当于图像处理过程。由于多个线性映射关系根据特征进行划分，因此能够对低分辨率重构图像的各个图像特征分别进行重构，得到更为准确的高质量高分辨重构图像。
本实施方式的上述步骤S1-S3为图像超分辨率重建方法的基本步骤，在其他不同实施方式中，可使用不同的方法来实现上述步骤S1-S3，下面对每个步骤如何实现作进一步描述。
一、对于步骤S1：将低分辨特征空间和高分辨特征空间构造成多个成对设置的低分辨特征子空间和高分辨特征子空间。
其具体包括以下步骤S11-S14。
S11：获取低分辨训练图像集与高分辨训练图像集。
所获取的低分辨训练图像集可看作步骤S1中的低分辨特征空间，高分辨训练图像集可看作高分辨特征空间。其中，低分辨训练图像集包括至少一低分辨训练图像，高分辨训练图像集包括与低分辨训练图像成对设置的高分辨训练图像。
具体来说，为了得到成对的高分辨训练图像和低分辨训练图像，本实施方式中是通过对高分辨训练图像进行处理得到与其对应的低分辨训练图像，过程如下。
S111：获取高分辨训练图像集。
S112：对高分辨训练图像集中的高分辨训练图像进行n倍下采样。
本步骤S112中n倍下采样即将高分辨训练图像缩小n倍，将其处理得到低分辨图像。例如将分辨率为100×100的高分辨训练图像进行4倍下采样，得到分辨率为50×50的低分辨图像。由于在后面的步骤S2中需要计算得到低分辨特征子空间与高分辨特征子空间之间的线性映射关系，因此为了方便计算，需对低分辨图像进行处理，得到与高分辨训练图像同样纬度的低分辨训练图像。本实施方式中采用下述步骤S113。
S113：通过插值方式对n倍下采样后的高分辨训练图像进行n倍上采样，进而形成低分辨训练图像集中的低分辨训练图像，
n倍下采样后的高分辨训练图像即得到的低分辨图像，采用插值方式对低分辨图像进行n倍上采样，即放大n倍。例如对分辨率为50×50的低分辨图像进行n倍上采样，得到100×100的低分辨训练图像。上述n为大于或等于2的正整数。
在上述步骤S112、S113中，对高分辨训练图像进行处理时，可将其看作一个矩阵，例如对分辨率为100×100的高分辨图像进行4倍下采样，即舍弃100×100的矩阵中的某些数值，以得到50×50的矩阵，然后采用插值方式对50×50的矩阵进行4倍上采样，即在矩阵中的空白处插入某个值，得到100×100的矩阵。
步骤S111中的高分辨训练图像与步骤S113所得到的低分辨训练图像虽然具有相同的分辨率，但经过步骤S112和步骤S113的处理，低分辨训练图像相对高分辨训练图像已失去了高分辨训练图像的部分特征。由此获得成对的低分辨训练图像和高分辨训练图像。然后进入步骤S12进行特征提取。
S12：从低分辨训练图像和高分辨训练图像中提取成对设置的低分辨训练图像块和高分辨训练图像块的低分辨训练图像块特征和高分辨训练图像块特征，进而形成低分辨训练图像块特征集和高分辨训练图像块特征集。
步骤S11中已获取了成对的低分辨训练图像和高分辨训练图像，因此在本步骤S12中首先提取低分辨训练图像块的低分辨训练图像块特征，然后对应提取高分辨训练图像块的高分辨训练图像块特征。
本步骤S12中低分辨训练图像块特征的提取过程主要包括划分图像块和提取特征两个步骤。在进行图像块划分前，可过滤掉低分辨训练图像在步骤S113的n倍上采样中通过插值方式形成的像素。然后进行图像块划分，例如对于100×100的低分辨训练图像，将其分为10×10的低分辨训练图像块，若块与块之间不重叠，则可分为100个低分辨训练图像块，若块与块之间重叠，则可将其分为数量大于100的低分辨训练图像块。本实施方式中采用块与块之间部分重叠的划分方式。
对划分好的低分辨训练图像块进行特征提取，可提取其梯度特征。例如定义水平方向一阶梯度GX、竖直方向一阶梯度GY，水平方向二阶梯度LX、竖直方向二阶梯度LY的算子，然后将低分辨训练图像块分别与水平方向一阶梯度、竖直方向一阶梯度、水平方向二阶梯度、竖直方向二阶梯度做卷积运算，得到低分辨训练图像块特征。
其中，可定义：
GX＝[1,0,0,0,-1]，GY＝[1,0,0,0,-1]T；
LX＝1/2[1,0,0,0,-2,0,0,0,1]，LY＝1/2[1,0,0,0,-2,0,0,0,1]T；
对所有的低分辨训练图像块进行特征提取后得到低分辨训练图像块特征集。
在完成低分辨训练图像块特征的提取后，可采用同样的方式进行高分辨训练图像块特征的提取。例如，在同样的位置对高分辨训练图像进行划分，得到高分辨训练图像块；采用同样的算子来获取高分辨训练图像块的梯度特征，从而获得高分辨训练图像块特征集。
本实施方式中采取另一种方式提取高分辨训练图像块特征：首先将高分辨训练图像与低分辨训练图像进行相减，该过程是为了剔除高分辨训练图像中的低分辨特征；然后在相减的图像上提取与低分辨训练图像块对应的图像块作为高分辨训练图像块特征，从而获得高分辨训练图像块特征集。
上述步骤S11中以提到将所获取的低分辨训练图像集看作步骤S1中的低分辨特征空间，高分辨训练图像集看作高分辨特征空间。在对步骤S1进行理解时，也可将本步骤S12中的低分辨训练图像块特征集看作步骤S1中的低分辨特征空间，低分辨训练图像块特征集看作高分辨特征空间。
S13：将低分辨训练图像块特征集聚类成多个低分辨训练图像块特征子集。
本步骤S13中所得到的低分辨训练图像块特征子集即步骤S1中构造成的低分辨特征子空间。本实施方式中利用主成分分析算法(PCA)对低分辨训练图像块特征集进行维数约简，再利用k-means聚类算法将约简后的低分辨训练图像块特征集聚类成多个低分辨训练图像块特征子集，并获取每个低分辨训练图像块特征子集所对应的聚类中心即锚点。
S14：根据多个低分辨训练图像块特征子集将高分辨训练图像块特征集对应的划分成多个高分辨训练图像块特征子集。
本步骤S14中划分得到的高分辨训练图像块特征子集即步骤S1中构造成的高分辨特征子空间。本实施方式中步骤S13与步骤S14具有很大的相关性，对于这两个步骤，在实际运算时，首先将高分辨训练图像块特征与低分辨训练图像块特征串联后一起进行维数约简；然后利用k-means对约简后的低分辨训练图像块特征集聚类成多个低分辨训练图像块特征子集，并获取每个低分辨训练图像块特征子集所对应的聚类中心；最后根据聚类中心同样对维数约简后的高分辨训练图像块特征进行分类，得到多个高分辨训练图像块特征子集。
二、对于步骤S2：在成对设置的低分辨特征子空间和高分辨特征子空间之间建立线性映射关系。
其主要包括以下步骤S21、S22。
S21：根据成对设置的低分辨训练图像块特征子集和高分辨图像块特征子集形成成对设置的低分辨子字典和高分辨子字典。
假设：
低分辨训练图像块特征子集为X＝{xi}i∈Ω，其对应有一个聚类中心即锚点c，高分辨训练图像块特征子集为Y＝{yi}i∈Ω，低分辨子字典为Bl，高分辨子字典为Bh，表示系数：A＝{ai}i∈Ω。其中，Ω为特征子集的索引集。
低分辨子字典为能够表示低分辨训练图像特征子集的特征向量，即低分辨子字典Bl乘以表示系数A＝{ai}i∈Ω近似于低分辨训练图像块特征子集X＝{xi}i∈Ω。
假设低分辨子字典与高分辨子字典具有相同的表示系数，因此高分辨子字典能够表示高分辨训练图像特征子集的特征向量，即高分辨子字典Bh乘以系数A＝{ai}i∈Ω近似于高分辨训练图像块特征子集Y＝{yi}i∈Ω。
相应，获得最优的低分辨子字典和高分辨子字典以及表示系数的问题可表示为如下最小化问题：
上述最小化问题求解后，得到的最优子字典和最优表示系数相乘后最接近于图像块特征子集。
该最小化问题为复杂的双级优化问题，可通过交替迭代的方法近似求解。本实施方式中先求解低分辨子字典，然后根据低分辨子字典的表示系数求解高分辨子字典，即首先进行步骤S211。
S211：根据低分辨训练图像块特征子集形成低分辨率子字典以及对应的多个表示系数。
本步骤S211即对以下公式(1)进行求解。
首先假设Bl已知，对公式(1)进行求解得到：
将公式(2)带入公式(1)中，得到如下关于求解Bl的最小化问题：
进一步简化公式(3)，假设Bl为正交，则可将公式(3)简化为以下问题：
对于公式(4)的求解，实质即求解X的主成分，因此可以通过主成分分析算法对低分辨训练图像块特征子集X＝{xi}i∈Ω中的低分辨训练图像块特征xi进行主成分求解，并将得到的基向量作为低分辨子字典Bl的原子。
然后，将低分辨训练图像块特征进一步投影至低分辨子字典来获取表示系数：
S212：在假定成对设置的低分辨子字典和高分辨子字典采用相同的表示系数的情况下，根据多个表示系数形成高分辨子字典。
由于低分辨子字典和高分辨子字典具有相同的表示系数，高分辨子字典为：
通过最小二乘法根据多个表示系数形成高分辨子字典，即利用最小二乘法计算公式(6)由，得到：
Bh＝YAT(AAT)-1 (7)
在得到低分辨子字典和高分辨子字典后进行到步骤S22。
S22：利用成对设置的低分辨子字典和高分辨子字典形成线性映射矩阵。
首先假设输入低分辨特征x，通过聚类中心(锚点)找到与低分辨特征x对应的低分辨子字典，乘以该低分辨子字典和高分辨子字典之间的线性映射矩阵F后，输出高分辨特征y。本步骤S22即利用步骤S21中求得的低分辨子字典和高分辨子字典来形成线性映射矩阵F。
本实施方式中利用脊回归算法根据低分辨子字典和高分辨子字典形成线性映射矩阵。
上述公式(8)中为与x最相似的锚点ck对应的第k个低分辨子字典，λ表示平衡重构误差的正则项的常数。对公式(8)进行求解得到：
输出的高分辨特征：
因此可得到第k个成对的低分辨子字典与高分辨子字典之间的线性映射矩阵：
采用同样的方法得到成对设置的低分辨子字典和高分辨子字典之间的线性映射矩阵，即获得低分辨图像块特征子集和高分辨图像块特征子集之间的线性映射矩阵，该线性映射矩阵即步骤S2中所说的线性映射关系，由于本实施方式中将图像块看作矩阵进行计算，因此得到的线性映射关系为矩阵形式。
三、对于S3：根据线性映射关系将低分辨率重构图像重构成高分辨率重构图像。
本步骤S3为在步骤S1和S2获得线性映射关系后，通过线性映射关系对低分辨率重构图像进行重构，得到高分辨率重构图像。本步骤S3相当于图像处理阶段，步骤S1、S2相当于机器学习阶段，因此本步骤S3中的对图像的操作均对应于步骤S1和S2中的操作，以保证图像处理的准确性。本步骤S3主要包括以下步骤S31-S34。
S31：从低分辨率重构图像提取低分辨率重构图像块的低分辨率重构图像块特征。
对应于步骤S1中的图像块特征的提取过程即步骤S11、S12，首先根据高分辨率重构图像和低分辨率重构图像的分辨倍数通过插值方式对低分辨率重构图像进行上采样，使低分辨率重构图像与高分辨率重构图像处于同于纬度。
然后，从上采样后的低分辨率重构图像提取低分辨率重构图像块的低分辨率重构图像块特征。可以类似于步骤S12，在低分辨率重构图像块特征的提取过程中，过滤掉低分辨率重构图像在上采样中通过插值方式形成的像素；可采用步骤S12中的算子对低分辨率重构图像块中的梯度特征进行提取。
S32：确定低分辨率重构图像块特征所对应的低分辨特征子空间。
对应于步骤S13，首先利用主成分分析法对低分辨率重构图像块特征进行维数约简；然后再确定维数约简后的低分辨率重构图像块特征所对应的低分辨训练图像块特征子集。
在确定对应的低分辨训练图像块特征子集的过程中，通过计算低分辨率重构图像块特征与多个低分辨率训练图像块特征子集的聚类中心的最邻近解来确定低分辨率重构图像块特征所对应的低分辨训练图像块特征子集。
S33：根据确定低分辨特征子空间的线性映射关系将低分辨率重构图像块特征映射成高分辨率重构图像块特征。
具体到本实施方式，即根据低分辨训练图像块特征子集的线性映射矩阵将低分辨率重构图像块特征映射成高分辨率重构图像块特征。
S34：将高分辨率重构图像块特征添加到低分辨率重构图像块中。
S35：根据添加后的低分辨率重构图像块形成高分辨率重构图像，即将添加后的低分辨率重构图像块重新组合形成高分辨率重构图像。
以上即本实施方式图像超分辨率重建方法的所有步骤。在本实施方式中利用步骤S1和S2进行机器学习，得到低分辨特征子空间和高分辨特征子空间之间的线性映射关系，然后在步骤S3中进行图像处理，基于线性映射关系，将低分辨率重构图像重构成高质量的高分辨率重构图像。
在使用本实施方式图像超分辨率重建方法时，可对多种形式的图像进行处理，并不局限于RGB图像。例如，由于人类视觉系统对亮度更为敏感，因此在对低分辨重构图像进行处理时，重点对其亮度进行处理。
在步骤S31中，将上采样后的低分辨率重构图像从RGB颜色空间转化成YCbCr颜色空间下的亮度图像、蓝色图像和红色图像。然后从亮度图像中提取低分辨率重构图像块的低分辨率重构图像块特征。
相应的在步骤S1、S2机器学习的过程中，低分辨训练图像和高分辨训练图像也分别为YCbCr颜色空间下的亮度图像。
在经过步骤S32-S34得到添加后的低分辨率重构图像块后，在步骤S35中根据添加后的低分辨率重构图像块重构亮度图像，并进一步将重构后的亮度图像与蓝色图像和红色图像从YCbCr颜色空间转换回RGB颜色空间，得到处理后的高分辨率重构图像。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。