无级缩放超分辨率图像的重建方法与流程

本发明属于图像重建技术领域，具体涉及一种无级缩放超分辨率图像的重建方法。

背景技术：

当前，图像分辨率会受到成像系统、拍摄环境等因素的影响，得到的图像分辨率往往无法满足人们的需求。然而，目前光学成像系统及其探测器又受限于技术水平及加工复杂度，无法从硬件角度改善系统成像质量。因此，图像超分辨率重建技术的出现，打破了图像分辨率的限制。通过软件处理的方式从一幅或者多幅退化的低分辨率图像中，计算出一幅高分辨率图像，获得更加丰富的细节信息。目前超分辨率重建技术广泛应用于图像处理及光学成像领域，得到了人们的重视。

目前，基于学习的稀疏表示图像超分辨率重建算法可以有效提高图像的分辨率，并且对图像进行放大倍率为3的尺度放大。然而，在某些特定情况下，经过该方法得到的高分辨率图像达不到所需的尺度要求。

因此，如何提供一种图像重建方法使得获得的超分辨率重建图像可以进行任意尺度的变换，以达到相关工业要求变得至关重要。

技术实现要素：

为了解决现有技术中存在的上述问题，本发明提供了一种无级缩放超分辨率图像的重建方法，包括如下步骤：

步骤1，对高分辨率样本图像按照退化模型进行模糊处理和n倍下采样，获得低分辨率样本图像；

步骤2，采用k-svd方法，利用所述低分辨率样本图像进行字典训练，得到高分辨字典和低分辨率字典；

步骤3，对待重建的低分辨率图像进行预处理得到若干个低分辨率图像块；

步骤4，利用所述低分辨率样本图像计算固定阈值；

步骤5，判断每一个所述低分辨率图像块的像素值是否小于所述固定阈值；若是，则判定该所述低分辨率图像块为低信息量图像块；若否，则判定该所述低分辨率图像块为高信息量图像块；

步骤6，将所述高信息量图像块采用基于字典学习与稀疏表示算法重建得到高信息量重建子区域；

步骤7，将所述低信息量图像块采用插值算法进行重建得到低信息量重建子区域；

步骤8，将所述高信息量子区域与所述低信息量重建子区域进行图像拼接得到超分辨率重建图像；

步骤9，采用插值算法将所述超分辨率重建图像进行m倍插值得到n*m(n＝2,3,4；m>0)倍的超分辨率重建图像。

在本发明的一个实施例中，所述步骤2包括如下步骤：

(21)通过特征提取方法提取所述低分辨率样本图像的图像特征，得到空间目标的高分辨率特征信息和低分辨率特征信息。

(22)利用所述k-svd方法，对所述高分辨率特征信息和所述低分辨率特征信息进行联合训练，得到所述高分辨率字典和所述低分辨率字典。

在本发明的一个实施例中，所述步骤(22)包括如下步骤:

(221)利用稀疏k-svd方法训练低分辨率字典；

(222)计算高分辨率字典。

在本发明的一个实施例中，所述步骤3包括如下步骤：

(31)对所述待重建的低分辨率图像去噪声得到第一图像；

(32)将所述第一图像去模糊得到第二图像；

(33)将所述第二图像按照固定长宽进行分割、保存处理，形成所述低分辨率图像块。

在本发明的一个实施例中，所述步骤4包括如下步骤：

(41)将所述低分辨率样本图像进行区块分割得到低分辨率样本图像块；

(42)利用边缘提取算法提取所述低分辨率样本图像块的边缘信息，统计各所述低分辨率样本图像块的像素值和所有所述低分辨率样本图像块的像素值分布情况；

(43)根据所述各低分辨率样本图像块的像素值和所有所述低分辨率样本图像块的像素值分布情况选取x(x>1)个候选阈值；

(44)对每个所述候选阈值利用基于学习的稀疏表示图像超分辨率重建算法进行计算形成多个高分辨率候选图像；

(45)根据所述基于学习的稀疏表示图像超分辨率重建算法的运算时间及对应形成的所述高分辨率候选图像的分辨率，从x个候选阈值中选择所述信息量阈值。

在本发明的一个实施例中，所述边缘提取算法为canny算子边缘检测算法。

在本发明的一个实施例中，所述步骤6包括如下步骤:

(61)针对所述高信息量图像块进行图像滤波处理，并进行高频特征提取获得高频信息；

(62)利用所述高频信息对所述高信息量图像块进行kpca降维，实现高维数据压缩；

(63)采用omp算法对降维压缩后的数据进行重建得到所述高信息量重建子区域。

在本发明的一个实施例中，所述图像滤波操作采用二维滤波算子滤波器组，所述滤波器组为f＝{f1,f2,f3,f4}，其中，

f1＝[1,-1],f2＝f1^t

f3＝log,f3＝f3^t

t为矩阵转置操作，log为5×5的二维滤波算子。

在本发明的一个实施例中，所述步骤(63)包括如下步骤：

(631)根据所述omp算法计算稀疏表示系数β，其中，

其中，y为降维解压后的数据，t0为给定的稀疏度，βi为矩阵β中的子元素；

(632)将所述稀疏表示系数β与所述高分辨率字典相乘，得到所述高信息量重建子区域。

在本发明的一个实施例中，所述插值算法为双三次插值算法。

本发明实施例具有如下有益效果，

1、本发明实施例提出建立图像库训练字典的方法，将图像集离线训练字典库，得到高分辨率图像与低分辨率图像的映射关系，优化图像重建步骤，有效减少方法运行时间，具有自适应性和高效性。

2、本发明获得的超分辨率重建图像可以进行任意大小的尺度变换。在工程应用中可以满足不同的情况下的需求，有较好的适用性。

3、本发明中方法中的阈值是基于大量对比试验后进行优化固定，在处过程中不需要进行改变，在不影响图像重建效果的情况下，有效的提高了图像重建效率。

4、依据超分辨率重建后的图像再进行缩放，由于算法重构了高频信息，对于缩放效果会更好。

附图说明

图1为本发明实施例提供的一种无级缩放超分辨率图像的重建方法流程示意图；

图2为本发明实施例提供的一种字典训练原理示意图；

图3为本发明实施例提供的一种无级缩放超分辨率图像的重建方法原理示意图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例一

请参见图1、图2和图3，图1为本发明实施例提供的一种无级缩放超分辨率图像的重建方法流程示意图；图2为本发明实施例提供的一种字典训练原理示意图；图3为本发明实施例提供的一种无级缩放超分辨率图像的重建方法原理示意图。该无级缩放超分辨率图像的重建方法，包括如下步骤：

步骤1，对高分辨率样本图像按照退化模型进行模糊处理和n倍下采样，获得低分辨率样本图像；

步骤2，采用k-svd方法，利用所述低分辨率样本图像进行字典训练，得到高分辨字典和低分辨率字典；

其中，步骤1和步骤2建立图像库训练字典的方法，将图像集离线训练字典库，得到高分辨率图像与低分辨率图像的映射关系，优化图像重建步骤，有效减少方法运行时间，具有自适应性和高效性。

步骤3，对待重建的低分辨率图像进行预处理得到若干个低分辨率图像块；

步骤4，利用所述低分辨率样本图像计算固定阈值；

步骤5，判断每一个所述低分辨率图像块的像素值是否小于所述固定阈值；若是，则判定该所述低分辨率图像块为低信息量图像块；若否，则判定该所述低分辨率图像块为高信息量图像块；

其中，步骤5在保证重建质量的同时，显著提高了重建速度，适合对时间性能要求较高的应用。

步骤6，将所述高信息量图像块采用基于字典学习与稀疏表示算法重建得到高信息量重建子区域；

其中，基于学习的稀疏表示重建方法避免了近邻数目的人为选择，重建效果较好。

步骤7，将所述低信息量图像块采用插值算法进行重建得到低信息量重建子区域；

步骤8，将所述高信息量子区域与所述低信息量重建子区域进行图像拼接得到超分辨率重建图像；

步骤9，采用插值算法将所述超分辨率重建图像进行m倍插值得到n*m(n＝2,3,4；m>0)倍的超分辨率重建图像。

具体地，所述步骤2包括如下步骤：

(21)通过特征提取方法提取所述低分辨率样本图像的图像特征，得到空间目标的高分辨率特征信息和低分辨率特征信息。

(22)利用所述k-svd方法，对所述高分辨率特征信息和所述低分辨率特征信息进行联合训练，得到所述高分辨率字典和所述低分辨率字典。

其中，所述步骤(22)包括如下步骤:

(221)利用稀疏k-svd方法训练低分辨率字典；

(222)计算高分辨率字典。

具体地，所述步骤3包括如下步骤：

(31)对所述待重建的低分辨率图像去噪声得到第一图像；

(32)将所述第一图像去模糊得到第二图像；

(33)将所述第二图像按照固定长宽进行分割、保存处理，形成所述低分辨率图像块。

具体地，所述步骤4包括如下步骤：

(41)将所述低分辨率样本图像进行区块分割得到低分辨率样本图像块；

(42)利用边缘提取算法提取所述低分辨率样本图像块的边缘信息，统计各所述低分辨率样本图像块的像素值和所有所述低分辨率样本图像块的像素值分布情况；

(43)根据所述各低分辨率样本图像块的像素值和所有所述低分辨率样本图像块的像素值分布情况选取x(x>1)个候选阈值；

(44)对每个所述候选阈值利用基于学习的稀疏表示图像超分辨率重建算法进行计算形成多个高分辨率候选图像；

(45)根据所述基于学习的稀疏表示图像超分辨率重建算法的运算时间及对应形成的所述高分辨率候选图像的分辨率，从x个候选阈值中选择所述信息量阈值。

优选地，所述边缘提取算法为canny算子边缘检测算法；

再者，所述步骤6包括如下步骤:

(61)针对所述高信息量图像块进行图像滤波处理，并进行高频特征提取获得高频信息；

(62)利用所述高频信息对所述高信息量图像块进行kpca降维，实现高维数据压缩；

(63)采用omp算法对降维压缩后的数据进行重建得到所述高信息量重建子区域。

进一步的，所述图像滤波操作采用二维滤波算子滤波器组，所述滤波器组为f＝{f1,f2,f3,f4}，其中，

f1＝[1,-1],f2＝f1^t

f3＝log,f3＝f3^t

t为矩阵转置操作，log为5×5的二维滤波算子。

进一步的，所述步骤(63)包括如下步骤：

(631)根据所述omp算法计算稀疏表示系数β，其中，

其中，y为降维解压后的数据，t0为给定的稀疏度，βi为矩阵β中的子元素。

(632)将所述稀疏表示系数β与所述高分辨率字典相乘，得到所述高信息量重建子区域。

优选地，所述的插值算法为双三次插值算法。还可以采用例如线性插值、最邻近元法、双线性内插法等。

本实施例具有如下优点：

1、本发明实施例提出建立图像库训练字典的方法，将图像集离线训练字典库，得到高分辨率图像与低分辨率图像的映射关系，优化图像重建步骤，有效减少方法运行时间，具有自适应性和高效性。

2、本发明获得的超分辨率重建图像可以进行任意大小的尺度变换。在工程应用中可以满足不同的情况下的需求，有较好的适用性。

3、本发明中方法中的阈值是基于大量对比试验后进行优化固定，在处过程中不需要进行改变，在不影响图像重建效果的情况下，有效的提高了图像重建效率。

实施例二

在上述实施例一的基础上，本实施例提供另一种无级缩放超分辨率图像的重建方法，包含字典训练过程、图像重建过程、尺度变化过程三个处理步骤。具体包括如下步骤：

s1:字典重建过程。

s11：利用大量高分辨率样本图像，将高分辨率图像按照修正后的退化模型进行模糊和n倍下采样，得到相应的低分辨率样本图像。

s12：对步骤1获得的低分辨率样本图像通过特征提取方法提取图像特征，得到空间目标的高低分辨率特征信息即xs和ys。

s13：利用k-svd方法，对高低分辨率特征信息进行联合训练，得到高低分辨率字典。

s13a：训练低分辨率字典。基字典φ选择过完备dct字典，利用稀疏k-svd方法求解：

则低分辨率字典dl＝φw，w是一个原子表示矩阵。与解析字典模型相比，双稀疏字典模型通过对w的修改提供了自适应性。

s13b：计算高分辨率字典。假设高分辨率—低分辨率图像块在高分辨率—低分辨率字典对下具有相同的稀疏表示系数a，则可以通过最小化以下公式中的逼近误差来计算高分辨率字典dh：

使用伪逆求解：

dh＝xsa⁺＝xsa^t(aa^t)^-1(3)

其中，上标“+”表示伪逆。

s2图像重建过程。

s21：对待重建的低分辨率图像进行预处理，其中主要包括图像去噪、图像去模糊和样本分块操作。其处理步骤为：

s21a：对待重建的低分辨率图像去噪声；

s21b：对步骤s21a得到的图像去模糊；

s21c：对步骤s21b得到的图像进行区块划分，将整幅图像按照固定长宽进行分割、保存；

s22：利用步骤s11中获得的低分辨率样本图像计算固定阈值，具体处理步骤如下：

s22a：将步骤s11中得到的大量低分辨率样本图像进行区块分割获得图像块，图像块的长宽同步骤s21c；

s22b：利用边缘提取算法提取图像块边缘信息，统计各图像块的信息量及所有图像块的信息量分布情况；

s22c：选取图像块中信息量最高的，获取该图像块的像素值为f1，取f＝f1/4，则f*40％<＝阈值<＝f*60％，取该范围内若干代表阈值，例如，额可以取如下代表阈值：f*40％，f*45％，f*50％，f*55％，f*60％，计算每个阈值点对应的基于学习的稀疏表示图像超分辨率重建算法的重建时间和重建后图像的分辨率，可以根据主观评价和psnr来判断。然后根据使用者需求从若干代表阈值中确定固定阈值，如使用者需求更注重时间，那就调高比例，时间就快；相反使用者如果注重重建效果，那就调低比例，带来的就是重建效果较好但时间较长。例如，经计算后f*50％最符合使用者需求，则取固定阈值＝f*50％。

s22d：输入步骤s21获得的待重建的低分辨率图像块，采用边缘提取算法提取图像块边缘信息，当该图像块信息量不超过步骤s22c确定的固定阈值时该图像块为低信息量图像块；否则，为高信息量图像块。优选地，所述边缘提取算法为canny算子边缘检测算法。

s23：针对高信息量图像块进行图像滤波操作，进行高频特征提取，采用二维滤波算子滤波器组，所用滤波器组为f＝{f1,f2,f3,f4}，其由四个不同的滤波器组成，分别为：

f1＝[1,-1],f2＝f1^t

(4)

f3＝log,f3＝f3^t

(5)

其中上角标t表示矩阵转置操作，log代表一种5×5的二维滤波算子。经过高频特征提取操作后获得图像块高频信息，以xl表示。

s24：对步骤s23获得的图像块进行kpca降维，实现高维数据压缩。降维步骤如下：

s24a：将高维数据集合表示为x＝{x1,x2,x3,…,xm},xi∈r^d，kpca方法经过非线性映射函数x→φ(x)∈f，其中f是特征空间，这样便能将每个数据x映射到一个高维特征空间。

s24b：核函数通过φ将进行一个点x到f的对应操作，并且由此获得的f数据满足中心化的条件，即：

则特征空间f中的协方差矩阵为：

s24c：求c的特征值λ≥0以及特征向量

v∈f\{0},cv＝λv(8)

则有

(φ(xv)·cv)＝λ(φ(xv)·v)(9)

考虑到所有的特征向量可表示为φ(x1),φ(x2),…,φ(xm)的线性组合，即：

则有：

式中，v＝1,2,3,…,m，定义m×m维矩阵kμv

kμv:＝(φ(xμ)·φ(xv))(12)

s24d：求解上式得到特征值及特征向量，对于数据集合在特征向量空间v^k的投影可以写成：

那么，数据被投影到协方差矩阵的特征向量v^k上，投影结果(也就是低维数据的表示y)可以表示为：

s25:对经过步骤s24降维压缩后的数据进行基于学习的稀疏表示图像超分辨率重建，具体步骤如下：

s25a：采用omp算法对步骤s24d获得的低维数据y在低分辨率字典dl下的稀疏表示系数β，即求解如下方程：

其中t0为给定的稀疏度，βi为矩阵β中的子元素。

s25b：将求得的稀疏表示系数β与高分辨率字典dh相乘，得到重建的高信息量重建子区域，即：

x＝dhβ

其中x为求得的超分辨率子区域。

s26：将步骤22d获得的低信息量图像块采用双三次插值算法进行重建得到低信息量重建子区域；

s27：将高信息量子区域与所述低信息量重建子区域进行图像拼接得到超分辨率重建图像；

s28：采用双三次插值算法将所述超分辨率重建图像进行m倍插值得到n*m(n＝2,3,4；m>0)倍的超分辨率重建图像。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或或替换，都应当视为属于本发明的保护范围。