基于非局部特征的多级高光谱图像递进超分方法及系统

1.本发明涉及高光谱图像处理技术，具体涉及一种基于非局部特征的多级高光谱图像递进超分方法及系统。


背景技术：

2.在高光谱图像中，光谱信息很丰富。高光谱图像被广泛应用于农产品的内外质量检测、矿产勘探和植被检测等领域。然而，由于高光谱成像传感器的硬件限制，高光谱图像的空间分辨率通常较低。这严重影响高光谱图像分类和目标检测等实际应用。因此，从低分辨率的高光谱图像重建高分辨率的高光谱图像尤为重要。与rgb图像相比，高光谱图像包含的波段多，且波段之间具有强相关性。因此，高光谱图像的超分辨率任务比自然图像(rgb图像)的超分辨率任务更难。许多超分辨率方法将高分辨率的辅助图像(如全色图像、rgb图像和多光谱图像)和低分辨率的高光谱图像相融合，以获得高分辨率的高光谱图像。这种方法可以取得良好的性能。然而，在实践中，这些融合方法由于缺乏辅助图像而受到限制。因此，单幅高光谱图像的超分辨率方法在实践中的应用更为广泛也更为灵活。
3.单幅高光谱图像超分辨率是从单一低分辨率图像重建高分辨率图像。传统的单幅图像超分辨率方法主要包括两类。第一类是插值法。基于插值的方法简单而快速，但重建的图像通常较为模糊。第二种是利用有效的空间或光谱统计分布作为先验，如全变分、稀疏正则化来描述边缘和纹理。然而，这些方法需要先验来获得更好的性能，而有效的先验通常很难获得。近年来，深度卷积神经网络(cnn)已被广泛应用于各种图像处理领域，并取得了好的成果。一些基于cnn的高光谱超分辨率方法已经被提出。如3d
‑
fcnn和mcnet等，它证明了cnn在图像超分辨率方面比传统方法更有优势，并且可以进行端到端的映射。但是大部分基于cnn的高光谱超分方法对非局部特征的提取不擅长。因此，如何联合提取图像局部和全局特征，重建更好的高光谱图像空间细节成为需要解决的问题。


技术实现要素：

4.本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于非局部特征的多级高光谱图像递进超分方法及系统，本发明在每一级实现了局部特征和全局特征的联合提取，能够有效地提升高光谱重建图像的空间分辨率，同时具有更高的重建质量。
5.为了解决上述技术问题，本发明采用的技术方案为：
6.一种基于非局部特征的多级高光谱图像递进超分方法，包括将低分辨率图像输入预先训练好的多级渐进网络来获得重建高分辨率图像，所述多级渐进网络包括初步特征提取模块、最终特征提取模块以及依次布置在初步特征提取模块、最终特征提取模块之间的多个基于局部和非局部特征的特征提取级模块，每一个特征提取级模块的输入经过本级特征提取后的特征图和初步卷积输出的特征图相加，再通过转置卷积上采样得到超分重建图像，然后再经过跨步卷积下采样输出至下一个特征提取级模块。
7.可选地，所述特征提取级模块包括多个局部和非局部特征提取模块和两组非对称
卷积，所述多个局部和非局部特征提取模块之间稠密连接，使得每一个局部和非局部特征提取模块的输出与特征提取级模块的原始输入以及前面所有局部和非局部特征提取模块输出的叠加，且叠加后的特征图通过1
×1×
1卷积降维后作为下一个局部和非局部特征提取模块或者两组非对称卷积的输入，所述两组非对称卷积依次级联连接，且每一组非对称卷积均包括1
×1×
3卷积层和3
×3×
1卷积层，且1
×1×
3卷积层和3
×3×
1卷积层后带有relu激活函数层。
8.可选地，所述局部和非局部特征提取模块包括依次相连的一个ghost模块、非局部通道注意力模块和另一个ghost模块，所述ghost模块用于提取局部特征，所述非局部特征提取模块用于提取非局部特征，且输出侧的ghost模块的输出与输入侧的ghost模块的原始输入通过残差连接。
9.可选地，所述ghost模块包括1
×1×
1的三维卷积和两个3
×3×
3卷积，将输入特征图通过1
×1×
1的三维卷积在通道维度上进行降维得到原来输入特征图数量的一半的特征图，降维后的特征图通过逐深度卷积，逐深度卷积在通道维度上分组之后分别使用3
×3×
3卷积进行特征提取，得到的特征图和降维得到的特征图在通道维进行拼接得到最终输出特征图，使得最终输出特征图与输入特征图在各维度相等。
10.可选地，所述非局部通道注意力模块包括：
11.求空间
‑
光谱梯度操作模块，用于对特征图在宽度、高度和光谱维度上求梯度特征图i
g
；
12.3个1
×1×
1的三维卷积，分别将梯度特征图i
g
进行线性操作得到特征图q、特征图k和特征图v，其中特征图k和特征图v均经过变形改变矩阵形状为bhw
×
c矩阵，特征图q经过改变形状并且转置得到c
×
bhw矩阵，其中h为重建高分辨率图像的高度、w为重建高分辨率图像的宽度、b为重建高分辨率图像的光谱波段数，c为重建高分辨率图像的通道数量；
13.注意力模块，用于对特征图k沿列进行softmax操作得到矩阵ks，将特征图q和矩阵ks相乘得到c
×
c矩阵，再对c
×
c矩阵沿行进行softmax操作得到注意力图，接着特征图v和注意力图做矩阵乘法来获取特征图的全局边缘特征，再通过残差连接将全局边缘特征与梯度特征图i
g
相加进一步加强特征图的边缘信息。
14.可选地，所述初步特征提取模块和最终特征提取模块均包括相互连接的3
×3×
3卷积层和relu激活函数层。
15.可选地，还包括预先训练多级渐进网络的步骤：
16.s1)从高光谱图像中选取一部分图像区域进行旋转、切块得到初始训练集，初始训练集中每张高光谱图像块大小为h
×
w
×
b；对初始训练集中的高分辨率图像块进行高斯模糊以及降采样操作，得到不同下采样级别的低分辨率图像，再将初始训练集和下采样得到的高光谱低分辨率图像组成不同超分倍数的训练集和测试集；
17.s2)构建所述多级渐进网络；
18.s3)将训练集输入多级渐进网络中进行训练，同时使用mse损失和光谱梯度损失优化网络，使用adam优化器迭代更新多级渐进网络中所有层的权重，保存训练好的多级渐进网络中每层的权重；
19.s4)利用测试集测试所述多级渐进网络，将测试集中的低分辨率高光谱图像作为多级渐进网络的输入得到高光谱超分辨率图像，对输出的高光谱超分辨率图像视觉质量和
参考指标进行评价，如果评价结果满足要求，则判定多级渐进网络训练完毕；否则，跳转执行步骤s3)继续对多级渐进网络进行训练。
20.可选地，步骤s3)中使用mse损失和光谱梯度损失优化网络时，采用的损失函数的函数表达式为：
[0021][0022][0023]
上式中，loss
total
表示损失函数，n为多级渐进网络中包含的特征提取级模块的数量，l
mse
为mse损失，l
g
为光谱梯度损失，i
hr
代表参考图像，i
n
代表第n个特征提取级模块输出的重建图像；i
hr
(i,j,k)为参考图像i
hr
的坐标为(i,j,k)的像素点，i
n
(i,j,k)为第n个特征提取级模块输出的重建图像i
n
的坐标为(i,j,k)的像素点，i
ghr
为参考图像在光谱维度的梯度，i
gn
为第n级重建图像在光谱维度的梯度。
[0024]
此外，本发明还提供一种基于局部和非局部特征的多级高光谱图像递进超分系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行所述基于非局部特征的多级高光谱图像递进超分方法的步骤。
[0025]
此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行所述基于非局部特征的多级高光谱图像递进超分方法的计算机程序。
[0026]
和现有技术相比，本发明具有下述优点：本发明方法包括将低分辨率图像输入预先训练好的多级渐进网络来获得重建高分辨率图像，多级渐进网络包括初步特征提取模块、最终特征提取模块以及依次布置在初步特征提取模块、最终特征提取模块之间的多个基于局部和非局部特征的特征提取级模块，每一个特征提取级模块的输入经过本级特征提取后的特征图和初步卷积输出的特征图相加，再通过转置卷积上采样得到超分重建图像，然后再经过跨步卷积下采样输出至下一个特征提取级模块。本发明在每一级实现了局部特征和全局特征的联合提取，能够有效地提升高光谱重建图像的空间分辨率，同时具有更高的重建质量。
附图说明
[0027]
图1为本发明实施例中多级渐进网络的结构示意图。
[0028]
图2为本发明实施例中特征提取级模块的结构示意图。
[0029]
图3为本发明实施例中ghost模块的结构示意图。
[0030]
图4为本发明实施例中非局部通道注意力模块的结构示意图。
[0031]
图5为本发明实施例中多级渐进网络的训练流程示意图。
[0032]
图6为本发明实施例中多级渐进网络的损失函数原理示意图。
[0033]
图7为本发明实施例中chikusei数据集在4倍下采样级别下的各个方法高光谱图像超分辨率模拟实验图像结果。
[0034]
图8为本发明实施例中chikusei数据集真实高光谱图像4倍超分辨率实验图像结果。
具体实施方式
[0035]
下面结合附图和实验对本发明做进一步的说明。
[0036]
如图1所示，本实施例基于非局部特征的多级高光谱图像递进超分方法包括将低分辨率图像输入预先训练好的多级渐进网络来获得重建高分辨率图像，多级渐进网络包括初步特征提取模块、最终特征提取模块以及依次布置在初步特征提取模块、最终特征提取模块之间的多个基于局部和非局部特征的特征提取级模块，每一个特征提取级模块的输入经过本级特征提取后的特征图和初步卷积输出的特征图相加，再通过转置卷积上采样得到超分重建图像，然后再经过跨步卷积下采样输出至下一个特征提取级模块。
[0037]
如图2所示，本实施例的特征提取级模块包括多个局部和非局部特征提取模块和两组非对称卷积，多个局部和非局部特征提取模块之间稠密连接(可充分利用模块与模块之间的特征信息，有利于消除梯度消失，增强前向传播)，使得每一个局部和非局部特征提取模块的输出与特征提取级模块的原始输入以及前面所有局部和非局部特征提取模块输出的叠加，且叠加后的特征图通过1
×1×
1卷积降维(保证模块中特征图通道维度一致)后作为下一个局部和非局部特征提取模块或者两组非对称卷积的输入，两组非对称卷积依次级联连接，且每一组非对称卷积均包括1
×1×
3卷积层和3
×3×
1卷积层，且1
×1×
3卷积层和3
×3×
1卷积层后带有relu激活函数层。本实施例中通过两组非对称卷积代替普通三维卷积，可以有效减少参数量，同时不损失特征提取性能。两组非对称卷积在每一个卷积之后都加relu激活函数，加快收敛速度，防止梯度消失和梯度爆炸。
[0038]
如图2所示，本实施例的局部和非局部特征提取模块包括依次相连的一个ghost模块、非局部通道注意力模块和另一个ghost模块，ghost模块用于提取局部特征，所述非局部特征提取模块用于提取非局部特征，且输出侧的ghost模块的输出与输入侧的ghost模块的原始输入通过残差连接。将2个ghost模块和1个非局部通道注意力模块通过残差连接得到局部和非局部特征提取模块，用于有效提取特征图局部和全局特征信息。
[0039]
如图3所示，本实施例的ghost模块包括1
×1×
1的三维卷积和两个3
×3×
3卷积，将输入特征图通过1
×1×
1的三维卷积在通道维度上进行降维得到原来输入特征图数量的一半的特征图，降维后的特征图通过逐深度卷积，逐深度卷积在通道维度上分组之后分别使用3
×3×
3卷积进行特征提取，得到的特征图和降维得到的特征图在通道维进行拼接得到最终输出特征图，使得最终输出特征图与输入特征图在各维度相等。上述结构可有效利用在卷积过程中特征图存在的冗余，减少了普通卷积在卷积过程中的巨大参数量，充分利用了特征图信息。
[0040]
如图4所示，本实施例的非局部通道注意力模块包括：
[0041]
求空间
‑
光谱梯度操作模块，用于对特征图在宽度、高度和光谱维度上求梯度特征图i
g
；
[0042]
3个1
×1×
1的三维卷积，分别将梯度特征图i
g
进行线性操作得到特征图q、特征图k和特征图v，其中特征图k和特征图v均经过变形(reshape)改变矩阵形状为bhw
×
c矩阵，特征图q经过改变形状并且转置得到c
×
bhw矩阵，其中h为重建高分辨率图像的高度、w为重建
高分辨率图像的宽度、b为重建高分辨率图像的光谱波段数，c为重建高分辨率图像的通道数量；
[0043]
注意力模块，用于对特征图k沿列进行softmax操作得到矩阵ks，将特征图q和矩阵ks相乘得到c
×
c矩阵，再对c
×
c矩阵沿行进行softmax操作得到注意力图，接着特征图v和注意力图做矩阵乘法来获取特征图的全局边缘特征，再通过残差连接将全局边缘特征与梯度特征图i
g
相加进一步加强特征图的边缘信息。
[0044]
本实施例中，求空间
‑
光谱梯度操作模块对特征图在宽度、高度和光谱维度上求梯度特征图i
g
具体的做法在三个维度的相邻值上作差并且求绝对值，然后再求平均值得到特征图的梯度特征图i
g
，其函数表达式为：
[0045]
i
g
(i,j,k)＝[|i(i,j,k)
‑
i(i
‑
1,j,k)|+|i(i,j,k)
‑
i(i,j
‑
1,k)|+|i(i,j,k)
‑
i(i,j,k
‑
1)|]/3
[0046]
上式中，i
g
(i,j,k)为i(i,j,k)处的梯度，i(i,j,k)是特征图i中元素(i,j,k)的坐标，i(i
‑
1,j,k)是特征图i中元素(i
‑
1,j,k)的坐标，i(i,j
‑
1,k)是特征图i中元素(i,j
‑
1,k)的坐标，i(i,j,k
‑
1)是特征图i中元素(i,j,k
‑
1)的坐标，所有的i
g
(i,j,k)构成了梯度特征图i
g
。
[0047]
本实施例中，对c
×
c矩阵沿行进行softmax操作得到注意力图的函数表达式为：
[0048][0049]
上式中，m
ij
代表注意力图m中的坐标为(i,j)像素，q
i
为特征图q中的第i个元素，k
sj
为矩阵ks中的第j个元素。
[0050]
如图1所示，本实施例的初步特征提取模块和最终特征提取模块均包括相互连接的3
×3×
3卷积层和relu激活函数层。
[0051]
如图5所示，本实施例还包括预先训练多级渐进网络的步骤：
[0052]
s1)从高光谱图像中选取一部分图像区域进行旋转、切块得到初始训练集，初始训练集中每张高光谱图像块大小为h
×
w
×
b；对初始训练集中的高分辨率图像块进行高斯模糊以及降采样操作，得到不同下采样级别的低分辨率图像，再将初始训练集和下采样得到的高光谱低分辨率图像组成不同超分倍数的训练集和测试集；
[0053]
s2)构建所述多级渐进网络；
[0054]
s3)将训练集输入多级渐进网络中进行训练，同时使用mse损失和光谱梯度损失优化网络，使用adam优化器迭代更新多级渐进网络中所有层的权重，保存训练好的多级渐进网络中每层的权重；
[0055]
s4)利用测试集测试所述多级渐进网络，将测试集中的低分辨率高光谱图像作为多级渐进网络的输入得到高光谱超分辨率图像，对输出的高光谱超分辨率图像视觉质量和参考指标进行评价，如果评价结果满足要求，则判定多级渐进网络训练完毕；否则，跳转执行步骤s3)继续对多级渐进网络进行训练。
[0056]
本实施例通过在网络模型构建上对每一级的重建图像进行监督，在每一级进行监督优化，使得多级网络的建模更加合理。本实施例中，步骤s3)中使用mse损失和光谱梯度损失优化网络时，采用的损失函数的函数表达式为：
[0057][0058][0059]
上式中，loss
total
表示损失函数，n为多级渐进网络中包含的特征提取级模块的数量，l
mse
为mse损失，l
g
为光谱梯度损失，i
hr
代表参考图像，i
n
代表第n个特征提取级模块输出的重建图像；i
hr
(i,j,k)为参考图像i
hr
的坐标为(i,j,k)的像素点，i
n
(i,j,k)为第n个特征提取级模块输出的重建图像i
n
的坐标为(i,j,k)的像素点，i
ghr
为参考图像在光谱维度的梯度，i
gn
为第n级重建图像在光谱维度的梯度。损失函数loss
total
为最终神经网络优化的目标函数，用于评价参考图像和重建图像之间的差别，如图6所示，损失函数loss
total
由所有级别的重建图像和参考图像之间的损失总和组成。对于每一特征提取级模块输出的重建图像，本实施例中都使用参考图像进行监督，可以减轻在多级深度网络中存在的梯度消失问题，最大程度的优化网络参数，得到最佳重建图像结果。
[0060]
下面结合仿真实验对本实施例做进一步说明：
[0061]
本实施例的仿真实验的硬件平台：处理器为inter(r)core(tm)i7
‑
7800x cpu、主频为3.50ghz、显卡为nvidia gtx 1080ti gpu。
[0062]
本实施例的仿真实验的软件平台：python3.8和pytorch1.8.1。
[0063]
本实施例仿真实验采用cave数据集和chikusei数据集的图像来证明检验提出的多级渐进网络的实用性和有效性。其中cave数据集中的高光谱图像有31个光谱波段，chikusei数据集中的高光谱图像存在128个光谱波段。本实施例实验给出了模拟图像超分辨率实例和真实图像超分辨率实例，其中模拟实例中的低分辨率图像通过对高分辨率图像进行高斯下采样得到。真实图像实例则是将原始高光谱图像送入由模拟实例训练得到的模型，得到的超分图像。本实施例将与双三次插值法(bicubic)，自然图像超分辨率方法srcnn、vdsr，高光谱图像超分辨率方法3d
‑
fcnn、mcnet进行对比。为了证明本实施例在光谱和空间质量方面的优越性，本实施例采用了三个常用的图像评价指标。平均峰值信噪比(mpsnr)和平均结构相似度(mssim)用于评价空间质量，光谱角制图(sam)用于评价光谱质量。mpsnr评估像素误差，而mssim描述结构相似性。sam通过重建的高光谱图像的光谱向量与地面真实光谱向量之间的角度来衡量光谱相似性。更高的mpsnr和mssim值意味着更好的质量，而更低的sam值意味着更少的光谱失真。不同方法的超分辨率结果的客观评价指标如表1、表2所示。
[0064]
表1：cave数据集中测试集的平均超分辨率结果评价指标。
[0065][0066][0067]
表2：chikusei数据集中测试集的平均超分辨率结果评价指标。
[0068][0069]
由表1和表2在不同上采样级别的重建图像评价指标分析可知，本实施例方法在cave数据集和chikusei数据集上所有指标都处于领先。
[0070]
模拟高光谱图像超分辨率实验分析：除了对客观评价指标的分析，本实施例还对超分辨率输出图像的视觉质量进行评价。图7展示了chikusei数据集上的参考图像和低分辨率图像在各个方法的输出图像。其中，图7中的(a)代表参考图像，图7中的(b)～(g)分别代表bicubic、srcnn、3d
‑
fcnn、vdsr、mcnet和本实施例方法的输出重建图像。与参考图像相比图7中的(b)～(d)的重建图像边缘细节丢失严重。图7中的(e)、(f)显示的重建图像细节存在模糊，没有较好的视觉效果。图7中的(g)可以看出本实施例在边缘细节上恢复的优势，整体视觉效果最为接近参考图像。
[0071]
真实高光谱图像超分辨率实验分析：图8展示了chikusei数据集的原始高光谱图像超分辨率结果。其中，图8中的(a)代表输入的原始图像，图8中的(b)～(g)分别代表bicubic、srcnn、3d
‑
fcnn、vdsr、mcnet和本实施例方法的输出重建图像，所采用的权重参数模型与模拟实验保持一致。图8中的(g)可以看出本实施例在边界修复上的优势，它具有最清晰的重建边界。而其他方法都存在模糊和失真等现象，导致细节复原不佳。
[0072]
此外，本实施例还提供一种基于非局部特征的多级高光谱图像递进超分系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行前述基于非局部特征的多级高光谱图像递进超分方法的步骤。
[0073]
此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行前述基于非局部特征的多级高光谱图像递进超分方法的计算机程序。
[0074]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0075]
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。