一种基于AGDRN网络的高光谱图像重建方法及装置

一种基于agdrn网络的高光谱图像重建方法及装置
技术领域
1.本发明涉及高光谱计算成像领域，尤其是涉及一种基于agdrn网络的高光谱图像重建方法及装置。


背景技术：

2.高光谱成像技术是将计算成像与光谱技术相结合的多维信息获取技术，能够同时获得场景的空间信息和光谱信息。与普通的彩色图像相比，三维的高光谱图像波段覆盖范围更广，波长分辨率也更高，因此包含更丰富的光谱细节信息，被广泛应用于遥感成像、医学诊断和计算机视觉领域。cassi(coded aperture snapshot spectral imaging，编码孔径快照光谱成像)是一种新兴的高光谱成像技术，基于压缩感知采样理论，其仅用少量压缩测量结果就能捕获图像的空间光谱信息，而成为该领域重要的发展方向之一。cassi使用编码孔径与棱镜对高光谱图像进行空间与光谱调制，获取包含大部分图像信息的二维压缩测量，再使用重建技术重建得到三维高光谱图像。cassi技术的瓶颈之一就在于如何准确地从二维压缩测量重建三维高光谱图像。
3.受到深度学习在其他计算成像领域的应用启发，研究人员开始将cnn(convolutional neural network，卷积神经网络)引入cassi重建。传统的cnn由于其卷积核的感受野有限，在捕获长距离相关性上有着固有局限性；其次当网络层数较深时，会出现梯度消失等问题，让网络难以训练，并丢失低频信息，降低重建精度。目前的主流做法是通过引入注意力机制与cnn结合，在重建过程中捕获特征图的长距离相关性；以及使用包含跳连接的网络结构作为重建网络的骨架，使得低频信息能够保留到深层网络中。与一般图像重建问题相比，高光谱图像重建问题有独特的数据特征：如其波段数更多更窄，因而其光谱维相关性很高，同时由于信息被分散到各个波段，每个光谱波段内的空间维信息分布较为稀疏；高光谱图像数据量远大于常见的灰度或彩色图像；cassi将三维高光谱图像压缩为二维测量，因此信息压缩率很高。为此需要设计针对性的高效注意力模块和网络结构用于充分提取和传递特征信息。


技术实现要素：

4.本发明的目的就是为了提供一种基于agdrn网络的高光谱图像重建方法及装置，赋予网络在不同模块间传递不同频率水平的特征信息的能力，从而保留低频细节信息并解决梯度消失问题；同时，通过新型sspa注意力机制高效发掘压缩测量数据的内在关联，并与卷积层结合，通过计算全局注意力来捕获长距离相关性，并通过自适应生成不同区域的重要性权重，增强网络的辨别性学习能力。
5.本发明的目的可以通过以下技术方案来实现：
6.一种基于agdrn网络的高光谱图像重建方法，包括以下步骤：
7.获取cassi系统采集的压缩测量数据；
8.构建基于agdrn主干网络的端到端重建网络并进行训练，所述agdrn主干网络包括
依次连接的特征映射层、特征处理模块和特征重建层，特征处理模块的顶层层次由一个全局跳连接跨过多个特征处理组以及一个卷积层组成，每个特征处理组由一个组级跳连接跨过一个残差注意力块、多个残差卷积块和一个卷积层组成，每个残差注意力块由一个局部跳连接跨过sspa注意力块组成，每个残差卷积块由一个局部跳连接跨过多个卷积层组成；
9.将压缩测量数据输入端到端重建网络，得到重建的高光谱图像。
10.所述特征映射层由一层卷积层实现，用于将压缩测量数据映射到特征空间：
11.xm＝conv(y)
12.其中，y是cassi系统采集的压缩测量数据，conv表示卷积操作，xm是初步映射到特征空间的特征图。
13.所述特征处理模块的顶层层次处理过程为：
14.x
p
＝conv(ga(...g2(g1(xm))...))+xm15.其中，ga()表示第a个特征处理组，x
p
表示特征处理模块的输出。
16.每个特征处理组的处理过程为：
17.g(f)＝conv(rb(...r2(r1(attn(f)))...))+f
18.其中，conv表示卷积操作，attn()表示残差注意力块，rb()代表第b个残差卷积块，f表示特征处理组的输入特征图。
19.每个残差注意力块的处理过程为：
20.attn(f1)＝sspa(f1)+f121.其中，f1表示残差注意力块的输入特征图，sspa是空间-光谱分块注意力，包括依次连接的光谱注意力子模块和空间注意力子模块：
22.sspa(f1)＝as(ac(f1))
23.其中，as()代表空间注意力子模块，ac()代表光谱注意力子模块。
24.所述光谱注意力子模块执行如下操作赋予特征图各光谱通道不同的注意力权重：
25.ac(f1)＝f1⊙cσ(mlp(max(f1))+mlp(avg(f1)))
26.其中，max()和avg()分别代表最大池化层和平均池化层，mlp表示多层感知机，σ()表示sigmoid激活函数，
⊙c表示按通道点乘。
27.所述空间注意力子模块执行如下操作生成逐光谱通道的注意力图：
28.as(f1′
)＝f1′⊙
p
σ(mlp(conv(f1′
)))
29.其中，conv表示卷积操作，mlp表示多层感知机，σ()表示sigmoid激活函数，
⊙
p
表示按空间块点乘，f1’
表示空间注意力子模块的输入，即光谱注意力子模块的输出特征图。
30.每个残差卷积块的处理过程为：
31.r(f2)＝conv(relu(conv(f2)))+f232.其中，relu()表示激活函数，conv表示卷积操作，f2表示残差卷积块的输入。
33.所述特征重建层与特征映射层相反，使用一层卷积将特征处理模块的输出还原为重建高光谱图像：
34.xr＝conv(x
p
)
35.其中，xr表示端到端重建网络输出的重建高光谱图像。
36.一种基于agdrn网络的高光谱图像重建装置，包括存储器、处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现如上述所述的方法。
37.与现有技术相比，本发明具有以下有益效果：
38.(1)本发明针对传统cnn模型存在的一系列问题，如难以捕获长距离相关性、缺乏辨别性学习能力、梯度消失、低频信息难以保留到深层网络等，提出agdrn(attention guided deep residual network，注意力指引的深度残差网络)用于cassi技术的高光谱图像重建任务，一方面引入多层次的残差跳连接，使得网络有能力在不同模块间传递不同频率水平的特征信息，从而保留低频细节信息并解决梯度消失问题；另一方面，将注意力机制与卷积层结合，通过计算全局注意力来捕获长距离相关性，并通过自适应生成不同区域的重要性权重，增强网络的辨别性学习能力。
39.(2)针对高光谱图像的数据特点，本发明提出了一种新型注意力机制，sspa(spectral-spatial patch attention，光谱-空间分块注意力)，用于联合捕获特征图的光谱维与空间维相关性并进行组合得到光谱、空间联合特征；在光谱维，按通道划分特征图，每个通道的图像作为一个块(patch)，然后捕获不同光谱通道的相关性，在空间维，按空间区域划分特征图，每个小区域的所有光谱通道作为一个块，然后捕获不同空间区域间的相关性；通过联合光谱注意力与空间注意力，更高效地发掘压缩测量数据的内在关联。
附图说明
40.图1为本发明的方法流程图；
41.图2为本发明端到端重构网络的模型框架示意图；
42.图3为sspa注意力块的结构示意图。
具体实施方式
43.下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
44.一种基于agdrn网络的高光谱图像重建方法，如图1所示，包括以下步骤：
45.1)获取cassi系统采集的压缩测量数据；
46.2)构建基于agdrn主干网络的端到端重建网络并进行训练；
47.所述agdrn主干网络的结构如图2所示，包括依次连接的特征映射层、特征处理模块和特征重建层。
48.①
特征映射层
49.所述特征映射层由一层卷积层实现，用于将压缩测量数据映射到特征空间：
50.xm＝conv(y)
51.其中，y是cassi系统采集的压缩测量数据，conv表示卷积操作，xm是初步映射到特征空间的特征图。
52.②
特征处理模块
53.特征处理模块是agdrn主干网络的主要部分，使用三种不同层次的跳连接构建模块化结构。
54.特征处理模块的顶层层次由一个全局跳连接跨过多个特征处理组以及一个卷积层组成，其中，在最后一个特征处理组后接一层卷积用于全局特征融合。
55.特征处理模块的顶层层次处理过程为：
56.x
p
＝conv(ga(...g2(g1(xm))...))+xm57.其中，ga()表示第a个特征处理组，x
p
表示特征处理模块的输出。
58.每个具体的特征处理组则属于特征处理的模块的中间层次，每个特征处理组由一个组级跳连接跨过一个残差注意力块、多个残差卷积块和一个卷积层组成，同样在最后一个残差卷积块后接一层卷积用于组内特征融合。
59.每个特征处理组的处理过程为：
60.g(f)＝conv(rb(...r2(r1(attn(f)))...))+f
61.其中，conv表示卷积操作，attn()表示残差注意力块，rb()代表第b个残差卷积块，f表示特征处理组的输入特征图。将残差注意力块放在残差卷积块之前，用于训练网络自适应生成特征图不同区域的注意力权重，指引后续的多个卷积模块处理特征信息。
62.每个残差注意力块由一个局部跳连接跨过sspa注意力块组成，其处理过程为：
63.attn(f1)＝sspa(f1)+f164.其中，f1表示残差注意力块的输入特征图，sspa是空间-光谱分块注意力，其结构如图3(1)所示，包括依次连接的光谱注意力子模块和空间注意力子模块：
65.sspa(f1)＝as(ac(f1))
66.其中，as()代表空间注意力子模块，ac()代表光谱注意力子模块。
67.所述光谱注意力子模块如图3(2)所示，对于输入的特征图，按光谱通道将3维特征图分块，每个通道的图像作为一个图片块(patch)，然后使用池化层从每个图片块中提取一维信息作为特征描述符(descriptor)。本实施例中，同时使用最大池化层和平均池化层分别进行提取以更充分地捕获通道内特征，得到两组特征描述符。随后，两组特征描述符被送入多层感知机(mlp)以便网络学习光谱间的相互依赖关系。多层感知机的结构如图3(4)所示。两组结果相加后被送入sigmoid激活函数进行归一化，从而生成逐光谱通道的注意力图。最终将注意力图与输入的特征图进行点乘以赋予各光谱通道不同的注意力权重。其执行过程表示为：
68.ac(f1)＝f1⊙cσ(mlp(max(f1))+mlp(avg(f1)))
69.其中，max()和avg()分别代表最大池化层和平均池化层，mlp表示多层感知机，σ()表示sigmoid激活函数，
⊙c表示按通道点乘。
70.所述空间注意力子模块如图3(3)所示。由于高光谱图像在空间维稀疏，生成逐像素的注意力图非常耗费计算资源且难以捕获局部相关信息。因此对于输入的特征图，先按空间区域将特征图划分成图片块。对于每块空间区域内由所有通道图像组成的图片块，使用卷积层从将每个图片块中提取二维特征信息，然后将其展平成一维向量作为特征描述符。随后同样使用mlp来捕获特征图不同空间区域间的相互依赖关系，并使用sigmoid函数进行归一化。归一化后的结果按照原先的二维分布进行重塑得到逐空间区域的注意力图。注意力图将与输入的特征图进行点乘以赋予各空间区域不同的注意力权重。其执行过程表示为：
71.as(f1′
)＝f1′⊙
p
σ(mlp(conv(f1′
)))
72.其中，conv表示卷积操作，mlp表示多层感知机，σ()表示sigmoid激活函数，
⊙
p
表示按空间块点乘，f1’
表示空间注意力子模块的输入，即光谱注意力子模块的输出特征图。
73.每个残差卷积块由一个局部跳连接跨过多个卷积层组成，其处理过程为：
74.r(f2)＝conv(relu(conv(f2)))+f275.其中，relu()表示激活函数，conv表示卷积操作，f2表示残差卷积块的输入。
76.通过使用跳连接构建三种层次的模块化结构，特征处理模块允许网络自主学习如何在不同层次间传递不同频率分量的特征信息。
77.③
特征重建层
78.特征重建层与特征映射层相反，使用一层卷积将特征处理模块的输出还原为重建高光谱图像：
79.xr＝conv(x
p
)
80.其中，xr表示端到端重建网络输出的重建高光谱图像。
81.3)将压缩测量数据输入端到端重建网络，得到重建的高光谱图像。
82.以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依据本发明的构思在现有技术的基础上通过逻辑分析、推理、或者有限的实验可以得到的技术方案，皆应在权利要求书所确定的保护范围内。