深度多尺度注意力网络模型和基于限量训练样本的高光谱图像分类方法

本发明属于图像处理领域，尤其涉及到一种深度多尺度注意力网络模型和基于限量训练样本的高光谱图像分类方法。

背景技术：

1、高光谱遥感图像是当前遥感图像技术的研究前沿，它利用很多很窄的电磁波从感兴趣的物体获取有关数据，包含了丰富的空间、辐射和光谱三重信息。凭借其具有丰富的信息量，高光谱图像可以用于多个领域并发挥重要作用，例如：精准农业、矿产勘探、环境检测、生物医学成像、食品安全、城市规划、军事侦查等诸多领域。在这些应用和研究中，高光谱图像分类是重要的一步，已经成为遥感和对地观测领域的一个活跃的研究课题。

2、近几年，深度学习方法在高光谱图像分类中取得了巨大的成功，尤其是卷积神经网络的利用被证明是非常有效的，这些方法往往需要足够数量的标记训练样本来保证分类的效果。然而，在高光谱图像分类任务中，仍然存在一些需要解决的关键问题，如缺乏标记的训练样本，这个问题制约着模型的分类精度和泛化能力。因此，设计一种基于限量训练样本的分类方法对高光谱图像分类领域的研究具有重大的意义。

技术实现思路

1、本发明的一个目的是提供一种深度多尺度注意力网络模型和基于限量训练样本的高光谱图像分类方法，并提供至少后面将说明的优点。

2、本发明的另一个目的是提供一种深度多尺度注意力网络模型和基于限量训练样本的高光谱图像分类方法，以解决目前高光谱图像分类任务中对训练样本数量过度依赖的问题。

3、本发明的技术方案如下：

4、深度多尺度注意力网络模型，其包括：

5、数据预处理单元，其包括主成分分析模块和像素级三维立方体提取模块；

6、多尺度特征提取主干网络，其包括三个卷积核大小分别为(1×1×1)、(3×3×3)和(5×5×5)的三维卷积构成的金字塔结构网络和基于三维octave卷积的密连接网络结构；

7、多尺度注意力机制单元，其包括一个三维多尺度空间-光谱注意力增强模块和一个四维金字塔式多尺度通道注意力增强模块；

8、多注意力特征融合单元；

9、和分类器单元；

10、其中，

11、所述数据预处理单元对原始高光谱图像数据进行主成分分析数据转换和处理，之后以目标像素为中心与其周围窗口一定大小邻近的像素组成的三维立方体作为一个样本；

12、所述多尺度特征提取主干网络分别同时在三个支路上对上述样本进行初步特征提取，之后通过不同尺度窗口进行深层次特征提取得到卷积特征图；

13、所述多尺度注意力机制单元对所述三个支路上的卷积特征图进行空间-光谱注意力增强以及通道注意力增强操作，在4个维度上建立坐标和方向、局部和全局的全面依赖关系，使模型能够专注于对分类有用的信息，以增强有限样本训练中提取的特征信息；

14、所述多注意力特征融合单元将三个支路不同尺度特征进行有限融合得到融合特征图；

15、所述分类器单元使用二维卷积对该特征图进行降维，随后通过三层的全连接层将特征图展平为一维向量，最后使用激活函数logsoftmax进行概率预测分类。

16、基于限量训练样本的高光谱图像分类方法，其包括以下步骤：

17、对原始高光谱图像数据进行主成分分析数据转换和处理，之后以目标像素为中心与其周围窗口一定大小邻近的像素组成的三维立方体作为一个样本；

18、同时在三个支路上对上述样本进行初步特征提取，之后通过不同尺度窗口进行深层次特征提取得到卷积特征图；

19、对所述三个支路上的卷积特征图进行空间-光谱注意力增强以及通道注意力增强操作，在4个维度上建立坐标和方向、局部和全局的全面依赖关系；

20、将三个支路不同尺度特征进行有限融合得到融合特征图；

21、使用二维卷积对该特征图进行降维，随后通过三层的全连接层将特征图展平为一维向量，最后使用激活函数logsoftmax进行概率预测分类。

22、优选的是，所述的基于限量训练样本的高光谱图像分类方法中，对原始高光谱图像数据进行主成分分析数据转换和处理，之后以目标像素为中心与其周围窗口一定大小邻近的像素组成的三维立方体作为一个样本，包括：

23、对原始高光谱图像数据进行pca数据转换，对原始高度冗余数据进行降维，滤除对分类任务贡献较小的波段，有效保留具有重要特征的波段数据，同时降低噪声；

24、以目标像素为中心与其周围窗口一定大小邻近的像素组成的三维立方体作为一个样本。

25、优选的是，所述的基于限量训练样本的高光谱图像分类方法中，同时在三个支路上对上述样本进行初步特征提取，之后通过不同尺度窗口进行深层次特征提取得到卷积特征图，包括：

26、使用由不同大小的卷积核的三维卷积构成的金字塔网络对经过数据预处理的特征图进行初步多尺度特征提取，三个卷积核大小分别为(1×1×1)、(3×3×3)和(5×5×5)；

27、之后把初步提取的特征图送入基于三维octave卷积的密连接网络结构，进一步通过不同尺度窗口学习深层次不同粒度特征。

28、优选的是，所述的基于限量训练样本的高光谱图像分类方法中，对所述三个支路上的卷积特征图进行空间-光谱注意力增强以及通道注意力增强操作，在4个维度上建立坐标和方向、局部和全局的全面依赖关系，包括：

29、使用通道分组，将部分通道重构到批处理维度，将通道维度划分为多个特征组；

30、通过两个支路进行多尺度空间-光谱结构信息的学习与聚合，两个支路中分别使用(1×1×1)和(3×3×3)的卷积核，并且在这两个支路间进行跨域联合学习，这样能够效建立短期和长期依赖关系，从而可以获得更强空间-光谱特征提取能力；

31、采用三层金字塔式结构进行编码，然后通过非线性激活函数的全连接层对通道维度进行建模，捕获特征图通道间的相互依赖关系；其中，金字塔式结构由三个不同尺度的三维自适应平均池化层构成，输出窗口大小分别为(1×1×1)、(2×2×2)和(4×4×4)，这样可以从通道维度融合不同尺度的空间信息，从而构建更丰富的结构信息，并建立更长距离的通道依赖关系。

32、优选的是，所述的基于限量训练样本的高光谱图像分类方法中，将三个支路不同尺度特征进行有限融合得到融合特征图，包括：

33、将三个支路逐个元素求和进行简单组合聚合；

34、同时使用平均池化和最大池化来汇聚空间信息，学习选择权重，通过门来控制信息流；

35、根据各个支路的权值来实现各个支路的特征融合。

36、本发明具有以下有益效果：

37、1)基于卷积神经网络的深度学习方法，能够根据根据训练好的参数/模型自动进行分类，不用任何参数，以及花费大量人力和时间去标注数据。

38、2)解决了分类方法过度依赖于充足的训练样本，实现了在限量训练样条件下对高光谱图像的有效分类，提高了分类精度。

39、3)采用的基于深度多尺度注意力网络模型是一种强鲁棒性和强泛化能力的模型，能够在不同数据集上实现较高的分类精度。

40、4)网络模型参数量少，计算时间短，是一种结构简洁、收敛速度快和轻量化的网络模型。

41、5)解决了高光谱图像分类任务目前面临的技术难题，推动了相关研究的发展。

42、6)可以应用于许多不同的领域，例如精准农业、矿产勘探、环境检测、生物医学成像、食品安全、城市规划、军事侦查等诸多领域，具有广阔的应用前景和巨大的商业价值潜力。

43、本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。