一种高光谱图像分类方法

本发明属于高光谱成像中的高光谱图像分析与处理领域，具体涉及一种高光谱图像分类方法。

背景技术：

1、高光谱技术是计算机科学以及地理学等多门学科交叉的技术，它通过高光谱成像仪，在不同的电磁波范围内利用狭窄的光谱间隔成像，以获得能反向地物光谱特征的光谱曲线。在相同的空间分辨率下，记录数百个光谱带的数据，以形成具有大量空间和光谱信息的三维高光谱图像。高光谱图像使用二维空间成像来表示单个波段中表面物体的反射效果，将多个波段的反射效果按照顺序依次组合，形成具有多层面，近似连续的光谱向量维。每个高光谱像素点特性由这些光谱向量构成，并且每个像素数据是一个连续的光谱曲线，详细的记录了所观察的地物信息。由于高光谱图像可以详尽地描述地面物体的光谱信息和空间信息，因此，随着高光谱图像分类技术的发展，高光谱图像分类被广泛应用于精准农业、城乡建设和矿物开采等领域。

2、高光谱图像分类方法大致可以分为基于光谱信息的分类方法、基于空间-光谱特征联合的分类方法和深度学习分类方法三类。第一类方法仅利用高光谱图像中的光谱维度信息，忽略了空间上像素之间的相关性；第二类方法在一定程度上提高了高光谱图像的分类性能，但它们很大程度上是取决于手工制作特征。即分类图效果主要由低级特征决定，然而这并不能表示高光谱图像中复杂的内容，使得分类性能受到限制；第三类方法相较于前两类传统浅层分类方法，它具有更强的表征和泛化能力，可以提取到更深层的图像特征，获得更多的判别特征以获得良好的分类结果。

3、尽管这些方法获得了较好的分类效果，但基于卷积神经网络的模型无法对高光谱像素之间的长远依赖关系进行建模，导致无法充分利用高光谱图像中的全局光谱-空间特征信息。尽管有学者试图采用transformer来建立高光谱图像之间的长远依赖关系，但是传统的基于transformer的方法，它们的自注意力框架仅在单一粒度上捕捉了token之间的关联，却忽略了token组之间的关联，导致无法全面的捕捉到高光谱图像中的全局特征信息。此外，在优化器方面，基于传统的adam优化器的方法，相比最新的轻量级二阶优化器sophia优化器，前者模型的收敛速度相对较慢，模型的训练成本更高。因此，如何充分地利用高光谱图像的局部特征信息的同时，有效地建立高光谱像素之间的长远依赖关系，充分利用高光谱图像的局部和全局光谱-空间特征信息，提高高光谱图像的分类精度，降低模型的训练成本，具有重要意义。

4、鉴于当前利用transformer和传统优化器进行高光谱图像分类存在的问题，行业内已有不少技术人员开始研究采用混合卷积神经网络对高光谱图像进行分类，例如授权公告号为cn111310598b的发明专利公开了一种基于3维和2维混合卷积的高光谱遥感图像分类方法，该方法包括获取待分类的高光谱遥感图像；利用主成分分析法进行光谱降维；根据光谱信息量将降维后的高光谱遥感图像中的光谱带沿通道中间向通道两侧由高到低排列；根据光谱带含有的光谱信息量对光谱带赋予对应的权重；对光谱带中每个像素点取一个固定空间大小的立方体数据，利用3维卷积根据立方体数据提取光谱-空间特征，再利用2维卷积进行光谱信息的融合，得到最终的特征信息；采用协方差池化方法，从特征信息中提取二阶信息，输出特征向量；将特征向量输入至三层全连接网络得到预测分类结果。该方法结合了3维和2维卷积的优点，实现了在低训练样本下对高光谱遥感图像的准确分类。但是，该方法仅仅基于卷积网络，其仍然无法建立高光谱像素之间的长远依赖关系，使得该方法无法充分利用高光谱图像中光谱-空间的全局特征信息。此外，该方法基于传统的adam优化器，相比最新的轻量级二阶优化器sophia优化器来说，模型的收敛速度相对较慢，模型的训练成本更高。

5、因此，本领域需要一种新的高光谱图像分类方法来解决上述问题。

技术实现思路

1、本发明旨在克服现有技术的不足，提供一种基于卷积神经网络和混合组合transformer注意力网络的高光谱图像分类方法，该方法结合了密集卷积神经网络和混合组合transformer注意力网络的优点，采用了新的轻量级二阶优化器sophia优化器代替传统的adam优化器，不仅实现了对高光谱图像的准确分类，而且加快了模型的运行速度，减少了模型的训练成本。

2、为实现上述目的，本发明提供了一种高光谱图像分类方法，所述高光谱图像由高光谱相机拍摄获得，所述高光谱图像分类方法基于卷积神经网络和混合组合transformer注意力网络，具体包括以下步骤：

3、s1、获取待分类的高光谱图像，并对待分类的高光谱图像进行预处理，得到高光谱数据块x1和x2；

4、s2、利用3d密集卷积神经网络对输入的所述高光谱数据块x1进行处理，以获取不同卷积层的高光谱图像的局部光谱特征信息；

5、s3、先利用一个3d卷积神经网络层将步骤s2中输出的高光谱数据进行通道变换，再进行维度变换，然后输入基于光谱特征的混合组合transformer注意力网络；

6、s4、与步骤s2并行的，利用一个3d卷积神经网络层将输入的高光谱数据块x2进行降维；

7、s5、执行完步骤s4后，利用2d密集神经网络获取不同卷积层的高光谱图像的局部空间特征信息；

8、s6、先将步骤s5中输出的高光谱数据进行维度变换，然后再输入基于空间特征的混合组合transformer注意力网络；

9、s7、利用光谱-空间特征融合网络将步骤s3得到的不同卷积层的局部光谱特征信息和步骤s6得到的不同卷积层的局部空间特征信息进行特征信息融合；

10、s8、利用sophia优化器代替步骤s1至s7中所构建的模型中所用的传统优化器；

11、s9、利用softmax层对所述光谱-空间特征融合网络中最后一个全连接层输出的特征向量进行处理，最终得到高光谱图像预测分类结果。

12、进一步的，所述步骤s1包括：

13、令用于高光谱图像分类的图像的大小为w×h×c；

14、重塑高光谱图像分类数据为x，大小为n×c，其中n＝w×h；

15、对高光谱图像分类数据x进行数据预处理，得到高光谱数据块x1和x2，其中x1和x2的维度大小分别为xse×xse×c和xsa×xsa×c；并将所获得的高光谱数据块x1和x2分别作为后续光谱特征提取分支网络和空间特征提取分支网络的输入。

16、进一步的，步骤s2包括：

17、将所述高光谱数据块x1输入所述3d密集卷积神经网络中进行处理，得到高光谱数据特征信息ye1，所述高光谱数据特征信息ye1的维度大小为xse×xse×c，特征通道数为60；其中：

18、所述3d密集卷积神经网络包括4层卷积层，卷积核大小为(1，1，ke)，其中ke的取值为5；第一层卷积层的通道数为24，其余每层卷积层的通道数均为12；

19、所述3d密集卷积神经网络中的每个卷积层均由一个3d卷积神经网络层、一个批量归一化层和一个mish激活函数层组成。

20、进一步的，所述步骤s3包括：

21、先利用一个3d卷积神经网络层对所述步骤s2中输出的高光谱数据特征信息ye1进行通道变换，得到一个新的高光谱数据特征信息ye2；再将所述高光谱数据特征信息ye2进行维度变换后输入基于光谱特征的混合组合transformer注意力网络；所述基于光谱特征的混合组合transformer注意力网络将输入该网络的高光谱数据特征信息ye2的token分割为片段，并通过不同大小的多组聚合器生成组代理来替代个别的token；其中：

22、所述3d卷积神经网络层的卷积核大小为(1，1，ke1)，其中ke1的取值由c决定；

23、当c为偶数时，ke1的取值为floor((c-ke+1)/2)；当c为奇数时，ke1的取值为floor((c-ke)/2+1)，其中floor(·)表示向下取整函数。

24、进一步的，所述步骤s4包括：

25、将所述高光谱数据块x2输入3d卷积神经网络层进行降维，得到高光谱数据特征信息ya1，所述高光谱数据特征信息ya1的维度大小为xsa×xsa；其中：

26、所述3d卷积神经网络层的卷积核大小为(1，1，ka0)，其中ka0的取值为输入的高光谱数据块x2的光谱通道大小，卷积核通道数为48。

27、进一步的，所述步骤s5包括：

28、将所述高光谱数据特征信息ya1输入所述2d密集卷积神经网络中进行处理，得到一个新的高光谱数据特征信息ya2，所述高光谱数据特征信息ya2的维度大小为xsa×xsa，特征通道数为60；其中：

29、所述2d密集神经网络包括4层卷积层，卷积核大小为(ka1，ka1)，其中ka1的取值为5；第一层卷积层的通道数为24，其余每层卷积层的通道数均为12；

30、所述2d密集卷积神经网络中的每个卷积层均由一个2d卷积神经网络层、一个批量归一化层和一个mish激活函数层组成。

31、进一步的，所述步骤s6包括：

32、将所述高光谱数据特征信息ya2进行维度变换后输入基于空间特征的混合组合transformer注意力网络；所述基于空间特征的混合组合transformer注意力网络将输入该网络的高光谱数据特征信息ya2的token分割为片段，并通过不同大小的多组聚合器生成组代理替代个别的token。

33、进一步的，所述步骤s7包括：

34、将步骤s3得到的不同卷积层的局部光谱特征信息和步骤s6得到的不同卷积层的局部空间特征信息通过全连接层进行光谱-空间特征信息的融合，形成一个新的光谱-空间联合特征，并输出特征向量；所述全连接层的层数为2层。

35、进一步的，所述高光谱图像分类方法使用一种高光谱图像分类系统完成，所述高光谱图像分类系统包括高光谱图像模块、3d密集卷积神经网络模块、基于光谱特征的混合组合transformer注意力网络模块、2d密集卷积神经网络模块、基于空间特征的混合组合transformer注意力网络模块、光谱-空间特征融合网络和分类图像模块，所述步骤s1在高光谱图像模块中完成，所述步骤s2在3d密集卷积神经网络模块中完成，所述步骤s3在基于光谱特征的混合组合transformer注意力网络模块中完成，所述步骤s4、和所述步骤s5在2d密集卷积神经网络模块中完成，所述步骤s6在基于空间特征的混合组合transformer注意力网络模块中完成，所述步骤s7和所述步骤s8在光谱-空间特征融合网络中完成，而步骤s9在分类图像模块中完成。

36、相比于现有技术，本发明具有以下有益效果：

37、(1)、本发明的方法结合了密集卷积神经网络和混合组合transformer注意力网络的优点：在光谱特征提取方面，利用3d密集卷积神经网络获取高光谱图像的局部光谱特征信息，然后利用混合组合transformer注意力网络来同时捕捉各种组大小的token以及组之间的关联，以提高高光谱图像的全局光谱特征信息的利用；同时，在空间特征提取方面，利用2d密集卷积神经网络获取高光谱图像的局部空间特征信息，然后利用混合组合transformer注意力网络来增强高光谱图像的全局空间信息的利用。最后，将高光谱图像的局部光谱和空间特征信息经特征融合网络实现空间-光谱特征信息的融合，最后再经过softmax层输出分类结果。

38、(2)、本发明方法采用的混合组合transformer注意力网络，通过引入组代理和巧妙的聚合操作，实现了对不同大小组和个别token关联的全面建模，使得本发明模型能够更全面地捕捉高光谱图像中的复杂的光谱和空间结构特征信息，提高模型对对不同尺度和层次的高光谱图像特征信息的敏感性，使得模型更加适应各种复杂的高光谱图像应用场景。此外，在本发明网络模型中采用了新的轻量级二阶优化器sophia优化器代替传统的adam优化器，极大地加快了模型的收敛速度，减少了模型的训练成本。

39、除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照附图，对本发明作进一步详细的说明。