基于全局推理的轻量化混合卷积模型的高光谱分类方法

1.本发明公开基于全局推理的轻量化混合卷积模型的高光谱分类方法，属于信息处理技术领域。


背景技术：

2.高光谱图像（hsi）因具有众多的光谱波段给地物信息的提取带来了极大的帮助，但大量的光谱数据也造成了地物信息的冗余，同时因光谱分辨率的提高使得各波段间的相关性加强，这给高光谱图像的分类带来了不小的挑战。尤其是当训练样本较少时，会给hsi的分类带来更大的困难。
3.目前，hsi分类的方法主要有两类：基于光谱信息的传统方法和基于深度学习的方法。传统方法主要是利用不同地物的光谱特征信息进行分类，其中支持向量机、k近邻、随机森林等最具有代表性。为了获取更好的分类性能，主成分分析（pca），独立成分分析（ica）和线性判别分析（lda）等方法被应用以有效的进行数据降维或特征提取。尽管传统的hsi分类方法取得了良好的分类性能，但由于它们处理时很大程度上依赖的是手工制作的特征或提取的浅层特征，特征表达能力有限，无法更好地适应复杂的hsi分类任务。
4.近年来，深度学习因其强大的特征表达能力已被成功应用在众多的计算机视觉任务中，如图像分类，图像分割，目标检测等。巨大的应用潜力使得深度学习方法在hsi分类领域也取得了显著的效果，其中基于卷积神经网络（cnn）的hsi分类方法最为流行。w.hu等人首次采用深度cnn直接在光谱域中对高光谱图像进行分类，获得了良好的分类效果。konstantinosmakantasis等人使用2d-cnn对高光谱像元的邻域进行空间特征提取，同时采用pca方法有效降维，降低了模型的计算成本。但该模型仅能提取空间特征信息，无法获得光谱信道间的关系信息。yushichen等人将3d-cnn方法用于hsi任务，通过3d-cnn同时提取光谱-空间的联合特征，有效提升了分类精度。在此基础上，m.he等人提出了多尺度的深度3d-cnn模型，该模型可以端到端地从hsi数据中共同学习多尺度空间特征和光谱特征，进一步提升了hsi的分类性能。
5.然而，利用3d-cnn模型进行hsi分类，将需要深度的卷积层才能有效提取空-谱联合特征，从而导致模型复杂度和训练样本数量的大大增加。基于此，有研究人员已经开始将2d-cnn与3d-cnn结合用于hsi分类。2020年，swalpakumarroy等人提出一种基于hybridsn模型的hsi分类方法，该方法将3d-cnn和2d-cnn组合，充分提取空间特征信息和光谱特征信息，相比于单独使用3d-cnn进行hsi分类，在计算成本和分类性能方面均取得了较大的提升。2021年，saeedghaderizadeh等人提出了一种3d-2dcnn模型。该模型通过引入三维深度可分卷积块和快速卷积块，使模型的鲁棒性和效率更高。但值得注意的是，为使模型具有更强的空间特征提取能力，模型中往往会包含多个甚至深度的3d卷积层，在文献中，都采用了多至三层的3d卷积进行特征的提取。这种通过多层3d卷积的堆叠提取深层特征的方法，一方面会使得模型的复杂度和计算成本增加，另一方面也需要大量的样本进行训练，而对于hsi来说，大量样本的标注也是一个不小的挑战。


技术实现要素：

6.本发明的目的在于提供基于全局推理的轻量化混合卷积模型的高光谱分类方法，以解决现有技术中，高光谱分类方法包括多个三维卷积层而造成模型复杂、计算成本高、样本需求大的问题。
7.基于全局推理的轻量化混合卷积模型的高光谱分类方法，包括：s1.设原始高光谱数据表示为i∈rm
×n×
d，i是原始高光谱分类输入，m和n是空间维的宽和高，d是光谱波段数；s2.采用主成分分析对高光谱分类光谱信息降维，经过主成分分析处理后的高光谱数据表示为x∈rm
×n×
b，其空间维数保持不变，光谱波段数由d变为b；s3.对高光谱分类的邻域块提取进行预处理，对高光谱分类的每一个像元，都以像元为中心点提取一个色斑，色斑的标签即为中心像元的标签，表示为z∈rs
×s×
b，色斑的宽和高为s，光谱波段数为b；s4.将高光谱分类数据送入基于全局推理的轻量化混合卷积模型中进行处理。
8.优选地，所述基于全局推理的轻量化混合卷积模型包括二维卷积神经网络、三维卷积神经网络和全局推理模块。
9.优选地，所述三维卷积神经网络采用8个3
×3×
7的卷积核，空间维度为3
×
3，光谱维度为7。
10.优选地，所述二维卷积神经网络采用16个3
×
3的卷积核，空间维度为3
×
3。
11.优选地，所述全局推理模块是二维的，其构建方法为，将输入数据的坐标空间上不相交区域聚合的特征投影到一个潜在的交互空间中，用一个单独的特征即一个节点来表示，应用图卷积的方式来建模和推理每对节点之间的上下文关系，再对其进行反向投影，将具有关系信息的特征变换回原始坐标空间，获得相关的全局特征信息。
12.优选地，步骤s4包括：s4.1.采用三维卷积神经网络对预处理后的高光谱分类数据进行空间特征和光谱特征的联合提取；s4.2.采用二维卷积神经网络对s4.1处理后的高光谱分类数据进行空间特征和光谱特征的联合提取；s4.3.采用全局推理模块对s4.2处理后的高光谱分类数据进行全局特征提取。
13.与现有技术相比，本发明仅使用一层3d-cnn和一层2d-cnn的轻量级混合卷积网络模型，降低网络模型复杂度的同时，能够有效提取hsi的空-谱联合特征；在设计的混合卷积网络模型中加入了轻量化全局推理模块，通过对不同区域间的上下文关系进行推理来有效提取hsi的全局特征，hsi的分类性能得到显著提升；提出的模型不仅降低了现有混合网络模型的复杂度，而且在仅需很少的样本训练时，就能获得非常好的分类性能。
附图说明
14.图1是本发明的基于全局推理的轻量化混合卷积模型的结构图；图2是全局推理模块的原理框架图。
具体实施方式
15.下面结合具体实施方式对本发明作进一步详细说明：实施例首先介绍基于全局推理的轻量化混合卷积模型模型的总体结构，然后介绍3d-cnn和2d-cnn混合卷积模型的结构和参数设计，最后给出轻量化全局推理模块的核心思想。
16.深度卷积神经网络模型：单一的深度二维卷积或三维卷积网络作为高光谱分类的特征提取模型，会导致缺失光谱信道关系或模型复杂度高。现有的用于高光谱分类的混合卷积网络模型中3d-cnn的层数也较多，一定程度增加了模型的复杂度、计算成本以及样本的标注成本。本发明仅需一层3d-cnn和一层2d-cnn组合，再加上全局推理模块，即可在少量样本的情况下获得高性能的高光谱分类效果。
17.设原始高光谱数据表示为i∈rm×n×d，其中i是原始高光谱分类输入，m和n空间维的宽和高，d是光谱波段数，一般有几十甚至几百个波段。高光谱分类众多的波段信息不仅会给后续处理任务带来较大的计算成本，而且当训练样本有限时，高光谱分类的总体分类精度会随着特征维数的增加而降低，即“维数灾难”问题。因此，降低高光谱分类的光谱维度、减少信息的冗余势在必行。主成分分析（pca）作为常见的降维方式，核心思想是对各个不同数据之间的特征相似度进行计算，提取主要特征。本发明采用pca的方法对高光谱分类光谱信息降维，以有效改善因信息冗余造成计算成本大和分类精度低的问题。经过pca处理后表示为x∈rm×n×b，空间维数保持不变，光谱波段数由d变为b。
18.为了更好的利用后续卷积网络进行分类处理，在pca降维后，对高光谱分类的邻域块提取进行预处理。即对高光谱分类的每一个像元，都以其为中心点提取一个patch。每个patch的标签即为中心像元的标签，表示为z∈rs×s×b，patch的宽和高为s，光谱波段数为b。
19.高光谱分类数据经过pca以及邻域块提取的预处理后，送入基于全局推理的轻量化混合卷积模型模型中进行处理。单层3d-cnn和2d-cnn的混合完成对光谱和空间特征的联合提取并降低模型复杂度，全局推理模块通过对不同区域间的上下文关系进行推理来提取全局特征，解决了为提取表达能力更强的特征需采用计算成本大的多层3d-cnn的问题。
20.3d-2d cnn：高光谱分类是一个包括几十甚至几百个波段的体数据，包含空间信息和光谱信息。对于传统的2d-cnn，仅能提取空间特征信息；而3d-cnn却能同时提取空间特征和光谱特征。所以，近年来基于3d-cnn的高光谱分类成为主流，但由于深度3d-cnn模型复杂，导致模型的计算成本大且需要大量的训练样本。现有的几种用于高光谱分类的混合卷积模型具有良好的分类性能，能在一定程度上降低训练样本的数量。但多层的3d-cnn堆叠带来计算成本提高的问题仍不可忽视，也没能彻底解决训练样本数量较大的问题。为了确保高光谱分类数据的空间信息和光谱信息的完整性，首先采用3d-cnn对预处理后的高光谱分类数据进行空间特征和光谱特征的联合提取。在3d-cnn层，采用了8个3
×3×
7的卷积核，即空间维度为3
×
3，光谱维度为7。在图1中体现为k
11
=3，k
21
=3，k
31
=7。为充分提取高光谱分类数据的空间特征信息，在采用3d-cnn进行特征提取后，再用一层2d-cnn提取，以提升高光谱分类的分类效果。在2d-cnn中，采用了16个3
×
3的卷积核，即空间维度为3
×
3。在图1中，体现为k
13
=3，k
23
=3。
21.单个卷积层能够较好的捕获卷积核覆盖的局部关系，但捕捉表达能力更强的全局区域之间的关系则需要堆叠多个甚至深度的卷积层，这无疑增加了cnn全局推理的难度和
成本。现有的几种用于高光谱分类的混合卷积模型均是采用这种低效的多层3d-cnn堆叠的设计方式提取全局特征。本发明提出的混合卷积模型中添加的全局推理模块就是为了克服多层卷积运算对全局关系建模的固有不足。
22.全局推理模块是一个轻量化全局推理模块，通过对区域之间进行全局关系建模和推理，提取出相关的全局、深层次的特征，其原理框架如图2所示，表示了交互空间和坐标空间之间的投影和反向投影，首先，将输入数据的坐标空间上不相交区域聚合的特征投影到一个潜在的交互空间中，用一个单独的特征即一个节点来表示。通过这种方式，关系推理被简化为在图2顶部显示的较小的图上对节点之间进行交互建模。然后，应用图卷积的方式来建模和推理每对节点之间的上下文关系。最后，再对其进行反向投影，将具有关系信息的特征变换回原始坐标空间，即可获得相关的全局特征信息。
23.高光谱分类数据经过3d-cnn层提取空-谱联合特征后，有着较为完整的空间信息和光谱信息，这有利于对高光谱分类进行全局关系推理。因此，在3d-cnn层后加入模块，以提取高光谱分类的全局特征。因3d层次的模块复杂度较高，本发明采用2d层次的模块来聚合高光谱分类数据的全局特征，这恰好与后续2d-cnn层提取空间特征信息匹配。充分的结构组合实验验证了“3d-cnn++2d-cnn”组合的模型分类性能最好。针对ip数据集所提出模型的结构参数中，可训练的权重参数的总数为2，275，504，如表1。
24.表1 ip数据集的本发明所用模型概述实施例使用了三个高光谱分类的公共数据集作为实验数据集，即salinas scene (sa)、university of pavia (up)和indian pines (ip)。sa数据集有16个类别，空间维为
512
×
217，在360-2500nm波长范围内有224个光谱波段。去除20个吸水谱带后保留204个光谱波段。up数据集有9个类别，空间维为610
×
340，在430-860nm波长范围内有103个光谱波段。ip数据集有16个类别，空间维为145
×
145，在400-2500nm波长范围内，有224个光谱波段。去除24个吸水谱带后保留200个光谱波段。
25.所有的实验都是在一台联想-y7000p电脑上进行的。该电脑配备了gtx 1660ti图形处理器(gpu)和16 gb ram。使用sgd优化器，学习率设置为0.01。并采用momentum和l2正则化，参数分别设为0.8和0.0005。在模型训练中使用大小为32的mini-batches。另外，为了加快训练过程和提升泛化性能，又对模型进行了batch normalization处理。将网络模型训练的迭代次数设置为50。为了与其他方法公平比较，对于不同的数据集，从pca降维处理后的数据中提取相同的邻域块，大小为27
×
27
×
20。
26.使用kappa系数(kappa)、总体精度(oa)和平均精度(aa)作为评价指标来判断高光谱分类性能。kappa反映了信息之间的一致性信息；oa是指正确分类的个数所占比例；aa是指每一种类别正确分类比例的平均值。
27.不同的window size和spectral dimension对lh-cnn模型性能的影响中，窗口尺寸和光谱维数为27
×
27
×
20的邻域块时，效果最好，如表2和表3所示。
28.表2 空间窗口大小对模型性能的影响表3 光谱维数对模型性能的影响为验证所设计的模型在少量训练样本条件下的分类性能，与高光谱分类常用的cnn方法和目前最好的混合卷积方法，即2-d-cnn，3-d-cnn，multi-scale 3-d deep convolutional neural network(m3d)-cnn，hybridsn and 3d-2d cnn进行对比。各种方法的训练样本均从数据集中随机选取，样本比例为1%。在只有1%训练数据情况下，本发明提出的模型相比于其他方法，性能更好，如表4所示。
29.表4 ip、up和sa数据集的分类准确率（百分比）（1%样本用于培训）
特别是在样本量较少的ip数据集上的实验，从kappa、oa和aa三种评价指标来看，提出的模型性能远超过最好的混合cnn模型。混合cnn模型的复杂度以及在不同数据集中的计算开销，本发明提出的模型无论在模型复杂度方面还是计算开销方面都是最优的，全局推理模块对于高光谱分类性能的影响显著。
30.为了进一步验证所提模型在少量训练样本情况下的分类性能，减少训练样本数量，在up和sa数据集中随机选取0.5%的样本数据作为训练样本（这里ip数据集因部分类别样本数量较少，无法选取0.5%的样本数据），设计的模型性能最好，且远超过最好的两种混合cnn的分类结果，尤其是在up数据集上的分类结果，各类评价指标几乎都超出6个百分点，如表5，充分证明了所设计模型在少量训练样本情况下的优越性。
31.表5 up和sa数据集的分类准确率（百分比）（0.5%样本用于训练）值得注意的是，在0.5%的训练数据下，3d-2d cnn的性能稍低于hybridsn，这与在1%的训练数据下的结果不同。分析原因，或许是由于3d-2d cnn模型更复杂、参数更多，需要更多的样本数据才能训练出分类性能好的模型，这也是复杂网络模型本身的不足。
32.当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。