基于多源域自注意力的小样本遥感图像分类方法及系统

1.本发明涉及湿地遥感图像分类技术领域，尤其涉及基于多源域自注意力的小样本遥感图像分类方法及系统。


背景技术：

2.训练用于湿地遥感图像分类的深度学习模型往往需要足够的标记数据，而标记数据会花费大量的时间和昂贵的人工成本，小样本学习方法能够在有限的标记数据下训练分类模型，但现有用于遥感图像的分类小样本学习方法仍存在以下弊端，例如在湿地遥感图像分类时，会存在相似程度较高的地物信息特征，存在“同物异谱”和“同谱异物”的现象，因此小样本学习方法难以用于湿地地物的高精度提取和分类，小样本学习中，通常有两类数据，一类是具有充足标记样本的源域数据，一类是仅有少量标记样本的目标域数据，目前用于遥感图像分类的小样本学习方法仅有目标域数据或单一源域数据，但在实际应用中，目标域和源域数据会存在域转移误差，且源域数据可能会分布于多个不同的场景，不跨域或是单源域的方法无法得到最优解；此外，深度卷积网络常常用于小样本学习的特征提取，但卷积网络通常只能由固定卷积核获取局部信息，缺失全局信息，难以提取强而有力的特征与实现湿地地物的高精度分类。


技术实现要素：

3.为了解决上述技术问题，本发明的目的是提供基于多源域自注意力的小样本遥感图像分类方法及系统，能够在兼顾遥感影像数据的全局特征与局部特征的同时提升分类神经网络模型的泛化性能，实现湿地地物的高精度分类。
4.本发明所采用的第一技术方案是：基于多源域自注意力的小样本遥感图像分类方法，包括以下步骤：
5.基于映射层对遥感影像数据集进行预处理，得到源域样本集特征和目标域样本集特征；
6.基于源域样本集特征和目标域样本集特征对预先构建的分类神经网络模型进行训练；
7.基于训练完成的分类神经网络模型对遥感影像数据集进行分类，得到分类结果。
8.进一步，所述基于映射层对遥感影像数据集进行预处理，得到源域样本集特征和目标域样本集特征这一步骤，其具体包括：
9.获取遥感影像数据集，所述遥感影像数据集包括源域数据集和目标域数据集；
10.基于映射层对源域数据集和目标域数据集的维数进行变换处理，得到源域样本集特征和目标域样本集特征。
11.进一步，所述基于源域样本集特征和目标域样本集特征对预先构建的分类神经网络模型进行训练这一步骤，其具体包括：
12.构建分类神经网络模型，所述分类神经网络模型包括特征提取器、域鉴别器和分
类器；
13.基于特征提取器分别对源域样本集特征和目标域样本集特征进行小样本学习，得到带有对应辨别特征的提取信息；
14.将源域样本集的辨别特征提取信息和目标域样本集的辨别特征提取信息分别输入域鉴别器，得到对应的域转移损失值；
15.根据源域样本集的辨别特征提取信息、目标域样本集的辨别特征提取信息、源域样本集的域转移损失值和目标域样本集的域转移损失值计算分类神经网络模型的总损失值；
16.基于总损失值反向更新分类神经网络模型。
17.进一步，所述基于特征提取器分别对源域样本集特征和目标域样本集特征进行小样本学习，得到带有对应辨别特征的提取信息这一步骤，其具体包括：
18.所述特征提取器包括多个输入层、池化层、transformer层和输出层；
19.通过输入层的卷积块提取源域样本集特征和目标域样本集特征的局部特征；
20.通过池化层对提取到的局部特征进行最大值池化处理，得到池化结果；
21.通过transformer层提取池化结果的全局特征；
22.通过输出层输出池化结果的全局特征并根据其特征距离进行小样本学习，得到源域样本集的辨别特征提取信息和目标域样本集的辨别特征提取信息。
23.进一步，所述小样本学习损失值如下所示：
[0024][0025]
上式中，l
fsl
表示小样本学习损失值，s表示支持集，q表示查询集，x表示样本，y表示样本对应的标签，k表示样本的类别，表示样本的分布，e
s,q
表示支持集样本和查询集样本之间的交叉熵。
[0026]
进一步，所述域鉴别器上定义的域转移损失函数定义如下所示：
[0027][0028]
上式中，表示域转移损失函数，表示第n个源域的分布，p
t(x)
表示目标域的分布，表示第n个源域的第i个特征，表示目标域的第j个特征，g表示对抗域自适应的判别信息，表示第n个源域的第i个判别信息，表示目标域的第j个判别信息，d(
·
)表示域鉴别器判断x属于第n个源域样本的概率，1-d(
·
)表示域鉴别器判断x属于目标域样本的概率。
[0029]
进一步，所述基于训练完成的分类神经网络模型对遥感影像数据集进行分类，得到分类结果这一步骤，其具体包括：
[0030]
将遥感影像数据集输入至训练完成的分类神经网络模型；
[0031]
基于训练完成的分类神经网络模型的特征提取器与域鉴别器提取遥感影像数据集的空间光谱维度特征；
[0032]
基于训练完成的分类神经网络模型的分类器，通过近邻法对遥感影像数据集的空
间光谱维度特征进行分类处理，得到分类结果。
[0033]
进一步，所述基于训练完成的分类神经网络模型的分类器，通过近邻法对遥感影像数据集的空间光谱维度特征进行分类处理，得到分类结果这一步骤，其具体包括：
[0034]
基于训练完成的分类神经网络模型的分类器，计算查询集样本与支持集样本之间的欧氏距离值；
[0035]
根据欧式距离值的大小按照递增次序排列，选取与待预测查询集样本点最近的k个支持集样本点；
[0036]
根据所述k个点的对应所属类别并统计其出现的频率，得到统计结果；
[0037]
根据统计结果选取当中出现频率最高的类别作为分类结果。
[0038]
本发明所采用的第二技术方案是：基于多源域自注意力的小样本遥感图像分类系统，包括：
[0039]
预处理模块，基于映射层对遥感影像数据集进行预处理，得到源域样本集特征和目标域样本集特征；
[0040]
训练模块，基于源域样本集特征和目标域样本集特征对预先构建的分类神经网络模型进行训练；
[0041]
分类模块，基于训练完成的分类神经网络模型对遥感影像数据集进行分类，得到分类结果。
[0042]
本发明方法及系统的有益效果是：本发明先通过映射层对小样本遥感影像数据集进行预处理，得到小样本遥感影像数据集的源域数据和目标域数据，再通过预先构建分类神经网络模型的特征提取器对多个源域数据以及目标域数据提取空谱特征，使得构建的分类神经网络模型可以满足源域数据多场景分布的情况，并通过分类神经网络模型的域鉴别器使得每一个源域和目标域之间的特征空间分布对齐，能够在兼顾遥感影像数据的全局特征与局部特征的同时提升分类神经网络模型的泛化性能，实现湿地地物的高精度分类。
附图说明
[0043]
图1是本发明基于多源域自注意力的小样本遥感图像分类方法的步骤流程图；
[0044]
图2是本发明基于多源域自注意力的小样本遥感图像分类系统的结构框图；
[0045]
图3是本发明分类神经网络模型中的特征提取器的结构框图；
[0046]
图4是本发明分类神经网络模型中的域鉴别器的结构框图；
[0047]
图5是本发明对遥感影像数据进行分类的具体步骤流程示意图。
具体实施方式
[0048]
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
[0049]
参照图1和图5，本发明提供了基于多源域自注意力的小样本遥感图像分类方法，该方法包括以下步骤：
[0050]
s1、基于映射层对遥感影像数据集进行预处理，得到源域样本集特征和目标域样本集特征；
[0051]
s11、获取遥感影像数据集，所述遥感影像数据集包括源域数据集和目标域数据集；
[0052]
具体地，共有n个源域数据集和1个目标域数据集，在每一个域中，随机选择cn(n＝1,2,3
…
n,n+1)类，每类选择k个样本作为支持集每类选择h个样本作为查询集查询集和支持集的样本不重合，由于目标域中标记样本数量稀少，通过添加高斯随机噪声来使数据增强。
[0053]
s12、基于映射层对源域数据集和目标域数据集的维数进行变换处理，得到源域样本集特征和目标域样本集特征。
[0054]
具体地，映射层由二维卷积实现，映射层的输入即为遥感影像数据集，输出是具有相同维数的特征的源域数据和目标域数据，其计算公式如下所示：
[0055]i′
＝i
×
t
[0056]
上式中，i
′
表示具有相同维数的特征的源域数据和目标域数据，i表示获取的遥感影像数据集；
[0057]
其中，t∈r
ch
×m，i∈r9×9×
ch
，i
′
∈r9×9×m，ch是输入数据的光谱波段数，m为统一的固定值。
[0058]
s2、基于源域样本集特征和目标域样本集特征对预先构建的分类神经网络模型进行训练；
[0059]
s21、构建分类神经网络模型，所述分类神经网络模型包括特征提取器、域鉴别器和分类器；
[0060]
s22、基于特征提取器分别对源域样本集特征和目标域样本集特征进行小样本学习，得到带有对应辨别特征的提取信息；
[0061]
s221、所述特征提取器包括多个输入层、池化层、transformer层和输出层；
[0062]
s222、通过输入层的卷积块提取源域样本集特征和目标域样本集特征的局部特征；
[0063]
具体地，参照图3，深度残差3d卷积块包括3个3d卷积(步长为1，卷积核大小为3，填充大小为1)，每个3d卷积后都有1个归一化层和1个激活层，激活层采用swish函数，该网络使用残差连接的方式来缓解梯度消失问题，使原有特征得以保留。
[0064]
s223、通过池化层对提取到的局部特征进行最大值池化处理，得到池化结果；
[0065]
具体地，通过3d池化函数(maxpool3d)对特征进行区域最大化操作，窗口大小为[4,2,2]，窗口步幅为[0,1,1]，填充大小为[0,1,1]。
[0066]
s224、通过transformer层提取池化结果的全局特征；
[0067]
具体地，transformer块由多个transformer层组成，每层transformer包括一个3d卷积(步长为1，卷积核大小为1)、多头自注意力机制和前馈神经网络，其中，3d卷积与多头自注意力机制、多头自注意力机制与前馈神经网络之间均使用残差连接，多头自注意力机制采用了全局感受域，计算量较大，本发明对第一层transformer执行下采样操作，利用多头自注意力机制提取全局特征，可表示为如下所示：
[0068]
x
←
proj(pool(x))+attention(pool(norm(x)))+ff(proj(pool(x))+attention(pool(norm(x))))
[0069]
上式中，x表示特征，proj表示三维卷积操作(卷积核大小为1，步长为1，填充为0)，pool表示最大池化操作(窗口大小为3，步长为2，填充为1)，norm表示归一化操作，ff表示前端神经网络，attention表示多头自注意力层；
[0070]
其中，自注意力机制能够将感受域拓展到全局空间，并能根据输入对(xi,xj)之间的重归一化成对相似性计算自注意力权重矩阵，具体计算过程如下所示：
[0071][0072]
上式中，y表示输出，x表示输入，表示全局空间，a
i,j
表示自注意力权重矩阵；
[0073]
进一步，第一层之外的transformer层则无需执行下采样操作，直接利用多头自注意力机制提取全局特征，具体如下所示：
[0074]
x
←
proj(x)+attention(norm(x))+ff(proj(x)+attention(norm(x)))
[0075]
上式中，proj表示三维卷积操作，norm表示归一化操作，attention表示多头自注意力层，ff表示前馈神经网络。
[0076]
s225、通过输出层输出池化结果的全局特征并根据其特征距离进行小样本学习，得到源域样本集的辨别特征提取信息和目标域样本集的辨别特征提取信息。
[0077]
具体地，利用标记特征和未标记特征之间的距离执行小样本学习，进一步和计算查询集q样本xj的分布，其计算过程如下所示：
[0078][0079]
上式中，d(
·
)代表欧几里得距离，ck表示支持集中第k类的嵌入特征，表示映射层和特征提取器，为参数，yj是样本xj的标签；
[0080]
进一步的每一个域的小样本分类损失可以表示为：
[0081][0082]
上式中，l
fsl
表示小样本学习损失值，s表示支持集，q表示查询集，x表示样本，y表示样本对应的标签，k表示样本的类别，表示样本的分布，e
s,q
表示支持集样本和查询集样本之间的交叉熵。
[0083]
s23、将源域样本集的辨别特征提取信息和目标域样本集的辨别特征提取信息分别输入域鉴别器，得到对应的域转移损失值；
[0084]
具体地，参照图4，所述域转移损失代表不同域之间样本分布的偏移，通过最小化域转移损失可实现源域样本与目标域样本之间的分布对齐，域鉴别器包含5个全连接层，除最后一层外，每一个全连接层后接一个relu激活层和dropout层，最后利用softmax函数判断输入特征属于源域还是目标域，域鉴别器上定义其域转移损失函数如下所示：
[0085]
[0086]
上式中，表示域转移损失函数，表示第n个源域的分布，p
t(x)
表示目标域的分布，表示第n个源域的第i个特征，表示目标域的第j个特征，g表示对抗域自适应的判别信息，表示第n个源域的第i个判别信息，表示目标域的第j个判别信息，d(
·
)表示域鉴别器判断x属于第n个源域样本的概率，1-d(
·
)表示域鉴别器判断x属于目标域样本的概率；
[0087]
其中，域转移损失函数因此，具有域自适应的源域小样本学习损失函数为：
[0088][0089]
上式中，表示第n个源域的总损失，表示第n个源域小样本学习损失，表示第n个源域的域转移损失；
[0090]
具有域自适应的目标域小样本学习损失函数为：
[0091][0092]
上式中，l
t
为目标域损失，为目标域小样本学习损失，为目标域与第一个源域的域转移损失；
[0093]
s24、根据源域样本集的辨别特征提取信息、目标域样本集的辨别特征提取信息、源域样本集的域转移损失值和目标域样本集的域转移损失值计算分类神经网络模型的总损失值；
[0094]
具体地，多源域小样本模型的总损失函数为：
[0095][0096]
上式中，ln为第n组源域和目标域的总损失。
[0097]
s25、基于总损失值反向更新分类神经网络模型。
[0098]
s3、基于训练完成的分类神经网络模型对遥感影像数据集进行分类，得到分类结果。
[0099]
s31、将遥感影像数据集输入至训练完成的分类神经网络模型；
[0100]
s32、基于训练完成的分类神经网络模型的特征提取器与域鉴别器提取遥感影像数据集的空间光谱维度特征；
[0101]
s33、基于训练完成的分类神经网络模型的分类器，通过近邻法对遥感影像数据集的空间光谱维度特征进行分类处理，得到分类结果。
[0102]
具体地，基于训练完成的分类神经网络模型的分类器，计算查询集样本与支持集样本之间的欧氏距离值，根据欧式距离值的大小按照递增次序排列，选取与待预测查询集样本点最近的k个支持集样本点，若要预测一个查询集(未标记)样本点所属类别，则需选出支持集(已标记)中与它特征距离最近的k个点，根据所述k个点的对应所属类别并统计其出现的频率并根据统计结果选取当中出现频率最高的类别作为分类结果，进一步引入总体精度、平均精度以及kappa系数对分类结果进行评价，所述总体精度的计算公式如下所示：
[0103][0104]
上式中，n表示样本总数，x
ii
表示预测正确的第i类样本数，r表示类别总数；
[0105]
所述kappa系数的计算公式如下所示：
[0106][0107]
上式中，x
i+
表示第i类错分为第i+1类的样本数，x
i+
表示第i+1类错分为第i类的样本数；所述平均精度的计算公式如下所示：
[0108][0109]
上式中，ni表示第i类样本总数；
[0110]
当使用chikusei标准高光谱数据集作为单一源域数据集时，总体精度、平均精度和kappa系数分别为90.11、83.10和0.8718，增加一组自制的源域数据集能使总体精度提高2.08％，使用两组自制的源域数据集则能使总体精度提高2.31％。
[0111]
参照图2，基于多源域自注意力的小样本遥感图像分类系统，包括：
[0112]
预处理模块，基于映射层对遥感影像数据集进行预处理，得到源域样本集特征和目标域样本集特征；
[0113]
训练模块，基于源域样本集特征和目标域样本集特征对预先构建的分类神经网络模型进行训练；
[0114]
分类模块，基于训练完成的分类神经网络模型对遥感影像数据集进行分类，得到分类结果。
[0115]
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
[0116]
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。