面向小样本遥感影像场景分类的自监督自蒸馏元学习方法

1.本发明涉及遥感影像处理技术领域，尤其涉及一种面向小样本遥感影像场景分类的自监督自蒸馏元学习方法。


背景技术：

2.随着越来越多的遥感卫星被发射升空，遥感影像的获取变得越来越简单，对更快速更智能的遥感影像理解的需求也日益增加。随着遥感影像分辨率的提高，遥感影像中地物的细节越来越丰富，也产生了众多新的应用。其中，遥感影像场景分类是将每张遥感影像指定一个标签，这一标签表明了该影像中包含的地物所构成的场景，如商业区、学校或者公园。以往针对不同地物的特点手工设计特征来进行遥感影像理解的方法因为费时费力且准确性不高，已经逐渐被基于机器(深度)学习的方法所代替。
3.深度学习技术在遥感图像处理领域有着日渐广泛的应用。通过在大规模的有标签遥感影像数据集上进行有监督训练，可以得到适用于该数据集的深度神经网络。遥感影像场景分类是对遥感影像进行智能解译的重要环节，但是在某些特定场景下，获得的遥感影像分类数据往往十分有限且缺少标注，无法反映真实数据分布，用于直接训练深度学习网络，得到的网络的性能会出现明显的下降。
4.鉴于此，如何解决遥感影像场景分类中存在的小样本问题是本技术领域人员亟待解决的技术问题。


技术实现要素：

5.本发明的目的是克服现有技术中的缺点和不足，提供一种面向小样本遥感影像场景分类的自监督自蒸馏元学习方法，通过自监督学习训练得到具有特征提取能力的嵌入网络模型，将嵌入网络模型应用到元学习框架中进行小样本遥感影像分类训练，然后使用自蒸馏进行精简，从而得到训练好的smsr模型，最后利用训练好的smsr模型即可对实时获取的遥感影像进行分类。
6.为解决上述技术问题，本发明提供一种面向小样本遥感影像场景分类的自监督自蒸馏元学习方法，所述方法包括以下步骤：
7.s1、基于自监督学习并利用遥感图像数据对预设的深度神经网络进行训练，进而得到能够提取遥感影像特征信息的嵌入网络模型；
8.s2、将步骤s1中所获取的嵌入网络模型嵌入到元学习的框架中进行训练，并使元学习训练后的嵌入网络模型能够利用已有先验知识对新样本进行分类，进而得到小样本分类嵌入网络模型；
9.s3、基于自蒸馏训练对小样本分类嵌入网络模型进行迭代优化，进而完成面向小样本遥感影像分类的自监督自蒸馏元学习，得到训练好的smsr模型。
10.优选地，所述步骤s1具体实现方式为：
11.s11、将对比学习设置为自监督学习的辅助任务，并选取nce损失为对比学习的衡
量指标；
12.s12、利用不同数据增强方法对同一张遥感图像进行数据增强，并计算在不同数据增强方法下该遥感图像的数据增强处理结果之间的nce损失；
13.s13、利用随机梯度下降法不断减少在不同数据增强方法下该遥感图像的数据增强处理结果之间的nce损失，直至该nce损失的值趋于稳定，进而得到能够提取遥感影像特征信息的嵌入网络模型。
14.优选地，所述步骤s12中不同数据增强方法包括缩放、随机裁剪、随机中心裁剪、仿射变换、颜色抖动、随机水平翻转和随机灰度变换。
15.优选地，所述对比学习通过选取来源于预设的深度神经网络中不同卷积层所生成的特征图进行对比。
16.优选地，所述步骤s12中在不同数据增强方法下该遥感图像的数据增强处理结果之间的nce损失用公式表示为：
17.l(xm,xn)＝l(fa(xm),f5(xn))+l(fa(xm),fe(xn))+l(f5(xm),f5(xn))+l(fa(xn),f5(xm))+l(fa(xn),fe(xm))+l(fe(xm),fe(xn))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
18.式(1)中，xm和xn分别表示同一张遥感影像经过两种不同数据增强方法进行数据增强的处理结果，fa表示预设的深度神经网络提取的全局特征图，f5表示预设的深度神经网络中第五层卷积提取的局部特征图，fe表示预设的深度神经中最后一层卷积提取的网络最后一层输出特征图，其中，
[0019][0020][0021][0022][0023]
n表示所有遥感影像，d表示欧几里得距离的平方。
[0024]
优选地，所述步骤s2的具体实现方式为：
[0025]
s21、将步骤s1所获取的嵌入网络模型嵌入到元学习的框架中并作为待训练嵌入网络模型；
[0026]
s22、将由所有遥感影像构成的数据集中的样本分为若干个种类，从每一个种类中均随机抽取k个样本作为支持集，其余样本作为查询集，并将支持集中的样本输入待训练嵌入网络模型中进行度量，得到支持集中第i个样本的分类结果wi，用公式表示为：
[0027][0028]
式(2)中，f()表示待训练嵌入网络模型，s表示支持集，yi表示支持集中的第i个样本，zi表示样本yi的对应标签；
[0029]
s23、将查询集中的样本输入待训练嵌入网络模型得到查询集中样本的分类结果，然后计算查询集中样本的分类结果与支持集中样本的分类结果之间的差异，进而判断出查询集中样本的种类；
[0030]
s24、利用随机梯度下降法不断降低查询集中样本的分类结果与支持集中样本的分类结果之间的差异，以使元学习训练后的待训练嵌入网络模型获得利用已有先验知识对新样本进行分类的能力，进而得到小样本分类嵌入网络模型。
[0031]
优选地，所述查询集中样本的分类结果与支持集中样本的分类结果之间的差异用公式表示为：
[0032]
l
meta
＝log∑nexp(-d(f(q),wi))
ꢀꢀꢀꢀꢀꢀꢀ
(3)
[0033]
式(3)中，q表示查询集中样本，wi表示待训练嵌入网络模型对支持集中第i个样本的分类结果，表示查询集中样本与支持集中样本的分类结果之间的差异。
[0034]
优选地，所述步骤s3的具体实现方式为：首先计算自蒸馏训练过程中的损失函数，即计算自蒸馏训练中第k代预测值和第k代实际值之间的差异以及第k代预测值与第k-1代预测值之间的差异；然后利用诱导网络降低两种差异值，不断迭代直至两种差异值之和减小到最小值并在最小值附近趋于稳定，从而得到训练好的smsr模型。
[0035]
优选地，所述自蒸馏训练第k次迭代训练中损失函数取最小值时的模型参数化用公式表示为：
[0036][0037]
式(4)中，表示自蒸馏训练第k次迭代得到的参数化模型，kl表示kullback leibler散度，α表示超参数，q表示自蒸馏训练的数据集，l
ce
为交叉熵损失，表示参数化模型，表示参数化模型对数据集q的分类结果。
[0038]
优选地，还包括：s4、将实时获取的遥感影像输入训练好的smsr模型中进行分类，进而实现遥感影像的场景分类。
[0039]
与现有技术比较，本发明利用自监督学习训练预设的深度神经网络得到具有特征提取能力的嵌入网络模型，即从少量无标签的数据中提取先验知识的能力，然后将该嵌入网络模型应用到元学习框架中进行小样本遥感影像分类训练后得到利用已知先验知识对新样本进行分类的小样本分类嵌入网络模型，再将小样本分类嵌入网络模型经过自蒸馏进行精简优化，从而得到训练好的smsr模型，最后利用训练好的smsr模型即可对实时获取的遥感影像进行分类，实现小样本遥感影像的场景分类，基于所述训练好的smsr模型对遥感
影像进行场景分类的分类结果更优于传统的有监督学习遥感影像场景分类方法的分类结果。
附图说明
[0040]
图1是本发明一种面向小样本遥感影像场景分类的自监督自蒸馏元学习方法的流程图，
[0041]
图2是本发明实施例中masati遥感影像数据集的部分示意图，
[0042]
图3是本发明中遥感图像基于自监督学习网络输出特征图的流程图。
具体实施方式
[0043]
为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的详细说明。
[0044]
如图1-图3所示，一种面向小样本遥感影像场景分类的自监督自蒸馏元学习方法，所述方法包括以下步骤：
[0045]
s1、基于自监督学习并利用遥感图像数据对预设的深度神经网络进行训练，进而获取一个能够提取遥感影像特征信息的嵌入网络模型；
[0046]
s2、将步骤s1中所获取的嵌入网络模型嵌入到元学习的框架中进行训练，并使元学习训练后的嵌入网络模型能够利用已有先验知识对新样本进行分类，进而得到小样本分类嵌入网络模型；
[0047]
s3、基于自蒸馏训练对小样本分类嵌入网络模型进行迭代优化，进而完成面向小样本遥感影像分类的自监督自蒸馏元学习，得到训练好的smsr(self-supervised meta learning and self-distillation remote sensing scene classification，面向小样本遥感影像场景分类的自监督自蒸馏元学习方法)模型；
[0048]
s4、将实时获取的遥感影像输入训练好的smsr模型中进行分类，从而实现遥感影像的场景分类。
[0049]
本实施例中，首先，利用自监督学习训练预设的深度神经网络得到具有特征提取能力的嵌入网络模型；然后，将嵌入网络模型应用到元学习框架中进行小样本遥感影像分类训练后并使用自蒸馏进行精简优化，从而得到训练好的smsr模型；最后利用训练好的smsr模型对实时获取的遥感影像进行分类，实现小样本遥感影像场景分类。基于所述训练好的smsr模型对遥感影像进行场景分类的分类结果更优于传统的有监督学习遥感影像场景分类方法的分类结果。
[0050]
其中，所述步骤s1具体实现方式为：
[0051]
s11、将对比学习设置为自监督学习的辅助任务，并选取nce(noise contrastive estimation，噪音对比估计)损失为对比学习的衡量指标，nce损失用于计量目标对象之间的差别程度和互信息的大小，所述对比学习通过选取来源于预设的深度神经网络中不同卷积层所生成的特征图进行对比，进而能够进一步扩大对比对象之间的差别，提升对比学习的复杂程度；
[0052]
s12、利用不同数据增强方法对同一张遥感图像进行数据增强，并计算在不同数据增强方法下该遥感图像的数据增强处理结果之间的nce损失，其中，不同数据增强方法包括
缩放、随机裁剪、随机中心裁剪、仿射变换、颜色抖动、随机水平翻转和随机灰度变换；
[0053]
s13、利用随机梯度下降法不断减少在不同数据增强方法下该遥感图像的数据增强处理结果之间的nce损失，直至该nce损失的值趋于稳定，进而得到能够提取遥感影像特征信息的嵌入网络模型。
[0054]
其中，在不同数据增强方法下该遥感图像的数据增强处理结果之间的nce损失用公式表示为：
[0055]
l(xm,xn)＝l(fa(xm),f5(xn))+l(fa(xm),fe(xn))+l(f5(xm),f5(xn))+l(fa(xn),f5(xm))+l(fa(xn),fe(xm))+l(fe(xm),fe(xn))
ꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0056]
式(1)中，xm和xn分别表示同一张遥感影像经过两种不同数据增强方法进行数据增强的处理结果，fa表示预设的深度神经网络提取的全局特征图，f5表示预设的深度神经网络中第五层卷积提取的局部特征图，fe表示预设的深度神经中最后一层卷积提取的网络最后一层输出特征图，其中，
[0057][0058][0059][0060][0061]
n表示所有遥感影像，d表示欧几里得距离的平方。
[0062]
本实施例中，通过将对比学习作为自监督学习的辅助任务，当两个对比目标之间的差异越小，其互信息就越高，通过不断扩大两张遥感影像样本之间的互信息，促使深度神经网络学习到遥感影像样本中的特征信息，同时，为了扩大不同数据增强结果之间的差异，避免模型训练的坍缩，采用不同的数据增强方法对同一张遥感图像进行数据增强，然后计算在不同数据增强方法下该遥感图像的数据增强处理结果之间的nce损失，最后通过不断减少nce损失直至其值趋于稳定后，即得到能够提取遥感影像特征信息的嵌入网络模型。
[0063]
其中，所述步骤s2的具体实现方式为：
[0064]
s21、将步骤s1所获取的嵌入网络模型嵌入到元学习的框架中并作为待训练嵌入网络模型；
[0065]
s22、将由所有遥感影像构成的数据集中的样本分为若干个种类，从每一个种类中均随机抽取k个样本作为支持集，其余样本作为查询集，并将支持集中的样本输入待训练嵌入网络模型中进行度量，得到支持集中第i个样本的分类结果wi，用公式表示为：
[0066][0067]
式(2)中，f()表示待训练嵌入网络模型，s表示支持集，yi表示支持集中的第i个样本，zi表示样本yi的对应标签，其中，所述查询集用于测试小样本分类嵌入网络模型的分类性能；
[0068]
s23、将查询集中的样本输入待训练嵌入网络模型得到查询集中样本的分类结果，然后计算查询集中样本的分类结果与支持集中样本的分类结果之间的差异，进而判断出查询集中样本的种类，其中，查询集中样本的分类结果与支持集中样本的分类结果之间的差异最小的种类即为查询集中样本的种类，计算查询集中每一个样本的分类结果与计算支持集中第i个样本的分类结果相同，此处不再赘述；
[0069]
s24、利用随机梯度下降法不断降低查询集中样本的分类结果与支持集中样本的分类结果之间的差异，以使元学习训练后的待训练嵌入网络模型获得利用已有先验知识对新样本进行分类的能力，进而得到小样本分类嵌入网络模型，其中，所述查询集中样本的分类结果与支持集中样本的分类结果之间的差异用公式表示为：
[0070]
l
meta
＝logσnexp(-d(f(q),wi))
ꢀꢀꢀꢀꢀꢀꢀ
(3)
[0071]
式(3)中，q表示查询集中样本，wi表示待训练嵌入网络模型对支持集中第i个样本的分类结果，表示查询集中样本的分类结果与支持集中样本的分类结果之间的差异。
[0072]
本实施例中，由于支持集和查询集中存在多种类的样本，对于多种类的样本综合考虑时，因此多种样本分类结果之间的差异需要指数求和再对数进行计算。其中，小样本分类嵌入网络模型的获取具体方式为：将自监督学习训练得到的嵌入网络模型，进而使得嵌入网络模型得到从少量无标签的数据中提取先验知识的能力，再将该嵌入网络模型应用到元学习的框架中进行训练，有效加深了网络学习进度，得到了利用已知先验知识对新样本进行分类的小样本分类嵌入网络模型。
[0073]
需要说明的是，在本实施例中，对于查询集中样本的分类结果与支持集中样本的分类结果之间的差异，由于待分类样本的种类不止一种，故多种待分类样本综合考虑时需要使用公式(3)中的指数求和再对数进行计算，相比直接将查询集中样本的分类结果与支持集中样本的分类结果之间的差异相加，这样处理可以避免单个样本对整体影响过大，造成过拟合。
[0074]
其中，所述步骤s3的具体实现方式为：首先计算自蒸馏训练过程中的损失函数，即计算自蒸馏训练中第k代预测值和第k代实际值之间的差异以及第k代预测值与第k-1代预测值之间的差异；然后利用诱导网络降低两种差异值，不断迭代直至两种差异值之和减小到最小值并在最小值附近趋于稳定，从而得到训练好的smsr模型。本实施例中，利用自蒸馏对小样本分类嵌入网络模型进行优化，使得模型的结构更加精简，其模型的精度大大得到提升。
[0075]
其中，所述自蒸馏训练第k次迭代训练中损失函数取最小值时的模型参数化用公式表示为：
[0076][0077]
式(4)中，表示自蒸馏训练第k次迭代得到的参数化模型，kl表示kullback leibler散度，α表示超参数，q表示自蒸馏训练的数据集，l
ce
为交叉熵损失，表示参数化模型，表示参数化模型对数据集q的分类结果。
[0078]
为了进一步理解本发明的工作原理和技术效果，下面进行了一系列相关实验予以说明。
[0079]
1、选取数据集
[0080]
如图2所示，数据集中的遥感影像数据来源于maritime satellite imagery dataset遥感影像数据集(记为masati)，该数据集于2016年3月至2019年6月间从欧洲、非洲、亚洲、地中海以及大西洋和太平洋的不同区域汇编而来，提供可见光谱的光学遥感影像场景。数据集中含有陆地、海岸、海洋、船舶等七类样本，每张的分辨率为512x512，总计约7389张影像。
[0081]
2、深度神经网络模型训练与结果
[0082]
如图3所示，利用自监督学习对预设的深度神经网络进行训练，自监督学习网络对输入的遥感影像进行特征提取，生成对应的特征图进行对比学习，训练结束后得到的自监督网络即为嵌入网络模型。
[0083]
表1为自监督学习卷积网络的结构参数，其中，每个卷积块由多个卷积层组成，从conv3x到conv7x中的每个卷积块都包含16层卷积(conv表示卷积层)，使用1x1卷积来减小通道数，降低模型复杂度，每个卷积块内使用相同的输出通道数，前向运算时将依次将每块的输入和输出在通道中相连接，构成自监督学习网络。
[0084]
表1自监督学习网络结构参数
[0085]
[0086][0087]
基于自监督的元学习训练时，选取的遥感影像小样本场景分类任务为1-shot 5-way。训练前将遥感影像图片预处理裁剪为256
×
256并输入网络中，优化器使用sgd(随机梯度下降法)，learning rate(学习率)取0.0001，dropout(深度神经网络中的一个参数)取0.5,，batch size(批尺寸)取32，总共训练300个epoch(其中，一个epoch表示将所有样本训练一次的过程)。
[0088]
对模型进行自蒸馏训练时，在同一数据集上使用基于自监督的元学习训练相得到的模型进行自蒸馏，超参数α取0.5，总共进行10个epoch的自蒸馏训练，经过自蒸馏得到的模型命名为smsr模型，即基于自监督元学习与自蒸馏小样本遥感影像场景分类方法模型。
[0089]
为了进行对比，本实验选取了几种经典的有监督小样本学习算法在1-shot 5-way(其中，5-way就是5路或5类，1-shot就是1次或1个)任务中进行训练，同时在数据集中进行测试，测试结果如表2所示：
[0090]
表2 masati 1-shot 5-way准确率对比，置信度选取95％
[0091]
算法名称嵌入网络1-shot5-way准确率mamlconvnet53.70
±
0.82％relationnetconvnet54.21
±
0.14％
snailresnet5056.25
±
0.29％protonetresnet5057.63
±
0.66％self-jigresnet5058.16
±
0.84％smsr自监督学习网络59.62
±
0.16％
[0092]
由表2可知，本发明提出的smsr模型分类方法在masati遥感影像数据集(深度学习中的遥感影像数据集)中进行的1-shot 5-way任务中，相比经典有监督小样本学习算法准确率有一定的优势，其中比self-jig准确率提高了约1.5％。
[0093]
3消融实验
[0094]
为了验证本发明所提出的smsr模型分类方法中所采用的自监督元学习和自蒸馏的有效性，还进一步做了一系列消融实验。
[0095]
3.1自监督学习消融实验
[0096]
为了验证自监督学习的有效性，使用有监督训练代替smsr中的自监督训练，嵌入模型直接使用resnet50(一种神经网络)代替自监督学习网络进行元学习，其他部分保持和smsr模型相同，并将该算法命名为msr模型，在和smsr模型相同的训练环境下对msr模型进行训练并进行测试，实验结果如表3所示。
[0097]
表3 masati 1-shot 5-way准确率对比，置信度选取95％
[0098][0099][0100]
由表3可知，有监督学习在仅使用少量有标签数据训练嵌入网络时，会因为样本太少发生过拟合，进一步导致元学习模型泛化能力不足，在1-shot 5-way任务中的性能不如使用自监督学习的smsr模型，因此，通过自监督学习可以得到性能良好的嵌入网络模型，提高元学习模型的性能。
[0101]
3.2自蒸馏消融实验
[0102]
为了验证自蒸馏的有效性，去除smsr模型中的自蒸馏部分，其他结构与smsr模型保持一致，在与smsr模型相同的训练环境下进行训练和测试，实验结果如表4所示。
[0103]
表4 masati 1-shot 5-way准确率对比，置信度选取95％
[0104]
算法名称基础网络1-shot5-way准确率smsr-自监督学习网络62.83
±
0.91％smsr自监督学习网络64.54
±
0.16％
[0105]
其中，smsr-模型代表不进行自蒸馏的smsr模型，由表4可以看出，经过自蒸馏训练的smsr模型比smsr-准确率高了约1.7％，由此可见，自蒸馏训练能够使得模型更加精炼。
[0106]
以上对本发明所提供的一种面向小样本遥感影像场景分类的自监督自蒸馏元学习方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这
些改进和修饰也落入本发明权利要求的保护范围内。