一种基于监督对比学习的遥感影像遮挡处理方法及装置

1.本发明涉及遥感影像遮挡处理技术领域，尤其涉及一种基于监督对比学习的遥感影像遮挡处理方法及装置。


背景技术：

2.遥感影像是传感器以电磁波为信息载体，非接触式地记录地物电磁波特性而形成的影像。由于具有宏观、客观、经济、时效性强的特点，遥感影像在军事侦察、土地调查、城市规划等领域有巨大的应用价值。而遥感影像的智能化解译，如场景分类、目标检测与识别等，则是遥感影像实际应用的重要技术基础。近年来，卷积神经网络凭借其优异的层次化表征学习能力，在遥感影像智能化解译领域得到广泛应用，并推动该领域取得长足进步。然而，常见的卷积神经网络对遮挡场景鲁棒性弱，限制了遥感影像智能化解译的落地应用。因此，遥感影像遮挡处理是重要、迫切待研究且具有实际意义的研究方向。
3.目前，遮挡处理的研究可分为两类：基于遮挡恢复的方法和基于遮挡不变特征提取的方法。基于遮挡恢复的方法，主要是利用生成模型如对抗生成网络和自编码器等，先进行遮挡区域复原，再进行特征提取，使得特征具有遮挡不变性。然而，该类方法算法复杂度高，同时，在场景分类与目标检测任务中，像素级的图像或特征复原是不必要的。基于遮挡不变特征提取方法则是从不同角度出发，使用不同技术，直接提取遮挡不变特征。第一，如果从遮挡导致类内差异和类间混淆的角度出发，则利用度量学习、低秩表示等手段，提高同类地物特征分布的紧凑度，提高异类地物特征可分性，进行遮挡不变特征提取。第二，如果从遮挡信息难以标注的角度出发，则利用半监督或非监督模型，降低模型对遮挡先验信息依赖，进行遮挡不变特征提取。第三，如果从遮挡物体空间位置、光谱信息、几何形态多样性的角度出发，则利用迁移学习，提高模型可泛化性，进行遮挡不变特征提取。然而，遮挡是类别可分性问题、非监督问题和泛化性问题的综合，从单一视角出发无法有效提取遮挡不变特征。另外地，现有的对比学习虽然可以全面地考虑类别可分性问题、非监督问题和泛化性问题，具有遮挡处理的潜力，但是对比学习属于非监督学习，具有类别级非监督、批量大小大和二阶模型的特点，因此，将对比学习直接应用到影像的遮挡处理中效果欠佳。


技术实现要素：

4.本发明提供了一种基于监督对比学习的遥感影像遮挡处理方法及装置，学习随机遮挡影像特征和无遮挡影像特征，降低遮挡物变化造成的差异，提升模型的鲁棒性。
5.为了解决上述技术问题，本发明实施例提供了一种基于监督对比学习的遥感影像遮挡处理方法，包括：
6.构建参数共享的孪生resnet－50模型，并利用训练集对所述孪生resnet－50模型进行训练，获得遮挡处理模型；其中，所述孪生resnet－50模型包括由无遮挡影像特征提取分支和随机遮挡影像特征提取分支构成的特征提取结构、以及场景分类结构，所述训练集包括若干个第二遥感影像、以及每个所述第二遥感影像对应的类别标签；
7.将待识别的第一遥感影像输入至所述遮挡处理模型，以使所述遮挡处理模型对所述第一遥感影像进行特征提取和场景分类，并输出所述第一遥感影像对应的第一类别，作为所述第一遥感影像的遥感影像遮挡处理结果。
8.实施本发明实施例，通过参数共享的孪生resnet－50模型的遮挡影像特征提取分支、随机遮挡影像特征提取分支和场景分类结构，实现对若干个第二遥感影像的特征提取和场景分类，并结合每个第二遥感影像对应的类别标签，训练孪生resnet－50模型对随机遮挡影像特征和无遮挡影像特征的提取能力，以及对遥感影像的分类能力，进而降低遮挡物变化造成的差异，提升模型的遥感影像遮挡处理精度。
9.作为优选方案，所述构建参数共享的孪生resnet－50模型，并利用训练集对所述孪生resnet－50模型进行训练，获得遮挡处理模型，具体为：
10.获取若干个第二遥感影像、以及每个所述第二遥感影像对应的类别标签，构建参数共享的孪生resnet－50模型，并将所述第二遥感影像输入至所述孪生resnet－50模型；其中，所述第二遥感影像为无遮挡遥感影像；
11.通过所述特征提取结构，对所述第二遥感影像分别进行恒等映射增强处理和随机尺寸、位置绿色矩形遮挡增强处理，获得对应的恒等映射增强影像和随机遮挡增强影像，并分别对所述恒等映射增强影像和所述随机遮挡增强影像进行逐级特征学习和逐级对比损失计算，获得所述第二遥感影像对应的第二类别和各级特征学习对比损失；
12.根据所述第二类别、所述类别标签和所述各级对比损失，计算得到总体损失，并按照预设的算法，结合所述总体损失，更新所述孪生resnet－50模型的各参数，得到对应的初始模型，并将所述初始模型作为所述孪生resnet－50模型，利用所述训练集，迭代训练所述孪生resnet－50模型，直至训练次数达到预设次数，则将当前所述初始模型作为所述遮挡处理模型。
13.实施本发明实施例的优选方案，对第二遥感影像分别进行恒等映射增强处理和随机尺寸、位置绿色矩形遮挡增强处理，避免遮挡物位置或尺寸变化造成的类内差异，以提高相同遮挡类别的处理效果。同时，多次训练孪生resnet－50模型，能够有效优化模型的特征提取和分类能力，进一步提升模型的鲁棒性。
14.作为优选方案，所述分别对所述恒等映射增强影像和所述随机遮挡增强影像进行逐级特征学习和逐级对比损失计算，获得所述第二遥感影像对应的第二类别和各级特征学习对比损失，具体为：
15.分别对所述恒等映射增强影像和所述随机遮挡增强影像进行逐级特征学习，并将每一级特征学习的输出作为下一级特征学习的输入；
16.从第二级特征学习开始，根据所述恒等映射增强影像和所述随机遮挡增强影像的各级特征学习的输出，计算得到所述各级特征学习对比损失；
17.通过场景分类结构，对所述随机遮挡增强影像对应的最后一级特征学习的输出进行分类处理，得到所述第二类别。
18.实施本发明实施例的优选方案，能够从多方面考虑整个处理过程中出现的损失，如每一级特征学习过程中的对比损失和场景分类过程中的分类损失，并根据所有损失更新优化孪生resnet－50模型的参数，进一步提高模型对遥感影像的遮挡处理能力。
19.作为优选方案，所述根据所述第二类别、所述类别标签和所述各级对比损失，计算
得到总体损失，具体为：
20.对所述类别标签进行one－hot编码处理，得到对应的影像类别；
21.按照预设的计算方式，根据所述第二类别和所述影像类别，计算得到对应的分类损失；
22.结合所述分类损失和所述各级对比损失，获得所述总体损失。
23.实施本发明实施例的优选方案，对类别标签进行one－hot编码处理，能够将其向量化，转化为适合孪生resnet－50模型等神经网络进行学习的形式。
24.作为优选方案，所述一种基于监督对比学习的遥感影像遮挡处理方法，还包括：
25.对所述第一遥感影像的特征提取结果进行tsne降维处理，得到对应的特征分布图，实现所述第一遥感影像的特征提取结果的可视化。
26.实施本发明实施例的优选方案，对特征提取结果进行tsne降维处理，在实现特征提取结果可视化的同时，减少分层、分簇现象，有效降低遮挡物造成的类间混淆和类内差异，提高整体的遮挡处理效果。
27.为了解决相同的技术问题，本发明实施例还提供了一种基于监督对比学习的遥感影像遮挡处理装置，包括：
28.模型训练系统，用于构建参数共享的孪生resnet－50模型，并利用训练集对所述孪生resnet－50模型进行训练，获得遮挡处理模型；其中，所述孪生resnet－50模型包括由无遮挡影像特征提取分支和随机遮挡影像特征提取分支构成的特征提取结构、以及场景分类结构，所述训练集包括若干个第二遥感影像、以及每个所述第二遥感影像对应的类别标签；
29.遮挡处理系统，用于将待识别的第一遥感影像输入至所述遮挡处理模型，以使所述遮挡处理模型对所述第一遥感影像进行特征提取和场景分类，并输出所述第一遥感影像对应的第一类别，作为所述第一遥感影像的遥感影像遮挡处理结果。
30.作为优选方案，所述模型训练系统，包括：
31.样本获取模块，用于获取若干个第二遥感影像、以及每个所述第二遥感影像对应的类别标签，构建参数共享的孪生resnet－50模型，并将所述第二遥感影像输入至所述孪生resnet－50模型；其中，所述第二遥感影像为无遮挡遥感影像；
32.特征处理模块，用于通过所述特征提取结构，对所述第二遥感影像分别进行恒等映射增强处理和随机尺寸、位置绿色矩形遮挡增强处理，获得对应的恒等映射增强影像和随机遮挡增强影像，并分别对所述恒等映射增强影像和所述随机遮挡增强影像进行逐级特征学习和逐级对比损失计算，获得所述第二遥感影像对应的第二类别和各级特征学习对比损失；
33.训练迭代模块，用于根据所述第二类别、所述类别标签和所述各级对比损失，计算得到总体损失，并按照预设的算法，结合所述总体损失，更新所述孪生resnet－50模型的各参数，得到对应的初始模型，并将所述初始模型作为所述孪生resnet－50模型，利用所述训练集，迭代训练所述孪生resnet－50模型，直至训练次数达到预设次数，则将当前所述初始模型作为所述遮挡处理模型。
34.作为优选方案，所述特征处理模块，包括：
35.增强处理单元，用于通过所述特征提取结构，对所述第二遥感影像分别进行恒等
映射增强处理和随机尺寸、位置绿色矩形遮挡增强处理，获得对应的恒等映射增强影像和随机遮挡增强影像；
36.特征学习单元，用于分别对所述恒等映射增强影像和所述随机遮挡增强影像进行逐级特征学习，并将每一级特征学习的输出作为下一级特征学习的输入；从第二级特征学习开始，根据所述恒等映射增强影像和所述随机遮挡增强影像的各级特征学习的输出，计算得到所述各级特征学习对比损失；
37.分类单元，用于通过场景分类结构，对所述随机遮挡增强影像对应的最后一级特征学习的输出进行分类处理，得到所述第二类别。
38.作为优选方案，所述训练迭代模块，包括：
39.损失计算单元，用于对所述类别标签进行one－hot编码处理，得到对应的影像类别；按照预设的计算方式，根据所述第二类别和所述影像类别，计算得到对应的分类损失；结合所述分类损失和所述各级对比损失，获得所述总体损失；
40.迭代单元，用于按照预设的算法，结合所述总体损失，更新所述孪生resnet－50模型的各参数，得到对应的初始模型，并将所述初始模型作为所述孪生resnet－50模型，利用所述训练集，迭代训练所述孪生resnet－50模型，直至训练次数达到预设次数，则将当前所述初始模型作为所述遮挡处理模型。
41.作为优选方案，所述一种基于监督对比学习的遥感影像遮挡处理装置，还包括：
42.降维处理系统，用于对所述第一遥感影像的特征提取结果进行tsne降维处理，得到对应的特征分布图，实现所述第一遥感影像的特征提取结果的可视化。
附图说明
43.图1：为本发明提供的一种基于监督对比学习的遥感影像遮挡处理方法的一种实施例的流程示意图；
44.图2：为本发明提供的一种基于监督对比学习的遥感影像遮挡处理方法的一种实施例的参数共享的孪生resnet－50模型的结构示意图；
45.图3：为本发明提供的一种基于监督对比学习的遥感影像遮挡处理方法的另一种实施例的流程示意图；
46.图4：为本发明提供的一种基于监督对比学习的遥感影像遮挡处理装置的结构示意图。
具体实施方式
47.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
48.实施例一：
49.请参照图1，为本发明实施例提供的一种基于监督对比学习的遥感影像遮挡处理方法，该方法包括步骤s1至步骤s2，各步骤具体如下：
50.步骤s1，构建参数共享的孪生resnet－50模型，并利用训练集对孪生resnet－50
卷积层组成)，得到u
stage_1
以及v
stage_1
；
63.令u
stage_1
和v
stage_1
通过stage-2层(由3组bottleneck组成，bottleneck由道数为128、步长为1的1
×
1卷积层，道数为128、步长为1、的3
×
3卷积层，以及道数为512、步长为1的1
×
1卷积层组成)，得到u
stage_2
以及v
stage_2
；
64.令u
stage_2
和v
stage_2
通过stage-3层(由3组bottleneck组成，bottleneck由道数为256、步长为1的1
×
1卷积层，道数为256、步长为1、的3
×
3卷积层，以及道数为1024、步长为1的1
×
1卷积层组成)，得到u
stage_3
以及v
stage_3
；
65.令u
stage_3
和v
stage_3
通过stage-4层(由3组bottleneck组成，bottleneck由道数为512、步长为1的1
×
1卷积层，道数为512、步长为1、的3
×
3卷积层，以及道数为2048、步长为1的1
×
1卷积层组成)，得到u
stage_4
以及v
stage_4
。
66.步骤s123，从第二级特征学习开始，根据恒等映射增强影像和随机遮挡增强影像的各级特征学习的输出，计算得到各级特征学习对比损失。
67.具体地，分别计算u
stage_1
和v
stage_1
的对比损失u
stage_2
和v
stage_2
的对比损失u
stage_3
和v
stage_3
的对比损失以及u
stage_4
和v
stage_4
的对比损失上述对比损失的计算方法请参照公式(1)：
[0068][0069]
其中，为第i张遥感影像恒等映射增强处理后在stage-k层的输出，为第i张遥感影像随机尺寸、位置绿色矩形遮挡增强处理后在stage-k层的输出。此外，定义标签相同的两幅遥感影像为正样本对，定义标签不同的两幅遥感影像为负样本对，则为第i张遥感影像正样本下标的集合，为集合中元素的数目，为的模.τ为温度常数且通常令τ＝0.1。
[0070]
步骤s124，通过场景分类结构，对随机遮挡增强影像对应的最后一级特征学习的输出进行分类处理，得到第二类别。
[0071]
具体地，首先，令v
stage_4
通过适应性池化层(adaptive pooling)，得到其中i＝1，2，
…
，n。其次，令v
ap
通过全连接层(由1000个神经元、relu激活函数、以及批量归一化层组成)，得到其中i＝1，2，
…
，n。然后，令v
rep
通过分类层(mlp classifier中进行分类，若类别数为c，则分类层有c个神经元，得到第二分类y
′
＝{y
′1，y
′2，
…
，y
′n}n，其中i＝1，2，
…
，n。
[0072]
步骤s13，根据第二类别、类别标签和各级对比损失，计算得到总体损失，并按照预
设的算法，结合总体损失，更新孪生resnet-50模型的各参数，得到对应的初始模型，并将初始模型作为孪生resnet-50模型，利用训练集，迭代训练孪生resnet-50模型，直至训练次数达到预设次数，则将当前初始模型作为遮挡处理模型。
[0073]
通过对孪生resnet-50模型的多次训练，能够有效优化模型的特征提取能力和分类能力，进一步提升模型的鲁棒性。
[0074]
作为优选方案，步骤s13具体包括步骤s131至步骤s133，各步骤具体如下：
[0075]
步骤s131，对类别标签进行one-hot编码处理，得到对应的影像类别，并按照预设的计算方式，根据第二类别和影像类别，计算得到对应的分类损失。其中，对类别标签进行one-hot编码处理，能够将其向量化，转化为适合孪生resnet-50模型等神经网络进行学习的形式。
[0076]
具体地，计算第二类别y
′
和影像分类的交叉熵损失，得到对应的分类损失loss
cls
。
[0077]
步骤s132，结合分类损失和各级对比损失，获得总体损失。
[0078]
具体地，总体损失的计算请参照公式(2)。
[0079][0080]
根据公式(2)可知，本发明实施例从多方面考虑整个处理过程中出现的损失，如每一级特征学习过程中的对比损失和场景分类过程中的分类损失，并根据所有损失更新优化孪生resnet-50模型的参数，进一步提高模型对遥感影像的遮挡处理能力。
[0081]
步骤s133，按照预设的算法，结合总体损失，更新孪生resnet－50模型的各参数，得到对应的初始模型，并将初始模型作为孪生resnet－50模型，利用训练集，迭代训练孪生resnet－50模型，直至训练次数达到预设次数，则将当前初始模型作为遮挡处理模型。
[0082]
具体地，使用反向传播算法，计算总体损失loss对孪生resnet－50模型各参数的偏导数，并结合动量的梯度下降算法，更新孪生resnet－50模型各参数。
[0083]
进一步的，预设次数为20，随机梯度下降初始学习速率定义为0.01，动量定义为0.9，同时每次迭代学习速率为上次迭代的e
0.9
倍。
[0084]
步骤s2，将待识别的第一遥感影像输入至遮挡处理模型，以使遮挡处理模型对第一遥感影像进行特征提取和场景分类，并输出第一遥感影像对应的第一类别，作为第一遥感影像的遥感影像遮挡处理结果。
[0085]
具体地，待识别的第一遥感影像，可以从测试集中获取。在dior遥感目标检测数据集的基础上，裁剪含有飞机、船只、风力发电机和储油罐的场景作为数据集，并从数据集中随机选取若干张遥感影像，作为参数共享的孪生resnet－50模型的训练集，其余作为遮挡处理模型的测试集。
[0086]
作为一种举例，dior遥感目标检测数据集的具体信息请参照表1，训练集包含47002张影像，测试集含46966张影像。其中，对于测试集数据，若按照遮挡等级可分为zero(0％面积被遮挡)、one(20％－40％面积被遮挡)、five(40％－60％面积被遮挡)、nine(60％－80％面积被遮挡)，若按照遮挡类型可分为黑色矩形遮挡、噪声矩形遮挡、云遮挡(稠密云层、稀疏云层、乌云)、树冠遮挡(稠密树冠、稀疏树冠、黄色树冠)和伪装物遮挡。
[0087]
表1测试集的具体信息表
[0088][0089][0090]
另外地，在获得所有第一遥感影像的遥感影像遮挡处理结果之后，统计遥感影像遮挡处理结果中分类正确的影像数量，并根据分类正确的影像数量和所有输入至遮挡处理模型的第一遥感影像数量的比值，计算得到当前模型的分类精度。与原resnet－50结构，含绿色矩形增强resnet－50结构，无绿色矩形增强监督对比学习resnet－50结构进行比较，分类精度的对比请参照表2，明显可以看出，监督对比学习resnet－50结构，即本实施例的遮挡处理模型的分类精度更优，同时表明本实施例的遮挡处理模型对于不同的遮挡场景都有较好的鲁棒性。
[0091]
表2测试分类精度对比表
[0092] zeroonefivenine总体精度原resnet-500.980.860.770.720.83含绿色矩形增强resnet-500.980.860.800.740.85无绿色矩形增强监督对比学习resnet-500.980.880.840.760.87监督对比学习resnet-500.980.930.910.810.90
[0093]
请参照图3，作为优选方案，一种基于监督对比学习的遥感影像遮挡处理方法，还包括步骤s3，具体如下：
[0094]
步骤s3，对第一遥感影像的特征提取结果进行tsne降维处理，得到对应的特征分布图，实现第一遥感影像的特征提取结果的可视化。
[0095]
实施本发明实施例的优选方案，对特征提取结果进行tsne降维处理，在实现特征提取结果可视化的同时，减少分层、分簇现象，有效降低遮挡物造成的类间混淆和类内差异，提高整体的遮挡处理效果。
[0096]
实施例二：
[0097]
请参照图4，为本发明实施例提供的一种基于监督对比学习的遥感影像遮挡处理装置的结构示意图，该装置具体包括模型训练系统1、遮挡处理系统2和降维处理系统3，各系统具体功能如下：
[0098]
模型训练系统1，用于构建参数共享的孪生resnet－50模型，并利用训练集对孪生resnet－50模型进行训练，获得遮挡处理模型；其中，孪生resnet－50模型包括由无遮挡影像特征提取分支和随机遮挡影像特征提取分支构成的特征提取结构、以及场景分类结构，训练集包括若干个第二遥感影像、以及每个第二遥感影像对应的类别标签；
[0099]
遮挡处理系统2，用于将待识别的第一遥感影像输入至遮挡处理模型，以使遮挡处理模型对第一遥感影像进行特征提取和场景分类，并输出第一遥感影像对应的第一类别，
作为第一遥感影像的遥感影像遮挡处理结果；
[0100]
降维处理系统3，用于对第一遥感影像的特征提取结果进行tsne降维处理，得到对应的特征分布图，实现第一遥感影像的特征提取结果的可视化。
[0101]
作为优选方案，模型训练系统1，包括：
[0102]
样本获取模块11，用于获取若干个第二遥感影像、以及每个第二遥感影像对应的类别标签，构建参数共享的孪生resnet－50模型，并将第二遥感影像输入至孪生resnet－50模型；其中，第二遥感影像为无遮挡遥感影像；
[0103]
特征处理模块12，用于通过特征提取结构，对第二遥感影像分别进行恒等映射增强处理和随机尺寸、位置绿色矩形遮挡增强处理，获得对应的恒等映射增强影像和随机遮挡增强影像，并分别对恒等映射增强影像和随机遮挡增强影像进行逐级特征学习和逐级对比损失计算，获得第二遥感影像对应的第二类别和各级特征学习对比损失；
[0104]
训练迭代模块13，用于根据第二类别、类别标签和各级对比损失，计算得到总体损失，并按照预设的算法，结合总体损失，更新孪生resnet－50模型的各参数，得到对应的初始模型，并将初始模型作为孪生resnet－50模型，利用训练集，迭代训练孪生resnet－50模型，直至训练次数达到预设次数，则将当前初始模型作为遮挡处理模型。
[0105]
作为优选方案，特征处理模块12，包括：
[0106]
增强处理单元121，用于通过特征提取结构，对第二遥感影像分别进行恒等映射增强处理和随机尺寸、位置绿色矩形遮挡增强处理，获得对应的恒等映射增强影像和随机遮挡增强影像；
[0107]
特征学习单元122，用于分别对恒等映射增强影像和随机遮挡增强影像进行逐级特征学习，并将每一级特征学习的输出作为下一级特征学习的输入；从第二级特征学习开始，根据恒等映射增强影像和随机遮挡增强影像的各级特征学习的输出，计算得到各级特征学习对比损失；
[0108]
分类单元123，用于通过场景分类结构，对随机遮挡增强影像对应的最后一级特征学习的输出进行分类处理，得到第二类别。
[0109]
作为优选方案，训练迭代模块13，包括：
[0110]
损失计算单元131，用于对类别标签进行one－hot编码处理，得到对应的影像类别；按照预设的计算方式，根据第二类别和影像类别，计算得到对应的分类损失；结合分类损失和各级对比损失，获得总体损失；
[0111]
迭代单元132，用于按照预设的算法，结合总体损失，更新孪生resnet－50模型的各参数，得到对应的初始模型，并将初始模型作为孪生resnet－50模型，利用训练集，迭代训练孪生resnet－50模型，直至训练次数达到预设次数，则将当前初始模型作为遮挡处理模型。
[0112]
本实施例更详细的工作原理及步骤流程可以但不限于参见实施例一的相关记载。
[0113]
相比于现有技术，本发明实施例具有如下有益效果：
[0114]
本发明通过参数共享的孪生resnet－50模型，实现对若干个第二遥感影像的特征提取和场景分类，并结合每个第二遥感影像对应的类别标签，训练孪生resnet－50模型对随机遮挡影像特征和无遮挡影像特征的提取能力，以及对遥感影像的分类能力，进而降低由遮挡物变化造成的差异，提升模型的遥感影像遮挡处理精度。
[0115]
进一步地，在完成对第二遥感影像的特征提取之后，对特征提取结果进行tsne降维处理，在实现特征提取结果可视化的同时，减少分层、分簇现象，有效降低遮挡物造成的类间混淆和类内差异，提高整体的遮挡处理效果。
[0116]
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。