一种基于对比学习的遥感影像表征方法与流程

本发明属于遥感图像处理领域，更具体地涉及一种基于对比学习的遥感影像表征方法。

背景技术：

1、词嵌入技术作为一种语言表征技术，在自然语言处理领域获得了巨大成功，在自动问答、自动写作等任务当中起到重要作用；借鉴语言表征的思想，图像表征方法取得长足进步，对图像的有效表征将大幅提升图像检索、图像压缩、内容识别等任务的性能。然而，基于监督学习的图像表征方法需要大量的人工投入进行标签标注。同时，图像不同于语言和文本，语言和文本中的词汇数量是有限的，图像内容是无限的，图像内容标注需要的人力成本和时间成本更高。为此，为了节省人工成本和时间开销，利用大量无标签的图像数据，拓展图像表征在遥感领域的应用，亟需一种采用无监督方法的遥感影像表征方法。

技术实现思路

1、本发明的目的是利用大量无标签的图像数据，同时节省人工和时间开销，拓展图像表征在遥感领域的应用，提出了一种基于对比学习的遥感影像表征方法。该方法不仅能对遥感影像中的林地、水体、沙漠地物进行不同表征，也能够对具有较远空间分布的相同地物进行差异化表征，还能够对成像时间跨度较大的同一块地物进行区分表征。

2、本发明采用的技术方案为：

3、一种基于对比学习的遥感影像表征方法，包括以下步骤：

4、步骤1，将遥感影像进行坐标统一操作，将幅宽超出阈值的遥感影像裁剪至设定幅宽遥感子图；

5、步骤2，对步骤1中得到的遥感子图进行图像相似度计算，并根据遥感子图的成像时间、成像地点和图像相似度信息进行正负样本对构建，然后对正负样本进行图像增强；

6、步骤3，构建对比学习网络，输入为正负样本对，在对比学习网络中首先采用特征提取网络提取正负样本对的表征特征，然后对表征特征进行非线性变换得到损失函数计算特征，并依据损失函数进行损失计算，通过优化算法最小化损失函数更新对比学习网络的参数，最终得到对比学习网络；

7、步骤4，将未参与训练的新成像的遥感影像作为输入，通过对比学习网络中的特征提取网络提取表征特征，作为遥感影像的表征。

8、进一步的，步骤1中的坐标统一操作是将遥感影像的坐标系转换为wgs84坐标系，以经纬度每分为单位进行裁剪。

9、进一步的，步骤2中所述图像相似度计算包括直方图特征提取和直方图特征欧式距离计算，正负样本对中正负样本的比例为1:1，正负样本对构建过程具体为：

10、对张遥感子图进行相似度计算，得到个相似度度量参数，对相似度度量参数进行归一化，将相似度度量参数小于设定值的两张遥感子图作为正负样本候选对，在正负样本候选对中将成像时间差大于设定时长或者成像地点距离设定公里以上的两张遥感子图作为正负样本对，并对正负样本对中的遥感子图进行数据增强操作，包括随机加噪声、随机裁剪、随机旋转和随机加云雾。

11、进一步的，步骤3中所述的对比学习网络的输入为经过数据增强后的正负样本对，正样本和负样本分别输入到两个权值共享的特征提取网络中，特征提取网络采用cspdarknet53网络，表征特征维度设置为2048，使用双层全连接网络作为非线性变化层对表征特征进行非线性变换，损失计算特征设置为256，损失函数设计如下：

12、

13、其中为对比学习网络的损失函数，为匹配损失，为不匹配损失，为匹配损失系数，为不匹配损失系数，匹配损失包含正样本-正样本之间的匹配程度和负样本-负样本之间的匹配程度，不匹配损失包含正样本-负样本之间的匹配程度和负样本-正样本之间的匹配程度，和取值为0到1之间，且+=1。

14、进一步的，步骤4中所述未参与训练的新成像的遥感影像经过遥感子图裁剪后输入到特征提取网络中，且遥感影像的表征特征维度与步骤3中所述的表征特征维度一致。

15、本发明相对于现有技术的优点为：

16、(1)采用自监督对比学习方法，节省了影像表征过程中数据标注产生的人工开销和时间开销；

17、(2)通过正负样本构建，避免了对比学习过程中正负样本严重不平衡的问题；

18、(3)引入空间维度和时间维度信息，能够对不同地物、不同空间分布、不同成像时间的遥感影像进行差异化表征。

技术特征：

1.一种基于对比学习的遥感影像表征方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于对比学习的遥感影像表征方法，其特征在于，步骤1中的坐标统一操作是将遥感影像的坐标系转换为wgs84坐标系，以经纬度每分为单位进行裁剪。

3.根据权利要求1所述的一种基于对比学习的遥感影像表征方法，其特征在于，步骤2中所述图像相似度计算包括直方图特征提取和直方图特征欧式距离计算，正负样本对中正负样本的比例为1:1，正负样本对构建过程具体为：

4.根据权利要求1所述的一种基于对比学习的遥感影像表征方法，其特征在于，步骤3中所述的对比学习网络的输入为经过数据增强后的正负样本对，正样本和负样本分别输入到两个权值共享的特征提取网络中，特征提取网络采用cspdarknet53网络，表征特征维度设置为2048，使用双层全连接网络作为非线性变化层对表征特征进行非线性变换，损失计算特征设置为256，损失函数设计如下：

5.根据权利要求1所述的一种基于对比学习的遥感影像表征方法，其特征在于，步骤4中所述未参与训练的新成像的遥感影像经过遥感子图裁剪后输入到特征提取网络中，且遥感影像的表征特征维度与步骤3中所述的表征特征维度一致。

技术总结
本发明提供一种基于对比学习的遥感影像表征方法，属于遥感图像处理领域，首先对遥感影像进行预处理，将遥感影像坐标统一，将遥感影像裁剪为遥感子图；其次构建正负样本，对遥感子图进行相似度计算，根据相似度信息进行正负样本对构建，对正负样本进行图像增强；然后构建对比学习网络，通过优化算法最小化损失函数，更新对比学习网络的参数，最终得到对比学习网络；最后将未训练的遥感影像作为输入，通过对比学习网络中的特征提取网络提取表征特征，作为遥感影像的表征。该方法不仅能对遥感影像中的林地、水体、沙漠地物进行不同表征，也能够对具有较远空间分布的相同地物进行差异化表征，还能够对成像时间跨度较大的同一块地物进行区分表征。

技术研发人员：张晓男,朱进,耿虎军,王港,郭争强,朱光熙
受保护的技术使用者：中国电子科技集团公司第五十四研究所
技术研发日：
技术公布日：2024/1/13