一种层次化特征自主学习的遥感图像特征提取方法

本发明涉及图像特征提取，具体为一种在不依赖人工标注数据下的层次化特征自主学习的遥感图像特征提取方法。

背景技术：

1、特征提取的主要目的为从原始输入影像中提取有效特征，并使用这些特征表示原始数据。所提取的特征能够更好地描述影响数据的内在结构，有效地抑制噪声和其他与任务无关的信息，另一方面，所提取的特征具有不变性，不因各类成像条件的变化而变化，可用于不同条件下的遥感图像智能解译任务。近年来监督学习与自监督学习方法凭借其强大的特征学习能力，逐渐取代基于手工特征的特征提取方法，在特征提取领域取得了突破性进展。

2、监督学习方法从大规模数据中以“端到端”的方式学习图像特征，从而节省了人工设计特征的时间和精力，此外，监督学习所提取的特征具有较强的鲁棒性，能够应用于不同场景下的图像理解任务。

3、尽管基于监督学习的特征提取方法取得了极大的成功，但其监督学习的形式，仍存在不足和局限性。首先，从数据层面上看，深度神经网络的成功在于它在拟合大规模标注样本的同时不会大幅牺牲泛化能力。但在遥感领域，标注遥感数据需要耗费大量的时间与人力，而遥感数据本身就具备多传感器、多时相、多分辨率等特点，因此构建一个大规模、高质量、完备的遥感场景分类数据集面临着诸多挑战。另外，监督学习方法在有限样本上进行学习，由于样本的封闭性和样本特征的动态变化性很容易导致方法性能的崩塌。另一方面，监督学习依靠人工标注提供的语义支持作为唯一的学习信号进行模型学习，如果将人类的标注作为知识先验，那么在标注的过程中实际上已经给机器做了知识的限定。但对于海量遥感数据而言，其内蕴信息理论上应该比稀疏标签所提供的语义信息丰富的多，因此过分依赖人工标注，将使得学习得到的模型存在“归纳偏置”的风险。

4、自监督学习方法可有效解决上述问题，其通过人工设计的自监督学习信号从海量无标注数据中挖掘自身的监督信息构成伪标签，从而替代人工标注数据来驱动模型进行特征学习。目前常用的自监督学习方法可分为生成型和对比型两类。生成型自监督学习方法的基本思想为通过还原认为破坏后的图像来达到特征学习的目的，其背后的动机为一旦模型能够完全还原原始图像，则说明模型已经具备提取原始图像的关键特征的能力。对比型自监督学习方法的核心思想为拉近同一图像的不同变换视图在特征空间中的距离而拉远不同图像在特征空间中的距离，从而达到学习兼具不变性和可区分性特征表达的目的。

5、目前基于自监督学习的图像特征提取实现方案主要为：

6、步骤1：构建大规模无标注遥感图像数据集。

7、步骤2：针对下游应用需求，设计恰当的自监督学习信号(如场景分类任务选择实例判别信号；语义分割任务选择掩码重建信号)，在所构建的无标注遥感图像数据集上进行预训练提取丰富的图像特征。

8、步骤3：将经过自监督预训练的模型通过少量标注数据微调至遥感图像下游具体任务中(如场景分类、语义分割、变化检测、目标检测等)。

9、根据下游任务所使用的评价指标评估预训练模型的性能，将其作为评价自监督学习方法优劣的标准。最终，将所训练好的模型应用至遥感图像真是应用场景中。

10、目前遥感领域的自监督学习方法局限于使用生成型自监督学习信号或对比型自监督学习信号，而这两种学习信号所提取特征的表征能力有限：生成型自监督学习信号建模像素间上下文特征，局限于提取像素级特征；对比型自监督学习信号建模图像之间的全局语义关系，局限于提取场景级特征。遥感图像由微观到宏观的地物建构层次，依赖于全方位多层次的特征表达方式，以提高遥感场景感知与识别能力，因此亟需一种层次化特征自主学习的特征提取方法。

技术实现思路

1、发明目的：针对目前自监督特征学习方法无法提取层次化特征的难题，本发明提出了一种层次化特征自主学习的遥感图像特征提取方法，通过多维投影空间与教师-学生知识蒸馏网络联合多种自监督学习信号，解决联合过程中不同自监督学习信号面临的语义混淆难题，挖掘海量无标注遥感数据中的内蕴信息，提取像素-对象-场景层次化图像特征。

2、技术方案：一种层次化特征自主学习的遥感图像特征提取方法，包括以下步骤：

3、对输入遥感图像x进行两次随机裁剪，得到输入遥感图像x的两个不同视图，记为xa,xb；对视图xa进行随机掩码，得到掩码图像xm；对视图xb进行随机图像变换，得到变换图像xg；将掩码图像xm输入至学生模型中，得到掩码图像xm的特征图fm；将变换图像xg输入至教师模型中，得到变换图像xg的特征图fg；

4、将特征图fm输入至重建解码器中，通过重建视图xa以学习像素级别的图像特征；

5、根据随机裁剪的裁剪参数，计算得到特征图fm和特征图fg中每个特征向量的位置编码，并依据位置编码，计算特征图fm与特征图fg间特征向量之间的欧式距离，选择n个欧式距离最近的特征向量作为位置匹配的样本对，样本对通过局部投影投影到另一个特征空间，投影后的样本对分别映射到可学习的prototypes中并通过softmax操作获得每一个特征向量关于prototypes的概率分布；通过计算样本对所对应概率分布之间的交叉熵损失函数来对齐样本对中两特征向量之间的语义信息以学习对象级别的目标可分性特征；

6、特征图fm和特征图fg通过全局池化获得变换图像xg与掩码图像xm的场景级别全局特征，通过优化infonce损失函数来拉近学生模型与教师模型的全局特征在特征空间中的距离并推远两者与视觉字典中其他特征的距离，学习场景级特征。

7、进一步的，视图xa和视图xb之间重叠区域面积大于输入遥感图像x面积大小的50％。

8、进一步的，所述对视图xa进行随机掩码，得到掩码图像xm，具体包括：

9、随机掩膜视图xa中60％的像素，并采用光谱均值替换所掩码像素的像素值，得到掩码图像xm。

10、进一步的，所述学生模型与教师模型采用相同的网络架构；

11、在学生模型训练过程中，通过优化算法更新学生模型的参数；

12、在教师模型训练过程中，通过滑动指数平均方法更新教师模型的参数：

13、所述滑动指数平均方法，包括：

14、假设学生模型的参数为θ，教师模型的参数为δ，m为滑动指数平均方法中的动量参数，则教师模型的参数通过下式进行更新：

15、δt＝(1-m)θt+mδt-1           (1)

16、其中，t表示第t次迭代过程。

17、进一步的，所述重建解码器为具有一层隐藏层的多层感知机。

18、进一步的，所述的将特征图fm输入至重建解码器中，通过重建视图xa以学习像素级别的图像特征，具体包括：

19、通过计算并最小化重建结果与重建视图xa在空间域与频率域上的l2损失函数，得到空间域与频率域上的重建结果

20、

21、

22、其中，ll，lf分别为空间域与频率域重建结果与重建视图xa的l2损失函数，fourier(·)为傅立叶变换。

23、进一步的，所述的根据随机裁剪的裁剪参数，计算得到特征图fm和特征图fg中每个特征向量的位置编码，具体包括：

24、假设裁剪参数为：左上角坐标(i2,j2)、裁剪的宽与高为w2,h2；

25、位于特征图(u,v)位置的特征向量的位置编码(l1,l2)为：

26、

27、

28、式中，hinput、winput为学生模型教师模型的输入的高和宽，h、w为特征图的高和宽。

29、进一步的，所述的投影后的样本对分别映射到可学习的prototypes中并通过softmax操作获得每一个特征向量关于prototypes的概率分布，具体包括：

30、

31、

32、其中，pi,qi分别为学生模型与教师模型间位置匹配的样本对关于prototypes的概率分布；τs,τt分别为学生模型与教师模型的温度参数，<·,·>为余弦相似度；c为可学习prototypes；所述prototypes通过一层线性全连接层的可学习参数获得；

33、所述的通过计算样本对所对应概率分布之间的交叉熵损失函数来对齐样本对中两特征向量之间的语义信息以学习对象级别的目标可分性特征，具体包括：

34、

35、其中，llocal为交叉熵损失函数，n为匹配样本的数量。

36、进一步的，所述的infonce损失函数，表示为：

37、

38、式中，<·,·>代表余弦相似度；τ为控制正样本与负样本之间距离的温度系数；k-为视觉字典中的特征向量；q、k分别为将掩码图像xm与变换图像xg的特征图fm，fg通过全局池化获得的变换图像与掩码图像的场景级别全局特征。

39、有益效果：本发明与现有技术相比，具有以下优点：

40、(1)采用本发明方法能挖掘海量无标注遥感数据的内蕴特征，充分利用遥感图像海量数据的优势，提取“像素-对象-场景”的全方位层次化特征；

41、(2)利用本发明方法预训练的模型作为各类遥感图像解译任务(场景分类、语义分割、目标检测、变化检测)的骨干网络，可大幅提高遥感图像解译精度。