遥感图像类激活映射图优化方法与流程

本发明属于遥感图像弱监督语义分割的研究领域，具体涉及一种遥感图像类激活映射图优化方法。

背景技术：

1、卫星遥感数据为代表的空间信息目前已成为全球不可或缺的重要战略性信息资源。作为地物信息的载体，遥感图像已经深入应用到人类的工作和生活中，在资源、环境、灾害、区域、城市等进行调查、监测、分析和预测、预报等工作中发挥着越来越重要的作用。

2、遥感图像语义分割是旨在通过端到端的机制实现对像素级的分类，在全卷积神经网络(fully convolutional neural networks ，fcn)的显著促进作用下，已被广泛用于遥感图像地物提取。在丰富的像素级标签数据集的监督下，基于fcn的语义分割任务能够利用图像中的空间上下文信息，提取不同感受野视角下的多级特征，极大地推动了遥感图像语义分割的性能。

3、然而，强监督学习需要提供图像像素级别的标签，需要大量的人工标注，导致训练样本非常昂贵和极其耗时的。弱监督的语义分割方法为克服遥感影像的标注困难提供了新的思路。弱监督的语义分割方法可以通过基于较少空间信息标注的弱监督学习来解决，比如涂鸦标注、点标注、边框标注和图像级标注，因其标注成本低而被广泛应用。弱监督定位问题作为弱监督语义分割任务的第一步，是决定分割模型效果的关键问题之一。

4、随着类激活映射图（class activation mapping，cam）的提出，弱监督定位问题有了巨大的突破。cam能够注意到图像中最具有区分性的对象，从而粗略定位物体区域，但是cam不能显示具有精确边界的整个对象区域，生成的伪掩码质量不高导致最终的分割结果往往也不理想。现有的cam生成和优化方法在生成用于遥感图像地物分割的高质量cam，主要原因为现有cam生成和优化主要是针对自然场景图像，没有考虑遥感图像中地物的特点：(1)同一图像中地物目标的尺度变化更大；(2)背景区域更加复杂；(3)cam采用全局平均池化层生成，该操作假设不同位置的特征向量对全局表示的贡献均相等，忽略了局部特征对全局表示的贡献的差异，导致获得的显著性区域不精准，从而影响最终的结果；(4)cam的定位信息往往稀疏且分布不集中，地物覆光不全。

5、因此对类激活映射图进行优化得到完整、准确的类激活映射图是一个亟需解决的问题。

技术实现思路

1、为了优化上述关于cam定位信息稀疏、定位覆盖不全以及边界模糊的技术问题，本发明提出了一种遥感图像类激活映射图优化方法，该方法聚焦于获取遥感地物多层次特征和显著信息，并利用抗擦除策略来对cam生成进行迭代补全，从而优化cam生成过程。

2、本发明技术方案提供了一种遥感图像类激活映射图优化方法，包括以下步骤：

3、s1 获取遥感图像，遥感图像包含标签；

4、s2 将遥感图像及对应的标签输入到深度卷积网络中，得到初始类激活映射图；

5、s3 根据遥感图像显著性提取模块对遥感图像进行显著性提取，得到显著性区域；

6、s4 将初始类激活映射图和显著性区域进行叠加处理，得到优化类激活映射图；

7、s5 对优化类激活映射图进行补全，得到补全类激活映射图。

8、于本发明一具体实施例中，深度卷积网络包括多尺度特征提取模块、自适应池化模块、分类网络模块，步骤s2包括：

9、s21将遥感图像输入多尺度特征提取模块进行多尺度特征提取，得到多尺度特征图；

10、s22将多尺度特征图输入自适应池化模块进行向量化，得到多尺度特征向量；

11、s23将多尺度特征向量输入分类网络模块，并对标签赋予权值，根据标签对多尺度特征向量进行分类，得到多尺度特征向量的多尺度权值；

12、s24对多尺度权值和多尺度特征图进行计算，得到多个多尺度的类激活映射图；

13、s25将多个多尺度的类激活映射图进行合并，得到初始类激活映射图。

14、与本发明一具体实施例中，多尺度特征提取模块包括多个卷积单元，每个卷积单元包括多个卷积层和池化层；

15、自适应池化模块包括特征重要度卷积单元、批正则化层、激活函数层和合并层；

16、分类网络模块包括多个子网络，每个子网络的结构相同，均包含全连接层和激活函数。

17、于本发明一具体实施例中，步骤s24包括：

18、根据分类网络模块中的各个子网络将多尺度权值和多尺度特征图进行相乘计算，得到多个多尺度的类激活映射图；

19、相应的，步骤s25包括：

20、对所有的多尺度的类激活映射图进行上采样，得到新的多尺度的类激活映射图，其中，每个新的多尺度的类激活映射图的长和宽与遥感图像的长和宽相同；

21、将所有新的多尺度的类激活映射图进行图像融合，融合后的类激活映射图作为初始类激活映射图。

22、于本发明一具体实施例中，遥感图像显著性提取模块包括遥感图像分割子模块、遥感图像分割结果优化子模块、遥感图像显著性区域提取子模块，步骤s3包括：

23、s31根据遥感图像分割子模块将遥感图像进行图像分割，将遥感图像分割为多个初始图斑，每个初始图斑均由多个像素构成，所有的初始图斑组成初始遥感图像分割结果；

24、s32根据遥感图像分割结果优化子模块对所有的初始图斑进行像素级的优化，得到优化图斑，所有的优化图斑组成优化后遥感图像分割结果；

25、s33根据遥感图像显著性区域提取子模块对优化图斑进行像素级的显著性判定，得到显著性区域。

26、与本发明一具体实施例中，步骤s32包括：

27、s321获取初始遥感像分割结果中所有初始图斑的所有像素，其中pi为像素，p为所有像素构成的像素集；

28、s322计算pi的特征向量xi，所有特征向量xi组成特征向量集合x，其中；

29、s323计算x的均值；

30、s324计算所有特征向量xi同的距离di，其中1≤i≤n；

31、s325根据di，按照比例q选取距离较近的像素点pi，形成像素集，其中0<q<1；

32、s326重复步骤s323至步骤s325，迭代t次，对像素集pnew进行优化，优化后的pnew为优化图斑，所有优化图斑组成优化后遥感图像分割结果。

33、于本发明一具体实施例中，步骤s33包括：

34、对优化图斑计算直方图，得到优化图斑直方图；

35、对优化后图斑直方图进行归一化，得到归一化直方图；

36、利用归一化直方图计算优化图斑之间的对比度，得到优化图斑的对比度；

37、设定阈值，对优化图斑的对比度进行筛选，将大于阈值的优化图斑的对比度对应的优化图斑判定为显著区域图斑，所有的显著区域图斑组成显著性区域。

38、于本发明一具体实施例中，步骤s31中采用的图像分割方法为面向对象分类方法或非监督分类方法中任一种。

39、与本发明一具体实施例中，步骤s5包括：

40、s51利用优化类激活映射图，对遥感图像进行擦除，得到擦除后遥感图像；

41、s52根据步骤s2-s4对擦除后遥感图像进行处理，得到新的优化类激活映射图；

42、s53设定迭代次数k，重复步骤s51至s52，得到k个新的优化类激活映射图，对所有新的优化类激活映射图进行合并，得到补全类激活映射图。

43、于本发明一具体实施例中，步骤s4中叠加处理采用相交处理方法。

44、本发明的有益效果为：

45、（1）本发明通过改进类激活映射图生成网络，改变全局平均池化层为区域自适应池化层，并构建多层次网络结构来改善类激活映射图生成，能够定位到更全面的区域，并利用遥感影像的各个尺度的特征使得类激活映射图能包含更丰富的信息。

46、（2）本发明利用遥感图像显著信息来对生成的类激活映射图边界进行优化，能够得到更加完整以及定位精确的显著性区域。

47、（3）本发明利用抗擦除策略来对类激活映射图进行迭代补全，从而得到边界和完整度都得到改进的类激活映射图，从而有效支撑弱监督语义分割，降低像素级的样本依赖。