一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法

本发明涉及遥感图像处理，尤其涉及一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法。

背景技术：

1、高空间分辨率遥感图像(高分辨率遥感图像)是现代遥感图像的重要组成部分，具有高空间分辨率，高清晰度，高时效性及信息量大等特点，通过它可以清楚直观地呈现丰富的地物细节信息以及相邻地物之间的关系。目前，图像的语义分割是计算机视觉方向的研究热点，其任务本质为图像区域的类别识别，即给图像中的每一个像素分配类别标签。高分遥感图像语义分割作为语义分割方向的重要组成部分，能够自动提取遥感图像中的地表特征，给地物目标分配语义类别。高分遥感图像语义分割在灾害评估和预测，环境保护，城市规划，交通导航，军事安全等领域有着广泛的应用。

2、近年来，深度学习特别是深度卷积神经网络技术得到了飞速的发展与应用。在图像分类、目标检测、语义分割等任务中展现出惊人的特征提取能力，可以自适应地提取图像中的浅层特征和深层特征，特别是对复杂场景具有很好的理解能力。因此，将深度学习技术应用于高分辨率遥感图像的语义分割具有重要的现实意义，将为遥感图像的处理带来新的发展契机。然而，高分辨率遥感图像通常由大而复杂的场景和异构对象组成，而且影像采集时的光照条件和成像角度会造成的遮挡和阴影问题，导致现有深度遥感分割模型在物体边缘处分割效果较差。除此之外，体积小的对象因为边缘像素占对象整体像素的比例更高，边缘处如果分割不理想也会导致整个对象分割效果差。

技术实现思路

1、本发明提供一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法，以克服上述技术问题。

2、一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法，包括，

3、步骤一、获取遥感图像集，对遥感图像集进行扩增，所述扩增为将遥感图像以任意角度旋转后存储至遥感图像集，分别对遥感图像进行归一化处理，将遥感图像集划分为训练集和测试集，

4、步骤二、构建基于编解码索引化边缘表征的遥感图像语义分割模型，根据训练集对基于编解码索引化边缘表征的遥感图像语义分割模型进行训练后获取遥感图像中每个像素的预测标签，根据每个像素的真值标签和预测标签计算损失，判断损失的取值是否满足阈值，若不满足阈值则根据损失的取值与阈值之间的差值对基于编解码索引化边缘表征的遥感图像语义分割模型的参数进行优化，若满足阈值则获取训练后的基于编解码索引化边缘表征的遥感图像语义分割模型，

5、所述基于编解码索引化边缘表征的遥感图像语义分割模型包括多尺度特征编码器、可分离金字塔单元、编解码索引化边缘表征单元以及上采样解码器，

6、所述多尺度特征编码器用于根据遥感图像的尺寸h生成四个初始特征矩阵，四个初始特征矩阵的尺寸分别为h/2、h/4、h/8和h/16，

7、所述可分离金字塔单元用于根据遥感图像的四个初始特征矩阵获取四个上下文特征矩阵，四个上下文特征矩阵的尺寸分别为h/2、h/4、h/8和h/16，

8、所述编解码索引化边缘表征单元用于根据尺寸为h/2的上下文特征矩阵获取第一编码索引和第一解码索引，根据尺寸为h/4的上下文特征矩阵获取第二编码索引和第二解码索引，将第一编码索引与尺寸为h/2的上下文特征矩阵进行融合，将第二编码索引与尺寸为h/4的上下文特征矩阵进行融合，获取融合后的尺寸为h/2的上下文特征矩阵、尺寸为h/4的上下文特征矩阵，

9、所述上采样解码器用于按照尺寸从小到大的顺序对所述四个上下文特征矩阵进行解码上采样后获取遥感图像的语义分割结果图，所述语义分割结果图中包括遥感图像中每个像素的预测标签，

10、步骤三、获取经过处理的遥感图像并输入到训练后的基于编解码索引化边缘表征的遥感图像语义分割模型中，输出遥感图像的语义分割结果图。

11、优选地，所述上采样解码器用于对尺寸为h/16的上下文特征矩阵进行解码上采样，得到尺寸为h/8的输出特征矩阵xd1，将xd1与尺寸为h/8上下文特征矩阵使用torch.cat函数沿着维度1拼接成一个新的特征矩阵xm1；

12、对xm1进行解码上采样，得到尺寸为h/4的输出特征矩阵xd2，将xd2与尺寸为h/4上下文特征矩阵使用torch.cat函数沿着维度1拼接成一个新的特征矩阵xm2，对第二解码索引和特征矩阵xm2进行矩阵乘积运算后输出特征矩阵xn2；

13、对xn2进行解码上采样，得到尺寸为h/2的输出特征矩阵后将其与尺寸为h/2上下文特征矩阵使用torch.cat函数沿着维度1拼接成一个新的特征矩阵xm3，对第一解码索引和特征矩阵xm3进行矩阵乘积运算输出特征矩阵xn3；

14、对xn3进行解码上采样，得到尺寸为h的特征矩阵xd4，对xd4进行一次卷积后输入至softmax激活函数得到语义分割结果图。

15、优选地，所述根据每个像素的真值标签和预测标签计算损失包括根据公式(1)计算损失，

16、lossfocal＝-(1-pt)γlog(pt)   (1)

17、其中，pt是真值标签的预测概率，所述预测概率根据真值标签和预测标签获取，γ是超参数，lossfocal表示焦点损失函数。

18、优选地，所述多尺度上下文特征编码器包括空间特征提取支路、自注意力特征提取支路以及融合支路，所述空间特征提取支路用于提取遥感图像局部特征信息，所述自注意力特征提取支路用于提取遥感图像的全局特征信息，所述融合支路用于根据公式(2)对局部特征信息和全局特征信息进行融合，

19、x＝concatnate(conv2d(xci)，conv2d(xsi))

20、y＝sigmoid(conv2d(relu(conv2d(adaptiveavgpool2d(x)))))

21、xfi＝x×reshape(y)     (2)

22、其中xsi代表自注意力特征提取支路第i阶段特征矩阵，xci代表空间特征提取支路第i阶段特征矩阵，xfi表示融合后的特征，conv2d(*)表示2d卷积，adaptiveavgpool2d(*)表示自适应池化函数，sigmoid(*)表示sigmoid激活函数，relu(*)表示relu激活函数，concatnate(*)表示将两个矩阵沿着维度1进行拼接，reshape(*)表示形状改变函数。

23、优选地，所述根据尺寸为h/2的上下文特征矩阵获取第一编码索引和第一解码索引包括，

24、s11、将尺寸为h/2的上下文特征矩阵表示为xi，获取xi的形状参数，所述形状参数包括批量大小值batch size、通道数c、高度h、宽度w，

25、s12、将xi输入conv2d函数中得到xi1，将xi1输入batchnorm2d函数中得到xi2，将xi2输入batchnorm2d函数中得到xi3，将xi3输入batchnorm2d函数中得到xi4，

26、s13、对xi1、xi2、xi3、xi4分别进行最大池化操作得到四个初始索引x1，x2，x3，x4，

27、s14、通过torch.cat函数将初始索引x1，x2，x3，x4沿着维度1拼接为新的矩阵并传递到sigmoid激活函数，得到初始解码索引y；s15、初始解码索引y经过softmax函数得到初始编码索引z，使用view函数对初始解码索引y和初始编码索引z的形状参数进行调整，所述调整为将形状参数调整为batch size、c×4、h/2、w/2，获取调整后的初始解码索引y和初始编码索引z，

28、s15、使用pixel_shuffle函数对调整后的初始解码索引y和初始编码索引z重新组织成调整前的尺寸后得到第一编码索引和第一解码索引。

29、本发明提供一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法，通过基于编解码索引化边缘表征的遥感图像语义分割模型中的多尺度特征编码器提取图像的多尺度语义特征，可分离金字塔单元并行捕获空间上下文信息，通过提取蕴含边缘信息的编解码索引强化了遥感地物边缘信息的分割效果，提高了对遥感地物边缘信息的特征提取和处理，提升了遥感图像中小尺寸对象和复杂边界信息的识别精度，实现遥感地物边缘的准确语义分割。