基于超分辨率和域自适应的无监督遥感图像语义分割方法

本发明涉及改进型基于超分辨率和域自适应的无监督高分辨率遥感图像语义分割方法，属于遥感图像语义分割方法技术领域。

背景技术：

近些年来随着高分辨对地观测技术的不断进步和广泛应用，高分辨率遥感数据空间分辨率不断提高并以几何级数积累，因此如何自动、快速和准确地从高分辨率遥感图像提取高价值地理信息成为亟需解决的重要问题之一。语义分割将图像中每个像素标记为特定的地物种类，又称地物提取或土地分类，是高分辨率遥感图像信息提取的重要手段之一，广泛应用于土地规划，环境监测和灾害评估等领域。

深度神经网络能够从图像中自动提取各个等级的语义信息，而且具有强大的特征表达能力目前在图像语义分割应用中取得了巨大的成功。但这些基于深度学习的语义分割方法的优异性能依赖数百万像素级标注的遥感图像标签。由于人工标注高分辨率遥感图像不仅费时费力而且需要丰富的专业知识，所以目前该领域的语义分割模型只能依赖特定时间段、有限个别地域和特定遥感探测器采集而来的小规模训练集。这就导致了这些模型及其有限的泛化性能，当这些模型应用于不同地域或探测器时分割准确率会大幅下降，即领域偏移(domainshifts)。为了解决领域偏移和充分利用现有数据集，无监督域自适应方法通过迁移在源域数据集学习的知识实现无标签的目标域数据集的语义分割任务，其中，采用对抗生成网络的域自适应方法通过生成器和判别器的对抗来学习域不变特征，可以有效缩小域间差异。

不同于目前大多数高分辨率遥感图像域自适应方法仅考虑不同探测器之间风格差异即光谱差异，基于超分辨率域自适应(super-resolutiondomainadaptation，srda)的无监督语义分割方法注意到不同探测器所获取的遥感图像具有分辨率上的差异，同时不同种类地物在遥感图像中的尺寸不同，探索利用超分辨率和语义分割多任务多尺度生成对抗网络同时学习光谱和尺度不变特征实现遥感图像的无监督域自适应语义分割。该模型利用多孔空间金字塔池化模块(atrousspatialpyramidpoolingmodule)提取多尺度特征或尺度不变特征，但是其中空洞卷积(dilatedconvolution)是一种稀疏计算可能会造成栅格伪影(gridartifacts)；而空间金字塔池化模块可能会引起像素级定位信息损失。此外，高分辨率遥感图像语义分割往往面临严重的种类不均衡问题。

技术实现要素：

本发明为了克服现有技术中存在的不足，所要解决的技术问题为：提供基于超分辨率和域自适应的无监督遥感图像语义分割方法的改进。

为了解决上述技术问题，本发明采用的技术方案为：基于超分辨率和域自适应的无监督遥感图像语义分割方法，包括如下步骤：

步骤一：获取源域低分辨率遥感图像数据集和目标域高分辨率遥感图像数据集，将获取的目标域图像数据集按照设定的比例划分为训练图像和测试图像两部分；

由源域图像数据集和目标域训练图像构成图像语义分割的训练集，由目标域的测试图像构成图像语义分割的测试集；

对训练集遥感图像数据进行预处理，得到经过数据增强后的遥感图像数据集；

步骤二：搭建遥感图像语义分割网络，所述超分辨率遥感图像语义分割网络包括特征编码模块、超分辨率模块、超分辨率域判别模块、语义分割模块、语义分割域判别模块，其中特征编码模块和超分辨率模块共同构成了遥感图像的超分辨率网络；

步骤三：对步骤二中搭建好的超分辨率网络进行网络预训练与参数优化；

步骤四：训练遥感图像语义分割网络；

步骤五：将经过预处理的测试集数据输入到步骤四中已经训练好的遥感图像语义分割网络中，输出遥感图像的精确分割结果。

所述步骤一中的源域低分辨率遥感图像数据集和目标域高分辨率遥感图像数据集通过遥感卫星获取，其中源域低分辨率遥感图像数据集包括低分辨率原始图像和经过人工标记的标签数据图像，目标域高分辨率遥感图像数据集包括高分辨率原始图像。

所述步骤一中对源域图像数据集和目标域训练集图像遥感图像数据进行预处理的具体包括包括图像裁剪、图像采样和对训练集中原始图像进行数据增强；

所述图像裁剪具体为：将源域原始图像和标签数据图像裁剪为256像素×256像素、分辨率为1米每像素的图像；将目标域训练集和测试集图像裁剪为512像素×512像素、分辨率为0.5米每像素的图像；

所述图像采样具体为：将源域原始图像和标签数据图像进行上采样，得到512像素×512像素、分辨率为0.5米每像素的高分辨率图像；将目标域图像进行下采样，得到256像素×256像素、分辨率为1米每像素的低分辨率图像；

所述数据增强包括：将遥感图像语义分割训练集中的图像进行图像旋转、图像垂直与水平翻转、图像尺寸调节。

所述步骤二搭建超分辨率遥感图像语义分割网络的搭建步骤如下：

步骤2.1：将图像输入特征编码模块，得到多尺度、多层次的图像特征：所述特征编码模块通过卷积和最大池化操作，实现图像从底层细节特征到高层语义特征的分层特征提取，具体为：先对图像进行三次卷积和最大池化操作实现网络的底层特征提取，再通过残差特征金字塔注意力模块来实现对于图像多尺度特征的提取，通过残差网络模块来对提取的多尺寸图像特征进行融合，重复两次多尺寸特征的提取和融合，最终得到具有多尺度和多层次的丰富的图像特征；

步骤2.2：将经过步骤2.1中特征编码模块提取的图像特征经过超分辨率模块得到原图像放大尺寸的高分辨率图像，再将超分辨率模块生成的图像输入超分辨率域判别模块，对输入图像所属域进行判断，来优化超分辨率模块和特征编码模块的参数；

其中，特征编码模块和超分辨率模块共同构成了遥感图像的超分辨率网络，再结合超分辨率域判别模块共同实现对于低分辨率图像的超分辨率；

步骤2.3：将经过步骤2.2中训练的特征编码模块和超分辨率模块提取的特征一起作为语义分割模块的输入：特征编码模块提取的特征和图像超分辨率模块中的部分特征共同输入到图像的语义分割模块中，实现对于遥感图像数据的语义分割；

其中，特征提取模块、超分辨率模块、语义分割模块共同构成了图像的语义分割网络，将高分辨率遥感图像和语义分割模块生成的概率图进行拼接后输入到语义分割域判别模块中来实现对图像语义分割网络进行优化，最终实现对于遥感图像的分割功能。

所述步骤三具体包括：

步骤3.1：对特征编码模块和超分辨率模块的进行参数随机初始化，将步骤一中经过预处理的训练集数据输入至步骤二中的遥感图像超分辨率网络中生成高分辨率图像，计算超分辨率损失；

将生成的高分辨率图像和原高分辨率图像输入超分辨率域判别模块，对输入图像的所属域进行判别，计算超分辨率域判别损失；

步骤3.2：损失反向传播，交替优化超分辨率网络和超分辨率域判别模块的参数，最终实现对于低分辨率图像的超分辨；

步骤3.3：训练完成后，将训练好的特征编码模块、超分辨率模块和超分辨率域判别模块参数进行保存。

所述步骤四具体包括：

步骤4.1：使用步骤三中保存好模型参数初始化语义分割网络中的特征编码模块、超分辨率模块和超分辨率域判别模块，同时对语义分割模块和语义分割域判别模块的参数进行随机初始化，将步骤一中经过预处理的训练集数据输入至步骤二中的遥感图像语义分割网络中，生成遥感图像的语义分割概率图，计算语义分割损失；

将高分辨率遥感图像和语义分割概率图进行拼接后输入语义分割域判别模块，来实现对于语义分割网络生成概率图所属域的判别，计算语义分割域判别损失；

步骤4.2：损失反向传播，交替优化语义分割网络和两个域判别模块的参数，以损失函数最小化作为优化目标，最终完成语义分割网络参数的优化；

步骤4.3：训练完成后，将训练好的语义分割网络模型参数进行保存。

所述步骤2.1中的特征编码模块的网络结构如下：

第一、二、三层为卷积层：进行卷积核大小为3×3、步长为1的卷积；

第四层为最大池化层：卷积层之后为步长为2的最大池化层；

所述特征编码模块在最大池化层后设置有两个重复的残差特征金字塔注意力模块和实现多尺度特征融合的残差模块；

所述残差特征金字塔注意力模块由三个连续的包含残差连接的特征金字塔注意力模块网络构成，所述特征金字塔注意力模块分为两条通路，第一条通路对输入特征采用全局池化、卷积核为1×1的卷积和上采样层来实现网络的特征传递，第二通路采用u型网络结构来实现多层的特征提取，对特征进行三次步长为2的卷积操作得到输入特征尺寸1/2、1/4、1/8的不同尺寸的特征图，其中，三次卷积的卷积核分别为7×7、5×5、3×3大小，再将1/8尺寸的特征图上采样，并与1/4尺寸的特征图进行叠加，重复以上步骤两次，最终将输出特征图与经过1×1卷积的特征图逐像素相乘得到与输入特征图尺寸相同的特征图；最后将两个通路的特征图进行叠加，得到多尺度的特征图；

所述残差模块中的两个卷积操作以步长为1，卷积核为3×3的卷积实现特征通道融合，所述残差模块中设置有用于加快网络收敛的短路连接。

所述超分辨率模块通过解码器模块将输出通道数减半，同时逐步恢复图像的尺寸；所述解码器模块包括卷积核为1×1，步长为1的卷积层和卷积核为3×3，步长为2的反卷积层，用来控制输出通道数和图像分辨率上升；经过连续的三次反卷积模块，最终得到图像的超分辨率图像；

所属语义分割模块通过解码器模块来逐渐恢复图像的分辨率，同时将每次解码器模块和超分辨率恢复的同分辨率图像进行级联作为下一个解码器模块的输入，经过两个解码器模块最终实现网络的语义分割；

所述超分辨率域判别模块由五个连续的卷积核大小为3×3、步长为2的卷积层、一个残差特征金字塔注意力模块和sigmoid激活层组成，先通过卷积层实现高分辨率图像的特征提取，通过特征金字塔注意力模块对网络进行特征提取和整合，最终经过sigmoid激活层，得到最终的超分辨率域标签特征图；

所述语义分割域判别模块由五个连续的卷积核大小为3×3、步长为2的卷积层、一个残差特征金字塔注意力模块和sigmoid激活层组成，先通过卷积层实现语义分割图像和概率图的特征提取，最终经过sigmoid激活层，得到最终的语义分割域标签特征图。

所述步骤三中对遥感图像超分辨率网络进行训练中使用的数据集为经过下采样的低分辨率目标域数据、初始高分辨率目标域数据以及低分辨率源域数据；

所述步骤三中对遥感图像超分辨率网络进行训练中使用的损失函数为均方损失函数，均方损失函数的计算公式为：

上式中：x为超分辨率网络生成的超分辨率图，y为真实的高分辨率图像，n是图像像素点的数量；

所述步骤三中超分辨率域判别模块的损失函数为均方损失函数，均方损失函数的计算公式为：

ldsr＝es[(is-1)²]+et[(it)²]

ldsrinv＝es[(is)²]+et[(it-1)²]；

上式中：ldsr为训练生成器时的超分辨率域判别模块dsr的损失，ldsrinv为训练判别器网络时的超分辨率域判别模块dsr的损失，is为源域低分辨率图像生成的超分辨率图，it为目标域下采样低分辨率图像生成的高分辨率图像，es为对所有输入属于源域s的损失求期望，et为对所有属于目标域t的损失求期望；

所述步骤三中在训练特征提取模块e和超分辨率模块sr组成的超分辨率网络e-sr时，通过最小化损失函数lg来优化超分辨率网络判别器部分的参数θe-sr；

在训练超分辨率域判别模块dsr时，通过最小化损失函数ld来优化超分辨率域判别模块域判别器部分的网络参数θdsr；

通过超分辨率网络和超分辨率域判别模块的交替对抗训练，实现图像的超分辨率；

训练过程中的超分辨率网络的损失函数为：

训练过程中的超分辨率域判别模块的损失函数为：

所述步骤四中对遥感图像语义分割网络训练时使用的损失函数为dice系数损失函数和交叉熵损失函数共同作为损失函数，其中，所述交叉熵损失函数的计算公式为：

上式中：y为真实的标签图，y'为预测的标签图，n为图像的像素点数量；

所述dice系数损失函数的计算公式为：

上式中：x为生成的预测标签概率图，y为真实的标签图，|x∩y|为真实和预测标签图之间的交集，|x|为预测标签图的元素个数，|y|为真实标签的元素个数，k为标签的类别数；

所述步骤四中超分辨率域判别模块的损失函数为均方损失函数，均方差损失函数的计算公式为：

lds＝es[(ls)²]+et[(lt-1)²]

ldsinv＝es[(ls-1)²]+et[(lt)²]；

上式中：lds为训练生成器时的语义分割域判别模块ds的损失，ldsinv为训练判别器时的语义分割域判别模块ds的损失，ls为源域图像生成的语义分割域判别模块标签图，lt为目标域图像生成的语义分割域判别模块标签图，es为对所有输入属于源域s的损失求期望，et为对所有属于目标域t的损失求期望；

所述步骤四中在训练特征提取模块e、语义分割模块s和超分辨率模块sr组成的语义分割网络e-sr-s时，通过最小化损失函数lg来优化语义分割网络的参数θe-sr-s，其中，损失函数lg为交叉熵损失函数、dice系数损失函数、超分辨率损失和超分辨率域判别模块、语义分割域判别模块两个域判别模块的损失的总和；

在训练超分辨率域判别模块dsr和语义分割域判别模块ds时，通过最小化损失函数ld来优化两个域判别模块的网络参数θdsr；

通过语义分割网络和语义分割域判别模块dsr、超分辨率域判别模块ds的交替对抗训练，实现图像的语义分割；

训练过程中的语义分割网络的损失函数为：

训练过程中的超分辨率域判别模块、语义分割域判别模块的损失函数为：

本发明相对于现有技术具备的有益效果为：

1)本发明方法在特征编码模块使用残差特征金字塔注意力模块，通过提取不同分辨率下的图像特征以保证提取到更多的全局信息。该结构既可以采用不同感受野的卷积核来实现不同尺寸目标的特征获取，同时可以结合残差连接来避免梯度的爆炸和消失。

2)可有效缓解高分辨率遥感图像语义分割中的种类不均衡问题。

3)本发明方法在搭建图像语义分割网络时采用了来自超分辨率模块跳跃连接传递的特征。在图像处理中，通过跳跃连接从超分辨率过程中传递的特征图中不仅包含了目标的位置、边缘等细节特征，同时也存在着大量高层的语义信息；本发明的方法分割效果良好，鲁棒性强。

附图说明

下面结合附图对本发明做进一步说明：

图1为本发明方法中构建的图像语义分割网络的具体实施流程图；

图2为本发明方法中构建的图像语义分割网络的组成结构示意图；

图3为本发明方法中构建的图像语义分割网络中超分辨率网络的组成结构示意图；

图4为本发明方法中构建的图像语义分割网络中特征编码模块的组成结构示意图；

图5为本发明方法中构建的图像语义分割网络中残差特征金字塔注意力模块的组成结构示意图；

图6为本发明方法中构建的图像语义分割网络中特征金字塔注意力模块的组成结构示意图；

图7为本发明方法中构建的图像语义分割网络中残差模块的组成结构示意图；

图8为本发明方法中构建的图像语义分割网络中超分辨率域判别模块的组成结构示意图；

图9为本发明方法中构建的图像语义分割网络中语义分割域判别模块的组成结构示意图。

具体实施方式

如图1至图9所示，本发明基于超分辨率和域自适应的无监督遥感图像语义分割方法通过特征金字塔注意力模块代替原超分辨率域自适应的无监督遥感图像语义分割方法中aspp模块，并将残差特征金字塔注意力模块应用到判别器，为高层语义特征获取精确的像素级注意力；通过dice系数损失函数缓解种类不均衡问题，其包括如下步骤：

步骤一：获得源域低分辨率遥感图像数据集和目标域高分辨率遥感图像数据集，所述源域和目标域遥感图像数据集通过遥感卫星获取；源域数据包括低分辨率原始图像和经过人工标记的标签数据图像，目标域数据只包括高分辨率原始图像；将获取的目标域图像数据集按照一定的比例划分为训练图像和测试图像两部分，由源域数据和目标域训练集图像构成图像语义分割的训练集图像，由目标域的测试集图像构成图像语义分割的测试集图像；

对训练集遥感图像数据进行预处理，得到经过数据增强后的遥感图像数据集；

步骤二：搭建遥感图像语义分割网络：所述遥感图像语义分割网络中包括特征编码模块、超分辨率模块、超分辨率域判别模块、语义分割模块、语义分割域判别模块，搭建步骤包括：

步骤2.1：将图像输入特征编码模块，得到多尺度、多层次的图像特征。所述特征编码模块通过卷积和最大池化操作，来实现图像从底层细节特征到高层语义特征的分层特征提取。先对图像进行三次卷积和最大池化操作实现网络的底层特征提取，再通过残差特征金字塔注意力模块来实现对于图像多尺度特征的提取，通过残差网络模块来对提取的多尺寸图像特征进行融合，重复两次多尺寸特征的提取和融合，最终得到具有多尺度和多层次的丰富的图像特征；

步骤2.2：将经过步骤2.1中特征编码模块提取的图像特征经过超分辨率模块得到原图像放大尺寸的高分辨率图像，再将超分辨率模块生成的图像输入超分辨率域判别模块，来实现对于输入图像所属域的判别，来优化超分辨率模块和特征编码模块的参数。其中，特征编码模块和超分辨率模块共同构成了遥感图像的超分辨率网络，再结合超分辨率域判别模块共同实现对于低分辨率图像的超分辨率；

步骤2.3：将经过步骤2.2中训练的特征编码模块和超分辨率模块提取的特征一起作为语义分割模块的输入。特征编码模块提取的特征和图像超分辨率模块中的部分特征共同输入到图像的语义分割模块中，实现对于遥感图像数据的语义分割。其中，特征提取模块、超分辨率模块、语义分割模块共同构成了图像的语义分割网络。将高分辨率遥感图像和语义分割模块生成的概率图进行拼接后输入到语义分割域判别模块中来实现对图像语义分割网络进行优化，最终实现对于遥感图像的分割功能

步骤三：超分辨率网络预训练与参数优化：

步骤3.1：对特征编码模块和超分辨率模块的进行参数随机初始化，将步骤一中经过预处理的训练集数据输入至步骤二中的遥感图像超分辨率网络中生成高分辨率图像，计算超分辨率损失；将生成的高分辨率图像和原高分辨率图像输入超分辨率域判别模块，来实现对于输入图像所属域的判别，计算超分辨率域判别损失。

步骤3.2：损失反向传播，交替优化超分辨率网络和超分辨率域判别模块的参数，最终实现对于低分辨率图像的超分辨。

步骤3.3：训练完成后，将训练好的特征编码模块，超分辨率模块和超分辨率域判别模块参数进行保存；

步骤四：训练遥感图像语义分割模型：

步骤4.1：使用步骤三中保存模型参数初始化语义分割网络中的特征编码模块，超分辨率模块和超分辨率域判别模块，同时对语义分割模块和语义分割域判别模块的参数进行随机初始化，将步骤一中经过预处理的训练集数据输入至步骤二中的遥感图像语义分割网络中，生成遥感图像的语义分割概率图，计算语义分割损失；将高分辨率遥感图像和语义分割概率图进行拼接后输入语义分割域判别模块，来实现对于语义分割网络生成概率图所属域的判别，计算语义分割域判别损失。

步骤4.2：损失反向传播，交替优化语义分割网络和两个域判别模块的参数，以损失函数最小化作为优化目标，最终完成语义分割网络参数的优化。

步骤4.3：训练完成后，将训练好的语义分割网络模型参数进行保存；

步骤五：经过处理的测试集数据输入到步骤四中已经训练好的遥感图像语义分割网络中，输出遥感图像的精确分割结果。

所述步骤一中对遥感图像训练集数据进行预处理包括图像裁剪、图像采样和对训练集中原始图像进行数据增强；

所述图像裁剪具体为：将源域训练集图像和标签裁剪为256像素×256像素、分辨率为1米每像素的图像；将目标域训练和测试集图像裁剪为512像素×512像素、分辨率为0.5米每像素的图像；

所述图像采样具体为：将源域图像和标签进行上采样，得到512像素×512像素、分辨率为0.5米每像素的高分辨率图像。将目标域图像进行下采样，得到256像素×256像素、分辨率为1米每像素的低分辨率图像。

所述数据增强包括：将遥感图像语义分割训练集中的图像进行图像旋转、图像垂直与水平翻转、图像尺寸调节。

所述步骤2.1作为特征编码模块的网络结构如下：

第一、二、三层为卷积层：进行卷积核大小为3×3、步长为1的卷积；

第四层为最大池化层：卷积层之后为步长为2的最大池化层；

所述特征编码模块在最大池化层后设置有两个重复的残差特征金字塔注意力模块和实现多尺度特征融合的残差模块；所述残差特征金字塔注意力模块由三个连续的包含残差连接的特征金字塔注意力模块网络构成；所述特征金字塔注意力模块分为两条通路，第一条通路对输入特征采用全局池化、卷积核为1×1的卷积和上采样层来实现网络的特征传递，第二通路采用u型网络结构来实现多层的特征提取，对特征进行三次步长为2的卷积操作得到输入特征尺寸1/2、1/4、1/8的不同尺寸的特征图，其中，三次卷积的卷积核分别为7×7、5×5、3×3大小。再将1/8尺寸的特征图上采样，并与1/4尺寸的特征图进行叠加，重复以上步骤两次，最终将输出特征图与经过1×1卷积的特征图逐像素相乘得到与输入特征图尺寸相同的特征图；最后将两个通路的特征图进行叠加，得到多尺度的特征图。所述结合残差模块中的两个卷积操作以步长为1，卷积核为3×3的卷积实现特征通道融合，所述残差模块中设置有用于加快网络收敛的短路连接。

所述超分辨率模块通过解码器模块将输出通道数减半，同时逐步恢复图像的尺寸。所述解码器模块包括卷积核为1×1，步长为1的卷积层和卷积核为3×3，步长为2的反卷积层，用来控制输出通道数和图像分辨率上升；经过连续的三次反卷积模块，最终得到图像的超分辨率图像。

所属语义分割模块通过解码器模块来逐渐恢复图像的分辨率，同时将每次解码器模块和超分辨率恢复的同分辨率图像进行级联作为下一个解码器模块的输入，经过两个解码器模块最终实现网络的语义分割。

所述超分辨率域判别模块由五个连续的卷积核大小为3×3，步长为2的卷积层、一个残差特征金字塔注意力模块和sigmoid激活层组成，先通过卷积层实现高分辨率图像的特征提取，再通过残差特征金字塔注意力模块对网络进行特征提取和整合，最终经过sigmoid激活层，得到最终的超分辨率域标签特征图。

所述语义分割域判别模块由五个连续的卷积核大小为3×3，步长为2的卷积层，一个残差特征金字塔注意力模块和sigmoid激活层组成，先通过卷积层实现语义分割图像和概率图的特征提取，再通过残差特征金字塔注意力模块对网络进行特征提取和整合，最终经过sigmoid激活层，得到最终的语义分割域标签特征图。

所述步骤三中对遥感图像超分辨率网络进行训练中使用的数据集为经过下采样的低分辨率目标域数据、初始高分辨率目标域数据以及低分辨率源域数据，损失函数为均方损失函数作为损失函数，其中，所述均方差损失函数的计算公式为：

上式中：x为超分辨率网络生成的超分辨率图，y为真实的高分辨率图像，n是图像像素点的数量；

所述步骤三中超分辨率域判别模块的损失函数为均方损失函数，所述均方差损失函数的计算公式为

ldsr＝es[(is-1)²]+et[(it)²](2)

ldsrinv＝es[(is)²]+et[(it-1)²](3)

上式中：is为源域低分辨率图像生成的超分辨率图，it为目标域下采样低分辨率图像生成的高分辨率图像；ldsr为训练生成器时的超分辨率域判别模块dsr的损失；ldsrinv为训练判别器网络时的超分辨率域判别模块dsr的损失；

所述步骤三中超分辨率网络的对抗训练过程为交替优化超分辨率网络和超分辨率域自适应模块。在训练特征提取模块e和超分辨率模块sr组成的超分辨率网络e-sr时，通过最小化损失函数lg来优化超分辨率网络的参数；在训练超分辨率域判别模块dsr时，通过最小化损失函数ld来优化域判别器部分的网络参数。通过超分辨率网络和超分辨率域判别器模块的交替对抗训练，实现图像的超分辨率。训练过程中的网络的损失函数为：

所述步骤四中对遥感图像语义分割网络训练时使用的损失函数为dice系数损失函数和交叉熵损失函数共同作为损失函数，其中，所述交叉熵损失函数的计算公式为：

上式中：y为真实的标签图，y'为预测的标签图，n为图像的像素点数量，k；

所述dice系数损失函数的计算公式为：

上式中：x为生成的预测标签概率图，y为真实的标签图，|x∩y|为真实和预测标签图之间的交集，|x|为预测标签图的元素个数，|y|为真实标签的元素个数，k为标签的类别数；

所述步骤四中超分辨率域判别模块的损失函数为均方损失函数，所述均方差损失函数的计算公式为

lds＝es[(ls)²]+et[(lt-1)²](8)

ldsinv＝es[(ls-1)²]+et[(lt)²](9)

上式中：ls为源域图像生成的语义分割域判别模块标签图，lt为目标域图像生成的语义分割域判别模块标签图；lds为训练生成器时的语义分割域判别模块ds的损失；ldsinv为训练判别器时的语义分割域判别模块ds的损失；

所述步骤四中语义分割网络的对抗训练过程为交替优化语义分割网络和超分辨率域判别模块、语义分割域判别模块。在训练特征提取模块e、语义分割模块s和超分辨率模块sr组成的语义分割网络e-sr-s时，通过最小化损失函数lg来优化语义分割网络的参数，其中，损失函数lg为交叉熵损失函数、dice系数损失函数、超分辨率损失和两个域判别模块的损失的总和；在训练超分辨率域判别模块dsr和语义分割域判别模块ds时，通过最小化损失函数ld来优化两个域判别模块的网络参数。语义分割网络e-sr-s和语义分割域判别器模块dsr、超分辨率域判别模块ds的交替对抗训练，实现图像的语义分割。训练过程中的网络的损失函数为：

本发明将不同分辨率下的遥感图像数据集按照一定的比例划分为训练集和测试集；搭建结合超分辨率和域自适应的深度遥感图像语义分割网络：所述遥感图像语义分割网络中包括特征编码模块、超分辨率模块、超分辨率域判别模块、语义分割模块和语义分割域判别模块；将经过预处理的训练集数据输入至遥感图像语义分割网络中，分段训练遥感图像超分辨率网络和图像语义分割网络，并保存网络参数；将测试集数据输入到已经训练好的遥感图像语义分割网络中，输出测试图像数据的分割结果。

本发明公开了一种结合超分辨率和域自适应的无监督遥感图像语义分割方法，首先对rgb三通道的遥感图像进行标注，生成标签图像。将图像分为测试集和训练集，对训练集图像进行预处理；之后构建基于深度学习网络的遥感图像语义分割网络，输入训练集图像分段训练遥感超分辨率网络和语义分割网络，待到网络收敛时保存模型参数；最后将测试集图像通过图像语义分割网络得到最终预测结果图。与现有技术相比较，本发明通过添加超分辨率模块和多尺寸特征提取模块的方式实现遥感图像的语义分割。优点是其分割效果好且鲁棒性强。

关于本发明具体结构需要说明的是，本发明采用的各部件模块相互之间的连接关系是确定的、可实现的，除实施例中特殊说明的以外，其特定的连接关系可以带来相应的技术效果，并基于不依赖相应软件程序执行的前提下，解决本发明提出的技术问题，本发明中出现的部件、模块、具体元器件的型号、连接方式除具体说明的以外，均属于本领域技术人员在申请日前可以获取到的已公开专利、已公开的期刊论文、或公知常识等现有技术，无需赘述，使得本案提供的技术方案是清楚、完整、可实现的，并能根据该技术手段重现或获得相应的实体产品。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。