一种结构增强的半监督在线地图生成方法与流程

本发明涉及在线地图技术领域，具体为一种结构增强的半监督在线地图生成方法。

背景技术：

遥感影像到在线地图服务的转换，是空间信息由遥感影像这一载体转移到地图这一载体的过程，也可以认为是由遥感影像这类图像在保证必要的信息量的前提下转换为地图类图像的过程。图像到图像转换指将一张分布在原始内容域中的图像转换为目标内容域中的对应图像，最新的图像到图像转换方法充分利用了生成对抗网络(generativeadversarialnetwork,gan)建立图像特征表达，学习特征映射与图像转换方法，并取得了良好的效果。一个典型的生成对抗网络由一个生成器和一个判别器组成，生成器学习产生和真实样本具有相同特征的伪造样本，判别器学习如何识别区分样本的真伪。生成对抗网络控制生成器和判别器交替训练，使生成器和判别器的损失同步减少，实现同步优化生成器和判别器的效果。随着训练的增加，判别器判断样本真伪的能力不断提高，促使生成器产生的样本逼真度不断逼近真实样本。

pix2pix算法在原始内容域中的图像上使用了一个条件对抗生成网络并增加了一个生成目标域图像和真实目标域图像之间的l1损失，得到了一个单输入-单输出的图像转换网络。然而pix2pix算法虽然效果好，但对于训练数据集要求较高，需要两种图像一一配对的训练数据集。为了解决这一缺陷，基于pix2pix算法优化改进得到的非配对图像到图像转换网络cyclegan，通过基于每张图片在经过两次转换后应当与原始图像一致的理论基础修改网络结构，消除了样本必须配对出现的限制，但不同的网络结构和损失函数计算方式使算法的鲁棒性产生了一定的下降。

虽然gan在包括图像生成、样本伪造、特征学习、人脸识别、图像超分辨率、图像去雾霾化等图像领域的应用十分广泛，从各个角度优化gan的研究也很多，然而在针对遥感影像与地图的方面的研究还较少。目前，国外学者在cyclegan的基础上提出了geogan，将遥感图像尝试转换为地图，但并没有提出针对图片转换效果的量化评价指标，同时也没有解决缺乏遥感-地图配对训练集的问题。还有利用pix2pix和cyclegan将配对样本和非配对样本分别进行了地图风格迁移转换的实验，但实验仅仅证明了利用gan对地图绘图风格进行转换的可能性，而并没有涉及到对遥感影像的转换。国内学者结合gan对遥感影像的应用主要集中于三个方向：基于生成对抗网络的遥感图像提取与分割，例如使用cdgan检测遥感图像变化和基于生成对抗网络对遥感影像中的云进行检测；基于生成对抗网络的遥感图像超分辨率研究，例如对单幅遥感图像的超分辨率实验表明超分辨率生成对抗网络可以取得比超分辨率卷积神经网络更优秀的超分辨率效果和通过调整改进边界平衡生成对抗网络，实现了端到端的单帧遥感图像超分辨率方法；以及使用生成对抗网络进行遥感图像分类，例如使用acgan进行高光谱遥感图像的分类，取得了较好的效果。

通用的图像转换方法高度聚焦于减少生成图像和真实图像在像素级别的差异，这在一般的img2img任务中是有意义的。在pix2pix、cyclegan等模型中使用l1或l2距离计算生成图像与真实图像时，表现不错。但他们忽略了像素构成的结构信息，比如，拓扑信息和完整性，然而这些在制图学中非常重要。因为单独使用像素级的损失函数难以减小结构层面的距离，所以许多通用img2img的模型生成的地图有许多结构特征问题，比如，奇怪的物体形状和错误的道路拓扑关系。即使它们与真实地图在像素层面上的差异不大，但是在人类视角下表现不佳。此外，我们通常只有少量配对的地图样本和大量非配对样本，比如，最新的遥感影像缺少对应的在线地图或者一些早年绘制的地图缺少对应的遥感影像记录。

技术实现要素：

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种结构增强的半监督在线地图生成方法，解决了地图生成错误率高的问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：一种结构增强的半监督在线地图生成方法，包括如下具体步骤：

步骤1：利用已有的遥感影像、地图数据集，或者通过谷歌地图提供的api获取遥感影像和即成地图这两种图像资源并进行标准化处理，获取到的两种图像资源之间存在部分样本的映射关系，根据配对与否，通过文件组织结构划分为配对样本和非配对样本，构建半监督训练数据集；

步骤2：利用structure-guidedsemi-supervisedonlinemapautomaticgeneratingmodelbasedongan模型(简称s2om)对半监督训练数据集进行学习；

步骤3：输入其他经过标准化处理后的遥感影像，使用s2om模型进行地图生成。

优选的，所述利用s2om模型对半监督数据集进行学习包含以下步骤：首先利用s2om对半监督训练数据集的非配对样本进行非监督学习阶段，在利用s2om对半监督训练数据集的配对样本进行监督学习阶段。

优选的，所述s2om模型包含两组生成器和识别器，一组生成器和识别器用于生成地图和判断地图真实性，分别称为grm和dm，另一组生成器和识别器用于生成遥感影像和判断遥感影像真实性，分别称为gmr和dr。

优选的，所述监督学习阶段根据从遥感影像到地图转换的对抗损失、内容损失和自身内容损失调整模型。

优选的，所述内容损失包含l1损失、图像梯度l1损失和图像梯度协方差损失。

优选的，所述非监督学习阶段根据从遥感影像到地图转换的对抗损失和自身内容损失、从地图到遥感影像转换的对抗损失和自身内容损失以及循环内容损失(cycle-contentloss)调整模型。

优选的，所述非监督学习阶段包含以下步骤：

s1：grm利用batch中的遥感影像生成地图；

s2：dm判断生成的地图和样本中的地图的真实性；

s3：根据生成的地图、样本地图以及dm的判断结果计算对抗损失和自身内容损失；

s4：gmr利用batch中的地图生成遥感影像；

s5：dm判断生成的遥感影像和样本中的遥感影像的真实性；

s6：根据生成的和样本中的遥感影像以及dr的判断结果计算对抗损失和自身内容损失；

s7：根据生成的地图和遥感影像计算循环内容损失；

s8：基于步骤s3至步骤s7的损失调整模型；

s9：若训练规模达到要求则非监督学习阶段完成，否则回到步骤s1。

优选的，所述监督学习阶段包含以下子步骤：

c1：grm利用batch中的遥感影像生成地图；

c2：dm判断生成的地图和样本中的地图的真实性；

c3：根据生成的地图、样本地图以及dm的判断结果计算对抗损失、内容损失和自身内容损失；

c4：基于步骤c3的损失调整模型；

c5：若训练规模达到要求则监督学习阶段完成，否则回到步骤c1。

(三)有益效果

本发明提供了一种结构增强的半监督在线地图生成方法。具备以下有益效果：

本发明提出了s2om，它是一种基于生成式对抗网络(gan)的结构指导的在线地图生成模型，同时应用了图像梯度l1损失和图像梯度协方差损失；本发明建立了一种遵循循环一致性的半监督训练方法，更为充分地应用可用资源。

本发明提出的结构指导的半监督地图在线生成方法是基于图像梯度的结构损失，与国内外已有的地图生成方法相比具有更好制图学特性，即更多地关注地图元素的拓扑结构，例如道路、房屋等物体的相对位置以及形状的表达更清晰明确且符合人类主观感受。结合cyclegan和pix2pix的结构特点，创建了s2om的半监督学习策略，分阶段针对配对样本和非配对样本进行学习，使模型学习更充分，地图生成错误率更低。

附图说明

图1为本发明一种结构增强的半监督在线地图生成方法的s2om模型监督学习的示意图；

图2为本发明一种结构增强的半监督在线地图生成方法的s2om模型半监督学习的示意图；

图3为本发明一种结构增强的半监督在线地图生成方法的两种训练策略下损失函数特点的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

如图1-3所示，本发明实施例提供一种结构增强的半监督在线地图生成方法，其特征在于，包括如下具体步骤：

步骤1：利用已有的遥感影像、地图数据集，或者通过谷歌地图提供的api获取遥感影像和即成地图这两种图像资源并进行标准化处理，获取到的两种图像资源之间存在部分样本的映射关系，根据配对与否，通过文件组织结构划分为配对样本和非配对样本，构建半监督训练数据集。

步骤2：利用structure-guidedsemi-supervisedonlinemapautomaticgeneratingmodelbasedongan模型(简称s2om)对半监督训练数据集进行学习。

步骤3：输入其他经过标准化处理后的遥感影像，使用s2om模型进行地图生成。

利用s2om模型对半监督数据集进行学习包含以下步骤：首先利用s2om对半监督训练数据集的非配对样本进行非监督学习阶段，在利用s2om对半监督训练数据集的配对样本进行监督学习阶段。s2om模型包含两组生成器和识别器，一组生成器和识别器用于生成地图和判断地图真实性，分别称为grm和dm，另一组生成器和识别器用于生成遥感影像和判断遥感影像真实性，分别称为gmr和dr。

监督学习阶段根据从遥感影像到地图转换的对抗损失、内容损失和自身内容损失调整模型。内容损失包含l1损失、图像梯度l1损失和图像梯度协方差损失。非监督学习阶段根据从遥感影像到地图转换的对抗损失和自身内容损失、从地图到遥感影像转换的对抗损失和自身内容损失以及循环内容损失(cycle-contentloss)调整模型。

非监督学习阶段包含以下步骤：

s1：grm利用batch中的遥感影像生成地图；

s2：dm判断生成的地图和样本中的地图的真实性；

s3：根据生成的地图、样本地图以及dm的判断结果计算对抗损失和自身内容损失；

s4：gmr利用batch中的地图生成遥感影像；

s5：dm判断生成的遥感影像和样本中的遥感影像的真实性；

s6：根据生成的和样本中的遥感影像以及dr的判断结果计算对抗损失和自身内容损失；

s7：根据生成的地图和遥感影像计算循环内容损失；

s8：基于步骤s3至步骤s7的损失调整模型；

s9：若训练规模达到要求则非监督学习阶段完成，否则回到步骤s1。

监督学习阶段包含以下子步骤：

c1：grm利用batch中的遥感影像生成地图；

c2：dm判断生成的地图和样本中的地图的真实性；

c3：根据生成的地图、样本地图以及dm的判断结果计算对抗损失、内容损失和自身内容损失；

c4：基于步骤c3的损失调整模型；

c5：若训练规模达到要求则监督学习阶段完成，否则回到步骤c1。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。