基于生成对抗网络的地图矢量化样本增强方法及系统与流程

本发明涉及地理信息与人工智能交叉领域，具体是一种基于生成对抗网络的地图矢量化样本增强方法及系统。

背景技术：

遥感影像地图的矢量化，能够实现地图中地物要素的矢量化存储，不仅能够有效的节省存储空间，也能较大的提升地图数据的加载速度，满足日益增长的地图网络使用需求；另一方面，矢量化的地物要素，能够更好与其它同类数据叠加、分析，拓展和完善空间地理信息的服务功能。

另一方面，对于地图数据的采集与制作，在目前阶段，影像数据仍然是各类数据中最便于采集的地图类数据，各类卫星、无人机、地面设备等搭载的传感器，能够直接采集影像数据，而对于矢量化数据，往往需要进行转换、二次加工制作。

目前，影像数据的矢量化过程，以人工绘制或半自动化绘制方式为主。这种人工或半自动化矢量化方法，具有诸多的局限性，主要表现为：

1)人工方式实现的矢量化制作，无法根据不同的地图生产需求，产生绝对一致性的作业标准，难免产生评估偏差；

2)由于地图类产品具有较强的时效性，每次地图更新均需要重新绘制或修改矢量化数据，耗时耗力，作业成本高昂；

3)人工作业方式受作业员个体差异，无法实现同标准无差异作业，同时人为的失误、误差也将影响到最终的成图质量。

因此，如何设计并实现一种借助于现代化地理信息技术和人工智能技术，设计并实现一种高度自动化、智能化的影像地图矢量化方法和系统，具有较强的现实意义。

与此同时，随着人工智能、机器学习技术的成熟，先进的深度学习模型已经在很多复杂问题领域取得了突破性进展。依靠海量标注的样本，能够实现end-to-end的黑盒训练模型，更有效的拟合样本数据的多样性分布。然而在遥感影像地图的矢量化工作领域，深度学习方法的应用存在如下问题：

1)基于海量样本的深度学习框架，无法在遥感影像矢量化应用领域取得足够量级的数据支撑，带标签样本的不足，无法使训练模型有效收敛，以致不能实现高精度的影像地图的矢量化模型。

2)影像地图受分辨率、地图质量、拍摄环境等诸多因素的影响，采用公有的样本集往往不能适应指定的待矢量化影像地图。这种需要“一图一做”的样本需求，也制约了深度学习类方法的探索与研究。

3)基于以上分析，在待矢量化影像地图的基础上，“就地取材”制作样本及标注样本标签，往往效果较好。但也会带来新的问题，包括模型的过拟合问题、采样空间有限以致无法采集足够多的样本问题等。

基于以上存在的问题，如何设计一种基于待矢量化影像地图本身，有足够量级的样本集，并不会带来过拟合等问题的样本制作方法，具有较强的应用价值。

技术实现要素：

本发明主要是解决现有技术所存在的上述技术问题，提供了一种基于生成对抗网络的地图矢量化样本增强方法及系统，该方法针对目前深度学习在遥感影像矢量化过程中的应用，提出了一种基于生成对抗网络的自样本增强方法，能够有效的扩充样本集空间，同时避免同采样造成的模型过拟合，并实现了基于该方法的软件系统，能够为深度学习在影像地图矢量化中的探索与应用，提供了有效的技术支撑和数据支撑。

本发明的上述技术问题主要是通过下述技术方案得以解决的：

一种基于生成对抗网络的地图矢量化样本增强方法，包括如下步骤：

s1、影像地图预处理：在待矢量化影像地图中，去除标注信息，并通过网格化去除没有明显边界特征的网格区域，以减少后续样本标定的数据处理量；

s2、生成对抗网络构建以及样本生成模型训练：搭建深度学习训练框架，构建生成对抗网络，利用生成对抗网络训练样本生成模型；

s3、自样本标定：通过半自动化方法，对步骤s1预处理后的影像地图进行基于待矢量化地图本身的样本标定，标定少量的、带类别属性的、有明确边界特征的影像区域，以及与其对应的矢量数据，从而实现样本和样本标签的制作和标定；

s4、样本基件生成：根据步骤s2构建的生成对抗网络框架以及训练样本生成模型，对步骤s3生成的样本和样本标签，进行样本训练，生成样本基件；

s5、样本组合增强：将步骤s4生成的样本基件通过同一类别样本的智能、自动组合生成新的样本，进而再次构建新的生成模型，提升原始生成模型的泛化能力，最终实现影像地图矢量化样本的大规模增强。

进一步的，步骤s1影像地图预处理具体步骤为：

1)根据用户需求，选定作业区域范围；

2)根据作业区域范围及作业时间需求，选择对应时间段的高分辨率影像，所选择高分辨率影像分辨率不小于0.1米；

3)对选择的高分辨率影像进行整幅滤波处理，实现噪点过滤；

4)对整幅滤波处理后的高分辨率影像进行色彩增强，满足用户作业需求；

5)通过第三方gis软件，去掉影像底图数据中的标注图层，仅保留原始影像地图；

6)对原始影像地图进行网格化处理，网格大小根据地图范围大小进行调整；

7)去掉网格中边界信息不明显、不利于矢量化的影像网格。

进一步的，步骤s2具体为：

1)搭建tensorflow2.0深度学习训练框架；

2)构建生成对抗网络训练网络，其中，调整generator端的输入为原始遥感影像，输出为矢量图；

3)配置discriminator端程序，判断generator端生成的矢量图与真实矢量图之间的差距；

4)以最小化生成矢量图和真实矢量图之间的差距为目标，训练样本生成模型。

进一步的，步骤s3具体为：

1)对于影像地图预处理步骤处理后的影像网格，进行二次筛选，由人工辅助，选择区域边界明显、边界类型单一的网格块；

2)对于选择的网格块的类型，由人工辅助分类为植被、建筑、水体、山体等；

3)对所有筛选并分类后的网格块进行整理，平衡各类别网格块数量，使不同类别的影像网格块数量大致相等；

4)对所有影像网格块进行拉伸与缩放处理，使每个区域大小限定为100x100像素；

5)将处理好的影像网格块，按类别不同，保存于不同的文件夹中，为后续深度学习训练做准备。

进一步的，步骤s4具体为：

1)将分类保存好的影像网格，由人工辅助，实现矢量化操作；

2)将影像网格矢量化后的图像，同样按照不同类别，新建文件夹保存；

3)将影像网格块和矢量网格块的文件存储名称统一起来，以确保两者之间的一一对应关系；

4)每个类别的影像网格块和矢量网格块通过旋转、放大缩小等常规操作，扩大样本空间；

5)每个类别的样本单独训练，实现该类别样本的生成模型构建，实现该类别样本生成，二次扩展样本空间；

6)每个影像类别，生成与之对应的单独的生成模型。

进一步的，步骤s5具体为：

1)对应于不同影像类别，将该类别的所有样本数据，任意多个样本之间组合成新的矢量数据，组合规则应保证矢量数据的连接平滑；

2)将新生成的组合矢量数据，重新加入原有样本集，再次在生成对抗网络环境中训练，构建最终的生成模型；

3)通过之前各阶段构建的矢量数据，在生成模型中多次运行，生成与之对应的影像数据；

4)汇总原始的矢量数据、影像数据，以及通过最终生成模型生成的影像数据，最终实现影像地图矢量化样本增强。

一种基于生成对抗网络的地图矢量化样本增强系统，包括：

影像地图预处理模块，用以在原始给定的待矢量化影像地图中，去除标注信息，并通过网格化，去除没有明显边界特征的网格区域，减少后续样本标定的数据处理量；

生成对抗模型训练模块，用以为搭建深度学习框架，构建生成对抗网络，以支持后续样本生成模型的训练；

自样本标定模块，用以通过半自动化方法，实现基于待矢量化地图本身的样本标定，标定少量的、带类别属性的、有明确边界特征的影像区域，以及与其对应的矢量数据；

样本基件生成模块，用以根据构建的生成对抗网络框架及样本训练生成新的样本数据，将根据网格化切分后的小块的矢量数据片段，生成对应的模拟影像地图；

样本组合增强模块，用于将样本基件生成模块生成的样本基件通过同一类别样本的智能、自动组合，生成新的样本，进而再次构建新的生成模型，提升原始生成模型的泛化能力，最终实现影像地图矢量化样本的大规模增强。

本发明通过对影像地图自身数据的轻量级样本集制作，并通过构建生成对抗网络的深度学习模型，大幅扩充有效样本集的空间，使之能够满足深度学习训练影像矢量化模型的数据量要求，并通过构建相应的系统实现了本发明所描述的方法，相比传统人工/半自动实现影像地图矢量化的过程，本发明所涉及的方法只需人工少量标绘初始样本，后续全自动生成符合需求的海量训练样本，为影像地图矢量化的研究与应用提供有力的技术支撑。

附图说明

图1是本发明基于生成对抗网络的地图矢量化样本增强方法的流程图；

图2是本发明基于生成对抗网络的地图矢量化样本增强系统的结构框图。

具体实施方式

下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述。

本发明实施例中，以1米分辨率的高分遥感影像为例，深度学习平台采用tensorflow，生成对抗网络采用cgans，矢量化地物类型分为植被、建筑、水体、山体、路面5类，系统以软件的方式实现。

如图1所示：在本发明实施例的一种基于生成对抗网络的地图矢量化样本增强方法，其包括如下步骤：

s1、影像地图预处理：在待矢量化影像地图中，去除标注信息，并通过网格化去除没有明显边界特征的网格区域，以减少后续样本标定的数据处理量。其主要用于将待矢量化的遥感影像地图处理加工，使之适合后续步骤的样本提取与增强操作，主要包含两方面内容，一是选取适合提取矢量化样本的区域，剔除其它区域；二是去除遥影像地图中的标注信息，只留纯影像底图。步骤s1影像地图预处理具体步骤为：

1)根据用户需求，选定作业区域范围；

2)根据作业区域范围及作业时间需求，选择对应时间段的高分辨率影像，所选择高分辨率影像分辨率不小于0.1米；

3)对选择的高分辨率影像进行整幅滤波处理，实现噪点过滤；

4)对整幅滤波处理后的高分辨率影像进行色彩增强，满足用户作业需求；

5)通过第三方gis软件，去掉影像底图数据中的标注图层，仅保留原始影像地图；

6)对原始影像地图进行网格化处理，网格大小根据地图范围大小进行调整；

7)去掉网格中边界信息不明显、不利于矢量化的影像网格。

网格后的影像地图，当该网格内部地物种类单一，则不会出现明显边界，此类网格单元不利于制作成为矢量化样本数据，应予以排除。此步骤可通过简单的统计方法，更为高效：计算网格内部每个像素点信息，当网格所有像素点相似度大于某一阈值，则判定该网格地物类型单一。

s2、生成对抗网络构建以及样本生成模型训练：搭建深度学习训练框架，构建生成对抗网络，利用生成对抗网络训练样本生成模型。其搭建的深度学习训练框架，将以此构建生成对抗网络，训练生成符合制作样本分布的新的样本，实现样本的增强。步骤s2的子步骤为：

1)搭建tensorflow2.0深度学习训练框架；

2)构建生成对抗网络(generativeadversarialnets)训练网络，其中，调整generator端的输入为原始遥感影像，输出为矢量图；

3)配置discriminator端程序，判断generator端生成的矢量图与真实矢量图之间的差距；

4)以最小化生成矢量图和真实矢量图之间的差距为目标，训练样本生成模型。

s3、自样本标定：通过半自动化方法，对步骤s1预处理后的影像地图进行基于待矢量化地图本身的样本标定，标定少量的、带类别属性的、有明确边界特征的影像区域，以及与其对应的矢量数据(影像中地物边界的线要素、面要素)，从而实现样本和样本标签的制作和标定。

该步骤用于实现样本和样本标签的制作和标定，对于作业人员筛选好的待矢量化的影像区域，将通过边界识别算法，实现影像区域的边界提取，然后通过作业人员人工修正，保证矢量化精度；这些矢量化数据，以及与其对应的影像区域，即为后续深度学习的样本及标签。

前述步骤制作的矢量图，以及对应的影像区域为样本和样本标签的数据基础，由于原始的矢量图层可能覆盖区域较为广泛，因此需要网格化处理，将大的矢量化数据和影像数据切分为小块数据制作为样本及标签，以提高训练速度，提升训练过程的拟合速度。步骤s3自样本标定步骤的子步骤为：

1)对于影像地图预处理步骤处理后的影像网格，进行二次筛选，由人工辅助，选择区域边界明显、边界类型单一的网格块；

2)对于选择的网格块的类型，由人工辅助分类为植被、建筑、水体、山体；

3)对所有筛选并分类后的网格块进行整理，平衡各类别网格块数量，使不同类别的影像网格块数量大致相等；

4)对所有影像网格块进行拉伸与缩放处理，使每个区域大小限定为100x100像素；

5)将处理好的影像网格块，按类别不同，保存于不同的文件夹中，为后续深度学习训练做准备。

s4、样本基件生成：根据步骤s2构建的生成对抗网络框架以及训练样本生成模型，对步骤s3生成的样本和样本标签，进行样本训练，生成样本基件。根据步骤s2构建的生成对抗网络框架及样本训练生成新的样本数据，将根据网格化切分后的小块的矢量数据片段，生成对应的模拟影像地图，这种新生成的“矢量片段-对应影像”可作为整个地图矢量化深度学习训练的有效样本，也即实现了特定用途的样本数据增强；步骤s4样本基件生成步骤的子步骤为：

1)将分类保存好的影像网格，由人工辅助，实现矢量化操作；

2)将影像网格矢量化后的图像，同样按照不同类别，新建文件夹保存；

3)将影像网格块和矢量网格块的文件存储名称统一起来，以确保两者之间的一一对应关系；

4)每个类别的影像网格块和矢量网格块通过旋转、放大缩小等常规操作，扩大样本空间；

5)每个类别的样本单独训练，实现该类别样本的生成模型构建，实现该类别样本(影像数据)生成，二次扩展样本空间；

6)每个影像类别，生成与之对应的单独的生成模型。

s5、样本组合增强：将步骤s4生成的样本基件通过同一类别样本的智能、自动组合，生成新的样本，进而再次构建新的生成模型，提升原始生成模型的泛化能力，最终实现影像地图矢量化样本的大规模增强。该步骤用于进一步扩充样本及样本标签规模，通过前述各类矢量数据片段的随机组合，构建新的矢量数据，进而重复训练过程，实现样本数据的再次增强。步骤s5样本组合增强步骤的子步骤为：

1)对应于不同影像类别，将该类别的所有样本数据(包括原始样本及两次生成的样本)，任意多个样本之间组合成新的矢量数据(以及对应的影像数据)，组合规则应保证矢量数据(主要为线要素)的连接平滑；

2)将新生成的组合矢量数据，重新加入原有样本集，再次在生成对抗网络环境中训练，构建最终的生成模型；

3)通过之前各阶段构建的矢量数据，在生成模型中多次运行，生成与之对应的影像数据；

4)汇总原始的矢量数据、影像数据，以及通过最终生成模型生成的影像数据，最终实现影像地图矢量化样本增强。

本实施例为进一步提升生成样本的规模，以及模型训练速度，采用了二次训练的方式实现模型的训练过程，具体过程可描述为：

1)针对不同地物类别，构建该类别的影像矢量化标准库；

2)标准库的实现方式为，通过其它同源同分辨率的遥感影像中的数据，构建该类别的公共样本库；

3)首先通过公共样本库，训练生成针对植被、建筑、水体、山体、路面5个类别的生成模型；

4)采用自标定数据，在标准库生成模型的基础上，继续训练，构建适合本实施例影像地图的样本生成模型；

这种在原始公共数据集上训练，再在本地数据样本上进行二次扩展训练的方式，能够有效节省模型的训练时间，同时在一定程度上，增加了模型的泛化能力。

如图2所示：本发明实施例提供的一种基于生成对抗网络的地图矢量化样本增强系统，其包括：

影像地图预处理模块10，用于在待矢量化影像地图中，去除标注信息，并通过网格化去除没有明显边界特征的网格区域，以减少后续样本标定的数据处理量。

具体的，本实施例对于每个网格区域影像数据的处理，首先通过传统的边缘识别算法，识别影像中地物数据边缘，实现初步的矢量化过程。过程可描述为：

1)将影像二值化处理；

2)采用canny边缘检测算法实现网格区域影像的边缘提取；

3)作业人员通过调整canny算子，来保证区域内边缘最大化提取，同时需保证边缘清晰；

4)通过滤波方式，实现区域内边缘信息以为噪点的自动化去除；

5)作业人员辅助，实现边缘的补绘、冗余信息的擦除；

6)转化为最终的矢量化数据格式。

7)其中“影像数据-矢量数据”即为“样本-样本标签”对。

特别的，对于网格大小的选择，需要根据不同类型、不同分辨率的地图灵活调整。在本实施例中，网格大小选为长宽各为100像素。

网格后的影像地图，当该网格内部地物种类单一，则不会出现明显边界，此类网格单元不利于制作成为矢量化样本数据，应予以排除。此步骤可通过简单的统计方法，更为高效：计算网格内部每个像素点信息，当网格所有像素点相似度大于某一阈值，则判定该网格地物类型单一。

生成对抗网络构建模块20，用于搭建深度学习训练框架，构建生成对抗网络，利用生成对抗网络训练样本生成模型。

由于本发明的样本采集需要实时采集待矢量化地图中的数据，因此不能在影像地图预处理模块10之前预先训练模型，模型需要实时生成，为提升模型的训练速度，本实施例采用多gpu并行的方式，实现模型训练速度的提升。

自样本标定模块30，用于通过半自动化方法，对影像地图预处理模块10预处理后的影像地图进行基于待矢量化地图本身的样本标定，标定少量的、带类别属性的、有明确边界特征的影像区域，以及与其对应的矢量数据，从而实现样本和样本标签的制作和标定。

样本基件生成模块40，用于根据生成对抗网络构建模块20构建的生成对抗网络框架以及训练样本生成模型，对自样本标定模块30生成的样本和样本标签，进行样本训练，生成样本基件。

样本组合增强模块50，用于将样本基件生成模块40生成的样本基件通过同一类别样本的智能、自动组合，生成新的样本，进而再次构建新的生成模型，提升原始生成模型的泛化能力，最终实现影像地图矢量化样本的大规模增强。

此模块功能需实现同类别样本间的组合，组合效果将决定最终样本增强性能。因此，本实施例的模块组合选择采用以下步骤实现：

1)通过同类型地物中网格影像的相似度计算，判别影像的相似度；

2)对于相似度高的影像，通过曲线积分和连接点梯度计算，判别矢量组合的平滑效果；

3)同时满足前述2个步骤的网格块，可实现数据组合。

可选的，对于前述网格化图块，由于相邻图块具有最好的组合基础，因此可对网格块进行编号，在此模块中优先选择相邻图块两两、三三等组合方式，以增强样本组合性能。本实施例采用了图块编号组合的方法。

可以理解的是，结合本文中所公开的实施例描述的示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能性一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应超过本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机储存器、内存、只读存储器、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其他形式的存储介质中。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何属于本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。