一种类别无关的遥感地物矢量拓扑结构提取方法

1.本发明涉及一种类别无关的遥感地物矢量拓扑结构提取方法，用于卫星或航空遥感影像的多种类地物矢量拓扑结构的自动提取。


背景技术：

2.以有向图结构表示的地物矢量拓扑是各种遥感应用的基础，如地理信息系统、制图综合和灾害评估等。传统的矢量图生产依赖于人工或者半自动化标注，耗时且昂贵。近年来，得益于深度学习的飞速发展，自动化矢量拓扑结构提取技术在遥感领域获得了广泛的关注和研究。目前遥感地物矢量化提取技术主要分为三种：基于分割的方法、基于轮廓的方法和图生成方法。
3.其中，基于分割的方法需要对分割结果进行矢量化处理以得到矢量结果。典型的方法有polymapper，frame field和asip等。虽然这些方法可以获得比较稳定的分割结果，但是矢量化过程中易出现细节缺失，导致拓扑错误。并且通常需要针对不同地物单独设计精细且复杂后处理优化环节，计算开销较大且不鲁棒。基于轮廓的方法源自实例分割的思想，通过不断调整初始轮廓来获取矢量拓扑。此类方法无需复杂的后处理过程，在低复杂度的面状地物(如建筑物)上能够取得不错的结果。然而这类方法依赖初始轮廓的质量，且难以应用于道路等线状地物。代表方法有polygon-rnn，polygon-rnn++，deep snake，sharpcontour和e2ec等。最后，图生成方法同时预测关键结点及其连接性来构建地物矢量拓扑结构。这类方法的一个分支，如roadtracer，vecroad，icurb和rngdet等，聚焦线状地物，从起点开始以逐点预测的方式构建整个矢量拓扑结构。这些方法效率较低，无法解决错误累积问题且不适用于面状地物。图生成方法的另一部分如polyworld和csboundary等，通过预测邻接矩阵来连接预测点。这些方法可以提取较规则的矢量拓扑结构，但是难以处理具有复杂拓扑结构的地物。
4.总之，目前还未能有一种通用的模型方法可以适用于多种类地物的拓扑结构提取，原因在于不同地物之间拓扑结构差异巨大。比如，线状地物的拓扑结构一般以其中心线表示，体现为非闭合网状结构，提取时需要关注其中心均质化特征。面状地物的拓扑结构一般为其边界轮廓，表现为闭合环状结构，提取时需要关注边缘非均质化特征。此外，面状地物中人工地物(如建筑物等)和自然地物(如水体和林地等)也有差异，相较于人工地物，自然地物形状复杂多变，面积大小不定，边缘特征模糊，上述问题给统一的矢量拓扑结构提取带来了挑战。


技术实现要素：

5.本发明为了克服上述问题，提出一种类别无关的遥感地物矢量拓扑结构提取方法，名为topdig。针对不同地物的拓扑结构，利用聚焦低层次拓扑信息的卷积神经网络进行结点和对应区域特征的提取。然后利用动态标签监督方法根据无序的预测点动态地生成有向邻接图标签。最后采用基于transformer的有向邻接图生成器预测结点间的邻接矩阵以
获得地物的矢量拓扑结构。
6.本发明提供一种类别无关的遥感地物矢量拓扑结构提取方法，包括如下步骤：
7.步骤1，建立训练集样本库。根据研究区域或者试验区域的遥感影像以及历史资料库，选取典型的目标地物样本，制作对应标签。然后根据硬件计算资源大小，将影像裁剪合适的切片大小，如512
×
512，同时制作对应的栅格标签和矢量标签。
8.步骤2，进行topdig模型训练与测试，实现对各类地物矢量拓扑结构提取；所述topdig表示一种类别无关的遥感地物矢量拓扑结构提取方法。
9.所述topdig模型包括聚焦拓扑的结点检测器，动态标签监督策略和有向邻接图生成器；
10.步骤3，设计多任务约束的损失函数，对步骤2中的topdig模型进行训练；
11.步骤4，训练完成后，利用训练好的topdig模型对影像预测库进行遥感地物提取，即可得到遥感影像目标地物矢量拓扑结构。
12.进一步的，所述聚焦拓扑的结点检测器(topological-concentrated node detector,tcnd)包括特征编码器，旁支输出器、特征学习模块(feature block)、权重学习模块(weighting block)、融合模块(merging block)和特征采样模块；所述特征编码器为resnet50。所述旁支输出器主要包含卷积层(convolution layer)，批归一化层(batch normalization,bn)和转置卷积层(transpose concolution layer)。所述特征学习模块包含两个卷积块，增强低层级拓扑特征并输出特征图。所述权重学习模块包含3个卷积块，用于平衡语义信息。所述融合模块对特征模块和权重学习模块输出进行融合，包含一个结点检测头(detection head)和加权求和运算，再根据非极大值抑制算法(non maximum suppression，nms)获得固定数量的预测点。所述特征采样模块根据获得的预测点进一步提取对应位置的区域特征，即视觉描述子。
13.进一步的，所述动态标签监督策略(directional graph supervision,dgs)是在训练过程中实时生成标签，用于监督有向邻接图生成器中邻接矩阵的学习。该策略以有序的真值结点为参考，基于无序的预测结点，在每个训练周期实时动态地生成以有向邻接图表示的邻接矩阵标签。
14.动态标签监督策略模块是根据预测结点动态生成邻接图标签以监督有向邻接图的学习，该模块接收无序的预测结点v＝{vi|i＝1,2,
…
,k}，vi＝{(xi,yi)}和有序的真值结点xi,yi分别表示结点i的横纵坐标；首先遍历每一个真值结点以寻找其最邻近的预测结点vi，与vi的匹配关系一一对应，即每一个或vi对应的vi或数量不超过1，匹配完成后，开始构造有向邻接图标签，第一步创造k
×
k的零值矩阵，矩阵的行序号和列序号即为k个预测结点的序号；第二步，遍历所有预测结点，如果预测结点vi有对应的真值结点找到该真值结点的所有邻接结点，这些邻接结点如有对应的预测结点，则这些预测结点为正在遍历的vi的邻接结点；按第一步和第二步的流程查找出预测结点的邻接关系需记录在第一步构建的零值矩阵中，记录方式为：假设正在遍历的预测结点vi在预测结点列表v中的序号为m，查找出的vi的一个邻接预测结点的序号为n，则零值矩阵中坐标(m,n)的元素的值修改为1；如vi没有邻接结点，则将零值矩阵中坐标(m,m)的元素的值修改为1；按照上述流程遍历完所有预测结点后，有向邻接图标签构建完
成。
15.进一步的，所述有向邻接图生成器(directional graph generator,dig generator)预测提取出的结点间的邻接矩阵，其主要包括位置编码模块，多层感知机(multi-layer perception,mlp)模块，连接性网络(connection network)和邻接图预测模块。所述位置编码模块将结点坐标和视觉描述子在特征维度上堆叠。所述多层感知机模块主要包含全连接层(fully connected layer)，层归一化(layer normalization，ln)以及修正线性层(relu)。所述连接性网络主要包含6个transformer编码器模块，该模块由多头自注意力层(multi-head self-attention layer)，前馈层(feed forward layer)，多层感知机层以及ln层组成。所述邻接图预测模块包含两个平行的邻接图预测头，其主要包含卷积层，bn层以及relu层。将两个预测的结果相加得到最终的邻接图。提取面状地物时，邻接图预测模块还包含1个优化模块以优化预测的邻接图。
16.进一步的，所述多任务损失函数包括两种，结点检测损失函数以及有向邻接图预测损失函数。
17.结点检测损失函数如下：
[0018][0019]
其中m(
·
)表示求均值的运算，表示真值结点热力图，h表示预测结点的热力图。
[0020]
有向邻接图预测损失函数如下：
[0021][0022]
其中p表示预测的邻接图，表示邻接图标签。
[0023]
而且，综合多个任务的损失函数最终表达式如下，
[0024]
l
total
＝
node
+
graph
。
[0025]
与现有技术相比，本发明的优点和有益效果为：本发明提供了一种类别无关的遥感地物矢量拓扑结构提取方法，一方面，本发明可以同样的方法流程应用于多类型遥感地物的矢量拓扑结构提取，是一种具有通用性的模型；另一方面，本方法不需要经过栅格中间结果，可以直接从输入影像中得到地物矢量拓扑结构。这避免了栅格转矢量过程的信息损失与复杂计算。
附图说明
[0026]
图1为topdig示意图；
[0027]
图2为有向邻接图标签动态制作示意图。
具体实施方式
[0028]
为了更好的理解本发明的技术方案，下面将结合附图和实施例对本发明技术方案做详细说明。
[0029]
本发明提供一种类别无关的遥感地物矢量拓扑结构提取方法。针对不同地物的拓扑结构，先利用聚焦低层次拓扑信息的卷积神经网络进行预测结点和对应区域特征提取。然后利用动态标签监督方法根据无序的预测结点动态地生成邻接矩阵标签。最后采用基于transformer的有向邻接图生成器预测地物的拓扑结构。
[0030]
基于该模型的结构，本发明提供一种类别无关的遥感地物矢量拓扑结构提取方法。具体实施步骤如下：
[0031]
步骤1.建立训练集和验证集样本库
[0032]
首先需要准备好正射或纠正后的卫星或航空遥感影像以及对应的典型地物标注矢量数据。然后对数据进行数据预处理，即对目标地物标注矢量数据进行栅格化、对影像和标注栅格数据进行重采样和裁剪得到分辨率合适、大小一致的影像和标注栅格对。最后结合计算机显存资源、地物的特性等因素，制作切片大小合适(如大小为512
×
512，或300
×
300)的训练样本库。此外利用数据预处理对待预测影像进行相同处理，建立影像预测库，以供后续模型直接进行预测。
[0033]
步骤2.topdig模型训练与测试
[0034]
通过设计卷积网络和特征采样器提取地物的低层次拓扑特征，生成预测结点和视觉描述子。然后采用动态标签监督策略，根据预测点动态地生成邻接图标签。最后基于transformer的有向邻接图生成器预测地物拓扑结构。并设计合理的损失函数为驱动。实施例中具体模块和步骤如下：
[0035]
2.1聚焦拓扑的结点检测器
[0036]
图1(a)中对涉及到的结构做简要示意，其依次包括特征编码器，旁支输出器、特征学习模块、权重学习模块、融合模块和特征采样模块。特征编码器选用resnet50，在resnet50网络中的4个阶段分别使用旁支输出器输出1张与原图相同尺寸的特征维度为1的热力图(heatmap)。旁支输出器共有4个，其中第一个由1个卷积层以及1个bn层组成，剩余三个由卷积层，bn层，转置卷积层和双线性上采样层组成。卷积层卷积核为1
×
1，步长为1；转置卷积层的卷积核大小分别为4，8，16，步长分别为1，2，8；bn层维度均为1。4个旁支输出器输出的4张热力图沿特征维度堆叠，送入特征学习模块。特征学习模块包含2个卷积块，每个卷积块包含1个卷积核大小为3
×
3，步长为1，填充为1的卷积层、1个维度为64的bn层以及1个relu层。卷积层输入、输出通道数分别为(4,64)和(64,64)。权重学习模块包含3个卷积块，前两个卷积块由1个卷积核为1
×
1，步长为1的卷积层、1个维度为4的bn层以及1个relu层构成，最后一个卷积块不包含relu层。3个卷积层的输入和输出特征通道数均为4。融合模块主要包含一个结点检测头和加权求和运算。结点检测头对特征学习模块输出的特征图进行解码，由2个卷积核为1
×
1，步长为1的卷积层、1个维度为64的bn层以及1个relu层。两个卷积层输入、输出通道数分别为(64,64)和(64,1)。然后通过加权求和运算对结点检测头输出的热力图和权重学习模块输出的权重图进行融合。得到的1
×h×
w热力图经过非极大值抑制算法得到320个预测结点。特征采样模块根据获取的预测点的坐标，采用grid sampling方法从特征学习模块输出的特征图上获取对应区域的特征，即视觉描述子。
[0037]
2.2动态标签监督。
[0038]
该模块根据预测结点动态生成邻接图标签以监督有向邻接图的学习，示意图如图2(b)所示。该模块接收无序的预测结点v＝{vi|i＝1,2,
…
,320}，vi＝{(xi,yi)}和有序的真值结点xi,yi分别表示结点i的横纵坐标。首先遍历每一个真值结点以寻找其最邻近的预测结点vi。这种与vi的匹配关系一一对应，即每一个或vi对应的vi或数量不超过1，匹配完成后，开始构造有向邻接图标签。第一步创
造320
×
320的零值矩阵，矩阵的行序号和列序号即为320个预测结点的序号。第二步，遍历所有预测结点，如果预测结点vi有对应的真值结点找到该真值结点的所有邻接结点，这些邻接结点如有对应的预测结点，则这些预测结点为正在遍历的vi的邻接结点。按上述流程查找出预测结点的邻接关系需记录在第一步构建的零值矩阵中。记录方式为：假设正在遍历的预测结点vi在预测结点列表v中的序号为m，查找出的vi的一个邻接预测结点的序号为n，则零值矩阵中坐标(m,n)的元素的值修改为1；如vi没有邻接结点，则将零值矩阵中坐标(m,m)的元素的值修改为1。按照上述流程遍历完所有预测结点后，有向邻接图标签构建完成。这种基于预测结点动态生成的邻接图用来监督有向邻接图生成器中邻接矩阵的学习。
[0039]
2.3有向邻接图生成器
[0040]
该模块依次由位置编码模块，多层感知机模块，连接性网络，邻接图预测模块构成。所述位置编码模块将归一化的结点图像坐标(x,y)＝{(xi,yi)|i＝1,2,
…
,320}和视觉描述子d＝{di|i＝1,2,
…
320}，d∈r
320
×
64
(di∈r
64
)沿特征维度堆叠为集成描述子d
emb
∈r
320
×
(64+2)
(r表示全体实数)。所述多层感知机模块包含2个子模块，每个子模块由1个输入，输出通道数为(66，768)的全连接层，1个维度为64的ln层以及1个relu层组成。多层感知机模块输出为特征描述子d
′
∈r
320
×
768
。所述连接性网络包含6个transformer编码器模块，每个编码器模块包含多头注意力层，前馈层，mlp层以及ln层。多头注意力层服从公式:
[0041][0042]
公式中，q，k，v分别代表查询，索引和内容向量。在本方法中，q，k，v由经过3个独立的输入输出特征维度均为768的全连接层处理后的d
′
表示。dk为特征描述子d
′
的特征维数768，softmax代表激活函数，t代表矩阵的转置。多头注意力层对softmax操作的结果设置10％比例的随机神经元失活；前馈层依次包含1个输入，输出通道数为(768，3072)的全连接层，高斯误差线性单元(gaussian error linear units，gelu)和1个输入，输出通道数为(3072，768)的全连接层。mlp层依次由1个输入，输出通道数为(1536，1536)的全连接层，1个维度为1536的ln层，1个relu层和一个输入，输出通道数为(1536，768)组成。所述邻接图预测模块包含两个平行的邻接图预测头和优化模块，每个图预测头包含4个卷积块，前三个卷积块由卷积核大小为1
×
1，步长为1的卷积层、bn层以及relu层构成，最后一个卷积块不包含relu层。4个卷积块的输入，输出通道数分别为(768，256)，(256，128)，(128，64)和(64，1)。最后将第一个预测头的预测结果和第二个预测头的预测结果的转置进行相加，得到预测的有向邻接图，表示结点间的连接关系。如果提取的是面状地物，还将使用基于sinkhorn算法的优化模块对预测的邻接图进行优化。所述sinkhorn算法迭代地对邻接矩阵的每行每列做归一化，迭代次数为100。目标地物的最终矢量拓扑结构可由预测结点和有向邻接图生成。具体方法为：有向邻接图中非对角线上的非零值代表一个相连的预测结点对。按照行、列序号分别取出对应的预测结点并相连。邻接图中零值和对角线上的非零值忽略不计。
[0043]
2.4多任务约束的损失函数设计
[0044]
本发明中使用的损失函数包括两种，结点检测损失函数以及邻接图预测损失函数。
[0045]
结点检测损失函数如下：
[0046][0047]
其中m(
·
)表示求均值的运算，表示真值结点热力图，h表示预测结点的热力图。
[0048]
有向邻接图预测损失函数如下：
[0049][0050]
其中p表示预测的邻接图，表示邻接图标签。
[0051]
而且，综合多个任务的损失函数最终表达式如下，
[0052]
l
total
＝
node
+
graph
(8
[0053]
2.5topdig模型测试
[0054]
步骤2.1-2.3设计的topdig模型，通过步骤2.4的多任务约束的损失函数，采用adam优化器，可以有效地对topdig模型进行训练。训练完成后，利用训练好的模型对影像预测库进行遥感地物提取，即可得到遥感影像目标地物矢量拓扑结构。
[0055]
具体实施时，本发明可采用计算机软件技术实现自动运行流程，运行本发明流程的装置也应当在保护范围内。
[0056]
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。