一种基于点的迭代式遥感图像道路提取方法与流程

本发明属于计算机视觉
技术领域：
，特别涉及到利用神经网络进行遥感图像道路提取的方法及应用。
背景技术：
：从遥感影像中提取道路是遥感领域的一项研究课题。传统的方法通过各种技术构建道路图，如利用附近建筑物和车辆的先验知识(hinz等人)[isprsjournalofphotogrammetryandremotesensing,2003,58(1-2):83-98]，形状因子(song等人)[photogrammetricengineering&remotesensing,2004,70(12):1365-1371]，模拟退火技术(stoica等人)[internationaljournalofcomputervision,2004,57(2):121-136]，光谱对比度和局部线性轨迹(das等人)[ieeetransactionsongeoscienceandremotesensing,2011,49(10):3906-3931]。此外，最小生成树(turetken等人)[ieeeconferenceoncomputervisionandpatternrecognition,2012,566-573]，高阶条件随机场(wegner等人)[ieeeconferenceoncomputervisionandpatternrecognition,2013,1698-1705]，以及交点处理(chai等人)[ieeeconferenceoncomputervisionandpatternrecognition,2013,1894-1901]也被用来构造道路图。自2010年以来，深度学习因其优异的分类回归性能成为提取道路图的主要研究方向，以生成具有更高性能的道路图。在mnih等人[springereuropeanconferenceoncomputervision,2010,210-223]首次在道路提取任务中采用受限玻尔兹曼机，利用数据预处理降维输入数据，并进一步采用后处理方法去除断开的道路或填充断开道路上的孔洞。saito等人[electronicimaging,2016,2016(10):1-9]使用卷积神经网络(cnn)直接从原始遥感图像生成道路分割，无需预处理，并用级联神经网络提取道路中心线。zhang等人[ieeegeoscienceandremotesensingletters,2018,749-753]将残差连接应用于u-net以学习更精细的道路分割。zhou等人[ieeeconferenceoncomputervisionandpatternrecognitionworkshops,2018,182-186]提出的d-linknet结合了膨胀卷积法和linknet来扩大从高分辨率卫星图像中提取道路的感受野。为了生成矢量化的道路图，应同时考虑生成的道路网的连通性以及与真实道路的对齐准确性。目前深度学习中有两种主流的框架来获得道路图：一种是先提取道路分割再后处理为矢量化道路图，另一种是通过迭代式探索直接将遥感图像转换成矢量化道路图。上述的第一种框架的改进主要在于道路分割的神经网络，其后处理方法大致相同：首先采用阈值法对道路分割进行二值化，然后应用形态学细化技术得到一个单像素宽的道路骨架，其中每个激活的像素都可以看作一个顶点，最后使用ramer-douglas-peucker算法消除图的冗余。mattyus等人[ieeeinternationalconferenceoncomputervision,2017,3438-3446]在神经网络训练过程中，使用soft-iou损失监督了一个轻量级的cnn，在转换为道路图之后，他们将进一步的后处理视为最短路径问题，使用a*算法来去除短边和丢失的连接。batra等人[ieeeconferenceoncomputervisionandpatternrecognition,2019,10385-10393]在神经网络中引入了方向学习和擦除优化学习，其中，方向学习赋予神经网络处理像素间连接的能力，擦除细化学习优化了第一个神经网络的道路分割输出，其得到的道路图在平均路径长度相似度指标(apls)上可以看出具有较好的连通性。上述的第二种框架采用了迭代式探索算法直接生成道路图。在训练阶段从道路图的真值标注生成起点，在推理阶段，bastani等人[ieeeconferenceoncomputervisionandpatternrecognition,2018,4720-4728]从额外的道路分割网络中生成起点。然后，迭代地将裁剪后的以起点为中心的遥感图像输入到神经网络中。一般地来说，道路图g是道路标注图的矢量化表示，其中包含一个顶点集v＝v1，v2，…，vn，以及一个边集e＝e1，e2，…，en。边e是两个顶点之间的直线，表示这两个顶点之间的道路。道路图的构建是通过迭代式探索沿道路的新顶点v并将其添加到现有道路图g中，并且在两个顶点之间加入一条新边e。具体而言，迭代探索从指示探索起点的起始顶点集s开始。通常，s是从道路分割或道路交点分割的峰值点获得的。g中的顶点集v初始化为s的副本。对于每次探索，从s弹出顶点v作为起点。神经网络将以该顶点为中心的遥感图像作为输入，并预测下一个顶点集v′。如果预测的v∈v′在v的相同区域中有匹配的顶点，则将采用匹配的顶点作为新获得的顶点。然后，将新获得的顶点v以及当前顶点和新顶点之间的边e分别添加到v和e，以更新g。s更新为s∪v′。接着，从s获得新的起始顶点以开始新的探索。当s为空时，探索结束。bastani等人设计的神经网络输出为一个停止标志和一个角度向量，停止标志决定算法是继续搜索还是停止，角度向量表示从当前顶点到下一个移动落点的角度区间。bastani等人还使用了一种道路图匹配算法来保持搜索路径沿着当前的真实道路。li等人[ieeeinternationalconferenceoncomputervision,2019,1715-1724]利用多边形来拟合道路和建筑物的形状。他们使用了基于多边形的cnn-rnn结构，循环地提取道路几何关键点，并应用右手法则来勾勒道路轮廓。上述道路图提取方法的演进发展过程中，逐渐展现出越来越强的道路分割能力，并越来越注重道路的连通性。现有的基于道路分割的方法一般缺少连通性约束，而基于迭代式探索的方法生成的道路图一般难以对准道路中心线。如何充分利用道路分割的中心线贴合性与迭代探索的连通性，是提升构建道路图方法的关键。技术实现要素：本发明的目的是解决现有方法存在的难以同时兼具图级别的连通性和像素级别准确性的问题，提出一种以道路分割作为指导，并辅以动态步长和轨迹探索的迭代式道路图探索方法。本发明的技术方案是：一种基于点的迭代式遥感图像道路提取方法，包括：a.使用点作为下一步迭代探索的位置表示，联合约束移动的方向以及步长信息。具体表现为：使用以下一步落点坐标为中心的二维高斯分布作为“点”的表示形式，存在于一个和输入遥感图片尺寸相同的二维向量中，在神经网络训练时作为逐像素的监督，以约束推理阶段时神经网络的输出为点的形式；b.使用可变的迭代式探索步长，具体表现为：对于道路交点、道路终点以及连接点，使用可变步长，对于非特殊情况，使用固定步长；c.使用道路分割和交点分割作为信息线索，指导迭代式探索的落点生成，具体表现为：使用道路分割和交点分割作为神经网络的监督信息；d.使用一次多步预测的轨迹探索方法，具体表现为：重复利用遥感图像一次输入所得到的特征，生成从当前迭代中心点为出发的顺序的多步落点预测；本发明的优点和有益效果：本发明使用可变的迭代式探索的步长，实现训练阶段与道路动态对齐，使用道路分割和交点分割作为信息线索，指导探索并实现更好的道路和交点对齐，通过网络架构中的神经网络检测器部分将道路主干特征和作为输入，并通过快速下采样和上采样来融合特征，通过解码器部分放大和细化高层次和低层次道路信息，用于准确生成预测的分布。最终生成的道路图同时具有图级别的连通性和像素级别准确性，给定遥感图像和已经探索过的轨迹，能够有效地、端到端地生成预测轨迹，并形成道路图。附图说明图1为本发明中的可变步长和分割线索的示意图，其中，第一行为(a)固定和(b)可变步长，第二行为(c)无分割线索和(d)有分割线索。图2为本发明中的下一步预测表示方式，其中，(a)为方向+固定步长，(b)为点+固定步长，(c)为点+可变步长。图3为本发明中的可变步长的具体情况，其中，(a)道路交点,(b)道路终点，(c)与已有路径的连接点。图4为本发明中的神经网络架构示意图。图5为本发明在推断道路图时的结果示意图，其中字母标注的图像为应用了该技术得到的可视化道路图。其中(a)为输入图像、(b)为真值标注、(c)为道路分割、(d)为交点分割、(e)为基本特征(f)为包括交点分割指导(g)为包括道路分割指导(h)为包括交点分割和道路分割指导具体实施方式下面结合附图和具体实施方式对本发明作进一步详细的说明。迭代探索框架通过不断预测下一步行动并将其预测结果合并到现有道路图中来迭代地构造道路图。本发明采用此框架，并提出了几种方案来改善所构建路线图的性能。首先，利用基于点的下一步移动表示形式，它是移动角度和距离的联合表示，因此无需多种监督即可在训练阶段应用多种约束。其次，本文提出了一种可变步长地检测技术，该技术得益于基于点的表示形式，只需改变监督信息中落点的位置即可实现，其旨在训练阶段与道路动态对齐。本文还利用道路和交点分割线索来指导探索并实现更好的道路和交点对齐。最后，一种提高效率并兼备优异性能的轨迹探索技术，可以生成多通道输出，每一个通道代表一个时序的落点集合。本发明将这些方案统一到我们提出的神经网络中，以生成具有高连通性和精确对齐的路线图。基于点的迭代探索：在这项工作中，我们将下一步移动的位置表示为一个点，该点统一了移动角度和距离的表示，如图2(b)所示。使用以下一步落点坐标为中心的二维高斯分布作为“点”的表示形式，存在于一个和输入遥感图片尺寸相同的二维向量中，在神经网络训练时作为逐像素的监督，以约束推理阶段时神经网络的输出为点的形式。在训练阶段，下一步移动的监视始终设置在道路的中心线上，因此可以期望推理阶段输出迭代地跟踪实际道路。将基于点的探索作为像素级的预测任务，神经网络可以精确预测在道路中心线上的下一步行动。在推理过程中，可以从预测分布的峰值中获取下一步的坐标。在训练阶段可以很容易地对点的表示方式应用多个约束(例如方向和步长)，而无需复杂的多种形式的监督。可变的探索步长：如图2(a)所示，以前的方法使用具有固定步长的角度分类器检测下一步移动，将360度划分为64个等间隔区间，一次仅输出一个分类概率最高的角度区间，并以该区间的中心值作为最终确定的方向。如图3所示，道路上存在多种“非平凡点”，如道路交点、道路终点和连接点。当前位置与附近非平凡下一步移动之间的道路长度往往难以是固定步长的整数倍。如图1(a)所示，当步长固定的检测器在下一个移动中遇到交点时，可能会生成与真实道路不相符的路径。为了确保道路和交点的精确对齐，本方法设计了一种可变的步长方案。在训练阶段，我们在真实标注图的监督下对空图执行探索。在每个探索步骤中，我们都将动态跟踪真实标注图，以生成下一步行动监管。在此，我们将固定步长表示为s，而可变步长设计为在0.5×s和1.5×s之间的可调长度。具体地来说，当距当前顶点1.5×s的倍以内有一个非平凡点时，我们将在检测到的点上精确生成高斯分布形式的监督。通过可变的步长，可以轻松处理非平凡点(例如交点)的问题，因此生成道路图的结构将与真实道路对齐。另外，此方案还有助于增强图的连接性，在图3(c)中展示了一种特定情况，当具有可变步长时，神经网络的输出可以轻松地匹配和连接先前中断的探测点。对于下一个探索区域中没有非平凡点的情况，我们使用从当前起点开始的固定步长策略，生成新的高斯分布监督。综上所述，我们在道路中间使用固定步长监督，并在非平凡点附近切换为可变的步长。如果采用角度学习的常规方法想要获得这种可变的步长，则必须仔细设计额外的步长学习。相反，受益于我们提出的“点”表示，无需添加移动距离检测分支，基于点的检测器可以通过训练来学习可变步长，如图2(c)所示，其中将移动距离编码进了基于点的表示形式。轨迹探索：在迭代探索的框架中，每个步骤都可能带来轻微的错误。受长期回报和经验重放等技术的启发，本方法可以通过在给定一次输入时输出多个顺序的移动，以预测移动的轨迹。我们通过将降采样的下一步移动预测周期性地送回神经网络检测器部分(沙漏模块)最多t次来实现这一点。应该注意的是，给定遥感图像作为输入，我们只提取一次图像特征。通过使用递归机制，神经网络将获得对未来轨迹的更长距离预测的能力，并减少总误差。分割线索：与侧重于局部下一步的探索机制不同，分割技术使得神经网络拥有更多的全局观。将图1(c)中bastani等人的结果与我们的结果(d)进行比较，我们可以看到，在长期的视野中，如果不了解在何处应该进行探索，该探索将在道路和交点导致与真实道路的不匹配。道路分割线索：道路分割的目标是从遥感图像中提取道路的中心线。如图1(b)所示，道路中心线可以从宏观的角度更好地表示道路图的拓扑结构。这里我们解释在本方法中使用道路分割的两个主要目的。首先，迭代探索方法主要关注局部下一步动作的位置，但缺乏对道路区域(即真实道路所在的位置)的全面了解。具体地，在图5(e)，(g)和(h)中可以看出，来自道路分割的道路区域的指导可以减少与真实道路的错位。其次，以下一步预测的形式，可以将道路分割视为探索点的理想选择，因此，道路分割可以在探索之前提供合理的中心线指导。交点分割线索：交点分割适用于我们可变步长方法，其可以指导前方为交点的下一步移动的预测。由于遥感图像中的交点通常是一个区域，因此交点分割线索可以帮助网络在训练期间精确地学习最佳交点位置。相反的，在没有交点线索的帮助下，当几个路段在交点区域相遇时，探索方法由于其短视的特点，可能会产生更少或更多的交点。如图5(e)和(g)所示，在没有交点分割作为支撑的情况下，在一个复杂的交点处，探索的结果往往难以准确生成统一的交点，而在交点分割的指导下，预测的结果更加合理。与使用道路分割的原因类似，交点分割可以给出交点位置的先验信息，这有助于神经网络更好地识别距离模式并确定步长，以实现交点的准确定位。神经网络架构：如图4所示，我们的网络架构设计采用vgg作为主干网络，融合其特征金字塔的侧分支输出，并提取四分之一尺度遥感图像的基本特征为了使神经网络清楚无误地确定前进方向，我们从推断得到的道路图中间结果中生成探索路径分割作为中间输入。我们利用融合的侧分支输出特征产生道路和交点分割预测，分别用和表示。相应的，本方法采用道路监督和交点监督来指导主干网络学习道路的基本表示。沙漏模块是一个金字塔状的特征自动编码器，其将道路主干特征和的作为输入，通过快速下采样和上采样来融合特征。当采用分割线索作为隐式指导时，我们的沙漏模块的输入将进一步联合分割线索特征合并为在这里，为了简单起见，我们在使用和时根据相应的情况表示网络中间的分割特征和输出的预测结果。和的指导将充当沙漏模块的输入，并为该设计带来良好的可解释性。在沙漏模块之后，将通过实际高斯标注图的侧面监督来保证下一步的粗略高斯分布。我们网络的解码器部分被设计为放大和细化高层次和低层次道路信息，其有助于准确生成预测的分布。最后，监督将用于保证精细的下一步预测结果此外，由于多任务的共同学习，我们的方法是端到端的，不需要单独的网络来获取起点。为了循环预测t步，我们将最终的预测下采样为四分之一尺度，并通过与上述沙漏模块的输入串联来重用。我们使用以0初始化的占位符来确保特征通道数的一致性。给定我们获得下一移动概率标记图此处，d(·)表示下采样操作。因此，我们可以循环获得t个时间步长。如果路段在t个时间步长之前相交，例如，在时间戳t＝k且k＜t时，我们在计算损失函数时将忽略时间戳t＞k+1，因为探索t＝k+1后的监督将对于顶点的连接是具有歧义的。至于网络架构设计的细节，沙漏模块是通过具有残差连接的4层下采样和4层上采样来构造的。每层包含两个conv-relu层，卷积核大小为3。每个解码器块将前一个块计算出的32通道主干特征和32通道下一个移动特征作为总和，后跟两个3×3卷积层。我们使用标准的二元交叉熵损失来分别优化和总损失函数为：其中lx，y是预测矩阵x和真实标注矩阵y之间的二元交叉熵损失。u(·)表示上采样函数，λ是用于平衡多类损耗的参数，由min(k+1，t)确定，λ1和λ1都设置为1。表1为应用不同的配置在3种评价指标上的性能表现，其中p-f1表示像素级道路准确性，j-f1表示交点匹配准确性，apls表示图的连通性。可变步长道路分割交点分割轨迹探索p-f1j-f1apls53.2836.2534.69√56.4243.8346.22√√68.2856.2149.46√√61.2855.4950.75√√√69.8159.4257.28√√√√73.4362.2658.40表1通过表1可知：1、引入可变步长后，交点的准确性大幅提高，因此提高了迭代探索输入图的质量，间接提升了道路图的连通性和像素准确度；2、引入道路分割和交点分割后，道路图的像素级准确度和连通性分别大幅提高，证明分割指导的有效性；3、引入轨迹探索后，像素级准确性和道路图连通性均有提高，证明轨迹探索技术能提升探索方法对探索轨迹的整体感知，提高道路图建图能力。当前第1页12