基于可学习角点特征的高分辨率遥感影像建筑物提取方法

1.本发明涉及深度学习以及遥感影像处理领域，具体涉及一种基于可学习角点特征的高分辨率遥感影像建筑物提取方法。


背景技术：

2.伴随着迅猛的城市化进程，建筑物在城市发展中扮演着越来越引人注目的角色。准确感知建筑物的分布和变化情况，在提高资源利用效率、优化城市空间格局、提升城市服务质量等方面具有重要作用。基于人工实地勘测的传统方法已难以满足大区域、复杂场景等条件下提取建筑物信息的需求。虽然航空摄影和遥感卫星的出现极大地改善了建筑物提取流程，但特征多样性、背景信息干扰等因素仍对快速、准确地完成相关任务提出严峻挑战。
3.建筑物提取的主流方法可分为传统方法和深度学习方法。传统方法基于几何、纹理、光谱等特征进行建筑物提取。例如陶等人在2004年提出一种基于直线分类方法的模型，提取到相对规则的建筑物特征；该方法作用于高分遥感影像数据时，易受噪声影响，导致输出分割图中建筑物的边缘粗糙。为了解决该问题，jung等人在2004年提出一种窗口式hough变换方法，提取到带有相对清晰边缘的建筑物区域。上述方法从像素角度对建筑物特征进行提取，但目前也有不少学者是基于对象的角度对建筑物特征进行建模的。例如sun等人结合建筑物提取指数、植被提取指数以及水体提取指数，提出了基于对象的多指标提取方法，对遥感影像进行建筑物分割。朱等人为消除裸土等地物的干扰，构建了多项特征分量，从而准确的提取了城市建筑物。另外魏等人使用了分水岭方法在quickbird影像上进行了建筑物提取，并且准确率达到了91％。虽然基于传统方法的建筑物提取模型取得了阶段性成功，但是其在很多方面都存在着问题，例如建筑物空间信息捕获不佳，易受阴影，植被等对象干扰。
4.近十年来，迅速崛起的深度学习技术，使基于深度语义分割模型的建筑物提取方法成为领域内的研究热点。long等人在2016年提出全卷积网络(fcn),第一次实现端到端的像素级分类任务。其后，基于深度语义分割模型的建筑物提取方法常以fcn及其衍生网络为基本框架。例如，emmanuel maggiori等人首次将fcn引入遥感影像建筑物提取领域，验证深度神经网络在建筑物提取中的可行性。然而，该方法暴露fcn模型对目标特征提取粗糙等问题。为进一步提升建筑物提取的质量，ji等人在fcn的基础上，加入两层空洞金字塔池化模块，利用多尺度卷积核扩大感受野，增强网络对多尺度建筑物的提取能力；lu等人利用最外围约束提取算法，构建建筑物边缘数据，用其对深度分割网络进行辅助训练，得到边缘细腻的建筑物分割图；wu等人提出多尺度交叉熵损失函数，用于优化分割模型的参数值，增强模型对建筑物特征的响应。上述方法虽然已取得一定成功，但在边缘棱角特征提取等方面仍待改善。在此背景下，本发明提出一种可学习的角点特征提取方法，并将其与深度分割网络结合，以提高模型对建筑物边缘角点特征提取的能力。


技术实现要素：

5.为了解决上述背景技术提到的技术问题，本发明提出一种高分遥感影像建筑物提取方法，其将深度分割模型与可学习的角点特征相结合，能够有效提取建筑物边缘特征，尤其在棱角部分表现更佳。
6.为了实现上述目的，本发明技术方案为：
7.一种基于可学习角点特征的高分辨率遥感影像建筑物提取方法，其包括：
8.s1、利用带有边界标签和方向标签的数据集训练方向偏移图模型，使其能够基于输入的遥感影像输出对应的方向偏移图；
9.所述方向偏移图模型由骨干网络、角点提取模块、边界分支和方向分支组成，遥感影像首先输入特征提取网络中，输出深层特征图；然后将深层特征图分别输入至角点提取模块和边界分支，分别输出角点特征图和边界特征图；再将角点特征图输入至方向分支中，输出方向偏移图；最后，将方向偏移图与所述边界特征图进行掩码操作，输出更新后的方向偏移图；方向偏移图模型训练过程中在边界标签和方向标签的引导下进行监督学习，采用的总损失为方向偏移图的损失和边界特征图的损失之和；
10.s2、将待提取建筑物的目标遥感影像分别输入经过训练的语义分割网络和经过训练的方向偏移图模型中，通过语义分割网络得到遥感影像中的建筑物粗糙分割图，同时通过方向偏移图模型得到更新后的方向偏移图，最后由优化分支利用更新后的方向偏移图对建筑物粗糙分割图进行优化，输出建筑物精细分割图。
11.作为优选，数据集中的方向标签和边界标签生成方法为：先对数据集基于harris角点特征提取方法生成角点标签，然后再角点标签基础上生成距离图，在距离图上使用sobel算子得到方向标签，另外对距离图设置阈值得到边界标签。
12.作为优选，，所述特征提取网络以resnet-101模型为主干网络。
13.作为优选，所述角点提取模块中采用一个可学习权重的角点特征提取算法，具体算法流程如下：
14.通过对深层特征图中每个通道特征分别进行不同方向的平移，然后将不同方向平移后的通道特征分别与对应通道的原始通道特征作差并对差值进行平方操作，获取深层特征图对应的多通道多方向的差分图；再对多通道多方向的差分图使用3
×
3深度可分离卷积从而给每个差分图赋权重且使权重可学习，对按权重加权后的差分图进行sigmoid操作，得到角点特征的权重图；最后，将权重图与深层特征图相乘后再与深层特征图残差连接，得到角点特征图。
15.作为优选，所述边界分支中，先对所述深层特征图进行最大池化操作和上采样操作得到新特征图，再对该新特征图与原深层特征图进行减操作，并对减操作所得结果进行3
×
3卷积操作，最终在所述边界标签的指导下输出边界特征图。
16.作为优选，所述方向分支中，先对所述角点特征图进行1
×
1卷积操作和relu激活函数操作，再对激活函数输出的特征进行1
×
1卷积操作和上采样操作，最终在所述方向标签的监督下输出方向偏移图。
17.作为优选，用于输出建筑物粗糙分割图的语义分割网络采用全卷积网络(fully convolutional network，fcn)。
18.作为优选，所述边界特征图中的每个像素值为0或1，所述方向偏移图中每个像素
的值代表了该像素点的偏移方向。
19.作为优选，所述掩码操作为使用边界特征图与方向偏移图进行元素级别的相乘操作。
20.作为优选，所述优化分支中，遍历所述建筑物粗糙分割图中的像素点，对于所述建筑物粗糙分割图中的每个当前遍历像素点，从所述更新后的方向偏移图中寻找与当前遍历像素点位置对应的像素点所记录的偏移方向，然后在所述建筑物粗糙分割图中用该偏移方向所指向的最临近像素点的值替换当前遍历像素点的值，从而对所述建筑物粗糙分割图进行逐像素优化，遍历完成后输出建筑物精细分割图。
21.相对于现有技术，本发明的有益效果如下：
22.本发明在训练阶段使用resnet-101作为骨干网络，在whu aerial buildings航空建筑物数据集和whu satellite buildings卫星建筑物数据集中进行了训练，得到了一个训练后的用于优化建筑物提取边界的后处理模型。在测试阶段，先使用fcn等简单分割模型生成建筑物的粗略分割图，再使用上述训练好的优化边界的后处理模型进行调整，最终得到建筑物细分割图。本发明在whu aerial buildings航空建筑物数据集和whu satellite buildings卫星建筑物数据集中进行了验证，在与densecrf,segfix等方法的对比验中，显示出了本发明在建筑物检测中的优势，尤其是在建筑物棱角附近区域表现更佳。
附图说明
23.图1为建筑物提取模型网络的框架示意图；
24.图2为角点特征提取流程示意图；
25.图3为角点特征提取模块原理示意图；
26.图4为边界特征提取方法示意图；
27.图5为边界特征图与方向偏移图进行掩码操作的示意图；
28.图6为测试阶段对粗糙分割图进行优化的示意图；
29.图7为本发明实施例中建筑物提取模型的训练和测试流程图；
30.图8为测试结果示意图。
具体实施方式
31.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施例的限制。本发明各个实施例中的技术特征在没有相互冲突的前提下，均可进行相应组合。
32.目前许多技术都会把边缘特征作为一种约束放到建筑物提取模型中，最终建筑物边缘也会得到较好的表示，但它们大多在边缘棱角特征提取方面表现不佳。为缓解上述问题，本发明提出了基于可学习角点特征提取的高分辨率遥感影像的建筑物检测算法。其利用建筑物角点特征，并结合深度神经网络对建筑物棱角部分进行特征强化，最终得到棱角分明，边缘清晰的建筑物提取结果。
33.本发明提供了一种提高由任何现有建筑物提取模型生成的建筑物提取结果的边
界质量的高分影像建筑物提取方法，尤其在棱角处，提取结果的质量提高明显。该方法是一种与模型无关的后处理方案，适用于任何现有建筑物提取模型，在现有模型生成粗略建筑物提取图的基础上，使用更靠近建筑物中心的内部像素的预测来替代边界像素的最初不可靠的预测，尤其是棱角附近的边界像素的最初不可靠的预测，得到精确的建筑物提取图。
34.以下结合附图和实施例详细说明本发明技术方案。
35.在本发明的一个较佳实施例中，提供了一种基于可学习角点特征的高分辨率遥感影像建筑物提取方法，其流程包括以下步骤：
36.步骤一，该建筑物提取模型是一个预先构建并训练的网络模型，如附图1所示，该模型分为方向偏移图模型和优化分支，整个模型需经过训练阶段和测试阶段，其中训练阶段主要对由骨干网络、角点提取模块、边界分支和方向分支组成的方向偏移图模型进行训练，使其能够基于输入的高分辨率遥感影像输出对应的方向偏移图，而测试阶段则利用训练后的方向偏移图模型、语义分割网络结合优化分支进行分割结果优化。
37.方向偏移图模型由骨干网络、角点提取模块、边界分支和方向分支组成，高分辨率遥感影像首先输入特征提取网络中，输出深层特征图；然后将深层特征图分别输入至角点提取模块和边界分支，分别输出角点特征图和边界特征图；再将角点特征图输入至方向分支中，输出方向偏移图；最后，将方向偏移图与所述边界特征图进行掩码操作，输出更新后的方向偏移图。方向偏移图模型训练过程中在边界标签和方向标签的引导下进行监督学习，采用的总损失为方向偏移图的损失和边界特征图的损失之和。因此，训练阶段的具体做法如下：
38.(1)训练阶段是在标签指导下进行的有监督学习，其中，边界分支和方向分支都需要相对应的标签，即边界标签和方向标签，这些标签都可由训练数据对应的数据集标签通过现有技术生成的。在本实施例中，数据集中的方向标签和边界标签生成方法为：先对数据集基于harris角点特征提取方法生成角点标签，然后再角点标签基础上生成距离图，在距离图上使用sobel算子得到方向标签，另外对距离图设置阈值得到边界标签。
39.(2)本实施例中，特征提取所需的骨干网络选择resnet-101，将训练数据中的遥感影像输入到以resnet-101为骨干网络的特征提取网络中，在标签的指导下输出遥感影像对应的带有建筑物深层特征的深层特征图。
40.(3)将步骤(2)中输出的带有建筑物深层特征的深层特征图输入到角点提取模块中，输出角点特征图。其中本实施例中的角点提取模块中设计了一个可学习权重的角点特征提取算法，使传统角点特征提取算法中的公式e(u,v）＝∑
x,y
w(x,y)*[i(x+u,y+v)-i(x,y)]2中的权重w(x,y)可以根据不同训练图片自动更新，使提取到的角点特征具有更好的表示性。本发明中可学习权重的角点特征提取算法流程如附图2所示，具体做法为：
[0041]
通过对深层特征图中每个通道特征分别进行不同方向的平移(translation)，然后将不同方向平移后的通道特征分别与对应通道的原始通道特征作差(substraction)并对差值进行平方(square)操作，获取深层特征图对应的多通道多方向的差分图；再对多通道多方向的差分图使用3
×
3深度可分离卷积从而给每个差分图赋权重且使权重可学习，对按权重加权后的差分图进行sigmoid操作，得到角点特征的权重图；最后，将权重图与深层特征图相乘(mul)后再与深层特征图残差连接(sum)，得到角点特征图。残差连接操作的目的使最后得到的角点特征图不仅有角点特征，也有深层特征图的特征，是两者融合后的结
果，保证结果不弱于仅有深层特征。
[0042]
需要说明的是，上述深层特征图中每个通道的通道特征都需要按照不同方向进行平移，每个通道特征对应每个平移方向都会生成相应的差分图。因此，深层特征图最终得到的深层特征图是多通道多方向的。如图3所示，以8邻域中的8个方向为例，原深层特征图的每个通道的通道特征在8个方向上沿每个方向都将进行一次上述平移、作差和平方组成的差分操作，最终得到通道数为深层特征图8倍的差分图。如果深层特征图原始的通道数是c(resnet-101输出的深层特征图的通道数c是512)，那么多通道多方向的差分图的通道数就是8*c(即512*8＝4096)。最后sigmoid之前需要先进行3
×
3深度可分离卷积把差分图通道数8*c重新转换为c，得到的权重图就是c(即512)个通道，这时候权重图的通道数和深层特征图的通道数是一样的。该3
×
3深度可分离卷积可以使传统角点特征提取算法中的权重w(x,y)可学习。
[0043]
(4)将步骤(2)中输出的带有建筑物深层特征的深层特征图及步骤(1)中得到的边界标签输入到边界分支中，在边界标签的指导下最终得到边界特征图。边界分支的工作原理如附图4，首先对步骤(4)得到的建筑物深层特征图进行最大池化及上采样操作得到新特征图，然后将其与深层特征图进行减操作，在减操作得到的结果上施加3
×
3卷积操作，最终在边界标签的指导下输出边界特征图。
[0044]
(5)步骤(3)输出的角点特征图及步骤(1)输出的方向标签输入到方向分支中，在方向标签的指导下输出方向偏移图。方向分支的工作原理如下：首先使用1
×
1卷积及relu激活函数对角点特征图提取特征，随后将提取的特征经过1
×
1conv调整通道后，再经过上采样操作，最终在方向标签的监督下输出所求的方向偏移图。
[0045]
(6)步骤(4)得到的边界特征图与步骤(5)得到的方向偏移图进行掩码操作，得到更新后的方向偏移图。需注意的是，本发明中的边界特征图仅由0和1组成，即图中的每个像素值为0或1；而方向偏移图由代表每个像素点的偏移方向的数字组成，每个像素的值代表了该像素点的偏移方向，即指明了对于当前像素点而言，需要利用哪一个方向上最邻近的一个像素值来替换当前像素点的值。掩码操作即使用边界特征图与方向偏移图进行元素级别的相乘操作，具体过程如附图5，通过掩码操作后方向偏移图中在边界特征图中取值为0的像素点会被更新。
[0046]
步骤二，测试阶段的提取由语义分割网络、步骤一中训练完成的方向偏移图模型以及优化分支组成。将待提取建筑物的目标遥感影像分别输入经过训练的语义分割网络和经过训练的方向偏移图模型中，通过语义分割网络得到遥感影像中的建筑物粗糙分割图，同时通过方向偏移图模型得到方向偏移图，最后由优化分支利用方向偏移图对建筑物粗糙分割图进行优化，输出建筑物精细分割图。
[0047]
在本实施例中，对于测试数据而言，测试阶段的具体实施步骤如下：
[0048]
将测试数据对应的建筑物粗糙分割图和方向偏移图共同输入到优化分支中输出优化后的精细建筑物分割图，具体过程如附图1所示。其中，该测试数据对应的建筑物粗糙分割图和方向偏移图分别由测试数据中的遥感影像分别输入到全卷积网络(fully convolutional network，fcn)等简单语义分割网络和步骤一中训练完成的方向偏移图模型中得到。
[0049]
具体的，优化分支的工作原理如附图6，其核心是在当前像素点的邻域范围内使用
方向偏移图中的偏移方向寻找当前像素点指向的目标像素点来更新粗糙的建筑物分割图中当前点的像素，过程如下：遍历建筑物粗糙分割图中的像素点，对于建筑物粗糙分割图中的每个当前遍历像素点a，从方向偏移图模型输出的更新后的方向偏移图中寻找与当前遍历像素点位置对应的像素点b，确定寻找到的像素点b中所记录的偏移方向c，然后在建筑物粗糙分割图中以当前遍历像素点a为基准根据该偏移方向c的指向方向找到最临近像素点d，用最临近像素点d的值替换当前遍历像素点a的值，从而对建筑物粗糙分割图进行逐像素优化，遍历完成后输出建筑物精细分割图。
[0050]
需说明的是，建筑物粗糙分割图中的像素点中的遍历顺序不限，实际结果表明其遍历顺序对于最终结果影响不大。本实施例中，建筑物粗糙分割图中的像素点的遍历顺序为从上到下、从左到右的扫描顺序。附图6中展示了一个示例性的优化前后的结果，其中coarse lable map为建筑物粗糙分割图，offset map为方向偏移图模型输出的更新后的方向偏移图，refined lable map为建筑物精细分割图，分割图中加粗黑框即为被优化的像素点。
[0051]
当然需要强调的是，在实际应用时，测试数据可替换成任意的待提取建筑物的目标遥感影像，对此不作限定。
[0052]
下面将上述实施例中所示的一种基于可学习角点特征的高分辨率遥感影像建筑物提取方法应用于一个具体示例中，以展示其具体实现和技术效果。
[0053]
实施例
[0054]
本实施例中的总体流程可以分为数据预处理，模型训练阶段，建筑物结果提取阶段三个阶段，具体流程如附图7所示。
[0055]
1、数据预处理阶段
[0056]
本发明选择whu building dataset中的航空数据集和卫星数据集作为数据集来验证模型的效果。其中航空数据集由8189张512
×
512大小的图片组成，卫星数据集由17388张512
×
512大小的图片组成。两种数据集基于7：3的比例被分为训练集和测试集。为了更好地验证后续模型的有效性，需要对数据集的标签进行操作来生成边界标签和方向标签，来指导后续建筑物提取模型的训练。详细步骤如下：
[0057]
步骤1，数据集的标签基于harris角点特征提取方法生成角点标签，用于后续的边界标签和方向标签的生成。
[0058]
步骤2，步骤1所述角点标签基于python(注意首字母大写，下同)的scipy库中的distance_transform_edt方法得到distance map。
[0059]
步骤3，在步骤2所述distance map上使用sobel算子得到方向标签，另外对distance map设置阈值得到边界标签。
[0060]
2、模型训练
[0061]
步骤1，构建训练数据集，并将训练数据集按照固定的批量大小进行分批，总数为n。
[0062]
步骤2，从训练数据集中顺序选取索引为i的一批训练样本，其中i∈{0,1,
…
,n}。利用每一个批次的训练样本对建筑物提取模型中的训练部分进行训练。该建筑物提取模型训练部分的具体结构如前所述，不再赘述，其采用resnet-101作为骨干网络来提取建筑物深层特征，后续角点提取模块，边界分支，方向分支均利用该建筑物深层特征提取得到角点
特征，边界特征及方向偏移图。训练过程中，计算每一个训练样本的角点特征，边界特征及方向偏移图交叉熵损失函数并求和得到该建筑物提取模型的损失函数，并根据批中所有训练样本的总损失，对整个模型中的网络参数进行调整，直到训练数据集的所有批次都参与了模型训练。达到指定迭代次数后，模型收敛，训练完毕。
[0063]
3、建筑物结果提取
[0064]
将测试集的高分辨率遥感图像直接作为输入通过训练好的方向偏移图模型和简单建筑物提取模型(采用fcn语义分割网络)中，分别得到测试集图像的方向偏移图和建筑物粗糙分割图。再将该方向偏移图和建筑物粗糙分割图共同输入到优化分支中，得到精细的建筑物分割图。
[0065]
本实施例中，一个示例性的测试结果如附图8所示，左图为待提取的卫星图片，中间为建筑物粗糙提取图，右图为优化后的建筑物精确提取图。可以看到引入该建筑物提取模型对建筑物棱角部分进行特征强化，能够得到棱角分明，边缘清晰的建筑物提取结果。
[0066]
以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。