一种基于U-Net模型的复杂建筑物分类提取方法

一种基于u-net模型的复杂建筑物分类提取方法
技术领域
1.本发明涉及一种建筑物分类提取方法，尤其是一种基于u-net模型的复杂建筑物分类提取方法，属于遥感图像数据信息提取技术领域。


背景技术：

2.目前对建筑物的分类识别和提取主要集中在颜色、纹理等相似的大规模建筑物的提取，而对多种复杂屋顶建筑物类型的识别较少。传统的建筑物提取方法是对建筑物的颜色、形状和纹理进行提取，这些方法在建筑物结构复杂的情况下存在提取精度不高、过分割的现象、且数据易缺失和获取成本高等问题。
3.近年来，深度学习算法在计算机视觉领域被广泛应用于图像分类、目标检测、图像去噪、语义分割等任务中。不同于传统图像处理方法，深度学习算法可以从影像数据中学习到不同建筑物的特征，从而能够对不同的建筑物进行分类。而采用深度学习方法需获取大量样本数据进行训练，但获取的大部分样本仅来自某一地区和某一时段，这将导致训练出的深度学习分类模型的时空泛化能力较差，如果直接将上述分类模型用于其他地区或时相，分类精度往往难以得到保证。
4.u-net模型是一个具有编解码器结构的全卷积神经网络，该模型中的编码器模块用于特征提取，解码器模块用于恢复原始图像分辨率的特征图。u-net模型在小尺度图像数据集上取得较好的分割效果，由于其编解码器结构，适合于复杂建筑物图像分割提取。u-net模型使用跳跃连接将编码器模块的浅层特征图与解码器模块的深层特征图结合起来，对复杂区域复杂建筑物和房顶类型多样的建筑进行分类训练，分类提取更深层次的建筑物细节信息。鉴于此，如何进一步提高复杂建筑物分割精度以及独栋建筑物分类情况，已成为目前亟待解决的技术难题。


技术实现要素：

5.本发明所要解决的技术问题在于提供一种基于u-net模型的复杂建筑物分类提取方法，该方法能简便快速的对复杂建筑进行识别和提取，且识别精确度高、适用性强，从而克服上述现有技术的不足。
6.为解决上述技术问题，本发明采用的技术方案是：一种基于u-net模型的复杂建筑物分类提取方法，该复杂建筑物分类提取方法包括以下步骤：
7.step1.获取无人机影像数据；
8.step2.构建数据集：使用标注软件标注上述步骤step1影像中的建筑物，得到影像对应的建筑物标签样本，对影像和标签进行切割，最终获得多种建筑物样本的数据集；
9.step3.使用上述步骤step2所获得的分类建筑物数据集分别对u-net模型进行训练，获得建筑物分类提取模型；
10.step4.增强分类建筑物数据集：通过数据增强处理得到大量的分类建筑物样本，每一样本包括处理后的图像及其对应的建筑物样本标签，获取增强后分类建筑物数据集；
11.step5.使用上述step4所制作的增强后分类建筑物数据集对经上述步骤step3训练过的u-net模型进行一一微调训练，获得调整后建筑物提取模型；
12.step6.模型测试，将测试影像输入至上述步骤step5调整后建筑物提取模型中，即可得到关于建筑物的二值图像，进而将该二值图像与影像中的建筑物进行比对以及使用评价指标对预测结果进行分析。
13.在本发明的一个具体实施例中，上述步骤step1可包括以下步骤：
14.1)使用无人机平台搭载可见光传感器，根据实际环境规划无人机飞行的航线，设置合理的航高、航向和旁向重叠度，获取高分辨率的无人机遥感影像；
15.2)将无人机拍摄的照片利用智能摄影测量软件进行照片的初始化处理、特征点匹配、影像拼接、校正(因无人机抖动产生的变形、扭曲、模糊和噪音等)、图像增强、匀色、裁剪、重建等处理，生成具有红、绿、蓝3个波段的高分辨率正射影像。
16.本领域技术人员可以理解的是，上述步骤1)中使用的成像设备可以是任何适用的现有无人机设备，例如大疆mavic 2pro无人机、大疆精灵4无人机等。
17.在本发明的一个具体实施例中，上述步骤step2可包括以下步骤：
18.1)选用无人机遥感影像作为样本数据，使用软件对影像中的建筑物进行分类人工目视标注；
19.2)将不同尺度大小的原始影像和标签分割成相同目标大小的样本，标签中255表背景，0代表的建筑物，并将所有样本按比例划分为训练集、验证集和测试集，其中，包括样本有平房-房顶有水(water on the roof，bw)、平房-房顶无水(bungalow-roof without water，bn)、彩钢房(color steel house，bs)、砖瓦房(brick and tile house，b
t
)4种类型。
20.(1)可以理解的是，上述步骤1)中，可以使用任何适用的现有图像标注工具进行人工标注，例如深度学习图像标注工具labelme、labelmg以及arcmap等软件。
21.在本发明的一个具体实施例中，上述步骤step3可包括以下步骤：
22.1)压缩路径由4个模块组成，每个模块使用3个有效卷积和1个最大池化下采样，每次降采样之后特征图的个数乘2，因此特征图尺寸有所变化，最终获得特征图。
23.2)扩张路径由4个模块组成，每个模块开始之前通过反卷积将特征图的尺寸乘2，同时将其个数减半，然后和左侧对称的压缩路径的特征图合并，由于左侧压缩路径和右侧扩展路径的特征图的尺寸不一样，u-net是通过将压缩路径的特征图裁剪到和扩展路径相同尺寸的特征图进行归一化的，扩展路径的卷积操作依旧使用的是有效卷积操作，最终获得与原始影像一样大小的特征图。
24.(1)设置卷积核大小为3
×
3、填充为0和步长为1的卷积层；
25.(2)设置卷积核大小为2
×
2、步长为2的池化层；
26.(3)设置2倍的最近邻插值层；
27.(4)设置卷积核大小为1
×
1的卷积层；
28.(5)将上述步骤step2制作的数据输出送入u-net模型，对所述数据训练集中的每一张图像进行四次下采样；
29.(6)将上述步骤step2获得的所述数据集的训练集输入u-net模型，对所述数据集的训练集中的每一张图像进行四次上采样，并结合上述步骤(5)获得的下采样图像将对应层中大小相同的输出进行拼接；
30.(7)对经过上述步骤(6)处理过的上采样图像进行1
×
1的卷积操作，使用激活函数得到所述数据集训练集中的每一张图像的最终识别图；
31.(8)使用上述步骤(7)中所获得的所述最终识别图与其所对应图像的真实值之间的差异作为损失，基于该损失进一步更新u-net模型，实现对u-net模型的训练。
32.(9)可以理解的是，上述步骤step3中，对u-net模型的训练可经过多次迭代以使u-net模型达到理想性能，迭代次数越多，u-net模型所能达到的性能越理想，但这也会导致成本的升高，训练时的学习率和具体迭代次数可以由本领域技术人员根据实际情况进行设置。
33.a.其中，上述步骤(5)中，四次下采样中的每一次均先经过两次3
×
3的卷积，其中每次卷积后都使用激活函数进行激活，然后再经过一次2
×
2的池化操作；
34.b.上述步骤(6)中，四次上采样均经过两次3
×
3的卷积，其中卷积后使用激活函数进行激活，每一次均经过2倍的最近邻插值操作。
35.c.可以理解的是，上述步骤(5)和(6)中使用的激活函数可以是任何适用的现有激活函数，例如relu激活函数。
36.d.可以理解的是，上述步骤(7)中使用的激活函数可以是任何适用的现有激活函数，例如softmax激活函数。
37.可以理解的是，上述步骤step4可包括以下步骤：
38.1)对样本图像进行颜色变换和几何变换等，如按照90
°
、180
°
、270
°
顺时针旋转得到的样本数据，最终获得新的增强分类建筑物数据集。
39.可以理解的是，上述步骤step5中将增强后的分类建筑物数据集训练完u-net模型得到微调建筑物提取模型后，利用预测影像进行预测，微调式训练时的学习率和迭代次数可以由本领域技术人员根据实际情况进行设置。
40.可以理解的是，上述步骤step6中，该处理方法使用u-net模型对案例区3建筑物进行分割提取，其中，上述处理方法在处理复杂建筑物图像时尤其有效。
41.在本发明的一个具体实施例中，为验证识别结果的精度，通过使用f1-score、oa、iou和漏检率(missed detection rate，mdr)对识别的结果进行评估判断。评价指标的公式如下：
[0042][0043][0044][0045][0046]
其中，tp表示正确预测结果；fp表示预测结果为建筑物，实际非建筑物；fn表示预测非建筑物、实际为建筑物；tn表示预测结果为非建筑物。
[0047]
本发明的有益效果：与现有技术相比，本发明具有以下特点：
[0048]
(1)该方法基于不同场景的分类建筑物数据集，包括空间分布密度不均、不规则和分布散乱、风格多样、房顶类型多样的建筑物样本，使用分类的建筑物样本对u-net模型进行训练，经过分类训练的u-net模型能够对建筑物进行准确分割，分割后的轮廓边缘清晰，建筑物得以独栋提取，有效提高对复杂建筑物的分割准确性。
[0049]
(2)本发明对建筑物进行分类标注，使用u-net模型对其进行分类训练，分类提取建筑物的方法，对训练的样本有限时，对样本进行增强操作，从而达到有效识别出目标建筑物。
[0050]
(3)本发明结合无人机成本低、获取影像空间分辨率高的特点，弥补了获取卫星影像困难的问题，解决了获取大量高质量样本的难题，使得复杂建筑物提取更准确。
[0051]
(4)本发明充分发挥u-net模型所需样本量少、能更深层的学习图像特征的特点，通过卷积与反卷积、特征融合，避免了信息损失的困难，大大提高了影像的识别率。
[0052]
(5)本发明针对建筑物复杂、种类繁多和分布密度不均等问题，对建筑物进行分类标注，使用u-net模型分别进行训练，有效提高了复杂区域复杂建筑的提取效果。
附图说明
[0053]
图1是本发明提供的训练方法的流程示意图；
[0054]
图2是本发明的不同案例区不同建筑物类型；
[0055]
图3是本发明的四类建筑物分割的样本影像和对应标注的样本图，图中：bs为彩钢房，b
t
为砖瓦房，bw为平房-房顶有水，bn为平房-房顶无水；
[0056]
图4是本发明的u-net模型图；
[0057]
图5是本发明的不同建筑物类型、不同场景的影像、样本和预测结果图；图中：黑色图斑为提取的不同类型的建筑物，白色为提出的背景值。
[0058]
下面结合附图和具体实施方式对本发明作进一步的说明。
具体实施方式
[0059]
附图仅用于示例性说明，不能理解为对本专利的限制。
[0060]
实施例：一种基于u-net模型的复杂建筑物分类提取方法，包括以下步骤：
[0061]
step1.获取无人机影像数据；
[0062]
step2.制作数据集。使用标注软件标注上述步骤step1影像中的建筑物，得到影像对应的建筑物标签样本，对影像和标签进行切割，最终形成数据集；
[0063]
step3.使用上述步骤step2所获得的数据集对u-net模型进行训练，建筑物提取模型；
[0064]
step4.增强数据集。通过数据增强处理得到大量样本，每一样本包括处理后的图像及其对应的建筑物样本标签，获取增强数据集；
[0065]
step5.使用上述step4所制作的增强数据集对经上述步骤step3训练过的u-net模型进行微调训练，获得调整后建筑物提取模型；
[0066]
step6.模型测试。将测试影像输入至上述步骤step5调整后建筑物提取模型中，即可得到关于建筑物的二值图像，进而将该二值图像与影像中的建筑物进行比对以及使用评价指标对预测结果进行分析。
[0067]
在本实施例中，上述步骤step1包括步骤：1)使用多旋翼可见光无人机飞行器作为无人机平台，搭载24mm低畸变广角相机、高精度防抖云台以及1英寸cmos图像传感器。根据案例区3实际环境规划无人机飞行的航线，设置航向和旁向重叠度分别为80％和80％，获取高分辨率的无人机航片；2)将无人机拍摄的照片利用智能摄影测量软件进行照片的初始化处理、特征点匹配、影像拼接、校正(因无人机抖动产生的变形、扭曲、模糊和噪音等)、图像增强、匀色、裁剪、重建等处理，生成具有红、绿、蓝3个波段的数字正射影像图。
[0068]
这里，步骤step1中获取的影像为乡村聚落的无人机建筑物影像。图2为不同案例区不同建筑物的分布图。
[0069]
在本实施例中，上述步骤step2包括步骤：1)选用无人机遥感影像作为样本数据，使用软件对影像中的建筑物进行人工目视标注；2)将不同尺度大小的原始影像和标签分割成512piexl
×
512piexl相同目标大小的样本，标签中255表背景，0代表的建筑物。其中，将建筑进行了分类标注，包括彩钢房(bs)，砖瓦房(b
t
)，平房-房顶有水(bw)和平房-房顶无水(bn)四类建筑物，并标注出这四类的标注样本，并将四类建筑物的所有样本按比例划分为训练集、验证集和测试集。图3为四类建筑物分割的样本影像和对应标注的样本图。
[0070]
在本实施例中，上述步骤step3包括步骤：1)压缩路径由4个模块组成，每个模块使用3个有效卷积和1个最大池化下采样，每次降采样之后特征图的个数乘2，因此特征图尺寸有所变化，最终获得特征图；2)扩张路径由4个模块组成，每个模块开始之前通过反卷积将特征图的尺寸乘2，同时将其个数减半，然后和左侧对称的压缩路径的特征图合并，由于左侧压缩路径和右侧扩展路径的特征图的尺寸不一样，u-net是通过将压缩路径的特征图裁剪到和扩展路径相同尺寸的特征图进行归一化的，扩展路径的卷积操作依旧使用的是有效卷积操作，最终得到与原图相同大小的结果图。
[0071]
(1)设置卷积核大小为3
×
3、填充为0和步长为1的卷积层；
[0072]
(2)设置卷积核大小为2
×
2、步长为2的池化层；
[0073]
(3)设置2倍的最近邻插值层；
[0074]
(4)设置卷积核大小为1
×
1的卷积层；
[0075]
(5)将上述步骤step2制作的数据输出送入u-net模型，对所述数据训练集中的每一张图像进行四次下采样；
[0076]
(6)将上述步骤step2获得的所述数据集的训练集输入u-net模型，对所述数据集的训练集中的每一张图像进行四次上采样，并结合上述步骤5)获得的下采样图像将对应层中大小相同的输出进行拼接；
[0077]
(7)对经过上述步骤6)处理过的上采样图像进行1
×
1的卷积操作，使用softm ax激活函数得到所述数据集训练集中的每一张图像的最终识别图；
[0078]
(8)使用上述步骤7)中所获得的所述最终识别图与其所对应图像的真实值之间的差异作为损失，基于该损失进一步更新u-net模型，实现对u-net模型的训练。
[0079]
(9)上述步骤step3中，为以使u-net模型达到理想性能，对u-net模型的进行训练时，将训练时的学习率设定为0.0001，迭代次数为50，根据实践经验，20代后损失值基本稳定。
[0080]
a.其中，上述步骤5)中，四次下采样中的每一次均先经过两次3
×
3的卷积，其中每次卷积后都使用激活函数进行激活，然后再经过一次2
×
2的池化操作；
[0081]
b.上述步骤6)中，四次上采样均经过两次3
×
3的卷积，其中卷积后使用激活函数进行激活，每一次均经过2倍的最近邻插值操作。
[0082]
在本实施例中，上述步骤step4包括步骤：1)对四类建筑物样本图像进行几何变换，包括按照90
°
、180
°
、270
°
顺时针旋转得到的样本数据、归一化处理以得到新的样本数据，最终获得新的增强数据集。
[0083]
在本实施例中，上述步骤step5包括步骤：将增强数据训练完u-net模型得到微调建筑物提取模型后，利用预测影像进行预测，微调式训练时的学习率和迭代次数分别为0.00001和50，u-net模型进行微调式训练。其中，图4展示了u-net模型图。
[0084]
在本实施例中，上述步骤step6中，该处理方法使用u-net模型对案例区3建筑物进行分割提取，其中，上述处理方法在处理案例区3乡村聚落建筑物图像时尤其有效。
[0085]
在本发明的一个具体实施例中，为验证识别结果的精度，通过使用f1-score、oa、iou和漏检率(missed detection rate，mdr)对识别结果的进行评估判断。评价指标的公式如下：
[0086][0087][0088][0089][0090]
其中，tp表示正确预测结果；fp表示预测结果为建筑物，实际非建筑物；fn表示预测非建筑物、实际为建筑物；tn表示预测结果为非建筑物。
[0091]
表1不同建筑物提取结果精度分析
[0092][0093]
从表1可知：(1)同一建筑物，不同场景的识别结果分析。无论f1-score、mdr、oa以及iou，案例区2bs的识别结果均达到最高，f1-score高达95.45％，较案例区1、案例区3和案例区4分别提高11.32％，5.78％和3.39％；mdr低至2.29％，较案例区1、案例区3和案例区4分别降低20.74％，13.47％和13.87％；oa为99.99％，较案例区1、案例区3和案例区4提高0.31％，0.06％和1.59％；iou为99.55％，较案例区1、案例区3和案例区4分别提高13.43％，15.21％和8.50％。分析发现，在4个验证区中，案例区2验证区的建筑物最少，分布较分散，其验证区建筑物与样本建筑差异较少，进而得到最好的识别结果；案例区1的验证区虽与制作样本的是同一幅影像，但验证区内建筑物分布密集、建筑物类型复杂，致使识别结果相对较差。
[0094]
(2)同一地貌类型场景中，不同建筑物的识别结果分析。对于案例区1验证区的bs、b
t
、bw和bn的识别结果分析发现，其中，平bw的f1-score、iou都是最高，分别为85.76％和87.16％，mdr最低，为17.92％；而识别结果最差是bn，f1-score、oa、iou和mdr分别为70.37％、97.35％、65.17％和30.12％。这说明不是建筑物反射率越高，识别精度就越高。
[0095]
(3)不同建筑物不同场景的识别结果分析。对于案例区1、案例区2、案例区3、案例区4而言，最高最低f1-score出现在不同场景不同建筑类型，案例区2bs的f1-score最高为95.45％，案例区1bn的f1-score最低为70.37％；整体识别精度f1-score分别在70.37％～85.76％、82.13％～95.45％、82.99％～94.99％、75.41％～91.06％之间，案例区4差距最大，且为15.65％，案例区3差距最小为12.00％。从mdr分析，整体来看，案例区1和案例区4的mdr整体较高，说明漏提情况较多，而案例区2和案例区3漏提相对较少；从建筑物分类来看，md r最低是案例区2b
t
的识别精度为2.29％，最高是案例区1的bw为30.12％。从整体精度分析，整体识别精度都较高，最高精度高达99.99％，最低精度为97.35％。从iou分析，在不同建筑物类型中，bs和b
t
的iou计算结果最低达到84.34％，说明u-net模型能够良好的应用于bs
和b
t
的提取，而对于案例区1的bn和案例区4的bw的计算精度较低，分别为65.17％和67.91％，受地貌影响较大。
[0096]
对4种场景识别结果分析可知(图5)，u-net模型能够识别大多数建筑物，但微小建筑物识别有遗漏。案例区2和案例区3的识别结果较好，除部分建筑物被高大树木覆盖，致使识别结果和实际建筑物边界不一致外，大多建筑物提取较为完整，与实际边界吻合度较高；案例区4建筑物提取结果相对较好，大多以独栋形式存在，建筑物提取较为完整，但边界吻合度没有前者高，边界有较大的齿轮存在，主要受影像的影响，影像空间分辨率虽高，但因数据采集的问题导致建筑物边界存在一个不平滑的白边；案例区1的识别结果最差，建筑物大部分被提取出来，但是少部分提取的不完整，有的建筑物仅被提取出一半，因建筑物分布密集、房屋类型特征过于复杂，u-net模型不能很好学习建筑物中的特征信息，致使最终识别结果较差。
[0097]
对4类建筑物识别结果分析(图5)，bn识别结果的斑点严重，孔洞较多，完整建筑物比其他3类建筑物要少，且识别结果边界与实物吻合度不高，错提情况较多；b
t
的识别结果与bn相比，斑点孔洞较少，但是还是存在识别结果与实际建筑物边界不吻合的现象；bs和bw的识别结果最好，斑点孔洞很少出现，识别结果边界与实际建筑物吻合度较高，很少出现错题现象。
[0098]
上述对实施例的描述仅为便于技术人员理解和应用本发明。熟悉本领域技术的人员可以对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，研究人员根据本发明的提示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。