一种基于神经网络的自然灾害后建筑损伤评估方法与流程

1.本技术涉及建筑损伤评估技术领域，特别地，涉及一种基于神经网络的自然灾害后建筑损伤评估方法。


背景技术：

2.自然灾害发生后，对整个区域的建筑损伤情况进行快速准确评估，获得的态势信息对有效响应至关重要。在响应人员能够对受影响区域采取行动之前，需要知道损坏建筑的位置、原因和严重程度。但灾害可能袭击任何地方，破坏当地的通信和运输等基础设施，使得评估特定地区损失的过程变得困难、危险和缓慢。然而，世界各地的自然灾害、建筑和土地利用模式各不相同，如飓风造成的损失和森林火灾造成的损失大不相同，不同地域被烧毁建筑的图像形式也各不相同。因此，充足的数据用于训练建筑损伤评估算法的性能至关重要。
3.2020年麻省理工学院(mit)公开了第一个建筑损伤评估数据集xbd，其是目前带注释的高分辨率卫星图像规模最大的、质量最高的公共数据集之一。数据集xbd包含22068条1024*1024的高分辨率卫星遥感图像(remote sensing image,rsi)数据，标记有19种事件：地震、洪水、野火、火山爆发、车祸等，每条数据分别包含灾前卫星遥感图像rsi和灾后灾前卫星遥感图像rsi，主要用于建筑定位和损伤评估。由于准确的损害评估取决于感兴趣区域的特定局部环境。因此，神经网络模型必须将地理相关危害的损害评分背景化。mit根据联邦应急管理局(fema)的《损伤评估操作手册》，建立了一个新的联合损伤等级表(joint damage scale,jds)，以便于对各种危险类型进行一致的损伤评估。且随着卷积神经网络、循环神经网络、梯度下降等技术的突破，深度学习算法在图像分割、目标检测和分类领域取得了长足的进步，为计算机实现快速的、智能的灾后态势分析提供了可能。但在具体实施过程中，仍然存在些问题。
4.在具体实施过程中，一方面由于卫星遥感图像是高分辨率图像，存在需要快速处理巨大像素图像的问题；另一方面，一个像素点对应的实际尺寸很大，即一个建筑往往只占少数的像素点，建筑定位精确度低的问题；此外，受灾区域范围巨大，会被云层、数目等遮挡，导致对建筑损伤评估的准确率低。


技术实现要素：

5.本技术提供了一种基于神经网络的自然灾害后建筑损伤评估方法，以解决现有技术中存在需快速处理巨大像素图像、建筑定位精确度低、建筑损伤评估准确率低的问题。
6.本技术的实施例是这样实现的：
7.本技术实施例提供一种基于神经网络的自然灾害后建筑损伤评估方法，包括：
8.获取待评估区域的卫星遥感图像rsi，所述卫星遥感图像rsi包括灾前rsi和灾后rsi；
9.建立图像集，并对图像集进行标注，得到标注后的图像集；
10.基于所述标注后的图像集，建立用于评估建筑损伤的数据集；
11.基于神经网络构建建筑损伤评估网络bdanet；
12.利用所述数据集对所述bdanet进行训练，得到建筑损伤评估模型；
13.利用所述建筑损伤评估模型，对待评估区域内建筑的损伤程度进行评估。
14.在一些实施例中，所述建立图像集，并对图像集进行标注，得到标注后的图像集，包括：通过labelme工具对所述灾前rsi进行分割标注，得到每一帧灾前rsi用于建筑定位的掩模mask；将所述掩模mask覆盖在所述灾后rsi，对每个建筑进行损伤等级标注，得到标注后的图像集。
15.在一些实施例中，所述bdanet包括：定位网络bpnet和损伤评估网络danet，所述bpnet用于像素级别的建筑定位，所述danet用于基于联合损伤等级表jds进行的损伤评估。
16.在一些实施例中，所述基于所述标注后的图像集，建立用于评估建筑损伤的数据集，包括：将所述标注后的图像集划分为训练集、验证集和测试集，形成用于评估建筑损伤的数据集。
17.在一些实施例中，所述利用所述数据集对所述bdanet进行训练，得到建筑损伤评估模型，包括：采用所述训练集和用于实时显示训练效果的所述验证集对所述bpnet进行训练更新，得到所述bpnet对应的第一权重数集；通过所述第一权重数集在所述测试集上进行测试，得到bpnet模型；采用所述训练集和用于实时显示训练效果的所述验证集对所述danet进行训练更新，得到所述danet对应的第二权重数集；通过所述第二权重数集在所述测试集上进行测试，得到danet模型；将所述bpnet模型和所述danet模型进行耦合，得到所述建筑损伤评估模型。
18.在一些实施例中，所述损伤等级包括：无损伤，较小损伤，较大损伤，完全损毁。
19.在一些实施例中，所述bpnet包括：呈u型网络架构的卷积层、池化层、残差层和上采样层。
20.在一些实施例中，所述danet包括：呈骨干网络架构的颈部层和检测头层。
21.本技术的有益效果在于，通过建筑损伤评估模型对建筑的损伤程度进行评估，以实现从灾前rsi、灾后rsi到建筑定位和损伤评估的端到端检测，具有快速、稳定性高的优点；进一步，通过定位网络对建筑进行定位，以实现像素级别的建筑定位，提高建筑定位的精确度；进一步，通过损伤评估网络对建筑进行损伤评估，以实现符合jds的损伤评估，提高建筑损伤评估准确率；进一步，通过将所述bpnet模型和所述danet模型进行耦合，以实现基于灾前rsi和灾后rsi就能得到建筑定位和损伤评估的结果，操作简单，结果明了。
附图说明
22.具体为了更清楚地说明本技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
23.图1示出了本技术实施例一种基于神经网络的自然灾害后建筑损伤评估方法的流程示意图；
24.图2示出了本技术实施例自然灾害后建筑损伤评估方法中建筑损伤评估网络的结构示意图；
25.图3示出了通过本技术实施例提供的一种自然灾害后建筑损伤评估方法获得的效果示意图。
具体实施方式
26.现在将描述某些示例性实施方案，以从整体上理解本文所公开的装置和方法的结构、功能、制造和用途的原理。这些实施方案的一个或多个示例已在附图中示出。本领域的普通技术人员将会理解，在本文中具体描述并示出于附图中的装置和方法为非限制性的示例性实施方案，并且本技术的多个实施方案的范围仅由权利要求书限定。结合一个示例性实施方案示出或描述的特征可与其他实施方案的特征进行组合。这种修改和变型旨在包括在本技术的范围之内。
27.本说明书通篇提及的“多个实施例”、“一些实施例”、“一个实施例”或“实施例”等，意味着结合该实施例描述的具体特征、结构或特性包括在至少一个实施例中。因此，本说明书通篇出现的短语“在多个实施例中”、“在一些实施例中”、“在至少另一个实施例中”或“在实施例中”等并不一定都指相同的实施例。此外，在一个或多个实施例中，具体特征、结构或特性可以任何合适的方式进行组合。因此，在无限制的情形下，结合一个实施例示出或描述的具体特征、结构或特性可全部或部分地与一个或多个其他实施例的特征、结构或特性进行组合。这种修改和变型旨在包括在本技术的范围之内。
28.本技术中使用了流程图用来说明根据本技术的一些实施例的系统所执行的操作。应当明确理解，流程图的操作可以不按顺序来精确地执行。相反，这些操作可以以相反的顺序或同时执行。而且，可以将一个或多个其他操作添加到流程图。一个或多个操作可以从流程图中移除。
29.图1示出了本技术实施例一种基于神经网络的自然灾害后建筑损伤评估方法的流程示意图。
30.在步骤101中，获取待评估区域的卫星遥感图像rsi，所述卫星遥感图像rsi包括灾前rsi和灾后rsi。
31.其中，通过卫星遥感技术采集待评估区域的灾前卫星遥感图像和灾后卫星遥感图像，使用经纬度坐标和卫星角度对其进行对齐。
32.在步骤102中，建立图像集，并对图像集进行标注，得到标注后的图像集。
33.在一些实施例中，所述建立图像集，并对图像集进行标注，得到标注后的图像集，包括：通过labelme工具对所述灾前rsi进行分割标注，得到每一帧灾前rsi用于建筑定位的掩模mask；将所述掩模mask覆盖在所述灾后rsi，对每个建筑进行损伤等级标注，得到标注后的图像集。在一些实施例中，损伤等级包括：无损伤，较小损伤，较大损伤，完全损毁。
34.其中，采用全景分割方法的标注方法，对图像集进行标注。其中，全景分割方法是将所有像素手动分为建筑和非建筑。针对灾前rsi，使用实例分割标注软件labelme进行标注，得到每一帧图像的掩模mask，以获取标注的灾前建筑定位数据；针对灾后rsi，把掩模mask覆盖到灾后rsi上，标注灾后每个建筑的损伤等级。根据联合损伤量等级表jds，将建筑共分为4个等级：建筑无损伤(no damage)，建筑受到较小损伤(minor damage)，建筑受到较大损伤(major damage)，建筑完全损毁(destoryed)。
35.在一些实施例中，自然灾害后建筑损伤评估方法还包括：编写数据加载算法
dataloader和数据增强算法，以实现色域变换、光照畸变、随机比例缩放、随机左右翻转、随机上下翻转和mosaic数据增强。
36.在步骤103中，基于所述标注后的图像集，建立用于评估建筑损伤的数据集。
37.在一些实施例中，所述基于所述标注后的图像集，建立用于评估建筑损伤的数据集，包括：将所述标注后的图像集划分为训练集、验证集和测试集，形成用于评估建筑损伤的数据集。
38.其中，将图像集划分为训练集、验证集和测试集，以便于进行数据预处理和训练中数据增强。
39.图2示出了本技术实施例自然灾害后建筑损伤评估方法中建筑损伤评估网络的结构示意图。
40.在步骤104中，基于神经网络构建建筑损伤评估网络bdanet。
41.在一些实施例中，所述bdanet包括：定位网络bpnet和损伤评估网络danet，所述bpnet用于像素级别的建筑定位，所述danet用于基于联合损伤等级表jds进行的损伤评估。在一些实施例中，所述bpnet包括：呈u型网络架构的卷积层、池化层、残差层和上采样层。在一些实施例中，所述danet包括：呈骨干网络架构的颈部层和检测头层。
42.其中，定位网络(building positioning network,bpnet)是指采用卷积层、池化层、残差层、上采样层和u型架构设计和实现的神经网络，能对输入的灾前rsi，进行像素级别的建筑定位。采用pytorch框架，采用卷积层、池化层、残差层、上采样层和u型架构进行设计。其中卷积conv是3x3的二维卷积，池化pool是2x2的最大池化，在下采样阶段，网络重复4次的conv卷积和最大pool的组合操作，可进行不同尺度特征的提取，特征尺寸越来越小最终变为原来的1/32，通道数目越来越大最终变为1024。up是上采样upsample层，和conv卷积一起作为特征还原网络。其中，特征提取网络和特征还原网络之间使用残差进行链接。
43.其中，损伤评估网络(damage assessment network,danet)是采用经典的骨干网络backbone、颈部层neck和检测头层head架构设计的神经网络，使用foucus、se-cspnet、sppnet和panet等科技包，输入获取的特征图，对灾后的建筑损伤级别进行评估。采用骨干网络backbone、颈部层neck和检测头层head架构设计的目标检测和分类网络，针对编码好的特征张量，检测建筑物目标并对其进行分类。网络骨干部分采用空间注意力机制focus模块，使得感受增大一倍；采用conv2d、归一化和(rectified linear unit，relu)激活函数组成的conv模块作为基本单元进行特征提取；采用带通道注意力机制的(squeeze and excitation，se)模块的跨阶段局部网络(cross stage partial network，csp)作为主要的特征提取器；采用空间注意力机制空间金字塔池化网络(spatial pyramid pooling network，spp)适应不同尺寸的子图像；网络颈部层采自下向上的特征金字塔网络(feature pyramid network，fpn)构成路径聚合网络(path aggregation network，panet)，改善底层特征传播；采用卷积块conv代替池化pooling以减少参数。
44.在步骤105中，利用所述数据集对所述bdanet进行训练，得到建筑损伤评估模型。
45.在一些实施例中，所述利用所述数据集对所述bdanet进行训练，得到建筑损伤评估模型，包括：采用所述训练集和用于实时显示训练效果的所述验证集对所述bpnet进行训练更新，得到所述bpnet对应的第一权重数集；通过所述第一权重数集在所述测试集上进行测试，得到bpnet模型；采用所述训练集和用于实时显示训练效果的所述验证集对所述
danet进行训练更新，得到所述danet对应的第二权重数集；通过所述第二权重数集在所述测试集上进行测试，得到danet模型；将所述bpnet模型和所述danet模型进行耦合，得到所述建筑损伤评估模型。
46.其中，采用训练集对bpnet进行训练更新，验证集实时显示每一代训练后的效果，训练结束后获得对应的第一权重数据。bpnet最终输出为与输入尺寸相同(即，通道为1)的特征图，即掩模mask。预测mask与真值mask计算交叉熵损失，采用随机梯度下降算法，更新此网络权重和偏置。训练重复n代，在测试集上测试建筑定位精度，评价指标为f1分数，训练完成后，得到bpnet模型。输入一张灾前rsi，就能对其进行像素级别的建筑定位，确定每个建筑物对应的像素点。
47.其中，训练集对danet进行训练更新，验证集实时显示每一代训练后的效果，训练结束后获得对应的第二权重数据。danet使用iou损失、交叉熵损失的组合损失函数，与真值计算损失，并采用随机梯度下降方法对此网络的权重和偏置进行更新。训练重复n代，在测试集上测试损伤评估精度，评价指标为f1分数。在网络训练完成后，得到danet模型。输入编码特征图，就能对灾后每个建筑进行损伤评估。
48.需要说明的是：权重文件包括第一权重数据和第二权重数据。
49.其中，定位网络bpnet和损伤评估网络danet能在xbd测试集上达到综合77.0％的f1分数，具有较强的鲁棒性。
50.在一些实施例中，通过编码方法将bpnet模型和danet模型耦合成建筑损伤评估模型，其中，编码方法是指在获取灾前建筑定位的掩模mask后，与灾前rsi、灾后rsi一起编码得到特征图，作为danet的网络输入。编写推理代码，代码同时加载bpnet网络和danet网络结构和权重数据。在编写推理中，首先使用bpnet网络对灾前rsi处理进行处理，获得建筑定位掩模mask，然后根据编码算法对灾前rsi、灾后rsi和掩模mask进行编码获得特征图，输入到danet中进行处理，获得每个建筑的损伤评估等级，最后把建筑定位和损伤评估结果共同输出，形成端到端网络。
51.其中，编码方法的具体过程是创建一个与遥感图像尺寸相同新的张量；根据像素掩模，非建筑区域全部填充为灾后图像，对建筑区域，按比例3：7填充灾前和灾后图像；而后对所有建筑进行红色描边，使之更容易被检测出来。编码后得到的特征图为与遥感图像尺寸相同的张量，作为损伤评估网络danet的输入。
52.图3示出了通过本技术实施例提供的一种自然灾害后建筑损伤评估方法获得的效果示意图。
53.在一些实施例中，bdanet在飓风、洪水、地震、海啸、野火等自然灾害发生后，能快速检测出卫星遥感图像中的建筑位置，并评估出每个建筑的损伤情况。图3中12个子图是不同地理位置、不同自然灾害发生后的图像，子图中像素描边是像素级别的监督定位结果，子图中的矩形框是检测到目标建筑，四种不同颜色的矩形框代表4个不同的损伤等级，绿色框代表建筑无损伤(no damage)，蓝色框代表建筑受到较小损伤(minor damage)，黄色框代表建筑受到较大损伤(major damage)，红色框代表建筑完全损毁(destoryed)。
54.其中，将建筑损伤评估模型、训练好的权重文件、及源码部署到计算机中，传入灾前卫星遥感图像和灾后卫星遥感图像，自动实现端到端的建筑定位和损伤评估，输出每个建筑的定位结果和损伤评估结果，部署后操作简单，结果明了。在自然灾害发生后，本技术
提供的建筑损伤评估方法可使用单张3080显卡，大约1分钟能评估120平方公里面积内的建筑损伤情况，非常快速。
55.本技术通过将卫星遥感技术和人工智能技术融合，根据灾前卫星遥感图像和灾后卫星遥感图像，对建筑物进行像素级别的定位和符合联合损伤量等级表jds的损伤程度评估，具有快速、准确、稳定性高的优点，能适应地震、洪水、野火、火山爆发等不同的自然灾害类型，具有良好的鲁棒性。
56.此外，除非权利要求中明确说明，本技术所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本技术流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本技术实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
57.同理，应当注意的是，为了简化本技术披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本技术实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本技术对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
58.针对本技术引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本技术作为参考。与本技术内容不一致或产生冲突的申请历史文件除外，对本技术权利要求最广范围有限制的文件(当前或之后附加于本技术中的)也除外。需要说明的是，如果本技术附属材料中的描述、定义、和/或术语的使用与本技术所述内容有不一致或冲突的地方，以本技术的描述、定义和/或术语的使用为准。