基于多模态大模型的建筑物震害损伤智能评估方法

本发明属于地震工程，具体涉及一种基于多模态大模型的建筑物震害损伤智能评估方法。

背景技术：

1、当发生地震等自然灾害时，建筑物往往会受到不同程度的破坏和损伤。传统的建筑物损伤评估方法主要基于土木工程专业从业人员的现场观察和经验判断，但存在专业水平要求高、现场工作效率低、人身安全不可控的问题。

2、此外，目前现有的基于深度学习方法的自动化震害评估技术，大多数是以卷积神经网络模型为基础的损伤图像分类任务。例如，在卷积神经网络或机器学习模型的基础上，展开区域震害卫星图像、单体建筑损伤图像及其图像特征参数的分类和检测任务。然而，这类评估方法的局限性在于它仅依赖于使用“损伤图片”或者“数字化特征参数”数据集对震害图像进行类别划分或者损伤定位，无法提供如损伤的文本描述或历史数据等其它类型的信息。因此，依赖于图像和数字化特征的方法可能会受到数据量和质量的限制，而且可能无法提供对震害进行数字化、文字化的全面评估。

3、因此，为了准确评估建筑物的震害程度，并提供科学依据指导应急管理和灾后重建工作，亟需发展一种基于多模态大模型的建筑物损伤震害评估系统，能够有效提高建筑震害评估的智能化与自动化水平。

技术实现思路

1、本发明的目的是：克服现有技术中存在的问题，提供一种基于多模态大模型的建筑物震害损伤智能评估方法，通过综合利用多模式损伤图片和损伤语言描述的多种信息源，结合深度学习技术，实现更专业与准确地评估建筑物损伤程度判断的功能，可以为地震灾害应急救援工作提供重要的技术支持。

2、为实现上述目的，本发明采用了以下技术方案：基于多模态大模型的建筑物震害损伤智能评估方法，包括以下步骤：

3、s1、采集建筑的地震损伤图片构建数据集：

4、通过网络爬虫、现场调查、灾后影像和勘察报告中包含的不同地区、不同建筑物类型和不同震级下的损伤图片，将采集到的损伤图片调整为同一尺寸，并按照“建筑物地震破坏等级划分标准”对所有采集的损伤图片进行文本描述的标注，构建多模态震害评估数据集；

5、s2、多模态震害评估大模型的构建：

6、s21、由两个图像编码器和两个文本编码器共同构建组成多模态震害评估大模型，四个编码器对应的输入分别为热成像图像、rgb震害损伤图片、损伤文本信息描述和激光雷达数据，每个编码器内部均利用自注意力机制和前向传播逐步提取和编码不同模态数据的特征，并经过每个编码器的处理获得相应输入数据的固定长度特征表示，固定长度特征表示包含了不同模态数据之间的关联性和重要特征，并在相邻两个编码器之间进行参数共享；

7、s22、根据图像-文本对比损失函数的最小化目标对多模态特征进行优化，图像-文本对比损失函数用于衡量图像和文本之间的相似性或相关性，由三部分组成：图像-文本匹配损失，用于衡量图像与其对应文本描述之间的匹配程度；文本生成损失，用于衡量模型生成的文本描述与真实文本描述之间的相似度；损伤信息分类损失，用于衡量模型预测的损伤信息与真实损伤信息之间的准确度；

8、s23、由自注意力机制、前向传播、多头自注意力机制和多头跨模态注意力机制构建多模态编码器，并输出一个新的多模态向量表示，每个向量包含了视觉、文本和位置信息的融合；

9、s3、训练多模态震害评估大模型：

10、在步骤s1中多模态震害评估数据集准备和步骤s2中多模态震害评估大模型构建完成的基础上进行模型训练，获取模型的训练权重，训练过程包括预训练和微调两阶段，预训练阶段中采用通过互联网爬取的大规模建筑损伤图片和损伤现象对应的文字描述的数据集来训练模型对图片特征的通用理解，微调阶段中采用步骤s1中挑选的更为精细的数据集来提高模型的精确性和泛化能力；

11、在实际应用中，多模态震害评估大模型通过加载预训练权重，在给定现场实时采集建筑损伤图片后，提供各种场景下损伤类别划分、损伤等级评估、震后修复加固的指导性意见；

12、s4、多模态震害评估大模型算法集成于无人机或巡检车：

13、将步骤s3中加载预训练权重的多模态震害评估大模型集成到无人机或巡检车系统，在实际受灾场景下，集成多模态大模型的巡检车或无人机装备将实时拍摄震害现场的图片，记录每张图片地理位置信息，通过多模态震害评估大模型对拍摄建筑进行震害分析；

14、s5、评估目标受灾区域内各建筑震害：

15、在面向区域性建筑群进行震害勘察时，集成多模态震害评估大模型的无人机或巡检车将提前规划路线，确定要扫描的目标区域内各建筑的访问顺序；使用无人机或巡检车搭载的相机、热成像仪和激光雷达设备，收集灾区各建筑的图像、温度和几何尺寸数据；将收集到的灾区建筑震害图像数据输入到步骤s2和s3中构建和训练完成的多模态震害评估大模型中，进行视觉特征提取、文本编码、多模态编码和损失函数优化的操作，评估各个建筑物的震害程度；

16、s6、生成受灾的目标区域内各建筑地震损伤评估报告：

17、根据步骤s5中集成多模态震害评估大模型的无人机和巡检车系统获取的各建筑震害评估结果，利用图神经网络模型对给定地理位置邻近地区中类似建筑物的损坏情况进行评估，对目标受灾区域进行网格划分，每个网格进行损伤等级划分，并计算出每个网格的地震经济损失，根据损伤等级、损失金额指标，对灾区进行总体评估，整理成带有地理位置信息的规范性震害评估报告，分析结果将实时传输到本地界面，并在地图上显示详细的地震损伤与损失分布。

18、所述步骤s1中，建筑物类型包括砌体房屋、钢筋混凝土框架结构和木结构房屋；建筑物破坏等级划分为基本完好、轻微破坏、中等破坏、严重破坏和毁坏；损伤图片调整为1024*1024大小的同一尺寸。

19、所述步骤s2中，图像编码器内部的数据处理过程为：通过图像编码器内部的视觉特征提取端将损伤图片划分为更小的、不重叠的块，对每个块应用线性投影层生成一个平面向量，向每个平面向量添加位置编码，使自注意力机制能够区分不同位置的块，最后将平面向量作为注意力机制的查询、键和值向量，通过多头自注意力机制来计算每个块与其他块之间的相关性，并输出一个新的向量表示，每个向量包含了损伤图片中的视觉信息和空间信息。

20、所述步骤s2中，文本编码器内部的数据处理过程为：通过文本编码将建筑震害损伤评估的文本信息描述和激光雷达数据标记化，转换为一个标记序列，为每个标记生成一个固定大小的向量表示，并向每个向量添加位置编码，使自注意力机制能够维护输入文本的上下文和顺序，最后将这些向量表示作为注意力机制的查询、键和值向量，通过多头自注意力机制来计算每个标记与其他标记之间的相关性，并输出一个新的向量表示，每个向量包含了文本描述和激光雷达数据中的文本信息和位置信息。

21、所述步骤s2中，假设输入损伤图片i和其对应的文本描述t，使用余弦相似度来衡量图像和文本之间的匹配程度，匹配程度的表达式为：

22、lmatch＝1-sim(i，t)，

23、式中，sim表示图像和文本之间的余弦相似度，lmatch表示图像-文本匹配损失；

24、假设模型生成的文本描述为t′，使用交叉熵损失来衡量生成的文本描述与真实文本描述之间的相似度，相似度的表达式为：

25、lgenerate＝-∑(t*log(t′)+(1-t)*log(1-t′)，式中，t表示真实文本描述，t′表示模型生成的文本描述，lgenerate表示文本生成损失；

26、假设模型对损伤信息进行分类的预测结果为p，真实的损伤信息类别为d，使用交叉熵损失来衡量预测的损伤信息与真实损伤信息之间的准确度，准确度的表达式为：

27、lclassification＝-∑(d*log(p)+(1-d)*log(1-*p)，

28、式中，d表示真实损伤信息的one-hot向量，p表示模型的预测结果，lclassification表示损伤信息分类损失。

29、所述步骤s6中，利用图神经网络进行评估的具体步骤包括：

30、s61、相邻建筑物在结构体系、几何尺寸和动力特性方面相近时，在经历相同的一次地震灾害后，相近建筑物的震害程度可通过建筑相似关系获得，因此通过多模态震害评估大模型对多个位置的代表性单体建筑进行震害评估后，得到每个位置场景建筑的损伤图像、文本描述和损伤信息；

31、s62、根据每个位置场景的地理位置、结构体系、建筑年代和几何尺寸属性将它们表示为目标评估区域图中的节点，并根据各节点之间的相似度或距离连接边，构建一个图结构；

32、s63、利用图结构进行区域内多个位置场景的信息传播和更新，使每个未得到检查评估的建筑节点能够从其相邻已得到建筑震害评估结果节点中学习到有关损伤情况的信息，并更新自己的损伤信息；

33、s64、根据多模态震害评估大模型与图神经网络输出的结果，对目标受灾地区中各建筑物的损坏情况进行经济损失评估，并生成区域性的地震损伤与损失评估报告。

34、本发明的有益效果是：

35、1)本发明的评估方法通过综合利用多模式损伤图片和损伤语言描述的多种信息源，结合深度学习技术，实现更专业与准确地评估建筑物损伤程度判断的功能，损伤语言描述可以提供对于震害图像整体和局部的描述，有助于更准确地划分和定位建筑损伤的类型和程度，具有较高的科学性和准确度，可以为地震灾害应急管理与灾后救援工作提供重要的技术支持。

36、2)本发明的评估方法中通过信息融合和分析，可以提供损伤语言描述和图像的不同信息来源，相互补充，更全面地描述和理解震害情况，损伤语言描述可以提供直观的语义信息，图像则可以提供更具体、细粒度的视觉信息；同时结合带有文本描述的数据，可以利用自然语言处理技术对文本信息进行语义分析，并与图像特征进行融合，可以处理高分辨率图像和多种数据模态(例如rgb、激光雷达、热成像)，以提高损伤评估的准确性。与传统的检查方法相比，可以更详细、更准确地了解损坏的性质和程度。

37、3)本发明的评估方法中将建筑震害图片和文本描述对作为训练数据集进行训练，可以提供更丰富和全面的信息，有助于评估震害的类型、程度和位置从而实现更准确和全面的震害评估。

38、4)本发明的评估方法中通过将多模态大模型集成到无人机或巡检车中，无人机和巡检车可以有效覆盖大面积区域，可以更快更广泛的完成建筑震害损伤评估和决策；无人机或巡检车可用于在困难的地形中收集建筑震害图像数据的同时，迅速完成损伤识别与评估，可以减少在危险区域进行人工检查的需要，从而最大限度地降低现场专业人员的生命风险。

39、5)本发明的评估方法可以实现建筑震害数据实时处理和分析结果快速获得，从而提高救灾工作的时效性；该方法可以与gis工具无缝集成，提供可视化和空间分析功能，支持紧急情况下的有效决策和资源优先排序；与传统方法相比，该方法可以显着提高地震损失评估的速度、准确性和安全性，为应急救援和修复工作提供有针对性的指导。