基于视觉大模型的滑坡自动识别方法、系统和计算机设备与流程

所属的技术人员知道，本发明可以实现为系统、方法或计算机程序产品，因此，本发明可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是一一但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)，只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

背景技术：

1、地质灾害会造成环境破坏、人员伤亡及巨大的财产损失，据统计，目前70％的地质灾害均为滑坡灾害，滑坡灾害中的70％均发生在山区，且滑坡灾害中的80％属于未在库隐患。因此，利用遥感数据对现有滑坡进行识别和监测，对于地质灾害的隐患识别及核查具有重要意义。

2、目前，尽管目视解译具有较高的识别精度，但该过程耗时且费力。因此，近年来，基于人工智能的滑坡识别方法备受追捧。此类方法大致可分两种类型，具体包括基于像元计算的方法和基于对象计算的方法，具体地：

3、1)基于像元计算的方法：主要采用机器学习方法，如决策树、支持向量机、人工神经网络和随机森林等，这类方法的缺点是容易产生“椒盐效应”且对数据空间信息利用率不足。

4、2)基于对象计算的方法：可以将对象的形态、颜色、纹理等先验知识结合到算法中，尽管此类方法有效改善了“椒盐效应”问题，但对于尺度多变及可辨识度不高的目标难以有效识别。

5、近年来，基于卷积神经网络的滑坡识别方法大量涌现，不仅能够有效地利用遥感数据的时空联合特征，从而有效克服“椒盐效应”，而且，对于不同场景下滑坡识别的精度也有显著提高。然而，由于受限于训练数据，基于卷积神经网络的方法目前难以在保持高精度的同时，做到通用且自动的识别，近年来，计算机视觉大模型的涌现，为解决该问题提供了可能的途径。

6、大模型在人工智能领域掀起了一股开创性的浪潮，由于对大量数据进行训练，这些模型在各种场景中表现出显著的泛化能力。预训练大型模型如bert和gpt等，起初是在自然语言处理领域出现和发展的。chatgpt的出现更是对各个行业产生了重大影响。受nlp基础模型成功的启发，计算机视觉领域对于大模型的探索也取得进展，vit-22g，swintransformer和mae成为第一代大模型，他们的特点充分利用大数据与transformer，实现单模态下视觉任务的最优性能；clip作为第二代大模型，采用对比学习来对齐嘈杂的图像-文本对中的视觉和文本空间，实现跨模态下的语义知识的互通，并在下游任务中展示强大的零样本识别和泛化能力。

7、sam模型的提出标志着第三代大模型的诞生，不仅具有跨模态和零样本识别的能力，还具备强大的交互能力，作为第一个通用的计算机视觉网络在遥感应用领域同样展现出巨大的应用潜力。然而，遥感数据不同于自然图像，空间分辨率、时间分辨率、光谱分辨率和载荷类型的多样性决定了以自然图像作为训练样本的计算机视觉模型在遥感数据应用上的局限性。通过评测，sam模型在遥感数据上的应用依然面临无法实现同类地物的多目标识别，以及下游任务迁移精度差等挑战。解决上述问题的核心在于能否准确的获取目标的语义提示(prompt)。

技术实现思路

1、本发明所要解决的技术问题是针对现有技术的不足，具体提供了一种基于视觉大模型的滑坡自动识别方法、系统和计算机设备，具体如下：

2、1)第一方面，本发明提供一种基于视觉大模型的滑坡自动识别方法，具体技术方案如下：

3、构建滑坡语义分割模型，对滑坡语义分割模型进行训练，得到训练好的滑坡语义分割模型，其中，滑坡语义分割模型的输入为滑坡语义提示信息，滑坡语义分割模型的输出为滑坡的语义分割掩膜，滑坡语义分割模型的图像编码器包括视觉大模型特征提取器；

4、利用训练好的预设深度学习模型，得到待识别滑坡图像的滑坡目标的检测框，根据待识别滑坡图像的滑坡目标的检测框，得到待识别滑坡图像的滑坡语义提示信息；

5、将待识别滑坡图像的滑坡语义提示信息输入训练好的滑坡语义分割模型，得到待识别滑坡图像的语义分割掩膜。

6、本发明提供的一种基于视觉大模型的滑坡自动识别方法的有益效果如下：

7、将遥感大数据与视觉大模型的优势相结合，有效改善了传统滑坡识别方法在空间泛化能力差、样本依赖性强等方面的问题，对于开展广域滑坡目标识别及提升地质灾害隐患识别的智能化水平具有重要意义。

8、在上述方案的基础上，本发明的一种基于视觉大模型的滑坡自动识别方法还可以做如下改进。

9、进一步，在视觉大模型特征提取器的每个等距全局注意力模块之前，以跳层连接的方式，连接一个可嵌入微调模块，可嵌入微调模块包括至少一个多层感知机和至少一个relu激活层。

10、采用上述进一步方案的有益效果是：通过增加可嵌入微调模块，能够提升视觉大模型对下游任务的适配能力，有效解决了视觉大模型难以进行迁移学习的问题。

11、进一步，根据待识别滑坡图像的滑坡目标的检测框，得到待识别滑坡图像的滑坡语义提示信息，包括：

12、对待识别滑坡图像滑坡目标的检测框进行特征可视化，得到待识别滑坡图像的滑坡目标的注意力热图，在注意力热图中的第一概率值范围内随机生成多个正样本点，在注意力热图中的第二概率值范围内随机生成多个负样本点，所有随机生成的正样本点、负样本点和待识别滑坡图的滑坡目标的检测框，构成待识别滑坡图像的滑坡语义提示信息。

13、进一步，预设深度学习模型为yolov8模型。

14、2)第二方面，本发明还提供一种基于视觉大模型的滑坡自动识别系统，具体技术方案如下：

15、包括构建训练模块、获取模块和识别模块；

16、构建训练模块用于：构建滑坡语义分割模型，对滑坡语义分割模型进行训练，得到训练好的滑坡语义分割模型，其中，滑坡语义分割模型的输入为滑坡语义提示信息，滑坡语义分割模型的输出为滑坡的语义分割掩膜，滑坡语义分割模型的图像编码器包括视觉大模型特征提取器；

17、获取模块用于：利用训练好的预设深度学习模型，得到待识别滑坡图像的滑坡目标的检测框，根据待识别滑坡图像的滑坡目标的检测框，得到待识别滑坡图像的滑坡语义提示信息；

18、识别模块用于：将待识别滑坡图像的滑坡语义提示信息输入训练好的滑坡语义分割模型，得到待识别滑坡图像的语义分割掩膜。

19、在上述方案的基础上，本发明的一种基于视觉大模型的滑坡自动识别系统还可以做如下改进。

20、进一步，在视觉大模型特征提取器的每个等距全局注意力模块之前，以跳层连接的方式，连接一个可嵌入微调模块，可嵌入微调模块包括至少一个多层感知机和至少一个relu激活层。

21、进一步，获取模块具体用于：

22、对待识别滑坡图像滑坡目标的检测框进行特征可视化，得到待识别滑坡图像的滑坡目标的注意力热图，在注意力热图中的第一概率值范围内随机生成多个正样本点，在注意力热图中的第二概率值范围内随机生成多个负样本点，所有随机生成的正样本点、负样本点和待识别滑坡图的滑坡目标的检测框，构成待识别滑坡图像的滑坡语义提示信息。

23、进一步，预设深度学习模型为yolov8模型。

24、3)第三方面，本发明还提供一种计算机设备，计算机设备包括处理器，处理器与存储器耦合，存储器中存储有至少一条计算机程序，至少一条计算机程序由处理器加载并执行，以使计算机设备实现上述任一项基于视觉大模型的滑坡自动识别系统。

25、4)第四方面，本发明还提供一种计算机可读存储介质，计算机可读存储介质中存储有至少一条计算机程序，至少一条计算机程序由处理器加载并执行，以使计算机实现上述任一项基于视觉大模型的滑坡自动识别系统。

26、需要说明的是，本发明的第二方面至第四方面的技术方案及对应的可能的实现方式所取得的有益效果，可以参见上述对第一方面及其对应的可能的实现方式的技术效果，此处不再赘述。