一种用于遥感图像变化检测的大模型适应方法及装置

本技术涉及计算机视觉，尤其涉及一种用于遥感图像变化检测的大模型适应方法及装置。

背景技术：

1、遥感图像变化检测是一种利用遥感技术对地表信息进行监测和分析的重要手段。在变化检测中，如何准确地提取和比对图像中的特征信息，以及如何高效地进行模型训练和推理是关键问题。现有的变化检测方法主要基于深度学习技术，通过构建复杂的神经网络模型来提取和比对图像中的特征信息。

2、然而，现有的方法在处理大规模遥感图像数据时存在计算量大、耗时长的缺点，难以满足实时变化检测的需求。此外，现有的变化检测方法在处理不同变化类型时表现不稳定，难以同时处理多种变化类型。

技术实现思路

1、在本技术实施例中，通过提供一种用于遥感图像变化检测的大模型适应方法，解决了现有的方法在处理大规模遥感图像数据时存在计算量大、耗时长的缺点，难以满足实时变化检测的需求。此外，现有的变化检测方法在处理不同变化类型时表现不稳定，难以同时处理多种变化类型的问题。

2、第一方面，本技术实施例提供了一种用于遥感图像变化检测的大模型适应方法，该方法包括：对遥感图像变化检测原始数据集中的原始图像进行第一预处理步骤，获得双时相遥感图像；其中，所述第一预处理步骤包括图像裁剪操作、图像缩放操作、归一化操作和数据增广操作；构建基础模型，将预输入基础模型中的双时相遥感图像划分为多个补丁，并将每个补丁拉平成一个一维向量，通过线性嵌入层将所有一维向量映射到嵌入层的维度，形成编码器的原始输入；给编码器的原始输入添加一个可学习的位置嵌入，保留补丁在原始图像中的空间位置信息，获得完成特征输入的图像；计算基础模型中的多头自注意力机制；使用相同的基础模型同时对完成特征输入的图像进行特征提取，从而完成提取特征步骤；构建变化检测模型，并对完成提取特征步骤的图像进行缩放操作使其与预训练的模型相匹配；其中，预训练的模型为所构建的变化检测模型；将变化检测模型的主干网络提取的完成缩放操作的图像的特征送入解码器，将低分辨率的图像特征恢复至原始图像大小，并输出不同变化种类的概率图；其中，所述不同变化种类的概率图为未变化概率图和变化概率图；在基础模型与变化检测模型之间执行构建桥接模块步骤；其中，构建桥接模块步骤包括：对基础模型的原始特征进行归一化和投影操作；所述归一化和投影操作的表达式为：其中，为进行归一化和投影操作获得的基础模型的新特征，xfm为基础模型的原始特征，ln为层归一化，linear为线性层；建立变化检测模型的新特征的表达式：其中，为变化检测模型的新特征，softmax为归一化指数函数，xcm为变化检测模型的原始特征，cc为采样后的通道维度，为基础模型的新特征，⊙为点积运算；获得桥接模块的最终输出结果：其中，xbm为桥接模块的最终输出结果，bilinear为双线性插值操作；将桥接模块的最终输出结果作为变化检测模型的下一个基本块模型的输入；执行基本块模型的训练步骤；执行基本块模型的测试步骤，从而获得最终预测结果。

3、结合第一方面，在一种可能的实现方式中，基础模型中的多头自注意力机制的计算过程为：msa(q,k,v)＝concat(head1,…,headi)wo，其中，msa(q,k,v)表示对每个补丁间的相对关系、相似性和依赖性进行头自注意力机制的输出进行变换，concat表示拼接操作，headi表示第i个自注意力头的输出，表示对每个补丁间的相对关系进行线性映射的系数矩阵，表示对每个补丁间的相似性进行线性映射的系数矩阵，表示对每个补丁间的依赖性进行线性映射的系数矩阵，dmodel表示对每个补丁间的特征维度进行线性映射的系数矩阵，dk表示每个自注意力头的输出维度，表示行数为dmodel，列数为dk的实数矩阵，表示最后输出前线性映射的系数矩阵，a表示自注意力头的数量，sa表示自注意力机制函数；其中，自注意力机制函数sa的表达式为：其中，q表示每个补丁间的相对关系，k表示每个补丁间的相似性，v表示每个补丁间的依赖性，dk为向量的维度，softmax表示归一化的函数，t表示转置矩阵。

4、结合第一方面，在一种可能的实现方式中，所构建的变化检测模型的表达式为：其中，表示双时相遥感图像每个像素位置发生变化的概率，x1和x2表示完成提取特征步骤的双时相遥感图像，backbone()表示主干网络，head()表示预测头。

5、结合第一方面，在一种可能的实现方式中，所述采样后的通道维度的获取方式为：将基础模型的原始特征进行重采样使其通道维度与变化检测模型的通道维度一样，从而获得采样后的通道维度。

6、结合第一方面，在一种可能的实现方式中，所述执行基本块模型的训练步骤，包括：将双时相遥感图像进行数据准备步骤；其中，所述数据准备步骤包括对图像进行随机裁剪操作、对完成随机裁剪操作后的图像进行训练步骤和对图像进行测试以及归一化处理操作；对变化检测模型所输出的预测概率和真实标签值进行损失计算；所述损失计算的表达式为：其中，lce为损失函数，h表示输出图像的高度，w表示输出图像的宽度，y(h,w)表示位置为(h,w)的像素的真实标签值，表示位置为(h,w)的像素的预测概率；对基本块进行超参数的设置。

7、结合第一方面，在一种可能的实现方式中，执行基本块模型的测试步骤，包括：对测试集中的图像进行归一化处理，并将图像划分成与进行训练步骤时相同的大小，从而形成图像块；将图像块送入训练好的模型中进行预测，得到每个图像块的预测结果；将每个图像块的预测结果进行拼接操作，从而获得每个图像块的像素点最终预测结果；若图像块之间存在重叠情况时，取图像块的重叠部分的像素的预测值的平均值。

8、结合第一方面，在一种可能的实现方式中，执行基本块模型的测试步骤，还包括：判断每个图像块的像素点最终的预测结果的变化的概率是否大于未变化的概率；若判断结果为是，将像素点的最终预测结果标记为变化；若判断结果为否，将像素点的最终预测结果标记为未变化。

9、第二方面，本技术实施例提供了一种用于遥感图像变化检测的大模型适应装置，该装置包括：预处理模块，用于对遥感图像变化检测原始数据集中的原始图像进行第一预处理步骤，获得双时相遥感图像；其中，所述第一预处理步骤包括图像裁剪操作、图像缩放操作、归一化操作和数据增广操作；构建基础模型模块，用于构建基础模型，将预输入基础模型中的双时相遥感图像划分为多个补丁，并将每个补丁拉平成一个一维向量，通过线性嵌入层将所有一维向量映射到嵌入层的维度，形成编码器的原始输入；给编码器的原始输入添加一个可学习的位置嵌入，保留补丁在原始图像中的空间位置信息，获得完成特征输入的图像；计算模块，用于计算基础模型中的多头自注意力机制；提取特征模块，用于使用相同的基础模型同时对完成特征输入的图像进行特征提取，从而完成提取特征步骤；构建变化检测模型模块，用于构建变化检测模型，并对完成提取特征步骤的图像进行缩放操作使其与预训练的模型相匹配；其中，预训练的模型为所构建的变化检测模型；输出概率图模块，用于将变化检测模型的主干网络提取的完成缩放操作的图像的特征送入解码器，将低分辨率的图像特征恢复至原始图像大小，并输出不同变化种类的概率图；其中，所述不同变化种类的概率图为未变化概率图和变化概率图；构建桥接模块步骤模块，用于在基础模型与变化检测模型之间执行构建桥接模块步骤；其中，构建桥接模块步骤包括：对基础模型的原始特征进行归一化和投影操作；所述归一化和投影操作的表达式为：其中，为进行归一化和投影操作获得的基础模型的新特征，xfm为基础模型的原始特征，ln为层归一化，linear为线性层；建立变化检测模型的新特征的表达式：其中，为变化检测模型的新特征，softmax为归一化指数函数，xcm为变化检测模型的原始特征，cc为采样后的通道维度，为基础模型的新特征，⊙为点积运算；获得桥接模块的最终输出结果：其中，xbm为桥接模块的最终输出结果，bilinear为双线性插值操作；将桥接模块的最终输出结果作为变化检测模型的下一个基本块模型的输入；执行训练步骤模块，用于执行基本块模型的训练步骤；执行测试步骤模块，用于执行基本块模型的测试步骤，从而获得最终预测结果。

10、结合第二方面，在一种可能的实现方式中，基础模型中的多头自注意力机制的计算过程为：msa(q,k,v)＝concat(head1,…,headi)wo，其中，msa(q,k,v)表示对每个补丁间的相对关系、相似性和依赖性进行头自注意力机制的输出进行变换，concat表示拼接操作，headi表示第i个自注意力头的输出，表示对每个补丁间的相对关系进行线性映射的系数矩阵，表示对每个补丁间的相似性进行线性映射的系数矩阵，表示对每个补丁间的依赖性进行线性映射的系数矩阵，dmodel表示对每个补丁间的特征维度进行线性映射的系数矩阵，dk表示每个自注意力头的输出维度，表示行数为dmodel，列数为dk的实数矩阵，表示最后输出前线性映射的系数矩阵，a表示自注意力头的数量，sa表示自注意力机制函数；其中，自注意力机制函数sa的表达式为：其中，q表示每个补丁间的相对关系，k表示每个补丁间的相似性，v表示每个补丁间的依赖性，dk为向量的维度，softmax表示归一化的函数，t表示转置矩阵。

11、结合第二方面，在一种可能的实现方式中，所构建的变化检测模型的表达式为：其中，表示双时相遥感图像每个像素位置发生变化的概率，x1和x2表示完成提取特征步骤的双时相遥感图像，backbone()表示主干网络，head()表示预测头。

12、结合第二方面，在一种可能的实现方式中，所述采样后的通道维度的获取方式为：将基础模型的原始特征进行重采样使其通道维度与变化检测模型的通道维度一样，从而获得采样后的通道维度。

13、结合第二方面，在一种可能的实现方式中，所述执行基本块模型的训练步骤，包括：将双时相遥感图像进行数据准备步骤；其中，所述数据准备步骤包括对图像进行随机裁剪操作、对完成随机裁剪操作后的图像进行训练步骤和对图像进行测试以及归一化处理操作；对变化检测模型所输出的预测概率和真实标签值进行损失计算；所述损失计算的表达式为：其中，lce为损失函数，h表示输出图像的高度，w表示输出图像的宽度，y(h,w)表示位置为(h,w)的像素的真实标签值，表示位置为(h,w)的像素的预测概率；对基本块进行超参数的设置。

14、结合第二方面，在一种可能的实现方式中，执行基本块模型的测试步骤，包括：对测试集中的图像进行归一化处理，并将图像划分成与进行训练步骤时相同的大小，从而形成图像块；将图像块送入训练好的模型中进行预测，得到每个图像块的预测结果；将每个图像块的预测结果进行拼接操作，从而获得每个图像块的像素点最终预测结果；若图像块之间存在重叠情况时，取图像块的重叠部分的像素的预测值的平均值。

15、结合第二方面，在一种可能的实现方式中，执行基本块模型的测试步骤，还包括：判断每个图像块的像素点最终的预测结果的变化的概率是否大于未变化的概率；若判断结果为是，将像素点的最终预测结果标记为变化；若判断结果为否，将像素点的最终预测结果标记为未变化。

16、第三方面，本技术实施例提供了一种用于遥感图像变化检测的大模型适应服务器，包括存储器和处理器；所述存储器用于存储计算机可执行指令；所述处理器用于执行所述计算机可执行指令，以实现第一方面或第一方面任一种可能的实现方式所述的方法。

17、第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有可执行指令，计算机执行所述可执行指令时能够实现第一方面或第一方面任一种可能的实现方式所述的方法。

18、本技术实施例中提供的一个或多个技术方案，至少具有如下技术效果：

19、本技术实施例提供了一种用于遥感图像变化检测的大模型适应方法，该方法提出了一个通用框架基本块模型来使基础模型适应变化检测任务，该框架有效地复用了基础模型的通用知识并将其传递给变化检测任务，减少了对变化检测特定数据的依赖。此外，作为一种边路微调框架，基本块模型允许参数、内存和时间上的高效调优。这是第一个将基础模型引入变化检测任务的通用框架。本技术提出了变化检测模型分支，这是一种模型无关的概念，这个分支可以是一个现有的变化检测模型，也可以是一些手工设计的的堆叠模块。得益于其即插即用的特性，基本块模型可以完全配备几乎任何目前存在的变化检测模型。为了更好地选择通用特性并将它们与任务或领域特定的特性对齐，本技术在基础模型和变化检测模型之间设计了一个桥接模块。通过交叉的点积注意力，桥接模块可以对通用知识进行重新采样，然后注入到遥感变化检测域的特征中。在基本块模型的架构下，可以大幅度提高目前变化检测模型的性能。解决了现有的方法在处理大规模遥感图像数据时存在计算量大、耗时长的缺点，难以满足实时变化检测的需求。此外，现有的变化检测方法在处理不同变化类型时表现不稳定，难以同时处理多种变化类型的问题。