基于层次注意力残差UNet++的遥感影像变化检测方法

本发明属于遥感影像处理，特别是涉及一种基于层次注意力残差unet++的遥感影像变化检测方法。

背景技术：

1、近年来，由于遥感技术的发展，获取各类遥感图像也变得越来越容易，这也加快了许多遥感影像处理技术的发展。变化检测是通过比较同一地理区域的两幅或多幅图像来获得变化差异图的一项遥感影像处理技术，该技术在各个领域都发挥着重要的作用，特别是对一些个人和机构做出关键决策至关重要。该技术可以应用于土地利用监测、灾害评估、城市发展规划、环境监测等领域。变化检测技术的发展可以为上述领域产生重大影响，使人们摆脱手工标注变化区域的繁琐工作，并且能够输出比人工制作的更为精准的变化图。传统的变化检测方法通常是根据遥感图像之间的像素差异来生成变化图，该方法需要的数据要经过多个图像预处理步骤，包括辐射校正、几何校正等，这不仅需要大量的人工干预，并且最后的阈值划分阶段非常依赖专业人员的经验。

2、深度学习的飞速发展加快了各类图像处理技术的进步，同时也为遥感影像变化检测技术带来了机遇和挑战。成熟的基于深度学习的遥感影像变化检测技术具有高精准率、低误报率、检测迅速等优点，但目前存在的各类遥感影像变化检测技术还存在许多问题。

3、（1）小目标变化区域的漏检率高。由于小目标变化区域呈现在遥感图像中的差异特别小，同时收到伪变化等因素的影响，导致现有的技术基本都不能准确的检测到小目标变化区域。

4、（2）变化区域的边界划分不规则。在进行变化检测时，由于变化区域与周围环境的差异通常较小，导致在划分变化区域时很容易受到周围相似环境的干扰，导致划分的边界不完整或不规则。

5、（3）对伪变化的鲁棒性低。在拍摄遥感图像时，由于不能确保在不同拍摄时刻的光照条件完全一致，所以同一物体在多幅遥感图像中可能呈现出不同的光照效果。现有的大多数方法很容易将这种伪变化错误的识别为真实变化，导致输出的变化图不准确。

技术实现思路

1、本发明针对现有技术的缺点和不足，提出了一种基于层次注意力残差unet++的遥感影像变化检测方法。该方法以深度学习技术为依托，能够显著降低小目标变化区域的漏检率，同时输出的变化图所包含的变化边界更加完整。

2、本发明的技术思路为：通过将孪生网络嵌套进unet++网络的编码器部分以形成孪生unet++网络，利用孪生unet++网络提取双时刻遥感图像的特征，接着利用邻域特征融合模块对多级特征进行融合，使各级特征都同时包含丰富的语义信息和全局信息，然后将融合特征分别送入层次注意力残差模块处理后融合输出得到预测变化图，最后利用混合损失函数优化网络，使网络性能达到最佳。其实现方案包括如下：

3、（1）构建基于层次注意力残差unet++的遥感影像变化检测网络harnu-net；

4、（1a）构建孪生unet++网络用于提取特征，将孪生网络嵌入unet++的编码器，使之具有双分支编码器，将双时刻遥感图像分别送入两个相同的编码器分支提取特征，两个分支的网络权重参数共享；

5、（1b）利用邻域策略构建邻域特征融合模块affm，该模块将接收来自unet++特征提取网络的四个级别的输出特征，根据邻域策略将这些特征融合后经1×1卷积变换通道后输出四个具有相同尺寸的完备特征；

6、（1c）引入由通道注意力模块cam和空间注意力模块sam串联构成的卷积块注意力模块cbam；

7、（1d）利用cbam配合层次残差结构构建层次注意力残差模块harm，利用harm在更细粒度的空间上分别对来自affm的四个特征进行局部滤波和强化；

8、（1e）构建变化图输出模块，将四个由harm处理过的特征在通道层面进行拼接，之后经过一个1×1卷积变换通道后输出预测变化图；

9、（1f）将孪生unet++网络、邻域特征融合模块affm、层次注意力残差模块harm和变化图输出模块拼接形成基于层次注意力残差unet++的遥感影像变化检测网络harnu-net，并设计由权重交叉熵损失和骰子系数损失共同组成的混合损失函数用于优化网络参数；

10、（2）对基于层次注意力残差unet++的遥感影像变化检测网络harnu-net进行训练；

11、（2a）从公开的变化检测数据集网址下载大型遥感影像变化检测数据集，将这些图像数据统一划分为高宽都为256像素的图片，并将处理好的图片集按照8:1:1的比例划分为训练集、验证集和测试集；

12、（2b）利用图像增广技术对训练集进行扩充操作；

13、（2c）将经过扩充后的训练集的数据送入harnu-net的孪生unet++网络的两个编码器分支前端，通过前向传播得到输出的预测变化图，利用混合损失函数计算预测变化图与真实标签之间的损失值；

14、（2d）使用自适应时刻估计优化算法在反向传播时优化网络参数，经过多轮训练迭代后，损失函数值将收敛，此时模型已经被训练好，并且可以达到精准检测变化区域的要求；

15、（3）利用训练完备的基于层次注意力残差unet++的遥感影像变化检测网络harnu-net进行变化检测，将测试集的双时相遥感图像对送入训练好的harnu-net的孪生unet++网络的两个编码器分支前端，此时网络通过前向传播将输出预测变化图，其像素值为0或255。

16、本发明与现有技术相比具有以下优点。

17、第一：本发明构建了孪生unet++网络，通过该网络可以利用两组相同的编码器分支对两幅图像分别提取特征并激活特征图中相同位置的权重，这样在后续处理中可以使网络有效判别出变化和不变区域。

18、第二：本发明构建了邻域特征融合模块affm，通过该模块对来自不同级别的特征进行相邻特征间的互补融合操作，这种特征融合方式不仅保留了每个级别的特征信息，并且利用相邻特征的信息对每层特征的缺失元素进行了补充，为最终输出具有规整边界的变化图奠定基础。

19、第三：本发明构建了层次注意力残差模块harm，通过该模块对特征在更精细的特征空间划分基础上采用注意力机制，有效的在更细粒度的空间上对特征进行了局部区域滤波和强化，使模型有效降低小目标区域的漏检率。

20、第四：本发明构建的harnu-net属于一种端到端网络，在使用训练好的harnu-net时，只需要把双时刻遥感图像对按照256×256的尺寸裁剪好送入孪生unet++网络的两个编码器分支前端就能输出准确的变化图。相较于其他方法，我们的方法不需要众多繁琐的图像预处理步骤，在使用方面更为简单。

技术特征：

1.一种基于层次注意力残差unet++的遥感影像变化检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述（1f）将孪生unet++网络、邻域特征融合模块affm、层次注意力残差模块harm和变化图输出模块拼接，实现如下：

3.根据权利要求1所述的方法，其特征在于，所述（2b）中的图像增广技术是将每一对遥感影像数据在输入网络前随机地进行水平翻转、垂直翻转、对角翻转、图像位移、尺寸缩放中的一种或多种操作，将经过这些操作后形成的数据并入测试集，最终形成增广后的训练集。

4.根据权利要求1所述的方法，其特征在于，所述（1b）中的邻域特征融合模块affm按照邻域策略对相邻特征首先进行元素相加操作，之后将初步融合后的特征与原始特征进行通道连接操作，最后经过1×1卷积变换通道后输出，affm的计算过程如下：

5.根据权利要求1所述的方法，其特征在于，所述（1d）中的层次注意力残差模块harm是利用卷积块注意力模块cbam配合层次残差结构构建形成的，harm具体计算公式如下:

6.根据权利要求1所述的方法，其特征在于，所述（1f）中设置的harnu-net网络的损失函数l，表示如下:

技术总结
本发明提供了一种基于层次注意力残差UNet++的遥感影像变化检测方法，主要解决了现有方法小变化区域漏检率高、变化边界轮廓划分不平整等问题。具体方案为构建孪生UNet++网络，构建邻域特征融合模块，引入通道和空间注意力模块构成卷积块注意力模块，利用卷积块注意力模块配合层次残差结构构建层次注意力残差模块，构建变化图输出模块；利用这些模块构建基于层次注意力残差UNet++的遥感影像变化检测网络；获取变化检测数据集对网络进行训练；然后运用训练好的网络进行变化检测。本发明构建了邻域特征融合模块和层次注意力残差模块，提升了网络检测小目标变化区域的能力，同时使检测的变化边界更加规整。该方法可用于灾害评估、城市规划、资源勘探等领域。

技术研发人员：李昊锦,汪烈军,程述立
受保护的技术使用者：新疆大学
技术研发日：
技术公布日：2024/1/15