基于自适应融合NestedUNet的光学遥感图像变化检测方法

基于自适应融合nestedunet的光学遥感图像变化检测方法
技术领域
1.本发明涉及光学遥感图像变化检测领域，尤其涉及一种基于自适应融合nestedunet的光学遥感图像变化检测方法。


背景技术：

2.遥感图像变化检测是针对某一区域的地物或现象在不同时间上观测出其不同区域部分，判断分析相应目标物体是否发生变化，获取其位置、形状、数量等属性的变化信息，具有重要的科研和应用价值，已经得到了一些相关领域的广泛关注。传统的变化检测方法根据研究对象可分为两类：基于像素的变化检测方法和基于对象的变化检测方法。基于像素的变化检测方法一般通过直接比较像素的光谱信息或纹理信息生成差异图，并通过阈值分割或聚类获得最终变化图；如基于图像代数的变化向量分析方法，基于图像分类的方法，基于图像变换的主成分分析方法，多元变化检测方法及其改进版本迭代加权多元变化检测方法等。虽然基于像素的变化检测方法实现起来较为容易，但这些方法忽略了空间上下文信息，这会引起在处理过程中出现大量椒盐噪声。基于对象的变化检测方法是通过将遥感图像划分为不相交的对象，并利用图像中丰富的光谱、纹理、结构和几何信息分析图像间的差异。虽然这种方法利用了遥感图像的空间特征信息，但是提取方法比较复杂，并且鲁棒性较差。
3.近年来，基于深度学习的变化检测方法一直在不断发展，并取得了非常出色的成绩。基于深度学习的变化检测方法模糊了传统基于像素和基于对象的方法之间的边界，因为它们从原始图像中预测像素分类图和高度语义抽象的空间上下文。与传统的基于像素和对象的变化检测方法相比，基于深度学习的变化检测方法不需要图像预处理，这不仅可以减少人工干预，而且可以避免由于预处理而导致的错误，也可以减少后处理工作量。基于深度学习的方法由于其非线性特征和出色的特征提取能力，可以更好地理解复杂场景，并且其性能远远超过传统方法。此外，卫星遥感技术近年来得到了飞速发展，越来越多的光学传感器被设计用于地球观测，光学遥感图像的日益丰富为遥感的各种应用提供了强有力的支持。由于这些优势，基于深度学习的光学遥感图像变化检测方法在解决遥感图像变化检测问题方面的使用呈指数增长。
4.基于深度学习的光学遥感图像变化检测算法已经具备了良好的性能，但是大多数算法直接利用深层网络提取到的特征信息进行变化检测，而没有考虑到与浅层网络进行结合。深层网络的语义信息表征能力强，但是物体的边缘细节信息和小物体目标容易随着网络多次的上采样和下采样而逐渐丢失；浅层网络的细节信息表征能力强，但是语义信息表征能力弱。因此，这些算法对于变化区域整体特征的提取往往不够完整并且缺乏对变化目标边缘细节的关注。


技术实现要素：

5.本发明的目的是提供一种自适应融合nestedunet的光学遥感图像变化检测方法，
能够准确有效地将双时相光学遥感图像间的细节差异识别出来。
6.本发明采用的技术方案为：
7.a、将双时相光学遥感图像依次进行正射校正、图像配准、图像拉伸以及图像数值归一化预处理，从而得到数据分布一致的遥感图像；
8.b、将上一步得到的经过预处理后的双时相光学遥感图像，标注遥感图像中更新的部分，得到对应的变化标签图；
9.c、将从b中得到的标签图以及a中预处理过的双时相光学遥感图像，采用同一尺寸对其进行切割，得到训练样本；
10.d、将训练样本中的双时光学遥感图像串联起来输入到afnunet中；
11.e、通过四层基于有效通道注意力的残差块编码器，提取更多与变化特征相关的特征图；
12.f、将上一步中得到的不同层次的特征图融合起来，得到包含不同语义信息的最终特征图f1，f2，f3；
13.g、将f中获得的最终特征图f1，f2，f3输入到自适应融合模块中，以便获得更多变化区域的细节信息，并得到预测变化图；
14.h、引入基于布雷克蒂斯距离的损失，并与二分类交叉熵损失结合形成混合损失函数以计算g中得到的双时相图像的预测变化图与对应的标签图之间的损失；
15.i、训练结束后，将训练好的模型的所有参数信息都保存下来；
16.j、将待检测的前后时相遥感图像依次经正射校正、图像配准、图像拉伸以及图像数值归一化预处理后，采用同一尺寸对其进行切割以获得待检测的样本；
17.k、将待测样本输入至i中得到的变化检测模型中，计算输出检测结果图。
18.本发明以光学遥感图像变化检测为应用背景，针对现有的变化检测方法训练出来的模型对于提取的变化区域不完整以及变化目标边缘不规整这一问题，提出了一种新的变化检测方法，提高了对变化区域整体特征的提取以及对细节特征的识别。具体的，本发明结合了nestedunet和自适应融合模块，通过编码器和解码器之间以及解码器和解码器之间密集的特征传输，增强了整体特征的提取，使得提取到的变化区域更加完整。最后采用基于布雷克蒂斯距离损失和二分类交叉熵损失的混合损失更加准确地识别双时图像间的差异，从而捕捉到更多的边缘细节。本发明方案与传统算法相比，增强了对变化区域整体特征的提取以及变化区域细节边缘的识别，能够有效的解决其他的变化检测方法对于变化目标边缘识别能力不足的问题。
附图说明
19.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1为本发明的流程示意图。
21.图2为本发明的afnunet主干网络图。
具体实施方式
22.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
23.如图1所示，本发明包括以下几个步骤：
24.a、将双时相光学遥感图像依次进行正射校正、图像配准、图像拉伸以及图像数值归一化预处理，从而得到数据分布一致的遥感图像；
25.b、将上一步得到的经过预处理后的双时相光学遥感图像，标注遥感图像中更新的部分(主要包括植被变化、新建城市建筑、郊区扩张、施工前的地基以及道路扩建等)，得到对应的变化标签图；
26.c、将从b中得到的标签图以及a中预处理过的双时相光学遥感图像，采用同一尺寸对其进行切割，得到训练样本；
27.d、大多数变化检测算法对变化区域整体特征的提取不够完整并且缺乏对变化目标边缘细节的关注。为了解决这一问题，本专利建立了一个基于nestedunet的端到端的网络体系结构。通过编码器和解码器之间以及解码器和解码器之间的密集跳跃连接，它可以实现不同层次特征信息的结合以及对整体特征的提取。由于变化检测任务可以看作是将双时图像中的变化区域分割出来，因此可以将训练样本中的变化前与变化后的遥感图像串联起来输入到afnunet中。
28.e、将上一步串联后的图像经过基于有效通道注意力的残差块进行解码。首先经过第一个3
×
3的卷积层对输入的特征图进行升维操作，接着经过第二个3
×
3卷积层和第三个3
×
3卷积层分别进行通道数翻倍和减半操作。然后输入到改进的有效通道注意力层中，并与第一个3
×
3卷积层得到的特征图相加形成残差，接着通过relu层。最后将包含更多与变化区域有关的特征图进行最大池化层的下采样操作。重复上述编码过程四次，以获得相当于原始图像1/2宽高、1/4宽高、1/8宽高、1/16宽高尺寸的具有不同感受野的多尺寸特征图x
1,0
、x
2,0
、x
3,0
、x
4,0
。
29.f、将e中得到的多尺寸特征图x
1,0
、x
2,0
、x
3,0
、x
4,0
进行解码操作，如图2所示：首先是将尺寸大小为原始图像1/16宽高的编码层x
4,0
上采样，与大小为原始图像1/8宽高的编码层x
3,0
进行融合，得到解码流x
3,1
；其次将大小为原始图像1/8宽高的编码层x
3,0
上采样，与大小为原始图像1/4宽高的编码层x
2,0
进行融合，得到解码流x
2,1
。接着将解码流x
3,1
上采样，与大小为原始图像1/4宽高的编码层x
2,0
和解码流x
2,1
进行融合，得到解码流x
2,2
。然后将大小为原始图像1/4宽高的编码层x
2,0
上采样，与大小为原始图像1/2的编码层x
1,0
进行融合，得到解码流x
1,1
(即最终特征图f1)。接下来将解码流x
2,1
上采样，与大小为原始图像1/2的编码层x
1,0
以及解码流x
1,1
进行融合，得到解码流x
1,2
(即最终特征图f2)。最后将解码流x
2,2
上采样，与大小为原始图像1/2的编码层x
1,0
以及解码流x
1,1
、解码流x
1,2
进行融合，得到解码流x
1,3
(即最终特征图f3)。
30.g、将f中得到的最终特征图f1，f2，f3输入到afm中。afm在通道和空间两个方向上从不同的特征图中自适应地选择特征，以强调更多与变化相关的特征信息，同时抑制无关特征。首先，将从afnunet主干网络提取到的三个特征图f1、f2和f3通过逐元素求和进行融合：
31.f＝f1+f2+f332.接着，将融合特征f送入空间注意力子模块。对融合特征f使用最大池化层和平均池化层，以生成大小为c
×1×
1的两个聚合向量(c为通道数)。接着将多层感知(multilayer perception，mlp)模块应用于每个向量，经过mlp后，得到两个大小为3c
×1×
1的聚合向量，并将两个聚合向量相加。软注意(softmax层)被使用以便在合适的语义层次自适应地选择合适的特征。让a、b、c分别表示通过softmax层后获得的软注意力[1]，a、b、c的大小均为c
×1×
1(ai、bi和ci分别表示a、b、c的第i个元素)。利用softmax层可令指定维度相加为1的特性，得到ai+bi+ci＝1。最后，通过不同通道上的注意权重获得特征映射fc：
[0033]
fc＝a
·
f1+b
·
f2+c
·
f3[0034]
空间注意力子模块在第一步中也采用最大池化层和平均池化层，以生成两个大小为1
×h×
w的矩阵。将一个核大小为7的卷积层应用于每个矩阵，经过卷积层后，得到两个大小为3
×h×
w的矩阵，并将两个矩阵相加，然后使用softmax对相加后的矩阵进行注意力分配。让a、b、c分别表示经过softmax层后获得的软注意力，a、b、c的大小均为1
×h×
w(a
i,j
、b
i,j
和c
i,j
分别表示a、b、c的第i行第j个元素，其中a
i,j
+b
i,j
+c
i,j
＝1)。最后，通过不同空间上的注意权重获得特征映射fs：
[0035]fs
＝a
·
f1+b
·
f2+c
·
f3[0036]
最后，将得到的通道注意力的特征图和空间注意力的特征图相加，得到最终的融合特征：
[0037]ff
＝fc+fs[0038]
将ff上采样并通过1
×
1卷积得到预测变化图。
[0039]
h、引入基于布雷克蒂斯距离的损失并与二分类交叉熵损失结合形成混合损失函数l＝l
bce
+l
bcd
以计算g中得到的双时相图像的预测变化图与对应的标签图之间的损失，其中表示预测的变化图某个像素点为变化像素的概率，y
i,j
表示对应标签图中的某个像素点为变化像素的概率，n表示图像像素级的宽度和高度。
[0040]
i、训练结束后，将训练好的模型的所有参数信息都保存下来；
[0041]
j、将待检测的前后时相遥感图像依次经正射校正、图像配准、图像拉伸以及图像数值归一化预处理后，采用同一尺寸对其进行切割以获得待检测的样本；
[0042]
k、将待测样本输入至i中保存的变化检测模型中，经计算输出检测结果图。
[0043]
本专利发明中为了解决现有的变化检测方法训练出来的模型提取的变化区域不完整以及变化目标边缘不规整这一问题，分别采用改进的nestedunet和自适应融合模块来解决。改进的nestedunet通过编码器和解码器之间以及解码器和解码器之间密集的特征传输，增强了整体特征的提取，使得提取到的变化区域更加完整。而自适应融合模块不仅能够将语义信息表征能力强的深层网络和细节信息表征能力强的浅层网络有效结合起来，实现对不同层次网络特征信息的整合，而且能够自适应地从不同语义层次的特征图中选择与变
化特征相关的信息，从而更加准确、有效的增强对变化目标边缘细节信息的提取。
[0044]
本专利分别设计了三组实验：第一组实验是在建筑变化检测数据集levir-cd数据集[2]上进行的；第二组实验是在whu-cd数据集[3]进行的，这个数据集主要包含建筑类的变化；第三组实验是在包含多种变化类型的sysu-cd数据集[4]进行的。为了验证提出的afnunet的有效性，选择了以下八种最先进的遥感图像变化检测方法与本发明方法进行比较，并对它们作了简要介绍。
[0045]
fully convolutional-early fusion(fc-ef)：fc-ef[5]是基于u-net架构提出的，其中双时态图像级联为多频带图像以供输入，跳过连接用于将多尺度特征从编码器逐渐传输到解码器以恢复空间信息。fully convolutional-siamese-concatenation(fc-siam-conc)：作为fc-ef模型的一种变体，fc-siam-conc[5]使用暹罗编码器提取双时态图像的特征，然后将来自编码器的相同级别的特征连接到解码器。fully convolutional-siamese-difference(fc-siam-diff)与fc-siam-conc不同，fc-siam-diff[5]的跳跃连接是fc-ef模型的另一种，传输了双时态特征之间的绝对差异。dual task constrained deep siamese convolutional network(dtcdscn)：dtcdscn[6]在特征提取阶段引入了双注意力模块dual attention module(dam)，可以从通道和空间位置之间的相关性改进特征表示，以进一步提高特征识别。dam对特征的融合有效地克服了异构性问题。image fusion network(ifn)：ifn[7]使用通道注意力和空间注意力在多个尺度上多次交叉利用vgg16预训练模型获得的特征图，以进行有效融合，以更准确地获得变化图。dual attentive fully convolutional siamese networks(dasnet)：dasnet[8]将注意力机制应用于暹罗网络。unet++with multiple side output fusion(unet++_msof)：unet++_msof[9]将串联的双时相图像输入到unet++主干中，以获得多侧面输出的特征图，并通过融合多侧面的特征图来捕获更详细的信息。siamese nestedunet-change detection(snunet-cd)：snunet-cd[10]将暹罗网络与unet++网络相结合，首先将双时相图像输入到暹罗网络的两个分支中，然后拼接从两个分支获得的特征图并输入到unet++中，最后使用集成通道注意模块(ensemble channel attention module，ecam)在多个语义级别上融合从主干网络获得的特征图，从而抑制定位错误和语义空缺。
[0046]
表ⅰ是在levir-cd数据集进行的对比实验、表ⅱ是在whu-cd数据集进行的对比实验、表ⅲ是在sysu-cd数据集进行的对比实验。精度(precision，p)、召回率(recall，r)、f1分数(f1 score，f1)、联合交叉度(intersection over union，iou)用于定量评估所涉及方法的性能，这些指标的计算如下：
[0047][0048][0049][0050][0051]
其中，真阳性(tp)表示正确检测到的非变化像素数，假阳性(fp)表示未预测到的
非变化像素数，假阴性(fn)表示未预测到的变化像素数。精度表示检测到的所有像素发生变化的概率。召回率表示正确检测到所有更改像素的概率。f1是查全率和查全率的调和平均值，它可以通过同时考虑查全率和查全率来平衡冲突。iou是预测的变化像素和变化像素之间的重叠区域除以它们之间的并集区域。
[0052]
表ⅰ在levir-cd数据集上进行的对比实验
[0053][0054]
表ⅱ在whu-cd数据集上进行的对比实验
[0055][0056]
表ⅲ在sysu-cd数据集上进行的对比实验
[0057][0058]
由上述三个表格的数据可以看出，本发明方案与其他已有的遥感图像变化检测方法相比，在levir-cd数据集、whu-cd数据集、sysu-cd数据集上分别提高了1.3％f1和2.1％iou、1.6％f1和1.8％iou以及1.8％f1、1.6％iou。本发明方案在三个公开的数据集上均取得了最好的性能，能够更完整地识别出变化区域。
[0059]
为了解决现有技术存在的问题，本专利构建了一种端到端的网络架构，称为自适应融合nestedunet(afnunet)。它可以通过编码器和解码器之间以及解码器和解码器之间
sensing letters,2021,pp(99):1-5.
[0072]
在本发明的描述中，需要说明的是，对于方位词，如有术语“中心”，“横向”、“纵向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示方位和位置关系为基于附图所示的方位或位置关系，仅是为了便于叙述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定方位构造和操作，不能理解为限制本发明的具体保护范围。
[0073]
需要说明的是，本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0074]
注意，上述仅为本发明的较佳实施例及运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行较详细的说明，但本发明不限于这里所述的特定实施例，在不脱离本发明构思的情况下，还可以包括更多其他等有效实施例，而本发明的范围由所附的权利要求范围决定。