一种用于遥感图像变化检测的变化检测模型的构建方法与流程

sensing image change detection,”remote sensing,vol.13,no.24,pp.1-24,dec.2021.》提出了轻量化变化检测模型(3m-cdnet)，该模型能够解决现行变化检测模型复杂度高，参数量大，计算开销大等问题，但是仍然存在一些问题，如小目标检测及边界信息的捕捉精确度不足，模型解译精度不高等，而其所存在的这些问题将导致最终检测结果不够准确。


技术实现要素：

6.本发明的目的是针对上述问题，设计了新的适用于遥感影像的变化检测的网络模型。
7.为达到上述目的，本发明采用了下列技术方案：
8.一种用于遥感图像变化检测的变化检测模型的构建方法，所述模型包括两个孪生网络，每个孪生网络均依次包括输入层、网络层一、网络层二和分类层，两个输入层的输入分别为图象块一和图象块二，检测模型根据两个分类层的输出得到两个图象块的差异图像，网络层一的输入为相应输入层的输出，网络层二的输入为相应输入层输出和网络层一输出沿通道维度方向拼接后的结果，分类层的输入为相应输入层输出、网络层一输出和网络层二输出沿通道维度方向拼接后的结果；
9.且所述的输入层包括卷积模块、fmbconv模块和aspp模块；所述的网络层一包括均采用双分支结构的第一双分支模块和第二双分支模块，且两个双分支模块的其中一个分支均包括可变形卷积以用于捕捉不同几何特征的变化目标；所述的网络层二包括多头自注意力瓶颈模块。
10.在上述的用于遥感图像变化检测的变化检测模型的构建方法中，所述的fmbconv模块包括一个多倍数于fmbconv模块输入特征维度的多倍卷积和与输入特征维度相等的同维度卷积；输入至fmbconv模块的特征首先输入至多倍卷积进行卷积处理，多倍卷积的处理结果作为同维度卷积的输入，且同维度卷积的输出与fmbconv模块的输入特征相加的结果作为fmbconv模块的输出输入至下一模块；
11.所述的assp模块包括并列存在的多个分支，输入至app模块的特征分别输入所述多个分支，最后将所述多个分支的输出特征在通道维度上拼接后使用1*1卷积对输出的通道数进行调整后输出。
12.在上述的用于遥感图像变化检测的变化检测模型的构建方法中，所述的assp模块包括分支一、分支二、分支三、分支四和分支五，所述的分支一采用1*1卷积，分支二采用扩张率为6的3*3的空洞卷积，分支三采用扩张率为12的3*3的空洞卷积，分支四采用扩张率为18的3*3的空洞卷积，分支五采用用于全局平均池化的平均池化层。
13.在上述的用于遥感图像变化检测的变化检测模型的构建方法中，所述第一双分支模块的第一分支包括1*1卷积，第二分支包括可变形卷积，输入至第一双分支模块的特征图分别被输入至1*1卷积和可变形卷积，并将1*1卷积和可变形卷积的输出通过残差连接后输出最终得到特征维度为256，尺度大小为h/4*w/4的特征图，h、w分别表示输入特征图的长度和宽度；
14.所述第二双分支模块的第一分支为直连结构，第二分支包括可变形卷积，输入至第二分支模块的特征图被输入至可变形卷积网络，直连结构直接引入输入至第二分支模块
的特征图，可变形卷积网络的输出与来自直连结构的输入至第二分支模块的特征图通过残差连接后输出。
15.在上述的用于遥感图像变化检测的变化检测模型的构建方法中，所述的多头自注意力瓶颈模块依次包括一个自注意力瓶颈模块一和两个自注意力瓶颈模块二；
16.且自注意力瓶颈模块一和自注意力瓶颈模块二均采用双分支结构；
17.自注意力瓶颈模块一的第一分支包括1*1卷积，第二分支包括多头自注意力模块，输入至自注意力瓶颈模块一的特征图分别被输入至其第一分支和第二分支，并将第一分支和第二分支的输出通过残差连接后输出；
18.自注意力瓶颈模块二的第一分支为直连结构，第二分支包括多头自注意力模块，输入至自注意力瓶颈模块二的特征图被输入至第二分支，第一分支直接引入输入至自注意力瓶颈模块二的特征图，第二分支的输出与来自第一分支的特征图的输入至第二分支模块的特征图通过残差连接后输出。
19.在上述的用于遥感图像变化检测的变化检测模型的构建方法中，所述的多头自注意力模块均包括四个自注意力层和一个相对位置编码模块。
20.在上述的用于遥感图像变化检测的变化检测模型的构建方法中，所述的输入层依次包括一个卷积模块、两个fmbconv模块、一个最大池化层和一个aspp模块；
21.所述的网络层一依次包括一个第一双分支模块和两个第二双分支模块；
22.所述的网络层二依次包括一个最大池化层、一个多头自注意力瓶颈模块和一个上采样模块。
23.在上述的用于遥感图像变化检测的变化检测模型的构建方法中，所述的分类层依次包括第一卷积层、第一上采样模块、第二卷积层、通道注意力模块、第三卷积层、第四卷基层和第二上采样模块。
24.在上述的用于遥感图像变化检测的变化检测模型的构建方法中，所述模型通过以下深监督方式进行训练：
25.s1.分别将图象块一和图象块二通过输入层、网络层一、网络层二和分类层处理后的特征图进行张量相减形成新的含有变化信息的特征图；
26.s2.对所述新的特征图进行1*1卷积使其通道维度为分类数(1)；
27.s3.将经步骤s2处理的特征图上采样至原始输入图像大小，最后依次计算其损失函数并进行多次反向传播。
28.在上述的用于遥感图像变化检测的变化检测模型的构建方法中，步骤s3中，使用公式(1)分别对输入层、网络层一、网络层二和分类层处得到的预测图计算损失，通过反向传播进行梯度的更新，完成指定轮数的模型训练后，保存模型的参数，将其部署到其他设备端开展预测工作：
29.l＝l
dice
+l
focal
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
30.l
focal
(p
t
)＝-α
t
(1-p
t
)
γ
log(p
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0031][0032]
l
dice
表示dice loss，l
focal
为focal loss，p
t
为预测概率，α和γ均为调整参数，ε为平滑因子，y为预测值，t为真实值/标签。
[0033]
本发明的优点在于：使用包括可变形卷积的双分支结构和多头自注意力机制，使模型在保证特征图空间分辨率的同时增大其感受野，从而有利于小目标和狭窄地物的检测和变化对象边界信息的精确捕捉，生成语义特征更加鲜明的预测图，提高模型的检测精度；利用深监督缓解了梯度消失现象，通过在输入层使用assp模块、fmbconv模块提高网络处理不同尺度变化的能力，在此基础上对输入层、网络层一、网络层二和分类层采用跳级连接方式连接，能够更好地融合不同层的特征以捕捉不同大小的变化目标，缓解图像受成像角度和几何失真给模型的性能带来的干扰。通过前述各模块的搭配使用能够在保证模型预测精度和推理速度的前提下提高模型的解译精度、防止梯度消失和过拟合，从而提高利用本检测模型实现的变化检测精度。
附图说明
[0034]
图1为本发明用于遥感图像变化检测的变化检测模型的构建方法的整体工作流程图；
[0035]
图2为本发明用于遥感图像变化检测的变化检测模型的构建方法中输入层的结构图；
[0036]
图3为本发明用于遥感图像变化检测的变化检测模型的构建方法中fmbconv模块的结构图；
[0037]
图4为本发明用于遥感图像变化检测的变化检测模型的构建方法中aspp模块的结构图；
[0038]
图5为本发明用于遥感图像变化检测的变化检测模型的构建方法中网络层一的结构图；
[0039]
图6a为本发明用于遥感图像变化检测的变化检测模型的构建方法中网络层一dconvbottleneck-a的结构图；
[0040]
图6b为本发明用于遥感图像变化检测的变化检测模型的构建方法中网络层一的dconvbottleneck-b模块结构图；
[0041]
图7为本发明用于遥感图像变化检测的变化检测模型的构建方法中网络层二的结构图；
[0042]
图8a为本发明用于遥感图像变化检测的变化检测模型的构建方法中网络层二的mhsabottleneck-1模块结构图；
[0043]
图8b为本发明用于遥感图像变化检测的变化检测模型的构建方法中网络层二的mhsabottleneck-2模块结构图；
[0044]
图9为本发明用于遥感图像变化检测的变化检测模型的构建方法中mhsa模块的结构图；
[0045]
图10为本发明用于遥感图像变化检测的变化检测模型的构建方法中分类层的结构图；
[0046]
图11为本发明用于遥感图像变化检测的变化检测模型的构建方法中通道注意力机制的结构图。
具体实施方式
[0047]
下面结合附图和具体实施方式对本发明做进一步详细的说明。
[0048]
本方案提出了一种用于遥感图像变化检测的变化检测模型的构建方法及其构建方法。如图1所示，所述模型包括两个孪生网络，每个孪生网络均依次包括输入层、网络层一、网络层二和分类层，两个输入层的输入分别为第一时相的图象块一和第二时相的图象块二，检测模型根据两个分类层的输出得到两个图象块的深度特征图，并据以生成差异图像。本实施例得到差异图像的方式具体为：对两个分类层的输出结果进行相减，然后对相减的结果进行1*1卷积卷积并上采样至原始输入图像大小得到原尺寸的差异图像。
[0049]
特别地，网络层一的输入为相应孪生网络输入层的输出，网络层二的输入为相应孪生网络的输入层的输出和网络层一的输出沿通道维度方向拼接后的结果，分类层的输入为相应孪生网络的输入层的输出，网络层一的输出，和网络层二的输出沿通道维度方向拼接后的结果。将变化检测问题看待成一个特殊的语义分割问题，分别对图像块一、图像块二进行输入层、网络层一、网络层二以及分类层的一系列处理，再对不同阶段两个图像所产生的结果进行后期融合，然后进行变化信息的二分类预测。
[0050]
具体地，如图2所示，输入层依次包括一个卷积模块、两个fmbconv模块、一个最大池化层和一个aspp模块。假设将尺寸大小为h*w*3的图像块一、二分别输入孪生网络的输入层进行相关处理，首先图像被输入至一个卷积核为3*3、步长为2的卷积层，其后通过两个fmbconv模块，最后通过一个窗口大小为3*3的最大池化层以及一个aspp层，最终，输入模块将输入影像重采样为h/4*w/4*128大小的特征图。
[0051]
具体地，卷积模块包括卷积核为3*3、步长为2的卷积层；所述最大池化层的窗口大小为3*3。
[0052]
其中，如图3所示，h,w,c分别为特征图的长度、宽度和通道维度，fmbconv模块包括一个多倍数于fmbconv模块输入特征维度的多倍卷积和与输入特征维度相等的同维度卷积；输入至fmbconv模块的特征首先输入至多倍卷积进行卷积处理，多倍卷积的处理结果作为同维度卷积的输入，且同维度卷积的输出与fmbconv模块的输入特征相加的结果作为fmbconv模块的输出输入至下一模块。fmbconv模块的引入能够增强模型的信息提取能力，本实施例多倍卷积的维度是输入维度的4倍，使模型能够捕捉更多细粒度的特征，同时也更容易训练。
[0053]
如图4所示，x为输入特征图，为经过aspp模块处理后的输出，assp模块包括并列存在的多个分支，包括分支一、分支二、分支三、分支四和分支五，分支一采用1*1卷积，分支二采用扩张率为6的3*3的空洞卷积，分支三采用扩张率为12的3*3的空洞卷积，分支四采用扩张率为18的3*3的空洞卷积，分支五采用用于全局平均池化的平均池化层。输入至app模块的特征分别输入所述多个分支，最后将所述多个分支的输出特征在通道维度上拼接后使用1*1卷积对输出的通道数进行调整后输出。本方案将aspp加入输入层，能够获得多个不同大小的感受野，提高网络处理不同尺度变化的能力，配合对输入层、网络层一、网络层二和分类层采用跳级连接方式连接，能够能够获得多个不同大小的感受野，提高网络处理不同尺度变化的能力，更好地融合不同层的特征以捕捉不同大小的变化目标，缓解图像受成像角度和几何失真给模型的性能带来的干扰。
[0054]
如图5所示，所述的网络层一依次包括一个第一双分支模块和两个第二双分支模
块；第一双分支模块dconvbottleneck-a和第二双分支模块dconvbottleneck-b均采用双分支结构，且两个双分支模块的其中一个分支均包括可变形卷积以用于捕捉不同几何特征的变化目标。
[0055]
具体地，如图6a所示，第一双分支模块dconvbottleneck-a的第一分支(即图中左侧分支)包括1*1卷积，第二分支(即图中右侧分支)包括可变形卷积，输入至第一双分支模块的特征图分别被输入至1*1卷积和可变形卷积，1*1卷积将输入特征图的通道数由128变为256，之后用bn(batch normalization)层进行归一化，右侧分支用于捕获不同几何特征的变化目标，同时增大特征图的感受野。1*1卷积和可变形卷积的输出通过残差连接后输出，并最终得到特征维度为256，尺度大小为h/4*w/4的特征图，h、w分别表示输入特征图的长度和宽度。
[0056]
如图6b所示，类似地，第二双分支模块dconvbottleneck-b与第一分支模块类似，只是第二分支模块的左侧分支采用直连结构，直连结构直接引入输入至第二分支模块的特征图，第二分支(右侧分支)同样包括可变形卷积，输入至第二分支模块的特征图被输入至可变形卷积网络，可变形卷积网络的输出与来自直连结构的输入至第二分支模块的特征图通过残差连接后输出。最终得到特征维度为256，尺度大小为h/4*w/4的特征图。可变形卷积的引入可在保证特征图空间分辨率的同时增大其感受野，从而有利于小目标的检测和变化地物边缘信息的捕捉。
[0057]
如图7所示，网络层二依次包括一个最大池化层、一个多头自注意力瓶颈模块和一个上采样模块。多头自注意力瓶颈模块依次包括一个自注意力瓶颈模块一mhsabottleneck-1和两个自注意力瓶颈模块二mhsabottleneck-2。且自注意力瓶颈模块一和自注意力瓶颈模块二均采用双分支结构。
[0058]
如图8a所示，自注意力瓶颈模块一mhsabottleneck-1的第一分支包括1*1卷积，第二分支包括多头自注意力模块，输入至自注意力瓶颈模块一的特征图分别被输入至其第一分支和第二分支，并将第一分支和第二分支的输出通过残差连接后输出；
[0059]
如图8b所示，自注意力瓶颈模块二mhsabottleneck-2的第一分支为直连结构，第二分支包括多头自注意力模块，输入至自注意力瓶颈模块二的特征图被输入至第二分支，第一分支直接引入输入至自注意力瓶颈模块二的特征图，第二分支的输出与来自第一分支的特征图的输入至第二分支模块的特征图通过残差连接后输出。
[0060]
图8a和图8b中，x为输入特征图，为经过mhsabottleneck模块处理后的输出,mhsa为多头自注意力模块。
[0061]
其中多头自注意力模块mhsa(multi-head self-attention)是由4个自注意力层(self-attention layer)以及一个相对位置编码模块组合而成，其网络结构如图9所示，该模块使用了4个self-attention layer，为了简单起见，这里没有在图上全部显示，其中，q、k、v、r分别表示查询向量、被查询信息与其他信息的相关性向量、被查询信息的向量和位置编码，x是大小为h
×w×
d的输入特征图，z为输出特征图，1
×
1表示1
×
1卷积。
[0062]
同时引入可变形卷积和多头自注意力机制，使其在保证特征图空间分辨率的同时增大其感受野，从而有利于小目标的检测和变化对象边界信息的精确捕捉。
[0063]
如图10所示，分类层依次包括第一卷积层、第一上采样模块、第二卷积层、通道注意力模块、第三卷积层、第四卷基层和第二上采样模块。通道注意力模块的结构如图11所
示，图中x为输入特征图，为经过channel attention模块处理后的输出，fc为全连接层，relu为激活函数。
[0064]
优选地，本模型通过以下深监督方式进行训练，使中间的网络层(输入层、网络层一、网络层二)也能够被有效地训练，网络的权重也能更好的更新，从而避免了梯度消失，改善了模型的性能：
[0065]
s1.分别将时图象块一和图象块二通过输入层、网络层一、网络层二和分类层处理后的特征图进行张量相减形成新的含有变化信息的特征图；
[0066]
s2.对所述新的特征图进行1*1卷积使其通道维度为分类数(1)；
[0067]
s3.将经步骤s2处理的特征图上采样至原始输入图像大小，最后依次计算其损失函数并进行多次反向传播。
[0068]
进一步地，步骤s3中，使用公式(1)分别对输入层、网络层一、网络层二和分类层处得到的预测图计算损失，通过反向传播进行梯度的更新，完成指定轮数的模型训练后，保存模型的参数，将其部署到其他设备端开展预测工作：
[0069]
l＝l
dice
+l
focal
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0070]
l
focal
(p
t
)＝-α
t
(1-p
t
)
γ
log(p
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0071][0072]
l
dice
表示dice loss，l
focal
为focal loss，p
t
为预测概率，α和γ均为调整参数，ε为平滑因子，y为预测值，t为真实值/标签。
[0073]
focal loss在交叉熵上加入调整参数(α和γ)，使得模型可以降低那些容易的负样本的权值，更加关注那些困难和错误分类的样本的学习。dice loss则侧重对正样本的挖掘，可以有效地缓解样本失衡问题。
[0074]
通过上述方法实现的模型的参数量较小，能方便的移植到其他移动设备上，此外该模型能够以较大的batch size(批量大小)进行快速训练，且模型具有较好的泛化性，二这些改良有利于实际的工程化应用和快速部署，提高模型对遥感影像变化检测的效率和精度。
[0075]
本方案重点在于提出一种能够提取到高精度的差异图像的变化检测模型，变化检测的后续步骤，如对差异图像进行处理得到变化检测结果的方式与现有技术一致，不在此赘述。
[0076]
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
[0077]
尽管本文较多地使用了输入层、网络层一、网络层二、分类层、卷积模块、fmbconv模块、aspp模块、第一双分支模块、第二双分支模块、可变形卷积、多头自注意力瓶颈模块等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。