一种基于暗通道特征引导的轻量级卫星影像云检测方法

1.本发明属于图像数据处理方法，具体涉及一种基于暗通道特征引导的轻量级卫星影像云检测方法。


背景技术：

2.光学遥感影像是对地遥感观测重要的数据源之一，已经广泛应用于地表覆盖制图、植被水体监测等诸多领域，为全球环境监测提供了不可替代的支撑。然而，光学遥感影像不可避免会受到云遮挡影响，在影像中形成低利用价值甚至无利用价值的无效像元，导致地物信息被遮盖或扭曲而影响解译和分析。因此需要对影像中云进行检测，提高含云影像利用率。云检测通常是第一个也是最关键的预处理步骤。当需要处理大量的卫星影像时，手工标注云掩模是费时费力的。因此，设计全自动算法以检测光学遥感影像中的云非常重要。
3.光学遥感卫星自动化云检测一直以来面临着诸多挑战。首先，云的种类繁多，且云容易与一些明亮的地物混淆，尤其当遥感影像的光谱数量有限时，比如常见的近红外、红、绿、蓝四波段组成的多光谱影像，由地物造成的误检测更为普遍。其次，在薄云边界时，云信息与地表信息混杂在一起，导致很难区分云和非云区域。面对以上诸多问题，学者们从不同的角度提出了许多有效的方法。传统的光学遥感卫星影像云检测方法可以分为两大类：基于单时相的方法和基于多时相的方法。目前基于深度学习的方法可以实现端到端的云检测，并且能取得优于传统方法的表现。然而，现有方法仍存在一些问题：1)现有方法通过堆叠的卷积层与池化层，只提取了影像上局部空间特征，而忽略了遥感影像块的全局语义信息。2)现有方法一般只在相同的传感器影像进行训练和测试，当在与训练影像不同的传感器测试时精度大幅下降。3)现有方法参数量和计算量较大，不利于模型的部署。因此，现有的方法不足以应对实际问题和应用，限制了深度学习云检测技术在遥感领域的广泛应用。在这种情况下，如何提出一个轻量级且性能好的深度学习云检测模型是一个巨大的挑战。


技术实现要素：

4.相比于卷积神经网络，视觉变换器(vision transfomer，vit)将影像切割为多个小块，利用自注意力机制建模小块间的全局关系，因此，vit可以捕获长距离的依赖关系，可以使得网络可以提取高阶更加抽象的特征来提高分类精度。在提出的方法中，采用了vit作为网络的编码器。同时，观察到多光谱影像中的暗通道影像可以清楚地区分云区和其他地物类型，因此可以利用暗通道先验来指导网络学习特征。当训练好的网络在其他传感器数据上测试时，精度会大幅下降。因此，有必要提出一种模块来增强网络的迁移能力，提高模型在不用传感器之间的泛化性能。
5.因此，本发明提出基于暗通道特征引导的轻量级卫星影像云检测方法。首先使用多尺度暗通道提取器预测暗通道，然后将暗通道特征和影像特征输入到基于注意力机制的暗通道引导上下文聚合模块增强影像特征，进而使得云检测结果更加精确。然后，为了增强
网络在不同卫星传感器之间的迁移能力，提出了一个通道自适应模块用来处理不同卫星传感器波段数量不一致的情况。
6.本发明所采用的技术方案是：基于暗通道特征引导的轻量级卫星影像云检测方法，包括以下步骤：
7.步骤1：首先将训练影像数据输入到编码器网络中提取不同层次的多个特征；
8.步骤2：将步骤1得到的多个特征进行级联操作得到图像语义特征f
sem
；
9.步骤3：将步骤1得到的多个特征输入到多尺度暗通道提取器模块中，得到新的特征；
10.步骤4：将步骤3计算得到的新的特征计算暗通道预测损失
11.步骤5：将步骤3计算得到的新的特征进行级联操作得到暗通道特征f
dark
；
12.步骤6：将步骤2得到的图像语义特征f
sem
和步骤5得到的暗通道特征f
dark
输入到暗通道引导的上下文聚合模块中得到最终的特征图；
13.步骤7：将步骤6得到最终的特征图与真实的云掩膜计算交叉熵损失
14.步骤8：通过梯度下降算法进行反向传播并更新网络的参数；
15.步骤9：步骤1至8，反复迭代，直到训练结束，得到用于预测遥感影像分分割结果的模型；
16.步骤10：在测试阶段，设置一个窗口在影像上滑动，将每个窗口的影像块输入到模型中得到每个窗口的预测结果，最后得到遥感影像的分割结果。
17.进一步的，步骤1中编码器网络选用mobilevit。
18.进一步的，步骤3中多尺度暗通道提取器模块包括多个1
×
1的卷积层，用于将步骤1中的多个特征映射到另一个空间得到新的特征。
19.进一步的，步骤4中暗通道预测损失定义如下：
[0020][0021]
第一项回归损失采用了reverse huber loss：
[0022][0023]
其中，表示预测的暗通道，y
dark
表示真实的暗通道；
[0024]
第二项损失是暗通道与预测值梯度的l1损失：
[0025][0026]
其中，g
x
和gy分别代表在水平方向和垂直方向的梯度；
[0027]
第三项损失定义如下：
[0028][0029]
进一步的，步骤6中首先对图像语义特征进行两次1
×
1的卷积得到f
key
和f
value
，同样对暗通道特征进行一次1
×
1的卷积得到f
query
；然后将这些特征维度变换为其中c＝128，n为像素的数量；对f
key
和f
query
作矩阵相乘并应用softmax函数得到相似性特征图f；
接着，再将相似性特征图f与特征f
value
作矩阵相乘并与图像语义特征相加得到最终的特征图。
[0030]
进一步的，步骤1中，为了增加云检测网络的在不同传感器迁移性，先将原始训练影像数据先输入到通道自适应模块，得到输出的三通道特征图，然后再输入到编码器网络，具体实现过程如下：
[0031]
对于c个波段的多光谱影像ic，对其进行如下变换：
[0032]
f({i1,
…
,ic})＝g(h(i1),
…
,h(ic))#(5)
[0033]
其中函数h为一个简单的卷积网络，g为一个对称函数；
[0034]
如果函数h为一个卷积层，g为级联操作再在通道维度取最大值池化，则可以表示为：
[0035]
f＝max(cat(conv(i1),
…
,conv(ic)))#(6)
[0036]
其中h，w分别为特征图的高和宽；
[0037]
假设存在n个这样的函数h，则可以得到n个特征图{f1,
…
,fn}，为了最后输出3通道的特征图，将所有特征图进行级联并通过一个卷积层得到最后的特征图即：
[0038]fin
＝conv(cat(f1,
…
,fn))#(7)。
[0039]
进一步的，函数h还包括实例归一化与和残差卷积的组合。
[0040]
与现有技术相比，本发明的优点和有益效果：本发明提出的基于暗通道特征引导的轻量级卫星影像云检测方法，采用了轻量级的骨干网络作为编码器；受到暗通道先验的启发，本发明融入了暗通道引导的上下文聚合模块增强影像特征，进而使得云检测结果更加精确；为了增强网络在不同卫星传感器之间的迁移能力，提出了一个通道自适应模块用来处理不同卫星传感器波段数量不一致的情况。
附图说明
[0041]
图1：本发明设计的方法整体网络结构图；
[0042]
图2：本发明设计的通道自适应模块结构图；
[0043]
图3：本发明的方法的可视化结果；(a)假彩色影像(b)真值(c)fmask(d)基线方法(e)ppm(f)aspp(g)non-local(h)dual attention(i)本发明方法。
具体实施方式
[0044]
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
[0045]
请见图1本发明设计的方法整体网络结构图，本发明提供的一种基于变换一致性正则化的遥感影像深度网络半监督语义分割方法包括以下步骤：
[0046]
步骤1：本发明设计的方法整体网络结构图如图1所示，首先将训练影像数据输入到编码器网络中提取深层特征，为了使整个网络结构轻量化，这里编码器网络选用了mobilevit。mobilevit包含4个阶段，因而可以获取其4个阶段的特征{f1,f2,f3,f4}。
[0047]
步骤2：将步骤1得到的4个特征进行级联操作得到图像语义特征f
sem
。
[0048]
步骤3：将步骤1得到的4个特征输入到多尺度暗通道提取器模块(见图1)中，该模块同时利用编码器网络提取的低级的细节特征(即f1和f2)和高级的语义特征(即f3和f4)去预测暗通道。为了减小特征维度，在该模块中4个阶段的特征分别用1
×
1的卷积映射到另一个空间得到4个新的特征。
[0049]
步骤4：将步骤3计算得到的4个特征分别计算暗通道预测损失暗通道预测损失可以定义如下：
[0050][0051]
第一项回归损失采用了reverse huber loss：
[0052][0053]
其中，表示网络预测的暗通道，y
dark
表示真实的暗通道。
[0054]
第二项损失是暗通道与预测值梯度的l1损失：
[0055][0056]
其中，g
x
和gy分别代表在水平方向和垂直方向的梯度，n表示张量g
x
的元素个数。
[0057]
第三项损失使用了图像重建领域最常用的指标ssim。因为ssim的上限为1，因此定义如下：
[0058][0059]
步骤5：将步骤3计算得到的4个特征进行级联操作得到暗通道特征f
dark
。
[0060]
步骤6：将步骤2得到的图像语义特征f
sem
和步骤5得到的暗通道特征f
dark
输入到暗通道引导的上下文聚合模块(见图1)中得到最终的特征图。详细地，首先对图像语义特征进行两次1
×
1的卷积得到f
key
和f
value
，同样对暗通道特征进行一次1
×
1的卷积得到f
query
。然后将这些特征维度变换为其中c＝128，n为像素的数量。对f
key
和f
query
作矩阵相乘并应用softmax函数得到相似性特征图f。接着，再将相似性特征图f与特征f
value
作矩阵相乘并与图像语义特征相加得到最终的特征图。
[0061]
步骤7：将步骤6得到最终的特征图与真实的云掩膜计算交叉熵损失
[0062]
步骤8：为了增加云检测网络的在不同传感器迁移性，在尽量不减少当前训练数据集上的性能的前提下，提出一个通道自适应模块，如图2所示。将原始训练影像数据在输入网络前先输入到通道自适应模块，得到输出的三通道特征图，最后再输入到预训练模型中。详细地，对于c个波段的多光谱影像ic，对其进行如下变换：
[0063]
f({i1,
…
,ic})＝g(h(i1),
…
,h(ic))#(5)
[0064]
其中函数h为一个简单的网络如一个卷积层，g为一个对称函数。
[0065]
如果函数h为一个卷积层，g为级联操作再在通道维度取最大值池化，则可以表示为：
[0066]
f＝max(cat(conv(i1),
…
,conv(ic)))#(6)
[0067]
其中
[0068]
假设存在n个这样的函数h，则可以得到n个特征图{f1,
…
,fn}。为了最后输出3通道的特征图，将所有特征图进行级联并通过一个卷积层得到最后的特征图即：
[0069]fin
＝conv(cat(f1,
…
,fn))#(7)
[0070]
经过实验，将函数h采用了实例归一化与和残差卷积的组合。
[0071]
步骤9：通过梯度下降算法进行反向传播并更新网络的参数θ。
[0072]
步骤10：步骤1至9，反复迭代，直到训练结束。
[0073]
步骤11：在测试阶段，设置一个窗口在影像上滑动，将每个窗口的影像块输入到网络中得到每个窗口的预测结果，最后得到遥感影像的分割结果。
[0074]
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
[0075]
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。