一种语义增强特征融合自监督transformer的整景SAR海水养殖多目标提取方法

本发明属于海洋遥感与人工智能交叉，提供一种语义增强特征融合自监督transformer的整景sar海水养殖多目标提取方法。

背景技术：

1、海水养殖是指在海洋或其他咸水环境中养殖鱼类、贝类和海藻等海洋生物。作为满足对海产品日益增长的需求、减轻野生鱼类种群压力和促进可持续粮食安全的一种方式，越来越受到广泛关注。海水养殖虽然带来了巨大的经济效益，但也导致了海洋生态环境的污染，监测海水养殖活动对海洋资源的宏观管理至关重要。合成孔径雷达(syntheticaperture radar,sar)影像由于其全天时、全天候成像等优势，已成为海水养殖监测的重要手段。在海面上，海水养殖的网箱和浮筏的散射特性与海水不同，从sar影像中提取海水养殖信息有利于估计面积和产量。

2、现有的海水养殖提取方法多针对于仅包含养殖目标和海水背景的裁剪后影像，如文献[王心哲,邓棋文,王际朝,等.深度语义分割mrf模型的海洋筏式养殖信息提取[j].山东大学学报(工学版),2022,52(2):89-98]并未考虑整景分割，而海水养殖广泛分布于大陆近岸或岛屿周边，采用整景卫星遥感影像监测时，易受到陆地岛屿干扰和类间数据不平衡影响。此外，海洋目标随海况变化会发生漂移和变形，自身成像特征也随之改变，导致真值标签样本无法泛化到其他影像中，专利[汪承义,郭艳君,陈建胜,等.基于全景分割的光学遥感影像海洋筏式养殖区分类方法[p].北京:cn115908894a,2023-04-04]提取全景海水养殖基于有监督方法，需要大量训练数据样本。针对上述问题，提出了一种语义增强特征融合自监督transformer的整景sar海水养殖多目标提取方法，在少量标签情况下，克服整景遥感影像中多目标之间相互干扰、类间数据不平衡的技术难点，实现少量标签样本下的整景多目标海水养殖精确提取。

技术实现思路

1、本发明主要解决如何通过自监督学习从大量无标签数据中获得显著特征，缓解类内差距大，类间差距小而导致的误判问题，并基于少量标签样本精确提取海水养殖，提出了一种语义增强特征融合自监督transformer的整景sar海水养殖多目标提取方法，采用transformer模型作为编码器，通过自蒸馏训练，获得显著特征，并应用于语义增强特征融合解码器，在少量标签微调下，得到自监督transformer高精度海水养殖提取结果。

2、为了达到上述技术目测，本发明采用的技术方案为：

3、一种语义增强特征融合自监督transformer的整景sar海水养殖多目标提取方法，包括以下几个步骤：

4、第一步，收集大量海水养殖无标签遥感监测数据，切片成512×512大小的图片，海水养殖transformer编码器采用自蒸馏训练发掘显著特征，并获得长时间依赖特征，有效处理海水养殖遥感监测中，整景遥感影像海水面积占比较大而导致样本不平衡现象，减少信息的丢失。海水养殖transformer编码器分为输入嵌入和编码模块，具体如下：

5、1.1)所述的输入嵌入是将图片编码成一维向量的过程，每张二维图像首先分割成n个更小的图像块，通过卷积核尺寸与图像块大小相同的卷积操作，将n个图像块嵌入为n个值，并排列成一维向量，为了防止信息丢失，在转变成一维向量的同时进行了特征升维。此外，为了防止嵌入过程中位置信息的丢失，引入了位置嵌入，公式如式(1)和式(2)所示。

6、

7、

8、其中，pos表示图像块在图像中的位置，i表示图像块的维度索引值，dmodel表示图像块的总维度。位置嵌入被添加到输入嵌入中以捕获输入序列中的位置信息。此外，输入嵌入是将图像划分为图像块并将其扁平化的操作。

9、1.2)所述的编码模块由n个子模块组成，每个子模块的核心是多头注意模块。在多头注意模块中，它是多种自注意力机制的组合，如公式(3)所示。将步骤1.1)中已转为一维向量的输入向量x输入编码模块，输入向量x首先被转换为三个不同的向量，即查询向量q、关键向量k和数值向量v，公式如式(3)所示。

10、

11、其中，wq，wk，wv分别为优化参数。qkt获得注意力权重。dk是k的维度，以保证softmax的梯度稳定性。v得到加权和，同时与输入保持一致。多头注意模块允许模型关注来自多个子空间的不同方面的信息，通过n个多头注意模块串联，构建transformer编码器。共构建n个子模块组成transformer编码器。

12、第二步，引入全局对比学习损失和局部图像掩膜损失作为代理任务，进行自蒸馏训练，既关注海水养殖、陆地及海水不同目标间的全局目标差异，以便后续多目标区分，也关注每个目标局部细节信息，以便后续多目标精准分割。

13、首先构建两个结构相同的transformer编码器，如第一步所述，其中一个称为教师网络另一个称为学生网络通过视图变化和随机掩膜，结合全局对比学习损失和局部图像掩膜损失训练优化学生网络，禁止反向传播优化教师网络，然而，由于教师网络和学生网络的网络结构一致，所以教师网络的参数更新是根据学生网络的参数动态更新的，详情见2.3)节。

14、2.1)全局对比损失是基于对比学习，使不同视图下的同一张图片相似特征最大化。

15、将第一步中收集的512×512大小的图片作为输入图像x，然后进行随机图像增强，获得两个不同视图u和v，将u和v均输入教师网络和学生网络，输入嵌入之后，再次对嵌入后图像进行随机掩膜(即将1.1节中得到的n个值随机抽取部分并将其强制归零)，得到两个视图的掩膜嵌入(学生网络输入嵌入得到的结果)和未掩膜嵌入uc,vc(教师网络输入嵌入得到的结果)，从教师网络和学生网络得到的结果分别输入softmax函数，公式如式(4)和式(5)所示。

16、

17、其中，i和k是k维度上的网络输出概率分布。c是中心值，即通过教师网络输出的批次计算的平均值，以避免塌陷。τt表示教师网络的一个温度参数。

18、

19、其中，i和k是k维度上的网络输出概率分布。τs表示学生网络的温度参数。

20、学生网络的输入是不同的掩膜视图和这两个网络有相同的结构，但参数不同。在梯度停止的教师网络参数下，全局对比学习损失被用来期望教师和学生网络的输出相匹配，如公式(6)所示，以优化学生网络参数。

21、

22、其中，lcls是对比学习损失函数。具体来说，tc1是教师网络视图uc的对比学习特征sft(uc,vc)，tc2是教师网络视图vc的对比学习特征sft(uc,vc)，sc1是学生网络掩膜视图的对比学习特征sc2是学生网络掩膜视图的对比学习特征

23、2.2)局部图像掩膜损失是基于掩膜重构还原，使掩膜的图像还原出未掩膜图像，获得图像局部本质特征。

24、将不同视图u和v输入网络，通过输入嵌入操作，将图片转换为一维向量和以获得不同视图下的图像掩膜，其中i∈{1,..,n}，n为嵌入个数(同1.1节中输入嵌入n个值)。此外，生成随机掩码m∈{0,1}n，与输入嵌入的批次个数相同，由0和1组成，用于记录输入嵌入n个值随机抽取部分的位置。每个视图和的输入嵌入通过相应的随机掩码mu和mv获得掩膜视图和将掩膜图像和未掩膜图像um,vm输入两个网络(学生网络教师网络)，获得的结果进入softmax函数，如公式(7)和公式(8)所示。

25、

26、

27、其中，i和k是k维度上的网络输出概率分布，τ′t是教师网络温度参数，τ′s是学生网络温度参数，c′是中心值。

28、随后，根据图像掩膜的思想，定义了损失函数lmis，如公式(9)所示。

29、

30、其中，tm1是教师网络分离视图um得到的掩膜图像特征sft′(um,vm)；sm1是学生网络分离掩膜视图的掩膜图像特征tm2是教师网络分离视图vm得到的掩膜图像特征sft′(um,vm)；sm2是学生网络分离掩膜视图的掩膜图像特征m∈{0,1}n为随机掩码，其中，mu,v为随机掩码，mu为视图u的随机掩码；mv为视图v的随机掩码。

31、2.3)编码器网络参数更新，基于上述得到的对比学习损失函数和图像掩膜损失函数，对学生网络进行反向传播优化，反向传播不优化教师网络，但由于教师网络和学生网络结构一致，所以教师网络参数θt根据学生网络参数θs用指数移动平均法更新，公式如式(10)所示。

32、θt←λθt+(1-λ)θs   (10)

33、其中，λ是0.996到1的动量参数。对比学习损失和图像掩膜损失作为目标函数，反向传播优化学生网络，暂停教师网络的反向传播，然后，通过学生网络每轮优化的参数，实时更新教师网络参数，最后，使用训练好的教师网络作为transformer编码器。通过这种网络教网络学习的方式，可以让网络学习更本质的特征，即标签从非0即1，变成小数形式的软标签。此外，通过多目标损失函数，网络能关注不同的信息，图像掩膜损失侧重于发掘图像局部信息，以局部重要特征重构出原始特征，在目标局部信息区分时有更好的表现。对比学习损失侧重于发掘图像全局信息，将一张图作为一类，以整张不同视图作为全局对比，使相同类别更相似，缩小类内差距，在多目标区分时有更好的表现。第三步，提出语义增强特征融合模块，可以增强深层语义信息，保留浅层形状信息，包括深度语义增强模块和多层特征融合模块。为了减少多目标之间类内差异大，类间差异小而导致的误判次数，深度语义增强模块侧重于深度语义连续性，通过融合高层特征来提高分割图像的类内连续性。多层特征融合模块利用从低层提取的形状特征及不同层提取的特征来保持目标边缘，减少类间误判的发生。

34、在第二步中，获得了训练好的教师网络作为transformer编码器，但是，编码器得到的是图像本质特征，所以需要搭建一个解码器用于进行特征解码，生成语义分割结果。固定transformer编码器结构及其权重参数，搭建语义增强特征融合解码器，将transformer编码器的特征进行合理利用，基于浅层特征和深层特征的不同特性，设计了深度语义增强模块和多层特征融合模块。

35、3.1)深度语义增强依赖于transformer编码器的高层(即1.2节中串联n＝12个子模块的最后三个子模块)，stff通过特征增强使高层语义信息包含更多的transformer编码器高层。不同层的特征em是由上一步的transformer编码器获得的，包含丰富的语义信息，深度语义增强包含了em,m≥10的特征，利用了全连接fc(·)和拼接concat(·)操作，公式如式(11)-式(14)所示。

36、c10＝fc(concat(e10,fc(concat(e11,e12))))                  (11)

37、c11＝fc(concat(c10,fc(concat(e11,e12))))                 (12)

38、c12＝fc(concat(c11,e12))                       (13)

39、fhigh＝fc(concat(c10,c11,c12))                     (14)

40、其中，c为增强中间变量；c10为第10个子模块的增强中间变量；c11为c10增强中间变量向更高层e11、e12扩散的增强中间变量；c12为c11向更高层e12扩散的增强中间变量；fhigh为深度语义增强特征。

41、增强后的高层特征被作为最终的深度语义增强特征fhigh，并输入金字塔池模块(pyramid pooling module,ppm)中，随后扩散到低层次特征。ppm利用不同的池化尺寸来获得上一步中广泛的高层语义信息fppm，如式(15)所示。

42、fppm＝concat(ξ(pool(fhigh,size＝1,2,3,6)))               (15)

43、其中，pool(·)为池化操作，ξ(·)是一个双线性上采样函数。

44、3.2)多层特征融合将深度语义增强扩散到低层特征中，以减少低层特征的噪声。首先，对低层特征分别进行上采样，根据低层特征的不同，上采样的次数也不同。从transformer编码器中获得不同的层特征em，包含低层和高层信息，多层特征融合包含了从transformer编码器低层得到的低层特征em,m＝{4,6,8}和从深度语义增强fhigh得到的高层特征fppm，如式(16)和式(17)所示。

45、f4＝ξ′(bn(σ(ξ′(e4))))                       (16)

46、f6＝ξ′(e6)                            (17)

47、其中，σ(·)是激活函数，ξ′(·)是转置卷积的上采样，bn是批量归一化。与之前的双线性上采样不同，由于从transformer编码器得到的是特征向量，需要通过转置卷积适应下游的视觉任务。在获得不同层和大小的特征后，解码器需要将深层特征扩散到低层，并将扩散后的低层特征与高层特征融合，如式(18)至式(21)所示。

48、a8＝φ(ξ(φ(fppm))+e8)                          (18)

49、a6＝φ(ξ(a8)+f6)                           (19)

50、a4＝φ(ξ(a6)+f4)                           (20)

51、yout＝σ(bn(φ(concat(a4,a6,a8,φ(fppm)))))                 (21)

52、其中，φ(·)是一个3×3的卷积滤波器。

53、最后，固定第二步中得到的transformer编码器参数(即通过反向传播优化稳定的教师网络权重)，由于作为transformer编码器的教师网络在第二步中已经获得训练好的权重参数，所以在第三步优化编码器权重参数时，需要固定transformer编码器。在优化解码器权重参数时，由于从第二步中已得到图像本质特征，所以只需通过少量样本标签进行反向传播优化解码器，方式与有监督学习类似，通过标签和分割结果进行交叉熵损失，通过少量标签样本微调语义增强特征融合解码器，将训练好的解码器权重参数固定，测试得到整景多目标的sar影像海水养殖精确提取结果。

54、本发明的有益效果为：

55、本发明提供一种语义增强特征融合自监督transformer的整景sar海水养殖多目标提取方法，针对海水养殖遥感影像难以获得标签样本、整景图像过大且目标样本不平衡、多目标之间类内不连续、类间误判等难题，通过transformer编码器获得长期依赖特征，缓解样本不平衡问题，通过自蒸馏学习从大量无标签数据中获得显著特征，缓解标签样本获取困难问题，通过语义增强特征融合解码器，包括深度语义增强、低层信息扩散和多层特征融合的操作，有效提高辨别能力，精确提取目标边缘信息，避免相干斑噪声干扰，减少类间误判，提高类内连续性分割能力。本发明提出的方法精度较高、满足整景影像、少量标签、多个目标的海水养殖监测的可实现性。