一种基于掩码引导的海面溢油分割方法及装置

本发明属于目标检测与识别，具体涉及一种基于掩码引导的海面溢油分割方法及装置。

背景技术：

1、近年来，随着gpu算力的增长以及数据集的完善，基于深度学习的语义分割算法飞速发展，图像分割技术水平大幅提高，可以实现图像像素级分类，目标分割完整度得到大大提升，进而分割精度得到大大提升。基于深度学习的图像分割算法主要分为两类：(1)语义分割，这种分割方法为图像中的每个像素分配一个类别，如把画面中的所有物体都指出它们各自的类别。(2)实例分割，与语义分割不同，实例分割只对特定物体进行类别分配，这一点与目标检测有点相似，但目标检测输出的是边界框和类别，而实例分割输出的是掩膜(掩码)和类别。

2、近年来，海洋石油运输规模越发庞大，这也不可避免地引发了一系列的溢油事故。这些事故不只是对石油资源的浪费，也大大破坏了海洋环境，造成的经济损失和污染难以估算。

3、sar图片因为其具备全天候采集、不受地理环境限制等特点，长期被应用于大范围检测如自然环境监测、海面情况监测等情景中。但由于这种成像技术本身的特性，极易产生噪声干扰，图片中的噪声使得图片的信息难以被准确识别，降低了算法在处理此类图片时的处理性能，因此需要一种能够去除噪声，实现精准分割溢油区域的算法。

技术实现思路

1、发明目的：针对现有技术的不足，本发明提供一种基于掩码引导的海面溢油分割方法及装置，以提高海洋区域中监测石油泄露相关技术的准确性。

2、技术方案：本发明提供一种基于掩码引导的海面溢油分割方法，包括以下步骤：

3、步骤1：通过观测卫星获取sar连续图像，提取出不同海面溢油图片，利用mosaic数据增强技术扩充后作为数据集；

4、步骤2：对于给定的输入图像，通过resnet50卷积神经网络得到4个特征层；

5、步骤3：将所得4个特征层输入像素解码器中得到四个基于像素的向量映射，依据分辨率由低到高称作p1、p2、p3、p4；以p1、p2、p3生成特征金字塔；

6、步骤4：将步骤3中得到的特征金字塔输入transformer解码器中，与作为注意力掩码的地面真值掩码计算得到预测结果，预测结果包括掩码预测与分类结果；

7、步骤5：将步骤4中得到的预测结果中掩码预测与步骤3中p4外积运算得到最终掩码预测结果，将步骤4中得到的分类结果独立计算得到最终分类预测结果；

8、步骤6：将步骤5中的掩码预测结果和分类预测结果合并得到海面溢油分割结果。

9、进一步地，所述步骤3和步骤4中的trasformer解码器与像素解码器为并行的分割模型，所述步骤4将地面真值掩码作为注意力掩码输入trasformer解码器中。

10、进一步地，所述步骤2中采用resnet50卷积神经网络作为backbone，像素解码器解码器部分输出连接trasformer解码器解码器的输入，并行计算两个解码器输出结果，得到关于海面溢油的class和掩码输出结果后，掩码掩码输出结果与最大分辨率的像素向量映射进行外积运算得到最终的掩码掩码预测结果，class输出结果进行维度转换单独得到最终的class预测结果，最终形成溢油图像的特征。

11、进一步地，所述trasformer解码器将地面真值掩码作为注意力掩码进行输入，并在掩码中加入噪声干扰，同时改变自注意力和交叉注意力的顺序。

12、进一步地，trasformer解码器的具体改进之处为：

13、对一张输入trasformer解码器的特征图，掩码引导的注意力模型矩阵计算公式如下：

14、xl＝softmax(ml-1+qlklt)+xl-1

15、其中，l为层索引，xl为第l层的查询特征；kl为变换后的图像特征；ml-1为transformer解码器中第l-1层调整掩码预测的二值化输出，阈值为0.5。

16、进一步地，海面溢油分割结果的石油泄露情况包括：未泄露海面、石油泄露部分、疑似石油泄露部分、船只、陆地。

17、进一步地，对海面石油泄露进行标记，具体如下：

18、未泄露海面标记为：0号标签、rgb(0，0，0)、黑色；

19、石油泄露标记为：1号标签、rgb(0，255，255)、青色；

20、疑似石油泄露标记为：2号标签、rgb(255，0，0)、红色；

21、船只标记为：3号标签、rgb(153，76，0)、棕色；

22、陆地标记为：4号标签、rgb(0，153，0)、绿色。

23、进一步地，所述步骤3中，以p1、p2、p3生成特征金字塔进行多阶段特征池化金字塔的训练时，使用sentinel-1卫星公开数据集训练的预训练权重，设定训练epoch为30，batch_size为5，模型加载resnet50的预训练权重。

24、本发明还公开一种基于掩码引导的海面溢油分割方法的装置，包括：

25、数据获取模块，用于通过观测卫星获取sar连续图像，提取出不同海面溢油图片；

26、数据预处理模块，用于对获取的海洋场景监控图像数据集中图像进行数据预处理，对数据预处理后的海洋场景监控图像数据中存在溢油污染的图像进行数据增强；

27、海洋石油泄露分割网络构建模块，用于构建海洋石油泄露分割网络模型，所述海洋石油泄露分割网络模型将输入图片通过resnet50卷积神经网络，得到4个特征层，将所得4个特征层输入像素解码器中得到四个基于像素的向量映射，依据分辨率由低到高称作p1、p2、p3、p4；以p1、p2、p3生成特征金字塔；将特征金字塔输入transformer解码器中，与作为注意力掩码的地面真值掩码计算得到预测结果，预测结果包括掩码预测与分类结果；将预测结果中掩码预测与p4外积运算得到最终掩码预测结果，将得到的分类结果独立计算得到最终分类预测结果。

28、与现有技术相比，本发明的有益效果为：

29、本发明提出的分割方法及分割装置考虑到不同环境和天气，减少参数和计算量，扩大模型对输入图片感受野，能较好的符合实际应用情况，维护海洋生态环境稳定；与现有技术相比，本发明在现有的深度网络算法的基础上，改进深度可分离卷积结构和多阶段特征池化金字塔架构，有效提升了模型对图片特征的理解能力，在保证速度的情况下提升了检测精度。

30、本发明并行运算的像素解码器和trasformer解码器双解码器强化了模型对小目标的分割效率，增加了掩码ed attention机制，少量随机采样点上计算掩码loss，来加快训练速度。在trasformer解码器中引入了地面真值掩码和噪声干扰，并改变了自注意力和交叉注意力的顺序。引进地面真值掩码可以前几层的查询利用率过低的问题，而没有噪声的gt掩码可能对任务过于简单，从而阻止了进一步的细化，所以在掩码中加入噪声干扰。同时改变自注意力和交叉注意力的顺序，使得计算结果更精确。

技术特征：

1.一种基于掩码引导的海面溢油分割方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于掩码引导的海面溢油分割方法，其特征在于，所述步骤3和步骤4中的像素解码器与trasformer解码器为并行的分割模型，所述步骤4将地面真值掩码作为注意力掩码输入trasformer解码器中。

3.根据权利要求2所述的一种基于掩码引导的海面溢油分割方法，其特征在于，所述步骤2中采用resnet50卷积神经网络作为backbone，像素解码器解码器部分输出连接trasformer解码器的输入，并行计算两个解码器输出结果，得到关于海面溢油的class和掩码输出结果后，掩码掩码输出结果与最大分辨率的像素向量映射进行外积运算得到最终的掩码掩码预测结果，class输出结果进行维度转换单独得到最终的class预测结果，最终形成溢油图像的特征。

4.根据权利要求2所述的一种基于掩码引导的海面溢油分割方法，其特征在于，所述trasformer解码器将地面真值掩码作为注意力掩码进行输入，并在掩码中加入噪声干扰，同时改变自注意力和交叉注意力的顺序。

5.根据权利要求4所述的一种基于掩码引导的海面溢油分割方法，其特征在于，trasformer解码器的具体改进之处为：

6.根据权利要求1所述的一种基于掩码引导的海面溢油分割方法，其特征在于，海面溢油分割结果的石油泄露情况包括：未泄露海面、石油泄露部分、疑似石油泄露部分、船只、陆地。

7.根据权利要求6所述的一种基于掩码引导的海面溢油分割方法，其特征在于，对海面石油泄露进行标记，具体如下：

8.根据权利要求1所述的一种基于掩码引导的海面溢油分割方法，其特征在于，所述步骤3中，以p1、p2、p3生成特征金字塔进行多阶段特征池化金字塔的训练时，使用sentinel-1卫星公开数据集训练的预训练权重，设定训练epoch为30，batch_size为5，模型加载resnet50的预训练权重。

9.一种基于权利要求1至8任一所述的基于掩码引导的海面溢油分割方法的装置，其特征在于，包括：

技术总结
本发明公开了一种掩码引导的海面溢油分割方法及装置，获取SAR连续图像，提取海面溢油图片；通过Resnet50得到4个特征层；将其输入像素解码器中得到四个基于像素的向量映射，依据分辨率由低到高称作P1、P2、P3、P4，以P1、P2、P3生成特征金字塔；将其输入transformer解码器中，与地面真值掩码计算得到预测结果；将预测结果中掩码预测与P4外积运算得到最终掩码预测结果，将分类结果独立计算得到最终分类预测结果；将掩码预测结果和分类预测结果合并得到海面溢油分割结果。本发明致力于及时检测海平面溢油情况，防止污染扩大，有助于海洋环境保护。

技术研发人员：戚梓凡,陈伯伦,刘步实,朱鹏程,徐圣杰
受保护的技术使用者：淮阴工学院
技术研发日：
技术公布日：2024/3/27