一种水下图像实例分割方法、系统、存储介质及电子设备

本发明属于图像分割，尤其涉及一种水下图像实例分割方法、系统、存储介质及电子设备。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、在海洋勘探和保护领域，水下图像分析技术具有越来越重要的作用，水下图像实例分割是水下图像分析和理解的基础和关键步骤。

3、目前缺少专门针对水下图像实例分割任务的数据集，现有的注释数据与特定对象的实例分割应用有关，或仅适用于特定任务(如对象检测、语义分割等)，这些数据集均不适用于水下图像的多类实例分割任务。而且由于波长和距离相关的衰减和散射，水下图像的质量下降是不可避免的。此外，海洋中浮游生物和其他生物所形成的海雪也可能引起不同程度的噪声，这严重影响了成像质量，使得现有的自然图像实例分割算法无法直应用于质量退化的水下图像，从而降低了水下图像中的目标识别精度。

技术实现思路

1、为了解决上述背景技术中存在的技术问题，本发明提供一种水下图像实例分割方法、系统、存储介质及电子设备，其能够准确对水下图像进行实例分割，最终提高水下图像中的目标识别精度。

2、为了实现上述目的，本发明采用如下技术方案：

3、本发明的第一个方面提供一种水下图像实例分割方法。

4、一种水下图像实例分割方法，其包括：

5、提取水下图像的多层次特征，得到全局细粒度特征图和局部粗粒度特征图；

6、基于差分相似图注意机制对最高分辨率的全局细粒度特征图进行重构，得到重构全局细粒度特征图；

7、从重构全局细粒度特征图中对感兴趣区域进行下采样，并与局部粗粒度特征图进行融合，得到前景特征和边界特征；

8、分别提取前景特征和边界特征的深层次特征，对应生成第一实例掩码和第二实例掩码；对第一实例掩码执行两倍上采样操作，并将两倍上采样操作结果中的边界部分替换为第二实例掩码的相应部分，得到最终的输出实例掩码；

9、利用掩码总损失函数对输出实例掩码进行优化，得到水下图像实例分割结果；其中，掩码总损失函数包含边界区域权值损失函数。

10、本发明的第二个方面提供一种水下图像实例分割系统。

11、一种水下图像实例分割系统，其包括：

12、多层次特征提取模块，其用于提取水下图像的多层次特征，得到全局细粒度特征图和局部粗粒度特征图；

13、差分相似图注意模块，其用于基于差分相似图注意机制对最高分辨率的全局细粒度特征图进行重构，得到重构全局细粒度特征图；

14、多层特征细化模块，其用于从重构全局细粒度特征图中对感兴趣区域进行下采样，并与局部粗粒度特征图进行融合，得到前景特征和边界特征；

15、实例掩码输出模块，其用于分别提取前景特征和边界特征的深层次特征，对应生成第一实例掩码和第二实例掩码；对第一实例掩码执行两倍上采样操作，并将两倍上采样操作结果中的边界部分替换为第二实例掩码的相应部分，得到最终的输出实例掩码；

16、实例掩码优化模块，其用于利用掩码总损失函数对输出实例掩码进行优化，得到水下图像实例分割结果；其中，掩码总损失函数包含边界区域权值损失函数。

17、本发明的第三个方面提供一种计算机可读存储介质。

18、一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的水下图像实例分割方法中的步骤。

19、本发明的第四个方面提供一种计算机设备。

20、一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的水下图像实例分割方法中的步骤。

21、与现有技术相比，本发明的有益效果是：

22、本发明基于差分相似图注意机制对最高分辨率的全局细粒度特征图进行重构可以通过收集尽可能多的退化细节来帮助模型进行更好的推断，以补偿由于质量退化和下采样操作而造成的信息损失。

23、本发明通过使用多层特征细化将重建的全局细粒度特征融合到局部掩膜预测中作为补充细节可以提高掩膜预测的质量，同时增加了模型感知域；利用掩码总损失函数对输出实例掩码进行优化，引导网络更加关注边界部分的分割，为边界区域分配更多的权重，从而迫使网络更加关注边界像素内的分类，做出更准确的预测。

24、本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

技术特征：

1.一种水下图像实例分割方法，其特征在于，包括：

2.如权利要求1所述的水下图像实例分割方法，其特征在于，基于差分相似图注意机制对最高分辨率的全局细粒度特征图进行重构的过程包括：

3.如权利要求2所述的水下图像实例分割方法，其特征在于，更新后的中间特征图的图节点与中间特征图的图节点维度相同。

4.如权利要求1所述的水下图像实例分割方法，其特征在于，得到前景特征和边界特征的过程包括：

5.如权利要求1所述的水下图像实例分割方法，其特征在于，在生成第一实例掩码和第二实例掩码的过程中，使用拉普拉斯算子从二进制掩码生成边界。

6.如权利要求1所述的水下图像实例分割方法，其特征在于，掩码总损失函数为边界区域权值损失函数与二元交叉熵损失函数之和；

7.一种水下图像实例分割系统，其特征在于，包括：

8.如权利要求7所述的水下图像实例分割系统，其特征在于，在所述差分相似图注意模块中，基于差分相似图注意机制对最高分辨率的全局细粒度特征图进行重构的过程包括：

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一项所述的水下图像实例分割方法中的步骤。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一项所述的水下图像实例分割方法中的步骤。

技术总结
本发明属于图像分割技术领域，提供了水下图像实例分割方法、系统、存储介质及电子设备。其中，图像分割方法包括提取水下图像的多层次特征；基于差分相似图注意机制对最高分辨率的全局细粒度特征图进行重构，得到重构全局细粒度特征图；从重构全局细粒度特征图中对感兴趣区域进行下采样，并与局部粗粒度特征图进行融合，得到前景特征和边界特征；分别提取前景特征和边界特征的深层次特征，对应生成第一实例掩码和第二实例掩码；对第一实例掩码执行两倍上采样操作，并将操作结果中的边界部分替换为第二实例掩码的相应部分，得到最终的输出实例掩码；利用掩码总损失函数对输出实例掩码进行优化，得到水下图像实例分割结果。

技术研发人员：李华,连仕杰,王楚虹,黄梓峰,李苏琪,李广飞
受保护的技术使用者：海南大学
技术研发日：
技术公布日：2024/1/16