一种基于多元感知和迭代细化的海洋动物图像检测方法

本发明涉及深度学习图像检测，具体而言，为一种基于多元感知和迭代细化的海洋动物图像检测方法。

背景技术：

1、当前，全球海洋生物正面临着过度捕捞、污染、气候变化和海洋酸化等威胁。随着海洋生物多样性的急剧下降，许多海洋物种处于濒危或灭绝的边缘，全球各国的经济和海洋资源都受到严重破坏。海洋生物种类繁多，形状各异，隐蔽性高，利用复杂的水下环境和结构特性可实现自身的隐藏栖息，是海洋生态系统必不可少的部分。

2、海洋生物为了生存展现出强大的伪装能力，这使得通过从复杂的海洋环境中精确的检测海洋动物是一项任务繁杂且具有挑战性的工作。因此设计构造海洋动物检测的智能化检测模型，可以为识别复杂水下环境中各种海洋动物提供重要信息，对渔业更好地监测和监督提供了强有力的支撑。如cn116977872a公开了一种cnn+transformer遥感图像目标检测方法，通过首先构建一个cnn和transformer并行的目标检测网络，利用全局信息和局部信息交互的方式提高多尺度目标检测任务的效果，并在网络中使用自顶向下和自底向上两条路径融合多尺度信息，最后使用坐标注意力ca机制完成特征选择，赋予每个通道自适应权重，实现对遥感图像多尺度目标的准确检测和定位。然而，受海洋复杂环境的众多因素影响，现有的遥感图像目标检测方法检测精准性上存在一定的差距。

3、因此，推出一种基于多元感知和迭代细化的海洋动物图像检测方法。

技术实现思路

1、本发明的目的在于提供一种基于多元感知和迭代细化的海洋动物图像检测方法，旨在解决上述背景技术中，现有的遥感图像目标检测方法在复杂海洋背景下对海洋动物检测精度不足问题。

2、为实现上述目的，本发明提供如下技术方案：一种基于多元感知和迭代细化的海洋动物图像检测方法，包括以下实施步骤：

3、s1：获取待检测图片，实验数据来自海洋动物检测数据集mas3k，包含各种类型、形状和颜色的海洋动物图片；

4、s2：利用pvt网络作为特征提取器获取图像特征；

5、s3：在多元特征感知阶段，通过对多元特征流建模，得到特征fi；

6、s4：在进行迭代细化前通过transformerlayer集成丰富的特征信息作为先验指导；

7、s5：在迭代细化阶段，通过建立指导特征与当前特征间的联系，进行精准的预测结果；

8、s6：利用网络模型训练策略优化模型。

9、进一步地，所述s2中，在进行编码时，采用渐进式收缩策略和空间缩减注意力机制，以降低特征计算复杂度和抑制资源消耗，其中{fi，i＝1，2，3，4}。

10、进一步地，所述s3中，在{f1，f2，f3，f4}采用多元特征感知模块mfpm来挖掘丰富的上下文信息，以缓解特征损失。

11、进一步地，所述多元特征感知模块mfpm包含三个单元，即全局感知单元gpm、局部多尺度亲和单元lmau和协同调制单元cmu；gpm通过感知全局特征弥补局部多尺度特征外观变化的鲁棒性；lmau利用非对称卷积和膨胀卷积挖掘丰富的多尺度上下文信息；cmu旨在调制全局和局部特征，同时也保留了原始特征信息，从而获得丰富的上下文信息fi。

12、进一步地，所述s4中，通过transformerlayer集成丰富的特征信息时，首先将特征fi进行线性投影得到1d特征，并添加位置编码赋予特征位置信息，进而输入到transformer进行全局信息的提取，其中transformer包含一个多头自注意msa子层和多层感知器mlp子层，同时在两个子层之前插入层归一化ln，并在这两个子层之后执行残差连接，transformer层输出获得增强指导特征图gj(j＝1，2，3，4，5)。

13、进一步地，所述s4中，在迭代细化阶段使用了四个迭代细化模块irm，第一层的输入为增强的指导特征g5与建模后的多元感知特征的输出f4并和g5生成新的迭代特征g4，第二层的输入为迭代特征g4与建模后的多元感知特征的输出f3并和g4生成新的迭代特征g3，第三层的输入为迭代特征g3与建模后的多元感知特征的输出f2并和g3生成新的迭代特征g2，第四层的输入为迭代特征g2与建模后的多元感知特征的输出f1并和g2生成新的迭代特征g1作为最终的迭代细化预测。

14、进一步地，在训练过程中，对于所述s4中获取的增强指导特征f2、f3和f4均下采样到与真实mask相同尺寸大小，计算总体损失，并进行反向传播以更新网络参数。

15、进一步地，所述s6中，网络模型训练策略的过程如下：

16、6.1首先获取训练数据集；

17、6.2其次将图像输入到网络，并调整图像尺寸为416×416；

18、6.3然后在训练过程中选用adam算法进行优化器参数更新；

19、6.4最后选用加权交并比损失与二进制交叉熵损失来提高模型的性能，并采用总体损失函数进行表示。

20、进一步地，所述6.4步骤中，总体损失函数进行表示为，

21、

22、其中，表示加权iou损失，表示全局约束与局部约束(像素级)的bce损失。

23、进一步地，所述网络模型训练策略的过程采用四个广泛应用的指标来评估像素级掩模，即s度量sα，用来衡量区域和物体的结构相似度；平均绝对误差mae，用于测量预测值和真值之间的像素级差异；增强对齐指标eφ，通过比较预测图和真值图之间的差异来评估伪装目标检测结果的整体和局部精度；f度量fβ，用来计算精确率和召回率的关系。

24、与现有技术相比，本发明的有益效果如下：

25、本发明提出的一种基于多元感知和迭代细化的海洋动物图像检测方法，在特征提取时，利用pvt网络作为骨干提取特征，以较低的记忆成本和全面的了解实现海洋动物的特征捕获；在感知阶段，采用多元特征感知策略，通过多元特征信息流建模，旨在获得丰富的上下文信息；在迭代细化过程中，本发明集成建模后的最后三层特征信息以指导当前建模的特征，并通过迭代机制完成对海洋动物的精准检测，有效保证了检测结果的精准性。

技术特征：

1.一种基于多元感知和迭代细化的海洋动物图像检测方法，其特征在于,包括以下实施步骤：

2.如权利要求1所述的一种基于多元感知和迭代细化的海洋动物图像检测方法，其特征在于：所述s2中，在进行编码时，采用渐进式收缩策略和空间缩减注意力机制，以降低特征计算复杂度和抑制资源消耗，其中{fi，i＝1，2，3，4}。

3.如权利要求1所述的一种基于多元感知和迭代细化的海洋动物图像检测方法，其特征在于：所述s3中，在{f1，f2，f3，f4}采用多元特征感知模块mfpm来挖掘丰富的上下文信息，以缓解特征损失。

4.如权利要求3所述的一种基于多元感知和迭代细化的海洋动物图像检测方法，其特征在于：所述多元特征感知模块mfpm包含三个单元，即全局感知单元gpm、局部多尺度亲和单元lmau和协同调制单元cmu；gpm通过感知全局特征弥补局部多尺度特征外观变化的鲁棒性；lmau利用非对称卷积和膨胀卷积挖掘丰富的多尺度上下文信息；cmu旨在调制全局和局部特征，同时也保留了原始特征信息，从而获得丰富的上下文信息fi。

5.如权利要求1所述的一种基于多元感知和迭代细化的海洋动物图像检测方法，其特征在于：所述s4中，通过transformerlayer集成丰富的特征信息时，首先将特征fi进行线性投影得到1d特征，并添加位置编码赋予特征位置信息，进而输入到transformer进行全局信息的提取，其中transformer包含一个多头自注意msa子层和多层感知器mlp子层，同时在两个子层之前插入层归一化ln，并在这两个子层之后执行残差连接，transformer层输出获得增强指导特征图gj(j＝1，2，3，4，5)。

6.如权利要求1所述的一种基于多元感知和迭代细化的海洋动物图像检测方法，其特征在于：所述s4中，在迭代细化阶段使用了四个迭代细化模块irm，第一层的输入为增强的指导特征g5与建模后的多元感知特征的输出f4并和g5生成新的迭代特征g4，第二层的输入为迭代特征g4与建模后的多元感知特征的输出f3并和g4生成新的迭代特征g3，第三层的输入为迭代特征g3与建模后的多元感知特征的输出f2并和g3生成新的迭代特征g2，第四层的输入为迭代特征g2与建模后的多元感知特征的输出f1并和g2生成新的迭代特征g1作为最终的迭代细化预测。

7.如权利要求6所述的一种基于多元感知和迭代细化的海洋动物图像检测方法，其特征在于：在训练过程中，对于所述s4中获取的增强指导特征f2、f3和f4均下采样到与真实mask相同尺寸大小，计算总体损失，并进行反向传播以更新网络参数。

8.如权利要求1所述的一种基于多元感知和迭代细化的海洋动物图像检测方法，其特征在于：所述s6中，网络模型训练策略的过程如下：

9.如权利要求7所述的一种基于多元感知和迭代细化的海洋动物图像检测方法，其特征在于：所述6.4步骤中，总体损失函数进行表示为：

10.如权利要求7所述的一种基于多元感知和迭代细化的海洋动物图像检测方法，其特征在于：所述网络模型训练策略的过程采用四个广泛应用的指标来评估像素级掩模，即s度量sα，用来衡量区域和物体的结构相似度；平均绝对误差mae，用于测量预测值和真值之间的像素级差异；增强对齐指标eφ，通过比较预测图和真值图之间的差异来评估伪装目标检测结果的整体和局部精度；f度量fβ，用来计算精确率和召回率的关系。

技术总结
一种基于多元感知和迭代细化的海洋动物图像检测方法，属于深度学习图像检测技术领域，为了解决现有的遥感图像目标检测方法在复杂海洋背景下对海洋动物检测精度不足问题；本发明首先在特征提取时，通过利用PVT网络作为骨干提取特征，以较低的记忆成本和全面的了解实现海洋动物的特征获取；在感知阶段，本发明采用多元特征感知策略，通过多元特征信息流建模，旨在获得丰富的上下文信息；在迭代细化过程中，本发明集成建模后的最后三层特征信息以指导当前建模的特征，并通过迭代机制完成对海洋动物的精准检测，极大的保证了对于海洋动物图像检测结果的精准性。

技术研发人员：葛延良,任军超,李柏尧,朱洪飞,毕洪波,王秀芳
受保护的技术使用者：东北石油大学
技术研发日：
技术公布日：2024/3/24