一种基于跨尺度特征差异化融合的目标检测方法、装置和存储介质

本发明属于全自动化产品领域，涉及一种面向水面和水下环境的图像目标检测的计算方法、电子装置和存储介质。

背景技术：

1、目前，在图像处理领域中，关于水面和水下的目标检测技术是一项热门的研究方向。关于水面以及水下的目标检测对海洋商业与军事安全等发展有着重要的推动作用，如何高效、准确、快速、稳定地检测水面以及水下的相关目标对于海上监视、导航、救援等应用有着重要的意义，同时这也是一个具有挑战性的技术问题。

2、目前，常用的水面以及水下目标检测技术主要有以下几种：

3、基于雷达或声纳信号的检测技术，利用雷达或声纳发射和接收电磁波或声波，根据反射信号的特征判断目标的位置、形状、速度等信息。这种技术具有较高的检测精度和实时性，但是受到信号干扰、噪声、多普勒效应等因素的影响，容易产生误检或漏检。

4、基于图像或视频数据的检测技术，利用摄像机或卫星等设备采集海面或水下的图像或视频数据，根据图像或视频中目标的视觉特征判断目标的位置、形状、类型等信息。这种技术具有较好的可视化效果和可解释性，但是受到光照、遮挡、水质、运动模糊等因素的影响，容易导致目标特征不明显或不稳定。

5、随着人工智能以及计算机视觉技术的快速发展，基于深度学习的检测技术得以应用于水面以及水下的目标检测领域，利用神经网络等机器学习模型对图像或视频数据进行自动特征提取和分类，根据模型输出的概率值判断目标是否存在以及其位置、形状、类型等信息。这种技术具有较强的泛化能力和自适应能力，但是目前主流的专门应用于水面以及水下目标检测的技术精度与实时监测速度仍有较大的提升空间。

6、例如，在传统算法领域，主流的算法是通过基于目标形状以及颜色来进行自动识别。对于传统方法，主要考虑颜色和形状特征来检测和识别目标。然而，水面多包含雾气等干扰条件，水下生物在各种水下环境中表现出不同的形状，并且由于生态原因，它们具有类似于海底场景的颜色。这就使得传统方法有很大的局限性。基于深度学习的一些有名的高效算法可以增强设备对目标的感知能力。例如经典的faster rcnn算法，该算法使用网络和区域候选网络(region proposal network,rpn)生成候选区域，然后使用cnn网络进行图像分类和边界框回归。但是此算法并没有设计专门应用于水面和水下图像目标检测环境，且模型比较大，实时检测速度较慢，很难应用到实际的设备以及场景中。

技术实现思路

1、为了解决上述目前水面和水下图像目标检测算法领域的效率低、精度低、速度慢的缺陷问题，本发明采用的技术方案是：

2、一种基于跨尺度特征差异化融合的目标检测方法，包括如下步骤：

3、采集包含目标的水面或水下图像数据，构成数据集；

4、对数据集进行预处理，得到预处理后的数据集，对预处理后的数据集按照比例划分为训练集和测试集；

5、构建用于对水面或水下图像包含的目标进行检测的检测模型；

6、所述构建用于对水面或水下图像包含的目标进行检测的检测模型包括如下步骤：

7、采用特征提取网络进行初始特征提取，实现对水面或水下目标图像的4个不同尺度间特征提取；

8、将所述跨尺度特征差异化融合模块对所述特征提取网络提取后的不同尺度的特征，进行跨尺寸融合，构造新的特征多尺度输出；

9、将所述跨尺度特征差异化融合模块构造的多尺度输出与所述特征提取网络的四个多尺度输出进行特征融合，构造特征金字塔，得到融合后的特征，实现对检测模型进行构建。

10、基于训练集数据对检测模型进行训练，得到训练好的检测模型；

11、将测试集数据输入到练好的检测模型中，实现对水面或水下图像包含的目标目标及其位置和大小的检测。

12、进一步地，所述跨尺度融合的过程包括如下步骤：

13、1)选取两个不同尺度大小的特征图，较大尺度特征图记作a，较小尺度特征图记作b；

14、2)选取三个不同尺寸的卷积核，并固定不同跨尺度特征差异化融合模块的卷积核参数；

15、3)对于特征图a进行下采样至特征图b的大小，记作ad；

16、4)对于特征图ad和b分别用三个不同尺寸的卷积核进行卷积操作，生成三对特征图；

17、5)对于生成的三对特征图，分别进行按像素作差并取绝对值，然后将三组特征图按像素求和，生成最终的特征图输出。

18、进一步地，所述对所述特征提取网络提取后的不同尺度的特征，进行跨尺寸融合，构造新的特征多尺度输出；包括如下步骤：

19、1)选取特征提取网络的四个不同尺度输出层，记作fm1，fm2，fm3，fm4；

20、2)对于1)步骤中的两两不同尺度的特征输出图之间分别利用跨尺度特征差异化融合模块获得新的特征输出图。

21、进一步地，所述将所述跨尺度特征差异化融合模块构造的多尺度输出与所述特征提取网络的四个多尺度输出进行特征融合，构造特征金字塔包括如下步骤：

22、1)获取特征提取网络的四个尺度的特征输出图；

23、2)将四个尺度特征输出图分别与获得的新的特征尺度输出图按照对应的尺度进行按像素求和，最终构造四个不同尺度的特征金字塔结构。

24、进一步地，所述特征融合后特征对所述的四个特征金字塔输出层分别进行通道变换，最终通道数应为所需要的输出参数数量。

25、进一步地，所述预处理采用如下方法：首先预处理是对原始图像放缩至640*640，保证输入至网络的图片尺寸一致。

26、进一步地，所述特征提取网络采用resnet101作为特征提取网络。

27、一种处理设备，其特征在于，包括：一个或者多个的处理器；存储器，用于存储一个或者多个程序；其中，当所述一个或者多个程序被所述一个或多个处理器执行的时候，使得所述一个或多个处理器实现如任一项所述的方法。

28、一种基于卷积神经网络的目标检测电子装置，包括：

29、采集模块：用于采集包含目标的水面或水下图像数据；

30、预处理模块：用于对采集包含目标的水面或水下图像数据进行预处理，得到预处理后的数据集，对预处理后的数据集按照比例划分为训练集和测试集；

31、构建模块：用于构建用于对水面或水下图像包含的目标进行检测的检测模型；

32、训练模块：用于基于训练集数据对检测模型进行训练，得到训练好的检测模型；

33、实现模块：用于将测试集数据输入到练好的检测模型中，实现对水面或水下图像包含的目标及其位置和大小的检测。

34、一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现如任一项所述的方法。

35、本发明提供的一种面向水面和水下环境的图像目标检测的计算方法、电子装置、设备和存储介质，可有效实现对于不同环境下水面以及水下目标的高精度、高速度的检测，具有以下优点：提高水面以及水下相关目标检测的精度与速度，节省时间和资金成本，提高水面以及水下环境中目标检测的速度以及精度。