一种基于事件相机的水下蛙人目标检测方法

本发明属于水下机器视觉目标检测，具体涉及水下蛙人目标检测领域。

背景技术：

1、近年来，安全防御浅海水域的问题受到越来越多的关注。作为水下的生力军，水下蛙人与搭载动力系统的水下无人航行器、水下潜艇等传统军事设备相比，具有更强的机动性和隐蔽性。特别是经过专业训练且携带先进军事装备的战斗蛙人，其水下破坏力更强，能够给舰船、潜艇和军事港口带来严重威胁。因此，能够对水下蛙人实现精准检测在保卫浅海水域安全上起着至关重要的作用。

2、目前，针对水下蛙人的目标检测技术正在不断发展和完善，尤其是随着人工智能技术的快速发展，目标检测算法也变得越来越高效和精确。基于深度学习的目标检测算法已经开始应用于水下环境中，取得了一些非常不错的成果。但目前基于深度学习的水下蛙人目标检测仍存在以下缺点：

3、目标模糊：由于蛙人在水下移动速度过快，传统相机容易拍摄到模糊的蛙人图像，这减少了图片的有效特征信息，不利于水下蛙人目标的检测。

4、环境阴暗：由于水下环境的极端性，传统相机拍摄的水下图像存在噪声和失真等问题，不利于检测器对目标进行精准检测。

5、检测性能不稳定：由于水下环境的复杂性，目标检测器的性能在不同场景和条件下表现不稳定。例如，在不同的水质、光照和目标尺寸等情况下，检测器的准确率和召回率可能会有很大差异。

6、因此，如何在复杂的水下环境中提高水下蛙人目标检测的准确性、减小识别误差以及提升泛化能力是当前研究的热点和难点。

7、事件相机，也称为脉冲相机或异步相机，是一种新型的传感器技术，用于捕捉和处理场景中快速变化的运动和事件。事件相机通过高时间分辨率、低延迟、高动态范围和低功耗等特点，为目标检测提供了优异的能力。它能够捕捉到快速变化的目标动作并提供准确的特征信息，具有在高速、高动态范围和实时性要求的场景中应用的潜力。然而，事件相机目前仍处于发展阶段，针对水下场景的视觉应用，事件相机的潜力还尚未完全挖掘，需要进一步研究以实现更广泛的应用。

技术实现思路

1、本发明为了解决以往的水下蛙人目标检测缺乏鲁棒性强的特征信息的问题，利用事件相机获取水下蛙人事件序列和rgb图像，将水下蛙人事件序列和rgb图像信息进行细粒度特征融合，为水下蛙人目标检测提供高效鲁棒性强的特征信息。

2、所述检测方法包括如下步骤：

3、s1、利用事件相机采集水下蛙人事件序列和水下蛙人rgb图像；

4、s2、对步骤s1采集的水下蛙人事件序列采用固定时间间隔法转化为水下蛙人事件图像，使用水下蛙人事件图像与水下蛙人rgb图像构建数据集，按照7：3的比例划分训练集与验证集，用于对模型进行训练；

5、s3、设计rgb残差学习模块，用于提取水下蛙人rgb图像特征；

6、s4、设计事件图像残差学习模块，用于提取水下蛙人事件图像特征；

7、s5、设计水下蛙人rgb图像与事件图像特征融合网络，将rgb残差学习模块与事件图像残差学习模块嵌入到网络中，实现对rgb图像特征与事件图像特征的提取与融合，获得融合rgb与事件图像的融合特征图；

8、s6、将水下蛙人rgb图像与事件图像特征融合网络嵌入到目标检测模型中；

9、s7、使用步骤s2构建的数据集训练步骤s6获得的目标检测模型，使用验证集验证网络训练效果，保存最优目标检测模型；

10、s8、使用步骤s7保存的最优目标检测模型对水下蛙人进行目标检测。

11、进一步，所述步骤s1中事件相机的主动像素传感器采集水下蛙人rgb图像，事件相机的动态视觉传感器采集水下蛙人事件序列。

12、进一步，所述步骤s2中，采用固定时间间隔法将水下蛙人事件序列转化为水下蛙人事件图像，具体为：将帧重建设置为10ms的固定帧长，使检测频率达到每秒100帧，在每个时间间隔内，根据水下蛙人事件序列中事件生成的像素位置，在有极性生成的对应像素点上，极性增加的事件被绘制成白色像素，极性减少的事件被绘制成黑色像素，图像的背景颜色为灰色，最后生成与水下蛙人rgb图像相同大小的水下蛙人事件图像。

13、进一步，所述步骤s3中，所述rgb残差学习模块包括三个分支，第一个分支由两个dbs模块以及一个全局平均池化串联而成；第二个分支由一个坐标注意力机制构成；第三个分支作为残差分支；最后三个分支的输出特征图通过逐元素相加得到对应每一级尺度下完整细粒度的融合特征图。

14、进一步，所述步骤s4中，所述事件图像残差学习模块包括三个分支，第一个分支由两个dbs模块以及一个全局最大池化串联而成；第二个分支由一个dbs模块组成；第三个分支作为残差分支；最后三个分支的输出特征图通过逐元素相加得到对应每一级尺度下完整细粒度的融合特征图。

15、进一步，所述dbs模块包括卷积层、批量归一化层和激活层。

16、进一步，所述步骤s5中，所述水下蛙人rgb图像与事件图像特征融合网络由三个分支和一个总拼接层组成，第一个分支由三个事件图像残差学习模块串联构成，第二个分支由三个rgb残差学习模块串联构成，第三个分支为残差，三种分支每层输出的特征图进行逐元素相加融合，然后送入下一层rgb残差学习模块中，最后将三个分支输出的特征图在总拼接层进行按维度拼接。

17、进一步，步骤s6中，水下蛙人rgb图像与事件图像特征融合网络嵌入到目标检测模型的特征提取网络之前。

18、本发明所述方法的有益效果为：

19、利用事件相机获取水下蛙人事件序列和rgb图像，设计rgb残差学习模块，用于充分提取水下蛙人rgb图像空间特征信息，设计事件残差学习模块，用于充分提取水下蛙人事件图像纹理特征信息，设计特征融合网络，使水下蛙人rgb图像特征信息与水下蛙人事件图像特征信息进行细粒度特征融合。解决了因水下光照不均匀、水质模糊等一系列极端环境因素导致的目标特征信息不足等问题，为水下蛙人目标检测提供高效鲁棒性强的特征信息。能够对水下复杂环境条件下的蛙人目标进行准确高效的端到端的检测。

20、本发明所述方法可以应用在水下目标检测技术领域、水下航行安全检测领域以及水下目标识别设备制造领域。

技术特征：

1.一种基于事件相机的水下蛙人目标检测方法，其特征在于，所述检测方法包括如下步骤：

2.根据权利要求1所述的基于事件相机的水下蛙人目标检测方法，其特征在于，所述步骤s1中事件相机的主动像素传感器采集水下蛙人rgb图像，事件相机的动态视觉传感器采集水下蛙人事件序列。

3.根据权利要求1所述的基于事件相机的水下蛙人目标检测方法，其特征在于，所述步骤s2中，采用固定时间间隔法将水下蛙人事件序列转化为水下蛙人事件图像，具体为：将帧重建设置为10ms的固定帧长，使检测频率达到每秒100帧，在每个时间间隔内，根据水下蛙人事件序列中事件生成的像素位置，在有极性生成的对应像素点上，极性增加的事件被绘制成白色像素，极性减少的事件被绘制成黑色像素，图像的背景颜色为灰色，最后生成与水下蛙人rgb图像相同大小的水下蛙人事件图像。

4.根据权利要求1所述的基于事件相机的水下蛙人目标检测方法，其特征在于，所述步骤s3中，所述rgb残差学习模块包括三个分支，第一个分支由两个dbs模块以及一个全局平均池化串联而成；第二个分支由一个坐标注意力机制构成；第三个分支作为残差分支；最后三个分支的输出特征图通过逐元素相加得到对应每一级尺度下完整细粒度的融合特征图。

5.根据权利要求1所述的基于事件相机的水下蛙人目标检测方法，其特征在于，所述步骤s4中，所述事件图像残差学习模块包括三个分支，第一个分支由两个dbs模块以及一个全局最大池化串联而成；第二个分支由一个dbs模块组成；第三个分支作为残差分支；最后三个分支的输出特征图通过逐元素相加得到对应每一级尺度下完整细粒度的融合特征图。

6.根据权利要求3或4所述的基于事件相机的水下蛙人目标检测方法，其特征在于，所述dbs模块包括卷积层、批量归一化层和激活层。

7.根据权利要求1所述的基于事件相机的水下蛙人目标检测方法，其特征在于，所述步骤s5中，所述水下蛙人rgb图像与事件图像特征融合网络由三个分支和一个总拼接层组成，第一个分支由三个事件图像残差学习模块串联构成，第二个分支由三个rgb残差学习模块串联构成，第三个分支为残差，三种分支每层输出的特征图进行逐元素相加融合，然后送入下一层rgb残差学习模块中，最后将三个分支输出的特征图在总拼接层进行按维度拼接。

8.根据权利要求1所述的基于事件相机的水下蛙人目标检测方法，其特征在于，步骤s6中，水下蛙人rgb图像与事件图像特征融合网络嵌入到目标检测模型的特征提取网络之前。

技术总结
一种基于事件相机的水下蛙人目标检测方法。属于水下机器视觉目标检测技术领域，具体涉及水下蛙人目标检测领域。其解决了以往的水下蛙人目标检测缺乏鲁棒性强的特征信息的问题。所述方法具体为：利用事件相机获取水下蛙人事件序列和RGB图像，设计RGB残差学习模块，用于充分提取水下蛙人RGB图像空间特征信息，设计事件残差学习模块，用于充分提取水下蛙人事件图像纹理特征信息，设计特征融合网络，使水下蛙人RGB图像特征信息与水下蛙人事件图像特征信息进行细粒度特征融合。本发明所述方法可以应用在水下目标检测技术领域、水下航行安全检测领域以及水下目标识别设备制造领域。

技术研发人员：姜宇,赵明浩,齐红,王跃航,魏枫林,王凯,郭千仞
受保护的技术使用者：吉林大学
技术研发日：
技术公布日：2024/1/15