水下声光特征的水下检测方法、装置、介质和电子设备

本发明涉及计算机，尤其涉及一种水下声光特征的水下检测方法、装置、介质和电子设备。

背景技术：

1、水下环境的目标检测对于对于开发海洋资源、保护海洋环境、以及海洋搜救具有重要的价值。比如对于海洋搜救而言，精准快速的检测到搜救目标对于灾害的抢救至关重要；对海洋物种的精准检测计数能为海洋物种保护提供重要的数据。水下成像环境具有它自身的特殊性，水体对光线的吸收散射会导致水下图像的色彩偏转、降低图像的对比度，使图像变得模糊，而这些因素又会进一步导致水下光学图像纹理信息的缺失。而在纹理信息缺失的情况下，水下目标检测任务将对通用目标检测算法提出重大挑战。

2、针对水下光学图像纹理缺失的问题，可以从补充额外模态的图像特征来进行弥补。由于声波在海水中的衰减远比电磁波小，故声波是在海中检测目标和传递信息的有效介质，因此基于声波的特性研究出的声纳成为了水下探测的一种重要工具。考虑到声呐对水下的特殊性质，水下声纳图像能够具有较高的成像质量，因此可以使用额外的声纳图像来融合水下光学图像，从而弥补水下光学图像纹理信息缺失的问题，从而提高水下模糊光学图像的目标检测准确率。基于此，本专利拟提出一种融合水下声光特征的目标检测方法。

3、本发明提出一种水下声光特征的水下检测方法。首先，使用两个类别无关的检测器分别对光学图像和声学图像生成可能包含感兴趣目标的预选框，并使用池化方法获得每个预选框的特征。然后，基于对比学习的思路，计算光学预选框特征和声学预选框特征的相似度矩阵，并基于这个矩阵建立光学特征预选框和声学特征预选框的一一匹配。其次，使用通道注意力的思路设计融合方法实现对配对的声学特征和光学特征的有效融合。最后，将融合后的特征输入到类别有关的检测网络如rcnn网络进行预选框的分类和边框回归从而得到最终检测结果。使得水下目标的纹理特征得到大幅补充，检测结果得到了明显的提升。

技术实现思路

1、有鉴于此，本发明提出一种水下声光特征的水下检测方法。首先，使用两个类别无关的检测器分别对光学图像和声学图像生成可能包含感兴趣目标的预选框，并使用池化方法获得每个预选框的特征。然后，基于对比学习的思路，计算光学预选框特征和声学预选框特征的相似度矩阵，并基于这个矩阵建立光学特征预选框和声学特征预选框的一一匹配。其次，使用通道注意力的思路设计融合方法实现对配对的声学特征和光学特征的有效融合。最后，将融合后的特征输入到类别有关的检测网络如rcnn网络进行预选框的分类和边框回归从而得到最终检测结果。

2、具体地，本发明是通过如下技术方案实现的：

3、根据本发明的第一方面，提供一种基于水下声光特征的水下检测方法，包括：获取声学检测器信息；基于声学检测器信息获取声学预选框特征；获取光学图像检测器信息；基于光学图像检测器信息获取光学预选框特征；对声学预选框特征和光学预选框特征进行维度拼接；将维度拼接后的声学预选框特征和维度拼接后的光学预选框特征进行融合，生成融合预选框特征；基于融合预选框特征获取检测结果。

4、在上述技术方案中，基于声学检测器信息获取声学预选框特征的步骤包括：

5、基于yolo系列算法在所述声学检测器信息中获取所述声学预选框，其中，yolo系列算法如下：

6、

7、其中，yolo表示改造成类别无关的yolo系列目标检测算法，a表示输入的声学图像，表示在声学图像中检测到的第i个预选框，pa表示在声学图像上提取的特征；

8、所述基于所述光学图像检测器信息获取光学预选框的步骤包括：

9、基于所述yolo系列算法在所述光学检测器信息获取所述声学预选框；

10、

11、其中，yolo表示与类别无关的yolo系列目标检测算法，o表示输入的光学图像，表示在光学图像中检测到的第i个预选框，po表示在光学图像上提取的特征。

12、在上述技术方案中，对声学预选框特征和光学预选框特征进行维度拼接的步骤之前还包括：

13、对声学预选框特征和光学预选孔进行池化处理。

14、在上述技术方案中，对声学预选框特征和光学预选框特征进行池化处理的步骤包括：

15、基于pooling算法对所述声学预选框特征和所述光学预选框特征进行池化处理，

16、

17、

18、其中，pooling表示池化操作，表示光学图像中第i个预选框池化得到的特征，表示声学学图像中第i个预选框池化得到的特征。

19、在上述技术方案中，对所述声学预选框特征进行维度拼接的公式如下：

20、

21、其中，∏表示拼接操作，fo表示拼接后的光学预选框特征，n表示声学图像中生成的预选框的数目；

22、对所述光学预选框特征进行维度拼接的公式如下

23、

24、其中，∏表示拼接操作，fa表示拼接后的声学预选框特征，m表示光学图像中生成的预选框的数目。

25、在上述技术方案中，对声学预选框特征和光学预选框特征进行维度拼接的步骤之后，方法还包括：基于矩阵乘法和softmax函数计算得到相似性矩阵，具体公式如下；

26、

27、其中softmax表示激活函数，soa表示计算得到的相似度矩阵，表示拼接后的声学预选框特征的转置矩阵；

28、基于相似度矩阵获取光学预选框特征对应的声学预选框特征的牵引，具体公式如下；

29、ioa＝argmax(soa),

30、其中，argmax为查找最大值索引的函数，ioa是光学预选框特征对应声学预选框特征匹配的索引。

31、在上述技术方案中，将维度拼接后的声学预选框特征和维度拼接后的光学预选框特征进行融合的步骤包括：

32、使用多层感知机构建通道注意力的输入，具体公式如下：

33、

34、其中，mlp是多层感知机，是通道注意力的输入；

35、对所述通道注意力的输入进行融合，获得所述光学预选框特征的分配的融合权重和所述声学预选框特征的分配的融合权重，具体公式如下：

36、

37、其中，avgpool和maxpool最大池化函数，split表示切分函数，用于将特征在通道维度切分成两等份，是光学预选框特征的分配的融合权重和是声学预选框特征的分配的融合权重；

38、通过所述光学预选框特征的分配的融合权重和所述声学预选框特征的分配的融合权重对将维度拼接后的所述声学预选框特征和维度拼接后的所述光学预选框特征进行融合，生成融合预选框，具体公式如下：

39、

40、其中，表示融合预选框，*表示权重求和。

41、在上述技术方案中，基于融合预选框特征获取检测结果的步骤包括：

42、使用rcnn网络对融合预选框特征进行处理，生成检测结果，具体公式如下；

43、

44、这其中bij表示预测的边框的坐标，cij表示预测的类别。

45、根据本发明的第二方面，提供一种水下声光特征的水下检测装置，所述装置包括用于执行第一方面或第一方面的任意可能的实现方式中的水下声光特征的水下检测方法的模块。

46、根据本发明的第三方面，提供一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现第一方面或第一方面的任意可能的实现方式中的基于强化学习的图匹配方法的步骤。

47、根据本发明的第四方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面或第一方面的任意可能的实现方式中的基于强化学习的图匹配方法的步骤。

48、本发明提供的技术方案至少带来以下有益效果：首先，使用光学检测器和声学检测器分别对光学图像和声学图像生成的预选框特征，并使用池化方法获得每个预选框特征的特征。然后，基于对比学习的思路，计算光学预选框特征和声学预选框特征的相似度矩阵，并基于这个矩阵建立光学特征预选框特征和声学特征预选框特征的一一匹配。其次，使用通道注意力的思路设计融合方法实现对配对的声学特征和光学特征的有效融合。最后，将融合后的特征输入到类别有关的检测网络如rcnn网络进行预选框特征的分类和边框回归从而得到最终检测结果。使得水下目标的纹理特征得到大幅补充，检测结果得到了明显的提升。