一种基于水下目标的固有属性特征进行检测的方法及装置与流程

本发明涉及图像处理领域，尤其是一种基于水下目标的固有属性特征进行检测的方法及装置。

背景技术：

1、在水下目标识别中，识别水下目标的准确性和有效性对于海洋勘测、海底资源开发等领域具有重要意义。水下目标识别的关键在于对水下环境中的目标进行有效的检测和分类。例如，现有技术中公开了一种基于机器学习的水下目标识别方法、一种面向小样本水下图像的目标识别系统、一种基于yolov4的水下目标识别方法 、一种多特征融合的水下目标识别方法、一种基于多模态融合的水下目标识别方法等。

2、水下目标识别技术的方案主要可以分为深度学习算法和传统视觉算法两大类：

3、（1）深度学习算法：深度学习算法在水下目标识别中取得了显著的成果。主要包括卷积神经网络（cnn）和循环神经网络（rnn）等，以faster rcnn、yolo为主的目标检测算法。cnn适用于图像识别和分类，可以学习水下目标的特征，并进行准确的分类和识别。rnn适用于处理水下目标的时间序列数据，如声纳信号。

4、（2）传统视觉算法：传统视觉算法主要基于计算机视觉和图像处理技术。常见的方法包括边缘检测、纹理特征提取和模板匹配等。边缘检测通过检测图像中的边缘信息来定位和识别水下目标，如canny边缘检测算法。纹理特征提取算法通过提取水下目标的纹理、形状和颜色等特征信息，并使用纹理描述符进行目标识别。模板匹配通过将预定义的目标模板与水下图像进行匹配，从而实现目标的定位和识别。

5、但目前算法主要有以下几个缺点：

6、（1）深度学习检测、分类算法对数据质量和噪声敏感，需要大量标注数据进行训练，训练时间长且计算资源要求高，模型复杂且难以解释和调试。对不同检测平台泛化性不强。

7、（2）边缘检测算法对光照变化和噪声敏感，对于光照变化较大和存在噪声干扰的水下环境，可能会导致边缘检测的准确性下降。且边缘检测算法只能提供目标的边界信息，无法提供目标的具体形状、纹理等特征信息。

8、（3）纹理特征提取算法通常需要手工设计特征提取方法，这可能会导致特征提取的主观性，不同的算法和参数选择可能会导致不同的结果。

9、（4）模板匹配算法对目标变形和遮挡敏感，对于目标的变形和遮挡较多的水下环境，可能会导致匹配结果不准确。且模板匹配算法通常需要提供目标的初始位置，如果初始位置不准确，可能会导致匹配失败或者错误定位目标。

技术实现思路

1、本发明提出一种基于水下目标的固有属性特征进行检测的方法及装置，能够解决深度学习算法对数据质量和噪声敏感、光照变化和噪声干扰对边缘检测算法具有较大影响、手工设计特征提取方法导致的主观性、水下目标变形和遮挡对模板匹配算法的影响造成目标检测结果不准确的技术问题。

2、在本发明上述各方法实施例中，一种基于水下目标的固有属性特征进行检测的方法，包括：

3、步骤s1：获取涉及目标的图像，对所述涉及目标的图像进行预处理，所述涉及目标的图像包括声学图像和光学图像，所述光学图像为水面光学图像或水下光学图像；所述预处理包括对所述声学图像进行随机旋转，得到第一声学图像；若所述光学图像为水面光学图像，对所述水面光学图像使用训练完毕的反射区域检测模型去除水面反射区域，得到第一光学图像；对所述第一光学图像除雾、进行亮度调整、色彩还原，得到第二光学图像；若所述光学图像为水下光学图像，对所述光学图像除雾、进行亮度调整、色彩还原，得到第二光学图像；

4、步骤s2：基于所述第一声学图像、第一光学图像和/或第二光学图像构建训练样本集；

5、步骤s3：将所述第一声学图像输入训练完毕的前景区域分割网络模型，得到声学特征图；将所述第一光学图像和/或所述第二光学图像作为输入，输入目标深度估计网络模型，得到光学特征图；基于所述声学特征图及所述光学特征图，进行特征融合，得到融合后的光学图像特征；将所述融合后的光学图像特征输入待训练的多尺度水下目标识别模型，经过若干轮次训练后，得到第一阶段多尺度水下目标识别模型，获取所述第一阶段多尺度水下目标识别模型中各参数的权重信息；

6、步骤s4：对所述第一声学图像提取频谱特征，得到固有频谱特征；对水面光学图像，对所述第一光学图像、所述第二光学图像分别提取纹理、形状、颜色特征，得到固有光学特征；对水下光学图像，对所述第二光学图像提取纹理、形状、颜色特征，得到固有光学特征；对所述固有频谱特征，增加通道注意力，得到添加通道注意力的固有频谱特征；对所述固有光学特征，增加空间注意力，得到添加空间注意力的固有光学特征；将所述添加通道注意力的固有频谱特征及所述添加空间注意力的固有光学特征进行特征融合，得到固有融合特征；

7、步骤s5：基于所述固有融合特征对所述第一阶段多尺度水下目标识别模型进行训练，得到训练完毕的多尺度水下目标识别模型；

8、步骤s6：获取待检测水下图像，将所述待检测水下图像输入所述训练完毕的多尺度水下目标识别模型，得到水下目标的检测和识别结果。

9、可选地，所述对所述水面光学图像使用训练完毕的反射区域检测模型去除水面反射区域，得到第一光学图像，包括：

10、步骤s311：获取若干包含训练用水面光学图像和所述训练用水面光学图像的反射区域的标注信息，组成第一训练数据集；

11、步骤s312：基于所述第一训练数据集对所述反射区域检测模型进行训练，所述反射区域检测模型为faste r-cnn网络模型，得到训练完毕的反射区域检测模型；

12、步骤s313：将所述水面光学图像输入训练完毕的反射区域检测模型，得到所述水面光学图像的反射区域，从而在所述水面光学图像中去除所述反射区域，并将所述水面光学图像中反射区域对应的部分添加像素值，再将添加像素值的区域与该区域的周围像素进行融合，得到第一光学图像。

13、可选地，所述除雾、进行亮度调整、色彩还原，得到第二光学图像，包括：

14、步骤s321：获取若干包括不同水下环境、不同目标和不同光照条件下的训练用光学图像，组成第二训练数据集；

15、步骤s322：使用暗通道先验去雾算法去雾；

16、步骤s323：再对去雾后图像使用直方图均衡化方法调整亮度；

17、步骤s324：对调整亮度后的图像使用颜色调整算法进行色彩还原，得到第二光学图像。

18、可选地，所述将所述第一声学图像输入训练完毕的前景区域分割网络模型，得到声学特征图；将所述第一光学图像和/或所述第二光学图像作为输入，输入目标深度估计网络模型，得到光学特征图；基于所述声学特征图及所述光学特征图，进行特征融合，得到融合后的光学图像特征，包括：

19、步骤s31：将所述第一声学图像输入训练完毕的前景区域分割网络模型，所述前景区域分割网络模型为包括编码器和解码器的网络模型，由所述前景区域分割网络模型对所述第一声学图像中每个像素属于水下目标前景的概率进行预测，分割出所述第一声学图像对应的前景区域作为声学特征图；

20、步骤s32：将所述第一光学图像和/或所述第二光学图像作为输入，输入目标深度估计网络模型，所述目标深度估计网络模型为包括编码器和解码器的网络模型，由所述目标深度估计网络模型对输入的图像的每个像素对应的水下目标深度的概率进行预测，将得到的水下目标深度估计特征图作为光学特征图；

21、步骤s33：通过维度特征加权的方式将所述声学特征图及所述光学特征图进行融合，得到融合后的光学图像特征。

22、可选地，所述提取纹理、形状、颜色特征，得到固有光学特征，包括：

23、步骤s411：设置一固定大小的滑动窗口，用于在待获取固有光学特征的光学图像上滑动，所述待获取固有光学特征的光学图像为第一光学图像和/或第二光学图像；

24、步骤s412：对于滑动窗口对应的在所述待获取固有光学特征的光学图像上的子区域，获取该子区域内各个像素点的像素值；将该子区域的中心点的像素值作为中心像素值，并将所述中心像素值与所述中心点周转的8个像素点的像素值进行比较，根据比较结果生成8个二进制位，将8个二进制位组合为一个lbp编码；

25、lbp编码的生成方式为：

26、

27、其中，lbp(p)表示中心像素p的lbp编码，g(n)表示周围像素n的灰度值，g(p)表示中心像素p的灰度值，s(.)是一个阶跃函数，当函数值大于等于0时，s(.)等于1，否则等于0，k是周围像素位置与中心像素位置形成的位移，k的范围是0到7；

28、基于所述lbp编码生成所述滑动窗口在当前位置的特征向量，所述lbp编码作为所述滑动窗口在当前位置的特征向量的一部分；

29、步骤s413：将滑动窗口在所述待获取固有光学特征的光学图像上滑动得到的全部特征向量组合为固有光学特征。

30、在本发明上述各方法实施例中，一种基于水下目标的固有属性特征进行检测的装置，包括：

31、预处理模块：配置为获取涉及目标的图像，对所述涉及目标的图像进行预处理，所述涉及目标的图像包括声学图像和光学图像，所述光学图像为水面光学图像或水下光学图像；所述预处理包括对所述声学图像进行随机旋转，得到第一声学图像；若所述光学图像为水面光学图像，对所述水面光学图像使用训练完毕的反射区域检测模型去除水面反射区域，得到第一光学图像；对所述第一光学图像除雾、进行亮度调整、色彩还原，得到第二光学图像；若所述光学图像为水下光学图像，对所述光学图像除雾、进行亮度调整、色彩还原，得到第二光学图像；

32、训练样本生成模块：配置为基于所述第一声学图像、第一光学图像和/或第二光学图像构建训练样本集；

33、特征提取模块：配置为将所述第一声学图像输入训练完毕的前景区域分割网络模型，得到声学特征图；将所述第一光学图像和/或所述第二光学图像作为输入，输入目标深度估计网络模型，得到光学特征图；基于所述声学特征图及所述光学特征图，进行特征融合，得到融合后的光学图像特征；将所述融合后的光学图像特征输入待训练的多尺度水下目标识别模型，经过若干轮次训练后，得到第一阶段多尺度水下目标识别模型，获取所述第一阶段多尺度水下目标识别模型中各参数的权重信息；

34、特征融合模块：配置为对所述第一声学图像提取频谱特征，得到固有频谱特征；对水面光学图像，对所述第一光学图像、所述第二光学图像分别提取纹理、形状、颜色特征，得到固有光学特征；对水下光学图像，对所述第二光学图像提取纹理、形状、颜色特征，得到固有光学特征；对所述固有频谱特征，增加通道注意力，得到添加通道注意力的固有频谱特征；对所述固有光学特征，增加空间注意力，得到添加空间注意力的固有光学特征；将所述添加通道注意力的固有频谱特征及所述添加空间注意力的固有光学特征进行特征融合，得到固有融合特征；

35、训练模块：配置为基于所述固有融合特征对所述第一阶段多尺度水下目标识别模型进行训练，得到训练完毕的多尺度水下目标识别模型；

36、识别模块：配置为获取待检测水下图像，将所述待检测水下图像输入所述训练完毕的多尺度水下目标识别模型，得到水下目标的检测和识别结果。

37、在本发明上述各方法实施例中，一种计算机可读存储介质，所述存储介质中存储有多条指令，所述多条指令用于由处理器加载并执行如前所述方法。

38、在本发明上述各方法实施例中，一种电子设备，所述电子设备，包括：

39、处理器，用于执行多条指令；

40、存储器，用于存储多条指令；

41、其中，所述多条指令用于由所述存储器存储，并由所述处理器加载并执行如前所述方法。

42、本发明提出了一种基于注意力机制和目标的固有属性特征进行水下目标检测与识别。该方法通过引入注意力机制，能够自适应地关注水下图像中与目标相关的区域，提高深度学习算法对噪声和数据质量的鲁棒性。同时，利用目标的固有属性特征，如形状、纹理等，结合深度学习算法进行特征提取和分类，提高水下目标检测与识别的准确性和鲁棒性。

43、具体而言，该方法首先使用深度学习算法对水下图像进行特征提取和分类，得到初步的目标检测结果。然后，通过引入注意力机制，根据目标的固有属性特征，自适应地调整模型的注意力权重，将更多的关注点集中在目标区域，提高目标检测的准确性。接着，利用目标的固有属性特征，如形状、纹理等，结合深度学习算法进行再次特征提取和分类，进一步提高目标识别的准确性和鲁棒性。

44、通过综合利用注意力机制和目标的固有属性特征，本发明能够克服深度学习对数据质量和噪声的敏感性，提高水下目标检测与识别的准确性和鲁棒性。同时，该方法还能够提供更多的目标特征信息，并解决目标变形和遮挡的问题。因此，本发明将为水下目标检测与识别领域带来一种新的解决方案，具有重要的应用价值和推广前景。

45、本发明具有以下优点：

46、1、本发明引入了固有特征提取融合模块，可以将多源图像数据融合的水下目标特征与基于lofar谱图和局部二值模式算法的水下目标特征进行融合。相比于传统的单一特征提取方法，多通道融合模块可以充分利用不同特征的优势，提取出更全面、丰富的水下目标特征，从而提高水下目标检测的准确性和稳定性。

47、2、本发明能够充分利用多源数据的结构和空间维度相似度，通过计算结构聚合度和空间聚合度，实现对每个源数据的重要性评估。有效利用多源数据，通过分析结构维度相似度和空间维度相似度，本发明能够有效利用多源数据的信息，提取出多模态图像的重要特征。注意力机制调整重要性，采用通道注意力机制和空间注意力机制来调整每个源数据在特征通道和空间上的重要性，从而更好地融合多源数据的特征。

48、3、本发明采用两阶段训练深度学习方法，本发明采用了深度学习方法，例如卷积神经网络（cnn），来提取水下目标的特征表示。深度学习方法具有强大的特征学习和表示能力，可以更好地捕捉水下目标的形状、纹理和结构等信息。相比于传统的水下目标检测方法，本发明基于深度学习的方法可以提高水下目标检测的准确性和鲁棒性以及实时性。

49、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。