一种基于单目水下机器人的海底产品密度检测方法及装置

本发明涉及深度学习和计算机视觉领域，尤其涉及一种基于单目水下机器人的海底产品密度检测方法及装置。

背景技术：

1、近年来，随着人类对海洋资源的深入开发和利用，计算机视觉等领域的发展对海洋资源的探索到了至关重要的作用。海底产品如海参、海胆等已经成为了一种越来越受欢迎的高价值产品，而海底产品的密度是决定其营养含量和市场价值的重要因素之一。但由于水下环境复杂多样，普通的密度检测方法难以准确识别海底目标，海水中的大量悬浮物导致的光照强度衰减，海底地形普遍凹凸不平，难以计算区域面积，如何准确的估测海底产品的分布密度从而判断它的经济价值就成了很大的问题。因此，利用单目水下机器人来确定海底区域面积并利用检测算法来确定区域产品密度，以解决海底地形复杂难以估测产品密度的问题具有重要的研究意义。

2、海底产品密度检测就是运用深度学习和计算机视觉等领域的相关知识，通过水下目标检测识别采集到图像中的目标个数，并通过相机内外参数将图像坐标系转换为世界坐标系的方式计算出图像面积得出区域产品密度的技术。传统的基于深度学习的水下目标检测方法大多是通过摄像头采集数据集，对图像进行预处理以及数据增强后再分类标注，通过分层抽样的方法将其划分为训练集、验证集和测试集，训练出模型后再用于水下目标检测。

3、现有的海底密度检测方法在水下领域的进展相对缓慢，因为海底环境恶劣、地形凹凸不平、能见度差，并且伴随有光吸收和散射的影响。研究人员近年来已经对海底密度检测技术进行了一些尝试，但仍然未突破检测模型精度较低和测算海底区域的面积不准的问题。

技术实现思路

1、鉴于现有技术的不足，本发明提供一种基于单目水下机器人的海底产品密度检测方法及装置。本发明主要利用自注意力机制和单目水下机器人配合激光定位技术，能够实现对海洋生物的快速检测，和区域面积的精准测量。

2、本发明采用的技术手段如下：

3、一种基于单目水下机器人的海底产品密度检测方法，包括以下步骤：

4、通过单目水下机器人采集海底产品图像，所述单目水下机器人上携带有激光投射设备，所述激光投射设备用于向海底投射两条平行且距离确定的绿色激光线，所述海底产品图像带有激光线；

5、将所述海底产品图像输入训练后的目标检测模型中获取图像范围内海产品的数量，所述目标检测模型采用改进的yolox目标检测网络，所述改进的yolox目标检测网络为在yolox目标检测网络的特征提取backbone部分添加自注意力机制senet；

6、对所述海底产品图像进行hsv转化，由转化后的图像中提取激光线范围，再将提取的激光线进行一维投影处理，根据投影结果的像素长度，结合两条激光线的实际距离确定当前海底产品图像的面积；

7、基于所述当前海底产品图像的面积以及图像范围内海产品的数量，计算海产品密度。

8、进一步地，所述目标检测模型的训练步骤包括：

9、获取海底产品图像数据集，将所述海底产品图像数据集划分为训练集、测试集和验证集；

10、将划分好的数据输入到改进的yolox目标检测网络中，通过反向传播算法来更新偏置和权重，最终得到预测物体类别和位置的目标检测模型。

11、进一步地，通过反向传播算法来更新偏置和权重，包括：

12、根据以下计算更新偏置和权重：

13、

14、

15、其中，bl代表第l层偏置，wl代表第l层权重，α是学习率，为求导符号，c代表损失函数。

16、进一步地，对所述海底产品图像进行hsv转化，包括：将海底产品图像从rgb颜色空间hsv颜色空间。

17、进一步地，由转化后的图像中提取激光线范围，再将提取的激光线进行一维投影处理，根据投影结果的像素长度，结合两条激光线的实际距离确定当前海底产品图像的面积，包括：

18、设定转化后图形的hsv取值范围，创建一个与原始图像大小相同的掩模，所述掩模中的像素值为0或255，其中像素值为255的像素表示该位置可能包含绿色激光线，而像素值为0的像素则表示该位置不可能包含绿色激光线；

19、基于设定的hsv取值范围，将输入的hsv图像进行二值化处理，得到一个和原图像大小相同的二值化图像，其中像素值在hsv取值范围之外的部分被设为0，在hsv取值范围之内的部分被设为255；

20、将激光线区域从2d向1d进行投影，将二值化后的图像按列求和得到一维数组，再将数组从中间分为左右两部分分别求取其中的最大值，两值之间的下标差即为激光线在x轴上的像素长度，然后将像素长度传入yolox检测头进行处理，通过yolox检测头会计算出激光线在y轴上的像素长度，用激光线间的实际距离比上像素数可得每个像素代表的实际距离，x轴、y轴像素长度已知，两者相乘便可以得到整个图像的面积si：

21、

22、其中，xl代表x轴上的像素长度，y1代表y轴上的像素长度，d代表激光线间的实际距离。

23、本发明还公开了一种基于单目水下机器人的海底产品密度检测方法，包括以下步骤：

24、保持单目水下机器人在水下匀速移动，根据权利要求1所述的检测方法计算出整个区域的产品数量和面积，最终得到海底产品区域密度。

25、本发明还公开了一种基于单目水下机器人的海底产品密度检测装置，包括：

26、图像获取模块，用于通过单目水下机器人采集海底产品图像，所述单目水下机器人上携带有激光投射设备，所述激光投射设备用于向海底投射两条平行且距离确定的绿色激光线，所述海底产品图像带有激光线；

27、目标检测模块，用于将所述海底产品图像输入训练后的目标检测模型中获取图像范围内海产品的数量，所述目标检测模型采用改进的yolox目标检测网络，所述改进的yolox目标检测网络为在yolox目标检测网络的特征提取backbone部分添加自注意力机制senet；

28、面积计算模块，用于对所述海底产品图像进行hsv转化，由转化后的图像中提取激光线范围，再将提取的激光线进行一维投影处理，根据投影结果的像素长度，结合两条激光线的实际距离确定当前海底产品图像的面积；

29、密度计算模块，用于基于所述当前海底产品图像的面积以及图像范围内海产品的数量，计算海产品密度。

30、较现有技术相比，本发明具有以下优点：

31、1、本发明采用自注意力机制senet，在基础的卷积神经网络上增加了一个squeeze-and-excitation模块，该模块通过自注意力机制，将图像中每个通道的特征进行加权，可以更好地捕捉目标内部的关键信息，以提高重要特征的表现能力，从而提高模型的检测性能。

32、2、本发明单目水下机器人通过固定两条一定距离的绿色激光线能方便、准确的测量区域面积，并且可以通过准确地控制自身的运动轨迹和视野，实现对海底产品密度的非接触性测量，避免了传统测量方法中因接触导致的误差问题。相比于传统方法的手工测量或人工观察，单目水下机器人能够快速获取数据并进行处理，大大加快密度测量的速度，也可以灵活地操纵，便于在不同的环境下进行测量。相比于传统的人工测量方法，其适应性更强。

33、3、本发明能够很好地解决传统密度检测方法需要耗费大量人力物力、容易受外部环境影响的问题；该方法采用激光线作为参照物计算海底区域面积，能很好的解决海底环境恶劣、面积难以测算的问题；该方法运用自注意力机制优化检测网络，能更好的帮助模型学习输入数据中的关键特征；可以让检测模型更好地捕捉输入图像中不同位置之间的关联信息，从而提高目标检测的准确率。