一种可集成于水下机器人平台的水下垃圾目标识别方法

本发明涉及图像识别领域，具体涉及一种可集成于水下机器人平台的水下垃圾目标识别方法。

背景技术：

1、水下机器在水下行驶过程中，通过摄像头实时获取水下图像并进行目标识别，获得水下垃圾图像信息。但是现有的水下图像在处理时，常采用卷积神经网络cnn对水下图像进行处理，缺乏针对于水下垃圾精确化识别的目标识别模型，导致水下机器人无法有效地识别到水下垃圾。

2、由于目标识别模型体量过大无法直接在水下机器人中央处理器上直接运行，现采用的目标识别方法多依赖上位机对水下机器人传输回的图像进行识别处理，图像在传输会上位机再通过目标识别模型进行垃圾识别产生的延迟会影响水下机器人的进一步操作，如通过机械臂对水下垃圾进行处理回收等。

技术实现思路

1、针对现有技术中的上述不足，本发明提供的一种可集成于水下机器人平台的水下垃圾目标识别方法解决了现有水下垃圾目标识别过程延迟较高的问题。

2、为了达到上述发明目的，本发明采用的技术方案为：

3、提供一种可集成于水下机器人平台的水下垃圾目标识别方法，其包括以下步骤：

4、s1、获取水下图像并进行图像增强，得到预处理后的图像；

5、s2、构建水下垃圾目标识别模型，通过水下垃圾目标识别模型对预处理后的图像进行识别。

6、进一步地，步骤s1中对水下图像进行图像增强的具体方法为：

7、通过双边滤波模型对水下图像进行图像降噪；通过对比度受限的自适应直方图均衡化模型限制进行了图像降噪的水下图像中灰度级出现的概率并进行自适应直方图均衡化；其中双边滤波模型的表达式为：

8、

9、其中h(i,j)为进行图像降噪后像素坐标为(i,j)处的像素值；(k,l)为当前图像的中心坐标；σd和σr均为高斯函数的标准差；f(i,j)表示进行图像降噪前像素坐标为(i,j)处的像素值；f(k,l)表示进行图像降噪前像素坐标为(k,l)处的像素值；exp表示以自然常数e为底的指数；

10、对比度受限的自适应直方图均衡化模型中对比度受限条件为：

11、且

12、其中wi为限制对比度后各灰度级的出现概率；ki为进行了图像降噪的水下图像上第i个灰度级出现的概率超出裁剪阈值的部分；yi为进行了图像降噪的水下图像上第i个灰度级出现的概率；h为裁剪阈值。

13、上述进一步地方案的有益效果为：对水下图像进行双边滤波和对比度受限的自适应直方图均衡化处理，提高水下图像的质量，更有效地提取到水下图像的物体特征进行目标识别。先对水下图像进行双边滤波处理，双边滤波综合考虑了空间域和像素范围域，有较强的保边、降噪、平滑能力，相较于采用传统高斯滤波器等其能够保留更多的边缘和细节信息。自适应直方图均衡化是直方图均衡化的一种改进形式，它在不同区域对图像进行均衡化，以适应图像中局部对比度的变化；普通直方图均衡化会全局地拉伸图像的灰度级，可能会引入噪音或丧失细节，而自适应直方图均衡化则通过在图像的不同部分应用直方图均衡化，更好地保留了图像的局部信息。

14、进一步地，步骤s2中水下垃圾目标识别模型包括主干特征提取网络、乘法器m1、乘法器m2、第一目标提取层、第二目标提取层、加法器a1和筛选校准层；其中：

15、主干特征提取网络的输入端为水下垃圾目标识别模型的输入端；主干特征提取网络包括五个不同尺度输出端，分别为第一特征输出端、第二特征输出端、第三特征输出端、第四特征输出端和第五特征输出端；第一特征输出端、第二特征输出端和第三特征输出端与乘法器m1的输入端连接；第三特征输出端、第四特征输出端和第五特征输出端与乘法器m2的输入端连接；乘法器m1的输出端连接第一目标提取层的输入端；乘法器m2的输出端连接第二目标提取层的输入端；第一目标提取层的输出端和第二目标提取层的输出端连接加法器a1的输入端；加法器a1的输出端连接筛选校准层的输入端；筛选校准层的输出端为水下垃圾目标识别模型的输出端。

16、上述进一步地方案的有益效果为：有助于融合多尺度的特征信息，提高目标识别的准确性：第一目标提取层和第二目标提取层通过乘法器m1和乘法器m2的输出端连接到加法器a1，进一步融合不同尺度的目标特征信息。加法器a1的输出端连接到筛选校准层的输入端，通过这一步骤，对目标提取结果进行进一步的筛选和校准，以确保最终输出的目标提取结果更加精准；最终，筛选校准层的输出端作为最终输出端，提供给用户或其他系统使用。

17、进一步地，主干特征提取网络为舍弃了尾部处全连接层和全局池化层的mobilenetv1网络，包括依次连接的3×3卷积层、第一下采样层、第一倒残差层、第二倒残差层、第二下采样层、第三倒残差层、第四倒残差层、第五倒残差层、第三下采样层、第一moblie vit层、第六倒残差层、第四下采样层、第二moblie vit层、第七倒残差层、第五下采样层和第三moblie vit层；第一倒残差层的输出端为第一特征输出端；第四倒残差层的输出端为第二特征输出端；第一moblie vit层的输出端为第三特征输出端；第二moblie vit层的输出端为第四特征输出端；第三moblie vit层的输出端为第五特征输出端。

18、进一步地，第一目标提取层和第二目标提取层均为yolov8网络中csp单元；筛选校准层采用nms算法。

19、上述进一步地方案的有益效果为：mobilenetv1是一种精简且高效的卷积神经网络，通过采用深度可分离卷积等轻量级的操作，有效减小了网络的参数量和计算复杂度，适用于资源受限的场景。通过使用轻量型网络mobilenetv1作为主干特征提取网络，摒弃了尾部处的全连接层和全局池化层，实现目标识别神经网络的轻量化，以便在计算资源有限的环境中高效运行。

20、进一步地，水下垃圾目标识别模型的训练方法包括以下子步骤：

21、a1、通过已知标签的水下垃圾图像形成的训练集对水下垃圾目标识别模型进行初次训练，并采用l1范数度量初次训练后的水下垃圾目标识别模型中所有卷积层中的权重矩阵的稀疏度；

22、a2、根据反向转播得到水下垃圾目标识别模型中任一卷积层中的权重矩阵的权重梯度；

23、a3、对于每一个卷积层，根据权重矩阵的稀疏度、权重梯度和任务属性设置动态阈值；

24、a4、对于每一个卷积层，根据卷积核通道的平均权重和动态阈值生成二值掩码；

25、a5、将所有卷积层中的权重矩阵元素和对应的二值掩码相乘，得到剪枝后的权重矩阵，即得到剪枝后的水下垃圾目标识别模型；

26、a6、通过已知标签的水下垃圾图像形成的训练集对剪枝后的水下垃圾目标识别模型进行预训练，得到预训练的识别模型；

27、a7、将预训练的识别模型作为学生模型；将预训练的识别模型中的主干网络替换为resnet34网络，得到教师模型；

28、a8、通过引入温度参数对教师模型和学生模型的softmax输出进行温度调节，并获取温度调节后的损失值；

29、a9、根据温度调节后的损失值以反向传播方式对学生模型进行参数优化，完成对水下垃圾目标识别模型的训练。

30、进一步地，步骤a3中动态阈值的计算表达式为：

31、threshold＝α×l1(w)+β×|sensitivity|+γ，

32、其中threshold为动态阈值；l1(w)为权重矩阵的稀疏度；sensitivity为权重矩阵的权重梯度；α和β均为超参数；γ为任务属性超参数。

33、进一步地，步骤a4中二值掩码的计算表达式为：

34、maskchannel＝step(mean(w),threshold)，

35、

36、其中maskchannel为二值掩码；step表示阶跃函数；mean(w)为每个通道的平均权重；threshold为动态阈值；in_channels为卷积核的输入通道数；kernel_size[0]为卷积核的高度；kernel_size[1]为卷积核的宽度；w[:,i*,j*,k*]表示权重矩阵中输入通道为i*、卷积核高度为j*、卷积核宽度为k*的元素。

37、进一步地，步骤a8的具体方法包括以下子步骤：

38、a8-1、分别获取引入温度参数后教师模型的softmax输出和引入温度参数后学生模型的softmax输出表达式分别为：

39、

40、

41、其中τ为温度参数；exp表示以自然常数e为底的指数；zi为教师模型输出的第i个元素；zj为教师模型输出的第j个元素；si为学生模型输出的第i个元素；sj为学生模型输出的第j个元素；n1为教师模型输出的元素总数；n2为学生模型输出的元素总数；

42、a8-2、基于步骤a8-1得到的输出计算温度调节后的损失值；计算表达式为：

43、

44、

45、ce(yt,ys)＝-∑iyt(i)ln(ys(i))，

46、其中ldistillation表示温度调节后的损失值；α*和β*为权重参数；表示散度项；ce(yt,ys)表示交叉熵损失项；ln表示以自然常数e为底的对数；yt(i)为训练过程中训练样本的实际标签；ys(i)为训练过程中学生模型输出的标签。

47、进一步地，步骤a9的具体方法为：

48、根据温度调节后的损失值，以梯度下降方式对学生模型的参数进行优化；其中梯度下降的表达式为：

49、

50、θnew为更新后的参数值；θold为更新前的参数值；η为学习率；梯度下降符号；ldistillation为温度调节后的损失值。

51、上述进一步地方案的有益效果为：剪枝方法通过综合考虑权重的稀疏度、梯度和任务属性，以及动态阈值的设计，实现了对目标识别神经网络参数的智能化、动态化剪枝，以提高水下垃圾目标识别模型的轻量化和推理效率，同时保持模型的性能。引入教师模型的知识，通过温度调节和损失计算来指导学生模型的训练，从而实现了在轻量化的同时保持模型性能，微调步骤进一步确保了学生模型的适应性和泛化性能，其适用于在资源受限的环境中部署高性能模型，通过剪枝与知识蒸馏得到了可集成在水下机器人平台的水下垃圾目标识别轻量化模型。