一种基于深度学习和双目视觉的池塘障碍物识别与定位方法

本发明涉及池塘障碍物识别与视觉定位，具体涉及一种基于深度学习和双目视觉的池塘障碍物识别与定位方法。

背景技术：

1、投饵、施药作为河蟹养殖的重要环节，大多采用人工撑船方式进行作业，存在投饵、施药随意性强，饵料、药液分布不均匀且劳动强度大等缺点。近年来，随着信息化和智能化的发展，出现了一些替代人工投饵施药的自动投饵施药作业船，作业船可按照指定路线航行并同步完成投饵施药作业，大大减轻了劳动强度，提高了养殖效益。但由于养殖需要，渔民会在池塘中不定期放入竹竿、蟹笼、增氧机等养殖装置，这些装置可能会摆放在事先规划好的作业路线上，极易与作业船发生碰撞，阻碍投饵施药船的正常作业，不仅带来较大安全隐患，还影响投饵施药船的工作效率。因此，在作业船航行过程中对池塘中常见的障碍物进行识别与定位，是后续投饵施药船实现自主避障的重要前提。

2、近年来出现了许多基于视觉和目标检测技术对障碍物进行识别和定位的方案。采用视觉传感器例如单目、双目或者深度相机，并结合目标检测技术对障碍物进行识别定位。目前基于视觉和目标检测技术对障碍物进行识别和定位存在以下不足：

3、1.传统的目标检测方法主要采取滑动窗口和手工特征提取，存在大量冗余计算、运行速度慢、复杂环境下鲁棒性差等问题，难以取得令人满意的检测效果；

4、2.当前主流的目标检测算法存在模型复杂度高、计算量和参数量较大的问题，对硬件性能要求较高，检测的精度和实时性无法同时兼顾，会导致投饵施药船不能及时发现前方的障碍物。

技术实现思路

1、为了解决上述问题，本发明提供了一种基于深度学习和双目视觉的池塘障碍物识别与定位方法。利用改进的轻量化池塘障碍物识别模型对池塘中的障碍物进行识别，并结合双目视觉定位技术计算出障碍物的三维坐标和宽度信息。本发明在保持高精度检测的同时实现池塘中常见障碍物的快速识别和定位。

2、为达到上述目的，本发明采用如下技术方案：一种基于深度学习和双目视觉的池塘障碍物识别与定位方法，所述方法包含以下步骤：

3、步骤s1：采集池塘中的常见障碍物照片作为原始图像数据集；

4、步骤s2：使用标注工具对所述的原始图像数据集进行障碍物标注，将标注后的图片作为数据集；

5、步骤s3：搭建改进的轻量化池塘障碍物识别模型；

6、步骤s4：利用所述数据集对改进的轻量化池塘障碍物识别模型进行训练；

7、步骤s5：利用训练好的改进的轻量化池塘障碍物识别模型对池塘中的障碍物进行识别，获取障碍物中心点在像素坐标系下的二维平面坐标；

8、步骤s6：结合双目相机提供的深度信息获取障碍物中心点在池塘坐标系下的三维坐标，并获取障碍物的宽度。

9、进一步地，所述步骤s1的具体步骤为：

10、采用双目相机中的rgb相机对池塘中的常见障碍物进行拍摄，制作原始图像数据集。

11、进一步地，所述步骤s2的具体步骤为：

12、利用标注工具对步骤s1所述的原始图像数据集中的障碍物进行标注，采用最小外接矩形框对图像中的障碍物进行位置框定，根据障碍物的类别将位置框设置对应的标签类别，将标注后的图片作为数据集。

13、进一步地，所述步骤s3的具体步骤为：

14、步骤s31：将原yolov5s网络模型的主干网络替换为shufflenetv2轻量化特征提取网络，通过基本模块实现障碍物目标的特征提取，依次经过3次下采样模块分别得到不同尺度的特征图；

15、步骤s32：在步骤s31生成的特征图后嵌入se注意力机制用于强化特征提取能力，提高检测精度；

16、步骤s33：将原预测框回归损失函数替换为siou损失函数，结合预测框与真实框中心点距离、重叠面积和宽高比以及真实框与预测框之间的相对方位角进行计算。

17、进一步地，所述步骤s4的具体步骤为：利用步骤s2所述数据集对步骤s3搭建的改进的轻量化池塘障碍物识别模型进行训练，经过训练，得到可用于池塘障碍物识别的模型。

18、进一步地，所述步骤s5的具体步骤为：通过双目相机实时采集池塘照片，并调用改进的轻量化池塘障碍物识别模型对池塘中的障碍物进行识别，当检测到障碍物时，获取障碍物中心点的二维像素坐标(u,v)。

19、进一步地，所述步骤s6的具体步骤为：

20、步骤s61：根据双目相机三角定位原理，求取步骤s5所述的二维像素坐标点(u,v)所对应的深度信息，即障碍物与双目相机间的距离zc，可由以下方法得到：

21、

22、其中，f为相机焦距；b为基线距离，即两相机的镜头投影中心连线的距离；xl-xr为视差，由像素点匹配获取；

23、步骤s62：通过像素坐标系到相机坐标系间的转换关系，计算出像素坐标系下障碍物中心点(u,v)在相机坐标系下的三维坐标(xc,yc,zc)，所述像素坐标系到相机坐标系间的转换方法如下：

24、

25、其中，fx、fy、u0、v0为双目相机的内参；

26、步骤s63：为了便于将障碍物的位置信息和投饵施药船的位置信息在同一坐标系内描述，将相机坐标系下障碍物中心点的三维坐标(xc,yc,zc)转换到池塘坐标系下的三维坐标(xw,yw,zw)，相机坐标系到池塘坐标系的转换方法为：

27、

28、其中，r是3×3的矩阵，为x、y、z三个方向旋转矩阵的乘积，其旋转角度由惯性单元实时提供，t为3×1的平移矩阵；

29、步骤s64：进一步地，根据两定位点间的几何距离求出障碍物在相机坐标系下的实际宽度，设障碍物中心点在相机坐标系下的三维坐标为像素坐标系下预测框左边框中点所对应的三维坐标为则障碍物实际宽度的计算方法为：

30、

31、本发明的有益效果：

32、本发明提供了一种基于深度学习和双目视觉的池塘障碍物识别与定位方法，首先将原yolov5s模型进行轻量化改进，大幅降低模型的计算量和参数量，提高检测速度，然后引入se注意力机制和siou损失函数提升障碍物的检测精度，最后结合双目视觉定位技术计算出障碍物中心点在池塘环境下的三维坐标和障碍物的宽度。与现有技术相比，本发明在检测速度和检测精度上保持了最佳平衡，在保持高精度检测的前提下，实现投饵施药船对池塘障碍物的实时快速识别与三维定位，同时获取障碍物的宽度信息，为后续投饵施药船的自主避障、自动巡航作业和安全性提供重要保障；另外本发明克服了现有技术参数量和计算量较大的问题，对系统硬件的性能要求不高、内存占用更少，非常适合部署在算力和内存大小有限的嵌入式设备或移动设备上运行，从而降低深度学习的应用门槛，满足深度学习在生产实践活动中的实际需求。

技术特征：

1.一种基于深度学习和双目视觉的池塘障碍物识别与定位方法，其特征在于，包含以下步骤：

2.根据权利要求1所述的一种基于深度学习和双目视觉的池塘障碍物识别与定位方法，其特征在于，所述的步骤s1具体包括以下步骤：采用双目相机中的rgb相机对池塘中的常见障碍物进行拍摄，制作原始图像数据集。

3.根据权利要求1所述的一种基于深度学习和双目视觉的池塘障碍物识别与定位方法，其特征在于，所述的步骤s2具体包括以下步骤：利用标注工具对步骤s1所述的原始图像数据集中的障碍物进行标注，采用最小外接矩形框对图像中的障碍物进行位置框定，根据障碍物的类别将位置框设置对应的标签类别，将标注后的图片作为数据集。

4.根据权利要求1所述的一种基于深度学习和双目视觉的池塘障碍物识别与定位方法，其特征在于，所述的步骤s3具体包括以下步骤：

5.根据权利要求1所述的一种基于深度学习和双目视觉的池塘障碍物识别与定位方法，其特征在于，所述的步骤s4具体包括以下步骤：利用步骤s2所述数据集对步骤s3搭建的改进的轻量化池塘障碍物识别模型进行训练，经过训练，得到可用于识别池塘障碍物的模型。

6.根据权利要求1所述的一种基于深度学习和双目视觉的池塘障碍物识别与定位方法，其特征在于，所述的步骤s5具体包括以下步骤：通过双目相机采集池塘照片，并调用改进的轻量化池塘障碍物识别模型对池塘照片中的障碍物进行识别，当检测到障碍物时，获取障碍物中心点的二维像素坐标(u,v)。

7.根据权利要求1所述的一种基于深度学习和双目视觉的池塘障碍物识别与定位方法，其特征在于，所述的步骤s6具体包括以下步骤：

技术总结
本发明公开了一种基于深度学习和双目视觉的池塘障碍物识别与定位方法，包含以下步骤：收集池塘中的常见障碍物照片作为原始图像数据集；使用标注工具对数据集中的障碍物进行标注；搭建改进的轻量化池塘障碍物识别模型；对改进的轻量化池塘障碍物识别模型进行训练；利用训练好的模型对池塘中的障碍物进行识别，获取障碍物中心点在像素坐标下的二维平面坐标；结合双目相机提供的深度信息计算像素坐标下障碍物中心点在池塘坐标系下所对应的三维坐标和障碍物的宽度。本发明在保持高精度检测的同时，实现对池塘中常见障碍物的快速识别和准确定位，将障碍物的三维坐标和宽度信息发送给水产养殖自动投饵施药船，实现投饵施药船的自主避障。

技术研发人员：孙月平,孙杰,王红,袁必康,方正,赵德安
受保护的技术使用者：江苏大学
技术研发日：
技术公布日：2024/1/15