海底管道铺设着泥点自动跟踪监测系统及方法

本发明属于水下机器人智能应用领域，具体涉及一种水下机器人的海底管道铺设着泥点自动跟踪监测系统及方法。

背景技术：

1、在海洋油气资源的开发中，海洋管道因其快捷、安全、经济、可靠的优点逐渐被广泛使用。而海底管道铺设的海洋环境异常复杂，存在许多不确定因素，管道在铺设时可能会发生磕碰、弯折从而导致管体损伤。一旦海底管道发生泄漏或破坏，就会给周围环境和人员带来严重影响，并且严重破坏周边的生态环境。水下机器人具有作业效率高、连续航程远、智能化水平高、生产成本低的显著优势，成为对铺管过程进行实时监控、确认管道的铺设状态的最佳选择。海中的漂浮物和水流会对水下机器人产生干扰，需要人工进行实时控制来保持机器人运行稳定，但由于海底管道铺设进度缓慢、周期长，全程对机器人进行人工调整非常耗费人力，水下机器人根据监测目标位置和自身状态实时对位置和姿态进行自动控制是比较理想的状态。

2、例如公开号为“cn218119434u”、名称为“一种水下管道检测装置”的专利，设置了橡胶水管、圆形板、压力传感器，通过判断管道内是否存在水对压力传感器的压力，进而判断管道是否存在破损以及缺口。公开号为“cn214580516u”、名称为“一种水下管道用检测装置”的专利，由水平推进器和竖直推进器提供前进与上下的动力，弧形版附在被检测水下管道的外壁，液压杆收缩调整弧形版角度，以适应不同直径的管道，第一照射灯与第二照射灯调整角度视野清晰便于水下摄像机拍摄。公开号为“cn110533650b”、名称为“一种基于视觉的auv水下管道检测跟踪方法”的发明专利，基于双目摄像机采用管道方向检测，管道中心检测和管道位置检测算法，并通过随机采样一致和一致性检测剔除异常值，保证auv在进行管道检测时，根据准确的管道方向和位置进行自主航行。公开号为“cn110060248b”、名称为“基于深度学习的声呐图像水下管道检测方法”的发明专利，通过构建深度卷积神经网络，对预处理后的侧扫声呐图中水下管道铺设方式进行判断和给出位置的包围盒集合；根据包围盒集合的中心点得到水下管道的中心位置线，根据包围盒集合覆盖区域分割出目标。

3、综上所述，现有方法多为基于压力传感器、声纳、双目摄像机对管道整体完整性进行检测，但是现有方法无法兼顾跟踪监测的准确率和效率，而且现有方法的复杂度高、可靠性较差。

技术实现思路

1、本发明的目的是为解决现有方法不能兼顾跟踪监测的准确率和效率，以及现有方法的复杂度高、可靠性差的问题，而提出的一种水下机器人的海底管道铺设着泥点自动跟踪监测系统及方法。

2、本发明为解决上述技术问题所采取的技术方案是：

3、基于本发明的一个方面，一种海底管道铺设着泥点自动跟踪监测系统，所述系统包括水下机器人、检测终端和控制终端，在所述水下机器人上搭载有光学摄像机、信息处理单元和运动控制单元；

4、所述光学摄像机拍摄的视频流通过信息处理单元传输至检测终端，经过检测终端的处理后输出图像中着泥点的位置信息；

5、所述水下机器人的位置和姿态信息通过运动控制单元传输至控制终端；

6、所述控制终端与检测终端之间通过udp协议进行数据交换和通信，控制终端根据水下机器人的位置和姿态信息以及着泥点的位置信息生成控制指令，并将控制指令发送给运动控制单元；

7、运动控制单元根据接收的控制指令对水下机器人进行控制。

8、基于本发明的另一个方面，一种海底管道铺设着泥点自动跟踪监测方法，所述方法具体包括以下步骤：

9、步骤1、获取海底管道图像的数据集；

10、步骤2、构建基于卷积神经网络的分割网络模型，并利用步骤1中获取的数据集对构建的模型进行训练；

11、步骤3、对安装在水下机器人上的光学摄像机传入的视频流进行预处理，获得预处理后的图像；

12、步骤4、将预处理后的图像输入到步骤2训练好的分割网络模型中，输出图像中着泥点的坐标信息以及管道区域的掩膜图像；

13、步骤5、根据步骤4中输出的管道区域的掩膜图像计算管道直径；

14、步骤6、对在时间上连续的各图像中的着泥点坐标进行平滑滤波处理，对在时间上连续的各图像中的管道直径进行平滑滤波处理；

15、根据平滑滤波处理结果最终确定出各图像中的着泥点坐标和管道直径；

16、步骤7、根据图像中的管道直径，将图像中的着泥点坐标转换到世界坐标系下，再结合水下机器人自身的位置和姿态信息解算出着泥点与水下机器人的相对位置关系；

17、步骤8、根据步骤7中解算出的着泥点与水下机器人的相对位置关系对水下机器人进行控制，以实现水下机器人对着泥点的自动跟踪监测。

18、进一步地，所述步骤2中，对获取的数据集进行数据增强后，再利用数据增强后的图像训练构建的分割网络模型；

19、所述数据增强的方式包括随机尺度变换、随机裁剪、颜色空间增强、随机水平翻转和图像混合。

20、进一步地，所述基于卷积神经网络的分割网络模型的训练过程所采用的损失函数由lcls和lbbox加权组成，损失函数具体为：

21、l＝lcls+2lbbox

22、其中，l代表总损失函数，lcls代表对分类进行评估的损失函数，lbbox代表对定位进行评估的损失函数；

23、所述损失函数lcls具体为：

24、lcls＝-|y-σ|β((1-y)log(1-σ)+log(σ)

25、其中，σ代表预测类别标签，β代表可调聚焦参数，y代表实际类别标签，对数log的底数为10；

26、所述损失函数lbbox具体为：

27、lbbox＝1-giou

28、

29、

30、其中，a代表预测框，b代表真实框，c代表预测框与真实框的最小凸集，iou代表预测框与真实框的面积交并比。

31、进一步地，所述步骤3中的预处理方式包括基于空间域的图像增强和基于频域的图像增强，预处理的具体过程为：

32、步骤3a、对视频流进行分帧处理后，再将分帧得到的图像变换到hsv颜色空间，并对v通道进行对比度限制的自适应直方图均衡化处理，获得自适应直方图均衡化处理后的图像；

33、步骤3b、采用完美反射算法对自适应直方图均衡化处理后的图像进行白平衡处理，获得白平衡处理后的图像；

34、步骤3c、对白平衡处理后的图像进行高斯滤波，获得高斯滤波后的图像，即获得预处理后的图像。

35、进一步地，所述步骤5的具体过程为：

36、步骤5a、将步骤4中输出的管道区域的掩膜图像转换为二值图，其中，目标像素值为255，背景像素值为0；

37、步骤5b、对于二值图中的任意一个目标像素，首先选取该目标像素的3*3邻域内的全部像素，计算出目标像素与背景像素的最近距离l0后，再分别计算选取的每个像素与背景像素的最近距离，将选取的每个像素与背景像素的最近距离分别记为l1、l2、l3、l4、l5、l6、l7和l8；

38、对l0、l1、l2、l3、l4、l5、l6、l7和l8进行加权求和，将求和结果作为该目标像素的灰度；

39、计算出每个目标像素的灰度后，将二值图转换为灰度图像；

40、步骤5c、将灰度图像中灰度最大的像素作为管道中心，找到与管道轴线方向垂直且通过管道中心的直线，再根据找到的直线确定出管道直径；

41、在与管道轴线方向垂直且通过管道中心的直线上，找到与管道中心距离最远的目标像素，将找出的目标像素与管道中心像素的距离作为管道的半径，进而得到管道的直径。

42、进一步地，所述步骤7中将图像中的着泥点坐标转换到世界坐标系下，其具体过程为：

43、将图像中的着泥点坐标转换到世界坐标系下：

44、

45、其中，z代表水下机器人与管道的间距，(u，v)代表图像像素坐标系中的着泥点坐标，dx代表图像物理坐标系的x方向上一个像素占的长度单位，dy代表图像物理坐标系的y方向上一个像素占的长度单位，u0代表图像的中心像素坐标和图像原点像素坐标之间相差的横向像素数，v0代表图像的中心像素坐标和图像原点像素坐标之间相差的纵向像素数，f代表相机的焦距，[r t]代表相机的外参矩阵，(xc，yc，zc)代表着泥点在相机坐标系下的坐标值，k代表相机标定所得的内参矩阵，(xw，yw，zw)代表着泥点在世界坐标系下的坐标值。

46、更进一步地，所述水下机器人与管道的间距z为：

47、

48、其中，dreal代表管道的实际直径，dpic代表图像中的管道直径，即图像内管道的像素直径。

49、本发明的有益效果是：

50、本发明输出的管道图像经过增强后画质得到有效改善，可以清晰的看到管道上的纹理细节，提高了跟踪监测的准确率。本发明根据图像与实际的物理空间的映射关系，结合图像中检测得到的着泥点位置和水下机器人自身的位置信息，可以解算出着泥点与水下机器人实际的相对空间位置，根据解算出的相对空间位置可以生成水下机器人的控制指令，本发明方法采用单目摄像机就可以实现，因此需要处理的数据量小，提升了跟踪监测的效率，本发明方法整体运行速度快，每秒传出的画面能达到30帧以上。同时本发明方法的逻辑简单，有效降低了算法的复杂度，保证了算法的可靠性。