一种用于船舶协同工作的视觉定位系统及方法与流程

本发明属于测量技术领域，特别涉及一种适用于船舶协同工作的实时视频定位系统及方法。

背景技术：

随着对水域资源的进一步开发和利用，船舶的协同作业需求也越来越迫切。在船舶协同作业中，需要实现对船与船之间的位置控制，以保证其安全距离和协同作业的最佳相对位置，对目标船的跟踪及目标船间相对位置的测算是首先要解决的问题。而运动目标的跟踪一直是计算机视觉领域中的难点与热点。要在各种不同的复杂环境中或者是在有阴影遮挡、场景变换、光照变化、目标短暂性消失在视野中及目标发生形态变化的情况下依然能够很好地进行跟踪，是目前视觉研究领域所要共同解决的问题。

现有技术中，一种基于yolo算法以及岸基雷达系统的船舶定位监管系统(申请号：201811449413.2申请日：2018-11-30)，系统包括三个部分基于yolo算法图像识别技术的船舶识别系统、基于岸基雷达的船舶定位系统和基于数据融合的船舶监管系统：所述基于yolo算法图像识别技术的船舶识别系统：是由港口设立的摄像头捕捉港口海域的实时视频信息，通过滑动窗口的选择，输入到一个大型的卷积神经网络进行目标识别，最后对识别出的目标窗口进行极大值抑制算法。此发明的优点是：该系统可以对船舶进行实时定位与监控，船舶在获得进/出港审批之后，可以利用该系统实现全自动运行。利用岸基雷达的工作原理，可以精确测量船舶的经纬度坐标并实时返回测量数据。

应用yolo算法进行识别可以得到较高的船舶识别率，但是yolo算法对计算性能有高要求。水面环境多变，此发明对光照变化、大雾、阴影变化等水面特殊场景没有进行处理，实际使用识别率会受到较大影响。基岸雷达的成本高，且不方便移动，只能在固定位置使用，不便于重复安装和使用。

技术实现要素：

本发明的目的之一是实现对船与船之间的位置控制，以保证其安全距离和协同作业的最佳相对位置。实时自动对跟踪船舶进行测距和轨迹记录，减少人力与物力的使用。目的之二是针对复杂环境中阴影遮挡、大雾、光照变化及目标发生形态变化的问题，提出一种能够在特殊场景下依然能够很好地进行识别和跟踪系统及方法。目的之三是针对设备移动不方便的问题，提出一种更便捷和成本更低的设备，在满足测程远、精度高、功能强的同时便于携带和操作。

本发明的系统所采用的技术方案是：一种用于船舶协同工作的视觉定位系统，其特征在于：由云台、相机、激光测距仪、工控机和电池组成；

所述云台部分由云台主体部分、云台控制解码器、串口线组成；

所述相机由相机主体部分、数据传输线组成；

所述激光测距仪由激光测距仪主体部分、激光数据传输线组成；

所述工控机由显示屏、主机、控制键盘组成；

所述云台主体部分用于承载相机进行水平和垂直两个方向转动，通过所述串口线与所述工控机连接；

所述相机主体部分通过所述数据传输线与所述工控机连接进行视频数据传输；

所述激光测距仪主体部分通过所述激光数据传输线与所述工控机连接；

所述电池通过导线分别与所述云台、相机、激光测距仪、工控机连接，用于为所述云台、相机、激光测距仪、工控机提供电力。

本发明的方法所采用的技术方案是：一种用于船舶协同工作的视觉定位方法，其特征在于，包括以下步骤：

步骤1：系统启动，相机、激光测距仪联合标定；

步骤2：船舶特征点提取；

步骤3：特征点跟踪；

步骤4：激光测距仪测距；

根据视觉跟踪的结果，通过标定计算目标物体实际移动的距离，控制云台转向正对目标物；云台结束转向后，发送到位指令，开始测距；

步骤5：船舶位置计算。

随着对水域资源的进一步开发和利用，船舶协同作业需求也越来越迫切。在海洋协同作业中，需要实现对船与船之间的位置控制，以保证其安全距离和协同作业的最佳相对位置，对目标船的跟踪及目标船间相对位置的测算是首先要解决的问题。

相对位置测算可以使用单目视觉、gps、岸基雷达等。使用已经标定的相机进行单目视觉测距能够得到基本的测距结果，但是精度受距离的影响较大，在超过一千米测量距离的情况下，精度很难达到米级的精度。gps需要在目标船只上进行gps设备安装，提升成本且需要目标船只配合。岸基雷达不便于移动，不利于生产，结构复杂且成本较高。

本发明通过单目视觉与激光测距仪结合的方式进行距离测量与坐标计算，可以达到米级测量精度。硬件可分离且结构简单，可快速拆卸和组装，不需要在目标船只安装设备，可降低成本。

通过预处理技术提升图像质量，提高船舶识别和跟踪的准确率，跟踪开始后不需要人工介入，降低人力成本。

附图说明

图1为本发明实施例的系统结构图；

图2为发明实施例的方法流程图；

图3为本发明实施例方法中多深度图层融合的去雾流程图；

图4为本发明实施例目标检测方法中边缘提取效果图；

图5为本发明实施例目标检测方法中边缘线膨胀效果图；

图6为本发明实施例目标检测方法中连通域区域提取效果图；

图7为本发明实施例目标检测方法中识别结果效果图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1，本发明提供的一种用于船舶协同工作的视觉定位系统，由云台1、相机2、激光测距仪3、工控机4和电池5组成；云台1部分由云台主体部分、云台控制解码器、串口线组成；相机2由相机主体部分、数据传输线组成；激光测距仪3由激光测距仪主体部分、激光数据传输线组成；工控机4由显示屏、主机、控制键盘组成；云台主体部分用于承载相机2进行水平和垂直两个方向转动，通过串口线与工控机4连接；相机主体部分通过数据传输线与工控机4连接进行视频数据传输；激光测距仪主体部分通过激光数据传输线与工控机4连接；电池5通过导线分别与云台1、相机2、激光测距仪3、工控机4连接，用于为云台1、相机2、激光测距仪3、工控机4提供电力。

本实施例的云台主体部分是承载摄像机进行水平和垂直两个方向转动的智能自动化装置，其整机功耗小于45w，使用rs485串口3接口与工控机4连接使用。云台1具有闭合差校正功能，在初始启动时会进行自检操作，来消除之前使用带来的累计误差。相机主体部分使用50mm焦距的定焦镜头，分辨率，像素大小，通过数据传输线连接工控机4进行视频数据传输。激光测距仪主体部分为远距离激光测距仪3，具有测程远、精度高、功能强、便于携带和操作的特点，可广泛应用于河床、航道监测，邮电、通信或电力电缆铺设，大地勘测，气象、机场、森林等工程测量。激光测距仪3中内置通信模块，可以发送测距指令进行测距操作，目前可量测范围在2000米以内都较稳定，通过激光数据传输线与工控机4连接使用。工控机4整机功耗100w，供电电压24v。

本实施例将相机2与激光测距仪3组装在云台1上方支架中，其中激光测距仪3放在上层，相机2放在下层，以竖直同轴的方式安装。相机2和激光测距仪3的安装于云台1顶部，云台1固定于船体侧沿，并用螺丝固定。

请见图2，本发明提供的一种用于船舶协同工作的视觉定位方法，包括以下步骤：

步骤1：系统启动，相机2、激光测距仪3联合标定；

为了提高测量精度，需要让激光在多次测距时打到船舶的同一个点上，视觉算法能够识别和跟踪特征点，因此需要将两者信息相互关联与融合，而融合需要知道激光测距仪3和相机2的相对关系，对这个相对关系进行建模和计算，进行内部标定。具体实现包括以下子步骤：

步骤1.1：建模；

为了有效地使用来自相机2和激光测距仪3的数据，需要知道它们彼此的相对位置和方向。本项目使用平面较准模式，通过将平面图案上的激光扫描线与相机2图像中的平面进行配准来约束外部参数，找到两个设备坐标系的旋转矩阵φ和平移矩阵δ，将相机2坐标系中的点转换为激光坐标系中的点。

使用针孔模型来描述相机2。从世界坐标p＝[x,y,z]^t到图像坐标p＝[u,v]^t的投影可以表示如下：

p＝k(rp+d)

其中，k是相机(2)内参矩阵，r表示相机(2)方向的正交矩阵，d表示目标点位置矢量；

定义激光测距仪3为激光坐标系原点，假设相机2坐标系中的点p位于激光坐标系中的点p^f，从相机2坐标系到激光坐标系的刚性变换可以用下式描述：

p^f＝φp+δ

其中φ是3×3正交矩阵，表示相机2相对于激光测距仪3的旋转矩阵，δ为平移矩阵。

步骤1.2：标定

在系统前放置标定棋盘格，在相机2坐标系中，校准平面可由三维向量n参数化，使n与校准平面的法向平行，n等于相机2到较准平面的距离。由式1可以推导：

其中，r3是旋转矩阵r的第3列，t是相机2的中心，以世界坐标表示。根据式2和式3可以得到：

p＝φ^-1(p^f-δ)

n·φ^-1(p^f-δ)＝||n||²

对于激光点p^f和较准平面参数n，给出了φ和δ的约束。一旦相对于棋盘确定了相机2的外部参数(r,t)，即可通过式3获得校准平面参数n。认为激光坐标系中所有激光点都在平面z＝0上，所以激光点p^f＝[x,y,1]^t，因此可重写式5：

n·hp^f＝||n||²

其中，对于校准平面的每个姿态。在h的未知参数中有几个线性方程组，我们用标准线性最小二乘法求解。确定h后，可以估计相机2的相对方向和位置：

φ＝[h1,-h1×h2,h2]^t

δ＝-[h1,-h1×h2,h2]^th3

其中，hi表示h的第i列。即可得到相机2相对于激光测距仪3的相对姿态φ和δ的直接估计。

具体步骤：

制作一个棋盘格，并将其放置在相机2和激光测距系统前方。

对于每个棋盘姿势，在激光读数中提取激光点，并检测图像中的棋盘格点。估计相对于棋盘的相机2方向ri和位置ti，然后计算校准平面参数ni。

使用式7和式8的线性解估计参数φ和δ。

步骤2：船舶特征点提取；

识别算法选择hog+svm的方法，因为这种方法速度快，识别精度高，而且识别固定形状物效果较好。虽然存在误检概率较高的缺点，但是通过之前标志物选择已经剔除大多数可能的误检物，同时使用预处理算法提升图像质量，进一步提高识别的准确率，有效避免这个缺点。

步骤3：特征点跟踪；

跟踪算法采用光流法。测量过程保持相机2正对特征点，特征点附近图像保持稳定，因此背景可以通过减法消除，前景通过帧与帧之间的位移差可以计算出速度，从而有效估计标志物下一帧的位置。

具体步骤如下：

步骤3.1：对一个连续的视频帧序列进行图像预处理；

在实际测试环境中，江边的雾气会导致相机2获取的图像对比度很低、特征检测困难且跟踪效果较差。因此，针对江边环境，在对船舶进行跟踪之前，使用基于多深度图层融合的雾化图像场景复原方法进行图像去雾。

本发明设计了一种基于多深度图层融合的雾化图像场景复原方法，多深度图层是基于暗通道的先验理论，设定不同透射率产生的去雾图层。该方法不用直接求取物理模型的精确参数，而是预先给定一系列参数代入模型产生一系列局部有效的图层，然后基于图像质量评价指标计算图层的权重，将不同深度图层中恢复效果良好的像素进行融合，进而获得最终的去雾图层。

请见图3，本实施例的多深度图层融合计算步骤如下：

设定深度参数，即估计透射率ti，i＝1,2,…,l；其中，i是图层标号，取值范围为1到l的整数，l为估计的图层深度，一般取5；

生成去雾图层：

其中，ji(x)是第i层去雾图层，i(x)为有雾图像，a表示大气光强，其值为常量；

图层增强；

其中，t(rk)是直方图变换函数，rmin为输入图像中的最低灰度，rmax为输入图像的最高灰度，lmin代表灰度r的量化层次中的最低量化等级，lmax为最高量化等级，rk为变换前图像的第r级灰度值；

评价权重；

其中，qi(x)是基于对比度、颜色鲜艳度、亮度适中度对第i层图像像素x的质量评价；

图层融合；

其中，ji(x)是第i层去雾图层，j(x)为融合后的最终去雾结果。

步骤3.2：针对每一个视频序列，利用目标检测方法，检测可能出现的前景目标；

港口船舶检测的研究方法虽然属于静态背景物体检测范围，但是受到港口处海面波浪、光照变化以及云层背景变化等因素的影响，背景更新有较大的干扰。由于船舶相对于汽车具有体积大、大小差别大以及运动速度缓慢等特点，本发明采用基于多结构元素形态学滤波的背景抑制算法。在提取的物体中，通过自适应快速中值滤波和连通域计算方法滤除脉冲噪声和海面杂波，最终识别到船舶。

连通域提取是形态学应用中的一种，它实际上是标记连通域的过程，具体算法如下：

遍历图像，找到图像中像素值为255的点作为种子点；

用结构元素对种子点进行膨胀运算，然后用原图像与膨胀结果取交集；

判断膨胀的图像是否发生变化，如果发生变化，则返回第2步；如果不发生变化，输出最后图像。

在船舶检测中，连通域提取用于寻找过滤后的船舶目标，提取完后标记成矩形框。请见图4，为本发明实施例目标检测方法中边缘提取效果图；请见图5，为本发明实施例目标检测方法中边缘线膨胀效果图；请见图6，为本发明实施例目标检测方法中连通域区域提取效果图；请见图7，为本发明实施例目标检测方法中识别结果效果图。

步骤3.3：如果某一帧出现了前景目标，找到其具有代表性的关键特征点(可以随机产生，也可以利用角点来做特征点)；

目标跟踪是指在给定某视频序列初始帧的目标大小和位置的情况下，预测后续帧中该目标的大小和位置。目标跟踪基本流程为：在初始框范围生成众多候选框(运动模型)，提取候选框的特征(特征提取)，然后对候选框进行评分(观测模型)，最后将这些评分中得分最高的候选框作为预测的目标候选框(集成方法)。

它与目标检测最大的区别是目标检测需要在毫无先验的情况下，在全范围内找到目标，而目标跟踪既有初始帧的候选框作为初始值，并且一般范围只在初始候选框附近范围寻找，因此速度和精度远远大于目标检测。

本发明采用的方法是medianflow跟踪算法，属于tld跟踪算法中的跟踪部分，基于lk光流法跟踪算法，并使用fb方法进行反馈；

假设图像上一个像素点(x，y)，在t时刻的亮度为e(x+δx，y+δy，t+δt)，同时用u(x，y)和v(x，y)来表示该点光流在水平和垂直方向上的移动分量：u＝dx/dt，v＝dy/dt。在经过一段时间间隔δt后该点对应点亮度为e(x+δx，y+δy，t+δt)，当δt很小趋近于0时，认为该点亮度不变，故e(x，y，t)＝e(x+δx，y+δy，t+δt)；

当该点的亮度有变化时，将移动后点的亮度由taylor公式展开，可得：

忽略其二阶无穷小，由于δt趋近于0时，有：

式中w＝(u，v)，上式是基本的光流约束方程；其中令表示图像中像素点灰度沿x，y，t方向的梯度，将上式改写成：exu+eyv+et＝0。

通过结合几个邻近像素点的信息，lk方法通常能够消除光流方程里的多义性。而且，与逐点计算的方法相比，lk方法对图像噪声不敏感。不过，由于这是一种局部方法，所以在图像的均匀区域内部，lk方法无法提供光流信息。

步骤3.4：对之后的任意两个相邻视频帧而言，寻找上一帧中出现的关键特征点在当前帧中的最佳位置，从而得到前景目标在当前帧中的位置坐标；

步骤3.5：如此迭代进行，便可实现目标的跟踪；

步骤4：激光测距仪3测距；

根据视觉跟踪的结果，通过标定计算目标物体实际移动的距离，控制云台1转向正对目标物；云台1结束转向后，发送到位指令，开始测距；

步骤5：船舶位置计算。

本发明可以通过软件来实现，软件包括激光测距及云台1操作和视频识别跟踪两部分，软件两部分间通过udp进行通信。

本发明提出了一种用于船舶协同工作的视频定位系统与方法，通过实时对船舶进行跟踪和测距，并绘制运行轨迹，有助于船舶之间协同安全工作，也可用于地面监控船舶航行轨迹。其特征在于便携性和可靠性，能够提高作业安全性和工作效率，减轻测量人员工作复杂度。

应当理解的是，本说明书未详细阐述的部分均属于现有技术；上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。