船闸内船舶静止情况下基于地理方位对船首向进行校准的方法与流程

本发明涉及船舶过闸控制，具体涉及一种船闸内船舶静止情况下基于地理方位对船首向进行校准的方法。

背景技术：

1、随着长江过闸船舶大型化和标准化趋势，通过三峡船闸和葛洲坝船闸的大型船舶所占比例不断增大。大型船舶在闸室内操纵性差，且过闸船舶驾驶员操控水平普遍不高，船舶在闸室内停船作业不理想，存在船舶使用闸室内浮式系船柱挂缆制动，导致浮式系船柱损毁的现象，对加大船闸被迫停航维修、坝区通航压力增大等通航风险。同时，船舶操纵难以及过闸移泊快速性要求，加大了闸室内船舶碰撞闸门的风险。此外，船首向识别与校准因为在进船闸的过程中闸室遮挡会影响船舶定位，从而影响罗经的数据产生误差。因此，如何提高精确感知船舶过闸航行动态，实现大型船舶精确停船控制，是在三峡-葛洲坝船闸通航服务与船舶控制技术上亟需解决的技术问题。

技术实现思路

1、本发明提出一种船闸内船舶静止情况下基于地理方位对船首向进行校准的方法，能有效实现船首向进行识别与校准。

2、本发明采取的技术方案为：

3、船闸内船舶静止情况下基于地理方位对船首向进行校准的方法，包括以下步骤：

4、步骤1：利用摄像机识别出船舶区域，提取船舶区域图像，获取船舶外轮廓图像边沿；

5、步骤2：通过激光雷达获取船舶三维点云，将三维点云投影至二维平面，采用dbscan聚类算法分割点云，形成船舶目标集合，提取每个船舶目标的边沿；

6、步骤3：将视频数据与激光点云数据进行融合；

7、步骤4：获取准确且完整的船舶轮廓，采用矩形包围盒识别方法，获得船舶船首向。

8、所述步骤1包括以下步骤：

9、s1.1：首先，利用闸室上的高位摄像机图像数据，采用深度学习的方式进行语义分割，识别出船舶区域、闸室壁区域、水区域；

10、s1.2：其次，提取船舶区域图像，获取船舶外轮廓图像边沿；

11、s1.3：最后，对船舶外轮廓图像边沿进行平滑处理。

12、所述步骤2包括以下步骤：

13、s2.1：首先，将三维点云投影至二维平面；

14、为最大限度获取船闸水域点云数据，激光雷达需要旋转一定角度安装。为此，需要将激光雷达坐标系，即以激光雷达中心为原点的坐标系，转换为大地坐标系。通过测量激光雷达安装时的俯仰角φ、横滚角θ、航向角ψ，分别计算激光点云绕x、y及z轴的转矩阵rx,φ、ry,θ和rz,ψ。再通过公式公式(4)，将激光雷达坐标系转为大地坐标系，其中(x,y,z)激光雷达坐标系下的点云坐标，(x,y,z)为其转换至船闸坐标系下的点云坐标。然后，将三维激光点云投影至xy平面，即令z＝0。

15、

16、

17、

18、

19、图13为点云坐标转换示意图；图14为三维点云投影至二维平面示意图。

20、s2.2：其次，通过条件滤波与下采样算法滤除噪点；

21、通过设定滤波条件进行滤波，类似于分段函数，判断点云是否在规则的范围则中，如果不在则舍弃。根据船闸水域实景数据，设置x与y坐标值的阈值，在阈值范围内的点云保留，在阈值范围外的点云删除。采用下采样算法，创建点云的体素栅格，通过重心表示体素内的所有点，在保持点云特征的同时，滤除冗余点云数据，极大地降低点云数量，提升计算效率。图16(b)为体素滤波后的点云示意图。

22、并采用dbscan聚类算法分割点云，具体如下：

23、dbscan是一种基于密度的聚类算法，能够发现任意形状的簇，对有噪声(即孤立点或异常值)的数据集也有很好鲁棒性。dbscan将簇定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并可在噪声的空间数据库中发现任意形状的聚类。

24、dbscan算法需要用户输入2个参数，一个参数是半径(eps)，代表给定点p为中心的圆形邻域的范围，另一个参数是以点p为中心的邻域内最少点的数量(minpts)。对于船舶激光点云，设置半径(eps)为1，最少点的数量(minpts)为4。聚类后形成的船舶目标如图17所示，图17中所示为激光雷达从船头方向扫描到一艘客船的激光点云图。

25、s2.3：通过凸包算法提取每个船舶目标的边沿，具体如下：

26、凸包问题可以描述为:给定一个点集p，求小点集s，使得s构成的形状能包含这些点集。凸包的定义为:平面的一个子集s被称为是“凸”的，当且进当对于任意两点p,q∈s，线段都完全属于s。由此推出凸包的性质：一条直线如果与凸包相交(不是相切)的话，最多交于两条边或者两个面。如图18所示，由点p0、p1、p3、p10、p12所围城的红色多边形即为凸包。

27、凸包算法采用graham扫描法：

28、(1)以船闸入闸法向为y轴，闸口与y轴垂直方向为x轴，将激光点云所有点置于xoy平面；

29、(2)对于任意一艘船舶激光点云，在所有点中选取y坐标最小的一点h，当作基点。如果存在多个点的y坐标都为最小值，则选取x坐标最小的一点。坐标相同的点应排除。

30、(3)按照其它各点p和基点构成的向量<h,p>；与x轴的夹角进行排序，夹角由大至小进行顺时针扫描，反之则进行逆时针扫描。实现中无需求得夹角，只需根据余弦定理求出向量夹角的余弦值即可。以图19为例，基点为h，根据夹角由小至大排序后依次为h，k，c，d，l，f，g，e，i，b，a，j。下面进行逆时针扫描。

31、(4)线段<h,k>；一定在凸包上，接着加入c。假设线段<k,c>；也在凸包上，因为就h，k，c三点而言，它们的凸包就是由此三点所组成。但是接下来加入d时会发现，线段<k,d>；才会在凸包上，所以将线段<k,c>；排除，c点不可能是凸包。

32、(5)即当加入一点时，必须考虑到前面的线段是否在凸包上。从基点开始，凸包上每条相临的线段的旋转方向应该一致，并与扫描的方向相反。如果发现新加的点使得新线段与上线段的旋转方向发生变化，则可判定上一点必然不在凸包上。实现时可用向量叉积进行判断，设新加入的点为pn+1，上一点为pn，再上一点为pn-1。顺时针扫描时，如果向量{pn-1,pn}与{pn,pn+1}的叉积为正(逆时针扫描判断是否为负)，则将上一点删除。删除过程需要回溯，将之前所有叉积符号相反的点都删除，然后将新点加入凸包。

33、在图19中，加入k点时，由于线段<h,c>要旋转到<h,k>的角度，为顺时针旋转，所以c点不在凸包上，应该删除，保留k点。接着加入d点，由于线段<k,d>要旋转到<h,k>的角度，为逆时针旋转，故d点保留。按照上述步骤进行扫描，直到点集中所有的点都遍历完成，即得到凸包。

34、所述步骤3包括以下步骤：

35、s3.1：首先，时间对准，以1s为时间基准，将视频数据与激光点云数据进行对准；

36、由于摄像头与激光雷达的开始探测时间、探测周期、与目标相对位置均不同，使得摄像头与激光雷达对目标探测数据不是同一时刻得到的，即存在着探测数据的时间差异。视频数据数据采集频率为50hz，激光雷达采集频率为5hz。通过以1s为数据采集时间间隔，将视频数据与激光点云数据进行时间对准，也就是每1s采集同时刻的摄像头和激光雷达数据。

37、s3.2：其次，空间对准，将视频坐标、激光点云坐标均转换为闸室平面坐标；

38、因为激光雷达、视频数据不在同一个坐标系下，因此需要将其坐标系进行转换，使其处于同一坐标系中。激光雷达点云数据按照s2.1进行转换，视频数据按照步骤3详述中的坐标转换进行变换。

39、s3.3：再次，采用协方差交叉法将视频数据与激光数据融合。具体是：

40、协方差交叉法解决的是包含误差的数据融合问题。激光雷达与视频测量同一艘船舶时，得到了两个不同的测量值a和b，但a和b的相关性不确定，通过计算a和b的协方差交叉矩阵ci，并求得矩阵ci的迹最小时的权重系数分布，融合后的数据可通过测量值a和b乘以权重系数得到，具体公式如下：

41、

42、

43、其中，为融合后的数据，p1为激光雷达的估计误差方差，p2为视频的估计误差方差，pci为融合后的估计误差方差，ω1和ω2为权重系数，其中，0≤ω1≤1，0≤ω2≤1，ω1+ω2＝1，权重系数ω1和ω2通过最小化如下指标函数j＝tr(pci)得到，其中，tr(pci)为矩阵pci的迹。

44、

45、所述步骤3中，视频是通过多个摄像机采集后拼接而成，拼接方法包括以下步骤：

46、坐标变换、图像预处理、图像配准、图像融合；

47、坐标变换中：

48、①：世界坐标系转换为相机坐标系：

49、世界坐标系和相机坐标系均为三维坐标系，能够通过平移变换和旋转变换相互转换。因此，如果己知一个点在世界坐标系中的坐标，则能够求出其在相机坐标系中的坐标；

50、坐标转换关系如式(1)，式(2)所示

51、

52、

53、其中，x、y、z分别船舶在相机坐标系中的坐标值，r1为绕z轴的旋转矩阵，x1、y1、z1为船舶在世界坐标系中的坐标轴，α为世界坐标系绕z轴的旋转角度。

54、绕着不同的坐标轴旋转不同的角度，得到相应的旋转矩阵，同理绕x轴、y轴旋转和ω能够得到：

55、

56、

57、通过上述公式，能够得到旋转矩阵r＝r1r2r3，从而得到p点在相机坐标系中的坐标。

58、r2、r3分别为绕x轴、y轴的旋转矩阵，

59、②：相机坐标系转换到图像坐标系：

60、对于相机坐标系中一点p(xw,yw,zw)，其在像平面坐标系中对应的投影点为p(x,y)。根据三角形的相似关系可得到从相机坐标系到像平面坐标系的转换关系；

61、

62、

63、其中，x、y分别船舶在图像坐标系中的坐标值，f为相机焦距，xw、yw、zw为船舶在相机坐标系中的坐标值。

64、③：图像坐标系转换到图像像素坐标系：

65、在图像坐标系中点p(x,y)，其对应的图像像素坐标系的坐标为o(u0,v0)，则点p在图像坐标系中坐标与像素坐标系中坐标的转换关系如下：

66、

67、

68、其中，dx和dy分别表示一个像素点在x轴和y轴上的宽度；(u0,v0)为摄像机主点，即光轴与像平面的交点o的像素坐标；u、v分别为船舶在像素坐标系中的坐标值。

69、综合以上公式原理，就可以推算出世界坐标点(xw,yw,zw)与像素坐标点o(u0,v0)之间的转换关系为：

70、

71、其中，

72、作为高清摄像机内参，可通过测量得到；为相机外参，t为投影矩阵；经过标定后可获得p，再根据相机拍摄到图片中目标的像素坐标可反算出其在真实世界中的位置。zc为位置变量，与摄像机的安装高度，安装姿态角等有关。fx、fy为摄像机的内部参数，r为世界坐标系转换为相机坐标系的旋转矩阵。

73、图像预处理包括：

74、a:使用滤波模板覆盖范围内全部像素点灰度值的中位数，作为中心位置像素点的灰度值，使得邻近像素点灰度值与真实灰度值相近，进而滤除图像中的噪声；设滤波模板尺寸为m*m，模板范围内像素灰度值为f1,f2,f3,...,fm*m，经中值滤波后中心位置处像素灰度值f为：

75、f＝med{f1,f2,f3,...,fm*m}  (10)；

76、f1,f2,f3,...,fm*m为模板范围内每个像素点的灰度值。

77、b:采用高斯滤波的算法，通过高斯滤波模板覆盖范围内像素点灰度值的加权平均，代替中心点处像素灰度值。

78、设使用3*3的滤波模板进行图像平滑，将模板的中心位置作为取样原点，并对周围像素点进行取样，根据高斯函数可以得到所有位置的模板系数，若高斯函数中σ的值为1.5，对计算结果归一化后，得到高斯滤波模板后将周围邻域像素值做加权平均，用以代替模板中心位置像素值。

79、图像配准采用基于特征的配准，包括特征提取、特征匹配和图像变换模型的参数计算；

80、1)采用sift算法进行特征提取，通过在尺度空间中找到极值点作为候选特征点，并从中选择图像尺度、位置和旋转保持不变的点作为最终的特征点；

81、sift(scale-invariant feature transform)，尺度不变特征转换，是一种图像局部特征提取算法，它通过在不同的尺度空间中寻找极值点(特征点，关键点)的精确定位和主方向，构建关键点描述符来提取特征。采用sift算法提取船舶图像特征的具体步骤：

82、(1)尺度空间的极值检测：搜索所有尺度空间上的图像，通过高斯微分函数来识别潜在的对尺度和旋转不变的兴趣点；

83、(2)特征点定位：在每个候选的位置上，通过一个拟合精细模型来确定位置尺度，关键点的选取依据他们的稳定程度；

84、(3)特征方向赋值：基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向，后续的所有操作都是对于关键点的方向、尺度和位置进行变换，从而提供这些特征的不变性；

85、(4)特征点描述：在每个特征点周围的邻域内，在选定的尺度上测量图像的局部梯度，这些梯度被变换成一种表示，这种表示允许比较大的局部形状的变形和光照变换。

86、2)采用knn算法将输入图像中得到的相同特征点进行配对，得到的特征匹配点可以用于计算图像变换模型，具体如下：

87、每个特征点都有其唯一的特征描述子，若两个特征点的特征描述子相似度高，那么就认定它们为一对特征匹配点，反之异然。首先，计算出图像i1特征点集合a′＝{a1,a2,a3,...,an}中的所有特征点的特征描述子，到图像i2特征点集合b′＝{b1,b2,b3,...,bn}中所有特征点描述子之间的距离；然后，为每个特征点选择k个距离最近的点作为候选匹配点，每个特征点选择与其距离最近的两个点作为匹配候选，将最近距离与次近距离之间做商获得一个比率，若此比率值较大，则选择最近距离对应的一对特征点作为最终的特征匹配点。

88、3)将待配准图像的特征匹配点之间的坐标关系用数学模型表示出来：

89、采用投影变换模型求解单应性矩阵，设图像1和图像2分别可以经过单应性矩阵h1、h2投影到同一投影平面内，并且两幅图像之间只涉及到旋转、平移，因此图像1和图像2之间的变换关系可以合并为一个单应性矩阵h3表示。设图像中存在一点p，齐次坐标为(x,y,1)t，经过投影变换后变为p′＝(x′,y′,1)t，其变换表达式为：

90、

91、x′、y′分别为投影变换后的像素点坐标，a1～a8为单应矩阵参数，由相机的内参、旋转、平移以及投影平面的参数信息决定。

92、4)采用最佳缝合线融合算法在图像结构相似的区域找到一条接缝，然后取输入图像中位于缝合线两侧的部分，构成最终融合结果。

93、最佳缝合线融合算法具体是：

94、最佳缝合线能够有效的去除拼接中运动物体移动出现的鬼影，通过选择一个最优的路径，以最小化拼接区域内的不连续性。主要步骤包括：①获取图像的重叠区域；②遍历重叠区域所有像素点计算每个像素点的能量值；③从第一行开始，计算每一个像素点与其下一行四邻像素点中能量值最小的和，不断累加，直到最后一行为止；④从第一行每个像素点开始都会得到一条缝合线，选出能量值累加值最小的缝合线；⑤获得最佳缝合线；⑥沿着缝合线进行图像融合。图20为最佳缝合线融合示意图。

95、所述步骤3中，在图像拼接的基础上，采用基于语义分割的背景信息提取算法，根据背景处的时间特征匹配点估计相机运动路径；排除了运动前景的干扰，达到更平滑的视频稳像效果；

96、首先，对输入的图像进行语义分割，使用深度学习模型将图像中的不同区域标记为不同的语义类别，如背景、船舶等。根据语义分割的结果，生成一个背景掩码，其中只包含被标记为背景类别的像素。这个掩码可以将图像中的背景元素从前景分割出来。使用生成的背景掩码，将船舶等前景物体从图像中分离出来。

97、根据背景处的空间特征匹配点，计算图像变换模型，实现背景处的无缝拼接，具体如下：

98、按照步骤3中的sift算法进行特征提取，如图21(a)、图21(b)所示。然后，按照步骤3中采用knn算法将输入图像中得到的相同特征点进行配对，得到的特征匹配点计算图像变换模型，使图像投影到同一投影平面内，

99、然后，使用最佳缝合线融合算法在背景区域找到一条缝合线，沿缝合线将图像拼接在一起，如图22(c)所示，提高了视差存在情况下视频对应帧图像的拼接精度。

100、所述步骤4中，

101、寻找包围船舶轮廓的外接矩形，并考虑矩形面积最小化、到边接近度最大化、到边平方误差最小化标准，选择拟合的矩形，并以外接矩形的走向表征船舶船首向。具体如下：

102、如图23、图24所示，以一定搜索角度步长遍历所有方向，寻找包围船舶轮廓的外接矩形，在每次迭代中，找到一个指向该方向并包含所有点云的矩形，然后分别计算此时的矩形面积、点云到矩形边的距离以及点云到边的平方误差，找到满足矩形面积最小、到边接近度最大也就是点到边距离最小、以及到边平方误差最小的矩形框，设置评判标准，选择正确的矩形框，此时，矩形框的搜索角度作为船舶首向角，也就是外接矩形的走向表征船舶船首向。

103、本发明一种船闸内船舶静止情况下基于地理方位对船首向进行校准的方法，技术效果如下：

104、1)本发明通过视频船舶边沿识别，激光点云船舶边沿识别，视频与激光点云融合采集船首向数据，通过岸基辅助修正提高罗经船首向数据精度。

105、2)本发明方法不仅效率高，而且能有效克服闸室内数据传输的影响，避免闸室内因船首偏离，造成刮碰事故。