自适应水面高程变化的船舶轨迹识别与世界坐标转换方法与流程

本发明涉及一种自适应水面高程变化的船舶轨迹识别与世界坐标转换方法，属于内河航道船舶交通监测领域。

背景技术：

1、水运因其载量大、生态友好的特点已成为国内和国际贸易的主要运输形式；然而船船相撞、船桥碰撞、船舶搁浅等事故日益频繁，对航行安全和河流生态保护构成严重威胁。主动防撞方法通过对具有高碰撞风险的船舶提供预警，可以显著降低船舶碰撞和搁浅的概率，而船舶目标检测是这些主动防撞方法的核心任务之一。

2、近年来，随着计算机视觉算法的快速发展，相比合成孔径雷达(sar)和船舶自动识别系统(ais)，基于视频监控的手段因其设备成本低、分辨率高的优点，在内河船舶检测和主动防撞系统中具有很大的应用潜力。在计算机视觉算法的应用过程中，双目或多目相机是定位三维目标的常用设备，但是布设双目相机的价格和时间成本较高，在实际工程中不易推广，而由于缺乏深度信息，单目相机在识别三维目标时也受到限制。由于水面平坦，可以似看作一个平面，通过选取并测量水面上一些点在水平面和图像平面的坐标建立两平面转换的单应性变换矩阵，将船舶的轨迹从图像平面映射到水平面。然而，由于水面高程随季节变化，水面上各点的世界坐标可能会发生偏移，或是有时由于无法接近水面而限制了所需点的世界坐标测量。

3、因此亟需设计一种新的转换方法，克服现场测量的局限性，实现内河航道的船舶检测与跟踪。

技术实现思路

1、本发明提供一种自适应水面高程变化的船舶轨迹识别与世界坐标转换方法，克服了现场测量的局限性，实现内河航道的船舶检测与跟踪，自适应季节性水面高程变化调整船舶像素坐标逆投影至世界坐标的轨迹点。

2、本发明解决其技术问题所采用的技术方案是：

3、自适应水面高程变化的船舶轨迹识别与世界坐标转换方法，具体包括以下步骤：

4、步骤s1：在监控内河的岸边架设安装视频监控设备，获取监控内河船舶的视频；

5、步骤s2：采用标定板对视频监控设备进行相机内参标定，获取视频监控设备内参其中fx、fy为视频监控设备的像素焦距，cx、cy为视频监控设备坐标系原点在像素坐标系下的坐标；

6、步骤s3：基于步骤s1安装的视频监控设备，选取视频监控设备视野内可见的若干不动点，测量若干不动点在世界坐标系内的坐标以及若干不动点反映在视频像素坐标系内的坐标，其中，世界坐标系内采用pw(xw，yw，zw)表示，视频像素坐标系内采用pp(u，v)表示，规定世界坐标系中xwyw平面平行于水平面，坐标轴zw垂直于水平面；

7、基于获取的上述若干不动点的世界坐标系坐标和像素坐标系坐标，采用pnp算法以及随机样本一致性方法计算视频监控设备的外参[r t]，即代表视频监控设备的旋转矩阵和代表视频监控设备的平移矩阵其中rij为旋转系数，tn为平移系数；

8、步骤s4：在监控内河的水域内安装水面高程监测传感器，基于步骤s3中确立的世界坐标系得到水面高程其中表示水面高程在世界坐标系中zw轴的坐标值；

9、步骤s5：通过基于深度学习的目标检测和多目标跟踪的计算机视觉算法得到视频内船舶目标在像素坐标系内的边界框，边界框左上角坐标为(x1，y1)，宽度为w，高度为h，将(x1+1/2w，y1+3/4h)作为船舶的轨迹像素坐标pp(u，v)，即以边界框横向中点和纵向下四分之一点为船舶航行轨迹位置；

10、步骤s6：基于步骤s4计算获得的水面高程e、步骤s3获得的外参标定[r t]以及步骤s5获得的像素坐标pp(u，v)，通过逆投影计算监控内河中船舶的世界坐标；

11、作为本发明的进一步优选，步骤s1中所述视频监控设备为单目相机；

12、作为本发明的进一步优选，步骤s5中得到视频内船舶目标在像素坐标系内的边界框的具体步骤为：

13、步骤s51：由监控内河船舶的视频中提取部分帧作为训练数据集，使用边界框标记图像所有船舶，形成标记后的数据集；

14、步骤s52：将步骤s51获得的标记后的数据集加载至船舶目标检测和多目标跟踪深度学习模型中对模型进行训练；

15、步骤s53：将步骤s1获取监控内河船舶的视频加载至步骤s52中训练后的模型中，进行检测与跟踪；

16、作为本发明的进一步优选，步骤s6中逆投影计算公式由像素坐标以及世界坐标的转换公式推导得到，即

17、

18、其中zc为相机坐标系的z坐标，公式(1)展开为

19、

20、令公式(2)可被重新组织为

21、

22、公式(3)中的所有的参数cij均已通过步骤s2内参标定和步骤s3外参标定得到，像素坐标u和v为步骤s5中识别的船舶轨迹点，此时zw即水面高程e，已通过步骤s4得到。

23、通过以上技术方案，相对于现有技术，本发明具有以下有益效果：

24、1、本发明提供的自适应水面高程变化的船舶轨迹识别与世界坐标转换方法，通过周围设施或结构的点对信息，直接建立二维图像与相机视野内三维世界坐标之间的映射关系，克服现场测量的局限性；

25、2、本发明提供的自适应水面高程变化的船舶轨迹识别与世界坐标转换方法，借由水面高程监测传感器，自适应季节性水面高程变化动态调节坐标转化关系，在水面高度变化的情况下，更准确地还原船舶在三维世界坐标下的航行轨迹；

26、3、本发明提供的自适应水面高程变化的船舶轨迹识别与世界坐标转换方法，相较于合成孔径雷达(sar)和船舶自动识别系统(ais)，更便于布置、管理及维护，经济和人力成本更低。

技术特征：

1.自适应水面高程变化的船舶轨迹识别与世界坐标转换方法，其特征在于：具体包括以下步骤：

2.根据权利要求1所述的根据权利要求1所述的自适应水面高程变化的船舶轨迹识别与世界坐标转换方法，其特征在于：步骤s1中所述视频监控设备为单目相机。

3.根据权利要求1所述的自适应水面高程变化的船舶轨迹识别与世界坐标转换方法，其特征在于：步骤s5中得到视频内船舶目标在像素坐标系内的边界框的具体步骤为：

4.根据权利要求1所述的自适应水面高程变化的船舶轨迹识别与世界坐标转换方法，其特征在于：步骤s6中逆投影计算公式由像素坐标以及世界坐标的转换公式推导得到，即

技术总结
本发明涉及一种自适应水面高程变化的船舶轨迹识别与世界坐标转换方法，利用计算机视觉方法检测监控视频中的船舶，利用水面高程监测传感器得到当前水面高程，通过标定的三维世界坐标和像素坐标的空间转换关系，实现内河航道的船舶检测与跟踪，自适应季节性水面高程变化调整船舶像素坐标逆投影至世界坐标的轨迹点，具有准确、可靠、经济、高效的优点。

技术研发人员：刘艳强,员建斌,李晓燕,宋曰建,王峰,秦伟,杨站强,杨荣清,刘吉祥,朱文龙,段亮亮,师哲博,苏燕东,韩怡天,冯东明
受保护的技术使用者：中铁建投山西高速公路有限公司
技术研发日：
技术公布日：2024/1/16