一种跨摄像头的内河航船全程轨迹识别方法及系统

本发明属于内河航运监测，涉及内河航船全程轨迹识别技术，具体涉及一种跨摄像头的内河航船全程轨迹识别方法及系统。

背景技术：

1、随着内河航运的迅猛发展，内河航运的装载能力和运输速度不断提高，船舶数量、水运贸易量和危险货物数量不断增加，而与海面航行相比，内河航道往往较为狭窄，因而对内河航船的监测和主动防撞预警引起了广泛关注。随着计算机视觉算法的快速发展，相比合成孔径雷达(sar)和船舶自动识别系统(ais)，基于视频监控的手段因其设备成本低、分辨率高的优点，在内河船舶检测和主动防撞系统中具有很大的应用潜力。

2、但是现有的基于视频监控手段的内河航船轨迹识别方法还是存在很多问题，首先，由于缺乏深度信息，单目相机在识别三维目标时受到限制；其次，单点布置视频监控设备覆盖监测范围有限，沿岸布置多个相机则因为河流走向和船舶航向的变化，拍摄目标的角度不能保持统一，因而目标重识别方法不能很好地应用；而船舶轨迹也常常因目标检测定位结果的误差造成局部轨迹的抖动；同时，通用模型在大背景下对小目标的识别能力还有待提升。

技术实现思路

1、发明目的：为了克服现有技术中存在的不足，提供了一种跨摄像头的内河航船全程轨迹识别方法及系统，其能够通过方便布设的低成本视频监控设备实现内河航船全程轨迹准确识别与监测。

2、技术方案：为实现上述目的，本发明提供一种跨摄像头的内河航船全程轨迹识别方法，包括如下步骤：

3、s1：通过布设在内河航道沿岸的多个视频监控设备，获得内河航船的监控视频；

4、s2：标定每个视频监控设备的内参和外参；通过水面高程监测传感器得到水面相对高程；

5、s3：分别对各个监控设备采集到的视频进行目标检测和多目标跟踪，得到每个相机中船舶轨迹的像素坐标；

6、s4：根据步骤s2得到的视频监控设备的内参和外参以及水面相对高程，将步骤s3获得的像素坐标从图像平面逆投影至世界坐标系，获得船舶在真实物理世界的航行轨迹；

7、s5：计算航船速度、辨别航船航向，判断、归并不同相机中同一艘船的轨迹，得到世界坐标系下完整的原始轨迹点；

8、s6：对完整的原始轨迹点进行滤波修正，得到修正后世界坐标系下完整的平滑轨迹。

9、进一步地，所述步骤s1中相邻的视频监控设备覆盖的河流水域首尾相接且有重叠区域。

10、进一步地，所述步骤s2中使用标定板对视频监控设备进行内参标定，得到的相机内参表示为：

11、

12、其中fx、fy为像素焦距，cx、cy为图像坐标系原点在像素坐标系下的坐标。

13、进一步地，所述步骤s2中使用ransac pnp算法计算表征相机位姿的外参，包括代表相机角度的旋转矩阵和代表相机相对位置的平移矩阵其中rij为旋转系数，tn为平移系数。

14、ransac pnp的具体步骤：

15、1.准备数据：准备三维空间中的点和它们在图像中的对应投影点。

16、2.获取相机的内参：如焦距、图像坐标系原点坐标。

17、3.按随机抽样一致性(ransac)原则迭代：

18、a.随机抽样以上点的子集，解pnp问题来估计当前的相机位姿(这个过程需要使用相机内参k)；

19、b.对于每个未采样的点，使用当前的相机位姿和内参，将对应的三维点投影到二维图像平面上，然后计算实际投影点与计算的投影点之间的误差。

20、c.误差小于预定阈值的点视为内点，最终得到一组内点，即与当前估计的相机位姿匹配良好的点。

21、d.如果当前相机位姿的内点数目比之前相机位姿的更多，就将当前估计的相机位姿设为新的最佳模型。

22、e.完成指定的迭代次数后，选择具有最多内点的最佳模型作为最终的相机位姿估计结果。

23、进一步地，所述步骤s2中以外参标定中选择的世界坐标系zw＝0为零点，计算水面相对高程。

24、进一步地，所述步骤s3中目标检测使用yolov5模型检测船舶目标，并分别在模型头部(head)p5和p6之前及sppf模块之后应用了无参注意力模块simam。

25、进一步地，所述步骤s3中多目标跟踪采用bytetrack算法稳定跟踪当前摄像头内检测到的船舶目标。

26、进一步地，所述步骤s4中逆投影计算公式由以下像素坐标与世界坐标的转换公式推导而来：

27、

28、式可展开为

29、

30、为方便表示，令

31、

32、式(3)可被重新组织为

33、

34、式中，zw为水面相对高程，所有的参数cij通过步骤s3的公式得到，像素坐标u和v为步骤s3中识别的船舶在像素坐标系下的轨迹。

35、进一步地，所述步骤s5中计算航船速度、辨别航船航向具体为：在计算航船速度辨别航船航向时，先对该轨迹进行滤波，以减少轨迹噪声对航船速度及航向的判断，然后以每帧图像检测到的航行轨迹与前一帧作差计算航船速度和航向，即该船舶在x方向的速度其中f为视频帧率，航向包含在速度中，速度大于零说明船舶向正向移动，小于零说明船舶向负向移动，y方向同理。

36、进一步地，所述步骤s5中判断、归并不同相机中同一艘船的轨迹的方式为：根据实际情况设定距离阈值，当不同视频监控中出现同一时间戳下距离小于阈值的轨迹点则判定为同一艘船舶，合并前后两视频检测到的所有轨迹点及其对应的时间戳，将无时间重叠的轨迹点直接保留,有时间重叠的轨迹点求平均值。

37、需要强调的是，船舶在即将驶离/刚刚进入监控视野，即远离监控设备时，可能因目标过小而未被检测到，造成两视频设备检测到的轨迹不连续，此时按照前一监控设备中最后检测到的航向和速度延续轨迹，直至下一设备在该来船方向最初检测到船舶的时刻。

38、进一步地，所述步骤s6中采用双轴savitzky-golay对完整的原始轨迹点进行滤波，即分别对轨迹的x轴和y轴进行savitzky-golay滤波。

39、本发明将savitzky-golay滤波应用于船舶轨迹的处理，一般二维数据一个变量往往随另一个变量变化，因此只需对单轴进行滤波即可达到平滑效果，但因船舶行驶方向各异，x、y数据互不关联，轨迹识别误差造成的轨迹“抖动”可能导致轨迹在x轴y轴均有反复波动的情况，因此本发明通过savitzky-golay滤波能够对x轴和y轴进行双轴滤波，从而达到更好的滤波效果。

40、本发明还提供一种跨摄像头的内河航船全程轨迹识别系统，包括：多个时间同步的视频监控设备、水面高程监测传感器、数据处理系统、信息收发装置；

41、所述多个时间同步的视频监控设备，用于采集不同内河航道段的航船视频，沿岸分布布置，保证监测的水域首尾相接有重叠区域；

42、所述水面高程监测传感器用于获取到水面相对高程；

43、所述信息收发装置用于将水面高程信息从水面高程监测传感器传至数据处理系统；

44、所述数据处理系统用于实时载入监控视频和水面高程信息，执行步骤s2～s6。

45、有益效果：本发明与现有技术相比，具备如下优点：

46、1、本发明提供的跨摄像头的内河航船全程轨迹识别方法与系统，仅通过水面高程监测传感器获得的水面相对高程，通过普通视频监控设备拍摄的视频检测和跟踪船舶位置，即可还原船舶目标的世界坐标，降低了经济成本，且布置以及维修更加方便；

47、2、本发明提供的跨摄像头的内河航船全程轨迹识别方法与系统，能够切实有效地实现内河航道较长河段内航船全程轨迹的识别与监测，通过低成本手段获得更为全面和准确的统计数据，为内河航船全程轨迹分析提供了便利，具有广阔的应用前景。

48、3、双轴savitzky-golay滤波使原始目标检测的轨迹结果得到了修正，减少了目标检测的定位噪声，适合在相关领域推广。

49、4、通过在多个特征尺度应用无参注意力模块simam，能够提升在大背景下对小目标的识别准确度，提高了模型对小目标的检测效果。

50、5、本发明提供的跨摄像头的内河航船全程轨迹识别方法与系统，能够得到覆盖范围更全面的航船全程轨迹，且轨迹更平滑、准确，有效提升了内河航船全程轨迹的识别效果。