一种桥区监控场景下的船舶检测与跟踪方法

本发明属于船舶检测与跟踪，涉及一种桥区监控场景下的船舶检测与跟踪方法。

背景技术：

1、桥梁是跨越水系、连接水体两侧交通运输通道的咽喉节点，是公路、铁路网的重要组成部分。然而，数量众多且分布密集的桥梁在为桥梁两岸货物运输、居民出行提供交通便利的同时也带来了不容忽视的安全风险：桥区范围内所布设的桥墩会使航道宽度受限，造成通航环境复杂度提升，显著增加了水上交通事故发生的概率。当前，船桥碰撞风险已成为水上交通安全的重大风险源之一。因此，积极采取措施，采用船舶检测与跟踪技术加强对桥区水域范围内船舶的监管，预防船舶碰撞事故及桥损及桥毁等恶性事件的发生非常有必要。

2、在深度学习技术取得突破性进展之前，对于船舶的检测与跟踪，传统的船舶目标检测可分为基于特征提取的静态船舶目标检测以及基于帧间差分、背景建模等方法的动态船舶目标检测，但二者具有较大局限性，如鲁棒性较弱，受船舶遮挡、恶劣天气条件等因素影响较大，对静止或运动缓慢船舶检测效果较差等；而传统的船舶目标跟踪方法可分为基于联合分布的生成式模型以及基于条件分布的判别式模型，此类模型通常只能够执行面向单艘船舶的跟踪任务，且跟踪鲁棒性较低。

3、随着计算机图形处理设备的不断迭代以及深度学习技术的高速发展，基于深度学习的船舶目标检测与跟踪算法拥有了赖以蓬勃发展的土壤。当下，基于深度学习的船舶目标检测已成为船舶目标检测领域中应用最为广泛的方法，基于检测的跟踪也成为了当下船舶跟踪领域中新的范式。相较传统方法，基于深度学习的船舶检测与跟踪方法能够同时跟踪多艘船舶，且在实际应用中具有更高的准确率以及更强的鲁棒性。

4、桥区水域监控设备多架设在桥面或桥墩，其监控范围可达数公里，监控图像中远处的小尺寸船舶目标通常难以提供足够多的视觉信息用于检测，同时，当画面中船舶受到遮挡时，该船舶目标提供的视觉信息将严重受损，可能严重损害船舶检测与跟踪的性能，导致通用检测与跟踪方法难以取得理想效果。因此，针对桥区船舶尺度变化大、远距离船舶尺寸小、特征少以及船舶间遮挡频繁等难点，对通用检测与跟踪方法进行改进，提出一种桥区监控场景下的船舶检测与跟踪方法具有重要的现实意义。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种桥区监控场景下的船舶检测与跟踪方法，解决现有技术在桥区监控场景下的鲁棒性不足的问题，适用于桥区监控场景的船舶检测与跟踪，能有效提升对远距离小目标船舶的检测精准度以及受遮挡船舶的跟踪稳定性，实现桥区监控场景下的船舶高精度跟踪。

2、为达到上述目的，本发明提供如下技术方案：

3、一种桥区监控场景下的船舶检测与跟踪方法，具体包括以下步骤：

4、s1：采集桥区监控场景下的视频流数据，选取其中图像和视频片段分别进行标注，构造船舶检测与多目标跟踪数据集；

5、s2：构造可变形多分支yolox网络，并将所采集数据集输入所述可变形多分支yolox网络中进行训练，从而得到船舶检测模型；

6、s3：将桥区视频图像输入到训练好的船舶检测模型中进行检测，输出船舶检测结果；

7、s4：根据船舶检测结果，分别使用卡尔曼滤波以及resnet50-ibn网络提取船舶运动及外观特征；

8、s5：根据检测结果的置信度及提取到的特征，将当前视频帧检测到的船舶与历史轨迹进行匹配，输出跟踪结果。

9、进一步，步骤s2中，构造可变形多分支yolox网络，具体是：将原有yolox网络中的csp模块统一替换为dc2s模块，同时在neck部分的输入前添加cbam混合注意力模块；并使用ciou替换iou作为yolox网络的定位损失，使用focal loss替换bce损失作为正例判断损失；其中，dc2s模块是可变形多分支梯度路径模块，也是特征提取主干网络的重要组成模块，用于提升桥区水域下远距离船舶目标的检测性能。

10、进一步，步骤s2中，所述dc2s模块的结构是：首先使用cbs模块对特征进行一次处理，随后通过split操作将一半通道的特征作为次梯度分支直接参与并行拼接，另一半通道的特征将输入n个可变形残差组件组成的主梯度分支中进一步进行特征提取；在主梯度分支中，dc2s不再如同csp模块一样选择采用单纯的串联模式，而是在串联可变形残差组件的基础上，将各可变形残差组件的输出进行并行拼接，从而丰富特征信息，提升梯度回流的效率；主梯度流与次梯度流拼接后的结果会通过cbs模块调整通道数，实现多分支特征的高度融合。

11、进一步，步骤s2中，ciou损失函数的表达式为：

12、

13、

14、

15、其中，d为真实框与目标框间的欧氏距离，c为真实框与目标框最小外接矩形的对角线长度，为权重函数；v为一个正的权衡参数，用以衡量真实框与目标框间宽高比的一致性；wgt和hgt分别表示真实框的宽度和高度，w和h分别表示目标框的宽度和高度。

16、进一步，步骤s2中，focal loss损失函数的表达式为：

17、lfl＝-(1-pt)γlog(pt)

18、

19、其中，lfl表示focal loss损失，γ为调制系数，用来降低易分类样本权重，并增加难分类样本权重；pt表示目标分类正确的概率，为预测概率大小，y为判定是否为正例的标签。

20、进一步，步骤s4中，利用卡尔曼滤波提取船舶运动特征，具体包括：采用作为卡尔曼滤波系统的状态参数；在初始化阶段，各变化率的初始值被设置为0，并采用8×8的对角矩阵作为系统的协方差矩阵。

21、一个卡尔曼滤波系统的状态预测方程和状态观测方程分别由下式给出定义：

22、xk＝fxk-1+buk+wk

23、zk＝hxk-1+vk

24、其中，xk和zk分别表示系统在k时刻的状态向量和观测向量；f为状态转移矩阵，b、uk分别代表控制输入矩阵、控制输入向量；h为观测矩阵，wk和vk分别表示均值为0，协方差为q和r的状态噪声和观察噪声；

25、由于在船舶多目标跟踪场景中，无法了解船舶内部运动参数，因此不考虑控制输入部分的参数。在预测阶段，首先将根据状态转移矩阵对目标船舶进行估计：

26、

27、其中，和分别表示k时刻系统的先验估计和k-1时刻系统的后验估计，f为状态转移矩阵；

28、同时，需要计算出先验估计时误差的协方差：

29、

30、其中，表示k时刻系统的先验估计误差的协方差，表示k-1时刻系统的后验估计误差的协方差；

31、随后，在更新阶段，首先需要计算卡尔曼增益：

32、

33、其中，kk为卡尔曼增益，代表系统对于预测值和观察值的偏好权重；

34、再计算最优估计值：

35、

36、并更新协方差矩阵

37、

38、其中，e为n阶单位矩阵，其右下标的n为观测量的维度。

39、进一步，步骤s4中，利用resnet50-ibn网络模型提取船舶外观特征，具体包括：resnet50-ibn网络是在resnet50网络基础上，在前三类残差块输出的激活函数前添加实例归一化层，对较浅层特征进行处理，从而增强重识别模型对桥区水域船舶受遮挡条件下的鲁棒性。

40、进一步，步骤s4中，采用iou距离作为船舶运动特征的衡量指标：

41、d(1)(i,j)＝1-iou(dj,ri)

42、其中，dj、ri分别代表检测到的第j个船舶目标边界框以及已有的第i条船舶轨迹通过卡尔曼滤波器得出的预测框；d(1)(i,j)表示第i条船舶轨迹与第j个目标间的iou距离；

43、采用余弦距离作为船舶外观特征的衡量指标：

44、

45、其中，rj代表当前帧中检测到的第j个目标所提取到的外观描述子，则代表第i条船舶轨迹的第k个外观描述子；d(2)(i,j)表示第i条船舶轨迹与第j个目标间的余弦距离。此外，在计算余弦距离时，会设置0.25为最低阈值来排除船舶外观相似度过低的匹配结果。

46、进一步，步骤s5具体包括：根据检测置信度对高分检测结果与低分检测结果分别处理，同时，采用基于检测结果置信度的特征整合策略作为综合匹配指标，表示为：

47、sij＝(1-cj2)d(1)(i,j)+cj2d(2)(i,j)

48、其中，cj表示第j个目标检测结果的置信度，d(1)(i,j)、d(2)(i,j)分别为第i条船舶轨迹与第j个目标间的iou距离与余弦距离，sij为第j个目标与第i条船舶轨迹的综合匹配度；

49、匹配过程采取匈牙利算法和级联匹配策略，初次匹配完成后，匹配成功的轨迹将直接作为下一帧的轨迹输入，未能成功匹配的检测结果生成新的轨迹输入到下一帧，未匹配的轨迹进行二次匹配。

50、本发明的有益效果在于：本发明针对桥区船舶尺度变化大、远距离船舶尺寸小、特征少以及船舶间遮挡频繁等难点，通过对现有方法进行改进，提供了一种适用于桥区监控场景的船舶检测与跟踪方法，可以在桥区监控场景下取得良好的检测与跟踪效果。

51、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。