适用于球机变化视角的车辆逆行检测方法、设备及介质

本发明属于智能交通及图像处理，涉及基于卷积神经网络的多目标跟踪算法以及路面区域行驶属性的判断，为适用于球机变化视角的车辆逆行检测方法、设备及介质。

背景技术：

1、现有技术对于车辆逆行的判断已有一些方法。一些是基于固定摄像头，通过基于深度学习的方法检测车辆和行驶方向，并通过与预设的正确行驶方向对比判断是否出现逆行事件，这种方法存在拍摄视角不灵活、需要人为规定双向车道的行驶属性等问题；一些基于球机摄像头的方法，利用结合多目标跟踪算法和路面区域提取算法综合判断车辆是否逆行，但这类方法存在着系统开销大、算法运行速度慢等缺点；另外还有一些判断车辆逆行的方法采用其他标志物如箭头交通标线来辅助判断路面行驶属性，根据路面行驶属性判断车辆是否逆行，但高速公路场景单一，鲜有标志物辅助判断。因此需要一种快速有效针对适用于高速公路场景下车辆逆行的检测手段。

技术实现思路

1、本发明要解决的问题是：现有的道路固定摄像机虽然可提前人为分割双向车道并判断各车道上的车辆是否逆行，但存在拍摄视角单一的问题，不能满足道路监控需求。而拍摄视角灵活的球机由于拍摄方向的改变会导致人为划线分割双向车道的方法失效，造成车辆逆行检测结果的误判。若使用路面区域提取算法，例如yolact、mask-rcnn等，则会对整个系统的性能提出更高的要求，算法运行速度降低，不适合同时处理多路视频的情况；而由于高速公路场景单一，也难以使用标志物来辅助判断。因此需要一种更好的车辆逆行检测方法，兼顾准确性和实时性。

2、本发明的技术方案为：适用于球机变化视角的车辆逆行检测方法，包括以下步骤：

3、step1：构建公路车辆视频数据集，通过训练得到多目标跟踪算法的网络权重；

4、step2：使用opencv读取球机rtmp地址获得实时拍摄的双向车道视频流；

5、step3：对获取的视频流中的视频帧，以画面的左上角为坐标原点，水平方向为x轴，垂直方向为y轴，建立直角坐标系，其x轴最大值为w，y轴最大值为h；

6、step4：初始化参数，双向车道斜率k初始化为0，设在车辆跟踪中，上行车辆检测框横坐标最大值为xupmax，下行车辆检测框横坐标最小值为xdownmin，得到上行车道区域横坐标最大时的上行最值点坐标(xupmax,yup)，以及下行车道区域横坐标最小时的下行最值点坐标(xdownmin,ydown)，yup、ydown分别为对应xupmax、xdownmin的检测框的纵坐标中值，将(xupmax,yup)和(xdownmin,ydown)分别初始化为(0，0)和(w，0)；

7、step5：使用多目标跟踪算法对视频流中的车辆进行跟踪，得到每辆车的id、行驶方向信息及检测框位置坐标信息，计算上行最值点坐标(xupmax,yup)和下行最值点坐标(xdownmin,ydown)，并计算行驶中车辆检测框横坐标的平均偏移量，预设阈值，平均偏移量若小于等于阈值，则车道斜率方向与球机拍摄视角一致，进入step6，否则为视角不一致，进入step7；

8、step6：初始化参数，双向车道斜率k初始化为0，根据每辆车的行驶方向以及每辆车检测框的中心位置横坐标，周期性计算每辆车检测框的中心位置横坐标与上、下行车道最值点坐标中的横坐标xupmax、xdownmin距离的绝对值若某上行车辆的小于或者某下行车辆的小于则判定该车出现逆行行为，否则为正常行驶；

9、step7：根据step5中获得每辆车的行驶方向以及每辆车检测框的中心位置横坐标，计算双向车道斜率、投影线斜率、车辆检测框中心位置坐标在投影线上对应的交点坐标、以及上下行车道最值点坐标在投影线上的交点坐标(xupmaxref,yref)、(xdownminref,yref)，通过车辆检测框中心位置坐标在投影线上的交点与上下行车道最值点坐标在投影线上的交点的距离绝对值综合判断车辆是否出现逆行行为；

10、step8：将step6中初始化得到的双向车道斜率k或者在step7中计算得到的双向车道斜率k与上次记录的双向车道斜率k比较，若变化的绝对值大于预设的斜率阈值，表明球机拍摄视角发生了变化，则跳至step4，重新初始化参数，再根据step5-7判断车辆是否出现逆行行为。

11、本发明还提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由所述处理器加载并执行，实现上述的适用于球机变化视角的车辆逆行检测方法。

12、本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或一段程序被执行时，实现上述的适用于球机变化视角的车辆逆行检测方法。

13、本发明在球机采集的图像中设置跟踪区域，并建立直角坐标系，记录被跟踪车辆行驶的方向和每辆车检测框的坐标值，根据车辆检测框坐标值统计得到上行车道区域点坐标中的最大横坐标值和下行车道区域点坐标中的最小横坐标值，同时根据每辆车的行驶轨迹计算得到上下行车道的斜率，利用上下行车道斜率计算投影线方程，将每辆车检测框的中心坐标和上下行车道区域的最值坐标投影至投影线上，通过每辆车的行驶方向和中心坐标与两个车道最值坐标在投影线上的距离综合判断车辆是否逆行，在球机拍摄视角发生变化的情况下可以根据车辆的行驶轨迹自动更新车道斜率和投影线方程，无需人为参与和重复划定车道区域，无需额外使用路面检测算法增加系统开销，同时解决了拍摄视角单一的问题，兼顾拍摄视角的灵活性和算法运行的实时性。

14、本发明与现有技术相比，具有以下优点：

15、(1)适用于拍摄视角灵活的球机，解决固定摄像头拍摄视角单一的问题，同时能适用球机的视角变化。

16、(2)克服了人工划线分割车道行驶属性的不足，能够针对球机拍摄视角的变化自适应地分割判定车道行驶属性，节省人力。

17、(3)整个算法模块无需级联其他分割算法，节省了系统资源，适用于处理多路视频的要求。

技术特征：

1.适用于球机变化视角的车辆逆行检测方法，其特征是包括以下步骤：

2.根据权利要求1所述的适用于球机变化视角的车辆逆行检测方法，其特征是step1中，获取高速公路上球机拍摄的视频并切分视频帧，制作训练集、验证集和测试集，通过训练卷积神经网络得到网络权重。

3.根据权利要求1所述的适用于球机变化视角的车辆逆行检测方法，其特征是step5具体为：

4.根据权利要求1所述的适用于球机变化视角的车辆逆行检测方法，其特征是step5中所述多目标跟踪算法包括sort、deepsort和fairmot。

5.根据权利要求1所述的适用于球机变化视角的车辆逆行检测方法，其特征是step7具体为：

6.一种电子设备，其特征是所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由所述处理器加载并执行，实现权利要求1-6任一项所述的适用于球机变化视角的车辆逆行检测方法。

7.一种计算机可读存储介质，其特征是所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或一段程序被执行时，实现如权利要求1-6任一项所述的适用于球机变化视角的车辆逆行检测方法。

技术总结
适用于球机变化视角的车辆逆行检测方法、设备及介质，在球机采集的图像中设置跟踪区域，记录被跟踪车辆行驶的方向和每辆车检测框的坐标值，计算上行车道最大横坐标值和下行车道最小横坐标值，根据车辆行驶轨迹计算车道斜率，利用车道斜率计算投影线方程，通过每辆车的行驶方向和检测框中心坐标与两个车道最值坐标在投影线上的距离综合判断车辆是否逆行，在球机拍摄视角发生变化的情况下，根据车辆的行驶轨迹自动更新车道斜率和投影线方程。本发明无需人为参与和重复划定车道区域，无需额外使用路面检测算法增加系统开销，同时解决了拍摄视角单一的问题，兼顾拍摄视角的灵活性和算法运行的实时性。

技术研发人员：阮雅端,汪良文,王涣宇,刘子昂,陈启美
受保护的技术使用者：南京大学
技术研发日：
技术公布日：2024/3/31