融合轨迹和尺度的公交下车客流检测方法、系统及设备

本发明属于道路交通仿真，具体涉及一种融合轨迹和尺度的公交下车客流检测方法、系统及设备。

背景技术：

1、随着相关技术的发展，公交车越来越多地配置各种传感器来检测公交客流。但单一的传感器往往具备一定的弊端，难以达到检测要求。多传感器融合系统是指对来自多个传感器的数据进行处理与综合,从而获得更精确、更可靠的有用信息与结果。与只采用单一传感器的系统相比，来自多个传感器的信息具有更好的容错性能和可靠性。因此如何用多个传感器优势互补来增加检测的准确性和可靠性成为公交客流检测领域的一个重要问题。

2、传统的公交客流检测方法常用重力、红外和压力踏板等传感器检测上下车乘客信息。红外传感器在乘客同时通过时容易漏检，重力传感器精度太低，压力传感器在同时上下车人数较多时难以检测，且易损坏，而若采用蓝牙检测器和wifi探针检测，则检测不到蓝牙或wifi关闭的乘客。目前使用较多的是采用摄像头进行检测，但会受到画面质量和遮挡的影响导致检测精度不高。

技术实现思路

1、本发明目的是提供一种融合轨迹和尺度的公交下车客流检测方法、系统及设备，检测出的公交下车客流结果具有高可靠性和准确性。

2、具体地说，一方面，本发明提供了一种融合轨迹和尺度的公交下车客流检测方法，包括：

3、车辆到达公交站点，处理终端接收到开门信号后，接收安装在下车门附近的鱼眼镜头获取的乘客下车视频帧，处理终端通过目标检测算法和跟踪算法检测下车乘客头部并进行跟踪，提取该公交站点下车乘客头部轨迹数据和头部像素尺度变化数据，得到从检测开始到结束的时间段内，每个下车乘客头部检测框的位置坐标和像素尺度变化数据；

4、处理终端实时获取安装在下车门附近的微波雷达模块输出的与下车乘客数相关的二进制数字信号；

5、处理终端接收到关门信号后，将检测到的下车乘客头部轨迹数据、下车乘客头部像素尺度变化数据，以及所述与下车乘客数相关的二进制数字信号输入训练好的机器学习分类模型，进行下车客流预测，输出该公交站点下车乘客数；

6、处理终端将该公交站点下车乘客数发送到公交云平台。

7、进一步的，所述融合轨迹和尺度的公交下车客流检测方法还包括，对所述鱼眼镜头获取的乘客下车视频帧中检测到的每个乘客进行追踪，并根据下车乘客头部检测框离开鱼眼镜头视频帧画面的先后顺序重新对下车乘客头部检测框进行编号，依次编号为1、2、…、n，其中n表示所有下车乘客头部检测框个数。

8、进一步的，所述融合轨迹和尺度的公交下车客流检测方法还包括：

9、对于位于鱼眼镜头视频帧画面中的所述下车乘客头部检测框，输出每个编号对应的下车乘客头部检测框的位置坐标和像素尺度，并根据编号的大小进行排序；

10、所述下车乘客头部检测框的位置坐标以检测框中心点为准，分别设置为{（x1,y1）,…,（xn,yn）}，所述下车乘客头部检测框的像素尺度分别记为{（w1,h1）,…,（wn,hn）}，n表示所有下车乘客头部检测框个数，w和h分别表示检测框的宽度和高度；

11、对于位于鱼眼镜头视频帧画面外的下车乘客头部检测框，当下车乘客离开鱼眼镜头视频帧画面后，将该下车乘客头部检测框的位置坐标设置为鱼眼镜头视频帧画面上第一固定位置，像素尺度设置为第一固定尺度；

12、对于暂时未出现在鱼眼镜头视频帧画面中的下车乘客头部检测框，将该下车乘客头部检测框的位置坐标设置为鱼眼镜头视频帧画面上第二固定位置，像素尺度设置为第二固定尺度。

13、进一步的，所述第一固定位置为鱼眼镜头视频帧画面下边界中心点（0.5xmax，0），所述第一固定尺度为（0.5xmax，0.5ymax），其中，xmax表示鱼眼镜头视频帧画面宽度，ymax表示鱼眼镜头视频帧画面高度。

14、进一步的，所述第二固定位置为鱼眼镜头视频帧画面上边界中心点（0.5xmax，ymax），所述第二固定尺度为（0，0），其中，xmax表示鱼眼镜头视频帧画面宽度，ymax表示鱼眼镜头视频帧画面高度。

15、进一步的，所述目标检测算法采用改进的yolov7算法，具体如下：

16、s101、在yolov7算法最后一个卷积层之前添加一个跨度为2的卷积层，将特征图的尺度减半；在该卷积层之后添加一个上采样层，将特征图的尺度变回原来的大小；

17、s102、使用contact函数将上一步得到的特征图与添加的卷积层之前得到的特征图进行拼接融合；

18、s103、对融合后的特征图添加卷积层、激活函数，进行归一化。

19、进一步的，所述训练好的机器学习分类模型由以下过程训练得到：

20、通过安装在公交车下车门附近的鱼眼镜头，获取每个公交站点的乘客下车视频帧中下车乘客头部运动轨迹和像素尺度变化数据；通过安装在公交车下车门附近的微波雷达感应模块，获取二进制数字信号；安排人员跟随该公交车辆，记录每个公交站点下车人数；将所述每个公交站点的乘客下车视频帧中下车乘客数作为目标值，将所述每个公交站点的乘客下车视频帧中检测出的下车乘客头部运动轨迹数据、像素尺度变化数据以及微波雷达感应模块输出的二进制数字信号数据按照指定顺序进行拼接，作为特征值，先对所有数据进行归一化处理，然后使用主成分分析法将特征降维至指定维度，将目标值与降维后的特征值输入机器学习分类器进行训练，得到训练好的机器学习分类模型。

21、另一方面，本发明还提供一种融合轨迹和尺度的公交下车客流检测系统，实现上述融合轨迹和尺度的公交下车客流检测方法，包括信号采集模块、鱼眼镜头、微波雷达感应模块、处理终端、通信模块、定位模块；

22、所述信号采集模块，安装在公交车的下车门，用于检测开门信号或者关门信号；当信号采集模块采集到开门信号或关门信号时，将所述开门信号或关门信号传送至所述处理终端；

23、所述鱼眼镜头，安装在公交车的下车门附近，用于获取乘客下车视频帧；

24、所述微波雷达感应模块，安装在公交车下车门附近，公交车下车门附近有下车乘客时，将微波雷达传感器感应到的下车乘客电磁波信号进行放大，并将其通过比较电路转换为方波信号，输出与下车乘客数相关的二进制的信号；

25、所述处理终端，在接收到所述开门信号或关门信号时，根据从鱼眼镜头获取的乘客下车视频帧，以及微波雷达感应模块输出的与下车乘客数相关的二进制数字信号，进行下车客流预测，输出预测的下车乘客数，通过所述通信模块将下车乘客数发送至公交云平台；

26、所述定位模块，获取当前公交站点的位置信息，通过所述通信模块发送给公交云平台。

27、再一方面，本发明还提供一种融合轨迹和尺度的公交下车客流检测设备，所述设备包括存储器和处理器；所述存储器存储有实现融合轨迹和尺度的公交下车客流检测方法的计算机程序，所述处理器执行所述计算机程序，以实现上述方法的步骤。

28、又一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述的计算机程序被处理器执行时实现上述方法的步骤。

29、本发明的融合轨迹和尺度的公交下车客流检测方法、系统及设备的有益效果如下：

30、本发明的融合轨迹和尺度的公交下车客流检测方法、系统及设备，相较于传统的直接根据轨迹检测客流的方法，本发明结合鱼眼镜头的特点，运用鱼眼摄像头距离远近对画面成像的影响，将尺度数据也作为特征数据，利用鱼眼镜头中下车乘客头部的运动轨迹和头部像素尺度存在相关性的原理，将其应用在公交客流检测领域用来检测下车人数，避免了目标检测轨迹丢失或异常的情况，解决了传统方法过分依赖轨迹检测精度的问题。

31、本发明的融合轨迹和尺度的公交下车客流检测方法、系统及设备，使用微波雷达数据作为特征数据之一，微波传感器的特性，解决了在光线较差时视频画面模糊或者画面存在遮挡情形下摄像头单传感器无法进行检测的问题。

32、本发明的融合轨迹和尺度的公交下车客流检测方法、系统及设备，通过将鱼眼镜头获取的下车乘客头部运动轨迹、头部像素尺度和同一时间下微波雷达传感器的二进制数字信号作为输入值，采用机器学习分类方法输出当前公交站点下车人数，既提升了视频检测客流的鲁棒性，也避免了传统单一设备检测下车客流时受到的外部环境干扰，提升了公交下车客流检测的准确性。

33、本发明的融合轨迹和尺度的公交下车客流检测方法、系统及设备，鱼眼镜头和微波传感器安装在车下车门附近，通过公交车上的处理终端实时获取两者数据并进行数据分析，将生成的下车客流数据发送给公交云平台，有利于公交系统的智能化。