一种右转车辆不礼让行人的自动识别方法和系统与流程

本发明属于智能交通领域，具体涉及一种右转车辆不礼让行人的自动识别方法和系统。

背景技术：

1、智能交通是交通安全过程中非常重要的环节。在传统背景下，右转车辆不礼让行人的自动识别方法主要依赖于交通监控人员的观察和判断，交通路口通常配备了交通监控人员，他们通过观察监控视频或直接在现场进行交通监管工作。监控人员会密切关注交叉口、人行横道等区域，以确保车辆遵守交通规则并礼让行人。交通监控人员根据交通法规和规定，判断右转车辆是否给予行人足够的礼让。一旦发现右转车辆不礼让行人的情况，交通监控人员会手动记录相关信息，如时间、地点和车辆信息等。他们还可以通过对讲机或其他通信设备与执法人员进行沟通，提供实时的交通违规信息。但人员资源有限、监控盲区、疲劳和主观判断等问题。为了提高监控效率和准确性，现代技术逐渐应用于交通监控领域，包括计算机视觉和机器学习等技术，以实现自动化的右转车辆不礼让行人的识别和监测，本技术方案提供了种右转车辆不礼让行人的自动识别方法。

技术实现思路

1、为了能够解决上述问题，本发明提供了一种右转车辆不礼让行人的识别方法和系统。

2、第一方面，本发明提供了一种右转车辆不礼让行人的识别方法，包括：

3、获取当前路口预置的摄像机采集到的视频数据，对所述视频数据进行图像分割，采集图像数据；

4、通过所述图像数据，对当前路口流动的行人和车辆进行视频追踪，得到行人追踪信息和车辆追踪信息；

5、通过所述图像数据，分析当前路口的车道路况；其中，

6、所述车道路况包括不同车道的地面箭头类型、当前道路及道路转弯之后的车道线、当前路口的前方及右侧斑马线区域；

7、基于所述行人追踪信息、车辆追踪信息和车道路况，判断当前右转车辆是否存在不礼让行人的行为；

8、若存在当前右转车辆是否存在不礼让行人的行为，将对应的的车辆信息上传到违法信息收集平台。

9、作为本技术方案的一种实施例，所述通过所述图像数据，对当前路口流动的行人和车辆进行视频追踪，得到行人追踪信息和车辆追踪信息，包括：

10、基于预设的特征提取方法，对每一帧图像数据进行人脸识别，区分每一帧图像数据中的人脸图像数据与背景图像数据；其中，

11、所述特征提取方法至少包括haar特征、hog特征和cnn特征；

12、基于预设的目标匹配算法，对相邻两帧的人脸图像数据进行目标匹配，确定人脸信息，并对所述人脸信息进行追踪，生成行人追踪信息；

13、基于预设的神经网络的目标检测网络，检测图像数据中每一个车辆信息，并对所述车辆信息进行追踪，生成车辆追踪信息；其中，

14、所述神经网络的目标检测网络至少包括faster rcnn网络、yolo网络和fcos网络。

15、作为本技术方案的一种实施例，所述目标匹配算法至少包括基于模板匹配的方法、基于机器学习的方法和基于深度学习的方法；

16、所述基于模板匹配的方法至少包括卡尔曼滤波、匈牙利算法和最近邻法。

17、基于预设的应用目标检测算法，检测每一帧视频数据的行人；

18、作为本技术方案的一种实施例，所述基于预设的目标匹配算法，对相邻两帧的人脸图像数据进行目标匹配，确定人脸信息，并对所述人脸信息进行追踪，生成行人追踪信息，包括：

19、基于预设的目标匹配算法，对相邻两帧的人脸图像数据进行目标匹配，获取人脸图像数据的帧序列；

20、将人脸特征相同的人脸图像数据的帧序列进行关联，确定人脸信息；

21、基于预设的行人运动模型，对相同人脸信息对应的人脸图像数据进行运动预测，得到运动轨迹；

22、按照所述运动轨迹，对所述人脸信息进行追踪，生成行人追踪信息；其中，

23、所述行人追踪信息至少包括行人位置、行人外形特征和行人运动轨迹信息。

24、作为本技术方案的一种实施例，所述通过所述图像数据，分析当前路口的不同车道的地面箭头类型，包括：

25、基于预设的图像检测方式，对采集到的每一帧的图像数据进行识别，输出图像数据中的地面箭头的具体位置和箭头类别；其中，

26、所述检测方式至少包括深度学习的目标检测网络、基于faster-rcnn的两阶段目标检测网络和基于yolo系列的一阶段目标检测网络；

27、所述地面箭头的箭头类别至少包括调头箭头、左转箭头、直行箭头、右转箭头和右转直行箭头；

28、筛选右转箭头和直行右转箭头，并确定所述右转箭头和直行右转箭头的具体位置。

29、作为本技术方案的一种实施例，所述通过所述图像数据，分析当前路口的当前道路及道路转弯之后的车道线，包括：

30、基于预设的实例分割网络，对采集到的每一帧的图像数据进行处理，检测车道线的实例；

31、为每个车道线的实例分配唯一标识符；

32、基于预设的卷积神经网络，对分配了唯一标识符的车道线的实例进行图像特征提取，获取车道线图像特征；其中，

33、所述卷积神经网络至少包括u-net编码器-解码器结构的卷积神经网络和fcn编码器-解码器结构的卷积神经网络；

34、通过解码器，将所述车道线图像特征恢复到原始图像大小；

35、基于预设的语义分割网络，将恢复到原始图像大小的车道线图像特征像素分类，将车道线区域与非车道线区域进行分割，识别当前路口的不同车道的当前道路及道路转弯之后的车道线。

36、作为本技术方案的一种实施例，所述通过所述图像数据，分析当前路口的前方及右侧斑马线区域，包括：

37、基于预设的实例分割网络处理和卷积神经网络，对采集到的每一帧的图像数据进行下采样提取特征，得到下采样特征；

38、对下采样特征进行上采样，得到上采样特征；

39、将上采样特征和下采样特征进行融合，得到融合特征；

40、利用卷积层生成语义头部和嵌入头部，区分图像数据中的所有斑马线区域与非斑马线区，并得到斑马线区域的整体外边缘；

41、通过所述斑马线区域的整体外边缘，检测当前路口的前方及右侧斑马线区域。

42、作为本技术方案的一种实施例，所述语义头部用于将图像数据中的所有斑马线区域与非斑马线区域进行分类；

43、所述嵌入头部用于将语义头部分类后的斑马线区域赋予一个实例特征，通过赋予实例特征的斑马线区域分开，并查找分开后的斑马线区域的连通域边界，通过所述连通域边界，得到斑马线区域的整体外边缘。

44、作为本技术方案的一种实施例，所述基于所述行人追踪信息、车辆追踪信息和车道路况，判断当前右转车辆是否存在不礼让行人的行为，包括：

45、步骤1:结合所述行人追踪信息、车辆追踪信息和车道路况和预设的违规情形，构建相似性计算器，并计算行人追踪信息、车辆追踪信息和车道路况和预设的违规情形的相似性系数：

46、

47、其中，τ为在不同车道路况下行人追踪信息和车辆追踪信息和预设的违规情形的相似性系数，r1代表行人追踪信息分配的相似性得分，t1代表行人追踪信息和违规情形中的行人违规类型的相似度系数；c2代表车辆追踪信息分配的相似性得分，t2代表车辆追踪信息分配的相似性系数，tc和td分别表示基于相似性计算器的可疑分和基于神经网络模型计算的可疑分之间的一致对和不一致对的数量，t代表在不同车道路况下行人追踪信息和车辆追踪信息的关系数；

48、步骤2:结合learning to rank算法，为行人追踪信息、车辆追踪信息和车道路况和预设的违规情形的相似性系数的权重；

49、sim(τ)＝∑wi(τ)*si(τ)

50、其中，wi代表learning to rank算法为第i种车道路况下行人追踪信息和车辆追踪信息和预设的违规情形分配的权重，si代表τ的相似性度量值；

51、步骤3:将所述相似性系数的权重输入learning to rank算法进行模型训练，并通过输入权重后的相似性系数和预设的违规情形的阈值，判断当前右转车辆是否存在不礼让行人的行为；

52、步骤4:当所述输入权重后的相似性系数超过预设的违规情形的阈值所述排序分数，则认定当前右转车辆是否存在不礼让行人的行为。

53、本技术方案提供了一种右转车辆不礼让行人的识别系统，包括：

54、图像采集模块，用于获取当前路口预置的摄像机采集到的视频数据，对所述视频数据进行图像分割，采集图像数据；

55、追踪模块，用于通过所述图像数据，对当前路口流动的行人和车辆进行视频追踪，得到行人追踪信息和车辆追踪信息；

56、路况分析模块，用于通过所述图像数据，分析当前路口的车道路况；其中，

57、所述车道路况包括不同车道的地面箭头类型、当前道路及道路转弯之后的车道线、当前路口的前方及右侧斑马线区域；

58、判断模块，用于基于所述行人追踪信息、车辆追踪信息和车道路况，判断当前右转车辆是否存在不礼让行人的行为；

59、违法信息上传模块，用于若存在当前右转车辆是否存在不礼让行人的行为，将对应的车辆信息上传到违法信息收集平台。

60、以下将结合附图对本发明做进一步详细说明。