车辆违规检测方法、装置及系统、存储介质与流程

1.本文涉及车辆违规检测技术，尤指一种车辆违规检测方法、装置及系统、存储介质。


背景技术：

2.近年来，随着道路和车辆的迅速发展，车辆违规等交通问题日益突出。对违规车辆进行有效监测是道路交通管理的重要需求。


技术实现要素：

3.以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
4.本公开实施例提供了一种车辆违规检测方法，包括：
5.获取多帧图像，根据所述多帧图像进行车辆检测和跟踪，生成检测到的车辆的车辆信息，所述车辆信息包括车辆检测框和车型信息；所述车型信息对应车辆物理尺寸；
6.根据所述车辆的车辆检测框的尺寸和所述车辆的车型信息对应的车辆物理尺寸确定所述图像中的图像坐标与绝对空间坐标的对应关系，根据所述对应关系确定所述车辆的速度信息；
7.根据所述车辆的速度信息进行所述车辆的违规判定。
8.在一示例性实施例中，所述获取多帧图像，根据所述多帧图像进行车辆检测和跟踪包括：
9.获取一帧图像，在该帧图像中检测到车辆时，在后续的至少一帧图像中跟踪所述车辆，记录所述车辆的连续s帧图像的车辆检测框，当所述s帧图像中的相邻帧图像中所述车辆的车辆检测框的重合面积与该相邻帧图像中该车辆的任一车辆检测框的面积之比大于等于预设比例阈值时，识别所述车辆的车型信息，其中，0《预设比例阈值《1，s为大于1的整数。
10.在一示例性实施例中，0.35≤预设比例阈值≤0.75。
11.在一示例性实施例中，所述根据所述对应关系确定所述车辆的速度信息包括：
12.根据所述对应关系，确定两帧图像的车辆检测框的同一位置对应的绝对空间坐标，根据所述两帧图像的车辆检测框的同一位置对应的绝对空间坐标确定两帧图像的车辆检测框的同一位置之间的位移距离，根据所述位移距离和所述两帧图像的时间间隔确定所述车辆的第一速度；
13.将所述第一速度作为所述车辆的速度信息；或者，根据不同帧的图像获取多个所述第一速度，将多个所述第一速度的平均值作为所述车辆的速度信息。
14.在一示例性实施例中，
15.所述两帧图像为相邻的两帧图像；
16.所述根据不同帧的图像获取多个所述第一速度包括：
17.根据连续的多帧图像中两两相邻帧的图像获取多个所述第一速度。
18.在一示例性实施例中，所述根据所述车辆的速度信息进行所述车辆的违规判定包括以下至少之一：
19.当所述车辆的速度信息为零，且所述车辆位于违停车道，且所述车辆位于所述违停车道的时间大于预设第一告警时间阈值时，确定所述车辆违规停车；
20.当所述车辆的速度信息为零，且所述车辆位于非违停车道，且所述车辆位于所述非违停车道的时间大于预设第三告警时间阈值，且在所述车辆检测框的周边预设范围内检测到行人或预设警示牌时，确定所述车辆事故；
21.当所述车辆的速度信息为零，且所述车辆位于非违停车道，且所述车辆位于所述非违停车道的时间大于预设第三告警时间阈值，且在所述车辆检测框的周边预设范围内未检测到行人和预设警示牌时，确定所述车辆违规停车；
22.当所述车辆的速度信息非零且所述车辆的行驶方向与所述车辆所在的车道的行驶方向不一致，且所述车辆逆行的时间大于预设第二告警时间阈值时，确定所述车辆违规逆行；
23.当所述车辆的速度信息小于预设低速阈值且所述车辆的行驶方向与所述车辆所在的车道的行驶方向一致，所述车辆处于速度信息小于所述预设低速阈值的时间大于预设第四告警时间，确定所述车辆违规低速；
24.当所述车辆的速度信息大于预设超速阈值且所述车辆的行驶方向与所述车辆所在的车道的行驶方向一致，所述车辆处于速度信息大于所述预设超速阈值的时间大于预设第五告警时间，确定所述车辆违规超速。
25.在一示例性实施例中，所述车辆信息还包括：车牌信息；
26.所述方法还包括，根据所述车牌信息确定与所述车辆关联的终端设备；以及，
27.根据所述车辆的速度信息进行所述车辆的违规判定且确定所述车辆存在违规后，将所述车辆的违规行为信息发送给与所述车辆关联的终端设备。
28.在一示例性实施例中，所述方法还包括：
29.存储车辆信息以及进行车辆的违规判定后生成的违规行为信息，根据所述车辆信息和所述违规行为信息进行统计生成统计信息，发送与所述车辆相关的统计信息至所述车辆关联的终端设备，所述与所述车辆相关的统计信息包括以下至少之一：根据所述车辆的违规行为信息进行统计得到的统计信息、根据所述车辆所属的车型的违规行为信息进行统计得到的统计信息。
30.在一示例性实施例中，所述违规行为信息包括违规行为发生的路段，所述统计信息包括以下至少之一：同一车辆出现不同违规行为的频率，同一车型出现不同违规行为的频率，同一车型在不同路段出现违规行为的频率。
31.本公开实施例提供一种车辆违规检测装置，包括处理器以及存储有可在处理器上运行的计算机程序的存储器，其中，所述处理器执行所述程序时实现上述任一实施例所述车辆违规检测方法的步骤。
32.本公开实施例提供一种计算机可读存储介质，存储有程序指令，当该程序指令被执行时可实现上述任一实施例所述的车辆违规检测方法。
33.本公开实施例提供一种车辆违规检测系统，包括：视频采集设备和上述车辆违规
检测装置，其中，所述视频采集设备被配置为，采集预设监控区域的图像，将所述图像发送给所述车辆违规检测装置。
34.本公开实施例提供一种车辆违规检测装置，包括：车辆信息识别模块和违规行为检测模块，其中：
35.所述车辆信息识别模块被配置为，获取多帧图像，根据所述多帧图像进行车辆检测和跟踪，生成检测到的车辆的车辆信息，所述车辆信息包括车辆检测框和车型信息，所述车型信息对应车辆物理尺寸；输出所述车辆信息至所述违规行为检测模块；
36.所述违规行为检测模块被配置为，根据所述车辆的车辆检测框的尺寸和所述车辆的车型信息对应的车辆物理尺寸确定所述图像中的图像坐标与绝对空间坐标的对应关系，根据所述对应关系确定所述车辆的速度信息；根据所述车辆的速度信息进行所述车辆的违规判定。
37.在一示例性实施例中，所述车辆违规检测装置还包括：数据存储模块和数据分析模块，其中：
38.所述车辆信息识别模块还被配置为，将所述车辆信息发送给所述数据存储模块，所述车辆信息还包括车牌信息；
39.所述违规行为检测模块还被配置为，根据所述车辆的速度信息进行所述车辆的违规判定后生成违规行为信息，将所述违规行为信息发送给所述数据存储模块，根据所述车辆的车牌信息确定与所述车辆关联的终端设备，将所述车辆的违规行为信息发送给与所述车辆关联的终端设备；
40.所述数据存储模块被配置为，存储所述车辆信息识别模块发送的所述车辆信息，以及，存储所述违规行为检测模块发送的所述违规行为信息；
41.所述数据分析模块被配置为，根据所述数据存储模块存储的车辆信息和违规行为信息进行统计生成统计信息，发送与所述车辆相关的统计信息至与所述车辆关联的终端设备，所述与所述车辆相关的统计信息包括以下至少之一：根据所述车辆的违规行为信息进行统计得到的统计信息和根据所述车辆所属的车型的违规行为信息进行统计得到的统计信息。
42.本公开实施例包括车辆违规检测方法、装置及系统、存储介质，所述车辆违规检测方法包括：获取多帧图像，根据所述多帧图像进行车辆检测和跟踪，生成检测到的车辆的车辆信息，所述车辆信息包括车辆检测框和车型信息；所述车型信息对应车辆物理尺寸；根据所述车辆的车辆检测框的尺寸和所述车辆的车型信息对应的车辆物理尺寸确定图像中的图像坐标与绝对空间坐标的对应关系，根据所述对应关系确定所述车辆的速度信息；根据所述车辆的速度信息进行所述车辆的违规判定。本实施例提供的方案，无需测速传感器，根据图像即可确定车辆的速度信息，进而进行车辆违规判定，成本低，实现简便。
43.本公开的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本公开的目的和优点可通过在说明书以及附图中所特别指出的结构来实现和获得。
44.在阅读并理解了附图和详细描述后，可以明白其他方面。
附图说明
45.附图用来提供对本公开技术方案的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本发明的技术方案，并不构成对技术方案的限制。
46.图1为一示例性实施提供的车辆违规检测系统框图；
47.图2为一示例性实施例提供的车辆违规检测方法流程图；
48.图3为一示例性实施例提供的车辆检测、跟踪和识别方法流程图；
49.图4为一示例性实施例提供的车辆违规检测方法流程图；
50.图5为一示例性实施例提供的车辆违规检测装置框图；
51.图6为一示例性实施例提供的计算机可读存储介质框图。
具体实施方式
52.本公开描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本公开所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。
53.本公开包括并设想了与本领域普通技术人员已知的特征和元件的组合。本公开已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本公开中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。
54.此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本公开实施例的精神和范围内。
55.图1为一示例性实施例提供的车辆违规检测系统示意图。如图1所示，本公开实施例提供的车辆违规检测系统可以包括：视频采集设备、车辆违规检测装置和终端设备。所述视频采集设备可以通过有线或无线方式连接到车辆违规检测装置。所述车辆违规检测装置比如可以是云端设备。所述终端设备可以通过无线方式连接到所述车辆违规检测装置。
56.所述视频采集设备被配置为，采集预设监控区域的图像，将所述图像发送给所述车辆违规检测装置。所述图像可以包括视频图像。所述视频采集设备可以实时采集所述预设监控区域的图像。
57.所述车辆违规检测装置被配置为，根据所述视频采集设备发送的图像实现车辆检测和跟踪，生成车辆信息，根据车辆信息进行车辆违规的判定，生成违规行为信息，存储车
辆信息和违规行为信息，根据车辆信息和违规行为信息进行统计分析生成统计信息，根据车辆信息确定车辆关联的终端设备，将所述车辆的违规行为信息和与所述车辆相关的统计信息发送给车辆关联的终端设备。所述与所述车辆相关的统计信息包括以下至少之一：根据所述车辆的违规行为信息进行统计得到的统计信息和根据所述车辆所属的车型的违规行为信息进行统计得到的统计信息。
58.所述终端设备被配置为，接收所述违规行为信息和所述统计信息。终端设备可以将所述违规行为信息和所述统计信息显示给车主，以提醒车主，降低违规行为的发生。
59.在一示例性实施例中，所述视频采集设备可以是道路监控设备。可以利用已有的道路监控设备，降低成本。但本公开实施例不限于此，可以是重新布设的监控设备。
60.在一示例性实施例中，所述车辆违规检测装置可以通过推送的方式发送所述违规行为信息和统计信息。但本公开实施例不限于此，可以通过其他方式发送所述违规行为信息和统计信息。
61.在一示例性实施例中，所述终端设备可以是移动智能终端或者车载终端。车辆关联的终端设备可以是车辆所属的车主的移动智能终端或者安装在车辆上的车载终端。移动智能终端或车载终端可以通过应用程序(app)或者其他方式与车辆违规检测装置通信。
62.在一示例性实施例中，如图1所示，所述车辆违规检测装置可以包括车辆信息识别模块和违规行为检测模块，其中：
63.所述车辆信息识别模块被配置为，获取多帧图像，根据所述多帧图像进行车辆检测和跟踪，生成检测到的车辆的车辆信息，所述车辆信息可以包括车辆检测框和车型信息，所述车型信息对应车辆物理尺寸；输出所述车辆信息至所述违规行为检测模块；所述车辆信息识别模块可以从视频采集设备获取图像。
64.所述违规行为检测模块被配置为，根据所述车辆的车辆检测框的尺寸和所述车辆的车型信息对应的车辆物理尺寸确定所述图像中的图像坐标与绝对空间坐标的对应关系，根据所述对应关系确定所述车辆的速度信息；根据所述车辆的速度信息进行所述车辆的违规判定。
65.本实施例提供的方案，无需测速传感器，根据图像即可确定车辆的速度信息，进而进行车辆违规判定，成本低，实现简便。
66.在一示例性实施例中，所述车牌信息可以包括车牌号。
67.在一示例性实施例中，所述车辆信息识别模块可以使用车辆检测训练数据进行预先训练得到车辆检测神经网络模型，根据所述车辆检测神经网络模型进行车辆检测，所述车辆检测训练数据中可以标注出车辆检测框坐标；所述车辆检测神经网络模型比如可以是yolov5神经网络模型等。所述车辆信息识别模块检测到车辆时，可以输出包括车辆检测框的图像，或者，输出车辆检测框在图像中的位置信息。
68.在一示例性实施中，所述车辆检测框可以是包括所述车辆的最小矩形框。但本公开实施例不限于此，所述车辆检测框可以是其他形状。
69.在一示例性实施中，所述车辆信息识别模块可以预先训练得到车牌识别神经网络模型，根据所述车牌识别神经网络模型进行车牌识别。但本公开实施例不限于此，可以通过其他方式进行车牌识别。
70.在一示例性实施中，所述车辆信息识别模块可以预先训练得到车型识别神经网络
模型，根据所述车型识别神经网络模型进行车型识别。但本公开实施例不限于此，可以通过其他方式进行车型识别。所述车型识别神经网络模型可以在车辆违规检测过程中进行更新。
71.在一示例性实施例中，车型识别可以和车辆检测使用同一神经网络模型，将图像输入该神经网络模型，输出车辆检测框和车型信息。但本公开实施例不限于此，可以使用不同的神经网络模型分别进行车辆检测和车型识别。所述车辆信息识别模块可以使用车辆检测训练数据进行预先训练得到车辆检测神经网络模型，根据所述车辆检测神经网络模型进行车辆检测，所述车辆检测训练数据中可以标注出车辆检测框坐标和车辆的车型。后续将图像输入到训练好的车辆检测神经网络模型后，即可输出车辆检测框坐标和车辆的车型。
72.在一示例性实施例中，所述违规判定包括但不限于以下至少之一：违规超速、违规低速、违规逆行、违规停车的判定。所述违规逆行可以包括违规倒车，以及，沿车道规定的方向相反的方向行驶的行为。
73.在一示例性实施例中，所述违规行为检测模块还可以被配置为，根据所述图像确定所述车辆的行车轨迹。根据图像可以确定车辆的位置，根据所述位置即可确定车辆的形成轨迹。车辆的位置可以用车辆的车辆检测框的中心点的位置表示。
74.在一示例性实施例中，所述车辆违规检测装置还可以包括：数据存储模块和数据分析模块，其中：
75.所述车辆信息识别模块还被配置为，将所述车辆信息发送给所述数据存储模块，所述车辆信息还可以包括车牌信息；
76.所述违规行为检测模块还被配置为，根据所述车辆的速度信息进行所述车辆的违规判定后生成违规行为信息，将所述违规行为信息发送给所述数据存储模块，根据所述车辆的车牌信息确定与所述车辆关联的终端设备，将所述车辆的违规行为信息发送给与所述车辆关联的终端设备；
77.所述数据存储模块被配置为，存储所述车辆信息识别模块发送的所述车辆信息，以及，存储所述违规行为检测模块发送的所述违规行为信息；
78.所述数据分析模块被配置为，根据所述数据存储模块存储的车辆信息和违规行为信息进行统计生成统计信息，发送与所述车辆相关的统计信息至与所述车辆关联的终端设备，所述与所述车辆相关的统计信息包括以下至少之一：根据所述车辆的违规行为信息进行统计得到的统计信息和根据所述车辆所属的车型的违规行为信息进行统计得到的统计信息。
79.在一示例性实施例中，所述车型信息可以包括但不限于家用小型汽车、卡车、商务车、公交车等。
80.以图像中车辆检测框的左下角顶点或中心点为例，说明像素坐标位置转换到世界坐标系(即绝对空间坐标)的方法。
81.从图像的坐标点转换到实际坐标点，可以从像素坐标系转换到图像坐标系再转换到相机坐标系，再从相机坐标系转换到世界坐标系。世界坐标系是客观三维世界的绝对坐标系，相机坐标系是以相机光点为中心，x，y轴平行于图像的两条边，光轴作为z轴所建立的坐标系；图像坐标系是以图像中心为坐标原点，x，y轴平行于图像两边；像素坐标系是以图像左上角为原点，x,y轴分别平行于图像两边的坐标系。
82.(1)设世界坐标系下存在一个车辆p所在位置的坐标为(x,y,z)；用(xc,yc,zc)表示车辆p所在相机坐标系下的位置坐标；再用(x,y)表示车辆p在图像坐标系中的坐标值；用(u,v)表示车辆p在像素坐标值中的坐标值。
83.(2)世界坐标系和相机坐标系存在刚体变换的关系，因为二者都是三维坐标系，只是坐标位置不同，所以世界坐标系中的某一点可以通过旋转矩阵r和平移t转换成相机坐标系中坐标点，公式如下：
[0084][0085]
其中r是3
×
3的矩阵，t是3
×
1的矩阵，旋转矩阵r和平移t，可以由摄像头的离地高度h和姿态角确定：
[0086][0087]
t＝(0,0,h)
[0088]
(3)相机坐标系和图像坐标系之间存在透视投影变换的关系，公式如下，其中f为摄像头已知焦距：
[0089][0090][0091]
转换成齐次坐标系和矩阵表示为
[0092][0093]
(4)图像坐标系和像素坐标系之间存在仿射变换关系，即图像坐标系中的(x,y)单位是mm，其中dx代表每一个像素的物理距离是多少，dx可以根据车辆检测框的尺寸和所述车辆的车型信息对应的车辆物理尺寸确定，dx单位是mm/pix，所以x
×
(1/dx)的单位就是像素pix。所以关系公式如下，其中(u0,v0)代表图像坐标系中的原点在像素坐标系下的坐标。
[0094][0095][0096]
转化为矩阵形式为:
[0097][0098]
综上所述，世界坐标系中的一个车辆p所在位置坐标为(x,y,z)和该车辆在图像中的像素位置坐标(u,v)，通过刚体变换矩阵透视投影变换矩阵和仿射变换矩阵存在如下关系：
[0099][0100]
由上公式可知，从世界坐标系中的(x,y,z)到像素坐标系中的(u,v)，其实是一个位置变量zc的变化，zc公式如下：
[0101][0102]
刚体变换矩阵可以通过摄像头外参即摄像头的离地高度h和姿态角确定，透视投影变换矩阵和仿射变换矩阵属于内参，均可以通过标定获得。因此，已知图像中车辆坐标位置(u,v)，可以根据公式(3)求得x；再由公式(5)求得zc；再通过公式(4)求得实际场景中车辆位置坐标为(x,y,z)。
[0103]
在一示例性实施例中，所述违规行为检测模块根据所述对应关系确定所述车辆的速度信息可以包括：
[0104]
根据所述对应关系，确定两帧图像的车辆检测框的同一位置对应的绝对空间坐标，根据所述两个图像帧的车辆检测框的同一位置对应的绝对空间坐标确定两帧图像的车辆检测框的同一位置之间的位移距离，根据所述位移距离和所述两帧图像的时间间隔确定所述车辆的第一速度；
[0105]
将所述第一速度作为所述车辆的速度信息；或者，根据不同帧的图像获取多个所述第一速度，将多个所述第一速度的平均值作为所述车辆的速度信息。
[0106]
在一示例性实施例中，所述车辆信息还可以包括：车辆平均行驶速度、车辆的最高行驶速度、车辆的最低行驶速度、车辆轨迹等。
[0107]
在一示例性实施例中，所述数据存储模块可以将所述车辆信息和所述违规行为信息存储到数据库中。
[0108]
在一示例性实施例中，所述数据分析模块可以以预设周期定期进行违规行为的统计。比如，可以统计同一车辆出现不同违规行为的频率，统计同一车型发生不同违规行为的
频率，统计周期比如可以是一天，一周，一个月，一个季度或一年等，统计出同一车辆或同一车型最易发生的违规行为(比如，可以将违规行为按出现频率排序，确定出现频率最高的违规行为，或者，出现频率最高和次高的违规行为，等等)，以及最易发生违规的路段(可以对不同路段出现的违规行为进行统计，确定违规行为出现频率最高的路段，或者，确定违规行为出现频率最高或者次高的路段，等等)等信息。
[0109]
图2为一示例性实施例提供的车辆违规检测方法流程图。如图2所示，本实施例提供的车辆违规检测方法可以包括：
[0110]
步骤201，获取多帧图像，根据所述多帧图像进行车辆检测和跟踪，生成检测到的车辆的车辆信息，所述车辆信息包括车辆检测框和车型信息；所述车型信息对应车辆物理尺寸；
[0111]
车型信息对应车辆物理尺寸即车型信息指示的车型的物理尺寸，可以用该类型的车辆的从车头至车尾的平均长度作为该类型车的物理尺寸；
[0112]
步骤202，根据所述车辆的车辆检测框的尺寸和所述车辆的车型信息对应的车辆物理尺寸确定所述图像的图像坐标与绝对空间坐标的对应关系，根据所述对应关系确定所述车辆的速度信息；
[0113]
步骤203，根据所述车辆的速度信息进行所述车辆的违规判定。
[0114]
本实施例提供的方案，根据图像即可确定车辆的速度信息，可以实现无传感器介入的车辆违规判定，可以复用已有的监控设备，成本低，实现简便。
[0115]
在一示例性实施例中，所述所述获取多帧图像，根据所述多帧图像进行车辆检测和跟踪包括：
[0116]
获取一帧图像，在该帧图像中检测到车辆时，在后续的至少一帧图像中跟踪所述车辆，记录所述车辆的连续s帧图像的车辆检测框，当所述s帧图像中的相邻帧图像中所述车辆的车辆检测框的重合面积与该相邻帧图像中该车辆的任一车辆检测框的面积之比大于等于预设比例阈值时，识别所述车辆的车型信息，其中，0《预设比例阈值《1，s为大于1的整数。
[0117]
在一示例性实施例中，所述s帧图像中的相邻帧图像为所述s帧图像中每两个相邻帧图像。
[0118]
以s为5，连续的第一帧至第五帧为例，检测到车辆a，当第一帧和第二帧的该车辆a的车辆检测框的重合面积与第一帧或第二帧该车辆a的车辆检测框的面积之比大于等于预设比例阈值，且第二帧和第三帧的该车辆a的车辆检测框的重合面积与第二帧或第三帧该车辆a的车辆检测框的面积之比大于等于预设比例阈值，且第三帧和第四帧的该车辆a的车辆检测框的重合面积与第三帧或第四帧该车辆a的车辆检测框的面积之比大于等于预设比例阈值，且第四帧和第五帧的该车辆a的车辆检测框的重合面积与第三帧或第四帧该车辆a的车辆检测框的面积之比大于等于预设比例阈值时，识别所述车辆a的车型信息；当第一帧至第五帧中，存在任两个相邻帧，该两个相邻帧中的车辆a的车辆检测框的重合面积与该两个相邻帧中任一相邻帧中该车辆a的车辆检测框的面积之比小于预设比例阈值时，不识别所述车辆a的车型信息，即，不识别车辆a。本实施不限于此，可以是该s帧图像中部分相邻帧图像满足上述面积之比大于等于预设比例阈值即可。本实施例提供的方案，可以降低将重叠的车辆作为一辆车识别的概率。重叠的车辆通常不会保持相同的车速，从而在不同帧中
重叠车辆的图像不同，重合面积较小，从而可以排除重叠车辆。
[0119]
在一示例性实施例中，预设比例阈值可以满足：0.35≤预设比例阈值≤0.75。预设比例阈值在该取值范围内时，可以减少检测误差。
[0120]
在一示例性实施例中，所述根据所述对应关系确定所述车辆的速度信息包括：
[0121]
根据所述对应关系，确定两帧图像的车辆检测框的同一位置对应的绝对空间坐标，根据所述两帧图像的车辆检测框的同一位置对应的绝对空间坐标确定两帧图像的车辆检测框的同一位置之间的位移距离，根据所述位移距离和所述两帧图像的时间间隔确定所述车辆的第一速度；所述同一位置比如为车辆检测框的中心点；但本公开实施例不限于此，可以是其他位置。
[0122]
将所述第一速度作为所述车辆的速度信息；或者，根据不同帧的图像获取多个所述第一速度，将多个所述第一速度的平均值作为所述车辆的速度信息。
[0123]
在一示例性实施例中，所述两帧图像可以为相邻的两帧图像；
[0124]
所述根据不同帧的图像获取多个所述第一速度可以包括：
[0125]
根据连续的多帧图像中两两相邻帧的图像获取多个所述第一速度。
[0126]
本实施例中，通过相邻的两帧图像确定第一速度，但本公开实施例不限于此，可以通过不相邻帧的图像确定第一速度。比如，通过彼此间隔一帧图像帧的两帧图像确定第一速度，等等。本实施例中，根据连续的多帧图像中两两相邻帧的图像获取多个所述第一速度，可以更好的反映车辆的实时速度，减少误差。
[0127]
在一示例性实施例中，所述根据所述车辆的速度信息进行所述车辆的违规判定包括以下至少之一：
[0128]
当所述车辆的速度信息为零，且所述车辆位于违停车道，且所述车辆位于所述违停车道的时间大于预设第一告警时间阈值时，确定所述车辆违规停车；所述预设第一告警时间阈值大于0；
[0129]
当所述车辆的速度信息为零，且所述车辆位于非违停车道，且所述车辆位于所述非违停车道的时间大于预设第三告警时间阈值，且在所述车辆检测框的周边预设范围内检测到行人或预设警示牌时，确定所述车辆事故；所述预设第三告警时间阈值大于0；所述预设第三告警时间阈值大于0；
[0130]
当所述车辆的速度信息为零，且所述车辆位于非违停车道，且所述车辆位于所述非违停车道的时间大于预设第三告警时间阈值，且在所述车辆检测框的周边预设范围内未检测到行人和预设警示牌时，确定所述车辆违规停车；
[0131]
当所述车辆的速度信息非零且所述车辆的行驶方向与所述车辆所在的车道的行驶方向不一致，且所述车辆逆行的时间大于预设第二告警时间阈值时，确定所述车辆违规逆行；所述违规逆行可以包括违规倒车的情形。所述预设第二告警时间阈值大于0；
[0132]
当所述车辆的速度信息小于预设低速阈值且所述车辆的行驶方向与所述车辆所在的车道的行驶方向一致，所述车辆处于速度信息小于所述预设低速阈值的时间大于预设第四告警时间，确定所述车辆违规低速；所述预设第四告警时间阈值大于0；
[0133]
当所述车辆的速度信息大于预设超速阈值且所述车辆的行驶方向与所述车辆所在的车道的行驶方向一致，所述车辆处于速度信息大于所述预设超速阈值的时间大于预设第五告警时间，确定所述车辆违规超速。所述预设第五告警时间阈值大于0；
[0134]
在一示例性实施例中，在根据所述车辆的速度信息进行所述车辆的违规判定前，还可以包括：确定车道类型信息、车道车速阈值信息、车道行驶方向。车道信息比如可以包括快车道，低速车道、应急车道等。
[0135]
在一示例性实施例中，所述周边预设范围内可以是车辆检测框的周边扩大1至3倍的范围，即，周边预设范围的面积与车辆检测框的面积是车辆检测框面积的2倍至4倍大。此处仅为示例，可以是其他范围。
[0136]
在一示例性实施例中，所述车辆信息还可以包括：车牌信息；
[0137]
所述方法还可以包括，根据所述车牌信息确定与所述车辆关联的终端设备；以及，
[0138]
根据所述车辆的速度信息进行所述车辆的违规判定且确定所述车辆存在违规后，将所述车辆的违规行为信息发送给与所述车辆关联的终端设备。
[0139]
本实施例提供的方案，可以及时将违规行为信息通知车主，便于车主及时察觉违规行为，进行相应的响应操作。
[0140]
在一示例性实施例中，所述方法还可以包括：
[0141]
存储车辆信息以及进行车辆的违规判定后生成的违规行为信息，根据所述车辆信息和所述违规行为信息进行统计生成统计信息，发送与所述车辆相关的统计信息至所述车辆关联的终端设备，所述与所述车辆相关的统计信息包括以下至少之一：根据所述车辆的违规行为信息进行统计得到的统计信息和根据所述车辆所属的车型的违规行为信息进行统计得到的统计信息。
[0142]
在一示例性实施例中，所述违规行为信息可以包括违规行为发生的路段，所述统计信息可以包括但不限于以下至少之一：同一车辆出现不同违规行为的频率，同一车型出现不同违规行为的频率，同一车型在不同路段出现违规行为的频率。其中，违规行为所在的路段可以根据发送所述图像的视频采集设备所在的位置确定。根据同一车辆出现不同违规行为的频率可以确定该车辆最易发生的违规行为，根据同一车型出现不同违规行为的频率可以确定该车型最易发生的违规行为，根据同一车型不同路段出现违规行为的频率可以确定该车型最易发生违规行为的路段。发送统计信息时，可以只将统计信息中，发生频率最高的违规行为发送给相应的车辆，将车辆所属的车型发生频率最高的违规行为发送给该车辆，将车辆所属的车型违规行为发生频率最高的路段发送给该车辆，从而实现对可能的违规行为进行提前预告，降低违规行为的发生。
[0143]
以车辆a为例，可以根据车辆a的违规行为信息进行统计，得到车辆a的违规行为发生的频率，统计可以基于预设周期，预设周期比如可以是一天，一周，一个月，一个季度或一年等中的一个或多个，可以将车辆a发生频率最高的违规行为及相应的发生频率发送给车辆a关联的终端设备，或者，将车辆a的部分或全部违规行为的发生频率均发送给车辆a关联的终端设备；车辆a属于车型b，可以根据车型b的违规行为信息进行统计，得到车型b的违规行为发生的频率，以及，车型b不同路段的违规行为发生频率，可以将车型b的全部或部分违规行为发生的频率发送给属于车型b的车辆，比如，发送给车辆a；可以将车型b违规行为发生频率最高的路段发送给属于车型b的车辆，可以将车型b违规行为发生频率位于前n的路段发送给属于车型b的车辆，比如，将车型b违规行为发生频率位于前3的路段发送给属于车型b的车辆，等等。本实施例提供的方案，对同一车辆的不同违规行为的统计和分析，可以推测出该车辆驾驶员易出现的违规行为，进行提前预告，降低违规行为的发生。对不同车型的
不同违规行为的统计和分析，可以推测出最易发生的违规行为和最易发生违规行为的路段，进行提前预告，降低违规行为的发生。
[0144]
图3为一示例性实施例提供的车辆检测、跟踪和识别的方法流程图。如图3所示，本实施例提供的车辆检测、跟踪和识别的方法可以包括：
[0145]
步骤301，获取图像；
[0146]
所述图像包括视频采集设备采集的图像。
[0147]
在一示例性实施例中，所述视频采集设备可以包括但不限于道路监控系统的监控设备。
[0148]
步骤302，根据所述图像进行车辆检测；
[0149]
在一示例性实施例中，可以预先建立车辆检测神经网络模型，根据所述车辆检测神经网络模型进行车辆检测；所述车辆检测神经网络模型比如可以是yolo神经网络模型等。
[0150]
在另一示例性实施例中，可以预先建立没有车辆时的背景图像。所述背景图像可以以预设周期进行更新，以贴合实际情况，减少误差。可以采集没有车辆时的多帧图像，将该多帧图像进行平均作为背景图像。将图像进行二值化，根据背景图像判断当前区域是否有车辆，如有车辆，通过当前帧与背景图像的差分得到目标车辆。
[0151]
步骤303，在所述图像中检测到车辆时，为检测到的所述车辆创建车辆跟踪id，在后续的图像中跟踪所述车辆；记录连续s帧图像的车辆检测框，s为大于1的整数。
[0152]
在一示例性实施中，所述s比如为5至10。
[0153]
步骤304，对s帧中每两个相邻帧的图像，称为第一相邻帧和第二相邻帧，判断第一相邻帧和第二相邻帧中同一车辆(同一车辆跟踪id)的车辆检测框的重合面积与第一相邻帧或第二相邻帧中该车辆的车辆检测框的面积之比是否大于等于预设比例阈值，当所述面积之比大于等于预设比例阈值时，执行步骤305；当所述面积之比小于预设比例阈值时，执行步骤301，其中0《所述预设比例阈值《1；
[0154]
步骤305，对检测到的车辆进行车型识别；
[0155]
在一示例性实施例中，还对检测到的车辆的车牌进行识别，获取所述车辆的车牌号。可以预先配置车牌号和终端设备之间的关联关系。后续可以根据车牌号确定车辆关联的终端设备。
[0156]
在一示例性实施例中，可以使用神经网络模型进行车牌识别。
[0157]
步骤306，输出车辆信息；
[0158]
所述车辆信息可以包括以下至少之一：车辆跟踪id、车辆检测框、车型信息和车牌信息。
[0159]
本实施例提供的方案，可以实现根据图像进行车辆检测、跟踪和识别。
[0160]
图4为一示例性实施例提供的车辆违规检测方法流程图。如图4所示，本实施例提供的车辆违规检测方法包括：
[0161]
步骤401，获取图像和车辆信息；
[0162]
所述车辆信息可以包括车辆跟踪id、车辆检测框、车牌信息和车型信息；
[0163]
步骤402，确定车道类型信息、车道车速阈值信息、车道行驶方向；
[0164]
在一示例性实施例中，所述车道类型信息可以包括但不限于以下至少之一：快速
车道、低速车道、应急车道、非机动车道；
[0165]
所述车道车速阈值信息指示车道的速度阈值信息，比如，可以包括超速阈值和低速阈值，或者，包括由低速阈值至超速阈值组成的阈值范围，其中，超速阈值大于低速阈值。车辆的速度小于车辆所在的车道的低速阈值或者大于车辆所在的车道的超速阈值时，车辆违规。
[0166]
所述车道行驶方向是车道的规定的行驶方向。
[0167]
上述车道类型信息、车道车速阈值信息、车道行驶方向可以由系统预配置，或者，由用户进行配置。
[0168]
步骤403，根据车辆检测框的长度和车型信息指示的车型的车辆长度，通过仿射变换确定车辆在可视监控区域内的实际坐标位置；
[0169]
可以预先存储每种车型的车辆长度(从车头至车尾的长度)，比如，家用小汽车的长度，卡车的长度，等等。
[0170]
步骤404，确定当前帧和前一帧中车辆检测框的中心点的移动距离；
[0171]
即，确定当前帧的车辆检测框的中心点在可视监控区域内的第一实际坐标位置，确定前一帧的车辆检测框的中心点在可视监控区域内的第二实际坐标位置，同一车辆的第一实际坐标位置和第二实际坐标位置之间的距离即为该车辆的移动距离。
[0172]
其中，还判断从前一帧至当前帧的时间内车辆的行驶方向，当车辆的行驶方向与车道的行驶方向一致时，所述移动距离为正值；当车辆的行驶方向与车道的行驶方向相反时，所述移动距离为负值。一种判断方式为：从前一帧的车辆检测框的中心点至当前帧的车辆检测框的中心点的方向与车道的行驶方向一致时，即第二实际坐标位置至第一实际坐标位置的方向与车道的行驶方向一致时，车辆的行驶方向与车道的行驶方向一致；从前一帧的车辆检测框的中心点至当前帧的车辆检测框的中心点的方向与车道的行驶方向相反时，即第二实际坐标位置至第一实际坐标位置的方向与车道的行驶方向相反时，车辆的行驶方向与车道行驶方向相反。
[0173]
步骤405，对k个连续帧中的每一帧，获取该帧与前一帧的车辆检测框中心点的移动距离，以及，该帧与前一帧之间间隔的时间，得到车辆的速度；共获得所述车辆的k个速度v1至vk，所述k大于等于1；
[0174]
以k个连续帧为第2至第6帧为例，帧与帧之间的时间间隔为t0。
[0175]
则对第2帧，计算第2帧与第1帧之间车辆检测框中心点的移动距离s1；根据s1和t0得到车辆的速度v1＝s1/t0；
[0176]
对第3帧，计算第3帧与第2帧之间车辆检测框中心点的移动距离s2；根据s2和t0得到车辆的速度v2＝s2/t0；
[0177]
对第4帧，计算第4帧与第3帧之间车辆检测框中心点的移动距离s3；根据s3和t0得到车辆的速度v3＝s3/t0；
[0178]
对第5帧，计算第5帧与第4帧之间车辆检测框中心点的移动距离s4；根据s4和t0得到车辆的速度v4＝s4/t0；
[0179]
对第6帧，计算第6帧与第5帧之间车辆检测框中心点的移动距离s5；根据s5和t0得到车辆的速度v5＝s5/t0；
[0180]
在一示例性实施例中，所述k比如为2至10。
[0181]
步骤406，根据所述k个速度确定平均车速v；
[0182]
即v＝(v1+
…
+vk)/k。以前述k＝5为例，v＝(v1+v2+v3+v4+v5)/5。
[0183]
步骤407，判断所述平均车速v是否小于等于0；当所述平均车速v小于等于0时，执行步骤408，当所述平均车速大于0时，执行步骤418；
[0184]
步骤408，判断所述平均车速v是否为0，当所述平均车速v为0时，执行步骤409；当所述平均车速v非0时，即v小于0时，执行步骤412；
[0185]
步骤409，判断所述车辆是否在违停车道；当所述车辆在违停车道时，执行步骤410，当所述车辆不在违停车道时，比如，所述车辆在应急车道，执行步骤414；
[0186]
其中，违停车道即不可以停车的车道，通常为应急车道外的其他车道；
[0187]
步骤410，判断车辆在违停车道的停车时间是否大于预设第一告警时间阈值，当车辆在违停车道的停车时间大于预设第一告警时间阈值时，执行步骤411，当车辆在违停车道的停车时间小于等于预设第一告警时间阈值时，执行步骤424；
[0188]
步骤411，确定所述车辆违规停车，执行违规停车告警操作，可以发送车辆违规停车告警信息至终端显示设备，以及，发送车辆违规停车告警信息至车辆违规管理方(比如车管所的管理系统等)，执行步骤424；
[0189]
步骤412，此时车辆速度小于0，处于逆行状态，即车辆的行驶方向与车辆所在的车道的行驶方向不一致，判断所述车辆的逆行时间是否超过预设第二告警时间阈值，当所述车辆的逆行时间大于预设第二告警时间阈值时，执行步骤413；当所述车辆的逆行时间小于等于预设第二告警时间阈值时，执行步骤424；
[0190]
步骤413，确定所述车辆违规逆行，执行违规逆行告警操作，可以通过发送车辆违规逆行告警信息至终端显示设备，以及，发送车辆违规逆行告警信息至车辆违规管理方(比如车管所的管理系统等)，执行步骤424。
[0191]
步骤414，判断所述车辆的停车时间是否大于预设第三告警时间阈值，当所述车辆的停车时间大于预设第三告警时间阈值时，执行步骤415；当所述车辆的停车时间小于等于预设第三告警时间阈值时，执行步骤424；
[0192]
步骤415，在所述车辆的车辆检测框的周边预设范围内进行行人检测和预设警示牌检测，执行步骤416；
[0193]
行人检测和预设警示牌检测可以基于深度学习所得的神经网络模型进行。
[0194]
步骤416，判断是否检测到行人和预设警示牌，当检测到行人或预设警示牌时，执行步骤417；当未检测到行人和预设警示牌时，执行步骤411；
[0195]
步骤417，确定所述车辆事故，执行车辆事故告警操作，可以发送车辆事故告警信息至终端显示设备，以及，发送车辆事故告警信息至车辆违规管理方(比如车管所的管理系统等)，执行步骤424。
[0196]
步骤418，判断所述车辆的平均车速是否大于所述超速阈值，当车辆的平均车速大于所述超速阈值时，执行步骤422；当车辆的平均车速小于等于所述超速阈值时，执行步骤419；
[0197]
步骤419，判断所述车辆的平均车速是否小于所述低速阈值，当车辆的平均车速小于所述低速阈值时，执行步骤420；当车辆的平均车速大于等于所述低速阈值时，返回步骤401；
[0198]
步骤420，判断所述车辆的平均车速小于所述低速阈值的时间是否大于预设第四告警时间阈值，当所述车辆的平均车速小于所述低速阈值的时间大于预设第四告警时间阈值时，执行步骤421；当所述车辆的平均车速小于等于所述低速阈值的时间小于所述预设第四告警时间阈值时，执行步骤424；
[0199]
步骤421，确定所述车辆违规低速，执行违规低速告警操作，可以发送违规低速告警信息至终端显示设备，以及，发送违规低速告警信息至车辆违规管理方(比如车管所的管理系统等)，执行步骤424。
[0200]
步骤422，判断车辆的平均车速大于所述超速阈值的时间是否大于预设第五告警时间阈值，当车辆的平均车速大于所述超速阈值的时间大于预设第五告警时间阈值时，执行步骤423，当车辆的平均车速大于所述超速阈值的时间小于等于预设第五告警时间阈值时，执行步骤424；
[0201]
步骤423，确定所述车辆违规超速，执行违规超速告警操作，可以发送违规超速告警信息至终端显示设备，以及，发送违规超速告警信息至车辆违规管理方(比如车管所的管理系统等)，执行步骤424。
[0202]
步骤424，存储违规信息，包括但不如下：记录车辆逆行、超速、低速或违停等违规起始时间、已判定为违规的行为等。
[0203]
以车辆逆行为例，当首次检测到逆行时间小于等于预设第二告警时间阈值时，记录车辆逆行起始时间。此处首次是指一次连续的逆行过程中首次检测到该逆行。当存在多次逆行(从起始至结束的一个连续的逆行过程作为一次逆行)时，对每次逆行的起始时间均进行记录。超速、低速、违停等类似，不再说明。
[0204]
在另一示例性实施中，移动距离可以为非负值，当车辆的速度信息非0，进行违规判定前，可以判断车辆的行驶方向是否与车辆所在的车道的行驶方向一致，当车辆的行驶方向与车辆所在的车道的行驶方向不一致时，进行车辆是否违规逆行的判定；当车辆的行驶方向与车辆所在的车道的行驶方向一致时，进行是否违规超速、违规低速的判定。
[0205]
如图5所示，本公开实施例提供一种车辆违规检测装置50，包括处理器520以及存储有可在处理器上运行的计算机程序的存储器510，其中，所述处理器520执行所述程序时实现上述任一实施例所述车辆违规检测方法的步骤。
[0206]
如图6所示，本公开实施例提供一种计算机可读存储介质60，存储有程序指令70，当该程序指令70被执行时可实现上述任一实施例所述的车辆违规检测方法。
[0207]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其
他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。