基于自动驾驶车辆的识别机动车违规变道的方法和装置与流程

1.本发明涉及自动驾驶领域，尤其涉及基于自动驾驶车辆的识别机动车违规变道的方法和装置。


背景技术：

2.交通违章智能识别是智慧城市的重要组成部分。目前交通道路违章识别主要依赖于在行车线上方安装固定的摄像头等传感器装置，对车辆参数进行测量。识别机动车违规变道的方法主要有两种：手动识别和自动识别。手动识别方式主要依靠人力对视频图像进行分析，通过视频人为识别车辆违章行为以及违章车辆车牌。此类方法效率极低，并且成本较高。自动识别方式一般依赖于在固定位置安装各类传感器，用于监控车辆违章行为，车辆视频等数据输入到工控机等计算单元中，对交通违章行为进行算法识别，此方法的识别误差大，容易错检。将摄像头等传感器装置安装在固定位置，容易出现视线盲区，造成漏检，人们在熟悉摄像头的安装位置后可以选择远离摄像头的地方进行违规操作而不容易被检测到，这样不利于交通管理。
3.有鉴于此，急需对现有的识别机动车违规变道的方法进行改进，便于识别机动车违规变道。


技术实现要素：

4.本发明公开基于自动驾驶车辆的识别机动车违规变道的方法和装置，用于解决现有技术中，识别机动车违规变道的方法效率低并且容易造成漏检的问题。
5.第一方面，本说明书提供了基于自动驾驶车辆的识别机动车违规变道的方法，包括：
6.通过自动驾驶车辆的车载传感器对指定区域范围进行检测，得到传感器信息；
7.根据所述传感器信息，确定障碍物的位置和轮廓；
8.根据所述障碍物的轮廓，识别所述障碍物是否为机动车；
9.当所述障碍物为机动车时，根据机动车的位置和轮廓、所述机动车所在位置的地图，确定所述机动车是否存在违规变道行为。
10.可选地，
11.所述传感器信息包括点云信息和图像信息；
12.根据所述传感器信息，确定障碍物的位置和轮廓，包括：基于轮廓检测模型，从所述点云信息中提取所述障碍物的轮廓；所述轮廓检测模型包括：pointnet或voxelnet；
13.基于位置检测模型，从所述图像信息中提取所述障碍物的位置；所述位置检测模型包括：yolo v1、yolo v2、yolo v3、yolo v4、yolo v5、mobilenet v1、mobilenet v2、mobilenet v3和detr中任意一种。
14.可选地，
15.根据机动车的位置和轮廓、所述机动车所在位置的地图，确定所述机动车是否存
在违规变道行为，包括：
16.根据机动车的位置和轮廓、所述机动车所在位置的地图，确定所述机动车是否存在变道行为；
17.如果所述机动车存在所述变道行为，确定所述变道行为是否违规。
18.可选地，
19.根据机动车的位置和轮廓、所述机动车所在位置的地图，确定所述机动车是否存在变道行为，包括：
20.根据所述机动车的位置和轮廓，确定所述机动车所在的轮廓区域；
21.根据所述机动车所在位置的地图，确定所述指定区域范围内的车道线；
22.确定所述轮廓区域和所述车道线是否存在交集，如果是，确定所述机动车存在所述变道行为，否则，确定所述机动车不存在所述变道行为；
23.确定所述变道行为是否违规，包括：
24.如果所述车道线为实线，则确定所述变道行为违规。
25.可选地，
26.从所述传感器信息中提取所述障碍物的朝向；
27.根据所述机动车的位置和轮廓，确定所述机动车所在的轮廓区域，包括：
28.根据所述机动车的位置、轮廓和朝向，确定所述机动车所在的轮廓区域。
29.可选地，
30.所述传感器信息包括：指定时间范围内的多帧图像；
31.该方法进一步包括：识别各帧所述图像中机动车的车牌号；
32.根据机动车的位置和轮廓、所述机动车所在位置的地图，确定所述机动车是否存在违规变道行为，包括：
33.针对各帧所述图像：根据机动车的位置和轮廓、所述机动车所在位置的地图，确定在当前帧图像中所述机动车是否存在违规变道行为；
34.根据目标机动车的车牌号，在各帧所述图像中确定所述目标机动车；
35.如果所述目标机动车在各帧所述图像中均不存在所述违规变道行为，则所述目标机动车在所述指定时间范围内不存在所述违规变道行为；
36.如果所述目标机动车在任意一帧所述图像中存在所述违规变道行为，则所述目标机动车在所述指定时间范围内存在所述违规变道行为。
37.可选地，
38.识别各帧所述图像中机动车的车牌号，包括：
39.基于psenet或pixel-anchor识别各帧所述图像中机动车的车牌号。
40.第二方面，本说明书实施例提供了基于自动驾驶车辆的识别机动车违规变道的装置，设置在所述自动驾驶车辆上，所述装置包括：
41.信息采集模块，配置为通过自动驾驶车辆的车载传感器对指定区域范围进行检测，得到传感器信息；
42.信息处理模块，配置为根据所述传感器信息，确定障碍物的位置和轮廓；
43.识别模块，配置为根据所述障碍物的轮廓，识别所述障碍物是否为机动车；
44.判定模块，配置为当所述障碍物为机动车时，根据机动车的位置和轮廓、所述机动
车所在位置的地图，确定所述机动车是否存在违规变道行为。
45.第三方面，本说明书实施例提供了一种电子设备，包括处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行如上述任一实施例所述的方法。
46.第四方面，本说明书实施例提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上述任一实施例所述的方法。
47.本发明采用的技术方案能够达到以下有益效果：
48.采用自动驾驶车辆搭载车载传感器对机动车的违规变道行为进行检测，由于自动驾驶车辆是在行进的过程中进行检测的，因此检测更加灵活，不会出现视线盲区；根据机动车的位置和轮廓、机动车所在位置的地图，确定机动车是否存在违规变道行为，保证了检测结果的准确性；自动识别的检测方式提高了检测效率。
附图说明
49.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，构成本发明的一部分，本发明的示意性实施例及其说明解释本发明，并不构成对本发明的不当限定。在附图中：
50.图1为本发明一个实施例提供的基于自动驾驶车辆的识别机动车违规变道的方法的流程图；
51.图2为本发明另一个实施例提供的基于自动驾驶车辆的识别机动车违规变道的方法的流程图；
52.图3为本发明一个实施例提供的基于自动驾驶车辆的识别机动车违规变道的装置的示意图；
53.图4为适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
54.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
55.如图1所示，本发明提供的基于自动驾驶车辆的识别机动车违规变道的方法，包括：
56.步骤101：通过自动驾驶车辆的车载传感器对指定区域范围进行检测，得到传感器信息。
57.传感器信息包括：点云信息和/或图像信息。
58.其中，指定区域可以是人为的对车载传感器的检测范围进行设置，使车载传感器检测固定区域，也可以是车载传感器可检测的最大区域，随着自动驾驶车辆的行驶，指定区域会发生变化。需要说明的是，随着自动驾驶车辆的行驶，指定区域范围可以是动态移动的，因此，通过本发明实施例可以实现较大的检测范围。
59.步骤102：根据传感器信息，确定障碍物的位置和轮廓。
60.障碍物的轮廓可以是四个点、四条向量或闭合的轮廓曲线。
61.或者可以根据拍摄的该机动车的车牌号确定该机动车的型号，根据型号查找该机动车的外观图来确定该机动车的轮廓，其中，各种型号的机动车外观图预先存储在存储器中。
62.障碍物的位置可以通过点云信息得到的轮廓坐标计算出障碍物的中心点坐标，也可以根据图像信息确定障碍物在图像中的位置来确定。
63.步骤103：根据障碍物的轮廓，识别障碍物是否为机动车。
64.识别障碍物是否为机动车可以根据障碍物轮廓包围的面积确定该障碍物是否为机动车，也可以预先在自动驾驶车辆的存储器中存储已知的各类机动车和非机动车的轮廓，将基于传感器信息识别的轮廓和已知的轮廓做对比，根据相似度确定传感器信息识别的轮廓是否为机动车。如本实施例中，若传感器信息识别的轮廓与已知的机动车的轮廓相似度超过80％，则确定传感器信息识别的轮廓为机动车的轮廓。
65.步骤104：当障碍物为机动车时，根据机动车的位置和轮廓、机动车所在位置的地图，确定机动车是否存在违规变道行为。
66.本发明实施例采用自动驾驶车辆搭载车载传感器对机动车的违规变道行为进行检测，由于自动驾驶车辆是在行进的过程中进行检测的，因此检测更加灵活，不会出现视线盲区；根据机动车的位置和轮廓、机动车所在位置的地图，确定机动车是否存在违规变道行为，保证了检测结果的准确性；自动识别的检测方式提高了检测效率。
67.在本发明的一个实施例中，传感器信息包括点云信息和图像信息。
68.具体的，根据传感器信息，确定障碍物的位置和轮廓，包括：基于轮廓检测模型，从点云信息中提取障碍物的轮廓；轮廓检测模型包括：pointnet或voxelnet。
69.基于位置检测模型，从图像信息中提取障碍物的位置；位置检测模型包括：yolo v1、yolo v2、yolo v3、yolo v4、yolo v5、mobilenet v1、mobilenet v2、mobilenet v3和detr中任意一种。
70.在实际应用场景中，还可以基于点云信息确定障碍物的位置，基于图像信息确定障碍物的轮廓，或者，基于点云信息确定障碍物的位置和轮廓，或者，基于图像信息确定障碍物的位置和轮廓。其中，点云信息通过激光雷达或毫米波雷达获取，图像信息通过摄像头获取。
71.在本发明的一个实施例中，根据机动车的位置和轮廓、机动车所在位置的地图，确定机动车是否存在违规变道行为，包括：
72.根据机动车的位置和轮廓、机动车所在位置的地图，确定机动车是否存在变道行为；
73.如果机动车存在变道行为，确定变道行为是否违规。
74.机动车所在位置的地图，可以是以机动车的位置为中心确定的指定范围的地图，如：以机动车为中心，半径1公里范围内的地图为机动车所在位置的地图；还可以是上述指定区域范围的地图。
75.根据机动车位置和轮廓可以准确描述机动车所在的区域，进而确定该区域与地图之间的位置关系。
76.在本发明的一个实施例中，根据机动车的位置和轮廓、机动车所在位置的地图，确定机动车是否存在变道行为，包括：
77.根据机动车的位置和轮廓，确定机动车所在的轮廓区域；
78.根据机动车所在位置的地图，确定指定区域范围内的车道线；
79.确定轮廓区域和车道线是否存在交集，如果是，确定机动车存在变道行为，否则，确定机动车不存在变道行为；
80.确定变道行为是否违规，包括：
81.如果车道线为实线，则确定变道行为违规。
82.其中，轮廓区域即机动车的轮廓所围成的区域。
83.机动车在公路上正常行驶时，应位于两条车道线之间，因此，不变道的情况下，机动车的轮廓不会和车道线之间存在交集，若机动车需要变道则需要从第一车道轧过车道线变道至第二车道，则在变道过程中，机动车的轮廓区域和车道线之间必然会产生交集。
84.如果机动车的轮廓中包含轮廓上各点的坐标信息，则可以通过机动车的位置和轮廓，确定机动车所在的轮廓区域。例如，机动车的轮廓为闭合曲线，根据闭合曲线上个点的位置坐标和机动车中心点的坐标，确定机动车所在的轮廓区域。
85.在本发明的一个实施例中，根据机动车的位置和轮廓、机动车所在位置的地图，确定机动车是否存在违规变道行为，进一步包括：
86.从传感器信息中提取障碍物的朝向；
87.根据机动车的位置和轮廓，确定机动车所在的轮廓区域，包括：
88.根据机动车的位置、轮廓和朝向，确定机动车所在的轮廓区域。
89.如果机动车的轮廓中不包括坐标信息，或者轮廓为四个点或四条向量，为了更加准确地确定轮廓区域，本发明实施例进一步通过机动车的朝向确定机动车的轮廓区域。
90.在本发明的一个实施例中，该方法还包括：在确定机动车存在违规变道后，可记录该机动车记录并将数据上传，上传的数据包括该机动车的车牌号和违规变道的图像或视频。
91.将机动车违规变道的数据上传到交管部门的系统中，作为证据便于交警核查信息，以及司机后期进行申诉。
92.在本发明的一个实施例中，传感器信息包括：指定时间范围内的多帧图像；
93.该方法进一步包括：识别各帧图像中机动车的车牌号；
94.根据机动车的位置和轮廓、机动车所在位置的地图，确定机动车是否存在违规变道行为，包括：
95.针对各帧图像：根据机动车的位置和轮廓、机动车所在位置的地图，确定在当前帧图像中机动车是否存在违规变道行为；
96.根据目标机动车的车牌号，在各帧图像中确定目标机动车；
97.如果目标机动车在各帧图像中均不存在违规变道行为，则目标机动车在指定时间范围内不存在违规变道行为；
98.如果目标机动车在任意一帧图像中存在违规变道行为，则目标机动车在指定时间范围内存在违规变道行为。
99.识别各帧图像中机动车的车牌号，包括：
100.基于psenet或pixel-anchor识别各帧图像中机动车的车牌号。
101.在实际应用场景中，可以确定某一时刻机动车是否存在违规变道行为，也可以确定指定时间段内，确定机动车在该时间段内是否存在违规变道行为。
102.对于第一种情况，可以识别单帧图像中的障碍物的位置和轮廓，根据轮廓确定障碍物是否为机动车；之后根据机动车的位置和轮廓，确定机动车的轮廓区域，并根据机动车所在位置的地图，确定车道线；进一步确定轮廓区域和车道线是否存在交集，如果是，确定机动车存在变道行为，否则，机动车不存在变道行为，如果车道线为实线，确定某一时刻机动车存在违规变道行为。
103.对于第二种情况，在指定时间范围内，通过自动驾驶车辆的车载传感器对指定区域范围进行检测，得到传感器信息；其中，传感器信息中包括多帧图像。针对每一帧图像：确定图像中障碍物的位置和轮廓，根据障碍物的轮廓，识别障碍物是否为机动车，根据机动车的位置和轮廓、机动车所在位置的地图，确定机动车是否存在违规变道行为。如果存在多辆机动车，则根据机动车的车牌号，关联不同帧图像中的同一辆车。如果同一辆车在各帧图像中均不存在违规变道行为，则该机动车在指定时间范围内不存在违规变道行为，如果该机动车在任意一帧图像中存在违规变道行为，则该机动车在指定时间范围内存在违规变道行为。在实际应用场景中，如果指定时间范围内存在多辆机动车，该方法可以仅识别其中某一辆车在指定时间范围内是否存在违规变道行为，而不关注其他机动车。例如，该方法可以通过识别机动车的车牌号，确定待识别的机动车。
104.如图2所示，本发明实施例提供了一种基于自动驾驶车辆的识别机动车违规变道的方法，包括：
105.步骤201，通过自动驾驶车辆的车载传感器对指定区域范围进行检测，得到点云信息和图像信息。
106.步骤202，基于轮廓检测模型pointnet，从点云信息中提取障碍物的轮廓和朝向。
107.步骤203，基于位置检测模型yolo v1，从图像信息中提取障碍物的位置。
108.步骤204，根据障碍物的轮廓，识别障碍物是否为机动车。
109.步骤205，当障碍物为机动车时，根据机动车的位置、轮廓和朝向确定机动车所在的轮廓区域。
110.步骤206，根据机动车所在位置的地图，确定指定区域范围内的车道线。
111.步骤207，确定轮廓区域和车道线是否存在交集，如果是，执行步骤208，否则，执行步骤212。
112.步骤208，确定机动车存在变道行为。
113.步骤209，确定车道线是否为实线，如果是，执行步骤210，否则，执行步骤211。
114.步骤210，确定变道行为违规。
115.步骤211，确定变道行为不违规。
116.步骤212，确定机动车不存在变道行为。
117.如图3所示，本发明还提供了基于自动驾驶车辆的识别机动车违规变道的装置，设置在自动驾驶车辆上，装置包括：
118.信息采集模块301，配置为通过自动驾驶车辆的车载传感器对指定区域范围进行检测，得到传感器信息；
119.信息处理模块302，配置为根据传感器信息，确定障碍物的位置和轮廓；
120.识别模块303，配置为根据障碍物的轮廓，识别障碍物是否为机动车；
121.判定模块304，配置为当障碍物为机动车时，根据机动车的位置和轮廓、机动车所在位置的地图，确定机动车是否存在违规变道行为。
122.在本发明的一个实施例中，传感器信息包括点云信息和图像信息。
123.信息处理模块301，配置为基于轮廓检测模型，从点云信息中提取障碍物的轮廓；轮廓检测模型包括：pointnet或voxelnet；基于位置检测模型，从图像信息中提取障碍物的位置；位置检测模型包括：yolo v1、yolo v2、yolo v3、yolo v4、yolo v5、mobilenet v1、mobilenet v2、mobilenet v3和detr中任意一种。
124.在本发明的一个实施例中，判定模块304，配置为根据机动车的位置和轮廓、机动车所在位置的地图，确定机动车是否存在变道行为；如果机动车存在变道行为，确定变道行为是否违规。
125.在本发明的一个实施例中，判定模块304，配置为根据机动车的位置和轮廓，确定机动车所在的轮廓区域；根据机动车所在位置的地图，确定指定区域范围内的车道线；确定轮廓区域和车道线是否存在交集，如果是，确定机动车存在变道行为，否则，确定机动车不存在变道行为；如果车道线为实线，则确定变道行为违规。
126.在本发明的一个实施例中，信息处理模块302，配置为从传感器信息中提取障碍物的朝向。
127.判定模块304，配置为根据机动车的位置、轮廓和朝向，确定机动车所在的轮廓区域。
128.在本发明的一个实施例中，传感器信息还包括：指定时间范围内的多帧图像；
129.识别模块303，配置为识别各帧图像中机动车的车牌号；
130.判定模块304，配置为针对各帧图像：根据机动车的位置和轮廓、机动车所在位置的地图，确定在当前帧图像中机动车是否存在违规变道行为；
131.根据目标机动车的车牌号，在各帧图像中确定目标机动车；
132.如果目标机动车在各帧图像中均不存在违规变道行为，则目标机动车在指定时间范围内不存在违规变道行为；
133.如果目标机动车在任意一帧图像中存在违规变道行为，则目标机动车在指定时间范围内存在违规变道行为。
134.在本发明的一个实施例中，识别模块303，配置为基于psenet或pixel-anchor识别各帧图像中机动车的车牌号。
135.本发明还提供了一种电子设备，包括处理器和存储器，存储器用于存储计算机程序，处理器用于调用并运行存储器中存储的计算机程序，以执行上述任一实施例所述的方法。
136.本发明还提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现上述任一实施例所述的方法。
137.下面参考图4，其示出了适于用来实现本发明实施例的终端设备的计算机系统400的结构示意图。图4示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
138.如图4所示，计算机系统400包括中央处理单元(cpu)401，其可以根据存储在只读存储器(rom)402中的程序或者从存储部分408加载到随机访问存储器(ram)403中的程序而执行各种适当的动作和处理。在ram 403中，还存储有系统400操作所需的各种程序和数据。cpu401、rom402以及ram 403通过总线405彼此相连。输入/输出(i/o)接口405也连接至总线405。
139.以下部件连接至i/o接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至i/o接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。
140.特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(cpu)401执行时，执行本发明的系统中限定的上述功能。
141.需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
142.附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规
定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
143.描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括发送模块、获取模块、确定模块和第一处理模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，发送模块还可以被描述为“向所连接的服务端发送图片获取请求的模块”。
144.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。