机动车路口违规的判断方法、装置及芯片与流程

1.本发明涉及汽车驾驶技术领域，尤其涉及一种机动车路口违规的判断方法、装置及芯片。


背景技术：

2.随着机动车的普及，驾驶汽车出行的人越来越多，但是在道路上形式的机动车需要遵守交通规则，尤其是在经过交通信号灯路口或者人行道路口的时候。但是现有的机动车在经过交通信号灯路口的时候，由于交通信号灯会出现变化，导致驾驶员有时候无法确认是否存交通违规行为，从而会导致驾驶员不能及时发现行驶过程中的违规行为，影响后续驾驶员的驾驶安全性。
3.因此，有必要提供一种新型的机动车路口违规的判断方法、装置及芯片以解决现有技术中存在的上述问题。


技术实现要素：

4.本发明的目的在于提供一种机动车路口违规的判断方法、装置及芯片，能够及时对机动车通过路口的行驶情况进行判断以确定是否存在违规行为。
5.为实现上述目的，本发明的所述一种机动车路口违规的判断方法，包括：
6.获取机动车在行驶过程中的行驶图像；
7.对所述行驶图像进行场景识别，在确定所述行驶图像中存在目标对象时，对所述目标对象进行跟踪，所述目标对象包括人行道斑马线或者信号灯；
8.计算所述机动车与所述目标对象之间的距离，在确定所述距离小于阈值后，将当前的所述行驶图像作为目标图像；
9.对所述目标图像中的所述目标对象进行目标跟踪，在所述目标对象在所述目标图像中消失时，获取所述目标对象消失前一时刻在所述目标图像中的状态信息和位置信息；
10.根据所述状态信息和所述位置信息确定所述机动车的违规判断结果。
11.本发明所述机动车路口违规的判断方法的有益效果在于：在机动车行驶过程中，通过对行驶图像进行场景识别以判断当前机动车的位置，并对应在机动车靠近目标对象的时候对目标对象进行目标跟踪，以便于获取目标对象消失前一时刻的状态信息和位置信息，并根据状态信息和位置信息对机动车进行违规判断，以便于及时获取机动车在路口的行驶违规情况，便于后续对机动车驾驶员及时提醒。
12.可选的，所述对所述行驶图像进行场景识别，在确定所述行驶图像中存在目标对象时，对所述目标对象进行跟踪，包括：
13.采用场景识别算法对所述行驶图像进行场景识别；
14.在确定所述行驶图像中存在人行道斑马线或信号灯，确定所述机动车处于路口位置；
15.对所述目标对象进行跟踪，所述目标对象包括所述人行道斑马线或者所述信号
灯。其有益效果在于：在确定行驶图像中存在人行道斑马线或者信号灯的时候，即可确定当前行驶在路口位置，便于后续进行违规判断。
16.可选的，所述计算所述机动车与所述目标对象之间的距离，包括：
17.计算所述机动车与所述人行道斑马线或者所述信号灯在水平方向的水平距离，所述水平方向为所述机动车的行驶方向；
18.所述在确定所述距离小于阈值后，将当前的所述行驶图像作为目标图像，包括：
19.在确定所述水平距离小于所述阈值后，保存当前的所述行驶图像作为所述目标图像，或者连续采集当前所述行驶图像的帧图像，并将所述帧图像作为目标图像。
20.可选的，所述在所述目标对象在所述目标图像中消失时，获取所述目标对象消失前一时刻在所述目标图像中的状态信息和位置信息，包括：
21.当所述信号灯在所述目标图像中消失时，在所述目标图像中获取所述信号灯消失前一时刻中的第一图像；
22.在所述第一图像中获取所述信号灯的信号灯状态信息，以及所述人行道斑马线在所述第一图像中的斑马线位置信息。其有益效果在于：通过获取目标对象在目标图像中消失前一时刻的第一图像，以便于在第一图像中获取信号灯状态信息和斑马线位置信息，以便于后续根据信号灯状态信息和斑马线位置信息进行违规判断，提高判断结果的准确性。
23.可选的，所述根据所述状态信息和所述位置信息确定所述机动车的违规判断结果，包括：
24.在所述信号灯状态信息显示所述信号灯为红灯时，当所述斑马线位置信息显示所述人行道斑马线位于所述第一图像上方，确定所述违规判断结果为违规；当所述斑马线位置信息显示所述人行道斑马线位于第一图像下方，确定所述违规判断结果为疑似违规；当所述斑马线位置信息显示所述人行道斑马线不在所述第一图像时，确定所述违规判断结果为正常行驶；
25.在所述信号灯状态信息显示所述信号灯为绿灯时，确定所述违规判断结果为正常行驶；
26.在所述信号灯状态信息显示所述信号灯为黄灯时，当所述斑马线位置信息显示所述人行道斑马线位于第一图像上方，确定所述违规判断结果为疑似违规；当所述斑马线位置信息显示所述人行道斑马线位于第一图像下方或者不在所述第一图像时，确定所述违规判断结果为正常行驶。
27.可选的，所述判断方法还包括：在确定所述机动车处于路口位置之后，获取所述行驶图像中的行人信息，根据所述行人信息判断所述机动车是否违规。其有益效果在于：便于后续进行机动车礼让行人违规判断的过程。
28.可选的，所述根据所述行人信息和所述机动车的行驶状态判断所述机动车是否违规，包括：
29.在根据所述行人信息确定所述行驶图像的斑马线中存在行人之后，当所述机动车停止或者减速之后，确定所述机动车为正常行驶；当所述机动车速度不变或者增加时，确定所述机动车行驶违规。
30.可选的，所述方法还包括：在所述机动车的行驶过程中，统计所述机动车经过的路口数量、违规次数、违规路口位置以及违规时的行驶图像，在所述机动车熄火之后，将所述
路口数量、所述违规次数、所述违规路口位置以及违规时的行驶图像推送至所述机动车的车载显示屏。其有益效果在于：通过及时推送行驶过程中的违规情况，便于驾驶员及时了解行驶过程中的违规情况，以便于驾驶员及时改正，提高后续驾驶的安全性。
31.本发明提供了一种机动车违规的判断装置，包括：
32.图像获取模块，用于获取机动车在行驶过程中的行驶图像；
33.场景识别模块，用于对所述行驶图像进行场景识别，在确定所述行驶图像中存在目标对象时，对所述目标对象进行跟踪；
34.计算模块，用于计算所述机动车与所述目标对象之间的距离，在确定所述距离小于阈值后，将当前的所述行驶图像作为目标图像；
35.信息获取模块，用于对所述目标图像中的所述目标对象进行目标跟踪，在所述目标对象在所述目标图像中消失时，获取所述目标对象消失前一时刻在所述目标图像中的状态信息和位置信息；
36.判断模块，用于根据所述状态信息和所述位置信息确定所述机动车的违规判断结果。
37.本发明所述机动车路口违规的判断装置的有益效果在于：在机动车行驶过程中，通过场景识别模块对行驶图像进行场景识别以判断当前机动车的位置，并对应在机动车靠近目标对象的时候对目标对象进行目标跟踪，以便于信息获取模块获取目标对象消失前一时刻的状态信息和位置信息，并根据状态信息和位置信息对机动车进行违规判断，以便于及时获取机动车在路口的行驶违规情况，便于后续对机动车驾驶员及时提醒。
38.可选的，所述场景识别模块还用于：
39.采用场景识别算法对所述行驶图像进行场景识别；
40.在确定所述行驶图像中存在人行道斑马线或信号灯，确定所述机动车处于路口位置；
41.对所述目标对象进行跟踪，所述目标对象包括所述人行道斑马线或者所述信号灯。
42.可选的，还包括统计模块，所述统计模块用于在所述机动车的行驶过程中，统计所述机动车经过的路口数量、违规次数、违规路口位置以及违规时的行驶图像，在所述机动车熄火之后，将所述路口数量、所述违规次数、所述违规路口位置以及违规时的行驶图像推送至所述机动车的车载显示屏。
43.本发明还提供了所述芯片与存储器耦合，用于读取并执行所述存储器中存储的程序指令，以执行上述的机动车路口违规的判断方法。
附图说明
44.图1为本发明实施例所述机动车路口违规的判断方法的流程图。
45.图2为本发明实施例所述机动车路口违规的判断方法的具体执行过程示意图。
46.图3为本发明实施例所述机动车路口违规的判断方法的违规统计过程示意图。
47.图4为本发明实施例所述机动车路口违规的判断装置的结构框图。
具体实施方式
48.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另外定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本文中使用的“包括”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
49.针对现有技术存在的问题，本发明的实施例提供了一种机动车路口违规的判断方法，参考图1，包括如下步骤：
50.s101、获取机动车在行驶过程中的行驶图像。
51.在本实施例中，为了在机动车行驶过程中获取行驶图像，在机动车前端安装车载摄像头，所述车载摄像头的广角和分辨率已知，以便于后续进行计算以及违规判断。由于车载摄像头的安装和使用为现有技术的内容，本方案不涉及具体的改进，此处不再赘述。
52.s102、对所述行驶图像进行场景识别，在确定所述行驶图像中存在目标对象时，对所述目标对象进行跟踪。
53.在一些实施例中，步骤s102的过程包括：
54.采用场景识别算法对所述行驶图像进行场景识别；
55.在确定所述行驶图像中存在人行道斑马线或信号灯，确定所述机动车处于路口位置；
56.对所述目标对象进行跟踪，所述目标对象包括所述人行道斑马线或者所述信号灯。
57.示例性的，采用yolo场景识别算法对当前的行驶图像进行场景识别，由于目标对象包括人行道斑马线或者信号灯，当识别确定所述行驶图像中存在人行道斑马线或者信号灯的时候，即可确定当前机动车行驶在路口位置，并采用目标跟踪算法对目标对象进行跟踪，比如opencv目标跟踪算法，由于yolo场景识别算法和opencv目标跟踪算法均为现有技术的内容，本方案不涉及对算法本身的改进，此处不再赘述。
58.s103、计算所述机动车与所述目标对象之间的距离，在确定所述距离小于阈值后，将当前的所述行驶图像作为目标图像。
59.在一些实施例中，步骤s103的过程包括：
60.计算所述机动车与所述人行道斑马线或者所述信号灯在水平方向的水平距离，所述水平方向为所述机动车的行驶方向；
61.在确定所述水平距离小于所述阈值后，保存当前的所述行驶图像作为所述目标图像，或者连续采集当前所述行驶图像的帧图像，并将所述帧图像作为目标图像。
62.在对目标对象进行目标跟踪的过程中，通过计算机动车与人行道斑马线或者信号灯在机动车行驶方向的水平距离，即可确定当前机动车距离路口的位置，在水平距离小于阈值之后，即可确定当前机动车已经行驶到靠近人行道斑马线或者信号灯的位置，通过保存当前的行驶图像或者连续采集行驶图像的帧图像以作为目标图像，以便于后续对目标图像进行分析处理以完成违规判断。
63.示例性的，采用对行驶图像进行连续截图的方式得到多个截图的帧图像以作为目标图像，此处不再赘述。
64.s104、对所述目标图像中的所述目标对象进行目标跟踪，在所述目标对象在所述目标图像中消失时，获取所述目标对象消失前一时刻在所述目标图像中的状态信息和位置信息。
65.在一些实施例中，步骤s104的过程包括：
66.当所述信号灯在所述目标图像中消失时，在所述目标图像中获取所述信号灯消失前一时刻中的第一图像；
67.在所述第一图像中获取所述信号灯的信号灯状态信息，以及所述人行道斑马线在所述第一图像中的斑马线位置信息。
68.示例性的，当所述信号灯在目标图像中消失时，即可确定机动车当前的位置已经行驶过路口，通过在目标图像中获取信号灯消失前一时刻中的第一图像，以便于在第一图像中分别获取信号灯状态信息和人行道斑马线在第一图像中的斑马线位置信息，通过信号灯状态信息和斑马线位置信息进行违规判断。
69.s105、根据所述状态信息和所述位置信息确定所述机动车的违规判断结果。
70.在一些实施例中，步骤s105的过程包括：
71.在所述信号灯状态信息显示所述信号灯为红灯时，当所述斑马线位置信息显示所述人行道斑马线位于所述第一图像上方，确定所述违规判断结果为违规；当所述斑马线位置信息显示所述人行道斑马线位于第一图像下方，确定所述违规判断结果为疑似违规；当所述斑马线位置信息显示所述人行道斑马线不在所述第一图像时，确定所述违规判断结果为正常行驶；
72.在所述信号灯状态信息显示所述信号灯为绿灯时，确定所述违规判断结果为正常行驶；
73.在所述信号灯状态信息显示所述信号灯为黄灯时，当所述斑马线位置信息显示所述人行道斑马线位于第一图像上方，确定所述违规判断结果为疑似违规；当所述斑马线位置信息显示所述人行道斑马线位于第一图像下方或者不在所述第一图像时，确定所述违规判断结果为正常行驶。
74.示例性的，参考图2，将信号灯状态信息即为t1，斑马线位置信息记为t2，t1为00表示信号灯为红灯，t1为01表示信号灯为绿灯，t1为10表示信号灯为黄灯，t2为00表示斑马线在第一图像上方，t2为01表示斑马线在第一图像下方，t2为10表示斑马线不在第一图像上。在进行违规结果判断时，当(t1，t2)为(00,00)时，表示当前违章；当(t1，t2)为(00,01)时，表示当前疑似违章；当(t1，t2)为(00,01)时，表示当前正常行驶；当t1为01，不管t2的状态，当前行驶状态均为正常行驶；当(t1，t2)为(10,00)时，表示当前疑似违章；当(t1，t2)为(10,01)或者(10,10)时，表示当前正常行驶，通行正常。
75.在又一些实施例中，所述判断方法还包括：
76.在确定所述机动车处于路口位置之后，获取所述行驶图像中的行人信息，根据所述行人信息判断所述机动车是否违规。
77.为了进一步确定机动车在通过路口时的违规情况，在确定机动车处于路口位置之后，获取行驶图像中的行人信息，以便于根据行人信息判断机动车是否违规。
78.在一些实施例中，所述根据所述行人信息和所述机动车的行驶状态判断所述机动车是否违规，包括：
79.在根据所述行人信息确定所述行驶图像的斑马线中存在行人之后，当所述机动车停止或者减速之后，确定所述机动车为正常行驶；当所述机动车速度不变或者增加时，确定所述机动车行驶违规。
80.示例性的，当当机动车在路口斑马线的位置存在行人之后，当机动车停止或者减速，则表示机动车正常通行，没有违规，否则表示机动车存在没有礼让行人的违规行为。
81.在一些实施例中，所述方法还包括：步骤s106、在所述机动车的行驶过程中，统计所述机动车经过的路口数量、违规次数、违规路口位置以及违规时的行驶图像，在所述机动车熄火之后，将所述路口数量、所述违规次数、所述违规路口位置以及违规时的行驶图像推送至所述机动车的车载显示屏。
82.当机动车驾驶通过路口并完成对路口违规情况的计算过程之后，统计所述机动车经过的路口数量、违规次数、违规路口位置以及违规时的行驶图像，并在机动车熄火之后将统计结果推送至机动车的车载显示屏。
83.示例性的，路口数量记为m，违规次数记为n，参考图3，初始状态时路口数量m和违规次数n均为0，当判断机动车经过路口时，路口数量m加1，当判断机动车存在行驶违章或者疑似违章的时候，违规次数n加1，将当前违规或者疑似违规行为的行驶图像保存并记录违规位置，当判断机动车在经过路口没有礼让行人时，违规次数n也加1，将当前违规行为的行驶图像保存，并最终在判断机动车熄火之后，将违规次数n、路口数量m、违规路口的位置以及违规时的行驶图像推送至机动车的车载显示屏，便于驾驶员及时观看驾驶过程中的违规情况，以提高驾驶员后续驾驶的规范性。
84.本发明还提供了一种机动车违规的判断装置，参考图4，包括：
85.图像获取模块401，用于获取机动车在行驶过程中的行驶图像；
86.场景识别模块402，用于对所述行驶图像进行场景识别，在确定所述行驶图像中存在目标对象时，对所述目标对象进行跟踪；
87.计算模块403，用于计算所述机动车与所述目标对象之间的距离，在确定所述距离小于阈值后，将当前的所述行驶图像作为目标图像；
88.信息获取模块404，用于对所述目标图像中的所述目标对象进行目标跟踪，在所述目标对象在所述目标图像中消失时，获取所述目标对象消失前一时刻在所述目标图像中的状态信息和位置信息；
89.判断模块405，用于根据所述状态信息和所述位置信息确定所述机动车的违规判断结果。
90.在一些实施例中，所述场景识别模块402还用于：
91.采用场景识别算法对所述行驶图像进行场景识别；
92.在确定所述行驶图像中存在人行道斑马线或信号灯，确定所述机动车处于路口位置；
93.对所述目标对象进行跟踪，所述目标对象包括所述人行道斑马线或者所述信号灯。
94.在一些实施例中，还包括统计模块406，所述统计模块406用于在所述机动车的行
驶过程中，统计所述机动车经过的路口数量、违规次数、违规路口位置以及违规时的行驶图像，在所述机动车熄火之后，将所述路口数量、所述违规次数、所述违规路口位置以及违规时的行驶图像推送至所述机动车的车载显示屏。
95.需要说明的是，上述机动车违规的判断装置的结构及原理与上述机动车违规的判断方法中的步骤一一对应，故在此不再赘述。
96.本发明还提供了一种芯片，所述芯片与存储器耦合，用于读取并执行所述存储器中存储的程序指令，以执行上述的机动车路口违规的判断方法。
97.需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，选择模块可以为单独设立的处理元件，也可以集成在上述系统的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述系统的存储器中，由上述系统的某一个处理元件调用并执行以上模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
98.例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，asic)，或，一个或多个数字信号处理器(digital signal processor，dsp)，或，一个或者多个现场可编程门阵列(field programmable gatearray，fpga)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(central processing unit，cpu)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，soc)的形式实现。
99.通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
100.在本技术实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
101.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
102.以上所述，仅为本技术实施例的具体实施方式，但本技术实施例的保护范围并不局限于此，任何在本技术实施例揭露的技术范围内的变化或替换，都应涵盖在本技术实施例的保护范围之内。因此，本技术实施例的保护范围应以所述权利要求的保护范围为准。
103.虽然在上文中详细说明了本发明的实施方式，但是对于本领域的技术人员来说显而易见的是，能够对这些实施方式进行各种修改和变化。但是，应理解，这种修改和变化都属于权利要求书中所述的本发明的范围和精神之内。而且，在此说明的本发明可有其它的实施方式，并且可通过多种方式实施或实现。