本发明涉及智能交通技术领域，具体涉及一种基于深度学习的机动车未按规定使用示廓灯智能识别方法和系统、存储介质。
背景技术
示廓灯是车前、后方最边上的灯，大货车的车顶上和侧面也有示廓灯。示廓灯，光从字面上看，“示”是警示的意思，“廓”有轮廓之意，所以示廓灯是一种警示标志的车灯，用来提醒其它车辆注意的示意灯。安装在车辆顶部的边缘处，既能表示车辆的高度又能表示车辆的宽度。安全标准规定在车高高于3米的机动车必须安装示廓灯，示廓灯的颜色为前白后红。示廓灯与相应位置灯的相对位置要求是在两灯各自的基准轴方向上，视表面上最相邻的点在一横向垂直平面内的投影间距应不小于400mm。
在阴天变道的时候看后视镜，如果后面的机动车没开示宽灯，基本上就是黑影一团，跟路面混在一起，让人很难从后视镜里看到，特别是后面加速上来的车子如果没开示宽灯，在大雨的情况下基本上很难看清，此时是非常危险的。
目前，没有可以自动检测和识别机动车的示廓灯是否开启的方案，而机动车的示廓灯未按规定开启的现象在高速公路行驶的机动车中大量存在，而且安全隐患巨大。
技术实现要素：
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于深度学习的机动车未按规定使用示廓灯智能识别方法和系统、存储介质，可以智能识别机动车是否按规定正确使用示廓灯。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
第一方面，本发明提供一种基于深度学习的机动车未按规定使用示廓灯智能识别方法，包括：获取交通监控设备所采集的视频流，所述视频流包括多帧图像；采用预先训练的车牌识别神经网络模型，对各帧图像中每一机动车的车牌进行识别，并根据识别出的车牌在各帧图像中的位置，实现对所识别出的车牌对应的机动车的跟踪；采用预先训练的示廓灯识别神经网络模型，对各帧图像中每一机动车的示廓灯进行识别；将识别出的车牌和识别出的示廓灯进行匹配，并根据每一车牌对应的机动车的跟踪路线中预设行驶距离内示廓灯的状态，判断该车牌对应的机动车是否按规定使用其示廓灯。
在一些实施例中，对各帧图像中每一机动车的示廓灯和车牌进行识别之前，所述方法还包括：根据预先设置的透视反变换参数，对各帧图像进行透视反变换。
在一些实施例中，所述透视反变换参数的设置过程包括：从所述交通监控设备的监控区域内选择检测区域，所述检测区域与所述示廓灯识别神经网络模型的输入数据相对应；采用最小二乘法，确定所述检测区域中每一像素的透视反变换参数。
在一些实施例中，所述从所述交通监控设备的监控区域内选择检测区域，包括：在所述监控区域中沿车道线选取4个像素点，所述4个像素点与一个矩形的四个端点相映射，该矩形的大小与所述示廓灯识别神经网络模型的输入数据的个数相同。
在一些实施例中，所述车牌识别神经网络模型的训练过程包括：构建第一训练样本集，所述第一训练样本集中包括多张标记车牌的第一图片，所述第一图片由交通监控设备预先采集；采用yolo算法对所述第一训练样本集中的多张第一图片进行训练，得到车牌识别神经网络模型的各个模型参数。
在一些实施例中，所述示廓灯识别神经网络模型的训练过程包括：构建第二训练样本集，所述第二训练样本集中包括多张标记示廓灯及其状态的第二图片，所述第二图片由交通监控设备预先采集；采用yolo算法对所述第二训练样本集中的多张第二图片进行训练，得到示廓灯识别神经网络模型的各个模型参数。
第二方面，本发明提供一种基于深度学习的机动车未按规定使用示廓灯智能识别系统，包括：
获取模块，用于获取交通监控设备所采集的视频流，所述视频流包括多帧图像；
第一识别模块，用于采用预先训练的车牌识别神经网络模型，对各帧图像中每一机动车的车牌进行识别，并根据识别出的车牌在各帧图像中的位置，实现对所识别出的车牌对应的机动车的跟踪；
第二识别模块，用于采用预先训练的示廓灯识别神经网络模型，对各帧图像中每一机动车的示廓灯进行识别；
判断模块，用于将识别出的车牌和识别出的示廓灯进行匹配，并根据每一车牌对应的机动车的跟踪路线中预设行驶距离内示廓灯的状态，判断该车牌对应的机动车是否按规定使用其示廓灯。
在一些实施例中，系统还包括：
反变换模块，用于所述第一识别模块对各帧图像中每一机动车的车牌进行识别和所述第二识别模块对各帧图像中的每一机动车的示廓灯进行识别之前，根据预先设置的透视反变换参数，对各帧图像进行透视反变换。
第三方面，本发明提供一种存储介质，其上存储有计算机程序，在所述计算机程序被处理器执行时可实现如上方法。
(三)有益效果
本发明实施例提供了一种基于深度学习的机动车未按规定使用示廓灯智能识别方法和系统、存储介质，采用车牌识别神经网络模型识别出各帧图像中的车牌，并采用示廓灯识别神经网络模型识别出各帧图像中的示廓灯，然后将示廓灯和车牌进行匹配，进而根据示廓灯的状态判断与示廓灯匹配的车牌所对应的机动车是否按规定使用示廓灯。可见，本发明可以智能识别机动车是否按规定正确使用示廓灯，加大对示廓灯的使用的管理力度，预防减少因高速公路行车未正确使用示廓灯所引发的各类交通事故，减少交通伤亡和减轻交通伤害，切实保障国家、社会及广大人民群众的生命财产安全。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a和图1b示出了本发明一实施例中基于深度学习的机动车未按规定使用示廓灯智能识别方法的流程示意图；
图2示出了本发明一实施例中机动车行驶到近处的一帧图像的视图；
图3示出了本发明一实施例中机动车行驶到远处的一帧图像的示意图；
图4示出了本发明一实施例中在监控区域中选择检测区域的示意图；
图5示出了本发明一实施例中离线部分的流程示意图；
图6示出了本发明一实施例中基于深度学习的机动车未按规定使用示廓灯智能识别系统的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
第一方面，本发明实施例提供一种基于深度学习的机动车未按规定使用示廓灯智能识别方法，如图1a和图1b所示，该方法包括：
s1、获取交通监控设备所采集的视频流，该视频流包括多帧图像；
可理解的是，交通监控设备可以但不限于设置在高速公路事故多发区、高速公路复杂路段、高速桥面出入口、城市快速路事故多发区等区域。
s2、采用预先训练的车牌识别神经网络模型，对各帧图像中每一机动车的车牌进行识别，并根据识别出的车牌在各帧图像中的位置，实现对所识别出的车牌对应的机动车的跟踪；
可理解的是，将上述多帧图像输入上述车牌识别神经网络模型，便得到出现在上述多帧图像中的各辆机动车的车牌；
由于交通监控设备监控的是一段距离，因此需要对机动车进行跟踪，这里通过车牌进行跟踪，具体为：先识别出车牌，然后根据车牌在前后帧图像中的位置变化，实现对机动车的跟踪。
其中，车牌识别神经网络模型的训练过程可以包括如下过程：
s21、构建第一训练样本集，所述第一训练样本集中包括多张标记车牌的第一图片，所述第一图片由交通监控设备预先采集；
s22、采用yolo算法对所述第一训练样本集中的多张第一图片进行训练，得到车牌识别神经网络模型的各个模型参数。
可理解的是，s22得到车牌识别神经网络模型的各个模型参数，即得到训练好的车牌识别神经网络模型。
举例来说，如图5所示，标记车牌图片即对第一图片中的车牌进行标记，然后采用yolo算法进行训练，得到用于车牌检测的模型的参数。
s3、采用预先训练的示廓灯识别神经网络模型，对各帧图像中每一机动车的示廓灯进行识别；
可理解的是，对示廓灯的识别，是对每一帧图像中示廓灯所在位置的识别，示廓灯的状态可以根据所在位置处的像素确定，示廓灯的状态包括打开和关闭两种状态。
其中，示廓灯识别神经网络模型的训练方法可以参考车牌识别神经网络模型的训练方法，具体可以包括如下过程：
s31、构建第二训练样本集，所述第二训练样本集中包括多张标记示廓灯及其状态的第二图片，所述第二图片由交通监控设备预先采集；
如图2和3所示，采用矩形框对示廓灯进行标记的图片可以作为第二图片。
s32、采用yolo算法对所述第二训练样本集中的多张第二图片进行训练，得到示廓灯识别神经网络模型的各个模型参数。
举例来说，如图5所示，标记车灯图片即在第二图片中对示廓灯进行标记，然后对标记好的图片采用yolo算法进行训练，得到用于车灯即示廓灯检测的模型的参数。
s4、将识别出的车牌和识别出的示廓灯进行匹配，并根据每一车牌对应的机动车的跟踪路线中预设行驶距离内示廓灯的状态，判断该车牌对应的机动车是否按规定使用其示廓灯。
可理解的是，这里对识别出的车牌和示廓灯进行匹配的过程，实际上将位于同一机动车上的示廓灯和车牌进行对应的过程。
可理解的是，每一机动车的跟踪路线中的预设行驶距离，是指交通监控设备所监控到的机动车行驶路线中的一段路线，该段路线可为预先设置的有效行驶距离。例如，所监控到的一机动车行驶路线为500米，则预设行驶距离为这500米中的100米。
可理解的是，低能见度气象条件下驾驶机动车在高速公路上不按规定行驶，如果没有做到以下三条，将受到6分的处罚：
在恶劣天气中，应该做到：
1、能见度小于200米时，开启雾灯、近光灯、示廓灯和前后雾灯，车速不得超过每小时60公里，与同车道前车保持100米以上的距离；
2、能见度小于100米时，开启雾灯、近光灯、示廓灯、前后雾灯和危险报警闪光灯，车速不得超过每小时40公里，与同车道前车保持50米以上的距离；
3、能见度小于50米时，开启雾灯、近光灯、示廓灯、前后雾灯和危险报警闪光灯，车速不得超过每小时20公里，并从最近的出口尽快驶离高速公路。
可见，根据交通法规，当能见度低于200米时，就应该打开示廓灯。
举例来说，当空气能见度为150米时，一车牌为xxxxx的机动车在监控区域中的最后100米内示廓灯的状态为关闭状态，则可以认为该机动车未按照规定使用示廓灯。
当然，还存在其他需要开启示廓灯的情况，这里不再一一举例。
本发明提供的方法，采用车牌识别神经网络模型识别出各帧图像中的车牌，并采用示廓灯识别神经网络模型识别出各帧图像中的示廓灯，然后将示廓灯和车牌进行匹配，进而根据示廓灯的状态判断与示廓灯匹配的车牌所对应的机动车是否按规定使用示廓灯。可见，本发明可以智能识别机动车是否按规定正确使用示廓灯，加大对示廓灯的使用的管理力度，预防减少因高速公路行车未正确使用示廓灯所引发的各类交通事故，减少交通伤亡和减轻交通伤害，切实保障国家、社会及广大人民群众的生命财产安全。
在一些实施例中，在执行s2和s3之前，还可以根据预先设置的透视反变换参数，对各帧图像进行透视反变换。
如图2所示，通常近处的车灯较大，信息比较冗余；如图3所示，远处的车灯较小，视野较开阔，但无用的信息也多，关键信息较少。一般车开到远处，车灯在摄像头中的投影非常小，对于车灯的检测和识别会比较困难，而这里对图像进行透视反变换可以去除近处的冗余信息，将远处广阔视野中无用的信息去除，并增强车灯等关键信息，利于示廓灯的识别。
其中，由于透视反变换参数是预先设置的，例如离线设置，具体设置过程包括：从所述交通监控设备的监控区域内选择检测区域，所述检测区域与所述示廓灯识别神经网络模型的输入数据相对应；采用最小二乘法，确定所述检测区域中每一像素的透视反变换参数。
举例来说，如图5所示，沿车道选择检测区域，选择的检测区域与神经网络模型的输入相对应，然后采用最小二乘法确定检测区域中的像素的透视反变换参数。
上述检测区域为监控区域的一部分，可以选取重要信息所在的区域作为检测区域，这样可以忽略掉无用信息。重要信息所在的区域一般为两车道线之间的区域，而且对于过远的地方，由于不利于检测，因此也可以忽略，因此检测区域的选择过程可以包括：如图4所示，在所述监控区域中沿车道线选取4个像素点，所述4个像素点与一个矩形的四个端点相映射，该矩形的大小与所述示廓灯识别神经网络模型的输入数据的个数相同。
例如，示廓灯识别神经网络模型的输入数据的个数是600*600，则映射的矩形的四个端点可以分别为(0，0)，(600，0)，(600，600)，(0，600)。
各帧图像中的像素点与世界坐标系中的位置之间的映射关系可以表示为：
上式中，x、y、z为世界坐标系中的各个点；x、y为第一图像中各个像素点，mij为透射变换参数。投射变换参数可以采用最小二乘法得到。
第二方面，本发明实施例还提供一种基于深度学习的机动车未按规定使用示廓灯智能识别系统，如图6所示，该系统包括：
获取模块，用于获取交通监控设备所采集的视频流，所述视频流包括多帧图像；
第一识别模块，用于采用预先训练的车牌识别神经网络模型，对各帧图像中每一机动车的车牌进行识别，并根据识别出的车牌在各帧图像中的位置，实现对所识别出的车牌对应的机动车的跟踪；
第二识别模块，用于采用预先训练的示廓灯识别神经网络模型，对各帧图像中每一机动车的示廓灯进行识别；
判断模块，用于将识别出的车牌和识别出的示廓灯进行匹配，并根据每一车牌对应的机动车的跟踪路线中预设行驶距离内示廓灯的状态，判断该车牌对应的机动车是否按规定使用其示廓灯。
在一些实施例中，系统还包括：
反变换模块，用于所述第一识别模块对各帧图像中每一机动车的车牌进行识别和所述第二识别模块对各帧图像中的每一机动车的示廓灯进行识别之前，根据预先设置的透视反变换参数，对各帧图像进行透视反变换。
在一些实施例中，还包括：
参数设置模块，用于从所述交通监控设备的监控区域内选择检测区域，所述检测区域与所述示廓灯识别神经网络模型的输入数据相对应；采用最小二乘法，确定所述检测区域中每一像素的透视反变换参数。
在一些实施例中，参数设置模块具体用于：在所述监控区域中沿车道线选取4个像素点，所述4个像素点与一个矩形的四个端点相映射，该矩形的大小与所述示廓灯识别神经网络模型的输入数据的个数相同。
在一些实施例中，系统还包括：
第一模型构建模块，用于构建第一训练样本集，所述第一训练样本集中包括多张标记车牌的第一图片，所述第一图片由交通监控设备预先采集；采用yolo算法对所述第一训练样本集中的多张第一图片进行训练，得到车牌识别神经网络模型的各个模型参数。
在一些实施例中，系统还包括：
第二模型构建模块，用于构建第二训练样本集，所述第二训练样本集中包括多张标记示廓灯及其状态的第二图片，所述第二图片由交通监控设备预先采集；采用yolo算法对所述第二训练样本集中的多张第二图片进行训练，得到示廓灯识别神经网络模型的各个模型参数。
可理解的是，本发明提供的系统与本发明提供的方法相对应，有关内容的解释、举例和有益效果等内容可以参考上述方法中的相应部分。
第三方面，本发明实施例提供一种存储介质，其上存储有计算机程序，在所述计算机程序被处理器执行时可实现上述方法。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。