一种基于深度学习的闯红灯违法自动审核方法与流程

本发明涉及目标检测、属性分类、场景分割等智能图像识别领域技术领域，特别涉及机动车车辆违法电子警察抓拍图片审核的人工智能判断技术领域。

背景技术：

随着社会经济的不断发展和人民生活水平的持续提高，城市机动车保有量迅猛增长。机动车车辆违法电子警察抓拍系统的数量也随之迅速增大。传统的车辆违法电子警察抓拍图片审核主要是通过人工审核，工作量比较大，如与特殊天气或者道路改造等等电子警察不能正常工作的情况下，会产生大量的无效抓拍图片，这造成了人工审核的工作量巨大。

如何准确、快速地对车辆违法电子警察抓拍图片进行审核，同时避免人工校验成本高，易疲劳，易疏忽等弊端，是急需解决的技术问题。

技术实现要素：

本发明的目的是：提出一种用于闯红灯违法抓拍自动审核方法，自动审核图片是否为真正的闯红灯，以满足如今对机动车闯红灯违法电子警察抓拍图片审核工作的效率、准确率的需求。

本发明解决其技术问题所采用的技术方案是：

一种基于深度学习的闯红灯违法自动审核系统，其特征在于，包括以下步骤：

s1、获取前端违法抓拍机上传的原始违法图片；

s2、将图片进行切分，切分成3张间隔为1-2秒的证据图；

s3、检测并识别需要审核的车辆信息，先用车牌识别技术找出需要审核的车辆，然后利用车辆重检测技术找出该车辆在每张证据图中的位置；

s4、基于深度学习检测并识别红绿灯的状态，综合三张证据图，将红绿灯状态分为没有红灯，直行左转红灯，直行红灯左转绿灯，直行绿灯左转红灯，右转红绿灯单独记录；

s5、使用deeplab-v2分割算法对原始图片进行分割，分割出实线、停止线、导向线、车道线、斑马线等必要信息；

s6、基于图像处理技术判断车辆与停止线，导向线，车道线等的位置关系；

s7、根据闯红灯的电子警察照片筛选标准判断该原始违法图片是否审核通过。

进一步,所述s3利用车辆重检测(reid)技术找出该车辆在每张证据图中的位置步骤如下：

s31、在训练特征提取模块时，在网络最后一个256维全连接层接一个分类层，该层对不同款车型的进行分类，每一个类别拥有不同帧时刻采集的同一车，并对所有采集的车进行数据增强。当训练的损失值loss降低到最低时，裁剪掉分类层，取出上一个256维全连接层，此时获取的256维特征能够很好的表征该车辆的特征。

s32、对第一张图定位到的车辆输入到googlenetinception-v2网络，在该网络的输入层，对输入的车辆进行padding，变成长宽一致的图像，多余的部分以0像素填充；然后对预处理后的图像进行上采样或下采样操作，统一resize成200*200分辨率的图像，最后得到一个256维特征；

s33、对第二张图所有待匹配的车辆输入googlenetinception-v2网络，同s32，得到若干256维特征；

s34、对第三张图所有待匹配的车辆输入googlenetinception-v2网络，同s32，得到若干256维特征；

s35、用s32中一个256维特征和s33中若干个256维特征做余弦相似度，由于特征提取模块提取的256维特征已经能够很好的表征该车辆，所以采用余弦相似可以更显现出两辆车之间的差异度，最后取出得分最高所对应的256维特征；

s36、用s33中得分最高的256维特征和s34中若干个256维特征做余弦相似度，取出得分最高所对应的256维特征；

s37、由于第二张图和第三张图通过检测算法已经分别检测出若干辆车，用上述算法找到相似度得分最高的车，取出得分最高所对应的车辆索引号即为跟踪到的车辆。

进一步,所述基于深度学习的红绿灯状态检测步骤如下：

s41、将原始的输入大图片划分为一个个小图片有重叠的拼接，重叠面积为红绿灯大小的统计最大值；

s42、将小图片依次输入ssd目标检测网络结构得到目标的坐标；

s43、将得到的目标坐标映射到大图上并合并重合的目标；

s44、将得到的目标输入到红绿灯分类网络得到红绿灯的类别，分类网络采用resnet18；

s45、由各个红绿灯的类别判断红绿灯的状态；

进一步，所述的s5的对原始图片进行分割，分割出实线、停止线、导向线、车道线、斑马线等必要信息包括步骤如下：

s51、收集应用场景的图片，并人工标注出实线、停止线、导向线、车道线、斑马线等区域；

s52、将人工标注转换为标签矩阵，即将人工标注的闭合多边形内所有像素点对应标签设置为1，其他像素点对应的标签设置为0；

s53、将图片及对应的标签矩阵输入deeplab-v2分割算法训练，deeplab-v2分割算法采用resnet-34作为骨干网络，psp_module和unet模块作为解码器，并使用skiplayer引入低维细节特征作为模型网络结构。使用a*bce_loss+b*lovasz_loss作为最终loss(0<＝a,b<＝1，人为设定)，并引入辅助损失aux_loss进行训练；

s54、应用训练好的deeplab-v2分割算法预测输入图像像素点类别，将属于公交车道类别的像素点坐标集合输出，从而实现道路场景分割；

进一步，所述基于图像处理技术的车辆与停止线，导向线，车道线等的位置关系判断步骤如下：

s61、提取实线、停止线、导向线、车道线的轮廓信息；

s62、利用最小二乘法进行直线拟合，拟合出车道线和停止线；

s63、提取导向线的最小外接矩形；

s64、判断车辆的矩形框位置和车道直线的、停止直线、导向线外接矩形框的位置关系；

进一步，所述根据闯红灯的电子警察照片筛选标准判断该原始违法图片是否审核通过步骤如下：

s71、判断红绿灯的状态与车辆行驶方向的关系，即直行车辆要对于直行红灯，左转车辆对应左转红灯，右转车辆对应右转红灯，没有左转专用灯时，如果直行是红灯则左转为红灯，直行绿灯则左转为绿灯，如果没有右转专用灯则默认右转为绿灯；

s72、判断第一张图中车辆是否已经在停止线内，判断第二张图片中车辆是否已经大部分已经越过停止线，第三张与第二张图片对比车辆是否有明显位移，必须同时满足这三个条件才可认为是闯红灯。

本发明的有益效果是：本发明主要应用于机动车车辆闯红灯违法抓拍审核系统，其实现了机动车车辆闯红灯违法抓拍自动审核，节约了人力，提高了效率，又保证了审核工作的公正、公开。

附图说明

图1：本发明流程图

图2：本发明结构示意图

图3：本发明红绿灯检测单元拼图方法示意图

具体实施方式

以下结合附图，对本发明做进一步说明。

本发明主要基于基本算法模块，逻辑判断模块以及规则判断模块。

如图2所示，基本算法模块分为红绿灯检测分类单元，车辆检测单元，车牌识别、车辆重检测单元和图像分割单元。首先将图片分别传入红绿灯检测分类单元，车辆检测单元然后将车辆检测结果传入车牌识别、车辆重检测单元和图像分割单元。其中红绿灯检测单元采用改进的ssd目标检测模型，由于红绿灯在整幅图中的占比非常小，原始的ssd检测方法无法检测到这么小的目标，本发明采用一种拼图的方法，将一张高分辨率图片分成一张张有重叠的小图片。如图三所示。

红绿灯检测分类模型获取方法如下：

s1、训练数据准备：获取不同拍摄条件(如光照、角度)的图像；

s2、数据预处理：将图片切分成一张张小图片；

s2、数据标注：采用矩形框将红绿灯区域在图像中标出，记录目标区域左上角以及右下角点的坐标值；

s3、模型训练：采用标注好的训练数据，训练基于深度学习的目标检测模型；

场景分割单元的具体方法包括：如图3所示，分割模块首先将图像输入分割模型，得到图像中每个像素的类别，从而得到车道线以及第一张图中目标车辆所在大致位置的导向线的类别以及区域。

场景分割模型获取方法如下：

s1、训练数据准备：获取不同拍摄条件(如光照、角度)的交通路口图像；

s2、数据标注：将图像中车道线，斑马线以及导向线逐像素进行类别标注；

s3、模型训练：采用标注好的训练数据，训练基于深度学习的场景分割模型；

本发明的实施具体流程如图1所示，一种基于深度学习的闯红灯违法自动审核系统，其特征在于，包括以下步骤：

s1、获取前端违法抓拍机上传的原始违法图片；

s2、将图片进行切分，切分成3张证据图；

s3、检测并识别需要审核的车辆信息，先用车牌识别技术找出需要审核的车辆，然后综合车辆重检测和车牌识别技术找出该车辆在每张证据图中的位置；

s4、基于深度学习检测并识别红绿灯的状态，综合三张证据图，将红绿灯状态分为没有红灯，直行左转红灯，直行红灯左转绿灯，直行绿灯左转红灯，右转红绿灯单独记录；

s5、对原始图片进行分割，分割出实线、停止线、导向线、车道线、斑马线等必要信息；

s6、基于图像处理技术判断车辆与停止线，导向线，车道线等的位置关系；

s7、根据闯红灯的电子警察照片筛选标准判断该原始违法图片是否审核通过。

以上显示和描述了本方案的基本原理和主要特征和本方案的优点。本行业的技术人员应该了解，本方案不受上述实施例的限制，上述实施例和说明书中描述的只是说明本方案的原理，在不脱离本方案精神和范围的前提下，本方案还会有各种变化和改进，这些变化和改进都落入要求保护的本方案范围内。本方案要求保护范围由所附的权利要求书及其等效物界定。