一种小微型面包车超员识别方法及装置与流程

本发明涉及智能交通技术领域，特别涉及一种小微型面包车超员识别方法及装置。

背景技术

小微型面包车是面包车中的mini版本，一般发动机排量在1.3l以下，长度小于3900mm，座位数为9个以下，因售价低廉、用途广泛、油耗较低，在国内拥有较大销量和市场，特别是农村区域。车辆超载，质量增大而惯性增加，制动距离加长，危险性增大。如果严重超载，则会因轮胎负荷过重、变形过大而引起爆胎、突然偏驶、制动失灵、翻车等事故。小微型面包车辆本身安全性能偏低，较其他类型车辆，超员小微型面包车发生事故可能性及严重性更大。

我国农村地区道路交通安全管理基础薄弱，驾驶人交通安全意识淡薄，小微型面包车超员违法行为普遍，近年来涉及小微型面包车的重特大道路交通事故时有发生，安全问题十分突出。

目前农村地区整治行动中，交警部门通常采用设置检查站和巡逻检查相结合的方式，人工进行车辆超员检查，无法实现自动化预警，导致交警工作强度大且效率难以提高，小微型面包车的超员识别准确率和超员取证效率较低。

技术实现要素：

本发明的目的在于提供一种小微型面包车超员识别方法及装置，以提高小微型面包车超员识别准确率。

为实现以上目的，本发明采用一种小微型面包车超员识别方法，包括：

利用布置在路口的道路电子监控设备采集通过路口的车辆的图片，得到车辆图片；

利用faster-rcnn神经网络对车辆图片进行识别，并提取小微型面包车的图像；

采用预先训练好的卷积神经网络对小微型面包车的图像进行检测，对小微型面包车前排的人数进行统计；

判断前排的人数大于或等于两个时，预判该小微型面包车超载。

优选地，所述利用faster-rcnn神经网络对车辆图片进行识别，并提取小微型面包车的图像，包括：

利用卷积神经网络cnn对整张车辆图片生成特征图；

利用区域建议网络rpn生成建议窗，并将建议窗口映射到cnn的最后一层卷积特征图上，训练得到候选区域；

提取候选区域的特征，并用分类器判别候选区域的特征是否属于小微型面包车；

若是，采用回归器调整框的位置，得到小微型面包车的车型具体位置并提取提取小微型面包车的图像。

优选地，所述预先训练好的卷积神经网络的训练过程，包括：

获取所述道路电子监控设备采集的超载小微型面包车图像，并通过人为标定，将超载小微型面包车前排人数不小于2的作为正样本、将人数小于2的作为负样本；

利用所述正样本和负样本对待训练卷积神经网络模型进行训练，得到训练后用于对车辆图片进行检测的卷积神经网络。

优选地，在所述判断前排的人数大于或等于两个时，预判该小微型面包车超载之后，还包括：

采用人工判断方式对预判为超载的小微型面包车进行二次判断，若判断小微型面包车超载，则进行报警并记录。

优选地，在所述采用人工判断方式对预判为超载的小微型面包车进行二次判断，若判断小微型面包车超载，则进行报警并记录之后，还包括：

将判断超载的小微型面包车的图片作为正样本，用于对待训练卷积神经网络模型进行训练。

另一方面，采用一种小微型面包车超员识别装置，包括：电子监控设备、识别模块、检测模块以及预判模块；

电子监控设备用于采集通过路口的车辆的图片，得到车辆图片；

识别模块用于利用faster-rcnn神经网络对车辆图片进行识别，并提取小微型面包车的图像；

人数统计模块用于采用预先训练好的卷积神经网络对小微型面包车的图像进行检测，对小微型面包车前排的人数进行统计；

预判模块用于判断前排的人数大于或等于两个时，预判该小微型面包车超载。

优选地，所述识别模块包括特征图生成单元、候选区域生成单元、特征提取单元、判断单元以及识别单元；

特征图生成单元用于利用卷积神经网络cnn对整张车辆图片生成特征图；

候选区域生成单元用于利用区域建议网络rpn生成建议窗，并将建议窗口映射到cnn的最后一层卷积特征图上，训练得到候选区域；

特征提取单元提取候选区域的特征；

判断单元用于采用分类器判别候选区域的特征是否属于小微型面包车；

若是，则识别单元采用回归器调整框的位置，得到小微型面包车的车型具体位置并提取提取小微型面包车的图像。

优选地，还包括训练模块，用于预先对待训练卷积神经网络进行训练，其包括样本数据获取单元和训练单元：

样本数据获取单元用于获取所述道路电子监控设备采集的超载小微型面包车图像，并通过人为标定，将超载小微型面包车前排人数不小于2的作为正样本、将人数小于2的作为负样本；

训练单元利用所述正样本和负样本对待训练卷积神经网络模型进行训练，得到训练后用于对车辆图片进行检测的卷积神经网络。

优选地，还包括与所述预判模块连接的二次判断模块，该二次判断模块用于采用人工判断方式对预判为超载的小微型面包车进行二次判断，若判断小微型面包车超载，则进行报警并记录。

优选地，还包括与所述二次模块输出端连接的添加模块，该添加模块用于将判断超载的小微型面包车的图片作为正样本，用于对待训练卷积神经网络模型进行训练。

与现有技术相比，本发明存在以下技术效果：本发明利用已建高清卡口、电警等系统为基础，在警用专题库的支撑下，基于前端相机采集过车基本信息，利用faster-rcnn神经网络，筛选车型为小微型面包车的车辆图像信息，对筛选出的车辆图像预处理后进行基于cnn的人头检测统计，若统计结果大于2，则本发明自动预警。在目前卡口、电警等系统仅对车辆车牌、车型等特征研判识别的功能基础上，增加基于图像的车辆正驾驶、副驾驶及正副驾驶之间人数统计模块，高效识别超员小微型面包车并自动预警，提高交警对超载小微型面包车的查处效率。

附图说明

下面结合附图，对本发明的具体实施方式进行详细描述：

图1是一种小微型面包车超员识别方法的流程示意图；

图2是利用faster-rcnn对车辆进行检测和识别的算法流程图；

图3是利用cnn神经网络进行人数统计的算法流程图；

图4是人数超载判断流程示意图；

图5是一种小微型面包车超员识别装置的结构示意图。

具体实施方式

为了更进一步说明本发明的特征，请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用，并非用来对本发明的保护范围加以限制。

如图1所示，本实施例公开了一种小微型面包车超员识别方法，包括如下步骤s1至s4：

s1、利用布置在路口的道路电子监控设备采集通过路口的车辆的图片，得到车辆图片；

需要说明的是，本实施例利用路面已建的卡口、电子警察等电子监控设备的前端相机抓拍通过路口的车辆图像，一般为车头图像。

s2、利用faster-rcnn神经网络对车辆图片进行识别，并提取小微型面包车的图像；

s3、采用预先训练好的卷积神经网络对小微型面包车的图像进行检测，对小微型面包车前排的人数进行统计；

s4、判断前排的人数大于或等于两个时，预判该小微型面包车超载。

需要说明的是，如图4所示，前排的人数指的是车辆主驾驶、副驾驶以及主副驾驶之间的人数，在前排人数统计超过2个人时，即初步判断车辆超载，提高了车辆超员识别的效率。

进一步地，由于卡口通过的车型种类繁多，且卡口车辆图像易受距离、角度以及环境因素等影响，使用传统车型识别方法难以达到理想的效果，而对于卡口图像，不仅需要识别出车辆的型号，还需要对具体型号的车辆进行定位，为便于后面的人数统计，本实施例使用faster-rcnn神经网络来对卡口图像的车辆进行检测并识别，增加车辆图片中车型识别准确性。如图2所示，其具体识别过程为：

(1)输入采集的卡口车辆图像；

(2)将车辆图片输入卷积神经网络，然后对感兴趣的区域进行特征提取；

(3)用区域建议网络(regionproposalnetwork,rpn)生成建议窗口，每张车辆图像生成300个建议窗口，把建议窗口映射到卷积神经网络(convolutionalneuralnetwork,cnn)的最后一层卷积特征图上；

(4)通过roi池化层使每个roi生成固定尺寸的特征图；

(5)利用探测分类概率和探测边框回归对分类概率和边框回归联合训练；

(6)用训练好的网络对测试的车辆图像进行检测和车型识别，从而筛选出小微型面包车。

进一步地，因车内人员可能出现低头等非正脸面对相机现象，利用传统人脸检测方法进行人数统计可能出现漏检，因此本实施例采用cnn模型+svm分类器的人头检测法进行人数统计，提高人头检测的检测精度。如图3所示，其检测过程包括：

(1)将车辆图片输入卷积神经网络，然后对感兴趣的区域进行特征提取；

(2)用区域建议网络(rpn)生成建议窗口，每张车辆图像生成300个建议窗口，把建议窗口映射到cnn的最后一层卷积特征图上；

(3)通过roi池化层使每个roi生成固定尺寸的特征图；

(4)利用探测分类概率和探测边框回归对分类概率和边框回归联合训练。

(5)用训练好的网络对测试的车辆图像进行检测和车型识别，从而筛选出小微型面包车。

其中，本实施例中的卷积神经网络为事先采用样本数据进行训练得到，训练样本的选取来源于前端相机拍摄的超载小微型面包车图像，通过人为标定，统计人数不小于2个的正样本和人数小于2个的负样本，通过样本数据对卷积神经网络模型的参数进行调整，从而提高人数统计的准确性。

进一步地，在上述步骤s4：判断前排的人数大于或等于两个时，预判该小微型面包车超载之后，进行超员预警并将预判为超载的小微型面包车交由人工再次确认该小微型面包车是否超载，在人工确认该小微型面包车超载时，进行报警并记录该车辆信息。本实施例首先预判车辆是否超员，提高了超员识别的效率，同时将预判结果通过人工二次确认，确保了小微型面包车超员识别的准确性。

进一步地，本实施例中在实际检测过程中，可以将人工二次确超载的小微型面包车的图片添加正负样本继续训练，从而不断提高人头检测的检测精度。

如图5所示，本实施例公开了一种小微型面包车超员识别装置，包括：电子监控设备10、识别模块20、检测模块30、人数统计模块40以及预判模块50；

电子监控设备10用于采集通过路口的车辆的图片，得到车辆图片；

识别模块20用于识别模块用于利用faster-rcnn神经网络对车辆图片进行识别，并提取小微型面包车的图像；

需要说明的是，采用faster-rcnn神经网络可去除货车、大客车、出租车等非小微型面包车等车辆信息，确保了筛选出的小微型面包车的准确性。

人数统计模块40用于采用预先训练好的卷积神经网络对小微型面包车的图像进行检测，对小微型面包车前排的人数进行统计；

预判模块50用于判断前排的人数大于或等于两个时，预判该小微型面包车超载。

进一步地，识别模块20包括特征图生成单元、候选区域生成单元、特征提取单元、判断单元以及识别单元；

特征图生成单元用于利用卷积神经网络cnn对整张车辆图片生成特征图；

候选区域生成单元用于利用区域建议网络rpn生成建议窗，并将建议窗口映射到cnn的最后一层卷积特征图上，训练得到候选区域；

特征提取单元提取候选区域的特征；

判断单元用于采用分类器判别候选区域的特征是否属于小微型面包车；

若是，则识别单元采用回归器调整框的位置，得到小微型面包车的车型具体位置并提取提取小微型面包车的图像。

进一步地，该装置还包括训练模块，用于预先对待训练卷积神经网络进行训练，其包括样本数据获取单元和训练单元：

样本数据获取单元用于获取所述道路电子监控设备采集的超载小微型面包车图像，并通过人为标定，将超载小微型面包车前排人数不小于2的作为正样本、将人数小于2的作为负样本；

训练单元利用所述正样本和负样本对待训练卷积神经网络模型进行训练，得到训练后用于对车辆图片进行检测的卷积神经网络。

进一步地，该装置还包括与所述预判模块连接的二次判断模块，该二次判断模块用于采用人工判断方式对预判为超载的小微型面包车进行二次判断，若判断小微型面包车超载，则进行报警并记录。

进一步地，该装置还包括与所述二次模块输出端连接的添加模块，该添加模块用于将判断超载的小微型面包车的图片作为正样本，用于对待训练卷积神经网络模型进行训练。

以下进行具体应用，以安徽省长丰县长寿路与杨公路、长寿路与吴山路、长寿路与长合路、长寿路与长淮路、长丰路与长淮路、长丰路与长合路、长丰路与吴山路等十个路口2017年1月—10月份相机抓拍的超员小微型面包车图像作为人数统计模块cnn神经网络算法中的训练样本，以该十个路口2017年11月份过车信息作为实验样本，分别进行车辆检测与车型筛选、图像预处理、人数统计和小微型面包车超员判断。

应用例1：高清卡口抓拍的小微型面包车超员

(1)根据车辆识别过后的信息确认该车辆为小微型面包车，提取该车辆图像信息；

(2)对图像中的小微型面包车进行识别；

(3)采用cnn神经网络算法对预处理后的图像信息进行人数统计，其统计结果为3人；

(4)小微型面包车超员判断模块对车辆是否超员进行判断。人数统计结果为3，系统自动预警，经人工确认该小微型面包车辆超员(正驾驶与副驾驶之间多一人员)，则程序报警，并写入报警记录。

应用例2：高清卡口抓拍的小微型面包车非超员

(1)根据车辆识别过后的信息确认该车辆为小微型面包车，提取该车辆图像信息；

(2)对图像中的小微型面包车进行识别；

(3)采用cnn神经网络算法对预处理后的图像信息进行人数统计，其统计结果为3人；

(4)小微型面包车超员判断模块对车辆是否超员进行判断。人数统计结果为3，系统自动预警，经人工确认该小微型面包车辆非超员(后排1人员起身与副驾驶交流，相机抓拍致系统误判)，则去除该车辆预警信息。

需要说明的是，本方案与现有技术相比具有如下有益效果：

(1)采用faster-rcnn进行车辆检测和识别，提高了小微型面包车车型的识别率，而且能够精准地定位车辆位置和大小，便于之后的人数统计。

(2)采用cnn卷积神经网络算法进行人头检测统计，提高人头检测精度，且系统运行速度快，能够做到实时、准确的人数识别统计。

(3)产品性能稳定，不用经常检测维护。且硬件结构简单，易于操作并且安装调试方便。

(4)本方案兼容性高，对外接口简单，只需在卡口等汇聚节点上增加车辆车头抓拍图像转发借口便可以快速应用本方法，无需做更多的修改，因此，本方法可以兼容现有多种类型的卡口、电警等。

(5)本方案实战性强。可快速、高准确率识别超载小微型面包车，符合现状公安交通管理需求，解决现状超载小微型面包车自动识别预警盲区，提高小微型面包车的超员取证和整治效率，改善农村地区小微型面包车非法超载现象。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。