分布式车载实时智能违章抓拍上报系统的制作方法

本发明涉及智能汽车技术领域，具体为分布式车载实时智能违章抓拍上报系统。

背景技术：

目前的车辆违章采集系统主要分为两类，第一类是道路的定点测量监控系统，例如闯红灯抓拍，不按规定道路行驶或超速测量等。这种定点监控系统的缺点显而易见，只能在固定的位置对车辆是否违章进行抓拍取证，而无法获取到安装地点以外的违章信息，经常有车主在监控地点以外的死角区域进行违章行为；第二类是车载的本车违章信息获取系统，如部分公交车上面安装的，结合地图信息和gps获取本车行驶路线，判断是否超出预定行驶线路或车辆是否超速等。

技术实现要素：

为解决上述问题，本发明提出了一种分布式车载实时智能违章抓拍上报系统，利用安装在本车辆前方的视频摄像头作为采集装置，采集本车辆前方摄像头区域内是否有其它车辆存在各类型的违章行为，摄像头采集的图像经预处理后得到图片数据，进入卷积神经网络违章识别模型作违章判断，如果存在违章行为则提取出图片中的违章车辆车牌及违章内容信息，通过车载的车联网系统上报到服务器端，实现实时智能违章上报流程，具体技术方案如下：

分布式车载实时智能违章抓拍上报系统，包括摄像头传感模块、数据处理模块和车联网模块，

所述摄像头传感模块负责采集车辆前方的图像视频数据，形成视频数据流并传输给数据处理模块；

所述数据处理模块负责视频数据流和计算能力之间的负载均衡，将视频数据流转换为能被即时处理的图片数据并存在缓存中，然后采用卷积神经网络对缓存的图片数据进行违章识别，最终得到是否违章结果；

所述车联网模块负责将处理后得到的违章信息上报给服务器端。

优选的，所述数据处理模块根据后续图片数据分析处理的实时负载情况，按时间间隔i将视频流转存为图片数据，放入缓存中，时间间隔i按下式计算：

i＝iinit+a*+b*p+c*e

式中：

iinit代表初始的时间间隔；

s为缓存使用情况；

p为当前识别算法的进度；

e为当前车辆所处的环境信息；

a为缓存使用情况对时间间隔的影响系数；

b为当前识别算法的进度影响系数；

c为当前车辆所处的环境信息影响系数。

优选的，所述卷积神经网络的训练过程如下：输入层的数据为各种违章图片数据，通过卷积池化层进行特征提取，通过全连接层进行加权融合，最终输出向量代表不同类型的违章结果。

优选的，卷积神经网络的训练过程，隐藏层激活函数使用修正线性单元relu(x)：

relu(x)函数的输入值x代表隐藏层某个单元的加权后输入；

输出层激活函数为多分类问题，使用softmax函数计算每个分类的概率，计算公式如下：

si为当前分类的、归一化之后的概率概率，分子ei为向量中第i个元素的以e为底的指数形式，分母对ej求和，是对向量中所有元素求以e为底的指数的总和；

最终的损失函数为：

loss＝-∑iyilnai；

其中yi为正确的分类结果值，ai为通过当前卷积神经网络计算得到的分类结果值。

优选的，所述数据处理模块对各种违章图片数据训练完成后，对实际采集到的图片数据进行违章识别，如果存在违章行为则保存该违章图片，对图片信息中的违章车辆车牌信息进行识别，生成对应的违章信息简报，和违章图片一起通过车联网模块上报服务器端，进入下一张图片信息的违章识别；如果没有发现违章行为，同样进入下一张图片的识别流程，如此反复直至缓存中的图片为空。

优选的，所述摄像头传感模块、数据处理模块和车联网模块均安装在车辆上，所述车联网模块通过无线网络与所述服务器端通信。

优选的，所述摄像头传感模块包括摄像头，所述摄像头安装在车辆前挡风玻璃处。

与现有技术相比，本发明的有益效果是：本发明的智能违章上报系统可安装于城市公交车或出租车等营运车辆及私家汽车上，实现城市交通道路的分布式、智能化、动态违章抓拍取证，解决目前定点监测方式存在的测量死角问题。

附图说明

图1为本发明的原理图；

图2为本发明的卷积神经网络数据分析图。

图3为本发明的实施例之一的结构原理图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1、图2和图3，本发明提供一种技术方案：分布式车载实时智能违章抓拍上报系统，包括摄像头传感模块、数据处理模块和车联网模块；在本发明的一个示例中，摄像头传感模块、数据处理模块和车联网模块均安装在车辆上，车联网模块通过无线网络与服务器端通信，服务器端放置在违章管理部门的数据处理中心。

所述摄像头传感模块负责采集车辆前方的图像视频数据，形成视频数据流并传输给数据处理模块；在本发明的一个示例中，摄像头传感模块包括摄像头，所述摄像头安装在车辆前挡风玻璃处。

所述数据处理模块负责视频数据流和计算能力之间的负载均衡，将视频数据流转换为能被即时处理的图片数据并存在缓存中，然后采用卷积神经网络对缓存的图片数据进行违章识别，最终得到是否违章结果；

在本发明的一个示例中，数据处理模块根据后续图片数据分析处理的实时负载情况，按时间间隔i将视频流转存为图片数据，放入缓存中，时间间隔i按下式计算：

i＝iinit+a*s+b*p+c*e

式中：

iinit代表初始的时间间隔；

s为缓存使用情况，比如缓存使用多，则加长时间间隔i，系数a也按此考虑；

p为当前识别算法的进度，比如当前识别算法还没有完成，则加长时间间隔i，系数b也按此考虑；

e为当前车辆所处的环境信息，比如如车辆前方无车的情况，则加长时间间隔i，系数c也按此考虑；

a为缓存使用情况对时间间隔的影响系数；

b为当前识别算法的进度影响系数；

c为当前车辆所处的环境信息影响系数。

在本发明的一个示例中，卷积神经网络的训练过程如下：输入层的数据为各种违章图片数据，通过卷积池化层进行特征提取，通过全连接层进行加权融合，最终输出向量代表不同类型的违章结果。

在本发明的一个示例中，卷积神经网络的训练过程，隐藏层激活函数使用修正线性单元relu(x)：

relu(x)函数的输入值x代表隐藏层某个单元的加权后输入；

输出层激活函数为多分类问题，使用softmax函数计算每个分类的概率，计算公式如下：

si为当前分类的、归一化之后的概率概率，分子ei为向量中第i个元素的以e为底的指数形式，分母对ej求和，是对向量中所有元素求以e为底的指数的总和；

最终的损失函数为：

loss＝-∑iyilnai；

其中yi为正确的分类结果值，ai为通过当前卷积神经网络计算得到的分类结果值。

在本发明的一个示例中，所述数据处理模块对各种违章图片数据训练完成后，对实际采集到的图片数据进行违章识别，如果存在违章行为则保存该违章图片，对图片信息中的违章车辆车牌信息进行识别，生成对应的违章信息简报，和违章图片一起通过车联网模块上报服务器端，进入下一张图片信息的违章识别；如果没有发现违章行为，同样进入下一张图片的识别流程，如此反复直至缓存中的图片为空。

所述车联网模块负责将处理后得到的违章信息上报给服务器端。

本发明安装于车辆上，通过车辆前方的摄像头对前方图像进行采集，采集到的视频数据传递到车辆处理单元进行数据处理。

因为实时的卷积神经网络违章识别算法需要耗费大量的计算资源，所以视频数据首先通过数据处理模块将视频转换为一定时间间隔的单张图片形式，例如，将30帧/秒的高清视频抽取为2张/秒的图片，并将抽取后的图片存入缓存中待处理。这里的图片抽取速率可根据车载处理器负载、缓存大小、违章发生概率等实时信息做动态调整。

接下来，采用卷积神经网络模型算法对车辆是否违章做判断。如果存在违章行为则保存该违章图片，对图片中的违章车辆车牌信息进行识别，生成对应的违章信息简报，和违章图片一起通过车联网上报服务器端，进入下一张图片信息的违章识别；如果没有发现违章行为，同样进入下一张图片的识别流程。如此反复进行实时判断与信息抓取

本发明提出了一种全新的分布式车载实时智能违章抓拍上报系统，利用安装在本车辆前方的视频摄像头作为采集装置，采集本车辆前方摄像头区域内是否有其它车辆存在各类型的违章行为，摄像头采集的图像经预处理后得到图片数据，进入卷积神经网络违章识别模型作违章判断，如果存在违章行为则提取出图片中的违章车辆车牌及违章内容信息，通过车载的车联网系统上报到服务器端，实现实时智能违章上报流程。

本发明的智能违章上报系统可安装于城市公交车或出租车等营运车辆及私家汽车上，实现城市交通道路的分布式、智能化、动态违章抓拍取证，解决目前定点监测方式存在的测量死角问题，可运用于下列违章行为但不限于这些违章行为的抓拍取证：

1、闯红灯违章；

2、车窗乱抛物等不文明行为；

3、越双实线违章；

4、占用公交车专用行车道等。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。