基于深度卷积神经网络的车辆违停逆行检测方法与流程

本发明属于深度特征的视频检测技术领域，涉及路面事件的检测，基于Deep-CNN路面反向识别模型进行车辆违停或逆行检测，以及对检测结果的数据分析与数据挖掘，为一种基于深度卷积神经网络(Deep-CNN)的车辆违停逆行检测方法。

背景技术：

道路事故，交通拥堵，环境污染是当今公路交通发展面临的普遍性难题。道路交通安全状况令人堪忧，道路信息化与智能交通系统(Intelligent Transportation System，ITS)是提升道路设施利用效率，缓解交通堵塞，降低交通事故发生率的有效手段。通过计算机视觉技术实时感知道路车速、流量等交通流参数，提供实时路况，并结合历史数据对路网通行状态和出行时间进行预测，以自动视频分析代替人工监看，从海量视频中检测道路异常事件，包括路面遗留物检测、高速公路违法停检测等高危事件，对提高公路信息化水平和公众服务能力都具有非常重要的意义。

技术实现要素：

本发明要解决的问题是：随着道路监控视频数量大幅攀升，仅依靠人工无法实现既有视频资源有效管理。通过计算机视频分析自动分析交通监控视频，提取交通参数，自动发现并主动上报异常事件，可大幅减少交通管理的人力成本，提高管理水平与事件应急响应能力。

本发明的技术方案为：基于深度卷积神经网络的车辆违停逆行检测方法，基于深度卷积神经网络Deep-CNN网络模型，Deep-CNN网络模型将路面感兴趣区域划分为多个网络，构建路面—非路面识别模型，通过非路面网格反向识别高速公路路面非法停车、逆行等目标，包括以下步骤：

Step1：路面模型训练，采集道路摄像头的视频图像，将视频窗口中路面的感兴趣区域ROI_路面网格化分割成多个小块，标准化后作为Deep-CNN网络模型的训练集，训练时首先采用无监督方法训练获取图像特征，聚类后再设置标签，人工方式标记路面类型，区分路面与非路面，得到路面—非路面识别模型；

Step2：非路面前景模型训练，将被分为非路面的网格图片按连通区域组合成候选目标加入训练库，再次采用Deep-CNN网络模型进行训练，分级训练路面目标，所述路面目标包括车辆、路面遗留物和行人，得到前景识别模型；

Step3：前景目标检测，在step1及step2的识别模型基础上，对实时视频图像使用Deep-CNN网络模型和SVM分类器实现前景目标的检测与分类，先识别路面非路面，再识别出前景目标的类型；

Step4：行为分析，在前景目标分类识别基础上，根据前景目标在视频图像序列中的上下文信息，进行道路事件车辆违停逆行检测识别，设与分别为T₀与T_0+t时刻的第k个前景候选目标的位置，计算前景候选目标在图像区域位移的欧氏距离获取第k个前景候选目标运动状态与方向，进一步确定目标是否存在停止或逆行状态。

所述的车辆违停或逆行检测具体为：

Step1.1：对实时视频图像中的路面设置禁止区域ROI_禁，视频窗口图像网格化后，根据路面—非路面识别模型进行分类；

Step1.2：连通ROI_禁区域内非路面网格图片I_i,j，生成候选目标O_k；

Step1.3：对候选目标O_k分类识别，如果为车，则锁定为车辆目标；

Step1.4：计算初始时刻T₀与t时刻后T_0+t之间车辆目标位移距离与方向，和正常道路车辆方向进行对比；

Step1.5：判定车辆违停或逆行行为。

进一步的，Step1和Step2具体为：

1)设置感兴趣区域ROI_路面：采集道路或街景监控器的视频图像，获得道路或街景视频帧图像，根据实际的道路或街景状况，在当前帧图像上提取关注区域的边界对角4个点，对所提取的点进行直线拟合计算，形成叉形结构，叉形结构内作为检测的兴趣域ROI_路面，也就是有效检测区域；

2)非检测区域漫水填充：非ROI_路面为非监测区域，进行漫水填充处理，填充后，落在ROI_路面区域外的网格图片像素均值为0，直接滤除不再进行后续处理；

3)检测区域ROI_路面网格化分块，网格图片经Deep-CNN分类结果为路面或非路面，将ROI_路面的分块中非路面的网格图片连起来，记为I_p,q，即路面，I_p,q组成候选目标，送入分类器，分类为车辆、行人或路面遗留物。

本发明充分利用现有视频监控设施和海量视频数据，可最大限度节省硬件投入，获得更丰富直观的交通数据，满足交通管理与公众服务的数据/信息需求。

本发明建立了基于Deep-CNN的反向路面识别模型，利用Deep-CNN路面模型解决移动摄像机与图像目标检测，应用于车辆违停检测、逆行检测等任务。与地感线圈、雷达等传统技术相比，监控视频含有路面、车辆、路面遗留物等图像信息，通过CNN神经网络提取上述特征并基于Deep-CNN检测路面车辆违停、逆行等异常事件信息，识别道路事故并及时发送图文报警，提供比传统车检设备更丰富的道路事件信息。

本发明在监测区域大范围部署移动终端，形成移动终端检测点，通过移动通信设备或道路监控进行交互式标定，确定摄像头参数后，使用摄像头采集图像，利用CNN神经网络对采集的图像作进一步分析，获得当前每个图像的ROI数据，将路面ROI区域划分为多个网络，构建路面—非路面识别模型，通过非路面网格反向识别非法停车、逆向行驶等目标。

本发明移动终端检测点为道路摄像头，自身价格低廉，充分利用移动互联网优势，不需要昂贵的监测仪器设备，只需道路上现成的摄像头，可大范围部署，现场检测路面信息通过移动互联网传输至服务器。充分利用移动互联网的特点与优势，以低成本实现区域高覆盖率路面事件检测。

附图说明

图1为本发明基于Deep-CNN反向识别路面事件检测流程图

图2为本发明使用的Deep-CNN模型原理。(a)Softplus与ReLU激活函数(b)Deep-CNN网络结构。

图3为本发明Deep-CNN路面识别模型检测图。(a)ROI检测区域划分(b)漫水法填充清除非ROI区域像素(c)网格化Deep-CNN输入及目标检测。

图4为本发明移动终端单帧照片路面检测训练图。(a)手持移动终端照片(b)车道ROI区域路面检测效果。

图5为本发明实施的选取江苏省宁连高速公路场景进行基于Deep-CNN路面反向识别模型禁区违停、逆行检测效果图(a)路面ROI(b)违停检测(c)逆行检测(d)逆行检测。

具体实施方式

本发明将深度学习引入路面事件识别并加以改进，可显著提高道路事件识别准确度。考虑到车辆为静态目标，而传统背景建模方法不适用于静态目标检测，以及路面遗留物难以使用先验模型构造训练集，使得同样作为静态目标的路面遗留物会与违停车辆混淆的情况。本发明建立了基于深度卷积神经网络Deep-CNN的路面反向识别模型，移动终端检测点为道路摄像头，移动终端检测点通过摄像头获取图像信息，利用CNN神经网络对获取的图像进行分析，将路面ROI区域划分为多个网络，构建路面—非路面识别模型，通过非路面网格反向识别非法停车和逆向行驶。

本发明构建了基于Deep-CNN网络的分层道路事件识别框架：

其基本思想是分层识别，通过路面—非路面识别，进而反向识别路面目标物，路面反向识别过程为：

首先进行路面模型训练，将视频窗口的感兴趣区域(Region of Interest,ROI)网格化分割成多个小块，标准化后作为Deep-CNN网络的训练集，考虑到路面模型由路面沥青、路面车道、护栏等组成，图像外观差异较大，强制标注为单独一类容易引起过拟合，故而采用无监督方法训练获取图像特征，聚类后再以多类标签人工方式标记路面，保证准确区分路面与非路面。

然后进行非路面前景模型训练，将被分为非路面的网格图片块按连通区域组合成候选目标加入训练库，再次Deep-CNN网络训练，分级训练路面目标，包括车辆、路面遗留物、行人等。

对道路进行实时检测时，首先进行前景目标检测，在之前的路面识别模型基础上实现运动与静态前景目标检测与分类。

最后进行行为分析，在前景目标检测基础上，根据目标在视频图像序列中的上下文信息，进行车辆违停检测、车辆逆行检测。

所述的车辆违停检测和逆行检测具体实现于以下步骤：

Step1.1：对实时视频图像中的路面设置禁止区域ROI_禁，视频窗口图像网格化后，根据路面—非路面识别模型进行分类；

Step1.2：连通ROI_禁区域内非路面网格图片I_i,j，生成候选目标O_k；

Step1.3：对候选目标O_k分类识别，如果为车，则锁定为车辆目标；

Step1.4：计算初始时刻T₀与t时刻后T_0+t之间车辆目标位移距离与方向，和正常道路车辆方向进行对比；

Step1.5：判定车辆违停或逆行行为。

下面通过具体实施例进一步说明本发明的实施。

本发明的流程示意图如图1所示，通过移动终端道路摄像机获取视频图片，进行CNN处理训练分类进行路面事件检测：

Step1：路面模型训练，将视频窗口的感兴趣区域(Region of Interest,ROI)分割成多个小块，标准化后作为Deep-CNN网络的训练集，考虑到路面模型由路面沥青、路面车道、护栏等组成，图像外观差异较大，强制标注为单独一类容易引起过拟合，故而采用无监督方法训练获取图像特征，聚类后再以多类标签人工方式标记路面，保证准确区分路面与非路面；

Step2：非路面前景模型训练，将被分为非路面的分割小块按连通区域组合成候选目标加入训练库，再次Deep-CNN网络训练，分级训练路面目标，包括车辆、路面遗留物、行人等；

Step3：前景目标检测，在step1、step2路面识别模型基础上实现运动与静态前景目标检测与分类；

Step4：行为分析，在前景目标分类识别基础上，根据上下文信息，进行道路事件识别，包括车辆违停检测、车辆逆行检测。

深度卷积神经网络Deep-CNN的网络模型原理如图2所示，包括：

1)类生物神经激活函数：

神经科学家认为人脑信号接收过程实质上是神经触突对外界输入信号的激活响应，神经元结点兴奋可以看作一次函数激活，对外界刺激做出反映结点值为1，否则为0。对脑电波受输入刺激的能量测量实验发现，外界刺激与神经元结点响应的模式是稀疏的，即大量刺激信号下只有一部分神经元结点是激活的，接收到外界信息同一时间只有约1％～4％的神经元处于活跃状态。2001年，神经科学家Dayan和Abott从生物学角度，提出模拟出了脑神经元信号接受与激活响应模型。为了便于计算，Glorot等人提出了适应于机器学习多层神经网络的校正非线性激活函数Softplus，近似替代神经元模型。

Softplus函数定义为：

SortPlus(x)＝log(1+exp(x)) (1)

校正线性激活函数(Rectified Linear Units，ReLU)是Softplus的线性简化版本，定义为：

ReLU(x)＝max(0，x) (2)

ReLU函数求导非常简单，当x>0时导数为1，否则为0，求导公式为可表示为：

Softplus与ReLU激活函数的曲线分布如图2(a)

2)网络结构

图2(b)为多层CNN网络结构包含输入层、隐含层和输出层等基本层次，隐含层由多个卷积—池化子层叠加而成，上一层的输出作为下一层的输入。每次卷积计算后使用ReLU函数激活结点，由于ReLU函数的求导特征，初始值经过ReLU梯度计算后部分结点的权值被置为0，这被分0值权重的部分结点不被激活，使得网络结构具有稀疏性。稀疏性网络结构符合生物神经的本质，在数学计算中也具有实际优势，如减少参数复杂度，提高运算效率，并可以有效防止过拟合现象发生。

整个过程包括以下具体操作：

基于Caffe实现提出的Deep-CNN路面识别模型，以路面模型反向提取候选目标，分类后实现违停检测和逆行检测等功能。

假设输入图像尺寸为w×h，使用步长s将图像网格化为(w/s)×(h/s)个小块，表示成矩阵序列A_ij(i＝1,2,3…w/s；j＝1,2,3…h/s)，步长s的像素宽度约为车道的1/4宽度。

检测兴趣区域ROI_路面为点{x1，y1；x2，y2；x3，y3；x4.y4；x1，y1}围成的封闭检测区域，则A_ROI∈ROI_路面为检测区域内矩阵网格。

将路面模型的A_ROI图像块送入Deep-CNN训练，使用无监督方法，提取路面模块特征后进行聚类，将路面聚类为沥青表面、车道线标记、护栏等子类型，标记为“路面1”～“路面n”(n<4)。为提高路面模型样本覆盖，网格化图像过程采用向下、向右偏移部分像素采样方法，共得到3×(w/s)×(h/s)个路面样本。

输入图像网格化后，构造对应分类矩阵，位于路面非检测区域的网格图片直接使用漫水法将像素置为0，非覆没区网格矩阵初始化为-1，检测区域网格图像块由Deep-CNN路面模型分类后，输出分类结果矩阵

由于难以使用先验知识构建路面遗留物经验模型，本发明采用路面—非路识别，反向实现前景检测与分类。提取前景由C_ROI＝1的连通矩阵子块构成候选目标，使用Deep-CNN目标网络将前景聚类为车辆、行人、其他目标(可能为路面遗留物)。

图3演示了Deep-CNN路面模型实现过程，图3(a)中标注了兴趣域，即检测区域，使用4个顶点生成封闭的ROI检测区，图3(b)为非检测区漫水填充，漫水法填充后，网格图片块I_i,j落在ROI区域外的网格图片像素均值为0，可在送入Deep-CNN前直接过滤。检测区ROI图片块经Deep-CNN分类结果为路面或非路面。将ROI_路面的分块中非路面的网格图片连起来，记为I_p,q，即路面，如图3(c)加粗标记区域所示，I_p,q组成候选目标，送入分类器，分类为车辆、行人或其他不明确目标(即路面遗留物)。

设与分别为T₀与T_0+t时刻的第k个前景候选目标的位置，计算前景候选目标在图像区域位移的欧氏距离获取第k个前景候选目标运动状态与方向，进一步确定目标是否存在停止或逆行状态。

图4演示了手持终端移动照片路面检测情况，图4(a)为原始照片，使用车道线直线检测提取ROI检测区域，并将非ROI区域使用漫水法填充为黑色，以减轻分类器负担，如图4(b)所示，路面下水井盖，立锥路障，减速带都被检测成非路面。对常规路面设施，如井盖、路障等，可提取前景图像至训练样本集中直接训练检测模型。

基于上述模型，图5(b)、(c)、(d)分别实现了禁区违停检测、车辆逆行检测、车辆逆行检测。

高速公路匝道出口停车或逆行、应急车道停车等行为易造成安全隐患，图5演示了Deep-CNN禁区停车检测模型实现。在路面中划出禁区ROI_禁，如出口匝道分道口前端鱼骨斑马线与应急车道等区域，将检测区域图像网格A_ROI送入Deep-CNN路面模型训练，生成禁区路面模板，如图5(a)所示。将检出的前景目标区域再次由Deep-CNN前景分类器识别出车辆。以车辆目标跨越网格矩阵行数M_row为位移阈值，假设目标在间隔时间t内运动跟踪小于设定阈值，则判定为停车，否则计算车移动距离与方向，如运动方向dirctv与行车方向dirctflow相反，则判定为逆行，图5(b)～(d)分别为停车与逆行检测。其中违停阈值为t>20S(500帧)，M_row<3，逆行阈值M_row>＝3，运动方向为dirctv＝-dirctflow。