高速公路服务区客车违法上下客的检测方法及系统与流程

本发明涉及一种高速公路服务区客车违法上下客行为的检测方法及系统，属于视频图像处理技术领域。

背景技术：

高速公路服务区客运车辆违法上下客行为严重地影响交通秩序，危害交通安全，扰乱客运市场；车辆容易出现超载、倒客、甩客等违法违规行为，行李未经安检存在安全隐患，乘客司机的合法权益无法保障；此外，客运车辆违法上下客带来行人自由出入、翻过围栏、横穿高速公路的风险，导致意外伤害及事故。

目前高速公路服务区主要采用人工现场巡检的方式判别车辆上下客合法性，缺少有效的智能化检测识别手段，导致违法上下客执法效力低、时效性差。随着技术进步、管理机制革新，采用技术与管理融合手段实现服务区违法上下客行为的主动检测识别，已成为当务之急。

技术实现要素：

本发明实施例的目的在于克服现有技术中的不足，提供一种高速公路服务区客车违法上下客行为的检测方法及系统，实现高速公路服务区客车违法上下客行为的自动检测，提高检测判断的准确率，降低漏检率。

为达到上述目的，本发明实施例是采用下述技术方案实现的：

第一方面，本发明实施例提供了一种高速公路服务区客车违法上下客行为的检测方法，所述方法包括：

采集高速公路服务区的检测视频场；

对检测视频场中的客车进行检测分析，包括：客车停车检测、客车行李箱打开检测、上下客统计计数及上下客携物特征检测；

根据检测分析结果对违法上下客行为进行识别。

可选择地，当满足下述条件时判定客车存在违法上下客行为：

a.检测到客车有停车行为；

b.检测到客车具有打开行李箱动作；

c.检测到上下客具有携物行为；

d.客车停车后上下客计数统计对比不一致。

可选择地，所述检测分析采用深度神经卷积网络的深度目标检测算法。

可选择地，所述深度目标检测算法包括：

构建检测视频图像的深度检测神经网络；

结合训练样本进行深度检测神经网络的训练；

采用训练好的深度检测神经网络进行检测分析。

可选择地，所述深度检测神经网络包括：

用于生成图像的特征图的深度卷积神经网络的特征提取网络、用于检测特征图中是否包含检测目标的区域建议网络和用于对检测目标分类的分类回归网络。

可选择地，所述特征提取网络采用二分类的特征提取网络。

可选择地，所述区域建议网络检测特征图中是否包含检测目标的方法包括：

通过roipooling层对生成的特征图进行maxpooling池化，将特征图转化为大小统一的特征图；

通过两个卷积层对池化特征图进行特征映射；

通过一个全连接层检测输出特征图中的建议区域内是否包含检测目标；

通过一个softmax层对全连接层输出结果进行归一化操作，输出特征图中包含检测目标的置信度。

可选择地，所述方法还包括：对于违法上下客行为进行图像采集取证。

可选择地，所述上下客携物特征检测包括：对手提包、挎包、背包、行李箱、行李袋及其组合方式的检测。

第二方面，本发明实施例还提供了一种高速公路服务区客车违法上下客行为的检测系统，包括处理器及存储介质，所述存储器用于存储指令；

所述处理器用于根据所述指令操作以执行前述高速公路服务区客车违法上下客行为的检测方法的步骤。

综上，本发明实施例所提供的高速公路服务区客车违法上下客行为的检测方法及系统存在如下有益效果：

采用多个判别条件对客车违法上下客行为进行判别，提高了检测判断的准确率，降低了漏检率；

填补了高速公路服务区违法上下客行为自动检测的空白，实现疑似上下客行为的抓拍取证，为管理部门执法监管提供支撑及执法依据，提升管理效率与智能化水平；

高速公路服务区违法上下客检测识别关键技术的应用，能显著提高高速公路客运交通的安全性，减少交通事故的发生与不利影响的扩散，保障人民的生命财产安全；

与此同时，检测方法可有效支撑监管执法部门对服务区客运车辆的动态监控管理，强化应急保障能力，对推进平安交通的发展建设具有重要作用。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例提供的高速公路服务区客车违法上下客行为的检测方法的流程图；

图2是根据本发明实施例提供的二分类深度卷积网络结构示意图。

具体实施方式

本发明实施例公开的高速公路服务区客车违法上下客行为的检测方法及系统是通过客车行李箱打开行为、上下客统计计数及上下客携物特征的时空关联分析来判断是否存在违法上下客行为，采用深度学习算法来进行目标特征的提取和识别，能适应夜间、强光、雾霾等多种场景，大大提高了违法上下客行为检测的准确性和鲁棒性。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

本发明实施例所提供的高速公路服务区客车违法上下客行为的检测方法，能够被高速公路服务区客车违法上下客行为的检测系统所执行，如图1所示，包括：客车检测、客车行李箱打开检测、上下客检测、上下客携物特征检测、违法上下客行为识别及违法行为取证。

客车检测：在检测视频场中检测是否有客车停车；

客车行李箱打开检测：将客车行李箱打开这一特征作为客车疑似违法上下客行为的一个明显特征；

上下客检测：当在检测视频场中检测到有客车停车时，根据客车停车位置划定上下客行为检测区域，定义上下客目标行进方向，基于上客与下客的特征分析比对，实现对上下客行为的检测识别及统计计数。

上下客携物检测：在高速公路服务区违法上下客行为往往具有上下客携物上下车这一明显特征作为疑似违法上下客检测识别的特征；其中上下客携物特征包括：携带手提包、挎包、背包、行李箱、行李袋及其组合方式。

违法上下客行为识别：根据上下客携物上下车类型特征及上下客统计计数，基于服务区视频建设基础，建立视频监控序列，进行违法上下客的行为关联分析，识别判断违法上下客行为；具体判别条件为：

a.检测到客车有停车行为；

b.检测到客车具有打开行李箱动作；

c.检测到上下客具有携物行为；

d.客车停车后上下客计数统计对比不一致。

违法行为取证：根据对违法上下客行为的识别判断，给出疑似违法上下客行为结果，并拍摄照片或视频对违法行为进行取证。

本发明实施例所提供的检测方法采用采用深度神经卷积网络的深度目标检测算法，其网络结构如图2所示。检测算法包括以下步骤：

步骤a：构建检测视频图像的深度检测网络，包括：深度卷积神经网络的特征提取网络，用以生成图像的特征图(featuremaps)；区域建议网络(regionproposalnetwork，rpn)，用以生成候选区域；分类回归网络，用以检测目标分类；

特征提取网络采用二分类的特征提取网络，即针对目标特征和目标分类特征分别进行特征提取，以提高特征提取网络的性能。

区域建议网络包括一个roipooling层、两个卷积层、一个全连接层和一个softmax层，区域建议网络主要是用以检测特征图中是否包含检测目标。首先通过roipooling层对生成的特征图进行maxpooling池化，将特征图转化为大小统一的特征图；然后再通过两个卷积层对池化特征图进行特征映射；再通过一个全连接层检测输出特征图中的建议区域内是否包含检测目标；最后再通过一个softmax层对全连接层输出结果进行归一化操作，输出检测特征图中包含检测目标的置信度。

分类回归网络包括一个roipooling层、一个全连接层和一个softmax层。分类回归网络主要是用以确定各检测目标的分类。首先采用一个roipooling层将区域建议网络中的特征池化成统一规格的特征图；然后再通过一个全连接层检测出特征图中包含目标分类的特征；再通过一个通过一个softmax层进行归一化操作，结合区域建议网路中的目标分类的提取特征图，输出检测特征图中包含各类目标分类的置信度。

步骤b：以步骤a构建的网络为基础，结合训练样本进行深度检测神经网络的训练；训练的区域建议网络选取依据选取如下：

(1)丢弃跨越边界的区域；

(2)与样本重叠区域大于0.7的区域标记为前景，重叠区域小于0.3的标定为背景；

对于每一个建议区域通过两个全连接层进行判断，并且结合概率进行舍弃，同时使用网络自身完成判断和修正，同时通过使用共享特征交替训练的方式，达到接近实际的性能，其中训练步骤为：

1)根据现有网络初始化权值，训练rpn；

2)用rpn提取训练集上的建议区域，用建议区域训练网络，更新权值；

3)重复(1)、(2)步骤，直至网络训练收敛。

步骤c：进行具体目标检测，根据样本的训练结果，对实际的检测目标进行检测。

1)搭建实验环境，模拟实际使用场景进行实验检测，根据实验检测结果与实际的实验情况进行比较，在差异较大时，优化网络结构，修改网络参数，重新进行步骤b。

2)在实验环境下，验证算法的准确性和稳定性的情况下，进行实景的检测，验证并形成最终的算法。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。