一种基于深度学习的视频车辆违停检测方法与流程

本发明涉及一种检测方法，特别涉及一种基于深度学习的视频车辆违停检测方法，属于计算机视觉技术领域。

背景技术：

近年来随着人民生活水平的提高，私家车的数量明显增多，这无疑给交通管理部门带来了巨大的挑战，如何进行高效有序的道路交通管理对交管部门来说显得尤为重要。车辆数量的急剧增加并没有带来停车位的相应增加，因此在一些繁华地段，很多车主会将车停在道路两侧，阻碍了交通的畅通。由于交管部门警力有限，不可能在所有可能出现违停的区域进行监管。为了解决此问题，监控摄像头厂商集成了违停监控抓拍的功能，但此种方法存在一些不足：

1、需要在需要监控违停的区域更换有内嵌违停监控算法的摄像头；

2、内嵌违停监控算法一般不使用跟踪方法，多采用车牌识别信息来进行比对，仅凭车牌信息有一定局限性，如车牌误识别等会造成判别的遗漏。

因此急需一种基于深度学习的视频车辆违停检测方法。

技术实现要素：

本发明的目的在于提供一种基于深度学习的视频车辆违停检测方法，以解决上述背景技术中提出的违停监控抓拍存在缺陷的问题。

为实现上述目的，本发明提供如下技术方案：一种基于深度学习的视频车辆违停检测方法，包括如下步骤：

s1，人工标记禁停区域；

s2，读取实时视频图片，利用深度学习方法跳帧检测车辆目标位置，为节约计算资源采用iou跟踪的方式对检测出的车辆目标进行跟踪；

s3，如果在步骤s1中人工标记的禁停区域内的车辆目标首次出现，则为当前目标保存第一张图片、在图片中的位置坐标和当前时间；

s4，如果在步骤s1中人工标记的禁停区域内的车辆目标为已有目标，若目标移动，则更新步骤s3中保存的所有信息；若目标未移动，则判断当前时间与步骤s3中保存的时间差是否超过规定限制，如果超过则为当前目标保存第二张图片、在图片中的坐标及当前时间，该目标属于违停车辆；

s5，如果步骤s4中的违停车辆一直未离开，则随时间推移刷新保存第三张图片、在图片中的位置坐标和当前时间；

s6，待步骤s5中的违停车辆驶离监控区域则将根据先前保存的三条信息识别出车牌信息，将之前保存的三条信息和车牌信息推送出去，供前端进行数据库存储和报警，交警可根据此三条信息对违法车辆进行判罚；

s7，对于步骤s5中的违停车辆长时间不离开的情况，超过一定时间段后将会执行步骤s6中的数据推送工作；

s8，对于步骤s7中的情况，数据推送工作完成之后将会继续对该目标进行跟踪，但不再更新保存信息，不再进行数据推送工作。

作为本发明的一种优选技术方案，所述s2中，利用darknet深度学习框架，使用yolo目标检测方法训练深度模型进行车辆目标检测，利用实时视频进行违停检测的时候无需每帧都检测，本方法采用跳帧检测的方法，对于25fps的视频，跳4帧，每5帧检测一帧。

作为本发明的一种优选技术方案，所述s2中的iou跟踪方法，是将已跟踪的目标框，与当前帧检测出的目标框进行iou的计算，若iou大于0.3则认为是同一个目标，且同一个目标的中心点横坐标偏移超过原始目标框横坐标的1/4或纵坐标超过原始目标框纵坐标的1/4，则认为车辆目标移动了。

作为本发明的一种优选技术方案，所述判断车辆违停的时间阈值可通过配置文件方式或动态修改方式进行配置，根据不同的省市地区，不同的场景地点的相关规定进行设置，保证了方法的适应性和实用性。

作为本发明的一种优选技术方案，所述车辆长时间停留超过一定阈值进行推送的情况，阈值的设置同权利要求4所述方法进行相关设置。

作为本发明的一种优选技术方案，所述s6中的车牌识别，采用cnn+blstm+ctc架构实现，对于违停的车辆，由于其位置角度等不会发生变化，因此在进行车牌识别的时候只需要从三张抓拍图片中选择任意一张进行即可，车牌识别可能存在误识别的情况，因此后期交警在使用的时候还需要进行人工审核。

与现有技术相比，本发明的有益效果是：本发明一种基于深度学习的视频车辆违停检测方法，本方法实现了实时检测违法停车的功能，并能直接生成车辆判罚依据，保证了判罚无遗漏，节约了交通执法的人力成本，提高了判罚效率，实现更好地对车辆出行进行管制约束。

附图说明

图1为本发明正面结构示意图；

图2为本发明场景应用示意图一；

图3为本发明场景应用示意图二；

图4为本发明场景应用示意图三；

图5为本发明场景应用示意图四；

图6为本发明场景应用示意图五；

图7为本发明场景应用示意图六；

图8为本发明场景应用示意图七。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供了一种基于深度学习的视频车辆违停检测方法，包括如下步骤：

步骤一：人工标记禁停区域，如图2所示。视频图片原始大小为1920x1080，人工标记的禁停区域为（1017，249），（915，579），（1339，1079），（1881，1075），（1215，167）凸五边形；

步骤二：利用darknet框架训练车辆目标检测模型；

步骤三：利用ffmpeg代码读取监控摄像头视频，跳帧解析图片，利用步骤2中训练得到的检测模型进行车辆目标检测；

步骤四：利用iou跟踪方法对步骤一中人工标记的禁停区域内的已有车辆目标框及当前帧所检测到的禁停区域内的目标框进行跟踪，如果iou大于0.3则认为是同一个目标，如果同一个目标的中心点横坐标偏移超过原始目标框横坐标的1/4或纵坐标超过原始目标框纵坐标的1/4则认为车辆目标移动了；

步骤五：如果车辆目标首次出现，则为当前目标保存第一张图片、在图片中的位置坐标和当前时间；如果车辆目标为已有目标，若目标移动，则更新步骤4中保存的所有信息;若目标未移动，则判断当前时间与步骤4中保存的时间差是否超过规定限制，如果超过则为当前目标保存第二张图片、在图片中的坐标及当前时间，该目标属于违停车辆；如果违停车辆一直未离开，则随时间推移刷新保存第三张图片、在图片中的位置坐标和当前时间；

步骤六：待违停车辆驶离监控区域则将根据先前保存的三条信息采用cnn+blstm+ctc架构识别出车牌信息，将之前保存的三条信息和车牌信息推送出去，供前端进行数据库存储和报警，交警可根据此三条信息对违法车辆进行判罚；对于违停车辆长时间不离开的情况，超过一定时间段后将会执行识别车牌及数据推送工作数据推送工作完成之后将会继续对该目标进行跟踪，但不再更新保存信息，不再进行数据推送工作。假设车辆停留10s则认为是违停，违停事件发生后30s车辆不开走则推送数据；图3、图4和图5为违停发生后30s内车辆开走的抓拍图像，为违停发生后30s内车辆未开走的抓拍图像。推送到前端的数据除了图3至图8所示的六张图片外，还有违停发生时的时间及车牌号信息。

在本发明的描述中，需要理解的是，术语“同轴”、“底部”、“一端”、“顶部”、“中部”、“另一端”、“上”、“一侧”、“顶部”、“内”、“前部”、“中央”、“两端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量，由此，限定有“第一”、“第二”、“第三”、“第四”的特征可以明示或者隐含地包括至少一个该特征。

在本发明中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“固定”、“旋接”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。