一种汽车路边违停智能监测方法及系统与流程

本发明涉及道路视频监控领域，特别涉及一种汽车路边违停智能监测方法及系统。

背景技术：

视频监控的应用越来越广泛，随着车辆数量的增长，城市道路的扩建，越来越多的道路需要监管，仅凭有限的人力已经无法满足监管的需求；而大量高速公路等城际道路的发展，更是加剧了对自动监控的需求。从应用成本、适用范围、检测准确性和响应速率等方面考虑，交通视频监控与其他方式相比，都拥有一定的优越性。安装在路口的监控装置能履行部分警察职能，不仅能对城市道路违规的车辆进行抓拍识别，抓拍图片可清晰显示车辆的特征信息，包括信号灯状态和道路情况的全景信息；还能对车辆拥堵、车流量、平均车速等情况进行监控，交通视频监控己经成为道路交通管理发展的必然要求与趋势。

当前主要依靠交警或辅警巡逻来实施违章查处，其劳动成本高，效率低。其次现有基于视觉算法的路边违停取证解决方案,均通过静止摄像头采集图像完成，对于城市复杂道路来说，静止摄像头的布置困难，需要大量施工建设，成本高昂，此外，这些基于纯视觉的方案无法解决移动平台面临的目标汽车精确定位和准确判断停车等问题。

技术实现要素：

本发明实施例提供了一种汽车路边违停智能监测方法及系统，使用低成本的经济付出达到高效的实时检测各种路边违停的车辆的效果，实现违停的快速高效监测。

第一方面，本发明提供一种汽车路边违停智能监测方法，所述方法包括：

采集路边停车的场景图像数据、当前定位数据以及对当前位置和停车区域进行间距检测得到距离数据；

对所述场景图像数据进行预处理获得感兴趣的图像，所述图像中包含汽车和位置区域；

利用预先训练得到的汽车检测模型获取所述图片中所有汽车及所述汽车的位置区域；

根据所述当前定位数据、所述距离数据确定汽车的实际位置序列信息，根据所述实际位置序列信息确定汽车是否为静止状态；

在所述汽车处于静止状态时，记录所述汽车的实际定位数据，将所述实际定位数据与定位数据库进行比对，判断所述汽车的当前位置是否位于禁止停车区域，其中，所述定位数据库包括有预定区域内的限制停车区域的定位数据；

当所述汽车处于限制停车区域时根据预设条件对所述汽车进行违章判定处理。

作为一种可选的方案，对所述场景图像数据进行信噪比分析、去噪、图像感兴趣区域提取得到图像。

作为一种可选的方案，所述对所述场景图像数据进行信噪比分析、去噪、图像感兴趣区域提取得到图像之前，所述方法还包括：

对所述场景图像数据进行抽帧得到场景图像。

作为一种可选的方案，所述限制停车区域包括禁止禁止停车区域，所述当所述汽车处于限制停车区域时根据预设条件对所述汽车进行违章判定处理，包括：

当所述汽车在所述禁止停车区域停车时，确定所述汽车为违章停车，利用深度学习的目标检测框架对所述汽车进行车牌检测，再结合深度学习的ocr识别框架识别车牌号，将包含所述车牌号的取证数据进行上传。

作为一种可选的方案，所述限制停车区域包括临时停车区域，所述当所述汽车处于限制停车区域时根据预设条件对所述汽车进行违章判定处理，包括：

当所述汽车在所述临时停车区域停车时，利用深度学习的目标检测框架对所述汽车进行驾驶员图像检测，若未检测到存在驾驶员图像，则对所述汽车进行车牌检测，再结合深度学习的ocr识别框架识别车牌号，将包含所述车牌号的取证数据进行上传。

作为一种可选的方案，所述当所述汽车在所述临时停车区域停车时，利用深度学习的目标检测框架对所述汽车进行驾驶员图像检测之后，所述方法还包括：

若检测到存在驾驶员图像，查询历史数据确定所述汽车在所述临时停车区域的停车时长，当所述停车时长达到预设时间阈值则确定所述汽车处于违章停车，对所述汽车进行车牌检测，再结合深度学习的ocr识别框架识别车牌号，将包含所述车牌号的取证数据进行上传。

作为一种可选的方案，所述查询历史数据确定所述汽车在所述临时停车区域的停车时长，所述方法还包括：

判断所述历史数据中是否存在所述汽车在所述临时停车区域停车的时间记录；

若存在则确定所述时间记录与当前时间之间的时间间隔作为停车时长；

若不存在则确定将当前时间和所述临时停车区域存储到历史数据中。

第二方面，本发明提供一种汽车路边违停智能监测系统，用于执行上述的汽车路边违停智能监测方法，所述系统包括用于总体逻辑控制的中央控制单元、用于实时进行定位的定位单元、用于对停车区域进行场景图像数据采集的视频采集单元、用于对所述停车区域的汽车进行距离检测的雷达测距单元、用于对采集的场景图像数据进行存储的数据存储单元、用于对所述场景图像数据进行处理得到违章数据的计算单元、用于对监测过程提供时间的计时单元、用于对违章数据进行上传的信号传输单元，所述定位单元、所述视频采集单元、所述雷达测距单元、所述数据存储单元、所述计算单元、所述计时单元、所述信号传输单元分别与所述中央控制单元电连接。

作为一种可选的方案，所述系统还包括云端服务器，所述云端服务器与所述信号传输单元电连接，所述中央控制单元将所述图像采集单元采集的场景图像数据、所述计时单元提供的当前时间、所述定位单元的定位信息通过所述信号传输单元发送至所述云端服务器，所述云端服务器根据所述场景图像数据、所述当前时间以及所述定位信息确定汽车是否违章。

作为一种可选的方案，所述汽车路边违停智能监测系统位于移动平台上，所述移动平台包括交警巡逻车、公交车、无人巡逻车或无人机。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明提供的一种汽车路边违停智能监测方法，包括采集路边停车的场景图像数据、当前定位数据以及对当前位置和停车区域进行间距检测得到距离数据，对所述场景图像数据进行预处理获得感兴趣的图像中包含汽车和位置区域，利用预先训练得到的汽车检测模型获取所述图片中所有汽车及所述汽车的位置区域，根据所述当前定位数据、所述距离数据确定汽车的实际位置序列信息，根据所述实际位置序列信息确定汽车是否为静止状态，在所述汽车处于静止状态时，记录所述汽车的实际定位数据，将所述实际定位数据与定位数据库进行比对，判断所述汽车的当前位置是否位于限制停车区域，当所述汽车处于限制停车区域时根据预设条件对所述汽车进行违章判定处理，通过建立城市道路路边违停分析取证方法，实现违停的快速高效监测，本发明还提供了一种汽车路边违停智能监测系统，同样可以实现违停的快速高效监测。

附图说明

图1是本发明提供的汽车路边违停智能监测方法的一种实施例的流程图；

图2是本发明提供的汽车路边违停智能监测系统的一种实施例的结构图；

图3是本发明提供的汽车路边违停智能监测系统的另一种实施例的结构图。

附图标记：中央控制单元200、定位单元201、视频采集单元202、雷达测距单元203、数据存储单元204、计算单元205、计时单元206、信号传输单元207以及云端服务器208、交通中心管理单元300。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

结合图1所示，本发明提供一种汽车路边违停智能监测方法，所述方法包括：

s101、采集路边停车的场景图像数据、当前定位数据以及对当前位置和停车区域进行间距离检测得到距离数据。

利用图像采集单元对里边停车区域进行场景图像数据采集，场景图像数据包括但不限于图片或视频，在进行场景图像数据采集的过程中，利用定位单元实时获取当前位置的定位信息，这里定位单元可以采用定位单元或者北斗导航定位单元，利用雷达测距单元实时对当前位置和停车区域的汽车进行间隔检测，针对汽车的位置生成实时位置序列，实时位置序列中包括与每部汽车的距离，可以通过与每部汽车的距离来确定该汽车是否移动，即当距离始终保持不变、当采用移动平台进行检测时候对距离持续减小且减小速度和移动平台移动速度相一致可以认为该汽车处于停止状态。

s102、对所述场景图像数据进行预处理获得感兴趣的图像中包含汽车和其所在位置区域。

针对采集到的场景图像数据进行预处理，预处理可以包括信噪比分析、图像去噪、图像感兴趣区域提取，图像感兴趣区域即roi区域，图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域，在图像处理领域，图像感兴趣区域是从图像中选择的一个图像区域，这个区域是图像分析所关注的重点，本实施例中，图像感兴趣区域定为汽车和其所在位置区域，圈定该区域以便进行进一步处理。使用图像感兴趣区域圈定目标区域，可以减少处理时间，增加精度，另外通过对场景图像数据进行处理还可以提高图片的识别效率。

本实施例中，去除图像噪声的方法可以有均值滤波器，即采用邻域平均法的均值滤波器非常适用于去除通过扫描得到的图像中的颗粒噪声。也可以采用自适应维纳滤波器，即能根据图象的局部方差来调整滤波器的输出,局部方差越大,滤波器的平滑作用越强。最终目标是使恢复图像f^(x,y)与原始图像f(x,y)的均方误差e²＝e[(f(x,y)-f^(x,y)²]最小。该方法保留图像的边缘和其他高频部分很有用。还可以采用中值滤波器，即把数字图像或数字序列中一点的值用该点的一个领域中各点值的中值代换其主要功能是让周围像素灰度值的差比较大的像素改取与周围的像素值接近的值,从而可以消除孤立的噪声点,所以中值滤波对于滤除图像的椒盐噪声非常有效。中值滤波器可以做到既去除噪声又能保护图像的边缘,从而获得较满意的复原效果，还可以采用形态学噪声滤除器，即将开启和闭合结合起来可用来滤除噪声,首先对有噪声图象进行开启操作,可选择结构要素矩阵比噪声的尺寸大,因而开启的结果是将背景上的噪声去除。最后是对前一步得到的图象进行闭合操作,将图象上的噪声去掉。还可以采用小波去噪，这种方式保留了大部分包含信号的小波系数,因此可以较好地保持图象细节。小波分析进行图像去噪主要包括对图象信号进行小波分解，对经过层次分解后的高频系数进行阈值量化，利用二维小波重构图象信号，本领域不同技术人员可以灵活选择，对此不做限定。

s103、利用预先训练得到的汽车检测模型获取所述图片中所有汽车及所述汽车的位置区域。

汽车检测模型用来对图片进行处理以便得到图片中汽车和对应的位置，汽车检测模型可以采用ssd算法(ssd，singleshotmultiboxdetector)、yolo算法，给出图片中感兴趣目标的具体位置和类别，利用深度学习的方法训练出汽车检测模型，深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示，对于ssd算法和yolo算法，本领域普通技术人员应当了解，对此不做赘述。

s104、根据所述当前定位数据、所述距离数据确定汽车的实际位置序列信息，根据所述实际位置序列信息确定汽车是否为静止状态。

利用定位单元采集当前的定位信息和雷达测距单元计算目标汽车的实际位置序列信息，根据实际位置序列信息判断汽车是否处于静止，具体地，距离始终保持不变、当采用移动平台进行检测时候对距离持续减小且减小速度和移动平台移动速度相一致可以认为该汽车处于停止状态，若汽车处于移动状态则不必对该汽车进行。

s105、在所述汽车处于静止状态时，记录所述汽车的实际定位数据，将所述实际定位数据与定位数据库进行比对，判断所述汽车的当前位置是否位于禁止停车区域。

在确定汽车处于静止状态时，先判定汽车停靠的位置是否是禁止停车区域，获取汽车所在位置的定位信号，预先管理一个包含禁止停车区域的定位信息的定位数据库，定位数据库包括有预定区域内的限制停车区域的定位数据，定位数据库中的限制停车区域可以进行更新，将汽车的定位信息和定位数据库进行比对，若匹配上则可以确定汽车的停靠位置属于限制停车区域，若匹配不上则可以认为不属于限制停车区域。

s106、当所述汽车处于限制停车区域时根据预设条件对所述汽车进行违章判定处理。

对于限制停车区域还分为禁止停车区域和临时停车区域，禁止停车区域禁止车辆在该位置停靠或停留，即在该禁止停车区域发现车辆就认定为停车违章，禁止停车区域如消防通道或高速车道，而临时停车区域可以允许车辆进行短时停留，如出租车临时上下客区，车辆即停即走，但不允许长期占用该区域，对于临时停车区域还可以分为车上有司机和车上无司机，车上无司机时候认定为停车违章，对于车上有无司机的检测可以利用深度学习的目标检测框架对所述汽车进行驾驶员图像检测，通过对图像进行识别，例如检测图像中是否存在人脸，检测该人脸是否位于司机位置，目标检测框架可以利用深度学习方式进行训练得到，通过将图片输入到目标检测框架中即可输出识别结果，即车上有无司机，若未检测到存在驾驶员图像，则认定停车违章，对于停车违章的处理方法是利用深度学习的目标检测框架对所述汽车进行车牌检测，先识别出图像中车牌的位置，再结合深度学习的ocr识别框架对检测到的车牌进行识别得到车牌号，将包含所述车牌号的取证数据进行上传，取证数据可以包括车牌号、违章停车发生地点、发生时间以及车辆所属人姓名及联系方式等等，交管部门的交通中心管理单元可以通过无线的方式接收到取证数据进行登记，对于违章判定的过程可以在移动平台上实时进行，也可以回传到远端的云端服务器，可以利用云端服务器的强大计算能力进行快速的数据处理，提高响应效率。

本发明提供的汽车路边违停智能监测方法，通过使用低成本的经济付出，达到高效的实时检测各种路边违停的车辆的效果。通过建立城市道路路边违停分析取证方法，实现违停的快速高效监测，还能适应移动平台下的复杂道路场景实现路边违停智能监测。

为了降低对场景图像数据的处理量，提高处理效率，本实施例中，在步骤s102之前，所述方法还包括：

对所述场景图像数据进行抽帧得到的场景图像，即通过间隔一定帧抽取若干帧的方式，减少场景图像数据中图片的数量，从而可以降低对图片进行处理的数量，可以节省处理时间，进而提高处理效率，因为在进行违章停车检测的过程中，对于车辆的停靠时间并不会精确到1/24秒，在连续拍摄过程中可以间隔一定帧数进行图片获取，如一秒钟抽取一帧，整体上不会造成检测过程明显缺失，但却可以省去大量图像数据的处理。

在步骤s106中，对于检测到车内有驾驶员的时候，所述方法还包括：

若检测到存在驾驶员图像，查询历史数据确定所述汽车在所述临时停车区域的停车时长，当所述停车时长达到预设时间阈值则确定所述汽车处于违章停车，对所述汽车进行车牌检测，再结合深度学习的ocr识别框架识别车牌号，将包含所述车牌号的取证数据进行上传，具体地，针对停车时长的判断，可以通过判断所述历史数据中是否存在所述汽车在所述临时停车区域停车的时间记录，若存在则确定所述时间记录与当前时间之间的时间间隔作为停车时长，若不存在则确定将当前时间和所述临时停车区域存储到历史数据中。

对于临时停车场景，维护一个历史数据的数据库，当在一次检测时发现a车进行临时停车时，则将该汽车在该临时停车区域进行停车时长的判定，历史数据中可以存储汽车在该位置停车的时间记录，如“a车”+“当日时间为12:00:00”，这个时间记录可以在上一次检测时记录在历史数据中，在本次检测时，通过数据比对，若在历史数据中匹配到a车数据，当日时间为13:00:00，则可以确定a车在该位置停车时间为一个小时，预设时间阈值可以设定为1分钟，此时a车的停车时长超过预设时间阈值，则此时可以确定a车属于违章停车，可以进行违章停车的取证流程，将包含a车的车牌号的取证数据进行上传。

本发明提供的一种汽车路边违停智能监测方法，包括采集路边停车的场景图像数据、当前定位数据以及对当前位置和停车区域进行距离间距检测得到距离数据，对所述场景图像数据进行预处理获得感兴趣的图像序列，所述图像序列多张图片，每张图片中包含汽车和位置区域，利用预先训练得到的汽车检测模型获取所述图片中所有汽车及所述汽车的位置区域对所述图像序列进行得到图片中所有汽车及对应位置，根据所述当前定位数据、所述距离数据确定汽车的实际位置序列信息，根据所述实际位置序列信息确定汽车是否为静止状态的状态，在所述汽车处于静止状态时，记录所述汽车的实际定位数据，将所述实际定位数据与所述定位数据库进行比对，判断所述汽车的当前位置是否位于限制禁止停车区域，当所述汽车处于限制禁止停车区域时根据预设条件对所述汽车进行违章判定处理，通过建立城市道路路边违停分析取证方法，实现违停的快速高效监测，本发明还提供了一种汽车路边违停智能监测系统，同样可以实现违停的快速高效监测。

结合图2所示，相应地，本发明的实施例中还提供一种汽车路边违停智能监测系统，用于执行上述的汽车路边违停智能监测方法，所述系统包括用于总体逻辑控制的中央控制单元200、用于实时进行定位的定位单元201、用于对停车区域进行场景图像数据采集的视频采集单元202、用于对所述停车区域的汽车进行距离检测的雷达测距单元、用于对采集的场景图像数据进行存储的数据存储单元204、用于对所述场景图像数据进行处理得到违章数据的计算单元205、用于对监测过程提供时间的计时单元206、用于对违章数据进行上传的信号传输单元207，所述定位单元201、所述视频采集单元202、所述雷达测距单元、所述数据存储单元204、所述计算单元205、所述计时单元206、所述信号传输单元207分别通过总线与所述中央控制单元200电连接，可以将汽车路边违停智能监测系统集成到终端设备上，终端设备可以作为固定平台使用，也可以作为移动平台使用，通过建立城市道路路边违停分析取证方法，实现违停的快速高效监测。

定位单元201可以采用gps单元或者北斗卫星定位单元，视频采集单元202可以采用高清摄像机，数据存储单元204可以采用闪存，计算单元205可以采用图像处理器，可以对场景图像数据进行预处理，信号传输单元207可以采用4g无线通信模块，可以与远端的交通中心管理单元300进行通信连接，交通中心管理单元300位于交管中心的机房，用来汇总违章数据以及管理违章数据。

本发明提供的汽车路边违停智能监测系统的另一种实施例中，汽车路边违停智能监测系统采用终端+云端的方式，系统还包括云端服务器208，云端服务器208与所述信号传输单元207电连接，所述中央控制单元200将所述图像采集单元采集的场景图像数据、所述计时单元206提供的当前时间、所述定位单元201的定位信息通过所述信号传输单元207发送至所述云端服务器208，所述云端服务器208根据所述场景图像数据、所述当前时间以及所述定位信息确定汽车是否违章，本实施例将部分需要高性能计算的部分转移到服务器后台处理，减小终端算力需求，从而减小终端硬件规模，使之适应于更广泛的移动平台，如小型无人机、巡逻摩托等。

云端服务器208对于违章判定的方法可以是这样的：

1、如果为禁止停车区域，则利用深度学习的目标检测框架进行车牌检测，利用深度学习ocr框架识别车牌号，并上传取证数据。

2.如果为临时停车区域，则进一步采用深度学习目标检测框架检测驾驶室是否有司机，如果没有司机存在，则说明其非临时停车，确定为违停，则利用深度学习的目标检测框架进行车牌检测，利用深度学习的ocr识别框架识别车牌号，并上传取证数据；如果驾驶室有司机，则通过查询历史数据，根据其在当前位置的停车时长来判断是否违规停车，如果停车时长超过预设时间阈值则确定为违停，则利用深度学习的目标检测框架进行车牌检测，利用深度学习的ocr识别框架识别车牌号，并上传取证数据。本步骤中有多个深度学习目标检测任务，这些任务既可以通过多个模型分别完成，也可以通过一个模型一次检出完成。

本发明提供的汽车路边违停智能监测系统，包括用于总体逻辑控制的中央控制单元、用于实时进行定位的定位单元、用于对停车区域进行场景图像数据采集的视频采集单元、用于对所述停车区域的汽车进行距离检测的雷达测距单元、用于对采集的场景图像数据进行存储的数据存储单元、用于对所述场景图像数据进行处理得到违章数据的计算单元、用于对监测过程提供时间的计时单元、用于对违章数据进行上传的信号传输单元，所述定位单元、所述视频采集单元、所述雷达测距单元、所述数据存储单元、所述计算单元、所述计时单元、所述信号传输单元分别通过总线与所述中央控制单元电连接，通过建立城市道路路边违停分析取证方法，实现违停的快速高效监测。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(rom，readonlymemory)、随机存取存储器(ram，randomaccessmemory)、磁盘或光盘等。

以上对本发明所提供的一种汽车路边违停智能监测方法及系统进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。