一种适用于通用型球机的违停抓拍系统及其使用方法与流程

本发明属于交通监控技术领域，尤其涉及一种适用于通用型球机的违停抓拍系统及其使用方法。

背景技术：

随着城市机动车数量猛增，加之驾驶员安全意识薄弱，导致在城市道路间机动车违停事件多发。违停事件不仅带来城市的交通拥堵，也给城市居民的财产安全带来隐患。违停治理是一件刻不容缓的事件，它是营造良好城市交通氛围的重要手段。

目前在城市道路间机动车违停事件频发，不过，庞大的城市道路网使得对违停事件的现场取证极为困难。它严重依赖于交通部门警力人员的数量和警力。在各大城市道路网中都布设有监控相机，充分利用这一视频资源，可以有效地节省警力人员，而且极大地提升工作效率。

为了高效地治理违停事件，不少球机供应商提供了违停自动抓拍球机。但是，违停自动抓拍球机相比普通球机而言，价格更为昂贵，其价格往往是普通球机的几倍之多。更需要值得注意的是，目前很多城市其实已经拥有完善的监控网络，且其中大部分都是普通球机。所以，无论是对于已经拥有完善监控网络的城市还是需要建立监控网络的城市，采用违停自动抓拍球机改造或搭建监控系统的成本都更为高昂。常规的视频抓拍方式是监控人员通过实时查看道路车辆情况，一旦发现车辆存在违停行为，立即调用相机控制实现违停抓拍。但这样做，需要监控人员实时监控。监控人员极易产生视觉疲劳，长时间的工作对其的生理和精神状态都会产生很大影响。

技术实现要素：

为了解决这一问题，本发明提出了一种适用于通用型球机的违停抓拍系统，该系统可用任意一款监控球机，实现车辆违停自动抓拍功能。

一种适用于通用型球机的违停抓拍系统，包括服务器和球机，球机获取的视频数据通过网络传送给服务器；服务器通过视觉分析模块对视频数据进行分析，从而实现对路面违停情况进行实时监控；当发现违停行为，服务器启动云台控制命令，调动球机跟踪放大违停目标，实现违停取证；所述服务器内设有球机标定模块，服务器通过球机标定模块进行球机参数标定后，服务器可以控制球机的移动和缩放变焦。

进一步的，所述视觉分析模块包括车辆检测模块、违停判断模块、目标跟踪放大模块；

其中，违停判断根据当地政府设定的违停规定时间或根据禁停区域判断,具体判断方法为：

通过车辆检测模块对车辆进行检测，在车辆滞留某一地点初期，球机获取违停开始时刻的图片，对所有可能存在违停行为的车辆进行可能性违停登记；当车辆滞留超过最大允许时间时，对该车辆进行确认性违停登记。

进一步的，所述球机设置了自动违停抓拍车辆滞留的禁停区域。

进一步的，所述车辆滞留是根据车辆检测和颜色直方图实现球机视频数据中各车辆目标的动态定位，为违停判断提供依据；根据车辆检测结果，确定所有车辆的轨迹后，判断车辆是否在某一地点滞留。

一种适用于通用型球机的违停抓拍系统的抓拍方法，包括如下步骤：a)球机将获取的视频数据传输给服务器，b)视频分析模块分别对视频数据中的所有车辆进行动态定位，初步建立所有车辆的违停开始时刻，c)在某一时间段后，确定为违停确定时刻，视频分析模块对一直处于该时间段内的所有车辆确定为目标违停车辆并将目标违停车辆定位信息传输给服务器，d)服务器启动云台，云台控制球机中的违停抓拍模块对目标违停车辆进行自动抓拍，并最终传送给服务器。

进一步的，还包括通过球机标定模块对球机进行参数标定，以使违抓拍模块精准控制球机中的相机的移动和缩放变焦。

进一步的，通过违停区域选取模块对球机进行自动抓拍区域的设置。

为解决上述技术问题，本发明采用的一个技术方案是：由现场球机获取视频数据，通过网络传送给服务器；经过服务器的视觉分析模块对视频数据进行分析，从而实现对路面违停情况进行实时监控；一旦当发现违停行为，服务器启动云台控制命令，调动球机跟踪放大违停目标，快速准确实现违停取证。其核心模块由四部分组成：车辆识别、违停判断、云台控制、车牌识别和违停图片合成。

所述视觉分析模块是通用型球机的违停抓拍软件系统中的一个子模块，它与服务器的连接作用关系是，通过通信信道与前端任意品牌的球机设备直接连接获取视频流，然后进行实时的违法行为分析。

球机标定模块是为了本系统能支持任意品牌、任意型号的球机设备，我方自主研发的一个软件算法。与球机的连接作用关系是通过“球机标定模块”，事先检测、标定好球机的可视范围、焦距、检测区域等相差信息(此标定模块功能可以通过各球机生产厂商所提供的SDK通用开发包获得，只是需要大量的基础编排工作，其技术是可以获得的)。作用主要有两项，一是通过“球机标定模块”对球机的运行范围进行设定，用来保护球机不超负荷工作。二是通过“球机标定模块”设定球机的检测区域，在指定范围内进行视频事件检测，提高运行效率，节省计算资源。

违停抓拍模块是通用型球机的违停抓拍软件系统中的一个子模块，是一种基于深度学习的人工智能算法。与球机的相互作用关系是，通过本软件系统的“视觉分析模块”、“球机标定模块”等相关子模块的协同运行，最终由“违停抓拍模块”进行软件分析识别视频中的违法行为。其最大的差异和变革是，现有技术需要特定型号硬件设备进行处理才能实现此项技术。而本发明，采用纯软件技术取代了后端硬件支持，从而突破技术壁垒，及大地降低了成本。

本发明的一种适用于通用型球机的违停抓拍系统，该系统由现场球机获取视频数据，通过网络传送给服务器；经过服务器的视觉分析模块对视频数据进行分析，从而实现对路面违停情况进行实时监控；一旦当发现违停行为，服务器启动云台控制命令，调动球机跟踪放大违停目标，快速准确实现违停取证。其核心模块由四部分组成：车辆识别、违停判断、云台控制、车牌识别和违停图片合成。通过上述方式，本发明能够在通用型球机中实现车辆违停抓拍功能。

本发明的有益效果是：(1)适合任意球机，无需另外安装违停抓拍专用球机；(2)操作简单，非现场实现参数标定，无需现场设置特殊标定记号；(3)后台处理，支持多路监控球机的违停抓拍；(4)引入深度学习目标检测模块，更高的检测精度带来更高的抓拍精度和更低的数据废片率。

附图说明

图1是本发明的硬件示意图。

图2是本发明的软件系统流程图。

图3是本发明实施例禁停区域截屏。

具体实施方式

球机标定

相机控制参数由水平参数，竖直参数以及缩放参数组成。

球机在水平、竖直方向移动时，图像中目标相应地移动，目标在图像上移动的速度和目标在图像上的位置相关，边缘速度大于中心速度，但是由于球机的拍摄时物距较大，该现象不明显。但是为了能准确地控制相机移动，标定时需要分别在图像水平、竖直两个方向的图像边缘和图像中心，分别测量4次相机速度。

相机缩放参数是由一组比值和相应的缩放时间组成的(例如：s＝[s1,s2,...,sn],t＝[t1,t2,...,tn])。这组比值是指目标长与图像长或目标宽与图像宽的比值(取二者中的最大值)，包括了从小到大不同尺寸的目标。这组缩放时间是目标从这组比值大小放大到期待大小的时间。有了这两组参数，当想要将任意大小的目标放大到清晰可见，只需要将目标和图像长或宽的比值去和缩放参数比较后内插即可。例如：s1＜sk＜s2,则可知tk＝t1+(t2-t1)/(s2-s1)×(sk-s1)。

目标跟踪

由于球机驱动较为平稳且车辆距离球机较远(物距远大于焦距)，故云台运动导致图像中车辆的移动几乎为匀速。为了进一步细化图像中车辆移动速度，以提高目标跟踪放大的效果，违停抓拍模块将图像划分为边缘区域和中心区域，在边缘区域和中心区域中，车辆的水平移动速度、竖直移动速度均不同。同时，云台缩放时间和车辆占图像的比例几乎成线性关系。利用这两点，通过球机标定模块，实现球机的水平、竖直以及缩放参数的标定。

球机保护机制

该模块对球机采用双重保护机制，避免球机在上下，缩放操作时，到达最大限位时还在发送PTZ指令，造成球机步进电机的损坏。第一种保护机制：在球机标定系统中进行，对违停检测区域选取，只选取在球机可控范围之内的场景。第二种保护机制：自动抓拍系统，在初始化球机的时候，获取球PTZ(NET_DVR_GET_PTZSCOPE)值的范围，在每一次发送PTZ指令的时候，都会获取当前发送PTZ指令前，获取当前球机的PTZ(NET_DVR_GET_PTZPOS)值，在当前指令球机的PTZ值达到最大值，放弃当前PTZ指令。在达到球机运动极限值，触发球机保护停止工作。

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

请参阅图1和图2，本发明实施例包括：

一种适用于通用型球机的违停抓拍技术，包括：硬件和系统设置、软件系统及技术框架。

本发明的硬件配置由两部分组成：前端球机和后端服务器。球机和服务器之间存在数据和控制上的交互。(1)球机向服务器发送视频(图像)数据，供服务器进行识别分析(即视觉分析模块的分析。在深度学习框架下进行是指在下节视觉分析模块组成)；(2)发现违停目标，服务器发送控制命令，控制球机的平移、翻转和缩放运动；(3)合成违停数据时，同样由球机发送视频(图像)数据给服务器。服务器在得到球机传输过来的违停图片后，根据所需信息进行违停数据合成。其硬件流程图如图1所示。

该发明技术核心主要由视觉分析模块组成：(1)车辆检测；(2)违停判断；(3)目标跟踪放大；(4)车牌识别和违停图片合成。其中违停判断依赖于当地政府设定的违停规定时间。

由于最后违停图片使用违停开始时刻和确认时刻的图片组合而成，所以违停判断又可细分为可能性违停行为(违停开始时刻)和确认性违停行为(违停确认时刻)，也就是说，在车辆滞留某一地点初期时，我们并不知道该目标最终行为是否符合违停要求，为了获取违停开始时刻的图片，我们对所有可能存在违停行为的车辆进行可能性违停登记；当车辆滞留某一地点超过最大允许时间时，此时我们认为该目前确实存在违停行为，对其进行确认性违停登记。违停抓拍模块的流程图如图2所示。

除了核心技术模块外，该发明实现违停自动抓拍功能，还依赖于球机标定和禁停区域选取两大预处理模块。

球机标定：球机标定是为了获得不同品牌相机的控制参数。进行球机参数标定后，本发明在抓拍图像并获取信息时，能够精确控制相机的移动和缩放变焦，从而准确捕捉到违停车辆信息。

禁停区域选取：该预处理模块的主要作用是对球机进行禁停区域设置，在设置过后，确定需要进行自动违停抓拍的区域。其示意图如图3所示。

违停抓拍模块是本发明的核心模块，在球机标定和禁停区域选取工作的协助下，该模块能在通用型球机中实现违停车辆的自动抓拍。该功能的实现依赖于之前提到的四个单元的协同工作。全局预置位中，根据车辆检测和颜色直方图实现球机视频数据中各车辆目标的动态定位，为违停判断提供依据；根据车辆检测结果，确定所有车辆的轨迹后，判断车辆是否在某一地点滞留，开始阶段若车辆滞留超过一段时间，锁定目标并标记其为可能违停目标，在违停确认阶段，若车辆仍滞留在原位，则确认其为违停目标；在判断目标为可能性违停目标或确认性违停目标后，系统通过目标跟踪放大获取目标的具体信息(全局定位和车辆全身图)；最后，将目标跟踪放大获取到的四张图像进行合成，并标注违停目标的相关信息(违停地点、时间等)；除图片之外，会生成违停目标的配置信息，以便监控人员手动修改和完善。

除此之外，为了提高服务器的运算性能，该模块采用深度学习和多线程技术，充分利用GPU和CPU的计算核心，在保证模块正常工作的同时，极大地提高了服务器的处理能力。搭载普通i7CPU和24G CPU的服务器能够实现25～30路的监控球机的违停抓拍工作。同时，为了避免违停抓拍系统出现异常触发云台移动的情况，延长球机的使用年限，该模块加入了球机保护机制，当球机Tilt或Zoom值临近极限值时，触发球机运动停止命令。