一种基于视频地理围栏的违章摆摊监测方法与流程

本发明涉及一种基于视频地理围栏的违章摆摊检测方法，具体说，是通过视频地理围栏、深度学习图像目标识别等技术方法对违章摆摊进行识别、定位和判断。本发明涉及城市管理监控技术领域。

背景技术：

21世纪以来，我国处在急剧的社会转型阶段，伴随着当前社会经济的迅速发展，城市化进程的加快，城市规模不断扩大，城市人口也在不断增加，公民行为活动日趋复杂化和多样化。社会人员行为的不可控因素增多给社会服务与监控管制带来了巨大的压力。在公共场所，偷盗抢劫、违禁翻越、违章变道、违规占用公共区域等现象频频发生，使得安防、交通、城市管理等领域的服务维护、监管预警成为了当前我国社会发展亟待解决的重点问题(李德仁,彭明军,邵振峰.基于空间数据库的城市网格化管理与服务系统的设计与实现[j].武汉大学学报：信息科学版,2006,31(6):471-475.)。这种背景下传统的城市管理方式已经不能适应新时期城镇化的进一步推进。现代科学技术和信息技术的革新发展，也为城市管理模式的创新提供了更多的参考和技术支持。(陈平.数字化城市管理模式探析[j].北京大学学报：哲学社会科学版,2006,vol.43(1):142-148；wangr,lis.researchaboutcurrentconditionanddevelopmentofdigitalurbanmanagementinchongqing[c].internationalconferenceoncontrol.ieee,2011.)。

传统的部门化城市管理模式由于信息不对称、缺乏监督制衡机制，难以对违章摆摊现象进行管理，主要原因有以下几个：1)此类摊点流动性大，无固定的地点；2)此类摆摊设点人员多为长期从事个体经营的人员；3)目前针对这类摆摊设点的布控来源仅限于城市管理人员定时巡查或群众举报，无法做到全方面、及时地布控(贠周会等，一种基于背景建模的城市摆摊设点检测方法，发明专利，cn108012117a)。近年来，国家大力打造智慧城市、天网工程，使得监控遍布城市各个角落，但仅有少量监控用于城市摆摊设点监督，城市摆摊设点管理主要采用人员在线监督的模式，这就造成监管不及时、不全面，进而导致人力资源浪费和监控设备利用不到位。同时这种突击式、运动式管理，容易导致政府管理部门与社会民众的冲突，严重影响和谐社会的构建。

本发明采用视频地理围栏技术，提出一种面向违章摆摊现象的智能化检测管理方法，以转变传统城市管理模式，解决目前在这一领域管理方式不完善、技术手段不成熟等问题。

视频地理围栏(geo-fencing)是基于位置服务(lbs)发展的一种新应用，是指以虚拟的栅栏围出一个虚拟的地理边界，当目标进入或离开某个特定地理区域，或在该区域内活动时，视频传感器终端可以自动接收相应的服务信息、通知和警告(黄俊.基于android系统的远程监控与控制系统的设计与实现[d].宁波大学,2014.)。视频地理围栏技术具有双向联动、被动定位、目标可视等特征，能够实现视频地理围栏边界和获取的目标坐标在视频空间场景下的联动展现和存储；同时这种被动式定位使得围栏的服务或监控目标更加全面化和一般化，不会产生由于传感器硬件设备与目标自身行为所而造成的围栏内目标遗漏，且包括目标地理坐标、前景信息、颜色特征、几何轮廓等丰富的定位可视性信息，对于城市管理等具有重要应用价值。

目前，视频地理围栏技术可广泛应用于多个领域，如在安防领域中，视频地理围栏的监控目标主要为行人、车辆和重要物品，旨在保护公共财产安全与公民人身安全；在交通领域中，视频地理围栏的监控目标为机动车辆，主要对交通道路上的违法违规行为进行预警并及时的进行信息推送。在电力系统领域中，视频地理围栏通过以电力线三维缓冲区为围栏边界位置，当物体在进入该缓冲区而为触碰电力线快速响应，提前报警，保障人员安全(王思宁.视频地理围栏与应用[d].南京师范大学，2015.)。

技术实现要素：

本发明所要解决的关键问题是针对传统城市管理模式的不足，通过设置地理围栏并将其映射至视频空间，对视频中的流动经营设施进行识别与定位，判断其与所建立的地理围栏之间的位置关系，根据围栏规则判定是否为违章摆摊。因此，本发明提出了一种基于视频地理围栏的违章摆摊检测方法。

本发明公开了一种基于视频地理围栏的违章摆摊监测方法包括以下步骤：

步骤一：根据视频图像空间和地理空间的映射关系，将预先设置的地理围栏区域映射至视频图像空间，建立视频图像空间与地理围栏区域的双向联动；

步骤二：根据监控视频流中的流动经营设施目标与地理围栏区域的位置关系，判断是否存在违章现象。

进一步的，根据地理围栏的基本要素确定地理围栏区域，所述基本要素包括监测时间、监测地点、监测目标和监测规则。

进一步的，所述视频图像空间和地理空间的映射关系的获取步骤包括：

获取监控视频流中任意一幅图像，在该图像上和预先绘制的监控区域的二维地图上采集同名点对；

根据同名点对在图像和二维地图上对应的图像坐标和地理坐标，建立视频图像空间和地理空间的映射关系，得到对应的单应矩阵；

所述将预先设置的地理围栏区域映射至视频图像空间的步骤包括：根据单应矩阵的逆矩阵，将地理围栏区域映射至视频图像空间。

进一步的，所述同名点对的数量不少于4对，且同名点对不能全部共线。

进一步的，所述地理围栏区域的地点和规则通过要素文本信息录入和受限语言解析方法结合确定。

进一步的，所述监控视频流中的流动经营设施目标的识别步骤包括：

根据流动经营设施目标图片，建立流动经营设施目标图像数据集，并对目标进行标注；

采用ssd模型和tensorflow框架，对流动经营设施目标图像数据集进行训练，得到相应的训练结果模型；

根据训练结果模型，对监控视频流中的每一帧图像进行检测，确定其中的流动经营设施目标，并获取位置信息。

有益效果：本发明基于视频地理围栏的特点，在城市管理领域引入该技术能够对城市违章摆摊现象进行更加科学、有效、合理地监测管理。同时，基于视频地理围栏的违章摆摊监测方法计算效率高，通知设置围栏基本要素，当违章现象出现时能够自动判别并弹出警告窗口，提高监测的高效性、实时性与准确性。

附图说明

图1是本发明地理围栏要素规定示意图；

图2是本发明早餐车数据集标注示意图；

图3是本发明总体效果示意图。

具体实施方式

下面结合附图和实施例进一步阐述本发明。

本发明的基本思路：获取监控路口附近的大比例尺地图；接入监控视频流，获取其中的一幅图像，在视频图像和二维地图上采集同名点对，获取同名点的图像坐标和地理坐标，建立起视频图像空间和地理空间的映射关系；设置围栏地点要素、目标类型要素、时间要素以及围栏规则；利用单应矩阵，将已完成设置的围栏对应位置映射至视频空间，建立视频空间与地理围栏的双向联动；通过深度学习目标识别方法，对视频中的流动经营设施进行识别并确定其具体位置；判断其与所建立地理围栏间的位置关系，若违反规则，则判定其为违章摆摊。

实施例1：

本实施例的基于视频地理围栏的违章摆摆摊监测方法，包括以下步骤：

第一步：采用的是地形图绘制方法，绘制视频监控区域附近的比例尺为1:200的地图。

第二步，视频图像空间和地理空间映射关系的建立：所述的映射关系建立首先是接入监控视频流，获取其中的一幅图像，在视频图像和二维地图上采集同名点对，获取同名点的图像坐标和地理坐标，建立起视频图像空间和地理空间的映射关系，得到对应的单应矩阵。其中，同名点对数量应不少于四对，且不能全部共线。

上述的单应矩阵计算方法为：

获取同名点的图像坐标和地理坐标，表示为：

其中，s为比例系数，h为单应性矩阵，它包含图像间的物理变换与摄像机内参数矩阵两部分，得到下列线性方程：

将同名点对代入上述方程，即可得到单应矩阵h。

第三步，围栏基本要素的提取：所述的围栏基本要素包括监测地点、监测时间、监测目标、监测规则等，通过要素文本信息录入和受限语言解析等方式互相结合的方法，确立地理围栏的区域、规则等信息，围栏区域采用手动绘制的方式来确定其边界位置，围栏作用时间以及具体规则通过下拉选项确定，如设置起始时间“7：00”，终止时间“9：00”，围栏规则为“禁止与面相交”，用来表示该区域禁止摆摊。

第四步，视频空间与地理围栏的双向联动：将第三步中获取的地理围栏位置信息，通过第二步中得到单应矩阵的逆矩阵，将地理围栏映射至视频空间，建立视频空间与地理围栏的双向联动。

第五步，流动经营设施的识别：

采集流动经营设施目标图片建立流动经营设施目标图像数据集，利用label_img工具对感兴趣目标进行标注；

采用ssd(single-shotdetector)模型以及tensorflow框架，对建立的数据集进行训练，得到相应的训练结果模型；

利用训练结果模型，对监控视频流中的每一帧图像进行检测，确定其中的流动摊位目标，并获取其位置；

第六步，违章摆摊行为的判定。

所述的违章摆摊行为判定规则是根据点与多边形之间的位置关系，判断流动摊位与第二步中所确定地理围栏的位置关系，若目标在设定时间段位于围栏区域内，则判定为违章现象；反之，不属于违章摆摊。

实施例2：

第一步、相关设备准备：准备一台便携式笔记本电脑，高清监控摄像头一个。

第二步、大比例尺地图的获取，采用地形图绘制方法绘制视频监控区域附近的比例尺为1:200的地图。

第三步、通过同名点采集的方法，获取视频图像与地理空间的对应坐标点对，计算视频图像与地图空间的单应矩阵，构建视频图像与地理空间的互映射关系。

第四步、确定围栏要素，采用手动框选的方式来确定围栏边界的位置，通过下拉选项确定围栏作用时间以及具体规则，如图1所示，实现对地理围栏的要素提取。

第五步、利用第三步中求得单应矩阵的逆矩阵，将围栏边界的地理坐标转换为监控图像坐标，并绘制围栏区域，由此建立视频空间与地理围栏的双向联动。

第六步利用深度学习方法识别流动摊位，本实施例以早餐车为例：

(1)首先建立早餐车图像数据集，从网络收集相关早餐车图像，数据量样本量约10000，并利用label_img工具对目标进行标注，如图2所示。

(2)使用ssd模型以及tensorflow框架，利用(1)中所建立的数据集进行训练，训练过程约10000步，得到相应的训练结果模型。

(3)利用(2)中的训练结果模型，对视频流中的每一帧图像进行检测，确定其中的流动摊位目标，并获取其图像坐标。

第七步、根据点与多边形之间的位置关系，判断流动摊位与第二步中所确定地理围栏的位置关系，若其在围栏之内，则判定其为违章摆摊。