城市智能红线管理方法及机器可读存储介质与流程

本发明涉及城市智能管理领域，具体地涉及一种城市智能红线管理方法及机器可读存储介质。

背景技术

目前，城管违章查处主要靠现场巡逻和视频监控。其中，一方面，现场巡逻会导致人力资源的浪费，并且监管效率低下；另一方面，传统的视频监控系统，需要组建专职视频监控巡查队伍，并需要长时间不间断人工查看视频监视器内容，容易导致工作人员视觉疲劳、注意力下降、效率低下；并且，往往一个值班人员需要对着多个监视器，人眼观察范围有限，无法同时长时间关注多个屏幕，无法有效发现违法行为并进行处理；另外，由于人眼视觉灵敏度有限，对于光线变化较大、监控距离较远的场景无法察觉；传统的视频监控体系仅仅肉眼围绕视频监控画面本身展开，容易遗漏掉监控视频所拍摄到的违法行为。

技术实现要素：

本发明实施例的目的是提供一种城市智能红线管理方法及机器可读存储介质，用以至少解决现有技术中视频监控画面过于依赖人员监视的问题。

为了实现上述目的，本发明实施例提供一种城市智能红线管理方法，包括：获取视频监控画面；提取所述视频监控画面中的图像特征，并基于场景特征模型以及设定的违规识别规则识别所提取的图像特征是否为违章图像特征；若所提取的图像特征是违章图像特征，则判断该所提取的图像特征是否满足告警条件；以及当该所提取的图像特征满足告警条件时，执行报警操作。

本发明实施例另一方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行本申请上述的城市智能红线管理方法。

通过上述技术方案，提出了自动预测告警方案，使得在得到视频监控画面之后自动预测其是否为违章行为，并在判定是违章行为时执行报警操作。由此，减少人工查看视频监视器工作量，将传统的人工监测视频变换为智能识别、自动报警、人工审核确认的模式，将视频监视人员转变为视频审核员，从“死盯”屏幕中解脱出来，将专注重心放在视频分析系统报警触发后的事件核查工作上，实现视频监控系统在城市管理领域的高效拓展利用。

本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1是本发明一实施例的城市智能红线管理方法的流程图；

图2a是应用于本发明实施例中的语义分割模型的工作原理示意图；

图2b是应用于本发明实施例中的场景特征模型的工作原理示意图；

图3是针对场景特征模型的训练流程图；

图4是本发明一实施例的图像识别引擎的整体框架；

图5是本发明另一实施例的城市智能红线管理方法的流程图。

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

如图1所示，本发明一实施例的城市智能红线管理方法，包括：

s11、获取视频监控画面，例如可以是从监控视频中解析出单帧的视频监控画面。

关于本发明实施例方法的执行客体，其一方面可以是各种通用型终端或服务器，其通过安装应用以能够执行上述的方法，其另一方面可以是专用于城市智能红线管理的设备等。

s12、提取视频监控画面中的图像特征，并基于场景特征模型以及设定的违规识别规则识别所提取的图像特征是否为违章图像特征。

具体的，其可以是通过语义分割模型从视频监控画面中提取目标范围，其中该语义分割模型可以是以如图2a所示的全卷积神经网络（fcn）为基础的，并检测目标范围内的潜在违章对象的图像特征，进一步地如图2b所示，通过场景特征模型以及设定的违规识别规则对图像特征进行分类，以判定是否存在违章行为；其中，该场景特征模型也可以是卷积神经网络模型，而该违规识别规则则包括：识别区域、数量、占图比例、相似度、是否有人参与、是否组合识别，存在间隔时间中的一种或多种判断条件的结合，以对被识别物体及其组合是否落入所述判断条件进行判定。

此外为了能够快速地识别图像特征是否属于违章图像特征，其可以是预先获取在不存在违章行为时视频监控终端所采集的初始视频监控画面，并将初始视频监控画面标定监控背景画面，其中该监控背景画面被场景特征模型以及设定的违规识别规则用于识别图像特征是否为违章图像特征。

深层的卷积神经网络模型的一个主要的缺点是需要大量的数据来支撑网络参数的训练，否则网络训练很容易不收敛。为了解决该问题，本发明实施例提出如图3所示的针对场景特征模型的训练过程，包括s121、从互联网上采集对应违章图像特征的图像数据；s122、按照违章图像特征对所采集的图像数据进行分类，以得到分类图像数据；s123、基于分类图像数据和相对应的违章图像特征，训练场景特征模型。例如，违章图像特征包括以下中的一者或多者：流动小摊贩、店外占道经营和非法入侵区域，而该前述场景特征模型由于属于设定的违规识别规则中的场景特征模型，其符合该违规识别规则，即符合预设的识别区域、数量、占图比例、相似度、是否有人参与、是否组合识别，存在间隔时间中的一种或多种判断条件结合的判断范围内，因此被判定为违章图像特征。

由此，本发明实施例提出迁移学习的方式。即先使用网络上的分类数据库进行训练，得到一个预训练的模型，预训练的模型能够很好地学习到图像中的一些浅层特征，如：纹理，形状，颜色等信息。再将预训练模型的参数迁移到实际任务中去训练学习高层次的语义特征来提升实际的识别效果。

s13、若所提取的图像特征是违章图像特征，则判断该所提取的图像特征是否满足告警条件。

具体的，一方面，告警条件的定义中涉及的参数包含：可以是违章行为持续时间阈值，并通过对比所提取的图像特征所持续的时间与所述违章行为持续时间阈值，此时可以是提取连续的多帧监控画面上述的图像特征的持续时间，当该所提取的图像特征所持续的时间大于违章行为持续时间阈值时执行报警操作，例如当判断存在有超出此区域惯常物体面积阀值的物体，并且该物体的持续时间超过了一定时间，则可以认为可能存在摆摊行为，满足告警条件。另一方面，所提取的行为涉及目标物体，告警条件包括关于目标物体的数量阈值，并当所提取的图像特征指示存在数量超过所述数量阈值的目标物体时，执行报警操作，例如目标物体可以是桌子、板凳、冰柜等，当识别出存在多个桌子或板凳时，则可以认为可能存在摆摊行为，满足告警条件。

由于不同监控区域所需求的监控对象和告警条件不一样，因此在本发明实施例的一些优选实施方式中，可以是基于监控区域类型确定相应的告警条件，其中监控区域类型是被预配置在视频监控终端中的。需说明的是，视频监控终端是安装在城市的各种类型的区域的，其可以是安装在公交站点、沿街商铺和/或限入地区等，然而不同的区域对违章行为的界定是不同的，例如公交站点不允许摆摊、限入地区不允许行人进入等。因此，可以是针对视频监控终端的安装环境为其配置相应的监控区域类型，使得在之后的分析过程中可以依据该监控区域类型确定出告警条件，例如可以是在城市智能红线管理系统中预先配置有具备映射关系“公交站点-摆摊告警条件”、“限制区域-非法入侵区域条件”等的关系表格。

s14、当该所提取的图像特征满足告警条件时，执行报警操作。

关于该报警操作的方式，可以是声光报警、短信息报警等，以提醒监管人员注意对该所预测的视频监控画面或其所对应的视频采取措施。

对各个预置位的摄像头拍摄场景，进行手工标注场景，人工设定识别区域，识别物品及其特征参数，识别时间段及物品画面内持续时间等，将其作为标准背景，并将该信息记入“一机一档”，为每个摄像头建立档案。利用案件所匹配的档案信息，可快速锁定违法行为位置。一机一档”主要记载有摄像头所对应的管辖人、区域场景类别和摄像头类型等。

还可以利用单个摄像头多个预置位，实现监控云台预置位切换，实现一机监控多个场景多个事件的功能，通过预置位留档图像的比对，来确定当前预置位，并利用多个预置位所拍摄图像，多方面比对信息，达到摄像头资源的充分利用，实现一预置位一档，从而对设定的预置位进行相应的智能分析。

如图4所示，本发明一实施例的图像识别引擎的整体框架，由于城管业务的特殊性，决定了图像识别需求的个性化、多样化。城管的业务多种多样，业务关注点也会多样化，导致客户需求和业务需求很零散，要识别的物品以及违规行为很多且持续增加。因此，图像识别要精心设计引擎，方便系统的扩展和深度应用。另外，在智能红线管理系统中，应用和图像是紧密联系又相互独立的两部分。开发过程中，要注意系统的模块化和接口规范化。通过接口和服务，把两部分以及更多的模块对接起来，提高系统的可维护性以及可靠性。

图像识别引擎包括视频解析服务基础平台、算法模型库和模型迭代更新框架。围绕图像识别引擎，是与应用对接的各类接口，包括一机一档、图像服务、区域场景标注、即时通信协议等，通过与业务应用的整合，实现整体视频红线管理。

其中，图像解析服务基础平台满足高并发的视频图像解析需求，多个点位同时发送图像，分布在不同的服务器并发解析。可以快速搭建集群满足高并发图像解析的需求。

其中，算法模型库是各类图像识别模型的汇总，满足多种业务需求。模型算法和解析基础平台相对独立，方便对模型的持续增加。模型算法大量使用深度学习和图像理解等的前沿技术。而该违规识别规则也可随着法律的修改及行政管理规定的改变而进行相应规则的调整。

其中，模型更新框架支持城管图像识别需要对性能和功能进行持续的迭代更新，此框架保证模型更新的便捷性。

在本发明实施例中将深度学习模型技术和图像识别技术以及自定违规规则设定相结合，对于有大量图像数据的，通过对数据的清洗整理得到高质量的标注数据。设计深度学习检测识别模型，对城管关注目标、目标属性特征、目标有关事件等进行识别，实现城管红线管理的智能化。实际项目中，根据具体的业务及选用的设备情况，可对产品智能识别功能进行扩充，如增加对车辆渣土识别、违章建筑识别判断的算法等。

本发明实施例另一方面还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，其分别用于执行本申请上述由终端所执行的城市智能红线管理方法的步骤，该机器可读存储介质所安装的终端可以是任意的终端，例如计算机或服务器等，其具体的技术方案的细节和效果可以参照上文方法实施例的描述，在此便不赘述。

以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。

本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器（processor）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-onlymemory）、随机存取存储器（ram，randomaccessmemory）、磁碟或者光盘等各种可以存储程序代码的介质。

此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。