一种基于公安领域的视频分析系统及方法与流程

本发明涉及公安系统领域，特别涉及一种基于公安领域的视频分析系统及方法。

背景技术：

随着平安城市建设的推进，目前很多城市已经部署了大量的安防监控摄像头，由此产生的海量视频数据给公共区域安全防范带来机遇的同时也是极大的挑战。单纯依靠人工监视或排查无法满足实际应用的需求，视频的智能化分析成为解决问题的最有效途径。

随着公安行业信息化手段的飞速发展，目前视频监控系统已经成为治安防控、侦查破案的重要手段。但是，面对海量的视频信息、非结构化的数据形式和内容的多义性，在案发后人工调阅方式耗时耗力，大量视频未经梳理而流失，严重影响了监控系统的建设成效。目前在安全防范领域中，有效分析、组织和管理视频数据，研究基于内容的视频应用系统取代人工方式，已经成为警务信息化应用的研究重点。

现有技术在积极探索建立视频信息库，对各部门、警种关注的视频图像信息进行整理、分类存储。但是，在实际工作中，由于视频信息的非结构化、多语义性，所建的视频信息库，只能对案件进行简单标注，各地仍然以人工查看为主。近年来，视频特征提取、视频结构化分析、视频索引、视频检索等技术已经取得了明显的进步，但在整合应用上还有距离，还没有形成一个成熟的工作平台和应用体系，信息处理能力差，不能满足实际需求。

技术实现要素：

针对以上问题，本发明专利目的在于设计了一种基于公安领域的视频分析系统及方法，能同时实现人脸识别及车牌识别，可为公安系统案件侦破和情报来源提供有力保证。

本发明具体的技术方案如下：

一种基于公安领域的视频分析方法，包括：

s1、在检测到预定区域存在车辆时，采集驾驶员的人脸图片信息和车辆的车牌图片信息；

s2、对所述人脸图片信息进行部位识别并建立特征模板，以及根据人脸每个部位的特征模板组建人脸特征集；

s3、对所述车牌图片信息进行处理，定位车牌区域并进行字符分割，以及将字符进行归一化处理后组合成一个车牌特征集；

s4、分别将所述人脸特征集和车牌特征集与预先存储的标准特征集进行比较以确认驾驶员身份和车辆信息，并返回确认结果。

进一步，本发明所述对所述人脸图片信息进行部位识别并建立特征模板，进一步包括：对双眼、鼻子、嘴唇、下脸轮廓这四个部位进行识别。

进一步，本发明所述对所述人脸图片信息进行部位识别并建立特征模板，进一步包括：建立每个部位的颜色特征模板、边缘轮廓特征模板和纹理特征模板。

进一步，本发明所述方法进一步包括：

预先采集驾驶员的人脸图片信息并组建和预先存储驾驶员的人脸标准特征集，以及预先存储车辆的车牌标准特征集。

进一步，本发明所述方法进一步包括：

预先存储人脸黑名单数据库和车牌黑名单数据库，将所述人脸特征集和车牌特征集与所述人脸黑名单数据库和车牌黑名单数据库进行比较并确认是否为黑名单中的驾驶员和车辆。

一种基于公安领域的视频分析系统，包括依次连接的监控设备(101)、采集装置(102)、处理器(103)、通信模块(104)、服务器(105)和存储器(106)，其中：

所述监控设备(101)用于监测预定区域，并在检测到预定区域存在车辆时，发送检测结果给采集装置(102)；

所述采集装置(102)用于在接收到所述检测结果后启动并采集驾驶员的人脸图片信息和车辆的车牌图片信息；

所述处理器(103)用于对所述人脸图片信息进行部位识别并建立特征模板，以及根据人脸每个部位的特征模板组建人脸特征集；同时，对所述车牌图片信息进行处理，定位车牌区域并进行字符分割，以及将字符进行归一化处理后组合成一个车牌特征集；

所述服务器(105)用于分别将所述人脸特征集和车牌特征集与预先存储的标准特征集进行比较以确认驾驶员身份和车辆信息，并返回确认结果。

进一步，本发明所述存储器(106)用于预先存储驾驶员的人脸标准特征集和车辆的车牌标准特征集，以及预先存储人脸黑名单数据库和车牌黑名单数据库。

进一步，本发明所述通信模块(104)为3g/4g网络通信模块。

进一步，本发明所述对所述人脸图片信息进行部位识别并建立特征模板，进一步包括：对双眼、鼻子、嘴唇、下脸轮廓这四个部位进行识别。

进一步，本发明所述对所述人脸图片信息进行部位识别并建立特征模板，进一步包括：建立每个部位的颜色特征模板、边缘轮廓特征模板和纹理特征模板。

附图说明

以下参照附图对本发明实施例作进一步说明，其中：

图1是本发明基于公安领域的视频分析方法的流程图；

图2是本发明基于公安领域的视频分析系统的模块图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的详细说明。

本发明提出了一种基于公安领域的视频分析方法，整合运用视频结构化、人脸识别和车牌识别等先进技术，研究构建视频图像信息分析应用系统。提供覆盖视频业务从“采集”、“研判”到“保存”、“管理”、“应用”的全局能力支撑，使视频图像成为重要的案件侦破手段和情报来源，前瞻性地推进视频监控系统建设由“信息”到“分析”的演进，并将最终为基层公安民警提供一个“贴近实战、研判高效、管理有序”全局性的视频分析作业环境。

请参阅图1，所述方法包括：

s1、在检测到预定区域存在车辆时，采集驾驶员的人脸图片信息和车辆的车牌图片信息。

具体的，监控设备实时监控摄像头，当有人、车出现在摄像头时，发送检测结果给采集装置，启动采集功能，采集一张有效的驾驶员的人脸图片信息和车辆的车牌图片信息。采集服务通过行列扫描，定位图片中的所有人脸和所有车辆。

s2、对所述人脸图片信息进行部位识别并建立特征模板，以及根据人脸每个部位的特征模板组建人脸特征集。

具体的，分别对每张人脸图片进行部位识别，包括双眼、鼻子、嘴唇、下脸轮廓(上半脸因为有头发等影响，因此不使用)四个部位；然后将此四个部位分别获取特征模板，并组合成一个特征集。四个部位特征模板包含颜色特征模板、边缘轮廓特征模板、纹理特征模板，并根据各部位的最优特征模板组合成一个特征集。

颜色特征模板：利用hsv(h是色彩，s是深浅，v是明暗)颜色空间建立颜色直方图，建直方图时，只用色调分量，这样处理不会明显降低颜色特征模型的准确性，还能大大降低计算量，提高效率。

边缘轮廓特征模板：当部位颜色和背景颜色相近时，仅利用单一的颜色特征效果很差，因此结合边缘轮廓特征能大大提高后续比对的鲁棒性。利用canny算子做边缘检测和提取。

纹理特征模板：纹理是描述目标的一种重要特征，当人脸部位和背景颜色相近或者人脸部位边缘被遮挡时，它们的纹理属性一般不同。本算子是在常用的局部二值模式(lbp)纹理描述算子基础上作进一步的改进。lbp利用每个像素及其半径为r的环形邻域上的p个像素点的相互关系来描述图像的纹理。例如lbp算子在一个p＝8,r＝2大小为3x3的像素相邻区域，将产生2的8次方也就是256种可能的纹理编码，存在运算量大和过度匹配的问题。本发明利用积分图快速计算指定像素区域水平、垂直及对角线四个方向的灰度级分布来描述图像的纹理特征，同样的3x3区域共产生2的4次方也就是16种可能的纹理编码，将指定目标区域按此方法进行量化，形成积分纹理直方图。此算子比lbp在精度上没有明显的下降，但具有更快的计算速度。

s3、对所述车牌图片信息进行处理，定位车牌区域并进行字符分割，以及将字符进行归一化处理后组合成一个车牌特征集。

具体的，根据车牌定位的区域将车牌区域分割成单个字符，字符分割采用垂直投影法。由于字符在垂直方向上的投影必然在字符间或字符内的间隙处取得局部最小值的附近，并且这个位置满足牌照的字符书写格式和尺寸限制。利用垂直投影法对复杂环境下的汽车图像中的字符分割有较好的效果。

图像中的车牌字符大小存在较大的差异，统一尺寸有助于字符识别的准确性，提高识别率，从而与模板进行匹配。归一化包括大小归一化及笔画归一化(细化算法)。大小归一化就是对不同大小的字符进行变换，使之成为同一尺寸大小的字符，许多特征就可以用于识别不同字号混排的字符。所有字符归一化后组合成一个车牌特征集。

s4、分别将所述人脸特征集和车牌特征集与预先存储的标准特征集进行比较以确认驾驶员身份和车辆信息，并返回确认结果。

具体的，处理器把处理后得到的人脸特征集和车牌特征集通过通信模块，传输到公安专网的中心服务器，中心服务器根据特征集的类型转发给相应的比对服务器进行人脸比对和车牌识别比对。

人脸特征集和车牌特征集比对总得分为0至100分之间的小数。其中人脸特征集四个部位加权值不一样，其公式如下：

总得分＝eyes*50％+nose*20％+mouth*20％+contour*10％；

其中误识率far与得分的对应关系如下：

总得分＝-12*log10(far)

其中，eyes、nose、mouth、contour分别为双眼、鼻子、嘴唇、下脸轮廓的比对结果得分，far为误识率。

当得分(相似度)大于等于72时，误识率(far)低于百万份之一，因此可以作为判断同一人或同一车牌号码的标准分。

进一步，所述方法进一步包括：预先采集驾驶员的人脸图片信息并组建和预先存储驾驶员的人脸标准特征集，以及预先存储车辆的车牌标准特征集。

进一步，所述方法还包括：预先存储人脸黑名单数据库和车牌黑名单数据库，将所述人脸特征集和车牌特征集与所述人脸黑名单数据库和车牌黑名单数据库进行比较并确认是否为黑名单中的驾驶员和车辆。特征集跟黑名单或者黑车库中所有数据比对完成，如果发现有得分超过标准分，则向公安报警统一接口发送报警信息，然后转入人工接警流程。

根据以上方法，本发明还提供一种基于公安领域的视频分析系统，请参阅图2，包括依次连接的监控设备101、采集装置102、处理器103、通信模块104、服务器105和存储器106，其中：

所述监控设备101用于监测预定区域，并在检测到预定区域存在车辆时，发送检测结果给采集装置102；

所述采集装置102用于在接收到所述检测结果后启动并采集驾驶员的人脸图片信息和车辆的车牌图片信息；

所述处理器103用于对所述人脸图片信息进行部位识别并建立特征模板，以及根据人脸每个部位的特征模板组建人脸特征集；同时，对所述车牌图片信息进行处理，定位车牌区域并进行字符分割，以及将字符进行归一化处理后组合成一个车牌特征集；

所述服务器105用于分别将所述人脸特征集和车牌特征集与预先存储的标准特征集进行比较以确认驾驶员身份和车辆信息，并返回确认结果。

所述存储器106用于预先存储驾驶员的人脸标准特征集和车辆的车牌标准特征集，以及预先存储人脸黑名单数据库和车牌黑名单数据库。

所述通信模块104为3g/4g网络通信模块。

所述对所述人脸图片信息进行部位识别并建立特征模板，进一步包括：对双眼、鼻子、嘴唇、下脸轮廓这四个部位进行识别，并建立每个部位的颜色特征模板、边缘轮廓特征模板和纹理特征模板。

本发明提供的基于公安领域的视频分析系统和方法是基于视频内容结构化开发的图像分析系统，能够实现视频监控信息的全程筛选，防止有用信息的流失，再造了视频监控及研判应用的信息流及业务流，能够有效支撑了公安系统工作机制的转型发展。

人脸识别、车牌识别用的是同一核心算法实现，比单一的实现更具有完整性，比分开的实现更具有高效和速度优势。

基于视频内容结构化分析系统，有效摆脱传统以人力为主的视频监控查看、调阅和研判模式，能够有效整合日常警务工作，形成新的视频监控证据信息流、监控操作及视频研判业务流，创新案事件侦查模式，为各类案件侦查提供新的手段。

以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。