驻车多维信息感知应用系统及方法与流程

本发明涉及信息技术、网络技术在刑侦破坏中的应用，具体来说涉及一种驻车多维信息感知应用系统及方法。

背景技术：

近年来，随着信息技术、网络技术的迅猛发展，特别是科技强警示范城市工作的开展，全国各地视频监控系统、电子警察系统、治安卡口系统的发展非常迅速，在基层公安机关打击、预防违法犯罪方面起到了良好的作用。中国当前正处于城镇化发展的快速阶段，人民生活水平显著提高，城市车辆保有量快速爬升，车辆在人民日常生活当中发挥着越来越重要的作用。随着车辆识别技术的成熟，基于车辆的智能化应用在各个行业也稳步发展，尤其在公安行业发展更为迅速。人、车、案件是公安行业在刑侦破案当中的三要素，大部分案件都有涉案车辆出现，车辆往往成为案件侦破的突破口，所以车辆的监控尤为重要。考虑到城市内各类停车场车流量比较大，适合公安系统布设车辆信息采集设备，因此，可利用各停车场车布设的车辆信息采集设备，来提高城市车辆监控密度，补充电子警察和城市卡口监控的盲区。

技术实现要素：

本发明的目的是提供一种可实现人车高效监控的驻车多维信息感知应用系统及方法，可用于协助刑侦破案。

本发明提供的一种驻车多维信息感知应用系统，包括前端设备和后台处理器；

所述前端设备至少包括车辆信息采集设备、人像识别设备、mac码信息采集设备mac码信息采集设备；

车辆信息采集设备，用来抓拍并识别拍摄范围内行驶车辆的车辆图像，将车辆图像和识别出的车辆结构化信息与拍摄时的时空信息关联后，实时上传给后台处理器；

所述车辆结构化信息包括车辆的车牌号、品牌、年款、颜色以及车牌颜色中的至少一种；

人像识别设备，用来采集并识别拍摄范围内的人脸图像，将识别出的人员信息与拍摄时的时空信息关联后，实时上传给后台处理器；

mac码信息采集设备mac码信息采集设备，用来采集并识别探测范围内移动终端设备的mac码信息，mac码信息与探测到移动终端设备的时间关联后，实时上传给后台处理器；所述mac码信息包括手机号码、imsi、imei、wifi的mac地址；

所述后台处理器，用来接收给定的时间和/或空间范围，并对给定的时间和/或空间范围内的车辆结构化信息、人员信息、mac码信息做如下融合处理：

（1）根据时空信息，对车辆结构化信息、人员信息、mac码信息进行匹配，将时空信息一致的车辆结构化信息、人员信息、mac码信息进行关联；

（2）根据指定车辆的车辆结构化信息或指定人员的人员信息的时空信息，在gis地图对应位置处进行标识，按时间顺序连接标识点，即指定车辆或指定人员活动的轨迹图；

（3）根据指定车辆关联人员信息或指定人员关联车辆结构化信息的时空信息，在gis地图对应位置处进行标识，按时间顺序连接标识点，即指定人员或指定车辆活动的轨迹图；

（4）将指定人员关联的mac码信息中mac地址与gis地图上位置匹配，在匹配位置进行标识，按时间顺序连接各标识点，形成mac地址的轨迹图；

（5）将（2）、（3）、（4）的轨迹图在gis地图上叠加，采用mac地址的轨迹图修

正指定人员的轨迹图。

进一步的，车辆信息采集设备包括拍摄单元和车辆信息识别单元，其中：

拍摄单元，用来同时采集拍摄范围内行驶车辆前方、后方和侧方的视频图像，并将视频图像传输给车辆信息识别单元；

车辆信息识别单元进一步包括定位抓拍模块和车辆结构化识别模块；

所述定位抓拍模块，用来对视频图像进行车辆目标定位抓拍，并本地存储抓拍的车辆图像；

所述车辆结构化识别模块，用来根据抓拍的车辆图像，识别并本地存储车辆结构化信息；

抓拍的车辆图像和识别的车辆结构化信息与时间信息、位置信息关联后，实时上传给后台处理器。

作为优选，抓拍的车辆图像至少包括车辆车牌图像和车辆全景图像。

进一步的，人像识别设备包括人脸拍摄单元和人脸识别单元，其中：

人脸拍摄单元，用来采集拍摄范围内人脸图像；

人脸识别单元，用来将人脸图像与公安部门人口库进行比对，以识别人员信息，将人员信息与时间信息、位置信息关联后，实时上传给后台处理器。

进一步的，人脸图像包括行驶车辆驾驶位和副驾驶位的人脸图像。

作为优选，在居住场所、商业场所、休闲娱乐场所、医院、学校、停车场布设前端设备，获得城市前端设备布控网。

本发明提供的一种驻车多维信息感知应用方法，用来对给定的时间和/或空间范围内带时空信息的车辆结构化信息、人员信息、mac码信息进行融合，具体包括步骤：

（1）根据时空信息，对车辆结构化信息、人员信息、mac地址进行匹配，将时空信息一致的车辆结构化信息、人员信息、mac地址进行关联；

（2）根据指定车辆的车辆结构化信息或指定人员的人员信息的时空信息，在gis地图对应位置处进行标识，按时间顺序连接标识点，即指定车辆或指定人员活动的轨迹图；

（3）根据指定车辆关联人员信息或指定人员关联车辆结构化信息的时空信息，在gis地图对应位置处进行标识，按时间顺序连接标识点，即指定人员或指定车辆活动的轨迹图；

（4）将指定人员关联的mac码信息中mac地址与gis地图上位置匹配，在匹配位置进行标识，按时间顺序连接各标识点，形成mac地址的轨迹图；

（5）将（2）、（3）、（4）的轨迹图在gis地图上叠加，采用mac地址的轨迹图修

正指定人员的轨迹图。

和现有技术相比，本发明具有如下优点和有益效果：

（1）本发明分别采用车辆信息采集设备、人像识别设备、mac码信息采集设备来采集多维信息，并通过将多维信息与gis地图融合，来获取指定车辆（例如嫌疑车辆）或指定人员（例如嫌疑人）在指定时间或指定范围的活动轨迹。公安工作人员可通过分析活动轨迹来追踪并定位指定车辆或指定人员的行踪，从而进行抓捕。

（2）本发明系统可直接利用或改善城市已布设的监控设备，实施方便；还可与现有的平安城市监控系统对接，以扩展功能。

（3）本发明系统适用任何环境，对各类实时信息进行实时融合，具有实时性，可提高公安工作人员的工作效率。

附图说明

图1为本发明系统的一种具体架构图；

图2为采用本发明方法获得的嫌疑车辆活动轨迹图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合将附图和具体实施方式对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参见图1，所示为本发明系统的结构架构图，包括前端设备和后台处理器。前端设备至少包括前端布署的车辆信息采集设备、人像识别设备、mac码信息采集设备，后台处理器用来将前端设备输出的时空关联的多维信息源与gis地图融合，并在gis地图相应位置进行标识，从而获得指定车辆或指定人员在gis地图的活动轨迹。所述时空关联的多维信息源，指多维信息源与信息获取时的时间、位置关联。

下面将对本发明系统的各部分分别进行详细描述。

一、车辆信息采集设备

车辆信息采集设备采用驻车信息采集结构化仪，主要包括拍摄单元和车辆信息识别单元，拍摄单元用来拍摄行驶车辆的视频图像，并将视频图像传输给车辆信息识别单元。拍摄单元一般布设于停车场出入口、住宅小区出入口及停车场场内其他布设点。拍摄单元应全方位布设，以便拍摄到行驶车辆前方、后方和侧方的车辆视频图像。拍摄的车辆视频图像传输给车辆信息识别单元进行识别处理。

车辆信息识别单元进一步包括定位抓拍模块和车辆结构化识别模块。定位抓拍模块用来对视频图像进行车辆目标定位、跟踪和抓拍，并本地存储抓拍的车辆图像，抓拍的车辆图像应至少包括车辆车牌图像和车辆全景图像。由于车辆行驶过程中定位抓拍模块持续进行抓拍定位，所以一种优选方案是，自动筛选最清晰的一车辆车牌图像和一车辆全景图像进行本地存储。车辆结构化识别模块用来根据抓拍的车辆图像，识别并本地存储车辆结构化信息，所述车辆结构化信息包括车辆的车牌号、品牌、年款、颜色以及车牌颜色。另外，车辆信息识别单元还将抓拍的车辆图像、以及提取的车辆结构化信息与时间信息、位置信息关联后，实时发送给后台处理器。时间信息由车辆信息采集设备自带的时钟芯片提供，为车辆图像抓拍时间；由于车辆信息采集设备位置固定不变，车辆信息采集设备的位置即抓拍车辆的位置信息。

车牌号的识别过程主要包括车牌定位和字符识别两大部分。其中，车牌定位又进一步包括车牌图像的预处理及边缘提取、车牌的定位及字符切割，预处理包括对车牌图像进行转换，以突显车牌区域。边缘提取指提取局部亮度变化显著的图像部分，为了更好的进行边缘提取，应提前对车牌图像进行增强对照度，增强对照度的方法可以采用灰度线性变换法、图象平滑处理法等。车牌图像经处理后，采用经典特征提取算子，例如roberts算子，即可提取边缘。车牌定位指在车牌图像的灰度图像中确定车牌的详细位置，字符切割是指将包括车牌字符的子图像切割出来。

字符识别又进一步包括字符区域切割、特征提取、字符识别。字符识别经典算法很多，例如基于模板匹配的ocr算法，基于人工神经网络的ocr算法。基于模板匹配的ocr算法的基本过程是：首先，对待识别字符进行二值化并将缩放为字符数据库中模板的大小；然后，将待识别字符与字符数据库中模板进行匹配；最后，最佳匹配的字符即识别出的字符。

基于人工神经网络的ocr算法主要有两类：一类方法是先对待识别字符进行特征提取，然后利用提取的特征来训练神经网络分类器。另一类方法则充分利用神经网络的特点，直接把待识别字符图像输入网络，由网络自己主动实现特征提取直至识别。

车辆信息采集设备的工作过程为：

（1）当行驶的车辆进入拍摄单元的拍摄范围内，车辆信息采集设备被触发，唤醒设于车辆前方、后方和侧面的拍摄单元在同一时刻拍摄车辆图像视频。

（2）车辆图像视频传输至车辆图像视频，定位抓拍模块对车辆图像视频进行定位抓拍，获取车辆图像，车辆结构化识别模块从车辆图像中识别出车辆结构化信息。

（3）抓拍的车辆图像、以及提取的车辆结构化信息存储于本地，同时实时发送给后台处理器。具体来说，可通过有线传输、无线传输、wifi传输、3g/4g传输等通讯信道向后台处理器传输数据。

对于电动车辆，充电过程中往往需要长时间停留，该过程中车辆视频图像中车辆也将长时间静止不动，这就要求车辆信息采集设备能自动过滤重复图像，以避免数据冗余。

二、人像识别设备

人像识别设备主要包括人脸拍摄单元和人脸识别单元，人脸拍摄单元和车辆信息采集设备的拍摄单元可以采用相同或不同的拍摄设备。人脸拍摄单元用来采集行程车辆内驾驶位和副驾驶位的人脸图像，人脸识别单元用来将采集的人脸图像与公安部门的人口库进行比对，以识别人员信息，人员信息包括但不限于性别，年龄，身高，外貌，是否为在逃人员；将识别出的人员信息与时间信息、位置信息关联后，实时上传给后台处理器。时间信息由人像识别设备自带的时钟芯片提供，为拍摄人脸图像的时间；由于人像识别设备位置保持不便，人像识别设备的位置也即人员的位置信息。

人像识别设备基于人像识别技术实现，人像识别技术一般包括人脸检测、关键点检测、人脸规整、特征提取、人脸识别比对五个大的步骤。其中，人脸检测、关键点检测与人脸规整为预处理流程，目的是将一张人像中的人脸图像提取并处理成规范的人脸图像，以便后期处理。特征提取是对人脸图像进行深层描述，人脸识别比对即所提取特征的比对。特征提取的一种具体方式为：从人脸图像提取人脸的边缘特征，将边缘特征组合成能表达整张人脸的特征。将人脸图像和人口库中图像映射到同一特征空间进步比较，以对人脸图像进行识别。

三、mac码信息采集设备mac码信息采集设备

mac码信息采集设备mac码信息采集设备采用wifi探针，用来采集周边区域已开启wifi的移动终端设备的wifi信息并识别手机号码、imsi、imei、wifi的mac地址等mac码信息。imei是与手机号码绑定的数据，可用于区别移动用户的有效信息；imsi是与手机卡绑定的数据，可用于区别移动终端设备，通过对mac码信息采集设备采集数据进行识别，即可获得手机号码、imsi、imei、wifi的mac地址等信息。

本发明利用mac码信息采集设备mac码信息采集设备获取行驶车辆上或行人所携带的移动终端设备mac地址，并将mac地址与时间信息关联后，实时上传给后台处理器。时间信息由mac码信息采集设备自带的时钟芯片提供，为探测到wifi信息的时间。

四、后台处理器

本发明前端布署的车辆信息采集设备、人像识别设备、mac码信息采集设备，在各自采集一维信息的同时，还对所采集的一维信息进行识别处理，将一部分数据处理工作放到了前端设备，以减少后台处理器的计算压力。后台处理器用来将车辆信息采集设备、人像识别设备、mac码信息采集设备传输的信息与gis地图融合，获得特定车辆和/或特定人员在gis地图上的活动轨迹。

数据融合可采取时空碰撞形式呈现。所述时空碰撞指根据嫌疑车辆或嫌疑人的至少一项信息，进行数据碰撞关联，从而获取嫌疑车辆或嫌疑人的多维信息。例如，在不确定嫌疑车辆车牌号的前提下，通过设定的时间和空间条件来过滤车辆，从而确定嫌疑车辆。嫌疑车辆的确定方法具体为：根据案发时间地点，确定时间范围和位置范围，搜索时间范围和位置范围内的所有车辆结构化信息，提取出车辆结构化信息中的车牌号，即嫌疑车辆的车牌号。由于嫌疑车辆的车辆结构化信息与时空信息关联，根据嫌疑车辆的车辆结构化信息所关联的时空信息，在gis地图对应时空点处进行标识，并按时间顺序连接标识点，即嫌疑车辆的活动轨迹。若锁定了多辆嫌疑车辆，需针对各嫌疑车辆分别融合出活动轨迹。公安通过分析嫌疑车辆的活动轨迹，获取嫌疑车辆的实时位置。

车辆信息采集设备和人像识别设备输出的信息均自带时空信息，根据时空信息对车辆结构化信息和人员信息匹配，将时空信息一致的车辆结构化信息和人员信息关联，表明该人员在该时空条件下为该车辆上人员，若车辆被锁定为嫌疑车辆，则该人员也被锁定为嫌疑人。由于嫌疑人的人员信息也与时空信息关联，根据嫌疑人的人员信息所关联的时空信息，在gis地图对应时空点处进行标识，并按时间顺序连接标识点，即嫌疑人的活动轨迹。

mac地址信息可用于定位，本发明利用mac地址信息进行位置修正。具体来说，将指定时空范围的各mac地址与gis地图上地理位置匹配，并在匹配位置进行标识，按时间顺序连接各标识点，形成基于mac地址的轨迹图。将mac地址的轨迹图与嫌疑车辆的轨迹图、嫌疑人的轨迹图在gis地图上叠加比对。由于移动终端设备一般为嫌疑人随身携带，移动终端设备和嫌疑人显然同位置，则可以利用mac地址的轨迹图修正嫌疑人的轨迹图，以提高定位精确度。轨迹图的修正具体为：将mac地址的轨迹图中轨迹点位置作为嫌疑人的轨迹图中所对应轨迹点的位置修正值，以增加嫌疑人的轨迹图的准确性。这里，对应轨迹点指时间对应的轨迹点，两个互为对应的轨迹点所关联的时间信息应一致。根据最后叠加的嫌疑车辆的和嫌疑人的轨迹图，则可直观了解嫌疑人的上下车位置以及下车后的活动轨迹。

实施例

本实施例为本发明一种具体的扩展应用。

目前的城市监控技术大多用于单一维度数据的简单查询，城市公共安全仍然面临严峻挑战。将本发明系统的前端设备布控于城市的“住、行、吃、消、乐”等具体场景，还可用来感知人车在城市内的活动轨迹，该活动轨迹不仅可以协助公安进行刑侦破案，也可以用于协助相关政府工作人员进行人车管控，从而可进一步可确保城市公共安全；根据该活动轨迹直观获得的城市居民常年累月活动轨迹也可以用于其他用途。

本实施例中，前端设备包括车辆信息采集设备、人像识别设备和mac码信息采集设备，下面将提供前端设备的一种可能的布控方案。

（1）基于“住”的布控方案

将车辆信息采集设备、人像识别设备和mac码信息采集设备布设于各住宅小区的出入口，用来采集进出小区的人员和车辆信息。将人像识别设备和mac码信息采集设备布设于各单元楼出入口处，用来采集出入各单元楼的人员信息。将车辆信息采集设备、人像识别设备和mac码信息采集设备布设于宾馆、酒店内外，用来采集进出宾馆、酒店的人员和车辆的信息。

（2）基于“行”的布控方案

将车辆信息采集设备、人像识别设备和mac码信息采集设备布设于城市道路，并完全覆盖城市道路，用来采集城市道路上过往行人和车辆的信息。将人像识别设备和mac码信息采集设备布设于公共交通车的车门处，用来采集上下公共交通车的人员信息。另外，布设于公共交通车上的前端设备还应集成gps定位设备。

（3）基于“吃、消、乐”的布控方案

在商业场所、休闲场所、医院、学校、公共停车场等出入口布设车辆信息采集设备、人像识别设备和mac码信息采集设备，用来采集进出这些场所的人员和车辆信息。在商业场所、休闲场所、医院、学校等内布设人像识别设备和mac码信息采集设备，用来采集场所内活动人员的信息。对于大型公园广场、景区、商业步行街、会展中心、体育馆等休闲场所，比较场地空旷，且人员复杂，所布设的拍摄单元应采用全景相机。

上述布设完毕，即获得城市前端设备布控网。各前端设备节点将从采集的原始数据中提取有用信息，并将有用信息实时传输给后台处理器。后台处理器将接收的有用信息与gis地图数据融合，即可获得指定人员或指定车辆在gis地图上的活动轨迹图。参加图2，其中黑色曲线为采用本发明系统获得的嫌疑车辆的活动轨迹，从轨迹可以直观获取嫌疑车辆最近时刻的位置信息，从而可对嫌疑车辆进行追捕。

本文中所描述的具体实施例仅仅是对本发明专利精神作举例说明。本发明专利所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明专利的精神或者超越所附权利要求书所定义的范围。