基于监控视频的目标人物识别追踪方法和装置与流程

本发明涉及通信技术领域，特别是指一种基于监控视频的目标人物识别追踪方法和装置。

背景技术：

视频监控是安全防范系统的重要组成部分，一般包括前端摄像机、传输线缆、视频监控平台。目前，视频监控系统能够对重点部门或者场所实现实时监控。由于视频监控系统能够实现对出现的人或者事情进行实时监控，公安、交通、保安或其它部门能够根据视频监控系统采集的图像数据进行现场回放、安全保卫、嫌疑人识别、相关人员追踪等操作。但是，现有的视频监控系统只能采集图像数据，在进行现场回放、安全保卫、嫌疑人识别、相关人员追踪等操作时，仅能够对图像特征进行识别，缺少自动识别、追踪手段。

技术实现要素：

有鉴于此，本发明的目的在于提出一种基于监控视频的目标人物识别追踪方法和装置。

根据本发明的一个方面，提供一种基于监控视频的目标人物识别追踪方法，包括：获取监控装置采集的监控视频图像以及采集所述监控视频图像的第一时间信息；获取wifi热点采集的手机的mac地址信息以及采集所述mac地址信息的第二时间信息；获取拾音设备采集的声音信号数据以及采集所述声音信号数据的第三时间信息；根据所述第一时间信息、所述第二时间信息和所述第三时间信息将所述监控视频图像、所述mac地址信息和所述声音信号数据进行关联；其中，所述监控装置、wifi热点和所述拾音设备设置在相同区域；基于相关联的所述监控视频图像、所述mac地址信息和所述声音信号数据对目标人物进行识别和追踪。

可选地，所述基于相关联的所述监控视频图像、所述mac地址信息和所述声音信号数据对目标人物进行识别和追踪包括：获取与所述mac地址信息相关联的多个监控视频图像；分别获取与所述多个监控视频图像关联的其它mac地址信息，生成与所述多个监控视频图像对应的多个mac地址信息集；计算多个mac地址信息集的交集，从所述交集中选取目标mac地址信息，并获取与所述目标mac地址信息相对应的身份信息。

可选地，确定目标人物的特征，并基于获取多个包含有目标人物的监控视频图像，其中，所述目标人物的特征包括：衣着、身高、性别；分别获取与多个包含有所述目标人物的监控视频图像相关联的mac地址信息，生成多个mac地址信息集；计算多个mac地址信息集的交集，基于选取规则从所述交集中获取目标mac地址信息，并获取与所述目标mac地址信息相对应的身份信息、以及所述多个目标mac地址信息的运行轨迹。

可选地，所述基于相关联的所述监控视频图像、所述mac地址信息和所述声音信号数据对目标人物进行识别和追踪包括：基于所述监控视频图像和所述mac地址信息的关联关系判断是否有异常mac地址信息以及对应的异常人物，如果有，则发出警报；其中，判断是否有异常mac地址信息的规则包括：是否有在设定的区域内出现的频率大于频率阈值的mac地址信息、是否为黑名单中的mac地址信息；所述设定的区域包括：银行、商场、车站。

可选地，根据所述mac地址信息从运营商客户系统中获取身份信息，所述身份信息包括：性别、年龄、身高；基于所述身份信息在所述监控视频图像中定位出与所述mac地址信息对应的目标人物。

可选地，获取与所述监控视频图像相关联的声音信号数据，从所述声音信号数据中提取声纹特征向量，计算所述声纹特征向量与预设的声纹库中存储的声纹数据之间的声纹相似度，如果所述声纹相似度大于设置的阈值，则获取声纹数据所对应的身份信息；和/或，判断所述监控视频图像中是否存在人脸，如果是，则从所述监控视频图像中提取人脸图像并和预设的人脸库中存储的人脸图像样本进行对比，如果比对成功，则获取人脸图像样本所对应的身份信息；基于所述身份信息在所述监控视频图像中定位出与所述mac地址信息对应的目标人物。

可选地，确定在同一时段内，相邻的多个wifi热点接收所述手机发送的wifi信号探测包，所述探测包包括：所述mac地址信息、手机无线信号发射强度rssi；根据所述rssi确定所述手机与各个wifi热点的距离；通过所述多个wifi热点的坐标以及所述手机与所述多个wifi热点的各自距离，计算所述手机的位置坐标信息；基于所述位置坐标信息在所述电子地图上显示所述手机的位置。

根据本发明的另一方面，提供一种基于监控视频的目标人物识别追踪装置，包括：视频获取模块，用于获取监控装置采集的监控视频图像以及采集所述监控视频图像的第一时间信息；mac地址获取模块，用于获取wifi热点采集的手机的mac地址信息以及采集所述mac地址的第二时间信息；声音信号获取模块，用于获取拾音设备采集的声音信号数据以及采集所述声音信号数据的第三时间信息；信息关联模块，用于根据所述第一时间信息、所述第二时间信息和所述第三时间信息将所述监控视频图像、所述mac地址信息和所述声音信号数据进行关联；其中，所述监控装置、wifi热点和所述拾音设备设置在相同区域；识别追踪模块，用于基于相关联的所述监控视频图像、所述mac地址信息和所述声音信号数据对目标人物进行识别和追踪。

可选地，所述识别追踪模块，包括：目标身份确认单元，用于获取与所述mac地址信息相关联的多个监控视频图像；分别获取与所述多个监控视频图像关联的其它mac地址信息，生成与所述多个监控视频图像对应的多个mac地址信息集；计算多个mac地址信息集的交集，从所述交集中选取目标mac地址信息，并获取与所述目标mac地址信息相对应的身份信息。

可选地，所述识别追踪模块，包括：目标轨迹确认单元，用于确定目标人物的特征，并基于获取多个包含有目标人物的监控视频图像，其中，所述目标人物的特征包括：衣着、身高、性别；分别获取与多个包含有所述目标人物的监控视频图像相关联的mac地址信息，生成多个mac地址信息集；计算多个mac地址信息集的交集，基于选取规则从所述交集中获取目标mac地址信息，并获取与所述目标mac地址信息相对应的身份信息、以及所述多个目标mac地址信息的运行轨迹。

可选地，所述识别追踪模块，包括：异常人物确定单元，用于基于所述监控视频图像和所述mac地址信息的关联关系判断是否有异常mac地址信息以及对应的异常人物，如果有，则发出警报；其中，判断是否有异常mac地址信息的规则包括：是否有在设定的区域内出现的频率大于频率阈值的mac地址信息、是否为黑名单中的mac地址信息；所述设定的区域包括：银行、商场、车站。

可选地，所述识别追踪模块，包括：目标定位单元，用于根据所述mac地址信息从运营商客户系统中获取身份信息，所述身份信息包括：性别、年龄、身高；基于所述身份信息在所述监控视频图像中定位出与所述mac地址信息对应的目标人物。

可选地，所述目标定位单元，用于获取与所述监控视频图像相关联的声音信号数据，从所述声音信号数据中提取声纹特征向量，计算所述声纹特征向量与预设的声纹库中存储的声纹数据之间的声纹相似度，如果所述声纹相似度大于设置的阈值，则获取声纹数据所对应的身份信息；和/或，判断所述监控视频图像中是否存在人脸，如果是，则从所述监控视频图像中提取人脸图像并和预设的人脸库中存储的人脸图像样本进行对比，如果比对成功，则获取人脸图像样本所对应的身份信息；基于所述身份信息在所述监控视频图像中定位出与所述mac地址信息对应的目标人物。

可选地，所述目标定位单元，用于确定在同一时段内，相邻的多个wifi热点接收所述手机发送的wifi信号探测包，所述探测包包括：所述mac地址信息、手机无线信号发射强度rssi；根据所述rssi确定所述手机与各个wifi热点的距离；通过所述多个wifi热点的坐标以及所述手机与所述多个wifi热点的各自距离，计算所述手机的位置坐标信息；基于所述位置坐标信息在所述电子地图上显示所述手机的位置。

根据本发明的又一方面，提供一种基于监控视频的目标人物识别追踪装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如上所述的基于监控视频的目标人物识别追踪方法。

根据本发明的再一方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如上所述的基于监控视频的目标人物识别追踪方法。

本发明的基于监控视频的目标人物识别追踪方法和装置，将监控视频图像、mac地址信息和声音信号数据进行关联，用于对目标人物进行识别、追踪，提供了对目标人物的自动识别、追踪方式，提高了对目标人物识别、追踪的效率和准确率，可以为公安、安保人员等快速寻找嫌疑人员提供帮助。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明的基于监控视频的目标人物识别追踪方法的一个实施例的流程示意图；

图2为根据本发明的基于监控视频的目标人物识别追踪装置的一个实施例的模块示意图；

图3为根据本发明的基于监控视频的目标人物识别追踪装置的一个实施例中的识别追踪模块的模块示意图；

图4为本发明的基于监控视频的目标人物识别追踪装置的另一个实施例的模块示意图。

具体实施方式

下面参照附图对本发明进行更全面的描述，其中说明本发明的示例性实施例。下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。下面结合各个图和实施例对本发明的技术方案进行多方面的描述。

本发明中的“第一”、“第二”等仅用于描述上相区别，并没有其它特殊的含义。

图1为根据本发明的基于监控视频的目标人物识别追踪方法的一个实施例的流程示意图，如图1所示：

步骤101，获取监控装置采集的监控视频图像以及采集监控视频图像的第一时间信息。监控装置可以为摄像头等，摄像头可以采集视频文件并上传服务器。

步骤102，获取wifi热点采集的手机的mac地址信息以及采集mac地址信息的第二时间信息。

wifi热点可以为无线路由器，手机可以为智能手机等，mac地址又称为物理地址、硬件地址，用来定义网络设备的位置，它由一串英文加数字的字符串组成，并具有全球唯一性。手机的mac地址就是手机的网卡地址。

步骤103，获取拾音设备采集的声音信号数据以及采集声音信号数据的第三时间信息。拾音设备为麦克风等。

步骤104，根据第一时间信息、第二时间信息和第三时间信息将监控视频图像、mac地址信息和声音信号数据进行关联。

监控装置、wifi热点和拾音设备设置在相同区域，即安装的位置较近，监控或作用的范围基本相同。例如述监控装置、wifi热点和拾音设备设置都安装在车站广场上的一个固定位置。监控视频图像、mac地址信息和声音信号数据可以由监控装置、wifi热点和拾音设备周期性上传后台服务器。

如果第一时间信息、第二时间信息和第三时间信息所表示的时间相同，或相差的间隔在设定的时间差范围内，例如时间差为2秒等，则将监控视频图像、mac地址信息和声音信号数据进行关联，生成关联文件并在后台服务器上存储。关联文件可以为多种，例如为xml文件等。

步骤105，基于相关联的监控视频图像、mac地址信息和声音信号数据对目标人物进行识别和追踪。

对目标人物进行识别和追踪可以有多种应用方法。在一个实施例中，获取与mac地址信息相关联的多个监控视频图像，分别获取与多个监控视频图像关联的其它mac地址信息，生成与多个监控视频图像对应的多个mac地址信息集。计算多个mac地址信息集的交集，从交集中选取目标mac地址信息，并获取与目标mac地址信息相对应的身份信息。

例如，公安机关调查一起盗窃案件，公安人员已经获取了一个嫌疑人的手机信息，知道了手机的mac地址。公安人员调用后台服务器上存储的关联文件，以mac地址为入口进行检索，获取与嫌疑人手机的mac地址相关联的多个监控视频图像。

基于检索出的多个监控视频图像，继续调用后台服务器上存储的关联文件进行检索，分别获取与多个监控视频图像关联的其它mac地址，即获取了每个监控视频图像中的各个人物所携带的手机的mac地址，能够获取与嫌疑人在同一地方出现的其他人的mac地址。

生成与多个监控视频图像对应的多个mac地址信息集，计算多个mac地址信息集的交集，从交集中选取目标mac地址。通过取交集的运算能够得到与嫌疑人联系紧密的其他人，能够找到嫌疑人同伙、受害者、证人等。通过运营商的客户信息可以获取与嫌疑人同伙、受害者、证人等携带的手机的mac地址相对应的身份信息，即可获取嫌疑人同伙、受害者、证人等的身份。

在一个实施例中，确定目标人物的特征，获取多个包含有目标人物的监控视频图像，目标人物的特征包括：衣着、身高、性别等。分别获取与多个包含有目标人物的监控视频图像相关联的mac地址信息，生成多个mac地址信息集。计算多个mac地址信息集的交集，基于选取规则从交集中选取目标mac地址信息，并获取与目标mac地址信息相对应的身份信息、以及多个目标mac地址信息的运行轨迹。

例如，公安机关调查一起盗窃案件，根据群众、受害者提供的信息确定有3个嫌疑人，并初步确认了3个犯罪嫌疑人的特征，例如衣着、身高、性别等。根据嫌疑人的特征从后台服务器中搜索出多个包含犯罪嫌疑人的特征的监控视频图像。

利用监控视频图像和mac地址的关联，确定每一个监控视频图像中包含的mac地址信息集，计算多个mac地址信息集的交集。由于犯罪嫌疑人的特征并不太明确，在从后台服务器中搜索出多个包含犯罪嫌疑人的特征的监控视频图像时，可能会选出包含有特征与嫌疑人相同的其它人的监控视频图像，则交集中的mac地址信息可能小于2。从交集中选取目标mac地址信息，选取规则可以是在交集中选取一个或几个mac地址信息作为目标mac地址信息，或者选择不在交集中的，但是出现频率最高的mac地址信息作为目标mac地址信息。获取与目标mac地址信息相对应的身份信息，并根据选出的监控视频图像以及多个目标mac地址信息，计算出多个目标mac地址信息的运行轨迹。可以得到嫌疑人的运动轨迹。

在一个实施例中，基于监控视频图像和mac地址信息的关联关系判断是否有异常mac地址信息以及对应的异常人物，如果有，则发出警报。判断是否有异常mac地址信息的规则包括：是否有在设定的区域内出现的频率大于频率阈值的mac地址信息、是否为黑名单中的mac地址信息等。设定的区域包括：银行、商场、车站等。

例如，银行的安保部门基于后台服务器中存储的关联文件发现一个mac地址在2天内在某银行网点内出现的次数非常高，则确定此mac地址为异常mac地址信息，并基于此mac地址信息确定异常人物的身份信息，进行安全调查。基于监控视频图像和mac地址信息的关联关系判断是否有异常mac地址信息以及对应的异常人物可以由系统自动完成。

可以有多种方法获取mac地址对应的身份信息。例如，根据mac地址信息从运营商客户系统中获取身份信息，身份信息包括：性别、年龄、身高等。基于身份信息在监控视频图像中定位出与mac地址信息对应的目标人物。例如，在监控视频图像中基于身份信息定位出嫌疑人，能够获取清晰的图像。

声纹识别是生物识别技术的一种，也称为说话人识别，有两类，即说话人辨认和说话人确认。缩小刑侦范围时可能需要辨认技术，而银行交易时则需要确认技术。声纹识别就是把声信号转换成电信号，再用计算机进行识别。

获取与监控视频图像相关联的声音信号数据，从声音信号数据中提取声纹特征向量，计算声纹特征向量与预设的声纹库中存储的声纹数据之间的声纹相似度，如果声纹相似度大于设置的阈值，则获取声纹数据所对应的身份信息。预设的声纹库中存储的声纹数据可以为犯罪嫌疑人的声纹数据，犯罪嫌疑人的声纹数据对应设置有身份信息。

人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术，自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部的一系列相关技术，通常也叫做人像识别、面部识别。

判断监控视频图像中是否存在人脸，如果是，则从监控视频图像中提取人脸图像并和预设的人脸库中存储的人脸图像样本进行对比，如果比对成功，则获取人脸图像样本所对应的身份信息。人脸的识别算法可以为多种算法。预设的人脸库中存储的人脸图像样本可以为犯罪嫌疑人的人脸图像样本，犯罪嫌疑人的人脸图像样本对应设置有身份信息。

在一个实施例中，确定在同一时段内，相邻的多个wifi热点接收手机发送的wifi信号探测包，探测包包括：mac地址信息、手机无线信号发射强度rssi等。根据rssi确定手机与各个wifi热点的距离，通过多个wifi热点的坐标以及手机与多个wifi热点的各自距离，计算手机的位置坐标信息，基于位置坐标信息在电子地图上显示手机的位置。

基于wifi热点的位置信息以及手机与wifi信号热点之间距离，进行实时定位。如果大厅的面积不是很大，且对wifi热点的干扰较少的情况下，最少2个wifi热点即可实现对手机的定位。而对于大厅的面积很大的情况下，通常需要进行3维的空间定位，此时，最少需要分布在不同高度上的3个wifi热点来实现空间定位。

上述实施例中的基于监控视频的目标人物识别追踪方法，将监控视频图像、mac地址信息和声音信号数据进行关联，提供了对目标人物的自动识别、追踪方式，提高了对目标人物识别、追踪的效率和准确率，可以为公安、安保人员等快速寻找嫌疑人员提供帮助。

如图2所示，本发明提供一种基于监控视频的目标人物识别追踪装置20，包括：视频获取模块21、mac地址获取模块22、声音信号获取模块23、信息关联模块24和识别追踪模块。视频获取模块21获取监控装置采集的监控视频图像以及采集监控视频图像的第一时间信息。mac地址获取模块22获取wifi热点采集的手机的mac地址信息以及采集mac地址的第二时间信息。声音信号获取模块23获取拾音设备采集的声音信号数据以及采集声音信号数据的第三时间信息。信息关联模块24根据第一时间信息、第二时间信息和第三时间信息将监控视频图像、mac地址信息和声音信号数据进行关联。监控装置、wifi热点和拾音设备设置在相同区域。识别追踪模块25基于相关联的监控视频图像、mac地址信息和声音信号数据对目标人物进行识别和追踪。

如图3所示，识别追踪模块25包括：目标身份确认单元251、目标轨迹确认单元252、异常人物确定单元253和目标定位单元254。目标身份确认单元251获取与mac地址信息相关联的多个监控视频图像，分别获取与多个监控视频图像关联的其它mac地址信息，生成与多个监控视频图像对应的多个mac地址信息集。目标身份确认单元251计算多个mac地址信息集的交集，从交集中选取目标mac地址信息，并获取与目标mac地址信息相对应的身份信息。

目标轨迹确认单元252确定目标人物的特征并获取多个包含有目标人物的监控视频图像，目标人物的特征包括：衣着、身高、性别等。目标轨迹确认单元252分别获取与多个包含有目标人物的监控视频图像相关联的mac地址信息，生成多个mac地址信息集。目标轨迹确认单元252计算多个mac地址信息集的交集，基于选取规则从交集中选取目标mac地址信息，并获取与目标mac地址信息相对应的身份信息、以及多个目标mac地址信息的运行轨迹。

异常人物确定单元253基于监控视频图像和mac地址信息的关联关系判断是否有异常mac地址信息以及对应的异常人物，如果有，则发出警报。判断是否有异常mac地址信息的规则包括：是否有在设定的区域内出现的频率大于频率阈值的mac地址信息、是否为黑名单中的mac地址信息等。设定的区域包括：银行、商场、车站等。

目标定位单元254根据mac地址信息从运营商客户系统中获取身份信息，身份信息包括：性别、年龄、身高等，基于身份信息在监控视频图像中定位出与mac地址信息对应的目标人物。

目标定位单元254获取与监控视频图像相关联的声音信号数据，从声音信号数据中提取声纹特征向量，计算声纹特征向量与预设的声纹库中存储的声纹数据之间的声纹相似度，如果声纹相似度大于设置的阈值，则获取声纹数据所对应的身份信息。

目标定位单元254判断监控视频图像中是否存在人脸，如果是，则从监控视频图像中提取人脸图像并和预设的人脸库中存储的人脸图像样本进行对比，如果比对成功，则获取人脸图像样本所对应的身份信息。目标定位单元254基于身份信息在监控视频图像中定位出与mac地址信息对应的目标人物。

目标定位单元254确定在同一时段内，相邻的多个wifi热点接收手机发送的wifi信号探测包，探测包包括：mac地址信息、手机无线信号发射强度rssi。目标定位单元254根据rssi确定手机与各个wifi热点的距离，通过多个wifi热点的坐标以及手机与多个wifi热点的各自距离，计算手机的位置坐标信息；基于位置坐标信息在电子地图上显示手机的位置。

图4为根据本发明的基于监控视频的目标人物识别追踪装置的另一个实施例的模块示意图。如图4所示，该装置可包括存储器41、处理器42、通信接口43以及总线44。存储器41用于存储指令，处理器42耦合到存储器41，处理器42被配置为基于存储器41存储的指令执行实现上述的基于监控视频的目标人物识别追踪方法。

存储器41可以为高速ram存储器、非易失性存储器(non-volatilememory)等，存储器41也可以是存储器阵列。处理器42可以为中央处理器cpu，或是被配置成实施本发明的基于监控视频的目标人物识别追踪的一个或多个集成电路。

在一个实施例中，本发明提供一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如上任一个实施例中的基于监控视频的目标人物识别追踪。

上述实施例中的基于监控视频的目标人物识别追踪方法、装置以及存储介质，将监控视频图像、mac地址信息和声音信号数据进行关联，对目标人物进行识别、追踪，提供了对目标人物的自动识别、追踪方式，提高了对目标人物识别、追踪的效率和准确率，可以为公安、安保人员等快速寻找嫌疑人员提供帮助。

可能以许多方式来实现本发明的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和系统。用于方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。