人像识别方法、装置及电子设备与流程

文档序号:16136214发布日期:2018-12-01 01:00阅读:196来源:国知局

本发明实施例涉及计算机技术,尤其涉及一种人像识别方法、装置及电子设备。

背景技术

随着社会的不断发展进步,对公共安全提出了更高的要求。视频智能监控分析技术能够记录和分析公共场所的影像,因此在城市安防等公共安全相关的领域发挥着重要的作用。

现有技术中,视频智能监控分析技术主要使用人脸布控技术。人脸布控技术通过提取监控视频中的人脸特征,并将提取出的特征与目标人脸特征库中的人脸特征进行匹配分析,以确定监控视频中的人脸与目标人脸特征库中的人脸的匹配关系。

但是,使用现有技术的方法对监控设备的要求较高,导致无法进行有效的身份识别。



技术实现要素:

本发明实施例提供一种人像识别方法、装置及电子设备,用于解决现有技术中无法进行有效的身份识别的问题。

本发明实施例第一方面提供一种人像识别方法,包括:

获取第一视频图像中的待识别人体信息;

将所述待识别人体信息与人像关联库中的人体信息进行匹配,确定所述待识别人体信息对应的身份信息;

其中,所述人像关联库用于存储属于同一人的人脸信息、人体信息以及身份信息的关联关系。

结合本发明任一实施例,可选地,所述人像关联库根据人脸信息与人体信息的关联关系进行更新。

结合本发明任一实施例,可选地,所述人像关联库根据人脸信息与人体信息的关联关系进行更新,包括:

根据第二视频图像获取实际人脸跟踪序列以及实际人体跟踪序列,其中,所述实际人脸跟踪序列用于标识所述第二视频图像的帧中的人脸信息,所述实际人体跟踪序列用于标识所述第二视频图像的帧中的人体信息;

根据所述实际人脸跟踪序列以及所述实际人体跟踪序列,确定人脸信息与人体信息的关联关系;

根据所述人脸信息与人体信息的关联关系,更新所述人像关联库。

结合本发明任一实施例,可选地,所述根据所述实际人脸跟踪序列以及所述实际人体跟踪序列,确定人脸信息与人体信息的关联关系,包括:

根据所述实际人脸跟踪序列获取预估人体跟踪序列;

根据所述预估人体跟踪序列以及所述实际人体跟踪序列的相关性得分,确定人脸信息与人体信息的关联关系。

结合本发明任一实施例,可选地,

所述根据所述实际人脸跟踪序列获取预估人体跟踪序列,包括:

获取所述第二视频图像中第一帧中的第一人脸跟踪序列,所述第一人脸跟踪序列为所述实际人脸跟踪序列中的一个;

估算所述第一人脸跟踪序列对应的预估人体跟踪序列。

结合本发明任一实施例,可选地,所述根据所述预估人体跟踪序列以及所述实际人体跟踪序列的相关性得分,确定人脸信息与人体信息的关联关系,包括:

确定所述第一帧中与所述预估人体跟踪序列的相关系数大于第一预设阈值的第一人体跟踪序列,并计算初始得分;

根据所述第一帧之外的至少一帧中与所述第一人体跟踪序列属于同一人的人体跟踪序列以及所述初始得分,进行得分累加,得到所述相关性得分;

若所述相关性得分大于第二预设阈值,则确定所述第一人脸跟踪序列与所述第一人体跟踪序列具有关联关系。

结合本发明任一实施例,可选地,所述相关系数为交叠率。

结合本发明任一实施例,可选地,所述实际人体跟踪序列为图像帧标识、人体图像坐标信息、人体图像宽度信息和人体图像高度信息所组成的五元组。

结合本发明任一实施例,可选地,所述根据所述人脸信息与人体信息的关联关系,更新所述人像关联库,包括:

根据所述人脸信息与所述人像关联库中已存在的人脸信息的匹配程度,确定所述人脸信息所属身份信息;

根据所述人体信息与所述人像关联库中所述人脸信息所属身份信息已关联的人体信息的匹配程度,更新所述人像关联库。

结合本发明任一实施例,可选地,所述根据所述人体信息与所述人像关联库中所述人脸信息所属身份信息已关联的人体信息的匹配程度,更新所述人像关联库,包括:

若所述人体信息与所述人像关联库中所述人脸信息所属身份信息已关联的人体信息的匹配程度小于第三预设阈值,则将所述人脸信息、与所述人脸信息具有关联关系的所述人体信息以及所述人脸信息所在的一帧图像存入所述人像关联库。

本发明实施例第二方面提供一种人像识别装置,包括:

第一获取模块,用于获取第一视频图像中的待识别人体信息;

匹配模块,用于将所述待识别人体信息与人像关联库中的人体信息进行匹配,确定所述待识别人体信息对应的身份信息;

其中,所述人像关联库用于存储属于同一人的人脸信息、人体信息以及身份信息的关联关系。

结合本发明任一实施例,可选地,所述人像关联库根据人脸信息与人体信息的关联关系进行更新。

结合本发明任一实施例,可选地,还包括:

第二获取模块,用于根据第二视频图像获取实际人脸跟踪序列以及实际人体跟踪序列,其中,所述实际人脸跟踪序列用于标识所述第二视频图像的帧中的人脸信息,所述实际人体跟踪序列用于标识所述第二视频图像的帧中的人体信息;

确定模块,用于根据所述实际人脸跟踪序列以及实际所述人体跟踪序列,确定人脸信息与人体信息的关联关系;

更新模块,用于根据所述人脸信息与人体信息的关联关系,更新所述人像关联库。

结合本发明任一实施例,可选地,所述确定模块包括:

获取单元,用于根据所述实际人脸跟踪序列获取预估人体跟踪序列;

确定单元,用于根据所述预估人体跟踪序列以及所述实际人体跟踪序列的相关性得分,确定人脸信息与人体信息的关联关系。

结合本发明任一实施例,可选地,所述获取单元包括:

获取子单元,用于获取所述第二视频图像中第一帧中的第一人脸跟踪序列,所述第一人脸跟踪序列为所述实际人脸跟踪序列中的一个;

估算子单元,用于估算所述第一人脸跟踪序列对应的预估人体跟踪序列。

结合本发明任一实施例,可选地,所述确定单元包括:

第一确定子单元,用于确定所述第一帧中与所述预估人体跟踪序列的相关系数大于第一预设阈值的第一人体跟踪序列,并计算初始得分;

累加子单元,用于根据所述第一帧之外的至少一帧中与所述第一人体跟踪序列属于同一人的人体跟踪序列以及所述初始得分,进行得分累加,得到所述相关性得分;

第二确定子单元,用于在所述相关性得分大于第二预设阈值时,确定所述第一人脸跟踪序列与所述第一人体跟踪序列具有关联关系。

结合本发明任一实施例,可选地,所述相关系数为交叠率。

结合本发明任一实施例,可选地,所述人体跟踪序列为图像帧标识、人体图像坐标信息、人体图像宽度信息和人体图像高度信息所组成的五元组。

结合本发明任一实施例,可选地,所述更新模块包括:

第一确定单元,用于根据所述人脸信息与所述人像关联库中已存在的人脸信息的匹配程度,确定所述人脸信息所属身份信息;

更新单元,用于根据所述人体信息与所述人像关联库中所述人脸信息所属身份信息已关联的人体信息的匹配程度,更新所述人像关联库。

结合本发明任一实施例,可选地,所述更新单元具体用于:

在所述人体信息与所述人像关联库中所述人脸信息所属身份信息已关联的人体信息的匹配程度小于第三预设阈值时,将所述人脸信息、与所述人脸信息具有关联关系的所述人体信息以及所述人脸信息所在的一帧图像存入所述人像关联库。

本发明实施例第三方面提供一种电子设备,包括:

存储器,用于存储程序指令;

处理器,用于调用并执行所述存储器中的程序指令,执行上述第一方面所述的方法步骤。

本发明实施例第四方面提供一种可读存储介质,所述可读存储介质中存储有计算机程序,当人像识别装置的至少一个处理器执行所述计算机程序时,人像识别装置执行上述第一方面所述的人像识别方法。

本发明实施例所提供的人像识别方法、装置及电子设备,基于存储了属于同一人的人脸信息、人体信息以及身份信息的关联关系的人像关联库,使得仅通过人体信息,即可有效确定出人的身份信息。相比于现有技术,本实施例在一些无法获取到清晰人脸特征的场景下仍然能够有效确定出人的身份信息,因此实现了有效的身份识别。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的人像识别方法的实施例一的流程示意图;

图2为人像关联库的存储示意图;

图3为本发明实施例提供的人像识别方法的实施例二的流程示意图;

图4为本发明实施例提供的人像识别方法的实施例三的流程示意图;

图5为本发明实施例提供的人像识别方法的实施例四的流程示意图;

图6为本发明实施例提供的人像识别装置实施例一的模块结构图;

图7为本发明实施例提供的人像识别装置实施例二的模块结构图;

图8为本发明实施例提供的人像识别装置实施例三的模块结构图;

图9为本发明实施例提供的人像识别装置实施例四的模块结构图;

图10为本发明实施例提供的人像识别装置实施例五的模块结构图;

图11为本发明实施例提供的人像识别装置实施例六的模块结构图;

图12为本发明实施例提供的电子设备的实体框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

在现有技术中,人脸布控场景要求较高,而一般的监控摄像头并不能抓拍高质量的人脸图片进行识别,因此,人脸布控的应用场景有限。因此,使用现有的人脸布控技术并不能充分地利用监控信息,导致无法进行有效的身份识别。

本发明实施例基于上述问题,提出一种人像方法,基于包含人脸信息与人体信息的关联关系的人像关联库,使得在人脸无法看到人脸或人脸不够清晰的场景下也能有效进行身份识别。

图1为本发明实施例提供的人像识别方法的实施例一的流程示意图,如图1所示,该方法包括:

s101、获取第一视频图像中的待识别人体信息。

其中,上述第一视频图像具体可以为某些地点的监控视频图像。在一些通过监控视频确认视频中人的身份信息的场景中,可以先锁定监控视频中的某个人,进而,获取锁定的人的人体信息。

可选的,上述人体信息具体可以为第一视频图像中特定一帧中的人体截图,其中,人体信息为完整的人的截图,即从人的头部到脚的范围都会被保存。其中,第一视频图像中特定一帧具体为第一视频图像中质量最好的一帧,例如满足目标人体无遮挡,无截断,无曝光、图像清晰等条件的一帧。

示例性的,确定上述质量最好的一帧的过程可以为:首先通过基于深度神经网络的图像检测模型检测出图像帧中的人体图像,再通过基于核化相关滤波算法(kernelcorrelationfilter,简称kfc)的目标跟踪模型对人体图像进行跟踪,得到多个人体图像,选取其中图像质量最好的一个图像帧。

s102、将上述待识别人体信息与人像关联库中的人像信息进行匹配,确定上述待识别人体信息对应的身份信息。

其中,上述人像关联库用于存储属于同一人的人脸信息、人体信息以及身份信息的关联关系。

当获取到待识别的人像信息后,将待识别的人体信息与人像关联库中的人体信息进行匹配。示例性的,可以通过深度学习模型来提取待识别的人像信息的特征,并与人像关联库中的人像信息进行特征匹配,以确定待识别的人体信息的身份信息。

具体的,首先使用深度学习模型确定人体信息的特征,进而,将该人体信息的特征与人像关联库中已有的人体信息进行特征匹配,如果与人像关联库中某个人体信息b匹配上,则可以确定待识别的人体信息的身份信息即为人体信息b所关联的身份信息。

图2为人像关联库的存储示意图,如图2所示,上述人像关联库用于存储属于同一人的人脸信息、人体信息以及身份信息的关联关系。其中,身份信息可以包括姓名、年龄、职业、住址等,本示例中以姓名作为身份信息的示例。在向人像关联库存入人像信息之后,首先需要存入人的身份信息。示例性的,可以从已有的证件照库中导入证件照图像以及身份信息,例如图2中的“张三的证件照”即为“张三”这个人的证件照图像,“张三”为人的姓名,即身份信息。存入这些信息后,不断对人像关联库进行更新,将在不同时间、地点所获取到的“张三”的人脸信息以及人体信息存入人像关联库中,不断丰富“张三”这个人的人体信息。

需要说明的是,基于本实施例所提出的人像关联库,同样也可以进行人脸的身份识别。

具体的,如果待识别的是人脸信息,则首先使用深度学习模型确定人脸信息的特征,进而,将该人脸信息的特征与人像关联库中已有的人脸信息进行特征匹配,如果与人像关联库中某个人脸信息a匹配上,则可以确定待识别的人脸信息的身份信息即为人脸信息a所关联的身份信息。

在具体实施过程中,可以根据需要灵活选择人脸信息或人体信息作为待识别的人像信息。例如,如果第一视频图像中所截取到的人脸都比较清晰,则可以直接使用人脸信息与人像关联库中的人脸信息进行匹配。如果第一视频图像中所截取到的人脸比较模糊,清晰度不够,则可以使用人体信息与人像关联库中的人体信息进行匹配,以确认身份信息。

需要说明的是,如果使用人脸信息与人像关联库中的人像信息进行匹配,具体是将人脸信息与人像关联库中的证件照图片进行匹配,而人像关联库中的与人体信息对应的人脸信息,例如图2中的“张三的人脸1”、“张三的人脸2”和“张三的人脸2”不作为人脸匹配的对象,而是在其他特定的场景下使用。例如,在判断人体信息采集是否正确时可以参考人脸信息来进行判断。

本实施例中,基于存储了属于同一人的人脸信息、人体信息以及身份信息的关联关系的人像关联库,使得仅通过人体信息,即可有效确定出人的身份信息。相比于现有技术,本实施例在一些无法获取到清晰人脸特征的场景下仍然能够有效确定出人的身份信息,因此实现了有效的身份识别。

在上述实施例的基础上,本实施例涉及更新人像关联库的具体过程。

在具体实施过程中,人像关联库需要按照一定的周期进行更新,以使得人像关联库的信息更加丰富有效。

可选的,人像关联库可以根据人脸信息与人体信息的关联关系进行更新。具体的更新过程如下所述。

需要说明的是,下述的人像关联的更新过程,既可以在上述步骤101之前执行,也可以在上述步骤s102之后执行,即可以在使用人像关联库的过程中灵活地进行人像关联库更新。

图3为本发明实施例提供的人像识别方法的实施例二的流程示意图,如图3所示,还包括:

s301、根据第二视频图像获取实际人脸跟踪序列以及实际人体跟踪序列,其中,该实际人脸跟踪序列用于标识该第二视频图像的帧中的人脸信息,该实际人体跟踪序列用于标识该第二视频图像的帧中的人体信息。

其中,上述第二视频图像是用于进行人像关联库更新的视频,例如,上述第二视频图像可以是在火车站入口、十字路口等人员密集地点所采集到的视频图像。在实际实施过程中,可以选择拍摄效果清晰的想摄像头来拍摄第二视频图像,以保证人像关联库中人像信息的可用性。

实际人脸跟踪序列可以用来标识一个特定帧中的人脸信息,实际人体跟踪序列可以用来标识一个特定帧中的人体信息。

可选的,实际人脸跟踪序列和实际人体跟踪序列可以分别使用五元组标识。具体的,五元组可以定义为d=(id,x,y,width,height),以实际人体跟踪序列为例,id表示帧的编号,x,y,width,heigth分别表示人体检测框坐上角横纵坐标以及长宽。

具体执行过程中,可选的,可以首先基于深度神经网络(例如fasterrcnn)训练得到两个图像检测模型分别用于人脸的检测、人体检测,以及两个基于kcf的目标跟踪模型。对于第二视频图像内的每帧图像分别调用上述两个图像检测模型进行检测,得到两个检测结果数组,具体为两个上述的五元组。进而,得到人脸和人体的检测结果后,利用目标跟踪模型对检测结果进行分析,从而得到目标跟踪(轨迹、图像)序列,最终得到实际人脸跟踪序列组和人体跟踪序列组。

其中,所得到的人脸跟踪序列组为多个实际人脸跟踪序列的集合,人脸跟踪序列组中的实际人脸跟踪序列属于同一人。相应的,所得到的人体跟踪序列组为多个实际人体跟踪序列的集合,人体跟踪序列组中的实际人体跟踪序列属于同一人。

可选的,在人脸跟踪序列组中,各实际人脸跟踪序列可以按照id从小到大或从大到小的顺序进行排列。在人体跟踪序列组中,各实际人体跟踪序列也可以按照id从小到大或从大到小的顺序进行排列。

s302、根据上述实际人脸跟踪序列以及上述实际人体跟踪序列,确定人脸信息与人体信息的关联关系。

s303、根据上述人脸信息与人体信息的关联关系,更新上述人像关联库。

当得到一组实际人脸跟踪序列以及一组实际人体跟踪序列之后,可以基于这些信息来确定人脸信息和人体信息的关联关系,并将确定出的关联关系更新进人像关联库。具体过程在下述实施例中详细描述。

本实施例中,按照一定的周期获取第二视频图像,根据第二视频图像得到实际人脸跟踪序列和实际人体跟踪序列,再根据这些信息确定人脸信息和人体信息的关联关系,进而将关联关系保存到人像关联库中以更新人像关联库,从而实现人像关联库的更新。

在上述实施例的基础上,本实施例涉及根据实际人脸跟踪序列和实际人体跟踪序列确定人脸信息和人体信息的关联关系的具体方法。

可选的,在根据实际人脸跟踪序列和实际人体跟踪序列确定人脸信息和人体信息的关联关系时,可以首先根据实际人脸跟踪序列获取预估人体跟踪序列,进而,再根据预估人体跟踪序列和实际人体跟踪序列的相关性得分,确定人脸信息与人体信息的关联关系。

具体的,获取预估人体跟踪序列可以通过下述步骤s401-s402来得到,确定人脸信息和人体信息的关联关系可以通过下述步骤s403-s405来得到。

图4为本发明实施例提供的人像识别方法的实施例三的流程示意图,如图4所示,上述步骤s302具体包括:

s401、获取上述第二视频图像中第一帧中的第一人脸跟踪序列。

其中,上述第一帧具体可以是第二视频图像内的同时存在人脸信息和人体信息的一帧,上述第一人脸跟踪序列可以是属于第一帧的所有实际人脸跟踪序列中的任意一个。

需要说明的是,在具体实施过程,需要对第二视频图像中的所有同时存在人脸信息和人体信息的帧,以及这些帧中的所有人脸跟踪序列都执行一次本实施例的步骤,因此,具体实施过程为循环遍历的执行过程。本实施例为整个循环遍历过程中的一次执行过程。

s402、估算上述第一人脸跟踪序列对应的预估人体跟踪序列。

可选的,对于第一人脸跟踪序列,可以使用上述五元组中的人脸图像坐标信息、人脸图像宽度信息和人脸图像高度信息计算出预估人体跟踪序列。具体的,根据大量的数据统计,人脸信息和人体信息存在如下对应关系:

x3=x1-w3

y3=y1-0.7*h1

w3=3.2*w1

h3=7.7*h1

其中,x3为预估人体信息的左上角的横坐标值,y3为预估人体信息的左上角的纵坐标值,w3为预估人体信息的人体图像宽度,h3为预估人体信息的图像高度,根据上述的对应关系即可得出预估人体跟踪序列。

s403、确定上述第一帧中与上述预估人体跟踪序列的相关系数大于第一预设阈值的第一人体跟踪序列,并计算初始得分。

具体的,在第二视频图像的每帧图像中都可能存在多个人,因此就可能存在多个人体信息,而本步骤中首先需要根据相关系数从第一帧的多个人体跟踪序列中选择一个作为最可能与第一人脸跟踪序列属于一个人,即具有关联关系的人体跟踪序列。

其中,相关系数可以用来标识人脸跟踪序列和人体跟踪序列属于一个人的概率。本实施例中,可选的,相关系数可以为交叠率。

交叠率为两个图像的重合面积与两个图像的总面积的比例。假设上述预估人体跟踪序列对应的人体面积为a,第一帧中某个实际的人体跟踪序列对应的人体面积为b,则交叠率i为:i=a∩b/a∪b。

如果第一帧中某个实际的人体跟踪序列与上述预估人体跟踪序列的交叠率大于第一预设阈值,例如对于0.1,则将该实际的人体跟踪序列作为第一人体跟踪序列。进而,记录一个初始得分,例如为10分。

s404、根据上述第一帧之外的至少一帧中与上述第一人体跟踪序列属于同一人的人体跟踪序列以及上述初始得分,进行得分累加,得到相关性得分。

需要说明的是,具体实施过程中,本步骤也为循环遍历的执行过程。即从第一帧的相邻帧开始,遍历与上述第一人体跟踪序列属于同一人(即属于一个人体跟踪序列组)的人体跟踪序列所在的帧。

具体的执行过程可以为:

a、从与上述第一帧相邻并在先的第二帧开始,逐帧获取与上述第一人体跟踪序列属于同一人的人体跟踪序列。

具体的,由于在一般情况下,距离摄像头越近,所拍摄到的人的图像越清晰,而距离摄像头越近的图像帧对应的时间一般比较靠后,因此选择时间在后的帧作为第一帧,而在本实施例中进行相关性得分计算的过程中,从第一帧的相邻且时间在先的帧开始遍历。

b、逐帧计算中间相关系数及中间得分,该中间相关系数为每帧中与上述第一人体跟踪序列属于同一人的人体跟踪序列与上述预估人体跟踪序列的相关系数。

示例性的,假设第一帧为帧1,在先的帧按照时间由晚到早依次为帧2,帧3,帧4。而在第一人体跟踪序列所在的人体跟踪序列组中,分别存在属于帧2、帧3及帧4的人体跟踪序列2、3、4。

则首先选择属于帧2的人体跟踪序列2,计算这个人体跟踪序列2与帧2中的估算人体跟踪序列的相关系数(帧2中的估算人体跟踪序列的估算方法:确定第一人脸跟踪序列在帧2中对应的人脸跟踪序列,根据该人脸跟踪序列估算帧2中的人体跟踪序列)。进而,如果该相关系数大于第一预设阈值,则在初始得分基础上进行得分累加,得到一个相关性得分,每次所累加的得分都相同,例如都为10分。

需要说明的是,每进行一次得分累加,都执行一次下述步骤s405的判断过程,即判断当前的相关性得分是否已经达到第二预设阈值,例如30分,如果已经达到,则可以确定第一人脸跟踪序列和第一人体跟踪序列具有关联关系,即属于同一人。如果没有达到预设阈值,则继续遍历下一帧。例如在本示例中,通过对帧2进行计算之后,相关性得分并未达到30分,则需要继续选择帧3中的人体跟踪序列3进行相关系数计算。依次类推,直至相关性得分达到30分,或者,与上述第一人体跟踪序列属于同一人的人体跟踪序列所在的帧已经遍历完。

c:计算每帧的中间得分以及上述初始得分的加和,将该加和作为上述相关性得分。

s405、若上述相关性得分大于第二预设阈值,则确定上述第一人脸跟踪序列与上述第一人体跟踪序列具有关联关系。

另一实施例中,在上述步骤s404下的子步骤b中,逐帧计算中间相关系数及中间得分时,以当前帧为上述示例中的帧2为例,可能存在如下情况:

(1)帧2中存在与第一人脸跟踪序列属于同一人的人脸跟踪序列,并且存在与第一人体跟踪序列属于同一人的人体跟踪序列

针对这种情况,按照上述子步骤b的执行过程处理即可,即,

确定第一人脸跟踪序列在帧2中对应的人脸跟踪序列,根据该人脸跟踪序列估算帧2中的人体跟踪序列,进而根据所估算出的人体跟踪序列与帧2中的人体跟踪序列2的交叠率计算中间相关系数以及中间得分。

(2)帧2中仅存在与第一人体跟踪序列属于同一人的人体跟踪序列,不存在与第一人脸跟踪序列属于同一人的人脸跟踪序列

针对这种情况,按照下述执行过程执行:

d、根据上述第一人脸跟踪序列估算上述第二帧中的人脸跟踪序列。

可选的,具体的估算方法可以参照上述步骤s402中的方法,即通过大量数据统计得到人脸信息的坐标、宽度及高度信息。

e、根据估算出的人脸跟踪序列估算上述第二帧中的预估人体跟踪序列。

f、根据估算出的上述第二帧中的预估人体跟踪序列,以及上述第二帧中与上述第一人体跟踪序列属于同一人的人体跟踪序列,确定上述第二帧对应的中间相关系数。

g、根据上述中间相关系数计算中间得分。

上述步骤e-g为根据已知的人脸跟踪序列估算人体跟踪序列,以及根据估算的人体跟踪序列计算相关系数的过程,具体处理可以参照前述实施例,此处不再赘述。

(3)帧2中仅存在与第一人脸跟踪序列属于同一人的人脸跟踪序列,不存在与第一人体跟踪序列属于同一人的人体跟踪序列

(4)帧2中不存在与第一人脸跟踪序列属于同一人的人脸跟踪序列,也不存在与第一人体跟踪序列属于同一人的人体跟踪序列

针对上述(3)和(4)所述的情况,可以认为帧2中没有可以进行关联关系判断的有用信息,需要跳过帧2,继续针对下一帧进行判断处理。

在上述实施例的基础上,本实施例涉及根据所述人脸信息与人体信息的关联关系,更新所述人像关联库的具体方法。

图5为本发明实施例提供的人像识别方法的实施例四的流程示意图,如图5所示,上述步骤s303具体包括:

s501、根据上述人脸信息与上述人像关联库中已存在的人脸信息的匹配程度,确定上述人脸信息所属身份信息。

具体的,本步骤中所述的人像关联库中已存在的人脸信息具体可以指人像关联库中所保存的证件照图像。进而,使用特征匹配的方法对人脸信息与人像关联库中的证件照图像进行匹配,从而确认出人的身份信息。

s502、根据上述人体信息与上述人像关联库中人脸信息所属身份信息已关联的人体信息的匹配程度,更新上述人像关联库。

具体的,如果上述人体信息与人像关联库中上述人脸信息所属身份信息已关联的人体信息的匹配程度小于第三预设阈值,则正常更新上述人像关联库。而如果上述人体信息与人像关联库中上述人脸信息所属身份信息已关联的人体信息的匹配程度大于等于第三预设阈值,则确定不更新上述人像关联库。

例如,如果人像关联库中已经保存了张三穿着某一套衣服的人体信息,而本次所得到的人体信息也是张三穿着该套衣服的人体信息,则两个人体信息的匹配程度会较高,在这种情况下,不会更新上述人像关联库,从而避免人像关联库信息的重复和冗余。

在更新人像关联库时,具体可以是将人脸信息以及关联的人体信息一同存入人像关联库。

另外,在更新人像关联库时,除了将人脸信息和人体信息保存都人像关联库之外,还会将人脸信息和人体信息所在的一阵图像存入人像关联库,以在实际使用过程中作为案件破获、人像识别等场景下的重要参考信息。

除此之外,还可以将拍摄人脸信息时人所在的位置、拍摄时间等信息一通存入人像关联库中。

示例性的,在存入上述信息时,可以通过建立标签的形式来建立。以图2所述的示意图为例,对于“张三”这个人,当向人像关联库中存入张三的新的人脸信息及人体信息时,可以为该人脸信息和人体信息分别加上一个标签,标签的值可以都置为“张三”,以表示该人脸信息为“张三”的人脸,该人体信息为“张三”的人体。

另一实施例中,在上述步骤s102中确定待识别人体信息对应的身份信息时,具体可以为:

若上述待识别人体信息与上述人像关联库中的人像信息的相似度超过第四预设阈值,则确定上述人像关联库中的人像信息所对应的身份信息为上述待识别人体信息的身份信息。

示例性的,假设通过特征比对确定出待识别的人体信息和人像关联库中“张三”这个人的某个人体特征匹配度超过第四预设阈值,则可以确定该人即为张三。即仅通过人体信息的比对即可确定人的真实身份信息。

图6为本发明实施例提供的人像识别装置实施例一的模块结构图,如图6所示,该装置包括:

第一获取模块601,用于获取第一视频图像中的待识别人体信息。

匹配模块602,用于将所述待识别人体信息与人像关联库中的人体信息进行匹配,确定所述待识别人体信息对应的身份信息。

其中,所述人像关联库用于存储属于同一人的人脸信息、人体信息以及身份信息的关联关系。

该装置用于实现前述方法实施例,其实现原理和技术效果类似,此处不再赘述。

另一实施例中,所述人像关联库根据人脸信息与人体信息的关联关系进行更新。

图7为本发明实施例提供的人像识别装置实施例二的模块结构图,如图7所示,该装置还包括:

第二获取模块603,用于根据第二视频图像获取实际人脸跟踪序列以及实际人体跟踪序列,其中,所述实际人脸跟踪序列用于标识所述第二视频图像的帧中的人脸信息,所述实际人体跟踪序列用于标识所述第二视频图像的帧中的人体信息。

确定模块604,用于根据所述实际人脸跟踪序列以及所述实际人体跟踪序列,确定人脸信息与人体信息的关联关系。

更新模块605,用于根据所述人脸信息与人体信息的关联关系,更新所述人像关联库。

图8为本发明实施例提供的人像识别装置实施例三的模块结构图,如图8所示,确定模块604包括:

获取单元6041,用于根据所述实际人脸跟踪序列获取预估人体跟踪序列。

确定单元6042,用于根据所述预估人体跟踪序列以及所述实际人体跟踪序列的相关性得分,确定人脸信息与人体信息的关联关系。

图9为本发明实施例提供的人像识别装置实施例四的模块结构图,如图所示,获取单元6041包括:

获取子单元60411,用于获取所述第二视频图像中第一帧中的第一人脸跟踪序列,所述第一人脸跟踪序列为所述实际人脸跟踪序列中的一个。

估算子单元60412,用于估算所述第一人脸跟踪序列对应的预估人体跟踪序列。

图10为本发明实施例提供的人像识别装置实施例五的模块结构图,如图10所示,确定单元6042包括:

第一确定子单元60421,用于确定所述第一帧中与所述预估人体跟踪序列的相关系数大于第一预设阈值的第一人体跟踪序列,并计算初始得分。

累加子单元60422,用于根据所述第一帧之外的至少一帧中与所述第一人体跟踪序列属于同一人的人体跟踪序列以及所述初始得分,进行得分累加,得到所述相关性得分。

第二确定子单元60423,用于在所述相关性得分大于第二预设阈值时,确定所述第一人脸跟踪序列与所述第一人体跟踪序列具有关联关系。

另一实施例中,所述相关系数为交叠率。

另一实施例中,所述实际人体跟踪序列为图像帧标识、人体图像坐标信息、人体图像宽度信息和人体图像高度信息所组成的五元组。

图11为本发明实施例提供的人像识别装置实施例六的模块结构图,如图11所示,更新模块605包括:

第一确定单元6051,用于根据所述人脸信息与所述人像关联库中已存在的人脸信息的匹配程度,确定所述人脸信息所属身份信息;

更新单元6052,用于根据所述人体信息与所述人像关联库中所述人脸信息所属身份信息已关联的人体信息的匹配程度,更新所述人像关联库。

另一单元,更新单元具体用于:

在所述人体信息与所述人像关联库中所述人脸信息所属身份信息已关联的人体信息的匹配程度小于第三预设阈值时,将所述人脸信息、与所述人脸信息具有关联关系的所述人体信息以及所述人脸信息所在的一帧图像存入所述人像关联库。

图12为本发明实施例提供的电子设备的实体框图,如图12所示,该电子设备1200包括:至少一个通信接口1201,至少一个处理器1202,至少一个存储器1203,其中,通信接口1001、处理器1202和存储器1203通过电路(某些情况下也可以是总线)1204互联,处理器1202调用存储器1203中存储的指令,以执行上述方法实施例所述的方法步骤。

本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1