一种人脸图像识别方法、装置及存储介质与流程

文档序号:16309597发布日期:2018-12-19 05:13阅读:359来源:国知局
一种人脸图像识别方法、装置及存储介质与流程

本发明涉及图像处理技术领域,具体涉及一种人脸图像识别方法、装置及存储介质。

背景技术

随着信息安全、访问控制、及视频监控等应用需求的与日俱增,人脸识别技术越来越受到人们的关注,被广泛应用在各种社会生活工作中。例如,人脸识别技术可以应用于人脸门禁场景中,可以为户主以及保安等提供自动的安保检测服务。

现有技术中,在对人脸图像进行识别的过程中,一般先通过门禁摄像头采集用户的人脸图像,然后直接对人脸图像中的人脸进行识别,通过识别结果可以判定该用户是否有开启门禁的权限,如果有权限,则开启门禁,如果没有权限,则不开启门禁。

在对现有技术的研究和实践过程中,本发明的发明人发现,由于采集到的人脸图像可能比较模糊,或者用户是侧脸使得大部分脸部区域被遮挡(例如姿态较偏),或者只能采集到很小的脸部区域等,因此直接对采集到的人脸图像进行识别,可能会造成识别结果非常不准确,甚至对于质量较差的图像可能会存在错误识别等问题,从而引发一些安全问题等。



技术实现要素:

本发明实施例提供一种人脸图像识别方法、装置及存储介质,旨在提高对人脸图像识别的准确性。

为解决上述技术问题,本发明实施例提供以下技术方案:

一种人脸图像识别方法,包括:

采集多帧人脸图像,并根据所述多帧人脸图像确定待识别的人脸区域;

根据所述人脸区域对每帧人脸图像中的人脸进行姿态检测,得到姿态参数;

获取所述多帧人脸图像中每相邻两帧图像之间的人脸图像的移动速度,根据所述移动速度确定每帧人脸图像对应的清晰度;

根据所述姿态参数和清晰度从所述多帧人脸图像中筛选出满足预设条件所对应的人脸图像,得到目标人脸图像;

对所述目标人脸图像进行人脸识别。

一种人脸图像识别装置,包括:

确定单元,用于采集多帧人脸图像,并根据所述多帧人脸图像确定待识别的人脸区域;

检测单元,用于根据所述人脸区域对每帧人脸图像中的人脸进行姿态检测,得到姿态参数;

获取单元,用于获取所述多帧人脸图像中每相邻两帧图像之间的人脸图像的移动速度,根据所述移动速度确定每帧人脸图像对应的清晰度;

筛选单元,用于根据所述姿态参数和清晰度从所述多帧人脸图像中筛选出满足预设条件所对应的人脸图像,得到目标人脸图像;

识别单元,用于对所述目标人脸图像进行人脸识别。

可选地,所述确定单元包括:

重合度获取子单元,用于获取多帧人脸图像中每相邻两帧人脸图像之间人脸区域的重合度,得到多个重合度;

第一筛选子单元,用于根据所述多个重合度,从所述多帧人脸图像中筛选出重合度最高所对应的人脸区域,得到待识别的人脸区域。

可选地,所述重合度获取子单元具体用于:

获取多帧人脸图像中每相邻两帧人脸图像之间人脸区域的交集面积;

获取多帧人脸图像中每相邻两帧人脸图像之间人脸区域的并集面积;

根据所述交集面积和并集面积计算每相邻两帧人脸图像之间人脸区域的重合度,得到多个重合度。

可选地,所述检测单元包括:

分值获取子单元,用于获取每帧人脸图像中所述人脸区域的面积分值;

第二筛选子单元,用于从所述多帧人脸图像中筛选出面积分值大于预设值所对应的人脸图像,得到筛选后人脸图像;

检测子单元,用于对所述筛选后人脸图像中的人脸进行姿态检测,得到姿态参数。

可选地,所述分值获取子单元具体用于:

获取每帧人脸图像中人脸区域的面积;

获取面积与面积分值之间的第一映射关系;

根据所述第一映射关系确定每帧人脸图像中所述人脸区域的面积分值。

可选地,所述检测子单元包括:

参数获取模块,用于获取所述筛选后人脸图像中每帧人脸图像的人脸区域中人脸的偏转参数;

映射关系获取模块,用于获取偏转参数与姿态分值之间的第二映射关系;

确定模块,用于根据所述第二映射关系确定每帧人脸图像中所述人脸区域的姿态分值,将所述姿态分值设置为姿态参数。

可选地,所述参数获取模块具体用于:

获取所述筛选后人脸图像中,每帧人脸图像的人脸区域中人脸投影在二维平面内的第一投影参数;

获取所述预设人脸模型投影在二维平面内的第二投影参数;

根据所述第一投影参数及第二投影参数获取所述人脸区域中人脸的偏转参数。

可选地,所述获取单元具体用于:

获取多帧人脸图像中每相邻两帧人脸图像之间距离及时间间隔;

根据所述距离和时间间隔计算每帧人脸图像的移动速度;

获取移动速度与清晰度分值之间的第三映射关系;

根据所述第三映射关系确定每帧人脸图像的清晰度分值,并根据所述清晰度分值确定每帧人脸图像对应的清晰度。

可选地,所述筛选单元包括:

计算子单元,用于根据所述姿态参数和清晰度计算每帧人脸图像的人脸质量分值;

第三筛选子单元,用于从所述多帧人脸图像中筛选出人脸质量分值大于预设阈值所对应的人脸图像,得到目标人脸图像。

可选地,所述计算子单元具体用于:

根据所述姿态参数和清晰度确定每帧人脸图像的面积分值、姿态分值和清晰度分值;

为所述面积分值、姿态分值和清晰度分值分别设置对应的权重值;

根据所述面积分值、姿态分值、清晰度分值及其对应的权重值分别计算每帧人脸图像对应的人脸质量分值。

可选地,所述所述筛选单元还包括:

第四筛选子单元,用于当不存在人脸质量分值大于预设阈值时,从所述多帧人脸图像中筛选出人脸质量分值最大所对应的人脸图像,得到目标人脸图像。

可选地,所述第三筛选子单元具体用于:

从所述人脸质量分值中筛选出大于预设阈值的人脸质量分值,得到候选人脸质量分值;

当所述候选人脸质量分值包括多个时,按照预设算法从所述候选人脸质量分值中选择其中一个候选人脸质量,得到目标人脸质量;

从所述多帧人脸图像中确定与所述目标人脸质量对应的人脸图像,得到目标人脸图像。

可选地,所述第三筛选子单元具体用于:

将所述多帧人脸图像中的第一帧人脸图像作为当前人脸图像;

将当前人脸图像的人脸质量分值与预设阈值进行比较;

若当前人脸图像的人脸质量分值小于预设阈值,则将所述多帧人脸图像中的第二帧人脸图像作为当前人脸图像,返回执行将当前人脸图像的人脸质量分值与预设阈值进行比较的步骤,直至当前人脸图像的人脸质量分值大于预设阈值,得到目标人脸图像。

一种存储介质,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本发明实施例提供的任一种人脸图像识别方法中的步骤。

本发明实施例可以采集多帧人脸图像,并根据多帧人脸图像确定待识别的人脸区域,然后根据人脸区域对每帧人脸图像中的人脸进行姿态检测,得到姿态参数,以及获取多帧人脸图像中每相邻两帧图像之间的人脸图像的移动速度,并根据移动速度确定每帧人脸图像对应的清晰度;此时,可以根据姿态参数和清晰度从多帧人脸图像中筛选出满足预设条件所对应的人脸图像,得到目标人脸图像,例如,目标人脸图像为人脸图像质量较好的图像,并对该目标人脸图像进行人脸识别。该方案可以从采集到的多帧人脸图像中,筛选出人脸图像满足条件的质量最好的人脸图像,即筛选出质量最好的人脸图像进行人脸识别,避免了对质量较差的人脸图像进行人脸识别,而出现识别结果错误的问题,提高了对人脸图像识别的准确性。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的人脸图像识别系统的场景示意图;

图2是本发明实施例提供的人脸图像识别方法的流程示意图;

图3是本发明实施例提供的面积与面积分值之间的第一映射关系的示意图;

图4是本发明实施例提供的偏转参数与姿态分值之间的第二映射关系的示意图;

图5是本发明实施例提供的移动速度与清晰度分值之间的第三映射关系的示意图;

图6是本发明实施例提供的人脸图像识别方法的另一流程示意图;

图7是本发明实施例提供的确定待识别的人脸区域的示意图;

图8是本发明实施例提供的确定人脸图像的面积分值的示意图;

图9是本发明实施例提供的确定人脸图像的姿态分值的示意图;

图10是本发明实施例提供的确定人脸图像的清晰度分值的示意图;

图11是本发明实施例提供的人脸图像识别装置的结构示意图;

图12是本发明实施例提供的人脸图像识别装置的另一结构示意图;

图13是本发明实施例提供的人脸图像识别装置的另一结构示意图;

图14是本发明实施例提供的人脸图像识别装置的另一结构示意图;

图15是本发明实施例提供的网络设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明实施例提供一种人脸图像识别方法、装置及存储介质。

请参阅图1,图1为本发明实施例所提供的人脸图像识别系统的场景示意图,该人脸图像识别系统可以包括人脸图像识别装置,该人脸图像识别装置具体可以集成在网络设备如终端或服务器等设备中,例如,网络设备可以接收门禁或其他终端发送的多帧人脸图像,该门禁可以是公司、机场、商场、学校、小区或住户房门等场所设置的,该门禁的形式可以根据实际需要进行灵活设置,该门禁可以是在用户进和/或出门时通过预先设置的图像采集器(例如摄像头)实时或间隔预设时间采集人脸图像,并将采集的人脸图像发送给网络设备。网络设备可以根据多帧人脸图像确定待识别的人脸区域,例如,可以对人脸图像包含的一个或多个人脸区域进行检测,从而可以将重合度最高所对应的人脸区域确定为待识别的人脸区域,该待识别的人脸区域可以仅为一个。然后,根据人脸区域对每帧人脸图像中的人脸进行姿态检测,得到姿态参数,该姿态参数可以包括每帧人脸图像中人脸区域的面积分值和姿态分值等,其中,面积分值与人脸区域的面积有关,姿态分值与人脸区域中人脸的偏转参数有关,例如,可以获取每帧人脸图像中人脸区域的面积分值,并筛选出面积分值大于预设值所对应的人脸图像,对筛选出的人脸图像中的人脸进行姿态检测等。以及获取多帧人脸图像中每相邻两帧图像之间的人脸图像的移动速度,根据移动速度确定每帧人脸图像对应的清晰度,该清晰度与清晰度分值有关,清晰度分值与人脸区域的移动速度有关(即清晰度分值与人脸图像的移动速度有关)。此时,可以根据姿态参数和清晰度从多帧人脸图像中筛选出满足预设条件所对应的人脸图像,得到目标人脸图像,该目标人脸图像为质量较高的图像,例如,可以从多帧人脸图像中筛选出人脸质量分值大于预设阈值所对应的人脸图像,得到目标人脸图像,最后可以对目标人脸图像进行人脸识别,当识别出的人脸与预存的人脸匹配时,说明该用户具有开启门禁的权限,此时网络设备可以发送控制指令给门禁,以便开启门禁放行用户;等等。

需要说明的是,图1所示的人脸图像识别系统的场景示意图仅仅是一个示例,本发明实施例描述的人脸图像识别系统以及场景是为了更加清楚的说明本发明实施例的技术方案,并不构成对于本发明实施例提供的技术方案的限定,本领域普通技术人员可知,随着人脸图像识别系统的演变和新业务场景的出现,本发明实施例提供的技术方案对于类似的技术问题,同样适用。

以下分别进行详细说明。

在本实施例中,将从人脸图像识别装置的角度进行描述,该人脸图像识别装置具体可以集成在服务器或终端等网络设备中。

一种人脸图像识别方法,包括:采集多帧人脸图像,并根据多帧人脸图像确定待识别的人脸区域;根据人脸区域对每帧人脸图像中的人脸进行姿态检测,得到姿态参数;获取多帧人脸图像中每相邻两帧图像之间的人脸图像的移动速度,根据移动速度确定每帧人脸图像对应的清晰度;根据姿态参数和清晰度从多帧人脸图像中筛选出满足预设条件所对应的人脸图像,得到目标人脸图像;对目标人脸图像进行人脸识别。

请参阅图2,图2是本发明一实施例提供的人脸图像识别方法的流程示意图。该人脸图像识别方法可以包括:

在步骤s101中,采集多帧人脸图像,并根据多帧人脸图像确定待识别的人脸区域。

人脸图像识别装置可以通过预先设置的摄像头、摄像机或照相机等连续采集多帧用户的人脸图像,或者是,人脸图像识别装置可以接收终端或服务器等发送的多帧人脸图像等。

其中,多帧人脸图像可以是在预设时间段内每间隔预设时间连续采集得到的图像,例如,在1分钟内每间隔2秒连续采集得到的30帧图像。该人脸图像中可以包括一个或多个人脸,还可以包括其他的物体,具体内容在此处不作限定。

为了能够对所需的人脸图像进行识别,人脸图像识别装置可以对多帧人脸图像中的人脸进行跟踪,以便确定出待识别的人脸区域。

在某些实施方式中,根据多帧人脸图像确定待识别的人脸区域的步骤可以包括:

获取多帧人脸图像中每相邻两帧人脸图像之间人脸区域的重合度,得到多个重合度;根据多个重合度,从多帧人脸图像中筛选出重合度最高所对应的人脸区域,得到待识别的人脸区域。

人脸图像识别装置可以利用人脸跟踪算法,对于每一帧人脸图像进行人脸检测,并计算多帧人脸图像中前后相邻两帧人脸图像之间人脸区域的重合度,得到每对相邻两帧人脸图像对应的重合度,多对相邻人脸图像的重合度即可组合为多个重合度,该重合度可以是相邻两帧人脸图像中同一个人的人脸区域之间的重合面积。得到多个重合度后,可以基于多个重合度从多帧人脸图像中筛选出重合度最高所对应的一对相邻两帧人脸图像,该对相邻两帧人脸图像中的人脸区域,即为待识别的人脸区域,该待识别的人脸区域也可以称为跟踪人脸区域。该人脸区域的形状可以根据实际需要进行灵活设置,例如,该人脸区域可以是矩形区域、正方形区域或圆形区域等。

例如,人脸图像包括第一用户人脸和第二用户人脸时,可以分别计算第一用户人脸区域和第二用户人脸区域对应的重合度,若第一用户人脸区域的重合度大于第二用户人脸区域的重合度,则将第一用户人脸区域确定为待识别的人脸区域。

在某些实施方式中,获取多帧图像中每相邻两帧人脸图像之间人脸区域的重合度,得到多个重合度的步骤可以包括:

获取多帧人脸图像中每相邻两帧人脸图像之间人脸区域的交集面积;

获取多帧人脸图像中每相邻两帧人脸图像之间人脸区域的并集面积;

根据交集面积和并集面积计算每相邻两帧人脸图像之间人脸区域的重合度,得到多个重合度。

其中,相邻两帧人脸图像之间人脸区域的重合度的计算方式可以如下公式(1):

公式(1)中,iou(a,b)表示相邻的第a帧人脸图像与第b帧人脸图像之间的脸区域的重合度,|a∩b|表示相邻的第a帧人脸图像与第b帧人脸图像之间的脸区域的交集面积,该交集面积即为第a帧人脸图像与第b帧人脸图像之间同一个人的人脸区域重合的面积,|aub|相邻的第a帧人脸图像与第b帧人脸图像之间的脸区域的并集面积,该并集面积即为第a帧人脸图像与第b帧人脸图像之间同一个人的人脸区域并集的面积。

对于多帧人脸图像中的每一对相邻两帧人脸图像,均可以通过公式(1)计算得到与其对应的人脸区域的重合度。当人脸图像中包括多个人脸时,可以分别每一对相邻两帧人脸图像中每个人的人脸区域的重合度。

在步骤s102中,根据人脸区域对每帧人脸图像中的人脸进行姿态检测,得到姿态参数。

在某些实施方式中,根据人脸区域对每帧人脸图像中的人脸进行姿态检测,得到姿态参数的步骤可以包括:

获取每帧人脸图像中人脸区域的面积分值;从多帧人脸图像中筛选出面积分值大于预设值所对应的人脸图像,得到筛选后人脸图像;对筛选后人脸图像中的人脸进行姿态检测,得到姿态参数。

为了提高对人脸图像中的人脸进行姿态检测的精准性,可以得到的多帧人脸图像进行初步筛选,例如,可以筛选出人脸区域的面积满足条件的人脸图像。具体地,可以获取每帧人脸图像中人脸区域的面积分值,该面积分值与人脸区域的面积(即人脸区域的尺寸大小)有关,且面积分值与人脸区域的面积之间成正比例关系。然后从多帧人脸图像中筛选出面积分值大于预设值所对应的人脸图像,其中,预设值可以根据实际需要进行灵活设置,以便筛选出人脸区域的面积较大的人脸图像,从而得到筛选后人脸图像,该筛选后人脸图像可以包括一张或多张,此时可以对筛选后人脸图像中的人脸进行姿态检测,得到姿态参数,该姿态参数可以包括姿态分值,该姿态分值与人脸图像中的人脸相对于正脸的偏转角度有关。

在某些实施方式中,获取每帧人脸图像中人脸区域的面积分值的步骤可以包括:

获取每帧人脸图像中人脸区域的面积;

获取面积与面积分值之间的第一映射关系;

根据第一映射关系确定每帧人脸图像中人脸区域的面积分值。

人脸图像识别装置可以预先设置人脸区域的面积与面积分值之间的第一映射关系,可以将第一映射关系以列表或文本等形式存储在本地或存储在服务器等,该第一映射关系可以利用sigmoid函数来评估,该sigmoid函数可以如下公式(2)所示:

其中,x表示人脸区域的面积,f(x)表示面积分值。

例如,如图3所示,人脸区域的面积越大,面积分值也越大,反之,人脸区域的面积越小,面积分值也越小,当人脸区域的面积大到一定程度后,面积分值不再随着人脸区域的面积的增大而增大。面积分值f(x)的取值范围可以根据实际需要进行灵活设置,具体取值在此处不作限定,例如,面积分值f(x)的取值范围可以设置为0至1范围。

基于人脸跟踪的结果确定出待识别的人脸区域后,人脸图像识别装置可以计算每帧人脸图像中该人脸区域的面积(即尺寸大小),例如,当人脸区域为矩形区域时,可以根据矩形区域的长和宽计算得到矩形区域的面积;又例如,当人脸区域为圆形区域时,可以根据圆形区域的半径计算得到圆形区域的面积。

此时,人脸图像识别装置可以从本地或服务器等获取面积与面积分值之间的第一映射关系,并根据每帧人脸图像中人脸区域的面积,从第一映射关系中查询对应的面积分值,得到每帧人脸图像中人脸区域的面积分值。例如,第a帧人脸图像中人脸区域的面积为a1,该第a帧人脸图像中人脸区域的面积分值为a1;第b帧人脸图像中人脸区域的面积为b1,该第b帧人脸图像中人脸区域的面积分值为b1。

在某些实施方式中,对筛选后人脸图像中的人脸进行姿态检测,得到姿态参数的步骤可以包括:

获取筛选后人脸图像中每帧人脸图像的人脸区域中人脸的偏转参数;

获取偏转参数与姿态分值之间的第二映射关系;

根据第二映射关系确定每帧人脸图像中人脸区域的姿态分值,将姿态分值设置为姿态参数。

人脸图像识别装置可以预先设置偏转参数与姿态分值之间的第二映射关系,可以将第二映射关系以列表或文本等形式存储在本地或存储在服务器等,该第二映射关系可以利用标准正态分布来评估,该标准正态分布可以如下公式(3)所示:

其中,x表示偏转参数,该偏转参数为人脸图像中人脸相对于正脸的偏转角度,正脸的偏转角度可以设置为0,g(x)表示姿态分值。

例如,如图4所示,在第一区间[a,b]内,可以表示人脸向右偏转的偏转参数越大,则姿态分值g(x)越小;在第二区间[b,c]内,可以表示人脸向左偏转的偏转参数越大,则姿态分值g(x)越小,姿态分值g(x)达到最大值时,说明此时的人脸为正脸,即用户正对摄像头所采集到的人脸图像。姿态分值g(x)的取值范围可以根据实际需要进行灵活设置,具体取值在此处不作限定,例如,姿态分值g(x)的取值范围可以设置为0至1范围。

基于人脸跟踪的结果确定出待识别的人脸区域,以及从多帧人脸图像中筛选出面积分值大于预设值所对应的人脸图像后,人脸图像识别装置可以获取筛选后人脸图像中每帧人脸图像的人脸区域中人脸的偏转参数,该偏转参数可以是人脸在x轴、y轴及z轴方式上的偏转角度,或者是该偏转参数可以包括俯仰角、偏航角及翻滚角。以及,从本地或服务器中获取偏转参数与姿态分值之间的第二映射关系,并根据每帧人脸图像中人脸区域对应的人脸的偏转参数,从第二映射关系中查询对应的姿态分值,得到每帧人脸图像中人脸区域的姿态分值。例如,第a帧人脸图像中人脸区域对应的人脸的偏转参数为θ1,该第a帧人脸图像中人脸区域的姿态分值为a2;第b帧人脸图像中人脸区域对应的人脸的偏转参数为θ2,该第b帧人脸图像中人脸区域的姿态分值为b2。

在某些实施方式中,获取筛选后人脸图像中每帧人脸图像的人脸区域中人脸的偏转参数的步骤可以包括:

获取筛选后人脸图像中,每帧人脸图像的人脸区域中人脸投影在二维平面内的第一投影参数;

获取预设人脸模型投影在二维平面内的第二投影参数;

根据第一投影参数及第二投影参数获取人脸区域中人脸的偏转参数。

具体地,人脸图像识别装置可以获取每帧人脸图像的人脸区域中人脸投影在二维平面内的第一投影参数,该第一投影参数可以是人脸在二维平面内的坐标点,以及,获取预设人脸模型投影在二维平面内的第二投影参数,该第二投影参数可以是预设人脸模型在二维平面内的坐标点。其中,预设人脸模型可以是预先设置的三维平均人脸模型,可以通过改变三维平均人脸模型的三维坐标点的位置信息来生成不同的表情及不同身份的用户的三维人脸模型,也就是说所有三维人脸模型都可以通过在三维平均人脸模型的三维坐标点上增加偏移来表示,用户的人脸的三维人脸模型可以用如下公式(4)表示:

其中,公式(4)中的m表示人脸的三维人脸模型,表示预设人脸模型(即三维平均人脸模型),n为三维平均人脸模型包含的三维坐标点的点数;aidpid表示身份偏移项,aid为mid维身份基,pid为身份参数;aexppexp表示表情偏移项,aexp为mexp维表情基,pexp为表情参数。

在得到人脸投影在二维平面内的第一投影参数,以及预设人脸模型投影在二维平面内的第二投影参数后,人脸图像识别装置可以根据第一投影参数及第二投影参数,获取人脸在三维平面内的三维坐标点,例如,如下公式(5)和公式(6)所示:

argmin||x3d-x2d||(5)

x3d=p(mkeypoint)(6)

其中,x3d表示预设人脸模型的三维坐标点,mkeypoint表示预设人脸模型在二维平面内的第二投影参数,p为投影函数,x2d为人脸投影在二维平面内的第一投影参数。

其中,投影可以包括正交投影和透视投影等,以正交投影进行三维建模为例,可以通过如下公式(7)进行正交投影:

x3d=s×r×mkeypoint+t(7)

其中,s为放缩系数,r为旋转系数,t为二维平移分量,因此,可以通过公式(4)、公式(6)及公式(7)迭代求解公式(5),即可得到身份参数pid和表情参数pexp、放缩系数s、旋转系数r及二维平移分量t,根据参数[pid,pexp,s,r,t]得到三维坐标点,根据三维坐标点即可生成三维人脸模型。也就是说,如果将各个角度的三维人脸模型投影到二维平面都可以与二维图像中人脸相匹配,那么这个三维人脸模型就是需要获取的三维人脸模型。

在得到三维模型后,可以基于三维模型获取人脸图像的人脸区域中人脸的偏转参数,该偏转参数即为上述公式(7)中的旋转系数r。

可选地,人脸图像识别装置也可以利用人脸姿态估计算法计算每帧人脸图像的人脸区域中人脸的偏转参数,例如,可以获取每帧人脸图像的人脸区域中人脸器官(包括眼睛、鼻子和嘴巴等)的特征点,根据特征点计算人脸器官之间的比例关系,并根据比例关系确定每帧人脸图像的人脸区域中人脸的偏转参数。或者是,旋转三维平均人脸模型一定角度,直到三维平均人脸模型上人脸器官(包括眼睛、眉毛、鼻子和嘴巴等)的三维特征点的二维投影,与人脸图像上人脸器官的二维特征点重合或尽量重合,得到三维平均人脸模型的旋转角度,该旋转角度即为人脸的偏转参数。

例如,可以获取人脸区域中左外眼角1、右外眼角2、鼻尖3、左嘴角4和右嘴角5等特征点的位置,以及获取左外眼角1和右外眼角2之间的中点6,左嘴角4和右嘴角5之间的中点8,将这两个中点进行连线得到线段68(即中点6和中点8之间的连线简称线段68),获取鼻尖3关于线段68的垂足7,计算线段67(中点6和垂足7之前的连线简称线段67,以下线段78和37类似)与线段78的比例来确定俯仰角pitch,通过计算线段37与线段68的比例来确定偏航角yaw,通过计算68与竖直方向的夹角来确定翻滚角roll,俯仰角、偏航角及翻滚角为偏转参数。

需要说明的是,除了可以通过上述方式获取偏转参数之外,偏转参数还可以是通过其他方式获取,具体获取方式在此不做限定。

在得到偏转参数后,可以从本地或服务器等获取预先设置的偏转参数与姿态分值之间的第二映射关系,并根据偏转参数从第二映射关系中查询对应的姿态分值,得到每帧人脸图像中人脸区域,该姿态分值即为姿态参数。

在步骤s103中,获取多帧人脸图像中每相邻两帧图像之间的人脸图像的移动速度,根据移动速度确定每帧人脸图像对应的清晰度。

例如,当多帧人脸图像中包括第一帧人脸图像、第二帧人脸图像及第三帧人脸图像时,可以以第一帧人脸图像为原点,根据第一帧人脸图像和第二帧人脸图像之间采集的距离及时间间隔来确定第二帧人脸图像的移动速度,以及根据第二帧人脸图像和第三帧人脸图像之间采集的距离及时间间隔来确定第三帧人脸图像的移动速度,或者根据第一帧人脸图像和第三帧人脸图像之间采集的距离及时间间隔来确定第三帧人脸图像的移动速度等。其中,该移动速度可以是人脸图像的移动速度,也可以是人脸区域的移动速度,该移动速度越大,清晰度越低,反之移动速度越小,清晰度越高。

在某些实施方式中,获取多帧人脸图像中每相邻两帧图像之间的人脸图像的移动速度,根据移动速度确定每帧人脸图像对应的清晰度的步骤可以包括:

获取多帧人脸图像中每相邻两帧人脸图像之间距离及时间间隔;

根据距离和时间间隔计算每帧人脸图像的移动速度;

获取移动速度与清晰度分值之间的第三映射关系;

根据第三映射关系确定每帧人脸图像的清晰度分值,并根据清晰度分值确定每帧人脸图像对应的清晰度。

人脸图像识别装置可以预先设置移动速度与清晰度分值之间的第三映射关系,可以将第三映射关系以列表或文本等形式存储在本地或存储在服务器等,该第三映射关系可以利用反比例函数来评估,该反比例函数可以如下公式(8)所示:

其中,y表示人脸区域的清晰度分值,k为常数,k的取值可以根据实际需要进行灵活设置,t表示人脸图像的移动速度,即为人脸区域的移动速度。

例如,如图5所示,人脸区域的移动速度(即人脸图像的移动速度)越大,人脸区域的清晰度分值越大,反之,人脸区域的移动速度越小,人脸区域的清晰度分值越小,清晰度分值的取值范围可以根据实际需要进行灵活设置,具体内容在此处不作限定。例如,移动速度为b值时,得到清晰度分值为c。

需要说明的是,当每相邻两帧人脸图像之间的时间间隔一致时,可以建立相邻两帧人脸图像之间的距离与清晰度分值之间的映射关系,距离越大,人脸区域的清晰度分值越大,反之,距离越小,人脸区域的清晰度分值越小。

基于人脸跟踪的结果确定出待识别的人脸区域后,人脸图像识别装置可以获取多帧人脸图像中每相邻两帧人脸图像之间距离及时间间隔,然后根据距离和时间间隔计算每帧人脸图像的移动速度,以及从本地或服务器中获取移动速度与清晰度分值之间的第三映射关系,并根据每帧人脸图像对应的移动速度,从第三映射关系中查询对应的清晰度分值,得到每帧人脸图像中人脸区域的清晰度分值。例如,第a帧人脸图像中人脸区域对应的人脸的移动速度为v1,该第a帧人脸图像中人脸区域的清晰度分值为a3;第b帧人脸图像中人脸区域对应的人脸的移动速度为v2,第b帧人脸图像中人脸区域的姿态分值为b3。此时可以根据清晰度分值确定每帧人脸图像对应的清晰度,清晰度分值越大,清晰度越高,反之清晰度分值越小,清晰度越低,例如可以根据清晰度分值与清晰度之间的对应关系,确定与得到的每帧人脸图像的清晰度分值对应的清晰度。

在步骤s104中,根据姿态参数和清晰度从多帧人脸图像中筛选出满足预设条件所对应的人脸图像,得到目标人脸图像。

在步骤s105中,对目标人脸图像进行人脸识别。

其中,预设条件可以根据实际需要进行灵活设置,以便筛选出质量较高的人脸图像。

在某些实施方式中,根据姿态参数和清晰度从多帧人脸图像中筛选出满足预设条件所对应的人脸图像,得到目标人脸图像的步骤可以包括:

根据姿态参数和清晰度计算每帧人脸图像的人脸质量分值;从多帧人脸图像中筛选出人脸质量分值大于预设阈值所对应的人脸图像,得到目标人脸图像。

在某些实施方式中,根据姿态参数和清晰度计算每帧人脸图像的人脸质量分值的步骤可以包括:

根据姿态参数和清晰度确定每帧人脸图像的面积分值、姿态分值和清晰度分值;

为面积分值、姿态分值和清晰度分值分别设置对应的权重值;

根据面积分值、姿态分值、清晰度分值及其对应的权重值分别计算每帧人脸图像对应的人脸质量分值。

由于姿态参数与面积分值和姿态分值等有关,清晰度与清晰度分值有关,因此人脸图像识别装置可以根据姿态参数和清晰度得到每帧人脸图像中人脸区域的面积分值、姿态分值和清晰度分值(即每帧人脸图像的面积分值、姿态分值和清晰度分值)等,在得到每帧人脸图像中人脸区域对应的面积分值、姿态分值和清晰度分值后,可以进行加权求和,得到每帧人脸图像对应的人脸质量分值,即为每帧人脸图像中人脸区域对应的人脸质量分值。

例如,人脸质量分值的计算公式可以为如下公式(9):

s=f×a+g×b+y×c(9)

其中,s表示人脸质量分值,f表示面积分值,a表示面积分值对应的权重值,g表示姿态分值,b表示姿态分值对应的权重值,y表示清晰度分值,c表示清晰度分值对应的权重值。面积分值、姿态分值和清晰度分值对应的权重值可以根据实际需要进行灵活设置,每帧人脸图像均可以利用公式(9)计算得到对应的人脸质量分值。

需要说明的是,对于面积分值、姿态分值、清晰度分值或人脸质量分值等,也可以使用其他函数,甚至是神经网络来计算,以便后续可以筛选出高质量人脸图像进行人脸识别。

为了筛选出质量较高的人脸图像,该预设条件可以是人脸质量分值大于预设阈值,例如,人脸图像识别装置可以从多帧人脸图像中筛选出人脸质量分值大于预设阈值所对应的人脸图像,得到一帧或多帧目标人脸图像,当得到一帧目标人脸图像时,可以对该帧目标人脸图像进行人脸识别,当得到多帧目标人脸图像时,可以选择其中的一帧目标人脸图像进行人脸识别。

在某些实施方式中,从多帧人脸图像中筛选出人脸质量分值大于预设阈值所对应的人脸图像,得到目标人脸图像的步骤可以包括:

从人脸质量分值中筛选出大于预设阈值的人脸质量分值,得到候选人脸质量分值;

当候选人脸质量分值包括多个时,按照预设算法从候选人脸质量分值中选择其中一个候选人脸质量,得到目标人脸质量;

从多帧人脸图像中确定与目标人脸质量对应的人脸图像,得到目标人脸图像。

人脸图像识别装置可以是在预设时间段内每间隔预设时间连续采集得到多帧人脸图像后,分别计算每帧人脸图像对应的人脸质量分值,得到人脸质量分值集合,然后将人脸质量分值集合中的每个人脸质量分值与预设阈值进行比较,从人脸质量分值集合中筛选出大于预设阈值的人脸质量分值,得到候选人脸质量分值。其中,预设阈值可以根据实际需要进行灵活设置,该候选人脸质量分值可以包括一个或多个。

当候选人脸质量分值包括一个时,可以对该候选人脸质量分值对应的人脸图像(即目标人脸图像)进行人脸识别。当候选人脸质量分值包括多个时,可以按照预设算法从候选人脸质量分值中选择其中一个候选人脸质量,得到目标人脸质量;该预设算法可以根据实际需要进行灵活设置,例如,可以从多个候选人脸质量分值中随机选择其中一个候选人脸质量,或者从多个候选人脸质量分值中选择分值最高的一个候选人脸质量,或者从多个候选人脸质量分值中选择最靠前人脸图像帧所对应的一个候选人脸质量,等等。然后,可以从多帧人脸图像中确定与目标人脸质量对应的人脸图像,得到目标人脸图像,并对该目标人脸图像进行人脸识别。

在某些实施方式中,从多帧人脸图像中筛选出人脸质量分值大于预设阈值所对应的人脸图像,得到目标人脸图像的步骤可以包括:

将多帧人脸图像中的第一帧人脸图像作为当前人脸图像;

将当前人脸图像的人脸质量分值与预设阈值进行比较;

若当前人脸图像的人脸质量分值小于预设阈值,则将多帧人脸图像中的第二帧人脸图像作为当前人脸图像,返回执行将当前人脸图像的人脸质量分值与预设阈值进行比较的步骤,直至当前人脸图像的人脸质量分值大于预设阈值,得到目标人脸图像。

人脸图像识别装置可以是在预设时间段内一边采集人脸图像一边计算人脸图像的人脸质量分值,例如,人脸图像在采集到至少两帧人脸图像后,可以先计算这至少两帧人脸图像的人脸质量分值。此时可以将计算得到人脸质量分值后的多帧人脸图像中的第一帧人脸图像作为当前人脸图像,将当前人脸图像的人脸质量分值与预设阈值进行比较,判断当前人脸图像的人脸质量分值是否大于预设阈值。若当前人脸图像的人脸质量大于预设阈值,则对当前人脸图像进行人脸识别;若当前人脸图像的人脸质量分值小于预设阈值,则判断检测时间是否达到预设时间段,该预设时间段可以根据实际需要进行灵活设置,若达到预设时间段,为了避免无限时长的检测,此时可以结束人脸图像识别的流程;若未达到预设时间段,则将多帧人脸图像中的第二帧人脸图像作为当前人脸图像,返回执行将当前人脸图像的人脸质量分值与预设阈值进行比较的步骤,直至当前人脸图像的人脸质量分值大于预设阈值,得到目标人脸图像,并对目标人脸图像进行人脸识别。

在某些实施方式中,根据姿态参数和清晰度计算每帧人脸图像的人脸质量分值的步骤之后,人脸图像识别方法还可以包括:

当不存在人脸质量分值大于预设阈值时,从多帧人脸图像中筛选出人脸质量分值最大所对应的人脸图像,得到目标人脸图像。

当人脸图像识别装置在预设时间段内每间隔预设时间连续采集得到的多帧人脸图像中,对于每帧人脸图像对应的人脸质量分值,若不存在人脸质量大于预设阈值,则为了能够对采集到的人脸图像进行识别,可以从多帧人脸图像中筛选出人脸质量分值最大所对应的人脸图像,得到目标人脸图像,并对目标人脸图像进行人脸识别。

或者是,人脸图像识别装置可以是在预设时间段内一边采集图像一边计算人脸图像的人脸质量的过程中,若检测时间达到预设时间段还未得到人脸质量分值大于预设值的人脸图像,则为了能够对采集到的人脸图像进行识别,可以从多帧人脸图像中筛选出人脸质量分值最大所对应的人脸图像,得到目标人脸图像,并对目标人脸图像进行人脸识别。确保了可以对质量较优的人脸图像进行人脸识别,以保证人脸识别结果的稳定性及可靠性。

由上可知,本发明实施例可以采集多帧人脸图像,并根据多帧人脸图像确定待识别的人脸区域,然后根据人脸区域对每帧人脸图像中的人脸进行姿态检测,得到姿态参数,例如,该姿态参数与面积分值和姿态分值等有关,其中,面积分值与人脸区域的面积有关,姿态分值与人脸的偏转参数有关,以及获取多帧人脸图像中每相邻两帧图像之间的人脸图像的移动速度,并根据移动速度确定每帧人脸图像对应的清晰度,该清晰度与清晰度分值有关;此时,可以根据姿态参数和清晰度从多帧人脸图像中筛选出满足预设条件所对应的人脸图像,得到目标人脸图像,例如,目标人脸图像为人脸图像质量较好的图像,并对该目标人脸图像进行人脸识别。该方案可以从采集到的多帧人脸图像中,筛选出人脸图像满足条件的质量最好的人脸图像,即筛选出质量最好的人脸图像进行人脸识别,避免了对模糊、脸部区域较小、或人脸姿态较差等质量较差的人脸图像进行人脸识别,而出现识别结果错误的问题,提高了对人脸图像识别的准确性。

根据上述实施例所描述的方法,以下将举例作进一步详细说明。

本实施例以人脸图像识别装置为网络设备为例,该网络设备应用于公司、机场、商场、学校、小区或住户房门等场景,主要执行门禁的人脸识别任务,为户主以及保安等提供自动的安保检测服务。例如,网络设备可以控制摄像头采集门禁前方的多帧人脸图像,并利用人脸跟踪和分值评估等方式对人脸门禁场景所采集到的多帧人脸图像中,快速选择出高质量人脸图像(即人脸质量分值大于预设阈值所对应的人脸图像)进行识别,保证了所识别的人脸图像的尺寸较大、姿态较好和清晰度较高等,提高了人脸识别的效果。

请参阅图6,图6为本发明实施例提供的人脸图像识别方法的另一流程示意图。该方法流程可以包括:

s201、网络设备采集多帧人脸图像,获取多帧人脸图像中每相邻两帧人脸图像之间人脸区域的重合度,并将重合度最高所对应的人脸区域确定为待识别的人脸区域。

网络设备可以控制门禁预先设置的摄像头或摄像机等连续采集多帧用户的人脸图像,其中,多帧人脸图像可以是在预设时间段内每间隔预设时间连续采集得到的图像,例如,在1分钟内每间隔3秒连续采集得到的20帧图像。该人脸图像中可以包括一个或多个人脸,还可以包括其他的物体,具体内容在此处不作限定。

然后,网络设备可以对多帧人脸图像中的人脸进行跟踪,以便确定出待识别的人脸区域,例如,网络设备可以获取多帧人脸图像中每相邻两帧人脸图像之间人脸区域的交集面积和并集面积,根据交集面积和并集面积计算每相邻两帧人脸图像之间人脸区域的重合度,得到多个重合度,此时可以根据多个重合度,从多帧人脸图像中筛选出重合度最高所对应的人脸区域,得到待识别的人脸区域。

例如,用户a是小区a的住户,用户a在进入小区a时需要通过门禁的人脸识别系统对人脸进行识别,此时,用户a走到小区a门口,并站在门禁的摄像头前方时,网络设备可以控制摄像头连续采集多帧用户a的人脸图像,此时,路人用户b经过此处,用户b在经过的时候刚好被摄像头采集到部分用户b的人脸图像。例如,如图7所示,采集到了n帧人脸图像,包括第a帧人脸图像、第b帧人脸图像、及第c帧人脸图像等,其中n的取值可以根据实际需要进行灵活设置,得到的第a帧人脸图像和第b帧人脸图像等均包括用户a(图7中左边人脸)和用户b(图7中右边人脸)的人脸,后续人脸图像帧(例如第c帧人脸图像)中仅包括的用户a的人脸。然后网络设备对采集到的n帧人脸图像中人脸进行跟踪检测,计算相邻的第a帧人脸图像和第b帧人脸图像之间用户a的人脸区域的重合度及用户b的人脸区域的重合度,以及计算第b帧人脸图像与下一帧人脸图像之间用户a的人脸区域的重合度及用户b的人脸区域的重合度,计算第c帧人脸图像与上一帧人脸图像之间用户a的人脸区域的重合度及用户b的人脸区域的重合度等,在计算得到每相邻两帧人脸图像之间人脸区域的重合度后,可以从多帧人脸图像中筛选出重合度最高所对应的人脸区域为用户a的人脸区域,用户a的人脸区域即为待识别的人脸区域,后续进行面积分值、姿态分值、清晰度分值及人脸质量分值等的计算,仅针对用户a的人脸区域进行计算,排除掉其他用户的人脸区域。

s202、网络设备获取每帧人脸图像中人脸区域的面积,并根据面积与面积分值之间的第一映射关系确定每帧人脸图像中人脸区域的面积分值。

网络设备可以预先设置人脸区域的面积与面积分值之间的第一映射关系,可以将第一映射关系以列表或文本等形式存储在本地或存储在服务器等,该第一映射关系可以是人脸区域的面积越大,面积分值也越大,反之,人脸区域的面积越小,面积分值也越小,当人脸区域的面积大到一定程度后,面积分值不再随着人脸区域的面积的增大而增大。面积分值的取值范围可以根据实际需要进行灵活设置,具体取值在此处不作限定。

基于人脸跟踪的结果确定出待识别的人脸区域后,网络设备可以计算每帧人脸图像中该人脸区域的面积,例如,当人脸区域为矩形区域时,可以根据矩形区域的长和宽计算得到矩形区域的面积。然后可以从本地或服务器等获取面积与面积分值之间的第一映射关系,并根据每帧人脸图像中人脸区域的面积,从第一映射关系中查询对应的面积分值,得到每帧人脸图像中人脸区域的面积分值。

例如,如图8所示,由于如果用户a的脸部没有全部在摄像头的采集视野范围内,则采集得到的用户a的人脸仅包括局部,如果用户a的脸部全部在摄像头的采集视野范围内,则导致采集得到的用户a的人脸包括全部,因此采集得到的n帧人脸图像中包含的人脸区域可以是局部或全部。此时,网络设备可以计算每帧人脸图像中用户a的人脸区域的面积,例如,分别计算第d帧人脸图像、第e帧人脸图像、及第f帧人脸图像等用户a的人脸区域的面积,然后根据面积与面积分值之间的第一映射关系,确定每帧人脸图像中用户a的人脸区域的面积分值,用户a的人脸区域的面积越大,其对应的面积分值越高,例如,包含的用户a的全部人脸区域的人脸图像为面积分值最高的人脸图像,即第e帧人脸图像的面积分值将会大于第d帧人脸图像的面积分值,也会大于第f帧人脸图像的面积分值。

s203、网络设备获取每帧人脸图像的人脸区域中人脸的偏转参数,并根据偏转参数与姿态分值之间的第二映射关系确定每帧人脸图像中人脸区域的姿态分值。

网络设备可以预先设置偏转参数与姿态分值之间的第二映射关系,可以将第二映射关系以列表或文本等形式存储在本地或存储在服务器等,该第二映射关系可以是在第一区间内人脸向右偏转的偏转参数越大则姿态分值越小,反之,人脸向右偏转的偏转参数越小(即人脸越正对摄像头)则姿态分值越大;在第二区间内人脸向左偏转的偏转参数越大则姿态分值越小,反之,人脸向左偏转的偏转参数越小则姿态分值越大;姿态分值达到最大值时,说明此时的人脸为正脸,即用户正对摄像头所采集到的人脸图像。姿态分值的取值范围可以根据实际需要进行灵活设置,具体取值在此处不作限定。

基于人脸跟踪的结果确定出待识别的人脸区域后,网络设备可以获取每帧人脸图像的人脸区域中人脸的偏转参数,该偏转参数可以是人脸在x轴、y轴及z轴方式上的偏转角度,或者是该偏转参数可以包括俯仰角、偏航角及翻滚角,例如,可以利用人脸姿态估计算法计算每帧人脸图像的人脸区域中人脸的偏转参数。以及,从本地或服务器中获取偏转参数与姿态分值之间的第二映射关系,并根据每帧人脸图像中人脸区域对应的人脸的偏转参数,从第二映射关系中查询对应的姿态分值,得到每帧人脸图像中人脸区域的姿态分值。

例如,如图9所示,由于用户a可能是侧脸面对摄像头或者是正脸面对摄像头,因此可能用户a的晃动,使得采集得到用户a的n帧人脸图像中可能包括用户a的侧脸或正脸。此时,网络设备可以计算每帧人脸图像中用户a的人脸区域中人脸的偏转参数,例如,分别计算第h帧人脸图像、第h帧人脸图像、及第j帧人脸图像等用户a的人脸区域中人脸的偏转参数,然后根据偏转参数与姿态分值之间的第二映射关系,确定每帧人脸图像中用户a的人脸区域的姿态分值,用户a的人脸越正对摄像头,其姿态分值越大,偏转参数为零的人脸图像为姿态分值最高的人脸图像,例如,第i帧人脸图像的姿态分值将会大于第h帧人脸图像的姿态分值,也会大于第j帧人脸图像的姿态分值。

s204、网络设备获取每帧人脸图像的移动速度,并根据移动速度与清晰度分值之间的第三映射关系确定每帧人脸图像中人脸区域的清晰度分值。

网络设备可以预先设置移动速度与清晰度分值之间的第三映射关系,可以将第三映射关系以列表或文本等形式存储在本地或存储在服务器等,该第三映射关系可以是人脸区域的移动速度越大,人脸区域的清晰度分值越大,反之,人脸区域的移动速度越小,人脸区域的清晰度分值越小,清晰度分值的取值范围可以根据实际需要进行灵活设置,具体内容在此处不作限定。

基于人脸跟踪的结果确定出待识别的人脸区域后,网络设备可以获取多帧人脸图像中每相邻两帧人脸图像之间距离及时间间隔,然后根据距离和时间间隔计算每帧人脸图像的移动速度,以及从本地或服务器中获取移动速度与清晰度分值之间的第三映射关系,并根据每帧人脸图像对应的移动速度,从第三映射关系中查询对应的清晰度分值,得到每帧人脸图像中人脸区域的清晰度分值。

例如,如图10所示,由于用户a站立在摄像头前方时可能会存在移动,因此用户a的移动可以使得采集得到用户a的n帧人脸图像中可能有些比较清晰,有些比较模糊,移动速度越快,得到的人脸图像越模糊。此时,网络设备可以计算每帧人脸图像中用户a的人脸区域的移动速度(即每帧人脸图像的移动速度),例如,分别计算第k帧人脸图像、第r帧人脸图像、及第s帧人脸图像等用户a的人脸区域的移动速度,然后根据移动速度与清晰度分值之间的第三映射关系,确定每帧人脸图像中用户a的人脸区域的清晰度分值,用户a的人脸不移动,其清晰度分值越大,移动速度为零的人脸图像为清晰度值最高的人脸图像,例如,第r帧人脸图像的清晰度分值将会大于第k帧人脸图像的清晰度分值,也会大于第s帧人脸图像的清晰度分值。

s205、网络设备根据面积分值、姿态分值和清晰度分值,分别计算每帧人脸图像对应的人脸质量分值。

在得到每帧人脸图像中人脸区域对应的面积分值、姿态分值和清晰度分值分后,网络设备可以为面积分值设置第一权重值,为姿态分值设置第二权重值,以及为清晰度分值设置第三权重值,然后分别将每帧人脸图像对应的面积分值与第一权重值相乘得到第一累积值,将姿态分值与第二权重值相乘得到第二累积值,将清晰度分值与第三权重值相乘得到第三累积值,再将第一累积值、第二累积值和第三累积值相加得到每帧人脸图像对应的人脸质量分值。

s206、网络设备将多帧人脸图像中的第一帧人脸图像作为当前人脸图像。

s207、网络设备判断当前人脸图像的人脸质量分值是否大于预设阈值;若是,则执行步骤s208;若是,则执行步骤s209。

网络设备在检测的过程中,可以在计算得到第一帧人脸图像的人脸质量分值后,先将第一帧人脸图像作为当前人脸图像,将当前人脸图像的人脸质量分值与预设阈值进行比较,判断当前人脸图像的人脸质量分值是否大于预设阈值。

s208、网络设备对当前人脸图像进行人脸识别。

若当前人脸图像的人脸质量大于预设阈值,则网络设备可以对当前人脸图像进行人脸识别。

s209、网络设备将多帧人脸图像中的第二帧人脸图像作为当前人脸图像。

若当前人脸图像的人脸质量分值小于预设阈值,则网络设备可以判断检测时间是否达到预设时间,该预设时间可以根据实际需要进行灵活设置,若达到预设时间,可以结束人脸图像识别的流程,若未达到预设时间段,则将多帧人脸图像中的第二帧人脸图像作为当前人脸图像,返回执行将当前人脸图像的人脸质量分值与预设阈值进行比较的步骤,直至当前人脸图像的人脸质量分值大于预设阈值,得到所需的人脸图像,并对所需的人脸图像进行人脸识别。

或者,若当前人脸图像的人脸质量分值小于预设阈值,则判断采集到的多帧人脸图像是否比较完毕,若未比较完毕,则将多帧人脸图像中的第二帧人脸图像作为当前人脸图像,返回执行将当前人脸图像的人脸质量分值与预设阈值进行比较的步骤,直至当前人脸图像的人脸质量分值大于预设阈值,得到所需的人脸图像,并对所需的人脸图像进行人脸识别。

当不存在人脸质量分值大于预设阈值时,网络设备可以从多帧人脸图像中筛选出人脸质量分值最大所对应的人脸图像,并对人脸质量分值最大所对应的人脸图像进行人脸识别。

网络设备可以预先存储具有开启门禁权限的用户的人脸(称为权限人脸),可以将该权限人脸存储在数据库中,在对人脸图像进行人脸识别的过程中,网络设备从人脸图像中提取出人脸区域,并将提取出的人脸区域与数据库中的权限人脸进行一一比较,若数据库中存在权限人脸与提取出的人脸区域之间的相似度大于预设相似度阈值(该预设相似度阈值可以根据实际需要进行灵活设置),则说明权限人脸与该人脸区域匹配成功,网络设备可以控制门禁开启,以放行用户,反之,若数据库中不存在权限人脸与提取出的人脸区域之间的相似度大于预设相似度阈值,则说明权限人脸与该人脸区域匹配失败,网络设备可以控制门禁维持关闭状态,以禁止用户通行。

本发明实施例可以采集多帧人脸图像,计算每帧人脸图像中待识别的人脸区域的面积分值、姿态分值和清晰度分值等,并根据面积分值、姿态分值和清晰度分值,分别计算每帧人脸图像对应的人脸质量分值,该人脸质量分值越高说明采集到的人脸图像质量越好,此时可以根据人脸质量分值从多帧人脸图像中筛选出人脸质量较优的人脸图像,并对该人脸图像中的人脸进行精准识别。对于质量较差的人脸图像进行人脸识别而导致识别错误的问题,提高了对人脸图像识别的准确性,从而提高了门禁控制的安全性,也提升了用户的使用体验。

为便于更好的实施本发明实施例提供的人脸图像识别方法,本发明实施例还提供一种基于上述人脸图像识别方法的装置。其中名词的含义与上述人脸图像识别方法中相同,具体实现细节可以参考方法实施例中的说明。

请参阅图11,图11为本发明实施例提供的人脸图像识别装置的结构示意图,其中该人脸图像识别装置可以包括确定单元301、检测单元302、获取单元303、筛选单元304及识别单元305等。

其中,确定单元301,用于采集多帧人脸图像,并根据多帧人脸图像确定待识别的人脸区域。

确定单元301可以通过预先设置的摄像头、摄像机或照相机等连续采集多帧用户的人脸图像,或者是,接收终端或服务器等发送的多帧人脸图像等。

其中,多帧人脸图像可以是在预设时间段内每间隔预设时间连续采集得到的图像,例如,在1分钟内每间隔2秒连续采集得到的30帧图像。该人脸图像中可以包括一个或多个人脸,还可以包括其他的物体,具体内容在此处不作限定。

为了能够对所需的人脸图像进行识别,确定单元301可以对多帧人脸图像中的人脸进行跟踪,以便确定出待识别的人脸区域。

在某些实施方式中,如图12所示,确定单元301可以包括重合度获取子单元3011和第一筛选子单元3012等,具体可以如下:

重合度获取子单元3011,用于获取多帧人脸图像中每相邻两帧人脸图像之间人脸区域的重合度,得到多个重合度;

第一筛选子单元3012,用于根据多个重合度,从多帧人脸图像中筛选出重合度最高所对应的人脸区域,得到待识别的人脸区域。

重合度获取子单元3011可以利用人脸跟踪算法,对于每一帧人脸图像进行人脸检测,并计算多帧人脸图像中前后相邻两帧人脸图像之间人脸区域的重合度,得到每对相邻两帧人脸图像对应的重合度,多对相邻人脸图像的重合度即可组合为多个重合度,该重合度可以是相邻两帧人脸图像中同一个人的人脸区域之间的重合面积。得到多个重合度后,第一筛选子单元3012可以基于多个重合度从多帧人脸图像中筛选出重合度最高所对应的一对相邻两帧人脸图像,该对相邻两帧人脸图像中的人脸区域,即为待识别的人脸区域,该待识别的人脸区域也可以称为跟踪人脸区域。该人脸区域的形状可以根据实际需要进行灵活设置,例如,该人脸区域可以是矩形区域、正方形区域或圆形区域等。

在某些实施方式中,重合度获取子单元3011具体可以用于:获取多帧人脸图像中每相邻两帧人脸图像之间人脸区域的交集面积;获取多帧人脸图像中每相邻两帧人脸图像之间人脸区域的并集面积;根据交集面积和并集面积计算每相邻两帧人脸图像之间人脸区域的重合度,得到多个重合度。即重合度获取子单元3011可以利用上述公式(1)计算每相邻两帧人脸图像之间人脸区域的重合度。

检测单元302,用于根据人脸区域对每帧人脸图像中的人脸进行姿态检测,得到姿态参数。

在某些实施方式中,如图13所示,检测单元302可以包括分值获取子单元3021、第二筛选子单元3022及检测子单元3023等,具体可以如下:

分值获取子单元3021,用于获取每帧人脸图像中人脸区域的面积分值;

第二筛选子单元3022,用于从多帧人脸图像中筛选出面积分值大于预设值所对应的人脸图像,得到筛选后人脸图像;

检测子单元3023,用于对筛选后人脸图像中的人脸进行姿态检测,得到姿态参数。

为了提高对人脸图像中的人脸进行姿态检测的精准性,可以得到的多帧人脸图像进行初步筛选,例如,可以筛选出人脸区域的面积满足条件的人脸图像。具体地,分值获取子单元3021可以获取每帧人脸图像中人脸区域的面积分值,该面积分值与人脸区域的面积有关,且面积分值与人脸区域的面积之间成正比例关系。然后第二筛选子单元3022从多帧人脸图像中筛选出面积分值大于预设值所对应的人脸图像,其中,预设值可以根据实际需要进行灵活设置,以便筛选出人脸区域的面积较大的人脸图像,从而得到筛选后人脸图像,该筛选后人脸图像可以包括一张或多张,此时检测子单元3023可以对筛选后人脸图像中的人脸进行姿态检测,得到姿态参数,该姿态参数可以包括姿态分值,该姿态分值与人脸图像中的人脸相对于正脸的偏转角度有关。

在某些实施方式中,分值获取子单元3021具体可以用于:

获取每帧人脸图像中人脸区域的面积;

获取面积与面积分值之间的第一映射关系,并根据第一映射关系确定每帧人脸图像中人脸区域的面积分值。

分值获取子单元3021可以预先设置人脸区域的面积与面积分值之间的第一映射关系,可以将第一映射关系以列表或文本等形式存储在本地或存储在服务器等,该第一映射关系可以利用sigmoid函数来评估,该sigmoid函数可以如上述公式(2)所示。人脸区域的面积越大,面积分值也越大,反之,人脸区域的面积越小,面积分值也越小,当人脸区域的面积大到一定程度后,面积分值不再随着人脸区域的面积的增大而增大。面积分值的取值范围可以根据实际需要进行灵活设置,具体取值在此处不作限定。

基于人脸跟踪的结果确定出待识别的人脸区域后,分值获取子单元3021可以计算每帧人脸图像中该人脸区域的面积,例如,当人脸区域为矩形区域时,可以根据矩形区域的长和宽计算得到矩形区域的面积;又例如,当人脸区域为圆形区域时,可以根据圆形区域的半径计算得到圆形区域的面积。此时,分值获取子单元3021可以从本地或服务器等获取面积与面积分值之间的第一映射关系,并根据每帧人脸图像中人脸区域的面积,从第一映射关系中查询对应的面积分值,得到每帧人脸图像中人脸区域的面积分值。

在某些实施方式中,检测子单元3023可以包括参数获取模块、映射关系获取模块及确定模块等,具体可以如下:

参数获取模块,用于获取筛选后人脸图像中每帧人脸图像的人脸区域中人脸的偏转参数;

映射关系获取模块,用于获取偏转参数与姿态分值之间的第二映射关系;

确定模块,用于根据第二映射关系确定每帧人脸图像中人脸区域的姿态分值,将姿态分值设置为姿态参数。

检测子单元3023可以预先设置偏转参数与姿态分值之间的第二映射关系,可以将第二映射关系以列表或文本等形式存储在本地或存储在服务器等,该第二映射关系可以利用标准正态分布来评估,该标准正态分布可以如上述公式(3)所示,在第一区间内人脸向右偏转的偏转参数越大,则姿态分值越小;在第二区间内人脸向左偏转的偏转参数越大,则姿态分值越小,姿态分值达到最大值时,说明此时的人脸为正脸,即用户正对摄像头所采集到的人脸图像。姿态分值的取值范围可以根据实际需要进行灵活设置,具体取值在此处不作限定。

基于人脸跟踪的结果确定出待识别的人脸区域,以及从多帧人脸图像中筛选出面积分值大于预设值所对应的人脸图像后,参数获取模块可以获取筛选后人脸图像中每帧人脸图像的人脸区域中人脸的偏转参数,该偏转参数可以是人脸在x轴、y轴及z轴方式上的偏转角度,或者是该偏转参数可以包括俯仰角、偏航角及翻滚角。此时,映射关系获取模块可以从本地或服务器中获取偏转参数与姿态分值之间的第二映射关系,并根据每帧人脸图像中人脸区域对应的人脸的偏转参数,从第二映射关系中查询对应的姿态分值,得到每帧人脸图像中人脸区域的姿态分值。

在某些实施方式中,参数获取模块具体可以用于:获取所述筛选后人脸图像中,每帧人脸图像的人脸区域中人脸投影在二维平面内的第一投影参数;获取预设人脸模型投影在二维平面内的第二投影参数;根据第一投影参数及第二投影参数获取人脸区域中人脸的偏转参数。

参数获取模块可以获取每帧人脸图像的人脸区域中人脸投影在二维平面内的第一投影参数,该第一投影参数可以是人脸在二维平面内的坐标点,以及,获取预设人脸模型投影在二维平面内的第二投影参数,该第二投影参数可以是预设人脸模型在二维平面内的坐标点。其中,预设人脸模型可以是预先设置的三维平均人脸模型,可以通过改变三维平均人脸模型的三维坐标点的位置信息来生成不同的表情及不同身份的用户的三维人脸模型,也就是说所有三维人脸模型都可以通过在三维平均人脸模型的三维坐标点上增加偏移来表示,用户的人脸的三维人脸模型可以用上述公式(4)表示。

在得到人脸投影在二维平面内的第一投影参数,以及预设人脸模型投影在二维平面内的第二投影参数后,人脸图像识别装置可以利用上述公式(5)和公式(6),根据第一投影参数及第二投影参数,获取人脸在三维平面内的三维坐标点,并可以通过上述公式(7)进行正交投影,可以通过公式(4)、公式(6)及公式(7)迭代求解公式(5),即可得到三维坐标点,根据三维坐标点即可生成三维人脸模型。也就是说,如果将各个角度的三维人脸模型投影到二维平面都可以与二维图像中人脸相匹配,那么这个三维人脸模型就是需要获取的三维人脸模型。在得到三维模型后,可以基于三维模型获取人脸图像的人脸区域中人脸的偏转参数,该偏转参数即为上述公式(7)中的旋转系数r。

可选地,参数获取模块也可以利用人脸姿态估计算法计算每帧人脸图像的人脸区域中人脸的偏转参数,例如,可以获取每帧人脸图像的人脸区域中人脸器官(包括眼睛、鼻子和嘴巴等)的特征点,根据特征点计算人脸器官之间的比例关系,并根据比例关系确定每帧人脸图像的人脸区域中人脸的偏转参数。或者是,旋转三维平均人脸模型一定角度,直到三维平均人脸模型上人脸器官(包括眼睛、眉毛、鼻子和嘴巴等)的三维特征点的二维投影,与人脸图像上人脸器官的二维特征点重合或尽量重合,得到三维平均人脸模型的旋转角度,该旋转角度即为人脸的偏转参数。

需要说明的是,除了可以通过上述方式获取偏转参数之外,偏转参数还可以是通过其他方式获取,具体获取方式在此不做限定。

在得到偏转参数后,映射关系获取模块可以从本地或服务器等获取预先设置的偏转参数与姿态分值之间的第二映射关系,并由确定模块根据偏转参数从第二映射关系中查询对应的姿态分值,得到每帧人脸图像中人脸区域,该姿态分值即为姿态参数。

获取单元303,用于获取多帧人脸图像中每相邻两帧图像之间的人脸图像的移动速度,根据移动速度确定每帧人脸图像对应的清晰度。

例如,当多帧人脸图像中包括第一帧人脸图像、第二帧人脸图像及第三帧人脸图像时,可以以第一帧人脸图像为原点,根据第一帧人脸图像和第二帧人脸图像之间采集的距离及时间间隔来确定第二帧人脸图像的移动速度,以及根据第二帧人脸图像和第三帧人脸图像之间采集的距离及时间间隔来确定第三帧人脸图像的移动速度,或者根据第一帧人脸图像和第三帧人脸图像之间采集的距离及时间间隔来确定第三帧人脸图像的移动速度等。其中,该移动速度可以是人脸图像的移动速度,也可以是人脸区域的移动速度,该移动速度越大,清晰度越低,反之移动速度越小,清晰度越高。

在某些实施方式中,获取单元303具体可以用于:

获取多帧人脸图像中每相邻两帧人脸图像之间距离及时间间隔;

根据距离和时间间隔计算每帧人脸图像的移动速度;

获取移动速度与清晰度分值之间的第三映射关系;

根据第三映射关系确定每帧人脸图像的清晰度分值,并根据清晰度分值确定每帧人脸图像对应的清晰度。

获取单元303可以预先设置移动速度与清晰度分值之间的第三映射关系,可以将第三映射关系以列表或文本等形式存储在本地或存储在服务器等,该第三映射关系可以利用反比例函数来评估,该反比例函数可以如上述公式(8)所示。人脸区域的移动速度越大,人脸区域的清晰度分值越大,反之,人脸区域的移动速度越小,人脸区域的清晰度分值越小,清晰度分值的取值范围可以根据实际需要进行灵活设置,具体内容在此处不作限定。

基于人脸跟踪的结果确定出待识别的人脸区域后,获取单元303可以获取多帧人脸图像中每相邻两帧人脸图像之间距离及时间间隔,然后根据距离和时间间隔计算每帧人脸图像的移动速度,此时,获取单元303可以从本地或服务器中获取移动速度与清晰度分值之间的第三映射关系,并根据每帧人脸图像对应的移动速度,从第三映射关系中查询对应的清晰度分值,得到每帧人脸图像中人脸区域的清晰度分值。此时可以根据清晰度分值确定每帧人脸图像对应的清晰度,清晰度分值越大,清晰度越高,反之清晰度分值越小,清晰度越低,例如可以根据清晰度分值与清晰度之间的对应关系,确定与得到的每帧人脸图像的清晰度分值对应的清晰度。

筛选单元304,用于根据姿态参数和清晰度从多帧人脸图像中筛选出满足预设条件所对应的人脸图像,得到目标人脸图像。

识别单元305,用于对目标人脸图像进行人脸识别。

其中,预设条件可以根据实际需要进行灵活设置,以便筛选出质量较高的人脸图像。

在某些实施方式中,如图14所示,筛选单元304可以包括计算子单元3041和第三筛选子单元3042等,具体可以如下:

计算子单元3041,用于根据姿态参数和清晰度计算每帧人脸图像的人脸质量分值;

第三筛选子单元3042,用于从多帧人脸图像中筛选出人脸质量分值大于预设阈值所对应的人脸图像,得到目标人脸图像。

在某些实施方式中,计算子单元3041具体可以用于:根据姿态参数和清晰度确定每帧人脸图像的面积分值、姿态分值和清晰度分值;为面积分值、姿态分值和清晰度分值分别设置对应的权重值;根据面积分值、姿态分值、清晰度分值及其对应的权重值分别计算每帧人脸图像对应的人脸质量分值。即每帧人脸图像均可以利用上述公式(9)计算得到对应的人脸质量分值。

需要说明的是,对于面积分值、姿态分值、清晰度分值或人脸质量分值等,也可以使用其他函数,甚至是神经网络来计算,以便后续可以筛选出高质量人脸图像进行人脸识别。

为了筛选出质量较高的人脸图像,该预设条件可以是人脸质量分值大于预设阈值,例如,第三筛选子单元3042可以从多帧人脸图像中筛选出人脸质量分值大于预设阈值所对应的人脸图像,得到一帧或多帧目标人脸图像,当得到一帧目标人脸图像时,可以对该帧目标人脸图像进行人脸识别,当得到多帧目标人脸图像时,可以选择其中的一帧目标人脸图像进行人脸识别。

在某些实施方式中,第三筛选子单元3042具体可以用于:从人脸质量分值中筛选出大于预设阈值的人脸质量分值,得到候选人脸质量分值;当候选人脸质量分值包括多个时,按照预设算法从候选人脸质量分值中选择其中一个候选人脸质量,得到目标人脸质量;从多帧人脸图像中确定与目标人脸质量对应的人脸图像,得到目标人脸图像。

第三筛选子单元3042可以是在预设时间段内每间隔预设时间连续采集得到多帧人脸图像后,分别计算每帧人脸图像对应的人脸质量分值,得到人脸质量分值集合,然后将人脸质量分值集合中的每个人脸质量分值与预设阈值进行比较,从人脸质量分值集合中筛选出大于预设阈值的人脸质量分值,得到候选人脸质量分值。其中,预设阈值可以根据实际需要进行灵活设置,该候选人脸质量分值可以包括一个或多个。

当候选人脸质量分值包括一个时,第三筛选子单元3042可以对该候选人脸质量分值对应的人脸图像进行人脸识别。当候选人脸质量分值包括多个时,可以按照预设算法从候选人脸质量分值中选择其中一个候选人脸质量,得到目标人脸质量;该预设算法可以根据实际需要进行灵活设置,例如,可以从多个候选人脸质量分值中随机选择其中一个候选人脸质量,或者从多个候选人脸质量分值中选择分值最高的一个候选人脸质量,或者从多个候选人脸质量分值中选择最靠前人脸图像帧所对应的一个候选人脸质量,等等。然后,可以从多帧人脸图像中确定与目标人脸质量对应的人脸图像,得到目标人脸图像,并对该目标人脸图像进行人脸识别。

在某些实施方式中,第三筛选子单元3042具体可以用于:将多帧人脸图像中的第一帧人脸图像作为当前人脸图像;将当前人脸图像的人脸质量分值与预设阈值进行比较;若当前人脸图像的人脸质量分值小于预设阈值,则将多帧人脸图像中的第二帧人脸图像作为当前人脸图像,返回执行将当前人脸图像的人脸质量分值与预设阈值进行比较的步骤,直至当前人脸图像的人脸质量分值大于预设阈值,得到目标人脸图像。

第三筛选子单元3042可以是在预设时间段内一边采集人脸图像一边计算人脸图像的人脸质量分值,例如,人脸图像在采集到至少两帧人脸图像后,可以先计算这至少两帧人脸图像的人脸质量分值。第三筛选子单元3042可以将计算得到人脸质量分值后的多帧人脸图像中的第一帧人脸图像作为当前人脸图像,将当前人脸图像的人脸质量分值与预设阈值进行比较,判断当前人脸图像的人脸质量分值是否大于预设阈值。若当前人脸图像的人脸质量大于预设阈值,则对当前人脸图像进行人脸识别;若当前人脸图像的人脸质量分值小于预设阈值,则判断检测时间是否达到预设时间段,该预设时间段可以根据实际需要进行灵活设置,若达到预设时间段,为了避免无限时长的检测,此时可以结束人脸图像识别的流程;若未达到预设时间段,则将多帧人脸图像中的第二帧人脸图像作为当前人脸图像,返回执行将当前人脸图像的人脸质量分值与预设阈值进行比较的步骤,直至当前人脸图像的人脸质量分值大于预设阈值,得到目标人脸图像,并对目标人脸图像进行人脸识别。

在某些实施方式中,人脸图像识别装置还包括:

第四筛选子单元,用于当不存在人脸质量分值大于预设阈值时,从所述多帧人脸图像中筛选出人脸质量分值最大所对应的人脸图像,得到目标人脸图像。。

当在预设时间段内每间隔预设时间连续采集得到的多帧人脸图像中,对于每帧人脸图像对应的人脸质量分值,若不存在人脸质量大于预设阈值,则为了能够对采集到的人脸图像进行识别,第四筛选子单元可以从多帧人脸图像中筛选出人脸质量分值最大所对应的人脸图像,得到目标人脸图像,并对目标人脸图像进行人脸识别。或者是,在预设时间段内一边采集图像一边计算人脸图像的人脸质量的过程中,若检测时间达到预设时间段还未得到人脸质量分值大于预设值的人脸图像,则第四筛选子单元可以从多帧人脸图像中筛选出人脸质量分值最大所对应的人脸图像,得到目标人脸图像,并对目标人脸图像进行人脸识别。确保了可以对质量较优的人脸图像进行人脸识别,以保证人脸识别结果的稳定性及可靠性。

由上可知,本发明实施例可以由确定单元301采集多帧人脸图像,并根据多帧人脸图像确定待识别的人脸区域,然后由检测单元302根据人脸区域对每帧人脸图像中的人脸进行姿态检测,得到姿态参数,例如,该姿态参数与面积分值和姿态分值等有关,其中,面积分值与人脸区域的面积有关,姿态分值与人脸的偏转参数有关,以及由获取单元303获取多帧人脸图像中每相邻两帧图像之间的人脸图像的移动速度,并根据移动速度确定每帧人脸图像对应的清晰度,该清晰度与清晰度分值有关;此时,由筛选单元304可以根据姿态参数和清晰度从多帧人脸图像中筛选出满足预设条件所对应的人脸图像,得到目标人脸图像,例如,目标人脸图像为人脸图像质量较好的图像,并由识别单元305对该目标人脸图像进行人脸识别。该方案可以从采集到的多帧人脸图像中,筛选出人脸图像满足条件的质量最好的人脸图像,即筛选出质量最好的人脸图像进行人脸识别,避免了对模糊、脸部区域较小、或人脸姿态较差等质量较差的人脸图像进行人脸识别,而出现识别结果错误的问题,提高了对人脸图像识别的准确性。

本发明实施例还提供一种网络设备,该网络设备可以为服务器或终端等设备。如图15所示,其示出了本发明实施例所涉及的网络设备的结构示意图,具体来讲:

该网络设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解,图15中示出的网络设备结构并不构成对网络设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:

处理器401是该网络设备的控制中心,利用各种接口和线路连接整个网络设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行网络设备的各种功能和处理数据,从而对网络设备进行整体监控。可选的,处理器401可包括一个或多个处理核心;优选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。

存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据网络设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。

网络设备还包括给各个部件供电的电源403,优选的,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该网络设备还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出,网络设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,网络设备中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现本发明实施例提供的人脸图像识别方法,如下:

采集多帧人脸图像,并根据多帧人脸图像确定待识别的人脸区域;根据人脸区域对每帧人脸图像中的人脸进行姿态检测,得到姿态参数;获取多帧人脸图像中每相邻两帧图像之间的人脸图像的移动速度,根据移动速度确定每帧人脸图像对应的清晰度;根据姿态参数和清晰度从多帧人脸图像中筛选出满足预设条件所对应的人脸图像,得到目标人脸图像;对目标人脸图像进行人脸识别。

可选地,根据多帧人脸图像确定待识别的人脸区域的步骤可以包括:获取多帧人脸图像中每相邻两帧人脸图像之间人脸区域的重合度,得到多个重合度;根据多个重合度,从多帧人脸图像中筛选出重合度最高所对应的人脸区域,得到待识别的人脸区域。

可选地,根据人脸区域对每帧人脸图像中的人脸进行姿态检测,得到姿态参数的步骤可以包括:获取每帧人脸图像中人脸区域的面积分值;从多帧人脸图像中筛选出面积分值大于预设值所对应的人脸图像,得到筛选后人脸图像;对筛选后人脸图像中的人脸进行姿态检测,得到姿态参数。

可选地,根据姿态参数和清晰度从多帧人脸图像中筛选出满足预设条件所对应的人脸图像,得到目标人脸图像的步骤可以包括:根据姿态参数和清晰度计算每帧人脸图像的人脸质量分值;从多帧人脸图像中筛选出人脸质量分值大于预设阈值所对应的人脸图像,得到目标人脸图像。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对人脸图像识别方法的详细描述,此处不再赘述。

由上可知,本发明实施例可以采集多帧人脸图像,并根据多帧人脸图像确定待识别的人脸区域,然后根据人脸区域对每帧人脸图像中的人脸进行姿态检测,得到姿态参数,以及获取多帧人脸图像中每相邻两帧图像之间的人脸图像的移动速度,并根据移动速度确定每帧人脸图像对应的清晰度;此时,可以根据姿态参数和清晰度从多帧人脸图像中筛选出满足预设条件所对应的人脸图像,得到目标人脸图像,例如,目标人脸图像为人脸图像质量较好的图像,并对该目标人脸图像进行人脸识别。该方案可以从采集到的多帧人脸图像中,筛选出人脸图像满足条件的质量最好的人脸图像,即筛选出质量最好的人脸图像进行人脸识别,避免了对质量较差的人脸图像进行人脸识别,而出现识别结果错误的问题,提高了对人脸图像识别的准确性。

本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。

为此,本发明实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的任一种人脸图像识别方法中的步骤。例如,该指令可以执行如下步骤:

采集多帧人脸图像,并根据多帧人脸图像确定待识别的人脸区域;根据人脸区域对每帧人脸图像中的人脸进行姿态检测,得到姿态参数;获取多帧人脸图像中每相邻两帧图像之间的人脸图像的移动速度,根据移动速度确定每帧人脸图像对应的清晰度;根据姿态参数和清晰度从多帧人脸图像中筛选出满足预设条件所对应的人脸图像,得到目标人脸图像;对目标人脸图像进行人脸识别。

可选地,根据多帧人脸图像确定待识别的人脸区域的步骤可以包括:获取多帧人脸图像中每相邻两帧人脸图像之间人脸区域的重合度,得到多个重合度;根据多个重合度,从多帧人脸图像中筛选出重合度最高所对应的人脸区域,得到待识别的人脸区域。

可选地,根据人脸区域对每帧人脸图像中的人脸进行姿态检测,得到姿态参数的步骤可以包括:获取每帧人脸图像中人脸区域的面积分值;从多帧人脸图像中筛选出面积分值大于预设值所对应的人脸图像,得到筛选后人脸图像;对筛选后人脸图像中的人脸进行姿态检测,得到姿态参数。

可选地,根据姿态参数和清晰度从多帧人脸图像中筛选出满足预设条件所对应的人脸图像,得到目标人脸图像的步骤可以包括:根据姿态参数和清晰度计算每帧人脸图像的人脸质量分值;从多帧人脸图像中筛选出人脸质量分值大于预设阈值所对应的人脸图像,得到目标人脸图像。

以上各个操作的具体实施可参见前面的实施例,在此不再赘述。

其中,该存储介质可以包括:只读存储器(rom,readonlymemory)、随机存取记忆体(ram,randomaccessmemory)、磁盘或光盘等。

由于该存储介质中所存储的指令,可以执行本发明实施例所提供的任一种人脸图像识别方法中的步骤,因此,可以实现本发明实施例所提供的任一种人脸图像识别方法所能实现的有益效果,详见前面的实施例,在此不再赘述。

以上对本发明实施例所提供的一种人脸图像识别方法、装置及存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1