图像处理方法及装置、处理器、电子设备及存储介质与流程

文档序号:20754593发布日期:2020-05-15 17:19阅读:156来源:国知局
图像处理方法及装置、处理器、电子设备及存储介质与流程

本申请涉及安防技术领域,尤其涉及一种图像处理方法及装置、处理器、电子设备及存储介质。



背景技术:

随着人脸识别技术的发展,人脸识别技术已广泛应用于不同的应用场景,其中,通过人脸识别确认人物的身份即为一个重要的应用场景,例如,通过人脸识别技术进行实名认证、身份认证等等。然而,近来越来越多使用“非活体”的人脸图像攻击人脸识别技术的事件发生。上述“非活体”的人脸图像包括:纸质照片、电子图像等等。使用“非活体”的人脸图像攻击人脸识别技术即将“非活体”的人脸图像替换人物的脸部区域,达到攻击人脸识别技术的效果。如何有效防止“非活体”的人脸图像对人脸识别技术的攻击具有非常重要的意义。

传统方法基于双目相机采集到的双目图像确定采集到的人脸图像中的人物是否为活体,但该种方法的检测准确率低。



技术实现要素:

本申请提供一种图像处理方法及装置、处理器、电子设备及存储介质,以检测待检测人物对象是否为活体。

第一方面,提供了一种图像处理方法,所述方法包括:

获取双目图像以及采集所述双目图像的双目相机的参数,其中,所述双目图像包含待检测人物对象的人体区域;

依据所述双目图像,得到所述人体区域中的至少四个参考点的深度信息、所述至少四个参考点的水平位置信息和所述至少四个参考点的竖直位置信息,其中,所述参考点包括人脸关键点,所述参考点或包括所述人脸关键点和躯干关键点;

依据所述双目相机的参数、所述至少四个参考点的水平位置信息、所述至少四个参考点的竖直位置信息和所述至少四个参考点的深度信息得到所述至少四个参考点在世界坐标系下的三维位置信息;

在所述至少四个参考点在世界坐标系下的三维位置信息在深度方向的方差大于或等于第一阈值的情况下,确定所述待检测人物对象为活体,其中,所述深度方向为在所述双目相机采集所述双目图像时垂直于所述双目相机的像平面的方向。

在该方面中,基于双目图像获得待检测人物对象中的至少四个参考点的深度信息,进而得到至少四个参考点在世界坐标系下的三维位置信息。依据至少四个参考点在世界坐标系下的三维位置信息可确定待检测人物对象的人体区域是否为三维区域,进而可有效防止对人脸识别技术的二维攻击。本实施在二维活体检测方法的硬件基础上获得了待检测人物对象中的至少四个参考点的三维位置信息,相较于二维活体检测方法,没有增加硬件成本但提高了检测准确率。

在一种可能实现的方式中,所述双目图像包括:第一待处理图像和第二待处理图像;所述双目相机包括:采集所述第一待处理图像的第一相机和采集所述第二待处理图像的第二相机;所述双目相机的参数包括:所述第一相机与所述第二相机之间的距离、所述第一相机的第一焦距和所述第二相机的第二焦距;

所述依据所述双目图像,得到所述人体区域中的至少四个参考点的深度信息,包括:

依据所述第一待处理图像和所述第二待处理图像,得到所述第一待处理图像和所述第二待处理图像的视差图像,其中,所述视差图像携带所述至少四个参考点的视差信息;

对所述第一待处理图像和所述第二待处理图像进行立体校正处理,以归一化所述第一焦距和所述第二焦距,得到归一化后的焦距;

依据所述至少四个参考点的视差信息、所述归一化后的焦距和所述距离,得到所述至少四个参考点的深度信息。

在该种可能实现的方式中,通过对第一待处理图像和第二待处理图像进行立体校正处理,实现对第一相机的第一焦距和第二相机的第二焦距的归一化,并减小第一待处理图像和第二待处理图像中的同名点的竖直位移差,得到归一化后的焦距。依据至少四个参考点的视差信息、第一相机与第二相机之间的距离和归一化后的焦距,得到至少四个参考点的深度信息,可提高获得的参考点的深度信息的精度。

在另一种可能实现的方式中,所述至少四个参考点包括第一参考点;

所述依据所述至少四个参考点的视差信息、所述归一化后的焦距和所述距离,得到所述至少四个参考点的深度信息,包括:

确定所述归一化后的焦距与所述距离之间乘积,得到第一中间值;

确定所述第一中间值与所述第一参考点的视差信息的商,得到所述第一参考点的深度信息。

在又一种可能实现的方式中,所述对所述第一待处理图像和所述第二待处理图像进行立体校正处理,以归一化所述第一焦距和所述第二焦距,得到归一化后的焦距,包括:

对所述第一待处理图像和所述第二待处理图像进行立体校正处理,以归一化所述第一相机的参数和所述第二相机的参数,得到归一化后的相机参数;

所述依据所述双目相机的参数、所述至少四个参考点的水平位置信息、所述至少四个参考点的竖直位置信息和所述至少四个参考点的深度信息得到所述至少四个参考点在世界坐标系下的三维位置信息,包括:

依据所述归一化后的相机参数、所述至少四个参考点的水平位置信息、所述至少四个参考点的竖直位置信息和所述至少四个参考点的深度信息,得到所述至少四个参考点在世界坐标系下的三维位置信息。

在前一种可能实现的方式中,通过对第一待处理图像和第二待处理图像进行立体校正处理,可减小第一待处理图像和第二待处理图像中的同名点的竖直位移差,得到归一化后的相机参数。在该种可能实现的方式中,利用归一化后的相机参数、至少四个参考点的水平位置信息、至少四个参考点的竖直位置信息和至少四个参考点的深度信息,得到至少四个参考点在世界坐标系下的三维位置信息,可提高获得的至少四个参考点在世界坐标系下的三维位置信息的精度。

在又一种可能实现的方式中,所述至少四个参考点包括第二参考点;所述归一化后的相机参数包括:归一化后的相机的中心点的水平位置信息和所述中心点的竖直位置信息,其中,所述中心点为所述第一相机的像平面与所述第一相机的光轴的交点;所述归一化后的焦距包括:归一化后的焦距的水平位置信息和归一化后的焦距的竖直位置信息;所述至少四个参考点在世界坐标系下的三维位置信息包括:所述至少四个参考点在世界坐标系下的水平位置信息、所述至少四个参考点在世界坐标系下的竖直位置信息和所述至少四个参考点在世界坐标系下的深度位置信息;

所述依据所述归一化后的相机参数、所述至少四个参考点的水平位置信息、所述至少四个参考点的竖直位置信息和所述至少四个参考点的深度信息,得到所述至少四个参考点在世界坐标系下的三维位置信息,包括:

确定所述第二参考点的水平位置信息与所述中心点的水平位置信息之间的差得到第二中间值,确定所述第二参考点的视差信息与所述归一化后的焦距的水平位置信息的商得到第三中间值;

确定所述第二参考点的竖直位置信息与所述中心点的竖直位置信息之间的差得到第四中间值,确定所述第二参考点的视差信息与所述归一化后的焦距的竖直位置信息的商得到第五中间值;

将所述第二中间值与所述第三中间值的乘积作为所述第二参考点的在世界坐标系下的水平位置信息,将所述第四中间值与所述第五中间值的乘积作为所述第二参考点的在世界坐标系下的竖直位置信息,将所述第二参考点的视差信息作为所述第二参考点在世界坐标系下的深度位置信息。

在又一种可能实现的方式中,所述在所述至少四个参考点在世界坐标系下的三维位置信息在深度方向的方差大于或等于第一阈值的情况下,确定所述待检测人物对象为活体,包括:

以所述至少四个参考点在世界坐标系下的三维位置信息构建矩阵,使所述矩阵中的每一行包含一个所述参考点的三维位置信息,得到坐标矩阵;

确定所述坐标矩阵的至少一个奇异值,在所述至少一个奇异值中的最小值与所述至少一个奇异值的和的比值大于或等于第二阈值的情况下,确定所述待检测人物对象为活体。

在该种可能实现的方式中,依据至少四个参考点在世界坐标系下的三维坐标构建坐标矩阵,并依据坐标矩阵的奇异值确定待检测人物对象的人体区域是否为三维区域,进而确定待检测人物对象是否为活体。由于对任意一个待检测人物对象的人体区域而言,均可依据至少四个参考点在世界坐标系下的三维坐标构建坐标矩阵,本实施例提供的确定待检测人物对象是否为活体的方式可适用于任意场景。通过本实施提供的技术方案可提高三维活体检测方法的通用性。

在又一种可能实现的方式中,所述人体区域包括人脸区域;所述至少四个关键点包括第一人脸关键点;

所述依据所述双目图像,得到所述至少四个参考点的水平位置信息和所述至少四个参考点的竖直位置信息,包括:

分别对所述第一待处理图像和所述第二待处理图像进行人脸关键点检测处理,得到所述第一待处理图像中的所述第一人脸关键点的初始水平位置信息、所述第一人脸关键点的初始竖直位置信息、所述第二待处理图像中的第二人脸关键点的初始水平位置信息和所述第二人脸关键点的初始竖直位置信息,其中,所述第一人脸关键点与所述第二人脸关键点互为同名点;

将所述第一人脸关键点的初始竖直位置信息或所述第二人脸关键点的初始竖直位置信息作为所述第一人脸关键点的竖直位移信息;

依据所述视差图像,得到所述第一人脸关键点与所述第二人脸关键点之间的第一水平视差位移;

确定所述第一人脸关键点的初始水平位置信息与所述第一水平视差位移之间的和,作为所述第一人脸关键点的水平位置信息。

在又一种可能实现的方式中,所述人体区域包括人脸区域和躯干区域;所述至少四个关键点包括:第三人脸关键点和第一躯干关键点;

所述依据所述双目图像,得到所述至少四个参考点的水平位置信息和所述至少四个参考点的竖直位置信息,包括:

分别对所述第一待处理图像和所述第二待处理图像进行人脸关键点检测处理和躯干关键点检测处理,得到所述第一待处理图像中的所述第三人脸关键点的初始水平位置信息、所述第三人脸关键点的初始竖直位置信息、所述第二待处理图像中的第四人脸关键点的初始水平位置信息、所述第四人脸关键点的初始竖直位置信息、所述第一待处理图像中的所述第一躯干关键点的初始水平位置信息、所述第一躯干关键点的初始竖直位置信息、所述第二待处理图像中的第二躯干关键点的初始水平位置信息和所述第二躯干关键点的竖直位置信息,其中,所述第三人脸关键点与所述第四人脸关键点互为同名点,所述第一躯干关键点和所述第二躯干关键点互为同名点;

将所述第三人脸关键点的初始竖直位置信息或所述第三人脸关键点的初始竖直位置信息作为所述第三人脸关键点的竖直位移信息,将所述第一躯干关键点的初始竖直位置信息或所述第二躯干关键点的初始竖直位置信息作为所述第一躯干关键点的竖直位移信息;

依据所述视差图像,得到所述第三人脸关键点与所述第三人脸关键点之间的第二水平视差位移、以及所述第一躯干关键点与所述第二躯干关键点之间的第三水平视差位移;

确定所述第三人脸关键点的初始水平位置信息与所述第二水平视差位移之间的和,作为所述第三人脸关键点的水平位置信息,确定所述第一躯干关键点的初始水平位置信息与所述第三水平视差位移之间的和,作为所述第一躯干关键点的水平位置信息。

第二方面,提供了一种图像处理装置,所述装置包括:

获取单元,用于获取双目图像以及采集所述双目图像的双目相机的参数,其中,所述双目图像包含待检测人物对象的人体区域;

第一处理单元,用于依据所述双目图像,得到所述人体区域中的至少四个参考点的深度信息、所述至少四个参考点的水平位置信息和所述至少四个参考点的竖直位置信息,其中,所述参考点包括人脸关键点,所述参考点或包括所述人脸关键点和躯干关键点;

第二处理单元,用于依据所述双目相机的参数、所述至少四个参考点的水平位置信息、所述至少四个参考点的竖直位置信息和所述至少四个参考点的深度信息得到所述至少四个参考点在世界坐标系下的三维位置信息;

确定单元,用于在所述至少四个参考点在世界坐标系下的三维位置信息在深度方向的方差大于或等于第一阈值的情况下,确定所述待检测人物对象为活体,其中,所述深度方向为在所述双目相机采集所述双目图像时垂直于所述双目相机的像平面的方向。

在一种可能实现的方式中,所述双目图像包括:第一待处理图像和第二待处理图像;所述双目相机包括:采集所述第一待处理图像的第一相机和采集所述第二待处理图像的第二相机;所述双目相机的参数包括:所述第一相机与所述第二相机之间的距离、所述第一相机的第一焦距和所述第二相机的第二焦距;

所述第一处理单元,用于:

依据所述第一待处理图像和所述第二待处理图像,得到所述第一待处理图像和所述第二待处理图像的视差图像,其中,所述视差图像携带所述至少四个参考点的视差信息;

对所述第一待处理图像和所述第二待处理图像进行立体校正处理,以归一化所述第一焦距和所述第二焦距,得到归一化后的焦距;

依据所述至少四个参考点的视差信息、所述归一化后的焦距和所述距离,得到所述至少四个参考点的深度信息。

在另一种可能实现的方式中,所述至少四个参考点包括第一参考点;

所述第一处理单元,用于:

确定所述归一化后的焦距与所述距离之间乘积,得到第一中间值;

确定所述第一中间值与所述第一参考点的视差信息的商,得到所述第一参考点的深度信息。

在又一种可能实现的方式中,所述第一处理单元,用于:

对所述第一待处理图像和所述第二待处理图像进行立体校正处理,以归一化所述第一相机的参数和所述第二相机的参数,得到归一化后的相机参数;

所述第二处理单元,用于:

依据所述归一化后的相机参数、所述至少四个参考点的水平位置信息、所述至少四个参考点的竖直位置信息和所述至少四个参考点的深度信息,得到所述至少四个参考点在世界坐标系下的三维位置信息。

在又一种可能实现的方式中,所述至少四个参考点包括第二参考点;所述归一化后的相机参数包括:归一化后的相机的中心点的水平位置信息和所述中心点的竖直位置信息,其中,所述中心点为所述第一相机的像平面与所述第一相机的光轴的交点;所述归一化后的焦距包括:归一化后的焦距的水平位置信息和归一化后的焦距的竖直位置信息;所述至少四个参考点在世界坐标系下的三维位置信息包括:所述至少四个参考点在世界坐标系下的水平位置信息、所述至少四个参考点在世界坐标系下的竖直位置信息和所述至少四个参考点在世界坐标系下的深度位置信息;

所述确定单元,用于包括:

确定所述第二参考点的水平位置信息与所述中心点的水平位置信息之间的差得到第二中间值,确定所述第二参考点的视差信息与所述归一化后的焦距的水平位置信息的商得到第三中间值;

确定所述第二参考点的竖直位置信息与所述中心点的竖直位置信息之间的差得到第四中间值,确定所述第二参考点的视差信息与所述归一化后的焦距的竖直位置信息的商得到第五中间值;

将所述第二中间值与所述第三中间值的乘积作为所述第二参考点的在世界坐标系下的水平位置信息,将所述第四中间值与所述第五中间值的乘积作为所述第二参考点的在世界坐标系下的竖直位置信息,将所述第二参考点的视差信息作为所述第二参考点在世界坐标系下的深度位置信息。

在又一种可能实现的方式中于,所述确定单元,用于:

以所述至少四个参考点在世界坐标系下的三维位置信息构建矩阵,使所述矩阵中的每一行包含一个所述参考点的三维位置信息,得到坐标矩阵;

确定所述坐标矩阵的至少一个奇异值,在所述至少一个奇异值中的最小值与所述至少一个奇异值的和的比值大于或等于第二阈值的情况下,确定所述待检测人物对象为活体。

在又一种可能实现的方式中,所述人体区域包括人脸区域;所述至少四个关键点包括第一人脸关键点;

所述第一处理单元,用于:

分别对所述第一待处理图像和所述第二待处理图像进行人脸关键点检测处理,得到所述第一待处理图像中的所述第一人脸关键点的初始水平位置信息、所述第一人脸关键点的初始竖直位置信息、所述第二待处理图像中的第二人脸关键点的初始水平位置信息和所述第二人脸关键点的初始竖直位置信息,其中,所述第一人脸关键点与所述第二人脸关键点互为同名点;

将所述第一人脸关键点的初始竖直位置信息或所述第二人脸关键点的初始竖直位置信息作为所述第一人脸关键点的竖直位移信息;

依据所述视差图像,得到所述第一人脸关键点与所述第二人脸关键点之间的第一水平视差位移;

确定所述第一人脸关键点的初始水平位置信息与所述第一水平视差位移之间的和,作为所述第一人脸关键点的水平位置信息。

在又一种可能实现的方式中,所述人体区域包括人脸区域和躯干区域;所述至少四个关键点包括:第三人脸关键点和第一躯干关键点;

所述第一处理单元,用于:

分别对所述第一待处理图像和所述第二待处理图像进行人脸关键点检测处理和躯干关键点检测处理,得到所述第一待处理图像中的所述第三人脸关键点的初始水平位置信息、所述第三人脸关键点的初始竖直位置信息、所述第二待处理图像中的第四人脸关键点的初始水平位置信息、所述第四人脸关键点的初始竖直位置信息、所述第一待处理图像中的所述第一躯干关键点的初始水平位置信息、所述第一躯干关键点的初始竖直位置信息、所述第二待处理图像中的第二躯干关键点的初始水平位置信息和所述第二躯干关键点的竖直位置信息,其中,所述第三人脸关键点与所述第四人脸关键点互为同名点,所述第一躯干关键点和所述第二躯干关键点互为同名点;

将所述第三人脸关键点的初始竖直位置信息或所述第三人脸关键点的初始竖直位置信息作为所述第三人脸关键点的竖直位移信息,将所述第一躯干关键点的初始竖直位置信息或所述第二躯干关键点的初始竖直位置信息作为所述第一躯干关键点的竖直位移信息;

依据所述视差图像,得到所述第三人脸关键点与所述第三人脸关键点之间的第二水平视差位移、以及所述第一躯干关键点与所述第二躯干关键点之间的第三水平视差位移;

确定所述第三人脸关键点的初始水平位置信息与所述第二水平视差位移之间的和,作为所述第三人脸关键点的水平位置信息,确定所述第一躯干关键点的初始水平位置信息与所述第三水平视差位移之间的和,作为所述第一躯干关键点的水平位置信息。

第三方面,提供了一种处理器,所述处理器用于执行如上述第一方面及其任意一种可能实现的方式的方法。

第四方面,提供了一种电子设备,包括:处理器、发送装置、输入装置、输出装置和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述处理器执行所述计算机指令时,所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。

第五方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被电子设备的处理器执行时,使所述处理器执行如上述第一方面及其任意一种可能实现的方式的方法。

第六方面,提供了一种包含指令的计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行上述第一方面及其任一种可能的实现方式的方法。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开。

附图说明

为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。

此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。

图1为本申请实施例提供的一种图像处理方法的流程示意图;

图2为本申请实施例提供的一种双目图像中同名点的示意图;

图3为本申请实施例提供的一种人脸关键点的示意图;

图4为本申请实施例提供的一种躯干关键点的示意图;

图5为本申请实施例提供的一种参考点的分布示意图;

图6为本申请实施例提供的另一种图像处理方法的流程示意图;

图7为本申请实施例提供的另一种图像处理方法的流程示意图;

图8为本申请实施例提供的一种图像处理装置的结构示意图;

图9为本申请实施例提供的一种图像处理装置的硬件结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。

随着人脸识别技术的发展,人脸识别技术已广泛应用于不同的应用场景,其中,通过人脸识别确认人物的身份即为一个重要的应用场景,例如,通过人脸识别技术进行实名认证、身份认证等等。

人脸识别技术通过对采集人物的脸部区域得到的人脸图像进行特征提取处理,得到人脸特征数据。通过将提取得到的人脸特征数据与数据库中的人脸特征数据进行比对,以确定人脸图像中的人物的身份。

然而,近来越来越多使用“非活体”的人脸图像攻击人脸识别技术的事件发生。上述“非活体”的人脸图像包括:纸质照片、电子图像等等。使用“非活体”的人脸图像攻击人脸识别技术即将“非活体”的人脸图像替换人物的脸部区域,达到欺骗人脸识别技术的效果。例如,张三将李四的照片放置于李四的手机前,以进行人脸识别解锁。手机通过摄像头对李四的照片进行拍摄,得到包含李四的脸部区域的人脸图像,进而确定张三的身份为李四,并对手机进行解锁处理。这样,张三就通过使用李四的照片成功欺骗手机的人脸识别技术,实现对李四的手机的解锁。为有效的防止“非活体”的人脸图像对人脸识别技术的攻击(下文将称为二维攻击)具有非常重要的意义。

通过对人脸图像进行活体检测可有效防止“非活体”的人脸图像对人脸识别技术的攻击。传统活体检测方法可分为二维活体检测方法和三维活体检测方法。

二维活体检测方法通过双目摄像头采集待检测人物对象的人脸区域的双目图像,并基于该双目图像得到待检测人物的人脸区域内的人脸关键点的水平位置信息和竖直位置信息,进而依据人脸关键点的水平位置信息和竖直位置信息确定待检测人物对象是否为活体。

传统三维活体检测方法则在二维活体检测方法的基础上增加用于获得待检测人物对象的人脸区域的人脸关键点的深度信息的硬件(如深度相机、结构光相机),并通过该硬件获得待检测人物的脸部区域内的人脸关键点的深度信息。将人脸关键点的水平位置信息、竖直位置信息和深度信息输入至已训练好的深度学习模型以确定待检测人物对象是否为活体。

在上述两种方法中,由于二维活体检测方法只利用了人脸关键点的水平位置信息和竖直位置信息,二维活体检测方法的检测准确率低于传统三维活体检测方法的检测准确率。而传统三维活体检测方法需要借助硬件(如深度相机)获得人脸关键的深度信息,导致传统三维活体检测方法的硬件成本较高。此外,传统三维活体检测方法中使用的已训练好的深度学习模型的检测准确率很大程度上取决于该深度学习模型的训练数据。具体的,训练数据中包含的应用场景即为该深度学习模型可应用的场景。例如,训练数据中包含纸质照片,但不包含电子照片,则使用该训练数据训练获得的深度学习模型对电子照片的活体检测准确率低。这也导致传统三维活体检测方法的通用性不强。

基于上述现状,本申请实施例提供了一种硬件成本与二维活体检测方法相同、通用性强的三维活体检测方法。下面结合本申请实施例中的附图对本申请实施例进行描述。

请参阅图1,图1是本申请实施例(一)提供的一种图像处理方法的流程示意图。

101、获取双目图像以及采集所述双目图像的双目相机的参数。

所述双目图像包含待检测人物对象的人体区域;

本申请实施例所提供的技术方案可应用于第一终端,其中,第一终端包括手机、计算机、平板电脑、服务器等。

上述双目图像即为两个不同的成像设备(即为上述双目相机)在同一时刻从不同位置对同一物体或场景拍摄分别获得的两张图像。其中,成像设备可以是摄像头,也可以是相机。例如,一台手机上的两颗摄像头。又例如,一辆智能小车上装载的两颗摄像头。再例如,无人机上的两颗摄像头。

由于下文将多次出现“同名点”这个词,在进行下文的阐述之前,首先澄清同名点的含义。本申请实施例中,同一个物理点对应双目图像中的不同图像中的像素点互为同名点。图2所示为双目图像中的两张图像,其中,像素点a与像素点c互为同名点,像素点b与像素点d互为同名点。

需要理解的是,本申请实施例以两个不同的成像设备为例阐述如何基于双目图像实现三维活体检测。在实际应用中,还可通过三个或三个以上的成像设备在同一时刻从不同位置对同一物体或场景拍摄获得至少三张图像,通过本申请实施例提供的技术方案同样可基于至少三张图像实现三维活体检测,本申请对成像设备的数量不做限定。

获取双目图像的方式可以是接收用户通过输入组件输入的双目图像,其中,输入组件包括:键盘、鼠标、触控屏、触控板和音频输入器等。也可以是接收第二终端发送的双目图像,其中,第二终端包括手机、计算机、平板电脑、服务器等,本申请对获取双目图像的方式不做限定。

本申请实施例中,双目相机的参数包括:每个成像设备的内部参数和每个成像设备的外部参数。内部参数包括:焦距的坐标和中心点的坐标,其中,中心点为成像设备的光轴与像平面的交点。外部参数包括:两个成像设备的中心点之间的距离(下文将称为基线长度)、成像设备的相机坐标系与世界坐标系之间的旋转矩阵、以及成像设备的相机坐标系与世界坐标系之间平移量。

可选的,在使用双目相机采集双目图像之前,可对双目相机进行标定,以使双目相机中的两个成像设备处于同一水平面,且使两个成像设备的像平面处于同一平面,其中,上述像平面为成像设备中的成像元器件所在的平面。通过对双目相机进行标定可得到上述双目相机的参数。

本申请实施例中,双目图像包含待检测人物对象的人体区域,其中,人体区域可以包括人脸区域,例如,双目相机采集待检测人物对象的脸部区域的图像得到只包含待检测人物对象的脸部区域的人脸图像。人体区域还可以包括人脸区域和躯干区域。例如,双目相机采集待检测人物对象的脸部区域和躯干区域的图像得到包含待检测人物对象的脸部区域和躯干区域的人体图像。

102、依据上述双目图像,得到上述人体区域中的至少四个参考点的深度信息、上述至少四个参考点的水平位置信息和上述至少四个参考点的竖直位置信息。

上述人脸关键点包括:人脸轮廓关键点和五官关键点。如图3所示,五官关键点包括:眉毛区域的关键点、眼睛区域的关键点、鼻子区域的关键点、嘴巴区域的关键点、耳朵区域的关键点。人脸轮廓关键点包括人脸轮廓线上的关键点。需要理解的是图3所示人脸关键点的数量和位置仅为本申请实施例提供的一个示例,不应对本申请构成限定。

上述躯干关键点包括躯干的关节处的关键点。如图4所示,躯干关键点包括:肩关节关键点、手肘关节关键点、手腕关节关键点、髋关节关键点、膝关节关键点和踝关节关键点。需要理解的是图4所示躯干关键点的数量和位置仅为本申请实施例提供的一个示例,不应对本申请构成限定。

本申请实施例中,参考点包括人脸关键点,例如,上述至少四个参考点包括:鼻子区域的关键点、嘴巴区域的关键点、耳朵区域的关键点和人脸轮廓线上的关键点。参考点或包括人脸关键点和躯干关键点,例如,上述至少四个关键点包括:鼻子区域的关键点、嘴巴区域的关键点、耳朵区域的关键点和肩关节关键点。

本申请实施例中,可通过任意人脸关键点检测算法可获得双目图像中的人脸关键点及其位置信息(即人脸关键点的水平位置信息和人脸关键点的竖直位置信息),人脸关键点检测算法可以是openface、多任务级联卷积神经网络(multi-taskcascadedconvolutionalnetworks,mtcnn)、调整卷积神经网络(tweakedconvolutionalneuralnetworks,tcnn)、或任务约束深度卷积神经网络(tasks-constraineddeepconvolutionalnetwork,tcdcn)中的一种,本申请对人脸关键点检测算法不做限定。

若人体区域包含躯干区域,可通过任意躯干关键点检测算法可获得双目图像中的躯干关键点及其位置信息(即躯干关键点的水平位置信息和躯干关键点的竖直位置信息),躯干关键点检测算法可以是:级联金字塔神经网络(cascadedpyramidnetwork,cpn)、区域掩膜卷积神经网络(maskregion-convolutionalneuralnetwork,rcnn)、或多人姿态估计(regionalmulti-personposeestimation,rmpe)中的一种,本申请对躯干关键点检测算法不做限定。

本申请实施例中,双目图像包括:第一待处理图像和第二待处理图像。依据第一待处理图像和第二待处理图像,可得到第一待处理图像与第二待处理图像之间的视差图像。上述视差图像携带第一待处理图像与第二待处理图像中的同名点之间的水平视差位移的信息。需要理解的是,若双目相机中的两个成像设备处于同一竖直平面,且两个成像设备的像平面处于同一平面,上述视差图像第一待处理图像与第二待处理图像中的同名点之间的竖直视差位移的信息。

在一种依据第一待处理图像和第二待处理图像得到第一待处理图像与第二待处理图像之间的视差图像的实现方式中,可通过对第一待处理图像与第二待处理图像进行特征匹配处理确定第一待处理图像和第二待处理图像中的同名点。依据第一待处理图像和第二待处理图像中的同名点之间的水平视差位移获得上述视差图像。上述特征匹配处理可通过暴风算法(bruteforce)、k最近邻算法(k-nearestneighbor,knn)、或快速最近邻搜索算法(fastlibraryforapproximatenearestneighbors,flann)中的一种算法实现,本申请对此不作限定。

在得到上述视差图像后,可依据双目相机的焦距、视差图像携带的水平视差信息和基线长度,得到上述至少四个关键点的深度信息。举例来说,至少四个关键点包括眼部关键点,该眼部关键点在第一待处理图像中为第一像素点,该眼部关键点在第二待处理图像中为第二像素点,即第一像素点与第二像素点互为同名点。依据视差图像可确定第一像素点与第二像素点之间的水平位移差为d1。通过对双目相机的标定可确定基线长度为d2。基于d1和d2可得到眼部关键点的深度信息。

103、依据上述双目相机的参数、上述至少四个参考点的水平位置信息、上述至少四个参考点的竖直位置信息和上述至少四个参考点的深度信息得到上述至少四个参考点在世界坐标系下的三维位置信息。

通过步骤101和步骤102的处理,可得到上述至少四个参考点在双目相机的相机坐标系下的三维位置信息。为方便后续处理,需将该相机坐标系下的三维位置信息转化为世界坐标系下的三维位置信息。

在一种可能实现的方式(下文将称为非校正实现方式)中,依据双目相机的参数和由参考点在相机坐标系下的三维位置信息确定的三维坐标,可得到参考点在世界坐标下的三维坐标,进而可得到参考点在世界坐标系下的三维位置信息。

在另一种可能实现的方式(下文将称为校正实现方式)中,双目相机包括:第一相机和第二相机。在确定参考点在世界坐标系下的三维位置信息之前,可对双目图像进行立体校正处理,以归一化第一相机的参数和第二相机参数,得到归一化后的相机参数。依据归一化后的参数和参考点在相机坐标系下的三维位置信息得到参考点在世界坐标系下的三维位置信息。举例来说,通过对第一相机的参数和第二相机的参数进行立体校正处理,得到的归一化后的相机参数包括:归一化后的焦距的水平位置信息、归一化后的焦距的数值位置信息、归一化后的中心点的水平位置信息和归一化后的竖直位置信息。若由参考点在相机坐标系下的水平位置信息确定的参考点在相机坐标系下的水平坐标为xc,由参考点在相机坐标系下的竖直位置信息确定的参考点在相机坐标系下的竖直坐标为yc,由参考点的深度信息确定的深度值为d,由归一化后的焦距的水平位置信息确定的归一化后的焦距的水平坐标为fx,由归一化后的焦距的竖直位置信息确定的归一化后的焦距的竖直坐标为fy,由归一化后的中心点的水平位置信息确定的归一化后的中心点的水平坐标为ux,由归一化后的中心点的竖直位置信息确定的归一化后的中心点的竖直坐标为uy。则参考点在世界坐标系下的水平坐标xw满足下式:参考点在世界坐标系下的竖直坐标yw满足下式:参考点在世界坐标系下的深度坐标z满足下式:z=。上述深度坐标可理解为参考点在以归一化后的中心点为原点、垂直于双目相机的像平面的方向的坐标。

104、在上述至少四个参考点在世界坐标系下的三维位置信息在深度方向的方差大于或等于第一阈值的情况下,确定上述待检测人物对象为活体。

本申请实施例中,上述深度方向为在上述双目相机采集上述双目图像时垂直于上述双目相机的像平面的方向。

通过步骤103的处理得到上述四个参考点在世界坐标系下的三维位置信息后,可确定上述四个参考点在世界坐标系下的三维坐标,进而可依据上述四个参考点在世界坐标系下的三维坐标确定待检测人物对象是否为活体。

在一种可能实现的方式中,上述四个参考点在世界坐标系下的三维坐标在深度方向的方差可用于表征四个参考点在世界坐标系下的三维坐标在深度方向的离散度。若上述四个参考点在世界坐标系的三维位置信息在深度方向的方差大于或等于第一阈值,表征在深度方向上上述至少四个参考点的离散度不为0,即在深度方向上至少四个参考点中至少有一个参考点与其他参考点不属于同一平面,也就是说待检测人物对象的人体区域为三维立体对象,而不是二维平面对象,进而可确定待检测人物对象为活体。若上述四个参考点在世界坐标系的三维位置信息在深度方向的方差小于第一阈值,表征在深度方向上待检测人物对象的人体区域中的四个参考点属于同一个平面,也就是说待检测人物对象的人体区域为二维对象,进而可确定待检测人物对象为非活体。上述第一阈值为正数,第一阈值的具体取值可根据实际使用情况进行设置。

举例来说,如图5所示,至少四个参考点包括:参考点a、参考点b、参考点c和参考点d。参考点b、参考点c和参考点d属于平面a,参考点a不属于平面a。图4所示的四个参考点的三维坐标在深度方向的离散度大于0,即四个参考点的三维坐标在深度方向的方差大于或等于第一阈值。

需要理解的是,由于三个点可确定一个平面,在本申请实施例中至少需要四个参考点的三维坐标以确定待检测人物对象的人体区域是否为三维区域。参考点的数量越多,活体检测的准确率越高。但参考点的数量的增加也将导致数据处理量的增加。因此,在实际应用中,用户可依据需求对参考点的数量进行调整,本申请对参考点的数量不做限定。

本实施基于双目图像获得待检测人物对象中的至少四个参考点的深度信息,进而得到至少四个参考点在世界坐标系下的三维位置信息。依据至少四个参考点在世界坐标系下的三维位置信息可确定待检测人物对象的人体区域是否为三维区域,进而可有效防止对人脸识别技术的二维攻击。本实施在二维活体检测方法的硬件基础上获得了待检测人物对象中的至少四个参考点的三维位置信息,相较于二维活体检测方法,没有增加硬件成本但提高了检测准确率。

在步骤103中,提供了两种将参考点在相机坐标系下的三维位置信息转换为世界坐标系下的三维位置信息的实现方式。其中,非校正实现方式相较于校正实现方式的数据处理量大,处理速度慢。为减小活体检测的数据处理量,提高处理速度,可选的,可通过校正实现方式将参考点在相机坐标系下的三维位置信息转换为世界坐标系下的三维位置信息。请参阅图5,图6是本申请实施例(二)提供的步骤103的一种可能实现的方式的流程示意图。

601、对上述第一待处理图像和上述第二待处理图像进行立体校正处理,以归一化上述第一相机的参数和上述第二相机的参数,得到归一化后的相机参数。

本实施中,双目图像包括:第一待处理图像和第二待处理图像。虽然在通过双目相机采集待检测人物对象的人体区域的双目图像之前,已通过对双目相机进行标定使两个成像设备处于同一水平面,且使两个成像设备的像平面处于同一平面,但由于标定误差、成像设备的镜头畸变等因素导致第一待处理图像和第二待处理图像中的同名点存在竖直位移差。若第一待处理图像和第二待处理图像中的同名点存在竖直位移差,将降低第一待处理图像和第二待处理图像之间的视差图像的精度,进而影响活体检测的准确率。因此,本实施例对第一待处理图像和第二待处理图像进行立体校正处理,以减小第一待处理图像和第二待处理图像中的同名点存在竖直位移差。

在一种对第一待处理图像和第二待处理图像进行立体校正处理的实现方式中,依据采集第一待处理图像的第一相机的参数可得到第一相机的畸变参数,依据采集第二待处理图像的第二相机的参数可得到第二相机的畸变参数。基于第一相机的畸变参数调整第一待处理图像得到消除畸变后的第一待处理图像,基于第二相机的畸变参数调整第二待处理图像得到消除畸变后的第二待处理图像。依据第一相机的参数和第二相机的参数得到对齐第一相机的对极线与第二相机的对极线的旋转矩阵和平移量(下文将称为对极线旋转矩阵和对极线平移量)。第一相机的对极线为任何包含第一相机与第二相机之间的基线的平面与第一相机的像平面之间的交线,第二相机的对极线为任何包含第一相机与第二相机之间的基线的平面与第二相机的像平面之间的交线,其中,第一相机与第二相机之间的基线指过第一相机的中心点与第二相机的中心点的直线。基于对极线旋转矩阵和对极线平移量分别调整消除畸变后的第一待处理图像和消除畸变后的第二待处理图像,得到对齐后的第一待处理图像和对齐后的第二待处理图像。依据对齐后的第一待处理图像和对齐后的第二待处理图像可得到归一化后的相机参数,实现对第一相机的参数和第二相机的参数的归一化。可选的,在得到对齐后的第一待处理图像和对齐后的第二待处理图像后,可对对齐后的第一待处理图像和对齐后的第二待处理图像进行剪裁处理,以去除对齐后的第一待处理图像和对齐后的第二待处理图像中不规则的边角区域,得到剪裁后的第一待处理图像和剪裁后的第二待处理图像。依据剪裁后的第一待处理图像和剪裁后的第二待处理图像可得到归一化后的相机参数。

可选的,在通过对第一待处理图像和第二待处理图像进行校正处理得到对齐后的第一待处理图像和对齐后的第二待处理图像后,可基于对齐后的第一待处理图像和对齐后的第二待处理图像得到第一待处理图像和第二待处理图像之间的视差图像。在得到归一化后的相机参数后,可基于视差图像中参考点的视差信息、归一化后的焦距和基线长度,得到参考点的深度信息。例如,上述至少四个参考点包括第一参考点,第一参考点在相机坐标系下的深度坐标z满足下式:其中,f为归一化后的焦距,b为基线长度,d为依据视差图像确定的第一参考点的水平视差位移。

602、依据上述归一化后的相机参数、上述至少四个参考点的水平位置信息、上述至少四个参考点的竖直位置信息和上述至少四个参考点的深度信息,得到上述至少四个参考点在世界坐标系下的三维位置信息。

本步骤的实现过程可参见步骤103中的校正实现方式,此处将不再赘述。

本实施例通过对第一待处理图像和第二待处理图像进行立体校正处理,以减小第一待处理图像和第二待处理图像中的同名点之间的竖直位移差以及消除第一相机的镜头畸变和第二相机的镜头畸变,提高了后续获得的视差图像的精度,进而提升了获得的关键的深度信息的精度,进而提升了活体检测的准确率。

依据上述至少四个参考点在世界坐标系下的三维位置信息可确定上述至少四个参考点的在世界坐标系下的三维坐标,进而可确定待检测人物对象的人体区域是否为三维区域。

通过对以至少四个参考点在世界坐标系下的三维坐标构建的坐标矩阵的奇异值确定至少四个参考点在深度方向是否处于同一平面,进而确定待检测人物对象的人体区域是否为三维区域。为此本申请实施例提供了一种基于以至少四个参考点在世界坐标系下的三维坐标构建的坐标矩阵的奇异值确定待检测人物对象是否为活体的技术方案。

请参阅图7,图7为本申请实施例(三)提供的步骤104的一种可能实现的方式的流程示意图。

701、以上述至少四个参考点在世界坐标系下的三维位置信息构建矩阵,使上述矩阵中的每一行包含一个上述参考点的三维位置信息,得到坐标矩阵。

本实施例中,坐标矩阵中的每一行只包含一个参考点的三维坐标。举例来说,至少四个参考点包括:第一参考点、第二参考点、第三参考点和第四参考点。第一参考点在世界坐标系下的三维坐标为(x1,y1,z1),第二参考点在世界坐标系下的三维坐标为(x2,y2,z2),第三参考点在世界坐标系下的三维坐标为(x3,y3,z3),第四参考点在世界坐标系下的三维坐标为(x4,y4,z4)。以第一参考点的三维坐标、第二参考点的三维坐标、第三参考点的三维坐标和第四参考点的三维坐标构建的坐标矩阵可以是:中的一种。

702、确定上述坐标矩阵的至少一个奇异值,在上述至少一个奇异值中的最小值与上述至少一个奇异值的和的比值大于或等于第二阈值的情况下,确定上述待检测人物对象为活体。

通过奇异值分解定理可计算得到上述坐标矩阵的至少一个奇异值。在本申请实施例中,对由至少一个参考点的三维坐标构建的坐标矩阵进行奇异值分解可得到3个奇异值,分别用于表征上述至少四个参考点在水平方向的离散度、上述至少四个参考点在水平方向的离散度和上述至少四个参考点在深度方向的离散度。当奇异值大于0时,表征上述至少四个参考点在与奇异值对应的方向上的离散度不为0,即在该对应的方向上至少四个参考点中至少有一个参考点与其他参考点不属于同一平面。举例来说,至少四个参考点包括:第一参考点、第二参考点、第三参考点和第四参考点,通过对由第一参考点、第二参考点、第三参考点和第四参考点坐标构建得到的矩阵a进行奇异值分解,可得到奇异值a、奇异值b和奇异值c。奇异值a用于表征第一参考点、第二参考点、第三参考点和第四参考点在水平方向的离散度,奇异值b用于表征第一参考点、第二参考点、第三参考点和第四参考点在竖直方向的离散度,奇异值c用于表征第一参考点、第二参考点、第三参考点和第四参考点在深度方向的离散度。假设奇异值a大于0,表征第一参考点、第二参考点、第三参考点和第四参考点在水平方向的离散度不为0。假设奇异值b大于0,表征第一参考点、第二参考点、第三参考点和第四参考点在竖直方向的离散度不为0。假设奇异值c大于0,表征第一参考点、第二参考点、第三参考点和第四参考点在深度方向的离散度不为0。

若待检测人物对象的人体区域为三维区域,上述至少四个参考点在三个方向(包括:水平方向、竖直方向和深度方向)的离散度均不为0。由于待检测人物对象的人体区域或者是二维区域(如纸质照片和电子图片),或者是三维区域,坐标矩阵的三个奇异值中至少有两个奇异值大于0。因此,确定待检测人物对象的人体区域是否为三维区域,只需确定坐标矩阵的三个奇异值中的最小奇异值是否大于0即可。

为减小误差,本申请实施例通过确定上述至少一个奇异值中的最小奇异值与上述至少一个奇异值的和的比值是否大于或等于第二阈值的方式确定待检测人物对象的人体区域是否为三维区域。上述第二阈值为很小的正数,取值范围为大于0且小于1。

在坐标矩阵的三个奇异值中的最小值与三个奇异值的和的比值大于或等于第二阈值的情况下,确定待检测人物对象的人体区域为三维区域,进而可确定待检测人物对象为活体。在坐标矩阵的三个奇异值中的最小值与三个奇异值的和的比值小于第二阈值的情况下,确定待检测人物对象的人体区域为二维区域,进而可确定待检测人物对象非活体。

举例来说,坐标矩阵的三个奇异值分别为:大小为3的奇异值a、大小为4的奇异值b和大小为1的奇异值c。三个奇异值中的最小值为1,三个奇异值的和为8,最小值与三个奇异值的和的比值为0.125。假设第二阈值为0.08,由于0.125大于0.08,可确定待检测人物对象为活体。

本实施例依据至少四个参考点在世界坐标系下的三维坐标构建坐标矩阵,并依据坐标矩阵的奇异值确定待检测人物对象的人体区域是否为三维区域,进而确定待检测人物对象是否为活体。由于对任意一个待检测人物对象的人体区域而言,均可依据至少四个参考点在世界坐标系下的三维坐标构建坐标矩阵,本实施例提供的确定待检测人物对象是否为活体的方式可适用于任意场景。通过本实施提供的技术方案可提高三维活体检测方法的通用性。

本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

上述详细阐述了本申请实施例的方法,下面提供了本申请实施例的装置。

请参阅图8,图8为本申请实施例提供的一种图像处理装置的结构示意图,该装置1包括:获取单元11、第一处理单元12、第二处理单元13和确定单元14,其中:

获取单元11,用于获取双目图像以及采集所述双目图像的双目相机的参数,其中,所述双目图像包含待检测人物对象的人体区域;

第一处理单元12,用于依据所述双目图像,得到所述人体区域中的至少四个参考点的深度信息、所述至少四个参考点的水平位置信息和所述至少四个参考点的竖直位置信息,其中,所述参考点包括人脸关键点,所述参考点或包括所述人脸关键点和躯干关键点;

第二处理单元13,用于依据所述双目相机的参数、所述至少四个参考点的水平位置信息、所述至少四个参考点的竖直位置信息和所述至少四个参考点的深度信息得到所述至少四个参考点在世界坐标系下的三维位置信息;

确定单元14,用于在所述至少四个参考点在世界坐标系下的三维位置信息在深度方向的方差大于或等于第一阈值的情况下,确定所述待检测人物对象为活体,其中,所述深度方向为在所述双目相机采集所述双目图像时垂直于所述双目相机的像平面的方向。

在一种可能实现的方式中,所述双目图像包括:第一待处理图像和第二待处理图像;所述双目相机包括:采集所述第一待处理图像的第一相机和采集所述第二待处理图像的第二相机;所述双目相机的参数包括:所述第一相机与所述第二相机之间的距离、所述第一相机的第一焦距和所述第二相机的第二焦距;

所述第一处理单元12,用于:

依据所述第一待处理图像和所述第二待处理图像,得到所述第一待处理图像和所述第二待处理图像的视差图像,其中,所述视差图像携带所述至少四个参考点的视差信息;

对所述第一待处理图像和所述第二待处理图像进行立体校正处理,以归一化所述第一焦距和所述第二焦距,得到归一化后的焦距;

依据所述至少四个参考点的视差信息、所述归一化后的焦距和所述距离,得到所述至少四个参考点的深度信息。

在另一种可能实现的方式中,所述至少四个参考点包括第一参考点;

所述第一处理单元12,用于:

确定所述归一化后的焦距与所述距离之间乘积,得到第一中间值;

确定所述第一中间值与所述第一参考点的视差信息的商,得到所述第一参考点的深度信息。

在又一种可能实现的方式中,所述第一处理单元12,用于:

对所述第一待处理图像和所述第二待处理图像进行立体校正处理,以归一化所述第一相机的参数和所述第二相机的参数,得到归一化后的相机参数;

所述第二处理单元13,用于:

依据所述归一化后的相机参数、所述至少四个参考点的水平位置信息、所述至少四个参考点的竖直位置信息和所述至少四个参考点的深度信息,得到所述至少四个参考点在世界坐标系下的三维位置信息。

在又一种可能实现的方式中,所述至少四个参考点包括第二参考点;所述归一化后的相机参数包括:归一化后的相机的中心点的水平位置信息和所述中心点的竖直位置信息,其中,所述中心点为所述第一相机的像平面与所述第一相机的光轴的交点;所述归一化后的焦距包括:归一化后的焦距的水平位置信息和归一化后的焦距的竖直位置信息;所述至少四个参考点在世界坐标系下的三维位置信息包括:所述至少四个参考点在世界坐标系下的水平位置信息、所述至少四个参考点在世界坐标系下的竖直位置信息和所述至少四个参考点在世界坐标系下的深度位置信息;

所述确定单元14,用于包括:

确定所述第二参考点的水平位置信息与所述中心点的水平位置信息之间的差得到第二中间值,确定所述第二参考点的视差信息与所述归一化后的焦距的水平位置信息的商得到第三中间值;

确定所述第二参考点的竖直位置信息与所述中心点的竖直位置信息之间的差得到第四中间值,确定所述第二参考点的视差信息与所述归一化后的焦距的竖直位置信息的商得到第五中间值;

将所述第二中间值与所述第三中间值的乘积作为所述第二参考点的在世界坐标系下的水平位置信息,将所述第四中间值与所述第五中间值的乘积作为所述第二参考点的在世界坐标系下的竖直位置信息,将所述第二参考点的视差信息作为所述第二参考点在世界坐标系下的深度位置信息。

在又一种可能实现的方式中于,所述确定单元14,用于:

以所述至少四个参考点在世界坐标系下的三维位置信息构建矩阵,使所述矩阵中的每一行包含一个所述参考点的三维位置信息,得到坐标矩阵;

确定所述坐标矩阵的至少一个奇异值,在所述至少一个奇异值中的最小值与所述至少一个奇异值的和的比值大于或等于第二阈值的情况下,确定所述待检测人物对象为活体。

在又一种可能实现的方式中,所述人体区域包括人脸区域;所述至少四个关键点包括第一人脸关键点;

所述第一处理单元12,用于:

分别对所述第一待处理图像和所述第二待处理图像进行人脸关键点检测处理,得到所述第一待处理图像中的所述第一人脸关键点的初始水平位置信息、所述第一人脸关键点的初始竖直位置信息、所述第二待处理图像中的第二人脸关键点的初始水平位置信息和所述第二人脸关键点的初始竖直位置信息,其中,所述第一人脸关键点与所述第二人脸关键点互为同名点;

将所述第一人脸关键点的初始竖直位置信息或所述第二人脸关键点的初始竖直位置信息作为所述第一人脸关键点的竖直位移信息;

依据所述视差图像,得到所述第一人脸关键点与所述第二人脸关键点之间的第一水平视差位移;

确定所述第一人脸关键点的初始水平位置信息与所述第一水平视差位移之间的和,作为所述第一人脸关键点的水平位置信息。

在又一种可能实现的方式中,所述人体区域包括人脸区域和躯干区域;所述至少四个关键点包括:第三人脸关键点和第一躯干关键点;

所述第一处理单元12,用于:

分别对所述第一待处理图像和所述第二待处理图像进行人脸关键点检测处理和躯干关键点检测处理,得到所述第一待处理图像中的所述第三人脸关键点的初始水平位置信息、所述第三人脸关键点的初始竖直位置信息、所述第二待处理图像中的第四人脸关键点的初始水平位置信息、所述第四人脸关键点的初始竖直位置信息、所述第一待处理图像中的所述第一躯干关键点的初始水平位置信息、所述第一躯干关键点的初始竖直位置信息、所述第二待处理图像中的第二躯干关键点的初始水平位置信息和所述第二躯干关键点的竖直位置信息,其中,所述第三人脸关键点与所述第四人脸关键点互为同名点,所述第一躯干关键点和所述第二躯干关键点互为同名点;

将所述第三人脸关键点的初始竖直位置信息或所述第三人脸关键点的初始竖直位置信息作为所述第三人脸关键点的竖直位移信息,将所述第一躯干关键点的初始竖直位置信息或所述第二躯干关键点的初始竖直位置信息作为所述第一躯干关键点的竖直位移信息;

依据所述视差图像,得到所述第三人脸关键点与所述第三人脸关键点之间的第二水平视差位移、以及所述第一躯干关键点与所述第二躯干关键点之间的第三水平视差位移;

确定所述第三人脸关键点的初始水平位置信息与所述第二水平视差位移之间的和,作为所述第三人脸关键点的水平位置信息,确定所述第一躯干关键点的初始水平位置信息与所述第三水平视差位移之间的和,作为所述第一躯干关键点的水平位置信息。

本实施基于双目图像获得待检测人物对象中的至少四个参考点的深度信息,进而得到至少四个参考点在世界坐标系下的三维位置信息。依据至少四个参考点在世界坐标系下的三维位置信息可确定待检测人物对象的人体区域是否为三维区域,进而可有效防止对人脸识别技术的二维攻击。本实施在二维活体检测方法的硬件基础上获得了待检测人物对象中的至少四个参考点的三维位置信息,相较于二维活体检测方法,没有增加硬件成本但提高了检测准确率。

在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。

图9为本申请实施例提供的一种图像处理装置的硬件结构示意图。该图像处理装置2包括处理器21,存储器22,输入装置23,输出装置24。该处理器21、存储器22、输入装置23和输出装置24通过连接器相耦合,该连接器包括各类接口、传输线或总线等等,本申请实施例对此不作限定。应当理解,本申请的各个实施例中,耦合是指通过特定方式的相互联系,包括直接相连或者通过其他设备间接相连,例如可以通过各类接口、传输线、总线等相连。

处理器21可以是一个或多个图形处理器(graphicsprocessingunit,gpu),在处理器21是一个gpu的情况下,该gpu可以是单核gpu,也可以是多核gpu。可选的,处理器21可以是多个gpu构成的处理器组,多个处理器之间通过一个或多个总线彼此耦合。可选的,该处理器还可以为其他类型的处理器等等,本申请实施例不作限定。

存储器22可用于存储计算机程序指令,以及用于执行本申请方案的程序代码在内的各类计算机程序代码。可选地,存储器包括但不限于是随机存储记忆体(randomaccessmemory,ram)、只读存储器(read-onlymemory,rom)、可擦除可编程只读存储器(erasableprogrammablereadonlymemory,eprom)、或便携式只读存储器(compactdiscread-onlymemory,cd-rom),该存储器用于相关指令及数据。

输入装置23用于输入数据和/或信号,以及输出装置24用于输出数据和/或信号。输入装置23和输出装置24可以是独立的器件,也可以是一个整体的器件。

可理解,本申请实施例中,存储器22不仅可用于存储相关指令,还可用于存储相关数据,如该存储器22可用于存储通过输入装置23获取的双目图像,又或者该存储器22还可用于存储通过处理器21得到的深度信息等等,本申请实施例对于该存储器中具体所存储的数据不作限定。

可以理解的是,图9仅仅示出了一种图像处理装置的简化设计。在实际应用中,图像处理装置还可以分别包含必要的其他元件,包含但不限于任意数量的输入/输出装置、处理器、存储器等,而所有可以实现本申请实施例的图像处理装置都在本申请的保护范围之内。

本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。所属领域的技术人员还可以清楚地了解到,本申请各个实施例描述各有侧重,为描述的方便和简洁,相同或类似的部分在不同实施例中可能没有赘述,因此,在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。

在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digitalsubscriberline,dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,数字通用光盘(digitalversatiledisc,dvd))、或者半导体介质(例如固态硬盘(solidstatedisk,ssd))等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:只读存储器(read-onlymemory,rom)或随机存储存储器(randomaccessmemory,ram)、磁碟或者光盘等各种可存储程序代码的介质。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1