用于检测面部识别中的伪造的方法、计算机可读介质和运载工具与流程

本发明涉及用于检测面部识别中的伪造的方法、存储执行该方法的指令的计算机可读介质、以及至少包括被配置为执行这种方法的处理器的运载工具。具体地，本发明涉及用于使用不同强度的光脉冲检测面部识别中的伪造的方法，并且进一步涉及存储执行该方法的指令的计算机可读介质以及包括相机、光源和被配置为执行该方法的处理器的运载工具。

背景技术：

1、面部识别是用于认证用户并允许经认证的用户激活某些功能或使用部件、设备等的流行工具。面部识别基于使用传统硬件(例如ccd或cmos传感器)来捕捉图像或视频以及提取面部特征(例如所捕捉的面部的生物识别特性)。如果面部特征与预先认证的用户的存储的面部特征匹配，则允许用户访问功能、部件、设备等。

2、这种认证系统容易受到欺骗攻击，例如，向图像传感器或相机呈现打印的照片或显示器上播放的视频，或者其他人佩戴模仿经认证用户的身份的面具。由于用于伪造的高质量打印机和高分辨率显示器以及由于仅二维图像或视频数据可用于面部识别，因此打印的照片和视频显示有时使欺骗攻击成功。

3、因此，通过采用3d传感器获得密集深度图以便获得空间分布的点图案以及采用三角测量获得稀疏3d深度信息，已经解决了对各种攻击类型(例如使用平面打印物或平面显示器的攻击)的检测。然而，这种3d技术是高成本的，并且不能安装在所有设备中。

技术实现思路

1、本发明的目的是提供用于检测面部识别中的伪造的成本有效且仍然高效的方法以及执行这种方法的计算机可读指令和运载工具。

2、根据更好理解本发明的第一方面，一种用于检测面部识别中的伪造的方法包括：选择包括至少三个照明强度的照明模式；根据照明模式控制发光设备来发射光脉冲；以及在各个发射的光脉冲期间用相机捕捉面部的眼睛区域的相应图像。照明模式定义了由发光设备发射的光脉冲的数量以及各个光脉冲的照明强度。可以有多个照明模式，从中选择一个。光脉冲的数量(等于或大于三个)对于各个照明模式可以是不同的，或者可以是相同的。

3、捕捉相应图像可以包括捕捉与光脉冲的数量相对应的数量的图像。根据照明模式，各个图像与光脉冲同时拍摄，或者至少在包括由发光设备发射的一个光脉冲的时间段期间拍摄。所捕捉图像的数量可以等于或大于光脉冲的数量。可以手动或自动地调整相机以对面部或面部的眼睛区域取景。替代性地，相机设置有广角光学镜头和/或被引导到面部将被相机捕捉的人要拍摄的特定位置。而且，相机可以是拍摄数字图像的数字相机，例如包括ccd或cmos传感器等的相机。

4、该方法还包括：确定在各个所捕捉图像的眼睛区域中是否存在闪光；以及测量各个所确定的闪光的闪光强度。闪光是眼角膜反射，即光源在眼睛角膜外表面上的反射。换言之，该方法包括：确定在光脉冲期间是否可以在面部的眼睛中发现发光设备的反射。发光设备越靠近眼睛，闪光越显著，这有助于确定闪光。例如，闪光是眼睛中具有小圆形状的明亮反射。闪光强度的测量还可以包括测量不存在闪光，即具有(几乎)零或低于最小阈值的强度。根据照明模式，这种“闪光”可以对应于(几乎)零强度的光脉冲。

5、该方法还包括：为各个所捕捉图像提取相应的数字特征，该数字特征表示在相应图像的闪光强度下的所有测量的闪光强度的曲线；以及如果所提取的一个或多个数字特征不对应于参考数字特征，则输出面部被伪造的信号。所有测量的闪光强度的曲线取决于根据照明模式发射的所有光脉冲的照明强度。例如，可以计算各个测量强度的特定值(y轴)，并且可以根据测量之间(即光脉冲(x轴)之间)的时间来映射计算值。所得到的图形形成曲线，从该曲线不能在各个闪光强度(在沿着x轴的对应于光脉冲和/或所捕捉图像的各个适时位置)处提取数字特征。

6、这提供了强的反欺骗措施，因为数字特征不仅取决于特定光脉冲的光强度，而且还取决于时间上相邻的闪光/图像的所测量的闪光强度。由于后者进一步取决于所选择的照明模式，因此可以阻止数字特征的伪造。

7、仅作为示例，如果包括闪光的人脸图像的打印物保持在相机前面，则闪光强度取决于照明强度(即由打印物(例如，纸张或照片)在闪光位置处反射的光的反射强度)不变化或者可能仅稍微变化。然而，“真实”闪光变化更强，使得从曲线取得的特定图像或光脉冲的数字特征对于打印物与真实闪光相比是不同的，并且可以检测到伪造。同样，即使示出面部的图像或视频的高分辨率显示器保持在相机前面，所显示的“闪光”也将很可能导致与预期不同的数字特征。

8、在一个实现方式变型中，提取数字特征可以包括确定各个所捕捉图像中的闪光的强度水平，或者确定各个所捕捉图像中的闪光的归一化强度水平，以及计算由所确定的强度水平或所确定的归一化强度水平定义的曲线的梯度，或者计算由所确定的强度水平或所确定的归一化强度水平定义的曲线的曲率。例如，可以确定各个所捕捉图像中的闪光的绝对强度水平，使得数字特征的任何提取基于可直接从相机(传感器)导出的值或信号。替代性地，可以使用归一化强度水平作为计算基础。将强度水平归一化可以基于所有所捕捉图像的所有闪光的最大强度或者基于所有所捕捉图像的所有闪光的最小强度。归一化的强度水平进一步改进了反欺骗，因为所得到的曲线或图形取决于所发射的光脉冲的最大强度或最小强度，即，取决于所选择的照明模式，这使得更难以预测所得到的曲线并且因此更难以预测所得到的数字特征。

9、然后，这些强度值(绝对值或归一化值)被用于形成曲线或图形，根据该曲线或图形，在沿着曲线或图形的各个强度值的相应位置处计算梯度或曲率。梯度或曲率不仅反映特定图像的闪光强度，即对应于特定光脉冲，而且还取决于闪光强度，并且因此取决于在特定图像之前和之后发射的光脉冲的照明强度。这种梯度和曲率几乎不能被预测，从而阻止了伪造。

10、在另一实现方式变型中，该方法还可以包括：将数字特征与参考数字特征进行比较，其中，参考数字特征与所选择的照明模式相关联。所选择的照明模式可以与对应于由照明模式定义的各个光脉冲的一个或多个数字特征一起预先存储。例如，使用相同的照明模式，可以使用多个面部和/或距相机不同距离的一个或多个面部来计算特定的所选照明模式的多个参考数字特征。当在“实况”过程中比较数字特征时，可以使用该数据基础，以便检测伪造。

11、在又一实现方式变型中，该比较可由用多个参考数字特征训练和/或用多个照明模式训练的机器学习过程来执行。机器学习过程能够对从一个照明模式以及多个照明模式捕捉和提取的多个参考数字特征进行分类。因此，机器学习过程可以容易地将“实况”数字特征与一个或多个参考数字特征进行比较。机器学习过程甚至可能不知道所选择的照明模式，但是在机器学习过程被良好地训练(即基于大量照明模式和面部训练)时，可以将“实况”数字特征分类为有效或欺骗。

12、在另外实现方式变型中，比较可以包括将所提取的数字特征与参考数字特征之间的差与阈值进行比较，以及如果该差大于阈值，则确定所提取的数字特征不对应于参考数字特征。换言之，可以从参考数字特征值、向量等中减去由特定值或向量等表示的所提取的数字特征，然后可以容易地将所得到的差与阈值进行比较。例如，如果所提取的数字特征偏离参考数字特征小于5％或小于2％，则所捕捉的面部可以被认证为有效用户。如果差高于阈值(例如，大于2％或大于5％)，则输出面部被伪造的信号。

13、在另一实现方式变型中，照明模式可以为各个光脉冲定义任意水平的照明强度。换言之，各个光脉冲的照明强度可以不同于时间上相邻的光脉冲，可以相同，可以为零，和/或可以对应于最大光强度。虽然传统的反欺骗措施可能在时间上一个接一个地使用两个变化的光强度，但是各个光脉冲的任意照明强度水平更难伪造。仅作为示例，照明模式可以定义100％、80％、60％...0％或0％、20％、40％...100％或100％、60％、40％、0％、20％、80％或40％、0％、100％、20％、80％、60％等的强度水平的序列(其中100％是发光设备预期或可能的最大强度水平)。

14、应当理解，上述示例的强度水平的数量也可以变化。例如，强度水平的数量可以是三个、五个、十个、二十个等。强度水平的数量可以例如根据用于认证和/或环境的安全级别(例如有多少时间可用于用户的认证)来预先选择。

15、因此，照明模式的选择可以包括选择具有这种照明强度的一个预定照明模式。该选择可以是随机选择，以便通过预测非授权用户的下一个照明模式来阻止闪光的伪造。为了进一步提高该方法的安全级别，该选择可以替代性地或另外地包括动态地生成照明模式。这可以包括选择预定图案并随机修改它，例如改变强度的顺序或改变一个或多个强度水平。应当理解，该方法也可以仅基于随机生成的照明模式(包括多个强度和/或各个光脉冲的强度水平)，即没有任何预定的图案。因此，由于图案的预测(几乎)不可能，因此进一步防止了伪造。

16、在又一实现方式变型中，该方法还可以包括：利用发射用于避免在眼睛区域中生成闪光的漫射光的其它发光设备对面部进行照明，从而。可以采用其它发光设备来确保面部通常是可见的。为了避免第二闪光，可以将该其它发光设备安装在比发射光脉冲的(第一)发光设备更远的位置，或者可以使其配备漫射器。在任何情况下，该其它发光设备例如有助于确定闪光的归一化强度水平。例如，可以使闪光强度与另一面部区域的强度水平或者面部或其一部分的平均强度水平相关。

17、该其它发光设备可以根据照明模式在发射光脉冲的整个时间段期间提供面部的恒定照明。因此，如果照明强度水平变小，则闪光相对于背景变得更暗，反之亦然。因此，更容易检测闪光，因为其他面部区域仅轻微地受光脉冲影响，因为被动照明保持恒定。这些特性可以用于例如借助于图像处理(例如使用差分图像)来检测闪光。如果由其它发光设备照明，则人造闪光(例如眼睛中具有闪光的面部的打印物)相对于脉冲照明的水平(几乎)不变。

18、替代性地或者另外地，太阳光可以提供漫射光，使得可以仅在夜间或者在没有足够的太阳光存在时才采用该其它发光设备。

19、在另外实现方式变型中，该方法还可以包括：估计在至少一个所捕捉图像的眼睛区域中的眼睛的注视方向。例如，可以采用传统的眼睛跟踪器技术，其使用眼睛中的反射，例如闪光。

20、此外，如果一个或多个估计的注视方向不对应于预期注视方向，则输出面部被伪造的信号可以包括输出该信号。例如，该方法还可以包括：请求用户在某个方向上观看，例如，观看与发光设备和/或相机相关联的显示器。因此，当检测面部识别中的伪造时，可以实现额外的安全措施。

21、在又一实现方式变型中，发光设备可发射红外光。即使在夜间也可以采用红外光，使得可以独立于白天的时间或阳光的存在来执行该方法。此外，实际的反欺骗措施对于用户来说是不可检测的，使得不知道何时必须在相机前面放置打印物或显示器。另外，不存在刺激用户(例如夜间运载工具的驾驶员)的眩光，该用户可能被光脉冲分散注意力。

22、根据更好理解本发明的第二方面，一种计算机可读介质被配置为存储可执行指令，当由处理器执行时，可执行指令使处理器执行根据第一方面或一个或多个相关联的实现方式变型的方法。例如，计算机可读介质可以是易失性或非易失性存储器，例如cd、dvd、usb棒、ram、rom等。

23、根据更好理解本发明的第三方面，一种运载工具包括：相机；至少一个发光设备；存储设备，其存储包括至少三个照明强度的多个照明模式；以及处理器，其被配置为执行根据第一方面或一个或多个相关联的实现方式变型的方法。因此，可以在运载工具中采用面部识别用于任何认证目的。处理器可以是专用的处理器，或者可以形成运载工具计算机系统的一部分，例如发动机控制单元(ecu)。

24、在一个实现方式变型中，运载工具还可以包括安全系统，其被配置为在处理器输出面部被伪造的信号时停用运载工具部件。运载工具部件例如可以是发动机控制单元，使得发动机在处理器输出信号时无法起动。因此，可以实现用于使用汽车的无钥匙安全系统。另一方面，运载工具部件可以是信息娱乐系统，使得例如信息娱乐系统不能由年轻的驾驶员激活。其他使用情况涉及支付过程的授权(例如，用于停车或加油)或经由信息娱乐系统基于面部识别对个人数据的访问(例如，在导航应用中输入的最近目的地)。在伪造的面部数据的情况下，应当拒绝这样的用户请求。

25、在一个实现方式变型中，处理器还被配置为每当运载工具开始旅程时执行该方法。

26、在另一实现方式变型中，运载工具还可包括驾驶员辅助系统，其包括相机并且被配置为观察运载工具的驾驶员。一些驾驶员辅助系统观察驾驶员，例如，驾驶员是否变得疲劳等。因此，相机指向驾驶员，这可以用于本发明的反欺骗措施，使得不需要额外的相机和/或发光设备。

27、在又一实现方式变型中，运载工具还可以包括显示器，其中，处理器被配置为使用显示器的照明作为另外的发光设备。由于显示器通常配备有提供漫射光的背光单元，或者由于显示器通常发射漫射光，因此当显示信息时，可以采用这种显示器来提供对面部的被动照明。这种被动照明有助于识别和提取闪光，如上面关于第一方面解释的。

28、此外，显示器还可以用于为用户提供引导信息，例如，在特定方向上注释，使得眼睛的注视方向可以用作用于检测面部识别中的伪造的另外措施。

29、根据又一方面，一种电子设备包括处理器，其被配置为执行根据第一方面或一个或多个相关联的实现方式变型的方法。这种电子设备可以是任何手持设备，例如移动电话、平板计算机、膝上型电脑、pc等，或者是安装在机器中的设备等。

30、本发明不限于所描述的形式和顺序的方面和变型。具体地，方面和变型的描述不应被理解为特征的具体限制性分组。应当理解，本发明还涵盖未明确描述的方面和变型的组合。因此，各个变型或可选特征可以与任何其他方面、变型、可选特征或甚至其组合进行组合。