面部识别系统和面部识别方法与流程

1.本发明涉及图像处理领域，具体涉及一种面部识别系统和面部识别方法。


背景技术：

2.传统地，随着智能设备、物联网(internet of things,iot)和人工智能的快速发展，面部识别技术以其安全性和非接触性的优势成为智能设备上不可或缺的功能。然而，面部识别系统非常容易受到恶意攻击，这对系统的安全性构成了极大的威胁。面对恶意攻击，面部识别防欺骗检测已成为面部识别系统的重要组成部分。
3.目前，欺骗面部识别系统的常见方法有照片攻击、视频攻击和3d面罩攻击。近年来，人脸和活体检测的研究发展迅速，取得了许多有价值的研究成果。近红外摄像机、结构光/飞行时间(time of flight,tof)传感器、光场摄像机等也被用作面部识别和防欺骗的辅助硬件。发热是感染者的症状之一，但在人口聚集地区，大多数人会对进出人员进行体温检测，以检查感染者。在遇到突发流感或病毒需要进行快速准确地测温的需求时，传统温度计存在明显的不足。
4.归属于jacob fraden的已公开的美国专利20070153871公开了一种通过热成像摄像机对发烧人体受试者进行非接触式快速筛查的系统。此外，该专利还公开了一种通过热成像装置自动筛查发热人员的装置。该发明通过热成像摄像机提供无接触筛查，因此，该系统是一个相当昂贵的系统。
5.另一篇归属于英特尔公司的世界知识产权组织(world intellectualproperty organization，wipo)专利2018058554公开了一种有关于检测面部图像的技术，包括利用空间卷积神经网络(convolutional neural network, cnn)，生成由面部图像检测器检测到的一个或多个面部图像的分数。虽然，该发明使用cnn模型检测面部图像比之前的发明更为先进。但是，由于缺少温度传感器来扫描和验证面部，该发明仍然无法在任何困难的情况下，都能对面部进行身份验证。
6.本发明旨在提供一种对面部识别领域的改进，更具体地，提供一种对基于cnn的面部识别领域的改进，但不限于此。此外，本发明还提出了一种多光谱融合安全系统，该系统具有面部识别防欺骗和人体体温测量的功能。
7.因此，为了克服现有技术的缺点，需要一种用于面部识别的多光谱融合安全系统。而且，该系统以带有红外热传感器的rgb摄像机和基于cnn的防欺骗模块为主模块。鉴于前述发明，本领域需要一种克服或减少现有技术中的上述缺点的系统。
8.显然，目前现有技术中已开发了许多足以达成各种目的的方法和系统。另外，即使这些发明可能适用于其所述的特定目的，但是，可能不适用于本发明的如前所述的目的。


技术实现要素：

9.一种利用rgb摄像机和红外热传感器进行面部识别系统和方法，利用红外热传感器的测温功能，获得面部区域的温度分布，然后判断被测面部是伪造面部还是真实面部。
10.本发明提出了一种面部识别系统，该系统具有面部识别防欺骗和人体体温测量的功能。该系统的主要功能和模块如下所示：
11.1、rgb摄像机至红外热传感器校准(在线和离线)；
12.2、基于cnn的温度测量模块；
13.3、基于cnn的防欺骗模块。
14.将rgb摄像机和红外热传感器结合用于面部识别防欺骗检测是目前比较新颖的方法。与其他面部识别防欺骗方法不同，该方法将rgb图像和热图像中的面部信息相结合，并利用分析面部区域的温度分布。由于不同物体的红外热辐射的发射率不同，很难在照片、视频或3d面罩中模仿真实面部的温度分布，这大大降低了检测伪造面部的难度。同时，本发明提供的系统能够准确测量人脸的温度。其可以在一些地区进行快速、非接触发热检测。
15.本发明的主要目的是提供一种用于识别面部的基于生物安全的面部识别系统。该面部识别系统包括成像模块和基于cnn的模块。成像模块包括 rgb摄像机单元和红外热传感器单元。
16.rgb摄像机单元包括离线校准器和在线校准器。离线校准器使用校准板校准面部，以生成第一校准面部。在线校准器校正第一校准面部中的误差，以生成第二校准面部。
17.红外热传感器单元包括热提取器、多个过滤器和校准器。热提取器提取面部的第一热图像。多个滤波器包括时间滤波器和空间滤波器。时间滤波器从第一热图像中消除噪声以生成第二热图像。空间滤波器将第二热图像划分为多个网格区域。空间滤波器识别多个网格区域的温度分布。校准器用于识别多个网格区域中的温度最高的网格区域，进而消除温度最高的网格区域的温度漂移，以生成校准的网格区域。
18.基于cnn的模块包括温度测量单元和防欺骗单元。温度测量单元将多个网格区域的温度分布与预定义的模板进行比较，以验证面部。防欺骗单元分析校准的网格区域和第二校准面部，以验证面部。
19.本发明的另一个目的是提供一种测量面部区域温度的方法和系统，其包括以下模块和步骤：将面部检测器应用于rgb图像，以获取面部的边框信息。然后，使用校准功能将面部边框映射到热图像。利用时间滤波器、卡尔曼(kalman)滤波器和滚动平均法消除噪声。然后利用空间滤波器、最大类间方差法(otsu)算法和中值滤波器获得补偿温度。最后，将补偿温度补偿到人体核心温度，其中，黑体校准被用来解决时间漂移问题，即日常中使用黑体来校准补偿因子。
20.本发明的又一个目的是提供面部识别系统，该系统基于一个或多个生物属性进一步验证面部。进一步地，生物属性包括额头、泪腺和颈部中的任一一个。
21.本发明的再一个目的是提供包括rgb摄像机单元的面部识别系统，以从面部中检测一个或多个特征，包括性别、眼镜、姿势、发罩或面罩。
22.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，使得本发明的其他目的和方面更加清楚。
23.为了实现上述和相关目的，本发明可以以附图所示的形式实施，但请注意，附图仅是说明性的，可以在所附权利要求的范围内对附图和描述的具体结构进行改变。
24.尽管以上通过各种示例性实施例和实现方式描述了本发明，但应当理解，在一个或多个单独实施例中描述的各种特征、方面和功能的适用范围不限于以上的具体实施例，
而是可以单独或以各种组合方式应用于本发明的一个或多个其他实施例，无论这些实施例是否被描述或这些特征是否被呈现为所描述的实施方式的一部分。因此，本发明的广度和范围不应受到任何上述示例性实施例的限制。
25.在某些情况下，存在诸如“一个或多个”、“至少”、“但不限于”或其他类似短语的扩展词，不应被理解为，在不存在此类扩展词的情况下，就意指更窄范围的情况。
附图说明
26.下面将结合附图对权利要求书进行描述，使得本发明的目的和特征更加清楚。应当理解，这些附图仅描绘了本发明的典型实施例，不应视为对本发明范围的限制。以下将使用附图结合附加的特性和细节来描述和解释本发明。
27.图1示出了一种根据本发明的面部识别系统；
28.图2示出了一种面部识别系统的成像模块；
29.图3示出了一种面部识别系统的人体温度测量系统的工作流程；
30.图4示出了一种成像模块的传感器的在线/离线校准的工作流程；
31.图5a示出了一种成像模块的在线/离线校准的工作流程；
32.图5b示出了一种多模式校准板；
33.图6示出了本发明中的一种可快速扩展的用户界面；
34.图7示出了一种基于卷积神经网络(cnn)的模块；
35.图8示出了一种面部识别方法；
36.图9示出了一种基于多光谱传感的面部识别方法。
具体实施方式
37.近年来，随着智能设备、物联网和人工智能的快速发展，面部识别技术以其安全性和非接触性的优势成为智能设备上不可或缺的功能。然而，面部识别系统非常容易受到恶意攻击，这对系统的安全性构成了极大的威胁。面对恶意攻击，面部识别防欺骗检测已成为面部识别系统的重要组成部分。
38.目前，欺骗面部识别系统的常见方法有照片攻击、视频攻击和3d面罩攻击。近年来，人脸和活体检测的研究发展迅速，取得了许多有价值的研究成果。近红外摄像机、结构光/飞行时间(time offlight,tof)传感器、光场摄像机等也被用作面部识别和防欺骗的辅助硬件。在后文中，本发明提供一种新的面部识别防欺骗方法，结合rgb摄像机与红外热传感器，利用红外热传感器的测温功能获取面部区域的温度分布，根据面部温度分布模型判断被测面部是否为伪造的面部。
39.发热是感染者的症状之一，但在人口聚集地区，大多数人会对进出人员进行体温检测，以检查感染者。在遇到突发流感或病毒需要进行快速准确地测温的需求时，传统温度计存在明显的不足。除了面部识别防欺骗方法外，本发明还提供了一种人体体温测量方法，通过结合红外热传感器和 rgb摄像机，可以精确测量面部温度。
40.本发明的面部识别系统是一种rgb摄像机和红外热传感器的多光谱系统。该系统可以对用户身份进行验证，防御虚假攻击，测量包括面部、额头、泪腺和颈部等身体特殊部位的生物属性的温度。一种使用rgb摄像机单元和红外热传感器单元进行面部识别的系统
和方法，利用红外热传感器的测温功能，获得面部区域的温度分布，然后利用面部温度分布模型判断被测面部是伪造面部还是真实面部。具体地，可以利用面部温度分布模型判断被测面部是伪造面部还是真实面部。
41.本发明提出了一种多光谱融合安全系统，该系统具有面部识别防欺骗和人体体温测量的功能。该系统的主要功能和模块有：
42.1、rgb摄像机至红外热传感器校准(在线和离线)
43.2、基于cnn的模块
44.将rgb摄像机和红外热传感器结合用于面部识别和防欺骗检测是目前比较新颖的方法。与其他面部识别防欺骗方法不同，该方法将rgb图像和热图像中的面部信息相结合，并利用本发明的面部温度分布模型分析面部区域的温度分布。由于不同物体的红外热辐射发射率不同，很难在照片、视频或3d面罩中模拟真实面部的温度分布，这大大降低了检测伪造面部的难度。同时，本发明提供的系统能够准确测量人脸的温度。其可以在一些地区进行快速、非接触发热检测。
45.图1示出了本发明的一种面部识别系统。面部识别系统100是一种基于多光谱生物安全的面部识别系统。面部识别系统包括成像模块102和基于 cnn的模块104。成像模块102包括rgb摄像机单元和红外热传感器单元。
46.rgb摄像机单元由离线校准器和在线校准器组成。离线校准器使用校准板校准面部，以生成第一校准面部。在线校准器校正第一校准面部的误差，以生成第二校准面部。
47.红外热传感器单元包括热提取器、多个过滤器和校准器。热提取器提取面部的第一热图像。多个滤波器包括时间滤波器和空间滤波器。时间滤波器消除第一热图像的噪声，以生成第二热图像。空间滤波器将第二热图像划分为多个网格区域，并识别多个网格区域的温度分布。校准器从多个网格区域中识别温度最高的网格区域，并消除网格区域的温度漂移，以生成校准的网格区域。
48.基于cnn的模块104包括温度测量单元和防欺骗单元。温度测量单元将多个网格区域的温度分布与预定义模板进行比对，以验证面部。防欺骗单元分析校准的网格区域和第二校准面部，以验证面部。
49.本实施例的面部识别系统是一种多光谱融合安全系统。此外，多光谱融合安全系统的功能基于面部识别防欺骗和面部温度测量实现。
50.另外，本实施例的面部识别系统基于一个或多个生物属性进一步验证面部。生物属性主要包括额头，也可以包括泪腺或颈部。
51.离线校准器中的校准板为多模式校准板。此外，多模式校准板是包括一个或多个加热装置的黑白校准板。一个或多个加热装置用于调节多个网格区域的温度。此外，多模式校准板形成一个或多个校准图案。一个或多个校准图案包括矩形图案、圆形图案和棋盘图案中的任意一种。
52.rgb摄像机单元用于检查面部的一个或多个特征。特征包括性别、眼镜、姿势、发罩或面罩之一。面部识别系统在校准的网格区域的温度高于预定义阈值时生成警报，并验证人脸。
53.图2示出了一种面部识别系统的成像模块。成像模块102包括rgb摄摄像机单元106和红外热传感器单元112。rgb摄像机单元106包括离线校准器108和在线校准器110。离线校
准器108使用校准板校准面部，以生成第一校准面部。在线校准器110校正第一校准面部的误差，以生成第二校准面部。
54.校准板为多模式校准板。除了rgb摄像机单元106的传统黑白校准板外，还提供了一种包括加热装置的新型校准板。该加热装置能够调节温度，以确保热图像在特征检测、匹配和立体校准的中具有显著的特征。校准图案可以是方形图案、矩形图案、圆形图案或其他随机设计的图案。
55.红外热传感器单元112包括热提取器、多个滤波器和校准器。热提取器 114提取面部的第一热图像。多个滤波器116包括时间滤波器118和空间滤波器120。时间滤波器118用于消除第一热图像的噪声，以生成第二热图像。空间滤波器120用于将第二热图像划分为多个网格区域。
56.此外，空间滤波器120识别多个网格区域的温度分布。校准器122从多个网格区域中识别温度最高的网格区域，进而消除网格区域的温度漂移，以生成校准的网格区域。
57.在线校准用于校正离线校准中存在的误差，如热图像中的白色边框。人脸的尺寸被建模为与面部边框的高度成正比。因此，通过估算线性映射来将边框高度转换为真实世界的距离，以便重新投影。rgb摄像机单元包括rgb 摄像机。红外热传感器单元包括热敏摄像机。
58.通过此设置，可以在线调整3个旋转参数、3个平移参数、rgb摄像机和热敏摄像机的焦距以及深度拟合系数。因此，为了有效地实现这一目标，本实施例设计了一个用户友好型的用户界面，通过可视化图像上的特征和跟踪栏来不断调整参数。用户可以流畅地调整所有参数，而不必担心实际配置中目标摄像机(即，rgb摄像机或热敏摄像机)的位置关系。
59.该面部识别系统包括rgb摄像机单元和红外热传感器单元。该系统可以对用户身份进行验证，防御虚假攻击，测量包括人体具体部位如面部、额头、泪腺和颈部等生物属性的温度。
60.图3示出了一种面部识别系统的人体温度测量系统的工作流程。为了测量面部区域的温度，本实施例的系统包括以下模块和步骤：通过rgb摄像机单元将面部检测器应用于rgb图像，以获取面部的边框信息。使用校准功能将面部感兴趣区域(region ofinterest，roi)的边框映射到第一热图像。利用时间滤波器、卡尔曼滤波器和滚动平均法来消除噪声。利用空间滤波器、最大类间方差(otsu)算法和中值滤波器来获得补偿温度分布。使用计算策略补偿补偿温度以得到人体核心温度。黑体校准用于解决时间漂移问题，日常使用黑体进行温度校准，以校准补偿因子。
61.使用温度补偿作为一种回归方法，来获得与距离相关的补偿系数。以 rgb图中的面部信息的大小和热传感器的补偿温度图作为输入，并以额头枪的温度测量值作为输出的人体温度。对收集的大量数据进行曲线拟合，以获得补偿系数。另一种补偿应用于识别出性别、眼镜、发罩、姿势、面罩等面部属性的情况。图中显示了温度测量和报警系统。
62.红外热传感器单元的温度测量受许多因素的影响，包括其自身特性、温度漂移、噪声水平等，以及测试者自身的一些因素，如遮挡、姿势、年龄和性别。此外，还会受到外部环境的影响，如环境温度、光照强度等。自身特性造成的影响，主要是温度漂移和噪声水平。针对这两个影响因素，采用时域滤波和空间域滤波来减少对算法的影响。卡尔曼滤波可以在一定程度上消除温度测量噪声造成的温度漂移问题。在硬件方面，我们采用黑体计时来校
正热传感器的补偿系数，这大大解决了温度随时间漂移引起的温度测量误差。
63.对于测试者自身的影响因素，主要影响因素是面部遮挡和面部姿势。为了消除面部遮挡(包括眼镜、刘海、面罩等)的影响，首先尝试使用面部关键点的检测，跟踪额头部位，获得额头部位的温度；这种方法消除了眼镜和面罩对温度测量的影响，但在有刘海的情况下，有时也会导致较大的温度测量误差。因此，我们尝试将面部区域划分为m乘n的网格区域，并分别测量每个网格的温度。该方法将温度值最大的网格作为整体测温结果，不仅排除了眼镜、面罩和刘海的影响，而且在一定程度上减小了测温误差。
64.图4示出了一种成像模块的传感器的在线/离线校准的工作流程。展示了离线和在线校准的新构思。使用一个校准板的校准和使用在线方式的优化，使得新设备的安装变得更容易、更快。
65.面部识别系统可以包括rgb摄像机单元和红外热传感器单元。该系统可以验证用户身份，以进行面部检测，防御虚假攻击，测量包括身体具体部位如面部额头、泪腺和颈部等的生物属性的温度分布。本图示出了本实施例的系统中的主要模块和工作流程。
66.根据工作流程，在rgb摄像机检测面部的同时，使用热传感器进行校准。将检测到的面部映射到热成像中的感兴趣区域。
67.图5a示出了一种成像模块的在线/离线校准的工作流程。针对rgb摄像机单元和红外热传感器单元的校准，提出了提取单摄像机校准参数或多摄像机校准参数的多种方法。rgb摄像机单元包括rgb摄像机，红外热传感器单元包括热敏摄像机。本发明创新了多模式校准板。除了rgb摄像机的传统黑白校准板，本发明还提供了一种包括加热装置的新型校准板。该装置能够调节温度以确保热数据(例如，第一校准面部或第二校准面部)或图像数据(例如，第一热图像或第二热图像)在特征检测、匹配和立体校准中具有显著的特征。校准可以是方形图案、矩形图案、圆形图案或其他的随机设计图案。图5b仅显示了一种普通校准板形成的图案作为示例。
68.在线校准用于校正离线校准中存在的误差，例如热图像中的白色边框。
69.该方法是将rgb图像(例如，第一校准面部或第二校准面部)上的二维点投影到具有内部参数和估算深度的三维世界坐标。然后利用两个摄像机之间的外部参数和热敏摄像机的内部参数，将三维点重新投影到二维显示平面上。在这一过程中，可以使用表征目标深度的特征来估算深度。真实世界坐标中的特征及其在图像平面上对应的投影能够被编码成回归模型。例如，在本示例中，人脸的尺寸被建模为与面部边框的高度成正比。因此，通过估算线性映射来将边框高度转换为真实世界的距离，以便重新投影。
70.通过此设置，可以在线调整3个旋转参数、3个平移参数、rgb摄像机和热敏摄像机的焦距以及深度拟合系数。因此，为了有效地实现这一目标，设计了一个用户友好型的用户界面，通过可视化图像上的特征和跟踪栏来不断调整参数。用户可以流畅地调整所有参数，而不必担心实际配置中目标摄像机的位置关系。
71.图5b示出了一种多模式校准板。该多模式校准板是一种创新的校准板。除了rgb摄像机的传统黑白校准板外，本发明还提供了一种包括加热装置的新型校准板。该装置能够调节温度，以确保热图像在特征检测、匹配和立体校准中具有显著的特征。校准图案可以是方形图案、矩形图案、圆形图案或其他的随机设计图案，如棋盘158。
72.图6示出了本发明中的一种可快速扩展的用户界面。将热图像和rgb 三通道组合
成四通道数据，作为卷积神经网络的输入，并输出面部测试信息和欺骗测试结果。面部识别防欺骗的方法是，rgb摄像机单元与红外热传感器单元一起显示红160、绿162和蓝164区域，利用红外热传感器单元的测温功能获取面部区域的温度分布，根据面部温度分布模型判断被测面部是否为伪造面部。
73.图7示出了一种基于cnn的模块。基于cnn的模块包括温度测量单元166和防欺骗单元168。温度测量单元166用于将多个网格区域的温度分布与预定义模板进行比对，以验证面部。防欺骗单元168用于分析校准的网格区域和第二校准面部以验证面部。
74.红外热传感器单元的温度测量受到许多因素的影响，包括其自身特性、温度漂移、噪声水平等，以及测试者自身的一些因素，如遮挡、姿势、年龄和性别。此外，还会受到外部环境的影响，如环境温度、光照强度等。自身特性造成的影响，主要是温度漂移和噪声水平。针对这两个影响因素，采用时域滤波和空间域滤波来减少对算法的影响。卡尔曼滤波可以在一定程度上消除温度测量噪声造成的温度漂移问题。在硬件方面，我们采用黑体计时来校正热传感器的补偿系数，这大大解决了温度随时间漂移引起的温度测量误差。
75.对于测试者自身的影响因素，主要影响因素是面部遮挡和面部姿势。为了消除面部遮挡(包括眼镜、刘海、面罩等)的影响，我们首先尝试使用面部关键点的检测，跟踪额头部位，获得额头部位的温度；这种方法消除了眼镜和面罩对温度测量的影响，但在有刘海的情况下，有时也会导致较大的温度测量误差。因此，我们尝试将面部区域划分为m乘n的网格区域，并分别测量每个网格的温度。该方法以温度值最大的网格作为整体测温结果，不仅排除了眼镜、面罩和刘海的影响，而且在一定程度上减小了测温误差。
76.本发明提出了两种欺骗检测方法。第一种(如图8所示)，欺骗检测和面部检测分别进行，以面部区域的第二热图像作为输入，并使用深度学习卷积神经网络来训练两级模型。第二种方法是在同一个神经网络中实现面部检测和欺骗检测功能。将热图像(例如，第一热图像或第二热图像)和rgb 三通道组合成四通道数据，作为卷积神经网络的输入，并输出面部测试信息和欺骗测试结果。
77.图8示出了一种面部识别方法200。该方法包括：步骤202，利用rgb 摄像机单元检测面部。步骤204，基于面部的一个或多个特征校准面部，以生成第一校准面部。步骤206，校正第一校准面部中的误差以生成第二校准面部。步骤208，利用热提取器提取面部的第一热图像。步骤210，消除第一热图像的噪声，以生成第二热图像。步骤212，将第二热图像划分为多个网格区域。步骤214，识别多个网格区域的温度分布。步骤216，识别多个网格区域中温度最高的网格区域。步骤218，消除温度最高的网格区域的温度漂移，以生成校准的网格区域。步骤220，将多个网格区域的温度分布与预定义模板进行比对，以验证面部。步骤222，分析校准的网格区域和第二校准面部，以验证面部。
78.图9示出了基于多光谱传感的面部识别方法300。步骤302，利用rgb 摄像机单元检测面部。步骤304，基于面部的一个或多个特征校准面部，并校正面部校准的误差，以生成校准的面部。步骤306，利用热提取器提取面部的第一热图像。步骤308，消除第一热图像的噪声，以生成第二热图像。步骤310，将第二热图像划分为多个网格区域，并识别多个网格区域的温度分布。步骤312，识别多个网格区域中温度最高的网格区域。步骤314，消除温度最高的网格区域的温度漂移，以生成校准的网格区域。步骤316，将校准的网格区域的温度分布和预定义模板进行比对，以验证面部。步骤318，分析校准的网格区域和校准的面部，以验证
面部。
79.虽然上面已经描述了本发明的各种实施例，但是应该理解，它们只是示例性的，而不是限制性。同样，附图可以描述本发明的示例架构或其他配置，这样做是为了帮助理解本发明中包括的特征和功能。本发明不限于图示的示例架构或配置，而是可以使用各种替代架构和配置来实现期望的特征。
80.尽管以上通过各种示例性实施例和实施方式描述了本发明，但应当理解，在一个或多个单独实施例中描述的各种特征、方面和功能的适用范围不限于以上的具体实施例，而是可以单独或以各种组合方式应用于本发明的一个或多个其他实施例，无论这些实施例是否被描述或这些特征是否被呈现为所描述的实施方式的一部分。因此，本发明的广度和范围不应受到任何上述示例性实施例的限制。
81.在某些情况下，存在诸如“一个或多个”、“至少”、“但不限于”或其他类似短语的扩展词，不应被理解为，在不存在此类扩展词的情况下，就意指更窄范围的情况。