用于脸部识别的方法和设备与流程

技术领域

至少一个示例实施例涉及一种用于识别在图像中呈现的脸部的脸部识别技术。

背景技术：

脸部识别技术与其他识别技术(例如，需要用户执行特定的运动或动作的指纹和虹膜识别)不同，被认为是可在不接触目标的情况下验证目标的方便且有竞争力的生物识别技术。由于脸部识别技术的方便性和有效性，这样的脸部识别技术已被广泛地使用于各种应用领域，例如，安全系统、移动认证和多媒体搜索。然而，脸部识别技术的性能对于用户的脸部姿态和面部表情、遮挡、光照的变化等可能是敏感的。

识别注册的脸部和未注册的脸部的模式分类器的性能可影响脸部识别技术的性能。可基于，例如，使用神经网络模型的方法来训练模式分类器。神经网络模型可以是通过由数学表达式对人类神经细胞的特征进行建模获得的模型，并且可具有将输入模式分类为预定的组的能力。为了解决将输入模式分类为预定的组的问题，神经网络模型可使用模仿人类学习的能力的算法。基于该算法，神经网络模型可产生可被表示为神经网络模型的学习能力的输入模式与输出模式之间的映射。

技术实现要素：

一些示例实施例涉及训练光照补偿模型的训练方法。

根据至少一些示例实施例，训练光照补偿模型的训练方法包括：从训练图像提取脸部区域的反照率图像、脸部区域的表面法线图像和光照特征，所述提取基于光照补偿模型；基于反照率图像、表面法线图像和光照特征生成光照恢复图像；基于训练图像和光照恢复图像来训练光照补偿模型。

所述生成的步骤可包括：通过将反照率图像、表面法线图像和光照特征应用到朗伯模型来生成光照恢复图像。

光照补偿模型可基于被应用到自动编码器的编码器的卷积神经网络(CNN)模型。

所述训练的步骤可包括：基于训练图像与光照恢复图像之间的差来更新光照补偿模型的参数。

所述提取的步骤还可包括：基于光照补偿模型，从训练图像提取脸部区域的掩模图像。

所述方法还可包括：基于光照恢复图像和掩模图像生成掩模恢复图像，其中，所述训练的步骤包括基于训练图像和掩模恢复图像来训练光照补偿模型。

根据本发明构思的至少一些示例实施例，一种训练脸部识别模型的训练方法可包括：从训练图像提取脸部区域的反照率图像和脸部区域的表面法线图像，所述提取基于光照补偿模型；将反照率图像和表面法线图像输入到脸部识别模型；基于反照率图像和表面法线图像从脸部识别模型获得估计值；基于估计值以及与训练图像相应的期望值来训练脸部识别模型。

所述训练的步骤可包括：基于脸部识别模型的估计值与期望值之间的差来更新脸部识别模型的参数。

脸部识别模型可基于卷积神经网络(CNN)模型。

根据至少一些示例实施例，一种脸部识别方法可包括：从输入图像提取脸部区域的反照率图像和脸部区域的表面法线图像，所述提取基于光照补偿模型；将反照率图像和表面法线图像输入到脸部识别模型；基于脸部识别模型的输出值确定脸部识别结果。

光照补偿模型和脸部识别模型可基于卷积神经网络(CNN)模型。

所述方法还可包括：基于反照率图像和表面法线图像，从脸部识别模型输出与输入图像相应的标识值。

反照率图像和表面法线图像可独立于包括在输入图像中的光照分量。

反照率图像可指示脸部区域的与脸部区域的光照无关的纹理分量，表面法线图像可指示脸部区域的与光照无关的三维(3D)形状分量。

根据至少一些示例实施例，一种在非暂时性计算机可读介质上呈现的计算机程序，所述计算机程序被配置为控制处理器以执行：从训练图像提取脸部区域的反照率图像、脸部区域的表面法线图像和光照特征，所述提取基于光照补偿模型；基于反照率图像、表面法线图像和光照特征生成光照恢复图像；基于训练图像和光照恢复图像来训练光照补偿模型。

根据至少一些示例实施例，一种脸部识别设备包括：存储器，存储指令；一个或更多个处理器，被配置为执行指令，从而所述一个或多个处理器被配置为：从输入图像提取脸部区域的反照率图像和脸部区域的表面法线图像，所述提取基于光照补偿模型；将反照率图像和表面法线图像输入到脸部识别模型；基于脸部识别模型的输出值确定脸部识别结果。

所述一个或多个处理器可被配置为执行指令，从而所述一个或多个处理器被配置为基于光照补偿模型从输入图像提取光照分量和遮挡分量。

根据至少一些示例实施例，一种训练设备可包括：存储器，存储指令；一个或多个处理器，被配置为执行指令，从而所述一个或多个处理器被配置为：从训练图像提取脸部区域的反照率图像、脸部区域的表面法线图像和光照特征，所述提取基于光照补偿模型；基于反照率图像、表面法线图像和光照特征生成光照恢复图像；基于训练图像和光照恢复图像来训练光照补偿模型。

所述一个或多个处理器可被配置为执行指令，从而所述一个或多个处理器被配置为：将反照率图像和表面法线图像输入到脸部识别模型，基于反照率图像和表面法线图像从脸部识别模型获得估计值，基于估计值以及与训练图像相应的期望值训练脸部识别模型。

附图说明

通过参照附图详细地描述示例实施例，示例实施例的上述以及其它特征和优点将会变得更加清楚。附图意在描述示例实施例，而不应该被解释为限制权利要求的预期的范围。除非明确地指出，否则附图将不被认为按比例绘制。

图1示出根据至少一个示例实施例的训练设备的示例；

图2示出根据至少一个示例实施例的脸部识别设备的示例；

图3示出根据至少一个示例实施例的自动编码器的形变模型的示例；

图4示出根据至少一个示例实施例的训练光照补偿模型和脸部识别模型的示例；

图5示出根据至少一个示例实施例的训练光照补偿模型和脸部识别模型的另一示例；

图6示出根据至少一个示例实施例的执行脸部识别的示例；

图7是根据至少一个示例实施例的示出训练光照补偿模型的训练方法的示例的流程图；

图8是根据至少一个示例实施例的示出训练光照补偿模型的训练方法的另一示例的流程图；

图9是根据至少一个示例实施例的示出训练脸部识别模型的训练方法的示例的流程图；

图10是根据至少一个示例实施例的示出脸部识别方法的示例的流程图；

图11示出根据至少一个示例实施例的脸部识别设备的另一示例；

图12示出根据至少一个示例实施例的脸部识别设备的又一示例。

具体实施方式

在此公开了详细的示例实施例。然而，为了描述示例实施例的目的，在此公开的特定结构和功能的细节仅是代表性的。然而，可以以许多替换形式来实现示例实施例，并且示例实施例不应被解释为仅限于在此阐述的实施例。

因此，虽然示例实施例能够具有各种修改和替换形式，但是其实施例通过示例的方式在附图中被示出，并且在此将被详细地描述。然而，应理解，不意在将示例实施例限制为所公开的具体形式，而是与此相反，示例实施例将覆盖落入示例实施例的范围内的所有修改、等同物以及替换物。贯穿附图的描述，相同的标号表示相同的元件。

将理解，虽然在此可使用术语“第一”、“第二”等来描述各种元件，但是这些元件不应被这些术语所限制。这些术语仅用于将一个元件与另一元件进行区分。例如，在不脱离示例实施例的范围的情况下，第一元件可被称为第二元件，类似地，第二元件可被称为第一元件。如在此使用的，术语“和/或”包括相关列出项中的一个或多个的任意和全部组合。

将理解，当元件被称为被“连接”或“耦合”到另一元件时，该元件可被直接地连接到或耦合到该另一元件或者可存在中间元件。相反，当元件被称为被“直接地连接”或“直接地耦合”到另一元件时，不存在中间元件。用于描述元件之间的关系的其他词语应以类似方式被解释(例如，“在…之间”与“直接在…之间”、“相邻”与“直接相邻”等)。

在此使用的术语仅出于描述具体实施例的目的，而不意在限制示例实施例。除非上下文另有清楚地指示，否则如在此使用的单数形式也意图包括复数形式。还将理解，当在此使用术语“包括”和/或“包含”时，说明存在叙述的特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或它们的组。

还应注意的是，在一些替代实施方式中，所提出的功能/动作可不按附图中所指出的顺序发生。例如，根据涉及的功能/动作，连续示出的两个附图实际上可被基本同时地执行，或者有时可以以相反的顺序被执行。

在此参照理想实施例(和中间结构)的示意图示来描述示例实施例。如此，由例如制造技术和/或容差导致的图示的形状的变化将被预期。因此，示例实施例不应被解释为受限于在此示出的区域的具体形状，而将包括由例如制造导致的形状的偏差。

虽然一些剖视图的相应平面图和/或立体图可能未被示出，但是在此示出的装置结构的剖视图对沿着平面图中将会示出的两个不同方向和/或沿着透视图中将会示出的三个不同方向扩展的多个装置结构提供支持。这两个不同方向可以互相正交，或者可以不互相正交。这三个不同方向可包括可与这两个不同方向正交的第三方向。多个装置结构可被整合在同一电子装置中。例如，当在剖视图中示出装置结构(例如，存储器单元结构或晶体管结构)时，电子装置可包括将由电子装置的平面图示出的多个装置结构(例如，多个存储器单元结构或多个晶体管结构)。多个装置结构可以以阵列和/或二维图案布置。

图1示出根据至少一个示例实施例的训练设备的示例。训练设备110基于训练数据来训练用于脸部识别的模型。在此，训练表示机器学习，存储在训练数据存储器140中的训练数据包括各种图像数据。例如，训练数据可包括各种人的图像数据以及在各种光照环境中拍摄的人的脸部的图像数据。此外，具有各种遮挡的脸部区域的图像数据(例如，当在脸部区域中存在眼镜、太阳镜或口罩(mask)时)可被用作训练数据。下文，包括在训练数据中的图像数据被称为训练图像。

参照图1，训练设备110包括预处理器120和模型训练器130。根据至少一个示例实施例，可通过至少一个处理器来实现预处理器120和模型训练器130。

根据至少一个示例实施例，训练设备110可包括被具体构造为执行在此描述的由训练设备110(或其元件)执行的操作中的一些或全部的一个或多个电路或电路系统(例如，硬件)，或者可通过被具体构造为执行在此描述的由训练设备110(或其元件)执行的操作中的一些或全部的一个或多个电路或电路系统(例如，硬件)来实现训练设备110。根据至少一个示例实施例，训练设备110可包括存储器以及一个或多个处理器或者通过存储器以及一个或多个处理器来实现，其中，所述一个或多个处理器执行存储在存储器中并包括与在此描述的由训练设备110(或其元件)执行的操作中的一些或全部相应的指令的计算机可读代码(例如，软件)。根据至少一个示例实施例，可通过例如上述的硬件和执行计算机可读代码的处理器的组合，来实现训练设备110。

预处理器120基于光照补偿模型，从训练图像提取脸部区域的反射率图像(albedo image，反照率图像)、脸部区域的表面法线图像(surface normal image)以及光照特征。光照特征表示关于出现在输入图像中的外部光的特征，并且包括关于光的方向和强度的特征。反射率图像表示与指示从脸部表面反射的光的程度的漫反射率有关的图像。脸部区域的脸部法线图像表示指示与脸部表面的每个点中的一个点的切平面的垂直方向有关的特征的图像。例如，表面法线图像可指示在关于x轴、y轴和z轴的每个方向的三个表面法向矢量的信息。

反射率图像和表面法线图像可独立于(例如，不考虑)光照地被生成，并且具有独立于光照的特性。例如，即使当输入图像的光照分量是亮的或暗的时，反射率图像和表面法线图像也可以是相同的。反射率图像指示脸部的与光照不相关的纹理分量(texture component，质地分量)，表面法线图像指示脸部的与光照不相关的三维(3D)形状分量。

模型训练器130训练光照补偿模型和脸部识别模型。基于训练处理，光照补偿模型的参数和脸部识别模型的参数可被改善，或可选地被优化。

根据至少一个示例实施例，模型训练器130可基于自动编码器的形变模型来训练光照补偿模型。自动编码器表示能够使期望的输出与输入相同的神经网络模型。自动编码器可包括在输入层和编码层提供的编码器以及在输出层和解码层提供的解码器。自动编码器可具有神经网络结构，其中，在神经网络结构中，编码器的输出值被输入到解码器，解码器输出与输入到编码器的输入值相同的输出值。模型训练器130可表示自动编码器的形变模型，并且可使用卷积神经网络(CNN)模型被用作编码器并且朗伯(Lambertian)模型被用作解码器的模型。在本示例中，编码器可对应于光照补偿模型。将参照图3提供自动编码器的形变模型的描述。

模型训练器130基于通过光照补偿模型提取的特征，来生成光照恢复图像。模型训练器130可通过将反射率图像、表面法线图像以及光照特征应用到朗伯模型，来重建光照恢复图像。模型训练器130可基于训练图像与光照恢复图像之间的差来确定针对训练的损失函数，并且基于损失函数更新光照补偿模型的参数。例如，模型训练器130可调整光照补偿模型的参数，以降低损失函数的值。

在另一示例中，除了脸部区域的反射率图像、脸部区域的表面法线图像和光照特征以外，预处理器120还从训练图像提取掩模图像。模型训练器130可基于反射率图像、表面法线图像和光照特征来重建光照恢复图像，并且通过将光照恢复图像与掩模图像合并来生成掩模恢复图像。模型训练器130可基于训练图像与掩模恢复图像之间的差来确定损失函数，并且基于损失函数更新光照补偿模型的参数。

模型训练器130可如以下地训练脸部识别模型。模型训练器130可将通过光照补偿模型提取的反射率图像和表面法线图像输入到脸部识别模型，并且可从脸部识别模型获得估计值。例如，脸部识别模型可基于CNN模型，并且可将与训练图像相应的标识值(例如，身份证明(ID))作为估计值输出。模型训练器130可基于脸部识别模型的估计值以及与训练图像相应的期望值，来训练脸部识别模型。模型训练器130可基于脸部识别模型的估计值与期望值之间的差来确定损失函数，并且基于损失函数更新脸部识别模型的参数。

光照补偿模型和脸部识别模型(通过前述的处理来完成它们中的每个的训练)可被存储在模型存储器150中。

图2示出根据至少一个示例实施例的脸部识别设备的示例。脸部识别设备210可被利用于各种应用领域，应用领域的示例包括(但不限于)：监视/安全系统、移动装置认证以及多媒体搜索与分类。此外，脸部识别设备210可被用于通过与指纹识别设备(未示出)组合来实现复杂的生物测定认证系统。

脸部识别设备210可对通过数字静态相机或摄像机获得的输入图像执行包括脸部认证的脸部识别。例如，脸部识别设备210可识别出现在输入图像中的用户，或者验证出现在输入图像中的用户是否与出现在预定的注册图像中的用户相同。注册图像可在脸部识别被执行之前被预先注册、存储在数据库中，并且可包括至少一个用户的脸部图像。下文，为了容易且便于描述，假设输入图像包括一个脸部区域。然而，本公开不限于此。

脸部识别设备210可执行预处理，以从输入图像去除光照分量和遮挡分量，并且基于去除了光照分量和遮挡分量的输入图像执行脸部识别。脸部识别设备210可基于由图1中的训练设备预先训练的模型，来执行上述的预处理以及脸部识别。

参照图2，脸部识别设备210包括预处理器220和脸部识别器230。根据至少一个示例实施例，可通过至少一个处理器来实现预处理器220和脸部识别器230。

根据至少一个示例实施例，脸部识别设备210可包括被具体构造为实现在此描述的由脸部识别设备210(或其元件)执行的操作中的一些或全部的一个或多个电路或电路系统(例如，硬件)，或者可通过被具体构造为实现在此描述的由脸部识别设备210(或其元件)执行的操作中的一些或全部的一个或多个电路或电路系统(例如，硬件)来实现脸部识别设备210。根据至少一个示例实施例，脸部识别设备210可包括存储器以及一个或多个处理器或者通过存储器以及一个或多个处理器来实现，其中，所述一个或多个处理器执行存储在存储器中并包括与在此描述的由脸部识别设备210(或其元件)执行的操作中的一些或全部相应的指令的计算机可读代码(例如，软件)。根据至少一个示例实施例，可通过例如上述的硬件和执行计算机可读代码的处理器的组合，来实现脸部识别设备210。

预处理器220可基于存储在模型存储器240中的光照补偿模型，从输入图像提取光照分量和遮挡分量。例如，预处理器220可基于光照补偿模型从输入图像提取脸部区域的反射率图像以及脸部区域的表面法线图像。可基于参照图1的描述预先训练光照补偿模型。

脸部识别器230可基于与由预处理器220提取的输入图像的光照分量和遮挡分量不相关的脸部区域的反射率图像和表面法线图像，来执行脸部识别。脸部识别器230可将由预处理器220提取的反射率图像和表面法线图像输入到脸部识别模型，并且可基于脸部识别模型的输出值确定脸部识别结果。例如，脸部识别模型可输出与输入图像相应的标识值。可基于参照图1的描述预先训练脸部识别模型。

在另一示例中，脸部识别设备210可通过比较输入图像与预注册图像，来确定出现在输入图像中的用户是否与出现在注册图像中的用户相同。预处理器220可基于关于输入图像以及注册图像的光照补偿模型，提取反射率图像和表面法线图像。脸部识别器230可通过将提取的反射率图像和表面法线图像输入到脸部识别模型，来获得与注册图像相应的最终特征值。脸部识别器230可确定关于输入图像的最终特征值与关于注册图像的最终特征值之间的相似度，并且基于相似度来确定脸部识别结果。例如，脸部识别器230可使用来自在脸部识别模型中包括的多个层之中的预定层的输出值作为最终特征值。

如以上所描述，脸部识别设备210可具有鲁棒性，以通过从输入图像提取光照分量和遮挡分量并且对去除了光照分量和遮挡分量的输入图像执行脸部识别，来执行关于光照和遮挡的脸部识别。此外，脸部识别设备210可使用与光照不相关的反射率图像和表面法线图像，以及基于用于脸部识别的深度学习的脸部识别模型和光照补偿模型，由此提高脸部识别的识别率。

图3示出根据至少一个示例实施例的自动编码器的形变模型的示例。

参照图3，自动编码器的形变模型300包括编码器310和解码器320。编码器310的输出可被输入到解码器320。在编码器310中，基于卷积神经网络(CNN)模型，将训练图像330输入到光照补偿模型340，光照补偿模型340可输出关于训练图像330的反射率图像350、表面法线图像360以及光照特征370。表面法线图像360表示在光从x轴、y轴和z轴的每个方向被反射时的脸部的3D形状。表面法线图像360可被表示为关于x轴、y轴和z轴的每个方向的三个法线图像。

根据至少一个示例实施例，编码器310和/或解码器320可包括被具体构造为执行在此描述的由编码器310和/或解码器320(或其元件)执行的操作中的一些或全部的一个或多个电路或电路系统(例如，硬件)，或者可由被具体构造为执行在此描述的由编码器310和/或解码器320(或其元件)执行的操作中的一些或全部的一个或多个电路或电路系统(例如，硬件)来实现。根据至少一个示例实施例，编码器310和/或解码器320可包括存储器以及一个或多个处理器或者由存储器以及一个或多个处理器来实现，其中，所述一个或多个处理器执行存储在存储器中并包括与在此描述的由编码器310和/或解码器320(或其元件)执行的操作中的一些或全部相应的指令的计算机可读代码(例如，软件)。根据至少一个示例实施例，可通过例如上述的硬件和执行计算机可读代码的处理器的组合，来实现编码器310和/或解码器320。

根据至少一个示例实施例，编码器310和解码器320中的一个或两个可以是自动编码器的元件，可通过例如上述的硬件、上述的执行计算机可读代码的处理器或上述的硬件和执行计算机可读代码的处理器的组合，来实现自动编码器。

解码器320可基于朗伯模型来重建光照恢复图像380。解码器320可通过将由编码器310输出的反射率图像350、表面法线图像360以及光照特征370应用到朗伯模型，来重建光照恢复图像380。

在自动编码器的形变模型300中，可如表达式1所示来表示配置解码器320的朗伯模型。

[表达式1]

在表达式1中，I表示基于朗伯模型生成的光照恢复图像，操作数a表示出现在训练图像中的脸部区域的反射率图像，操作数表示作为脸部区域的光照特征的3D光源。操作数表示脸部区域的表面法线，操作数θ表示光源与表面法线方向的角度。

在脸部识别处理中，自动编码器的形变模型300的编码器310可被使用，而解码器320可不被使用。

图4示出根据至少一个示例实施例的训练光照补偿模型和脸部识别模型的示例。

训练设备可基于光照补偿模型420从训练图像410提取各种特征图，并且基于朗伯模型从特征图生成光照恢复图像460。

训练设备可从训练图像410提取出现在训练图像410中的脸部区域的反射率图像430、表面法线图像440以及光照特征450。训练设备可基于图3中所描述的自动编码器的形变模型300，从反射率图像430、表面法线图像440以及光照特征450生成光照恢复图像460。

训练数据可基于训练图像410与光照恢复图像460之间的差，确定光照补偿模型420的损失函数，并且基于损失函数更新光照补偿模型420的参数。训练设备可调整光照补偿模型420的参数，以基于损失函数降低训练图像410与光照恢复图像460之间的差。在这样的示例中，损失函数表示用于定义期望值与从光照补偿模型420输出的估计值之间的误差的函数。

训练设备可将通过光照补偿模型420提取的反射率图像430和表面法线图像440输入到脸部识别模型470，并且基于与输入图像410相应的期望值与从脸部识别模型470输出的估计值之间的差，确定脸部识别模型470的损失函数。例如，脸部识别模型470可基于输入的反射率图像430和表面法线图像440来输出ID值。训练设备可基于从脸部识别模型470输出的ID值与期望的ID值(例如，正确答案ID)之间的差来确定损失函数，并且基于损失函数更新脸部识别模型470的参数。

图5示出根据至少一个示例实施例的训练光照补偿模型和脸部识别模型的另一示例。

参照图5，光照补偿模型520从训练图像510提取反射率图像530、表面法线图像540、光照特征550以及掩模图像560。掩模图像560表示具有由于口罩或眼镜而遮挡脸部区域的遮挡区域的特征的掩模图像。

训练设备可使用如以上图4中描述的自动编码器的形变模型300，基于光照特征550来生成反射率图像530、表面法线图像540以及光照恢复图像570。随后，训练设备可通过将生成的光照恢复图像570与掩模图像560进行合并，来生成掩模恢复图像580。

训练设备可基于训练图像510与掩模恢复图像580之间的差来确定光照补偿模型520的损失函数，并且更新光照补偿模型520的参数，以降低训练图像510与掩模恢复图像580之间的差。

由于基于训练脸部识别模型590的处理的示例提供的上述的描述在此也是可用的，因此为了更加清楚和简明，将省略重复的描述。

图6示出根据至少一个示例实施例的执行脸部识别的示例。

脸部识别设备可基于光照补偿模型620和脸部识别模型670，对输入图像610执行脸部识别。脸部识别设备可在用于脸部识别的输入图像610被发送时，基于光照补偿模型620，提取出现在输入图像610中的脸部区域的反射率图像640和表面法线图像640。

脸部识别设备可将从光照补偿模型620提取的反射率图像630和表面法线图像640输入到脸部识别模型670，并且可基于脸部识别模型670的输出值来执行脸部识别。例如，脸部识别模型670可输出与输入图像610相应的标识值，并且脸部识别设备可基于标识值来识别出现在输入图像610中的用户。

在另一示例中，注册图像可被预先预注册和存储。脸部识别设备可通过比较输入图像610与注册图像，来验证出现在输入图像610中的用户是否与出现在注册图像中的用户相同。脸部识别设备可基于关于注册图像以及输入图像610的光照补偿模型620，来提取反射率图像630和表面法线图像640。脸部识别设备可通过将提取的反射率图像630和表面法线图像640输入到脸部识别模型670，来获得与注册图像相应的最终特征值。脸部识别设备可比较通过脸部识别模型670输出的输入图像610的最终特征值与注册图像的最终特征值之间的相似度。当相似度大于或等于预定阈值时，出现在输入图像610中的用户可被验证为与出现在注册图像中的用户相同。相反地，当相似度小于预定的阈值时，脸部识别设备可验证出现在输入图像610中的用户与出现在注册图像中的用户不同。

根据至少一个示例实施例，可进一步地从光照补偿模型620提取光照特征650和掩模图像660。然而，脸部识别设备可执行脸部识别来代替使用提取的光照特征650和掩模图像660。由于反射率图像630和表面法线图像640表示独立于光照的特征，因此脸部识别设备可执行独立于(例如，不考虑)出现在输入图像610中的光照的脸部识别。因此，脸部识别设备可通过执行相对光照的变化的鲁棒的脸部识别，来提高图像识别的性能。此外，脸部识别设备可从输入图像610中分离指示遮挡区域的掩膜图像660，由此来阻止由于脸部遮挡引起的识别性能的劣化。

图7是根据至少一个示例实施例的示出训练光照补偿模型的训练方法的示例的流程图。在操作710中，训练设备基于光照补偿模型，从训练图像提取脸部区域的反射率图像、表面法线图像以及光照特征。在操作720中，训练设备基于提取的反射率图像、表面法线图像以及光照特征，生成光照恢复图像。例如，训练设备可通过将反射率图像、表面法线图像以及光照特征应用到朗伯模型，来生成光照恢复图像。在操作730中，训练设备基于训练图像和光照恢复图像，来训练光照补偿模型。训练设备可基于训练图像与光照恢复图像之间的差，来确定损失函数，并且基于损失函数调整光照补偿模型的参数。

图8是根据至少一个示例实施例的示出训练光照补偿模型的训练方法的另一示例的流程图。在操作810中，训练设备基于光照补偿模型，从训练图像提取反射率图像、表面法线图像、光照特征以及掩模图像。在操作820中，训练设备基于提取的反射率图像、表面法线图像以及光照特征，生成光照恢复图像。在操作830中，训练设备基于光照恢复图像和掩模图像，生成掩模恢复图像。在操作840中，训练设备基于训练图像和掩模恢复图像，来训练光照补偿模型。训练设备可基于训练图像与掩模恢复图像之间的差来确定损失函数，并且基于损失函数调整光照补偿模型的参数。

图9是根据至少一个示例实施例的示出训练脸部识别模型的训练方法的示例的流程图。在操作910中，训练设备基于光照补偿模型，从训练图像提取脸部区域的反射率图像和表面法线图像。在操作920中，训练设备通过将反射率图像和表面法线图像输入到脸部识别模型，来从脸部识别模型获得估计值。在操作930中，训练设备基于预定的期望值与脸部识别模型的估计值，来训练脸部识别模型。

图10是根据至少一个示例实施例的示出脸部识别方法的示例的流程图。在操作1010中，脸部识别设备基于光照补偿模型，从输入图像提取脸部区域的反射率图像和表面法线图像。在操作1020中，脸部识别设备将反射率图像和表面法线图像输入到脸部识别模型，并基于脸部识别模型的输出值来确定脸部识别结果。例如，脸部识别模型可输出与输入图像相应的标识值。

图11示出根据至少一个示例实施例的脸部识别设备的另一示例。脸部识别设备1100识别出现在二维(2D)输入图像中的用户脸部。参照图11，脸部识别设备1100包括图像获得器1110、预处理器1120、脸部识别器1160和用于存储计算的值或临时值的存储器1170。

根据至少一个示例实施例，脸部识别设备1100可包括被具体构造为执行在此描述的由脸部识别设备1100(或其元件)执行的操作中的一些或全部的一个或多个电路或电路系统(例如，硬件)，或者可通过被具体构造为执行在此描述的由脸部识别设备1100(或其元件)执行的操作中的一些或全部的一个或多个电路或电路系统(例如，硬件)来实现。根据至少一个示例实施例，脸部识别设备1100可包括存储器以及一个或多个处理器或者由存储器以及一个或多个处理器来实现，其中，所述一个或多个处理器执行存储在存储器中并包括与在此描述的由脸部识别设备1100(或其元件)执行的操作中的一些或全部相应的指令的计算机可读代码(例如，软件)。根据至少一个示例实施例，可通过例如上述的硬件和执行计算机可读代码的处理器的组合，来实现脸部识别设备1100。

图像获得器1110通过相机获得用于用户识别或用户认证的图像，并且将获得的图像发送到预处理器1120。脸部识别设备1100可使用单一图像来执行关于用户的脸部识别。然而，本公开不限于此。

预处理器1120可对从图像获得器1110接收的输入图像执行各种图像预处理。预处理器1120包括脸部检测器1130、脸部调整器(face aligner)1140以及光照补偿器1150。

脸部检测器1130从输入图像检测脸部区域。脸部检测器1130基于关于输入图像中的眼睛位置、颜色分布、对象移动或亮度分布的信息，来识别输入图像中的脸部区域，并且提取脸部区域的位置信息。例如，脸部检测器1130可使用通常在相关的技术领域中使用的基于Haar-like的Adaboost分类器，来检测输入图像中的脸部区域。

脸部调整器1140调整出现在输入图像中的脸部的大小，或旋转脸部。例如，脸部调整器1140可基于主动外观模型(AAM)来提取脸部区域中的脸部构件，例如，鼻子、眼镜、嘴唇和眉毛。脸部调整器1140可基于提取的脸部构件的位置，来旋转脸部或调整脸部的大小。

此外，脸部调整器1140可基于高斯卷积法以及直方图平滑和拉伸，来去除图像噪声并且降低输入图像中的光照的影响。

光照补偿器1150从输入图像提取光照分量和遮挡分量，并且提取独立于光照的特征。例如，光照补偿器1150可基于光照补偿模型，从输入图像提取脸部区域的反射率图像以及脸部区域的表面法线图像。

脸部识别器1160将通过预处理器1120提取的反射率图像和表面法线图像输入到脸部识别模型，并且基于脸部识别模型的输出值确定脸部识别结果。

根据至少一个示例实施例，脸部识别器1160通过比较输入图像与注册图像，来执行脸部识别。脸部识别器1160可基于出现在输入图像中的脸部区域与出现在注册图像中的脸部区域之间的相似度，来执行脸部识别。脸部识别器1160可确定通过脸部识别模型输出的输入图像的最终特征值与注册图像的最终特征值之间的相似度，并且可基于相似度是否满足预定的条件来输出脸部识别结果。

例如，响应于确定脸部识别成功，脸部识别设备1100可解锁连接到脸部识别设备1100的终端装置，或者为用户分配访问终端装置的预定功能的权限。响应于确定脸部识别失败，脸部识别设备1100可保持终端装置的锁定状态，或者限制访问终端装置的预定功能的权限。

根据至少一个示例实施例，脸部识别设备1100还可包括显示器1180。显示器1180显示通过图像获得器1110获得的图像、通过预处理器1120执行的图像预处理的结果、注册图像以及脸部识别结果中的至少一个。

图12示出根据至少一个示例实施例的脸部识别设备的又一示例。

图像获得设备1210，例如，相机，可捕获用户的脸部，并且将包括脸部的图像发送到脸部识别设备1220。脸部识别设备1220可通过将图像与预先存储在注册图像数据库1250中的注册图像进行比较，来执行脸部识别。用户可通过注册，来预先注册脸部的图像。注册图像数据库1250可将注册的图像存储为注册图像。

脸部识别设备1220可执行在此描述或示出的至少一个脸部识别方法和学习方法。脸部识别设备1220可通过扬声器以语音的形式或者通过显示器以字符、图像、视频等形式，来输出脸部识别结果。然而，脸部识别结果的示例不限于此。因此，脸部识别设备1220可以以各种类型的形式输出脸部识别结果。

脸部识别设备1220可包括处理器1230和存储器1240。存储器1240可与处理器1230进行通信，并且可存储将被处理器1230计算的数据以及可由处理器1230执行的指令。处理器1230可包括用于执行存储在存储器1240中的指令的硬件。为了运行指令，处理器1230可从例如内部寄存器、内部高速缓存、内存储器1240和存储器检索或获取指令，从而来运行指令。然后，处理器1230可将至少一个运行结果记录在内部寄存器、内部高速缓存、内存储器1240和存储器中。根据至少一个示例实施例，处理器1230可执行指令，以执行参照图2、图6、图10和图11描述的至少一个操作。为了简化，在图12中示出单个处理器1230。然而，本领域的技术人员可理解处理器1230包括处理器或核中的至少一个。

可使用硬件组件和软件组件来实现在此所描述的单元和/或模块。例如，硬件组件可包括麦克风、放大器、带通滤波器、音频数字转换器和处理装置。可使用被配置为通过执行算数、逻辑和输入/输出操作来运行和/或执行程序代码的一个或多个硬件装置来实现处理装置。处理装置可包括处理器、控制器和算术逻辑单元、数字信号处理器、微型计算机、现场可编程阵列、可编程逻辑单元、微型处理器或能够以限定的方式响应并执行指令的任何其它装置。处理装置可运行操作系统(OS)和运行在OS上的一个或多个软件应用。处理装置也可响应于软件的执行来访问、存储、操控、处理和创建数据。为了简单起见，使用单数来描述处理装置。然而，本领域技术人员将理解：处理装置可包括多个处理元件和多种类型的处理元件。例如，处理装置可包括多个处理器或一个处理器以及一个控制器。此外，不同的处理配置(诸如，并行处理器)是可能的。

软件可包括用于独立地或共同地指示和/或配置处理装置如期望地操作的计算机程序、一段代码、指令或它们的组合，从而使处理装置转变为专用处理器。可在任何类型的机器、组件、物理的或虚拟的设备、计算机存储介质或装置中、或能够将指令或数据提供给处理装置或由处理装置解释的传播信号波中永久地或临时地实施软件和数据。软件也可被分布在联网的计算机系统上，使得软件按照分布方式被存储并被执行。软件和数据可由一个或多个非暂时性计算机可读记录介质进行存储。

根据上述示例实施例的方法可被记录在包括程序指令以执行上述示例实施例的各种操作的非暂时性计算机可读介质中。所述介质还可包括单独的或与所述程序指令结合的数据文件、数据结构等。根据至少一些示例实施例，在所述介质上记录的程序指令可以是针对示例实施例的目的而专门设计和构建的那些程序指令。非暂时性计算机可读介质的示例包括磁介质(诸如，硬盘、软盘和磁带)、光学介质(诸如，CD ROM盘、DVD和/或蓝光盘)、磁光介质(诸如，光盘)和专门被配置为存储并执行程序指令的硬件装置(诸如，只读存储器(ROM)、随机存取存储器(RAM)、闪存(例如，USB闪存驱动器、存储卡、记忆棒)等)。程序指令的示例包括机器代码(诸如，由编译器产生的机器代码)和包含可由计算机使用解释器来执行的更高级代码的文件两者。上述装置可被配置为作为一个或多个软件模块以便执行上述示例实施例的操作，或者反之亦然。

示例实施例已经如此被描述，将显然的是，可以许多方式改变示例实施例。这些改变不应被视为脱离示例实施例所意图的精神和范围，并且所有这种对于本领域技术人员将是明显的修改意图被包括在以下的权利要求的范围内。