用于脸部识别的方法和设备与流程

用于脸部识别的方法和设备
1.本技术是申请日为2015年7月24日、申请号为201510441052.7、题为“用于脸部识别的方法和设备”的专利申请的分案申请。
技术领域
2.至少一些示例实施例涉及用于识别用户的脸部的脸部识别技术。


背景技术：

3.与需要用户执行特定运动或动作的识别技术(例如，指纹识别和虹膜识别)不同，脸部识别技术被视为可在不与目标接触的情况下验证目标的方便且有竞争力的生物识别技术。由于这种脸部识别技术的便利性和有效性，因此这种脸部识别技术已被广泛用于各种应用领域(例如，安全系统、移动认证和多媒体搜索)中。


技术实现要素：

4.至少一些示例实施例涉及一种脸部识别方法。
5.在至少一些示例实施例中，所述脸部识别方法可包括：从二维(2d)输入图像检测脸部特征点；基于检测的脸部特征点调整存储的三维(3d)脸部模型；从调整的3d脸部模型产生2d投影图像；基于2d输入图像和2d投影图像执行脸部识别。
6.所述调整存储的3d脸部模型的步骤可包括：通过将检测的脸部特征点映射到存储的3d脸部模型来调整存储的3d脸部模型的脸部姿态和脸部表情。
7.存储的3d脸部模型包括3d形状模型和3d纹理模型。3d形状模型和3d纹理模型可以是脸部姿态和脸部表情可变形的3d模型。
8.所述调整存储的3d脸部模型的步骤可包括：基于从2d输入图像检测的脸部特征点调整存储的3d形状模型；基于调整的3d形状模型的参数信息调整3d纹理模型。
9.所述调整存储的3d形状模型的步骤可包括：基于检测的脸部特征点调整3d形状模型的姿态参数和表情参数。
10.所述产生2d投影图像的步骤可包括：从调整的3d纹理模型产生2d投影图像。
11.可基于从多个2d脸部图像检测的特征点产生存储的3d脸部模型，2d脸部图像可以是通过从多个视点捕捉用户的脸部而获得的图像。
12.所述执行脸部识别的步骤可包括：确定2d输入图像与2d投影图像之间的相似程度；基于相似程度是否满足条件来输出脸部识别的结果。
13.所述检测脸部特征点的步骤可包括：从2d输入图像提取脸部区域；从提取的脸部区域检测眉毛、眼睛、鼻子、嘴唇、下巴、耳朵和脸部轮廓中的至少一个中的脸部特征点。
14.至少其它示例实施例涉及一种产生三维(3d)脸部模型的方法。
15.在一些示例实施例中，所述方法可包括：从多个视点获得用户的2d脸部图像；从2d脸部图像检测脸部特征点；基于检测的脸部特征点产生可变形的3d形状模型和可变形的3d纹理模型；将可变形的3d形状模型和可变形的3d纹理模型存储为用户的3d脸部模型。
16.所述产生的步骤可包括：基于可变形的3d形状模型和来自2d脸部图像中的至少一个2d脸部图像的纹理信息来产生可变形的3d纹理模型。
17.所述产生的步骤包括：确定用于将检测的脸部特征点映射到3d标准模型的特征点的参数；通过将确定的参数应用到3d标准模型来产生可变形的3d形状模型。
18.至少其它示例实施例涉及一种产生3d脸部模型的方法。
19.在至少一些示例实施例中，所述方法可包括：获得2d脸部图像和2d脸部图像的方向数据，2d脸部图像包括用户的脸部；确定关于2d脸部图像之间的匹配点的信息；基于2d脸部图像的方向数据和关于匹配点的信息产生用户的脸部的3d数据；使用3d数据将3d标准模型转换为用户的3d脸部模型。
20.所述获得的步骤可包括：使用由运动传感器感测的运动数据获得2d脸部图像的方向数据。
21.关于用户的脸部的3d数据可以是配置用户的脸部的形状的3d点的集合。
22.所述转换的步骤可包括：通过将3d标准模型与用户的脸部的3d数据进行匹配来将3d标准模型转换为用户的3d脸部模型。
23.至少其它示例实施例涉及一种脸部识别设备。
24.在至少一些示例实施例中，所述脸部识别设备可包括：图像获取器，被配置为获得包括用户的脸部区域的2d输入图像；3d脸部模型处理器，被配置为基于出现在2d输入图像中的用户的脸部姿态调整存储的3d脸部模型的脸部姿态，并从调整的3d脸部模型产生2d投影图像；脸部识别器，被配置为基于2d输入图像和2d投影图像执行脸部识别。
25.3d脸部模型处理器可包括：区域检测器，被配置为从2d输入图像检测脸部区域；特征点检测器，被配置为从检测的脸部区域检测脸部特征点。
26.3d脸部模型处理器可通过将检测的脸部特征点与存储的3d脸部模型的特征点进行匹配来调整存储的3d脸部模型的脸部姿态。
27.3d脸部模型处理器可基于出现在2d输入图像中的用户的脸部姿态调整3d形状模型的脸部姿态，并基于调整的3d形状模型的参数信息调整3d纹理模型。
28.所述脸部识别设备还可包括：显示器，被配置为显示以下项中的至少一项：2d输入图像中的一个输入图像、2d投影图像和脸部识别的结果。
29.至少其它示例实施例涉及一种用于产生3d脸部模型的设备。
30.在至少一些示例实施例中，所述设备可包括：图像获取器，被配置为从多个视点获得用户的2d脸部图像；特征点检测器，被配置为从2d脸部图像检测脸部特征点；3d脸部模型产生器，被配置为基于检测的脸部特征点产生可变形的3d形状模型和可变形的3d纹理模型；3d脸部模型登记器，被配置为将可变形的3d形状模型和可变形的3d纹理模型存储为用户的3d脸部模型。
31.3d脸部模型产生器可包括：3d形状模型产生器，被配置为基于检测的脸部特征点产生用户的脸部的可变形的3d形状模型；3d纹理模型产生器，被配置为基于可变形的3d形状模型和来自2d脸部图像中的至少一个2d脸部图像的纹理信息产生可变形的3d纹理模型。
32.至少其它示例实施例涉及一种用于产生3d脸部模型的设备。
33.在至少一些示例实施例中，所述设备可包括：图像获取器，被配置为从多个视点获得用户的2d脸部图像；运动感测单元，被配置为获得2d脸部图像的方向数据；3d脸部模型产
生器，被配置为基于关于2d脸部图像之间的匹配点的信息和2d脸部图像的方向数据来产生用户的脸部的3d数据，3d脸部模型产生器被配置为使用3d数据将3d标准模型转换为用户的3d脸部模型；3d脸部模型登记器，被配置为存储用户的3d脸部模型。
34.示例实施例的其它方面将在下面的描述中部分地阐明，并且部分地将从所述描述明显可知，或者可通过本公开的实施被了解。
附图说明
35.从以下结合附图对示例实施例的描述，这些和/或其它方面将变得清楚且更容易理解，在附图中：
36.图1是示出根据至少一个示例实施例的脸部识别系统的总体操作的示图；
37.图2是示出根据至少一个示例实施例的三维(3d)脸部模型产生设备的配置的示图；
38.图3是示出根据至少一个示例实施例的脸部识别设备的配置的示图；
39.图4示出根据至少一个示例实施例的从二维(2d)脸部图像检测特征点的处理；
40.图5示出根据至少一个示例实施例的使用3d标准模型产生3d脸部模型的处理；
41.图6示出根据至少一个示例实施例的基于从2d输入图像检测的特征点调整3d脸部模型的处理；
42.图7示出根据至少一个示例实施例的通过将2d输入图像与2d投影图像进行比较来执行脸部识别的处理；
43.图8是示出根据至少一个示例实施例的3d脸部模型产生方法的流程图；
44.图9是示出根据至少一个示例实施例的脸部识别方法的流程图；
45.图10是示出根据至少一个示例实施例的3d脸部模型产生设备的另一配置的示图；
46.图11是示出根据至少一个示例实施例的另一3d脸部模型产生方法的流程图。
具体实施方式
47.以下，将参照附图对一些示例实施例进行详细的描述。关于在附图中分配给元件的参考标号，应该注意的是，相同的元件将由相同的参考标号指示，只要有可能，即使它们在不同的附图中示出也是如此。此外，在对示例实施例的描述中，当对公知的相关结构或者功能的详细描述被认为会导致本公开的模糊解释时，该详细描述将被省略。
48.然而，应该理解的是，没有意图将本公开局限于公开的示例实施例。相反，示例实施例覆盖落在示例实施例的范围内的所有的修改、等同物和替代物。在整个附图的描述中，相同的标号始终表示相同的元件。
49.此外，诸如第一、第二、a、b、(a)、(b)等的术语可在这里用来描述组件。这些术语中的每个不用于限定相应组件的本质、顺序或次序，而仅用于将相应组件与其它组件区分开来。
50.这里使用的术语仅为了描述特定实施例的目的，而不意图进行限制。如这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。还应理解的是，当在这里使用术语“包含”和/或“包括”时，说明存在陈述的特征、整体、步骤、操作、元件和/或组件，但不排除存在或附加一个或更多个其它特征、整体、步骤、操作、元件、组件和/或它们的
组
51.除非另外具体指出，或者从论述中清楚的是，诸如“处理”或“计算”或“确定”或“显示”等的术语是指计算系统或相似电子计算装置的动作和处理，所述计算系统或类似的电子计算装置将计算机系统的寄存器和存储器内的表示为物理量、电量的数据操纵和转换为计算机系统存储器或寄存器或其它这种信息存储装置、传输装置或显示装置内的类似地表示为物理量的其它数据。
52.还应该注意的是，在一些可选择的实施方式中，指出的功能/行为可不按附图中指出的顺序出现。例如，根据所涉及的功能/行为，连续示出的两张图可实际上可基本同时被执行或者有时可以以相反的顺序被执行。
53.现在将参照示出一些示例实施例的附图，更全面地对各种示例实施例进行描述。在附图中，为了清楚起见，可夸大层和区域的厚度。
54.图1是示出根据至少一个示例实施例的脸部识别系统100的总体操作的示图。脸部识别系统100可从用于脸部识别的二维(2d)输入图像识别用户的脸部。脸部识别系统100可通过分析2d输入图像来提取和识别出现在2d输入图像中的用户的脸部。脸部识别系统100可被用于各种应用领域(例如，安全监视系统、移动认证和多媒体数据搜索)中。
55.脸部识别系统100可对用户的三维(3d)脸部模型进行登记并使用登记的3d脸部模型来执行脸部识别。3d脸部模型可以是可根据出现在2d输入图像中的用户的脸部姿态或脸部表情而变形的可变形3d模型。例如，当出现在2d输入图像中的脸部姿态面向左侧时，脸部识别系统100可旋转登记的3d脸部模型以面向左侧。此外，脸部识别系统100可基于出现在2d输入图像中的用户的脸部表情来调整3d脸部模型的脸部表情。例如，脸部识别系统100可基于从2d输入图像检测的脸部特征点来分析用户的脸部表情，并调整3d脸部模型的眼睛、嘴唇和鼻子的形状以使调整的形状对应于分析的脸部表情。
56.脸部识别系统100可从登记的3d脸部模型产生2d投影图像，并通过将2d投影图像与2d输入图像进行比较来执行脸部识别。可使用2d图像实时执行脸部识别。2d投影图像是指通过将3d脸部模型投影到平面而获得的2d图像。例如，2d投影图像可以是通过在与2d输入图像中的视点相同或相似的视点投影与2d输入图像匹配的3d脸部模型而获得的2d图像，因此，出现在2d投影图像中的脸部姿态可与出现在2d输入图像中的用户的脸部姿态相同或相似。可通过将预存储的3d脸部模型与出现在2d输入图像中的脸部姿态进行匹配并将2d投影图像与2d输入图像进行比较，来执行脸部识别。虽然出现在2d输入图像中的用户的脸部姿态没有面向前面，但是可通过将3d脸部模型与出现在2d输入图像中的脸部姿态进行匹配并执行脸部识别，来实现响应于姿态的改变的提高识别率。
57.在下文中，将详细描述脸部识别系统100的操作。由脸部识别系统100执行的脸部识别可包括对用户的3d脸部模型进行登记的处理110和使用登记的3d脸部模型从2d输入图像识别用户的脸部的处理120。
58.参照图1，在处理110的操作130，脸部识别系统100获得用于脸部识别的用户的多个2d脸部图像。2d脸部图像可包括从各个视点捕捉的用户的脸部的图像。例如，脸部识别系统100可获得从用户的脸部的正面和侧面通过相机捕捉的2d脸部图像。2d脸部图像可指包括用户的脸部区域的图像，但是可不必包括用户的脸部的整个区域。在处理110的操作140，脸部识别系统100从2d脸部图像检测脸部特征点，例如，标志(landmark)。例如，脸部识别系
统100可从用户的2d脸部图像检测包括眉毛、眼睛、鼻子、嘴唇、下巴、头发、耳朵和/或脸部轮廓的特征点。
59.在处理110的操作150，脸部识别系统100通过将从用于脸部识别的2d脸部图像提取的特征点应用到预定和/或选择的3d标准模型，来使3d模型个性化。例如，3d标准模型可以是基于3d脸部训练数据产生的可变形3d形状模型。3d标准模型可包括3d形状和3d纹理，以及表示3d形状和3d纹理的参数。脸部识别系统100可通过将3d标准模型的特征点与从2d脸部图像提取的特征点进行匹配，来产生关于用户的脸部的3d脸部模型。产生的3d脸部模型可被登记和存储为出现在2d脸部图像中的用户的3d脸部模型。
60.可选择地，脸部识别系统100可使用用于脸部识别的2d脸部图像、2d脸部图像的运动数据和3d标准模型来产生用户的3d脸部模型。脸部识别系统100可获得2d脸部图像并可通过运动传感器获得2d脸部图像的方向数据，并且基于2d脸部图像的方向数据和匹配信息产生关于用户的脸部的3d数据。关于用户的脸部的3d数据可以是构造用户的脸部的形状的3d点的集合。脸部识别系统100可通过将关于用户的脸部的3d数据与3d标准模型进行匹配，来产生用户的3d脸部模型。产生的3d脸部模型可被存储和登记为出现在2d脸部图像中的用户的3d脸部模型。
61.在处理120，脸部识别系统100通过相机获得包括用户的脸部区域的2d输入图像。虽然脸部识别系统100可使用单个2d输入图像来执行脸部识别，但是示例实施例可不限于此。在处理120的操作160，脸部识别系统100基于出现在2d输入图像中的脸部姿态或脸部表情，来调整用户的预存储的3d脸部模型。脸部识别系统100可调整3d脸部模型的姿态以与出现在2d输入图像中的脸部姿态匹配，并调整3d脸部模型的表情以与出现在2d输入图像中的脸部表情匹配。
62.脸部识别系统100从与用于脸部识别的2d输入图像匹配的3d脸部模型产生2d投影图像。在处理120的操作170，脸部识别系统100通过将2d输入图像与2d投影图像进行比较来执行脸部识别并输出脸部识别的结果。例如，脸部识别系统100可确定2d输入图像中的脸部区域与2d投影图像中的脸部区域之间的相似程度，并且在相似程度满足预定和/或期望的条件的情况下将脸部识别的结果输出为“脸部识别成功”，而在其它情况下输出“脸部识别失败”。
63.脸部识别系统100可包括3d脸部模型产生设备(例如，图2的3d脸部模型产生设备200、图10的3d脸部模型产生设备1000)和脸部识别设备(例如，图3的脸部识别设备300)中的任何一个。对用户的3d脸部模型进行登记的处理110可由3d脸部模型产生设备200或3d脸部模型产生设备1000来执行。从2d输入图像识别用户的脸部的处理120可由脸部识别设备300来执行。
64.图2是示出根据至少一个示例实施例的3d脸部模型产生设备200的配置的示图。3d脸部模型产生设备200可从用于脸部识别的多个2d脸部图像产生用户的脸部的3d脸部模型。3d脸部模型产生设备200可产生3d形状模型和3d纹理模型作为3d脸部模型，并将产生的3d形状模型和产生的3d纹理模型登记为用户的3d脸部模型。参照图2，3d脸部模型产生设备200包括图像获取器210、特征点检测器220、3d脸部模型产生器230和3d脸部模型登记器260。可使用以下描述的硬件组件和/或运行软件组件的硬件组件来实现图像获取器210、特征点检测器220、3d脸部模型产生器230和3d脸部模型登记器260。
65.在图像获取器210、特征点检测器220、3d脸部模型产生器230和3d脸部模型登记器260中的至少一个是运行软件的硬件组件时，硬件组件被配置为用于运行存储在存储器(非暂时性计算机可读介质)270中的软件以执行图像获取器210、特征点检测器220、3d脸部模型产生器230和3d脸部模型登记器260中的至少一个的功能。
66.虽然存储器270被示出为在3d脸部模型产生设备200的外部，但是存储器270可被包括在3d脸部模型产生设备200中。
67.图像获取器210获得用于脸部识别的用户的2d脸部图像。2d脸部图像可包括包含各种脸部姿态的用户的脸部区域。例如，图像获取器210获得从多个视点通过相机捕捉的2d脸部图像，诸如正面图像或侧面图像。可从正面图像提取关于用户的脸部的总体2d形状的信息和用户的脸部的纹理信息，可从侧面图像提取关于用户的脸部的形状的详细信息。例如，可由3d脸部模型产生设备200通过将正面图像中的用户的脸部区域与侧面图像中的用户的脸部区域进行比较，来确定关于用户的脸部的3d形状的信息。根据示例实施例，图像获取器210可通过相机捕捉2d脸部图像以对3d脸部模型进行登记，图像获取器210可将通过相机捕捉的2d脸部图像存储在存储器270中。
68.特征点检测器220从2d脸部图像检测脸部区域以及检测的脸部区域中的特征点或标志。例如，特征点检测器220可从2d脸部图像检测位于眉毛、眼睛、鼻子、嘴唇和/或下巴的轮廓上的特征点。根据示例实施例，特征点检测器220可使用主动形状模型(asm)、主动外观模型(aam)或监督下降方法(sdm)从2d脸部图像检测脸部特征点。
69.3d脸部模型产生器230基于从2d脸部图像检测的特征点产生关于用户的脸部的3d脸部模型。关于用户的脸部的可变形3d形状模型和可变形3d纹理模型可被产生为3d脸部模型。3d脸部模型产生器230包括3d形状模型产生器240和3d纹理模型产生器250。
70.3d形状模型产生器240使用从不同视点捕捉的2d脸部图像产生用户的脸部的3d形状模型。3d形状模型是指具有形状而不具有纹理的3d模型。3d形状模型产生器240基于从2d脸部图像检测的脸部特征点产生3d形状模型。3d形状模型产生器240确定用于将从2d脸部图像检测的特征点映射到3d标准模型的特征点的参数，并通过将确定的参数应用到3d标准模型来产生3d形状模型。例如，3d形状模型产生器240可通过将从2d脸部图像检测的眉毛、眼睛、鼻子、嘴唇和/或下巴的特征点与3d标准模型的特征点进行匹配，来产生用户的脸部的3d形状模型。
71.使用从不同视点捕捉的2d脸部图像产生3d形状模型可使更详细的3d形状模型能够产生。在仅使用通过从正面捕捉用户的脸部获得的正面图像产生3d形状模型的情况下，可能无法容易确定3d形状模型中的3d形状，诸如鼻子的高度和颧骨的形状。然而，在使用从不同视点捕捉的多个2d脸部图像产生3d形状模型的情况下，可产生更详细的3d形状模型，这是因为可附加地考虑关于例如鼻子的高度和颧骨的形状的信息。
72.3d纹理模型产生器250基于从2d脸部图像和3d形状模型中的至少一个提取的纹理信息产生3d纹理模型。例如，3d纹理模型产生器250可通过将从正面图像提取的纹理映射到3d形状模型来产生3d纹理模型。3d纹理模型是指具有3d模型的形状和纹理两者的模型。相比于3d形状模型，3d纹理模型可具有更高级别的细节，并包括3d形状模型的顶点。3d形状模型和3d纹理模型可具有固定形状的3d模型和可变形的姿态和表情。3d形状模型和3d纹理模型可具有相同姿态和表情。3d形状模型和3d纹理模型可以以相同参数指示相同或相似的姿
态和表情。
73.3d脸部模型登记器260将3d形状模型和3d纹理模型登记和存储为用户的3d脸部模型。例如，当由图像获取器210获得的2d脸部图像的用户是“a”时，3d脸部模型登记器260可将针对a产生的3d形状模型和3d纹理模型登记为a的3d脸部模型，存储器270可存储a的3d形状模型和3d纹理模型。
74.图3是示出根据至少一个示例实施例的脸部识别设备300的配置的示图。脸部识别设备300可使用登记的3d脸部模型执行针对出现在用于脸部识别的2d输入图像中的用户的脸部识别。脸部识别设备300可通过旋转3d脸部模型使3d脸部模型具有与出现在2d输入图像中的用户的脸部姿态相同或相似的脸部姿态，来产生2d投影图像。脸部识别设备300可通过将2d投影图像与2d输入图像进行比较来执行脸部识别。脸部识别设备300可通过将登记的3d脸部模型与出现在2d输入图像中的脸部姿态进行匹配并执行脸部识别，来提供对用户的姿态的改变具有鲁棒性的脸部识别方法。参照图3，脸部识别设备300包括图像获取器310、3d脸部模型处理器320和脸部识别器350。3d脸部模型处理器320包括脸部识别检测器330和特征点检测器340。
75.可使用以下描述的硬件组件和/或运行软件组件的硬件组件来实现图像获取器310、3d脸部模型处理器320(包括脸部区域检测器330和特定点检测器340)和脸部识别器350。
76.在图像获取器310、3d脸部模型处理器320(包括脸部区域检测器330和特定点检测器340)和脸部识别器350中的至少一个是运行软件的硬件组件的情况下，硬件组件被配置为用于运行存储在存储器(非暂时性计算机可读介质)370中软件以执行图像获取器310、3d脸部模型处理器320(包括脸部区域检测器330和特定点检测器340)和脸部识别器350中的至少一个的功能。
77.虽然存储器370被示出为脸部识别设备300的一部分，但是存储器370可与脸部识别设备300分开。
78.图像获取器310获得用于识别包括用户的脸部区域的脸部的2d输入图像。图像获取器310通过相机等获得用于识别用户或对用户进行认证的2d输入图像。虽然脸部识别设备300可使用单个2d输入图像对用户执行脸部识别，但是示例实施例不限于此。
79.脸部区域检测器330从2d输入图像检测用户的脸部区域。脸部区域检测器330使用关于2d输入图像的亮度分布、对象的运动、颜色分布、眼睛位置等的信息从2d输入图像识别脸部区域，并提取脸部区域的位置信息。例如，脸部区域检测器330使用在现有技术领域中通常使用的基于haar的adaboost级联分类器从2d输入图像检测脸部区域。
80.特征点检测器340从2d脸部图像的脸部区域检测脸部特征点。例如，特征点检测器340从脸部区域检测包括眉毛、眼睛、鼻子、嘴唇、下巴、头发、耳朵和/或脸部轮廓的特征点。根据示例实施例，特征点检测器340使用asm、aam或sdm从2d输入图像检测脸部特征点。
81.3d脸部模型处理器320基于检测的特征点调整预存储的3d脸部模型。3d脸部模型处理器320基于检测的特征点将3d脸部模型与2d输入图像进行匹配。基于匹配的结果，3d脸部模型可被变形为与出现在2d输入图像中的脸部姿态和表情匹配。3d脸部模型处理器320通过将从2d输入图像检测的特征点映射到3d脸部模型，来调整3d脸部模型的姿态和表情。3d脸部模型可包括3d形状模型和3d纹理模型。3d形状模型可用于与2d输入图像中出现的脸
部姿态进行快速匹配，3d纹理模型可用于产生高分辨率2d投影图像。
82.3d脸部模型处理器320基于出现在2d输入图像中的姿态调整3d形状模型的姿态。3d脸部模型处理器320通过将从2d输入图像检测的特征点与3d形状模型的特征点进行匹配，来将3d形状模型的姿态与出现在2d输入图像中的姿态进行匹配。3d脸部模型处理器320基于从2d输入图像检测的特征点调整3d形状模型的姿态参数和表情参数。
83.此外，3d脸部模型处理器320基于3d形状模型的参数信息调整3d纹理模型。3d脸部模型处理器320将3d形状模型和2d输入图像的匹配而确定的姿态参数和表情参数应用到3d纹理模型。基于应用的结果，3d纹理模型可被调整为具有与3d形状模型的姿态和表情相同或相似的姿态和表情。在调整3d纹理模型之后，3d脸部模型处理器320可通过将调整的3d纹理模型投影到平面来产生2d投影图像。
84.脸部识别器350通过将2d投影图像与2d输入图像进行比较来执行脸部识别。脸部识别器350基于出现在2d输入图像中的脸部区域与出现在2d投影图像中的脸部区域之间的相似程度来执行脸部识别。脸部识别器350确定2d输入图像与2d投影图像之间的相似程度，并基于确定的相似程度是否满足预定和/或期望的条件来输出脸部识别的结果。
85.脸部识别器350可使用在脸部识别技术领域中通常使用的特征值确定方法来确定2d输入图像与2d投影图像之间的相似程度。例如，脸部识别器350可使用特征提取滤波器(诸如加博(gabor)滤波器、局部二值模式(lbp)、方向梯度直方图(hog)、主成分分析(pca)和线性判别分析(lda))，来确定2d输入图像与2d投影图像之间的相似程度。加博滤波器是指用于使用具有各种大小和角度的多滤波器从图像提取特征的滤波器。lbp是指用于从图像提取当前像素与相邻像素之间的差作为特征的滤波器。根据示例实施例，脸部识别器350可将出现在2d输入图像和2d投影图像中的脸部区域划分为预定和/或选择的大小的单元并针对每个单元计算与lbp相关联的直方图，例如，关于包括在单元中的lbp索引值的直方图。脸部识别器350将通过将线性连接计算的直方图获得的向量确定为最终特征值，并将2d输入图像的最终特征值与2d投影图像的最终特征值进行比较以确定2d输入图像与2d投影图像之间的相似程度。
86.根据示例实施例，脸部识别设备300还包括显示器360。显示器360显示2d输入图像、2d投影图像和/或脸部识别的结果。在用户基于显示的2d输入图像确定没有适当地捕捉用户的脸部，或显示器360将脸部识别的最终结果显示为失败的情况下，用户可重新捕捉脸部并且脸部识别设备300可对通过重新捕捉产生的2d输入图像重新执行脸部识别。
87.图4示出根据至少一个示例实施例的从2d脸部图像检测特征点的处理。参照图4，图像420是由3d脸部模型产生设备通过从这正面捕捉用户的脸部而获得的2d脸部图像，图像410和图像430是由3d脸部模型产生设备(例如，200和1000)通过从侧面捕捉用户的脸部而获得的2d脸部图像。可由3d脸部模型产生设备(例如，200和1000)从图像420提取关于用户的脸部的整体2d形状的信息和用户的脸部的纹理信息。可从图像410和图像430提取关于脸部的形状的更详细的信息。例如，可基于从图像420提取的用户的脸部的形状来设置关于用户的脸部的基本模型，可基于从图像410和图像430提取的用户的脸部的形状由3d脸部模型产生设备(例如，200和1000)来确定基本模型的3d形状。
88.图2的3d脸部模型产生设备200的特征点检测器220可从自多个视点捕捉的2d脸部图像(诸如，图像410、图像420和图像430)检测脸部特征点。脸部特征点是指位于眉毛、眼
睛、鼻子、嘴唇、下巴等的轮廓区域中的特征点。特征点检测器220可使用在现有技术领域中通常使用的asm、aam或sdm从图像410、图像420和图像430检测脸部特征点。可基于脸部检测的结果执行asm、aam或sdm的姿态、比例或位置的初始化。
89.图像440是在图像410的脸部区域442内检测出特征点444的结果图像。图像450是在图像420的脸部区域452内检测出特征点454的结果图像。相似地，图像460是在图像430的脸部区域462内检测出特征点464的结果图像。
90.图5示出根据至少一个示例实施例的使用3d标准模型产生3d脸部模型的处理。参照图5，模型510表示3d标准模型。作为基于3d脸部训练数据产生的可变形3d形状模型的3d标准模型可以是通过平均形状和参数表示用户的脸部的特性的参数模型。
91.如等式1所示，3d标准模型可包括平均形状和形状的改变量。形状的改变量指示形状参数和形状向量的加权和。
92.[等式1]
[0093][0094]
在等式1中，表示配置3d标准模型的3d形状的元素，表示与3d标准模型的平均形状相关联的元素，表示与索引因子“i”对应的形状元素，表示应用到与索引因子i对应的形状元素的形状参数。
[0095]
如等式2所示，s可包括3d点的坐标
[0096][0097]
在等式2中，表示指示3d点的索引(例如，和)的变量，且“t”表示“转置”。
[0098]
图2的3d脸部模型产生设备200的3d形状模型产生器240可基于从多个视点捕捉的2d脸部图像使3d标准模型个性化以对用户的脸部进行登记。3d形状模型产生器240可确定用于将包括在3d标准模型中的特征点与从2d脸部图像检测的脸部特征点进行匹配的参数，并通过将确定的参数应用到3d标准模型来产生关于用户的脸部的3d形状模型。
[0099]
参照图5，模型520和模型530是从作为3d标准模型的模型510产生的关于用户的脸部的3d形状模型。模型520表示从正面观看的3d形状模型，模型530表示从侧面观看的3d形状模型。3d形状模型可具有形状信息而不具有纹理信息，并可在用户认证的处理中用于以高速与2d输入图像进行匹配。
[0100]
图2的3d纹理模型产生器250可通过将从至少一个2d脸部图像提取的纹理映射到3d形状模型的表面，来产生3d纹理模型。例如，将纹理映射到3d形状模型的表面可表示将从3d形状模型获得的深度信息添加到从自正面捕捉的2d脸部图像提取的纹理信息。
[0101]
模型540和模型550是基于3d形状模型产生的3d纹理模型。模型540表示从正面观看的3d纹理模型，模型550表示从对角线方向观看的3d纹理模型。3d纹理模型可以是包括形
状信息和纹理信息两者的模型，并在用户认证的处理中用于产生2d投影图像。
[0102]
3d形状模型和3d纹理模型是指示用户的独特特征的脸部形状是固定的而姿态或表情是可变形的3d模型。相比于3d形状模型，3d纹理模型可具有更高级别的细节，并包括更多数量的顶点。包括在3d形状模型中的顶点可以是包括在3d纹理模式中的顶点的子集。3d形状模型和3d纹理模型可以以相同参数指示相同或相似的姿态和表情。
[0103]
图6示出根据至少一个示例实施例的基于从2d输入图像检测的特征点调整3d脸部模型的处理。参照图6，图像610是输入到脸部识别设备以进行脸部识别或用户认证的2d输入图像，并表示通过相机捕捉的脸部姿态图像。
[0104]
图3的脸部识别设备300的脸部区域检测器330可从2d输入图像检测脸部区域，图3的特征点检测器340可在检测的脸部区域中检测位于眼睛、眉毛、鼻子、嘴唇或下巴的轮廓上的特征点。例如，特征点检测器340可使用asm、aam或sdm从2d输入图像检测脸部特征点。
[0105]
图像620是通过由脸部区域检测器330从图像610检测脸部区域630并由特征点检测器340在脸部区域630内检测特征点640获得的结果图像。
[0106]
3d脸部模型处理器320可将预登记和存储的3d形状模型与2d输入图像进行匹配。3d脸部模型处理器320可基于从2d输入图像检测的脸部特征点调整3d形状模型的参数以调整姿态和表情。模型650是预登记和存储的用户的脸部的3d形状模型，模型660是姿态和表情基于从图像610检测的特征点660被调整的3d形状模型。3d脸部模型处理器320可将预存储的3d形状模型的姿态调整为与出现在2d输入图像中的脸部姿态相同或相似。在作为2d输入图像的图像610中，用户的脸部呈现转向侧面的姿态，姿态被3d脸部模型处理器320调整的3d形状模型呈现与图像610中的用户的姿态相同或相似的转向侧面的姿态。
[0107]
图7示出根据至少一个示例实施例的通过将2d输入图像与2d投影图像进行比较来执行脸部识别的处理。图3的脸部识别设备300的3d脸部模型处理器320可基于从用于脸部识别的2d输入图像检测的脸部特征点来调整3d形状模型的姿态参数和表情参数。3d脸部模型处理器320可将3d形状模型的调整的姿态参数和调整的表情参数应用于3d纹理模型以将3d纹理模型的姿态和表情调整为与3d形状模型的姿态和表情相同或相似。随后，3d脸部模型处理器320可通过将3d纹理模型投影到图像平面来产生2d投影图像。脸部识别器350可基于2d输入图像与2d投影图像之间的相似程度来执行脸部识别，并输出脸部识别的结果。
[0108]
参照图7，图像710是用于脸部识别的2d输入图像。图像720是与作为2d输入图像的图像710进行比较从而使脸部识别器350执行脸部识别的参考图像以。包括在图像720中的区域730表示反映从3d纹理模型产生的2d投影图像的区域。例如，图像730是通过将纹理被映射到图6的3d形状模型660的纹理模型投影到图像平面而获得的脸部区域。脸部识别器350可通过将出现在2d输入图像中的用户的脸部区域与出现在2d投影图像中的脸部区域进行比较来执行脸部识别。可选择地，脸部识别器350可通过将作为2d输入图像的图像710与作为通过将2d投影图像反映在2d输入图像中而获得的结果图像的图像720的整个区域进行比较来执行脸部识别。
[0109]
图8是示出根据至少一个示例实施例的3d脸部模型产生方法的流程图。
[0110]
参照图8，在操作810，3d脸部模型产生设备获得从不同视点通过相机捕捉的用户的2d脸部图像。2d脸部图像可用于对用户的脸部进行登记。例如，2d脸部图像可包括包含各种脸部姿态的图像，诸如正面图像和侧面图像。
[0111]
在操作820，3d脸部模型产生设备从2d脸部图像检测脸部特征点。例如，3d脸部模型产生设备可使用在现有技术领域众所周知的asm、aam或sdm从2d输入图像检测位于眉毛、眼睛、鼻子、嘴唇、下巴等的轮廓上的脸部特征点。
[0112]
在操作830，3d脸部模型产生设备基于检测的特征点产生3d形状模型。3d脸部模型产生设备可通过将从2d脸部图像检测的眉毛、眼睛、鼻子、嘴唇、下巴等的特征点与3d标准模型的特征点进行匹配来产生3d形状模型。3d脸部模型产生设备确定用于将从2d脸部图像检测的特征点映射到3d标准模型的特征点的参数，并通过将确定的参数应用到3d标准模型来产生3d形状模型。
[0113]
在操作840，3d脸部模型产生设备基于3d形状模型和从2d脸部图像提取的纹理信息来产生3d纹理模型。3d脸部模型产生设备可通过将从至少一个2d脸部图像提取的纹理映射到3d形状模型来产生关于用户的脸部的3d纹理模型。应用了3d形状模型的参数的3d纹理模型可具有与3d形状模型相同或相似的姿态和表情。
[0114]
在操作850，3d脸部模型产生设备将3d形状模型和3d纹理模型登记和存储为用户的3d脸部模型。存储的3d形状模型和3d纹理模型可在用户认证的处理中用于对出现在2d输入图像中的用户进行认证。
[0115]
图9是示出根据至少一个示例实施例的脸部识别方法的流程图。
[0116]
参照图9，在操作910，脸部识别设备从用于脸部识别的2d输入图像检测脸部特征点。脸部识别设备从2d输入图像检测脸部区域，并检测在检测的脸部区域中的位于眼睛、眉毛、鼻子、下巴、嘴唇等的轮廓上的脸部特征点。例如，脸部识别设备可使用基于haar的adaboost级联分类器从2d输入图像检测脸部区域，并使用asm、aam或sdm检测脸部区域内的脸部特征点。
[0117]
在操作920，脸部识别设备基于从2d输入图像检测的特征点调整用户的预登记的3d脸部模型。脸部识别设备可基于从2d输入图像检测的特征点将预登记的3d脸部模型与2d输入图像进行匹配。脸部识别设备可使3d脸部模型变形以使3d脸部模型的脸部姿态和表情与出现在2d输入图像中的脸部姿态和表情匹配。
[0118]
3d脸部模型可包括3d形状模型和3d纹理模型。脸部识别设备可基于从2d输入图像检测的特征点来调整3d形状模型的姿态，并基于姿态被调整的3d形状模型的参数信息调整3d纹理模型。脸部识别设备可基于从2d输入图像检测的特征点调整3d形状模型的姿态参数和表情参数，并可将3d形状模型的调整的参数应用到3d纹理模型。基于参数的应用的结果，3d纹理模型可被调整为具有与3d形状模型的姿态和表情相同或相似的姿态和表情。
[0119]
在操作930，脸部识别设备从3d纹理模型产生2d投影图像。脸部识别设备通过将在操作920基于3d形状模型调整的3d纹理模型投影到平面，来产生2d投影图像。出现在2d投影图像中的脸部姿态可与出现在2d输入图像中的脸部姿态相同或相似。例如，当出现在2d输入图像中的用户的脸部姿态是面向侧面的姿态时，通过操作910至操作930产生的2d投影图像可具有与2d输入图像相同或相似的面向侧面的3d纹理模型的脸部姿态。
[0120]
在操作940，脸部识别设备通过将2d输入图像与2d投影图像进行比较，来执行脸部识别。脸部识别设备基于出现在2d输入图像中的脸部区域与出现在2d投影图像中的脸部区域之间的相似程度，来执行脸部识别。脸部识别设备确定2d输入图像与2d投影图像之间的相似程度，并基于确定的相似程度是否满足预定和/或期望的条件来输出脸部识别的结果。
例如，在2d输入图像与2d投影图像之间的相似程度满足预定和/或期望的条件的情况下，脸部识别设备可输出“脸部识别成功”的结果，而在其它情况下输出“脸部识别失败”的结果。
[0121]
图10是示出根据至少一个示例实施例的3d脸部模型产生设备1000的配置的另一示例的示图。3d脸部模型产生设备1000可从用于脸部登记的多个2d脸部图像产生用户的脸部的3d脸部模型。3d脸部模型产生设备1000可使用从不同方向捕捉的2d脸部图像、关于2d脸部图像的运动数据和3d标准模型来产生用户的3d脸部模型。参照图10，3d脸部模型产生设备1000包括图像获取器1010、运动感测单元1020、3d脸部模型产生器1030和3d脸部模型登记器1040。
[0122]
可使用以下描述的硬件组件和/或运行软件组件的硬件组件来实现获取器1010、运动感测单元1020、3d脸部模型产生器1030和3d脸部模型登记器1040。
[0123]
在图像获取器1010、运动感测单元1020、3d脸部模型产生器1030和3d脸部模型登记器1040中的至少一个是运行软件的硬件组件时，硬件组件被配置为用于运行存储在存储器(非暂时性计算机可读介质)1070中的软件以执行图像获取器1010、运动感测单元1020、3d脸部模型产生器1030和3d脸部模型登记器1040中的至少一个的功能。
[0124]
虽然存储器1070被示出为在3d脸部模型产生设备1000的外部，但是存储器1070可被包括在3d脸部模型产生设备1000中。
[0125]
图像获取器1010获得用于脸部登记的从不同视点捕捉的2d脸部图像。图像获取器1010获得从不同方向通过相机捕捉用户的脸部的2d脸部图像。例如，图像获取器1010可获得从不同视点捕捉的2d脸部图像，例如，正面图像或侧面图像。
[0126]
运动感测单元1020获得2d脸部图像的方向数据。运动感测单元1020使用通过各种传感器感测的运动数据确定2d脸部图像的方向数据。2d脸部图像的方向数据可包括关于每个2d脸部图像被捕捉的方向的信息。例如，运动感测单元1020可使用惯性测量单元(imu)(诸如加速度计、陀螺仪和/或磁力计)确定每个2d脸部图像的方向数据。
[0127]
例如，用户可通过沿不同方向旋转相机来捕捉用户的脸部，并获得从各个视点捕捉的2d脸部图像作为捕捉的结果。在捕捉2d脸部图像期间，运动感测单元1020可基于从imu输出的感测信号来计算包括例如捕捉2d脸部图像的相机的速度改变、方向改变、翻滚改变、俯仰改变和偏航改变的运动数据，并确定关于捕捉2d脸部图像的方向的方向数据。
[0128]
3d脸部模型产生器1030产生出现在2d脸部图像中的用户的3d脸部模型。3d脸部模型产生器1030从2d脸部图像检测脸部特征点或标志。例如，3d脸部模型产生器1030可从2d脸部图像检测位于眉毛、眼睛、鼻子、嘴唇、下巴等的轮廓上的特征点。3d脸部模型产生器1030基于从2d脸部图像检测的脸部特征点确定关于2d脸部图像之间的匹配点的信息。
[0129]
3d脸部模型产生器1030基于关于从2d脸部图像检测的脸部特征点的信息、关于匹配点的信息和2d脸部图像的方向数据产生用户的脸部的3d数据。例如，3d脸部模型产生器1030可使用现有立体匹配方法产生用户的脸部的3d数据。用户的脸部的3d数据可以是配置用户的脸部的形状或表面的点的集合。
[0130]
3d脸部模型产生器1030使用关于用户的脸部的3d数据将可变形的3d标准模型转换为用户的3d脸部模型。3d脸部模型产生器1030通过将3d标准模型与关于用户的脸部的3d数据进行匹配，将3d标准模型转换为用户的3d脸部模型。3d脸部模型产生器1030通过将3d数据的特征点与3d标准模型的特征点进行匹配，将3d标准模型转换为用户的3d脸部模型。
用户的3d脸部模型可包括与用户的脸部的形状相关联的3d形状模型和/或包括纹理信息的3d纹理模型。
[0131]
3d脸部模型登记器1040登记并存储由3d脸部模型产生器1030产生的用户的3d脸部模型。存储的用户的3d脸部模型可用于识别用户的脸部，并且3d脸部模型的形状可在脸部识别的处理中被转换。
[0132]
图11是示出根据至少一个示例实施例的另一3d脸部模型产生方法的流程图。
[0133]
参照图11，在操作1110，3d脸部模型产生设备获得用于脸部登记的多个2d脸部图像和2d脸部图像的方向数据。3d脸部模型产生设备获得从不同视点通过相机捕捉的用户的2d脸部图像。3d脸部模型产生设备获得从不同方向捕捉用户的脸部的2d脸部图像，例如，正面图像和侧面图像。
[0134]
3d脸部模型产生设备使用由运动传感器感测的运动数据，来获得2d脸部图像的方向数据。例如，3d脸部模型产生设备可使用由包括加速度计、陀螺仪和/或磁力计的imu感测的运动数据获得每个2d脸部图像的方向数据。2d脸部图像的方向数据可包括关于每个2d脸部图像被捕捉的方向的信息。
[0135]
在操作1120，3d脸部模型产生设备确定关于2d脸部图像之间的匹配点的信息。3d脸部模型产生设备从2d脸部图像检测脸部特征点，并基于检测的特征点检测匹配点。
[0136]
在操作1130，3d脸部模型产生设备产生关于用户的脸部的3d数据。例如，用户的脸部的3d数据可以是配置用户的脸部的形状或表面的3d点的集合，并包括多个顶点。3d脸部模型产生设备基于从2d脸部图像检测的脸部特征点的信息、关于匹配点的信息和2d脸部图像的方向数据，来产生用户的脸部的3d数据。3d脸部模型产生设备可使用现有立体匹配方法，来产生用户的脸部的3d数据。
[0137]
在操作1140，3d脸部模型产生设备使用在操作1130产生的3d数据将3d标准模型转换为用户的3d脸部模型。3d脸部模型产生设备通过将3d标准模型与关于用户的脸部的3d数据进行匹配将3d标准模型转换为用户的3d脸部模型。3d脸部模型产生设备通过将3d标准模型的特征点与3d数据的特征点进行匹配来产生用户的3d脸部模型。3d脸部模型产生设备产生3d形状模型和/或3d纹理模型作为用户的3d脸部模型。产生的用户的3d脸部模型可被存储和登记，并被用于识别用户的脸部。
[0138]
可以使用硬件组件和/或运行软件组件的硬件组件来实施在这里所描述的单元和/或模块。例如，硬件组件可包括麦克风、放大器、带通滤波器、音频数字转换器和处理装置。处理装置可通过使用被配置为通过执行算术、逻辑和输入/输出操作实施和/或运行程序代码的一个或者更多个硬件装置来实施。处理装置可包括处理器、控制器和算术逻辑单元、数字信号处理器、微型计算机、现场可编程阵列、可编程逻辑单元、微处理器或者能够以定义的方式响应和执行指令的其它任意装置。处理装置可以运行操作系统(os)和在os上运行的一个或更多个软件应用。处理装置还可以响应于软件的运行来访问、存储、操作、处理和创建数据。为了简化的目的，以单数来描述了处理装置；然而，本领域技术人员将会领会，处理装置可包括多个处理元件和多种类型的处理元件。例如，处理装置可包括多个处理器或者一个处理器和一个控制器。此外，不同的处理配置是可行的，诸如并行处理器。
[0139]
软件可包括计算机程序、一段代码、指令或者它们的一些组合，以独立地或者共同地指示和/或配置处理装置按照需要的那样运行，从而将处理装置转换为专用处理器。可以
在任何类型的机器、组件、物理或者虚拟装备、计算机存储介质或者装置中永久地或者暂时地实施软件和数据，或以能够将指令或者数据提供给处理装置或者能够被处理装置解释的传输信号波永久地或者暂时地实施软件和数据。软件还可以分布在联网的计算机系统上，从而以分布式的方式存储和执行软件。可以通过一个或者更多个非暂时性计算机可读记录介质来存储软件和数据。
[0140]
根据上述的示例实施例的方法可被记录在包括用于实施上述的示例实施例的各种操作的程序指令的非暂时性计算机可读介质中。介质还可包括单独的程序指令、数据文件、数据结构等或者它们的组合。记录在介质上的程序指令可以是为了示例实施例而专门设计和构造的，或者可以是对计算机软件领域的技术人员而言公知和可利用的。非暂时性计算机可读介质的示例包括：诸如硬盘、软盘、磁带的磁性介质；诸如cd-rom盘、dvd和/或蓝光光盘的光学介质；诸如光盘的磁光介质；以及专门被配置为存储和执行程序指令的硬件装置，诸如只读存储器(rom)、随机存取存储器(ram)、闪存(例如，usb闪存驱动器、记忆卡、记忆棒等)等。程序指令的示例包括诸如由编译器生成的机器代码和包含可由计算机使用编译器执行的更高级别的代码的文件两者。上述的装置可被配置为用作一个或更多个软件模块，以执行上述的示例实施例的操作，或者反之亦然。
[0141]
以上已经描述了多个示例实施例。然而，应该理解，可以对这些示例实施例进行各种修改。例如，如果以不同的顺序执行所描述的技术和/或如果所描述的系统、架构、装置或电路中的组件以不同的方式组合和/或由其他组件或其等同物替换或补充，则可以实现合适的结果。因此，其他实施方式落入权利要求的范围内。