置的框图；
[0029]图2是示出根据本发明的示例性实施例的人脸图像处理模块的配置框图；
[0030]图3示出人脸上的关键特征点的示例；
[0031]图4示出姿态估计模块的输出示意图；
[0032]图5是示出根据本发明的示例性实施例的人脸认证方法的流程图；
[0033]图6是示出根据本发明的示例性实施例的人脸认证方法的详细流程图；
[0034]图7示出使用根据本发明的人脸认证方法的认证结果与现有方法的认证结果的对比。
【具体实施方式】
[0035]提供以下参照附图进行的描述以帮助全面理解由权利要求及其等同物限定的本发明的示例性实施例。所述描述包括各种特定细节以帮助理解，但这些细节被认为仅是示例性的。因此，本领域的普通技术人员将认识到:在不脱离本发明的范围和精神的情况下，可对这里描述的实施例进行各种改变和修改。此外，为了清楚和简明，可省略已知功能和构造的描述。
[0036]在下文中，将以使用根据本发明的示例性实施例的人脸认证装置100认证输入图像对中所包括的第一图像(例如，待认证的图像)和第二图像(例如，用于与待认证的图像进行对比的图像)是否属于同一对象为例进行说明。
[0037]图1是示出根据本发明的示例性实施例的人脸认证装置100的框图。
[0038]参照图1，根据本发明的示例性实施例的人脸认证装置100可包括人脸检测模块110、人脸图像处理模块120和人脸认证模块130。
[0039]在本发明中，所述人脸检测模块110可从图像中检测并定位人脸图像所在的区域。具体地讲，在本发明的实施例中，人脸检测模块110可从输入图像对中所包括的第一图像中检测第一人脸图像并从第二图像中检测第二人脸图像，以便使用检测出的人脸图像进行对比认证。本领域技术人员可使用可从图像中检测并定位人脸图像区域的各种方法来从图像中检测人脸图像，例如，V1la-Jones方法、LBP方法等，这对于本领域人员而言是容易获知的，因此为了简明，在此将不再进行更加详细的描述。
[0040]人脸图像处理模块120可对检测出的人脸图像进行各种图像处理。具体地讲，在本发明的实施例中，人脸图像处理模块120可对检测出的第一人脸图像和第二人脸图像进行处理，以分别估计检测出的第一人脸图像和第二人脸图像的姿态信息，并且还可计算第一人脸图像与第二人脸图像之间的相似度。稍后将结合图2至图4详细描述人脸图像处理模块120的具体操作。
[0041]人脸认证模块130可基于人脸图像处理模块120计算出的第一人脸图像与第二人脸图像之间的相似度、第一人脸图像的姿态信息和第二人脸图像的姿态信息来确定第一人脸图像和第二人脸图像是否属于同一对象。
[0042]图2是示出根据本发明的示例性实施例的人脸图像处理模块120的详细配置框图。
[0043]如图2中所示，根据本发明的实施例的示例性实施例的人脸图像处理模块120可包括:特征点定位模块210、姿态估计模块220和相似度计算模块230。
[0044]特征点定位模块210可从人脸图像定位关键特征点。所述关键特征点可以是如图3中所示的人脸上的关键部位的特征点(例如，眼部特征点，眉毛特征点、嘴部特征点等)。可使用各种算法(例如，主动形状模型(ASM)方法、主动表观模型(AAM)方法和监督下降法(SDM)方法)从人脸图像中检测并定位多个关键特征点，为了简明，在此将不进行详细描述。
[0045]姿态估计模块220可基于由特征点定位模块210定位的关键特征点估计人脸图像的姿态信息。具体地讲，姿态估计模块220可基于特征点定位模块210定位的多个关键特征点，通过调整人脸的三维标注模型(AFM)的姿态参数进行最小均方误差匹配来确定人脸图像中的人脸的三个方向的旋转角(即，俯仰角(pitch)、偏航角(yaw)和翻滚角(roll))，以表征人脸的姿态信息(如图4中所示)。在本发明的实施例中，可使用现有文1? M.Kostinger, P.ffohlhart, P.M.Roth, H.Bischof, Annotated facial landmarks in thewild:a large-scale, real-world database for facial landmark localizat1n, in ICCVworkshop, 2011中的方法来估计人脸的姿态信息，然而，本发明不限于此，还可使用其他各种算法来实现上述人脸姿态估计过程。
[0046]具体在当前实施例中，当使用人脸认证装置100对输入的图像对(包括第一图像和第二图像)进行认证时，可由特征点定位模块220分别从人脸检测模块110检测出的第一人脸图像和第二人脸图像定位关键特征点。然后，姿态估计模块120可基于由特征点定位模块110定位的第一人脸图像的关键特征点和第二人脸图像的关键特征点分别估计第一人脸图像和第二人脸图像的姿态信息。
[0047]此外，相似度计算模块230可基于第一人脸图像和第二人脸图像的关键特征点对第一人脸图像和第二人脸图像进行人脸对齐，然后分别从对齐的第一人脸图像和第二人脸图像中提取并选择第一人脸图像的面部特征和第二人脸图像的面部特征，并使用所选择的第一人脸图像的面部特征和第二人脸图像的面部特征来计算第一人脸图像和第二人脸图像之间的相似度。
[0048]具体地讲，在本发明的当前实施例中，相似度计算模块230可基于特征点定位模块210定位的第一人脸图像的关键特征点和第二人脸图像的关键特征点，通过平移、旋转以及缩放操作中的至少一个操作来对第一人脸图像和第二人脸图像进行人脸对齐(即，使第一人脸图像和第二人脸图像中的人的人脸大小、人脸朝向及其所属人脸图像中的坐标基本相同)。仅作为示例，所述用于进行对齐的关键特征点可以是眼部特征点，所相似度计算模块230可使用第一人脸图像的眼部特征点估计第一人脸图像的眼睛坐标、使用第二人脸图像的眼部特征点估计第二人脸图像的眼睛坐标，通过仿射变换将第一人脸图像和第二人脸图像的眼睛坐标变换至预定坐标位置，并将经过仿射变换的第一人脸图像和第二人脸图像修剪为预定尺寸，从而实现人脸对齐。
[0049]应该理解，尽管在以上描述中以眼部特征点为例说明了人脸对齐处理，但本发明不限于此，还可根据具体需求而使用人脸上的其他部位的特征点或者是使用人脸上的多个部位的特征点的组合来实现人脸对齐处理以及姿态估计处理。
[0050]完成人脸对齐之后，相似度计算模块230可分别从对齐的第一人脸图像和第二人脸图像中提取并选择第一人脸图像的面部特征和第二人脸图像的面部特征，并可使用所选择的第一人脸图像的面部特征和第二人脸图像的面部特征来计算第一人脸图像和第二人脸图像之间的相似度。所述面部特征可以是人脸图像的物理特征、结构特征和数学特征中的至少一种。在本发明的实施例中，所述相似度计算模块230可使用FisherFace算法来进行面部特征的提取和选择。
[0051]应该理解，使用面部特征计算人脸相似度的方法对于本领域技术人员而言是已知的，因此在此将省略其详细描述。此外，除了 FisherFace算法以外，本领域技术人员还可使用其他已知算法来进行面部特征的提取和选择。
[0052]在下文中，将详细描述人脸认证模块120认证第一人脸图像和第二人脸图像是否属于同一对象的处理。
[0053]在本发明的示例性实施例中，所述人脸认证模块130可基于第一人脸图像和第二人脸图像之间的相似度、第一人脸图像的姿态信息和第二人脸图像的姿态信息，使用分类器来确定第一人脸图像和第二人脸图像是否属于同一对象。所述分类器可以是非线性分类器，例如，SVM分类器。
[0054]以下将以使用SVM分类器实现人脸认证模块130为例进说明。
[0055]所述分类器可以以等式(1)来表示:
[0056]label (Ρ