用于定位面部图像的面部关键特征的设备和方法与流程

本公开涉及面部对齐，特定地涉及用于定位面部(face)图像的面部关键特征(faciallandmark)的方法、设备和系统。

背景技术：

面部对齐的目的在于自动定位面部关键点(keypoint)。在用于面部对齐的许多种方法当中，级联回归(cascadedregression)方法迅速成为最风行的方法之一。算法通常从初始形状(例如，训练样本的平均形状)开始，并通过依次训练过的回归器来改善形状。

然而，级联回归方法具有其依赖于初始化处理的、这一已得到广泛认同的缺点。特别地，如果初始化的形状远非目标形状，则这种偏差将不可能通过在级联中的后续迭代得到完全纠正。因此，最终的解可能是局部最优解。现有的方法常常通过采用一些启发式假设或策略来规避这个问题，这些启发式假设或策略在某种程度上缓解了这个问题但并非完全解决了该问题。

所有上述方法假设以某种形式(通常为平均形状)提供初始形状。在假设测试样本分布在训练样本的平均姿态附近的情况下使用平均形状。这种假设并不总是成立，尤其是针对具有较大姿态变化的面部。cao等人提议使用不同的初始化来运行算法若干次并将所有预测的中值当作最终输出。burgos-artizzu等人通过智能重启方法来改进策略，但其需要交叉验证以确定阈值和运行次数。一般地，这些策略在一定程度上缓解了这个问题，但仍未完全消除对形状初始化的依赖性。zhang等人提议通过从全局图像分块预测粗略估计值(后面仍然是依次训练过的自动编码器回归网络)来获得初始化。

技术实现要素：

本申请的目的在于解决面部对齐中的、上述至少一个或多个问题。根据本申请的方法以在包含多样形状的形状空间内进行的粗搜索开始，并采用粗解来对随后更细的形状搜索进行约束(即，“由粗到细”方法)。独特的分阶段渐进式和自适应搜索可以i)防止最终的解由于拙劣的初始化(这是级联回归方法遇到的常见问题)而导致局部最优解；以及ii)改进在应对较大姿态变化方面的稳健性。

另外，根据本申请的设备提议了混合特征设定(hybridfeaturessetting)来实现了实际的速度。由于由粗到细搜索机制中的独特容错度，设备能够在不同的优化阶段中切换不同类型的回归特征，而不使准确性牺牲得太多。

在一个方面中，公开了一种用于定位面部图像的面部关键特征的方法。所述方法可包括：从预定的形状区域中分别获取一组候选形状，每个候选形状标定有面部关键特征；使所获取到的每个候选形状均与面部图像对齐以获得对应的对齐形状；根据在两个或两个以上阶段中的当前阶段中所获得的对齐形状来确定形状区域的子区域以从中选择待在当前阶段后面的下一个阶段要获取的一组候选形状；以及在这些阶段重复获取、对齐和确定的处理以定位面部图像中的面部关键特征。

在另一个方面中，公开了一种用于定位面部图像的面部关键特征的设备。所述设备可包括：获取单元，其用于在一个或多个连续阶段中从预定的形状区域中获取一组候选形状，每个所述候选形状预先标定有面部关键特征；对齐单元，其与获取单元电通信，并且使所获取到的每个候选形状与面部图像对齐以获得对应的对齐形状；以及确定单元，其与对齐单元电通信，并且根据在一个或多个连续阶段中的当前阶段中所获得的对齐形状来确定形状区域的子区域，以从中选择待在当前阶段后面的下一个阶段要获取的一组候选形状。

在另一个方面中，公开了一种用于定位面部图像的面部关键特征的系统。所述系统可包括：存储器，其用于存储可执行部件；以及处理器，其电联接到存储器来执行可执行部件以执行系统的操作，其中这些可执行部件包括：获取部件，其用于在一个或多个连续阶段中从预定的形状区域中获取一组候选形状，每个候选形状预先标定有面部关键特征；对齐部件，其用于使所获取到的每个候选形状与面部图像对齐以获得对应的对齐形状；以及确定部件，其用于根据在这些阶段中的当前阶段中所获得的对齐形状来确定形状区域的子区域以从中选择待在当前阶段后面的下一个阶段被获取的一组候选形状。

附图说明

下文参考附图来描述本发明的例示性非限制性实施方案。附图是说明性的，并且一般不按确切的比例绘制。用相同的附图标号来引用不同图上的相同或类似元件。

图1说明了根据本申请的一个实施方案的用于定位面部图像的面部关键特征的设备。

图2说明了根据本申请的实施方案的确定单元的示意性框图。

图3说明了根据本申请的一个实施方案的用于定位面部图像的面部关键特征的方法。

图4说明了根据本申请的一个实施方案的方法的确定步骤的示意性流程。

图5是说明根据本申请的一个实施方案的用于在三个阶段中选择在2d空间中被可视化了的子区域的过程的图。

图6是根据本申请的一个实施方案的其中在三个阶段期间执行用于定位面部关键特征的方法的示例。

图7说明了根据本申请的一个实施方案的通过软件来实施本发明的功能的、用于定位面部图像中的面部关键特征的系统。

具体实施方式

现将详细参考本发明的一些特定实施方案，包括由发明人预期用于实施本发明的最佳方式。附图中说明了这些特定实施方案的示例。虽然结合这些特定实施方案描述了本发明，但应该理解，其并不旨在将本发明限制到所描述的实施方案。相反，其旨在涵盖如可包括在如由所附权利要求定义的本发明的精神和范围内的替代例、修改和等效物。在以下描述中，阐述了众多特定细节以便提供对本发明的透彻理解。可在没有这些特定细节中的一些或全部的情况下实践本发明。在其他例子中，未详细描述众所周知的过程操作以便不必要地模糊本发明。

本文中所使用的术语仅用于描述特定实施方案的目的而非旨在限制本发明。如本文中所使用，除非上下文另有明确指示，否则单数形式“一”和“所述/该”也旨在包含复数形式。将进一步理解，当用于本说明书中时，术语包括规定所陈述的特征、整数、步骤、操作、元件和_/或部件的存在，但并不排除一个或多个其他特征、整数、步骤、操作、元件、部件和/或其群组的存在或添加。

下文中，形状空间是指2n维线性空间，其中n是指关键特征的数目。形状空间中的形状表示n个面部关键特征的(x,y)坐标。子区域是指形状空间的子集而非面部区域的空间概念。

图1说明了根据本申请的一个实施方案的用于定位面部图像的面部关键特征的设备1000。如所示，设备1000包括获取单元100、对齐单元200和确定单元300。利用根据本申请的设备，可以自动检测面部的面部关键特征(诸如，眼睛瞳孔或嘴角等)的位置。

如图1中所示，获取单元100可用于在一个或多个连续阶段中从预定的形状区域中获取一组候选形状，每个候选形状预先标定有面部关键特征。在实施方案中，这些候选形状获自通过普鲁克(procrustes)分析作预处理的集。形状空间s贯穿整个过程是固定的。

对齐单元200可与获取单元100电通信。对齐单元200可用于使所获取到的每个候选形状与面部图像对齐以获得对应的对齐形状。在实施方案中，对齐单元200可进一步从面部图像中提取面部特征(facialfeature)并通过使用至少一个回归器将所提取的面部特征映射为形状残差(shaperesidual)，使得通过使用该形状残差来获得对齐形状。在不同阶段中可以提取不同数目和不同类型的面部特征。例如，在所有阶段中使用sift(scaleinvariantfeaturetransform；尺度不变特征变换)特征以获得最佳的准确性。在实现方式中，在前两个阶段中使用brief(binaryrobustindependentelementaryfeatures；二进制鲁棒独立基础特征)特征，并且在最后一个阶段中使用sift特征。应理解，本申请并不限于此，这些特征可以是任何已知的特征。

确定单元300可与对齐单元200电通信，并且用于根据在这些阶段中的当前阶段中所获得的对齐形状来确定形状区域的子区域，以从中选择待在当前阶段后面的下一个阶段被获取的一组候选形状。根据实施方案，确定单元300可进一步包括中心推断单元301和适宜性推断单元302，所述中心推断单元和所述适宜性推断单元示于图2中并且稍后将加以详细描述。

图3说明了根据本申请的一个实施方案的用于定位面部图像的面部关键特征的方法2000。图4说明了由确定单元300执行的确定的示意性流程。将参考图1到图4来详细描述设备1000的元件和方法2000的过程的配置和功能。

如图3中所示，在步骤s100，可从预定的形状区域中分别获取一组候选形状，每个候选形状标定有面部关键特征。在步骤s200，可使所获取到的每个候选形状与面部图像对齐以获得对应的对齐形状。在s300，根据在步骤s200处在两个或两个以上阶段中的当前阶段中所获得的对齐形状，确定形状区域的子区域，以从中选择待在当前阶段后面的下一个阶段被获取的一组候选形状。

然后，在s400，确定在所有阶段中是否完成步骤s100-s300。在实施方案中，完成了预定数目的阶段就可以表示处理过程完成。应注意，本申请并不限于此，现有技术中的任何已知方法均可用。如果在步骤s400处为“是”，则过程结束并且在这些阶段中的最后一个阶段所推断的子区域的中心被确定为面部图像的已定位的面部关键特征，稍后将对此进行描述。如果为“非”，则过程进行到步骤s100。方法2000以在包含多样形状的形状空间内进行的粗搜索开始，并采用粗结果对形状的随后更细的搜索进行约束。使用方法2000，可以准确地定位面部图像的面部关键特征。

下文中，将描述其中在l＝1，...，l个阶段期间从形状空间中获取n个候选形状并将它们表示为s＝{s1，s2，...，sn}(n＞＞2n)的示例。图6说明了根据一个实施方案的其中在三个阶段期间执行方法2000的例示性实施方案。从图6可以看到，通过用于定位由粗到细形状的方法，可以克服鼻子和嘴巴这些关键特征由于现有技术中的拙劣初始化而导致局部最优解的问题。在根据本申请的方法的实现方式中，在单核i5-4590上实现了35fps实时性能。与常规级联回归相比，估计误差仅为12.04。应理解，实施方案仅为例示性的并且本申请并不限于此。

从预定的形状空间获得s中的候选形状。在第一阶段，(例如)基于均匀分布从形状空间s中随机地获取包括j＝1，2，...的一组nl个候选形状。

对齐单元200可使nl个候选形状与若干次迭代的面部图像对齐。针对迭代k＝1，2，...，k，将局部外形图案计算为特征f。然后，通过使用kl个回归器reg(k)将特征f映射为形状残差δx＝mreg(k)(f)。在k次迭代的情况下，通过来获得对齐形状

在获得对齐形状之后，中心推断单元31可推断形状空间的子区域的中心。在第l个阶段中，由表示形状空间的子区域，其中表示子区域的中心，且表示定义围绕中心的子区域范围的适宜性概率。

根据一个实施方案，通过如下线性地组合所有对齐形状以用于共同地推断出子区域中心来确定子区域的中心：

在等式(1)中，使用权重向量w。可通过采用支配集方法来确定该权重向量。更精确地说，建构无向图g＝{v，e}，其中e中的每个边缘的权重由如下定义的相似度表示：

通过以矩阵形式表示所有元素apq来形成相似矩阵a，并且将a的对角元素设定为零以避免自回路。

针对t＝1，...，t

其中表示逐元素向量乘法；并且

可以由此确定权重向量。不同于其中通过固定权重来对所有对齐形状求平均值的常规方法，由此，由局部最优解造成的对少量错误的对齐形状的敏感性得到抑制。

在中心推断单元301根据如上文的等式(1)推断出子区域的中心之后，确定单元300可以因此确定子区域，使得将根据适宜性概率从子区域中获取一组候选形状。

根据另一个实施方案，适宜性推断单元302可根据子区域的所推断的中心和面部图像的局部外形图案来推断适合于面部图像的每个候选形状的适宜性概率，以确定形状区域的子区域。在实施方案中，适宜性推断单元302进一步用于：根据所子区域的所确定的中心来计算待在中心附近调整的范围的可调概率；根据子区域的所确定的中心来计算面部图像的多个面部部分的面部部分相似概率；以及通过使调整概率与面部部分相似概率相乘来获得适宜性。

特定地，针对子区域x(l)的中心和形状空间{si}，通过以下等式来计算可调概率pi：

可调概率的目的在于近似地描绘在x(l)附近的获取范围，且通常对于后面的阶段而言适宜性更加集中。

另外，通过以下等式基于从面部图像提取的局部外形图案φ来计算面部部分相似概率pi：

通过判别式映射(hough回归投票)来表示等式(5)中的后面组分，并除以不同的面部部分r。面部相似概率的目的在于通过从每个面部部分单独地考虑局部外形来引导形状移向更合理的形状区域。

通过如上使由等式(4)所推断的调整概率与由等式(5)所推断的面部部分相似概率相乘来计算适宜性。

在这些过程持续到所有阶段l结束之后，将最后一个阶段中的最后一个子区域的中心确定为最终形状，即可以准确地确定面部图像的面部关键特征的坐标。

在上文中，已参考图1到图4描述了用于定位面部图像的面部关键特征的方法。可通过训练算法来训练推断子区域x(l)的中心和推断适宜性的过程。表1中列出了训练算法。

表1-由粗到细的训练算法

在训练程序中，通过给定的适宜性来训练第l阶段的子区域x(l)的中心。特定地，每个候选形状j＝1，2，...被回归到更加接近于实际情况形状x^*的形状。

针对迭代k＝1，2，...，k，首先将局部外形信息计算为特征；然后，通过下式来训练回归器最后，通过来更新以获得j＝1，2，....。

然后，针对第i个训练样本，通过以下等式来训练子区域中心

针对权重向量wⁱ，建构无向图并且该图的顶点是对齐形状。根据被定义为下式的相似度来对边缘集中的每个边缘加权：

然后，通过以下等式来优化权重向量wⁱ：

在另一个训练程序中，通过第l个阶段的子区域x(l)的给定的中心来训练适宜性

针对如由等式(4)表示的可调概率pi，通过实际情况形状x^*和子区域x(l)的中心习得协方差矩阵。∑是遍及所有训练样本的协方差矩阵x(l)-x^*且被限制为对角。

针对如由等式(5)表示的面部部分相似概率pi，除以不同的面部部分。针对面部部分r，通过判别式映射习得

然后，通过以下等式来训练适宜性概率

如由本领域技术人员将了解，可将本发明体现为系统、方法或计算机程序产品。因此，本发明可采用完全硬件实施方案和硬件方面(本文中可将其一般都称为“单元”、“电路”、“模块”或“系统”)。本发明的功能的大部分和许多发明性原理在实现时最佳由集成电路(ic)支持，诸如数字信号处理器及因此软件或专用ic。尽管有可能付出巨大努力并且许多设计选择受(例如)可用的时间、当前的技术和经济考虑因素的驱使，但仍期待普通技术人员在本文中公开的概念和原理的引导下将容易能够用最少的实验产生ic。因此，为了简洁性并将模糊根据本发明的原理和概念的任何风险降到最低，对此类软件和ic(如果有的话)的进一步论述将限于就由优选实施方案所使用的原理和概念而言的要素。

另外，本发明可采用完全软件实施方案(包括固件、常驻软件、微码等)或结合软件的实施方案。此外，本发明可采用体现在任何有形的表现媒体中的计算机程序产品的形式，所述表现媒体具有体现在该媒体中的计算机可用程序代码。图7说明了根据本申请的一个实施方案的用于定位面部图像的面部关键特征的系统3000，其中通过软件来实施本发明的功能。参考图7，系统3000包括：存储器3001，其存储可执行部件；以及处理器3002，其电联接到存储器3001来执行可执行部件，以执行系统3000的操作。这些可执行部件可包括：获取部件3003，其用于在一个或多个连续阶段中从预定的形状区域中获取一组候选形状，每个候选形状预先标定有面部关键特征；对齐部件3004，其用于使所获取到的每个候选形状与面部图像对齐以获得对应的对齐形状；确定部件3005，其用于根据在这些阶段中的当前阶段中所获得的对齐形状来确定形状区域的子区域，以从中选择待在当前阶段后面的下一个阶段被获取的一组候选形状。部件3003到3005的功能分别类似于单元100到300的功能，且因此本文中省略其详细描述。

虽然已描述了本发明的优选示例，但是本领域技术人员可以在知道基本发明性概念后即刻对这些示例作出变化或修改。所附权利要求旨在被视为包括优选示例并且所有变化或修改都落在本发明的范围内。

显然，本领域技术人员可以在不背离本发明的精神和范围的情况下对本发明作出变化或修改。因而，如果这些变化或修改属于权利要求和等效技术的范围，则它们也可落入本发明的范围中。