一种人脸特征点定位方法、装置、计算机设备及存储介质与流程
本发明属于计算机领域，尤其涉及一种人脸特征点定位方法、装置、计算机设备及存储介质。
背景技术：
作为人脸图像分析过程中一个重要基础环节，精准的人脸特征点定位对众多人脸相关研究和应用课题具有关键作用，如人脸跟踪、姿态矫正、姿态识别、表情分析、疲劳检测、三维人脸重建等等。因此，如何获取精准的人脸特征点定位一直都是图像处理、计算机视觉、模式识别以及人机交互等领域的研究热点问题。
姿态变化一直是人脸特征点定位所面临的经典难题，尤其是实时采集人脸图像同时受到姿态、光照、表情、遮挡等因素的共同作用，是影响人脸特征点定位精度的重要因素。
现有技术中，针对姿态变化的人脸特征点定位方法大致可以分为如下3大类：基于传统多模型训练的方法、基于三维人脸辅助的方法和基于回归模型的方法。
传统的多模型训练方法，虽然在一定程度上可以实现不同姿态人脸图像特征点的定位，但是这类方法存在的缺陷也很明显，如：1)训练多个特征点定位分类器增加了算法的时间复杂度；2)人脸特征点定位的精度还依赖于对测试人脸图像姿态估计的准确度。基于三维人脸模型辅助的方法，是最贴近造成人脸图像上造成姿态差异的背后成因的处理方法，是从根源上解决姿态多样性文图的有益尝试，但是，由于三维人脸模型重建时间以及模型精度问题，基于三维人脸模型重建的方法尚不足以应对实际应用中复杂多变的姿态多样性。基于回归的方法，是指直接学习从人脸表观到人脸形状模型的参数的映射函数，进而建立从表观到形状的对应关系。此类方法由于不需要复杂的人脸形状和表观建模，简单高效，对于姿态偏转不大(水平方向<60°，垂直方向<15°)已经取得较好的定位结果，但是该方法仍存在当姿态偏转超出水平旋转60°，垂直方向大于15°时，对于人脸特征点定位精准度不高的问题。
可见，传统的人脸特征点定位方法仍然存在当人脸图像存在较大姿态变化时，不能在同一框架下实现任意姿态人脸图像的面部特征点的精确定位的问题。
技术实现要素：
本发明实施例提供一种人脸特征点定位方法，旨在解决传统的人脸特征点定位方法仍然存在当人脸图像存在较大姿态变化时，不能在同一框架下实现任意姿态人脸图像的面部特征点的精确定位的问题。
本发明实施例是这样实现的，一种人脸特征点定位方法，包括如下步骤：
获取目标人脸图像；
根据预设的规则，将所述目标人脸图像划分为多个目标子区域；
基于预设的形状索引特征算法提取出各个所述目标子区域中的有效人脸特征点，并计算出所述目标人脸图像的平均人脸形状；
根据预先标注的人脸形状和所述平均人脸形状的差值迭代更新预设的级联形状回归模型，并当算法收敛时，输出所述目标人脸图像上的人脸特征点。
本发明实施例还提供一种人脸特征点定位装置，包括：
获取单元，用于获取目标人脸图像；
划分单元，用于根据预设的规则，将所述目标人脸图像划分为多个目标子区域；
计算单元，用于基于预设的形状索引特征算法提取出各个所述目标子区域中的有效人脸特征点，并计算出所述目标人脸图像的平均人脸形状；以及
输出单元，用于根据预先标注的人脸形状和所述平均人脸形状的差值迭代更新预设的级联形状回归模型，并当算法收敛时，输出所述目标人脸图像上的人脸特征点。
本发明实施例还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述人脸特征点定位方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权上述人脸特征点定位方法的步骤。
本发明实施例提供的人脸特征点定位方法，通过预设的规则，将获取到的目标人脸图像划分为多个目标子区域，可以分区域对目标人脸图像进行识别定位，提高了人脸特征点的定位成功率和准确度；同时，基于预设的形状索引特征算法提取出各个划分出来的目标子区域的有效特征点，并且计算出该目标人脸图像的平均人脸形状，然后根据预先标注的人脸形状和所述平均人脸形状的差值迭代更新预设的级联形状回归模型，并当算法收敛时，输出所述目标人脸图像上的人脸特征点，预设的形状索引特征算法和改进级联形状回归模型的应用可实现在同一框架下实现任意姿态的人脸特征点的精准定位，并且进一步提高了算法的运算性能，提高了定位的效率。该方法不但对姿态、遮挡具有很强的鲁棒性，而且在其他不可控因素影响下也取得很好的效果。
附图说明
图1是本发明实施例一提供的人脸特征点定位方法的实现流程图；
图2是本发明实施例提供的在非约束条件下采集的图像示意图；
图3是本发明实施例二提供的人脸特征点定位方法的实现流程图；
图4(a)是按照姿态偏转程度划分目标人脸图像的方式示意图；
图4(b)是图4(a)相应划分区域的人脸特征点标注示意图；
图5是本发明实施例三提供的人脸特征点定位方法的实现流程图；
图6是本发明实施例四提供的人脸特征点定位方法的实现流程图；
图7是原始级联形状回归过程的示意图；
图8是本发明提出的改进级联形状回归模型的算法框架示意图；
图9是本发明方法与基准方法在在multi-pie数据库测试集上不同姿态下人脸特征点定位误差比对结果；
图10是采用本发明方法测试待测人脸图像的人脸特征点在测试数据库上的部分实验结果；
图11是本发明方法与对比方法在aflw数据库测试集上各特征点定位误差比对结果；
图12是本发明实施例提供的一种人脸特征点定位装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
本发明实施例提供的人脸特征点定位方法，通过预设的规则，将获取到的目标人脸图像划分为多个目标子区域，可以分区域对目标人脸图像进行识别定位，提高了人脸特征点的定位成功率和准确度；而预设的形状索引特征算法和改进级联形状回归模型的应用可实现在同一框架下实现任意姿态的人脸特征点的精准定位，并且进一步提高了算法的运算性能，提高了定位的效率。
图1是本发明实施例一提供的人脸特征点定位方法的实现流程图，如图1所示，该人脸特征点定位方法，包括如下步骤：
在步骤s101中，获取目标人脸图像。
在本发明示例性实施例中，目标人脸图像指的是任意一幅通过拍摄设备等拍摄采集到的人脸图像(或者图片)。该目标人脸图像是在非约束条件下采集到的人脸图像，而非约束条件包括姿态、光照、表情、遮挡(如眼镜遮挡等)等条件，如图2所示，即为在非约束条件下采集到的一组目标人脸图像。
在步骤s102中，根据预设的规则，将目标人脸图像划分为多个目标子区域。
在步骤s103中，基于预设的形状索引特征算法提取出各个目标子区域中的有效人脸特征点，并计算出目标人脸图像的平均人脸形状。
在本发明实施例中，平均人脸形状指的是对提取到的所有有效人脸特征点(一组2d坐标)进行求和再平均，所得到的一组2d坐标。
在步骤s104中，根据预先标注的人脸形状和所述平均人脸形状的差值迭代更新预设的级联形状回归模型，并当算法收敛时，输出所述目标人脸图像上的人脸特征点。
本发明实施例提供的人脸特征点定位方法，通过预设的规则，将获取到的目标人脸图像划分为多个目标子区域，可以分区域对目标人脸图像进行识别定位，提高了人脸特征点的定位成功率和准确度；同时，基于预设的形状索引特征算法提取出各个划分出来的目标子区域的有效特征点，并且计算出该目标人脸图像的平均人脸形状，然后根据预先标注的人脸形状和上述平均人脸形状的差值迭代更新预设的级联形状回归模型，并当算法收敛时，输出所述目标人脸图像上的人脸特征点，预设的形状索引特征算法和改进级联形状回归模型的应用可实现在同一框架下实现任意姿态的人脸特征点的精准定位，并且进一步提高了算法的运算性能，提高了定位的效率。该方法不但对姿态、遮挡具有很强的鲁棒性，而且在其他不可控因素影响下也取得很好的效果。
图3是本发明实施例二提供的人脸特征点定位方法的实现流程图，如图3所示，本实施例与上述实施例一基本相同，其不同之处仅在于，将上述步骤s102替换为步骤s201。
在步骤s201中，根据含有姿态偏转下人脸特征点的易遮挡情况，将目标人脸图像划分为7个目标子区域。
受姿态偏转影响，当姿态偏转超出一定范围(水平方向：60度，垂直方向30度)人脸图像呈现不同程度的人脸信息自遮挡，从而导致部分特征点不可见。另外，非可控条件下采集人脸图像不可避免受到表情、光照、遮挡等因素的共同影响，使得不同人脸间、甚至同一人脸的不同姿态之间特征点位置都存在非常大的差异。
通过分析发现，由于姿态偏转不可避免引起的面部信息自遮挡，从而导致部分特征点不可见是在同一框架下实现人脸特征点的精确定位的主要困难。基于通过为不同姿态人脸形状建立不同的点分布模型，可以提高模型应对姿态差异的能力，本发明实施例提出了根据较大姿态偏转下的自遮挡情况，将自动检测到的人脸区域按照特征点位置分为7个目标子区域(如图4(a)所示)，并以图4(b)所示的人脸图像为例，图4(b)的人脸图像中标注有21个人脸特征点，其中区域①中包含特征点1，2，3，4；区域②中包含特征点5，10；区域③中包含特征点6，7，8，9；区域④中包含特征点12，16，区域⑤中包含特征点11，13，15，17，18，19；区域⑥中包含特征点14，20；区域⑦中包含特征点21)。而区域①、③、④、⑥为易遮挡部分(当水平方向姿态偏转大于±60度，垂直方向姿态大于±30度)，区域②、⑤、⑦为不易遮挡部分(即使水平方向偏转达到±90°)。通过将目标人脸图像划分为上述7个目标子区域，可以使后续的定位识别对不同程度遮挡下的人脸图像具有较强的适应性，在定位识别过程中，图4(b)中所标注定义的人脸特征点位置及相应顺序，当姿态偏转较大时，相应的特征点由可见转为不可见，特征点的顺序保持不变。
图5是本发明实施例三提供的人脸特征点定位方法的实现流程，如图5所示，本实施例与上述实施例一基本相同，其不同之处仅在于：将上述步骤s103替换为步骤s301。
在步骤s301中，基于引入了人脸特征点的可见或不可见属性的形状索引特征算法，提取出各个所述目标子区域中的有效人脸特征点，并计算出所述目标人脸图像的平均人脸形状。
针对上述实施例二提出的“部分特征点不可见是在同一框架下实现人脸特征点的精确定位的主要困难”这一问题，本发明对人脸特征点定义进行扩展，将人脸特征点分为可见或不可见特征点，并将人脸特征点的可见/不可见属性引入到改进级联形状回归模型的训练过程中，把任意姿态下的人脸特征点定位问题转化为可见特征点定位问题，从而在同一模型框架下实现任意姿态人脸图像特征点的自动定位。
假设人脸形状由p个特征点组成，传统的级联形状回归方法中定义形状sp＝[xp,yp]，p＝1,2，…p，xp，yp分别为第p个特征点的x，y坐标。而原始级联回归算法使用的形状索引特征定义为特征点与最近邻特征点像素灰度值之间的差值，主要处理正面姿态人脸特征点定位显然已经不能满足任意姿态伴随各种表情、光照、遮挡变化的人脸特征点定位。当人脸特征点由于姿态、表情、光照、遮挡变化导致人脸特征点不可见时，特征点本身没有像素值，并且其周围可以描述该特征点位置的信息也相对较少。充分考虑到人脸形状随姿态、表情、光照、遮挡变化受到的影响，本发明对形状sp的定义进行了扩展，定义sp＝[xp,yp,vp]，vp∈{0,1}表征该特征点可见或不可见，并将特征点的可见/不可见属性引入到形状索引特征算法中，得到改进的形状索引特征算法。
任意姿态伴有表情、光照、遮挡等变化的人脸图像由于自遮挡问题可能导致人脸大范围区域处于遮挡状态，原始形状索引特征算法计算与最近邻特征点像素之间的差值可能会出现两种情况:1)最近邻特征点处于自遮挡区域，这些特征点的位置并不可见，而由此计算的形状索引特征也是不可靠的；2)原始形状索引特征需要查找最近邻特征点位置，这也不利于算法整体效率的提高。
预设的形状索引特征算法为针对原始形状特征算法的上述缺陷进行下述改进得到的改进形状索引特征算法，具体的改进点在于：1)由计算两最近邻特征点之间的像素差值改进为计算任意两特征点位置像素值之间的差值，避免了最近邻特征点的查找，提高了算法整体效率；2)计算任意两特征点以及两特征点之间某随机位置之间的像素差值(共840维)，与原始形状索引特征相比，这种方式既丰富了原始特征信息，同时也使得改进后的形状索引特征对姿态、表情、光照、遮挡等变化更加鲁棒。
改进形状索引特征算法相较于原始形状索引特征算法，提高了形状索引特征对姿态、表情、光照、遮挡等变化二维人脸脸图像的鲁棒性，同时保持对位置的分辨能力。
需要特别说明的是，本发明方法对特征点形状的定义同样可适用于由于外物遮挡导致人脸特征点不可见的人脸特征点定位。因此，通过扩展的定义，不仅更丰富了对象形状的信息，而且对任意人脸图像特征点的定位表现出更强的自适应和鲁棒特性。
以在人脸图像标注了如图4(b)所示的21个特征点为例，改进后的形状索引特征算法是通过计算任意两特征点(如特征点1和特征点2)位置像素值之间的差值，共21个特征点，由此可得21*(21-1)＝420维特征；计算任意两特征点之间某随机位置之间的像素差值(21*(21-1)＝420维)；然后联合上面两组特征组成改进的形状索引特征。
在本示例性实施例中，根据改进后的形状索引特征算法提取出目标人脸图像中的所有特征点的坐标，并利用这些特征点坐标计算出目标人脸图像的平均人脸形状。
图6是本发明实施例四提供的人脸特征点定位方法的实现流程图，如图6所示，本实施例与上述实施例一基本相同，其不同之处仅在于：将步骤s104替换为步骤s401。
在步骤s401中，根据预先训练得到的多个目标区域弱回归器、预先标注的人脸形状和所述平均人脸形状的差值迭代更新预设的级联形状回归模型，并当算法收敛时，输出所述目标人脸图像上的人脸特征点。
为了更好的介绍本发明提出的改进级联形状回归模型对任意姿态人脸特征点进行定位的算法流程，首先对原始级联形状回归算法进行介绍。
原始级联形状回归算法是由一组级联的形状回归器r1,2,...,t组成，回归过程如图7所示，每一个形状回归器从一个初始的形状s0开始，经过t次级联逐步回归到最终的预测形状st。其中每一步细化由不同的回归器完成。每一个回归器的输入都依赖前一个回归器的输出并执行简单的图像操作(特征提取)，所有级联回归器自动的从标注好形状s的训练样本中学习。这里的形状s指的是2d人脸图像中特征点的2d坐标信息，s＝[x1,y1；x2,y2；...xn,yn]。级联形状回归的基本算法过程如下表1所示：
表1
原始级联形状回归器在较小姿态偏转人脸图像上取得了较好的定位效果，但是，不具有对较大姿态变化的人脸特征点定位能力。本发明提出的人脸特征点定位方法，通过引入特征点的可见/不可见属性，把任意姿态下的人脸特征点定位问题转化为可见特征点定位问题，从而实现在同一模型下任意姿态2d人脸图像特征点的自动定位，算法框架如图8所示，同时，为了提高算法对不同姿态角度偏转的应对能力，针对不同遮挡人脸区域分别训练级联形状回归器，具体采用两级级联形状回归(为了便于表述，假定外层级联回归为第一级级联回归，内层级联回归为第二级级联回归)；第一级的级联形状回归中每个回归器rt分别由遮挡情况不同区域训练得到的回归器
具体的级联形状回归训练过程如下，假设有n个待训练样本ii，每个待训练样本的真实形状为
在本发明示例性实施例中，使用随机厥做为级联的回归器，随机厥不但可以用于分类问题，也可以用于回归问题，优选采用多个随机厥的方式以增加其分类或回归预测效果。对于分类问题，一般采用多个随机厥进行投票的方式对测试样本进行分类，获得投票最多的即为预测分类；对于回归问题，则选取多个随机厥的预测均值作为测试样本预测值。
假设有t个随机厥回归器进行级联，在每(t)次的迭代过程中，可按照当前状态st-1＝[x1’,y1’,v1’；…xp’,yp’,vp’；...xp,yp,vp；]进行映射，分别得到不同人脸区域的状态，并在划分出来的7个目标子区域训练得到不同的视觉回归器
在本发明实施例中，利用上述改进级联形状回归模型测试任意一幅人脸图像的人脸特征点的测试过程如下：
对于每一张待预测的2d人脸图像，将该2d人脸图像按照上述规则划分为7个目标子区域，对于每个目标子区域分别使用前面针对7个目标子区域人脸区域训练好的回归器δi进行预测，然后将各个目标子区域的预测结果进行加权融合，得到待预测的2d人脸图像的人脸形状预测结果，再根据改进级联形状回归模型迭代更新该人脸形状预测结果，并当算法收敛时输出待预测的2d人脸图像的特征点位置(包括预测特征点位置及可见情况)。
为了进一步说明本发明方法的技术效果，下面通过具体的试验例来进行详细说明。
数据库：本实验例共选用四个比较流行公开数据库，分别为multi-pie，aflw，cofw和300-w数据库。
multi-pie人脸库共采集了337人在19种不同光照条件、6种不同的表情和15种不同姿态(其中，水平方向姿态偏转从－90度到+90度)下的750000幅人脸图像。本发明选取对象编号从41至60之间的所有人脸图像用于训练；而对象编号从61至70之间的10个人所有不同姿态人脸图像用于测试。参数设置：t＝300，k＝50，tot＝7，τ＝0.5。
aflw数据库包含了25000张从互联网收集的包括各种姿态、表情、光照、种族等因素影响的图像，每个人脸都被标注了21个特征点，常被用于测试非约束条件下人脸特征点定位算法的性能。本发明同pifa方法选用姿态均匀分布在0～90度之间的5200张人脸图像的子集，从中选取3901张人脸图像用于训练，其余1299张人脸图像用于测试。参数设置：t＝250，k＝50，tot＝7，τ＝0.5。
cofw数据库包含lfpw人脸数据库训练集中的845幅人脸图像以及其他1000幅存在不同程度遮挡的人脸图像，部分还伴有表情、光照等变化，每个人脸标记29个特征点。本发明选用数据库已配置好的1345张人脸图像用于训练，其余507幅严重遮挡(同时包含姿态和表情的变化)的人脸图像用于测试。参数设置：t＝200，k＝50，tot＝7，τ＝0.5。
300-w数据库收集自lfpw，helen，afw，xm2vts数据库以及ibug数据库中135张极具姿态和表情挑战性的人脸图像并重新进行68点标定组成，数据库样本涵盖了不同程度遮挡、姿态、表情、光照、背景以及图像质量条件等情况，是目前最常用也最具挑战的人脸特征点检测数据库之一。本实验例选自afw，lfpw，helen数据库的3148张人脸图像用作训练，余下689张人脸图像作为测试集。参数设置：t＝230，k＝50，tot＝7，τ＝0.5。
评价指标：为了量化分析本发明提出算法，本实验例定义人脸特征点定位平均误差：
multi-pie数据库上实验结果：
首先，为了评估本发明方法对大姿态偏转人脸特征点的定位效果，这里选择在包含较大姿态偏转的multi-pie人脸数据库上对本发明方法进行验证评估。
由于当前没有可用的报告大姿态偏转条件下人脸面部特征点的定位方法，故选用原始级联形状回归方法(cpr)作为基准方法。
鉴于对比方法cpr方法不具有特征点的可见/不可见特征点预测特性，而multi-pie数据库包含大量姿态偏转大于60度的人脸图像，故许多特征点由于姿态偏转过大而导致特征点不可见，而对由于较大姿态偏转导致的不可见特征点预测本身也不具有实际意义，因此本实验例只对可见特征点进行定位误差统计。下表2列出了本发明方法与对比方法在multi-pie数据库上所有可见特征点的平均定位误差(e)。提出方法(gcpr)在multi-pie数据库上取得了4.14的平均定位误差，明显低于原始级联形状回归方法cpr(6.89)，证明提出方法对大姿态范围人脸图像点特征点定位的有效性。下表2为本发明方法(gcpr)与对比方法在multi-pie数据库上可见特征点的平均定位误差。
表2
另外，为了便于分析本发明算法(gcpr)在不同姿态偏转下的各特征点定位误差，图9(图9中浅灰色的柱状代表gcpr，深灰色的柱状代表cpr)分别列出了提出方法与基准方法(cpr)在multi-pie数据库测试集上不同姿态偏转下的特征点定位误差(横轴表示姿态编号，1到13分别表示-90到90的水平姿态偏转)。从图9可知，在multi-pie数据库上，提出方法在各姿态偏转下对特征点的平均定位误差相差很小，即提出方法对姿态偏转人脸图像具有很好的鲁棒性。
图10第一列展示了使用提出算法在multi-pie数据库部分特征点预测结果。可以看到，尽管人脸姿态偏转至完全侧面(-90和+90)，本发明方法仍然可以准确标出可见面部特征点的位置，验证了提出算法对姿态变化的鲁棒性。本发明算法在测试数据库上的部分实验结果。(第1列)multi-pie数据库，只显示可见特征点；(第2列)cofw数据库，白灰色代表可见特征点，棕灰色色代表不可见(如眼镜或头发遮挡)特征点；(第3、4列)aflw数据库，自遮挡特征点为不可见特征点，其它均为可见特征点。
aflw数据库上实验结果：
其次，为了进一步验证本发明方法在复杂非约束条件下的有效性，本实验例还选用在采集自复杂环境下的aflw，cofw以及300-w数据库对本发明方法进行测试评估。
同样地，为了定性分析本发明方法在aflw数据库上人脸特征点定位情况，下表3("－"表示论文没有报告相应结果)列出了提出方法(gcpr)、基准方法(原始级联形状回归方法(cpr))以及姿态鲁棒的人脸特征点定位方法(pifa)，使用相同数量的测试样本进行测试，如图4(b)标记21个特征点位置上的特征点(包括可见特征点)平均定位误差(e)。对所有特征点(其中不少特征点由于姿态、遮挡表情等影响而不可见)，本发明方法(gcpr)取得了5.60的平均定位误差，优于所有对比方法。而对于可见特征点，由于其周围可用的特征表述信息更丰富，提出方法更是达到了4.45的平均定位误差。下表3为本发明方法(gcpr)与对比方法在aflw数据库上可见特征点与不可见特征点的平均定位误差。
表3
同时，为了进一步分析本发明方法及对比方法对各特征点的定位情况，图11还列出了提出方法及对比方法在aflw数据库上对各特征点的平均定位误差。可以发现，提出算法与pifa方法定位性能几乎相当，在个别特征点(序号13，18)上明显优于pifa方法；然而，本发明提出方法在训练过程中并不需要三维人脸数据进行辅助，因此相较于pifa方法，提出方法更加高效与实用。再次，提出方法与原始级联形状回归方法(cpr)相比，得益于本发明提出的特征点可见/不可见属性的引入以及特征提取以及特征计算等方面的改进，提出方法定位精度明显优于传统级联形状回归方法cpr。
cofw数据库上实验结果：
人脸遮挡分自遮挡和外遮挡两种，cofw是一个包含大量外物遮挡的人脸数据库，然而不管是自遮挡还是外遮挡都会导致人脸的部分特征点不可见，因此本组实验，所有的自遮挡和外物遮挡统一标注为不可见特征点。下表4为本发明方法(gcpr)与对比方法在cofw数据库上可见特征点与不可见特征点的平均定位误差。
表4
不同于自遮挡导致的特征点不可见，由外物遮挡导致的特征点对图像分析具有一定的作用，因此在cofw数据库上，分别对可见特征点和所有特征点进行定位误差统计。表4和图10的第二列分别展示了提出方法在cofw数据库上面部特征点定位效果和定位误差统计。综合图10和表4，精准的可见/不可见特征点定位、最低的人脸特征点定位误差，再次验证了提出方法(gcpr)在存在外物遮挡的人脸库上也取得了很好的定位效果。说明本发明方法不但对自遮挡有效，对外物遮挡一样也具有很强的适用性。
300-w数据库上实验结果：
测试集分为3部分，分别为来自indoor的普通测试集，来自outdoor的挑战测试集以及普通集(commonsubset)和挑战集(challengingsubset)的合集(fullset)。其中普通集包括余下lfpw和helen数据库的554张人脸图像；挑战集为ibug数据库的135张人脸图像；合集为普通集和挑战集的合集共689张人脸图像。表5为本发明方法(gcpr)与对比方法在300-w数据库上特征点的平均定位误差。
表5
上表5列出了本发明方法(gcpr)与对比方法rcpr,sdm，tcdcn，ect等在300-w数据库的普通集、挑战集以及普通集挑战集的合集上分别达到的平均定位误差(e)。从表5可以看出：首先，挑战集上达到平均定位误差普遍大于普通集上平均定位误差，这是由于相比普通集，挑战集人脸图像在姿态、表情方面存在更大的挑战性；其次，不管是普通集、挑战集还是其合集上，提出方法(gcpr)都取得了最小的平均定位误差，再次验证了提出方法在应对复杂非约束条件下的人脸面部特征点定位的有效性。
综上，针对大姿态偏转下的人脸图像的特征点定位问题，本发明提出将任意姿态下的人脸特征点自遮挡情况将特征点划分为可见或不可见特征点，并把人脸特征点的可见/不可见属性引入到级联形状回归方法的训练过程中。把任意姿态下的人脸特征点定位问题转化为可见特征点定位问题，从而实现在同一模型下任意姿态人脸图像特征点的自动定位。在multi-pie，aflw,cofw和300-w4个公开人脸数据库上的实验结果表明，本发明提出方法不但对姿态、遮挡比较鲁棒，而且对于其他复杂非可控因素综合影响人脸图像的特征点检测也取得很好的效果。
图12为本发明实施例提供的一种人脸特征点定位装置的结构示意图，为便于说明，图中仅示出了与本发明相关的部分，如图12所示，该人脸特征点定位装置包括获取单元100、划分单元200、计算单元300和输出单元400。
获取单元100，用于获取目标人脸图像。
在本发明示例性实施例中，目标人脸图像指的是任意一幅通过拍摄设备等拍摄采集到的人脸图像(或者图片)。该目标人脸图像是在非约束条件下采集到的人脸图像，而非约束条件包括姿态、光照、表情、遮挡(如眼镜遮挡等)等条件，如图2所示，即为在非约束条件下采集到的一组目标人脸图像。
划分单元200，用于根据预设的规则，将目标人脸图像划分为多个目标子区域。
计算单元300，用于基于预设的形状索引特征算法提取出各个目标子区域中的有效人脸特征点，并计算出目标人脸图像的平均人脸形状。
在本发明实施例中，平均人脸形状指的是对提取到的所有有效人脸特征点(一组2d坐标)进行求和再平均，所得到的一组2d坐标。
输出单元400，用于根据预先标注的人脸形状和所述平均人脸形状的差值迭代更新预设的级联形状回归模型，并当算法收敛时，输出所述目标人脸图像上的人脸特征点。
本发明实施例提供的人脸特征点定位装置，通过预设的规则，将获取到的目标人脸图像划分为多个目标子区域，可以分区域对目标人脸图像进行识别定位，提高了人脸特征点的定位成功率和准确度；同时，基于预设的形状索引特征算法提取出各个划分出来的目标子区域的有效特征点，并且计算出该目标人脸图像的平均人脸形状，然后根据预先标注的人脸形状和所述平均人脸形状的差值迭代更新预设的级联形状回归模型，并当算法收敛时，输出所述目标人脸图像上的人脸特征点，预设的形状索引特征算法和改进级联形状回归模型的应用可实现在同一框架下实现任意姿态的人脸特征点的精准定位，并且进一步提高了算法的运算性能，提高了定位的效率。该方法不但对姿态、遮挡具有很强的鲁棒性，而且在其他不可控因素影响下也取得很好的效果。
作为本发明的实施例，上述划分单元200具体用于：根据含有姿态偏转下人脸特征点的易遮挡情况，将目标人脸图像划分为7个目标子区域。
受姿态偏转影响，当姿态偏转超出一定范围(水平方向：60度，垂直方向30度)人脸图像呈现不同程度的人脸信息自遮挡，从而导致部分特征点不可见。另外，非可控条件下采集人脸图像不可避免受到表情、光照、遮挡等因素的共同影响，使得不同人脸间、甚至同一人脸的不同姿态之间特征点位置都存在非常大的差异。
通过分析发现，由于姿态偏转不可避免引起的面部信息自遮挡，从而导致部分特征点不可见是在同一框架下实现人脸特征点的精确定位的主要困难。基于通过为不同姿态人脸形状建立不同的点分布模型，可以提高模型应对姿态差异的能力，本发明实施例提出了根据较大姿态偏转下的自遮挡情况，将自动检测到的人脸区域按照特征点位置分为7个目标子区域(如图4(a)所示)，并以图4(b)所示的人脸图像为例，图4(b)的人脸图像中标注有21个人脸特征点，其中区域①中包含特征点1，2，3，4；区域②中包含特征点5，10；区域③中包含特征点6，7，8，9；区域④中包含特征点12，16，区域⑤中包含特征点11，13，15，17，18，19；区域⑥中包含特征点14，20；区域⑦中包含特征点21)。而区域①、③、④、⑥为易遮挡部分(当水平方向姿态偏转大于±60度，垂直方向姿态大于±30度)，区域②、⑤、⑦为不易遮挡部分(即使水平方向偏转达到±90°)。通过将目标人脸图像划分为上述7个目标子区域，可以使后续的定位识别对不同程度遮挡下的人脸图像具有较强的适应性，在定位识别过程中，图4(b)中所标注定义的人脸特征点位置及相应顺序，当姿态偏转较大时，相应的特征点由可见转为不可见，特征点的顺序保持不变。
作为本发明的实施例，上述计算单元300具体用于：基于引入了人脸特征点的可见或不可见属性的形状索引特征算法，提取出各个所述目标子区域中的有效人脸特征点，并计算出所述目标人脸图像的平均人脸形状。
针对上述实施例二提出的“部分特征点不可见是在同一框架下实现人脸特征点的精确定位的主要困难”这一问题，本发明对人脸特征点定义进行扩展，将人脸特征点分为可见或不可见特征点，并将人脸特征点的可见/不可见属性引入到改进级联形状回归模型的训练过程中，把任意姿态下的人脸特征点定位问题转化为可见特征点定位问题，从而在同一模型框架下实现任意姿态人脸图像特征点的自动定位。
假设人脸形状由p个特征点组成，传统的级联形状回归方法中定义形状sp＝[xp,yp]，p＝1,2，…p，xp，yp分别为第p个特征点的x，y坐标。而原始级联回归算法使用的形状索引特征定义为特征点与最近邻特征点像素灰度值之间的差值，主要处理正面姿态人脸特征点定位显然已经不能满足任意姿态伴随各种表情、光照、遮挡变化的人脸特征点定位。当人脸特征点由于姿态、表情、光照、遮挡变化导致人脸特征点不可见时，特征点本身没有像素值，并且其周围可以描述该特征点位置的信息也相对较少。充分考虑到人脸形状随姿态、表情、光照、遮挡变化受到的影响，本发明对形状sp的定义进行了扩展，定义sp＝[xp,yp,vp]，vp∈{0,1}表征该特征点可见或不可见，并将特征点的可见/不可见属性引入到形状索引特征算法中，得到改进的形状索引特征算法。
任意姿态伴有表情、光照、遮挡等变化的人脸图像由于自遮挡问题可能导致人脸大范围区域处于遮挡状态，原始形状索引特征算法计算与最近邻特征点像素之间的差值可能会出现两种情况:1)最近邻特征点处于自遮挡区域，这些特征点的位置并不可见，而由此计算的形状索引特征也是不可靠的；2)原始形状索引特征需要查找最近邻特征点位置，这也不利于算法整体效率的提高。
预设的形状索引特征算法为针对原始形状特征算法的上述缺陷进行下述改进得到的改进形状索引特征算法，具体的改进点在于：1)由计算两最近邻特征点之间的像素差值改进为计算任意两特征点位置像素值之间的差值，避免了最近邻特征点的查找，提高了算法整体效率；2)计算任意两特征点以及两特征点之间某随机位置之间的像素差值(共840维)，与原始形状索引特征相比，这种方式既丰富了原始特征信息，同时也使得改进后的形状索引特征对姿态、表情、光照、遮挡等变化更加鲁棒。
改进形状索引特征算法相较于原始形状索引特征算法，提高了形状索引特征对姿态、表情、光照、遮挡等变化二维人脸脸图像的鲁棒性，同时保持对位置的分辨能力。
需要特别说明的是，本发明方法对特征点形状的定义同样可适用于由于外物遮挡导致人脸特征点不可见的人脸特征点定位。因此，通过扩展的定义，不仅更丰富了对象形状的信息，而且对任意人脸图像特征点的定位表现出更强的自适应和鲁棒特性。
以在人脸图像标注了如图4(b)所示的21个特征点为例，改进后的形状索引特征算法是通过计算任意两特征点(如特征点1和特征点2)位置像素值之间的差值，共21个特征点，由此可得21*(21-1)＝420维特征；计算任意两特征点之间某随机位置之间的像素差值(21*(21-1)＝420维)；然后联合上面两组特征组成改进的形状索引特征。
在本示例性实施例中，根据改进后的形状索引特征算法提取出目标人脸图像中的所有特征点的坐标，并利用这些特征点坐标计算出目标人脸图像的平均人脸形状。
作为本发明的实施例，上述输出单元400具体用于：根据预先训练得到的多个目标区域弱回归器、预先标注的人脸形状和所述平均人脸形状的差值迭代更新预设的级联形状回归模型，并当算法收敛时，输出所述目标人脸图像上的人脸特征点。
本发明实施例还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述人脸特征点定位方法的各步骤。
本发明实施例还提供了一种计算机可读存储介质，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述人脸特征点定位方法的各步骤。
示例性的，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。例如，所述计算机程序可以被分割成上述各个方法实施例提供的人脸特征点定位方法的步骤在计算机装置中执行。
本领域技术人员可以理解，上述计算机装置的描述仅仅是示例，并不构成对计算机装置的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个用户终端的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述计算机装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！