人脸特征点定位方法、装置、设备及存储介质与流程

本发明属于计算机技术领域，尤其涉及一种人脸特征点定位方法、装置、设备及存储介质。

背景技术

人脸特征点包含了脸部的重要信息，这些特征点一般为人脸五官轮廓的尖端或突出处，比如眉毛、瞳孔中心、鼻尖以及嘴角等，人脸特征点的定位是研究及分析人脸图像的基础。当人脸上存在手、饰物、眼镜、发型等引起的局部遮挡时，被遮挡的特征点不仅无法提供有用信息，还会产生干扰，导致人脸特征点定位的难度增大。

级联姿态回归模型在人脸特征点定位问题上具有明显的优势，针对局部遮挡的人脸特征点定位问题，burgos-artizzu等人基于级联姿态回归模型提出了鲁棒的级联姿态回归算法，该算法首次提出在人脸特征点定位的同时预测特征点的遮挡状态，将遮挡状态转化为用于修正回归器输出的权重，以此提高在遮挡情况下人脸特征点定位的鲁棒性。

为了提高了鲁棒的级联姿态回归算法确定人脸图像中特征点位置和特征点遮挡状态的准确性，pan等人针对鲁棒的级联姿态回归算法随机初始化的不足，提出利用lbp(localbinarypattern，局部二值模式)纹理相关性得到初始形状，鲁棒的级联姿态回归算法由给定的多个初始形状开始，通过不断更新当前特征点的位置分布和遮挡状态，逐步逼近特征点的真实位置。然而，这类算法仅通过一级级联回归来预测特征点的位置与遮挡状态，没有合理方法评估通过一级级联回归得到的预测结果是否可靠，尤其地，由于回归初期未检测到一个较准确的特征点位置，仅通过回归的方式检测特征点的遮挡状态，使得特征点遮挡的检测结果很可能存在较大误差。

技术实现要素：

本发明的目的在于提供一种人脸特征点定位方法、装置、设备及存储介质，旨在解决现有技术对局部遮挡人脸图像上特征点的位置和遮挡状态进行监测的准确率不高和效果不佳的问题。

一方面，本发明提供了一种人脸特征点定位方法，所述方法包括下述步骤：

当接收到人脸特征点定位请求时，获取用户输入的人脸图像，从预设的训练库中选取与所述人脸图像相关的多个初始形状；

通过预设的级联姿态回归算法对所述初始形状进行级联回归，得到所述每个初始形状对应的预测结果；

根据预先构建的特征点字典，计算所述每个预测结果中每个预设特征点对应的稀疏重构系数和重构残差；

根据所述稀疏重构系数和所述重构残差，对所述每个预测结果中所述每个特征点的预测位置和预测遮挡状态进行修正；

通过所述级联姿态回归算法对修正后的所述预测结果进行级联回归，得到所述人脸图像上所述每个特征点的位置和遮挡状态。

另一方面，本发明提供了一种人脸特征点定位装置，所述装置包括：

初始形状获取单元，用于当接收到人脸特征点定位请求时，获取用户输入的人脸图像，从预设的训练库中选取与所述人脸图像相关的多个初始形状；

初始预测单元，用于通过预设的级联姿态回归算法对所述初始形状进行级联回归，得到所述每个初始形状对应的预测结果；

参数计算单元，用于根据预先构建的特征点字典，计算所述每个预测结果中每个预设特征点对应的稀疏重构系数和重构残差；

预测结果修正单元，用于根据所述稀疏重构系数和所述重构残差，对所述每个预测结果中所述每个特征点的预测位置和预测遮挡状态进行修正；以及

特征点确定单元，用于通过所述级联姿态回归算法对修正后的所述预测结果进行级联回归，得到所述人脸图像上所述每个特征点的位置和遮挡状态。

另一方面，本发明还提供了一种图像处理设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述人脸特征点定位方法所述的步骤。

另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述人脸特征点定位方法所述的步骤。

本发明从训练库中获取与用户输入的人脸图像相关的多个初始形状，通过级联回归算法对每个初始形状进行级联回归，获得每个初始形状对应的预测结果，根据特征点字典，计算每个预测结果中每个特征点对应的稀疏重构系数和重构残差，根据稀疏重构系数和重构残差，对每个预测结果中每个特征点的预测位置和预测遮挡状态进行修正，通过级联回归算法对修正后的每个预测结果进行级联回归，获得人脸图像每个特征点的位置和遮挡状态，从而有效地提高了对局部遮挡人脸图像上特征点的位置和遮挡状态进行检测的准确度和效果，进而提高了人脸特征点定位的准确度和效果。

附图说明

图1是本发明实施例一提供的人脸特征点定位方法的实现流程图；

图2是本发明实施例二提供的人脸特征点定位装置的结构示意图；

图3是本发明实施例二提供的人脸特征点定位装置的优选结构示意图；以及

图4是本发明实施例三提供的图像处理设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述：

实施例一：

图1示出了本发明实施例一提供的人脸特征点定位方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在步骤s101中，当接收到人脸特征点定位请求时，获取用户输入的人脸图像，从预设的训练库中选取与人脸图像相关的多个初始形状。

本发明实施例适用于人脸特征点定位平台或系统。在接收到人脸特征点定位请求时，获取用户输入的、需要进行特征点定位的人脸图像，人脸图像可为局部遮挡人脸图像。训练库中存储着已标记出人脸形状的训练图像，人脸形状包括预设特征点的位置和遮挡状态，特征点可为瞳孔中心、眼角、嘴角等关键位置。可通过预设的纹理相关初始化方式，从训练库中选择与人脸图像相关的多个人脸形状，将这些相关的人脸形状设置为人脸图像的初始形状。

作为示例地，人脸形状或初始形状可表示为sp＝[xp,yp,vp]，p＝1,2,…,p，其中，(xp,yp)为第p个特征点的位置，vp＝{0,1}为第p个特征点的遮挡状态，vp＝0时表示第p个特征点未被遮挡，vp＝1时表示第p个特征点被遮挡，p为特征点的总数目。

在通过纹理相关初始化方式从训练库中获取与人脸图像相关的多个初始形状时，优选地，提取人脸图像的纹理特征，提取训练库中训练图像的纹理特征，计算人脸图像的纹理特征分别与每张训练图像的纹理特征之间的相关程度，根据这些相关程度从训练库中选取与人脸图像相关的多个初始形状，从而有效地提高人脸图像的初始形状选取效果。

在通过纹理相关初始化方式从训练库中获取与人脸图像相关的多个初始形状时，进一步优选地，将人脸图像划分为多个不重叠区域，计算每个区域的lbp特征值，统计每个区域中每个lbp特征值的出现频率，根据这些频率得到每个区域的lbp直方图，由所有区域的lbp直方图组合得到人脸图像对应的lbp直方图矩阵，同样地，计算每个训练图像对应的lbp直方图矩阵，根据人脸图像的lbp直方图矩阵分别每个训练图像的lbp直方图矩阵之间的皮尔逊相关系数，从训练库中选取出人脸图像相关的初始形状，从而有效地提高了人脸图像的初始形状选取效果。

在步骤s102中，通过预设的级联姿态回归算法对初始形状进行级联回归，得到每个初始形状对应的预测结果。

在本发明实施例中，预设的级联姿态回归算法为鲁棒性的级联姿态回归算法，预测结果包括人脸图像上每个特征点的预测位置和预测遮挡状态。

在步骤s103中，根据预先构建的特征点字典，计算每个预测结果中每个特征点对应的稀疏重构系数和重构残差。

在本发明实施例中，在根据训练库构建每个特征点对应的特征点字典时，可在训练库中每个人的训练图像上提取特征点的像素信息，由每个人的训练图像上特征点的像素信息构成该特征点对应的特征点字典。优选地，当训练集中有γ个人的训练图像且特征点的数目为p时，第p个特征点对应的特征点字典dp表示为其中，为训练集中第i个人的训练图像上第p个特征点的像素信息。

在本发明实施例中，在计算每个预测结果中每个特征点对应的稀疏重构系数时，在人脸图像上获取每个预测结果中每个特征点的像素信息，通过每个特征点对应的特征点字典，对每个预测结果中每个特征点的像素信息进行相应的线性表示，根据这些线性表示计算得到每个预测结果中每个特征点对应的稀疏重构系数。优选地，在通过特征点对应的特征点字典，对测试结果中该特征点的像素信息进行线性表示时，线性表示公式为y＝dpx，其中，y为预测结果中第p个特征点的像素信息，dp为第p个特征点对应的特征点字典，x为稀疏重构系数，稀疏重构系数中大部分位置的值都为零。因此，通过上述线性表示公式可求解出每个预测结果中每个特征点对应的稀疏重构系数。

在本发明实施例中，根据每个预测结果中每个特征点对应的稀疏重构系数，对每个预测结果中每个特征点的像素进行重构，根据重构结果可计算得到每个预测结果中每个特征点对应的重构残差。优选地，对预测结果中特征点的像素进行重构的公式为预测结果中特征点对应的重构残差为其中，为重构后特征点的像素信息，r(y)为特征点对应的重构残差。

在步骤s104中，根据稀疏重构系数和重构残差，对每个预测结果中每个特征点的预测位置和预测遮挡状态进行修正。

在本发明实施例中，通过鲁棒性的级联姿态回归算法得到的预测结果不一定可靠，因此根据稀疏重构系数和重构残差，对每个预测结果中每个特征点的预测位置和预测遮挡状态进行相应的修正。优选地，判断预测结果中特征点对应的重构残差是否超过预设的残差阈值，当不超过时，确定预测结果中该特征点的预测位置可靠，获取预测结果中该特征点对应的稀疏重构系数的非零项，根据这些非零项在特征点字典中对应的字典元素的遮挡信息，计算预测结果中该特征点的遮挡概率，用该遮挡概率替换预测结果中该特征点的预测遮挡状态，从而实现对预测结果中特征点预测位置的可靠性判断、以及特征点预测遮挡状态的修正。其中，遮挡概率的计算公式为w(y)为预测结果中特征点的遮挡概率，occ_sum为该特征点的稀疏重构系数中非零项在特征点字典中所对应字典元素的遮挡信息之和，m为该特征点的稀疏重构系数中非零项的数目，

进一步优选地，当预测结果中特征点对应的重构残差超过残差阈值时，确定该预测结果中该特征点的预测位置不可靠，根据剩余预测结果中该特征点可靠的预测位置，对该预测结果中该特征点不可靠的预测位置进行修正，从而对预测结果中特征点不可靠的预测位置进行修正。在根据剩余预测结果中该特征点可靠的预测位置，对预测结果中该特征点不可靠的预测位置进行修正时，可将剩余预测结果中该特征点可靠的预测位置进行排序，从排序后的预测位置中选取中间值，将预测结果中该特征点不可靠的预测位置设置为该中间值。

又优选地，当所有预测结果中该特征点的预测位置都不可靠时，从训练库中随机选择人脸形状，将随机选择的人脸形状设置为人脸图像的初始形状，跳转至通过级联姿态回归算法对初始形状进行级联回归的步骤，如此循环，直至在预测结果中得到该特征点可靠的预测位置，从而有效地提高人脸特征点定位的准确度和效果。

在步骤s105中，通过级联姿态回归算法对修正后的预测结果进行级联回归，得到人脸图像上每个特征点的位置和遮挡状态。

在本发明实施例中，在对所有预测结果中特征点的预测位置和预测遮挡状态进行修正后，通过级联回归算法对修正后的预测结果进行级联回归，得到人脸图像上每个特征点的位置和遮挡状态，从而实现人脸图像的特征点定位。

在本发明实施例中，从训练库中获取与用户输入的人脸图像相关的多个初始形状，通过级联回归算法对每个初始形状进行级联回归，获得每个初始形状对应的预测结果，根据特征点字典，计算每个预测结果中每个特征点对应的稀疏重构系数和重构残差，根据稀疏重构系数和重构残差，对每个预测结果中每个特征点的预测位置和预测遮挡状态进行修正，通过级联回归算法对修正后的每个预测结果进行级联回归，获得人脸图像每个特征点的位置和遮挡状态，从而有效地提高了对局部遮挡人脸图像上特征点的位置和遮挡状态进行检测的准确度和效果，进而提高了人脸特征点定位的准确度和效果。

实施例二：

图2示出了本发明实施例二提供的人脸特征点定位装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：

初始形状获取单元21，用于当接收到人脸特征点定位请求时，获取用户输入的人脸图像，从预设的训练库中选取与人脸图像相关的多个初始形状。

在本发明实施例中，可通过预设的纹理相关初始化方式，从训练库中选择与人脸图像相关的多个人脸形状，将这些相关的人脸形状设置为人脸图像的初始形状。在通过纹理相关初始化方式从训练库中获取与人脸图像相关的多个初始形状时，优选地，提取人脸图像的纹理特征，提取训练库中训练图像的纹理特征，计算人脸图像的纹理特征分别与每张训练图像的纹理特征之间的相关程度，根据这些相关程度从训练库中选取与人脸图像相关的多个初始形状，从而有效地提高人脸图像的初始形状选取效果。

在通过纹理相关初始化方式从训练库中获取与人脸图像相关的多个初始形状时，进一步优选地，将人脸图像划分为多个不重叠区域，计算每个区域的lbp特征值，统计每个区域中每个lbp特征值的出现频率，根据这些频率得到每个区域的lbp直方图，由所有区域的lbp直方图组合得到人脸图像对应的lbp直方图矩阵，同样地，计算每个训练图像对应的lbp直方图矩阵，根据人脸图像的lbp直方图矩阵分别每个训练图像的lbp直方图矩阵之间的皮尔逊相关系数，从训练库中选取出人脸图像相关的初始形状，从而有效地提高了人脸图像的初始形状选取效果。

初始预测单元22，用于通过预设的级联姿态回归算法对初始形状进行级联回归，得到每个初始形状对应的预测结果。

在本发明实施例中，预设的级联姿态回归算法为鲁棒性的级联姿态回归算法，预测结果包括人脸图像上每个特征点的预测位置和预测遮挡状态。

参数计算单元23，用于根据预先构建的特征点字典，计算每个预测结果中每个预设特征点对应的稀疏重构系数和重构残差。

在本发明实施例中，在根据训练库构建每个特征点对应的特征点字典时，可在训练库中每个人的训练图像上提取特征点的像素信息，由每个人的训练图像上特征点的像素信息构成该特征点对应的特征点字典。优选地，当训练集中有γ个人的训练图像且特征点的数目为p时，第p个特征点对应的特征点字典dp表示为其中，为训练集中第i个人的训练图像上第p个特征点的像素信息。

在本发明实施例中，在计算每个预测结果中每个特征点对应的稀疏重构系数时，在人脸图像上获取每个预测结果中每个特征点的像素信息，通过每个特征点对应的特征点字典，对每个预测结果中每个特征点的像素信息进行相应的线性表示，根据这些线性表示计算得到每个预测结果中每个特征点对应的稀疏重构系数。优选地，在通过特征点对应的特征点字典，对测试结果中该特征点的像素信息进行线性表示时，线性表示公式为y＝dpx，其中，y为预测结果中第p个特征点的像素信息，dp为第p个特征点对应的特征点字典，x为稀疏重构系数，稀疏重构系数中大部分位置的值都为零。因此，通过上述线性表示公式可求解出每个预测结果中每个特征点对应的稀疏重构系数。

在本发明实施例中，根据每个预测结果中每个特征点对应的稀疏重构系数，对每个预测结果中每个特征点的像素进行重构，根据重构结果可计算得到每个预测结果中每个特征点对应的重构残差。优选地，对预测结果中特征点的像素进行重构的公式为预测结果中特征点对应的重构残差为其中，为重构后特征点的像素信息，r(y)为特征点对应的重构残差。

预测结果修正单元24，用于根据稀疏重构系数和重构残差，对每个预测结果中每个特征点的预测位置和预测遮挡状态进行修正。

在本发明实施例中，通过鲁棒性的级联姿态回归算法得到的预测结果不一定可靠，因此根据稀疏重构系数和重构残差，对每个预测结果中每个特征点的预测位置和预测遮挡状态进行相应的修正。

特征点确定单元25，用于通过级联姿态回归算法对修正后的预测结果进行级联回归，得到人脸图像上每个特征点的位置和遮挡状态。

在本发明实施例中，在对所有预测结果中特征点的预测位置和预测遮挡状态进行修正后，通过级联回归算法对修正后的预测结果进行级联回归，得到人脸图像上每个特征点的位置和遮挡状态，从而实现人脸图像的特征点定位。

优选地，如图3所示，参数计算单元23包括：

像素信息获取单元331，用于在人脸图像上，获取每个预测结果中所述每个特征点的像素信息；

重构系数计算单元332，用于根据特征点字典和每个预测结果中每个特征点的像素信息，计算每个预测结果中每个特征点对应的稀疏重构系数；以及

重构残差计算单元334，用于根据特征点字典和每个预测结果中每个特征点对应的稀疏重构系数，计算每个预测结果中每个特征点对应的重构残差。

优选地，预测结果修正单元24包括：

位置可靠性判断单元341，用于根据预测结果中特征点对应的重构残差和预设的残差阈值，确定预测结果中特征点的预测位置是否可靠；以及

遮挡状态修正单元342，用于当预测结果中特征点的预测位置可靠时，根据特征点字典和预测结果中特征点对应的稀疏重构系数，对预测结果中特征点的预测遮挡状态进行修正。

在本发明实施例中，判断预测结果中特征点对应的重构残差是否超过预设的残差阈值，当不超过时，确定预测结果中该特征点的预测位置可靠，获取预测结果中该特征点对应的稀疏重构系数的非零项，根据这些非零项在特征点字典中对应的字典元素的遮挡信息，计算预测结果中该特征点的遮挡概率，用该遮挡概率替换预测结果中该特征点的预测遮挡状态，从而实现对预测结果中特征点预测位置的可靠性判断、以及特征点预测遮挡状态的修正。其中，遮挡概率的计算公式为w(y)为预测结果中特征点的遮挡概率，occ_sum为该特征点的稀疏重构系数中非零项在特征点字典中所对应字典元素的遮挡信息之和，m为该特征点的稀疏重构系数中非零项的数目。

在本发明实施例中，当预测结果中特征点对应的重构残差超过残差阈值时，确定该预测结果中该特征点的预测位置不可靠，根据剩余预测结果中该特征点可靠的预测位置，对该预测结果中该特征点不可靠的预测位置进行修正，从而对预测结果中特征点不可靠的预测位置进行修正。在根据剩余预测结果中该特征点可靠的预测位置，对预测结果中该特征点不可靠的预测位置进行修正时，可将剩余预测结果中该特征点可靠的预测位置进行排序，从排序后的预测位置中选取中间值，将预测结果中该特征点不可靠的预测位置设置为该中间值。

在本发明实施例中，当所有预测结果中该特征点的预测位置都不可靠时，从训练库中随机选择人脸形状，将随机选择的人脸形状设置为人脸图像的初始形状，跳转至通过级联姿态回归算法对初始形状进行级联回归的步骤，如此循环，直至在预测结果中得到该特征点可靠的预测位置，从而有效地提高人脸特征点定位的准确度和效果。

在本发明实施例中，从训练库中获取与用户输入的人脸图像相关的多个初始形状，通过级联回归算法对每个初始形状进行级联回归，获得每个初始形状对应的预测结果，根据特征点字典，计算每个预测结果中每个特征点对应的稀疏重构系数和重构残差，根据稀疏重构系数和重构残差，对每个预测结果中每个特征点的预测位置和预测遮挡状态进行修正，通过级联回归算法对修正后的每个预测结果进行级联回归，获得人脸图像每个特征点的位置和遮挡状态，从而有效地提高了对局部遮挡人脸图像上特征点的位置和遮挡状态进行检测的准确度和效果，进而提高了人脸特征点定位的准确度和效果。

在本发明实施例中，人脸特征点定位装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。

实施例三：

图4示出了本发明实施例三提供的图像处理设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。

本发明实施例的图像处理设备4包括处理器40、存储器41以及存储在存储器41中并可在处理器40上运行的计算机程序42。该处理器40执行计算机程序42时实现上述方法实施例中的步骤，例如图1所示的步骤s101至s105。或者，处理器40执行计算机程序42时实现上述装置实施例中各单元的功能，例如图2所示单元21至25的功能。

在本发明实施例中，从训练库中获取与用户输入的人脸图像相关的多个初始形状，通过级联回归算法对每个初始形状进行级联回归，获得每个初始形状对应的预测结果，根据特征点字典，计算每个预测结果中每个特征点对应的稀疏重构系数和重构残差，根据稀疏重构系数和重构残差，对每个预测结果中每个特征点的预测位置和预测遮挡状态进行修正，通过级联回归算法对修正后的每个预测结果进行级联回归，获得人脸图像每个特征点的位置和遮挡状态，从而有效地提高了对局部遮挡人脸图像上特征点的位置和遮挡状态进行检测的准确度和效果，进而提高了人脸特征点定位的准确度和效果。

实施例四：

在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法实施例中的步骤，例如，图1所示的步骤s101至s105。或者，该计算机程序被处理器执行时实现上述装置实施例中各单元的功能，例如图2所示单元21至25的功能。

在本发明实施例中，从训练库中获取与用户输入的人脸图像相关的多个初始形状，通过级联回归算法对每个初始形状进行级联回归，获得每个初始形状对应的预测结果，根据特征点字典，计算每个预测结果中每个特征点对应的稀疏重构系数和重构残差，根据稀疏重构系数和重构残差，对每个预测结果中每个特征点的预测位置和预测遮挡状态进行修正，通过级联回归算法对修正后的每个预测结果进行级联回归，获得人脸图像每个特征点的位置和遮挡状态，从而有效地提高了对局部遮挡人脸图像上特征点的位置和遮挡状态进行检测的准确度和效果，进而提高了人脸特征点定位的准确度和效果。

本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，rom/ram、磁盘、光盘、闪存等存储器。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。