一种人脸定位的方法与装置制造方法
【专利摘要】本发明公开了人脸定位的方法，包括通过摄像头获取用户原始图像；对所述用户原始图像经过粗略定位，得到人脸粗略定位图像；根据所述人脸粗略定位图像得到人脸检测区域信息，所述人脸检测区域信息包括人脸各部位位置信息；根据所述人脸检测区域信息，通过局部形状拟合方法得到精确的人脸各部位形状。还公开了人脸定位的装置。本发明减小了计算的复杂性，提高了拟合精度。
【专利说明】一种人脸定位的方法与装置
【技术领域】
[0001]本发明涉及人机交互【技术领域】，尤其涉及一种人脸定位的方法与装置。
【背景技术】
[0002]在人机交互领域中，对使用者人脸的检测定位技术起着至关重要的作用。
[0003]现有的人脸定位技术大部分采用独立的模块运行，而不是采用统一框架进行处理。在人脸特征点定位技术方面，现有技术主要采用ASM (Active Shape Model,活动形状模型)模型及其改进模型，其拟合的精度较低。
【发明内容】
[0004]本发明提供了一种人脸定位的方法与装置，提高了拟合精度。
[0005]本发明提供了一种人脸定位的方法，包括:
通过摄像头获取用户原始图像；
对所述用户原始图像经过粗略定位，得到人脸粗略定位图像；
根据所述人脸粗略定位图像得到人脸检测区域信息，所述人脸检测区域信息包括人脸各部位位置信息；
根据所述人脸检测区域信息，通过局部形状拟合方法得到精确的人脸各部位形状。
[0006]较优的，所述根据所述人脸粗略定位图像得到人脸检测区域信息，所述人脸检测区域信息包括人脸各部位位置信息，具体包括:
将所述人脸粗略定位图像划分为若干个子窗口；
计算每个子窗口的图像方差值，将所述每个子窗口的图像方差值与预设的方差阈值进行比较，如果小于所述方差阈值则认定该子窗口包含目标区域，接收该子窗口，反之则否决该子窗口 ；
将上一步通过的子窗口通过在线学习分类器，得到通过所述在线学习分类器的子窗
Π ；
将通过上一步骤输出的子窗口进行NMS处理，得到人脸检测区域信息。
[0007]较优的，所述将上一步通过的子窗口通过在线学习分类器，得到通过所述在线学习分类器的子窗口，具体包括:
计算通过上一步骤的子窗口的随机森林分类器的后验概率，如果所述后验概率大于预设的概率阈值则接收该子窗口，反之则否决该子窗口 ；
计算通过上一步骤的子窗口与NCC分类器样本库中的目标模板的匹配系数，当所述匹配系数大于预设的系数阈值则接收该子窗口，反之则否决该子窗口。
[0008]较优的，局部形状拟合方法具体为监督的序列拟合方法，所述监督的序列拟合方法具体为:
步骤a:根据人脸检测区域信息提取人脸各部位形状，该形状作为人脸各部位形状初始值； 步骤b:根据当前人脸各部位形状的标定点提取当前特征描述符，若干个当前特征描述符组成当前特征描述矢量；
步骤c:以所述当前特征描述矢量为索引号，在更新矩阵库中查找对应的更新矩阵，根据所述对应的更新矩阵更新当前人脸各部位形状，将步骤b中的当前人脸各部位形状替代为该更新当前人脸各部位形状；
步骤d:判断是否大于预设的最大迭代步数，或者最近两次形状误差向量范数误差小于预设向量范数误差阈值，否则返回步骤b，是则进入步骤e ；
步骤e:得到精确的人脸各部位形状。
[0009]较优的，还包括:
根据所述精确的人脸各部位形状，通过结构学习方法得到人脸各部位目标函数；
对所述人脸各部位目标函数进行优化，得到最优的人脸各部位位置。
[0010]较优的，还包括:
根据最优的人脸各部位位置，跟踪连续两帧中人脸各部位的运动位置；
根据所述人脸各部位的运动位置，更新所述在线学习分类器。
[0011]本发明还提供了一种人脸定位的装置，包括:
获取图像模块，用于通过摄像头获取用户原始图像，将所述用户原始图像发送给粗略定位模块；
粗略定位模块，与所述获取图像模块相连，用于对所述用户原始图像经过粗略定位，得到人脸粗略定位图像，并将所述人脸粗略定位图像发送给检测区域模块；
检测区域模块，与所述粗略定位模块相连，用于根据所述人脸粗略定位图像得到人脸检测区域信息，所述人脸检测区域信息包括人脸各部位位置信息；
拟合模块，与所述检测区域模块相连，用于根据所述人脸检测区域信息，通过局部形状拟合方法得到精确的人脸各部位形状。
[0012]较优的，所述检测区域模块具体包括:
滑动窗口模块，用于将所述人脸粗略定位图像划分为若干个子窗口 ；
方差滤波模块，与所述滑动窗口模块相连，用于计算每个子窗口的图像方差值，将所述每个子窗口的图像方差值与预设的方差阈值进行比较，如果小于所述方差阈值则认定该子窗口包含目标区域，接收该子窗口，反之则否决该子窗口 ；
在线学习模块，与所述方差滤波模块相连，用于将上一步通过的子窗口通过在线学习分类器，得到通过所述在线学习分类器的子窗口；
WS模块，与所述在线学习模块相连，用于将通过上一步骤输出的子窗口进行WS处理，得到人脸检测区域信息。
[0013]较优的，还包括:
优化模块，与所述拟合模块相连，用于根据所述精确的人脸各部位形状，通过结构学习方法得到人脸各部位目标函数，对所述人脸各部位目标函数进行优化，得到最优的人脸各部位位置。
[0014]较优的，还包括:
在线更新模块，与所述优化模块相连，用于根据所述最优的人脸各部位位置，跟踪连续两帧中人脸各部位的运动位置，并根据所述人脸各部位的运动位置，更新在线学习分类器。[0015]本发明实施上述实施例，通过摄像头采集用户图像、根据人脸粗略定位图像得到人脸检测区域信息，再根据人脸检测区域信息，通过局部形状拟合方法得到精确的人脸各部位形状，提闻了拟合的精度。
【专利附图】
【附图说明】
[0016]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0017]图1是本发明实施例的一种人脸定位的方法流程示意图；
图2是本发明一种人脸定位的方法的另一实施例的流程示意图；
图3是本发明一种人脸定位的方法的再一实施例的流程示意图；
图4是本发明实施例的一种人脸定位的装置的结构示意图；
图5是本发明一种人脸定位的装置的另一实施例的结构示意图；
图6是本发明实施例的更新矩阵库子模块的结构示意图。
【具体实施方式】
[0018]为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。
[0019]请参阅图1示出的本发明实施例的一种人脸定位的方法流程示意图，包括:
步骤SlOl:通过摄像头获取用户原始图像。
[0020]具体的，获取用户原始图像后，对用户原始图像进行预处理，预处理包括噪声去除，光照均衡等预处理。
[0021]步骤S102:对用户原始图像经过粗略定位，得到人脸粗略定位图像。
[0022]具体的，对用户原始图像通过Haar和AdaBoost算法完成人脸的粗略检测定位，然后基于人脸的肤色分布特征，应用肤色滤波器消除误检的区域并裁剪检测的人脸区，得到人脸粗略定位图像。
[0023]步骤S103:根据人脸粗略定位图像得到人脸检测区域信息，人脸检测区域信息包括人脸各部位位置信息。
[0024]具体的，将人脸粗略定位图像划分为若干个子窗口，计算每个子窗口的图像方差值，将该每个子窗口的图像方差值与预设的方差阈值进行比较，如果小于方差阈值则认定该子窗口包含目标区域，接收该子窗口，反之则否决该子窗口，将上一步通过的子窗口通过在线学习分类器，得到通过所述在线学习分类器的子窗口，将通过上一步骤输出的子窗口进行NMS (Non-maximal Suppression,非最大抑制)处理,得到人脸检测区域信息。人脸各部位位置信息包括左眼位置信息,右眼位置信息,鼻子位置信息和嘴部位置信息。
[0025]步骤S104:根据人脸检测区域信息，通过局部形状拟合方法得到精确的人脸各部位形状。
[0026]具体的，局部形状拟合方法具体为SSM (Supervised Sequence Method,监督的序列拟合方法)方法。人脸各部位形状包括左眼形状信息，右眼形状信息，鼻子形状信息和嘴部形状信息。
[0027]本发明实施上述实施例，通过摄像头采集用户图像、根据人脸粗略定位图像得到人脸检测区域信息，再根据人脸检测区域信息，通过局部形状拟合方法得到精确的人脸各部位形状，提闻了拟合的精度。
[0028]下面结合图2示出的本发明一种人脸定位的方法的另一实施例的流程示意图，进一步详细说明本发明实施例的一种人脸定位的方法。
[0029]步骤S201:通过摄像头获取用户原始图像。
[0030]具体的，获取用户原始图像后，对用户原始图像进行预处理，预处理包括噪声去除，光照均衡等预处理。
[0031]步骤S202:对用户原始图像经过粗略定位，得到人脸粗略定位图像。
[0032]具体的，对用户原始图像通过Haar和AdaBoost算法完成人脸的粗略检测定位，然后基于人脸的肤色分布特征，应用肤色滤波器消除误检的区域并裁剪检测的人脸区，得到人脸粗略定位图像。
[0033]步骤S203:根据人脸粗略定位图像得到人脸检测区域信息，人脸检测区域信息包括人脸各部位位置信息。
[0034]具体的，将人脸粗略定位图像划分为若干个子窗口，计算每个子窗口的图像方差值，将该每个子窗口的图像方差值与预设的方差阈值进行比较，如果小于方差阈值则认定该子窗口包含目标区域，接收该子窗口，反之则否决该子窗口，将上一步通过的子窗口通过在线学习分类器，得到通过所述在线学习分类器的子窗口，将通过上一步骤输出的子窗口进行匪S处理，得到人脸检测区域信息。人脸各部位位置信息包括左眼位置信息，右眼位置信息，鼻子位置信息和嘴部位置信息。在线学习分类器包括随机森林分类器和NCC(Normalized Cross Correlation,正则协相关)分类器。
[0035]步骤S204:根据人脸检测区域信息，通过局部形状拟合方法得到精确的人脸各部位形状。
[0036]具体的，局部形状拟合方法具体为SSM方法。人脸各部位形状包括左眼形状信息，右眼形状信息，鼻子形状信息和嘴部形状信息。
[0037]步骤S205:根据该精确的人脸各部位形状，通过结构学习方法得到人脸各部位目标函数。
[0038]具体的，该结构学习方法具体为SSVM (Structured Support Vector Machine,结构支持向量机)方法。
[0039]步骤S206:对人脸各部位目标函数进行优化，得到最优的人脸各部位位置。
[0040]具体的，通过S⑶(Stochastic Gradient Descent,随机梯度下降)算法对人脸各部位目标函数进行优化，得到最优的人脸各部位位置。
[0041]步骤S207:根据最优的人脸各部位位置，跟踪连续两帧中人脸各部位的运动位置，并根据人脸各部位的运动位置，更新在线学习分类器。
[0042]具体的，根据最优的人脸各部位位置，应用前后向光流跟踪法跟踪连续两帧中人脸各部位的运动位置，根据当前跟踪人脸各部位的运动位置和各个子窗口的覆盖比例、后验概率得到人脸各部位的正负样，基于得到的人脸各部位的正负样本，选取置信度最高的若干个样本计算其正负样本的特征，然后更新所述随机森林分类器的先验概率，将得到的人脸各部位的正负样本加入NCC分类器的样本库，更新NCC分类器的样本库。
[0043]本发明实施上述实施例，通过摄像头采集用户图像、采用滑动窗口的方法，通过在线学习分类器以及采用匪S算法，滑动窗口本身的特性决定了该方法可以采用并行编程技术实现加速功能，而且采用的滤波器和分类器都不涉及复杂的运算，保证程序得鲁棒性的同时减小了计算的复杂性，并且对人脸各部位特征拟合，人脸各部位位置优化以及对人脸各部位跟踪可以使人脸定位更精确，鲁棒性更高。
[0044]下面结合图3示出的本发明一种人脸定位的方法的再一实施例的流程示意图，进一步详细说明本发明实施例的一种人脸定位的方法。
[0045]步骤S301:通过摄像头获取用户原始图像。
[0046]具体的，获取用户原始图像后，对用户原始图像进行预处理，预处理包括噪声去除，光照均衡等预处理。
[0047]步骤S302:对用户原始图像经过粗略定位，得到人脸粗略定位图像。
[0048]具体的，对用户原始图像通过Haar和AdaBoost算法完成人脸的粗略检测定位，然后基于人脸的肤色分布特征，应用肤色滤波器消除误检的区域并裁剪检测的人脸区，得到人脸粗略定位图像。
[0049]步骤S303:将人脸粗略定位图像划分为若干个子窗口。
[0050]步骤S304:计算每个子窗口的图像方差值，将每个子窗口的图像方差值与预设的方差阈值进行比较，如果小于该方差阈值则将该认定该子窗口包含目标区域，接收该子窗口，反之则否决该子窗口。
[0051]步骤S305:计算通过步骤S304的子窗口的随机森林分类器的后验概率，如果该后验概率大于预设的概率阈值则接收该子窗口，反之则否决该子窗口。
[0052]具体的，该随机森林分类器由13颗决策树构成，每颗决策树的特征由每一个子窗口的随机的10个图像块亮度值相互比较得到，该随机森林分类器后验概率是13颗决策树后验概率的均值。该随机森林分类器的先验概率分布会在跟踪人脸后得到实时更新，以实现对目标外形变化、纹理变化的自适应性，根据先验概率和决策树特征得到后验概率。
[0053]步骤S306:计算通过步骤S305的子窗口与NCC分类器样本库中的目标模板的匹配系数，当该匹配系数大于预设的系数阈值则接收该子窗口，反之则否决该子窗口。
[0054]具体的，该NCC分类器样本库会在跟踪人脸后实时更新，完成对跟踪目标的准确描述。
[0055]步骤S307:将步骤S306输出的子窗口进行匪S处理，得到人脸检测区域信息。
[0056]具体的，该人脸检测区域信息至少包括人脸中左眼、右眼、鼻子和嘴的位置信息。
[0057]在以下的实施例中，以人脸检测区域中的左眼为例，来说明人脸各个部位拟合的过程。
[0058]步骤S308:根据人脸左眼的位置信息通过PCA(Principal Component Analysis,主成分分析)算法提取左眼形状，该左眼形状为初始值。
[0059]步骤S309:根据左眼形状的标定点提取特征描述符，若干个特征描述符组成特征
描述矢量。
[0060]具体的，可以利用SIFT (Scale Invariant Feature,尺度不变特征)算法或其变种算法来提取当前特征描述符。[0061]步骤S310:计算左眼形状与预设的真实形状的差值向量。
[0062]步骤S311:根据步骤S309中的特征描述矢量和步骤S310中的差值向量，得到更新矩阵。
[0063]具体的，根据步骤S309中的特征描述矢量和步骤S310中的差值向量以及待求的更新矩阵，组成关于2范数的误差函数，通过线性最小二乘方法优化该误差函数，求解得到更新矩阵。
[0064]步骤S312:将步骤309中的左眼形状通过步骤S311得到的更新矩阵，得到更新后的左眼形状，并提取更新后的左眼形状的特征描述矢量，以更新后的左眼形状的特征描述矢量为索引号与步骤S311得到的更新矩阵一一对应的存储在本地；将步骤S309左眼形状替代为更新后的左眼形状。
[0065]步骤S313:判断是否大于预设的最大更新矩阵库的迭代步数，或者最近两次更新矩阵范数误差小于预设矩阵范数误差阈值，否则返回步骤S309，是则进入步骤S314。
[0066]步骤S314:得到更新矩阵库，该更新矩阵库由索引号和更新矩阵一一对应组成。
[0067]步骤S315:根据当前左眼形状的标定点提取当前特征描述符，若干个当前特征描述符组成当前特征描述矢量。
[0068]具体的，当前左眼形状初始值为步骤S308中的左眼形状。
[0069]步骤S316:以当前特征描述矢量为索引号，在更新矩阵库中查找对应的更新矩阵，根据对应的更新矩阵更新当前左眼形状，将步骤S315中的当前左眼形状替代为该更新当前左眼形状。
[0070]步骤S317:判断是否大于预设的最大迭代步数，或者最近两次形状误差向量范数误差小于预设向量范数误差阈值，否则返回步骤S315，是则进入步骤S318。
[0071]步骤S318:得到精确的左眼形状。
[0072]具体的，根据上述实施例的描述，同样可以得到精确的右眼形状、精确的鼻子形状、精确的嘴部形状。上述方法在拟合过程中仅涉及查找和矩阵矢量积运算，且人脸各个部位的拟合以及特征描述矢量提取过程可以进行并行处理，因此满足实时性要求，此外，由于样本库的丰富性、特征描述矢量的抗尺度变化、旋转变化等能力，很大程度上提高了拟合的精度和实时性。
[0073]步骤S319:根据精确的左眼形状，提取左眼特征信息，组成左眼特征矢量。
[0074]具体的，本发明实施例采用HOG (Histogram of Oriented Gradient,梯度方向直方图)算法将左眼特征信息组成左眼特征矢量，并采用线性降维对左眼特征矢量进行降维。
[0075]步骤S320:选取某个部位为锚点，得到左眼与该部位之间的距离特征矢量。
[0076]具体的，以鼻子作为锚点，计算左眼与鼻子的像素差值和差的平方作为左眼与该部位之间的距离特征矢量。
[0077]步骤S321:步骤319得到的左眼特征矢量与步骤320得到的距离特征矢量作为特征映射函数，得到左眼目标函数。
[0078]具体的，特征映射函数通过SSVM结构算法得到目标函数。
[0079]步骤S322:对左眼目标函数进行优化，得到最优的左眼部位位置。
[0080]具体的，通过S⑶算法对目标函数进行优化，得到最优的部位位置。
[0081]同理，实施上述的方法，也可以得到最优的右眼部位位置，最优的鼻子部位位置及最优的嘴部部位位置。而且，通过对人脸各部位特征点局部拟合调整，以人脸部位为单位完成对4个部位的位置全局调整，满足人脸各部位的相对位置约束关系(即形状约束)，采用以部位为单位，以SGD为数值优化方法，为算法的有效性、鲁棒性以及实时性提供了保障。
[0082]步骤S323:根据最优的左眼部位位置，应用前后向光流跟踪法跟踪连续两帧中左眼的运动位置。
[0083]步骤S324:根据当前跟踪左眼的运动位置和各个子窗口的覆盖比例、后验概率得到人脸中左眼的正负样本。
[0084]步骤S325:基于得到的左眼的正负样本，选取置信度最高的若干个样本计算其正负样本的特征，然后更新随机森林分类器的先验概率。
[0085]步骤S326:将得到的左眼的正负样本加入NCC分类器的样本库，更新该NCC分类器的样本库。
[0086]本发明实施上述实施例，通过摄像头采集用户图像、采用滑动窗口的方法，依次通过方差滤波器、随机森林分类器、NCC分类器以及采用匪S算法，滑动窗口本身的特性决定了该方法可以采用并行编程技术实现加速功能，而且采用的滤波器和分类器都不涉及复杂的运算，保证程序得鲁棒性的同时减小了计算的复杂性，并且对人脸各部位特征拟合，人脸各部位位置优化以及对人脸各部位跟踪可以使人脸定位更精确，鲁棒性更高。
[0087]下面结合图4示出的本发明实施例的一种人脸定位的装置的结构示意图，进一步详细说明本发明实施例该装置的结构。
[0088]获取图像模块401，用于通过摄像头获取用户原始图像，将该用户原始图像发送给粗略定位模块402。
[0089]具体的，获取用户原始图像后，对用户原始图像进行预处理，预处理包括噪声去除，光照均衡等预处理。
[0090]粗略定位模块402，与获取图像模块401相连，用于对用户原始图像经过粗略定位，得到人脸粗略定位图像，并将该人脸粗略定位图像发送给检测区域模块403。
[0091]具体的，对用户原始图像通过Haar和AdaBoost算法完成人脸的粗略检测定位，然后基于人脸的肤色分布特征，应用肤色滤波器消除误检的区域并裁剪检测的人脸区，得到人脸粗略定位图像。
[0092]检测区域模块403，与粗略定位模块402相连，用于根据人脸粗略定位图像得到人脸检测区域信息，人脸检测区域信息包括人脸各部位位置信息。
[0093]具体的，检测区域模块403具体包括:
滑动窗口模块4031，用于将人脸粗略定位图像划分为若干个子窗口。
[0094]方差滤波模块4032，与滑动窗口模块4031相连，用于计算每个子窗口的图像方差值，将所述每个子窗口的图像方差值与预设的方差阈值进行比较，如果小于所述方差阈值则认定该子窗口包含目标区域，接收该子窗口，反之则否决该子窗口。
[0095]在线学习模块4033，与方差滤波模块4032相连，用于将上一步通过的子窗口通过在线学习分类器，得到通过所述在线学习分类器的子窗口。
[0096]匪S模块4034，与在线学习模块4033相连，用于将通过上一步骤输出的子窗口进行WS处理，得到人脸检测区域信息。
[0097]具体的，人脸各部位位置信息包括左眼位置信息，右眼位置信息，鼻子位置信息和嘴部位置信息。
[0098]拟合模块404，与检测区域模块403相连，用于根据人脸检测区域信息，通过局部形状拟合方法得到精确的人脸各部位形状。
[0099]具体的，局部形状拟合方法具体为SSM方法。人脸各部位形状包括左眼形状信息，右眼形状信息，鼻子形状信息和嘴部形状信息。
[0100]该装置还包括:
优化模块405，与拟合模块404相连，用于根据该精确的人脸各部位形状，通过结构学习方法得到人脸各部位目标函数，对人脸各部位目标函数进行优化，得到最优的人脸各部位位置。
[0101]具体的，通过SGD算法对人脸各部位目标函数进行优化，得到最优的人脸各部位位置。
[0102]在线更新模块406，与优化模块405相连，用于根据最优的人脸各部位位置，跟踪连续两帧中人脸各部位的运动位置，并根据人脸各部位的运动位置，更新在线学习分类器。
[0103]具体的，根据最优的人脸各部位位置，应用前后向光流跟踪法跟踪连续两帧中人脸各部位的运动位置，根据当前跟踪人脸各部位的运动位置和各个子窗口的覆盖比例、后验概率得到人脸各部位的正负样，基于得到的人脸各部位的正负样本，选取置信度最高的若干个样本计算其正负样本的特征，然后更新所述随机森林分类器的先验概率，将得到的人脸各部位的正负样本加入NCC分类器的样本库，更新NCC分类器的样本库。
[0104]本发明实施上述实施例，通过摄像头采集用户图像、根据人脸粗略定位图像得到人脸检测区域信息，再根据人脸检测区域信息，通过局部形状拟合方法得到精确的人脸各部位形状，提闻了拟合的精度。
[0105]下面结合图5示出的本发明一种人脸定位的装置的另一实施例的结构示意图，进一步详细说明本发明实施例该装置的结构。
[0106]获取图像模块501，用于通过摄像头获取用户原始图像，将该用户原始图像发送给粗略定位模块502。
[0107]具体的，获取用户原始图像后，对用户原始图像进行预处理，预处理包括噪声去除，光照均衡等预处理。
[0108]粗略定位模块502，与获取图像模块501相连，用于对用户原始图像经过粗略定位，得到人脸粗略定位图像，并将该人脸粗略定位图像发送给滑动窗口模块503。
[0109]具体的，对用户原始图像通过Haar和AdaBoost算法完成人脸的粗略检测定位，然后基于人脸的肤色分布特征，应用肤色滤波器消除误检的区域并裁剪检测的人脸区，得到人脸粗略定位图像。
[0110]滑动窗口模块503，与粗略定位模块502相连，用于将该人脸粗略定位图像划分为若干个子窗口。
[0111]方差滤波模块504，与滑动窗口模块503相连，用于计算每个子窗口的图像方差值，将每个子窗口的图像方差值与预设的方差阈值进行比较，如果小于该方差阈值则将该认定该子窗口包含目标区域，接收该子窗口，反之则否决该子窗口，将通过的子窗口发送给随机森林分类器505。
[0112]随机森林分类器505,与方差滤波模块504相连,用于计算通过方差滤波模块504的子窗口的随机森林分类器的后验概率，如果该后验概率大于预设的概率阈值则接收该子窗口，反之则否决该子窗口，将通过的子窗口发送给NCC分类器506。
[0113]具体的，该随机森林分类器由13颗决策树构成，每颗决策树的特征由每一个子窗口的随机的10个图像块亮度值相互比较得到，该随机森林分类器后验概率是13颗决策树后验概率的均值。该随机森林分类器的先验概率分布会在跟踪人脸后得到实时更新，以实现对目标外形变化、纹理变化的自适应性，根据先验概率和决策树特征得到后验概率。
[0114]NCC分类器506，与随机森林分类器505相连，用于计算通过随机森林分类器305的子窗口与NCC分类器样本库中的目标模板的匹配系数，当该匹配系数大于预设的系数阈值则接收该子窗口，反之则否决该子窗口。
[0115]具体的，该NCC分类器样本库会在跟踪人脸后实时更新，完成对跟踪目标的准确描述。
[0116]匪S模块507，与NCC分类器506相连，用于将通过NCC分类器506的子窗口进行WS处理，得到人脸检测区域信息。
[0117]具体的，该人脸检测区域信息至少包括人脸中左眼、右眼、鼻子和嘴的位置信息。
[0118]该装置还包括:
人脸各部位特征拟合模块508，与NMS模块507相连，还包括 第一提取子模块5081，用于根据人脸检测区域信息提取人脸各部位形状。
[0119]第一特征描述矢量子模块5082，用于根据当前人脸各部位形状的标定点提取当前特征描述符，若干个当前特征描述符组成当前特征描述矢量。
[0120]第一更新子模块5083，用于以当前特征描述矢量为索引号，在更新矩阵库中查找对应的更新矩阵，根据对应的更新矩阵更新当前人脸各部位形状。
[0121]第一判断子模块5084，用于判断是否大于预设的最大迭代步数，或者最近两次形状误差向量范数误差小于预设向量范数误差阈值，否则将更新当前人脸各部位形状返回第一特征描述矢量子模块5082作为当前人脸各部位形状，是则将更新当前人脸各部位形状发送给第一结果子模块5085 ；
第一结果子模块5085，用于得到精确的人脸各部位形状。
[0122]如图6所示，其中人脸各部位特征拟合模块508还包括更新矩阵库子模块5086，具体包括:
第二提取子模块50861，用于根据人脸检测区域信息提取人脸各部位形状。
[0123]第二特征描述矢量子模块50862，用于根据人脸各部位形状的标定点提取特征描述符，若干个特征描述符组成特征描述矢量。
[0124]计算子模块50863，用于计算人脸各部位形状与预设的真实形状的差值向量。
[0125]更新矩阵子模块50864，用于根据第二特征描述矢量子模块50862中的特征描述矢量和计算子模块50863中的差值向量，得到更新矩阵。
[0126]第二更新子模块50865，用于将第二特征描述矢量子模块50862中的人脸各部位形状通过更新矩阵子模块50864得到的更新矩阵，得到更新后的人脸各部位形状，并提取更新后的人脸各部位形状的特征描述矢量，以更新后的人脸各部位形状的特征描述矢量为索引号与更新矩阵子模块30864得到的更新矩阵一一对应的存储在本地。
[0127]第二判断子模块50866，用于判断是否大于预设的最大更新矩阵库的迭代步数，或者最近两次更新矩阵范数误差小于预设矩阵范数误差阈值，否则将更新后的人脸各部位形状返回第二特征描述矢量子模块50862作为人脸各部位形状，是则将存储在本地的更新矩阵及索引号发送给第二结果子模块50867。
[0128]第二结果子模块50867，用于得到更新矩阵库，该更新矩阵库由索引号和更新矩阵——对应组成。
[0129]该装置还包括:
人脸各部位位置优化模块509，与人脸各部位特征拟合模块508相连，用于根据精确的人脸各部位均值形状，提取人脸各部位特征信息，组成人脸各部位特征矢量，选取某个部位为锚点，得到人脸各部位与该部位之间的距离特征矢量，人脸各部位特征矢量与距离特征矢量作为特征映射函数，得到人脸各部位目标函数，对人脸各部位目标函数进行优化，得到最优的人脸各部位位置。
[0130]人脸各部位跟踪模块510，人脸各部位位置优化模块509相连，用于根据最优的人脸各部位位置，应用前后向光流跟踪法跟踪连续两帧中人脸各部位的运动位置，根据当前跟踪人脸各部位的运动位置和各个子窗口的覆盖比例、后验概率得到人脸各部位的正负样本，基于得到的人脸各部位的正负样本，选取置信度最高的若干个样本计算其正负样本的特征，然后更新随机森林分类器的先验概率，将得到的人脸各部位的正负样本加入NCC分类器的样本库，更新NCC分类器的样本库。
[0131]本发明实施上述实施例，通过摄像头采集用户图像、采用滑动窗口的方法，依次通过方差滤波器、随机森林分类器、NCC分类器以及采用匪S算法，滑动窗口本身的特性决定了该方法可以采用并行编程技术实现加速功能，而且采用的滤波器和分类器都不涉及复杂的运算，保证程序得鲁棒性的同时减小了计算的复杂性，并且对人脸各部位特征拟合，人脸各部位位置优化以及对人脸各部位跟踪可以使人脸定位更精确，鲁棒性更高。
[0132]需要说明的是，通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施。基于这样的理解，本发明的技术方案对【背景技术】做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如R0M/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
[0133]以上所揭露的仅为本发明实施例中的较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
【权利要求】
1.一种人脸定位的方法，其特征在于，包括: 通过摄像头获取用户原始图像； 对所述用户原始图像经过粗略定位，得到人脸粗略定位图像； 根据所述人脸粗略定位图像得到人脸检测区域信息，所述人脸检测区域信息包括人脸各部位位置信息； 根据所述人脸检测区域信息，通过局部形状拟合方法得到精确的人脸各部位形状。
2.如权利要求1所述的方法，其特征在于，所述根据所述人脸粗略定位图像得到人脸检测区域信息，所述人脸检测区域信息包括人脸各部位位置信息，具体包括: 将所述人脸粗略定位图像划分为若干个子窗口； 计算每个子窗口的图像方差值，将所述每个子窗口的图像方差值与预设的方差阈值进行比较，如果小于所述方差阈值则认定该子窗口包含目标区域，接收该子窗口，反之则否决该子窗口 ； 将上一步通过的子窗口通过在线学习分类器，得到通过所述在线学习分类器的子窗Π ； 将通过上一步骤输出的子窗口进行NMS处理，得到人脸检测区域信息。
3.如权利要求2所述的方法，其特征在于，所述将上一步通过的子窗口通过在线学习分类器，得到通过所述在线学习分类器的子窗口，具体包括: 计算通过上一步骤的子窗口的`随机森林分类器的后验概率，如果所述后验概率大于预设的概率阈值则接收该子窗口，反之则否决该子窗口 ； 计算通过上一步骤的子窗口与NCC分类器样本库中的目标模板的匹配系数，当所述匹配系数大于预设的系数阈值则接收该子窗口，反之则否决该子窗口。
4.如权利要求1所述的方法，其特征在于，所述局部形状拟合方法具体为监督的序列拟合方法，所述监督的序列拟合方法具体为: 步骤a:根据人脸检测区域信息提取人脸各部位形状，该形状作为人脸各部位形状初始值； 步骤b:根据当前人脸各部位形状的标定点提取当前特征描述符，若干个当前特征描述符组成当前特征描述矢量； 步骤c:以所述当前特征描述矢量为索引号，在更新矩阵库中查找对应的更新矩阵，根据所述对应的更新矩阵更新当前人脸各部位形状，将步骤b中的当前人脸各部位形状替代为该更新当前人脸各部位形状； 步骤d:判断是否大于预设的最大迭代步数，或者最近两次形状误差向量范数误差小于预设向量范数误差阈值，否则返回步骤b，是则进入步骤e ； 步骤e:得到精确的人脸各部位形状。
5.如权利要求2或3所述的方法，其特征在于，还包括: 根据所述精确的人脸各部位形状，通过结构学习方法得到人脸各部位目标函数； 对所述人脸各部位目标函数进行优化，得到最优的人脸各部位位置。
6.如权利要求5所述的方法，其特征在于，还包括: 根据最优的人脸各部位位置，跟踪连续两帧中人脸各部位的运动位置； 根据所述人脸各部位的运动位置，更新所述在线学习分类器。
7.—种人脸定位的装置，其特征在于，包括: 获取图像模块，用于通过摄像头获取用户原始图像，将所述用户原始图像发送给粗略定位模块； 粗略定位模块，与所述获取图像模块相连，用于对所述用户原始图像经过粗略定位，得到人脸粗略定位图像，并将所述人脸粗略定位图像发送给检测区域模块； 检测区域模块，与所述粗略定位模块相连，用于根据所述人脸粗略定位图像得到人脸检测区域信息，所述人脸检测区域信息包括人脸各部位位置信息； 拟合模块，与所述检测区域模块相连，用于根据所述人脸检测区域信息，通过局部形状拟合方法得到精确的人脸各部位形状。
8.如权利要求7所述的装置，其特征在于，所述检测区域模块具体包括: 滑动窗口模块，用于将所述人脸粗略定位图像划分为若干个子窗口 ； 方差滤波模块，与所述滑动窗口模块相连，用于计算每个子窗口的图像方差值，将所述每个子窗口的图像方差值与预设的方差阈值进行比较，如果小于所述方差阈值则认定该子窗口包含目标区域，接收该子窗口，反之则否决该子窗口 ； 在线学习模块，与所述方差滤波模块相连，用于将上一步通过的子窗口通过在线学习分类器，得到通过所述在线学习分类器的子窗口 ； WS模块，与所述在线学习模块相连，用于将通过上一步骤输出的子窗口进行WS处理，得到人脸检测区域信 息。
9.如权利要求8所述的装置，其特征在于，还包括: 优化模块，与所述拟合模块相连，用于根据所述精确的人脸各部位形状，通过结构学习方法得到人脸各部位目标函数，对所述人脸各部位目标函数进行优化，得到最优的人脸各部位位置。
10.如权利要求9所述的装置，其特征在于，还包括: 在线更新模块，与所述优化模块相连，用于根据所述最优的人脸各部位位置，跟踪连续两帧中人脸各部位的运动位置，并根据所述人脸各部位的运动位置，更新在线学习分类器。
【文档编号】G06K9/66GK103593654SQ201310560912
【公开日】2014年2月19日 申请日期:2013年11月13日 优先权日:2013年11月13日
【发明者】邓川云, 林天麟 申请人:智慧城市系统服务（中国）有限公司