】
[0023] 下面结合附图对本发明的技术方案进行详细说明。本发明公开了一种基于 An化oid平台的实时人脸关键点定位方法。
[0024] 如图1所示，本发明可分为学习定位和测试定位两个阶段，具体地说，包括如下步 骤：
[00巧]步骤1、训练集特征点的标注与标准化处理：本发明中设及的人脸标定点按照MPEG-4标准选取，由于人脸定义参数FDP定义的84个特征点过于繁杂，因此我们根据需要 选取了其中68个特征点，眼睛轮廓上的特征点也仅保留了八个（即双眼眼周上、下、左、右 各四个点）W提高运算效率。训练库取自MUCT和自标定的人脸图像，一共有大约四千幅人 脸图像，对运些人脸图像进行镜像对称处理，最终获得有八千幅人脸图像的训练集。
[0026] 步骤2、对样本图像形状进行标准化处理：由于图像中人脸形状的姿态通过大小尺 度，旋转角度，位置参数来描述，因此需要通过适当改变形状的姿态参数，包括大小，角度， 位置等来尽可能使所有的图像达到一致，例如尺度变换可W让标定点之间的距离固定，旋 转变换可W让标定点连线指向固定，位移变换使形状中屯、位置固定。首先我们求得所有训 练样本的平均脸玄，然后最小化输入样本S与夏之间的L2距离始s -MnSlla，： M MoS即为标准化的形状
[0027] 步骤3、组合训练样本集合{/，.，马，《抗，每个样本包含了一个训练图像、一个真实 形状和一个初始形状。随机选取训练集中的10个样本作为每一个训练样本的初始形状。W运种对一幅图片产生多个初始形状的方法无形地增加了训练样本的数量，同时也提高训练 的泛化性。
[002引步骤4、在标准化的人脸上的某一特定点上建立局部坐标系Ai=(Ax\Ayi)。对 于不同的训练样本，局部坐标系Ai是相同的。根据局部坐标系关键点的位置索引像素点。 上标1表示像素点所对应的具体标注点。然后将局部坐标系转换回原始图像全局坐标系提 取像素差特征碼。S+Msi。金。III表示从形状向量里提取第m个标注点的x，y坐标。每 一个弱学习器Rt的特征基于图像I和前一估计形状St1。在每个阶段回归器Rt中，随机生 成P个局部坐标系?(心^ 即定义了？个形状索引像素点。首先通过随机选取一个标注点 (第1。个标注点）生成每一个局部坐标系，然后W均匀分布的方式随机产生X-和Y-偏移。P个像素点一共会
[0029] 产生P2个像素差特征。
[0030] 步骤5、采用相关性分析方法选择适量的特征作为最终的特征。
[0031] 在产生了P2个特征后，带来新的挑战一一在巨大的特征空间里快速选取有效 的特征。"适量"意为选取出远小于P2的特征个数，运样利于较小计算复杂度，提高算法 的效率。本发明选取F/P2特征来建立良好的fern回归器。我们利用特征和回归目标 之间的相关性来选取特征。选取特征有W下两个原则：在fern里的每一个特征和回归 目标之间保持高度相关性；特征与特征之间的保持低相关，呈互补关系。用Y表示回归 目标，是一个N(样本数）行Nfp(标注点数）列的矩阵。X表示像素差特征，是一个N行 P2列的矩阵。我们的目标是在X矩阵的p2列中选出与Y矩阵高度相关的F列出来。既 然Y是矩阵，我们用W个从单元高斯得到的列向量投影U，将Y投影到一个列向量Yp"b 上：Yp"b=Yu。与投影目标最为相关的（PearsonCorrelation)特征即可被选取出来：
W多次投影重复F次即可得到F个适合的特征。运F个特征即 为所要选取出来的适量的特征。回归目标与像素差特征的相关性计算corHYpf。,，Pm-P。） 设计如下：
其中
[003引 0(PPn)二C0V(Pm,Pm) +C0V(P。，Pn)-2c0V(Pm,Pn)。运里相关性的计算由 两部分组成：目标-像素协方差和像素-像素协方差。因为形状索引特征在内部层级联回 归中是固定不变的，所W像素-像素协方差可W被提前计算得到然后在每个内部层中重复 使用。而对于原始回归器，我们只需要计算所有的目标-像素协方差来构成相关性，运里的 相关性与像素特征的个数成线性关系。因此，相关性计算复杂度从0(NP2)降到了0(NP)。 [0033] 步骤6、设置回归结构：采用2-level增强回归结构作为基本人脸配准框架（外部 层），在每一层外部层设置内部阶段回归器Rt(内部层）。内部层的弱学习器被称为原始回 归器。运里的内部和外部回归器具有一些相似性，但是他们的不同之处在于内部层的所有 阶段回归其中形状索引特征是保持不变的。
[0034] 步骤7、学习内部级联回归，内部级联回归包含K个原始回归器{Ti，...，rJ，即 ferns。运些原始回归器依次贪婪地拟合回归目标。每一个原始回归器处理上一个回归器遗 留下来的的残余。在每一次迭代过程中，运些残余被当做用来学习新的回归器的目标。计 算每一个阶段的回归器R
[0035] 步骤8、使用人脸检测的方法估计人脸窗口；根据训练好的回归模型预测人脸关 键点位置
【主权项】
1. 一种基于Android平台的实时人脸关键点定位方法，其特征在于构建一个基于回归 的非参形状模型，通过直接学习一个矢量回归函数来预测整个人脸的关键点，包括以下步 骤： 步骤1、收集训练图片集，并对训练集人脸图片标定关键点； 步骤2、计算每一个训练样本标准化目标：即为标准 化的的目标样本； 步骤3、组合训练样本集合{/,，九，每个样本包含了一个训练图像、一个真实形状 和一个初始形状；随机选取训练集中的n个样本作为每一个训练样本的初始形状； 步骤4、根据每一个关键点的位置提取形状索引特征； 步骤5、采用相关性分析方法选择适量的特征作为最终的特征；步骤6、设置回归结构：采用2-level增强回归结构作为基本人脸配准框架（外部层）， 在每一层外部层设置内部阶段回归器Rt (内部层）； 步骤7、计算每一个阶段的回归器Rt:步骤8、使用人脸检测的方法估计人脸窗口；根据训练好的回归模型预测人脸关键点
【专利摘要】本发明公开了一种基于Android平台的实时人脸关键点定位方法，属于计算机视觉技术领域。本发明方法包括以下步骤：收集人脸训练图片集，并标定关键点；随机选取训练集中的n个样本作为每一个训练样本的初始形状；计算每一个训练样本标准化目标；提取每一个关键点的形状索引特征；采用相关性分析方法选择适量的特征；采用两层增强回归结构(外部层和内部层)；计算每一个阶段的回归器；使用人脸检测的方法估计人脸窗口，根据训练好的回归模型预测人脸关键点位置。目前已有的方法计算复杂度较高，在移动平台上运行过慢；而且对噪声敏感，定位的精度低。本发明以样本的线性组合来约束形状，应用基于回归的方法提高了人脸关键点定位的精度和效率。
【IPC分类】G06K9/00
【公开号】CN105224935
【申请号】CN201510713055
【发明人】刘青山, 王东, 杨静, 邓健康
【申请人】南京信息工程大学
【公开日】2016年1月6日
【申请日】2015年10月28日