一种基于Android平台的实时人脸关键点定位方法
【技术领域】
[0001] 本发明设及计算机视觉技术领域，设及一种人脸关键点定位方法。
【背景技术】
[0002] 人脸检测和关键点定位技术作为计算机视觉研究的关键技术，目前已广泛应用于 智能监控、身份识别、表情分析等方面。人脸关键点定位是指在人脸图像中精确定位到人的 眼睛、嘴己、鼻子等特定的面部器官，并获取其几何参数，从而为表情分析或人脸识别等研 究提供准确的信息。
[0003]目前，人脸关键点的定位在计算机上已有较好的实现，实时性和准确性都很 高，代表性的工作有主动形状模型（Active化apeModel,ASM),贝叶斯切空间形状模型 炬ayesianTangent化耶eModel，BTSM)，主动外观模型（ActiveAppearanceModel，AAM)， 受约束的局部模型（ConstrainedLocalModel,化M)等等。但已有的算法计算复杂度较 高，在计算、存储能力有限的移动平台上鲜有应用。
[0004] 如今，在中国有几亿的智能终端（主要是手机，平板电脑）用户，智能终端逐渐成 为人们的信息载体。移动平台性能也得到了大幅提升，运就为移动平台上人脸特征点实时 定位跟踪提供了可能。但目前已有的人脸特征点定位跟踪算法普遍计算复杂度较高、内存 消耗较大、处理速度较慢，很难直接移植到移动平台。
【发明内容】
[0005] 为了解决上述问题，本发明公开了高效率、高精度的"显式形状回归"人脸关键点 定位方法，通过直接学习一个矢量回归函数来预测整个人脸的关键点。固有的形状约束被 自然地编码到我们的级联学习框架中，并且被由粗到细地应用在测试的过程中。本发明力 图在多个方面全面提升算法的性能，具体体现在特征选取和模型训练方面做了较大改进， 使算法运行效率大幅提升，并同时保证了定位的准确性，能够实现在移动平台上实时进行 人脸特征点的检测定位。
[0006] 本发明分为训练和测试两个阶段。训练阶段主要学习回归模型。区别于大部分回 归方法，本方法并不是用固定参数的形状模型。本发明通过直接学习一个矢量回归函数来 预测整个人脸的关键点，然后在训练集上显式地最小化定位误差。
[0007] 为了实现高效的回归，我们使用简单的像素差分特征，即在图像中的两个像素的 强度差。运样的特征计算复杂度非常小，就是根据关键点的位置和一个偏移量，取得该位置 的像素值，然后计算两个运样的像素的差值，从而得到了形状索引特征。该方法中采用的是 局部坐标而非全局坐标系，极大的增强了特征的鲁棒性。
[0008] 为了使像素差特征保持几何不变性，通过估计得到的形状来索引像素点。运里W 局部坐标来索引像素Ai= (Ax\Ayi)，1为标准化脸上的一个关键点。运样的索引方式 可W对尺度，旋转等变化保持不变性并且使得算法更加鲁棒。同时运种索引也可W帮助我 们在一些静态的点周围列举出更多有用的特征（比如眼睛中屯、的点要比鼻尖更暗，然而两 个眼睛的中屯、又是相似的）。在实际实现的过程中，我们把局部坐标系转换回原始图像的全 局坐标系中来得到形状索引像素点，然后在计算像素差特征。运样的方法使得测试阶段的 运行速度更快。设一个样本的估计形状为S。那么第m个关键点的位置通过III0S获取， 运里的jii从形状向量里得到第m个关键点的x，y坐标。A1为局部坐标系，那么在原始图 像上相应的全局坐标系可W表达为巧。《牛。么/。对于不同的样本A1是完全相同的，但 是用于提取底层像素点的全局坐标系会相应地调节来保证几何不变性。
[0009] 本发明使用了一个两级的增强回归器，即第一级10级，第二层500级。在运个二 级结构中，第一级中每个节点都是500个弱分类器的级联，也就是一个第二层的回归器。在 第二层回归器中，特征是保持不变，而在第一层中，特征是变化的。在第一层，每一个节点的 输出都是上一个节点的输入。都是在上一级估计的关键点上在取的特征。
[0010] 本发明采用一个两层的加强回归模式，即基本人脸关键点定位框架（外部层）和 阶段回归器Rt(内部层）级联模式。内部层阶段回归器又称作原始回归器。外部层与内部 层回归器的一个关键区别在于形状索引特征在内部层回归中是固定的。也就是特征只对应 于前一次估计的形状St1并且在当前原始回归器学习好之前保持不变。保持内部层回归中 的形状索引特征不变可W使训练阶段更加节省时间并且使得学习到的内部层回归器更加 稳定。在本发明中回归器的结构可W描述为T= 10，K= 500,即第一层（外部层）10级， 第二层（内部层）500级。在第一层中的每一个节点都是500个弱分类器的级联，也就是第 二层回归器。第一层每一个节点的输入都是上一个节点的输出。第二层回归器采用所谓的 fern结构。每一个fern是5个特征和阔值的组合，将特征空间分割成/个bins。
[0011] 每一个binb对应于一个回归输出yb:
，代表在第b 个bin中的样本。yb的最优解为
为了防止训练时的过拟合引入一个收缩因子
当bin中的样本数量足够大时beta影响较小，反之则会起到较低估计 值得幅度。
[0012] 原始回归器：本发明用fern代表原始回归器，一个fern是F个特征和阔值的组 合，将特征空间和所有训练样本划分到/个bin里面。每个bin与一个回归输出yb密切相 关。化表示训练样本的回归目标，那么一个bin的输出就是最小化落入运个bin的所有 训练样本到回归目标的均方距离
是在第b个bin中的样本。 它的最优解是对bin中的所有回归目标取均值；
％了避免过拟合引入一个 收缩因子P:
可W看出当训练样本数足够大的时候，收缩因子0 几乎没有影响，否则P会降低估计的量级。
[0013] 本专利完整的方法操作流程如下：
[0014] 步骤1、收集训练图片集，并对训练集人脸图片标定关键点；
[0015] 步骤2、计算每一个训练样本标准化目标
M0S即为标 准化的的目标样本；
[0016] 步骤3、组合训练样本集合{/,.，&，《措，每个样本包含了一个训练图像、一个真实 形状和一个初始形状；随机选取训练集中的n个样本作为每一个训练样本的初始形状；
[0017] 步骤4、根据每一个关键点的位置提取形状索引特征；
[0018] 步骤5、采用相关性分析方法选择适量的特征作为最终的特征；
[0019] 步骤6、设置回归结构：采用2-level增强回归结构作为基本人脸配准框架（外部 层），在每一层外部层设置内部阶段回归器Rt(内部层）；
[0020] 步骤7、计算每一个阶段的回归器Rt:
[0021] 步骤8、使用人脸检测的方法估计人脸窗口；根据训练好的回归模型预测人脸关 键点位置
【附图说明】
[0022] 图1是本发明基于Amlroid平台的实时人脸关键点定位方法的基本流程示意图。
【具体实施方式