人脸关键点的定位方法和装置的制造方法
【技术领域】
[0001] 本发明涉及人脸识别技术领域，更具体地，涉及一种通过采用多个人脸定位模型 来对人脸关键点进行定位的方法和装置。
【背景技术】
[0002] 人脸关键点定位技术的目的是在输入的人脸图片上，以人脸检测给出的初始位置 为基础，获取一系列关键点（眼角、嘴角、鼻尖等）的几何位置。该技术在人脸识别、照片美 化、人脸动画等相关应用中起到核心作用，直接影响其效果。人脸受到姿态、表情、光照、性 另IJ、年龄、种族等因素影响，其外观变化多样，使得定位的稳定性受到严重影响。
[0003] 现有技术主要使用三类方法来解决人脸关键点定位中的多样性问题：
[0004] 1)三维方法：创建一个三维模型用于定位。由于三维信息不受姿态和光照影响， 这可以提高了在不同姿态光照下的稳定性。
[0005] 2)局部方法：使用关键点附近的小区域为特征，逐个定位每个关键点。小区域在 上述因素影响下变化较小，能在一定范围内提高定位的稳定性。
[0006] 3)分姿态方法：首先判断姿态，而后施用不同定位模型进行定位。针对一种姿态 的定位模型稳定性较高。
[0007] 然而，以上的人脸关键点定位技术也存在一定的不足。具体地，三维方法需要额外 的硬件（例如，需要两个照相机来产生三维图像）或人工输入来获取用户的三维模型，这造 成硬件成本的增加。
[0008] 局部方法缺乏全局约束，因此当人脸检测给出的初始关键点位置偏差较大时，容 易出现错误。即使在局部方法中添加一个全局约束，该全局约束同样受到人脸多样性的影 响。
[0009] 分姿态方法不能处理除姿态之外的变化因素，如果对所有可能的变化因素逐个分 别处理，则需要的定位模型数量过多，使得系统所占空间过大，执行定位时速度降低。
[0010] 因此，需要一种新型的人脸关键点定位方法和系统，能够在不增加硬件成本的情 况下，充分考虑人脸多样性，实现对人脸关键点的快速、自适应性定位。
【发明内容】
[0011] 本发明使用多个定位模型对人脸图片进行关键点定位，然后利用一个评价模型选 出最优的定位结果。此外，根据最优的定位结果，本发明还可以对已有的定位模型进行更 新，或者增添新的定位模型，同时可以对评价模型进行更新，从而实现自适应的人脸关键点 定位。
[0012] 另外，本发明利用不同模型定位不同类型人脸上的关键点，提高了定位的稳定性。 定位模型可针对用户输入进行调整，有效控制系统规模，节省执行时间。
[0013] 本发明的一方面提供一种用于人脸关键点位置的定位方法，包括：使用基于多个 类型的训练集训练得到的多个人脸定位模型对输入图像中的人脸进行定位，以得到与各个 人脸定位模型对应的多个定位结果；使用训练的评价模型对所述多个定位结果进行评价以 选出最优的定位结果，其中，定位结果包括人脸图像的多个关键点位置，评价模型由针对所 述多个关键点位置训练的分类器组成。
[0014] 根据本发明的一方面，所述多个人脸定位模型分别与所述多个训练集的类型一一 对应。
[0015] 根据本发明的一方面，所述定位方法还包括：确定所述最优的定位结果的评价是 否超过预定阈值；如果确定所述最优的定位结果的评价超过预定阈值，则基于最优的定位 结果更新评价模型。
[0016] 根据本发明的一方面，基于最优的定位结果更新评价模型的步骤包括：基于所述 最优的定位结果的关键点位置在输入图像中生成预定数量的正样本图像块和负样本图像 块，然后使用生成的正样本图像块和负样本图像块来更新评价模型。
[0017] 根据本发明的一方面，所述定位方法还包括：确定所述最优的定位结果的类型是 否属于所述多个定位模型之一；如果确定所述最优的定位结果的类型属于所述多个定位模 型之一，则将与所述最优的定位结果对应的输入图像加入对应的训练集，以重新训练与该 训练集对应的定位模型；如果确定所述最优的定位结果的类型不属于所述多个定位模型之 一，则将与所述最优的定位结果对应的输入图像作为样本来创建与所述最优的定位结果的 类型对应的新的训练集。
[0018] 根据本发明的一方面，所述定位方法还包括：如果所述新的训练集中的样本数量 超过预定值，则基于所述新的训练集训练新的定位模型，从而增加定位模型的数量。
[0019] 根据本发明的另一方面，提供了一种用于人脸关键点定位的装置，包括：关键点定 位单元，使用基于多个类型的训练集训练得到的多个人脸定位模型对输入图像中的人脸进 行定位，以得到与各个人脸定位模型对应的多个定位结果；评价单元，使用基于训练集训练 的评价模型对所述多个定位结果进行评价以选出最优的定位结果，其中，定位结果包括人 脸图像的多个关键点位置，评价模型由针对所述多个关键点位置训练的分类器组成。
[0020] 根据本发明的另一方面，所述多个人脸定位模型分别与所述多个训练集的类型 --对应。
[0021] 根据本发明的另一方面，所述装置还包括：更新单元，确定所述最优的定位结果的 评价是否超过预定阈值，如果确定所述最优的定位结果的评价超过预定阈值，则基于最优 的定位结果更新评价模型和/或定位模型。
[0022] 根据本发明的另一方面，更新单元基于所述最优的定位结果的关键点位置在输入 图像中生成预定数量的正样本图像块和负样本图像块，然后使用生成的正样本图像块和负 样本图像块来训练更新评价模型。
[0023] 根据本发明的另一方面，更新单元确定所述最优的定位结果的类型是否属于所述 多个定位模型之一，如果确定所述最优的定位结果的类型属于所述多个定位模型之一，则 将与所述最优的定位结果对应的输入图像加入对应的训练集，以重新训练与该训练集对应 的定位模型；如果更新单元确定所述最优的定位结果的类型不属于所述多个定位模型之 一，则将与所述最优的定位结果对应的输入图像作为样本来创建与所述最优的定位结果的 类型对应的新的训练集。
[0024] 根据本发明的另一方面，如果更新单元确定所述新的训练集中的样本数量超过预 定值，则基于所述新的训练集训练新的定位模型，从而增加定位模型的数量。
【附图说明】
[0025] 通过下面结合附图进行的描述，本发明的上述和其他目的和特点将会变得更加清 楚，其中：
[0026] 图1是示出根据本发明实施例的人脸关键点定位方法的流程图；
[0027] 图2是示出根据本发明实施例的人脸关键点定位方法中使用的训练集的分类的 示意图；
[0028] 图3示出根据本发明实施例的人脸关键点定位方法所使用的平均关键点位置和 定位结果的示意图；
[0029] 图4是示出根据本发明实施例的人脸关键点定位方法所使用的分类器的正样本 图像块和负样本图像块的示意图；
[0030] 图5是示出根据本发明实施例的人脸关键点定位装置的框图；
[0031] 图6是示出根据本发明另一实施例的人脸关键点定位装置的框图。
[0032] 图7示出使用现有技