术的人脸关键点定位方法和根据本发明实施例的人脸关键 点定位方法在相同时间内对人脸关键点进行检测的结果。
【具体实施方式】
[0033] 下面提供参照附图进行的描述以有助于全面理解如权利要求及其等同物所限定 的本发明的示例性实施例。在所述描述中，除非明确指明，否则相同的变量具有相同的定 义。所述描述包括各种详细的细节以有助于理解，而这些描述将被认为仅为示例性的。因 此，本领域的普通技术人员将意识到在不脱离本发明的范围和精神的情况下可做出在此描 述的各种改变和变型。另外，为了清晰和简洁，可省略对公知功能和构造的描述。
[0034] 图1是示出根据本发明实施例的人脸关键点定位方法的流程图。
[0035] 首先，在步骤S101，使用训练的多个定位模型在输入的人脸图像上得到多个定位 结果。每一个定位结果都包括多个人脸关键点位置。例如，人脸关键点的位置可包括眼角、 眉毛的末端、嘴角、鼻尖的位置。
[0036] 这里，假设采用了 K (K > 1)个定位模型&~Ak。这K个定位模型的集合被表示 为A。将输入的人脸图像与K个定位模型对齐，用（x，y)表示像素在图像上的位置，从而得 到的K个定位结果，分别表示为 Sl，s2，…，sK，每个定位结果s中具有L个人脸关键点位置， 因此，s可表示为：
[0037] s={x1, yj, x2, y2, *?*, xL, yj；
[0038] 根据本发明，可通过在训练集C(Ci~CK)上训练得到定位模型A。每一个训练集 C k是具有大量人脸图片样本的集合，训练集Ck中的每一张人脸图片样本^上人工标定了 L 个关键点位置，
[0039]即，Sf {xn，yn，xi2，yi2，…，xiL，yiL，};
[0040] 这里，训练集Cl~CK中的人脸图片样本可根据姿态、表情、年龄、人种、身份等因 素被分类为不同类型。这样，可以根据不同的类型来训练得到定位模型A。如图2所示，一 般类型的下面可以划分出戴滑雪眼镜的类型、黑人类型、亚洲女性类型，而黑人类型下可进 一步划分出身份为"Kobe"这一特定的类型。这样，根据本发明的定位模型可根据不同类型 的训练集中的人脸图像来训练得到包括多个定位模型4~Ak。
[0041] 在训练定位模型A时，首先统计训练集C中全部样本关键点位置的平均值s°，称为 平均关键点位置。|c|表示训练集C中样本的数量，则可通过以下的公式来得到平均关键点 位置s° :
[0042]
【主权项】
1. 一种用于人脸关键点位置的定位方法，包括： 使用基于多个类型的训练集训练得到的多个人脸定位模型对输入图像中的人脸进行 定位，W得到与各个人脸定位模型对应的多个定位结果； 使用训练的评价模型对所述多个定位结果进行评价W选出最优的定位结果， 其中，定位结果包括人脸图像的多个关键点位置，评价模型由针对所述多个关键点位 置训练的分类器组成。
2. 如权利要求1所述的定位方法，其中，所述多个人脸定位模型分别与所述多个训练 集的类型--对应。
3. 如权利要求1所述的定位方法，还包括： 确定所述最优的定位结果的评价是否超过预定阔值； 如果确定所述最优的定位结果的评价超过预定阔值，则基于最优的定位结果更新评价 模型和/或定位模型。
4. 如权利要求3所述的定位方法，其中，基于最优的定位结果更新评价模型的步骤包 括： 基于所述最优的定位结果的关键点位置在输入图像中生成预定数量的正样本图像块 和负样本图像块，然后使用生成的正样本图像块和负样本图像块来训练并更新评价模型。
5. 如权利要求3或4所述的定位方法，其中，基于最优的定位结果更新定位模型的步骤 包括： 确定所述最优的定位结果的类型是否属于所述多个定位模型之一； 如果确定所述最优的定位结果的类型属于所述多个定位模型之一，则将与所述最优的 定位结果对应的输入图像加入对应的训练集，W重新训练与该训练集对应的定位模型； 如果确定所述最优的定位结果的类型不属于所述多个定位模型之一，则将与所述最优 的定位结果对应的输入图像作为样本来创建与所述最优的定位结果的类型对应的新的训 练集。
6. 如权利要求5所述的定位方法，还包括： 如果所述新的训练集中的样本数量超过预定值，则基于所述新的训练集训练新的定位 模型，从而增加定位模型的数量。
7. -种用于人脸关键点定位的装置，包括： 关键点定位单元，使用基于多个类型的训练集训练得到的多个人脸定位模型对输入图 像中的人脸进行定位，W得到与各个人脸定位模型对应的多个定位结果； 评价单元，使用基于训练集训练的评价模型对所述多个定位结果进行评价W选出最优 的定位结果， 其中，定位结果包括人脸图像的多个关键点位置，评价模型由针对所述多个关键点位 置训练的分类器组成。
8. 如权利要求7所述的装置，其中，所述多个人脸定位模型分别与所述多个训练集的 类型一一对应。
9. 如权利要求7所述的装置，还包括： 更新单元，确定所述最优的定位结果的评价是否超过预定阔值，如果确定所述最优的 定位结果的评价超过预定阔值，则基于最优的定位结果更新评价模型和/或定位模型。
10. 如权利要求9所述的装置，其中，更新单元基于所述最优的定位结果的关键点位置 在输入图像中生成预定数量的正样本图像块和负样本图像块，然后使用生成的正样本图像 块和负样本图像块来训练并更新评价模型。
11. 如权利要求9或10所述的装置，其中，更新单元确定所述最优的定位结果的类型是 否属于所述多个定位模型之一，如果确定所述最优的定位结果的类型属于所述多个定位模 型之一，则将与所述最优的定位结果对应的输入图像加入对应的训练集，W重新训练与该 训练集对应的定位模型； 如果更新单元确定所述最优的定位结果的类型不属于所述多个定位模型之一，则将与 所述最优的定位结果对应的输入图像作为样本来创建与所述最优的定位结果的类型对应 的新的训练集。
12. 如权利要求11所述的装置，其中，如果更新单元确定所述新的训练集中的样本数 量超过预定值，则基于所述新的训练集训练新的定位模型，从而增加定位模型的数量。
【专利摘要】提供了一种人脸关键点的定位方法和装置。定位方法包括：使用基于多个类型的训练集训练得到的多个人脸定位模型对输入图像中的人脸进行定位，以得到与各个人脸定位模型对应的多个定位结果；使用训练的评价模型对所述多个定位结果进行评价以选出最优的定位结果，其中，定位结果包括人脸图像的多个关键点位置，评价模型由针对所述多个关键点位置训练的分类器组成。
【IPC分类】G06K9-00, G06K9-66
【公开号】CN104715227
【申请号】CN201310684862
【发明人】沈晓璐, 冯雪涛, 汪彪, 韩宰俊
【申请人】北京三星通信技术研究有限公司, 三星电子株式会社
【公开日】2015年6月17日
【申请日】2013年12月13日
【公告号】WO2015088179A1