一种抗表情、姿态和遮挡变化的三维人脸标记点检测方法
【技术领域】
[0001] 本发明涉及图像处理及模式识别技术领域，尤其涉及三维人脸识别方向中的标记 点检测方法。
【背景技术】
[0002] 在当今信息时代，个人身份的有效识别与认证在各类安保系统中都是一个亟待解 决的问题。生物特征识别因其具有安全性、普遍性、易维护性等优点，为上述问题提供了解 决方向。生物特征识别技术是指，利用人体特有的生理信息及行为作为特征，通过计算进行 身份识别及验证的技术。人脸识别是生物特征识别的一个分支，具有最自然、友好、用户接 受度尚、易被米集等优势。
[0003] 三维人脸识别是指基于三维图像的人脸识别技术，三维人脸带有人脸的原始几何 信息，有望克服现今人脸识别中遇到的姿态变化的问题。而现在的三维人脸识别方法一般 都是针对没有姿态或只带很小姿态的人脸，具有较大姿态的人脸识别，仍然是个难题。另 外，现在的三维人脸识别极少考虑在有遮挡情况下的人脸识别。姿态和遮挡不变的三维人 脸识别的难点都在于，在人脸带有较大姿态或遮挡的情况下，人脸某些部分都会损失较多 信息，另外，表情变化会使人脸变形，从而人脸几何结构发生变化，导致三维数据变化，在这 种情况下，如何能准确地检测出人脸的重要标记点，从而很好地校准人脸，就是需要解决的 问题。
[0004] 鼻尖点是所有标记点中相对刚性、鲁棒性高的标记点，很多方法都尝试检测该标 记点作为解决姿态不变的三维人脸识别方法的入口，但是，至今仍然没有很好的方法能解 决上述问题。
【发明内容】
[0005] 针对目前三维人脸识别领域内现有技术的不足，提出了一种抗表情、姿态和遮挡 变化的三维人脸标记点检测方法，该方法在人脸有较大姿态、多种遮挡的情况下，都具有较 强的鲁棒性。
[0006] 为实现上述技术目的，本发明采用的技术方案如下：一种抗表情、姿态和遮挡变化 的三维人脸标记点检测方法，该方法包括以下步骤：
[0007] (1)构造平均鼻子模型阶段，包括以下子步骤：
[0008] (I. 1)采集训练人脸：通过三维图像获取设备获取中性姿态和中性表情（即无姿 态变化和表情变化）的人脸，作为人脸训练库，并手动定位重要标记点，包括眼睛、鼻子、嘴 角点等；
[0009] (1. 2)校准人脸形状：由训练人脸标记点构成的网格图表示人脸形状，采用普式 分析方法将所有人脸形状对齐到统一的形状，并构建以鼻尖点为球心的球形分割人脸，以 去掉人脸的无效部分（如头发、耳朵等）；
[0010] (1. 3)生成人脸深度图：在三维人脸所在坐标系中，在X-y坐标轴上以一定分辨率 为间隔建立网格，将Z轴坐标值采用双立方插值的方法插值到相应x-y网格上，填补空洞， 从而得到三维人脸网格图，将三维人脸网格图对x-y坐标系投影，z轴坐标作为像素值，获 得深度图；
[0011] (1. 4)人脸预处理：对步骤1. 3获取的人脸深度图进行中值滤波去掉峰值点，进行 高斯平滑滤波平滑人脸去除噪声，降采样到10万像素大小范围内的人脸；
[0012] (1. 5)生成平均人脸模型：以鼻尖点为基准，将所有训练人脸深度图进行叠加取 其平均，得到平均人脸模型，设输入人脸深度图为Ii,i= 1，2,…，K，则平均人脸模型AFM计 算如下式：
【主权项】
1. 一种抗表情、姿态和遮挡变化的三维人脸标记点检测方法，其特征在于，该方法包括 以下步骤： (1) 构造平均鼻子模型阶段，包括以下子步骤： (1. 1)采集训练人脸：通过三维图像获取设备获取中性姿态和中性表情的人脸，作为 人脸训练库，并手动定位重要标记点； (1. 2)校准人脸形状：由训练人脸标记点构成的网格图表示人脸形状，采用普式分析 方法将所有人脸形状对齐到统一的形状，并构建以鼻尖点为球心的球形分割人脸，以去除 人脸的无效部分； (1.3)生成人脸深度图：在三维人脸所在坐标系中，在x-y坐标轴上以一定分辨率为间 隔建立网格，将z轴坐标值采用双立方插值的方法插值到相应x-y网格上，填补空洞，得到 三维人脸网格图，将三维人脸网格图对x-y坐标系投影，z轴坐标作为像素值，获得深度图； (1. 4)人脸预处理：对步骤1. 3获取的人脸深度图进行中值滤波去掉峰值点，进行高斯 平滑滤波平滑人脸去除噪声，降采样到10万像素大小范围内的人脸； (1. 5)生成平均人脸模型：以鼻尖点为基准，将所有训练人脸深度图进行叠加取其平 均，得到平均人脸模型，设输入人脸深度图为Ii, i = 1，2, ···，!(，则平均人脸模型AFM计算 如下式：
其中AFM (u，V)和Ii (u，V)分别表示AFM和Ii对应坐标位置的像素值，K表示人脸数 量； (1.6)生成平均鼻子模型：将鼻子区域从平均人脸模型分割出来，得到平均鼻子模型； 在平均鼻子模型的基础上分别构建左半平均鼻子模型和右半平均鼻子模型；所述鼻子模型 设置为矩形，包含鼻子的形状，并且保证无用信息较少； (2) 检测标记点阶段，包括以下子步骤： (2. 1)采集测试人脸：通过三维图像获取设备获取任意表情、姿态和遮挡变化的三维 人脸，作为人脸测试库；设测试库中有M张人脸，任意一张人脸F为3XN的矩阵，N是人脸 F的点云数量，F表示如下式：
(2. 2)绕Y轴旋转：将测试库的一张人脸以角度β绕Y轴旋转，得到R张三维人脸；旋 转公式如下式：
其中，三维坐标点表示为（XpypZi) (i = 1，2，···，Ν)，对应输出的旋转坐标点为 〇/，_^，2/?)，其中0￡[-9〇。，9〇°]，以6°为步长，每张测试库中的人脸均有1?=31 个旋转角度；对测试库中M张人脸进行旋转，得到MXR张旋转后的三维人脸； (2. 3)生成人脸深度图：对于步骤2. 2旋转后的三维人脸，在三维人脸所在坐标系中， 在x-y坐标轴上以一定分辨率为间隔建立网格，将z轴坐标值采用双立方插值的方法插值 到相应x-y网格上，填补空洞，从而得到三维人脸网格图，将三维人脸网格图对x-y坐标系 投影，z轴坐标作为像素值，获得深度图； (2. 4)人脸预处理：对步骤2. 3获取的人脸深度图进行中值滤波去掉峰值点，进行高斯 平滑滤波平滑人脸去除噪声，降采样到人脸大小在10万像素范围以内； (2. 5)模板匹配，该步骤包括以下子步骤： (2. 5. 1)将步骤2. 4预处理后的人脸深度图与步骤1. 6得到的三个平均鼻子模型进行 以标准互相关为准则的模板匹配，标准互相关方法表示如下：
其中，模板图像T大小为（2m+l)X(2n+l)，待检测的图像为I，（x，y)为模板T左上角 对应在图像I上的坐标，T(u，V)表示模板坐标（u，V)下的像素值，I (x+u，y+v)表示检测图 像中坐标（x+u，y+v)的像素值；NCuUy)为标准互相关图； (2. 5. 2)对于每张人脸深度图，模板匹配之后都得到三张标准互相关图，分别保留最大 值作为对应三个平均鼻子模型的匹配系数； (2. 5. 3)计算步骤2. 5. 2得到的三个匹配系数中的最大系数Ci,记下该系数对应的旋 转角度Pi，最大系数在标准互相关图中的位置为鼻子区域所在位置，获取对应的鼻尖点； (2.5.4)将测试库中的一张三维人脸旋转后的R个深度图对应的R个匹配系数 IC1, C2，…，C1J进行降序排序，得到ICS1, CS2，…，CS1J ; (2. 5. 5)设置阈值T，如果最大的匹配系数051大于阈值T，那么直接选取CS应的鼻 尖点作为最终的鼻尖点，结束算法；否则，如果CS/j、于阈值T，执行步骤2. 5. 6 ; (2. 5. 6)统计步骤2. 5. 4中排前十的匹配系数对应鼻尖点坐标的出现次数，将出现次 数最多的鼻尖点坐标定为最终的鼻尖点； (2. 6)采用同样方法检测步骤I. 1手动定位的人脸其他重要标记点，最终得到所有的 抗表情、姿态和遮挡变化的三维人脸标记点，完成三维人脸标记点检测。
【专利摘要】本发明公开了一种抗表情、姿态和遮挡变化的三维人脸标记点检测方法，包含构造平均鼻子模型阶段和检测标记点阶段。构造平均鼻子模型是指通过三维图像获取设备获取三维人脸，手动标定人脸标记点，训练平均鼻子模型；检测标记点阶段是指将旋转角度加入三维人脸数据，与平均鼻子模型进行模板匹配，控制旋转角度检测标记点。本发明方法通过构造平均鼻子模型和设置旋转角度，能够对抗人脸的表情、姿态和遮挡变化，并通过将三维人脸转化为深度图，加快检测效率，对促进三维人脸在身份认证方向上的实际应用有着重要作用。
【IPC分类】G06K9-00
【公开号】CN104680135
【申请号】CN201510064736
【发明人】胡浩基, 刘蓉
【申请人】浙江大学
【公开日】2015年6月3日
【申请日】2015年2月9日