终输出结果。
[0031] 第二阶段：局部卷积神经网络，以Simes个大小为16 X 16的各人脸关键点中间估 计值周围的局部图象为输入，输出68个人脸关键点的准确值和Si中各人脸关键点中间估计 值之间的差值，得到坐标差值A S2，最终得到包含有人脸图像X的68个关键点估计坐标的人 脸关键点S2。
[0032] 结合图3及图4,局部卷积神经网络一共包含四个并行的卷积神经子网络二，每个 卷积神经子网络二共6层(共用一个输出层）。每个卷积神经子网络二进行相同的卷积和最 大池化操作。每个卷积神经子网络二的第一层为输入层。输入时，对同一人脸关键点中间估 计对齐图像3 1采样得到四种不同分辨率的采样图像，对每个采样图像分别取采样图像上68 个人脸标记点的坐标中间估计值周围的区域图像作为一个卷积神经子网络二的输入，即每 个卷积神经子网络二的输入为68幅区域图像。四个卷积神经子网络二输入所用分辨率为： 78 X 78，96 X 96，128 X 128，128 X 128。需要特别注意的是，在全局卷积神经网络中，输入层 的数据是η XnXl大小，其中n = 48,78,96,128,而在局部卷积神经网络，输入层的数据是16 X 16 X 68。第二层和第四层为卷积层，分别采用大小为3 X 3和2 X 2的卷积核进行卷积操作， 分别有512和1024个特征映射。第三层为最大池化层，采用大小为2X2的核进行最大池化操 作。第五层为全连接层，共1200个节点。第六层为输出层，共136个节点，每个节点的值是68 个人脸关键点坐标估计值与标准值的差值。每层都是以上一层为输入，本层输出为下一层 的输入。
[0033]算法流程介绍：
[0034] 步骤1、对于第一阶段得到的同一张人脸关键点中间估计值51，采样得到78X78， 96 X 96，128 X 128，140 X 140四种分辨率的人脸图像并分别在各图像中，以人 脸关键点中间估计值Si中包含的各人脸关键点中间估计值为中心，截取68张大小为16X16 的人脸图像；
[0035] 步骤2、将步骤1中结果作为第一个卷积神经子网络二的输入，依次进行第二层卷 积层、第三次最大池化层、第四层卷积层等直至第六层输出层的计算，并通过后向反馈调整 参数，最终得到第五层全连接层输出，记为特征表示/? C
[0036] 步骤3、第二个卷积神经子网络二、第三个卷积神经子网络二和第四个卷积神经子 网络二分别进行步骤2类似的操作，得到第五层全连接层的特征表示食;
[0037] 步骤4、利用步骤2和3中得到的四个子网络的特征表示屑,炎|,爽5炎丨，学习由这 些特征表示到68个关键点坐标估计值与标准值的差值的回归函数△ S2 = g2(fc2)，式中，g2 (□)为回归函数，fC2由爲,组成，Δ&为人脸关键点坐标差值，是局部神经网络 的最终输出结果。然后计算包含有68个人脸关键点坐标估计值32 = 31+4 32,32作为整个算 法的最终输出结果。
[0038] 测量人脸坐标准确值与估计值之间的误差大小的方法是标准均方根误差。人脸第 i个关键点坐标的准确值表示为估计值表示为其中，i = 1，2，. . ·，p<3d表 示人两眼中心的距离。标准均方根误差计算如下
本算法与其他方法的对比结果使用标准均方根误差的累计概率密度曲线展示。
[0039]在XM2VTS数据集上，本发明方法与现有技术的对比，如图5所示。在LFPW数据集上， 本发明方法与现有技术的对比，如图6所示。在HELEN数据集上，本发明方法与现有技术的对 比，如图7所示。本发明方法在LFPW数据集上部分人脸关键点对齐结果，如图8所示。
[0040]本发明提供的基于深度学习的人脸关键点对齐算法是在深度学习框架Caffe下实 现的。
【主权项】
1. 一种基于深度学习的人脸关键点对齐算法，设人脸图像X有P个人脸标记点，sg( x)为 以该人脸图像X为输入、以P个人脸标记点标准坐标为输出的函数，包括以下步骤： 建立卷积神经网络，该卷积神经网络学习非线性函数F(x)，F(x)为输入是人脸图像X， 输出P个人脸标记点的坐标估计值的函数，利用样本集训练该卷积神经网络，使得 (X)两个函数输出间的欧式距离最小，其特征在于： 所述卷积神经网络包括全局卷积神经网络和局部卷积神经网络，人脸图像输入全局卷 积神经网络后得到含有P个人脸标记点的坐标中间估计值Si，以人脸关键点中间估计对齐 图像Si上的p个人脸标记点的坐标中间估计值周围的局部图像为输入，输入局部卷积神经 网络后，得到P个人脸标记点的坐标准确值与坐标中间估计值之间的差值A&，然后计算人 脸关键点最终估计值S 2 = Si+AS2,所述卷积神经网络经样本集训练后得到的人脸关键点最 终估计值&即为算法最终结果。2. 如权利要求1所述的一种基于深度学习的人脸关键点对齐算法，其特征在于，所述全 局卷积神经网络包括四个进行相同卷积和最大池化操作的卷积神经子网络一，对同一人脸 图像采样得到四种不同分辨率的采样人脸图像，将四幅采样人脸图像输入四个卷积神经子 网络一后，经过卷积和最大池化操作后，形成四个特征表示，学习由这些特征表示到P个人 脸标记点坐标的回归函数，得到含有P个人脸关键点中间估计值Si。3. 如权利要求2所述的一种基于深度学习的人脸关键点对齐算法，其特征在于，所述卷 积神经子网络一有10层。4. 如权利要求1所述的一种基于深度学习的人脸关键点对齐算法，其特征在于，所述局 部卷积神经网络包括四个进行相同卷积和最大池化操作的卷积神经子网络二，对同一人脸 关键点中间估计值3 1采样得到四种不同分辨率的采样图像，对每个采样图像分别取采样图 像上P个人脸标记点的坐标中间估计值周围的区域图像作为一个卷积神经子网络二的输 入，即每个卷积神经子网络二的输入为p幅区域图像，分别经过四个卷积神经子网络二的计 算后得到四个特征表示，学习由这些特征表示到P个人脸标记点的回归函数，得到所述人脸 关键点坐标差值AS 2。5. 如权利要求4所述的一种基于深度学习的人脸关键点对齐算法，其特征在于，所述卷 积神经子网络二有6层。
【专利摘要】本发明提供了一种基于深度学习的人脸关键点对齐算法，包括以下步骤：建立卷积神经网络，该卷积神经网络学习非线性函数F(x)，F(x)为输入是人脸图像x，输出p个人脸标记点的坐标估计值的函数，利用样本集训练该卷积神经网络，使得F(x)与Sg(x)的输出间的欧式距离最小，其特征在于：所述卷积神经网络包括全局卷积神经网络和局部卷积神经网络。本发明提供的算法在XM2VTS，LFPW和HELEN三个公共数据集上与包括CFAN和SDM等其它现有算法相比较，更为高效，鲁棒性更强。
【IPC分类】G06K9/00
【公开号】CN105678248
【申请号】CN201511028892
【发明人】高盛华, 徐衍钰
【申请人】上海科技大学
【公开日】2016年6月15日
【申请日】2015年12月31日