1.一种基于空间位置信息的人脸特征点定位方法,其特征在于,包括:
获取待识别的人脸图像作为人脸特征点定位模型的输入,该人脸图像包括3通道rgb图像和2通道xy图像,该人脸特征点定位模型包括主干网络和特征点预测网络;
利用主干网络对人脸图像进行处理,提取人脸图像的具有空间位置信息的高层语义特征图;
利用特征点预测网络对具有空间位置信息的高层语义特征图进行处理,定位人脸图像上的人脸特征点位置。
2.如权利要求1所述的基于空间位置信息的人脸特征点定位方法,其特征在于,所述主干网络包括卷积层conv0,卷积运算集合体stage1、stage2、stage3、stage4,两个下采样层组,每个下采样组均包括下采样层downsample0、downsample1、downsample2、downsample3、downsample4,以及拼接层concat0、concat1、concat2、concat3、concat4;
卷积层conv0以及一组下采样层组中的下采样层downsample0、downsample1、downsample2、downsample3、downsample4的输入均为所述3通道rgb图像,另一组下采样层组中的下采样层downsample0、downsample1、downsample2、downsample3、downsample4的输入均为所述2通道xy图像;
卷积层conv0的输出与拼接层concat0连接,拼接层concat0的输出经卷积运算集合体stage1与拼接层concat1连接;拼接层concat1的输出经卷积运算集合体stage2与拼接层concat2连接;拼接层concat2的输出经卷积运算集合体stage3与拼接层concat3连接;拼接层concat3的输出经卷积运算集合体stage4与拼接层concat4连接;
一组下采样层组中的下采样层downsample0、downsample1、downsample2、downsample3、downsample4的输出分别与拼接层concat0、concat1、concat2、concat3、concat4的输入连接;拼接层concat4的输出与所述特征点预测网络输入连接;
另一组下采样层组中的下采样层downsample0、downsample1、downsample2、downsample3、downsample4的输出分别与拼接层concat0、concat1、concat2、concat3、concat4的输入连接。
3.如权利要求2所述的基于空间位置信息的人脸特征点定位方法,其特征在于,所述特征点预测网络包括全局均值池化层和全连接层,全局均值池化层得到输入与所述拼接层concat4的输出连接、输出与全连接层连接。
4.如权利要求1~3任一项所述的基于空间位置信息的人脸特征点定位方法,其特征在于,在所述获取待识别的人脸图像作为人脸特征点定位模型的输入之前,还包括对所述人脸特征点定位模型进行预先训练,以确定人脸特征点定位模型的模型参数,包括:
获取训练样本图像集,该集合包括单个人脸局部图像样本和与单个人脸局部图像对应的xy图像,单个人脸局部图像样本上标注有特征点的位置;
设置所述人脸特征点定位模型的目标损失函数;
将训练样本图像集中的样本输入至所述人脸特征点定位模型进行模型训练,学习模型参数。
5.如权利要求4所述的基于空间位置信息的人脸特征点定位方法,其特征在于,所述获取训练样本图像集包括:
收集各种场景下的人脸图像;
利用人脸检测算法对人脸图像进行处理,获取每个人脸局部区域图像;
生成一幅分辨率与所述人脸图像相同的2通道xy坐标图像,填充xy坐标图像的第一通道灰度图作为x坐标图像,填充xy坐标图像的第二通道灰度图作为y坐标图像:
其中,fx(x,y)、fy(x,y)分别表示x坐标图像和y坐标图像,(x,y)表示x坐标图像和y坐标图像上像素位置坐标,w、h表示x坐标图像和y坐标图像的图像宽度和图像高度。
6.一种基于空间位置信息的人脸特征点定位系统,其特征在于,包括:获取模块、特征提取模块和特征点定位模块;
获取模块用于获取待识别的人脸图像作为人脸特征点定位模型的输入,该人脸图像包括3通道rgb图像和2通道xy图像,该人脸特征点定位模型包括主干网络和特征点预测网络;
特征提取模块用于利用主干网络对人脸图像进行处理,提取人脸图像的具有空间位置信息的高层语义特征图;
特征点定位模块用于利用特征点预测网络对具有空间位置信息的高层语义特征图进行处理,定位人脸图像上的人脸特征点位置。
7.如权利要求6所述的基于空间位置信息的人脸特征点定位系统,其特征在于,所述主干网络包括卷积层conv0,卷积运算集合体stage1、stage2、stage3、stage4,两个下采样层组,每个下采样组均包括下采样层downsample0、downsample1、downsample2、downsample3、downsample4,以及拼接层concat0、concat1、concat2、concat3、concat4;
卷积层conv0以及一组下采样层组中的下采样层downsample0、downsample1、downsample2、downsample3、downsample4的输入均为所述3通道rgb图像,另一组下采样层组中的下采样层downsample0、downsample1、downsample2、downsample3、downsample4的输入均为所述2通道xy图像;
卷积层conv0的输出与拼接层concat0连接,拼接层concat0的输出经卷积运算集合体stage1与拼接层concat1连接;拼接层concat1的输出经卷积运算集合体stage2与拼接层concat2连接;拼接层concat2的输出经卷积运算集合体stage3与拼接层concat3连接;拼接层concat3的输出经卷积运算集合体stage4与拼接层concat4连接;
一组下采样层组中的下采样层downsample0、downsample1、downsample2、downsample3、downsample4的输出分别与拼接层concat0、concat1、concat2、concat3、concat4的输入连接;拼接层concat4的输出与所述特征点预测网络输入连接;
另一组下采样层组中的下采样层downsample0、downsample1、downsample2、downsample3、downsample4的输出分别与拼接层concat0、concat1、concat2、concat3、concat4的输入连接。
8.如权利要求6所述的基于空间位置信息的人脸特征点定位系统,其特征在于,所述特征点预测网络包括全局均值池化层和全连接层,全局均值池化层得到输入与所述拼接层concat4的输出连接、输出与全连接层连接
9.如权利要求6~8所述的基于空间位置信息的人脸特征点定位系统,其特征在于,还包括模型训练模块,用于对所述人脸特征点定位模型进行预先训练,以确定人脸特征点定位模型的模型参数;
模型训练模块包括训练样本获取单元、目标损失函数设置单元和训练单元,其中:
训练样本获取单元用于获取训练样本图像集,该集合包括单个人脸局部图像样本和与单个人脸局部图像对应的xy图像,单个人脸局部图像样本上标注有特征点的位置;
目标损失函数设置单元用于设置所述人脸特征点定位模型的目标损失函数;
训练单元用于将训练样本图像集中的样本输入至所述人脸特征点定位模型进行模型训练,学习模型参数。
10.如权利要求9所述的基于空间位置信息的人脸特征点定位系统,其特征在于,所述训练样本获取单元包括收集子单元、检测子单元和图像生成子单元,其中:
收集子单元用于收集各种场景下的人脸图像;
检测子单元用于利用人脸检测算法对人脸图像进行处理,获取每个人脸局部区域图像;
图像生成子单元用于生成一幅分辨率与所述人脸图像相同的2通道xy坐标图像,填充xy坐标图像的第一通道灰度图作为x坐标图像,填充xy坐标图像的第二通道灰度图作为y坐标图像:
其中,fx(x,y)、fy(x,y)分别表示x坐标图像和y坐标图像,(x,y)表示x坐标图像和y坐标图像上像素位置坐标,w、h表示x坐标图像和y坐标图像的图像宽度和图像高度。