一种基于数据增广结构的端到端3D人脸识别系统的制作方法

本发明涉及一种端到端3d人脸识别系统，属于人工智能-3d人脸识别。

背景技术：

1、人脸识别作为一种非侵入式的生物验证手段，在刑侦、自动驾驶、医疗、金融等领域应用广泛。2d人脸识别技术受姿态、表情、光照等因素的影响较大，而3d人脸的固有结构特性(含有深度和拓扑信息)，使得上述不利识别环境对3d人脸识别影响较小。因此，3d人脸识别备受关注，其中，基于深度学习的端到端3d人脸识别更是目前研究和应用的热点。

2、目前，研究者主要通过基于gan的单张2d图像重建和基于3dmm重建来扩充用于训练3d人脸识别网络的训练数据。2021年，toshpulatov讨论了使用gan网络将单张2d人脸重建为3d人脸并作为3d人脸识别网络的训练集。但是，gan网络重建的结果同质化现象严重，不同的2d图像重建的人脸相似度较大。2017年，dou使用3dmm重建3d人脸，将人脸的特征点输入到3dmm模型中，调整模型参数，获得3d人脸。但是，3dmm对特征点的精度敏感，对同一人物的多次重建结果还是会有较大的差距，重建的泛化能力较差。受3dmm的启发，ssm直接对3d真实的人脸进行主成分分析映射，并通过统计分析来获得不同参数，最终生成训练数据。同时，ssm生成的人脸对于特征点的精度不敏感且生成的人脸表情丰富。但是，ssm受制于3d真实的人脸数据，模型的表达能力十分有限。

技术实现思路

1、本发明要解决的技术问题是：通过基于gan的单张2d图像重建来扩充用于训练3d人脸识别网络的训练数据，存在同质化现象严重的问题；基于3dmm重建来扩充用于训练3d人脸识别网络的训练数据，存在重建的泛化能力较差的问题。

2、为了解决上述计算问题，本发明的技术方案是提供了一种基于数据增广结构的端到端3d人脸识别系统，其特征在于，包括训练集生成模块、端到端网络训练模块以及端到端3d人脸识别网络，其中：

3、训练集生成模块基于已有的参考数据集生成用于训练impnet的训练集，其中，训练集生成模块进一步包括生成器gdas，将参考数据集分成形状人脸、表情人脸和质地人脸后，由生成器gdas分别建立人脸形状gssm模型、人脸表情gssm模型以及人脸质地gssm模型，生成器gdas根据m个3d人脸得出统计形变模型后，将统计形变模型进行高斯回归后进行k-l展开得人脸形状gssm模型、人脸表情gssm模型或人脸质地gssm模型；生成器gdas再将人脸形状gssm模型、人脸表情gssm模型以及人脸质地gssm模型进行线性组合，得到最终的人脸模型fnew；训练集生成模块基于人脸模型fnew生成用于训练impnet的训练集；

4、端到端网络训练模块利用训练集对端到端3d人脸识别网络进行训练，端到端3d人脸识别网络以点云作为输入，输出为一个1×512的特征向量，该特征向量经过dropout层和全连接层后得到最终的分类结果，其中，端到端3d人脸识别网络包括sa模块一、sa模块二以及特征融合模块：原始点云输入sa模块一后，sa模块一基于mlp操作和max操作进行特征融合和特征提取后产生输出，sa模块一的输出输入sa模块二，且对sa模块一的输出再进行一次max操作后得到一个1×256的特征向量一；sa模块二基于mlp操作和max操作对输入的数据进行特征融合和特征提取后产生输出，对sa模块二的输出再进行一次max操作后得到一个1×256的特征向量二；特征融合模块将1×256的特征向量一以及1×256的特征向量二融合为一个1×512的特征向量。

5、优选地，将所述人脸形状gssm模型表示为s(x)，将所述人脸表情gssm模型表示为e(x)，将所述人脸质地gssm模型表示为t(x)，则有：

6、

7、式中：μs(x)、μe(x)、μt(x)为均值函数；ds、de、dt为k-l展开后基函数对应的特征值；us、ue、ut为基函数集，分别负责人脸形状、表情和质地的生成；α、β、γ为参数向量。

8、优选地，所述生成器gdas采用下式将人脸形状gssm模型、人脸表情gssm模型以及人脸质地gssm模型进行线性组合：

9、

10、式中：μ1、μ2、μ3表示形变系数，这三个参数相互独立。

11、优选地，通过所述sa模块一或所述sa模块二获得所述特征向量一或所述特征向量二包括以下步骤：

12、步骤101、对所述sa模块一或所述sa模块二的输入进行最远点采样得到n1个点；

13、步骤102、分组：以n1个点作为圆心画圆，圆的半径为r，在获得的每个圆内取k个点，从而得到n1个分组点集

14、步骤103、n1个分组点集被送入mlp(c1,c1,c2)，对n1个分组点集进行mlp维度转换操作，其中，c2表示mlp的层数；

15、步骤104、再对n1个分组点集分别进行max操作得到所述sa模块一或所述sa模块二的输出其中，对第n1个分组点集进行max操作得到

16、步骤105、对再进行一次max操作得到一个1×256的特征向量。

17、优选地，所述特征融合模块通过多尺度特征平均分插融合将1×256的特征向量一以及1×256的特征向量二融合为一个1×512的特征向量，具体包括以下步骤：

18、步骤201、将1×256的特征向量一表示为x＝[x0,x1,...,x255]；

19、将1×256的特征向量二表示为y＝[y0,y1,...,y255]；

20、将1×512的特征向量定义为z＝[z0,z1,...,z511]；

21、步骤202、初始化n＝0；

22、步骤203、若n<256,则进入步骤204；否则，进入步骤206；

23、步骤204、z2n+1＝xn；zn＝yn；

24、步骤205、n＝n+1，返回步骤203；

25、步骤206、获得最终的1×512的特征向量z。

26、优选地，所述端到端网络训练模块在对所述端到端3d人脸识别网络进行训练时，采用角损失函数表示预测类别和标签类别的距离，角损失函数的值越小，则分类的效果越好。

27、优选地，所述角损失函数的表达形式如下式所示：

28、

29、式中：n表示参与计算损失的样本数；θi表示端到端3d人脸识别网络的权重向量和端到端3d人脸识别网络得到的融合人脸特征的夹角；(θi,yi+m)表示θi和yi+m的夹角，yi表示端到端3d人脸识别网络得到的融合人脸特征，m表示角度惩罚值，用于增大类间距离，减少类内距离；s表示形变向量；z表示融合人脸特征l2正则化后得到的向量。

30、本发明所公开的技术方案优化已有端到端3d人脸识别网络的特征融合和特征提取模块(下文简称为“sa模块”)得到端到端3d人脸识别网络(下文简称为“impnet”)，并利用对ssm进行改进得到gssm对impnet进行训练，使得人脸识别的精度和推理速度得到较大幅度的提升。

31、与现有技术相比，本发明的创新之处在于：

32、(1)创造性地提出gssm数据增广结构。在impnet的训练阶段，该gssm数据增广结构通过少量真实数据获取大量的训练数据。先建立人脸gssm，再对模型进行线性组合并调整组合系数，便可生成大量的训练数据。

33、(2)在impnet中提出多尺度特征平均分插融合策略。在融合不同尺度特征时，先对特征进行分块，再对特征进行平均间隔融合，从而增加相似特征间的相关性和区分特征的不相关性，提升网络分类效果。

34、(3)重构sa模块。将原始pointnet++骨干网络的sa模块中的pointnet重构为mlp和max，减小模型参数，提高训练速度。