用于生成三维头像模型的方法和装置与流程

文档序号:12787391阅读:来源:国知局

技术特征:

1.一种用于生成三维头像模型的方法,其特征在于,所述方法包括:

获取用户的不同人脸姿态角度的多张人脸图像;

使用所述多张人脸图像中人脸姿态角度最正的人脸图像建立初始三维人脸模型;

使用所述多张人脸图像中除人脸姿态角度最正的人脸图像外的其他至少一张人脸图像对所述初始三维人脸模型进行深度矫正,得到已矫正三维人脸模型;

使用所述多张人脸图像中的至少两张人脸图像进行多帧融合,得到三维人脸模型的二维纹理;

渲染所述已矫正三维人脸模型以及所述二维纹理,以生成三维头像模型。

2.根据权利要求1所述的方法,其特征在于,所述获取不同人脸姿态角度的多张人脸图像,包括:

在预先设定的多个人脸姿态角度取值范围中,确定针对所述用户所采集的人脸图像集合中每张人脸图像的人脸姿态角度所属的人脸姿态角度取值范围;

针对每个人脸姿态角度范围,选取出该人脸姿态角度范围对应的至少一张人脸图像。

3.根据权利要求2所述的方法,其特征在于,在所述获取不同人脸姿态角度的多张人脸图像之前,所述方法包括:

从对所述用户的人脸进行多角度拍摄而生成的视频的视频帧中采集所述人脸图像集合。

4.根据权利要求2所述的方法,其特征在于,所述选取出该人脸姿态角度范围对应的至少一张人脸图像,包括:

按照图像质量和/或人脸图像中的人脸表情,从该人脸姿态角度范围在所述人脸图像集合中对应的人脸图像中选取出至少一张人脸图像。

5.根据权利要求4所述的方法,其特征在于,所述按照图像质量和/或人脸图像中的人脸表情,从该人脸姿态角度范围在所述人脸图像集合中对应的人脸图像中选取出至少一张人脸图像,包括:

利用第一卷积神经网络模型计算出所述人脸图像集合中每张人脸图像的图像质量分值,和/或,利用第二卷积神经网络模型计算出所述人脸图像集合中每张人脸图像中人脸的人脸表情分值;

按照人脸图像的图像质量分值和/或人脸表情分值,从该人脸姿态角度范围在所述人脸图像集合中对应的人脸图像中选取出至少一张人脸图像。

6.根据权利要求1所述的方法,其特征在于,所述使用所述多张人脸图像中人脸姿态角度最正的人脸图像建立初始三维人脸模型,包括:

采用可变形模板算法建立初始三维人脸模型。

7.根据权利要求1所述的方法,其特征在于,所述使用所述所述多张人脸图像中除人脸姿态角度最正的人脸图像外的其他至少一张人脸图像对所述初始三维人脸模型进行深度矫正,得到已矫正三维人脸模型,包括:

采用自阴影光照模型进行深度矫正。

8.根据权利要求1所述的方法,其特征在于,所述使用所述多张人脸图像中的至少两张人脸图像进行多帧融合,得到三维人脸模型的二维纹理,包括:

对所述至少两张人脸图像执行质量度提高操作;

对质量度提高后的至少两张人脸图像进行多帧融合,以生成三维人脸模型的二维纹理。

9.根据权利要求8所述的方法,其特征在于,所述对所述至少两张人脸图像执行质量度提高操作,包括:

针对所述至少两张人脸图像的每一张人脸图像,将人脸图像的各个通道的通道值分别输入至预先训练的、用于执行质量度提高操作的第一反卷积神经网络模型,其中,所述第一反卷积神经网络模型用于表征质量度提高前的人脸图像的各个通道的通道值与质量度提高后的人脸图像的梯度场的对应关系;

采用泊松方程,基于所述第一反卷积神经网络模型输出的梯度场,重建质量度提高后的人脸图像。

10.根据权利要求9所述的方法,其特征在于,所述质量度提高操作包括以下一项或多项:光照均匀化操作、降噪操作、模糊去除操作。

11.根据权利要求9所述的方法,其特征在于,所述方法还包括第一反卷积神经网络模型训练步骤,包括:

对预先挑选出的人脸图像执行质量度降低操作;

将质量度降低后的人脸图像的各个通道的通道值以及质量度降低前的人脸图像的梯度场分别作为所述第一反卷积神经网络模型的输入样本与输出样本,对所述第一反卷积神经网络模型进行训练。

12.根据权利要求8所述的方法,其特征在于,所述对质量度提高后的至少两张人脸图像进行多帧融合,以生成三维人脸模型的二维纹理,包括:

将质量度提高后的至少两张人脸图像的各个通道的通道值输入至预先训练的第二反卷积神经网络模型,其中,所述第二反卷积神经网络模型用于表征融合前多个人脸图像的各个通道的通道值与融合后图像的梯度场的对应关系;

采用泊松方程,基于所述第二反卷积神经网络模型输出的梯度场重建三维人脸模型的二维纹理。

13.根据权利要求12所述的方法,其特征在于,所述第二反卷积神经网络模型包括与卷积层对称的反向卷积层以及用于提高所述第二反卷积神经网络模型所输出的图像梯度场所对应图像的分辨率的反向卷积层。

14.根据权利要求12所述的方法,其特征在于,所述方法还包括第二反卷积神经网络模型训练步骤,包括:

获取用于所述第二反卷积神经网络模型的训练样本,所述训练样本数据包括通过不同于所述第二反卷积神经网络模型的泊松融合算法所获得的融合前人脸图像的通道值和融合后的图像梯度场和/或通过三维扫描仪扫描到的人脸图像的通道值和图像梯度场;

基于所述第二反卷积神经网络模型的训练样本数据,对所述第二反卷积神经网络模型进行训练。

15.一种用于生成三维头像的装置,其特征在于,所述装置包括:

获取单元,用于获取用户的不同人脸姿态角度的多张人脸图像;

建立单元,用于使用所述多张人脸图像中人脸姿态角度最正的人脸图像建立初始三维人脸模型;

矫正单元,用于使用所述多张人脸图像中除人脸姿态角度最正的人脸图像外的其他至少一张人脸图像对所述初始三维人脸模型进行深度矫正,得到已矫正三维人脸模型;

融合单元,用于使用所述多张人脸图像中的至少两张人脸图像进行多帧融合,得到三维人脸模型的二维纹理;

渲染单元,用于渲染所述已矫正三维人脸模型以及所述二维纹理渲染,以生成三维头像模型。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1