表情迁移模型的训练方法及装置、表情迁移方法及装置与流程

文档序号:26142378发布日期:2021-08-03 14:27阅读:来源:国知局

技术特征:

1.一种表情迁移模型的训练方法,其特征在于,所述表情迁移模型包括编码器、第一解码器以及第二解码器,所述训练方法包括:

获取第一三维人脸样本和第二三维人脸样本;

基于所述编码器和所述第一解码器对所述第一三维人脸样本进行训练,基于所述编码器和所述第二解码器对所述第二三维人脸样本进行训练;

判断是否达到训练停止条件,并且在达到训练停止条件的情况下,停止训练过程。

2.根据权利要求1所述的训练方法,其特征在于,基于所述编码器和所述第一解码器对第一三维人脸样本进行训练包括:

将所述第一三维人脸样本的初始顶点信息和邻接矩阵输入所述编码器,得到第一编码向量;

将所述第一编码向量输入所述第一解码器,得到第一解码向量,根据第一解码向量与所述初始顶点信息得到损失值;

根据所述损失值调整编码器和第一解码器中的网络层的系数向量。

3.根据权利要求1或2所述的训练方法,其特征在于,基于所述编码器和所述第二解码器对所述第二三维人脸样本进行训练包括:

将所述第二三维人脸样本的初始顶点信息和邻接矩阵输入所述编码器,得到第二编码向量,

将所述第二编码向量输入所述第二解码器,得到第二解码向量,根据第二解码向量与所述第二三维人脸样本的初始顶点信息得到损失值;

根据所述损失值调整编码器和第二解码器中的网络层的系数向量。

4.根据权利要求1所述的训练方法,其特征在于,所述编码器包括图卷积神经网络层、下采样层和全连接层,图卷积神经网络层和下采样层依次间隔设置,第一解码器和第二解码器包括全连接层、上采样层和卷积神经网络层,所述上采样层和卷积神经网络层依次间隔设置。

5.根据权利要求3所述的训练方法,其特征在于,交替执行对第一预设数目的第一三维人脸样本进行训练和对第二预设数目的第二三维人脸样本进行训练。

6.根据权利要求1所述的训练方法,其特征在于,获取第一三维人脸样本包括:

获取多个人脸图像,对所述多个人脸图像进行人脸重建,获得第一三维人脸样本。

7.根据权利要求6所述的训练方法,其特征在于,获取第一三维人脸样本还包括:

对所述多个人脸图像进行人脸重建之后,将重建后的三维人脸与所述第二三维人脸样本进行空间对齐。

8.一种利用表情迁移模型的表情迁移方法,其特征在于,所述表情迁移模型包括编码器、第一解码器以及第二解码器,并且通过权利要求1至7中任一项所述的训练方法预先训练,所述表情迁移方法包括:

获取待迁移表情的第一三维人脸;

基于所述编码器和所述第二解码器对所述第一三维人脸进行表情迁移,得到第二三维人脸。

9.根据权利要求8所述的表情迁移方法,其特征在于,基于所述编码器和所述第二解码器对所述第一三维人脸进行表情迁移包括:

将所述第一三维人脸的初始顶点信息和邻接矩阵输入所述编码器,得到第一编码向量;

将所述第一编码向量输入所述第二解码器。

10.根据权利要求8或9所述的表情迁移方法,其特征在于,获取待迁移表情的第一三维人脸包括:

从目标视频截取同一人脸的多帧人脸图像,对所述多帧人脸图像进行人脸重建,获得待迁移表情的多个第一三维人脸。

11.根据权利要求10所述的表情迁移方法,其特征在于,还包括:

基于所述第二三维人脸生成动画。

12.一种表情迁移模型的训练装置,其特征在于,所述表情迁移模型包括编码器、第一解码器以及第二解码器,所述训练装置包括:

第一获取模块,被配置为获取第一三维人脸样本和第二三维人脸样本;

训练模块,被配置为基于所述编码器和所述第一解码器对所述第一三维人脸样本进行训练,基于所述编码器和所述第二解码器对所述第二三维人脸样本进行训练;

判断模块,被配置为判断是否达到训练停止条件,并且在达到训练停止条件的情况下,停止训练过程。

13.一种利用表情迁移模型的表情迁移装置,其特征在于,所述表情迁移模型包括编码器、第一解码器以及第二解码器,并且通过权利要求1至7中任一项所述的训练方法预先训练,所述表情迁移装置包括:

第二获取模块,被配置为获取待迁移表情的第一三维人脸;

迁移模块,被配置为基于所述编码器和所述第二解码器对所述第一三维人脸进行表情迁移,得到第二三维人脸。

14.一种计算设备,其特征在于,包括:

存储器和处理器;

所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,以实现上述权利要求1至7任意一项所述表情迁移模型的训练方法,或者权利要求8至11任意一项所述利用表情迁移模型的表情迁移方法的操作步骤。

15.一种计算机可读存储介质,其存储有计算机指令,该计算机指令被处理器执行时实现上述权利要求1至7任意一项所述表情迁移模型的训练方法,或者权利要求8至11任意一项所述利用表情迁移模型的表情迁移方法的操作步骤。


技术总结
本申请提供表情迁移模型的训练方法及装置、表情迁移方法及装置,其中所述表情迁移模型包括编码器、第一解码器以及第二解码器,所述训练方法包括:获取第一三维人脸样本和第二三维人脸样本;基于所述编码器和所述第一解码器对所述第一三维人脸样本进行训练,基于所述编码器和所述第二解码器对所述第二三维人脸样本进行训练;判断是否达到训练停止条件,并且在达到训练停止条件的情况下,停止训练过程。根据本实施例的表情迁移模型的训练方法使用图卷积神经网络提取特征,采用自编码器的网络结构进行训练,实现将表情迁移至特定三维人脸。

技术研发人员:梁延研;冯梓原;林旭新;杨林;史少桦
受保护的技术使用者:珠海金山网络游戏科技有限公司
技术研发日:2021.05.21
技术公布日:2021.08.03
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1