人脸驱动方法、装置和存储介质与流程

文档序号:37544063发布日期:2024-04-08 13:46阅读:来源:国知局

技术特征:

1.一种人脸驱动方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,在所述目标任务为二维数字人驱动任务的情况下,所述输入数据包括驱动数据和源人脸图像,所述目标人脸图像为目标二维人脸图像,所述基于所述目标任务,利用神经网络模型对所述输入数据进行处理,确定目标人脸图像,包括:

3.根据权利要求2所述的方法,其特征在于,所述驱动数据包括驱动图像,所述基于所述驱动数据,确定人脸的表情参数,包括:

4.根据权利要求2所述的方法,其特征在于,所述驱动数据包括驱动音频,所述基于所述驱动数据,确定人脸的表情参数,包括:

5.根据权利要求1所述的方法,其特征在于,在所述目标任务为三维数字人驱动任务的情况下,所述目标人脸图像为目标三维人脸图像,所述输入数据包括驱动音频,所述基于所述目标任务,利用神经网络模型对所述输入数据进行处理,确定目标人脸图像,包括:

6.根据权利要求1所述的方法,其特征在于,在所述目标任务为三维数字人驱动任务的情况下,所述目标人脸图像为目标三维人脸图像,所述输入数据包括驱动图像,所述基于所述目标任务,利用神经网络模型对所述输入数据进行处理,确定目标人脸图像,包括:

7.根据权利要求1所述的方法,其特征在于,所述神经网络模型包括以下中的一个或多个模块:音频特征提取器、图像特征提取器、音频表情预测器、图像表情预测器、人脸形状预测器、纹理预测器、二维人脸渲染器和三维人脸渲染器;

8.根据权利要求1所述的方法,其特征在于,所述神经网络模型为训练后的神经网络模型,所述方法还包括:

9.根据权利要求8所述的方法,其特征在于,所述根据所述训练视频和所述训练音频,基于所述二维数字人驱动任务和所述三维数字人驱动任务对初始的神经网络模型进行训练,得到训练后的神经网络模型,包括:

10.根据权利要求8所述的方法,其特征在于,所述根据所述训练视频和所述训练音频,基于所述二维数字人驱动任务和所述三维数字人驱动任务对初始的神经网络模型进行训练,得到训练后的神经网络模型,包括:

11.根据权利要求10所述的方法,其特征在于,所述根据所述源人脸图像样本、所述驱动图像样本和所述驱动音频样本,基于所述二维数字人驱动任务和所述三维数字人驱动任务对初始的神经网络模型进行训练,得到所述训练后的神经网络模型,包括:

12.根据权利要求1所述的方法,其特征在于,所述神经网络模型用于在其他关联任务中进行精调训练,以确定精调后的神经网络模型。

13.一种人脸驱动装置,其特征在于,所述装置包括:

14.一种人脸驱动装置,其特征在于,包括:

15.一种非易失性计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至12中任意一项所述的方法。


技术总结
本公开涉及一种人脸驱动方法、装置和存储介质。该方法包括:基于目标任务,获取输入数据,目标任务包括至少两种数字人驱动任务;基于目标任务,利用神经网络模型对输入数据进行处理,确定目标人脸图像,目标人脸图像呈现驱动数据表征的表情。根据本申请实施例,通过基于目标任务获取输入数据,其中目标任务包括至少两种数字人驱动任务,可以基于目标任务利用神经网络模型对输入数据进行处理确定目标人脸图像,从而可以使神经网络模型可支持不同数字人驱动任务的处理,可实现利用一个模型同时解决多种数字人的面部驱动问题,使最终图像呈现驱动数据表征的表情,处理效率更高,模型的泛化性强,且处理效果更佳。

技术研发人员:请求不公布姓名
受保护的技术使用者:摩尔线程智能科技(成都)有限责任公司
技术研发日:
技术公布日:2024/4/7
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1