一种三维人脸动画生成方法及系统与流程

本说明书涉及人脸动画，特别涉及一种三维人脸动画生成方法及系统。

背景技术：

1、随着计算机视觉、图形学技术以及元宇宙的快速发展，相关技术逐步深入应用到各个领域，其中包括人脸动画生成。

2、目前，人脸动画生成主要通过真人动捕和模型驱动两种方式进行。其中，真人动捕方式需要真人进行录制真实面部表情，需耗费大量的人力成本。模型驱动方式是采用模型生成相关的人脸动画数据，可自动快速生成，节约时间和人力成本，但形成的脸部表情比较中性和不自然，无法体现出人物的情感。

3、因此，希望提供一种三维人脸动画生成方法及系统，可以使人脸动画的脸部表情更加自然，提高人脸动画表达的准确性和情感表达效果，提升用户的使用体验。

技术实现思路

1、本说明书一个或多个实施例提供一种三维人脸动画生成方法。所述方法由处理器执行，包括：基于人物基本要素，生成动画基础特征，所述动画基础特征包括风格特征和语音特征中的至少一种；基于所述动画基础特征，通过特征融合模型生成融合动画特征，其中，所述特征融合模型为机器学习模型；基于所述融合动画特征，通过表情生成模型生成人脸表情动画，其中，所述表情生成模型为机器学习模型。

2、本说明书一个或多个实施例提供一种三维人脸动画生成系统。所述系统包括：基础生成模块、融合生成模块和表情生成模块，其中，所述基础生成模块被配置为基于人物基本要素，生成动画基础特征，所述动画基础特征包括风格特征和语音特征中的至少一种；所述融合生成模块被配置为基于所述动画基础特征，通过特征融合模型生成融合动画特征，其中，所述特征融合模型为机器学习模型；所述表情生成模块被配置为基于所述融合动画特征，通过表情生成模型生成人脸表情动画，其中，所述表情生成模型为机器学习模型。

3、本说明书一个或多个实施例提供一种三维人脸动画生成装置，所述装置包括：至少一个处理器以及至少一个存储器，所述至少一个存储器用于存储计算机指令，所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现所述三维人脸动画生成方法。

4、本说明书实施例之一提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行所述三维人脸动画生成方法。

5、有益效果：基于人物基本要素，可以确定与人物基本要素相匹配的语音特征和风格特征，通过使用特征融合模型，可以快速准确地根据语音特征和风格特征生成融合动画特征，基于表情生成模型对融合动画特征进行处理，生成口型匹配度高、语音同步性强、表情自然逼真、情感可控的3d人脸表情动画，可以保证生成的三维人脸动画的脸部表情更加自然，也提高了人脸动画表达的准确性和情感表达效果，以及提升了用户的使用体验，充分满足用户需求。

技术特征：

1.一种三维人脸动画生成方法，其特征在于，所述方法由处理器执行，包括：

2.根据权利要求1所述的方法，其特征在于，所述人物基本要素包括表情风格要素，所述表情风格要素包括表情风格图片、表情风格视频、风格标识号和风格强度中的至少一种，所述基于人物基本要素，生成动画基础特征包括：

3.根据权利要求1所述的方法，其特征在于，所述人物基本要素包括语音要素，所述语音特征包括语音能量特征和音素特征中的至少一种，所述基于人物基本要素，生成动画基础特征包括：

4.根据权利要求1所述的方法，其特征在于，所述表情生成模型包括特征编码器和表情解码器，所述基于所述融合动画特征，通过表情生成模型生成人脸表情动画包括：

5.根据权利要求1所述的方法，其特征在于，所述特征融合模型和所述表情生成模型基于联合训练得到，所述联合训练的训练过程包括：

6.一种三维人脸动画生成系统，其特征在于，包括基础生成模块、融合生成模块和表情生成模块，其中，

7.根据权利要求6所述的系统，其特征在于，所述人物基本要素包括表情风格要素，所述表情风格要素包括表情风格图片、表情风格视频、风格标识号和风格强度中的至少一种，所述基础生成模块进一步被配置为：

8.根据权利要求6所述的系统，其特征在于，所述表情生成模型包括特征编码器和表情解码器，所述表情生成模块进一步被配置为：

9.一种三维人脸动画生成装置，其特征在于，所述装置包括至少一个处理器以及至少一个存储器，所述至少一个存储器用于存储计算机指令，所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现如权利要求1~5中任一项所述的三维人脸动画生成方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行如权利要求1~5任一项所述的三维人脸动画生成方法。

技术总结
本说明书实施例提供一种三维人脸动画生成方法及系统，涉及人脸动画技术领域。该方法由处理器执行，包括：基于人物基本要素，生成动画基础特征，其中，动画基础特征包括风格特征和语音特征中的至少一种；基于动画基础特征，通过特征融合模型生成融合动画特征，其中，特征融合模型为机器学习模型；基于融合动画特征，通过表情生成模型生成人脸表情动画，其中，表情生成模型为机器学习模型。该方法及系统可以使人脸动画的脸部表情更加自然，提高人脸动画表达的准确性和情感表达效果，提升用户的使用体验。

技术研发人员：王新文,陈珉,林俊江,朱禹
受保护的技术使用者：浙江同花顺智能科技有限公司
技术研发日：
技术公布日：2024/1/15