语音驱动唇形生成方法、装置及存储介质与流程

本申请涉及人工智能，尤其涉及一种语音驱动唇形生成方法、装置及存储介质。

背景技术：

1、语音驱动唇形生成是一种先进的人工智能技术，用于通过语音输入生成高质量的唇形图像。通过语音驱动唇形生成技术，可以实现高度逼真的唇形动画，使虚拟角色或人工智能助理的口型与语音输入完美匹配。这种技术在电影、动画、虚拟现实、游戏、语音合成和人机交互等领域具有广泛的应用潜力。

2、数字人生动真实的说话能力是展现数字人表现力的关键要素，其中的核心问题是保持唇形和语音内容的同步性。现有的一些语音驱动唇形生成方法，使用深度神经网络来预测与音频输入相对应的嘴唇运动，但提取的唇部表观先验信息不够准确，导致唇形同步不准确。

技术实现思路

1、本申请实施例提供一种语音驱动唇形生成方法、装置及存储介质，用以解决现有技术中唇形同步的准确性低的技术问题。

2、第一方面，本申请实施例提供一种语音驱动唇形生成方法，包括：

3、将多帧人脸图像输入至纹理编码器中进行纹理特征提取，得到每一人脸图像的初始纹理特征；

4、将运动信息从所述初始纹理特征中解耦，得到所述人脸图像的目标纹理特征；

5、基于所述人脸图像的目标纹理特征和语音输入生成人脸唇形。

6、在一些实施例中，所述将运动信息从所述初始纹理特征中解耦，得到所述人脸图像的目标纹理特征，包括：

7、基于对比约束将运动信息从所述初始纹理特征中解耦；所述对比约束用于最大化具有相同识别码的每一人脸图像的纹理特征和每一人脸图像对应的成对图像的纹理特征的相似性；

8、计算所有人脸图像的解耦后的初始纹理特征的平均值，得到所述人脸图像的目标纹理特征。

9、在一些实施例中，所述方法还包括：

10、将多帧人脸图像输入至运动编码器中进行运动特征提取，得到每一人脸图像的初始运动特征；

11、将纹理信息从所述初始运动特征中解耦，得到所述人脸图像的目标运动特征；

12、判断能否根据所述人脸图像的目标纹理特征和所述人脸图像的目标运动特征还原人脸，并根据判断结果验证所述人脸图像的目标纹理特征的有效性。

13、在一些实施例中，所述将纹理信息从所述初始运动特征中解耦，得到所述人脸图像的目标运动特征，包括：

14、基于正交约束将纹理信息从所述初始运动特征中解耦；所述正交约束用于正交化每一人脸图像的纹理特征和运动特征；

15、确定所述人脸图像的目标运动特征为任一解耦后的初始运动特征。

16、在一些实施例中，所述基于所述人脸图像的目标纹理特征和语音输入生成人脸唇形，包括：

17、获取所述人脸图像的表情特征并基于语音输入确定唇形运动特征；

18、基于所述人脸图像的目标纹理特征、所述人脸图像的表情特征和所述唇形运动特征生成人脸唇形。

19、在一些实施例中，所述基于所述人脸图像的目标纹理特征、所述人脸图像的表情特征和所述唇形运动特征生成人脸唇形，包括：

20、将所述人脸图像的表情特征和所述唇形运动特征进行特征融合，得到融合运动特征；

21、基于所述人脸图像的目标纹理特征和所述融合运动特征，利用生成对抗网络stylegan生成人脸唇形。

22、在一些实施例中，所述方法还包括：

23、根据所述人脸图像的目标运动特征对所述融合运动特征进行相似性约束。

24、第二方面，本申请实施例提供一种语音驱动唇形生成装置，包括：

25、第一获取模块，用于将多帧人脸图像输入至纹理编码器中进行纹理特征提取，得到每一人脸图像的初始纹理特征；

26、第一解耦模块，用于将运动信息从所述初始纹理特征中解耦，得到所述人脸图像的目标纹理特征；

27、生成模块，用于基于所述人脸图像的目标纹理特征和语音输入生成人脸唇形。

28、第三方面，本申请实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面所述的语音驱动唇形生成方法。

29、第四方面，本申请实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所述的语音驱动唇形生成方法。

30、第五方面，本申请实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的语音驱动唇形生成方法。

31、本申请实施例提供的语音驱动唇形生成方法、装置及存储介质，通过纹理编码器获取每一人脸图像的初始纹理特征，并将运动信息从所述初始纹理特征中解耦，得到所述人脸图像的目标纹理特征，从而基于所述人脸图像的目标纹理特征和语音输入生成人脸唇形，避免了运动信息对生成结果的影响，提升了唇形生成及同步的准确性。

技术特征：

1.一种语音驱动唇形生成方法，其特征在于，包括：

2.根据权利要求1所述的语音驱动唇形生成方法，其特征在于，所述将运动信息从所述初始纹理特征中解耦，得到所述人脸图像的目标纹理特征，包括：

3.根据权利要求1所述的语音驱动唇形生成方法，其特征在于，所述方法还包括：

4.根据权利要求3所述的语音驱动唇形生成方法，其特征在于，所述将纹理信息从所述初始运动特征中解耦，得到所述人脸图像的目标运动特征，包括：

5.根据权利要求1所述的语音驱动唇形生成方法，其特征在于，所述基于所述人脸图像的目标纹理特征和语音输入生成人脸唇形，包括：

6.根据权利要求5所述的语音驱动唇形生成方法，其特征在于，所述基于所述人脸图像的目标纹理特征、所述人脸图像的表情特征和所述唇形运动特征生成人脸唇形，包括：

7.根据权利要求6所述的语音驱动唇形生成方法，其特征在于，所述方法还包括：

8.一种语音驱动唇形生成装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的语音驱动唇形生成方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的语音驱动唇形生成方法。

技术总结
本申请提供一种语音驱动唇形生成方法、装置及存储介质。该方法包括：将多帧人脸图像输入至纹理编码器中进行纹理特征提取，得到每一人脸图像的初始纹理特征；将运动信息从所述初始纹理特征中解耦，得到所述人脸图像的目标纹理特征；基于所述人脸图像的目标纹理特征和语音输入生成人脸唇形。本申请提供的语音驱动唇形生成方法、装置及存储介质，通过将运动信息从所述初始纹理特征中解耦，采用解耦后得到的目标纹理特征作为唇形生成的参考先验，避免了运动信息对生成结果的影响，提升生成唇形的准确性和鲁棒性、提高唇形同步的准确率。

技术研发人员：刘智威,曾豪,王金桥
受保护的技术使用者：武汉人工智能研究院
技术研发日：
技术公布日：2024/1/16