数字人的表情绑定方法、装置、电子设备及存储介质与流程

本公开涉及计算机，具体涉及增强现实、虚拟现实、计算机视觉、深度学习等，可应用于元宇宙、虚拟数字人等场景。具体涉及一种数字人的表情绑定方法、装置、电子设备及存储介质。

背景技术：

1、数字人(digital human/meta human)，是运用数字技术创造出来的、与人类形象接近的数字化人物形象。

2、数字人是信息科学与生命科学融合的产物，是利用信息科学的方法对人体在不同水平的形态和功能进行虚拟仿真。现有技术中，不管是影视、游戏、直播、工业、广告等领域都涌现出大批的数字人。由于数字人时通过技术手段仿真人，所以，虚拟人的外表非常像对应的真实的人。通过对数字人进行表情绑定以及实时驱动等技术，可以使得数字人能够模拟人做出相应的表情、以及进行相应的肢体运动。

技术实现思路

1、本公开提供了一种数字人的表情绑定方法、装置、电子设备及存储介质。

2、根据本公开的一方面，提供了一种数字人的表情绑定方法，包括：

3、基于采集到的表情序列中的各帧表情，配置用于控制数字人的面部模型执行各帧所述表情的多个形变控制单元；

4、为数字人的面部模型配置多个控制器；

5、基于预配置的多个控制器与多个形变控制单元的绑定关系，将所述多个控制器和所述多个形变控制单元进行绑定，使得各所述控制器能够控制绑定的形变控制单元，进而控制数字人的面部模型能够表达所述表情序列中的各帧表情。

6、根据本公开的另一方面，提供了一种数字人的表情绑定装置，包括：

7、形变控制单元配置模块，用于基于采集到的表情序列中的各帧表情，配置用于控制数字人的面部模型执行各帧所述表情的多个形变控制单元；

8、控制器配置模块，用于为数字人的面部模型配置多个控制器；

9、绑定模块，用于基于预配置的多个控制器与多个形变控制单元的绑定关系，将所述多个控制器和所述多个形变控制单元进行绑定，使得各所述控制器能够控制绑定的形变控制单元，进而控制数字人的面部模型能够表达所述表情序列中的各帧表情。

10、根据本公开的再一方面，提供了一种电子设备，包括：

11、至少一个处理器；以及

12、与所述至少一个处理器通信连接的存储器；其中，

13、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方面和任一可能的实现方式的方法。

14、根据本公开的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上所述的方面和任一可能的实现方式的方法。

15、根据本公开的再另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方面和任一可能的实现方式的方法。

16、根据本公开的技术，能够为数字人绑定表情序列中的表情，有效地提高数字人的表情绑定的准确性和绑定效率，进而可以使得数字人能够非常自然、美观和生动的表达表情序列。

17、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种数字人的表情绑定方法，包括：

2.根据权利要求1所述的方法，其中，基于采集到的表情序列中的各帧表情，配置用于控制数字人的面部模型执行各帧所述表情的多个形变控制单元，包括：

3.根据权利要求2所述的方法，其中，对于采集到的所述表情序列中的各帧表情，将所述表情中的各面部特征拆分为至少两个区域，包括：

4.根据权利要求2所述的方法，其中，对于采集到的所述表情序列中的各帧表情，将所述表情中的各面部特征拆分为至少两个区域，包括：

5.根据权利要求2所述的方法，其中，对于采集到的所述表情序列中的各帧表情，将所述表情中的各面部特征拆分为至少两个区域之前，所述方法还包括：

6.根据权利要求2所述的方法，其中，配置所述表情序列中各帧所述表情对应的各所述面部特征的各所述区域的第一形变控制单元，得到多个第一形变控制单元，包括：

7.根据权利要求6所述的方法，其中，获取所述表情序列中各帧所述表情对应的各所述面部特征的各所述区域的点信息，包括：

8.根据权利要求6所述的方法，其中，所述表情序列包括具有先后时序关系的至少一帧中间帧表情和末帧表情；所述方法还包括：

9.根据权利要求1所述的方法，其中，基于采集到的表情序列中的各帧表情，配置用于控制数字人的面部模型执行各帧所述表情的多个形变控制单元，还包括：

10.根据权利要求9所述的方法，其中，对于所述表情序列中各帧所述表情，若所述表情的面部特征包括眼部特征时，基于第一预设规则，配置数字人的面部模型中眼壳的第二形变控制单元，以控制所述眼壳跟随所述表情进行动作，包括：

11.根据权利要求1所述的方法，其中，基于采集到的表情序列中的各帧表情，配置用于控制数字人的面部模型执行各帧所述表情的多个形变控制单元，还包括：

12.根据权利要求11所述的方法，其中，对于所述表情序列中各帧所述表情，若所述表情的面部特征包括眼部特征时，基于第二预设规则，配置数字人的面部模型中泪腺的第三形变控制单元，以控制所述泪腺跟随所述表情进行动作，包括：

13.根据权利要求1所述的方法，其中，为数字人的面部模型配置多个控制器之前，所述方法还包括：

14.根据权利要求13所述的方法，其中，对于预配置的同一面部特征的至少两个表情的组合表情，基于所述至少两个表情、所述至少两个表情中各所述表情对应的原始形变控制单元、以及所述组合表情，配置所述组合表情的第四形变控制单元、以及差异表情的第五形变控制单元，包括：

15.根据权利要求1-14任一所述的方法，其中，基于预配置的多个控制器与多个形变控制单元的绑定关系，将所述多个控制器和所述多个形变控制单元进行绑定，使得各所述控制器能够控制绑定的形变控制单元，进而控制数字人的面部模型能够表达所述表情序列中的各帧表情，包括：

16.一种数字人的表情绑定装置，包括：

17.根据权利要求16所述的装置，其中，所述形变控制单元配置模块，用于：

18.根据权利要求17所述的装置，其中，所述形变控制单元配置模块，用于：

19.根据权利要求17所述的装置，其中，所述形变控制单元配置模块，用于：

20.根据权利要求17所述的装置，其中，所述装置还包括：

21.根据权利要求17所述的装置，其中，所述形变控制单元配置模块，用于：

22.根据权利要求21所述的装置，其中，所述形变控制单元配置模块，用于：

23.根据权利要求21所述的装置，其中，所述表情序列包括具有先后时序关系的至少一帧中间帧表情和末帧表情；所述装置还包括：

24.根据权利要求16所述的装置，其中，所述形变控制单元配置模块，还用于：

25.根据权利要求24所述的装置，其中，所述形变控制单元配置模块，用于：

26.根据权利要求16所述的装置，其中，所述形变控制单元配置模块，还用于：

27.根据权利要求26所述的装置，其中，所述形变控制单元配置模块，用于：

28.根据权利要求16所述的装置，其中，所述形变控制单元配置模块，还用于：

29.根据权利要求28所述的装置，其中，所述形变控制单元配置模块，还用于：

30.根据权利要求16-29任一所述的装置，其中，所述绑定模块，用于：

31.一种电子设备，包括：

32.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-15中任一项所述的方法。

33.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-15中任一项所述的方法。

技术总结
本公开提供了一种数字人的表情绑定方法、装置、电子设备及存储介质，属于增强现实、虚拟现实、计算机视觉、深度学习等技术领域。具体实现方案为：基于采集到的表情序列中的各帧表情，配置控制数字人的面部模型执行各帧表情的多个形变控制单元；为数字人的面部模型配置多个控制器；基于预配置的多个控制器与多个形变控制单元的绑定关系，将多个控制器和多个形变控制单元进行绑定，使得各控制器能够控制绑定的形变控制单元，进而控制数字人的面部模型能够表达表情序列中的各帧表情。本公开的技术，能够为数字人绑定表情序列中的表情，有效地提高数字人的表情绑定的准确性和绑定效率，进而可以使得数字人能够非常自然、美观和生动的表达表情序列。

技术研发人员：梁倩,张晓东,李士岩,褚红晨,张世阳
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：
技术公布日：2024/2/21