数字人视频生成方法、装置、电子设备及存储介质与流程

本申请涉及计算机视觉，具体涉及一种数字人视频生成方法、装置、电子设备及存储介质。

背景技术：

1、数字人主播有着广泛的应用市场和巨大的潜在价值，目前有两种生成数字人视频的方式，一种是动嘴不动身体，另一种是身体和嘴一起动，前者与后者相比交互性差，但制作简单。后者在制作过程中需要录制一段主播的视频，成本较高。

技术实现思路

1、本申请实施例提供一种数字人视频生成方法、装置、电子设备及存储介质，可以降低数字人视频的制作成本。

2、本申请实施例的第一方面提供了一种数字人视频生成方法，包括：

3、获取包含人脸的图像，获取人体动作序列；

4、基于所述图像和所述人体动作序列，生成第一视频，所述第一视频包含n个视频帧；

5、对所述第一视频中每个视频帧进行人脸检测，得到所述第一视频中每个视频帧的人脸掩膜；

6、对所述图像进行人脸检测，得到所述图像的人脸掩膜；

7、基于所述图像的人脸掩膜和音频语料，生成第二视频；所述第二视频包含n个视频帧，所述第二视频中的n个视频帧与所述第一视频中的n个视频帧一一对应；

8、将所述第一视频中每个视频帧的人脸掩膜用所述第二视频中对应的视频帧进行替换，得到数字人视频。

9、本申请实施例的第二方面提供了一种数字人视频生成装置，包括：

10、获取单元，用于获取包含人脸的图像，获取人体动作序列；

11、生成单元，用于基于所述图像和所述人体动作序列，生成第一视频，所述第一视频包含n个视频帧；

12、检测单元，用于对所述第一视频中每个视频帧进行人脸检测，得到所述第一视频中每个视频帧的人脸掩膜；

13、所述检测单元，还用于对所述图像进行人脸检测，得到所述图像的人脸掩膜；

14、所述生成单元，还用于基于所述图像的人脸掩膜和音频语料，生成第二视频；所述第二视频包含n个视频帧，所述第二视频中的n个视频帧与所述第一视频中的n个视频帧一一对应；

15、替换单元，用于将所述第一视频中每个视频帧的人脸掩膜用所述第二视频中对应的视频帧进行替换，得到数字人视频。

16、本申请实施例的第三方面提供了一种电子设备，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如本申请实施例第一方面中的步骤指令。

17、本申请实施例的第四方面提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。

18、本申请实施例的第五方面提供了一种计算机程序产品，其中，上述计算机程序产品包括计算机程序，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。

19、本申请实施例中，获取包含人脸的图像，获取人体动作序列；基于所述图像和所述人体动作序列，生成第一视频，所述第一视频包含n个视频帧；对所述第一视频中每个视频帧进行人脸检测，得到所述第一视频中每个视频帧的人脸掩膜；对所述图像进行人脸检测，得到所述图像的人脸掩膜；基于所述图像的人脸掩膜和音频语料，生成第二视频；所述第二视频包含n个视频帧，所述第二视频中的n个视频帧与所述第一视频中的n个视频帧一一对应；将所述第一视频中每个视频帧的人脸掩膜用所述第二视频中对应的视频帧进行替换，得到数字人视频。本申请实施例中，基于图像和人体动作序列，生成第一视频，第一视频可以包含人体的身体动作，基于图像的人脸掩膜和音频语料，生成第二视频，第二视频可以包含人体的嘴唇随音频语料的变化，将第一视频中每个视频帧的人脸掩膜用第二视频中对应的视频帧进行替换，使得到数字人视频既包含人体的身体动作，又包含人脸的嘴唇随音频语料的变化，只需要一张包含人脸的图像，即可生成身体和嘴唇联动的数字人视频，可以降低数字人视频的制作成本。

技术特征：

1.一种数字人视频生成方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述人体动作序列包括深度图序列或者骨骼关键点序列。

3.根据权利要求1所述的方法，其特征在于，所述人体动作序列基于包含人体全身的视频得到。

4.根据权利要求1所述的方法，其特征在于，所述基于所述图像和所述人体动作序列，生成第一视频，包括：

5.根据权利要求1所述的方法，其特征在于，所述基于所述图像的人脸掩膜和音频语料，生成第二视频，包括：

6.根据权利要求1所述的方法，其特征在于，所述音频语料的时长与所述第二视频的帧率之积等于n。

7.根据权利要求1～6任一项所述的方法，其特征在于，所述人体动作序列的序列数量等于n，所述人体动作序列的第一个序列和最后一个序列相同。

8.一种数字人视频生成装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1～7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1～7任一项所述的方法。

技术总结
本申请实施例提供一种数字人视频生成方法、装置、电子设备及存储介质，该数字人视频生成方法包括：获取包含人脸的图像，获取人体动作序列；基于图像和人体动作序列，生成第一视频，第一视频包含N个视频帧；对第一视频中每个视频帧进行人脸检测，得到第一视频中每个视频帧的人脸掩膜；对图像进行人脸检测，得到图像的人脸掩膜；基于图像的人脸掩膜和音频语料，生成第二视频；第二视频包含N个视频帧，第二视频中的N个视频帧与第一视频中的N个视频帧一一对应；将第一视频中每个视频帧的人脸掩膜用第二视频中对应的视频帧进行替换，得到数字人视频，可以降低数字人视频的制作成本。

技术研发人员：王凡祎,苏婧文
受保护的技术使用者：OPPO广东移动通信有限公司
技术研发日：
技术公布日：2024/1/16