基于数字人的直播方法、装置、电子设备和可读存储介质与流程

本公开涉及数字人、直播，尤其是涉及一种基于数字人的直播方法、装置、电子设备和可读存储介质。

背景技术：

1、目前已有的数字人替身由用户编辑生成，数字人由用户的肢体、面部表情等动作驱动，数字人运动的骨骼动画基于动作捕捉技术获得，用户驱动数字人替身也要进行相应的运动。

2、然而，某些主播行动力较差，比如不擅长高难度跳舞，但主播想要直播输出跳舞内容，此时基于动作捕捉技术无法满足该主播的直播需求，直播效果差。

技术实现思路

1、鉴于上述问题而提出了本公开。本公开提供了一种基于数字人的直播方法、装置、电子设备和可读存储介质。

2、根据本公开一个方面，提供了一种基于数字人的直播方法，包括：获取主播的第一直播位置；

3、响应于主播触发的切换指令，在主播的直播画面中，生成遮挡所述主播的数字人，并录制包括所述数字人的所述直播画面形成录播视频；

4、将直播内容从所述主播的直播切换成播放所述录播视频；以及

5、当所述录播视频播放结束后，将直播内容切换为数字人直播。

6、此外，根据本公开的一个方面的基于数字人的直播方法，当所述录播视频播放结束后，将直播内容切换为数字人直播，包括：响应于所述主播选定的目标舞蹈，控制所述数字人基于对应于所述目标舞蹈的三维姿态信息跳舞。

7、此外，根据本公开的一个方面的基于数字人的直播方法，当至少一个直播间满足预设条件时，启动预录制机制，对所述至少一个直播间进行监控；响应于所述至少一个直播间的主播开始跳舞时，对所述至少一个直播间的直播内容进行录制，并将舞蹈视频存入素材库。

8、此外，根据本公开的一个方面的基于数字人的直播方法，所述响应于所述主播选定的目标舞蹈，控制所述数字人基于对应于所述目标舞蹈的三维姿态信息跳舞，包括：从所述素材库选择对应于所述目标舞蹈的多个舞蹈视频；以预定分割方式，将所述多个舞蹈视频的每一个分割为对应于多个时间段的多个舞蹈子视频；基于所述多个舞蹈子视频的推荐值，为所述多个时段的每一个时段选择最佳舞蹈子视频；基于所述每一个时段的所述最佳舞蹈子视频生成对应于所述目标舞蹈的三维姿态信息；以及基于所述三维姿态信息，控制数字人跳舞。

9、此外，根据本公开的一个方面的基于数字人的直播方法，所述预设条件包括：所述至少一个直播间的在线人数信息大于第一预设阈值。

10、此外，根据本公开的一个方面的基于数字人的直播方法，所述响应于主播触发的切换指令，在主播的直播画面中，生成遮挡所述主播的数字人，并录制包括所述数字人的所述直播画面形成录播视频包括：获取主播的第一直播位置；基于所述第一直播位置确定第二直播位置，响应于所述主播在所述第一直播位置触发的切换指令，在所述第二直播位置生成遮挡所述主播的数字人，并录制包括所述数字人的所述直播画面形成录播视频。

11、根据本公开的另一个方面的基于数字人的直播装置，包括：录播视频生成模块，被配置为响应于主播触发的切换指令，在主播的直播画面中，生成遮挡所述主播的数字人，并录制包括所述数字人的所述直播画面形成录播视频；切换控制模块，被配置为将直播内容从所述主播的直播切换成播放所述录播视频；以及当所述录播视频播放结束后，将直播内容切换为数字人直播。

12、根据本公开的另一个方面的基于数字人的直播装置，所述切换控制模块还被配置为：响应于所述主播选定的目标舞蹈，控制所述数字人基于三维姿态信息跳舞。

13、根据本公开的另一个方面的基于数字人的直播装置，所述切换控制模块还被配置为：当至少一个直播间满足预设条件时，启动预录制机制，对所述至少一个直播间进行监控；响应于所述至少一个直播间的主播开始跳舞时，对所述至少一个直播间的直播内容进行录制，并将舞蹈视频存入素材库。

14、根据本公开的另一个方面的基于数字人的直播装置，所述切换控制模块还被配置为：从所述素材库选择对应于所述目标舞蹈的多个舞蹈视频；以预定分割方式，将所述多个舞蹈视频的每一个分割为对应于多个时间段的多个舞蹈子视频；基于所述多个舞蹈子视频的推荐值，为所述多个时段的每一个时段选择最佳舞蹈子视频；基于所述每一个时段的所述最佳舞蹈子视频生成对应于所述目标舞蹈的三维姿态信息；以及基于所述三维姿态信息，控制数字人跳舞。

15、根据本公开的另一个方面的基于数字人的直播装置，所述录播视频生成模块还被配置为：获取主播的第一直播位置；基于所述第一直播位置确定第二直播位置，响应于所述主播在所述第一直播位置触发的切换指令，在所述第二直播位置生成遮挡所述主播的数字人，并录制包括所述数字人的所述直播画面形成录播视频。

16、根据本公开的又一个方面，提供了一种电子设备，包括：存储器，用于存储计算机可读指令；以及处理器，用于运行所述计算机可读指令，使得所述电子设备执行如上所述的基于数字人的直播方法。

17、根据本公开的再一个方面，提供了一种可读存储介质，用于存储计算机可读指令，其特征在于，当所述计算机可读指令由处理器执行时，使得所述处理器执行如上所述的基于数字人的直播方法。

18、如以下将详细描述的，根据本公开实施例的基于数字人的直播方法、装置、电子设备和可读存储介质，通过在主播直播位置前方设置数字人以遮挡真实主播，在从真实直播切换到数字人直播的过程中，播放录制好的录播视频，来遮挡主播以供主播离开直播位置，进而实现主播直播切换为数字人直播，而在数字人直播的最后一帧主播回到直播位置，将直播内容切换回真实直播，进而实现数字人直播切换成主播的真实直播；进一步地，在播放录播视频时，主播有充足的时间离开直播位置，同时，由于录播视频背景画面与主播直播时的直播场景相同，将直播内容切换为录播视频对观众来说，直播场景并未发生变化，不影响直播观感，在主播直播时，可以自由切换主播直播与数字人直播；进一步地，在切换数字人直播中，数字人按照预先训练的目标舞蹈对应的三维姿态数据跳舞，实现不会跳舞的主播能够直播跳舞。

19、要理解的是，前面的一般描述和下面的详细描述两者都是示例性的，并且意图在于提供要求保护的技术的进一步说明。

技术特征：

1.一种基于数字人的直播方法，其特征在于，包括：

2.根据权利要求1所述的基于数字人的直播方法，其特征在于，当所述录播视频播放结束后，将直播内容切换为数字人直播，包括：

3.根据权利要求2所述的基于数字人的直播方法，其特征在于，还包括：

4.根据权利要求3所述的基于数字人的直播方法，其特征在于，所述响应于所述主播选定的目标舞蹈，控制所述数字人基于对应于所述目标舞蹈的三维姿态信息跳舞，包括：

5.根据权利要求3或4所述的基于数字人的直播方法，其特征在于，所述预设条件包括：

6.根据权利要求1-5任一项所述的基于数字人的直播方法，其特征在于，所述响应于主播触发的切换指令，在主播的直播画面中，生成遮挡所述主播的数字人，并录制包括所述数字人的所述直播画面形成录播视频包括：

7.一种基于数字人的直播装置，其特征在于，包括：

8.根据权利要求7所述的基于数字人的直播装置，其特征在于，所述切换控制模块还被配置为：

9.根据权利要求8所述的基于数字人的直播装置，其特征在于，所述切换控制模块还被配置为：

10.根据权利要求9所述的基于数字人的直播装置，其特征在于，所述切换控制模块还被配置为：

11.根据权利要求7-10任一项所述的基于数字人的直播装置，其特征在于，所述录播视频生成模块还被配置为：

12.一种电子设备，其特征在于，包括：

13.一种可读存储介质，用于存储计算机可读指令，其特征在于，当所述计算机可读指令由处理器执行时，使得所述处理器执行如权利要求1到6的任一项所述的基于数字人的直播方法。

技术总结
本公开提供了一种基于数字人的直播方法、装置、电子设备和可读存储介质，方法包括：响应于主播触发的切换指令，在主播的直播画面中，生成遮挡所述主播的数字人，并录制包括所述数字人的所述直播画面形成录播视频，将直播内容从所述主播的直播切换成播放所述录播视频；以及当所述录播视频播放结束后，将直播内容切换为数字人直播。本公开实现通过在主播直播位置前方设置数字人直播位置以遮挡真实主播位置，在从真实直播切换到数字人直播的过程中，播放录制好的录播视频，来遮挡以供主播离开直播位置和回到直播位置，进而实现主播的真实直播和数字人直播的切换。

技术研发人员：刘超,郑彬戈,李小海,张毅
受保护的技术使用者：咪咕文化科技有限公司
技术研发日：
技术公布日：2024/2/21