数字人短视频制作平台及其制作方法与流程

本技术涉及人工智能，具体而言，涉及一种数字人短视频制作平台及其制作方法。

背景技术：

1、随着人工智能技术的发展与元宇宙概念的普及，虚拟主播、虚拟偶像、虚拟员工等虚拟形象成为了互联网活动中重要的组成部分。上述虚拟形象由数字人/虚拟人(以下统称为数字人)构成，具体而言，该数字人由预设的形象、声音、场景构成，并可根据用户输入的语音或内容，驱动数字人展示不同的动作或表情，进而生成一段数字人视频。

2、通常情况下，用户有数字人视频生成的服务需求时，其需要联系可提供虚拟形象定制服务的公司(以下统称为定制公司)，并将服务需求，如对数字人形象与声音的偏好，具体的应用场景，数字人视频的内容等告知定制公司，由定制公司根据上述服务需求在后台制作对应的数字人，并完成对应数字人视频的生成。上述数字人制作的过程包括选择对应的数字人形象，选择对应的声音，对数字人进行训练等等；上述数字人视频生成的过程包括对数字人的驱动以及视频的编辑等等。

3、结合上述示例，相关技术中的数字人视频生成过程中，用户与定制公司之间的合作方式类似于传统的定制服务，即需求方向服务方提出需求，服务方根据需求提供对应的服务或产品。该方式在实现中存在诸多问题，一方面，从用户角度，其需要主动或被动的联系定制公司，这无疑提高了数字人视频生成的门槛，并且，在数字人视频生成的过程中，用户需要反复就其需求与定制公司进行沟通，进而造成人力与时间成本的耗费以及数字人视频生成效率的低下。另一方面，从定制公司的角度，其仅能采用传统的营销方式推广自身的数字人视频生成服务，不仅营销成本过高，且推广效率较低，难以面向普通消费者实现数字人视频生成服务的全面推广；并且，在数字人视频生成过程中，定制公司也需要根据用户需求不断调整数字人视频生成的方式或内容，进一步导致数字人视频生成的成本与效率均不理想。

4、在元宇宙概念迅速普及的背景下，数字人在不同的应用场景下的需求日益增长，对应的，如采用上述传统模型下的数字人视频生成服务方式，其存在的问题导致该服务方式无法与服务需求相匹配。

5、针对相关技术中，用户无法根据自己的需求快速生成数字人视频，定制公司无法高效推广自身的数字人视频生成服务，以及数字人视频生成的成本与效率无法得到控制等一系列问题，相关技术中尚未提供有效的解决方案。

技术实现思路

1、本技术提供了一种数字人短视频制作平台及其制作方法，以至少解决相关技术中用户无法根据自己的需求快速生成数字人视频，定制公司无法高效推广自身的数字人视频生成服务，以及数字人视频生成的成本与效率无法得到控制的技术问题。

2、本技术提供了一种数字人短视频制作平台，设置有模特单元、模板单元、声音单元、台本单元和管理单元，其中所述模特单元被配置为：接收用户发送的数字人模特选择指令，所述数字人模特选择指令用于生成与目标数字人形象对应的目标数字人模特；响应于所述数字人模特选择指令，展示所述目标数字人模特的静态照片与动态视频；所述模板单元被配置为：接收用户发送的数字人模板选择编辑指令，所述数字人模板选择编辑指令用于通过所述用户对预设模板进行编辑，以生成目标模板；响应于所述数字人模板选择编辑指令，得到所述目标模板，所述目标模板为在不同预设场景下，根据不同的应用需求所生成的模板，所述预设场景内包括文字、图像以及音频；所述声音单元被配置为：接收用户发送的声音选择指令，所述声音选择指令用于使所述目标数字人模特按照目标声音进行发音；响应于所述声音选择指令，播放所述用户选择的目标声音；所述台本单元被配置为：接收用户发送的台本选择指令，所述台本选择指令用于根据所述目标主题生成具有对应文本内容的目标台本；响应于所述台本选择指令，生成所述目标台本，所述目标台本为具有与所述目标主题对应的文本内容的台本；所述管理单元被配置为：接收用户发送的管理指令，所述管理指令用于通过对所述目标数字人模特、所述目标模板、所述目标声音和所述目标台本进行编辑以生成目标数字人短视频；响应于所述管理指令制作并生成所述目标数字人短视频。

3、在一种实现方式中，所述平台还设置有直播单元，所述直播单元被配置为：接收用户发送的直播指令，所述直播指令用于使所述目标数字人模特在对应的所述目标模板、所述目标声音以及所述目标台本下，进行视频直播；响应于所述直播指令，实现基于所述目标数字人模特的视频直播。

4、在一种实现方式中，采用模特单元获取目标数字人模特、采用模板单元获取目标模板、采用声音单元获取目标声音以及采用台本单元获取目标台本；采用管理单元将所述目标数字人模特、所述目标模板、所述目标声音以及所述目标台本进行统一管理；采用管理单元基于所述目标模板根据所述目标数字人模特、所述目标声音以及所述目标台本生成目标数字人短视频；采用管理单元将生成的所述目标数字人短视频进行保存，并输出所述目标数字人短视频。

5、在一种实现方式中，所述目标模板包括带有具体格式的完全模板以及用户自定义的空白模板。

6、在一种实现方式中，采用管理单元基于所述目标模板根据所述目标数字人模特、所述目标声音以及所述目标台本生成目标数字人短视频，还包括：采用所述管理单元接收用户输入的素材视频，所述素材视频为用户自拍或下载的视频；采用所述管理单元获取所述素材视频对应的音频内容或视频内容；当所述素材视频对应为音频内容时，则采用所述管理单元，根据所述音频内容驱动所述目标数字人模特进行动作，以生成目标数字人短视频；当所述素材视频对应为视频内容时，则采用所述管理单元，根据所述视频内容驱动所述目标数字人模特进行动作，以生成目标数字人短视频。

7、在一种实现方式中，根据所述视频内容驱动所述目标数字人模特进行动作，以生成目标数字人短视频，包括：提取所述素材视频对应的视频内容；将所述视频内容中的人物动作通过动作迁移的方式迁移至所述目标数字人模特上，使所述目标数字人模特按照所述视频中的人物动作进行相应动作，以生成与所述素材视频对应的所述目标数字人短视频。

8、在一种实现方式中，所述目标数字人短视频是基于预训练的神经网络模型生成的，具体包括：采用所述声音单元获取所述目标声音，所述目标声音为用户输入的素材音频或由所述声音单元对应生成的音频；根据所述目标声音使所述神经网络模型输出相应的动作，驱动所述目标数字人模特，以生成所述目标数字人短视频。

9、在一种实现方式中，根据所述目标声音驱动所述目标数字人模特，包括：获取所述用户编辑完成的文本内容或所述用户基于所述台本单元选择的目标台本内容；根据所述目标声音，生成与所述编辑完成的文本内容或所述目标台本内容对应的音频，以驱动所述目标数字人模特实现相应动作。

10、在一种实现方式中，基于所述预训练的神经网络模型生成所述目标数字人短视频，还包括：提取所述目标数字人模特，所述目标模板，所述目标声音以及所述目标台本；通过训练样本，对所述预训练的神经网络模型进行训练；采用训练完成的所述神经网络模型，驱动所述目标数字人模特，生成所述目标数字人短视频。

11、在一种实现方式中，所述目标模板内的预设场景包括非专业领域以及专业领域；当所述目标模板内的预设场景为非专业领域时，则所述模板单元采用预设的通用训练样本对所述预训练的神经网络模型进行训练；当所述目标模板内的预设场景为专业领域时，则采用专业训练样本对所述预训练的神经网络模型进行训练。

12、由以上技术方案可知，基于本技术提供的一种数字人短视频制作平台，具体有以下技术效果：

13、1、通过本发明提供的一种数字人短视频制作平台，用户可在无需与服务方对接的情况下，自行根据需求实现数字人视频的制作与生成，从用户自身的角度，显著提高了数字人视频生成的效率，并可以更好的实现个性化处理；

14、2、服务方通过本发明提供的一种数字人短视频制作平台，不仅可以高效推广数字人视频生成服务，还可显著降低数字人视频生成服务过程中的人力与时间成本。