信息播报视频的生成方法、装置、设备及存储介质与流程

本申请实施例涉及人工智能，特别涉及一种信息播报视频的生成方法、装置、设备及存储介质。

背景技术：

1、在信息时代，人们通过电视、手机、电脑、平板等各种设备获取信息资讯，尤其在短视频行业崛起的当下，人们倾向于通过观看信息播报视频来满足自己的信息获取需求。

2、然而，传统的信息播报视频需要摄影、剪辑、编辑、主播等各行专业人员的配合协作，需要消耗大量人力物力，并且制作成本高、制作周期长。同时，考虑到视频制作的专业化需求，信息播报视频对视频制作人员存在技术门槛限制，导致信息播报视频无法批量制作。

技术实现思路

1、本申请实施例提供了一种信息播报视频的生成方法、装置、设备及存储介质。所述技术方案如下：

2、一方面，本申请实施例提供了一种信息播报视频的生成方法，所述方法包括：

3、将虚拟主播样图以及形象需求输入图生成模型，得到虚拟主播形象图，所述虚拟主播形象图中的虚拟主播符合所述形象需求；

4、通过大语言模型对原始语料进行关键信息提取，得到所述原始语料中的关键语料；

5、基于所述关键语料生成播报脚本；

6、将所述虚拟主播形象图以及所述播报脚本对应的播报音频输入视频生成模型，得到信息播报视频，所述信息播报视频包含所述虚拟主播的动态播报画面，且所述动态播报画面与所述播报音频同步。

7、另一方面，本申请实施例提供了一种信息播报视频的生成装置，所述装置包括：

8、虚拟主播形象图生成模块，用于将虚拟主播样图以及形象需求输入图生成模型，得到虚拟主播形象图，所述虚拟主播形象图中的虚拟主播符合所述形象需求；

9、关键信息提取模块，用于通过大语言模型对原始语料进行关键信息提取，得到所述原始语料中的关键语料；

10、播报脚本生成模块，用于基于所述关键语料生成播报脚本；

11、信息播报视频生成模块，将所述虚拟主播形象图以及所述播报脚本对应的播报音频输入视频生成模型，得到信息播报视频，所述信息播报视频包含所述虚拟主播的动态播报画面，且所述动态播报画面与所述播报音频同步。

12、另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器、存储器，所述存储器中存储至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行以实现如上述方面所述的信息播报视频的生成方法。

13、另一方面，本申请实施例提供了一种计算机可读存储介质，所述存储介质存储有至少一条程序代码，所述至少一条程序代码用于被处理器执行以实现如上述方面所述的信息播报视频的生成方法。

14、另一方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备实现如上述方面提供的信息播报视频的生成方法。

15、在本申请实施例中，计算机设备既利用了图生成模型，得到虚拟主播形象图，又利用大语言模型从原始语料中提取关键语料，并将其用于生成播报脚本。最后，将虚拟主播形象图以及播报脚本对应的播报音频输入视频生成模型，得到信息播报视频。与人工制作信息播报视频的方式相比，本申请实施例从图像、文本和视频等方面进行多模态处理，使计算机设备自动生成信息播报视频，提高了信息播报视频的制作效率，降低了信息播放视频的制作成本。

技术特征：

1.一种信息播报视频的生成方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述通过大语言模型对原始语料进行关键信息提取，得到所述原始语料中的关键语料之后，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，所述对所述关键语料中的关键数据进行数据挖掘，得到深度挖掘数据之后，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，所述将所述可视化图表插入所述信息播报视频，包括：

5.根据权利要求1所述的方法，其特征在于，所述通过大语言模型对原始语料进行关键信息提取，得到所述原始语料中的关键语料，包括：

6.根据权利要求1所述的方法，其特征在于，所述基于所述关键语料生成播报脚本，包括：

7.根据权利要求1所述的方法，其特征在于，所述将虚拟主播样图以及形象需求输入图生成模型，得到虚拟主播形象图之前，所述方法还包括：

8.根据权利要求1所述的方法，其特征在于，所述视频生成模型包括音频编码器、变分自编码器以及面部合成器；

9.一种信息播报视频的生成装置，其特征在于，所述装置包括：

10.一种计算机设备，其特征在于，所述计算机设备包括处理器、存储器，所述存储器中存储至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行以实现如权利要求1至8任一所述的信息播报视频的生成方法。

11.一种计算机可读存储介质，其特征在于，所述存储介质存储有至少一条程序代码，所述至少一条程序代码用于被处理器执行以实现如权利要求1至8任一所述的信息播报视频的生成方法。

12.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中；计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令，所述处理器执行所述计算机指令，使得所述计算机设备实现如权利要求1至8任一所述的信息播报视频的生成方法。

技术总结
本申请实施例公开了一种信息播报视频的生成方法、装置、设备及存储介质，属于人工智能技术领域。所述方法包括：将虚拟主播样图以及形象需求输入图生成模型，得到虚拟主播形象图，虚拟主播形象图中的虚拟主播符合形象需求；通过大语言模型对原始语料进行关键信息提取，得到原始语料中的关键语料；基于关键语料生成播报脚本；将虚拟主播形象图以及播报脚本对应的播报音频输入视频生成模型，得到信息播报视频，信息播报视频包含虚拟主播的动态播报画面，且动态播报画面与播报音频同步。采用本申请实施例提供的方案能够提高信息播报视频的制作效率，降低制作成本。

技术研发人员：苏婧文,王凡祎
受保护的技术使用者：OPPO广东移动通信有限公司
技术研发日：
技术公布日：2024/1/16