视频生成方法、装置和计算机可读存储介质与流程

本技术涉及互联网，具体涉及一种视频生成方法、装置和计算机可读存储介质。

背景技术：

1、随着互联网技术的快速发展，网络上每天都会产生海量的内容，例如影视剧、综艺节目、资讯新闻等相关视频，用户难以在海量内容中快速的获取到感兴趣的内容。为此，可以在视频中提取出包含视频精彩画面的视频摘要，用户通过观看视频摘要实现对视频内容的快速获取。在现有技术中，往往采用深度学习模型来在视频中提取出视频精彩画面的关键帧，从而基于关键帧生成包含精彩片段的视频摘要。

2、在对现有技术的研究和实践过程中发现，现有的采用深度学习模型生成视频摘要的视频生成方法中，需要大量的训练样本以及较长的训练时间，使得视频生成过程繁琐，进而导致视频生成效率较低。

技术实现思路

1、本技术实施例提供一种视频生成方法、装置和计算机可读存储介质，可以简化视频摘要的视频生成流程，进而提升视频生成效率。

2、本技术实施例提供一种视频生成方法，包括：

3、获取基础视频，并在所述基础视频中提取出至少一个模态的模态信息，所述模态信息包括基础视频的图像帧序列以及音频帧序列；

4、对所述图像帧序列中图像帧进行至少一个维度特征提取，得到至少一个维度的图像特征，并基于所述图像特征计算所述图像帧之间的特征差异，得到所述图像帧序列的图像特征差异序列；

5、在所述音频帧序列中提取出音频特征序列，并将所述音频特征序列和所述图像特征差异序列进行融合处理，得到所述基础视频的特征数据变化序列；

6、在所述特征数据变化序列中识别出特征数据峰值，并根据所述特征数据峰值在所述基础视频中识别出视频关键帧；

7、基于所述视频关键帧生成所述基础视频对应的目标视频。

8、相应的，本技术实施例提供一种视频生成装置，包括：

9、提取单元，用于获取基础视频，并在所述基础视频中提取出至少一个模态的模态信息，所述模态信息包括基础视频的图像帧序列以及音频帧序列；

10、计算单元，用于对所述图像帧序列中图像帧进行至少一个维度特征提取，得到至少一个维度的图像特征，并基于所述图像特征计算所述图像帧之间的特征差异，得到所述图像帧序列的图像特征差异序列；

11、融合单元，用于在所述音频帧序列中提取出音频特征序列，并将所述音频特征序列和所述图像特征差异序列进行融合处理，得到所述基础视频的特征数据变化序列；

12、识别单元，用于在所述特征数据变化序列中识别出特征数据峰值，并根据所述特征数据峰值在所述基础视频中识别出视频关键帧；

13、生成单元，用于基于所述视频关键帧生成所述基础视频对应的目标视频。

14、在一实施例中，所述识别单元，包括：

15、峰值排序子单元，用于对所述特征数据峰值进行排序，得到排序后特征数据峰值；

16、峰值筛选子单元，用于基于预设关键帧数量阈值，在所述排序后特征数据峰值中筛选出目标特征数据峰值；

17、关键帧提取子单元，用于根据所述目标特征数据峰值在所述特征数据变化序列中的位置，确定视频关键帧在基础视频中的关键帧位置，从所述关键帧位置提取出所述视频关键帧。

18、在一实施例中，所述生成单元，包括：

19、补帧参数确定子单元，用于基于各所述视频关键帧对应的特征数据峰值，确定各所述视频关键帧的补帧参数；

20、补帧子单元，用于基于所述补帧参数对各所述视频关键帧进行补帧处理，得到关键视频片段；

21、片段融合子单元，用于根据所述视频关键帧对应的时间信息，对所述关键视频片段进行片段融合处理，得到所述基础视频对应的目标视频。

22、在一实施例中，所述补帧参数包括补帧起始位置和补帧结束位置，所述补帧参数确定子单元，包括：

23、谷值识别模块，用于在所述特征数据变化序列中识别出与各所述视频关键帧对应的特征数据峰值关联的特征数据谷值，所述特征数据谷值包括第一谷值以及第二谷值；

24、补帧位置确定模块，用于基于所述第一谷值以及所述第二谷值在所述特征数据变化序列中的位置，确定各所述视频关键帧在所述基础视频中对应的补帧起始位置和补帧结束位置。

25、在一实施例中，所述补帧参数包括补帧数量，所述补帧参数确定子单元，包括：

26、峰值对比模块，用于将各所述视频关键帧对应的特征数据峰值进行对比，得到峰值对比结果；

27、权重确定模块，用于基于所述峰值对比结果，确定出各所述视频关键帧对应的补帧权重；

28、补帧数量确定模块，用于基于所述补帧权重确定各所述视频关键帧对应的补帧数量。

29、在一实施例中，所述视频生成装置，还包括：

30、文本获取单元，用于获取所述基础视频的文本内容，并在所述文本内容中识别出摘要文本内容；

31、片段筛选单元，用于基于所述摘要文本内容对应的视频时间信息，在所述基础视频中筛选出所述摘要文本内容对应的摘要视频片段；

32、所述生成单元，包括：

33、基于所述摘要视频片段和所述视频关键帧生成所述基础视频对应的目标视频。

34、在一实施例中，所述图像特征包括颜色分布特征以及内容特征，所述计算单元，包括：

35、颜色分布差异计算子单元，用于基于所述颜色分布特征计算所述图像帧之间的颜色分布差异，得到所述图像帧序列对应的颜色分布差异序列；

36、内容差异计算子单元，用于根据所述内容特征计算所述图像帧之间的内容差异，得到所述图像帧序列对应的内容差异序列；

37、差异序列加权子单元，用于将所述颜色分布差异序列以及所述内容差异序列中位于相同位置的序列数据进行加权处理，得到所述图像帧序列对应的图像特征差异序列。

38、此外，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本技术实施例所提供的任一种视频生成方法中的步骤。

39、此外，本技术实施例还提供一种计算机设备，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器用于运行所述存储器内的计算机程序实现本技术实施例提供的视频生成方法。

40、本技术实施例还提供一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取所述计算机指令，处理器执行所述计算机指令，使得所述计算机设备执行本技术实施例提供的视频生成方法中的步骤。

41、本技术实施例通过获取基础视频，并在基础视频中提取出至少一个模态的模态信息，模态信息包括基础视频的图像帧序列以及音频帧序列；对图像帧序列中图像帧进行至少一个维度特征提取，得到至少一个维度的图像特征，并基于图像特征计算图像帧之间的特征差异，得到图像帧序列的图像特征差异序列；在音频帧序列中提取出音频特征序列，并将音频特征序列和图像特征差异序列进行融合处理，得到基础视频的特征数据变化序列；在特征数据变化序列中识别出特征数据峰值，并根据特征数据峰值在基础视频中识别出视频关键帧；基于视频关键帧生成基础视频对应的目标视频。以此，通过在基础视频中提取出图像帧序列和音频帧序列，计算出图像帧序列对应的图像特征差异序列以及音频帧序列对应的音频特征序列，并将音频特征序列和图像特征差异序列融合得到基础视频的特征数据变化序列，从而在特征数据变化序列中识别出表征视频内容变化程度较剧烈的特征数据峰值，并根据特征数据峰值在基础视频中提取出视频关键帧，从而基于视频关键帧生成包含基础视频中精彩内容的目标视频，以此提高摘要视频生成的通用性，同时简化了视频摘要的生成流程，进而提升了视频生成的效率。