短视频的生成方法及装置、短视频生成系统与流程

文档序号:25538734发布日期:2021-06-18 20:33阅读:149来源:国知局
短视频的生成方法及装置、短视频生成系统与流程

本发明涉及多媒体视频内容处理技术领域,具体而言,涉及一种短视频的生成方法及装置、短视频生成系统。



背景技术:

当下移动互联网领域产品及技术得到迅速发展,移动互联网短视频产品成为当前互联网行业中最领先、最火爆的生态。短视频内容创作与传播,是当前面向互联网用户提供内容服务的重要手段和方法。面对传统的多媒体视频内容,涵盖了新闻、电影、电视剧、体育比赛、足球、篮球、综艺节目、纪录片等,均为长视频内容,而在移动互联网主打碎片化场景,用户更容易被精简精编、播放时长更少的短视频内容吸引。而如何使用传统的多媒体视频内容,高效、快速地生成精编短视频,是当前互联网领域尤其是互联网内容制作领域最迫切的需求。并且视频内容相比互联网上的图文内容更复杂,表现力更丰富,但不容易进行编辑处理,通常需要专业的视频编辑使用视频处理软件,进行切条、摘要、整合,生产精编视频内容。生成过程对编辑人员和编辑工具均有重度的依赖和依靠,并且生产一条短视频的时间,通常需要几倍于原始视频内容的时间。

针对上述相关技术中视频内容只能依靠编辑人员进行视频内容编辑生成短视频、效率较低的问题,目前尚未提出有效的解决方案。



技术实现要素:

本发明实施例提供了一种短视频的生成方法及装置、短视频生成系统,以至少解决相关技术中视频内容只能依靠编辑人员进行视频内容编辑生成短视频、效率较低的技术问题。

根据本发明实施例的一个方面,提供了一种短视频的生成方法,包括:对多媒体视频内容进行分段,得的多个视频片段;对所述多个视频片段进行价值评估,得到所述多个视频片段中每个视频片段的评估值;根据所述每个视频片段的评估值选择所述多个视频片段中评估值高于预定阈值的部分视频片段;根据所述部分视频片段生成短视频。

可选地,对多媒体视频内容进行分段,得的多个视频片段,包括:获取所述多媒体视频内容;对所述多媒体视频内容进行分析,得到所述多媒体视频内容中的信息元素以及所述信息元素在多媒体视频内容中出现的时间点描述信息;根据所述信息元素以及所述时间点描述信息对所述多媒体视频内容进行标注,得到所述多个视频片段。

可选地,对所述多媒体视频内容进行分析,得到所述多媒体视频内容中的信息元素以及所述信息元素在多媒体视频内容中出现的时间点描述信息,包括:将所述多媒体视频内容输入至智能分析模型,其中,所述智能分析模型为使用多组训练数据通过机器学习训练得到的,所述多组训练数据中的每一组训练数据均包括:多媒体视频内容以及与所述多媒体视频内容对应的信息元素、时间点描述信息;获取所述智能分析模型的输出,并将所述智能分析模型的输出转换为所述信息元素以及所述时间点描述信息。

可选地,根据所述信息元素以及所述时间点描述信息对所述多媒体视频内容进行标注,得到所述多个视频片段,包括:根据所述信息元素以及所述时间点描述信息对所述多媒体视频内容进行信息点提取,得到多个信息点;根据所述多个信息点对所述多媒体视频内容进行标注,得到所述多个视频片段。

可选地,对所述多个视频片段进行价值评估,得到所述多个视频片段中每个视频片段的评估值,包括:获取价值评估条件,其中,所述价值评估条件包括以下至少之一:时长、信息重要程度;利用所述价值评估条件对所述多个视频片段进行价值评估,得到所述多个视频片段中每个视频片段的评估值。

可选地,对所述多个视频片段进行价值评估,得到所述多个视频片段中每个视频片段的评估值,包括:将所述多个视频片段输入价值评估模型,其中,所述价值评估模型为使用多组训练数据通过机器学习训练得到的,所述多组训练数据中的每一组训练数据均包括:视频片段以及所述视频片段的评估值;获取所述价值评估模型的输出,并将所述价值评估模型的输出转换为所述每个视频片段的评估值。

可选地,根据所述部分视频片段生成短视频,包括:将所述多媒体视频内容作为情感分析模型的输入,其中,所述情感分析模型为使用多组训练数据通过机器学习训练得到的,所述多组训练数据的每一组均包括:多媒体视频内容以及与所述多媒体视频内容匹配的音频信息;将所述情感分析模型的输出转换为音频信息;将所述部分视频片段进行融合后添加所述音频信息对应的音频,得到所述短视频。

根据本发明实施例的另一个方面,还提供了一种短视频的生成装置,包括:分段单元,用于对多媒体视频内容进行分段,得的多个视频片段;价值评估单元,用于对所述多个视频片段进行价值评估,得到所述多个视频片段中每个视频片段的评估值;选择单元,用于根据所述每个视频片段的评估值选择所述多个视频片段中评估值高于预定阈值的部分视频片段;生成单元,用于根据所述部分视频片段生成短视频。

可选地,所述分段单元,包括:第一获取模块,用于获取所述多媒体视频内容;分析模块,用于对所述多媒体视频内容进行分析,得到所述多媒体视频内容中的信息元素以及所述信息元素在多媒体视频内容中出现的时间点描述信息;标注模块,用于根据所述信息元素以及所述时间点描述信息对所述多媒体视频内容进行标注,得到所述多个视频片段。

可选地,所述分析模块,包括:输入子模块,用于将所述多媒体视频内容输入至智能分析模型,其中,所述智能分析模型为使用多组训练数据通过机器学习训练得到的,所述多组训练数据中的每一组训练数据均包括:多媒体视频内容以及与所述多媒体视频内容对应的信息元素、时间点描述信息;转换子模块,用于获取所述智能分析模型的输出,并将所述智能分析模型的输出转换为所述信息元素以及所述时间点描述信息。

可选地,所述标注模块,包括:提取子模块,用于根据所述信息元素以及所述时间点描述信息对所述多媒体视频内容进行信息点提取,得到多个信息点;标注子模块,用于根据所述多个信息点对所述多媒体视频内容进行标注,得到所述多个视频片段。

可选地,所述价值评估单元,包括:第二获取模块,用于获取价值评估条件,其中,所述价值评估条件包括以下至少之一:时长、信息重要程度;价值评估模块,用于利用所述价值评估条件对所述多个视频片段进行价值评估,得到所述多个视频片段中每个视频片段的评估值。

可选地,所述价值评估单元,包括:输入模块,用于将所述多个视频片段输入价值评估模型,其中,所述价值评估模型为使用多组训练数据通过机器学习训练得到的,所述多组训练数据中的每一组训练数据均包括:视频片段以及所述视频片段的评估值;第一转换模块,用于获取所述价值评估模型的输出,并将所述价值评估模型的输出转换为所述每个视频片段的评估值。

可选地,所述生成单元,包括:确定模块,用于将所述多媒体视频内容作为情感分析模型的输入,其中,所述情感分析模型为使用多组训练数据通过机器学习训练得到的,所述多组训练数据的每一组均包括:多媒体视频内容以及与所述多媒体视频内容匹配的音频信息;第二转换模块,用于将所述情感分析模型的输出转换为音频信息;第三获取模块,用于将所述部分视频片段进行融合后添加所述音频信息对应的音频,得到所述短视频。

根据本发明实施例的另一个方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序被处理器运行时控制所述计算机存储介质所在设备执行上述中任一项所述的短视频的生成方法。

根据本发明实施例的另一个方面,还提供了一种处理器,所述处理器用于运行计算机程序,其中,所述计算机程序运行时执行上述中任一项所述的短视频的生成方法。

根据本发明实施例的另一个方面,还提供了一种短视频生成系统,包括:存储器,与所述存储器耦合的处理器,所述存储器和所述处理器通过总线系统相通信;所述存储器用于存储程序,其中,所述程序在被处理器执行时控制所述存储器所在设备执行上述中任一项所述的短视频的生成方法;所述处理器用于运行程序,其中,所述程序运行时执行上述中任一项所述的短视频的生成方法。

在本发明实施例中,采用对多媒体视频内容进行分段,得的多个视频片段;对多个视频片段进行价值评估,得到多个视频片段中每个视频片段的评估值;根据每个视频片段的评估值选择多个视频片段中评估值高于预定阈值的部分视频片段;根据部分视频片段生成短视频。通过本发明实施例提供的短视频的生成方法,实现了对多媒体内容进行分段后进行价值评估,利用价值评估值满足预定条件的部分视频段生成短视频的目的,可以高效且连续不间断地生成面向多媒体视频内容的短视频内容,从而大幅提升短视频生成和创作的效率,进而解决了相关技术中视频内容只能依靠编辑人员进行视频内容编辑生成短视频、效率较低的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:

图1是根据本发明实施例的短视频的生成方法的流程图;

图2是根据本发明实施例的多媒体视频内容智能生成短视频方法的流程图;

图3是根据本发明实施例的可选的短视频的生成方法的流程图;

图4是根据本发明实施例的短视频的生成装置的示意图;

图5是根据本发明实施例的可选的短视频的生成装置的示意图;

图6是根据本发明实施例的短视频生成系统的框架图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。

需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

随着人工智能领域的飞速发展,针对视频内容的内容解析、关键词分析、热点内容分析,已经逐步成熟。通过人工智能技术,结合语音识别、图像识别、文本识别、自然语言处理,已经可以对视频内容进行结构化分析,解析出视频内容相关的关键词、核心出场人物,以及对热点内容的确认。例如通过视频分析能力,可以针对足球比赛分析出比赛过程中,所有射门事件发生的时间、持续的时间。而结合基于人工智能的视频分析能力,面对多媒体视频内容,可以进行有效的分析,再智能地计算视频内容片段的价值评分,有效地提取视频内容中的高价值片段。再进行整合、配音,可以完整地实现面向多媒体视频内容的短视频生产。并且基于智能算法,可以把视频的生产时间极大地缩短,通常为原始视频的几分之一甚至十分之一以下。

因此,针对上述问题,在本发明实施例中,可以基于人工智能对多媒体内容缝纫解析,得到信息点数据,并对信息带你数据进行价值计算,确认视频内容信息片段价值;以及对片段价值高于阈值的视频片段进行自动剪辑,生成精编短视频,对视频内容智能添加特效,也可以对视频内容进行智能配音、智能添加背景音乐。其中,使用人工智能对多媒体视频内容进行分析,获取标签数据、关键词、视频内容对白等,基于视频智能分析获得的信息点数据进行价值计算,对视频内容进行分段。根据视频内容分段进行价值评分,可以为根据评分进行筛选高于阈值的片段,进行自动剪辑,实现智能生成短视频。基于智能分析的多媒体视频内容信息点词语判断内容类型,匹配适合视频内容的背景音乐,智能拼接原视频片段内容的配音、添加背景音等,实现对多媒体视频内容的智能匹配背景音乐,增强短视频表现。在本发明实施例中,不同类型的多媒体视频内容、视频节目包括新闻内容、电影、电视剧、足球比赛、篮球比赛、体育内容、综艺节目、纪录片等,根据不同类型内容,对应的不同的内容片段价值评分体系,通过智能算法基于业务数据体系进行评分,实现多媒体视频内容片断价值评分,对多媒体视频内容的片段进行标识,内容片段信息起点、结束点、评分。

需要说明的是,对多媒体视频内容进行解析,以及基于视频解析的特征标签、关键词进行视频片段标记或分割;对多媒体视频内容解析后的数据进行情感、节奏、风格判断,智能选择匹配适合的音乐、背景音乐。

下面结合具体实施例对本发明实施例中的短视频的生成方法及装置、短视频生成系统进行说明。

实施例1

根据本发明实施例,提供了一种短视频的生成方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的短视频的生成方法的流程图,如图1所示,该短视频的生成方法包括如下步骤:

步骤s102,对多媒体视频内容进行分段,得的多个视频片段。

可选的,上述多媒体视频内容可以为视频节目,例如,新闻、电影、电视剧、足球比赛、篮球比赛、体育赛事、综艺节目、纪录片等。

在本发明实施例中,在获取到多媒体视频内容后,可以对多媒体视频内容进行分段,以得到多个视频片段。

其中,在本发明实施例中,可以依托于多媒体智能分析能力,通常互联网上可以使用的智能分析能力,可以提供人物的解析、关键词的解析、人物动作或事件的解析,例如,针对足球比赛的射门动作进行解析,并且可以智能地识别多媒体视频内容中的图像内容,视频内容的场景分析、视频内容中的文字分析,以及对视频内容的音频进行识别,分析语音内容,识别为台词或旁白,并且可以根据相应的文字进行实体识别,确认关键字、内容情感倾向等。

需要说明的是,本发明实施例中的智能分析可以是基于系统自身的多媒体视频智能分析能力,也可以是基于互联网公有云提供的视频智能分析能力,对需要进行智能处理的多媒体视频内容进行智能分析处理;例如,可以提交多媒体视频内容给视频智能分析系统,并根据智能分析系统返回的各类信息元素,以及相关信息在视频中出现的时间点描述,即可实现相应的智能短视频生成。

步骤s104,对多个视频片段进行价值评估,得到多个视频片段中每个视频片段的评估值。

在该实施例中,可以对多个视频段进行价值评估,以得到多个视频片段中的每个视频片段的评估值。

步骤s106,根据每个视频片段的评估值选择多个视频片段中评估值高于预定阈值的部分视频片段。

步骤s108,根据部分视频片段生成短视频。

由上可知,在本发明实施例中,对多媒体视频内容进行分段,得的多个视频片段;对多个视频片段进行价值评估,得到多个视频片段中每个视频片段的评估值;根据每个视频片段的评估值选择多个视频片段中评估值高于预定阈值的部分视频片段;根据部分视频片段生成短视频,实现了对多媒体内容进行分段后进行价值评估,利用价值评估值满足预定条件的部分视频段生成短视频的目的,可以高效且连续不间断地生成面向多媒体视频内容的短视频内容,从而大幅提升短视频生成和创作的效率。

因此,通过本发明实施例提供的短视频的生成方法,解决了相关技术中视频内容只能依靠编辑人员进行视频内容编辑生成短视频、效率较低的技术问题。

在上述步骤s102中,对多媒体视频内容进行分段,得的多个视频片段,包括:获取多媒体视频内容;对多媒体视频内容进行分析,得到多媒体视频内容中的信息元素以及信息元素在多媒体视频内容中出现的时间点描述信息;根据信息元素以及时间点描述信息对多媒体视频内容进行标注,得到多个视频片段。

在该实施例中,单通过智能分析系统对多媒体视频内容进行视频解析后,可以根据返回得到的智能分析结果进行信息点提取,并根据信息点所描述的信息内容、在视频内容的发生时间范围内,对视频内容进行片段标注;即,定义不同的视频片段内容,其视频片段的信息点内容是什么、视频片段的起始时间以及结束时间;并汇总所有视频片段定义后,再针对信息点内容进行价值评估计算。

其中,对多媒体视频内容进行分析,得到多媒体视频内容中的信息元素以及信息元素在多媒体视频内容中出现的时间点描述信息,包括:将多媒体视频内容输入至智能分析模型,其中,智能分析模型为使用多组训练数据通过机器学习训练得到的,多组训练数据中的每一组训练数据均包括:多媒体视频内容以及与多媒体视频内容对应的信息元素、时间点描述信息;获取智能分析模型的输出,并将智能分析模型的输出转换为信息元素以及时间点描述信息。

在该实施例中,通过智能分析模型对多媒体视频内容进行分析,以得到多媒体视频内容中的信息元素以及信息元素在多媒体视频中出现的时间点描述信息,大大提高了对多媒体视频内容进行分析的效率以及准确性。

在上述实施例中,根据信息元素以及时间点描述信息对多媒体视频内容进行标注,得到多个视频片段,可以包括:根据信息元素以及时间点描述信息对多媒体视频内容进行信息点提取,得到多个信息点;根据多个信息点对多媒体视频内容进行标注,得到多个视频片段。

在该实施例中,在获得视频内容信息点后,可以标识出不同信息点所属的视频片段后,通过人工判断内容价值,进行调整和筛选,

在步骤s104中,对多个视频片段进行价值评估,得到多个视频片段中每个视频片段的评估值,可以包括:获取价值评估条件,其中,价值评估条件包括以下至少之一:时长、信息重要程度;利用价值评估条件对多个视频片段进行价值评估,得到多个视频片段中每个视频片段的评估值。

通常进行价值评估计算,需要设置前置的限定条件或目标值,例如,智能生成内容时需要关注的人物、事件、特征关键词等;可以选择的价值评估计算公式通常可以以时间为参数,以重点信息为限制条件。即,通过对人物、事件、关键词,以及相应信息元素出现的时间,参考上一个同类信息的视频片段的发生时间、结束时间,增加价值衰减判断,最终可以得到价值评估分值。通常连续出现的相同信息内容,短时间内发生的相同信息点的多次视频片段,后发生的片段分值会被连续削减;重点使用优先生成信息点内容的片段;其中,同一个信息点的视频内容片段,时间较长但未超出单个片段阈值的,价值评估得分会较高,时间较短的得分会较低;低于最小预知的视频片段会被评为0分,不适用此类视频片段;即,视频评分,以此为基础,延展为使用人工智能深度学习训练对视频内容进行价值评分判断,通过人工干预和学习训练,实现人工智能化的价值评分能力。

因此,对多个视频片段进行价值评估,得到多个视频片段中每个视频片段的评估值,可以包括:将多个视频片段输入价值评估模型,其中,价值评估模型为使用多组训练数据通过机器学习训练得到的,多组训练数据中的每一组训练数据均包括:视频片段以及视频片段的评估值;获取价值评估模型的输出,并将价值评估模型的输出转换为每个视频片段的评估值。

需要说明的是,在本发明实施例中,对视频片段内容进行评分后,短视频生成系统将对视频片段内容进行筛选,选择评分较高的内容,进行视频片段内容的整合。这里整合可以根据后续人工智能的深度学习进行训练,不断提升词筛选的有效性、价值判断的优先性。通过人工干预再进行学习训练,提升智能选择视频片段的有效性以及内容质量。

另外,在通过视频编码模块对限定的视频片段内容进行整合、编码后,即得到了基础的短视频内容;也可以根据业务需求,指定是否对短视频内容进行配音、配乐处理。

在上述步骤s108中,根据部分视频片段生成短视频,可以包括:将多媒体视频内容作为情感分析模型的输入,其中,情感分析模型为使用多组训练数据通过机器学习训练得到的,多组训练数据的每一组均包括:多媒体视频内容以及与多媒体视频内容匹配的音频信息;将情感分析模型的输出转换为音频信息;将部分视频片段进行融合后添加音频信息对应的音频,得到短视频。

在该实施例中,可以在对视频内容分析后,可以获取视频相关的场景信息、关键词、情感倾向等信息。依托上述信息,使用人工智能算法,对视频内容进行情感分析,选择符合内容情感倾向的旁白配音、背景音乐,对视频内容的表现力进行增强。上述智能配音、配乐能力,也可以通过人工干预,再进行强化学习训练,用于增强智能配音配乐的有效性及质量。

需要说明的是,在该实施例中,可以通过智能提取视频片段、片接视频片段以及根据视频内容信息或情感类别进行配音配乐。

这里在对智能配音配乐的处理后,多媒体视频内容已经生产出其对应的短视频内容,进行最终的合成编码后,完成完整的短视频内容智能化生产。

下面结合附图对本发明实施例中提供的短视频的生成方法进行说明。

图2是根据本发明实施例的多媒体视频内容智能生成短视频方法的流程图,如图2所示,可以向短视频生成系统提交多媒体视频内容以利用短视频生成系统对收到的多媒体视频内容进行智能分析计算;然后使用智能分析计算的信息点对视频进行分片处理,得到多个视频片段;接着对视频片段的信息点进行价值评估,基于评估结果提取视频切片内容进行整合可以得到短视频;也可以对短视频进行智能配乐、配音,生成带有配音或配乐的短视频。

图3是根据本发明实施例的可选的短视频的生成方法的流程图,如图3所示,可以向短视频生成系统提交多媒体视频内容,以利用该短视频生成系统分析多媒体视频内容,接着对多媒体视频内容进行片段拆分;然后对视频内容进行价值判断以得到各个视频片段的价值评分,同时也会提取视频片段;根据价值评分提取符合需求的视频片段;再判断是否需要增加配音、配乐等;若是,则匹配符合视频内容的情感或场景的配音、配乐;使用符合价值评分的视频片段合成短视频,并输出短视频结果。

由上可知,在本发明实施例中,可以对视频内容进行内容元素分析,以确定视频内容中的语音内容、图像内容、图像中的文本内容;针对上述的内容进行人工智能自然语言分析,提取出相关的信息点,用于描述视频关键信息、片段价值;针对图像内容还有相关的特征分析,用于判断场景类型、事件类型,提供场景标签、事件标签作为信息点;根据信息点的出现时间,判断片段的起始时间、结束时间。其中,可以根据所提取的视频片段信息,以及相关的标签信息,进行价值判断,确认视频片段的内容价值;根据不同的片段价值,进行内容提取;以及根据内容片段价值算法,仅提取内容片段价值高过阈值的部分,对多个视频片段内容进行内容筛选,最后进行内容的提取和整合。另外,也可以根据所提取出的视频内容描述、场景分析、以及通过自然语言分析判断情感类型,匹配适合的配音、背景音乐,对前述提取整合得到的视频片段进行配音合成,增强生成的短视频的内容表现。对于面向多类型的多媒体视频内容包括新闻内容、电影、电视剧、体育比赛、足球、篮球、综艺节目、纪录片,针对内容类型不同,分析和计算视频内容中信息点存在不同方式。其中在获得视频内容信息点,标识出不同信息点所属的视频片段后,可以通过人工判断内容价值后并进行调整和筛选;也可以根据人工判断结果以及人工调整和筛选对智能化算法判断视频片段信息价值进行优化;进一步地,智能生成短视频的方式也可以包括:智能提取片段、拼接视频片段以及根据视频内容信息户情感类别进行配音配乐。

综上所述,在本发明实施例中,可以对视频片段的价值评估、智能选择视频片段、智能配音配乐等环节,均可以使用人工手段进行干预,并进行逐步的强化学习训练,提升人工智能判断视频片段价值、智能选择视频片段、智能配音配乐的有效性及内容质量。

实施例2

根据本发明实施例的另一个方面,还提供了一种短视频的生成装置,图4是根据本发明实施例的短视频的生成装置的示意图,如图4所示,该短视频的生成装置可以包括:分段单元41,价值评估单元43,选择单元45以及生成单元47。下面对该短视频的生成装置进行说明。

分段单元41,用于对多媒体视频内容进行分段,得的多个视频片段。

价值评估单元43,用于对多个视频片段进行价值评估,得到多个视频片段中每个视频片段的评估值。

选择单元45,用于根据每个视频片段的评估值选择多个视频片段中评估值高于预定阈值的部分视频片段。

生成单元47,用于根据部分视频片段生成短视频。

由上可知,此处需要说明的是,上述分段单元41,价值评估单元43,选择单元45以及生成单元47对应于实施例1中的步骤s102至s108,上述单元与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述单元作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

由上可知,在本申请上述实施例中,可以利用分段单元对多媒体视频内容进行分段,得的多个视频片段;然后利用价值评估单元对多个视频片段进行价值评估,得到多个视频片段中每个视频片段的评估值;并利用选择单元根据每个视频片段的评估值选择多个视频片段中评估值高于预定阈值的部分视频片段;以及利用生成单元根据部分视频片段生成短视频。通过本发明实施例提供的短视频的生成装置,实现了对多媒体内容进行分段后进行价值评估,利用价值评估值满足预定条件的部分视频段生成短视频的目的,可以高效且连续不间断地生成面向多媒体视频内容的短视频内容,从而大幅提升短视频生成和创作的效率,解决了相关技术中视频内容只能依靠编辑人员进行视频内容编辑生成短视频、效率较低的技术问题。

在一种可选的实施例中,分段单元,包括:第一获取模块,用于获取多媒体视频内容;分析模块,用于对多媒体视频内容进行分析,得到多媒体视频内容中的信息元素以及信息元素在多媒体视频内容中出现的时间点描述信息;标注模块,用于根据信息元素以及时间点描述信息对多媒体视频内容进行标注,得到多个视频片段。

在一种可选的实施例中,分析模块,包括:输入子模块,用于将多媒体视频内容输入至智能分析模型,其中,智能分析模型为使用多组训练数据通过机器学习训练得到的,多组训练数据中的每一组训练数据均包括:多媒体视频内容以及与多媒体视频内容对应的信息元素、时间点描述信息;转换子模块,用于获取智能分析模型的输出,并将智能分析模型的输出转换为信息元素以及时间点描述信息。

在一种可选的实施例中,标注模块,包括:提取子模块,用于根据信息元素以及时间点描述信息对多媒体视频内容进行信息点提取,得到多个信息点;标注子模块,用于根据多个信息点对多媒体视频内容进行标注,得到多个视频片段。

在一种可选的实施例中,价值评估单元,包括:第二获取模块,用于获取价值评估条件,其中,价值评估条件包括以下至少之一:时长、信息重要程度;价值评估模块,用于利用价值评估条件对多个视频片段进行价值评估,得到多个视频片段中每个视频片段的评估值。

在一种可选的实施例中,价值评估单元,包括:输入模块,用于将多个视频片段输入价值评估模型,其中,价值评估模型为使用多组训练数据通过机器学习训练得到的,多组训练数据中的每一组训练数据均包括:视频片段以及视频片段的评估值;第一转换模块,用于获取价值评估模型的输出,并将价值评估模型的输出转换为每个视频片段的评估值。

在一种可选的实施例中,生成单元,包括:确定模块,用于将多媒体视频内容作为情感分析模型的输入,其中,情感分析模型为使用多组训练数据通过机器学习训练得到的,多组训练数据的每一组均包括:多媒体视频内容以及与多媒体视频内容匹配的音频信息;第二转换模块,用于将情感分析模型的输出转换为音频信息;第三获取模块,用于将部分视频片段进行融合后添加音频信息对应的音频,得到短视频。

图5是根据本发明实施例的可选的短视频的生成装置的示意图,如图5所示,该短视频的生成装置可以包括:视频上传单元可以用于将多媒体视频内容上传至短视频生成系统,短视频生成系统的智能处理单元可以对接收的多媒体视频内容进行智能分析处理以得到多个短视频片段;接着可以利用短视频生成系统的智能评分单元对多个视频片段进行评分以得到多个视频片段中每一个视频片段的评分值,从而可以基于每一个视频片段的评分值从多个视频片段中选择满足要求的部分视频片段,接着利用智能合成单元对部分视频片段进行智能合成以得到短视频,接着可以在需要的情况下利用智能配乐单元对生成的短视频进行配乐,并可以利用短视频下载单元下载生成的短视频,通过该短视频的生成装置可以通过输入多媒体视频内容并对多媒体视频内容中需要的重点信息进行筛选,自动进行智能筛选判断的强化训练,增强智能判断能力,自动进行视频片段的剪辑与合成,自动选择可以使用的配音或配乐,并且在上述环节中共,可以提供相应的人工干预以及能力训练强化,最终输出与输入的多媒体视频内容相应的短视频内容。

综上所述,在本发明实施例中,可以利用视频智能分析模块对多媒体视频内容进行信息提取;接着利用视频片段分析模块根据视频分析得到的信息点进行视频片段拆分,确认信息点所属的视频片段起始时间和结束时间;并可以利用视频片段价值分析模块对视频片段价值评分,根据信息点的信息内容、时间参数、智能化评估视频片段的权值;最重要的是利用视频合成模块根据视频片段价值评分,对视频片段进行提取、再加工、调整、筛选,合成由多个高权值视频片断合成的短视频内容;在需要的情况下,可以利用视频配音单元对短视频内容智能化地选择符合场景、情感类型的配音、配音;另外,为了使得生成的短视频更加符合用户需求可以提供界面供人工编辑二次处理,具体可通过人工编辑确认视频片段权值筛选结果以及智能配音配乐,实现增强智能化处理效果。

实施例3

根据本发明实施例的另一个方面,还提供了一种计算机可读存储介质,计算机可读存储介质包括存储的计算机程序,其中,在计算机程序被处理器运行时控制计算机存储介质所在设备执行上述中任一项的短视频的生成方法。

实施例4

根据本发明实施例的另一个方面,还提供了一种处理器,处理器用于运行计算机程序,其中,计算机程序运行时执行上述中任一项的短视频的生成方法。

实施例5

根据本发明实施例的另一个方面,还提供了一种短视频生成系统,包括:存储器,与存储器耦合的处理器,存储器和处理器通过总线系统相通信;存储器用于存储程序,其中,程序在被处理器执行时控制存储器所在设备执行上述中任一项的短视频的生成方法;处理器用于运行程序,其中,程序运行时执行上述中任一项的短视频的生成方法。

图6是根据本发明实施例的短视频生成系统的框架图,如图6所示,该短视频生成系统可以包括:系统接入层可供短视频系统与其他多种业务系统进行连接;操作界面可以为用户提供与短视频生成系统的进行交互的界面;资源上传组件可以将多媒体视频内容上传至ai智能分析系统或其他处理模块以供ai智能分析系统或其他处理模块对接收的多媒体视频内容进行分析处理;多媒体处理模块可以对接收到的多媒体视频内容进行分析处理以得到多个视频片段,并可以利用智能评分模块对多个视频片段进行评分以基于评分结果获取多个视频片段中的部分视频片段,智能剪辑模块可以对多媒体视频内容进行剪辑得到多个视频片段;智能合成模块可以用于对部分视频片段进行融合以得到短视频;另外也可以基于多业务系统的需求在确定需要对短视频进行配音或配乐的情况下,可以利用智能配乐配音模块从音乐库中选择合适的音乐对短视频进行配乐。

通过该短视频生成系统,可以高效且连续不间断地生成面向多媒体视频内容的短视频内容,从而大幅提升短视频生产和创作的效率,并能通过后期人工编辑进行二次处理,反馈智能化生产效果,进行相应的智能算法提升训练,以此提升智能化生产短视频的质量及内容水平。

上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。

在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1