视频合成的方法、装置、计算机设备及存储介质与流程

文档序号:19347239发布日期:2019-12-06 20:59阅读:188来源:国知局
视频合成的方法、装置、计算机设备及存储介质与流程

本申请涉及计算机技术领域,特别涉及一种视频合成的方法、装置、计算机设备及存储介质。



背景技术:

在现实生活中,人们经常通过拍摄图像来记录生活,拍摄的图像会根据拍摄的时间统一存储在终端中,并以列表形式显示在屏幕上。

当用户想要将拍摄的图像合成视频时,用户先在图像列表中选择素材,然后将素材加入到视频编辑软件上合成视频,在合成视频时用户还可以添加音频作为背景音乐,用来提升视频观感。

在实现本申请的过程中,发明人发现现有技术至少存在以下问题:

用户需要手动选择图像,导致制作合成视频的效率较低。



技术实现要素:

本申请实施例提供了一种视频合成的方法、装置、计算机设备及存储介质,能够解决用户需要手动选择图像,导致制作合成视频的效率较低的问题。所述技术方案如下:

一方面,提供了一种视频合成方法,所述方法包括:

获取待分类的图像;

对所述待分类的图像进行分类处理,得到至少一个图像集;

在所述至少一个图像集中,选取素材图像集;

基于素材音频的重音节拍时间点,在所述素材图像集中,确定出多个素材图像;

基于所述重音节拍时间点,对所述多个素材图像和所述素材音频进行合成,得到合成视频,其中,在所述合成视频中各素材图像的切换时间点为所述素材音频的重音节拍时间点。

可选的,所述对所述待分类的图像进行分类处理,得到至少一个图像集,包括:

基于待分类的图像的属性信息,对所述待分类的图像进行分类处理,得到至少一个图像集,其中,所述属性信息包括拍摄时间和/或拍摄地点。

可选的,如果所述属性信息包括拍摄时间,则所述基于待分类的图像的属性信息,对所述待分类的图像进行分类处理,得到至少一个图像集,包括:

将拍摄时间属于相同的预设时间段的待分类的图像添加到相同的图像集中,得到至少一个图像集。

可选的,如果所述属性信息包括拍摄地点,则所述基于待分类的图像的属性信息,对所述待分类的图像进行分类处理,得到至少一个图像集,包括:

将拍摄地点属于相同的预设区域的待分类的图像添加到相同的图像集中,得到至少一个图像集。

可选的,所述在所述至少一个图像集中,选取素材图像集,包括:

显示所述至少一个图像集的选项;

当接收到所述至少一个图像集的选项中目标图像集的选项时,将所述目标图像集选取为素材图像集。

可选的,所述基于素材音频的重音节拍时间点,在所述素材图像集中,确定出多个素材图像,包括:

基于所述重音节拍时间点的个数n、所述素材音频的起始时间点和结束时间点,在所述素材图像集中,确定出多个素材图像。

可选的,所述基于所述重音节拍时间点的个数n、所述素材音频的起始时间点和结束时间点,在所述素材图像集中,确定出多个素材图像,包括:

如果所述素材音频的起始时间点和结束时间点中有一个时间点是重音节拍时间点,则在所述素材图像集中,确定出n个素材图像;

如果所述素材音频的起始时间点和结束时间点均是重音节拍时间点,则在所述素材图像集中,确定出n-1个素材图像;

如果所述素材音频的起始时间点和结束时间点均不是重音节拍时间点,则在所述素材图像集中,确定出n+1个素材图像。

可选的,所述基于素材音频的重音节拍时间点,在所述素材图像集中,确定出多个素材图像,包括:

基于各素材图像的属性信息和素材音频的重音节拍时间点,在所述素材图像集中,确定出多个素材图像,其中,所述属性信息包括拍摄时间、横竖屏属性、视频图片属性、分辨率中的至少一种信息。

可选的,所述基于所述重音节拍时间点,对所述多个素材图像和所述素材音频进行合成,得到合成视频,包括:

确定在合成视频时各素材图像的合成顺序;

按照所述各素材图像的合成顺序,逐个获取素材图像,每获取一个素材图像,基于当前获取的素材图像和所述重音节拍时间点,确定所述当前获取的素材图像对应的子视频;

基于所述合成顺序,对每个子视频进行合成,得到合成素材视频,对所述合成素材视频和所述素材音频进行合成,得到合成视频。

可选的,所述基于当前获取的素材视频和所述重音节拍时间点,确定所述当前获取的素材视频对应的子视频,包括:

如果当前获取的素材图像的合成顺序为第一位,则确定所述素材音频的起始时间点到所述起始时间点之后与所述起始时间点最近的第一重音节拍时间点之间的第一时长,如果所述素材图像为素材视频,则在所述素材视频中,从所述素材视频的起始时间点开始截取所述第一时长的视频,作为所述素材视频对应的第一子视频,如果所述素材图像为素材图片,则基于所述素材图片生成所述第一时长的视频,作为所述素材视频对应的第一子视频;

如果当前获取的素材图像的合成顺序不是第一位,则确定已生成的子视频的第一总时长,确定所述素材音频的起始时间点之后第一总时长的第一时间点,确定所述第一时间点之后与所述第一时间点最近的第二重音节拍时间点;

如果存在所述第二重音节拍时间点,则确定所述第一时间点与所述第二重音节拍时间点之间的第二时长,如果所述素材图像为素材视频,则在所述素材视频中,从所述素材视频的起始时间点开始截取所述第二时长的视频,作为所述素材视频对应的第二子视频,如果所述素材图像为素材图片,则基于所述素材图片生成所述第二时长的视频,作为所述素材视频对应的第二子视频;

如果不存在所述第二重音节拍时间点,则确定所述第一时间点到所述素材音频的结束时间点之间的第三时长,如果所述素材图像为素材视频,则在所述素材视频中,从所述素材视频的起始时间点开始截取所述第三时长的视频,作为所述素材视频对应的第三子视频,如果所述素材图像为素材图片,则基于所述素材图片生成所述第三时长的视频,作为所述素材视频对应的第三子视频。

可选的,所述确定在合成视频时各素材图像的合成顺序,包括:

基于各素材图像的属性信息,确定在合成视频时各素材图像的合成顺序,其中,所述属性信息包括拍摄时间、横竖屏属性、视频图片属性、分辨率中的至少一种信息。

另一方面,提供了一种视频合成的装置,所述装置包括:

获取模块,用于获取待分类的图像;

分类模块,对所述待分类的图像进行分类处理,得到至少一个图像集;

选取模块,在所述至少一个图像集中,选取素材图像集;

确定模块,基于素材音频的重音节拍时间点,在所述素材图像集中,确定出多个素材图像;

合成模块,基于所述重音节拍时间点,对所述多个素材图像和所述素材音频进行合成,得到合成视频,其中,在所述合成视频中各素材图像的切换时间点为所述素材音频的重音节拍时间点。

可选的,所述分类模块,用于:

基于待分类的图像的属性信息,对所述待分类的图像进行分类处理,得到至少一个图像集,其中,所述属性信息包括拍摄时间和/或拍摄地点。

可选的,如果所述属性信息包括拍摄时间,则所述分类模块,用于:

将拍摄时间属于相同的预设时间段的待分类的图像添加到相同的图像集中,得到至少一个图像集。

可选的,如果所述属性信息包括拍摄地点,则所述分类模块,用于:

将拍摄地点属于相同的预设区域的待分类的图像添加到相同的图像集中,得到至少一个图像集。

可选的,所述选取模块,用于:

显示所述至少一个图像集的选项;

当接收到所述至少一个图像集的选项中目标图像集的选项时,将所述目标图像集选取为素材图像集。

可选的,所述确定模块,用于:

基于所述重音节拍时间点的个数n、所述素材音频的起始时间点和结束时间点,在所述素材图像集中,确定出多个素材图像。

可选的,所述确定模块,用于:

如果所述素材音频的起始时间点和结束时间点中有一个时间点是重音节拍时间点,则在所述素材图像集中,确定出n个素材图像;

如果所述素材音频的起始时间点和结束时间点均是重音节拍时间点,则在所述素材图像集中,确定出n-1个素材图像;

如果所述素材音频的起始时间点和结束时间点均不是重音节拍时间点,则在所述素材图像集中,确定出n+1个素材图像。

可选的,所述确定模块,用于:

基于各素材图像的属性信息和素材音频的重音节拍时间点,在所述素材图像集中,确定出多个素材图像,其中,所述属性信息包括拍摄时间、横竖屏属性、视频图片属性、分辨率中的至少一种信息。

可选的,所述合成模块,用于:

确定在合成视频时各素材图像的合成顺序;

按照所述各素材图像的合成顺序,逐个获取素材图像,每获取一个素材图像,基于当前获取的素材图像和所述重音节拍时间点,确定所述当前获取的素材图像对应的子视频;

基于所述合成顺序,对每个子视频进行合成,得到合成素材视频,对所述合成素材视频和所述素材音频进行合成,得到合成视频。

可选的,所述合成模块,用于:

如果当前获取的素材图像的合成顺序为第一位,则确定所述素材音频的起始时间点到所述起始时间点之后与所述起始时间点最近的第一重音节拍时间点之间的第一时长,如果所述素材图像为素材视频,则在所述素材视频中,从所述素材视频的起始时间点开始截取所述第一时长的视频,作为所述素材视频对应的第一子视频,如果所述素材图像为素材图片,则基于所述素材图片生成所述第一时长的视频,作为所述素材视频对应的第一子视频;

如果当前获取的素材图像的合成顺序不是第一位,则确定已生成的子视频的第一总时长,确定所述素材音频的起始时间点之后第一总时长的第一时间点,确定所述第一时间点之后与所述第一时间点最近的第二重音节拍时间点;

如果存在所述第二重音节拍时间点,则确定所述第一时间点与所述第二重音节拍时间点之间的第二时长,如果所述素材图像为素材视频,则在所述素材视频中,从所述素材视频的起始时间点开始截取所述第二时长的视频,作为所述素材视频对应的第二子视频,如果所述素材图像为素材图片,则基于所述素材图片生成所述第二时长的视频,作为所述素材视频对应的第二子视频;

如果不存在所述第二重音节拍时间点,则确定所述第一时间点到所述素材音频的结束时间点之间的第三时长,如果所述素材图像为素材视频,则在所述素材视频中,从所述素材视频的起始时间点开始截取所述第三时长的视频,作为所述素材视频对应的第三子视频,如果所述素材图像为素材图片,则基于所述素材图片生成所述第三时长的视频,作为所述素材视频对应的第三子视频。

可选的,所述确定模块,用于:

基于各素材图像的属性信息,确定在合成视频时各素材图像的合成顺序,其中,所述属性信息包括拍摄时间、横竖屏属性、视频图片属性、分辨率中的至少一种信息。

另一方面,提供了一种终端,其特征在于,所述终端包括处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现如上述第一方面所述的视频合成的方法所执行的操作。

另一方面,提供了一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现如上述第一方面所述的视频合成的方法所执行的操作。

本申请实施例提供的技术方案带来的有益效果是:

通过对素材图像进行分类得到素材图像集,并根据重音节拍时间点在素材图像集中选取一定个数的素材图像,然后根据重音节拍点将素材音频与素材视频进行合成,无需用户选择素材图像,从而可以减少用户操作,提高制作合成视频的效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种视频合成的方法流程图;

图2是本申请实施例提供的一种应用程序界面示意图;

图3是本申请实施例提供的一种应用程序界面示意图;

图4是本申请实施例提供的一种应用程序界面示意图;

图5是本申请实施例提供的一种素材视频数目计算示意图;

图6是本申请实施例提供的一种素材视频数目计算示意图;

图7是本申请实施例提供的一种素材视频数目计算示意图;

图8是本申请实施例提供的一种子视频的时长计算示意图;

图9是本申请实施例提供的一种子视频的时长计算示意图;

图10是本申请实施例提供的一种子视频的时长计算示意图;

图11是本申请实施例提供的一种应用程序界面示意图;

图12是本申请实施例提供的一种应用程序界面示意图;

图13是本申请实施例提供的一种视频合成的装置结构示意图;

图14是本申请实施例提供的一种终端的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。

本申请实施例提供了一种视频合成的方法,该方法可以由终端实现。终端可以具备通信功能,可以接入互联网,通过互联网访问服务器获得数据,其中,终端可以为手机、平板电脑等。在终端中安装有可以用于制作合成视频的应用程序(以下简称为视频制作应用程序),该视频制作应用程序可以是一个综合性的应用程序,具有多种多样的功能,如制作合成视频、视频播放、视频剪辑等。

本申请实施例中提供的视频合成的方法,可以将图像素材与音频素材合成为一个视频。本申请实施例中以视频制作应用程序为例进行方案的详细说明,其它情况与之类似,不再赘述。终端安装有视频制作应用程序,视频制作应用程序可以接收服务器发送的音频素材,然后将图像素材与音频素材合成为视频。

在用户使用视频制作应用程序时,用户可以根据自己的喜好在不同的音频素材分类中选择音频素材,该音频素材可以根据节日、风格、用途等进行分类,在用户选择某一分类时,视频制作应用程序可以展示几个已经合成的视频,还可以以列表形式显示该分类下的所有音频素材的名称,当用户选择一个音频素材后,视频制作应用程序罗列出可供用户选择的图像素材,用户可以选择其中一定数量的图像素材,然后点击确定控件自动合成视频。

图1是本申请实施例提供的一种视频合成的方法流程图。参见图1,该实施例包括:

步骤101、获取待分类的图像。

在实施中,当用户打开视频制作应用程序时,视频制作应用程序自动获取终端中保存的待分类的图像。

步骤102、对待分类的图像进行分类处理,得到至少一个图像集。

在实施中,视频制作应用程序基于待分类的图像的属性信息,对待分类的图像进行分类处理,得到至少一个图像集,该属性信息包括拍摄时间和/或拍摄地点。以下给出了几种可行的处理方式:

方式一,如果属性信息包括拍摄时间,视频制作应用程序可以预先设置好一个预设时间段,并根据该预设时间段生成一个标识,该预设时间段可以是一个周末也可以是一天或者一个假期。在视频制作应用程序运行时,该视频制作应用程序根据待分类的图像的属性信息确定拍摄时间,将在同一预设时间段内的待分类的图像分为一组。在分组完成后,判断每组内的待分类的图像的数量是否大于6,如果大于6,则生成一个图像集;如果不大于6,则不生成图像集。

方式二,如果属性信息包括拍摄地点,视频制作应用程序可以预先设置好一个预设区域,该预设区域可以是一个城市、一个景点或者是一个经纬度坐标。在视频制作应用程序运行时,该视频制作应用程序根据待分类的图像的属性信息确定拍摄地点,判断该拍摄地点所在的预设区域。

如果该拍摄地点在某一景点的预设区域,则标识为某一景点,并将在同一预设区域内的待分类的图像分为一组,判断每组内的待分类的图像的数量是否大于6,如果大于6,则生成一个图像集;如果不大于6,则不生成图像集。

如果该拍摄地点在某一城市的预设区域,则标识为某一城市,并将在同一预设区域内的待分类的图像分为一组,判断每组内的待分类的图像的数量是否大于20,如果大于20,则生成一个图像集;如果不大于20,则不生成图像集。

上述标识的方法是根据拍摄地点所在最小预设区域判断的,例如,某一景点的预设区域小于某一城市的预设区域,如果拍摄地点在某一城市的某一景点则标识为该景点,如果拍摄地点在某一城市但不在某一景点,则标识为该城市。

步骤103、在至少一个图像集中,选取素材图像集。

在实施中,用户想要制作视频,可以先选择素材音频,作为合成视频背景音乐。在视频制作应用程序中可以给用户提供多种素材音频选择的方式,以下列举两例进行说明:

方式一、视频制作应用程序可以向用户展示如图2所示的界面,在该界面下方显示有“曲库”控件,和多个音乐封面,在界面中间显示有“制作视频”控件。用户可以选择界面下方的任一音乐封面,并点击“制作视频”控件,在该控件被触发后,视频制作应用程序使用该音乐封面对应的素材音频来制作合成视频。音乐封面对应的素材音频的获取,可以是当用户将界面切换到该界面时,终端向服务器获取该界面中所有音乐封面对应的素材音频,也可以是用户选择某音乐封面后,再向服务器获取该音乐封面对应的素材音频。

方式二、如上述,视频制作应用程序在向用户展示的如图2所示的界面中,显示有“曲库”控件。用户可以点击该“曲库”控件,进入如图3所示的音乐选择界面。在如图3所示的界面中,给用户提供了一些可选择的音乐,另外,还可以提供给用户一个搜索栏,以便用户根据自己的喜好进行音乐搜索。用户可以通过选择任一音乐所在栏,对音乐进行下载并预览播放。在每个音乐所在栏后提供有一个功能选项,选项图标为三条横线,用户选择该功能选项,会出现可供用户选择的子功能控件,如图3中所示的音乐使用功能控件,控件图标为“使用”字样,和音乐剪切功能控件,选项图标为剪刀状。用户选择某音乐对应的音乐使用功能控件,即可以点击“使用”字样图标,终端会向服务器请求该音乐的素材音频。

当用户通过上述方式进行素材音频获取时,服务器在向终端发送素材音频时,还可以将该素材音频对应的重音节拍时间点一起发送给终端,当然,服务器也可以将素材音频和重音节拍时间点分别发送给终端,具体以何种方式发送本申请实施例在此不做限定。该重音节拍时间点,可以为技术人员使用机器根据素材音频的bpm(beatperminute,每分钟节拍数)、节拍信息等采集生成的。也可以为技术人员通过听该素材音频,手动标记制作的。当然,对于同一素材音频,技术人员可以既可以人工记录对应的人工重音节拍时间点,也可以由服务器自动生成对应的机器重音节拍时间点,并将二者均保存在服务器,当然制作人工重音节拍时间点需要一定时间,可能无法很快对所有素材音频都制作人工重音节拍时间点,所以,可能只有部分素材音频存储有人工重音节拍时间点。在终端获取重音节拍时间点时,优先将人工重音节拍时间点发送给终端,如果没有人工重音节拍时间,则将机器重音节拍时间点发送给终端。

在素材音频选择完成后,显示至少一个图像集的选项,如图4所示,用户可以点击智能分类进入图像集界面,该界面显示有若干个图像集的选项,每个选项有该图像集对应的标识,用户可以点击任一选项查看该图像集中的素材图像。

当用户想要将某一个目标图像集合成视频时,用户可以将目标图像集选取为素材图像集,然后点击图4中图像集的选项中的“智能生成视频”控件开始视频的合成。

步骤104、基于素材音频的重音节拍时间点,在素材图像集中,确定出多个素材图像。

在实施中,在用户触发“智能生成视频”控件后,视频制作应用程序可以基于重音节拍时间点的个数n、素材音频的起始时间点和结束时间点,在素材图像集中,确定出多个素材图像。具体可以如下:

如果素材音频的起始时间点和结束时间点中有一个时间点是重音节拍时间点,则在素材图像集中,确定出n个素材图像;如果素材音频的起始时间点和结束时间点均是重音节拍时间点,则在素材图像集中,确定出n-1个素材图像;如果素材音频的起始时间点和结束时间点均不是重音节拍时间点,则在素材图像集中,确定出n+1个素材图像。以下对上述三种情况分别举例进行说明。

情况一、如图5所示,重音节拍时间点的个数为5,素材音频的起始时间点是重音节拍时间点,结束时间点不是重音节拍时间点,则相当于重音节拍时间点将该素材音频分为5部分,那么,每部分可以对应一个素材图像,所以,可以在素材图像集中,确定出5个素材图像。

情况二、如图6所示,重音节拍时间点的个数为5,素材音频的起始时间点和结束时间点均是重音节拍时间点,则相当于重音节拍时间点将该素材音频分为4部分,那么,每部分可以对应一个素材图像,所以,可以在素材图像集中,确定出4个素材图像。

情况三、如图7所示,重音节拍时间点的个数为5,素材音频的起始时间点和结束时间点均不是重音节拍时间点,则相当于重音节拍时间点将该素材音频分为6部分,那么,每部分可以对应一个素材图像,所以,可以在素材图像集中,确定出6个素材图像。

另外,对于上述几种情况,如果素材图像集中包括的素材图像数目小于计算出需要确定出的素材图像数目,则确定出素材图像集中的所有素材图像即可。

在确定了素材图像的数量后,视频制作应用程序可以根据各素材图像的属性信息确定出选取的素材图像。

其中,属性信息包括拍摄时间、横竖屏属性、视频图片属性、分辨率中的至少一种信息。

视频制作应用程序可以通过属性信息确定优先级,然后根据优先级对素材图像进行排序,再根据排序选取素材图像,确定优先级的方法可以有以下几种方式:

方式一、仅以属性信息中的一种信息作为优先级判断的标准,例如,视频制作应用程序根据拍摄时间的先后对素材图像进行排序,则素材图像的优先级的判断方法可以是素材图像的拍摄时间越晚优先级越高。

方式二、对所有素材图像进行如下操作,首先根据属性信息中的视频图片属性对素材图像进行分类,视频分类的优先级高于图片分类的优先级,其次,在得到上述两个分类的优先级后,再对这两个分类进行如下分类,根据属性信息中的横竖屏属性进行分类,竖屏分类的优先级高于横屏分类的优先级,再其次,在经上述分类得到四个分类的优先级后,再对这四个分类进行如下分类,根据属性信息中的分辨率对素材图像进行分类,分辨率小于500p的分为一类,500p到720p的分为一类,以及大于720p的分为另一类,这三个分类的优先级依次增高。在完成上述分类后共得到十二个分类的优先级,如果有经上述分类仍无法判断优先级的情况,例如,两个素材图像的同属上述十二种分类的一种,则通过拍摄时间判断其优先级,拍摄时间越晚优先级越高。

上述根据属性信息判断优先级的方法不做限定,本实施例仅列举其中两种,其他根据优先级进行排序的方法就不一一列举。

步骤105、基于重音节拍时间点,对多个素材图像和素材音频进行合成,得到合成视频。

其中,在合成视频中各素材图像的切换时间点为素材音频的重音节拍时间点,重音节拍时间点是与素材音频一起被服务器发送过来的。

在实施中,首先,视频制作应用程序要确定在合成视频中各素材图像的合成顺序,视频制作应用程序可以根据上述优先级对选取的素材图像进行排序,并将排序的结果作为素材图像的合成顺序。

其次,按照各素材图像的合成顺序,逐个获取素材图像,每获取一个素材图像,基于当前获取的素材图像和重音节拍时间点,确定当前获取的素材图像对应的子视频,可以由如下方式实现:

如果当前获取的素材图像的合成顺序为第一位,则确定素材音频的起始时间点到该起始时间点之后,且与该起始时间点最近的第一重音节拍时间点之间的第一时长,在素材图像中,如果该素材图像是视频,则从素材视频的起始时间点开始截取第一时长的视频为素材视频对应的第一子视频;如果该素材图像是图片,则设置该图片的播放时长为第一时长,在播放该素材图片时可以对该图片进行动态化处理。

例如,如图8所示,素材音频的时长为15s,素材音频的起始时间点为0:00,该起始时间点之后且与该起始时间点最近的第一重音节拍时间点为0:03,则该起始时间点0:00到该第一重音节拍时间点0:03之间的第一时长为3s,那么当素材图像是视频时,可以在该素材视频中,从素材视频的起始时间点开始截取3s,作为对应的第一子视频;当素材图像是图片时,可以设置图片以斜角移动的方式播放3s。

此处需要说明的是,上述素材图像为素材图片的情况,以下与之类似的情况就不再一一赘述,仅以素材视频为例进行说明。

如果当前获取的素材视频的合成顺序不是第一位,则确定已生成的子视频的第一总时长,确定素材音频的起始时间点之后的第一总时长的第一时间点,确定第一时间点之后,且与第一时间点最近的第二重音节拍时间点。如果存在第二重音节拍时间点,则确定第一时间点与第二重音节拍时间点之间的第二时长,在素材视频中,从素材视频的起始时间点开始截取第二时长的视频为述素材视频对应的第二子视频。如果不存在第二重音节拍时间点,则确定第一时间点到素材音频的结束时间点之间的第三时长,在素材视频中,从素材视频的起始时间点开始截取第三时长的视频为素材视频对应的第三子视频。

例如,如图9所示,素材音频的时长为15s,素材音频的起始时间点为0:00,结束时间点为0:15,已生成的子视频的第一总时长为13s,则素材音频的起始时间点之后第一总时长的第一时间点为0:13,在第一时间点之后,存在第二重音节拍时间点为0:14,则确定第一时间点0:13到第二重音节拍时间点0:14之间的第二时长为1s,那么,可以在该素材视频中,从素材视频的起始时间点开始截取3s,作为对应的第二视频。如图10所示,如果不存在第二重音节拍时间点,则确定第一时间点0:13到素材音频的结束时间点0:15之间的第三时长为2s,那么,可以在该素材视频中,从素材视频的起始时间点开始截取2s,作为对应的第三子视频。

在素材图像截取完成后,视频制作应用程序显示视频编辑界面,如图11所示,截取出的子视频以及需要播放的图片会以缩略图的形式显示在屏幕上,每个缩略图的左下角都会显示该缩略图对应的子视频的时长或者图片的播放时长,每点击一个缩略图,会在缩略图上方的区域播放该缩略图对应的子视频或者是图片,视频制作应用程序还可以进行如下操作:

视频制作应用程序可以对截取后的素材图像添加滤镜、截取、旋转、替换,当用户选择“滤镜”控件时,视频制作应用程序可以给素材图像添加滤镜,滤镜包括旧时光、胶片老电影等,用户可以进行选择,在选择某一个滤镜后点击“确认”控件,即可在选择的素材图像中添加该滤镜;当用户选择“旋转”控件时,视频制作应用程序可以对子视频或者图片进行旋转操作;当用户选择“截取”控件时,视频制作应用程序可以对子视频或者图片进行截取,截取为自己所需要的时长;当用户选择“替换”控件时,视频制作应用程序可以进入选择替换素材图像界面,选择要进行替换的素材图像,视频制作应用程序会接收到素材图像替换指令,基于素材图像替换指令对应的素材图像,对目标子视频或者图片对应的素材图像进行替换,然后,执行上述截取素材图像操作,不同之处在于,本次执行时,素材图像为替换后的素材图像。

视频制作应用程序还可以通过用户点击“加号”控件进入素材图像选择界面,如图12所示,手动选取要添加的素材图像,视频合成应用程序根据用户选择的素材图像的数量添加相应段由重音节拍时间点分隔开的素材音频,当用户点击“确定”控件时,每段被选取的素材图像,会根据上述方法进行截取,在截取完成后返回视频编辑界面。

视频制作应用程序返回视频编辑界面后,当右上角的“合成视频”控件被触发时,基于上述方法将素材音频以及截取完成的子视频或者图片制作合成视频。

通过对素材图像进行分类得到素材图像集,并根据重音节拍时间点在素材图像集中选取一定个数得素材图像,然后根据重音节拍点将素材音频与素材视频进行合成,无需用户选择素材图像,从而可以减少用户操作,提高制作合成视频的效率。

上述所有可选技术方案,可以采用任意结合形成本公开的可选实施例,在此不再一一赘述。

图13是本申请实施例提供的一种视频合成的装置示意图,该装置可以为上述实施例中的终端。参见图13,该装置包括:

获取模块1310,用于获取待分类的图像;

分类模块1320,对所述待分类的图像进行分类处理,得到至少一个图像集;

选取模块1330,在所述至少一个图像集中,选取素材图像集;

确定模块1340,基于素材音频的重音节拍时间点,在所述素材图像集中,确定出多个素材图像;

合成模块1350,基于所述重音节拍时间点,对所述多个素材图像和所述素材音频进行合成,得到合成视频,其中,在所述合成视频中各素材图像的切换时间点为所述素材音频的重音节拍时间点。

可选的,所述分类模块1320,用于:

基于待分类的图像的属性信息,对所述待分类的图像进行分类处理,得到至少一个图像集,其中,所述属性信息包括拍摄时间和/或拍摄地点。

可选的,如果所述属性信息包括拍摄时间,则所述分类模块1320,用于:

将拍摄时间属于相同的预设时间段的待分类的图像添加到相同的图像集中,得到至少一个图像集。

可选的,如果所述属性信息包括拍摄地点,则所述分类模块1320,被用于:

将拍摄地点属于相同的预设区域的待分类的图像添加到相同的图像集中,得到至少一个图像集。

可选的,所述选取模块1330,用于:

显示所述至少一个图像集的选项;

当接收到所述至少一个图像集的选项中目标图像集的选项时,将所述目标图像集选取为素材图像集。

可选的,所述确定模块1340,用于:

基于所述重音节拍时间点的个数n、所述素材音频的起始时间点和结束时间点,在所述素材图像集中,确定出多个素材图像。

可选的,所述确定模块1340,用于:

如果所述素材音频的起始时间点和结束时间点中有一个时间点是重音节拍时间点,则在所述素材图像集中,确定出n个素材图像;

如果所述素材音频的起始时间点和结束时间点均是重音节拍时间点,则在所述素材图像集中,确定出n-1个素材图像;

如果所述素材音频的起始时间点和结束时间点均不是重音节拍时间点,则在所述素材图像集中,确定出n+1个素材图像。

可选的,所述确定模块1340,用于:

基于各素材图像的属性信息和素材音频的重音节拍时间点,在所述素材图像集中,确定出多个素材图像,其中,所述属性信息包括拍摄时间、横竖屏属性、视频图片属性、分辨率中的至少一种信息。

可选的,所述合成模块1350,用于:

确定在合成视频时各素材图像的合成顺序;

按照所述各素材图像的合成顺序,逐个获取素材图像,每获取一个素材图像,基于当前获取的素材图像和所述重音节拍时间点,确定所述当前获取的素材图像对应的子视频;

基于所述合成顺序,对每个子视频进行合成,得到合成素材视频,对所述合成素材视频和所述素材音频进行合成,得到合成视频。

可选的,所述合成模块1350,用于:

如果当前获取的素材图像的合成顺序为第一位,则确定所述素材音频的起始时间点到所述起始时间点之后与所述起始时间点最近的第一重音节拍时间点之间的第一时长,如果所述素材图像为素材视频,则在所述素材视频中,从所述素材视频的起始时间点开始截取所述第一时长的视频,作为所述素材视频对应的第一子视频,如果所述素材图像为素材图片,则基于所述素材图片生成所述第一时长的视频,作为所述素材视频对应的第一子视频;

如果当前获取的素材图像的合成顺序不是第一位,则确定已生成的子视频的第一总时长,确定所述素材音频的起始时间点之后第一总时长的第一时间点,确定所述第一时间点之后与所述第一时间点最近的第二重音节拍时间点;

如果存在所述第二重音节拍时间点,则确定所述第一时间点与所述第二重音节拍时间点之间的第二时长,如果所述素材图像为素材视频,则在所述素材视频中,从所述素材视频的起始时间点开始截取所述第二时长的视频,作为所述素材视频对应的第二子视频,如果所述素材图像为素材图片,则基于所述素材图片生成所述第二时长的视频,作为所述素材视频对应的第二子视频;

如果不存在所述第二重音节拍时间点,则确定所述第一时间点到所述素材音频的结束时间点之间的第三时长,如果所述素材图像为素材视频,则在所述素材视频中,从所述素材视频的起始时间点开始截取所述第三时长的视频,作为所述素材视频对应的第三子视频,如果所述素材图像为素材图片,则基于所述素材图片生成所述第三时长的视频,作为所述素材视频对应的第三子视频。

可选的,所述确定模块1340,用于:

基于各素材图像的属性信息,确定在合成视频时各素材图像的合成顺序,其中,所述属性信息包括拍摄时间、横竖屏属性、视频图片属性、分辨率中的至少一种信息。

通过对素材图像进行分类得到素材图像集,并根据重音节拍时间点在素材图像集中选取一定个数得素材图像,然后根据重音节拍点将素材音频与素材视频进行合成,无需用户选择素材图像,从而可以减少用户操作,提高制作合成视频的效率。

需要说明的是:上述实施例提供的视频合成的装置在合成视频时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将终端的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的视频合成的装置与视频合成的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。

图14示出了本申请一个示例性实施例提供的终端1400的结构框图。该终端1400可以是:智能手机、平板电脑、mp3播放器(movingpictureexpertsgroupaudiolayeriii,动态影像专家压缩标准音频层面3)、mp4(movingpictureexpertsgroupaudiolayeriv,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1400还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常,终端1400包括有:处理器1401和存储器1402。

处理器1401可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1401可以采用dsp(digitalsignalprocessing,数字信号处理)、fpga(field-programmablegatearray,现场可编程门阵列)、pla(programmablelogicarray,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1401也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称cpu(centralprocessingunit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1401可以在集成有gpu(graphicsprocessingunit,图像处理器),gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1401还可以包括ai(artificialintelligence,人工智能)处理器,该ai处理器用于处理有关机器学习的计算操作。

存储器1402可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1402还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1402中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1401所执行以实现本申请中方法实施例提供的视频合成方法。

在一些实施例中,终端1400还可选包括有:外围设备接口1403和至少一个外围设备。处理器1401、存储器1402和外围设备接口1403之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1403相连。具体地,外围设备包括:射频电路1404、触摸显示屏1405、摄像头1406、音频电路1407、定位组件1408和电源1409中的至少一种。

外围设备接口1403可被用于将i/o(input/output,输入/输出)相关的至少一个外围设备连接到处理器1401和存储器1402。在一些实施例中,处理器1401、存储器1402和外围设备接口1403被集成在同一芯片或电路板上;在一些其他实施例中,处理器1401、存储器1402和外围设备接口1403中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。

射频电路1404用于接收和发射rf(radiofrequency,射频)信号,也称电磁信号。射频电路1404通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1404将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1404包括:天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1404可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wirelessfidelity,无线保真)网络。在一些实施例中,射频电路1404还可以包括nfc(nearfieldcommunication,近距离无线通信)有关的电路,本申请对此不加以限定。

显示屏1405用于显示ui(userinterface,用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1405是触摸显示屏时,显示屏1405还具有采集在显示屏1405的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1401进行处理。此时,显示屏1405还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1405可以为一个,设置终端1400的前面板;在另一些实施例中,显示屏1405可以为至少两个,分别设置在终端1400的不同表面或呈折叠设计;在再一些实施例中,显示屏1405可以是柔性显示屏,设置在终端1400的弯曲表面上或折叠面上。甚至,显示屏1405还可以设置成非矩形的不规则图形,也即异形屏。显示屏1405可以采用lcd(liquidcrystaldisplay,液晶显示屏)、oled(organiclight-emittingdiode,有机发光二极管)等材质制备。

摄像头组件1406用于采集图像或视频。可选地,摄像头组件1406包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtualreality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1406还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。

音频电路1407可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1401进行处理,或者输入至射频电路1404以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端1400的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1401或射频电路1404的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1407还可以包括耳机插孔。

定位组件1408用于定位终端1400的当前地理位置,以实现导航或lbs(locationbasedservice,基于位置的服务)。定位组件1408可以是基于美国的gps(globalpositioningsystem,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。

电源1409用于为终端1400中的各个组件进行供电。电源1409可以是交流电、直流电、一次性电池或可充电电池。当电源1409包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中,终端1400还包括有一个或多个传感器1410。该一个或多个传感器1410包括但不限于:加速度传感器1411、陀螺仪传感器1412、压力传感器1413、指纹传感器1414、光学传感器1415以及接近传感器1416。

加速度传感器1411可以检测以终端1400建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1411可以用于检测重力加速度在三个坐标轴上的分量。处理器1401可以根据加速度传感器1411采集的重力加速度信号,控制触摸显示屏1405以横向视图或纵向视图进行用户界面的显示。加速度传感器1411还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器1412可以检测终端1400的机体方向及转动角度,陀螺仪传感器1412可以与加速度传感器1411协同采集用户对终端1400的3d动作。处理器1401根据陀螺仪传感器1412采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变ui)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器1413可以设置在终端1400的侧边框和/或触摸显示屏1405的下层。当压力传感器1413设置在终端1400的侧边框时,可以检测用户对终端1400的握持信号,由处理器1401根据压力传感器1413采集的握持信号进行左右手识别或快捷操作。当压力传感器1413设置在触摸显示屏1405的下层时,由处理器1401根据用户对触摸显示屏1405的压力操作,实现对ui界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器1414用于采集用户的指纹,由处理器1401根据指纹传感器1414采集到的指纹识别用户的身份,或者,由指纹传感器1414根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1401授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1414可以被设置终端1400的正面、背面或侧面。当终端1400上设置有物理按键或厂商logo时,指纹传感器1414可以与物理按键或厂商logo集成在一起。

光学传感器1415用于采集环境光强度。在一个实施例中,处理器1401可以根据光学传感器1415采集的环境光强度,控制触摸显示屏1405的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏1405的显示亮度;当环境光强度较低时,调低触摸显示屏1405的显示亮度。在另一个实施例中,处理器1401还可以根据光学传感器1415采集的环境光强度,动态调整摄像头组件1406的拍摄参数。

接近传感器1416,也称距离传感器,通常设置在终端1400的前面板。接近传感器1416用于采集用户与终端1400的正面之间的距离。在一个实施例中,当接近传感器1416检测到用户与终端1400的正面之间的距离逐渐变小时,由处理器1401控制触摸显示屏1405从亮屏状态切换为息屏状态;当接近传感器1416检测到用户与终端1400的正面之间的距离逐渐变大时,由处理器1401控制触摸显示屏1405从息屏状态切换为亮屏状态。

本领域技术人员可以理解,图14中示出的结构并不构成对终端1400的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。

在示例性实施例中,还提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现上述实施例中的视频合成的方法。计算机可读存储介质可以是rom(read-onlymemory)、随机存取存储器(randomaccessmemory,ram)、cd-rom、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。

以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1