一种模板化视频合成的处理方法、装置及系统与流程

本发明涉及视频编解码领域，尤其涉及一种模板化视频合成的处理方法、装置及系统。

背景技术：

现今由用户插入相关素材至预设的视频模板，即可为用户生成相应的视频，降低视频制作的门槛的同时能够提高视频制作的效率。

为加快视频合成效率，通常采用分布式集群的方式，并行的执行视频合成任务，其操作流程为：将前端的视频合成任务发送到后端服务器，后端服务器按照预设规则，如根据预设的分片间隔对整个合成任务进行任务分片，然后将分片后的子任务分别发送到各服务节点中，服务节点执行被分配的子任务，生成相应的视频分片，最后将所有子任务生成的分片视频合并为最终视频。

技术实现要素：

本发明针对现有技术中的缺点，提供了能够避免重复编解码的模板化视频合成的处理方法、装置及系统。

为了解决上述技术问题，本发明通过下述技术方案得以解决：

一种模板化视频合成的处理方法，包括以下步骤：

获取视频合成任务，所述视频合成任务包括时间轴，以及与所述时间轴相映射的素材数据，其中素材数据分为可变素材数据和模板素材数据；

基于所述时间轴和各可变素材数据对所述视频合成任务进行分片，获得若干个分片任务；

当所述分片任务中不包含可变素材数据时，将所述分片任务与预设的数据库中各样本分片信息进行匹配，当匹配成功时，从所述数据库中提取相匹配的样本分片信息所对应的分片结果，否则，执行所述分片任务，生成相应的分片结果，并基于所述分片任务生成相应的样本分片信息，将所述样本分片信息和所述分片结果添加至所述数据库中。

作为一种可实施方式：

所述素材数据包括素材、素材类型、标识、第一时间数据和任务配置数据；

所述第一时间数据用于指示所述素材在相应原始素材中的位置。

作为一种可实施方式：

当分片任务中不包含可变素材数据时，提取所述分片任务中各素材数据的标识，获得标识集；

基于所述标识集检索数据库，获得检索结果；

当检索到标识匹配的样本分片信息时，将所述样本分片信息作为第一样本分片信息，并基于第一时间数据，将所述分片任务中各模板素材数据与所述第一样本分片信息进行对比，获得对比结果；

当对比获得第一时间数据一致的第一样本分片信息时，将所述第一样本分片信息作为第二样本分片信息，并基于所述任务配置数据，将所述分片任务中各模板素材数据与所述第二样本分片信息进行匹配，获得匹配结果；当匹配成功时，提取所述第二样本分片信息所对应的分片结果。

作为一种可实施方式：

当匹配失败后，提取分片任务中各素材数据的标识、第一时间数据和任务配置数据；

汇总所述标识，生成索引标签；

基于所述索引标签、各素材数据的标识、第一时间数据和任务配置数据生成相对应的样本分片信息。

作为一种可实施方式：

素材数据还包括第二时间数据，所述第二时间数据用于指示所述素材在时间轴中的位置；

基于素材类型和第二时间数据检索所述时间轴中出现可变素材数据的区域，生成相应的可变区域；

提取各可变区域的起止时间点，将所起止时间点作为分片点，将所述视频合成任务进行分片，获得若干个分片任务。

作为一种可实施方式：

当所述分片任务中包含可变素材数据时，执行所述分片任务，生成相应的分片结果；

汇总所有分片结果，生成合成视频。

本发明还提出一种模板化视频合成的处理装置，包括：

获取模块，用于获取视频合成任务，所述视频合成任务包括时间轴，以及与所述时间轴相映射的素材数据，其中素材数据分为可变素材数据和模板素材数据；

分片模块，用于基于所述时间轴和各可变素材数据对所述视频合成任务进行分片，获得若干个分片任务；

执行模块，用于当所述分片任务中不包含可变素材数据时，将所述分片任务与预设的数据库中各样本分片信息进行匹配，当匹配成功时，从所述数据库中提取相匹配的样本分片信息所对应的分片结果，否则，执行所述分片任务，生成相应的分片结果，并基于所述分片任务生成相应的样本分片信息，将所述样本分片信息和所述分片结果添加至所述数据库中。

本发明还提出一种模板化视频合成的处理系统，包括数据库、客户端、分配节点和服务节点；

所述客户端，用于生成包含时间轴、可变素材数据和模板素材数据的视频合成任务，并将所述视频合成任务发送至分配节点；

所述分配节点，用于基于所述时间轴和各可变素材数据对所述视频合成任务进行分片，获得若干个分片任务，还用于将包含可变素材数据的分片任务分配至服务节点，还用于将不包含可变素材数据的分片任务与预设的数据库中各样本分片信息进行匹配，当匹配成功时，从所述数据库中提取相匹配的样本分片信息所对应的分片结果，否则，将所述分片任务分配至服务节点；

所述服务节点，用于执行被分配的分片任务，生成相应的分片结果，当所述分片任务中不包含可变素材数据时，还用于基于所述分片任务生成相应的样本分片信息，将所述样本分片信息和所述分片结果添加至所述数据库中。

作为一种可实施方式：

所述客户端，用于将用户上传的素材标记为可变素材，将从预设的模板素材库中调取的素材标记为模板素材，还用于采集用户的操作数据，生成相应的可变素材数据或模板素材数据。

本发明还提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如上述任意一项所述的方法。

本发明由于采用了以上技术方案，具有显著的技术效果：

本发明基于可变素材数据在时间轴上的分布情况对视频合成任务进行分片，针对纯模板素材数据对应的分片任务，首先判断其是否为重复的分片任务，当其属于重复的分片任务时，直接从预设的数据库中提取与其相对应的分片结果，以避免重复执行相同的分片任务，从而有效提高视频合成的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一种模板化视频合成的处理方法的流程示意图；

图2是本发明步骤s300中匹配样本分片信息的流程示意图；

图3是步骤s200对视频合成任务的分片示意图；

图4是本发明一种模板化视频合成的处理装置的模块连接示意图。

具体实施方式

下面结合实施例对本发明做进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。

实施例1、一种模板化视频合成的处理方法，包括以下步骤：

s100、获取视频合成任务，所述视频合成任务包括时间轴，以及与所述时间轴相映射的素材数据，其中素材数据分为可变素材数据和模板素材数据；

上述可变素材数据来源于用户自行上传的原始素材，模板素材数据来源于预设的模板素材库，用户可保留相应视频模板中的模板素材，或从预设的模板素材库中选择其他模板素材。

s200、基于所述时间轴和各可变素材数据对所述视频合成任务进行分片，获得若干个分片任务；

s300、当所述分片任务中不包含可变素材数据时，将所述分片任务与预设的数据库中各样本分片信息进行匹配，当匹配成功时，从所述数据库中提取相匹配的样本分片信息所对应的分片结果，否则，执行所述分片任务，生成相应的分片结果，并基于所述分片任务生成相应的样本分片信息，将所述样本分片信息和所述分片结果添加至所述数据库中。

s400、当所述分片任务中包含可变素材数据时，执行所述分片任务，生成相应的分片结果；

s500、汇总所有分片结果，生成合成视频。

模版化视频中存在大量的相同的模板片段，在视频合成过程中，将重复执行此类模板片段对应的分片任务，不仅浪费相应服务节点的计算量，还大大降低了集群整体的视频合成服务的效率。

本实施例中基于可变素材数据在时间轴上的分布情况对视频合成任务进行分片，参照图1，针对纯模板素材数据对应的分片任务，首先判断其是否为重复的分片任务，当其属于重复的分片任务时，直接从预设的数据库中提取与其相对应的分片结果，以避免重复执行相同的分片任务，从而有效提高视频合成的效率。

所述素材数据包括素材、素材类型、标识、第一时间数据和任务配置数据；

所述素材包括视频、音频和图像；

所述素材类型包括模板素材和可变素材，模板素材的标识具有唯一性，可变素材的标识在对应视频合成任务中具有唯一性，本实施例中标识采用url(uniformresourcelocator,统一资源定位器)。

所述第一时间数据包括第一开始时间戳和第一结束时间戳，用于指示所述素材在相应原始素材中的位置；

任务配置数据包括布局、透明度和/或绘制层级等信息。

进一步地，参照图2，步骤s300中当所述分片任务中不包含可变素材数据时，将所述分片任务与预设的数据库中各样本分片信息进行匹配，当匹配成功时，从所述数据库中提取相匹配的样本分片信息所对应的分片结果的具体步骤为：

s311、提取所述分片任务中各素材数据的标识，获得标识集；

由于所述分片任务不包含可变素材数据，故所提取的标识为各模板素材数据的标识，其具有唯一性。

s312、基于所述标识集检索数据库，获得检索结果；

即，检索数据库中是否存在利用相同素材合成的分片结果。

s313、当检索到标识匹配的样本分片信息时，将所述样本分片信息作为第一样本分片信息，并基于第一时间数据，将所述分片任务中各模板素材数据与所述第一样本分片信息进行对比，获得对比结果，具体为：

依次提取第一样本分片信息和分片任务中各标识对应的第一时间数据，当各标识对应的第一时间数据均相同时，将所述第一样本分片信息作为第二分片信息做进一步匹配；

s314、当对比获得第一时间数据一致的第一样本分片信息时，将所述第一样本分片信息作为第二样本分片信息，并基于所述任务配置数据，将所述分片任务中各模板素材数据与所述第二样本分片信息进行匹配，获得匹配结果；当匹配成功时，提取所述第二样本分片信息所对应的分片结果。

具体为：

依次提取第一样本分片信息和分片任务中各标识对应的任务配置数据，将所得任务配置数据进行全量匹配，匹配成功时提取所述第二样本分片信息所对应的分片结果。

当上述检索步骤、对比步骤或匹配步骤中未获得命中的样本分片信息时，判定匹配失败，此时执行分片任务，生成相对应的分片结果。

由于用户进行视频制作时不仅能够上传可变素材，还可对提供的模板素材进行裁剪或调整配置信息，如直接根据步骤s312所得的检索结果返回分片结果时，将导致最终合成的视频与用户制作的视频不一致。

本实施例基于第一时间数据和任务配置数据进行匹配，能够避免分片任务重复的误判，在保证视频合成效果的前提下提高合成效率。

进一步地，步骤s300中基于所述分片任务生成相应的样本分片信息，将所述样本分片信息和所述分片结果添加至所述数据库中的具体步骤为：

s321、提取分片任务中各素材数据的标识、第一时间数据和任务配置数据；

s322、汇总所述标识，生成索引标签；

s323、基于所述索引标签、各素材数据的标识、第一时间数据和任务配置数据生成相对应的样本分片信息。

当数据库中没有相同分片任务对应的分片结果时，本实施例执行对应分片任务，并根据所述分片任务和对应的分片结果更新数据库，以便于后续出重复的分片任务时直接调取分片结果。

为避免海量的样本分片信息和分片结果对匹配速度的影响，本领域的技术人员可自行设置数据库清理规则，如清除于数据库中保存4h且未被调取过的样本分片信息，实现方法如下：

记录所述样本分片信息进入数据库的写入时间，并记录所述样本分片信息对应的分片结果被调取的调取次数；

当监测到当前时间与所述写入时间的差值超过预设的过期阈值时，判定所述样本分片信息过期，此时将所述调取次数与预设的次数阈值相比较，当所述调取次数小于所述次数阈值时，清除所述样本分片信息及对应的分片结果，否则基于当前时间更新所述写入时间，并重置所述调取次数。

进一步地，素材数据还包括第二时间数据，所述第二时间数据用于指示所述素材在时间轴中的位置；

上述步骤s200中基于所述时间轴和各可变素材数据对所述视频合成任务进行分片，获得若干个分片任务的具体步骤为：

s210、基于素材类型和第二时间数据检索所述时间轴中出现可变素材数据的区域，生成相应的可变区域；

s220、提取各可变区域的起止时间点，将所起止时间点作为分片点，将所述视频合成任务进行分片，获得若干个分片任务。

在实际分片过程中，本领域技术人员可根据实际需要，对所述分片任务做进一步分片，如，当所述分片任务包含可变素材数据时，基于所述分片任务的长度做进一步切分，如当所述分片任务时间长度超过预设的长度阈值时，均分所述分片任务，直至所得分片任务均小于等于预设的长度阈值。

参照图3，图3中模板素材a、模板素材b、可变素材a和可变素材b为视频素材，模板素材d和模板素材e为音频素材，各素材按照时间顺序进行排列，基于可变素材a和可变素材b的起止时间点进行分片，获得相应的分片任务。

图3中分片任务1、分片任务3和分片任务5不包含可变素材，以分片任务1为例，获得相应分片结果的具体步骤如下：

提取模板素材a和模板素材d的标识，从数据库中检索相应的样本分片信息，获得若干个第一样本分片信息；

判断各第一样本分片信息中模板素材a和模板素材d的第一时间数据和任务配置信息是否与分片任务1中的一致，如数据库中存在模板素材a和模板素材d同时开始播放的分片结果，本实施例中通过第一时间数据和任务配置信息的匹配步骤剔除该分片结果，有效避免误选。

实施例2、一种模板化视频合成的处理装置，如图4所示，包括：

获取模块100，用于获取视频合成任务，所述视频合成任务包括时间轴，以及与所述时间轴相映射的素材数据，其中素材数据分为可变素材数据和模板素材数据；

分片模块200，用于基于所述时间轴和各可变素材数据对所述视频合成任务进行分片，获得若干个分片任务；

执行模块300，用于当所述分片任务中不包含可变素材数据时，将所述分片任务与预设的数据库中各样本分片信息进行匹配，当匹配成功时，从所述数据库中提取相匹配的样本分片信息所对应的分片结果，否则，执行所述分片任务，生成相应的分片结果，并基于所述分片任务生成相应的样本分片信息，将所述样本分片信息和所述分片结果添加至所述数据库中。

本实施例是与实施例1相对应的装置实施例而言，由于其与实施例1基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

实施例3、一种模板化视频合成的处理系统，其特征在于，包括数据库、客户端、分配节点和服务节点；

所述客户端，用于生成包含时间轴、可变素材数据和模板素材数据的视频合成任务，并将所述视频合成任务发送至分配节点；

所述分配节点，用于基于所述时间轴和各可变素材数据对所述视频合成任务进行分片，获得若干个分片任务，还用于将包含可变素材数据的分片任务分配至服务节点，还用于将不包含可变素材数据的分片任务与预设的数据库中各样本分片信息进行匹配，当匹配成功时，从所述数据库中提取相匹配的样本分片信息所对应的分片结果，否则，将所述分片任务分配至服务节点；

所述服务节点，用于执行被分配的分片任务，生成相应的分片结果，当所述分片任务中不包含可变素材数据时，还用于基于所述分片任务生成相应的样本分片信息，将所述样本分片信息和所述分片结果添加至所述数据库中。

进一步地，所述客户端，用于将用户上传的素材标记为可变素材，将从预设的模板素材库中调取的素材标记为模板素材，还用于采集用户的操作数据，生成相应的可变素材数据或模板素材数据。

实施例4、一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如实施例1所述的方法。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

需要说明的是：

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

此外，需要说明的是，本说明书中所描述的具体实施例，其零、部件的形状、所取名称等可以不同。凡依本发明专利构思所述的构造、特征及原理所做的等效或简单变化，均包括于本发明专利的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。