视频合成方法、装置、设备及存储介质与流程

文档序号:21319397发布日期:2020-06-30 20:50阅读:152来源:国知局
视频合成方法、装置、设备及存储介质与流程

本申请为申请号201810943403.8、申请日2018年08月17日、发明名称“视频合成方法、装置、设备及存储介质”的分案申请。

本申请涉及视频处理领域,尤其涉及一种视频合成方法、装置、设备及存储介质。



背景技术:

随着互联网时代的不断发展,人们针对信息的传播已不局限于文字、图片,通过视频传播也作为如今主流传播方式之一,视频的传播类型各式各样,以时间长短的不同可以来区别视频类型,比如,10秒,15秒的短视频;1分钟到5分钟的长视频;以及在线直播视频等等。

目前,视频的传播可以通过视频网站、社交应用程序等平台进行传播,而针对社交应用程序中,大部分是用户进行录制来生成的视频,用户通过视频来展示或者分享自己想要表达的内容,直接而准确。

然而,随着视频的数量不断增加,视频中展现的内容需要通过加大时间来准确以及完整的表达,对于视频制造者需要花费较多时间来逐一处理视频(比如剪辑、特效等);而对于视频观看者可能需要花费较多时间来观看每个视频的完整内容,从而导致用户针对视频处理或者视频观看来说,花费时间较多。



技术实现要素:

为克服相关技术中存在的问题,本申请提供一种视频合成方法、装置、设备及存储介质。

根据本申请实施例的第一方面,提供一种视频合成方法,包括:

获取预设的画面布局的配置信息,其中,所述配置信息包括每个区域在所述显示容器中的显示尺寸和显示位置;

根据所述配置信息将m个预设的本地视频画面加载至m个区域中,并将实时采集的n个拍摄视频画面加载至n个区域中,其中,所述l为大于1的正整数,所述m、所述n均为正整数,并且所述m与所述n之和等于所述l;

将所述m个区域的画面与所述n个区域的画面进行渲染后生成第一播放文件。

可选地,在所述获取预设的画面布局的配置信息,其中,所述配置信息包括每个区域在所述显示容器中的显示尺寸和显示位置之前,还包括:

获取所述显示容器的分辨率;

根据所述显示容器的分辨率计算所述显示容器的宽高比;

当所述宽高比大于预设的第一阈值时,确认预设的第一布局格式为所述画面布局的配置信息,其中,所述第一布局格式为使所述l个区域在所述显示容器的宽度方向上依次叠放。

可选地,在所述根据所述显示容器的分辨率计算所述显示容器的宽高比之后,还包括:

当所述宽高比小于或等于所述预设的第一阈值时,确认预设的第二布局格式为所述画面布局的配置信息,其中,所述第二布局格式为使所述l个区域在所述显示容器的高度方向上依次叠放。

可选地,在当所述m和所述n都为1时,所述本地视频画面加载在第一区域,所述拍摄视频画面加载第二区域,在所述获取预设的画面布局的配置信息之前,还包括:

获取所述本地视频画面和所述拍摄视频画面的分辨率;

根据所述本地视频画面和所述拍摄视频画面的分辨率,计算所述本地视频画面与所述拍摄视频画面的宽度比或者高度比;

当所述宽度比或者高度比小于预设的第二阈值时,确定预设的第三布局格式为所述画面布局的配置信息,其中,所述第三布局格式为使所述第一区域嵌套在所述第二区域内。

可选地,在所述根据所述配置信息将m个预设的本地视频画面加载至m个区域中,并将实时采集的n个拍摄视频画面加载至n个区域中,包括:

获取所述本地视频画面分辨率;

根据所述m个区域在所述显示容器中的显示尺寸将所述本地视频画面进行等比例缩放,以使所述本地视频画面在所述m个区域完整显示;

根据所述n个区域在所述显示容器中的显示尺寸,确定所述拍摄视频画面的分辨率,按照所述分辨率将实时采集的n个拍摄视频画面加载至n个区域中。

可选地,在所述将所述m个区域的画面与所述n个区域的画面进行渲染后生成第一播放文件中,包括:

对所述m个区域的画面与所述n个区域的画面进行解码,分别生成l个纹理信息对所述m个区域的画面与所述n个区域的画面进行解码,分别生成l个纹理信息;

根据所述预设的画面布局的配置信息,分别计算所述l个纹理信息的纹理坐标和顶点坐标;

根据所述纹理坐标和所述顶点坐标生成所述第一播放文件。

可选地,在所述根据所述配置信息将m个预设的本地视频画面加载至m个区域中,并将实时采集的n个拍摄视频画面加载至n个区域中,并将实时采集的n个拍摄视频画面加载至n个区域中之后,还包括:

获取预设的拍摄视频特效画面;

将所述拍摄视频特效画面加载至所述n个区域。

可选地,在所述将所述m个区域的画面与所述n个区域的画面进行渲染后生成第一播放文件,包括:

将所述m个区域的画面与所述n个区域的画面进行叠加渲染,得到渲染后的所述第一播放文件。

根据本申请实施例的第二方面,提供一种视频合成的装置,用于同一显示容器中l个区域的画面合成,包括:

获取单元,被配置为获取预设的画面布局的配置信息,其中,所述配置信息包括每个区域在所述显示容器中的显示尺寸和显示位置;

处理单元,被配置为根据所述配置信息将m个预设的本地视频画面加载至m个区域中,并将实时采集的n个拍摄视频画面加载至n个区域中,其中,所述l为大于1的正整数,所述m、所述n均为正整数,并且所述m与所述n之和等于所述l;

执行单元,被配置为将所述m个区域的画面与所述n个区域的画面进行渲染后生成第一播放文件。

可选地,所述视频合成装置还包括:

第一获取单元,被配置为获取所述显示容器的分辨率;

第一处理单元,被配置为根据所述显示容器的分辨率计算所述显示容器的宽高比;

第一执行单元,被配置为当所述宽高比大于预设的第一阈值时,确认预设的第一布局格式为所述画面布局的配置信息,其中,所述第一布局格式为使所述l个区域在所述显示容器的宽度方向上依次叠放。

可选地,所述视频合成装置还包括:

第二执行单元,被配置为当所述宽高比小于或等于所述预设的第一阈值时,确认预设的第二布局格式为所述画面布局的配置信息,其中,所述第二布局格式为使所述l个区域在所述显示容器的高度方向上依次叠放。

可选地,所述视频合成装置还包括:

第二获取单元,被配置为获取所述本地视频画面和所述拍摄视频画面的分辨率;

第二处理单元,被配置为根据所述本地视频画面和所述拍摄视频画面的分辨率,计算所述本地视频画面与所述拍摄视频画面的宽度比或者高度比;

第三执行单元,被配置为当所述宽度比或者高度比小于预设的第二阈值时,确定预设的第三布局格式为所述画面布局的配置信息,其中,所述第三布局格式为使所述第一区域嵌套在所述第二区域内。

可选地,所述处理单元还包括:

第三获取子单元,被配置为获取所述本地视频画面分辨率;

第三处理子单元,被配置为根据所述m个区域在所述显示容器中的显示尺寸将所述本地视频画面进行等比例缩放,以使所述本地视频画面在所述m个区域完整显示;

第四执行子单元,被配置根据所述n个区域在所述显示容器中的显示尺寸,确定所述拍摄视频画面的分辨率,按照所述分辨率将实时采集的n个拍摄视频画面加载至n个区域中。

可选地,所述执行单元还包括:

第一解码子单元,被配置为对所述m个区域的画面与所述n个区域的画面进行解码,分别生成l个纹理信息对所述m个区域的画面与所述n个区域的画面进行解码,分别生成l个纹理信息;

第四处理子单元,被配置为根据所述预设的画面布局的配置信息,分别计算所述l个纹理信息的纹理坐标和顶点坐标;

第五执行子单元,被配置为根据所述纹理坐标和所述顶点坐标生成所述第一播放文件。

可选地,所述视频合成装置还包括:

第四获取单元,被配置为获取预设的拍摄视频特效画面;

第五处理单元,被配置为将所述拍摄视频特效画面加载至所述n个区域。

可选地,所述执行单元还包括:

第六执行子单元,被配置为将所述m个区域的画面与所述n个区域的画面进行叠加渲染,得到渲染后的所述第一播放文件。

根据本申请实施例的第三方面,提供一种视频合成设备,包括处理器,用于存储处理器可执行指令的存储器,所述处理器被配置为执行上述视频合成方法的步骤。

根据本申请实施例的第四方面,提供一种非临时性计算机可读存储介质,当所述存储介质中的指令由移动终端的处理器执行时,使得移动终端能够执行上述视频合成方法的步骤。

根据本申请实施例的第五方面,提供计算机程序产品,包括计算机程序代码,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使所述计算机执行上述视频合成方法的步骤。

本申请的实施例提供的技术方案可以包括以下有益效果:通过获取预设的画面布局的配置信息,其中,所述配置信息包括每个区域在所述显示容器中的显示尺寸和显示位置;根据所述配置信息将m个预设的本地视频画面加载至m个区域中,并将实时采集的n个拍摄视频画面加载至n个区域中,其中,所述l为大于1的正整数,所述m、所述n均为正整数,并且所述m与所述n之和等于所述l;将所述m个区域的画面与所述n个区域的画面进行渲染后生成第一播放文件。将多个实时拍摄视频和多个本地视频进行渲染,生成视频合成画面,视频制造者不需要专业技能,即可实现同一显示容器多画面显示的特效剪辑,同一显示容器显示多个画面,使视频观看者可在同一时间内观看多个视频,节省信息摄取的时间。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。

图1是根据一示例性实施例示出的一种视频合成方法的流程图。

图2是根据一示例性实施例示出的确认第一布局格式的流程图。

图3是根据一示例性实施例示出的确认第三布局格式的流程图。

图4是根据一示例性实施例示出的第三布局格式示意图。

图5是根据一示例性实施例示出的对视频进行裁剪的流程图。

图6是根据一示例性实施例示出的生成第一播放文件的流程图。

图7是根据一示例性实施例示出的拍摄视频特效画面加载的流程图。

图8是根据一示例性实施例示出的一种视频合成装置的框图。

图9是根据一示例性实施例示出的一种视频合成设备的结构框图。

具体实施方式

这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种视频合成方法的流程图,如图1所示,视频合成方法用于终端中,包括以下步骤:

s1100、获取预设的画面布局的配置信息,其中,所述配置信息包括每个区域在所述显示容器中的显示尺寸和显示位置;

本申请实施例中,将同一显示容器分为两个区域,通过配置信息确定两个区域在显示容器中的显示尺寸和显示位置。这里,配置信息决定了两个视频数据源在同一画面输出时,各个视频画面在显示屏幕上占的位置和空间。举例说明:显示容器为一块分辨率为1440*900的显示屏,获取到的配置信息表示第一区域为屏幕左半部占720*900的部分,第二区域为屏幕右半部占720*900的部分。可以理解的,数据源可以为多个,包括m个本地视频画面和n个实时拍摄画面,对应的显示容器分成l个区域,l为m与n之和,配置信息确定了每个区域在显示容器中的显示尺寸和显示位置。

s1200、根据所述配置信息将m个预设的本地视频画面加载至m个区域中,并将实时采集的n个拍摄视频画面加载至n个区域中,其中,所述l为大于1的正整数,所述m、所述n均为正整数,并且所述m与所述n之和等于所述l;

在步骤s1100中,通过配置信息确定了每个区域在显示屏上的尺寸和位置。具体加载的过程为,每一个区域对应一个媒体缓冲器,循环读取视频的原始数据放到对应的媒体缓冲器当中,用于下一个步骤的显示。其中,所述本地视频画面如本地存储的视频画面或者临时缓存的视频画面。

s1300、将所述m个区域的画面与所述n个区域的画面进行渲染后生成第一播放文件。

通过步骤s1200,显示容器的每个区域的媒体缓冲器分别加载了本地视频数据和实时拍摄数据,在此步骤中,通过将l路数据进行叠加渲染,得到第一播放文件。该播放文件一路用于实时播放,一路写入文件用于保存。

渲染是将图像绘制到屏幕上,可以实现3d物体在屏幕上的绘制。渲染通过渲染器来完成。渲染器读取媒体缓冲器中的视频数据,完成视频画面在屏幕上的显示。本申请实施例中,渲染器同时读取每个区域媒体缓冲器中的视频数据,并将各路数据叠加,完成合成视频画面在同一显示容器上的绘制。

本申请实施例中,同一显示容器中的画面布局配置信息根据显示容器的分辨率自动调整,具体过程请参阅图2,图2为本实施例示出的一种根据显示容器分辨率确定画面布局的一种实施方式流程图。

如图2所示,在步骤s1100之前,还包括下述步骤:

s1101、获取所述显示容器的分辨率;

本申请实施例中的显示容器为终端的屏幕或者终端屏幕的一部分。读取显示容器的分辨率,可以通过以下方式获取显示容器的分辨率:获取终端设备的型号,根据终端设备的型号查找数据库,获取的终端设备的屏幕分辩率,屏幕的分辨率指屏幕上显示的像素个数,分辨率1920*1080,意思是水平方向上显示的像素个数是1920px(pixel),垂直方向上像素个数是1080px。或者,直接读取该终端设备所使用的显示屏的规格参数,获取该终端屏幕的分辨率。在一些实施方式中,显示容器也可以是显示屏上预设的部分区域。

s1102、根据所述显示容器的分辨率计算所述显示容器的宽高比;

根据显示容器的分辨率,获取显示容器的宽度和高度。宽高比即宽度与高度的比值,宽度对应水平方向上的尺寸,高度对应垂直方向上的尺寸。值得注意的是,移动终端的宽度和高度跟放置的状态有关,在计算宽高比时需要先判断移动终端放置状态,确定水平方向和垂直方向的尺寸。移动终端的宽度和高度会根据放置状态发生改变。在计算宽高比时,始终将处于水平方向的尺寸看作屏幕的宽度,处于垂直方向的尺寸看作屏幕的高度。

s1103、当所述宽高比大于预设的第一阈值时,确认预设的第一布局格式为所述画面布局的配置信息,其中,所述第一布局格式为使所述l个区域在所述显示容器的宽度方向上依次叠放。

本申请实施例中,宽高比不同,画面布局的自动转换,对应的配置信息也不同。当宽高比大于设定的第一阈值时,例如设定的第一阈值为1,对应的第一布局格式为左右布局,即当宽比高的比值大于1时,各区域的划分按左右方式划分。本申请实施例中,采用平均划分的方式。举例说明,例如显示容器的分辨率为1440*960,水平方向即宽度为1440,垂直方向即高度为960,宽高比为1440/960,宽高比大于1,m和n都为1时,将显示容器按左右方式平均划分,即本地视频画面显示在屏幕左部720*960的区域,实时拍摄视频画面显示在屏幕右部720*960的区域。可以方便的理解,左右可以互换。

在本申请实施例中,如果宽高比小于或者等于1,布局方式与前面所述不同,采用第二布局方式,第二布局方式为上下布局。本申请还可以根据拍摄设备的旋转角度、显示容器的宽高比确定画面布局的配置信息,接着前述的例子,如果移动终端进行了旋转,旋转角度为90°,分辨率仍然为1440*960,但是水平方向宽度为960,垂直方向的高度为1440,此时,宽高比为960/1440,比值小于1,将显示容器按上下方式凭据划分,即实时拍摄视频画面显示在屏幕上部960*720的区域,实时拍摄视频画面显示在屏幕下部960*720的区域。可以方便的理解,上下可以互换。

在一些实施方式中,不但会根据显示容器的分辨率自动选择画面布局格式,而且会根据本地视频画面和拍摄视频画面分辨率来确定画面布局格式。具体请参阅图3。图3为本申请实施例示出当m和n都为1,本地视频画面加载在第一区域,拍摄视频画面加载第二区域时,根据本地视频和拍摄视频分辨率确定画面布局格式的一种实施方式的流程图。

如图3所示,在步骤s1100之前,还包括下述步骤:

s1111、获取所述本地视频画面和所述拍摄视频画面的分辨率;

视频分辨率指的是视频画面宽度和高度上的像素,常见的屏幕宽高比为4:3的,对应的分辨率为320*240或者640*480,以及屏幕宽高比为16:9的,对应的分辨率为640*360,720*4805,960*540,1024*576,1280*720。视频的分辨率通常作为属性参数写入视频文件中,通过读取视频文件中分辨率参数获取已有视频的分辨率。由于另外一路视频是视频录制设备实时采集的,录制的视频的分辨率取决于视频录制设备上对分辨率的设置,所以实时拍摄视频的分辨率通过读取视频录制设备上录制分辨率的设定来获取。

s1112、根据所述本地视频画面和所述拍摄视频画面的分辨率,计算所述本地视频画面与所述拍摄视频画面的宽度比或者高度比;

在一些场景中,本地视频的分辨率比实时拍摄视频的分辨率小得多,如果在同一画面显示时,让两者占用相同面积的屏幕空间,会导致一些显示空间的浪费,而且显示效果也不好。所以,通过获取本地视频画面和拍摄视频画面的分辨率,比较本地视频画面和拍摄视频画面的宽度比,或者高度比,根据比值,设定与简单的左右布局或上下布局不同的布局方式。

s1113、当所述宽度比或者高度比小于预设的第二阈值时,确定预设的第三布局格式为所述画面布局的配置信息,其中,所述第三布局格式为使所述第一区域嵌套在第二区域内。

当本地视频画面宽度比拍摄视频画面宽度小得多时,或本地视频画面高度比拍摄视频画面高度小得多,设定第三布局格式为画面布局的方式。第三布局格式可以称之为画中画布局格式,具体如图4所示,即实时拍摄视频占显示容器的全部空间,本地视频显示在显示容器的一角。如果本地视频画面尺寸过大,按照第三布局格式显示,实时拍摄视频画面大部分被本地视频画面遮盖,显示效果不佳,为了达到最佳的显示效果,将本地视频画面与拍摄视频画面的宽度比或者高度比设定第二阈值,小于第二阈值时,采用第三布局格式,本申请实施例中,第二阈值设置为1/3,即本地视频画面的宽度小于拍摄视频画面的宽度的1/3时,采用第三布局格式。对显示容器进行划分后,本地视频分辨率或者拍摄视频分辨率通常与划分后的显示区域的分辨率不同,如果视频画面的尺寸超过了显示区域的尺寸,要对视频画面进行处理,使之可以在显示区域较好的显示。具体请参阅图5,图5为本申请实施例示出的根据显示尺寸对本地视频画面和实时拍摄的视频画面处理的一种实施方式的流程图。

如图5所示,在步骤s1200中,还包括下述步骤:

s1201、获取所述本地视频画面分辨率;

如前所述,视频分辨率指的是视频画面宽度和高度上的像素,常见的屏幕宽高比为4:3的,对应的视频分辨率为320*240或者640*480;以及屏幕宽高比为16:9的,对应的视频分辨率为640*360,720*405,960*540,1024*576,1280*720。视频的分辨率通常作为属性参数写入视频文件中,通过读取视频文件中分辨率参数获取已有视频的分辨率。

s1202、根据所述m个区域在所述显示容器中的显示尺寸将所述本地视频画面进行等比例缩放,以使所述本地视频画面在所述m个区域完整显示;

获取本地视频的分辨率后,匹配显示尺寸,保持原始宽高比进行等比例的缩放。例如本地视频的分辨率为600*600,显示尺寸为720*720,则将原始视频宽度和高度都放大1.2倍。

s1203、根据所述n个区域在所述显示容器中的显示尺寸,确定所述拍摄视频画面的分辨率,按照所述分辨率将实时采集的n个拍摄视频画面加载至n个区域中。

当视频图像时实时拍摄的,在拍摄时限制拍摄画面的尺寸,使拍摄的视频画面加载到显示区域可以在显示容器上很好的显示。

如图6所示,在步骤s1300中,还包括下述步骤:

s1301、对所述m个区域的画面与所述n个区域的画面进行解码,分别生成l个纹理信息对所述m个区域的画面与所述n个区域的画面进行解码,分别生成l个纹理信息;

对缓存在每个区域对应的媒体缓冲器的视频数据进行解码,生成纹理信息。纹理是gpu用来绘制图像的输入信息。在计算机图形学中,纹理指的是一张表示物体表面细节的位图。因为direct3d中所有纹理都是位图,所以可以把任何位图贴到direct3d图元的表面。例如,应用程序可以创建物体并使它们的表面看起来有木纹的样式。可以把草、泥土和岩石等纹理贴在构成山的图元的表面,这样就能得到看起来很真实的山坡。应用程序也可以用纹理创建其它的效果。

s1302、根据所述预设的画面布局的配置信息,分别计算所述l个纹理信息的纹理坐标和顶点坐标;

在绘制图像时,不仅要给每个顶点定义几何坐标,而且也要定义纹理坐标。几何坐标决定顶点在屏幕上绘制的位置,而纹理坐标决定纹理图像中的哪一个纹素赋予该顶点。通过前述步骤中获取的画面布局的配置信息确定每一路纹理的纹理坐标和顶点坐标。

s1303、根据所述纹理坐标和所述顶点坐标生成所述第一播放文件。

获取纹理坐标和顶点坐标,通过顶点着色器绘制图像,为每个顶点提供顶点坐标和纹理坐标。顶点坐标决定了应该在屏幕上的哪个地点渲染特定的顶点。纹理坐标决定了纹理图像中的哪个纹理单元将分配给这个顶点。绘制的结果一路用户实时显示,一路写入文件用于保存。

在一些实施方式中,对实时拍摄的视频加入一些视频特效,具体请参阅图7,图7为本申请实施例示出的加入视频特效的一种实施方式的流程图。

如图7所示,在步骤s1200之后,还包括下述步骤:

s1211、获取预设的拍摄视频特效画面;

对实时拍摄的视频加入视频特效,视频特效文件保存在本地,视频特效有多种,对应多个本地文件,用户可以在启动视频录制之前,选择想要添加的视频特效。

s1212、将所述拍摄视频特效画面加载至所述n个区域。

将选择的视频特效文件加载到n个区域,显示时,叠加到实时采集的拍摄视频图像上,实现预设的效果。

一种实施例中,将m个区域的画面与所述n个区域的画面进行渲染后生成第一播放文件,包括:

将所述m个区域的本地视频画面与所述n个区域的拍摄视频画面进行画面叠加,这种图像叠加本身也能构成一种渲染效果,得到渲染后的所述第一播放文件。

图8是根据一示例性实施例示出的一种视频合成装置框图。参照图8,该装置包括获取单元2100、处理单元2200、执行单元2300。

获取单元2100,被配置为获取预设的画面布局的配置信息,其中,所述配置信息包括每个区域在所述显示容器中的显示尺寸和显示位置;

处理单元2200,被配置为根据所述配置信息将m个预设的本地视频画面加载至m个区域中,并将实时采集的n个拍摄视频画面加载至n个区域中,其中,所述l为大于1的正整数,所述m、所述n均为正整数,并且所述m与所述n之和等于所述l;

执行单元2300,被配置为将所述m个区域的画面与所述n个区域的画面进行渲染后生成第一播放文件。

在一些实施方式当中,视频合成装置还包括:第一获取单元、第一处理单元和第一执行单元,其中,第一获取单元,被配置为获取所述显示容器的分辨率;第一处理单元,被配置为根据所述显示容器的分辨率计算所述显示容器的宽高比;第一执行单元,被配置为当所述宽高比大于预设的第一阈值时,确认预设的第一布局格式为所述画面布局的配置信息,其中,所述第一布局格式为使所述l个区域在所述显示容器的宽度方向上依次叠放。

在一些实施方式当中,视频合成装置还包括:第二执行单元,被配置为当所述宽高比小于或等于所述预设的第一阈值时,确认预设的第二布局格式为所述画面布局的配置信息,其中,所述第二布局格式为使所述l个区域在所述显示容器的高度方向上依次叠放。

在一些实施方式当中,视频合成装置还包括:第二获取单元、第二处理单元和第三执行单元,其中,第二获取单元,被配置为获取所述本地视频画面和所述拍摄视频画面的分辨率;第二处理单元,被配置为根据所述本地视频画面和所述拍摄视频画面的分辨率,计算所述本地视频画面与所述拍摄视频画面的宽度比或者高度比;第三执行单元,被配置为当所述宽度比或者高度比小于预设的第二阈值时,确定预设的第三布局格式为所述画面布局的配置信息,其中,所述第三布局格式为使所述第一区域嵌套在所述第二区域内。

在一些实施方式当中,处理单元还包括:第三获取子单元、第三处理子单元和第四执行子单元,其中,第三获取子单元,被配置为获取所述本地视频画面分辨率;第三处理子单元,被配置为根据所述m个区域在所述显示容器中的显示尺寸将所述本地视频画面进行等比例缩放,以使所述本地视频画面在所述m个区域完整显示;第四执行子单元,被配置根据所述n个区域在所述显示容器中的显示尺寸,确定所述拍摄视频画面的分辨率,按照所述分辨率将实时采集的n个拍摄视频画面加载至n个区域中。

在一些实施方式当中,执行单元还包括:第一解码子单元、第四处理子单元和第五执行子单元,其中,第一解码子单元,被配置为对所述m个区域的画面与所述n个区域的画面进行解码,分别生成l个纹理信息对所述m个区域的画面与所述n个区域的画面进行解码,分别生成l个纹理信息;第四处理子单元,被配置为根据所述预设的画面布局的配置信息,分别计算所述l个纹理信息的纹理坐标和顶点坐标;第五执行子单元,被配置为根据所述纹理坐标和所述顶点坐标生成所述第一播放文件。

在一些实施方式当中,视频合成装置还包括:第四获取单元和第五处理单元,其中,第四获取单元,被配置为获取预设的拍摄视频特效画面;第五处理单元,被配置为将所述拍摄视频特效画面加载至所述n个区域。

在一些实施方式当中,执行单元还包括:第六执行子单元,被配置将所述m个区域的画面与所述n个区域的画面进行叠加渲染,得到渲染后的所述第一播放文件。

关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。

图9是根据一示例性实施例示出的一种视频合成设备900的结构框图,该视频合成设备900为用于视频合成的移动终端。例如,视频合成设备900可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。

参照图9,视频合成设备900可以包括以下一个或多个组件:处理组件902,存储器904,电力组件906,多媒体组件908,音频组件910,输入/输出(i/o)的接口912,传感器组件914,以及通信组件916。

处理组件902通常控制视频合成设备900的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件902可以包括一个或多个处理器920来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件902可以包括一个或多个模块,便于处理组件902和其他组件之间的交互。例如,处理组件902可以包括多媒体模块,以方便多媒体组件908和处理组件902之间的交互。

存储器904被配置为存储各种类型的数据以支持在视频合成设备900的操作。这些数据的示例包括用于在视频合成设备900上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(sram),电可擦除可编程只读存储器(eeprom),可擦除可编程只读存储器(eprom),可编程只读存储器(prom),只读存储器(rom),磁存储器,快闪存储器,磁盘或光盘。

电源组件906为视频合成设备900的各种组件提供电力。电源组件906可以包括电源管理系统,一个或多个电源,及其他与为视频合成设备900生成、管理和分配电力相关联的组件。

多媒体组件908包括在所述视频合成设备900和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件908包括一个前置摄像头和/或后置摄像头。当视频合成设备900处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件910被配置为输出和/或输入音频信号。例如,音频组件910包括一个麦克风(mic),当视频合成设备900处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器904或经由通信组件916发送。在一些实施例中,音频组件910还包括一个扬声器,用于输出音频信号。

i/o接口912为处理组件902和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件914包括一个或多个传感器,用于为视频合成设备900提供各个方面的状态评估。例如,传感器组件914可以检测到视频合成设备900的打开/关闭状态,组件的相对定位,例如所述组件为视频合成设备900的显示器和小键盘,传感器组件914还可以检测视频合成设备900或视频合成设备900一个组件的位置改变,用户与视频合成设备900接触的存在或不存在,视频合成设备900方位或加速/减速和视频合成设备900的温度变化。传感器组件914可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件914还可以包括光传感器,如cmos或ccd图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件914还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。

通信组件916被配置为便于视频合成设备900和其他设备之间有线或无线方式的通信。视频合成设备900可以接入基于通信标准的无线网络,如wifi,运营商网络(如2g、3g、4g或5g),或它们的组合。在一个示例性实施例中,通信组件916经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件916还包括近场通信(nfc)模块,以促进短程通信。例如,在nfc模块可基于射频识别(rfid)技术,红外数据协会(irda)技术,超宽带(uwb)技术,蓝牙(bt)技术和其他技术来实现。

在示例性实施例中,视频合成设备900可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。

在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器904,上述指令可由视频合成设备900的处理器920执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。

在一些实施方式中,提供计算机程序产品,包括计算机程序代码,计算机程序包括程序指令,当程序指令被计算机执行时,使计算机执行上述视频合成方法的步骤。

本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。

应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1