一种多媒体信息处理方法及装置、终端、存储介质与流程

本发明涉及互联网技术，尤其涉及一种多媒体信息处理方法及装置、终端、存储介质。

背景技术：

现在越来越多的客户端，例如大多数社交类应用(app，application)或即时通讯类应用，都支持录制视频或者拍摄图片，或者直接选取本地已有的视频或图片进行简单处理后发送出去，如qq、微信等。现有技术方案都是利用了手机单一摄像头提供的录像和拍照功能，能够支持在自己app内完成视频录制和图片的拍摄，同时也支持在拍摄完成后做一些简单的处理。例如，此类客户端发布视频/图片时，一次仅使用一个摄像头进行拍摄视频/图片，比如用前置摄像头来拍摄自拍的视频，或者用后置摄像头记录一些事件或见闻等，拍摄完成后经过简单处理就将视频/图片发送出去。也有些客户端支持从本地选取视频进行编辑，比如视频裁剪等，然后将裁剪后的视频/图片分发出去。

然而这些客户端的视频/图片采集方案形式单一，表达的内容仅有单一摄像头采集到的视频内容，内容本身不够丰富、立体。

技术实现要素：

有鉴于此，本发明实施例为解决现有技术中存在的至少一个问题而提供一种多媒体信息处理方法及装置、终端、存储介质。

本发明实施例的技术方案是这样实现的：

本发明实施例提供一种多媒体信息处理方法，所述方法包括：

客户端获取终端的两个以上摄像头中的至少两个摄像头各自拍摄的至少两个多媒体信息；

确定用于将所述至少两个多媒体信息进行合成时的合成参数；

根据所述合成参数对所述至少两个多媒体信息在进行合成，得到合成后的多媒体信息；

接收第一操作，所述第一操作用于将所述合成后的多媒体发送给所述客户端对应的服务器；

响应所述第一操作，将所述合成后的多媒体发送给所述客户端对应的服务器。

本发明实施例提供一种多媒体信息处理装置，所述装置包括获取单元、确定单元、合成单元、接收单元和发送单元，其中：

所述获取单元，用于获取终端的两个以上摄像头中的至少两个摄像头各自拍摄的至少两个多媒体信息；

所述确定单元，用于确定用于将所述至少两个多媒体信息进行合成时的合成参数；

所述合成单元，用于根据所述合成参数对所述至少两个多媒体信息在进行合成，得到合成后的多媒体信息；

所述接收单元，用于接收第一操作，所述第一操作用于将所述合成后的多媒体发送给所述客户端对应的服务器；

所述发送单元，用于响应所述第一操作，将所述合成后的多媒体发送给所述客户端对应的服务器。

本发明实施例提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器配置为执行所述程序时实现上述的多媒体信息处理方法。

本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的多媒体信息处理方法。

本发明实施例中，其中，客户端获取终端的两个以上摄像头中的至少两个摄像头各自拍摄的至少两个多媒体信息；确定用于将所述至少两个多媒体信息进行合成时的合成参数；根据所述合成参数对所述至少两个多媒体信息在进行合成，得到合成后的多媒体信息；接收第一操作，所述第一操作用于将所述合成后的多媒体发送给所述客户端对应的服务器；响应所述第一操作，将所述合成后的多媒体发送给所述客户端对应的服务器；如此，客户端能够将多个摄像头采集的图像进行合成，并最终生成一个独立完整的视频进行发布；由此，可以从多个纬度表达同一场景，或者一次表达多个不同场景，从而时观看视频者能够从多个纬度理解“彼情彼景”，使内容更丰富，表达也更立体，大大增加了现场感和趣味性，提升了用户体验。

附图说明

图1a为一种系统架构示意图；

图1b为本发明实施例多媒体信息处理方法的实现流程示意图；

图2a为本发明实施例的举例示意图；

图2b为本发明实施例基于用户的操作确定合成位置区域的举例示意图；

图2c为本发明实施例确定空窗区域的举例示意图；

图2d为本发明实施例边界提取的举例示意图；

图3a为本发明实施例视频合成方法的实现流程示意图；

图3b为本发明实施例的场景示意图一；

图3c为本发明实施例的场景示意图二；

图3d为本发明实施例合成时举例示意图三；

图3e为本发明实施例合成时举例示意图四；

图4为本发明实施例视频合成方法的实现流程示意图；

图5为本发明实施例视频合成方法的实现流程示意图；

图6为本发明实施例多媒体信息处理装置的组成结构示意图；

图7为本发明实施例中终端的一种硬件实体示意图。

具体实施方式

为了更好地理解本发明的各实施例，现解释相关的术语如下：

前置摄像头：与终端的主屏幕在同一面而设置的摄像头；如果终端仅包括一个显示屏，那么该屏幕就为主屏幕，那么设置在该显示屏一面的摄像头即为前置摄像头；有些终端设置不止一个显示屏，包括两个以上的显示屏，那么显示应用的界面的显示屏即为主屏幕，那么前置摄像头为与主屏幕在同一面的摄像头。以手机为例，手机仅包括一个显示屏，那么手机的显示屏上方的摄像头即为前置摄像头，一般来说，前置摄像头用于自拍。

后置摄像头：与终端的主屏幕不在同一面而设置的摄像头；如果终端仅包括一个显示屏，那么该屏幕就为主屏幕，那么设置在该显示屏背面的摄像头即为后置摄像头；有些终端设置不止一个显示屏，包括两个以上的显示屏，那么显示应用的界面的显示屏即为主屏幕，不显示应用界面的显示屏即为次要屏幕，那么后置摄像头为与次要屏幕在同一面的摄像头。以手机为例，手机仅包括一个显示屏，那么手机的显示屏上方的摄像头即为前置摄像头，手机显示屏背面的摄像头即为后置摄像头，位于和手机的显示屏幕相反的一面。

双摄像头：前置摄像头和后置摄像头的总称。

前置视频：前置摄像头采集的视频内容。

后置视频：后置摄像头采集的视频内容。

下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。

图1a为一种系统架构示意图，图1a示出一个通讯系统1，该系统1包括终端11和服务器12，其中终端11上安装并运行有各种客户端(例如应用程序(app，application))，客户端包括社交软件、即时通讯软件、自媒体软件、信息分享软件等客户端，服务器为客户端所对应的服务器。本例中，终端11和服务器12都可以为一个或多个，因此，上述系统1包括一个或多个安装有客户端的终端11以及一个或多个服务器12，这些终端11和服务器12通过网络13连接。在本发明实施例中，网络侧服务器12可以与终端11通过客户端进行交互，终端11将待发布的素材至服务器12，然后服务器将接收到的待发布素材发布出去。其中，待发布的素材包括文本和多媒体信息，其中多媒体信息至少包括照片和视频二者之一，也可以是文本和照片的组合。

需要说明的是，本发明的一些实施例可以基于图1a提出的系统架构。

本发明实施例提供一种多媒体信息处理方法，应用于终端，该方法所实现的功能可以通过终端中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，在实现的过程中，该程序代码可以作为客户端，从而可以安装在终端上，并被所述终端所运行。从以上可以看出，该终端至少包括处理器和存储介质。图1b为本发明实施例多媒体信息处理方法的实现流程示意图，如图1b所示，该方法包括：

步骤s101，客户端获取终端的两个以上摄像头中的至少两个摄像头各自拍摄的至少两个多媒体信息；

本实施例中，所述两个以上包括两个、三个、四个等等。

本实施例中，摄像头包括各种能够进行图像采集部件。

本实施例中，客户端包括各种能上传并发布多媒体信息的客户端，例如社交软件、即时通讯软件、自媒体软件、信息分享软件、信息上传软件等客户端，用户通过社交软件(如脸书、qq空间、微博等)将拍摄的多媒体信息发布出去，用户还可以通过即时通讯软件将拍摄的多媒体信息发送给自己好友，用户当然也可以通过自媒体软件上传自己拍摄的多媒体信息，用户还可以通过信息分享软件(例如视频软件youtube、哔哩哔哩、拍客等)分享自己拍摄的多媒体信息。

本例中，多媒体信息至少包括照片和视频二者之一，例如，用户拍摄的照片或视频可以作为多媒体信息；用户对拍摄的照片或视频进行编辑处理，例如旋转、裁剪、滤镜、美颜、增加文字、增强饱和度、增强亮度、增强对比度等等，编辑处理后的照片或视频也可以作为多媒体信息。

本实施例中终端包括两个以上摄像头，例如两个摄像头、三个摄像头、四个摄像头，其中一般的智能手机、平板电脑等移动终端一般包括两个摄像头，分别为第一摄像头和第二摄像头；而具有特征功能的，例如具有三维成像(3d，3dimensions)功能、增强现实(ar，augmentedreality)或虚拟现实(vr，virtualreality)功能的移动终端可能包括三个或三个以上的摄像头。下面以两个摄像头为例进行说明，所述终端包括第一摄像头和第二摄像头，步骤s101，包括：客户端获取第一摄像头拍摄的第一多媒体信息和第二摄像头拍摄的第二多媒体信息。一般来说，终端包括两个摄像头时，第一摄像头和第二摄像头可以分别为前置摄像头和后置摄像头，那么步骤s101，包括：客户端获取前置摄像头拍摄的第一多媒体信息和后置摄像头拍摄的第二多媒体信息。

步骤s102，确定用于将所述至少两个多媒体信息进行合成时的合成参数；

本例中，合成参数包括各种能够将至少两个多媒体信息进行合成为一个整体的任意一个或多个参数，例如合成样式或合成模板、合成位置、前景标签、后景标签、合成规则等。

合成样式或合成模板可以是用于对采集的至少两个多媒体信息进行排版的参数，合成样式或合成模板可以是预先默认设置的，由服务器定时进行更新，也可以是用户自己设置的一些模板样式或模板。

步骤s103，根据所述合成参数对所述至少两个多媒体信息在进行合成，得到合成后的多媒体信息；

在其他实施例中，所述终端包括前置摄像头和后置摄像头，所述合成参数包括合成位置区域，所述确定用于将所述至少两个多媒体信息进行合成时的合成参数，包括：确定所述前置摄像头拍摄的第一多媒体信息合成在所述后置摄像头拍摄的第二多媒体信息的合成位置区域；对应地，所述根据所述合成参数对所述至少两个多媒体信息在进行合成，得到合成后的多媒体信息，包括：将所述前置摄像头拍摄的第一多媒体信息添加在所述合成位置区域上，得到合成后的多媒体信息。

步骤s104，接收第一操作，所述第一操作用于将所述合成后的多媒体发送给所述客户端对应的服务器；

步骤s105，响应所述第一操作，将所述合成后的多媒体发送给所述客户端对应的服务器。

本发明实施例中，允许用户在拍摄时同时开启终端的多个摄像头，并支持将多个摄像头采集的图像合并预览展示，并支持增加多种合并的渲染效果，最终生成一个独立完整的视频进行分发。由此，可以从多个纬度表达视频本身的含义，观看视频者能够从多个纬度理解“彼情彼景”，使内容更丰富，表达也更立体，大大增加了现场感和趣味性，提升了用户体验。

其中第一操作以及以下各实施例中的第二操作、第三操作、第四操作等其他都可以为用户的操作，操作的类型与终端的输入设备有关，如果输入设备为鼠标，则操作为点击操作，如果输入设备为触摸屏，则操作为触摸操作。终端的输入设备还可以是其他类型的，终端通过触摸屏或鼠标接收用户的操作，然后根据用户的操作生成指令，然后执行该指令，例如第一操作作用于将所述合成后的多媒体发送给所述客户端对应的服务器，那么终端根据第一操作生成“用于将所述合成后的多媒体发送给所述客户端对应的服务器”的指令，然后执行指令，将所述合成后的多媒体发送给所述客户端对应的服务器。以下的第二操作、第三操作、第四操作等其他与第一操作类似，可以参阅第一操作而理解。

下面以两个摄像头采集的第一和第二多媒体信息为例进行说明，例如图2a所示的a1图为后置摄像头所采集的第二图像(第二多媒体信息)，a1图为前置摄像头所采集的第一图像(第一多媒体信息)；b1图至b3图分别为合成样式或合成模板，即根据这些样式或模板将第一图像和第二图像进行合成。其中，图b1所示的模板包括添加第一图像和第二图像的区域b11和b12，在将第一图像和第二图像进行合成时，可以将第一图像或第二图像添加在区域b11，也可以将第二图像或第一图像添加在区域b12，图c1示出了将第一图像添加在区域b12，将第二图像添加在区域b11的界面示意图；图b2所示的模板包括添加第一图像和第二图像的区域b13和b14，在将第一图像和第二图像进行合成时，可以将第一图像或第二图像添加在区域b13，也可以将第二图像或第一图像添加在区域b14，图c2示出了将第一图像添加在区域b13而将第二图像添加在区域b14的界面示意图；图b3所示的模板包括添加第一图像和第二图像的区域b15和b16，在将第一图像和第二图像进行合成时，可以将第一图像或第二图像添加在区域b15，也可以将第二图像或第一图像添加在区域b16，图c3示出了将第一图像添加在区域b15而将第二图像添加在区域b16的界面示意图。另外，图b3所示的模板中区域b15可以是固定也可以不是固定的，用户可以设置b15的位置，也可以是终端自己确定的。

从图2a所示各图可以看出，利用合成样式或合成模板合成后的多媒体信息中，能够实现在一个界面中可以同时显示采集的至少两个多媒体信息，其中，b1和b2所示的模板合成后的多媒体信息中原各自多媒体信息(第一图像和第二图像)可以相互独立，b3所示的模板中合成后的多媒体信息中原各自多媒体信息(第一图像和第二图像)也可以相互嵌套，即图b3所示的模板中有前景和后景的区别。

在实现的过程中，合成样式或模板中的原各自多媒体信息相互嵌套(如图2a的图b3所示)时，合成参数包括合成位置区域，对应地，所述确定用于将所述至少两个多媒体信息进行合成时的合成参数，包括：确定合成位置区域的过程，其中合成位置区域的确定包括以下两种方式：

方式一，接收第三操作，基于所述第三操作从所述至少两个多媒体信息中确定作为背景的多媒体信息，即所述第三操作用于从所述至少两个多媒体信息中确定作为背景的多媒体信息，然后终端在终端的显示界面上显示所述作为背景的多媒体信息；接收第四操作，其中，所述第四操作用于确定其他多媒体信息在所述作为背景的多媒体信息上的合成位置区域；基于所述第四操作确定其他多媒体信息在所述作为背景的多媒体信息上的合成位置区域，根据所述合成位置区域将所述其他多媒体信息添加在作为背景的多媒体信息上。其中所述其他多媒体包括所述至少两个多媒体信息中除所述作为背景的多媒体信息之外的全部或部分多媒体信息。

在其他实施例中，所述终端包括前置摄像头和后置摄像头，上述方式一中的确定作为背景的多媒体信息的相关步骤可以省略，即方式一包括以下两个步骤：步骤sa11，接收针对所述第二多媒体信息的第二操作；步骤sa12，基于所述第二操作对应的位置确定合成位置区域。本例中，第二多媒体信息为后置摄像头拍摄的，因此第二多媒体适合作为背景，而第一多媒体信息为前置摄像头拍摄的，因此第一多媒体信息适合作为前景，因此可以在终端的显示屏上显示第二多媒体信息，然后接收用户针对所述第二多媒体信息的第二操作，所述第二操作用于确定第一多媒体信息在所述作为背景的第二多媒体信息上的合成位置区域。当然如果用户想要更改背景，在实施的过程中还可以提供替换操作，用户使用替换操作将背景从第二多媒体信息更改为第一多媒体信息。

在sa11和sa12所示的实施例中，终端需要从前置摄像头和后置摄像头拍摄的多媒体信息中确定哪个是后置摄像头拍摄，以便将后置摄像头拍摄的作为背景，因此，在其他实施例中，所述方法还包括：客户端根据第一和第二多媒体信息的属性确定后置摄像头拍摄的多媒体信息，多媒体信息的属性包括文件的大小、格式、来源标识、拍摄时间，如果多媒体信息是照片，则拍摄时间为时刻，如果多媒体信息是视频，则拍摄时间为包括拍摄开始时刻和持续时长，其中来源标识表示多媒体信息是前置摄像头拍摄的还是后置摄像头拍摄的。然后将后置摄像头拍摄的多媒体信息(第二多媒体信息)作为背景。

下面以图2b为例进行说明，客户端获取到至少两个多媒体信息后，获取至少两个多媒体信息的属性，将属性中的来源标识为后置摄像头的多媒体信息确定背景，假设客户端将图a1的第二多媒体信息作为背景，然后用户在第二多媒体信息上进行第二操作，例如在第二多媒体信息上画一个圈21作为合成位置区域，客户端根据第二操作对应的位置，例如画一个圈20，确定合成位置区域。然后客户端根据合成位置区域将第一多媒体信息添加在第二多媒体信息上，即得到合成后的多媒体信息。

方式一提供的是一种基用户操作确定合成位置区域的方式，下面方式二提供一种客户端自动确定合成位置区域的方式，其中所述合成参数包括前景标签、背景标签、合成位置区域，方式二包括：

在sb11，为所述至少两个多媒体信息中每一多媒体信息确定前景标签或背景标签；

在sb12，对具有背景标签的多媒体信息进行图像识别，得到空窗区域；

在其他实施例中，图像识别可以包括颜色识别和图像纹理识别，一般来说，颜色一致性比较好的区域所带来的有效信息就比较少；类似地，图像纹理比较少的区域所带来的有效信息也比较少；那么可以将颜色一致性比较好的区域和图像纹理比较少的区域确定为空窗区域。在实现的过程中，可以将纹理特征满足预设条件的区域确定为空窗区域。当图像识别采用颜色识别时，本实施例还包括确定所述空窗区域的颜色值的步骤。

在sb13，将所述空窗区域确定为合成位置区域。

对应地，步骤s104，所述根据所述合成参数对所述至少两个多媒体信息在进行合成，得到合成后的多媒体信息，包括：将具有前景标签的多媒体信息添加在所述合成位置区域，得到合成后的多媒体信息。

本实施例中，所述空窗区域是颜色一致性区域且不包括文字，颜色一致性区域可以利用颜色识别来实现，例如色差在阈值范围内的像素区域可以确定为颜色一致性区域。所述对具有背景标签的多媒体信息进行颜色识别，得到空窗区域，包括：对所述具有背景标签的多媒体信息进行颜色识别，得到所述具有背景标签的多媒体信息上的颜色一致性区域；参见图2c，假设具有背景标签的多媒体信息为2c中的a图或b图，对a图进行分析，得到颜色一致性区域2c1和2c2；对b图进行分析，得到颜色一致性区域2c3和2c4；然后将所述颜色一致性区域上包括文字的区域剔除，得到空窗区域。在其他实施例中，该方法还包括：判断所述空窗区域是否大于预设的像素区域，例如一般来说，二维码区域至少要100像素×100像素，如果太小，则添加合成位置区域会太小，所以区域不满足像素区域的设置的阈值，所以不能当作空窗区域。如果满足所述空窗区域大于预设的像素区域，则将所述空窗区域确定为所述图像区域。

本实施例中，因为多媒体信息可能是视频，多媒体信息的合成可能是视频的合成，由于视频就是一帧一帧的，那么多个摄像头例如前置摄像头的视频和后置摄像头的视频之间的合成，就需要一帧一帧的合成，假设前置摄像头有三帧[a1,a2,a3]，后置摄像头有三帧[b1,b2,b3]，合成后的视频也有三帧[c1,c2,c3]；其中，c1可能是a1和b1合成的结果，用公式表示为c1＝a1+b1；c1可能是a1和b3合成的结果，用公式表示为c1＝a1+b3，c1可能是a2和b3合成的结果，用公式表示为c1＝a2+b3；上面公式所表示的关系可以用关联信息来体现。这样所述多媒体信息为视频，所述根据所述合成参数对所述至少两个多媒体信息在进行合成，得到合成后的多媒体信息，包括：为所述至少两个多媒体信息中每一多媒体信息确定前景标签或背景标签；对具有背景标签的多媒体信息进行图像识别，得到空窗区域；将所述空窗区域确定为合成位置区域；确定所述至少两个多媒体信息中每一多媒体信息的帧顺序；将具有前景标签的多媒体信息的帧顺序与具有背景标签的多媒体信息的帧顺序建立关联信息。对应地，所述将具有前景标签的多媒体信息添加在所述合成位置区域，得到合成后的多媒体信息，包括：根据所述关联信息将具有前景标签的多媒体信息添加在所述合成位置区域，得到合成后的多媒体信息。在其他实施例中，判断具有背景标签的多媒体信息的帧数量与具有前景标签的多媒体信息的帧数量是否一致，如果不一致则采用空帧来对应，即具有背景标签的多媒体信息的帧数量小于具有前景标签的多媒体信息的帧数量，在播发前景标签的多媒体信息的帧数量过程中，有些时候是没有具有背景标签的多媒体信息。在其他是实施例中还可以将二者按照最小的数量对齐。

本实施例中，将多个多媒体信息进行合成，那么会存在哪一个多媒体信息叠加在另一个多媒体信息之上的问题，本实施例将每一个采集的视频或图像都给一个标签，即这个视频是合成后的视频或图像的前景或背景；对应地，所述多媒体信息为视频，所述根据所述合成参数对所述至少两个多媒体信息在进行合成，得到合成后的多媒体信息，包括：为所述至少两个多媒体信息中每一多媒体信息确定前景标签或背景标签；对具有背景标签的多媒体信息进行图像识别，得到空窗区域；将所述空窗区域确定为合成位置区域。所述将具有前景标签的多媒体信息添加在所述合成位置区域，得到合成后的多媒体信息，包括：步骤s31a，对具有前景标签的多媒体信息进行边界检测，得到边界外区域；步骤s32a，根据所述合成位置区域的颜色值对所述边界外区域进行颜色填充，得到填充后的具有前景标签的多媒体信息；步骤s33a，将颜色填充后的具有前景标签的多媒体信息添加在所述合成位置区域，得到合成后的多媒体信息。如图2d所示，假设具有前景标签的多媒体信息为图2d的a图所示，对图2d的a图进行边界提取(又称为边缘检测)后的结果如图2d的b图所示，而边界内区域如图2d的c图所示，边界外区域如图2d的d图所示，然后对图2d的d图按照合成位置区域的颜色值进行颜色填充，假设合成位置区域的颜色值为绿色，则将d图中的斜线表示的阴影区域填充为绿色。

本实施例中，所述多媒体信息为视频，所述根据所述合成参数对所述至少两个多媒体信息在进行合成，得到合成后的多媒体信息，包括：为所述至少两个多媒体信息中每一多媒体信息确定前景标签或背景标签；对具有背景标签的多媒体信息进行图像识别，得到空窗区域；将所述空窗区域确定为合成位置区域；所述将具有前景标签的多媒体信息添加在所述合成位置区域，得到合成后的多媒体信息，包括：步骤s31b，对具有前景标签的多媒体信息进行边界提取，得到边界内区域；步骤s32b，将所述边界内区域添加在所述合成位置区域，得到合成后的多媒体信息。如图2d所示，假设具有前景标签的多媒体信息为图2d的a图所示，对图2d的a图进行边界提取(又称为边缘检测)后的结果如图2d的b图所示，而边界内区域如图2d的c图所示，将图2d的c图添加在合成区域，得到合成后的多媒体信息。

在本发明的其他实施例中，针对终端种类的不同，比如有些终端支持同时开启多个摄像头，而有些终端仅支持一次开启一个摄像头。针对这种终端能力上的差异，本实施例还提供不同的解决方案。对应地，步骤s101，所述获取终端的两个以上摄像头中的至少两个摄像头各自拍摄的至少两个多媒体信息，包括：步骤s31c，判断所述终端是否支持所述至少两个摄像头同时进行拍摄，步骤s32c，如果确定所述终端支持所述至少两个摄像头同时进行拍摄时，同时调用所述至少两个摄像头进行拍摄；获取所述至少两个摄像头拍摄的所述至少两个多媒体信息。步骤s33c，如果确定所述终端不支持所述至少两个摄像头同时进行拍摄时，调用所述至少两个摄像头中默认的一个摄像头进行拍摄；获取所述默认的一个摄像头所拍摄的多媒体信息后，调用所述至少两个摄像头中除所述默认的一个摄像头之外其他的摄像头依次进行拍摄；获取所述其他的摄像头依次进行拍摄的多媒体信息。

本发明实施例可以协助用户同时利用手机前后多个摄像头的录像功能，进行实时视频的采集、集中展示、加工处理并最终合成一个视频对外分发的一种解决方案，同时本发明实施例也是可以协助用户实现对于已有的本地视频的加工处理并进行多视频合成的一种解决方案。

本发明实施例中，用户可以同时或先后利用终端的前后置多个摄像头进行视频采集。采集过程中支持对图像内容的实时加工，比如各种滤镜效果、挂件、马赛克、弹幕文字等。在正式生成视频文件之前，支持将多个摄像头采集到的加工后的内容合并展示，并能够让用户实时选择合并展示的方案及效果，如多视频/图片叠加时各自的位置、大小、形状、旋转角度等，也同样支持采集过程中所支持的各种渲染效果。当用户确认最终的合成效果后，便生成唯一的个包含所有内容的对外分发的视频文件。

针对终端的种类的不同，比如有些终端同时支持开启多个摄像头，而有些设备仅支持一次开启一个摄像头。针对这种设备能力上的差异，本技术提供不同的解决方案。图3a为本发明实施例视频合成方法的实现流程示意图，图3a左侧的步骤s303至步骤s311为仅支持一次开启一个摄像头的设备的实现流程示意图，图3a右侧的步骤s313至步骤s318为同时支持开启多个摄像头的设备的实现流程示意图，如图3a所示，该方法包括：

步骤s301，进入功能入口；

这里，用户对终端上的app进行操作，终端根据用户的操作进入功能入口；例如，用户打开app，点击“照相机”按钮即可进入视频录制页面开始录制。录制的每个步骤具有相应的提示和指引，来引导用户操作。例如用户手机上安装有即时通讯app，如图3b所示，用户在聊天界面30选择与自己的一个朋友聊天，例如用户想给朋友“maffylee”31分享自己的视频，则用户点击功能入口32，本例中以相机图标32作为功能入口。进入录制界面后，手机的摄像头便启动工作，假设前置摄像头开始工作，采集到用户的头像33(参见图3c)，手机屏幕上会显示摄像头实时预览的画面。屏幕上有按钮支持前置和后置摄像头的切换的按钮34、以及是否开启闪光灯的按钮35等。如果用户录制完毕，用户可以点击停止按钮36。在本发明的其他实施例中，录制界面可以允许用户选择相应的效果来对采集数据进行实时处理，其中处理效果37包括滤镜、挂件等，然后用户点击录制按钮36，便开始录制视频，停止按钮和录制按钮是同一按钮。

多段视频拍摄完成后，可选择对视频或者图片进行编辑，如调整视频合成的效果、调整叠加的视频/图片的大小、位置、方向等、增加发表文字、水印、表情、对视频或者图片打马赛克、修改背景音乐、增加滤镜效果等等。增加的效果支持实时预览，用户确认后便可发送。

步骤s302，判断支持前后置多摄像头同时录制，如果是，即支持前后置多摄像头同时录制，进入步骤s313；如果否，即不支持前后置多摄像头同时录制，进入步骤s303；

步骤s303，启动任一摄像头选景预览；

这里，由于终端仅支持启动一个摄像头进行录像，则终端会启动默认的摄像头，如果启动的默认摄像头不是用户想要启动的摄像头，那么用户可以在界面上进行切换；例如终端默认启动的摄像头为后置摄像头，而用户不想启动的后置摄像头而想要启动前置摄像头，那么用户可以在界面上进行操作，然后启动的摄像头进行切换，即将后置摄像头切换为前置摄像头。

这里，进入录制界面后，手机的摄像头便启动工作，假设前置摄像头开始工作，采集到用户的头像33(参见图3c)，手机屏幕上会显示摄像头实时预览的画面(还可以参见图3d的a图、图3e的a图)。屏幕上有按钮支持前置和后置摄像头的切换的按钮34、以及是否开启闪光灯的按钮35等。如果用户录制完毕，用户可以点击停止按钮36。在本发明的其他实施例中，录制界面可以允许用户选择相应的效果来对采集数据进行实时处理，其中处理效果37包括滤镜、挂件等，然后用户点击录制按钮36，便开始录制视频，停止按钮和录制按钮是同一按钮。

步骤s304，采集数据预处理；

这里，终端采集原始视频数据，然后对采集到的原始视频数据进行预处理；其中预处理比如包括增加滤镜效果、视频的裁剪等等。参见图3d的b图或图3e的b图，图标43和44是编辑的模板，当用户选择某一模板时就会给摄像头采集到的原始图像a增加上对应的效果，假设用户选择了模板43，则图像a上对应增加了41和42对应的效果。

步骤s305，生成视频/图片；

这里，终端将预处理后的视频数据生成视频/图片；参见图3d的c图或图3e的c图，经过b图的编辑后，生成如图c所示的视频/图片。

步骤s306，视频/图片回放确认；

这里，用户可以对生成好的视频进行回放确认，如果用户想要回放确认，那么用户在界面上点击回放按钮，然后终端根据用户点击的回放按钮进行回放操作；如果用户对刚刚生成的视频不满意，则可能会重复步骤s303至步骤s305，直到用户对生成的视频/图片满意为止。

步骤s307，启动另外一个摄像头选景预览，并将采集内容叠加到之前视频之上显示；

这里，继续承接前述的步骤s303至步骤s305，步骤s303至步骤s305为一个摄像头生成视频/图片的流程，而步骤s307至步骤s309为另一个摄像头生成视频/图片的流程，与前述的s303至步骤s305类似。

这里，用户启动前置摄像头拍摄视频/图片后，想要启动后置摄像头拍摄视频/图片，用户在界面上选择切换按钮，将前置摄像头切换为后置摄像头，这用终端启动另外一个摄像头(后置摄像头)选景预览，开始录像。

步骤s308，采集数据预处理；

这里，终端采集原始视频数据，然后对采集到的原始视频数据进行预处理；

步骤s309，生成另一视频/图片；

这里，终端将步骤s308预处理后的视频数据生成视频/图片；

步骤s310，多视频/图片叠加预览及效果调整；

这里，终端将步骤s309生成的视频/图片与步骤s306生成的视频/图片进行合成。参见图3d的d图或图3e的d图，假设将c图叠加在一张桌子的图像上，在该桌子的图像确定一个合成位置区域，然后可以对c图进行裁剪，裁剪后的图像放置在图标47所示的位置，然后对合成后的视频或图片进行调整，例如增加文字46、增加笑脸45。

这里，用户还可以对步骤s309生成好的视频进行回放确认，如果用户想要回放确认，那么用户在界面上点击回放按钮，然后终端根据用户点击的回放按钮进行回放操作；如果用户对步骤s309生成的视频不满意，则可能会重复步骤s307至步骤s309，直到用户对生成的视频/图片满意为止。

在本发明的其他实施中，步骤s307采集的原始视频内容可以叠加到步骤s306生成的视频/图片的基础上，当然步骤s307采集的原始视频内容也可以不叠加到步骤s306生成的视频/图片的基础上。如果s307采集的原始视频内容叠加到之前步骤s306生成的视频/图片的基础上，那么对步骤s309进行处理完即可得到叠加后的视频。

步骤s311，合成效果确认；

这里，可以在终端的界面上显示预览选项，用户选择预览后，弹出确认的对话框，如果用户对合成效果比较满意，则用户会进行确认操作，如果用户对合成效果不满意，则用户就不会进行确认操作，从而会进行取消操作，终端收到确认操作后，会跳转至发布界面，如果终端收到用户的取消操作，会重新进行合成界面，从而终端会重新进行合成。

步骤s312，发布；

继续承接前述的步骤s311，如果用户进行确认操作后，会跳转至发布界面，用户在发布界面会发布操作，终端收到发布操作后，终端会进行发布，即终端将合成后的图像(包括照片和视频)上传给服务器，服务器收到上传的图像后进行发布，如果用户使用的客户端是微信，发布后，则用户的朋友则在朋友圈可以看到用户上传的合成后的图像。如果用户使用的客户端是视频分享软件，则其他的访问者则可以看到用户上传的合成后的图像。

步骤s313，启动多摄像头选景预览；

进入录制界面后，手机的摄像头便启动工作，假设前置摄像头开始工作，采集到用户的头像33(参见图3c)，手机屏幕上会显示摄像头实时预览的画面。屏幕上有按钮支持前置和后置摄像头的切换的按钮34、以及是否开启闪光灯的按钮35等。如果用户录制完毕，用户可以点击停止按钮36。在本发明的其他实施例中，录制界面可以允许用户选择相应的效果来对采集数据进行实时处理，其中处理效果37包括滤镜、挂件等，然后用户点击录制按钮36，便开始录制视频，停止按钮和录制按钮是同一按钮。

步骤s314，多视频数据实时处理；

本例中，终端可以对多个视频数据进行实时处理，在其他的实施例中，也可以不是实时处理，即前一个视频可以是之前已经处理过的，而实时处理仅限于合成的步骤。

步骤s315，生成视频/图片；

本例中，根据步骤s314处理后的图像，生成合成后的视频/图片。

步骤s316，视频/图片回放确认；

步骤s317，多视频/图片叠加预览及效果调整；

本例中，步骤s316可以参见前述的步骤s310。

步骤s318，合成效果确认。

本例中，步骤s316可以参见前述的步骤s311。

对于实时录制的视频可以按照如下图展示的视频合成逻辑，将多段视频按照用户的编辑效果合成为一个视频。图4为本发明实施例视频合成方法的实现流程示意图，如图4所示，该方法包括：

步骤s401，启动摄像头；

这里，用户对终端上的app进行操作，终端根据用户的操作进入功能入口；例如，用户打开app，点击“照相机”按钮即可进入视频录制页面开始录制，这样终端即启动摄像头。录制的每个步骤具有相应的提示和指引，来引导用户操作。

步骤s402，摄像头采集数据预处理；

摄像头采集数据预处理可以包括：景物通过镜头(lens)生成的光学图像投射到图像传感器表面上，然后转为电信号，经过模数转换(a/d，analog/digital)转换后变为数字图像信号，再送到数字信号处理芯片(dsp，digitalsignalprocessing)中加工处理，再通过数据接口例如通用串行总线(usb，universalserialbus)接口传输至终端的处理器如中央处理器(cpu，centralprocessingunit)。

步骤s403，多摄像头并行数据；

步骤s404，数据预处理：转码、加渲染效果；

步骤s405，保存数据到缓存或本地文件；

步骤s406，回放预览，效果确认；

步骤s401至步骤s406，终端进入相机页后，手机的一个摄像头便启动工作，手机屏幕上会显示摄像头实时预览的画面。屏幕上有按钮支持前置和后置摄像头的切换，及是否开启闪光灯等。同时有入口可以允许用户选择相应的效果来对采集数据进行实时处理，如滤镜、挂件等。点击录制按钮，便开始录制视频。

步骤s407，终端判断采集数据是否完成；

这里，终端判断采集数据是否完成，如果没有完成，则继续采集，如果已经完成，则进入步骤s408。在实现的过程中，可以根据用户的选择操作来判断是否完成了数据采集。

步骤s408，视频合成；

这里，步骤s408中的视频合成步骤包括合成参数的确定，根据合成参数进行视频合成，合成参数包括前景标签、背景标签、合成位置区域等。

步骤s409，数据渲染；

这里，数据渲染包括：多段视频拍摄完成后，可选择对视频或者图片进行编辑，如调整视频合成的效果、调整叠加的视频/图片的大小、位置、方向等、增加发表文字、水印、表情、对视频或者图片打马赛克、修改背景音乐、增加滤镜效果等等。

步骤s410，实时展示、合成；

步骤s411，回放预览，效果确认；

这里，可以在终端的界面上显示预览选项，用户选择预览后，弹出确认的对话框，如果用户对合成效果比较满意，则用户会进行确认操作，如果用户对合成效果不满意，则用户就不会进行确认操作，从而会进行取消操作，终端收到确认操作后，会跳转至发布界面，如果终端收到用户的取消操作，会重新进行合成界面，从而终端会重新进行合成。

步骤s412，发布。

本例可以参见前述的步骤s312。

本实施例中，通过手机摄像头实时捕获成像的数据帧，预览时，对数据帧进行实时处理完成各种视频效果的呈现，提供给用户预览。用户确认效果后边可以开始视频的录制。视频生成后，会将用户之前选择的渲染效果也一同生成到视频文件中。

本实施例中，对于支持同时启动多个摄像头进行录制的手机，录制和合成可以同时进行；对于不支持多个摄像头同时录制的手机，一次录制一个视频文件，等多段视频都分别录制完成后，一起汇总叠加展示，并提供给用户进行后期的编辑和制作入口。然后启动合成逻辑，将多段视频按照用户编辑后的效果合成到一个视频上。

对于非实时录制的视频，比如对于本地已经存在的视频，也可以按照如下图展示的视频合成逻辑，将多段视频按照用户的编辑效果合成为一个视频。图5为本发明实施例视频合成方法的实现流程示意图，如图5所示，该方法包括：

步骤s501，视频合成开始；

这里，用户对终端上的app进行操作，终端根据用户的操作进入功能入口；例如，用户打开app，点击“照相机”按钮开始视频合成阶段，根据用户的选择从本地或接收其他设备发送的视频缓存/文件数据。

步骤s502，解析视频缓存/文件数据；

这里，终端对视频缓存/文件数据进行解析，解析完成后生成app所规定的格式的文件。

步骤s503，判断是否为单视频数据，如果是，进入步骤s508，反之，进入步骤s504。

如果不是单视频数据，则为多个摄像头对应的视频数据，则无需再进行合成。用户可以选择一个本地图像文件，然后实时采集一个图像文件；也可以两个文件都是本地的。

步骤s504，视频帧逐帧合成；

步骤s504对步骤s503的单视频文件进行合成。

步骤s505，合成帧渲染；

本例中，合成帧渲染包括：多段视频拍摄完成后，可选择对视频或者图片进行编辑，如调整视频合成的效果、调整叠加的视频/图片的大小、位置、方向等、增加发表文字、水印、表情、对视频或者图片打马赛克、修改背景音乐、增加滤镜效果等等。增加的效果支持实时预览，用户确认后便可发送。

步骤s506，生成视频文件；

步骤s507，合入音频效果；

步骤s508，发布前处理；

步骤s509，视频合成结束。

本发明的优势在于能够利用手机的多摄像头拍照功能，在拍摄视频时能够充分发挥各个摄像头的作用，在表达主视频本身的有效内容同时，还利用其他摄像头进行辅助录制，并将辅助内容叠加到主视频之上，使原视频携带更丰富的信息。本发明能够更好的支持用户从多个纬度来表达自身的感受、经历、体验或者心情。

本发明实施例再提供一种多媒体信息处理装置，该装置所包括的各单元、各单元所包括的各模块、各模块所包括的各子模块都可以通过终端中的处理器来实现，当然也可通过逻辑电路实现；在实施的过程中，处理器可以为中央处理器(cpu)、微处理器(mpu)、数字信号处理器(dsp)或现场可编程门阵列(fpga)等。其中，终端在实现的时可以采用计算设备来实现，其中，所述计算设备在实施的过程中可以为各种类型的具有信息处理能力的电子设备，例如所述电子设备可以包括手机、平板电脑、台式机、个人数字助理等。

图6为本发明实施例多媒体信息处理装置的组成结构示意图，如图6所示，该装置600包括获取单元601、确定单元602、合成单元603、接收单元604和发送单元605，其中：

所述获取单元601，用于获取终端的两个以上摄像头中的至少两个摄像头各自拍摄的至少两个多媒体信息；

所述确定单元602，用于确定用于将所述至少两个多媒体信息进行合成时的合成参数；

所述合成单元603，用于根据所述合成参数对所述至少两个多媒体信息在进行合成，得到合成后的多媒体信息；

所述接收单元604，用于接收第一操作，所述第一操作用于将所述合成后的多媒体发送给所述客户端对应的服务器；

所述发送单元605，用于响应所述第一操作，将所述合成后的多媒体发送给所述客户端对应的服务器。

在本发明的其他实施例中，所述终端包括前置摄像头和后置摄像头，所述合成参数包括合成位置区域，所述确定单元，用于确定所述前置摄像头拍摄的第一多媒体信息合成在所述后置摄像头拍摄的第二多媒体信息的合成位置区域；所述合成单元，用于将所述前置摄像头拍摄的第一多媒体信息添加在所述合成位置区域上，得到合成后的多媒体信息。

在本发明的其他实施例中，所述确定单元包括接收模块和第一确定模块，其中：所述接收模块，用于接收针对所述第二多媒体信息的第二操作；所述第一确定模块，用于基于所述第二操作对应的位置确定合成位置区域。

在本发明的其他实施例中，所述合成参数包括前景标签、背景标签、合成位置区域，所述确定单元包括第二确定模块、识别模块和第三确定模块，其中：所述第二确定模块，用于为所述至少两个多媒体信息中每一多媒体信息确定前景标签或背景标签；所述识别模块，用于对具有背景标签的多媒体信息进行图像识别，得到空窗区域；所述第三确定模块，用于将所述空窗区域确定为合成位置区域；所述合成单元包括添加模块，用于将具有前景标签的多媒体信息添加在所述合成位置区域，得到合成后的多媒体信息。

在本发明的其他实施例中，所述合成单元还包括第四确定模块和建立模块，其中：所述第四确定模块，用于确定所述至少两个多媒体信息中每一多媒体信息的帧顺序；所述建立模块，用于将具有前景标签的多媒体信息的帧顺序与具有背景标签的多媒体信息的帧顺序建立关联信息；所述添加模块，用于根据所述关联信息将具有前景标签的多媒体信息添加在所述合成位置区域，得到合成后的多媒体信息。

在本发明的其他实施例中，所述添加模块包括检测子模块、填充子模块和添加子模块，其中：所述检测子模块，用于对具有前景标签的多媒体信息进行边界检测，得到边界外区域；所述填充子模块，用于根据所述合成位置区域的颜色值对所述边界外区域进行颜色填充，得到填充后的具有前景标签的多媒体信息；所述添加子模块，用于将颜色填充后的具有前景标签的多媒体信息添加在所述合成位置区域，得到合成后的多媒体信息。

在本发明的其他实施例中，所述添加模块包括提取子模块和添加子模块，其中：所述提取子模块，用于对具有前景标签的多媒体信息进行边界提取，得到边界内区域；所述添加子模块，用于将所述边界内区域添加在所述合成位置区域，得到合成后的多媒体信息。

在本发明的其他实施例中，所述获取单元包括第五确定模块和第一获取模块，其中：所述第五确定模块，用于确定所述终端支持所述至少两个摄像头同时进行拍摄时，同时调用所述至少两个摄像头进行拍摄；所述第一获取模块，用于获取所述至少两个摄像头拍摄的所述至少两个多媒体信息。

在本发明的其他实施例中，所述获取单元包括第六确定模块、第二获取模块和第三获取模块，其中：所述第六确定模块，用于确定所述终端不支持所述至少两个摄像头同时进行拍摄时，调用所述至少两个摄像头中默认的一个摄像头进行拍摄；所述第二获取模块，用于获取所述默认的一个摄像头所拍摄的多媒体信息后，调用所述至少两个摄像头中除所述默认的一个摄像头之外其他的摄像头依次进行拍摄；所述第三获取模块，用于获取所述其他的摄像头依次进行拍摄的多媒体信息。

以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果，因此不做赘述。对于本发明装置实施例中未披露的技术细节，请参照本发明方法实施例的描述而理解。

本发明实施例中，如果以软件功能模块的形式实现上述的多媒体信息处理方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，readonlymemory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本发明实施例不限制于任何特定的硬件和软件结合。

本发明实施例提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，该计算机可执行指令用于执行本发明实施例提供的多媒体信息处理方法。

本发明实施例提供一种多媒体信息处理设备，包括：

存储介质，配置为存储可执行指令；

处理器，配置为执行存储的可执行指令，所述可执行指令用于执行上述的多媒体信息处理方法。

以上装置实施例的描述，与上述存储介质和设备实施例的描述是类似的，具有同方法实施例相似的有益效果，因此不做赘述。对于本发明存储介质和设备实施例中未披露的技术细节，请参照本发明方法实施例的描述而理解。

图7为本发明实施例中终端的一种硬件实体示意图，如图7所示，该终端700的硬件实体包括：处理器701、通信接口702、输入模块703、显示模块704和存储器705，其中

处理器701通常控制计算设备700的总体操作。例如，输入模块703可以实施为触摸屏，向所述处理器701输出表征触摸屏的操作特征(包括触点位置、触点数量、触发压力)的用户操作数据，处理器701可以解析用户操作数据确定用户在显示界面中触发的功能，生成对应触发的功能的显示数据，以供显示模块704加载对应触发的功能的页面。

通信接口702可以使计算设备通过网络与其他终端或服务器通信。

输入模块703可配置为接收输入的字符信息，以及产生与用户设置以及功能控制有关信号输入。其中，输入模块可包括触控表面，该触控表面可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控表面上或在触控表面附近的操作)，获取触摸操作带来的信号，将信号转换成触点坐标，再送给处理器701处理，并能接收处理器701发来的命令并加以执行。

显示模块704可以配置为显示处理器701实现的功能以及相关的信息。

存储器705配置为存储由处理器701可执行的指令和应用，还可以缓存待处理器701以及计算设备700中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(flash)或随机访问存储器705(ram，randomaccessmemory)实现。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(readonlymemory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。