一种包含单路音频多路视频的复合视频的播放方法及设备与流程

本发明涉及视频播放领域，具体涉及一种包含单路音频多路视频的复合视频的播放方法及设备。

背景技术：

随着互联网视频技术的发展，人们已经习惯于通过具有视频播放功能的电子设备，例如电视机、个人电脑以及智能终端等，连接至互联网观看各种视频来丰富业余生活。目前，现有技术中，具有视频播放功能的电子设备连接至互联网后，用户在观看各种直播视频时，视频服务器根据用户请求将直播的视频流发送客户端进行播放。然而，当用户按照上述现有技术观看直播视频节目时，只能随着当前视频流提供的拍摄角度进行观看，无法同时从其它角度观看视频中场景的内容。因此，为了满足用户的观看需求，包含多路视频的复合视频应运而生，在实际视频播放中，如体育赛事的视频播放，即为在同一个屏幕界面上显示多路的视频数据。

目前在多摄像头拍摄的应用场景中，便会产生多路视频流，也即每个摄像头拍摄的视频流均为一路视频流。在播放多路视频流时，通常是在播放设备上同时开启多个播放客户端，每个播放客户端的显示屏幕上对应播放一路视频流。这样，在播放设备上可以利用多个播放客户端同时显示多路视频流的图像。在现有的播放方案中，会弹出多个播放器对话框进行多个视频的播放，造成多个标签页面产生，不便于管理，同时，对层次的调整带来不便。

技术实现要素：

为了解决上述问题，本发明提供了一种包含单路音频多路视频的复合视频的播放方法及设备。本发明提供的一种包含单路音频多路视频的复合视频的播放方法及设备，将多个视频在一个界面显示出来，同时可任意调整各路视频的播放界面大小以及位置。

本发明采用的技术方案如下：

一种包含单路音频多路视频的复合视频的播放方法，包括如下步骤：

S1.打开复合视频；

S2.识别复合视频中的单路音频以及多路视频；确定复合视频中包含视频的数量信息，确定与音频对应的主视频；

S3.根据复合视频中包含视频的数量在播放窗口建立对应数量的子窗口，并将每一路视频与窗口一一对应；

S4.第一次读取，获取音频的前N帧以及每一路视频的前N帧，当音频和各路视频不满N帧时，全部获取；N为自然数；

S5.根据音频时间戳进行多线程音视频同步解码、贴图、音频播放显示；当播放至第M帧时，在播放复合视频的同时运行步骤S6；M为大于N/2、小于N的自然数；

S6.第X次读取，获取从当前帧号开始的N帧音频以及各路视频，如果没有数据，则至步骤S7；如果有数据，至步骤S5；X为大于1的正整数；

S7.结束播放。

上述的一种包含单路音频多路视频的复合视频的播放方法，其中，所述步骤S6包括具体还包括如下内容：主视频与音频通过时间戳同步，其他视频通过帧号与主视频同步。具体的是指其他视频的第Y帧与主视频的第Y帧同步。

上述的一种包含单路音频多路视频的复合视频的播放方法，其中，所述子窗口根据需要通过拖拽进行位置、大小、层次的调整。

上述的一种包含单路音频多路视频的复合视频的播放方法，其中，N取值100。

上述的一种包含单路音频多路视频的复合视频的播放方法，其中，M取值90-95中的任意自然数。

一种包含单路音频多路视频的复合视频的播放设备，包括：

打开装置：用以打开复合视频；

识别装置：用以识别复合视频中的单路音频以及多路视频；确定复合视频中包含视频的数量信息，确定与音频对应的主视频；

建立窗口装置：用以根据复合视频中包含视频的数量在播放窗口建立对应数量的子窗口，并将每一路视频与窗口一一对应；

首次读取装置：用以进行第一次读取，获取音频的前N帧以及每一路视频的前N帧，当音频和各路视频不满N帧时，全部获取；N为自然数；

播放装置：用以根据音频时间戳进行多线程音视频同步解码、贴图、音频播放显示；当播放至第M帧时，后续读取装置进行读取；M为大于N/2、小于N的自然数；

后续读取装置：用以进行第X次读取，获取从当前帧号开始的N帧音频以及各路视频，如果没有数据，则无内容传输至播放装置；如果有数据，将读取内容传输至播放装置；X为大于1的正整数；

结束装置：当播放装置没有数据用以播放时用以显示结束播放。

上述的一种包含单路音频多路视频的复合视频的播放设备，其中，还包括同步装置：用以将主视频与音频通过时间戳同步播放，其他视频通过帧号与主视频同步播放。

本发明提供一种包含单路音频多路视频的复合视频的播放方法及设备，有效的针对现有的包含多路视频的复合视频提供了播放途径，并且在播放过程中，对所述每路视频进行同步。具体的如针对体育赛事的视频播放，实现了在一个终端屏幕上通过多个子窗口多赛事内容从不同角度进行观看。由于复合视频均在一个播放窗口的子窗口进行播放，即可以在同一个播放客户端的显示屏幕上显示各路视频流的图像，因此解决了现有技术中播放设备在同时开启多个播放客户端播放多路视频流时，会消耗大量的系统资源的问题；达到了可以仅利用一个播放客户端来播放多路视频流，从而减少对系统资源占用的效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一种包含单路音频多路视频的复合视频的播放方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

一种包含单路音频多路视频的复合视频的播放设备，包括打开装置、识别装置、建立窗口装置、首次读取装置、同步装置、播放装置、后续读取装置、结束装置，其中：

打开装置：用以打开复合视频；

识别装置：用以识别复合视频中的单路音频以及多路视频；确定复合视频中包含视频的数量信息，确定与音频对应的主视频；

建立窗口装置：用以根据复合视频中包含视频的数量在播放窗口建立对应数量的子窗口，并将每一路视频与窗口一一对应；

首次读取装置：用以进行第一次读取，获取音频的前N帧以及每一路视频的前N帧，当音频和各路视频不满N帧时，全部获取；N为自然数；

同步装置：用以将主视频与音频通过时间戳同步，其他视频通过帧号与主视频同步；

播放装置：用以根据音频时间戳进行多线程音视频同步解码、贴图、音频播放显示；

后续读取装置：用以进行第X次读取，获取从当前帧号开始的N帧音频以及各路视频，如果没有数据，则至结束装置；如果有数据，至播放装置；X为大于1的正整数；

结束装置：当播放装置没有数据用以播放时用以显示结束播放。

如图1所示，一种包含单路音频多路视频的复合视频的播放方法，包括如下步骤：

S1.打开复合视频；复合视频中包含单路音频以及多路视频。

S2.识别复合视频中的单路音频以及多路视频；确定复合视频中包含视频的数量信息，确定与音频对应的主视频；所述主视频是指提供音频的视频，即音频中的声音内容是由主视频发出的。以体育赛事为示例，包括讲解的音频、播报员的视频以及多路各个视角的比赛场景的视频，其中，播报员对赛事进行讲解，则播报员的视频为主视频，播报员的视频与讲解的音频通过时间戳同步，其他各路视频与播报员视频同步；

S3.根据复合视频中包含视频的数量在播放窗口建立对应数量的子窗口，并将每一路视频与窗口一一对应；在具体实施中，当识别出有五路视频时，在播放窗口建立五个子窗口，并且每个子窗口播放一路视频；子窗口根据需要通过拖拽进行位置、大小、层次的调整。每增加一个子窗口，对系统资源的消耗就会增加，因此，根据视频的数量信息来建立子窗口，合理利用系统资源；

S4.第一次读取，获取音频的前100帧以及每一路视频的前100帧，当音频和各路视频不满100帧时，全部获取；获取的帧数越多，对内存等系统资源的占用就越多，因此，在保证复合视频播放流畅的情况下更少的获取帧数也体现了对系统资源的合理利用。

S5.将主视频与音频通过时间戳同步，其他视频通过帧号与主视频同步。具体的是指其他路视频的第1帧与主视频的第1帧同步，其他路视频的第2帧与主视频的第2帧同步，……其他路视频的第Y帧与主视频的第Y帧同步。根据音频时间戳进行多线程音视频同步解码、贴图、音频播放显示；当播放至第95帧时，在播放复合视频的同时运行步骤S6；启动运行步骤S6的帧号越靠后，则对系统资源的消耗就越小，但是启动运行步骤S6的帧号太靠后，复合视频的播放就会出现卡顿的现象，因此，对于每次选取100帧音频以及各路视频时，优选的在播放至第90-95帧中的任意一帧时启动运行步骤S6，即减小了对系统资源的消耗，又保证了复合视频的流畅播放。

S6.第X次读取，获取从当前帧号开始的100帧音频以及各路视频，如果没有数据，则至步骤S7；如果有数据，至步骤S5；X为大于1的正整数；

S7.当步骤S6获取不到新的播放数据时，S5中的内容播放完毕后就结束整个复合视频的播放。

本发明将包含有单路音频多路视频的复合视频文件播放，通过获取其中的音频数据，根据音频的时间对视频数据进行同步，然后使用多线程同时将多路视频和音频进行解码，将多路解码后的视频数据贴图到同一个播放窗口的特定位置即子窗口，每路视频对应的子窗口的位置通过拖拽进行大小、层次的调整，将音频解码数据通过声卡播放，最终实现复合视频的同步播放。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

当然，对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。