一种视频同步播放方法、装置、设备及介质与流程

本申请涉及互联网技术领域，尤其涉及一种视频同步播放方法、装置、设备及介质。

背景技术：

多尺度阵列相机包括一个广角相机和多个长焦相机。其中，广角相机作为全局相机，用于采集预定区域的低分辨率的全局视频；多个长焦相机作为局部相机，分别用于采集预定区域内不同区域的高分辨率的局部视频。

目前，为了实现多尺度阵列相机采集的各路视频在客户端上的同步播放，多尺度阵列相机内的各个相机需要进行时钟同步，并在采集视频时需要进行同步曝光和同步编码，从而使各路视频的编码时间戳保持一致，这样，客户端在对各路视频进行同步播放时，可以将全局视频作为同步播放的参考视频，按照编码时间戳，对各路局部视频进行同步解码并播放，从而实现了对各路局部视频的同步播放。

为了使多尺度阵列相机内的各个相机能够进行同步曝光和同步编码，现有的视频同步播放方法中，多尺度阵列相机内的各个相机需要与硬件控制装置相连接，通过该硬件控制装置同时向各个相机发送电平信号，以此触发各个相机进行同步曝光和同步编码，这不仅增加了硬件成本，而且，系统结构也比较复杂，此外，为了达到较高精度的视频同步播放，还需要对硬件控制装置、全局相机和各个局部相机等进行精确调试，实现难度比较大。

技术实现要素：

本申请实施例提供了一种视频同步播放方法、装置、设备及介质，用以解决现有技术中的视频同步方法存在系统结构复杂、硬件成本较高和实现难度较大的问题。

本申请实施例提供的具体技术方案如下：

第一方面，本申请实施例提供了一种视频同步播放方法，包括：

确定满足视频同步触发条件时，获取全局视频的当前帧图像的编码时间，并将当前帧图像的编码时间确定为基准时间；

针对每一路局部视频，从局部视频的图像序列中，获取编码时间在基准时间之前的第一个帧内编码帧(intrapicture，简称i帧)图像，确定i帧图像的编码时间和基准时间的时间差在设定范围内时，将i帧图像确定为与当前帧图像同步的目标帧图像，并以目标帧图像为起始播放局部视频；其中，图像序列中的各帧图像按照编码时间有序排列。

在一种可能的实施方式中，从局部视频的图像序列中，获取编码时间在基准时间之前的第一个i帧图像之后，还包括：

对i帧图像进行解码，得到i帧图像的图像播放数据。

在一种可能的实施方式中，本申请实施例提供的视频同步播放方法还包括：

确定i帧图像的编码时间和基准时间的时间差超出设定范围时，从编码时间在i帧图像的编码时间之后的各帧图像中，获取与当前帧图像同步的目标帧图像。

在一种可能的实施方式中，从编码时间在i帧图像的编码时间之后的各帧图像中，获取与当前帧图像同步的目标帧图像，包括：

基于时间差与帧率的比值，确定i帧图像和当前帧图像相差的帧图像数目，并基于i帧图像和相差的帧图像数目，确定局部视频的图像序列中与当前帧图像同步的目标帧图像；或者，获取编码时间在i帧图像的编码时间之后的各帧图像和基准时间的时间差，并将时间差在设定范围内的图像确定为与当前帧图像同步的目标帧图像。

在一种可能的实施方式中，以目标帧图像为起始播放局部视频，包括：

获取目标帧图像的图像播放数据，并基于目标帧图像的图像播放数据，播放目标帧图像；以及，依次对局部视频的图像序列中编码时间在目标帧图像的编码时间之后的每一帧图像进行解码并播放。

第二方面，本申请实施例提供了一种直播内容处理装置，包括：

基准确定单元，用于确定满足视频同步触发条件时，获取全局视频的当前帧图像的编码时间，并将当前帧图像的编码时间确定为基准时间；

同步播放单元，用于针对每一路局部视频，从局部视频的图像序列中，获取编码时间在基准时间之前的第一个i帧图像，确定i帧图像的编码时间和基准时间的时间差在设定范围内时，将i帧图像确定为与当前帧图像同步的目标帧图像，并以目标帧图像为起始播放局部视频；其中，图像序列中的各帧图像按照编码时间有序排列。

在一种可能的实施方式中，本申请实施例提供的视频同步播放装置还包括：

图像解码单元，用于在同步播放单元从局部视频的图像序列中，获取编码时间在基准时间之前的第一个i帧图像之后，对i帧图像进行解码，得到i帧图像的图像播放数据。

在一种可能的实施方式中，同步播放单元还用于：

确定i帧图像的编码时间和基准时间的时间差超出设定范围时，从编码时间在i帧图像的编码时间之后的各帧图像中，获取与当前帧图像同步的目标帧图像。

在一种可能的实施方式中，在从编码时间在i帧图像的编码时间之后的各帧图像中，获取与当前帧图像同步的目标帧图像时，同步播放单元具体用于：

基于时间差与帧率的比值，确定i帧图像和当前帧图像相差的帧图像数目，并基于i帧图像和相差的帧图像数目，确定局部视频的图像序列中与当前帧图像同步的目标帧图像；或者，获取编码时间在i帧图像的编码时间之后的各帧图像和基准时间的时间差，并将时间差在设定范围内的图像确定为与当前帧图像同步的目标帧图像。

在一种可能的实施方式中，在以目标帧图像为起始播放局部视频时，同步播放单元具体用于：

获取目标帧图像的图像播放数据，并基于目标帧图像的图像播放数据，播放目标帧图像；以及，依次对局部视频的图像序列中编码时间在目标帧图像的编码时间之后的每一帧图像进行解码并播放。

第三方面，本申请实施例提供了一种直播内容处理设备，包括：存储器、处理器和存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现本申请实施例提供的视频同步播放方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，该计算机指令被处理器执行时实现本申请实施例提供的视频同步播放方法。

本申请实施例的有益效果如下：

本申请实施例中，确定满足视频同步触发条件时，以全局视频的当前帧图像的编码时间为基准时间，针对每一路局部视频，从该路局部视频的图像序列中获取编码时间在基准时间之前的第一个i帧图像，并利用该i帧图像获取与当前帧图像同步的目标帧图像，以该目标帧图像为起始播放该路局部视频，即可实现该路局部视频和全局视频的同步播放，从而，在无需通过硬件控制装置同时触发各个相机进行同步曝光和同步编码的条件下，实现了对各路视频的同步播放，进而，降低了硬件成本，简化了系统结构，而且，减少了对硬件控制装置、全局相机和各个局部相机的调试操作，在确保各路视频能够精确地进行同步播放的同时，降低了各路视频同步播放的实现难度。

附图说明

图1为本申请实施例中视频同步播放方法的流程示意图；

图2为本申请实施例中视频同步播放方法的具体流程示意图；

图3为本申请实施例中视频同步播放装置的功能结构示意图；

图4为本申请实施例中视频同步播放设备的硬件结构示意图。

具体实施方式

为了使本领域技术人员更好地理解本申请，首先对本申请中提及的技术用语进行说明。

1、客户端，为安装在手机、计算机、个人数字助理(personaldigitalassistant，pda)、媒体播放器、智能电视等终端设备上的应用程序。本申请实施例中的客户端是指为用户提供视频播放服务，并且支持用户进行互动的应用程序。

2、图像序列，为对视频进行编码，获得该视频的各帧图像和各帧图像各自的编码时间戳后，按照各帧图像各自的编码时间戳所表征的编码时间，对各帧图像进行有序排列，从而获得记录有该视频的各帧图像和各帧图像各自的编码时间戳的图像序列。

其中，图像序列中图像的类型包括以下三种：

i帧，为不依赖于前后帧，仅依靠本帧即可进行独立解码的帧图像，本申请中的i帧图像都是指这类帧图像。

前向预测编码帧，为需要参考前面的i帧才能进行解码的帧图像，又被称为前向搜索帧。

双向预测编码帧，为需要参考前后帧才能进行解码的帧图像，又被称为双向内插帧。

3、编码时间，为编码时间戳表征的时间。

4、帧率(framerate，fr)，为视频帧图像的播放频率，单位是帧每秒(framepersecond，fps)。

5、视频同步触发条件，为用于触发客户端进行视频同步的条件，可以包括但不限于以下任一条件或组合：

首次对各路视频进行同步播放；

根据视频同步周期，确定到达视频同步时间；

在视频同步播放过程中，接收到视频同步指令；

根据对各路局部视频和所述全局视频的实时监测结果，确定任一局部视频的当前播放帧图像与全局视频的当前播放帧图像不相同。

为了使本申请的目的、技术方案及有益效果更加清楚明白，以下将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了解决目前的视频同步方法存在系统结构复杂、硬件成本较高和实现难度较大的问题，本申请实施例中，确定满足视频同步触发条件时，获取全局视频的当前帧图像的编码时间，并将当前帧图像的编码时间确定为基准时间；针对每一路局部视频，从该局部视频的图像序列中，获取编码时间在基准时间之前的第一个i帧图像；确定该i帧图像的编码时间和基准时间的时间差在设定范围内时，将该i帧图像确定为与当前帧图像同步的目标帧图像，确定该i帧图像的编码时间和基准时间的时间差超出设定范围时，从编码时间在该i帧图像的编码时间之后的各帧图像中，获取与当前帧图像同步的目标帧图像；以该目标帧图像为起始播放局部视频。这样，确定满足视频同步触发条件时，以全局视频的当前帧图像的编码时间为基准时间，针对每一路局部视频，从该路局部视频的图像序列中获取编码时间在基准时间之前的第一个i帧图像，并利用该i帧图像获取与当前帧图像同步的目标帧图像，以该目标帧图像为起始播放该路局部视频，即可实现该路局部视频和全局视频的同步播放，从而，在无需通过硬件控制装置同时触发各个相机进行同步曝光和同步编码的条件下，实现了对各路视频的同步播放，进而，降低了硬件成本，简化了系统结构，而且，减少了对硬件控制装置、全局相机和各个局部相机的调试操作，在确保各路视频能够精确地进行同步播放的同时，降低了各路视频同步播放的实现难度。

下面结合附图对本申请实施例提供的视频同步播放方法进行详细描述，当然，本申请并不限于以下实施例。

本申请实施例中，为了使多尺度阵列相机中的全局相机和各个局部相机的时钟保持一致，多尺度阵列相机中的全局相机和各个局部相机可以通过网络时间协议(networktimeprotocol，ntp)或者精确时间协议(precisiontimeprotocol，ptp)进行时钟同步。实际应用中，多尺度阵列相机中的全局相机和各个局部相机可以在启动时，通过ntp或者ptp进行时钟同步，进一步的，还可以在采集视频的过程中，定期地通过ntp或者ptp进行时钟同步。

进一步的，多尺度阵列相机中的全局相机可以实时地或者按照设定的视频传输周期，对采集到全局视频进行编码，得到全局视频的图像序列后传输至客户端，同样的，多尺度阵列相机中的各个局部相机也可以实时地或者按照相同的视频传输周期，对采集到局部视频进行编码，得到局部视频的图像序列后传输至客户端，客户端接收到全局视频的图像序列和各路局部视频各自的图像序列后，可以采用本申请实施例提供的视频同步播放方法，对全局视频和各路局部视频进行同步播放。具体的，参阅图1所示，本申请实施例提供的视频同步播放方法的流程如下：

步骤101：客户端确定满足视频同步触发条件时，获取全局视频的当前帧图像的编码时间，并将当前帧图像的编码时间确定为基准时间。

实际应用中，若视频同步触发条件是首次对各路视频进行同步播放，则客户端可以将全局视频的图像序列中的第一个图像确定为当前帧图像，进而，客户端可以将全局视频的图像序列中第一个图像的编码时间戳表征的编码时间确定为基准时间。

若视频同步触发条件不是首次对各路视频进行同步播放，而是在视频同步播放过程中接收到视频同步指令，或者，根据视频同步周期确定到达视频同步时间，或者，根据对各路局部视频和所述全局视频的实时监测结果，确定任一局部视频的当前播放帧图像与全局视频的当前播放帧图像不相同，则客户端可以将全局视频的当前播放图像确定为当前帧图像，进而，客户端可以从全局视频的图像序列中获取当前帧图像的编码时间戳，并将当前帧图像的编码时间戳表征的编码时间确定为基准时间。

步骤102：客户端针对每一路局部视频，从该局部视频的图像序列中，获取编码时间在基准时间之前的第一个i帧图像，确定该i帧图像的编码时间和基准时间的时间差在设定范围内时，将该i帧图像确定为与当前帧图像同步的目标帧图像，并以该目标帧图像为起始播放该局部视频。

本申请实施例中，为了方便后续利用该i帧图像对该局部视频进行解码播放，客户端从该局部视频的图像序列中，获取编码时间在基准时间之前的第一个i帧图像之后，还可以对该i帧图像进行解码，得到该i帧图像的图像播放数据并存储到指定区域进行备用。

值得说的是，本申请实施例中，客户端可以先执行i帧图像的解码过程，再执行目标帧图像的确定过程，也可以先执行目标帧图像的确定过程，再执行i帧图像的解码过程，还可以同时执行i帧图像的解码过程和目标帧图像的确定过程，具体执行顺序本申请不作限定。

在具体实施时，客户端从该局部视频的图像序列中，获取编码时间在基准时间之前的第一个i帧图像之后，还可以通过检测该i帧图像的编码时间和基准时间的时间差是否在设定范围内，来确定该i帧图像是否是与当前帧图像的目标帧图像。实际应用中，可能存在但不限于以下两种情况：

第一种情况：该i帧图像的编码时间和基准时间的时间差在设定范围内。

此种情况下，客户端可以确定该i帧图像与当前帧图像同步，并将该i帧图像确定为目标帧图像。

第二种情况：该i帧图像的编码时间和基准时间的时间差超出设定范围。

此种情况下，客户端可以确定该i帧图像滞后于当前帧图像，进而，客户端可以从编码时间在i帧图像的编码时间之后的各帧图像中，获取与当前帧图像同步的目标帧图像。

具体的，客户端从编码时间在i帧图像的编码时间之后的各帧图像中，获取与当前帧图像同步的目标帧图像时，可以采用但不限于以下方式：

第一种方式：基于时间差与帧率的比值，确定i帧图像和当前帧图像相差的帧图像数目，基于i帧图像和相差的帧图像数目，确定局部视频的图像序列中与当前帧图像同步的目标帧图像。

实际应用中，客户端可以采用但不限于n＝round(δs/fr，0)来确定i帧图像和当前帧图像相差的帧图像数目，其中，n表征i帧图像和当前帧图像相差的帧图像数目，δs表征时间差，fr表征帧率，round(a，b)表征对a进行四舍五入并保留b位小数。

第二种方式：获取编码时间在i帧图像的编码时间之后的各帧图像和基准时间的时间差，并将时间差在设定范围内的图像确定为与当前帧图像同步的目标帧图像。

进一步的，客户端确定该路局部视频的目标帧图像之后，即可以该目标帧图像为起始播放该路局部视频，从而实现了该路局部视频和全局视频的同步播放。

具体的，客户端以该目标帧图像为起始播放该路局部视频时，可以采用但不限于以下方式：

若该目标帧图像是获得的编码时间在基准时间之前的第一个i帧图像，则客户端可以从指定区域中获取该i帧图像的图像播放数据，并基于该i帧图像的图像播放数据，播放该i帧图像，以及依次对该路局部视频的图像序列中编码时间在该i帧图像的编码时间之后的每一帧图像进行解码并播放。

若该目标帧图像不是获得的编码时间在基准时间之前的第一个i帧图像，则客户端可以从指定区域中获取该i帧图像的图像播放数据，并基于该i帧图像的图像播放数据，对该目标帧图像进行解码，获得该目标帧图像的图像播放数据后，基于该目标帧图像的图像播放数据，对该目标帧图像进行播放，以及依次对该路局部视频的图像序列中编码时间在该目标帧图像的编码时间之后的每一帧图像进行解码并播放。

下面采用具体应用场景对本申请实施例提供的视频同步播放方法作进一步详细说明。参阅图2所示，本申请实施例提供的视频同步播放方法的具体流程如下：

步骤201：客户端接收到全局视频的图像序列和各路局部视频各自的图像序列时，将该全局视频的图像序列中第一个图像确定为当前帧图像。

步骤202：客户端将该全局视频的图像序列中第一个图像的编码时间戳表征的编码时间确定为基准时间。

步骤203：客户端针对每一路局部视频，从该局部视频的图像序列中，获取编码时间在基准时间之前的第一个i帧图像，并同时执行步骤204和步骤205。

步骤204：客户端对该i帧图像进行解码，得到该i帧图像的图像播放数据并存储到指定区域进行备用。

步骤205：客户端检测该i帧图像的编码时间和基准时间的时间差是否在设定范围内，若是，则执行步骤206；若否，则执行步骤207。

步骤206：客户端确定该i帧图像与当前帧图像同步，从指定区域中获取该i帧图像的图像播放数据后，基于该i帧图像的图像播放数据，对该i帧图像进行播放，并依次对该路局部视频的图像序列中编码时间在该i帧图像的编码时间之后的每一帧图像进行解码并播放。

步骤207：客户端确定该i帧图像滞后于当前帧图像，并基于时间差与帧率的比值，确定i帧图像和当前帧图像相差的帧图像数目。

步骤208：客户端基于i帧图像和相差的帧图像数目，确定局部视频的图像序列中与当前帧图像同步的目标帧图像。

步骤209：客户端从指定区域中获取该i帧图像的图像播放数据，并基于该i帧图像的图像播放数据，对该目标帧图像进行解码，获得该目标帧图像的图像播放数据。

步骤210：客户端基于该目标帧图像的图像播放数据，对该目标帧图像进行播放，以及依次对该路局部视频的图像序列中编码时间在该目标帧图像的编码时间之后的每一帧图像进行解码并播放。

基于上述实施例，本申请实施例提供了一种视频同步播放装置，参阅图3所示，本申请实施例提供的视频同步播放装置300至少包括：

基准确定单元301，用于确定满足视频同步触发条件时，获取全局视频的当前帧图像的编码时间，并将当前帧图像的编码时间确定为基准时间；

同步播放单元302，用于针对每一路局部视频，从局部视频的图像序列中，获取编码时间在基准时间之前的第一个i帧图像，确定i帧图像的编码时间和基准时间的时间差在设定范围内时，将i帧图像确定为与当前帧图像同步的目标帧图像，并以目标帧图像为起始播放局部视频；其中，图像序列中的各帧图像按照编码时间有序排列。

在一种可能的实施方式中，本申请实施例提供的视频同步播放装置300还包括：

图像解码单元303，用于在同步播放单元302从局部视频的图像序列中，获取编码时间在基准时间之前的第一个i帧图像之后，对i帧图像进行解码，得到i帧图像的图像播放数据。

在一种可能的实施方式中，同步播放单元302还用于：

确定i帧图像的编码时间和基准时间的时间差超出设定范围时，从编码时间在i帧图像的编码时间之后的各帧图像中，获取与当前帧图像同步的目标帧图像。

在一种可能的实施方式中，在从编码时间在i帧图像的编码时间之后的各帧图像中，获取与当前帧图像同步的目标帧图像时，同步播放单元302具体用于：

基于时间差与帧率的比值，确定i帧图像和当前帧图像相差的帧图像数目，并基于i帧图像和相差的帧图像数目，确定局部视频的图像序列中与当前帧图像同步的目标帧图像；或者，获取编码时间在i帧图像的编码时间之后的各帧图像和基准时间的时间差，并将时间差在设定范围内的图像确定为与当前帧图像同步的目标帧图像。

在一种可能的实施方式中，在以目标帧图像为起始播放局部视频时，同步播放单元302具体用于：

获取目标帧图像的图像播放数据，并基于目标帧图像的图像播放数据，播放目标帧图像；以及，依次对局部视频的图像序列中编码时间在目标帧图像的编码时间之后的每一帧图像进行解码并播放。

需要说明的是，本申请实施例提供的视频同步播放装置300解决技术问题的原理与本申请实施例提供的视频同步播放方法相似，因此，本申请实施例提供的视频同步播放装置300的实施可以参见本申请实施例提供的视频同步播放方法的实施，重复之处不再赘述。

在介绍了本申请实施例提供的视频同步播放方法和装置之后，接下来，对本申请实施例提供的视频同步播放设备进行简单介绍。

参阅图4所示，本申请实施例提供的视频同步播放设备400至少包括：处理器41、存储器42和存储在存储器42上并可在处理器41上运行的计算机程序，处理器41执行计算机程序时实现本申请实施例提供的视频同步播放方法。

需要说明的是，图4所示的视频同步播放设备400仅仅是一个示例，不应对本申请实施例提供的视频同步播放设备400的功能和使用范围带来任何限制。

本申请实施例提供的视频同步播放设备400还可以包括连接不同组件(包括处理器41和存储器42)的总线43。其中，总线43表示几类总线结构中的一种或多种，包括存储器总线、外围总线、局域总线等。

存储器42可以包括易失性存储器形式的可读介质，例如随机存储器(randomaccessmemory，ram)421和/或高速缓存存储器422，还可以进一步包括只读存储器(readonlymemory，rom)423。

存储器42还可以包括具有一组(至少一个)程序模块424的程序工具425，程序模块424包括但不限于：操作子系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

本申请实施例提供的视频同步播放设备400也可以与一个或多个外部设备44(例如键盘、遥控器等)通信，还可以与一个或者多个使得用户能与视频同步播放设备400交互的设备通信(例如手机、电脑等)，和/或，与使得视频同步播放设备400能与一个或多个其它视频同步播放设备400进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入/输出(input/output，i/o)接口45进行。并且，视频同步播放设备400还可以通过网络适配器46与一个或者多个网络(例如局域网(localareanetwork，lan)，广域网(wideareanetwork，wan)和/或公共网络，例如因特网)通信。如图4所示，网络适配器46通过总线43与视频同步播放设备400的其它模块通信。应当理解，尽管图4中未示出，可以结合视频同步播放设备400使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(redundantarraysofindependentdisks，raid)子系统、磁带驱动器以及数据备份存储子系统等。

此外，本申请实施例还提供了一种计算机可读存储介质，本申请实施例提供的计算机可读存储介质存储有计算机指令，该计算机指令被处理器执行时实现本申请实施例提供的视频同步播放方法。具体地，该计算机指令可以内置在视频同步播放设备400中，这样，视频同步播放设备400就可以通过执行内置的计算机指令实现本申请实施例提供的视频同步播放方法。

此外，本申请实施例提供的视频同步播放方法还可以实现为一种程序产品，该程序产品包括程序代码，当该程序产品在视频同步播放设备400上运行时，该程序代码用于使视频同步播放设备400实现本申请实施例提供的视频同步播放方法。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。