一种直播视频与文档翻页的同步方法与流程

本申请涉及计算机领域，特别涉及一种直播视频与文档翻页的同步方法、装置、流媒体服务器以及直播系统。

背景技术：

目前，直播已经越来越普及，在直播中经常会碰到一种场景，即直播过程中需要对文档进行翻页，例如在多媒体教学过程中，不仅需要对教师的教学视频进行播放，还需要展示课件。由于课件在教学过程中需要进行翻页，如何保证教学视频与课件同步播放，是一个尚待解决的问题。

由于视频数据需要从服务器传输到播放端，因此直播过程实际上存在一定延时，而文档的翻页过程几乎为实时响应的。传统的同步方法为保证视频与文档同步，设置了固定延时，在接收到文档的翻页事件后，不立即向播放端发送翻页指令，而是在经过上述固定延时之后，再向播放端发送翻页指令。但是，由于设备性能、传输距离、带宽等因素的影响，视频数据的传输延时为不固定的，这就导致在播放端视频与文档不能同步播放。

可见，如何在直播过程中实现视频与文档翻页的同步进行，是亟待本领域技术人员解决的问题。

技术实现要素：

本申请的目的是提供一种直播视频与文档翻页的同步方法、装置、流媒体服务器以及直播系统，用以解决传统的直播过程中视频与文档翻页不能同步的问题。

为解决上述技术问题，本申请提供了一种直播视频与文档翻页的同步方法，包括：

获取直播数据和文档翻页数据，其中，所述直播数据包括直播时间以及与所述直播时间对应的视频文件，所述文档翻页数据包括翻页时间以及与所述翻页时间对应的文档文件；

生成所述文档文件与所述直播数据的同步文件，其中，所述同步文件用于记录所述直播数据中所述直播时间与所述文档文件的对应关系，和/或所述直播数据中所述视频文件与所述文档文件的对应关系；

对所述直播数据和所述同步文件进行整合，得到目标文件；

将所述目标文件推送到播放端，以便于所述播放端在解析所述目标文件时根据所述对应关系对文档进行翻页以保证视频与文档同步。

可选的，所述生成所述文档文件与所述直播数据的同步文件，具体包括：

将所述文档文件转化为图片，并生成所述图片的网页地址；

生成所述文档文件与所述直播数据的同步文件，其中，所述同步文件用于记录所述直播数据中所述直播时间与所述网页地址的对应关系，和/或所述直播数据中所述视频文件与所述网页地址的对应关系。

可选的，所述对所述直播数据和所述同步文件进行整合，得到目标文件，具体包括：

对所述直播数据进行转码；

对所述同步文件和转码后的直播数据进行整合，得到目标文件。

可选的，在所述获取直播数据和文档翻页数据之前，还包括：

对所述直播数据的采集端和所述文档翻页数据的采集端进行时间校准。

可选的，所述同步文件为网络视频文本轨道文件。

可选的，在所述将所述目标文件推送到播放端之后，还包括：

播放端解析所述目标文件，根据所述对应关系判断是否需要翻页；

若需要，则获取所述文档文件并执行翻页操作。

本申请还提供了一种直播视频与文档翻页的同步装置，包括：

数据获取模块：用于获取直播数据和文档翻页数据，其中，所述直播数据包括直播时间以及与所述直播时间对应的视频文件，所述文档翻页数据包括翻页时间以及与所述翻页时间对应的文档文件；

同步文件生成模块：用于生成所述文档文件与所述直播数据的同步文件，其中，所述同步文件用于记录所述直播数据中所述直播时间与所述文档文件的对应关系，和/或所述直播数据中所述视频文件与所述文档文件的对应关系；

整合模块：用于对所述直播数据和所述同步文件进行整合，得到目标文件；

推送模块：用于将所述目标文件推送到播放端，以便于所述播放端在解析所述目标文件时根据所述对应关系对文档进行翻页以保证视频与文档同步。

可选的，所述同步文件生成模块具体包括：

转化单元：用于将所述文档文件转化为图片，并生成所述图片的网页地址；

生成单元：用于生成所述文档文件与所述直播数据的同步文件，其中，所述同步文件用于记录所述直播数据中所述直播时间与所述网页地址的对应关系，和/或所述直播数据中所述视频文件与所述网页地址的对应关系。

此外，本申请还提供了一种流媒体服务器，包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序，以实现如上任意一项所述的一种直播视频与文档翻页的同步方法的步骤。

最后，本申请还提供了一种直播系统，包括：直播视频采集端、文档翻页采集端、播放端，还包括如上所述的一种流媒体服务器。

本申请所提供的一种直播视频与文档翻页的同步方法，能够获取包括直播时间和视频文件的直播数据、包括翻页时间和文档文件的文档翻页数据，并通过分析二者确定文档文件与直播时间或视频文件的对应关系，将记录有这种对应关系的同步文件与视频数据整合为目标文件，最终将目标文件推送到播放端，以便于播放端在解析目标文件时根据对应关系对文档进行翻页以保证视频与文档同步。可见，该方法通过分析视频数据和文档翻页数据确定了翻页事件与视频数据的直播时间或视频文件的对应关系，并将这种对应关系连通视频数据一并发送到播放端，因此播放端能够根据对应关系精准确定何时进行翻页，最终实现了视频与文档的同步的目的。

此外，本申请还提供了一种直播视频与文档翻页的同步装置、流媒体服务器以及直播系统，其作用与上述方法相对应，这里不再赘述。

附图说明

为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请所提供的一种直播视频与文档翻页的同步方法实施例一的实现流程图；

图2为本申请所提供的一种直播视频与文档翻页的同步方法实施例二的实现流程图；

图3为本申请所提供的一种直播视频与文档翻页的同步方法实施例二中前端播放设备的播放过程；

图4为本申请所提供的一种直播视频与文档翻页的同步装置的功能框图；

图5为本申请所提供的一种流媒体服务器的结构示意图；

图6为本申请所提供的一种直播系统的结构示意图。

具体实施方式

本申请的核心是提供一种直播视频与文档翻页的同步方法、装置、流媒体服务器以及直播系统，实现了在直播过程中保证视频与文档同步的目的。

为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面对本申请提供的一种直播视频与文档翻页的同步方法实施例一进行介绍，参见图1，实施例一包括：

步骤s101：获取直播数据和文档翻页数据。

上述直播数据具体可以为视频采集设备推流得到的，推流指的是把采集阶段封包好的内容传输到服务器的过程，换句话说就是将现场的视频信号传到网络的过程。一般的，要想实现推流还必须把音视频数据使用传输协议进行封装，变成流数据，常用的流传输协议有rtsp、rtmp、hls等，本实施例选取hls作为流传输协议。

本实施例中，上述直播数据包括直播时间以及与直播时间对应的视频文件，也就是说，直播数据中不仅仅包含用于描述视频内容的视频文件，还包括该视频内容的发生时间，即上述直播时间，用于在后续过程中实现视频与文档的实时同步校准。作为一种可选的实施方式，上述直播时间具体可以以时间戳的形式存在。值得注意的是，由于视频采集过程带来的延时极小，因此本实施例忽略视频采集过程中的延时，也就是说，本实施例在实施过程中将上述视频内容的采集时间作为视频内容的发生时间，具体可以以视频采集设备的时钟为准。

相应的，上述文档翻页数据包括翻页时间以及与翻页时间对应的文档文件，也就是说，本实施例中文档翻页数据不仅仅包含用于描述文档内容的文档文件，还包括用于描述翻页过程的翻页时间，用于在后续过程中实现视频与文档的实时同步校准。作为一种可选的实施方式，上述文档具体可以为ppt。值得一提的是，本实施例忽略了翻页事件采集过程带来的延时，将采集端感应到翻页事件的发生的时间作为上述翻页时间，具体可以以负责采集文档翻页事件的设备的时钟为准。

步骤s102：生成所述文档文件与所述直播数据的同步文件。

其中，上述同步文件记录有文档文件与直播数据中直播时间的对应关系，和/或文档文件与直播数据中视频文件的对应关系。具体的，由于在步骤s101中，直播时间与视频文件一一对应，翻页时间与文档文件一一对应，而在统一直播时间与翻页时间的时间轴的基础上，就能够得到直播时间与翻页时间的对应关系，因此，综合以上三个对应关系，即可确定文档文件与直播时间的对应关系，或者确定文档文件与视频文件的对应关系，也就是说，能够确定在直播过程中的哪个时间点进行翻页，或确定播放哪个视频文件的同时进行翻页。简而言之，同步文件记录了翻页事件的触发事件，具体的，该触发事件为达到特定的直播时间或播放特定的视频文件。

作为一种可选的实施方式，同步文件中不仅记录了翻页事件的触发事件，还可以记录与翻页事件相关联的文档文件本身或文档文件的唯一标识信息。具体的，服务器将采集到的文档文件转化为图片，生成图片的网页地址或相关媒体文件并保存，上述同步文件可以记录图片数据，在播放端判断出需要进行翻页时即可从同步文件提取对应的图片数据以进行显示。优选的，上述同步文件可以记录该网页地址，播放端可以在判断出需要进行翻页时根据同步文件中的网页地址从服务器下载并显示该图片。

步骤s103：对所述直播数据和所述同步文件进行整合，得到目标文件。

本实施例中，可以先对直播数据进行转码，很多直播场景都需要服务器端做实时转码，转码的目的一方面在于适应不同的播放端能力及播放端网络带宽情况，因此需要将视频流转码成多种码率的视频流，转码的目的另一方面在于实现二次压缩，以节省带宽和保障下行流畅性。在服务端转码中，转码算法的优劣直接影响视频质量的高低，不同的转码工具和参数有不同的效果，本实施例对转码的工具和参数不做具体限定，具体依据实际需求选取即可。

步骤s104：将所述目标文件推送到播放端，以便于所述播放端在解析所述目标文件时根据所述对应关系对文档进行翻页以保证视频与文档同步。

具体的，可以通过一定的qos算法将目标文件推送到网络端，在cdn节点进行数据分发，最终播放端通过获取目标文件实现直播过程。

本实施例所提供一种直播视频与文档翻页的同步方法，能够获取包括直播时间和视频文件的直播数据、包括翻页时间和文档文件的文档翻页数据，并通过分析二者确定文档文件与直播时间或视频文件的对应关系，将记录有这种对应关系的同步文件与视频数据整合为目标文件，最终将目标文件推送到播放端，以便于播放端在解析目标文件时根据对应关系对文档进行翻页以保证视频与文档同步。可见，该方法通过分析视频数据和文档翻页数据确定了翻页事件与视频数据的直播时间或视频文件的对应关系，并将这种对应关系连通视频数据一并发送到播放端，因此播放端能够根据对应关系精准确定何时进行翻页，最终实现了视频与文档的同步的目的。

下面开始详细介绍本申请提供的一种直播视频与文档翻页的同步方法实施例二，实施例二基于上述实施例一实现，并在实施例一的基础上进行了一定程度上的拓展。

参见图2，实施例二具体包括：

步骤s201：获取直播数据，并对直播数据进行转码，得到直播文件。

作为一种可选的实施方式，流媒体服务器接收直播数据，即rtmp流，并将其转成hls流。

步骤s202：获取文档翻页数据，根据文档翻页数据生成webvtt文件。

webvtt文件用于记录直播数据中直播时间与网页地址的对应关系，和/或直播数据中视频文件与网页地址的对应关系。webvtt即网络视频文本轨道，是一种用于标记文本轨道的文件格式，它与html5<track>元素相结合，可给音频/视频等媒体资源添加字幕，标题和其他描述信息，并同步显示。

需要说明的是，本实施例不限定步骤s201和步骤s202的先后顺序。在具体的实施过程中，可以预先对直播数据的采集端和文档翻页数据的采集端进行时间校准。

步骤s203：对直播文件和webvtt文件进行结合，得到目标文件。

步骤s204：将目标文件推送到播放端。

下面介绍播放端在接收到目标文件后的直播过程，如图3所示，主要包括：

步骤s301：解码并播放目标文件中的直播文件。

步骤s302：根据同步文件中的对应关系，显示文档文件并判断是否需要进行翻页，若需要，进入步骤s303，否则进入步骤s301。

步骤s303：获取相应的文档文件，并执行翻页操作。

后端直播服务需要响应流媒体服务器生成的hls字幕url请求,动态生成webvtt字幕返回。前端播放设备播放生成的hls流,并实时取得与当前播放视频同步的字幕信息，然后根据这些字幕信息进行翻页动作。我们知道webvtt(.vtt)文件是一个简单的纯文本，里面包含了几种类型的视频信息：字幕、标题、说明、章节，本实施例中，生成的webvtt字幕具体可以为：

webvtt

x-timestamp-map＝local:00:00:00.000,mpegts:90000

cue-0

00:00:53.000-->00:00:59.000

hehe(文档翻页信息)

可见，本实施例提供的一种直播视频与文档翻页的同步方法，分析了视频与文档翻页之间的关系，并将这种关系记录在webvtt文件，最终将webvtt文件与视频文件一并发送到前端播放设备，前端播放设备在播放直播视频的时候，依据webvtt文件判断是否需要进行翻页，并在判定需要翻页时获取相应的文档文件执行翻页操作，最终实现了直播视频与文档翻页的同步。大大提高了直播观看用户的感官性、舒适性。

下面对本申请实施例提供的一种直播视频与文档翻页的同步装置进行介绍，下文描述的一种直播视频与文档翻页的同步装置与上文描述的一种直播视频与文档翻页的同步方法可相互对应参照。

参见图4，该装置包括：

数据获取模块401：用于获取直播数据和文档翻页数据，其中，所述直播数据包括直播时间以及与所述直播时间对应的视频文件，所述文档翻页数据包括翻页时间以及与所述翻页时间对应的文档文件；

同步文件生成模块402：用于生成所述文档文件与所述直播数据的同步文件，其中，所述同步文件用于记录所述直播数据中所述直播时间与所述文档文件的对应关系，和/或所述直播数据中所述视频文件与所述文档文件的对应关系；

整合模块403：用于对所述直播数据和所述同步文件进行整合，得到目标文件；

推送模块404：用于将所述目标文件推送到播放端，以便于所述播放端在解析所述目标文件时根据所述对应关系对文档进行翻页以保证视频与文档同步。

作为一种可选的实施方式，所述同步文件生成模块402具体包括：

转化单元：用于将所述文档文件转化为图片，并生成所述图片的网页地址；

生成单元：用于生成所述文档文件与所述直播数据的同步文件，其中，所述同步文件用于记录所述直播数据中所述直播时间与所述网页地址的对应关系，和/或所述直播数据中所述视频文件与所述网页地址的对应关系。

本实施例的一种直播视频与文档翻页的同步装置用于实现前述的一种直播视频与文档翻页的同步方法，因此该装置中的具体实施方式可见前文中的一种直播视频与文档翻页的同步方法的实施例部分，例如，数据获取模块401、同步文件生成模块402、整合模块403、推送模块404，分别用于实现上述一种直播视频与文档翻页的同步方法中步骤s101，s102，s103，s104。所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。

另外，由于本实施例的一种直播视频与文档翻页的同步装置用于实现前述的一种直播视频与文档翻页的同步方法，因此其作用与上述方法的作用相对应，这里不再赘述。

此外，本申请还提供了一种流媒体服务器，如图5所示，包括：

存储器501：用于存储计算机程序；

处理器502：用于执行所述计算机程序，以实现如上任意一项所述的一种直播视频与文档翻页的同步方法的步骤。

最后，本申请还提供了一种直播系统，如图6所示，包括：直播视频采集端601、文档翻页采集端602、播放端603，还包括如上所述的一种流媒体服务器604。

本实施例的一种流媒体服务器、直播系统用于实现前述的一种直播视频与文档翻页的同步方法，因此该流媒体服务器、直播系统的具体实施方式可见前文中的一种直播视频与文档翻页的同步方法的实施例部分，且二者的作用与上述方法实施例相对应，在此不再赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的一种直播视频与文档翻页的同步方法、装置、流媒体服务器以及直播系统进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。