一种视频同步播放方法、装置与流程

本发明涉及多媒体信息技术领域，特别涉及一种视频同步播放方法、装置。

背景技术：

幻灯片，是一种由文字，图片等，制作出来加上一些特效动态显示效果，它是利用Microsoft的PowerPoint制作出来的一种PPT格式文件。比如，在做演讲的时候放给用户看的一种图文并茂的图片，用来更加直接，直观的阐述观点。

网络视频的播放方式分为直播和点播两种播放方式。视频直播是指随着事件的发生、发展进程，同步制作和播出视频，视频的制作和播出同时发生；而视频点播是指根据用户的需求播放已制作完成的视频，视频的制作和播出非同时发生。

当用户通过IE浏览器登录Ncast录播系统服务器收看直播的影音及图文信息或点播视频录制信息时，无法同步的观看幻灯片中的内容和视频中的内容。另外，即使可以看到幻灯片，用户还是无法同步观看视频和幻灯片，用户体验较差。还有一种情况，用户在线观看了较长时间的网络视频后，突然发现该视频并不是自己喜欢或想要的视频，已下载的视频均是无用的，需切换其他网络视频重新进行在线下载和播放。由于视频文件的容量较大，特别是播放的视频为高清视频时，上述场景下会耗费终端大量的流量。用户无法实时获得关键时间戳上的幻灯片内容，无法第一时间了解和获得视频或者幻灯片中的内容，特别是对于教育培训、公共课程直播等场景，用户教学的效果差，且费终端大量的流量。

技术实现要素：

本发明要解决的技术问题是，视频、幻灯片以及字幕文件的交互和同步。

解决上述技术问题，本发明提供了一种视频同步播放方法，包括如下步骤，

编辑视频，上载对应的幻灯片；

对所述幻灯片进行同步，所述同步包括将幻灯片中的可播放文件按照所述视频中的时间戳进行同步；

在所述时间戳上生成幻灯片预览，所述预览包括将时间戳上的关键帧与幻灯片中对应主题名称的幻灯片进行嵌入；

完成视频和幻灯片同步。

视频同步播放方法，进一步还包括字幕同步，

从视频中选择字幕段开始的时间点，将所述视频进行场景划分，

根据场景划分录入字幕，并保存至不同的场景中，

根据视频播放的进度同步至场景中的字幕，并保存至视频中。

更进一步，根据鼠标事件的监听结果，对字幕进行显示、隐藏或者编辑。

更进一步，将字幕生成对应的SRT字幕格式，并提供下载接口。

更进一步，完成视频和幻灯片同步时，若完成一张幻灯片的同步，则在该幻灯片上生成对应标记；若正在进行同步，则在对应幻灯片上通过显示插件进行提示。

更进一步，所述视频通过上载本地录制或者在线方式获得。

方法进一步还包括：

监听鼠标在所述视频上的鼠标事件，生成分割插件；

所述分割插件将所述视频的页面尺寸与幻灯片的显示尺寸按照比例缩放；

若向右边拖动分割插件，则幻灯片按照比例缩小，视频按照比例扩大；

若向左边拖动分割插件，则幻灯片按照比例扩大，视频按照比例缩小；

若拖动分割插件的范围超出阈值，则幻灯片按照画中画模型显示在所述视频中或者视频以原比例的1/8缩放后按照画中画模式显示在所述幻灯片中。

方法进一步还包括：

若时间戳上发生鼠标事件，则所述鼠标事件发生的时间戳上对应的幻灯片放大显示，其它幻灯片逐次缩小；

以及发生上述幻灯片放大显示事件时，所述视频切换至该时间戳并开始播放。

基于上述本发明还提供了一种视频同步播放装置，包括：

资源接口，编辑视频，上载对应的幻灯片；

同步单元，对所述幻灯片进行同步，所述同步包括将幻灯片中的可播放文件按照所述视频中的时间戳进行同步；

预览单元，在所述时间戳上生成幻灯片预览，所述预览包括将时间戳上的关键帧与幻灯片中对应主题名称的幻灯片进行嵌入；

输出单元，完成视频和幻灯片同步。

更进一步，资源接口还用以与第三方API接口连接，用以获取视频。

本发明的有益效果：

1)本发明的视频同步方法，包括了编辑视频，上载对应的幻灯片；在发布视频或者进行直播前，对视频和幻灯片进行预处理，对所述幻灯片进行同步，所述同步包括将幻灯片中的可播放文件按照所述视频中的时间戳进行同步；使得在视频的每一个时间戳中都有对应的幻灯片中的可播放文件。在所述时间戳上生成幻灯片预览，所述预览包括将时间戳上的关键帧与幻灯片中对应主题名称的幻灯片进行嵌入；考虑到了幻灯片中的篇幅和主题名称的设定，将幻灯片中的主体名称嵌入到时间戳上的关键帧中，让用户对所要观看的内容(视频和幻灯片)一目了然，实现了唯一对应关系。

2)本发明中的视频同步装置，在资源接口，获得大量的视频内容信息，并且上载视频内容对对应的幻灯片内容，幻灯片内容包括所有可播放文件。在同步单元，同步时间戳和幻灯片中的可播放文件，文字，图片，特效动态显示。在预览单元，将主题名称对应的幻灯片嵌入到时间戳上的关键帧中，从而用户在观看视频或者幻灯片时，能够明了其中相互对应的关系，用户体验良好，对于教育培训、公共课程直播等场景，用户教学的效果显著提升，且缩减了终端的流量。

附图说明

图1是本发明一实施例中的视频同步播放方法流程示意图。

图2是字幕同步方法流程示意图。

图3是图1中的进一步优选实施例中的鼠标监听事件对应的同步操作示意图。

图4是图3中的进一步操作示意图。

图5是本发明一实施例中的视频同步播放装置结构示意图。

图6(a)-图6(e)是视频同步播放装置中不同操作效果示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1是本发明一实施例中的视频同步播放方法流程示意图。

本实施例中的视频同步播放方法，其特征在于包括如下步骤，

步骤S100编辑视频，上载对应的幻灯片；利用Microsoft的PowerPoint制作出来的PPT格式文件上载对应的幻灯片。本领技术人员能够明了，所述编辑视频包括但不限于，视频的录制、视频的文字编辑、视频的去噪处理、视频的格式转化、视频的兼容性等。

在一些实施例中，所述通过HTML5技术编辑视频。

在一些实施例中，通过浏览器Chrome、Firefox、Internet Explorer、Safari等等上载对应的幻灯片。

步骤S101对所述幻灯片进行同步，所述同步包括将幻灯片中的可播放文件按照所述视频中的时间戳进行同步；所述可播放文件包括但不限于，文字，图片，特效动态显示效果等。

在一些实施例中，所述同步为：同步幻灯片中的标题与视频的标题。

在一些实施例中，所述同步为：同步幻灯片的播放格式。

在一些实施例中，所述同步为：同步幻灯片的发布、分享地址。

在一些实施例中，所述视频中的时间戳进行同步包括但不限于，对于任意时间戳上视频的同步。

在一些实施例中，所述同步为：同步幻灯片的每一张幻灯片中的内容与视频时间戳上的内容。

在一些实施例中，所述同步还包括，同步显示所述幻灯片的转换或者上载速率和进度。

在一些实施例中，所述视频通过上载本地录制或者在线方式获得。

在一些实施例中，所述视频用以在Windows，Mac OS，Linux，Windows Phone，Android，iOS等任意平台上播放。

在一些实施例中，所述视频还用以，通过FLASH控件播放FLASH文件。

在一些实施例中，对所述幻灯片进行同步时，还包括已经同步标识，用以表示幻灯片已经同步的状态。

在一些实施例中，对所述幻灯片进行同步时，还包括正在同步的标识，用以表示幻灯片的对应页码正在同步。

在一些实施例中，对所述幻灯片进行同步时，显示所述幻灯片的页码。

步骤S102在所述时间戳上生成幻灯片预览，所述预览包括将时间戳上的关键帧与幻灯片中对应主题名称的幻灯片进行嵌入；所述时间戳上生成幻灯片预览是指，在时间戳上对应地显示幻灯片的预览画面，幻灯片的预览画面为所述幻灯片中的可播放文件。

在一些实施例中，幻灯片预览按照间戳上的关键帧，左、右依次缩小。

在一些实施例中，所述关键帧包括但不限于，对应幻灯片中的截图。

在一些实施例中，所述幻灯片中对应主题名称是指与视频主体匹配的名称；或者作为切换每张幻灯片时的主题名称。

在一些实施例中，所述关键帧包括但不限于，根据视频的播放内容，进行跳转事件、切换场景事件、重要内容说明事件、关键事件、触发事件、非触发事件等。

在一些实施例中，所述视频的关键帧通过用户自定义。

在一些实施例中，所述视频的关键帧通过关键帧检测算法进行定义。

在一些实施例中，所述视频还包括视频同步时间戳。

在一些实施例中，所述视频还包括，视频播放速率控制插件，用以控制视频播放时的速率：加大、减小、2倍播放、多倍播放。

在一些实施例中，所述视频还包括，音量按钮。

在一些实施例中，所述视频还包括，播放按钮。

步骤S103完成视频和幻灯片同步。

在一些实施例中，完成视频和幻灯片同步时，若完成一张幻灯片的同步，则在该幻灯片上生成对应标记；若正在进行同步，则在对应幻灯片上通过显示插件进行提示。

在一些实施例中，完成视频和幻灯片同步时，所述视频和幻灯片根据显示媒介的分辨率，进行自适应分频显示。

在一些实施例中，所述幻灯片的同步时间戳与视频中时间戳进行同步显示。

本实施例中，在所述时间戳上生成幻灯片预览，所述预览包括将时间戳上的关键帧与幻灯片中对应主题名称的幻灯片进行嵌入；考虑到了幻灯片中的篇幅和主题名称的设定，将幻灯片中的主体名称嵌入到时间戳上的关键帧中，让用户对所要观看的内容(视频和幻灯片)一目了然，实现了唯一对应关系。

图2是字幕同步方法流程示意图。

本实施例中的视频同步播放方法，包括步骤：

步骤S100编辑视频，上载对应的幻灯片；

步骤S101对所述幻灯片进行同步，所述同步包括将幻灯片中的可播放文件按照所述视频中的时间戳进行同步；

步骤S102在所述时间戳上生成幻灯片预览，所述预览包括将时间戳上的关键帧与幻灯片中对应主题名称的幻灯片进行嵌入；

步骤S103完成视频和幻灯片同步；

优选地，还包括如下字幕同步步骤：

步骤S200从视频中选择字幕段开始的时间点，将所述视频进行场景划分，所述场景划分包括但不限于，根据视频的播放内容进行场景划分，根据视频的主题进行场景划分，根据视频中的关键帧进行场景划分，根据视频的延续时间进行场景划分等。如图6(c)所示，是字幕同步的效果示意图。

在一些实施例中，根据视频的播放内容进行场景划分，由于场景中目标的运动或摄像机本身的操作(如变焦、摇镜头等)的影响，一个镜头仅用一幅关键帧不能很好地代表该镜头的内容，常需用几幅关键帧。

在一些实施例中，根据视频的主题进行场景划分时，采用光流分析算法。

在一些实施例中，根据视频中的关键帧进行场景划分时，通过大量的解压缩运算，如Huffman解码、DPCM解码、DCT逆变换和运动补偿等。

在一些实施例中，根据视频中的关键帧进行场景划分时，检测MPEG压缩视频流，中已有的离散余弦变换的DC系数和运动矢量来提取关键帧。

步骤S201根据场景划分录入字幕，并保存至不同的场景中，所述场景按照集合的方式进行聚类，包括但不限于主题、内容、情结、单元等。将字幕进行编辑后保存至不同的场景中。

步骤S202根据视频播放的进度同步至场景中的字幕，并保存至视频中。

优选地，根据鼠标事件的监听结果，对字幕进行显示、隐藏或者编辑。所述鼠标事件包括但不限于，鼠标单击、鼠标双击、鼠标右击、鼠标右击、鼠标滑动、鼠标滚轮、鼠标拖动、鼠标选中、鼠标图形选择框等。

在一些实施例中，若检测得到鼠标滚轮事件，则隐藏或者显示字幕；更进一笔，若鼠标滚轮事件为从上至下，则对应隐藏操作；若标滚轮事件为从下至上，则对应显示操作；若检测得到鼠标单击事件，则对应编辑字幕操作。

优选地，将字幕生成对应的SRT字幕格式，并提供下载接口。SRT字幕格式中包括，序号，时间轴，字幕内容。所述下载接口包括但不限于，通过浏览器的本地下载接口。

通过本实施例中的字幕同步方法，在视频中对字幕以及幻灯片中的内容进行同步，与用户实现智能化交互，且提供字幕下载接口，可以适用于不用的播放程序。更进一步地，所述字幕同步能与同步的幻灯片进行智能匹配，实现视频、字幕、幻灯片三者的同步。

图3是图1中的进一步优选实施例中的鼠标监听事件对应的同步操作示意图。

本实施例中，还包括对鼠标事件的进一步监听：

步骤S301监听鼠标在所述视频上的鼠标事件，生成分割插件；根据对应的鼠标事件，进行操作响应，生成分割插件。

步骤S302所述分割插件将所述视频的页面尺寸与幻灯片的显示尺寸按照比例缩放；

步骤S303若向右边拖动分割插件，则幻灯片按照比例缩小，视频按照比例扩大；分屏自适应响应，比如，用户需要观看视频为主，查阅幻灯片为辅助。

步骤S304若向左边拖动分割插件，则幻灯片按照比例扩大，视频按照比例缩小；分屏自适应响应，比如，用户查阅幻灯片为辅助，观看视频为辅助。

步骤S305若拖动分割插件的范围超出阈值，则幻灯片按照画中画模型显示在所述视频中或者视频以原比例的1/8缩放后按照画中画模式显示在所述幻灯片中。若拖动分割插件的范围超出阈值，是指超出所述步骤S303或者步骤S304中所述的自适应响应过程。如图6(e)所示，是以用户端为例，幻灯片与视频自适应缩放的效果示意图。

在一些实施例中，所述幻灯片能够缩放变小至去除。

在一些实施例中，所述视频缩放的比例为原比例1/8，并进行画中画模式在幻灯片中进行显示。

图4是图3中的进一步操作示意图。

在本实施例中，包括对鼠标事件的进一步监听过程：

步骤S400监听鼠标事件；

步骤S401若时间戳上发生鼠标事件，则所述鼠标事件发生的时间戳上对应的幻灯片放大显示，其它幻灯片逐次缩小；如图6(d)所示，是以用户端为例，幻灯片同步变换的效果示意图。

在一些实施例中，对应的幻灯片放大显示时增加幻灯片的分辨率。

在一些实施例中，其它幻灯片逐次缩小时减小幻灯片的分辨率

在一些实施例中，其它幻灯片逐次缩小时对幻灯片进行模糊化处理或者失焦。

步骤S402发生上述幻灯片放大显示事件时，所述视频切换至该时间戳并开始播放。通过幻灯片切换视频中的时间戳，进而调整视频的播放进度。

通过上述的操作，能够实现幻灯片对视频播放的控制，实现了与视频之间的互操作。

图5是本发明一实施例中的视频同步播放装置结构示意图。

本实施例中的一种视频同步播放装置，包括：

资源接口1，编辑视频，上载对应的幻灯片；如图6(a)所示，是上载对应的幻灯片的效果示意图。

在一些实施例中，资源接口还用以与第三方API接口连接，用以获取视频。

所述第三方API接口包括但不限于，第三方视频发布平台、视频直播平台等。

在一些实施例中，资源接口1包括但不限于本地或者网络上载的方式。

在一些实施例中，资源接口1用以批量上载。

在一些实施例中，资源接口1支持MP4、m3u8、OGA、WEBM、THEORA、FLV、F4V等视频格式播放。

在一些实施例中，资源接口1支持Flash播放m3u8文件，以及AES-128解码播放。

在一些实施例中，资源接口1支持播放地址AMF,AJAX,JOSNP类型请求。

同步单元2，对所述幻灯片进行同步，所述同步包括将幻灯片中的可播放文件按照所述视频中的时间戳进行同步；如图6(b)所示，是在视频中同步对应的幻灯片的效果示意图。

在一些实施例中，所述同步单元2将幻灯片中的可播放文件按照所述视频中的时间戳进行同步后，能够进行跨终端播放。

在一些实施例中，终端适用PC端播放，也适配iPad、iPhone、Android手机、平板电脑等移动终端。

优选地，同步单元2中还包括如下字幕同步步骤：

步骤S200从视频中选择字幕段开始的时间点，将所述视频进行场景划分，所述场景划分包括但不限于，根据视频的播放内容进行场景划分，根据视频的主题进行场景划分，根据视频中的关键帧进行场景划分，根据视频的延续时间进行场景划分等。如图6(c)所示，是字幕同步的效果示意图。

在一些实施例中，根据视频的播放内容进行场景划分，由于场景中目标的运动或摄像机本身的操作(如变焦、摇镜头等)的影响，一个镜头仅用一幅关键帧不能很好地代表该镜头的内容，常需用几幅关键帧。

在一些实施例中，根据视频的主题进行场景划分时，采用光流分析算法。

在一些实施例中，根据视频中的关键帧进行场景划分时，通过大量的解压缩运算，如Huffman解码、DPCM解码、DCT逆变换和运动补偿等。

在一些实施例中，根据视频中的关键帧进行场景划分时，检测MPEG压缩视频流，中已有的离散余弦变换的DC系数和运动矢量来提取关键帧。

步骤S201根据场景划分录入字幕，并保存至不同的场景中，所述场景按照集合的方式进行聚类，包括但不限于主题、内容、情结、单元等。将字幕进行编辑后保存至不同的场景中。

步骤S202根据视频播放的进度同步至场景中的字幕，并保存至视频中。

优选地，同步单元2中还包括，对鼠标事件的进一步监听：

步骤S301监听鼠标在所述视频上的鼠标事件，生成分割插件；根据对应的鼠标事件，进行操作响应，生成分割插件。

步骤S302所述分割插件将所述视频的页面尺寸与幻灯片的显示尺寸按照比例缩放；

步骤S303若向右边拖动分割插件，则幻灯片按照比例缩小，视频按照比例扩大；分屏自适应响应，比如，用户需要观看视频为主，查阅幻灯片为辅助。

步骤S304若向左边拖动分割插件，则幻灯片按照比例扩大，视频按照比例缩小；分屏自适应响应，比如，用户查阅幻灯片为辅助，观看视频为辅助。

步骤S305若拖动分割插件的范围超出阈值，则幻灯片按照画中画模型显示在所述视频中或者视频以原比例的1/8缩放后按照画中画模式显示在所述幻灯片中。若拖动分割插件的范围超出阈值，是指超出所述步骤S303或者步骤S304中所述的自适应响应过程。

优选地，同步单元2中还包括，

步骤S400监听鼠标事件；

步骤S401若时间戳上发生鼠标事件，则所述鼠标事件发生的时间戳上对应的幻灯片放大显示，其它幻灯片逐次缩小；如图6(d)所示，是以用户端为例，幻灯片同步变换的效果示意图。

在一些实施例中，对应的幻灯片放大显示时增加幻灯片的分辨率。

在一些实施例中，其它幻灯片逐次缩小时减小幻灯片的分辨率

在一些实施例中，其它幻灯片逐次缩小时对幻灯片进行模糊化处理或者失焦。

步骤S402发生上述幻灯片放大显示事件时，所述视频切换至该时间戳并开始播放。通过幻灯片切换视频中的时间戳，进而调整视频的播放进度。

在一些实施例中，所述幻灯片能够缩放变小至去除。

在一些实施例中，所述视频缩放的比例为原比例1/8，并进行画中画模式在幻灯片中进行显示。

预览单元4，在所述时间戳上生成幻灯片预览，所述预览包括将时间戳上的关键帧与幻灯片中对应主题名称的幻灯片进行嵌入；

在一些实施例中，预览单元4用以将幻灯片预览按照间戳上的关键帧，左、右依次缩小。

在一些实施例中，预览单元4中所述关键帧包括但不限于，对应幻灯片中的截图。

在一些实施例中，预览单元4的灯片中对应主题名称是指与视频主体匹配的名称；或者作为切换每张幻灯片时的主题名称。

在一些实施例中，预览单元4的所述关键帧包括但不限于，根据视频的播放内容，进行跳转事件、切换场景事件、重要内容说明事件、关键事件、触发事件、非触发事件等。

输出单元3，完成视频和幻灯片同步。

在一些实施例中，所述输出单元3完成视频和幻灯片同步，中支持PC端或者移动端多系统多平台。所述PC端包括但不限于Windows、MacOS、Linux等，所述移动端包括但不限于Android、iOS、Windows Phone等。

在一些实施例中，输出单元3完成视频和幻灯片同步，可用以多浏览器兼容，IE6/7/8/9/10、Chrome、Firefox、Safari、Opera。

所属领域的普通技术人员应当理解：以上，所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。