一种弹幕视频流传输方法及其设备与流程

本发明属于弹幕视频流领域，具体涉及一种弹幕视频流传输方法及其设备。

背景技术：

弹幕是指一种在观看视频时，大量以字幕形式呈现的评论与视频同在一个画面的现象。在视频上方大量飘过的评论如密集炮弹一般，故得名弹幕。弹幕会随着视频的播放实时在视频上呈现，这样观看者在观看该视频时能够看到其他观看者和自己发送的弹幕。

在网络视频的播放过程中，服务器可以从终端获取弹幕信息，然后将各用户对该网络视频发表的弹幕信息添加到网络视频的不同时段中进行显示，这样，用户可以在浏览网络视频的过程中，方便的阅读各用户发表的评论信息。

视频流是指视频数据的传输，例如，它能够被作为一个稳定的和连续的流通过网络处理。因为流动，客户机浏览器或插件能够在整个文件被传输完成前显示多媒体数据。视频流技术基于 2 密钥技术，视频译码技术和可升级的视频分发技术发展。

随着Internet的发展，多媒体信息在网上的传输越来越重要，流式技术以其边下载边播放的特性深受教育、娱乐等行业的喜爱，本专利主要结合弹幕技术以及流媒体系统及主要的流式技术，提出了一种弹幕视频流传输方法及其设备。

基于浏览器的实时通信（RTCWeb，Real-Time Communications Web）是一种运行在浏览器上的Web应用，其通过调用浏览器提供的应用程序编程接口（API，Application Programming Interface），可以实现在不同终端之间建立实时通信连接，从而进行媒体流（包括音频数据流和/或视频数据流）的传输。

相对于传统的VoIP应用而言，实时通信的特点是：媒体面和终端的本地控制由运行在终端上的浏览器实现，而信令面则由嵌入Web页面的脚本程序（例如Java脚本程序）实现。具体地，基于浏览器和脚本程序实现在不同终端之间建立媒体流传输信道的过程具体为：运行在终端上的浏览器根据用户输入的实时通信服务网站URL，从相应的服务器上下载页面数据（该页面数据包含脚本程序）并将相应的页面呈现给用户；传统的弹幕数据即以xml文本数据被存至页面脚本程序中，由各个终端的脚本程序读取，以画面分层的视觉效果呈现在页面或视频中。

具体地，各个终端登录到服务器后，若脚本程序捕获到用户通过脚本程序呈现的输入界面（如弹幕输入框）输入的信息，则脚本程序通过浏览器将该指示信息发送给服务器；服务器根据该信息，向相应的在线终端发送信令，从而在该在线终端成功接收该信令后，两端的终端建立起端到端的媒体流传输信道。

针对终端在上述过程中所起的作用，可以按照由底层至上层的划分方式，将实现实时通信的终端的系统架构划分为处于不同层面的结构，包括：底层硬件（包括麦克等语音输入设备）、操作系统、浏览器、脚本程序（或者是由脚本程序实现的功能单元）。位于上层的结构可以通过层间API调用下层的结构以实现上层的结构的业务逻辑功能。

针对以上背景技术，传统的弹幕下载方式，具有以下特点：

（1） 启动延时较长，用户需等待所有弹幕内容加载到缓存上才能开始浏览弹幕视频，一般来说，一个45分钟的影片片段在加载完弹幕信息需几秒钟，应付传统数据量较小的文字类弹幕尚属勉强，面对更多形式、数据量更大的新型弹幕时即显不够用，且快进、快倒时需要时间等待。

（2） 对系统缓存容量的需求较高，由于Internet是以包传输为基础进行断续的异步传输，数据被分解为许多包进行传输，动态变化的网络使各个包可能选择不同的路由，故到达用户计算机的时间延迟也就不同。所以，在客户端需要缓存系统来弥补延迟和抖动的影响和保证数据包传输顺序的正确，使媒体数据能连续输出，而弹幕数据由于单独加载，需预留一块缓存区域单独加载，因此，对缓存的要求较高。

（3）流式传输的实现有特定的实时传输协议采用RTSP等实时传输协议，更加适合动画、视音频在网上的流式实时传输，而弹幕数据需单独广播，人为多增加了一条数据流，故传统协议并不适用于这种数据传输方式。

我司在实际应用中发现在弹幕应用过程当中，当应用高级弹幕，如图片弹幕，代码弹幕以及其他复杂、高级弹幕时，由于数据量较大，单独加载弹幕数据流会造成与原视频的音画不同步，或卡顿和跳帧现象，观感较差。

技术实现要素：

本发明提供一种弹幕视频流传输方法及其设备，其特征在于，所述方法包括：所述视频流数据包括自带属性数据的画面数据、音频数据以及弹幕数据；

服务器接受用户输入的自带属性数据的弹幕数据；解码器将带有属性数据的弹幕数据解码；

播放器程序将解码后的弹幕数据依据属性数据插入带有相应属性数据的音画数据之间以形成所述视频流；

播放器程序读取所述视频流进行播放；

播放所述视频流数据时，根据所述属性数据同步播放所述画面数据、音频数据以及弹幕数据。

所述属性数据，包括起止标识、时间标识以及同步标识 。

所述的一种弹幕视频流传输方法，包括一种解码器，依据所述属性数据将所述视频流数据解码，并通过播放器程序播放；一种播放器程序，用于播放经所述解码器解码的视频流。

所述设备包括：一种终端，可以播放所述视频流数据，所述视频流包括自带属性数据的画面数据、音频数据以及弹幕数据。

包括一种服务器，用以存放所述的自带属性数据的画面数据、音频数据以及弹幕数据。

有益效果：与现有技术相比，本发明具有以下优点：

1、将弹幕数据流整合进视频音画数据之间，解码器只需解码一条数据流，节省解码所需带宽，大大释放弹幕视频的解码速度；

2、提升弹幕观感；弹幕数据被直接嵌入音画数据之间，在播放器预加载所述视频流过程中，直接加载当前时段的弹幕数据，弹幕流畅且与画面、音频流完全匹配。

3、增强高级弹幕适应性；高级弹幕的数据量较大，嵌入视频流数据之间可以更好匹配当前音画数据。

附图说明

图1是本发明一种弹幕视频流传输方法及其设备的流程图；

图2是本发明一种弹幕视频流传输方法及其设备与传统视频流的对比图。

图中标号说明：

201——步骤1；

202——步骤2；

203——步骤3；

204——步骤4。

具体实施方式

下面结合附图对本发明作进一步详细描述,显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。以下对至少一个实例性的实施例仅为说明性的，而绝不是对本发明及其应用或其他使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另外具体说明，否则在这些实施例中阐述的部件、相对布置、功能、数值并不限制本发明的范围。

同时，显而易见的，为了便于叙述，附图中所示的各个部分的尺寸并不是按照实际的比例关系绘制的。

对于相关领域普通技术人员已知的技术、方法和设备暂不做详细描述，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出的和讨论的所有示例中，任何具体值应被解释为仅仅是实例性的，而不是作为限制。因此，步骤性实施例的其他示例可以具有不同的先后顺序。

图1是本发明一种弹幕视频流传输方法及其设备的流程图。

其中，步骤1（201），服务器接受用户输入的带属性数据的弹幕数据；用户输入界面仅包含弹幕的文字数据，例如xml文件。

步骤2（202），解码器将带有属性数据的弹幕数据解码；其自带属性数据，包括起止标识，以使解码器通过该时间标签控制该端弹幕的出现时间和结束时间；一项视频或页面内容的所有弹幕形成所述弹幕数据。

步骤3（203），将解码后的各条弹幕数据依据同步、时间或起止标识夹带在带有相应属性数据的音画数据之间以供播放；

播放器程序根据所述弹幕数据的时间标识，判断其在视频内容中的前后位置；

关于传统视频流传输，包含逐帧画面数据以及逐比特音频数据；解码器根据画面数据以及音频数据自带的时间标识决定音画数据契合；本发明所述解码器将所述弹幕数据依据所述时间标识，穿插进音画数据之间；形成单一弹幕视频流数据；

步骤4（204），各终端页面播放器程序读取这一视频流进行播放；依据所述同步标识，以检查音画数据与弹幕数据之间的同步关系，进而对同步关系进行调整。

图2是本发明一种弹幕视频流传输方法及其设备与传统视频流的对比图；

传统流式传输的实现有特定的实时传输协议采用RTSP等实时传输协议，其早期音画数据为分开，更加适合动画、视音频在网上的流式实时传输；后期音频数据和画面数据进行合并，形成单一数据流，更有利有传播；而弹幕数据需单独广播，人为多增加了一条数据流，故将弹幕数据也合并为大势所趋。

本发明中用于视频数据流式传播的视频多媒体数字信号编解码器的标准是H.261、H.263、MJPEG、MPEG1、MPEG2和H.264/MPEG4。与CDROM和TV广播中的视频多媒体数字信号编解码器相比，Internet中的多媒体数字编解码器为视频方面提供更大的可伸缩性、更低的计算复杂性、更高的网络丢包补偿能力和更短的编码/解码等待时间。

另外，多媒体数字编解码器必须被紧密地链接到网络传输软件中，以尽可能地提高帧频和图片质量。

在弹幕视频应用过程当中，如图，传统的弹幕视频传输包含两条信道，一条包含音频和画面数据；弹幕数据单独在另一条信道进行加载。

本发明所述的一种弹幕视频流传输方法，包括一种解码器；依据所述属性数据将所述视频流数据解码，并通过播放器播放。

现有技术中，解码器分为软件解码器，硬件解码器和无线解码器。

播放器包含解码器。不同的播放器包含的解码器数量种类不同。所以有时候需要添加解码器来对播放器进行补充。

现有技术中的万能视频解码器集成了流行的解码器和分离器，支持包括WMV、DVD、MPEG、FLV、AVI、MKV、RM/RMVB等各种常见视频格式，RM、AAC、AC3等音频格式的播放，是一款通用全能的编码解码器。它具有CPU资源占用少的特点，还具有优化画面的功能，是一款Windows平台多媒体播放的必备工具。安装了本解码器之后，可使用任何支持任何播放器来播放各种格式的媒体文件。以及各种主流转换器进行WMV/DVD/FLV/AVI/RMVB格式转换；优选地，本发明使用Flash自带解码器。

所述的一种弹幕视频流传输设备，所述设备包括：一种终端，可以播放所述视频流数据，所述视频流包括自带属性数据的画面数据、音频数据以及弹幕数据。

所述的一种弹幕视频流传输方法及其设备，其特征在于，所述设备包括：

服务器，用以存放所述的自带属性数据的画面数据、音频数据以及弹幕数据。

现有技术中，流媒体服务器的主要功能是以流式协议（RTP/RTSP、MMS、RTMP等）将视频文件传输到客户端，供用户在线观看；也可从视频采集、压缩软件接收实时视频流，再以流式协议直播给所述客户端。典型的流媒体服务器有微软的Windows Media Service（WMS），它采用MMS协议接收、传输视频，采用Windows Media Player（WMP）作为前端播放器；RealNetworks公司的Helix Server，采用RTP/RTSP协议接收、传输视频，采用Real Player作为播放前端；Adobe公司的Flash Media Server,采用RTMP(RTMPT/RTMPE/RTMPS)协议接收、传输视频，采用Flash Player作为播放前端。值得注意的是，随着Adobe公司的Flash播放器的普及（根据Adobe官方数据，Flash播放器装机量已高达99%以上）。

本发明所指服务器指采用Flash播放器作为播放前端，兼容Flash播放器的流媒体服务器；同时支持Flash播放器的流媒体服务器，例如Adobe Flash Media Server，还有sewise的流媒体服务器软件和Ultrant Flash Media Server流媒体服务器软件，以及基于Java语言的开源软件Red5。