专利名称：一种多流流媒体直播互动系统及直播互动方法
技术领域：
本发明涉及一种网络信息传输技术领域的系统与方法，尤其是涉及一种多流流媒体直播互动系统及直播互动方法。
背景技术：
视频监控、网络直播等网络多媒体应用已经成为当前互联网上最重要的应用之一。特别是在智能移动终端和WIFI、3G无线网络普及的大背景下，用户通过智能移动终端设备在任何有网络的地方观看流媒体服务将会使得用户获取相关资讯、在线学习和娱乐变得更加实用便捷。如现有的手机电视业务是近年来全球关注的一个热点。
现有的移动流媒体服务，主要有移动视频点播和移动直播两大类。用户可以通过移动点播服务观看电影、娱乐等相关影视视频资讯；移动直播的业务，如手机电视等，也有较好的应用，如重要足球赛事的移动直播等。上述两种较为流行的移动流媒体业务，只支持基于语音和视频的二路媒体子流应用。在实际的诸多应用场景下，仅支持语音和视频的传统二路流媒体应用不能满足实际应用场景的需求。如在实时的教学场景下，除了支持直播老师的语音，视频信息外，还需要支持老师所讲解的课程内容，即老师授课时的桌面图像；在诸多的学术会议或其他相关的会议、论坛中，也有诸多类似的支持三路流以上的多流流媒体应用需求。基于支持多流流媒体传输的这一思路，中国专利申请号201010510111. 9，记载了一种“基于HTTP协议的多子流流媒体传输系统及其传输方法”。该方法提出了用HTTP协议进行多流流媒体传输的优点。而基于多流流媒体的移动直播系统与互动方法中的传输服务方法不局限于采用HTTP协议进行实时传输，如基于RTP的流媒体服务等，实时性会较好，在网络带宽不断发展的背景下，稳定性也将会得到保证。甚至也可也采自定义的，更加适合多流流媒体传输的服务来实现，同时实现实时互动的功能需要用比较适合的其他通信协议，如即时通信协议等。进一步搜索发现，中国专利申请号200710074144. 1，记载了 “一种手机直播的方法”，但该方法仅实现了支持一个视频流的手机直播。在大尺寸手持设备日趋流行的今天，移动办公、移动教学的场景需求下，移动直播对办公人员、老师等提供了更加灵活的工作环境，即信息源端支持PC端的多流流媒体信息采集与发送的同时，也支持手持设备的多流流媒体信息的采集与发送。接收端不仅支持现有流行的二路流多媒体业务，同时支持二路流以上的多流流媒体业务，而且接收端同时支持桌面应用和移动应用，为多流流媒体业务提供了更多的应用场景和方便。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种可支持三个以上的多流流媒体直播，同时具有实时互动功能的多流流媒体直播互动系统及直播互动方法。
本发明的目的可以通过以下技术方案来实现一种多流流媒体直播互动系统，包括发送多流流媒体数据及收发互动信息的发布端模块、用于支持多流流媒体直播的直播服务模块、用于支持实时互动的互动服务模块、用于频道信息管理的管理服务模块和用户观看直播及收发互动信息的客户端模块，所述的发布端模块和客户端模块均分别连接管理服务模块、直播服务模块和互动服务模块，所述的发布端模块由管理服务模块中获取频道相关属性信息并将多流流媒体数据发送到直播服务模块，所述的客户端模块从直播服务模块中获取多流流媒体数据进行解码同步播放，所述的发布端模块和客户端模块通过互动服务模块收发互动信息。所述的多流流媒体数据是指包含两个及以上媒体通道的实时媒体数据源进行压缩编码后形成的数据，包括从麦克风采集后压缩形成的音频流、从摄像头获取后压缩形成的视频流和从PC或手持设备的屏幕获取的屏幕图像流。所述的发布端模块的载体包括具有网络功能的PC电脑，苹果机或具有WIFI或3G 带宽以上无线网络功能的手持设备。所述的直播服务模块中设有与频道相对应的缓冲池，所述的缓冲池由多个与媒体通道相对应的缓冲区组成，所述的频道指一个特定的直播场景的符号表示，如可以用全球唯一标识符GUID来标识一个特定的频道，直播场景包括现场课堂，现场会议或论坛等。所述的直播服务模块获取从发布端模块发送过来的多流流媒体数据，同时接收客户端模块的用户观看请求，并提供给客户相应的多流流媒体数据。所述的互动服务模块支持发布端模块和客户端模块通过文本或语音的方式进行实时互动，所述的实时互动包括提问、投票和在线练习。所述的管理服务模块中存储有发布端模块的相关信息和频道相关属性信息，所述的发布端模块的相关信息包括用户名和密码，所述的频道相关属性信息包括互动服务模块地址、直播服务模块地址、频道状态信息和每个媒体通道的编码参数。所述的客户端模块的载体包括移动智能终端。一种多流流媒体直播互动方法，包括发布端模块的数据交换和客户端模块的数据交换，所述的发布端模块的数据交换具体包括以下步骤101)发布端模块登录管理服务模块，获取直播频道相关属性信息；102)发布端模块连接到直播服务模块中的一个特定频道，将管理服务模块中该频道的频道状态信息设为直播状态；103)发布端模块采集多个媒体通道的数据源；104)对每个媒体通道的数据源按对应的压缩编码标准和编码参数进行压缩形成多流流媒体数据，并通过网络按照媒体通道和时间信息对将每个媒体通道的数据流按先进先出的队列规则放入对应的缓冲区中，转至步骤102)；所述的客户端模块的数据交换具体包括以下步骤201)客户端模块通过登录管理服务模块，获取直播频道相关属性信息；202)客户端模块连接到直播服务模块中的一个特定频道，同时登录到该频道对应的交互服务模块，与发布端模块进行互动；203)客户端模块由直播服务模块的缓冲区中按先进先出规则获取多流流媒体数据；204)客户端模块对每个媒体通道的数据流进行解码；205)客户端模块对解码后形成的数据进行同步控制后对每个媒体通道分别进行渲染并播放。与现有技术相比，本发明既可以支持传统的音视频二路子流的直播，发布端模块和客户端模块同时支持多尺寸智能移动终端设备，同时，本发明也可以广泛应用于三个以上的多流流媒体直播中，满足了很多场景下传统二路流媒体应用所不能满足的需求，如实时课堂、实时会议、实时论坛中。本发明所支持的实时互动功能是一般流媒体直播应用中单向的流传输功能所不具备的。
图I是本发明的结构示意图；图2是发布端模块数据交换的流程图；图3是本发明客户端模块数据交换的流程4是本发明实施例I的应用示意图；图5是实施例I的结构示意图；图6是实施例2的结构示意图。
具体实施例方式下面结合附图和具体实施例对本发明进行详细说明。实施例I如图I、图4所示，一种多流流媒体直播互动系统，包括发送多流流媒体数据及收发互动信息的发布端模块I、用于支持多流流媒体直播的直播服务模块2、用于支持实时互动的互动服务模块3、用于频道信息管理的管理服务模块4和用户观看直播及收发互动信息的客户端模块5，所述的发布端模块I和客户端模块5均分别连接管理服务模块4、直播服务模块2和互动服务模块3，所述的发布端模块I由管理服务模块4中获取频道相关属性信息并将多流流媒体数据发送到直播服务模块2，所述的客户端模块5从直播服务模块2中获取多流流媒体数据进行解码同步播放，所述的发布端模块I和客户端模块5通过互动服务模块3收发互动信息。多流流媒体数据是指包含两个及以上媒体通道的实时媒体数据源进行压缩编码后形成的数据，包括从麦克风采集后压缩形成的音频流、从摄像头获取后压缩形成的视频流和从PC或手持设备的屏幕获取的屏幕图像流。发布端模块I的载体包括具有网络功能的PC电脑、手机或具有WIFI或3G带宽以上无线网络功能的手持设备。本实施例中的发布端模块I为教师端，分别采集三个媒体通道屏幕通道、视频通道、音频通道。所述的直播服务模块2中设有与频道相对应的缓冲池，所述的缓冲池由多个与媒体通道相对应的缓冲区组成，所述的频道指一个特定的直播场景的符号表示，如可以用全球唯一标识符GUID来标识一个特定的频道，直播场景包括现场课堂，现场会议或论坛等。所述的直播服务模块2获取从发布端模块I发送过来的多流流媒体数据，同时接收客户端模块5的用户观看请求，并提供给客户相应的多流流媒体数据。所述的互动服务模块3遵循通用的即时通信聊天协议XMPP标准，采用定制的OpenFire服务器，支持发布端模块5和客户端模块I通过文本或语音的方式进行实时互动，所述的实时互动包括提问、投票和在线练习。所述的管理服务模块4为一个管理频道信息的web service,存储有发布端模块I的相关信息和频道相关属性信息，所述的发布端模块I的相关信息包括用户名和密码，所述的频道相关属性信息包括互动服务模块地址、直播服务模块地址、频道状态信息和每个媒体通道的编码参数。所述的客户端模块5的载体包括传统桌面或多种平台的移动智能终端，如各大厂商生产的智能手机和大尺寸平板电脑等。本实施例中的户端模块为学生端。客户端模块根据频道号从直播服务模块中找到对应的缓冲池，请开始从缓冲池中按先进先出的策略获取数据，将获得的多流流媒体数据分别进行解码后，进行同步控制后对每个媒体通道进行渲 染。如图2、图3、图5所示，一种多流流媒体直播互动方法，包括发布端模块的数据交换和客户端模块的数据交换，在步骤S501中，发布端模块I分别通过系统功能以一定时间分辨率或空间分辨率采集三个媒体通道的原始数据，并辅以记录相关时间信息，以时间戳的形式。在步骤S502中，发布端模块I将三个通道的原始数据压缩后形成三路流的流媒体数据。在步骤s503中，发布端模块I将从压缩后的码流通过网络发送到直播服务模块2，并在每个码流中辅以记录的时间戳信息。在步骤s504中，发布端模块I获取的多流流媒体数据，按照媒体通道和时间信息对每个媒体通道的数据流按先进先出的队列规则放入对应的缓冲区中。如图5所示，发布端模块I将频道N的音频流、视频流、屏幕流发到直播服务模块2，直播服务模块2对频道N维护一个缓冲池，将接收到的多路子流分别放到缓冲池中对应的缓冲区中。每一个缓冲区只存放对应的媒体数据，且按照先进先出的队列结构存放，可以采用循环队列的方式来实现。在步骤s505中，客户端模块5根据频道号从直播服务模块2中找到对应的缓冲池，开始从缓冲池中按先进先出的策略获取数据。在步骤s506中，客户端模块5将从直播服务模块2获取的多流流媒体数据按相关参数进行解码后形成原始数据。在步骤s507中，客户端模块5对解码后形成的数据进行同步控制后对每个通道分别进行渲染播放。实施例2如图6所示，为一种根据本发明的可能的实施例。在此实施例中，流媒体传输部分由两部分组成，多流流媒体接收子模块和通用的WEB服务模块，所述的多流流媒体接收子模块即为直播服务模块。多流流媒体接收子模块将发布端发送的多流流媒体数据接收后，按频道将这些数据保存成文件放在对应的文件夹中，每一路流按照先进先出的顺序形成文件队列。当客户端模块访问某一个频道时，通过HTTP协议访问按频道访问特定目录下的文件，并按照先进先出的顺序获取对应的流。所对应的步骤和实施 例I一致。
权利要求
1.一种多流流媒体直播互动系统，其特征在于，包括发送多流流媒体数据及收发互动信息的发布端模块、用于支持多流流媒体直播的直播服务模块、用于支持实时互动的互动服务模块、用于频道信息管理的管理服务模块和用户观看直播及收发互动信息的客户端模块，所述的发布端模块和客户端模块均分别连接管理服务模块、直播服务模块和互动服务模块，所述的发布端模块由管理服务模块中获取频道相关属性信息并将多流流媒体数据发送到直播服务模块，所述的客户端模块从直播服务模块 中获取多流流媒体数据进行解码同步播放，所述的发布端模块和客户端模块通过互动服务模块收发互动信息。
2.根据权利要求I所述的一种多流流媒体直播互动系统，其特征在于，所述的多流流媒体数据是指包含两个及以上媒体通道的实时媒体数据源进行压缩编码后形成的数据，包括从麦克风采集后压缩形成的音频流、从摄像头获取后压缩形成的视频流和从PC或手持设备的屏幕获取的屏幕图像流。
3.根据权利要求2所述的一种多流流媒体直播互动系统，其特征在于，所述的直播服务模块中设有与频道相对应的缓冲池，所述的缓冲池由多个与媒体通道相对应的缓冲区组成。
4.根据权利要求I所述的一种多流流媒体直播互动系统，其特征在于，所述的互动服务模块支持发布端模块和客户端模块通过文本或语音的方式进行实时互动，所述的实时互动包括提问、投票和在线练习。
5.根据权利要求2所述的一种多流流媒体直播互动系统，其特征在于，所述的管理服务模块中存储有发布端模块的相关信息和频道相关属性信息，所述的发布端模块的相关信息包括用户名和密码，所述的频道相关属性信息包括互动服务模块地址、直播服务模块地址、频道状态信息和每个媒体通道的编码参数。
6.—种如权利要求5所述的多流流媒体直播互动方法,其特征在于，包括发布端模块的数据交换和客户端模块的数据交换， 所述的发布端模块的数据交换具体包括以下步骤 101)发布端模块登录管理服务模块，获取直播频道相关属性信息； 102)发布端模块连接到直播服务模块中的一个特定频道，将管理服务模块中该频道的频道状态信息设为直播状态； 103)发布端模块采集多个媒体通道的数据源； 104)对每个媒体通道的数据源按对应的压缩编码标准和编码参数进行压缩形成多流流媒体数据，并通过网络按照媒体通道和时间信息对将每个媒体通道的数据流按先进先出的队列规则放入对应的缓冲区中，转至步骤102)； 所述的客户端模块的数据交换具体包括以下步骤 201)客户端模块通过登录管理服务模块，获取直播频道相关属性信息； 202)客户端模块连接到直播服务模块中的一个特定频道，同时登录到该频道对应的交互服务模块，与发布端模块进行互动； 203)客户端模块由直播服务模块的缓冲区中按先进先出规则获取多流流媒体数据； 204)客户端模块对每个媒体通道的数据流进行解码； 205)客户端模块对解码后形成的数据进行同步控制后对每个媒体通道分别进行渲染并播放。
全文摘要
本发明涉及一种多流流媒体直播互动系统及直播互动方法，该系统包括发送多流流媒体数据及收发互动信息的发布端模块、用于支持多流流媒体直播的直播服务模块、用于支持实时互动的互动服务模块、用于频道信息管理的管理服务模块和用户观看直播及收发互动信息的客户端模块，所述的发布端模块和客户端模块均分别连接管理服务模块、直播服务模块和互动服务模块。与现有技术相比，本发明具有可支持三个以上的多流流媒体直播、可实现实时互动等优点。
文档编号H04N21/238GK102752667SQ20121024782
公开日2012年10月24日 申请日期2012年7月17日 优先权日2012年7月17日
发明者周文锋, 徐礼爽, 曾垂鑫, 王加俊, 申瑞民 申请人:王加俊