移动互联网流媒体视频交互平台及方法
【专利摘要】本发明属于移动互联网应用【技术领域】，公开了一种移动互联网流媒体视频交互平台及方法，其平台包括包括服务器端和客户端，客户端通过移动互联网与服务器端相连接；服务器端包括信令管理模块、认证及在线状态模块、即时通信模块和流媒体管理模块；客户端包括依次连接的连接处理模块、XMPP编解码模块、消息处理模块、移动流媒体播放模块和图形用户接口模块。本发明采用XMPP技术首次把互联网和3G网络相结合实现移动流媒体直播点播和手机视频交互功能，突破了传统互联网受空间限制的局限，特别是针对农作物病虫害诊断等地域广、移动性强的特点，效果特别明显，移动性也带来时效性的提高，能够即得即通信。
【专利说明】移动互联网流媒体视频交互平台及方法
【技术领域】
[0001]本发明涉及移动互联网应用【技术领域】，具体涉及一种移动互联网流媒体视频交互平台及方法。
【背景技术】
[0002]随着计算机技术发展的日新月异，网络技术日益成熟以及宽带网的发展，流媒体技术越来越广泛地应用于视频点播系统、互联网直播、远程教育、网络在线培训、视频会议等应用领域。近年来，3G移动通信网作为日趋完善的无线网络，为流媒体的应用提供了一个崭新的平台，也为流媒体技术更好的为使用者服务开辟了新的传输媒体，移动流媒体及视频交互应用得到了快速发展。随着手机增值业务的不断发展，视音频流媒体业务将会成为3G增值业务的热点，通过手机实现视频点播、收看视频节目成为最能吸引用户眼球的业务之一。
[0003]我国是个农业大国，历来非常重视农民科技教育培训工作，强调多形式、多渠道开展农民技能和就业培训，大力提升农民素质。目前，开展形式之一主要是远程教育，通过利用互联网建设农业远程教育网络平台。平台以宽带互联网为传输通道，以电脑为接受终端，以流媒体应用为技术核心，为农民提供远程教学培训、视频点播、网上直播、网上课堂、视频咨询、网络会议、专家答疑等服务。但是，由于农村地域广、生产场所多为户外，对农民进行技术培训，推广先进的农业技术以及对农业病虫害进行远程诊断、现场生产远程指导等受到场所和互联网的限制，导致培训的时效性不强，培训效果不明显。
[0004]专利申请号为201010597114.0公开的移动互联网视频内容交互系统及其方法，以及专利申请号为201110385587.9公开的基于移动互联网的远程培训系统及其工作方法，都是通过移动互联网来提供流媒体点播服务，但是没有提供视频双向交互服务。专利申请号为201110255445.0公开的一种支持语音和视频消息的即时通信方法和系统，提供了音视频即时通信系统和方法，但是没有实现流媒体点播服务。目前虽然有可视电话，但其基本是一对一通话，且不能跟互联网上的客户端进行通话。综上所述，国内外还没有把移动流媒体与移动视频交互结合起来应用在农业远程培训、远程病虫害双向视频诊断、专家咨询的项目上。
【发明内容】
[0005]有鉴于此，本发明的目的在于针对现有技术中的不足，提供一种移动互联网流媒体视频交互平台及方法，该平台采用XMPP协议及其扩展协议、RTP、RTCP, RSTP等实现手机移动流媒体播放和视频的双向交互，具有移动远程培训、远程技术答疑、远程病虫害诊断、远程生产指导等功能。
[0006]为完成上述目的，本发明采用的技术方案是:移动互联网流媒体视频交互平台，包括服务器端和客户端，客户端通过移动互联网与服务器端相连接；服务器端包括信令管理模块、认证及在线状态模块、即时通信模块和流媒体管理模块；其中，所述信令管理模块，用来处理指令信息，以及将不同格式的指令转换成统一的XMPP格式的信令；所述认证及在线状态模块提供用户的接口认证、资源分配及状态呈现；所述即时通信模块用于发送和接收文本、语音和视频交互数据；所述流媒体管理模块提供课件点播和节目源的直播功能，并对节目和课件进行统一管理；客户端包括依次连接的连接处理模块、XMPP编解码模块、消息处理模块、移动流媒体播放模块和图形用户接口模块；其中，所述连接处理模块用来创建连接；所述XMPP编解码模块用于解析所述连接处理模块收到的XMPP格式的信令数据流，并发送给所述消息处理模块；所述消息处理模块用于对解析后的信令数据进行处理，并反馈给所述图形用户接口模块；所述移动流媒体播放模块用于控制课件播放和直播视频；所述图形用户接口模块用于与用户进行交互。
[0007]所述指令信息包括用户登录信息、用户状态信息、流媒体指令、文本信息、语音指令和视频指令。
[0008]所述消息处理模块包括文本信息处理组件、交互视频流信息处理组件、语音信息处理组件和流媒体信息处理组件。
[0009]所述消息处理模块还包括联系人列表组件和注册组件。
[0010]所述即时通信模块包括文本控制及发送器、语音控制及发送器、视频控制及发送器；其中，文本控制及发送器用于向客户端发送及接收来自客户端的即时文本信息；语音控制及发送器负责接收和向客户端发送语音信令，用于控制语音包传送过程和录音过程；视频控制及发送器负责视频数据的发送和接收，提供视频缓冲功能。
[0011]本发明还提供了一种移动互联网流媒体直播点播与视频交互方法，包括以下步骤:
[0012]步骤A:用户通过客户端发起服务指令请求；
[0013]步骤B:服务器端将服务指令请求转换为统一的XMPP格式信令；
[0014]步骤C:服务器端对发起指令的用户进行身份认证，认证通过后，为用户配置资源，包括语音服务、视频服务、流媒体服务、内容服务，并更新用户状态；
[0015]步骤D:服务器端对客户端发起的服务指令请求进行响应，对移动流媒体或交互视频流数据进行轻量化处理。
[0016]所述步骤D中的轻量化处理具体为采用MPEG-4音视频压缩算法对移动流媒体或交互视频流数据进行压缩。
[0017]所述服务指令请求包括用户登录、用户状态信息更新、流媒体播放、文本与音视频交互信令请求。
[0018]本发明针对远程培训及病虫害等受场地限制的问题，采用XMPP技术，首次把互联网和3G网络相结合实现移动流媒体直播点播和手机视频交互功能，突破了传统互联网受空间限制的局限，特别是针对农作物病虫害诊断等地域广、移动性强的特点，效果更加明显，移动性强也带来时效性的提高，带来了方便，能够即得即通信。与现有技术相比，具有以下特点:
[0019]1、采用扩展性强、稳定性好、有广泛应用前景的可扩展通讯和表示协议XMPP(TheExtensible Messaging and Presence Protocol)即时通信协议。XMPP 具有开放性、可扩展性、安全性、平台无关性等优点，可允许用户向其他任何人发送即时消息，即使操作系统和浏览器不同。[0020]2、为了整合移动流媒体播放和视频交互的统一，自主研发了基于XMPP协议的扩展协议，实现两者信令数据格式的统一，扩展协议负责移动流媒体与视频交互之间的信令通信及表达，使系统既有单向被动的传输方式，又有双向主动的传输方式。即能在智能手机上实现移动流媒体播放，同时还具有视频交互功能，视频交互不仅包括与其他智能手机上客户端的视频交互，还包括与互联网上计算机上的客户端进行视频交互。
[0021]3、采用轻量化处理技术，适应智能手机的需要。采用客户端/服务器端(C/S)的网络模式，客户端安装在智能手机或平板电脑上，进行流媒体播放和视频互动，服务器端布置在互联网上的服务器上，实现系统管理和协调功能，强调更多的功能迁移到服务器端，使系统既集中又不失灵活，最大限度地减少客户端的代码量和功能，同时精心设计客户端界面，使之简单、操作方便且有效，提高执行效率，更好的适应智能手机的需求。此外，采用先进的音视频压缩算法，通过MPEG-4音视频编解码技术，在保证流媒体、音视频质量的前提下，尽量提高压缩比。
【专利附图】
【附图说明】
[0022]下面结合附图对本发明进一步说明。
[0023]图1为本发明移动互联网流媒体视频交互平台的结构示意图；
[0024]图2为本发明流媒体管理模块原理结构示意图；
[0025]图3为本发明客户端与服务器端建立连接传输XML数据示意图；
[0026]图4为本发明图形用户接口模块界面设计示意图；
[0027]图5为本发明移动互联网流媒体视频交互方法流程示意图。
【具体实施方式】
[0028]如图1所示，移动互联网流媒体视频交互平台，包括服务器端I和客户端2，客户端2通过3G移动通信网和互联网与服务器端I相连接。服务器端I布置在互联网上的服务器上，实现系统管理和协调功能。客户端2安装在智能手机或平板电脑上，通过客户端2，用户可以观看服务器端I上的课件和视频直播，同时还可以跟其他智能手机客户、互联网上的专家进行视频、文字、语音沟通和咨询。
[0029]一、服务器端
[0030]服务器端I包括信令管理模块11、认证及在线状态模块12、即时通信模块13和流媒体管理模块14。
[0031]信令管理模块11主要管理客户端与服务器端、服务器端内部各模块之间的协议解析、协议转换、命令解析等，用来处理用户登录、用户状态、流媒体指令、文本信息、语音指令、视频指令等信息，以及将不同格式的指令转换成统一的XMPP格式的信令，是系统的核心控制模块。
[0032]认证及在线状态模块12提供用户的接口认证、资源分配及状态呈现。接入认证确保用户登录的合法性，验证用户的账号及口令，以及客户端版本的相关信息。用户通过认证后，认证及在线状态模块12负责为用户配置相应的资源，如需要使用的语音服务、视频服务、流媒体服务、内容服务等。当用户登录时，状态呈现部件负责向用户发送好友状态，并在用户状态发生改变时，将用户状态改变的信息通知用户好友。[0033]即时通信模块13包括文本控制及发送器、语音控制及发送器、视频控制及发送器。文本控制及发送器用于向客户端发送及接收来自客户端的即时文本信息。语音控制及发送器负责接收和向客户端发送语音信令，用于控制语音包传送过程和录音过程。视频控制及发送器负责视频数据的发送和接收，提供视频缓冲功能。
[0034]流媒体管理模块14可实现服务器上的课件点播，节目源的直播功能，对流媒体服务器进行统一管理，包括服务器管理、节目管理、课件存储管理等。其结构原理如图2所示。
[0035]二、客户端
[0036]客户端2包括依次连接的连接处理模块21、XMPP编解码模块22、消息处理模块23、移动流媒体播放模块24和图形用户接口模块25。
[0037]连接处理模块21主要用来创立连接。当用户在图形用户接口模块发起连接请求时，TCP从图形用户接口模块中得到用户输入的信息，如用户名、密码、服务器地址等，然后与服务器建立TCP连接，并发送相关的XML数据流，其过程如图3所示。
[0038]XMPP编解码模块22主要是对XML流进行处理，主要工作是解析通过连接处理模块21收到的XML流，分析XML元素相应的信息和发送给相应的处理程序。XMPP流中包含的是XML元素，需要对XML元素进行解析，XML有着严格的语法定义和格式，比如所有标记和属性都大小写敏感，所有属性结束时都要求明确的关闭标记、属性值，标记外的文本内容不得与XML保留字相同(〈、>、&、”等)，非ASCII码字符集的文档要求在〈？ XML>中明确标识。
[0039]消息处理模块23主要对XML元素进行相应的处理，并反馈给图形用户接口模块25。消息处理模块23根据XML元素的不同，分别包括文本信息处理组件、交互视频流信息处理组件、语音信息处理组件和流媒体信息处理组件。另外，由于客户端的需要，消息处理模块23还包括联系人列表组件和注册组件。
[0040]移动流媒体播放模块24用于移动播放流媒体课件和直播视频。课件播放有开始、停止、快进、慢进、起始位置、终止位置等功能。
[0041]图形用户接口模块25负责与用户进行交互，为用户提供一个可以交互操作的界面。为了提高客户端的性能，尽量采用文字、格式简洁、操作方便，适应智能手机操作的需要。图形用户接口模块的界面设计如图4所示。
[0042]为了解决跨平台问题，在实现时，服务器端采用跨平台语言Java实现，客户端采用c++开发，尽量减少客户端代码和采用跨平台动态库。
[0043]如图5所示，本发明还提供了一种移动互联网流媒体直播点播与视频交互方法，包括以下步骤:
[0044]步骤A:用户通过客户端发起服务指令请求；
[0045]步骤B:服务器端将服务指令请求转换为统一的XMPP格式信令；
[0046]步骤C:服务器端对发起指令的用户进行身份认证，认证通过后，为用户配置资源，包括语音服务、视频服务、流媒体服务、内容服务，并更新用户状态；
[0047]步骤D:服务器端对客户端发起的服务指令请求进行响应，对移动流媒体或交互视频流数据进行轻量化处理。
[0048]所述步骤D中的轻量化处理具体为采用MPEG-4音视频压缩算法对移动流媒体或交互视频流数据进行压缩。
[0049]所述服务指令请求包括用户登录、用户状态信息更新、流媒体播放、文本与音视频交互信令请求。
[0050]本发明主要面向农村用户，提供远程培训、技术咨询、视频会议、移动病虫害诊断、技术故障诊断等服务，通过移动互联网流媒体视频交互平台可以实现移动学习、移动技术指导，不受场地和互联网的限制，覆盖面广，实效性强。
[0051]对于本领域的技术人员来说，可根据以上描述的技术方案及构思，作出其他各种相应的改变以及变形，而所有的这些改变以及变形都应该属于本发明权利要求的保护范围之内。
【权利要求】
1.移动互联网流媒体视频交互平台，包括服务器端和客户端，其特征在于，客户端通过移动互联网与服务器端相连接； 服务器端包括信令管理模块、认证及在线状态模块、即时通信模块和流媒体管理模块； 其中，所述信令管理模块，用来处理指令信息，以及将不同格式的指令转换成统一的XMPP格式的信令； 所述认证及在线状态模块提供用户的接口认证、资源分配及状态呈现； 所述即时通信模块用于发送和接收文本、语音和视频交互数据； 所述流媒体管理模块提供课件点播和节目源的直播功能，并对节目和课件进行统一管理； 客户端包括依次连接的连接处理模块、XMPP编解码模块、消息处理模块、移动流媒体播放模块和图形用户接口模块； 其中，所述连接处理模块用来创建连接； 所述XMPP编解码模块用于解析所述连接处理模块收到的XMPP格式的信令数据流，并发送给所述消息处理模块； 所述消息处理模块用于对解析后的信令数据进行处理，并反馈给所述图形用户接口模块； 所述移动流媒体播放模块用于控制课件播放和直播视频； 所述图形用户接口模块用于与用户进行交互。
2.根据权利要求1所述的移动互联网流媒体视频交互平台，其特征在于，所述指令信息包括用户登录信息、用户状态信息、流媒体指令、文本信息、语音指令和视频指令。
3.根据权利要求1所述的移动互联网流媒体视频交互平台，其特征在于，所述消息处理模块包括文本信息处理组件、交互视频流信息处理组件、语音信息处理组件和流媒体信息处理组件。
4.根据权利要求3所述的移动互联网流媒体视频交互平台，其特征在于，所述消息处理模块还包括联系人列表组件和注册组件。
5.根据权利要求1所述的移动互联网流媒体视频交互平台，其特征在于，所述即时通信模块包括文本控制及发送器、语音控制及发送器、视频控制及发送器；其中，文本控制及发送器用于向客户端发送及接收来自客户端的即时文本信息；语音控制及发送器负责接收和向客户端发送语音信令，用于控制语音包传送过程和录音过程；视频控制及发送器负责视频数据的发送和接收，提供视频缓冲功能。
6.移动互联网流媒体视频交互方法，其特征在于，包括以下步骤: 步骤A:用户通过客户端发起服务指令请求； 步骤B:服务器端将服务指令请求转换为统一的XMPP格式信令； 步骤C:服务器端对发起指令的用户进行身份认证，认证通过后，为用户配置资源，包括语音服务、视频服务、流媒体服务、内容服务，并更新用户状态； 步骤D:服务器端对客户端发起的服务指令请求进行响应，对移动流媒体或交互视频流数据进行轻量化处理。
7.根据权利要求6所述的移动互 联网流媒体视频交互方法，其特征在于，所述步骤D中的轻量化处理具体为采用MPEG-4音视频压缩算法对移动流媒体或交互视频流数据进行压缩。
8.根据权利要求6所述的移动互联网流媒体视频交互方法，其特征在于，所述服务指令请求包括用户登录、用户状态信息更新、流媒体播放、文本与音视频交互信令请求。
【文档编号】H04N21/643GK103813179SQ201210438177
【公开日】2014年5月21日 申请日期:2012年11月7日 优先权日:2012年11月7日
【发明者】于峰, 张卫, 刘新, 孙素芬, 张峻峰, 栾汝朋, 张莲莲, 于金莹 申请人:北京市农林科学院农业科技信息研究所, 北京智农天地网络技术有限公司