专利名称：基于ip网络实现多媒体通信的方法和系统的制作方法
技术领域：
本发明涉及多媒体传输技术，特别涉及到一种基于IP网络实现的主从式多媒体通信的方法和系统。
背景技术：
随着Internet的发展，Internet上的多媒体内容日渐丰富，网络用户通过电脑或电视在Internet上交互式地观看多媒体节目或进行多媒体娱乐越来越多成为一种迫切需求的现实。
背景一商业运营级多媒体应用目前，通过电脑来欣赏Internet网上的多媒体内容已经比较普遍。由于Internet网上的多媒体内容种类格式繁多，为欣赏这些内容，电脑用户必须不断地花时间和精力来寻找和下载处理相关多媒体内容的插件，这对电脑用户的良好体验构成了障碍；不同的多媒体内容对电脑的性能也有不同的要求，这造成电脑用户必须不断花钱升级电脑软硬件。另外，各种在网上广泛传播的电脑病毒，也严重影响电脑用户的正常使用。另一方面，目前对于电视观众上网欣赏多媒体内容，存在的障碍更多。电视观众上网主要有两种手段一种是通过一个IP机顶盒或类似功能的部件来接入互联网，另一种是通过一台高性能的娱乐电脑来接入互联网。后一种手段代价昂贵，目前这种娱乐电脑的价格动辄5、6千元以上，而且用户的遭遇与前面的电脑用户类似，这里不再细述。
通过IP机顶盒是电视上网的主要手段，但也存在很多问题。首先，机顶盒能支持的多媒体内容相当有限，象网上非常普遍的Flash动画，绝大部分机顶盒都不支持。原因很简单，如果要支持各种格式的Flash动画播放，机顶盒需要增加许多成本。其次，目前网上各种视频内容的格式很不统一，视频格式的发展也很快，如果现有机顶盒支持的视频格式逐渐被淘汰，就需要投资换新的机顶盒了---看视频是现有市场上机顶盒的主要功能。所以，目前IP机顶盒的设计有功能复杂化、价格更昂贵的趋势，以通过不断增强性能和增加功能来设法处理Internet网上种类格式日渐增多的多媒体内容。但设计复杂化的IP机顶盒对一般电视观众又将构成了使用上的新障碍。更何况，功能设计再完善的IP机顶盒也无法适应Internet上不断增加的、新的多媒体内容。还有，即使目前这些功能相对简单的IP机顶盒，由于安装了Windows IE浏览器和MS MediaPlayer之类的软件，成本还是不低。
目前，网络多媒体应用上还存在的问题是，由于各个网络用户需要频繁地从网上下载多媒体文件、观看流媒体内容或下载各种多媒体内容播放所需要的插件或应用程序，导致网络拥塞现象严重，给用户、宽带接入运营商和网站等造成很大问题。
还有，目前各个IP机顶盒厂家为了支持众多的多媒体应用，往往推出各种不同功能和档次的一系列产品，造成不同厂家的机顶盒功能各不相容，无论是机顶盒芯片厂商、IP机顶盒制造厂家、还是局端设备制造商都面临巨大的技术开发工作量，造成社会资源的极大浪费和系统总体造价的高昂。
背景二家庭内电视上网很多宽带上网家庭用户已有一台或多台高性能的家用电脑，但为了家中的电视上网，需要再购买一台高性能的娱乐电脑，或购买一台IP机顶盒。高性能的娱乐电脑价格昂贵，且与高性能的家用电脑非常类似，因此属于重复投资，普通家庭用户承受不起。如购买一台IP机顶盒，也存在支持的多媒体内容相当有限、设备更新换代快、价格偏高等问题。利用电视来欣赏互连网上各种类型内容而不大幅增加成本，一直是没有解决的问题。
发明内容
本发明的目的在于避免现有技术诸多的不足而提出一种更加简便的主从式多媒体通信的方法和系统。针对前述的商业运营级多媒体应用中现有技术的不足，本发明旨在减少了IPTV等视频应用商业化运营的总体投资，大大简化了IPTV终端用户的操作复杂度和运营商管理终端设备的复杂度，有效地保护终端用户和运营商在设备上的投资，有效地减轻了网络多媒体应用造成的网络拥塞，更重要的是，使得IPTV机顶盒用户可以欣赏到比现有技术丰富得多的网上多媒体内容。针对前述的第二背景的家庭内电视上网存在的不足，本发明为家庭用户实现电视上网充分利用了用户在家用PC上的投资，提供了廉价而功能强大的“简易IP机顶盒+家用PC一体式”解决方案，用户不必重复投资购买一台高性能的娱乐电脑，大大简化了家庭内电视上网的操作复杂度，有效地保护家庭用户在IP机顶盒上的投资，并使得IP机顶盒用户可以欣赏到比现有技术丰富得多的网上多媒体内容。
本发明上述技术问题这样解决，构造一种基于IP网络的、简便的主从式多媒体通信方法，基于终端设备、IP多媒体终端盒30、多媒体代理服务器31、IP网络32、INTERNET网33，包括以下步骤S1)终端盒30通过IP网络32发送命令或配置信息给多媒体代理服务器31；S2)多媒体代理服务器31访问、调用或操作、执行所述命令信息指定的服务器31自身或INTERNET网33上的资源；S3)多媒体代理服务器31将执行步骤S2)时响应的各种具有视觉和听觉特征的内容处理成实时数字视频和音频流IP包发往终端盒30；S4)终端盒(30)对收到的实时数字视频和音频流IP包进行解码，通过终端设备进行视频/音频重放。其中，实时数字视频和音频流采用下面的一种或多种格式MPEG2、MPEG4、H.264(ITU-T)、VC-1(Microsoft)、AVS(中国数字音视频编解码技术标准工作组)，或采用其他任何格式。
在本发明上述方法中，所述多媒体代理服务器31同时与一个或多个具有不同IP地址的IP多媒体终端盒30进行通信。
在本发明上述方法中，还包括终端盒30随时接收来自终端设备的命令信息的步骤，所述命令信息包括键盘或遥控器按键信息、视频信号、音频信号或其它类型的信息。
在本发明上述方法中，在步骤S3)中，所述各种具有视觉和听觉特征的内容包括多媒体文件如活动图像文件、声音文件、照片文件、网页、Flash动画文件、MS Word文档，流媒体如视频流、音频流，或应用程序如MS Windows资源管理器、MS Excel软件、游戏软件、MS Outlook软件。
在本发明上述方法中，如果所述具有视觉和听觉特征的内容是多媒体文件，则多媒体代理服务器31将调用对应的多媒体文件应用程序来处理这个文件，并将调用这个应用程序后的视频和音频输出转换成实时数字视频和音频流IP包发往终端盒。
在本发明上述方法中，如果所述具有视觉和听觉特征的内容是应用程序，则服务器将在本体内执行这个应用程序，并将执行这个应用程序后的视频和音频输出转换成实时数字视频和音频流IP包发往终端盒30。
在本发明上述方法中，在步骤S3)中，所述多媒体代理服务器31发往终端盒30的实时数字视频和音频流采用固定的一种或多种格式。如果所述具有视觉和听觉特征的内容是流媒体且其格式不在这固定的一种或多种格式之内，则服务器调用适当的应用程序进行流媒体格式转换。
按照本发明提供的实现多媒体通信的系统，包括接收控制命令、提供视频和音频重放的终端设备；向终端设备提供视频和音频信号的IP多媒体终端盒30；以IP网络32与IP多媒体终端盒30连接的多媒体代理服务器31，所述多媒体代理服务器31同时连接在INTERNET网33上，其中，终端盒30接收来自终端设备的命令信息后通过IP网络发送命令信息给多媒体代理服务器31；多媒体代理服务器31访问、调用或操作、执行所述命令信息指定的多媒体代理服务器31自身或INTERNET网33上的资源，并将响应的各种具有视觉和听觉特征的内容处理成实时数字视频和音频流IP包发往终端盒；终端盒30对收到的实时数字视频和音频流IP包进行解码，通过终端设备进行视频/音频重放。
在本发明上述系统中，所述多媒体代理服务器包括普通家用电脑和专用服务器级的高性能计算机，所述IP多媒体终端盒包括专用的IP机顶盒和普通家用电脑主机；所述终端设备中的图像显示设备可以是电视机或电脑显示器。
实施本发明提供的基于IP网络实现多媒体通信的方法和系统，与前述背景一中的现有技术相比，本发明中IP多媒体终端盒不是直接存取Internet网上各种具有视觉和听觉特征的内容，而是由功能强大的代理服务器将这些内容处理成统一格式的实时视频和音频流，然后再发送给多媒体终端盒，带来的有益效果是1)由于代理服务器上集中安装了对各种网上多媒体内容进行处理的软硬件，不必再在从属的各个多媒体终端盒上配置相同的软硬件或下载各种多媒体应用软件，这样大大节省了整个系统的投资，大大减少了终端用户的操作复杂度；2)多媒体终端盒设计简单，不必为了支持各种新格式的多媒体内容而频繁进行软硬件升级，而必要时只需对服务器端的软硬件进行集中升级即可，这样便于各多媒体终端盒的管理，并有效保护了系统的投资；3)由于多媒体内容通过服务器集中处理和存储，避免了多个终端用户分别下载同样的多媒体内容，这样一方面减少了用户下载或欣赏网上多媒体内容的等待时间，也大大减少了多媒体内容在网上的传输次数，有效减轻了网络多媒体应用造成的网络拥塞。
与前述的背景二中的现有技术相比，本发明中的家用IP机顶盒不是直接存取Internet网上各种具有视觉和听觉特征的内容，而是由一台功能强大的家用电脑做服务器将这些内容处理成统一格式的实时视频和音频流，然后再发送给IP机顶盒，带来的有益效果是1)用户不必重复投资购买一台高性能的娱乐电脑，但可以享受到类似的娱乐效果；2)由于家用电脑上安装了对各种网上多媒体内容进行处理的软硬件，不必再在从属的IP机顶盒上配置相同的软硬件或下载各种多媒体应用软件，这样简化了IP机顶盒的设计，降低了对IP机顶盒的投资，并大大减少了电视用户的操作复杂度；3)IP机顶盒设计简单，不必为了支持各种新格式的多媒体内容而频繁进行软硬件升级，有效地保护用户对机顶盒的投资，因此具有很好的市场前景。
图1是按本发明方法在运营级多媒体应用的连接示意图；图2是按本发明方法在家庭内电视上网应用的连接示意图；图3是按本发明方法在运营级应用中多媒体应用中终端与服务器间的互动过程示意图；图4是按本发明的IP机顶盒的示意性模块框图；图5是机顶盒按键处理流程示意图。
具体实施例方式
下面结合附图及实施例对本发明作进一步详尽的描述。
实施例1运营级多媒体应用图1是按本发明方法在运营级多媒体应用的示意图。2个IP机顶盒IP-STB 30和PC多媒体终端35通过以太网32接入宽带接入服务器BAS36，多媒体代理服务器31通过高速通信端口与宽带接入服务器36相连，多媒体代理服务器31同时连接到互联网33。多媒体代理服务器31配有对从属的多个多媒体终端35(图中只示出2个)进行登录和通信管理的软硬件，配有处理各种Internet网上多媒体内容的应用软硬件，还配有实时视频和音频流编码的应用软硬件。多媒体代理服务器31具有高度的可扩展性。运营商可以根据服务器31所覆盖的区域内申请服务的终端数量的多少灵活配置系统内多媒体内容处理硬件的数量和实时视频和音频流编码处理硬件的数量。这两类硬件可设计成插板式，以便于系统扩容。多媒体代理服务器31具有快速的多媒体应用软件更新功能，运营商的远程管理人员可对一个城市内或更大区域内的所有多媒体代理服务器31上的应用软件随时批量更新，以使终端用户可以随时访问到Internet网上最新格式的多媒体内容。
图3按本发明方法在运营级应用中多媒体应用中终端35与多媒体代理服务器31间的互动通信过程示意图。需要注意的是，服务器31具备同时与数百个以上的终端互动通信的能力。
参见图3，终端侧的机顶盒开机后，通过IP网络向多媒体代理服务器发送登录请求，同时向终端设备输出开机界面，当通过IP网收到来自多媒体代理服务器发出的准予登录的指令后，就进入对服务器发来的视频音频流进行解码输出到终端设备以及检测并转发终端输入信号到服务器。在多媒体代理服务器侧，收到来自机顶盒的登录请求后，对请求进行验证，验证不成功返回，验证成功则向机顶盒发准予登录指令，再进行以下内容的初始化启动该终端的服务软件，分配内存\流媒体编码资源等，随后，向终端发送登录界面流，等待用户输入帐号和密码等，接收到用户输入同时帐号密码正确时，向终端发送多媒体应用界面流，根据用户按键启动不同的多媒体应用，如，浏览网页，播放视频节目等。
实施例2家庭内电视网上应用图2是按本发明方法在家庭内电视上网应用的连接示意图。IP机顶盒30通过家庭内部局域网32与作为多媒体代理服务器31的PC联网，PC31再通过家庭宽带路由器36访问Internet网33。PC服务器31可采用比较适合家庭电脑的WindowsXP或Windows2000操作系统。为配合家庭内电视机通过一个IP机顶盒30上网，PC服务器31上配有管理IP机顶盒30登录、生成IP机顶盒30界面、处理IP机顶盒30发来的信息和管理与IP机顶盒30间通信的软件，并配有对发往IP机顶盒30的界面进行实时视频和音频流编码的软件。PC用户应预先尽可能多地下载好处理各种Internet网上多媒体内容的应用软件和插件，以方便电视用户上网。
PC服务器31与IP机顶盒30间的互动过程基本与实施例1的图3类似，与实施例1不同的是，PC服务器31只需与不超过2个IP机顶盒互动通信。
图4是本发明的IP机顶盒的示意性模块框图，其中，IP机顶盒30包括多媒体处理器41和网络处理器48，多媒体处理器41接有内存42、闪存43、红外接口44、视频数模转换单元45和音频数模转换单元46，电视机的视频和音频输入端分别连接视频数模转换单元45和音频数码转换单元46，注意到机顶盒没有配视频输入和音频输入接口。在本发明中，IP机顶盒30无需承担繁多的多媒体处理功能，相对于现有技术的机顶盒，设计被大大简化。
IP机顶盒内的软件中，按键输入信号检测及处理的程序流程举例如图5，不断检测有无按键，如检测到按键，则通过IP网络向多媒体代理服务器发送该按键对应的按键消息包。实际按键与对应的机顶盒发往代理服务器的编码对应表设计举例如下按键按键类型按键类型编号按键编号0-9 数字键 1 0-9←→↑↓方向键 2 0-3
快进键 视频控制键 3 0快退键 视频控制键 3 1暂停键 视频控制键 3 2停止键 视频控制键 3 3音量增大/减小 音量控制键 4 0-1网址选择键1-10 网址选择键 5 0-9功能键1-10 功能键 6 0-9字母键a-z及A-Z 字母键 7 0-51符号键20个 符号键 8 0-19终端盒发往服务器的按键、鼠标等控制信息数据的传输采用TCP/IP协议，数据格式设计举例如下
终端盒数据类型可以定义为1个字节对于按键信息，可以定义为1；对于鼠标信息，可以定义为2；等等终端盒数据主体可以定义为定长或不定长的数据段假设用户按了一个方向键↓，则按前面的编码对应表，数据主体有两个字节，格式如下字节12(表示按的是方向键)字节23(表示按的是方向键中的向下箭头)。
权利要求
1.一种基于IP网络实现多媒体通信的方法，基于终端设备、IP多媒体终端盒(30)、多媒体代理服务器(31)、IP网络(32)、INTERNET网(33)，包括以下步骤S1)终端盒(30)通过IP网络(32)发送命令或配置信息给多媒体代理服务器(31)；S2)多媒体代理服务器(31)访问、调用或操作、执行所述命令信息指定的服务器(31)自身或INTERNET网(33)上的资源；S3)多媒体代理服务器(31)将执行步骤S2)时响应的各种具有视觉和听觉特征的内容处理成实时数字视频和音频流IP包发往终端盒(30)；S4)终端盒(30)对收到的实时数字视频和音频流IP包进行解码，通过终端设备进行视频/音频重放。
2.根据权利要求1所述方法，其特征在于，所述多媒体代理服务器(31)同时与一个或多个具有不同IP地址的IP多媒体终端盒(30)进行通信。
3.根据权利要求1所述方法，其特征在于，还包括终端盒(30)随时接收来自终端设备的命令信息的步骤，所述命令信息包括键盘或遥控器按键信息、视频信号、音频信号或其它类型的信息。
4.根据权利要求1所述方法，其特征在于，在步骤S3)中，所述各种具有视觉和听觉特征的内容包括多媒体文件如活动图像文件、声音文件、照片文件、网页、Flash动画文件、MS Word文档，流媒体如视频流、音频流，或应用程序如MS Windows资源管理器、MS Excel软件、游戏软件、MS Outlook软件，等等。
5.根据权利要求4所述方法，其特征在于，如果所述具有视觉和听觉特征的内容是多媒体文件，则多媒体代理服务器(31)将调用对应的多媒体文件应用程序来处理这个文件，并将调用这个应用程序后的视频和音频输出转换成实时数字视频和音频流IP包发往终端盒。
6.根据权利要求4所述方法，其特征在于，如果所述具有视觉和听觉特征的内容是应用程序，则服务器将在本体内执行这个应用程序，并将执行这个应用程序后的视频和音频输出转换成实时数字视频和音频流IP包发往终端盒(30)。
7.根据权利要求1所述方法，其特征在于，在步骤S3)中，所述多媒体代理服务器(31)发往终端盒(30)的实时数字视频和音频流采用固定的一种或多种格式。
8.根据权利要求4所述的方法，其特征在于，如果所述具有视觉和听觉特征的内容是流媒体且其格式不在权利要求7所述方法中的固定的一种或多种格式之内，则服务器调用适当的应用程序进行流媒体格式转换。
9.一种按照权利要求1所述方法实现多媒体通信的系统，其特征在于，包括接收控制命令、提供视频和音频重放的终端设备；向终端设备提供视频和音频信号的IP多媒体终端盒(30)；以IP网络(32)与IP多媒体终端盒(30)连接的多媒体代理服务器(31)，所述多媒体代理服务器(31)同时连接在INTERNET网(33)上，其中，终端盒(30)接收来自终端设备的命令信息后通过IP网络发送命令或配置信息给多媒体代理服务器(31)；多媒体代理服务器(31)访问、调用或操作、执行所述命令信息指定的服务器(31)自身或INTERNET网(33)上的资源，并将响应的各种具有视觉和听觉特征的内容处理成实时数字视频和音频流IP包发往终端盒；)终端盒(30)对收到的实时数字视频和音频流IP包进行解码，通过终端设备进行视频/音频重放。
10.根据权利要求9所述系统，其特征在于，所述多媒体代理服务器包括普通家用电脑和专用服务器级的高性能计算机，所述IP多媒体终端盒包括专用的IP机顶盒和普通家用电脑主机；所述终端设备中的图像显示设备是电视机或电脑显示器。
全文摘要
一种基于IP网络实现多媒体通信的方法，终端盒30通过IP网络32发送命令或配置信息给多媒体代理服务器31；多媒体代理服务器31访问、调用或操作、执行所述命令信息指定的服务器31自身或INTERNET网33上的资源；多媒体代理服务器31将响应的各种具有视觉和听觉特征的内容处理成实时数字视频和音频流IP包发往终端盒30；终端盒30对其解码后通过终端设备进行重放。实施本发明，由于IP多媒体终端盒不是直接存取Internet网上各种具有视觉和听觉特征的内容，而是由代理服务器将这些内容处理成统一格式的实时视频和音频流，然后再发送给多媒体终端盒；因此，节省了系统的投资，减少了终端用户的操作复杂度，使系统的适应能力几乎不受硬件限制，也减少了网上传输。
文档编号H04L12/28GK101060447SQ20061003518
公开日2007年10月24日 申请日期2006年4月21日 优先权日2006年4月21日
发明者张伟明 申请人:张伟明