多端到多端的实时通信方法及系统的制作方法
【专利摘要】本发明提供一种多端到多端的实时通信方法及系统。根据本发明的方法，控制设备基于网络编码对来自多个实时通信设备的实时信息进行编码后，再将编码后的实时信息予以发送；各实时通信设备各自对各自接收的经过网络编码的实时信息进行网络解码，以获得其他各实时通信设备发送给各自的实时信息；优选地，各实时通信设备均为组播组内成员；由此，可有效降低网络总码率及网络流量；本发明可应用于视频会议、视频监控、远程医疗或远程教学等场合。
【专利说明】多端到多端的实时通信方法及系统
【技术领域】
[0001]本发明涉及实时通信领域，特别是涉及一种多端到多端的实时通信方法及系统。【背景技术】
[0002]随着计算机多媒体技术和远程通信技术的不断发展，网络视频会议是流媒体应用的主要领域之一，包括视频会议、远程医疗、远程教育、视频监控等各种视频系统。传统的
H.323以及近几年来的RTSP0UDP在这些系统中获得了广泛应用。所谓IP网络视频会议系统，是指利用多媒体终端通过网络在两地或多个地点进行开会的一种通信手段，它利用多媒体终端将一个地方会场的开会人形象以及他所发表的意见或报告内容传送到其他地点会场，使得身处异地的与会者可以就同一议题参与讨论，相互之间不仅可以听到发言者的声音，而且可以看到发言者的图像。这种同时传送的图像、语音在效果上完全可以替代现场会议。
[0003]在90年代以前，视频会议业务虽已作为一项新型多媒体通信手段而被提出，但却未得到广泛的应用。在90年代，基于h.261的图像编码标准以及h.320等视频网关系列标准的制定，为视频会议的实用化提供了可靠的依据。1995年以后，随着低比特率视频编码标准h.263的制定，ITU-T又通过了适合低速通信网络的h.324以及h323等系列标准。此后，由于Internet商业化的巨大成功，以IP协议为基础的具有多媒体通信功能的应用系统成为了主流发展趋势。因此在视频会议产业界，基于h.323标准的IP网络视频会议系统成为业界的主流。
[0004]典型的视频会议系统由视频会议终端、多点控制器、网络以及控制管理软件组成。视频会议终端的主要功能是完成音频、视频信号的采集、编辑处理以及显示和输出，对视频音频数字信号进行压缩编码和解码。此外，终端还要形成通信的各种控制信息等。多点控制单元MCU是IP网络视频会议系统中的重要控制部件，它的主要功能是对视频、语音以及数据信号进行混合和切换，但不得劣化音视频信号的质量。例如它会把传送到MCU的某会场发言者的图像信号切换到所有会场。对于语音信号，若同时有几个发言，可以对他们进行混合处理。MCU的主要组成部分是:网络接口单元、呼叫控制单元、多路复用和解复用单元、音频处理器、视频处理器、数据处理器、控制处理器、密钥处理分发器和呼叫控制处理器。
[0005]虽然，视频会议等能给用户带来极大便利，但其产生的信息传输量会随着与会人员的增加而急剧增加，例如，如图1所示，该视频会议系统共有N个视频会议终端I…N，以及一个MCU，每个视频会议终端发送一路视频流SI，S2…SN到MCU，假设每一路视频流的码率是1Mbps。假设每个视频会议终端在发送数据的同时，要求接收到其他所有视频会议终端的数据，则MC U将接收到的N个视频流分别发往N个视频会议终端，这样，在任一个视频会议终端处，接收视频流的总码率是(N-1) *IMbps,总网络吞吐率是N* (N-1) *lMbps。无疑，随着视频会议终端数量的增多和视频流码率的增大，这个网络吞吐率是巨大的。
[0006]网络编码是信息论领域的重要理论突破，现已成为网络信息论的重要分支，是当前研究的重点和热点，将对未来网络的架构和发展产生重大和深远的影响。网络编码指的是网络中的节点参与编译码，这是网络编码与传统IP网络的质的差别。当允许网络中间节点参与编译码后，网络吞吐量可以得到有效提升。网络编码的划时代意义在于:突破经典信息论中商品流不能再被压缩的结论，指出网络信息流可以被处理和压缩，从而可以进一步提升网络吞吐量。因此网络编码理论被称为网络信息流理论。
[0007]传统IP网络采用基于路由器的存储-转发的方式，而网络编码则采用存储-编码-转发的方式，以蝶形网络为例，当网络中间节点允许网络编码后可以达到网络的多播容量，采用路由却不一定能达到。其中多播是一种路由方式，指一个信源节点发送消息给多个信宿节点。容量指吞吐量的最大值。
[0008]因此，如何基于网络编码来降低视频会议系统的网络信息吞吐量，已成为本领域技术人员需要解决的技术课题。
【发明内容】
[0009]鉴于以上所述现有技术的缺点，本发明的目的在于提供一种多端到多端的实时通信方法及系统，以便降低网络流量。
[0010]为实现上述目的及其他相关目的，本发明提供一种多端到多端的实时信息发送方法，其至少包括:基于网络编码对多个实时信息进行编码后予以发送，其中，所述多个实时信息是由多个实时通信设备各自发送给其他实时通信设备的实时信息。
[0011]优选地，所述多个实时通信设备均为组播组成员，将编码后的实时信息以组播方式发送给各实时通信设备。
[0012]优选地，所述多端到多端的实时信息发送方法还包括:将来自下一级的实时信息进行网络编码后再予以发送，其中，下一级的实时信息包括经过网络编码的实时信息。
[0013]优选地，所述网络编码包括随机网络编码。
[0014]本发明还提供一种多端到多端的实时信息接收方法，其至少包括:将来自上一级的经过网络编码的实时信息进行网络解码后下发给下一级。
[0015]优选地，当所述编码信息为采用随机网络编码后的编码信息，则所述实时信息接收方法还包括:在接收上一级的经过网络编码的实时信息之前，保存发送给上一级的实时信息，并基于所保存的实时信息来对上一级的经过网络编码的实时信息进行网络解码。
[0016]优选地，所述多端到多端的实时信息接收方法还包括:在网络解码后，将所保存的发送给上一级的实时信息删除。
[0017]本发明还提供一种控制多端到多端的实时信息传输的控制系统，其至少包括:网络编码模块，用于基于网络编码对多个实时信息进行编码；发送模块，用于将编码后的实时信息予以发送；其中，所述多个实时信息是由多个实时通信设备各自发送给其他实时通信设备的实时信息。
[0018]优选地，所述控制系统内置在多点控制设备中。
[0019]优选地，所述控制系统内置在一实时通信设备中，该实时通信设备是由多个实时通信设备构成的通信小组的成员；更为优选地，所述控制系统包括网络解码模块，用于将来自上一级且经过网络编码的实时信息进行网络解码后再由所述发送模块下发给下一级，相应地，所述网络编码模块用于将来自下一级的实时信息进行网络编码后再由所述发送模块上传给上一级。[0020]本发明还提供一种多端到多端的实时信息接收系统，其至少包括:网络解码模块，用于对接收的且经过网络编码的实时信息进行网络解码，以获得其他各实时通信设备发送给自身所属设备的实时信息。
[0021]优选地，当所述编码信息为采用随机网络编码后的编码信息，所述实时信息接收系统还包括:保存模块，用于在接收经过网络编码的实时信息之前，保存发送给其他实时通信设备的实时信息；相应地，所述网络解码模炔基于所保存的实时信息来对接收的且经过网络编码的实时信息进行网络解码，以获得其他各实时通信设备发送给自身所属设备的实时信息。
[0022]优选地，所述实时信息接收系统还包括:删除模块，用于在网络解码后，将所保存的发送给其他实时通信设备的实时信息删除。
[0023]本发明还提供一种多端到多端的实时通信系统，其至少包括:控制设备，内置有前述的控制系统，用于基于网络编码对多个实时信息进行编码后予以发送；多个实时通信设备，分别内置有前述的实时信息接收系统，用于对各自接收的且经过网络编码的实时信息进行网络解码，以获得其他各实时通信设备发送给各自的实时信息。
[0024]优选地，所述多个实时通信设备均为组播组成员，则相应地，所述控制设备将编码后的实时信息以组播方式 发送给所述多个实时通信设备。
[0025]优选地，所述实时通信系统为用于视频会议、视频监控、远程医疗或远程教学的实时通信系统。
[0026]如上所述，本发明的多端到多端的实时通信方法及系统，具有以下有益效果:能有效降低网络总码率，减小网络流量。
【专利附图】
【附图说明】
[0027]图1显示为本发明的多端到多端的实时通信方法的一种优选流程图。
[0028]图2显示为本发明的实时通信设备的实时通信流程图。
[0029]图3显示为本发明的多端到多端的实时通信方法的另一种优选流程图。
[0030]图4显示为本发明的多端到多端的实时通信系统的一种优选示意图。
[0031]图5显示为本发明的多端到多端的实时通信系统的另一种优选示意图。
[0032]元件标号说明
[0033]
I实时通信系统
U、Ir控制设备
111网络编码模块
112发送模块
12、12’实时通信设备
121网络解码模块
【具体实施方式】[0034]以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。
[0035]请参阅图1至图4。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
[0036]如图1所示，本发明提供一种多端到多端的实时通信方法。其中，根据本发明的方法主要通过实时通信系统来完成，该实时通信系统至少包括:内置有控制多端到多端的实时信息传输的控制系统的控制设备以及多个分别内置有多端到多端的实时信息接收系统的实时通信设备。
[0037]其中，所述实时通信系统可应用于视频会议、视频监控、远程医疗或远程教学等；所述控制设备优选为多点控制设备(MCU);实时通信设备包括但不限于:手机、个人计算机、平板电脑、PDA等。
[0038]优选地，各实时通信设备均为组播组内成员。
[0039]在步骤Sll中，各实时通信设备分别将各自发送给其他实时通信设备的实时信息发送至所述控制设备。
[0040]其中，所述实时信息包括任何需要实时收发的信息，优选地，包括但不限于:音视
频信息等。
[0041 ] 具体地，各实时通信设备分别将各自由摄像机等采集设备所采集的音视频信息经过音视频编码及系统层复用等处理后发送至MCU，如图2所示。
[0042]例如，实时通信设备I以IMbps码率将发送给实时通信设备2……N的视频流S1发送至MCU、实时通信设备2以IMbps码率将发送给实时通信设备1、3……N的视频流S2至发送MCU、……实时通信设备N以IMbps码率将发送给实时通信设备1、2……N-1的视频流sN发送至MCU。
[0043]需要说明的是，本领域技术人员应该理解，以上所述仅仅只是列示，而非对本发明的限制，事实上，各实时通信设备发送视频流给其他实时通信设备是基于实际用户的选择来确定。
[0044]优选地，各实时通信设备分别将各自发送给其他实时通信设备的实时信息予以本地保存，以便后续解码之用，如图2所示。
[0045]例如，实时通信设备I将发送的视频流S1予以本地保存、实时通信设备2将发送的视频流S2予以本地保存、……实时通信设备N将发送的视频流Sn予以本地保存。
[0046]接着，在步骤S12中，所述控制设备基于网络编码对来自多个实时通信设备的实时信息进行编码。
[0047]其中，网络编码可采用任何能进行网络编码的算法，优选地，包括但不限于:随机网络编码、非线性网络编码、线性网络编码等。
[0048]例如，MCU对接收的视频流Sp Sf Sn进行随机网络编码，即:[0049]
【权利要求】
1.一种多端到多端的实时信息发送方法，其特征在于，所述多端到多端的实时信息发送方法至少包括: 基于网络编码对多个实时信息进行编码后予以发送，其中，所述多个实时信息是由多个实时通信设备各自发送给其他实时通信设备的实时信息。
2.根据权利要求1所述的多端到多端的实时信息发送方法，其特征在于，所述多个实时通信设备均为组播组成员，则将编码后的实时信息以组播方式发送给各实时通信设备。
3.根据权利要求1所述的多端到多端的实时信息发送方法，其特征在于还包括:将来自下一级的实时信息进行网络编码后再予以发送，其中，下一级的实时信息包括经过网络编码的实时信息。
4.根据权利要求1至3任一项所述的多端到多端的实时信息发送方法，其特征在于:所述网络编码包括随机网络编码。
5.一种多端到多端的实时信息接收方法，其特征在于，所述多端到多端的实时信息接收方法至少包括: 将来自上一级且经过网络编码的实时信息进行网络解码后下发给下一级。
6.根据权利要求5所述的多端到多端的实时信息接收方法，其特征在于:当所述网络编码的编码方式为随机网络编码，所述实时信息接收方法还包括: 在接收所述上一级的经过网络编码的实时信息之前，保存发送给上一级的实时信息； 基于所保存的实时信息来对上一级的经过网络编码的实时信息进行网络解码。
7.根据权利要求6所述的多端到多端的实时信息接收方法，其特征在于还包括:在网络解码后，将所保存的发送给上一级的实时信息删除。
8.—种控制多端到多端的实时信息传输的控制系统，其特征在于，所述控制多端到多端的实时信息传输的控制系统至少包括: 网络编码模块，用于基于网络编码对多个实时信息进行编码； 发送模块，用于将编码后的实时信息予以发送；其中，所述多个实时信息是由多个实时通信设备各自发送给其他实时通信设备的实时信息。
9.根据权利要求8所述的控制多端到多端的实时信息传输的控制系统，其特征在于:所述控制系统内置在多点控制设备中。
10.根据权利要求8所述的控制多端到多端的实时信息传输的控制系统，其特征在于:所述控制系统内置在一实时通信设备中，该实时通信设备是由多个实时通信设备构成的通信小组的成员。
11.根据权利要求10所述的控制多端到多端的实时信息传输的控制系统，其特征在于还包括:网络解码模块，用于将来自上一级且经过网络编码的实时信息进行网络解码后再由所述发送模块下发给下一级，相应地，所述网络编码模块用于将来自下一级的实时信息进行网络编码后再由所述发送模块上传给上一级。
12.—种多端到多端的实时信息接收系统，其特征在于，所述多端到多端的实时信息接收系统至少包括: 网络解码模块，用于对接收的且经过网络编码的实时信息进行网络解码，以获得其他各实时通信设备发送给自身所属设备的实时信息。
13.根据权利要求12所述的多端到多端的实时信息接收系统，其特征在于，当所述编码信息为采用随机网络编码后的编码信息，所述实时信息接收系统还包括: 保存模块，用于在接收经过网络编码的实时信息之前，保存发送给其他实时通信设备的实时信息； 所述网络解码模炔基于所保存的实时信息来对接收到的且经过网络编码的实时信息进行网络解码，以获得其他各实时通信设备发送给自身所属设备的实时信息。
14.根据权利要求13所述的多端到多端的实时信息接收系统，其特征在于还包括:删除模块，用于在网络解码后，将所保存的发送给其他实时通信设备的实时信息删除。
15.一种多端到多端的实时通信系统，其特征在于，所述多端到多端的实时通信系统至少包括: 控制设备，内置有权利要求8至11任一项所述的控制系统，用于基于网络编码对多个实时信息进行编码后予以发送； 多个实时通信设备，内置有权利要求12至14任一项所述的实时信息接收系统，分别用于对各自接收的且经过网络编码的实时信息进行网络解码，以获得其他各实时通信设备发送给各自的实时信息。
16.根据权利要求15所述的多端到多端的实时通信系统，其特征在于:所述多个实时通信设备均为组播组成员；所述控制设备将经过网络编码的实时信息以组播方式发送给所述多个实时通信设备。
17.根据权利要求15所述的多端到多端的实时通信系统，其特征在于:所述实时通信系统为用于视频会议、视频监控、远程医疗或远程教学的实时通信系统。
【文档编号】H04N7/15GK103974027SQ201410225302
【公开日】2014年8月6日 申请日期:2014年5月26日 优先权日:2014年5月26日
【发明者】张立军 申请人:中国科学院上海高等研究院