专利名称：用于低延迟和分布式会议应用的会议服务器架构的系统和方法
技术领域：
本发明涉及多媒体和电信技木。具体地，本发明涉及多方会议应用的音频和视频数据的通信和分发。更具体地，本发明涉及采用可缩放的视频和音频编码技术的会议系统和方法的实现。
背景技术：
当今，计算机网络(例如，因特网)已替代了传统的分发系统(例如，电子邮件和电话)对媒体和信息的传送。多媒体和电信技术的最新进展涉及将视频和音频通信及会议的能力与诸如IP PBX、即时信息收发、web会议的网际协议(“IP”)通信系统进行集成。为了有效地将视频通信集成到这些系统中，这些系统通常必须支持点对点和多点通信。在这些应用中所采用的多点服务器(也称为会议桥分器(conference bridge)、多点会议单元、或“MCU”)必须对来自多方会议的多个參与方的媒体流进行混合，并且将它们分发给所有会议参与方。较佳地，MCU还应当提供包括以下的选项(1)连续出席(例如，因此可同时看到多个參与方)；(2)视图或布局个性化(例如，因此每个參与方可选择他或她自己的关于其他參与方的视图ー其他參与方的一部分可以采用较大的格式来观看，而一部分以较小的格式来观看)；(3)差错定位(例如，当传输中出现差错时，在该參与方与服务器之间解决该差错)；随机进入(例如，进入会议的新參与方对其他參与方没有影响或有最小影响)；以及(5)速率匹配(例如，因此每个參与方可经由带宽不同的不同网络而连接，并且可以采用自己的速率从会议桥分器接收数据)。当前称为“代码转换"MCU的M⑶解决方案通过解码MCU中的所有视频流、为每个參与方创建个人布局以及重编码參与方专用数据流以发送到每个參与方、考虑例如參与方的可用带宽等来实现这些有益功能。然而，这种解决方案向视频流传输添加了显著延迟、使视频数据的质量降级，并且开发和部署很昂贵(这些系统要求复杂、专用的数字信号处理器)。替代的MCU解决方案是基于所谓的“交換” MCU的。在此解决方案中，仅将单个所选參与方(即，“活动说话者”)的视频和/或音频信号从该MUC发送给ー个或所有其他參与方。活动说话者/參与方可通过对所有參与方的音频信号施加语音活动性的定量测量来选择。虽然对活动说话者的选择通常在MCU处执行，但是语音活动指标的计算也可在端点上执行(在发送之前)。交換MCU涉及较少的DSP处理并且比代码转换MUC更简単，但它们相应地具有较少的功能(例如，没有差错定位、没有速率匹配、随机进入功能受限)。此外，已作出各种尝试来实现专用于ー个视频标准的、用以组合压缩域中的视频流的方法。基于ITU-T H. 261标准的方法要求端点向会议桥分器发送H. 261QCIF图像，随后该桥分器组合诸如4个QCIF图像以创建ー个CIF图像。诸如ITU-TH. 263和H. 264的较新的视频编解码器允许通过将成分子画面的每ー个视为该更大画面的独立切片来将已编码画面组合或“合成”为更大的画面。这些和其他类似方法往往只针对视频压缩标准并且不支持个人布局(即，所有參与方被迫以相同分辨率观看给定參与方)、差错弹性或速率匹配。它们还在视频与音频之间的正确同步以及抖动缓冲器管理方面向MCU设计者提出新的挑战。其他解决方案是基于向所有參与方发送全部数据流；这些解决方案不支持速率匹配或端点对分辨率的选择。除昂贵及专用的网络配置之外，当前可用的视频通信解决方案还不具备针对分组丢失的弾性，并且执行不可预测。可能未对大多数其它应用造成问题的网络差错条件可在视频会议中导致不可接受的质量。引起编码效率普遍改进的新的数字视频和音频“可缩放”编码技术还具有许多新的结构特性。具体地，新的重要特性是可缩放性。在可缩放编码中，使用两个或更多分层结构的位流来表示原始或源信号。分层结构意味着给定位流的解码依赖于在分层结构中处于较低层的某些或全部其它位流的可用性。每个位图连同其所依赖的位图一起在特定时间、 质量(例如，在信噪比或SNR方面)、或空间分辨率(针对视频)下提供了对原始信号的表示。术语‘可缩放’并非指数量的大小或规模，而是指通常用以不同的分辨率或质量提供对应于原始或源信号的有效表示的ー组不同位流的编码技术的能力。现有的ITU-T
H.264 Annex F规范(称为可缩放视频编码，SVC)是在时间、空间、和时间分辨率三方面提供视频编码可缩放性的视频编码标准的ー个示例，并且是H. 264标准的扩展(也称为高级视频编码，或AVC)。另ー种更老的示例是ISO MPEG-2 (也作为ITU-T H. 262发布)，它也提供了所有三类可缩放性。ITU G. 729.1 (也称为G. 729EV)是提供可缩放音频编码的标准的示例。编码中的可缩放性被设计为针对流送或广播中的视频和音频分发问题的解决方案，以允许给定系统与各种不同的访问网络(例如与不同带宽连接的客户端)、网络条件(带宽波动)或客户端设备(例如使用较大监视器的个人计算机相对于屏幕小得多的手持式设备)一起操作。现在考虑经改进的多媒体会议应用。具体地，将注意力转向通过使用可缩放视频和音频编码技术来改进会议服务器架构。期望的会议服务器架构和数据编码技术将支持个人布局、连续出席(continuous presence)、速率匹配、差错弹性和随机进入以及低延迟。
发明内容
本发明提供了多点和点对点会议应用的媒体通信服务器架构。该媒体服务器架构被设计成用于可缩放视频编码(SVC)数据和/或可缩放音频编码(SAC)数据或者以可从已编码位流导出多种质量的方式编码的一般音频的低延迟通信。在下文中，服务器称为可缩放视频编码服务器(SVCS)，但是应当理解，同一服务器设计和操作也可应用于音频。作为替代，术语可缩放音频编码服务器(SACS)也可用于描述该服务器，尤其在音频应用的上下文中。本发明的服务器/客户端架构可提供诸如连续出席、个人布局和低延迟的速率匹配以及经改进的差错弹性的会议功能。有益的是，本发明的服务器/客户端架构通过选择性地对若干可缩放的已编码媒体信号进行多路复用，以及通过提供分辨率、比特率、质量或帧速率的多个层，在处理要求显著降低的情况下提供这些会议能力。
本发明还提供一种用于通过对在统计上复用的视频流中的较大分组或帧进行由服务器驱动的同步来最优化网络链路中的带宽利用的方法。本发明的示例性实施例通过复用可缩放音频和视频流的基层分组来提供ー种低延迟和带宽有效的数据通信的方法。在某些情形中，音频编码可以是不可缩放的。在另ー示例性实施例中，本发明为基于可缩放视频的会议提供了基于服务器的速率控制，其中该服务器实现了用于增强更重要的流的视频质量的基于策略或基于内容的方案。在又一示例性实施例中，本发明提供ー种用于以提供低延迟和特征丰富的服务(例如，连续出席、速率匹配和个人布局)的方式基于可缩放视频编码级联许多客户端会议単元的方法。同时，该方法优化不同种网络中或之间的网络通信量。
在再一示例性实施例中，本发明提供一种用于在采用可缩放视频会议服务器的视频会议中统ー会话边界控制功能的方法。
根据以下优选实施例及附图的详细描述，本发明的其它特征、其特性以及各种优点将更加显而易见，在附图中图1是根据本发明的原理的多点会议服务器(SVCS)系统的示意图，该系统被配置成将可缩放视频和/或音频数据从端点发送器传送到客户端接收器；图2是示出了根据本发明的原理的多点SVCS (或SACS)的内部交换结构的框图；图3是根据本发明的原理的以星形级联安排配置的SVCS/SACS系统的示意图；图4是示出了根据本发明的原理的由示例性SVCS系统中的四个发送器提供的模拟组合带宽的示图；图5是示出了根据本发明的原理的通过对示例性SVCS系统中的复用视频数据流中较大的帧进行交错而实现的带宽统ー的示图；图6是根据本发明的原理的用于示例性SVCS系统中的音频和视频分组复用和解复用的安排的示意图；图7是根据本发明的原理的用于示例性SVCS系统的已编码可缩放层数据的示例性可缩放编码多层数据格式和可能的预测路径的示意图；图8是根据本发明的原理的示例性SACS的操作示意图，其中来自各个发送者的音频流成分被选择并使用高可靠性和低可靠性的信道发送到接收器。在所有附图中，除非另外指明，相同的附图标记和字符用于指示所示实施例的类似特征、元素、组件或部分。此外，现在将參照附图，同时结合示例性实施例对本发明进行描述。
具体实施例方式本发明提供一种用于多点或点对点会议应用的系统和方法。这些系统和方法被设计成传送使用合适的可缩放编码技术编码的视频和音频数据。这些技术将源数据编码为许多不同的位流，这些位流又以各种时间分辨率、质量分辨率(即，在SNR方面)、以及在视频情况中的空间分辨率提供原始信号的表示。
简便起见，本文主要在视频信号的上下文中描述本发明的系统和方法。然而，应当理解，这些系统和方法同样可用于音频信号，或者视频和音频信号的組合。图1示出了可在电子或计算机网络环境中实现的针对多点或点对点会议应用的示例性系统100。系统100使用一个或多个网络化服务器(例如，可缩放视频会议服务器(SVCS) 110)来协调向会议參与方或客户端120、130和140的定制数据传输。例如，SVCS110可协调由端点140生成的发往其它会议參与方的视频流150的传输。在系统100中，首先使用SVC技术将视频流150适当地编码或缩小成多个数据成分(例如层150a和150b)。多个数据层可具有不同的特性或特征(例如，空间分辨率、帧速率、画面质量、信噪比(SNR)等)。在考虑到例如不同的各个用户需求以及电子网络环境中的基础结构规范(例如，CPU能力、显示尺寸、用户偏好和带宽)的情况下，可适当地选择数据层的不同特性或特征。系统100的示例性实现被设计成支持在具有不同的数据要求或需要的參与方之间的多方会议。在此实现中，SVCS 110适于被配置成从接收器的数据流(例如，视频流150)中为会议中每个特定參与方/接收方选择适当的信息量，并被配置成仅将所选择/所请求的信息量转发到相应的參与方/接收方。例如，图1示出了选自视频流150的信息量(例如， 数据流122和132)，这些信息量通过SVCS 110分别转发到客户端120和130。SVCS 110可被配置成响应于接收端点请求(例如，各个会议參与方所请求的画面质量)以及基于网络条件和策略的考虑作出合适的选择。此定制数据选择和转发方案利用SVC视频流的内部结构，这允许将视频流明确地划分成具有不同分辨率、帧速率和/或带宽等的多个层。图1示出了 SVC视频流150中表示端点140对会议的媒体输入的示例性内部结构。示例性内部结构包括“基”层150b和一个或多个不同的“增强”层150。层150a和150b共同表示端点140对会议的所有媒体输入150。基层150b是以某一基本质量水平解码或恢复原始媒体所必不可少的。相应地，SVCS110将基层150b转发到所有接收端点120和130。增强层150a添加信息并提高所恢复媒体的质量，但是仅将这些层以选定量转发到各个接收端点120和130。例如，低带宽客户端ー接收端点130可选择仅接收图1中所示的三个增强层150a之一。在系统100中，可通过ー个或多个信道(例如，可以是虚拟和/或物理信道的信道170和180)进行通往或来自端点的SVC数据流(例如，视频流150)发送。每个数据承载信道可被设计成承载SVC数据流的特定层。例如，高可靠性信道(HRC) 170可承载基本画面质量数据层(基层150b)。类似地，一个或多个低可靠性信道(LRC) 180可承载“画面增强”数据层(例如，更好的质量、分辨率、或帧速率层150a)。所发送的SVC数据流可被结构化或分层，使得在LRC的任一个上丢失信息都不会导致接收单元(例如SVCS 110或端点120和130)处所收到的画面质量的任何显著或不可容忍的降级。通过可靠HRC传输基层确保接收到的画面具有至少最小或基本画面质量。其中HRC 170具有未使用带宽的情况下，除基层150b之外，增强层150a的某些或全部也可在HRC 170上承载。其中HRC170的带宽足够承载所有层的情况下，就完全不使用LRC 180。在这种情况中，在系统100中可以只存在或实现单个通信信道(即，HRC 170)，而非LRC 180。在可甚至丢失较高优先级分组的尽力型通信网络上的系统100的实现中，基层传输的完整性可通过使用合适的增强丢失弾性和恢复机制(例如前向纠错(FEC)和自动重复请求(ARQ)机制)来进行保护，诸如题为“Method Of And Apparatus For TheTransmission Or High And Low priority Segments Of A Video Bitestream Over PacketNetworks (用于在分组网络上传输视频流的高和低优先级片段的方法及装置)”的美国专利No. 5，481，312中所述的那些机制。所引用的专利通过全文引用结合于此。在允许区分服务(DiffServ)的网际协议(IP)网络上的系统100的实现中，基层可在由DiffServ所提供的高可靠性连接上传输。在没有建立专用HRC 170的合适方法可用或者专用传输信道具有不可信的可靠性的实现中，系统100可被配置成实现其它方法以确保基层传输的完整性。系统100可例如被配置成使发送单元(例如，发送端点140或SVCS 110)为实现HRC上的可靠传输而主动重复基层信息的发送。重复发送的实际次数可取决于传输信道差错条件。除此之外或作为替代，系统100可被配置成发送单元高速缓存基层信息并基于接收端点或SVCS的请求重新发送该信息。这种基于请求的重新发送过程至少在快速检测到原始发送中的信息丢失的情况中是有效的。取决于可用传输信道类型和条件，前述系统100配置对于基层信息在各个客户端到SVCS、SVCS到客户端、SVCS到SVCS连接或其任何组合上的可靠传送是有益的。
在系统100的某些实现中，SVCS 100可被配置成在接收到的SVC视频流(例如视频流150)中重新组织或重新指定基层和增强层信息以转发到预期接收端点。基层和增强层信息的重新指定可针对每个预期接收端点或多组接收端点来定制。SVCS 110可随后经由适当的HRC和LRC连接分别将重新指定的基层和增强层转发到预期接收端点。通过重新指定过程，通过入站HRC发送到SVCS 110的信息可被重新分类并在出站LRC上转发到特定接收端点。相反，通过入站LRC发送到SVCS 110的信息可被重新分类并在出站HRC上转发到特定接收端点。系统100及其组件(例如，SVCS 100)可被配置成使用ー个或多个可选编码结构或操作模式。共同提交的美国专利申请[编解码器(codec)]描述了适于视频会议应用的示例性编码结构。參照图7，在一示例性操作模式中，SVC数据流(例如，数据流150)可被编码成包括对应于称为时间分辨率0、1和2的三个时间分辨率(例如，每秒7. 5、15和30帧)、以及称为空间分辨率L和S的两个空间分辨率(例如，QCIF和CIF)的多个层。SO对应于源在CIF分辨率和姆秒7. 5巾贞下的表不，而SI对应于源在CIF分辨率和姆秒15巾贞下的表不。图7所示多层编码格式或结构使得LO画面基于LO画面(即，从其预測)来编码，LI画面基于LO和/或LI画面来编码,而L2画面基于L0、LI和/或L2画面来编码。平行方案被用于编码空间增强层SO到S2。在此特定方案中，用以解码LI和L2层信息的能力分别取决于LO和L0+L1层的可用性。对于从QCIF到CIF的增强，也可使得经增强的分辨率画面(即，层S0、S1和S2)可用。解码S0-S2层的任ー个的能力要求相应的底层L0-L2层可用。此外，解码SI和S2层信息的能力分别取决于SO和S0+S1层的可用性。在本发明的示例性应用中，系统100可用于建立多点视频会议。在该会议中，发送端点可向SVCS 110发送其被编码为L0-L1和S0-S2层的格式的的输入信息，用以转发到接收端点。L0、LI和SO层可在HRC上传输，而L2、SI和S2层可在LRC上传输。SVCS 100可混合并匹配分层信息以定制被转发到每个接收端点的信息量。接收端点可接收定制的经混合及匹配的层组合，该层组合具有例如不同的比特率、分辨率和帧速率。表I示出了 L0-L2和S0-S2层的经混合及匹配的示例性层组合，SVCS 110可经由HRC和LRC将它们转发到接收端点。
权利要求
1.一种用于通过至少一个通信信道向至少一个接收端点发送视频信号的多端点视频信号会议系统，其中所述视频信号被可缩放编码成包括基层和一个或多个增强层的层，所述会议系统包括可缩放视频编码服务器SVCS，适于通过所述至少一个通信信道链接到所述至少一个接收端点，其中所述通信信道的至少一个提供了改进的服务质量；以及其中所述SVCS被配置来，通过所述至少一个通信信道接收视频信号层，并通过所述至少一个通信信道选择性地向所述至少一个接收端点发送视频信号层。
2.如权利要求1所述的会议系统，其特征在于，所述SVCS还被配置来，通过选择性地复用视频信号层并向其转发，来向所述至少一个接收端点提供连续出席、个性化布局、速率匹配、差错定位和随机进入特征中的至少一个。
3.如权利要求2所述的会议系统，其特征在于，所述SVCS还被配置来选择性地复用具有两个或更多信号特性的视频信号层并转发给所述至少一个接收端点，所述信号特性包括不同分辨率、比特率、质量和帧速率特性中的至少一个。
4.如权利要求1所述的会议系统，其特征在于，所述SVCS还被配置来除对视频信号进行处理之外还对音频信号进行处理。
5.如权利要求1所述的会议系统，其特征在于，所述SVCS还被配置来提供会话网络边界控制、媒体代理、防火墙和网络地址转换功能中的至少一个。
6.如权利要求1所述的会议系统，其特征在于，所述通信信道的改进质量的服务包括所述SVCS还被配置来前摄地重复至少基层分组的传送。
7.如权利要求1所述的会议系统，其特征在于，所述通信信道的改进质量的服务包括所述SVCS还被配置来带有向前纠错地发送至少基层分组。
8.如权利要求1所述的会议系统，其特征在于，所述通信信道的改进质量的服务包括所述SVCS还被配置来高速缓存至少基层分组并依据请求重新发送经高速缓存的分组。
9.一种用于通过至少一个通信信道与至少一个发送端点进行视频信号通信的多端点视频信号会议系统，其中所述视频信号被可缩放编码成包括基层和一个或多个增强层的层，所述会议系统包括可缩放视频编码服务器SVCS，适于通过所述至少一个通信信道链接到所述至少一个发送端点，并从所述发送端点接收一个或多个视频信号层，其中所述通信信道的至少一个提供了改进的服务质量；以及其中所述SVCS被配置来通过所述至少一个通信信道，选择性地传送从所述发送端点接收的所述一个或多个视频信号层。
10.如权利要求9所述的会议系统，其特征在于，所述SVCS还被配置来，通过选择性地复用并转发从所述发送端点接收的视频信号层，来为所述至少一个发送端点提供连续出席、个性化布局、速率匹配、差错定位和随机进入特征中的至少一个。
11.如权利要求9所述的会议系统，其特征在于，所述SVCS还被配置来除对视频信号进行处理之外还对音频信号进行处理。
12.如权利要求9所述的会议系统，其特征在于，所述SVCS还被配置来提供会话网络边界控制、媒体代理、防火墙和网络地址转换功能中的至少一个。
13.如权利要求9所述的会议系统，其特征在于，所述通信信道的改进质量的服务包括所述SVCS还被配置来前摄地重复至少基层的传送。
14.如权利要求9所述的会议系统，其特征在于，所述通信信道的改进质量的服务包括所述SVCS还被配置来带有向前纠错地接收分组。
15.如权利要求9所述的会议系统，其特征在于，所述通信信道的改进质量的服务包括所述SVCS还被配置来依据请求接收重新发送的高速缓存了的分组。
16.一种用于通过至少一个通信信道向至少一个接收端点发送音频信号的多端点视频信号会议系统，其中所述音频信号按成分编码使得能够从经编码的域中的位流导出多个质量，所述会议系统包括可缩放音频编码服务器SACS，适于通过所述至少一个通信信道链接到音频会议中的至少一个接收端点，其中所述SACS被配置来，通过所述至少一个通信信道接收所述音频信号的音频信号成分，并通过所述至少一个通信信道选择性地向所述至少一个接收端点发送所述音频信号成分。
17.如权利要求16所述的会议系统，其特征在于，所述音频信号被可缩放编码成包括基层和一个或多个增强层的分层成分。
18.如权利要求16所述的会议系统，其特征在于，所述通信信道的至少一个提供了改进的服务质量。
19.如权利要求18所述的会议系统，其特征在于，所述通信信道的改进质量的服务包括所述SVCS还被配置来前摄地重复所述至少一个音频信号成分的传送。
20.如权利要求18所述的会议系统，其特征在于，所述通信的改进质量的服务包括所述SVCS还被配置来带有向前纠错地发送所述至少一个音频信号成分。
21.如权利要求18所述的会议系统，其特征在于，所述通信信道的改进质量的服务包括所述SVCS还被配置来高速缓存所述至少一个音频信号成分的数据并依据请求重新发送经高速缓存的数据。
22.如权利要求16所述的会议系统，其特征在于，所述音频信号与信号强度指标相关联。
23.如权利要求22所述的会议系统，其特征在于，所述SACS还被配置来将所接收到的最强的音频信号中所有质量的成分转发到除起始参与方之外的所有参与方，将所接收到的大量较弱的音频信号中少于全部质量的成分，如果有，转发到除所述起始参与方之外的所有参与方；以及不转发所接收到的任何剩余的较弱的音频信号中的质量的成分。
24.如权利要求16所述的会议系统，其特征在于，所述音频信号被SACS转发到所述至少一个接收端点用于混合。
25.如权利要求16所述的会议系统，其特征在于，所述SACS还被配置来高速缓存所接收到的音频成分，并在第一接收器需要以特定质量水平进行对所述音频信号的解码时，将高速缓存了的成分转发到第一接收器，所述特定质量水平先前未接收过。
26.如权利要求16所述的会议系统，其特征在于，所述至少一个通信信道包括基于分组的信道，并且其中所述SACS还被配置来将大量前往接收器的音频分组聚集成一个组合分组，并且将所述组合分组转发到所述接收器。
27.如权利要求17所述的会议系统，其特征在于，所述音频信号与一个或多个信号强度指标相关联，并且其中所述SACS还被配置来在所述一个或多个信号强度指标之一超出第一阈值时仅转发基层信息，并在所述一个或多个信号强度指标之一超出第二阈值时转发基层和增强层信息。
28.如权利要求16所述的会议系统，其特征在于，所述SACS还被配置来选择性地复用具有两个或更多信号特性的音频信号成分并转发给所述至少一个接收端点，所述特性包括不同采样速率、比特率、质量和音频信号信道数目。
29.如权利要求16所述的会议系统，其特征在于，所述SACS还被配置来根据向接收端点分配优先级的会议系统优先级策略按优先级向接收端点转发增强信号层。
30.如权利要求16所述的会议系统，其特征在于，所述SACS还被配置来处理视频信号。
31.如权利要求16所述的会议系统，其特征在于，所述SVCS还被配置来提供会话边界控制、媒体代理、防火墙和网络地址转换功能中的至少一个。
32.如权利要求16所述的会议系统，其特征在于，所述经编码的音频信号的所述多个质量成分包括能够独立解码的对所述音频信号的编码。
33.如权利要求16所述的会议系统，其特征在于，所述音频信号与一个或多个信号强度指标相关联，并且其中所述SACS还被配置来在所述一个或多个信号强度指标之一超出第一阈值时仅转发一个质量成分，并在所述一个或多个信号强度指标之一超出第二阈值时转发附加质量成分。
34.如权利要求16所述的会议系统，其特征在于，所述音频信号与在SACS计算的一个或多个信号强度指标相关联。
35.一种用于通过至少一个通信信道与至少一个发送端点进行音频信号通信的多端点视频信号会议系统，其中所述音频信号按成分编码使得能够从经编码的域中的位流导出多个质量，所述会议系统包括可缩放音频编码服务器SACS，适于通过所述至少一个通信信道链接到音频会议中的至少一个发送端点，其中所述SACS被配置来，接收并选择性地转发从所述至少一个发送端点通过所述至少一个通信信道接收到的所述音频信号的音频信号成分。
36.如权利要求35所述的会议系统，其特征在于，所述音频信号被可缩放编码成包括基层和一个或多个增强层的分层成分。
37.如权利要求35所述的会议系统，其特征在于，所述通信信道的至少一个提供了改进的服务质量。
38.如权利要求37所述的会议系统，其特征在于，所述通信信道的改进质量的服务包括所述SACS还被配置来从所述至少一个发送端点接收至少一个音频信号成分的前摄地重复传送。
39.如权利要求37所述的会议系统，其特征在于，所述通信信道的改进质量的服务包括所述SACS还被配置来带有向前纠错地接收发送音频信号组件。
40.如权利要求37所述的会议系统，其特征在于，所述通信的改进质量的服务包括所述SACS还被配置来依据请求接收重新发送的高速缓存了的数据。
41.如权利要求35所述的会议系统，其特征在于，所述音频信号与一个或多个信号强度指标相关联。
42.如权利要求41所述的会议系统，其特征在于，所述SACS还被配置成将所接收到的最强的音频信号中所有质量的成分转发到除起始参与方之外的所有参与方；将所接收到的大量较弱的音频信号中少于全部质量的成分，如果有，转发到除所述起始参与方之外的所有参与方；以及不转发所接收到的任何剩余的较弱的音频信号中的质量的成分。
43.如权利要求35所述的会议系统，其特征在于，所述至少一个通信信道包括基于分组的信道，并且其中所述SACS还被配置来将大量音频分组聚集成一个组合分组，并且转发所述组合分组。
44.如权利要求36所述的会议系统，其特征在于，所接收到的音频信号与一个或多个信号强度指标相关联，并且其中所述SACS还被配置来在所述一个或多个信号强度指标之一超出第一阈值时仅转发基层信息，并在所述一个或多个信号强度指标之一超出第二阈值时转发基层和增强层信息。
45.如权利要求36所述的会议系统，其特征在于，所述音频信号与一个或多个信号强度指标相关联，并且其中所述一个或多个发送端点被配置来在所述一个或多个信号强度指标之一超出第一阈值时仅发送基层信息，并在所述一个或多个信号强度指标之一超出第二阈值时发送基层和增强层信息。
46.如权利要求35所述的会议系统，其特征在于，所述SACS被配置来选择性地复用并转发具有两个或更多信号特性的音频信号成分，所述特性包括不同采样速率、比特率、质量和音频信号信道数目的至少一个。
47.如权利要求35所述的会议系统，其特征在于，所述SACS还被配置成除对音频信号进行处理之外还对视频信号进行处理。
48.如权利要求35所述的会议系统，其特征在于，所述SACS还被配置来提供会话边界控制、媒体代理、防火墙和网络地址转换功能中的至少一个。
49.如权利要求35所述的会议系统，其特征在于，所述经编码的音频信号的所述多个质量成分的每一个包括能够独立解码的对所述音频信号的编码。
50.如权利要求35所述的会议系统，其特征在于，从发送端点接收到的音频信号与信号强度指标相关联，并且其中所述SACS还被配置来在所述一个或多个信号强度指标之一超出第一阈值时仅转发基层信息，并在所述一个或多个信号强度指标之一超出第二阈值时转发基层和增强层信息。
51.如权利要求35所述的会议系统，其特征在于，所述音频信号与一个或多个信号强度指标相关联，并且其中所述至少一个发送端点被配置来在所述一个或多个信号强度指标之一超出第一阈值时仅发送基层信息，并在所述一个或多个信号强度指标之一超出第二阈值时发送基层和增强层信息。
52.如权利要求35所述的会议系统，其特征在于，从所述至少一个发送端点接收的所述音频信号与在所述SACS处计算的一个或多个信号强度指标相关联。
53.如权利要求35所述的会议系统，其特征在于，从所述至少一个发送端点接收的所述音频信号与在所述发送端点处计算的信号强度指标相关联。
54.一种用于电子通信网络上的多端点视频信号会议的装置，所述网络具有链接所述会议端点的通信信道以及链接一端点的、与其它信道相比具有较高质量服务的至少一个通信信道，所述装置包括一个或多个计算机可读存储介质；以及嵌入在所述一个或多个计算机可读存储介质中的可执行软件，执行时获得经可缩放视频编码的视频信号，其中所述视频信号以包括基层和一个或多个增强层中的分层格式来编码，选择所述经编码的视频信号的至少一个层；以及通过具有较高质量服务的所述通信信道向所述端点转发所选择层中的信息。
55.一种用于电子通信网络上的多端点音频信号会议的装置，所述网络具有链接会议端点，即，发送和接收端点的通信信道，所述装置包括一个或多个计算机可读存储介质；以及嵌入在所述一个或多个计算机可读存储介质中的可执行软件，执行时获得编码在成分比特流中的音频信号，使得可从经编码的域中的比特流中导出多个质量；以及将通过其相应的链接通信信道从发送端点接收的音频信号成分通过其相应的链接通信信道选择性地转发到接收端点。
56.一种用于电子通信网络上的多端点视频信号会议的装置，所述网络具有链接所述会议端点的通信信道，所述装置包括一个或多个计算机可读存储介质；以及嵌入在所述一个或多个计算机可读存储介质中的可执行软件，执行时获得经可缩放视频编码的视频信号，其中所述视频信号以包括至少一个基层和一个或多个增强层中的分层格式来编码；选择所述经编码的视频信号的至少一个层；以及通过所述链接通信信道选择性地复用视频信号层并将其转发给所述会议端点，由此向所述会议端点提供连续出席、个性化布局、速率匹配、差错定位和随机进入特征中的至少一个。
全文摘要
本发明涉及用于低延迟和分布式会议应用的会议服务器架构的系统和方法。提供了用于进行多端点视频信号会议的系统和方法。会议端点通过可靠和较不可靠的通信信道对来链接。会议视频信号以基层和增强层的格式来可缩放地编码。对应于最小画面质量的视频信号基层通过可靠信道来传送。视频信号增强层可通过较不可靠的信道来传送。会议服务器在无需任何中间编码或重编码操作的情况下协调从发送端点到接收端点的视频层信息的交换。视频会议可使用经可缩放编码的音频信号或经非可缩放编码的音频信号来与音频会议集成。
文档编号H04L12/18GK103023666SQ20121037980
公开日2013年4月3日 申请日期2006年7月21日 优先权日2005年9月7日
发明者R·希万拉, A·埃尔法泽阿迪斯, O·莎彼洛 申请人:维德约股份有限公司