专利名称：视频会议中的网络资源优化的制作方法
技术领域：
本发明一般地涉及数据网络和通信系统的领域；更具体而言涉及用于 通过通信网络执行视频会议的系统和方法。
背景技术：
其中参与者通过现有的语音和数据网络在会议会话或会晤中进行通信 的会议系统和方法已经存在了一段时间了。会议呼叫系统的示例包括美
国专利No. 6,865,540，其教导了一种用于经由因特网提供群组呼叫的方法 和装置；美国专利No. 6,876,734，其教导了 一种适应公共交换电话网 (PSTN)和因特网协议(IP)流量的具备因特网能力的会议系统；美国专 利No， 6,931,001，其公开了一种用于对分组交换和电路交换语音通信进行 互连的系统；以及美国专利No. 6,671,262，其教导了一种系统，该系统具 有会议服务器，用于将会议呼叫中的IP分组流组合成组合分组流，使得该 组合的IP分组流利用不多于每个原始分组流的带宽。在美国专利No. 6,956,828中公开了一种使用基于分组的会议桥的语音会议系统，该会议桥 接收来自个体终端的话音指示信号，然后使用这些信号来选择会议内的说 话者。
在任何会议系统中，对网络资源的使用都是参与者数目的函数。尤其 是在视频会议的情况下，音频和视频媒体流通常消耗极大量的网络带宽， 并且所涉及的大量数据可以很容易地压垮会议系统的数据处理能力。出于 同样的原因，视频会议也表现出会议/网络基础设施的可扩展性方面的问 题。
已经进行了各种提议来优化音频/视频会议环境中的带宽使用和数据管 理。例如，美国专利No. 6,989,856教导了一种分布式视频会议系统，其中 除了与活动发言者相关联的视频流之外，所有视频流在一个或多个媒体交
5换机处都被抑制，所述媒体交换机提供从网络边缘到网络核心的接口。虽 然该方法减轻了核心网络中的一些处理开销，但是处理与从各种端用户/端 点(EP)到达的视频流相关联的大量数据的任务却落到了边缘网络中的媒 体交换机上，即落到了端用户和媒体交换机之间。换言之，作为基础设施 的一部分的媒体交换机仍然必须处理传入的视频流。此外，带宽消耗仍是 一个问题，因为在媒体交换机处发生抑制之前，来自不是活动发言者的端 用户的无用视频流仍然在网络上传送着。带宽问题在无线网络中尤其严 重，在无线网络中，端用户和媒体交换机之间的带宽是非常宝贵的。
在另一种方法中，美国专利No. 6,332,153教导了将活动发言者信息传 递给EP，使得除了被指定为活动发言者的那个之外的所有EP都能够抑制 其音频流。也就是说，音频抑制发生在端点源处。此方法的主要缺陷在于 它要求端点设备发生变化以便处理携带着活动发言者信息的消息/事件。另 外，以上专利中描述的方法主要针对的是音频分组的抑制。在可以购得的 尝试使端用户静默期间的音频数据分组传送达到最低限度的会议软件产品 (例如参见http:〃www.arelcom.com/bandwidth.html)中可以找到类似的方 法。
因此，所需要的是一种克服现有技术的缺陷并且优化视频会议系统中 会议桥资源和网络带宽的消耗的机制。
作为另一背景技术，美国专利No. 5,963,217教导了一种网络会议系 统，其利用文本对媒体进行编码以便节约网络带宽。该文本随后在端点处 被利用适当的映射函数来转化成话音和视频。此外，美国专利No. 6,925,068公开了一种基于无线物理媒体环境中的信道分配的带宽节省方 法。
从以下详细描述中以及从附图中将更充分理解本发明，但是以下详细 描述和附图不应当被理解为将本发明限制到所示出的特定实施例，而只是 用于说明和理解的。
图1是根据本发明一个实施例的会议系统的概念图。图2示出根据本发明一个实施例的示例性音频/视频会议。 图3是示出根据本发明一个实施例的操作方法的流程图。
图4是示出根据本发明另一个实施例的操作方法的流程图。 图5示出结合本发明特定实施例使用的图形用户界面。
具体实施例方式
描述了一种机制，用于通过确保在任何给定时刻只有对会议会话能动 地起作用的那些视频端点向会议桥传送视频流，来优化会议桥资源和网络 带宽的消耗。在以下描述中，阐述了具体细节，例如设备类型、系统配 置、协议、应用、方法等等，以帮助详尽理解本发明。但是，本领域的普 通技术人员将会明白，实现本发明可以不需要这些具体细节。
根据本发明一个实施例，提供了一种机制，用于通过仅双向促成那些 在给定时刻活动的媒体流来优化会议桥资源和网络带宽的使用。会议会话 的非活动参与者的媒体流被设定为仅限接收(即，单向的)，其中通常从 视频端点发送的流被利用基于标准的信令机制和/或媒体协商原语来抑制或 切断。由于会议参与者的活动在整个会话期间一般会变化，因此参与者的 媒体信道特性被基于各种触发条件来动态地重协商。结果，网络带宽消耗 剧减到仅限少数活动参与者，从而大大地增大了网络吞吐量。此外，本发 明的机制通过消除对源自每个其余端点的非活动媒体流的冗余处理而促成 了会议资源利用率的增大。
在本申请的上下文中，活动参与者或端点被定义为属于以下类别之一 的那些。首先，在会议会话中目前正能动地发言的端点。或者，其可以是 最近在会议会话中发言的端点，例如最后发言者。会议桥可以基于用于确 定最响亮发言者或事件的标准算法来周期性地获得此信息。其次，活动端 点可以被定义为不断地对视频构成起作用的端点。另一类活动端点是被一 个或多个用户锁定为固定传送源的端点。基本上，其音频和/或视频流具有 感兴趣的接收者的任何端点都被定义为活动端点。
图1是示出根据本发明一个实施例的利用会议系统的特征的会议系统
IO和一组端点13的高级别示图。在会议系统IO和端点13之间有两条基
7本路径信令路径和媒体路径。会议参与者的媒体路径可以包括音频/视频 传送，例如通过多种不同网络(例如因特网、内联网、PSTN等等)、协
议(例如IP、异步传输模式(ATM)、点对点协议(PPP))利用跨多个 服务、系统和设备(例如私有分支交换(PBX)系统、VoIP网关等等)的 连接来发送的实时传输协议(RTP)分组。在特定实施例中，本发明可以 在诸如Cisco的MeetingPlaceTM会议应用之类的可购得的IP通信系统产品 中实现，这些产品允许用户预先安排会晤会议或者通过拨出到参与者方来 立即设置会议。Cisco MeetingPlace，一般被部署在防火墙后的团体网络 上，并且帮助了利用各种软件客户端(例如Microsoft Outlook或web浏 览器)从按键式电话或IP语音(VoIP)电话或者计算机安排企业会议。 本发明的替换实施例可以用安装在IP通信系统、PBX、电话装置、电话和 其他电信系统中的软件或硬件(固件)来实现。类似地，信令路径可以跨 任何能够用于传送命令、消息和信号以便建立、主持、管理和控制会议会 话的网络资源。
图2是示出根据本发明一个实施例的示例性会议会话的示图。端点设 备被示为包括VoIP电话15和16以及个人计算机(PC) 17、 19和21。每 个PC被配置有相关联的视频相机；也就是说，PC 17具有相关联的视频相 机18、 PC 19具有相关联的视频相机20，并且PC 21具有安装在其上的相 关联的视频相机22。 一般地，端点表示希望经由会议系统10发起或参与 音频/视频会议的端用户、客户端或人。图2中未具体示出的可用于发起或 参与会议会话的其他端点设备包括个人数字助理(PDA)、膝上型电脑或 笔记本计算机、非IP电话设备、视频用具、流式传输客户端、电视设备或 任何其他能够发起或参与与会议系统10之间的语音、视频或数据交换的 设备、组件、元件或对象。
可以看出，图2所示的每个端点具有与会议服务器11的单独的信令 路径连接(由实线示出)，以及与媒体混合器12的媒体路径(由虚线示 出)连接。媒体混合器12包括基于数字信号处理器(DSP)或固件/软件 的系统，该系统在会议服务器11的控制下对在其输入端口处接收到的音 频/视频信号进行混合和/或切换。图2所示的实际媒体路径是由会议服务器11建立的。换言之，会议服务器11处理会议会话的所有控制平面功 能，并且负责衔接媒体混合器12的必要媒体组件/资源以便满足特定会议
会话的所有端点(即，端点15、 16、 17、 19和21)的媒体需求。在操作 中，图2所示的每个端点设备可以通过呼入在会议服务器11上运行的会 议应用来加入音频/视频会议会话。
本领域的技术人员将会理解，存在多种在会议系统"云"10内聚集/ 分解会议和混合资源的替换方式。换言之，会议系统10的细节可以取决 于应用、可用资源、网络使用和其他特定配置因素而极大地变化。例如， 这里描述的各种实施例同样适用于独立的集中式多点控制单元(MCU)以 及分布式视频会议体系结构。
根据一个实施例，会议主持者充当一触发器，该触发器使得会议桥在 会议会话期间动态地重协商各种端点设备的媒体信道方向性。该主持者功 能可以通过使用在主持者的端点设备上运行的图形用户界面(GUI)或电 话用户界面(TUI)来实现。基本想法是会议主持者向请求得到发言权 (floor)或者在其他情况下在发言权请求队列中等待的会议参与者授予发 言权控制。当参与者从主持者接收到发言权时，会议服务器自动地重协商 参与者的媒体信道特性，将该端点的媒体信道特性从仅限接收改为发送和 接收，即从单向改到双向传送。换言之，端点设备的媒体特性附属于发言 权控制授予，从而使得只有活动发言者端点才向媒体混合器发送视频分组 -所有其余端点的视频流都被关断或抑制。
图3是示出根据本发明的上述实施例的操作方法的流程图。该过程开 始于(块51)参与者"A"具有会议会话中的活动发言者状态(发言权控 制)。此时，参与者(端点)"A"是唯一向混合器发送音频和视频RTP 分组的端点。也就是说，所有其他端点都处于单向(仅限接收)模式中， 在这种模式中，来自端点设备的视频流被关断或抑制。但是，要注意，即 使视频输出在端点设备处被抑制，在某些实施例中，音频流也可以继续被 允许。换言之，即使参与者就视频流而言不是活动发言者，其他端点也可 以继续向媒体混合器发送音频流以便混合并随后输出到会议参与者。
图3的方法中的下一事件发生在参与者"B"请求对发言权的控制时(块52)。可以通过多种不同的方式，例如经由图形用户界面上的可视指 示，来提醒主持者该请求。不论会议主持者是如何得知参与者的发言权控
制取得请求的，当主持者根据该请求而动作并且向参与者"B"授予发言 权控制时(块53)，发生以下事项。主持者控制台(例如GUI)向会议服 务器发送消息，使得服务器实现使参与者"B"的端点设备从仅限接收变 到发送和接收操作模式所需的信令。同时，参与者(端点)"A"的媒体 信道被从发送和接收重协商到仅限接收(块54)。
本领域的技术人员将会明白，上述方法可以由会议系统根据发言权控 制算法或发言权控制取得系统来完全地自动化。换言之，会议主持者不必 持续不断地进行动作以向参与者授予各个发言权控制。
作为另一示例，图5示出了根据特定实现方式与在会议主持者的PC 上运行的应用相关联的图形用户界面(GUI) 71。 GUI 71包括各个发言权 请求队列73和活动发言者字段72。发言权请求队列73被示为填充有点击 了其端点设备上的按钮以请求发言权控制授予(即，活动发言者状态)的 四个参与者(即，R0n Jones、 Alice Smith、 John Doe禾口 Sanjay Prasat)的 姓名。活动发言者字段72中示出的一个参与者(Bill Johnson)表示具有 双向媒体信道的唯一端点，意味着活动发言者的端点既向媒体混合器发送 视频分组又从媒体混合器接收视频分组。在GUI 71的一种可能的实现方 式中，会议主持者可以点击发言权请求队列73上的姓名以使得该人成为 新的活动发言者，从而将当前活动发言者移出字段72。
根据本发明的另一实施例，会议服务器在检测到会议会话中的活动参 与者后，通过将所有非活动端点的媒体方向参数设定为仅限接收，来告知 这些端点抑制其向会议桥(混合器)的视频传送。混合器基本上检测会议 会话中的一个或多个最响亮的发言者，并将它们指定为(一个或多个)活 动发言者。会议服务器随后告知非活动端点抑制从其他端点到混合器或会 议桥的视频流输出。由于在会议会话期间活动发言者状态动态地变化，因 此各个端点的媒体信道特性被适当地重协商。
图4是根据本发明的上述实施例的操作方法的流程图。该过程开始于 块61，在该块中参与者"A"是活动发言者(例如，基于确定参与者"A"当前发言最响亮的检测算法)。由于其活动发言者状态，与参与者
"A"相关联的端点被会议服务器允许向会议桥发送和接收视频分组。所 有其他端点都已被经由信令来指示抑制视频输出。在块62，媒体混合器检 测到参与者"B"现在是会议中的最响亮发言者。结果，服务器为"A"和
"B"两者重协商视频媒体信道，使得参与者"A"从双向改为单向视频信 道，而参与者"B"从单向改为双向视频信道(块63)。(音频信道始终 保持双向)。
注意，在此实施例中，从每个端点到混合器的音频流是双向的，但是 视频流是经由会议服务器的信令来予以选择性地控制的，使得每个端点以 仅限接收或者发送/接收视频流方向模式进行操作。本领域的技术人员将会 明白，所涉及的参与者的视频传送方向模式(例如单向或双向)的变化可 以根据多种不同的协议和不同的信令机制而发生。这可以简单地涉及会议 服务器向端点设备发送对于停止发送实时传输协议(RTP)分组的请求消 息。例如，在会话发起协议(SIP)环境中，reINVITE或UPDATE消息可 以被发送到端点设备以抑制和重新允许视频传送。在SIP中，用于抑制和 允许视频流的方法可以包括包含会话描述协议(SDP)的MIME编码主体 部分。SDP进而包含关于每个媒体流的信息。媒体流描述中的一项涉及媒 体的方向性。因此，通过将标记为"发送/接收"的视频媒体流描述改为标 记为"仅限发送"或"仅限接收"的，服务器或端点可以将双向视频流转 换成单向视频流。类似地，通过将视频媒体流描述改回"仅限接收"，可 以恢复双向视频流。
在本发明的另一个实施例中，每个端点设备包括具备语音活动检测
(VAD)能力的设备或者模块，该设备或模块可以区分静默、呼吸、风 声、噪声等等和普通话音。在操作中，VAD设备仅在其检测到某人正在说 话时才触发到混合器的视频传送。基本上，当话音或语音活动被检测到 时，端点而不是会议系统迅速(与会议服务器)协商媒体信道特性从仅限 接收视频传送模式到发送/接收视频传送模式的变化。在所有其他情况下
(例如，静默、呼吸、风声、噪声等等)，去往混合器的视频流被抑制或 关断。
ii在以上实施例的略微变体中，端点不是在检测到语音活动时立即改变 到双向视频传送模式，而是可以首先使用现有的发言权控制机制和算法来 向会议主持者或会议服务器请求发言权控制。只有在端点被授予发言权控 制之后，会议服务器才会重协商端点的媒体信道特性，以允许端点开始向 混合器发送视频分组。
在本发明的另一实施例中，当在混合器处未从端点设备接收到音频
时，可以利用诸如指定信令事件(Named Signaling Event, NSE)之类的 带内信令机制来向端点设备指示切断视频传送。该方法与先前描述的实施 例的类似之处在于会议桥向端点设备指示出它应当停止/开始视频传送，但 是在此情况下，有效载荷(RTP)本身而不是信令被用作命令传送媒介， 从而使得该实施例独立于协议并且独立于编解码器。
在本发明的另一个实施例中，可以增强视频编码方案，以便通过与 H.26x视频编解码器中的"冻结画面"控制命令类似的方式告知端点设备 它是否应当传送。这在H.323网络中可利用H.245媒体控制原语来实现。
(H.245是H.323多媒体通信体系结构中的一种控制信令协议，并且用于 进行通信的H.323端点/终端之间的端到端H.245消息交换)。可以通过发 送关闭逻辑信道(CLC)命令来终止给定方向上的视频流，该命令具有关 闭两个端点之间的通信信道的作用。类似地，通过发送开放逻辑信道
(OLC)命令可以重新开放通信信道，以便传输视听和数据信息。
在另一实施例中，具有零比特率的H.245 FlowControl命令可用于使视 频信道保持建立，但无法传送任何数据。当视频再次需要信道时，具有原 始视频比特率的第二 FlowControl命令可被发送，从而允许视频再次流 动。
应当理解，本发明的要素也可以以计算机程序产品的形式来提供，该 计算机程序产品可以包括其上存储有指令的机器可读介质，这些指令可用 于将计算机(例如处理器或其他电子设备)编程为执行一系列操作。或 者，这些操作可以由硬件和软件的组合来执行。机器可读介质可以包括但 不限于软盘、光盘、CD-ROM、磁光盘、ROM、 RAM、 EPROM、 EEPROM、磁卡或光卡、传播介质或其他类型的适合于存储电子指令的媒体/机器可读介质。例如，本发明的要素可以以计算机程序产品的形式被下 载，其中该程序可以经由通信链路(例如调制解调器或网络连接)通过包 含在载波或其他传播介质中的数据信号而从远程计算机或电话设备传输到 作出请求的进程。
此外，虽然已经结合特定实施例描述了本发明，但是许多修改和变更 都完全处于本发明的范围之内。因此，说明书和附图应当被认为是说明性 的，而不是限制性的。
权利要求
1. 一种会议系统，包括混合器，该混合器可操作以用于对从多个端点设备接收的音频和视频分组进行处理，并且将经处理的音频/视频流传送回所述端点设备；以及用于与所述混合器和所述端点设备相连接的服务器，该服务器可操作以用于向第一端点设备发送使得该第一端点设备停止向所述混合器传送视频分组的第一传送，并且向第二端点设备发送使得该第二端点开始向所述混合器传送视频分组的第二传送。
2. 如权利要求1所述的会议系统， 应于触发事件而发生的。
3. 如权利要求1所述的会议系统， 检测到媒体流中的语音活动。
4. 如权利要求1所述的会议系统， 点获得对会议会话的发言权的授予。
5. 如权利要求1所述的会议系统， 用户界面的输入命令。
6. 如权利要求1所述的会议系统， 会话发起协议(SIP)事务。
7. 如权利要求1所述的会议系统， H.245 FlowControl消息。
8. —种用于与会议服务器相连接以控制会议会话的媒体呈现的计算机，包括 显不器；在所述计算机上运行以在所述显示器上产生图形用户界面的程序，该 图形用户界面向使用所述计算机的会议主持者提供会议参与者的列表以及 指定所述会议参与者之一为所述会议会话中的活动发言者的能力，该图形 用户界面响应于一会议参与者被指定为所述活动发言者而生成输出信号； 以及其中所述第一传送和第二传送是响 其中所述触发事件包括所述服务器 其中所述触发事件包括所述第二端 其中所述触发事件包括会议主持者 其中所述第一传送和第二传送包括 其中所述第一传送和第二传送包括用于将所述输出信号传送到所述会议服务器的外部接口 ，所述输出信 号使得所述会议服务器重协商与所述会议参与者相关联的端点设备的媒体 信道特性，使得所述端点设备在所述会议参与者被指定为活动发言者时开 始发送视频分组，并且所有其他会议参与者的端点设备抑制视频传送。
9. 一种会议系统，包括混合器，该混合器可操作以用于对从多个端点设备接收的音频和视频 分组进行处理，并且将经处理的音频/视频流传送回所述端点设备；以及用于响应于触发条件而允许从第一端点设备沿着第一媒体信道到所述 混合器的视频传送并且禁止从第二端点设备沿着第二媒体信道的视频传送 的装置。
10. 如权利要求9所述的会议系统，其中所述装置包括服务器，该服务器进行操作以响应于所述触发条件而利用信令机制和/或媒体协商原语来 动态地重协商所述第一媒体信道和第二媒体信道的特性。
11. 如权利要求9所述的会议系统，其中所述触发条件包括从所述第一端点发送到所述服务器的语音活动检测信号。
12. 如权利要求9所述的会议系统，其中所述触发条件包括所述第一 端点获得对会议会话的发言权控制。
13. 如权利要求9所述的会议系统，其中所述触发条件包括会议主持 者用户界面的输入命令。
14. 如权利要求9所述的会议系统，其中所述装置还用于响应于触发 条件而只允许从所述第一端点设备的视频传送。
15. —种由处理器实现的用于管理会议会话的方法，包括 检测在会议会话的一组参与者中为最响亮发言者的第一参与者； 允许从与所述第一参与者相关联的第一端点设备通过第一媒体信道到会议桥的视频传送；抑制从与该组参与者中的其余参与者相关联的每个端点设备的视频传送；自动检测来自该组参与者的为新的最响亮发言者的第二参与者； 抑制从所述第一端点设备的视频传送；以及允许从与所述第二参与者相关联的第二端点设备通过第二媒体信道到 所述会议桥的视频传送。
16. 如权利要求15所述的由处理器实现的方法，其中抑制从所述第一端点设备的视频传送的步骤包括重协商所述第一媒体信道以从双向转变到单向信道。
17. 如权利要求15所述的由处理器实现的方法，其中允许从所述第二 端点设备的视频传送的步骤包括重协商所述第二媒体信道以从单向转变到 双向信道。
18. 如权利要求15所述的由处理器实现的方法，其中允许从所述第二 端点设备的视频传送的步骤包括从会议服务器向所述第二端点设备发送信 号。
19. 一种由处理器实现的用于管理会议会话的方法，包括 混合从第一、第二和第三端点设备接收的音频流、以及从第一端点设备接收的视频流；将经混合的音频/视频输出流传送回所述第一、第二和第三端点设备； 响应于触发条件而自动发送第一传送到第一端点设备并自动发送第二 传送到所述第二端点设备，该第一传送使得第一端点设备抑制所述视频 流，并且该第二传送使得第二端点开始通过媒体信道流传输视频分组。
20. 如权利要求19所述的由处理器实现的方法，其中所述触发条件包 括所述第二端点获得对所述会议会话的发言权控制。
21. 如权利要求19所述的由处理器实现的方法，其中所述触发条件包 括从所述第二端点发送到会议服务器的语音活动检测信号。
22. 如权利要求19所述的由处理器实现的方法，其中所述触发条件包 括会议主持者用户界面的输入命令。
全文摘要
一种会议系统(10)包括混合器(12)，该混合器(12)可操作以用于对从多个端点设备(15、16、17、19、21)接收的音频和视频分组进行处理，并且将经处理的音频/视频流传送回端点设备(15、16、17、19、21)。端点设备(15、16、17、19、21)可被配置有相关联的视频相机(18、20、22)。服务器(11)与混合器(12)和端点设备(15、16、17、19、21)相连接。服务器(11)可操作以用于向第一端点设备(17)发送使得第一端点设备(17)停止向混合器(12)传送视频分组的第一传送。服务器(11)还可操作以用于向第二端点设备(21)发送使得第二端点设备(21)开始向混合器传送视频分组的第二传送。
文档编号H04M3/42GK101427557SQ200780014060
公开日2009年5月6日 申请日期2007年3月20日 优先权日2006年4月18日
发明者兰德尔·B·拜德, 尚塔努·萨卡尔, 帕斯卡尔·于阿尔, 斯拉范·瓦德拉康达, 曼珠纳什·S·班加洛, 朴拉萨德·米里娅勒, 沙伊尔姆·亚德拉帕蒂, 阿瑟姆·阿斯塔哈娜, 鲁克·K·苏雷兹克 申请人:思科技术公司