Mcu堆叠中的视频布局及处理的方法
【技术领域】
[0001] 本发明涉及多点会议技术，并且更具体地涉及在通过堆叠两个或更多个多点控制 单元（MCU)进行的会议中的视频布局。
【背景技术】
[0002] 公司和组织越来越多地使用音频/视频会议技术和多点会议技术来提高组织内 的通信和效率。大型组织在组织各处分布大量的多媒体终端。通常，一个或多个多点控制 单元（MCU)为这些端点的内部多点多媒体会议技术的需要而服务。
[0003] 多媒体端点是一种联网的终端，其能够提供与其他终端或MCU (例如，Polycom? VSX8000)的实时双向视听通信。端点还可以包括MCU。MCU是位于网络节点处或在终端中的 会议控制实体，并可以经由访问端口接收来自端点的多个媒体信道。根据特定标准，MCU处 理视听和数据信号，并将所处理的信号分发到所连接的信道。端点和MCU的更详细的说明 可以在国际电信联盟（"ITU"）标准中找到，所述标准例如但不限于Η. 320、H. 324和H. 323 标准。
[0004] 几种技术已被用于改善多点通信系统的使用和效率。这些技术中的一些通过使 得能进行无预约呼叫、临时呼叫（ad-hoc call)、虚拟会议室等而改善了建立通信会话的过 程。这些技术的一些在美国专利号7, 085, 243、7, 310, 320和7, 830, 824中公开，其各自通 过引用并入本文。
[0005] 其他技术通过供应监测和控制多个MCU的Web服务器来改善对多点通信网络的 控制。使用快速更新的web控制技术的示例公开在美国专利号6, 760, 750中，其通过引用 而并入本文。已经公开了附加的技术，以用于利用一个或多个MCU的资源、以用于级联一 个或多个MCU、并且一般以用于改善一个或多个MCU的资源使用。例如，参见美国专利号 8, 542, 266、7, 800, 642、7, 492, 730、7, 174, 365、7, 113, 992和美国专利公开号 2012-0236111 A1，其各自通过引用并入本文。
[0006] 参考图1，MCU 116 -般具有有限的硬件和/或软件资源，例如，MCU 116可能只 具有对来自一定数目的端点114的视频信号进行编码/解码的能力。当MCU 116可能具 有有限的处理能力（硬件或软件）以支持视频信号的编码或解码时，就可能会发生这种情 况。在另一个示例中，MCU 116可以具有有限数量的视频输入端口。在每种情况下，使用级 联MCU(116a、116b)的级联会议可用于克服资源限制。
[0007] 在级联会议中，会议参与者可以被划分成两个或更多个网络中的两组或更多个 组，并且每一个与不同的MCU 116相关联，并且其中一个MCU 116被指定为会议主MCU 116a(MMCU)，而另一个MCU 116被指定为会议从MCU 116b(SMCU)。这种技术还可以在位于 不同站点的参与者之间的会议中使用，每个站点具有其自己的MCU 116，每个参与者可以使 用他自己的本地MCU 116,并且整个会议可以通过级联不同的本地MCU 116进行。
[0008] 图1是多点会议技术通信系统100的框图。例如，系统100可以由具有多个区域网 络110的公司或由具有多个区域网络110的全球会议技术服务提供商使用。区域网络110 可以对应于单独的会议技术站点，并可以经由分组交换网络120和/或电路交换网络130 彼此通信。虽然区域网络110可以对应于特定的基于分组的网络段或域，但是这不是必须 的，并且区域网络110可以跨越多个网络段或域。每个区域网络110可具有多个多媒体端 点114和一个或多个本地或特定于站点的MCU 116。
[0009] -个或多个控制服务器112(CS)可以用于每个区域网络110中。在每个区域网络 110内，本地端点114的每个可以经由分组交换网络和/或电路交换网络与其相关联的本地 MCU 116进行通信（未示出）。在通信系统100的一个示例中，控制服务器112是Web服务 器，其可以通过网络120使用互联网协议（IP)与每个本地MCU 116进行通信。与MCU 116 的通信可以经由应用程序接口（API)模块（未示出）来完成，所述应用程序接口模块可以 是MCU 116的一部分。控制服务器112可以是用于执行多站点会议的级联的专用服务器， 但也可被嵌入在MCU 116中，或者可以包括共享单个Web服务器的应用。例如，如在上文并 入的专利和专利申请参考中所公开的，单个Web服务器可以执行附加的会议技术应用，并 可以用于管理连接、呼叫、虚拟会议室、监测和控制MCU 116等。
[0010] 在一个替代示例中，除了与MCU 116进行通信外，控制服务器112可以与管理服务 器（未示出）进行通信（例如，公司或全球服务提供商的服务器）。管理服务器可以包括潜 在端点用户的管理数据库（未示出），所述潜在端点用户诸如是公司员工或全球服务提供 商的客户。管理数据库可以包括诸如姓名、不同类型的地址（例如电子邮件、电话等）、ID 号（例如员工ID号、客户账单号或客户ID号）、认证号码和会议室号之类的信息。在另一 个实施例中，控制服务器112和/或MCU 116可以包括管理服务器。
[0011] 根据正在进行的会议的类型，组织相关联的会议的视频。一种会议类型被称为视 频切换会议，其中每个与会者看到一个所选择的参与者（视频的一个端点114的源）。会议 期间，所选择的参与者可以保持不变，或者可以根据会议的动态而改变。例如，当前活跃的 发言者可作为会议视频而向所有的参与者（即在所有端点114处）示出。一旦活跃发言者 改变，则可示出一个新的活跃发言者。
[0012] 另一种会议类型是连续呈现会议（CP)，其中贯穿会议，来自一个或多个所选择的 端点114的视频可以被连续地示出。在连续呈现级联会议中，SMCU 116b可以根据SMCU 116b相关联的会议布局，将来自其相关联区域网络110的所选参与者的视频信号构成连续 呈现视频。相关联的会议的混合音频和视频以类似于单个参与者的视频和音频的方式被传 递到MMCU 116a。一个常见的连续呈现过程涉及缩放来自各种源用户终端的视频数据来改 变帧分辨率，以便在以后将其并入到连续呈现布局和视频混合中。
[0013] MMCU 116a可以将从一个或多个SMCU 116b接收的音频和视频和来自与MMCU 116a相关联的参与者组的所选参与者的音频和视频相混合。其结果是级联会议的所混合的 音频和视频。然后MMCU 116a可以将级联会议的所混合的音频和视频递送到与它自已相关 联的端点114a中的每一个，并且递送到所连接的一个或多个SMCU 116b。一个或多个SMCU 116b中的每一个可将级联会议的所混合的音频和视频分发到与其相关联的端点114b。
[0014] 管理级联会议的一个挑战是，每个MCU 116 (MMCU 116a和SMCU 116b)从与其相关 联的组选择要被混合和显示的参与者（端点114)，而这与所选择的参与者与其他相关联组 中的参与者如何相关无关。另外，与MMCU 116a相关联的参与者的图像的尺寸往往不同于 与SMCU 116b相关联的参与者的图像。
[0015] 如图2所示，连续呈现布局200被用作是在与MMCU 116a相关联的四个端点 114al-114a4和与SMCU 116b相关联的四个端点114bl-114b4之间的会议的布局。参与者 AM、BM、CM和DM可分别与端点114al-114a4相关联，而参与者AS、BS、CS和DS可分别与端 点114bl-114b4相关联。最活跃的发言者可以是参与者AM、BM、DM和AS，并且期望从在2x2 的连续呈现布局中的最活跃的参与者中选择和示出视频。然而，在级联会议中，来自SMCU 116b的视频被当做是来自任何其他端点114a的视频。布局200示出了来自SMCU 116b (AS、 BS、CS和DS)的所构成的视频如何取代在级联布局中的单个参与者的图块位置。其结果是， 与SMCU 116b相关联的参与者的每一个都得到了一个更小的屏幕区域（例如，在2X2布局 中通常向参与者指派四分之一的空间）。
[0016] -种校正与MMCU 116a相关联的参与者的图像尺寸相比于与SMCU116b相关联的 参与者的图像尺寸的差别的方式是，通过迫使SMCU 116b使用视频切换布局并递送单个所 选参与者的视频。单个所选参与者的图像被放置在级联会议的布局中。布局220图示了迫 使SMCU 116b工作在切换模式