>[0040]如图3所示，在MCU内的虚拟端点被连接至相关联的实际端点，实际端点可以是各种不同类型的端点，例如，群组视频端点、个人视频端点、移动视频端点和软件视频端点，如图3所示。
[0041]如图4所示，与被虚线框起来的若干虚拟端点相关联的多个流切换节点可以通过背板(backplane)以分布式方式进行连接，背板以树形和/或网状拓扑结构连接多个流切换节点。多个流切换节点和相关联的虚拟端点可以被部署在同一主机(物理服务器)上，也可以被部署在地理上分布的不同主机上。
[0042]根据本文的实施例，虚拟端点使MCU中的内部逻辑对实际端点不透明。实际端点可以是使用任意数量的语音和视频编解码器的任何基于标准的SIP、H.323、HTML5端点。
[0043]如先前所示，虚拟端点可以同意从切换核心接收若干视频流:
[0044]-当前发言人以高分辨率；
[0045]-最近任意数量的发言人(例如，4-9个发言人)，作为低分辨率流。
[0046]该规则的例外是作为当前发言人的参与者有可能想要以高分辨率接收先前发言人，因为似乎没有参与者想要在全屏视图中观看自己。
[0047]然后虚拟端点会对这些流进行解码、将其缩放和合成为良好的连续呈现的输出、并且把生成的图像编码成适用于该虚拟端点所连接的实际端点的视频流。
[0048]可选流切换节点可使其所有的流可用并且通过背板。因此，在分布式系统中，另一个流切换节点可以请求接收任意数量的流。这就意味着所有端点的用户体验可能是完全相同的，例如，当前发言人在全屏幕上并且近期发言人在小缩略图中。多个流可以在流切换节点之间传输的事实是与现有MCU使用的例如H.243之类的机制进行级联的方式的主要不同(这些进行级联的老方式只提供MCU之间的单一双向视频流)。
[0049]因为在背板上传输多个流，因而需要关注带宽使用量。然而，只有表示当前和先前发言人的流以全分辨率进行传输。其它参与者可以被缩减成全屏视图的1/25和1/100之间。在分布式会议中，这就意味着背板从来不需要搭载超过一个高分辨率流外加例如九个低分辨率流。如果低分辨率流的带宽是全分辨率流的带宽的1_5%，这就意味着穿过两个节点之间的背板的总带宽通常会在单一流的带宽的I到1.5倍之间。其图示如图5所不。
[0050]与传统非分布式MCU会议相比，本文的实施例提供了显著的节省。作为示例，考虑具有例如100个在美国的参与者和100个在欧洲的参与者的跨国公司的全体会议的用例。在传统的MCU部署中，所有200个参与者会呼入单个MCU。这就要求跨越大西洋的100个全分辨率流。根据本文实施例中的一些实施例，只有一个全分辨率流会跨越大西洋传送，外加多达例如9个较小的近期发言人的“缩略图”。如果每个缩略图是全分辨率流的1/100，这就意味着我们发送了 1.09个流而不是发送100个流。
[0051]从最终用户的角度来看，不管最终用户处于什么位置，为了加入特定会议而拨打的号码或URI (统一资源标识符)是相同的。端点会基于配置的位置或者基于任意数量的众所周知的方法的自动位置分配来连接至其最靠近的切换节点。
[0052]在分布式会议中，媒体数据会通过一个或多个切换节点。在理想情况中，切换节点之间的连接是完美的，没有分组丢失。在这种情况下，穿过背板的媒体流能够简单地被复制并被转发穿过背板，如图6所示。
[0053]然而，在分组丢失或在网络中的其它网络问题的情况下，最好添加一些鲁棒性/恢复力。根据本文的实施例，有两种方法。第一种方法是对在背板上传送的媒体进行再编码，第二种方法是通过向媒体流添加错误纠正来保护媒体流。当然，它们的组合也有可能一一将媒体再编码成更好恢复的格式(例如，使用诸如在H.264中存在的那些分层编码方法)并且额外添加错误纠正。
[0054]对媒体进行再编码可能向媒体流加入例如1-1OOms量级的延迟。加入错误纠正可能会增加开销及可能要求更高的带宽。在一些情况下，比如当多个流切换节点位于相同的数据中心时，可对网络进行设计从而避免分组丢失。因此，本文描述的实施例可以在不加入延迟的情况下被扩展。
[0055]为了减小切换节点之间的带宽，穿过背板的媒体数据能够被编码成更高效的格式。例如，如果参与会议的端点使用H.263和/或H.264，那么能够在背板两端使用诸如ITU-T H.265/HEVC之类的更具带宽效率的编码解码器，以便节省20-50%的带宽。这在图7中利用在朝向背板接口的每个切换节点上的解码器(dec)和编码器(enc)示出。
【主权项】
1.一种经适配被安装在计算机设备上的虚拟端点，所述计算机设备与被适配为参与多方视频会议的视频会议端点相关联，其中，所述视频会议端点被适配为在上行方向上对至少包括视频数据的上行媒体流进行编码和传送，并且在下行方向上对混合的媒体流进行接收和解码，其特征在于， 至少一个上行解码器，所述上行解码器被适配为将从所述视频会议端点接收的上行经编码媒体流解码成上行经解码媒体流；缩放设备，所述缩放设备被适配为将所述上行经解码媒体流缩放成经缩放上行媒体流；至少一个上行编码器，所述上行编码器被适配为将所述经缩放上行媒体流编码成经编码缩放上行媒体流； 第一下行解码器，所述第一下行解码器被适配为对第一分辨率的下行经编码媒体流进行解码；至少一个第二下行解码器，所述第二下行解码器被适配为对第二分辨率的若干下行经编码媒体流中的至少一个下行经编码媒体流进行解码；媒体合成器，所述媒体合成器被适配为合成所述第一分辨率的经解码媒体流和所述第二分辨率的经解码媒体流的混合下行媒体流；以及至少一个下行编码器，所述下行编码器被适配为对所述混合下行媒体流进行编码。2.根据权利要求1所述的虚拟端点，其特征在于，所述虚拟端点还被适配为重新传送接收的所述上行经编码媒体流。3.根据权利要求1或2所述的虚拟端点，其特征在于，所述第一分辨率是高清(HD)分辨率。4.根据权利要求1-3中任一项所述的虚拟端点，其特征在于，所述缩放设备被适配为将所述经解码媒体流中的视频数据缩放至所述第二分辨率。5.根据权利要求1-4中任一项所述的虚拟端点，其特征在于，所述第二分辨率是画中画(PIP)分辨率。6.根据权利要求1-5中任一项所述的虚拟端点，其特征在于，分别与被适配为参与所述多方视频会议的一个或多个其它端点相关联的一个或多个其它虚拟端点被适配为被安装在所述计算机设备上。7.根据权利要求1-6中任一项所述的虚拟端点，其特征在于， 所述虚拟端点被连接至切换节点，所述切换节点被适配为将在所述上行方向上的所述经编码缩放上行媒体流和/或所述上行经编码媒体流切换至所述多方视频会议中所涉及的其它切换节点。8.根据权利要求7所述的虚拟端点，其特征在于，所述切换节点还被适配为将所述第一分辨率的所述下行经编码媒体流和所述第二分辨率的所述若干下行经编码媒体流切换至与所述其它切换节点相关联的一个或多个虚拟端点。9.一种在安装于计算机设备上的虚拟端点中的方法，所述计算机设备与参与多方视频会议的视频会议端点相关联，其中，所述视频会议端点在上行方向上对至少包括视频数据的上行媒体流进行编码和传送，并且在在下行方向上对混合下行媒体流进行接收和解码，其特征在于， 将从所述视频会议端点接收的上行经编码媒体流解码成上行经解码媒体流； 将所述上行经解码媒体流缩放成经缩放上行媒体流； 将所述经缩放上行媒体流编码成经编码缩放上行媒体流； 对第一分辨率的下行经编码媒体流进行解码； 对第二分辨率的若干下行经编码媒体流进行解码； 合成所述第一分辨率的下行媒体流和所述第二分辨率的若干下行媒体流的混合媒体流；以及 对所述混合的媒体流进行编码。10.根据权利要求9所述的方法，其特征在于以下附加步骤:重新传送接收的所述上行经编码媒体流。11.根据权利要求9或10所述的方法，其特征在于，所述第一分辨率是高清(HD)分辨率。12.根据权利要求9-11中任一项所述的方法，其特征在于以下附加步骤:将所述经解码媒体流中的视频数据缩放至所述第二分辨率。13.根据权利要求12所述的方法，其特征在于，所述第二分辨率是画中画(PIP)分辨率。14.根据权利要求9-13中任一项所述的方法，其特征在于，分别与参与所述多方视频会议的一个或多个其它端点相关联的一个或多个其它虚拟端点被安装在所述计算机设备上。15.根据权利要求9-14所述的方法，其特征在于以下附加步骤:将在所述上行方向上的所述经编码缩放上行媒体流和/或所述上行经编码媒体流切换至所述多方视频会议中所涉及的其它切换节点。16.根据权利要求15所述的方法，其特征在于以下附加步骤:将所述第一分辨率的所述下行经编码媒体流和所述第二分辨率的所述若干下行经编码媒体流切换至与所述其它切换节点相关联的一个或多个虚拟端点。17.—种虚拟端点系统，所述虚拟端点系统包括至少一个根据权利要求1-8中任一项所述的虚拟端点，所述虚拟端点系统还包括至少一个切换节点，所述切换节点被适配为将在所述上行方向上的所述经编码缩放上行媒体流和/或所述上行经编码媒体流切换至所述多方视频会议中所涉及的其它切换节点。
【专利摘要】提供专用于为一个特定实际端点服务的一个虚拟端点的方法和设备，并且该虚拟端点通常与相关联的实际端点被安装在相同本地网络中的服务器上，MCU或分布式MCU的一部分也被安装于此。在上行方向上，虚拟端点至少包括上行解码器、缩放单元和上行编码器。在下行方向上，虚拟端点至少包括若干解码器、合成单元和下行编码器。
【IPC分类】H04N7/14, H04N7/15
【公开号】CN105144702
【申请号】CN201480012476
【发明人】哈康·德尔利, 贾尔斯·罗素·钱伯林, 汉尼·穆斯塔法·伊尔萨耶得·阿卜德卡迪尔·哈希姆
【申请人】思科技术公司
【公开日】2015年12月9日
【申请日】2014年2月21日
【公告号】CA2897920A1, US9113037, US20140247320, US20150312522, WO2014135383A1