视频会议虚拟端点的制作方法
【技术领域】
[0001]本发明涉及提供高效大型视频会议的方法、计算程序和系统。
【背景技术】
[0002]动态图像的实时传输被用于多种应用中，比如说，视频会议、网络会谈、和视频电话。
[0003]视频会议系统允许音频、视频、和数据信息在多个会议场所之间的同时交换。被称多点控制单元(MCU)的系统执行切换功能以允许多个场所的端点在会议中互相通信。端点通常指的是视频会议终端，无论是至少配备有相机、显示器、扬声器或耳机和处理器的独立终端，还是被安装在具有相应性能的通用计算机上的视频会议软件客户端。在以下说明书中，这也会被称为“实际端点”，以与“虚拟端点”相区分，虚拟端点的定义随后会在说明书中进行公开。
[0004]MCU通过从场所接收会议信号的帧、对接收的信号进行处理、以及向合适的场所重新传送处理过的信号，来将这些场所联系在一起。会议信号包括音频、视频、数据和控制信息。在切换会议中，来自端点中的一个端点的视频信号(通常是最大声的发言人的视频信号)被广播至每个参与者。在连续呈现的会议中，来自两个或多个场所的视频信号被空间混合以形成供参会者观看的复合视频信号。当不同的视频流被一起混合成一个单一视频流时，合成的视频流被传送至视频会议的不同方，其中每个被传送的视频流优选地遵守指示谁接收哪个视频流的一组方案。一般来说，不同的用户更喜欢接收不同的视频流。连续呈现的或合成的图像是可能包括来自会议参与者的直播视频流、静态图像、菜单或其它可视图像的混合图片。该混合图片可例如由若干相同大小的图片组成、或由一个主图片和在内嵌窗口中的一个或多个较小图片(通常被称为画中画(PIP))组成。由于在屏幕内大小的不同，PIP通常要求比主图片的分辨率低得多的分辨率。
[0005]使用H.323和SIP标准的现有MCU的关键问题是缺少可伸缩性。为了主办大型会谈，可利用以下三种解决方案中的一种:
[0006]所有的端点呼入单一位置的一个大的MCU。这个解决方案的问题是过多的带宽消耗。举例来说，如果视频会议包括位于美国和欧洲的大量端点且MCU位于纽约，这就需要跨越MCU和在欧洲的端点之间的大西洋的巨大带宽使用量。
[0007]另一种可能性是通过使用H.243或其类似来级联若干MCU。这个解决方案的问题是可能会出现间断的用户体验。当所有端点呼入同一 MCU时，参与者通常会同时看到最近的4至10个发言人。当端点呼入两个不同MCU时，端点只能看到与另一 MCU相连的端点中的一个。
[0008]已经存在使用诸如SVC(可扩展视频编码)之类的技术处理上面讨论的问题的不基于标准的MCU，但是对基于标准的端点的投资会被损失掉，并且还会出现互操作性的问题。
【发明内容】
[0009]本文实施例的一个目标是克服或者至少缓解上面提到的缺点。通过所附的独立权利要求来实现这个目标和其它目标。
[0010]根据第一方面，提供了虚拟端点，该虚拟端点被适配为安装在计算机设备上，该计算机设备与适合参与多方视频会议的视频会议端点相关联。该视频会议端点被适配为在上行方向上对至少包括视频数据的上行媒体流进行编码和传送，以及在下行方向上对混合媒体流进行接收和解码。虚拟端点的特征在于包括:至少一个上行解码器，被适配为将从视频会议端点接收的上行经编码媒体流解码成上行经解码媒体流；缩放设备，被适配为将上行经解码媒体流缩放成经缩放的上行媒体流；以及至少一个上行编码器，被适配为将经缩放的上行媒体流编码成经编码的缩放上行媒体流。虚拟端点的特征还在于包括:第一下行解码器，被适配为适对第一分辨率的下行经编码媒体流进行解码；至少一个第二下行解码器，被适配为对第二分辨率的若干下行经编码媒体流中的至少一个进行解码；媒体合成器，被适配为合成第一分辨率和第二分辨率的经解码媒体流的混合下行媒体流；以及至少一个下行编码器，被适配为对混合下行媒体流进行编码。
[0011]根据实施例，虚拟端点的特征在于它还被适配为重新传送接收的上行经编码媒体流。
[0012]根据另一实施例，虚拟端点的特征在于第一分辨率是高清(HD)分辨率。
[0013]根据另一实施例，虚拟端点的特征在于缩放设备被适配为将经解码的媒体流中的视频数据缩放至第二分辨率。
[0014]根据一个实施例，虚拟端点的特征在于第二分辨率是画中画(PIP)分辨率。
[0015]根据另一实施例，虚拟端点的特征在于分别与被适配为参与多方视频会议的一个或多个其它端点相关联的一个或多个其它虚拟端点被适配为被安装在计算机设备上。
[0016]根据另一实施例，虚拟端点的特征在于虚拟节点被连接至切换节点，该切换节点被适配为将在上行方向上的经编码缩放上行媒体流和/或上行经编码媒体流切换至多方视频会议中所涉及的其他切换节点。
[0017]根据另一实施例，虚拟节点的特征在于切换节点还被适配为将第一分辨率的下行经编码媒体流和第二分辨率的若干下行经编码媒体流切换至与其它切换节点相关联的一个或多个虚拟节点。
[0018]根据第二方面，提供了在安装在计算机设备上的虚拟端点中的方法，该计算机设备与参与多方视频会议的视频会议端点相关联。视频会议端点正在上行方向对至少包括视频数据的上行媒体流进行编码和传送，以及正在下行方向对混合下行媒体流进行接收和解码。该方法的特征在于包括以下步骤:将从视频会议端点接收的上行经编码媒体流解码成上行经解码媒体流；将上行经解码媒体流缩放成经缩放上行媒体流；将经缩放上行媒体流编码成经编码缩放上行媒体流。该方法的特征还在于包括以下步骤:对第一分辨率的下行经编码媒体流进行解码；对第二分辨率的若干下行经编码媒体流进行解码；将第一分辨率的下行媒体流和第二分辨率的若干下行解码媒体流合成混合的媒体流；以及对混合的媒体流进行编码。
[0019]根据一个实施例，该方法的特征在于包括以下附加步骤:重新传送接收的上行经编码媒体流。
[0020]根据另一个实施例，该方法的特征在于第一分辨率是高清(HD)分辨率。
[0021]根据又一个实施例，该方法的特征在于包括以下附加步骤:将经解码媒体流中的视频数据缩放至第二分辨率。
[0022]根据一个实施例，该方法的特征在于第二分辨率是画中画(PIP)分辨率。
[0023]根据另一个实施例，该方法的特征在于分别与参与多方视频会议的一个或多个其它端点相关联的一个或多个其它虚拟端点被安装在计算机设备上。
[0024]根据另一个实施例，该方法的特征在于包括以下附加步骤:将在上行方向上的经编码缩放上行媒体流和/或上行经编码媒体流切换至多方视频会议中所涉及的其它切换节点。
[0025]根据另一个实施例，该方法的特征在于包括以下附加步骤:将第一分辨率的下行经编码媒体流和第二分辨率的若干下行经编码媒体流切换至与其它切换节点相关联的一个或多个虚拟节点。
[0026]根据第三方面，提供了包括以上讨论的至少一个虚拟端点的端点系统。该虚拟端点系统还包括至少一个切换节点，该切换节点被适配为将上行方向上的经编码缩放上行媒体流和/或上行经编码媒体流切换至多方视频会议中所涉及的其它切换节点。
【附图说明】
[0027]图1是根据本公开的实施例的示例性虚拟端点的图示；
[0028]图2是根据本公开的实施例的包括若干虚拟端点和切换节点的示例性MCU的示例；
[0029]图3是根据本公开的实施例被连接至各种不同类型的端点的示例性MCU的图示；
[0030]图4是根据本公开的实施例包括一个切换节点和两个虚拟端点的配对的分布式MCU的图示；
[0031]图5是根据本文实施例中的一个实施例以举例方式示出背板如何除运载若干低分辨率流以外只需要运送一个高分辨率流；
[0032]图6根据本公开的实施例以举例方式示出如何能够简单地对穿过背板的媒体流进行复制和转发穿过背板；以及
[0033]图7根据本公开的实施例以举例方式示出如何对穿过背板的媒体数据进行编码以在切换节点之间提供有效的格式。
【具体实施方式】
[0034]根据本文的实施例，引入虚拟端点来克服上述讨论的问题。一个虚拟端点专用于为一个特定实际端点服务，并且虚拟端点通常被与相关联的实际端点安装在同一局域网络中的服务器上，MCU或分布式MCU的一部分也被安装于此。
[0035]在上行方向上，虚拟端点至少包括上行解码器、缩放单元和上行编码器。在下行方向上，虚拟端点至少包括若干解码器、合成单元和下行编码器。
[0036]实际端点向其专用的虚拟端点传送会被上行解码器解码的经编码数据。经解码的数据可用于缩放单元，接下来，经解码的数据会被缩减到预先定义的或要求的分辨率。然后经缩减的数据会被上行编码器编码，并且进一步作为经缩减的流被传送至例如一个或多个流切换节点。此外，从实际端点接收的经编码数据作为未经缩减的流通过虚拟端点被转发至一个或多个媒介节点。
[0037]图1示出了上面讨论的虚拟节点的示例的图示。此处，在上行方向上虚拟端点的任务是创建和传送从其相关联的实际端点接收的两个经编码数据流，其中一个具有高分辨率并且另一个具有低分辨率。在下行方向中，虚拟端点的任务是对从一个或多个流切换节点订阅的若干经编码PIP (画中画)和一个经编码HD (高清)数据流进行解码、由经编码HD数据流和若干PIP合成连续呈现的图片、并且然后进一步对被传送回相关联的实际端点的整体连续呈现的图片进行编码。
[0038]在上述示例中，只有一个从相关联的实际端点接收的经编码数据的经缩减的流被传送至切换节点。然而，缩放单元应该被调整为按要求对若干不同分辨率的流进行缩减。例如，根据图片象限的分辨率在连续呈现的视图中是非常常见的。
[0039]单一 MCU可以被实现为在在售服务器/计算机上的软件，该MCU包括若干虚拟端点外加切换核心，如图2所示。可替换地，虚线内的组件可以被本地部署在服务器上。在下文中，在理解非虚拟化部署也是可能的的前提下，描述了虚拟化示例。