编码器的动态分配的制作方法
【技术领域】
[0001]本发明涉及提供编码器的动态分配的方法、计算机程序和系统。
【背景技术】
[0002]在若干应用(比如，例如视频会议、网络会议和视频电话)中采用了实时的运动图片的传输。
[0003]视频会议系统允许在多个会议地点当中同时互换音频、视频和数据信息。被已知为多点控制单元(MCU)的系统执行交换功能，以允许多个地点的端点在会议中互通。端点通常指的是视频会议终端，要么是至少装备有摄像机、显示器、扬声器或耳机和处理器的独立终端，要么安装在通用计算机上的具有相应能力的视频会议软件客户端。
[0004]通过从地点接收会议信号的帧、处理所接收的信号和重新传输所处理的信号到合适的地点，MCU将地点链接在一起。会议信号包括音频、视频、数据和控制信息。在交换的会议中，来自端点中的一个端点的视频信号(通常是最响亮发言者的视频信号)被广播到每个参会者。当不同的视频流已被混合在一起成为一个单个的视频流时，所合成的视频流被传输到视频会议的不同方，其中每个被传输的视频流优选地遵循指示谁将接收哪个视频流的一组方案。一般而言，不同的用户倾向于接收不同的视频流。持续存在或合成图像是可包括来自会议中的参会者的实时视频流、静态图像、菜单或其它视觉图像的组合图片。所组合的图片可以例如由若干相等大小的图片组成，或由除了插入窗口中的一个或多个较小图片(一般被称为画中画(PIP))之外还有一个主图片组成。由于屏幕内的大小差别，PIP通常需要比主图片低得多的分辨率。
[0005]基于转码架构的视频MCU将每个所连接的参会者(视频终端)使用一个专用编码器。优点是每一个参会者可以拥有会议的个性化视图，但是从网络弹性的角度来说，更重要的是如下的事实，即这确保了如果一个参会者通过差的网络连接，那么这不会影响其他参会者所体验的接收到的视频质量。
[0006]如果连接到共享编码器的端点中的一个端点有不好的网络，那么使用共享编码器方式的现有视频MCU遭受质量问题。特定端点可以要求MCU: (I)连续地发送完整的帧间帧(I帧)，以“清除”任何所接收到的视频错误；或⑵要求MCU降低其传输速率并发送更低分辨率或更低帧速率的视频流，以减少所使用的带宽，期望降低所丢失的分组的数目。因为MCU中的编码器是在若干端点中共享的，所以显然这两个问题将降低这些其他端点的体验。
[0007]因此，需要一种用于在MCU中共享编码器资源而不损害图像质量和带宽适应性的方法。
【发明内容】
[0008]本文实施例的一个目的是克服或至少减轻上述缺点。这个目的和其它目的是通过本文所附的独立权利要求实现的。根据本文的实施例，提供了一种在多个端点的多方视频会议中动态分配编码器的方法。所述视频会议端点适于编码和传输至少包括视频数据的媒体流。所述方法包括:请求新的盘(pad)，在所述请求新的盘时创建新的编码器，并确定是否达到编码器的最大数目。如果未达到编码器的最大数目，则将所述新的盘链接到所述新的编码器，如果达到了编码器的最大数量，则将所有现有的盘链接到所述新的编码器，并释放所有未使用的编码器。
[0009]在本文的其他方法中，还包括监视分组丢失指示。如果在自上一个接收的PLI起的预定义的时间段内接收到PLI，则请求新的盘。
[0010]在本文的其他方法中，包括当新的端点进入所述视频会议时请求新的盘。
[0011]在本文的其他方法中，盘是在交换节点之间背板上的转码实体内的虚拟实体。
[0012]在本文的其他方法中，盘是在多个端点之间多点控制单元(MCU)上共享编码器资源的虚拟端点(VE)内的虚拟实体。
[0013]在本文的其他实施例中，提供了一种在多个端点的多方视频会议中提供编码器动态分配的系统。所述视频会议端点适于编码和传输至少包括视频数据的媒体流。所述系统适于请求新的盘，在所述请求新的盘时创建新的编码器，并确定是否已达到编码器的最大数目。如果未达到编码器的最大数目，则所述系统适于将所述新的盘链接到所述新的编码器。如果达到了编码器的最大数目，则所述系统适于将所有现有的盘链接到所述新的编码器。所述系统适于释放所有未使用的编码器。
[0014]在系统的其他实施例中，盘是在交换节点之间背板上的转码实体内的虚拟实体。
[0015]在系统的其他实施例中，盘是在多个端点之间多点控制单元(MCU)上共享编码器资源的虚拟端点(VE)内的虚拟实体。
[0016]在其他实施例中，提供了一种在多个端点的多方视频会议中动态分配编码器的计算机程序产品。所述视频会议端点适于编码和传输至少包括视频数据的媒体流。所述计算机程序产品包括计算机可读存储介质，该计算机可读存储介质具有包含在所述介质中的计算机可读程序代码。所述计算机可读程序代码包括被配置为执行本文所描述的方法的所有步骤的计算机可读程序代码。
【附图说明】
[0017]图1示出了在涉及虚拟端点和流交换节点的视频会议中来自当前发言者的端点的视频数据可能如何被处理和交换的结构的示例，
[0018]图2是分布式视频会议的示例，
[0019]图3是示出了示例实施例的流程图，
[0020]图4是具有各自被链接到由实线所示的一个盘的四个非共享编码器的虚拟端点或转码器实体的快照的示意图。
【具体实施方式】
[0021]相比于小型会议，大型会议(通常包括数十个参会者)通常将使许多参会者观看完全相同的图像(当前发言者加上最近的4或9个发言者)，小型会议通常包括最多11个参会者，其中每个人将看到不同的图像，例如，大视图中的当前发言者加上现场“缩略”视图中的9个其他参会者(也被称为画中画(PIP))。参会者将不可能看到自己。
[0022]如果存在分组丢失，则存在这样的可能性:一些参会者(尤其是如果他们是单个位置中的远程参会者，使得他们将通过WAN看到相同的质量)将具有相同程度的分组丢失或相同的带宽限制。
[0023]因此将共享相同带宽、分组丢失、分辨率等的端点分组并使用相同的虚拟端点(VE)以产生该特定流是有意义的。根据本文的实施例，对VE和真实端点之间的连接的分组丢失特性的持续监视被提供，并可以在任何时间将端点移动到不同的VE。
[0024]图1示出了在涉及虚拟端点和流交换节点的视频会议中来自当前发言者的端点的视频数据可能如何被处理和交换的可能结构。被包括在MCU中的组件被封闭在虚线中。除了其他之外，端点通常包括解码器和编码器，其中编码器对被传输到MCU以进一步进行转码和交换的视频数据进行编码。在一些实施例中，在MCU中实现虚拟端点，除了虚拟端点之外，MCU还包括解码器和编码器以用于使各个端点从必须以不同的格式和分辨率生成并传输视频数据中释放出来。
[0025]注意，VE是构成输出图像的实体，并执行实时图像到例如H.264标准的编码。
[0026]当来自端点的视频数据已由其专用的虚拟端点处理时，该视频数据被转发到交换节点，所述交换节点将所处理的视频数据交换到在视频会议中分别为从当前发言者或前一发言者的端点订阅视频数据的端点服务的其他虚拟端点。图1的上部示出了订阅视频数据的每个端点的一个专用的虚拟端点的情况，而图1的下部示出了订阅同一视频数据的三个端点共享同一虚拟端点的情况。因此，订阅端点在MCU和端点之间共享线路侧的编码器。线路侧共享的编码器与非常大的会议(无论它们是否为分布式的)相关，因为编码器极大地增加了可以连接到单个交换节点的参会者的数目。
[0027]另一方