用于数据流分布式混合的设备和方法
【专利摘要】本发明涉及一种用于数据流的分布式混合设备，包括主多媒体服务器(10)，能够接收至少一个输入数据流(A，B，C)和输出至少一个输出数据流(A’，B’，C’)，以及至少一个辅多媒体服务器(20)，能够接收至少一个输入数据流(D，E，F)和输出至少一个输出数据流(D’，E’，F’)，主多媒体服务器包括选择模块(11)，设置成用来从输入数据流中选择多个数据流(A，B，E，F)，和全局混合模块(13)，设置成用来混合所选择的数据流从而获得汇聚流(S)，并且辅多媒体服务器包括局部混合模块(21)，设置成用来混合由辅多媒体服务器所接收到的并由主多媒体服务器的选择模块所选择的至少两个输入数据流(E，F)从而获得能够被主多媒体服务器的全局混合模块为获得汇聚流所使用的输入中间流(T)。本发明还涉及相应的分布式混合方法。
【专利说明】用于数据流分布式混合的设备和方法
【技术领域】
[0001]本发明涉及数据流的传输和混合领域，尤其是音频和/或视频电话会议环境中的多媒体音频和视频数据流。
【背景技术】
[0002]近些年，信息技术的进步以及对优化工作时间和减少行程的需求推动了电话会议系统的当前增长。
[0003]惯常的电话会议系统基于多个视频电话参与者之间的数据流传输，具有适用于声首的首频流和适用于图像的视频流。
[0004]为了最好地管理此类电话会议，所讨论的各种数据流由多媒体电话服务器管理，它负责组织相关人员的视频会议。该服务器接收来自视频会议参与者的各种数据流，以及通过混合它们处理这些各种各样的数据流从而构建输出数据流以传输回各个参与者。
[0005]在视频数据的情况下，中心多媒体视频会议服务器可从不同的参与者接收一定数量的视频流，并可向他们广播其中混合了这些流的单个视频流，例如作为视频马赛克。
[0006]为了处理不同的输入和输出流，该多媒体会议服务器具有受限计算功率的混合装置，用于防止管理参与者数量超出这些处理装置所允许的容量的视频会议。因此，这些多媒体会议服务器目前不是可扩展的。
[0007]当前的多媒体会议服务器还需要所有的参与者由同一服务器来操控，当会议服务分布于多台机器(农场，云，等等)中时难以管理。
[0008]因此，就需要数据流混合系统是可扩展的并且计算能力超出当前多媒体服务器的计算能力。本发明的目标是克服上述缺点。
【发明内容】
[0009]为此，本发明提出一种用于数据流的分布式混合设备，其包括主多媒体服务器，能够接收至少一个输入数据流和输出至少一个输出数据流，以及至少一个辅多媒体服务器，能够接收至少一个输入数据流和输出至少一个输出数据流，主多媒体服务器包括选择模块，设置成从输入数据流中选择多个数据流，以及全局混合模块，设置成混合所选择的数据以便获取汇聚流，辅多媒体服务器包括局部混合模块，设置成混合由辅多媒体服务器所接收并由主多媒体服务器的选择模块所选择的至少两个输入数据流，从而获得主多媒体服务器的全局混合模块可用的输入中间流，以便获得汇聚流。
[0010]在一个实施例中，主多媒体服务器和辅多媒体服务器各自包括通信模块，设置成将信息从选择模块传输至辅多媒体服务器，该信息指示由辅多媒体服务器所接收的哪些输入数据流已经被选择模块所选择，以及将输入中间流从辅多媒体服务器的局部混合模块传输至主多媒体服务器的全局混合模块。
[0011]在一个实施例中，其中输出数据流包括汇聚流，主多媒体服务器的通信模块设置成将汇聚流从主多媒体服务器的全局混合模块传输至各个辅多媒体服务器的通信模块。[0012]在一个实施例中，对于各个辅多媒体服务器，全局混合模块设置成提供包括汇聚流的输出中间数据流，所述汇聚流中移除了由辅多媒体服务器所提供的输入中间数据流，主多媒体服务器的通信模块设置成将汇聚流从主多媒体服务器的全局混合模块传输至辅多媒体服务器的通信模块，以及辅多媒体服务器的局部混合模块设置成通过混合输出中间数据流和输入中间数据流来获得从辅多媒体服务器输出的各个输出数据流。
[0013]在一个实施例中，其中各个输入数据流与一个输出数据流相关，对于从辅多媒体服务器输出的各个输出数据流，辅多媒体服务器的局部混合模块设置成从所述输出数据流中移除与其相关的输入数据流。
[0014]在一个实施例中，主多媒体服务器还包括局部混合模块,设置成一旦选择模块选择了所述输入数据流时就混合主多媒体服务器所接收的至少两个数据流，从而允许系统内的计算负荷更为分布。
[0015]在一个有利的实施例中，各个局部混合模块还设置成解码输入数据流和编码输出数据流，从而允许与编码数据相关的计算负荷进一步分布于多个服务器。
[0016]本发明还提出一种数据流的分布式混合方法，由包括主多媒体服务器和至少一个辅多媒体服务器的分布式混合设备实施，该方法包括步骤:
[0017]在主多媒体服务器中接收至少一个输入数据流和在辅多媒体服务器中接收至少一个输入数据流；
[0018]从输入数据流中选择多个数据流；
[0019]一旦选择了由辅多媒体服务器所接收的多个输入数据流，则混合由辅多媒体服务器所接受和选择的所述输入数据流，以便获得输入中间数据流，
[0020]在主多媒体服务器中，藉助于输入中间数据流，混合所选择的数据流，以便获得汇聚流；以及，
[0021 ] 从主多媒体服务器中输出至少一个第一输出数据流和从辅多媒体服务器中输出至少一个第二输出数据流，所述输出数据流从汇聚流中获得。
[0022]在一个有利的实施例中，本方法包括步骤:对于各个辅多媒体服务器，
[0023]获得包括汇聚流的输出中间数据流，所述汇聚流中移除了辅多媒体服务器所提供的输入中间数据流，
[0024]将所述输出中间音频数据流从主多媒体服务器传送至辅多媒体服务器，以及，
[0025]通过混合输出中间数据流和输入中间数据流来获得从辅多媒体服务器输出的各个输出数据流。
[0026]在一个特别适用于音频数据流的实施例中，其中各个输入数据流与一输出数据流相关，对于从辅多媒体服务器输出的各个输出数据流，从所述输出数据流中移除与该输出数据流相关的输入数据流。
[0027]在一个有利的实施例中，接收输入数据流的步骤包括解码所述输入数据流，以及输出数据流的输出步骤包括编码所述输出数据流，从而允许与数据编码相关的计算负荷进一步分布于多个服务器。
[0028]在一个实施例中，混合设备是适用于混合视频数据流的设备并且该输入和输出数据流为视频数据流。
[0029]在另一实施例中，混合设备是适用于混合音频数据流的设备并且该输入和输出数据流为音频数据流。
[0030]在一个特定实施例中，输入数据流的上述选择包括在输入数据流的集合中选择具有最高音频电平的预定数量的输入数据流，以便在会议期间确保良好的声音质量。
[0031]在另一特定实施例中，输入数据流的上述选择包括选择预定的输入数据流，以便能够为会议参与者提供优先权。
【专利附图】
【附图说明】
[0032]本发明的其它特征和优点通过下面详细描述的说明书和下述附图而变得更为清晰:
[0033]图1示出了根据本发明适用于数据流的分布式混合设备；
[0034]图2示出了根据本发明适用于数据流的分布式混合方法的步骤；
[0035]图3示出了根据本发明适用于分布式混合的设备的第一实施例；和，
[0036]图4示出了根据本发明适用于分布式混合的设备的第二实施例。
【具体实施方式】
[0037]我们首先参考图1，它示意性地说明了根据本发明适用于数据流的分布式混合设备。
[0038]适用于数据流的分布式混合设备包括主多媒体服务器10和至少一个辅多媒体服务器20。图1仅以说明为目的，示出了两个辅多媒体服务器20和30，，但可以使用任意数量的辅多媒体服务器，应记得，它们的数量越多，本发明具备的优势效应越大。为了简便起见，在本说明书的其余部分仅详细描述了主多媒体服务器10和辅多媒体服务器20的关系。
[0039]主多媒体服务器10能够接收至少一个输入数据流和输出至少一个输出数据流。因此，在图1所示的示例中，主多媒体服务器10接收来自三个用户的三个输入数据流A，B和C并将三个输出数据流A’，B’和C’传输回这三个用户，以致输入数据流A与输出数据流A相关，等等。
[0040]相似的，辅多媒体服务器20能够接收至少一个输入数据流并输出至少一个输出数据流。在图1所示的示例中，辅多媒体服务器20接收来自3个用户(不同于与主服务器10通信的用户)的三个输入数据流D，E和F并将三个输出数据流D’，E’和F’传输回这三个用户，以致输入数据流D与输出数据流D’相关，等等。
[0041 ] 相似地，在图1所示的示例中，辅多媒体服务器30接收来自三个其他用户的三个输入数据流G，H和I，并将三个输出数据流G’，H’和I’传输回这三个用户。
[0042]主多媒体服务器还包括选择模块11，设置成从输入数据流中选择多个数据流。该选择模块可考虑用户行为使用一个或多个选择标准。
[0043]因此，当输入数据流是音频数据流时，选择模块11使用输入数据流的选择标准，它对应于在输入数据流集合中选择具有最高音频等级的预定数量的输入数据流。在图1所示的接收六个输入数据流A-F的情况下，，使用标准来选择表示最高声音音量的四个数据流，从而选择了四个数据流A，B, E和F。
[0044]还可以使用任意的选择标准，例如需要选择预定的输入数据流，这在必须将高优先级数据流广播至多个参与者的情况下可能是有用的。[0045]主多媒体服务器还包括全局混合模块13，设置成混合由选择模块11所选择的数据流，以便获得汇聚流S,这在图1中通过S = A+B+E+F表示。换句话说,在图1所示的示例中，汇聚流S因此包括由全局混合模块混合在一起的四个数据流A，B, E和F。
[0046]对于辅多媒体服务器20，它包括局部混合模块21 (辅多媒体服务器30也包括相似的局部混合模块31)，设置成混合由辅多媒体服务器所接收的至少两个输入数据流，当这些混合的输入数据流被主多媒体服务器的选择模块选择时，以便获得输入中间流T。输入中间流T随后传输至主多媒体服务器并可由该主多媒体服务器的全局混合模块使用以获得汇聚流S。
[0047]因此，在图1中，当输入数据流E和F由选择模块11选择时，通过混合这两个数据流E和F获得输入中间流T (即，T = E+F)。
[0048]于是，可以看到，当选择由辅多媒体服务器所接收的多个输入数据流时，第一局部混合操作可发生在辅多媒体服务器20中(以获得输入中间流T)，先于第二混合操作发生在主多媒体服务器10中(以获得汇聚流S)，。多个所选择的数据流的混合因此分布于服务器10和20，这与主多媒体服务器自己需要执行所有的混合这一状况相比，减轻了主多媒体服务器的负荷。
[0049]主多媒体服务器10还包括通信模块15，并且，相似的，多媒体服务器20和30分别包括通信模块25和35。这些通信模块相连接并设置成彼此间通信，以便在服务器10和20之间以及在服务器20和30之间交换数据流。
[0050]特别地，这些通信模块15和25可设置成从辅多媒体服务器20向主多媒体服务器传输用于选择输入流的参数，例如诸如输入音频数据流的音频电平，等等。
[0051]这些通信模块15和25设置成将消息SLCT从选择模块10传输至辅多媒体服务器20，该消息指示由辅多媒体服务器所接收的哪些输入数据流被选择模块选择(这里是流E和F)。
[0052]这些通信模块15和25还设置成将输入中间流T从辅多媒体服务器的局部混合模块传输至主多媒体服务器的全局混合模块，使得后者可使用该中间流T构建汇聚流S。
[0053]在第一种情况下，各种输出数据流A’至F’包括汇聚流S，正如图3所示的下述第一实施例的特定情况。
[0054]在这种情况下，主多媒体服务器10的通信模块15设置成将汇聚流S从主多媒体服务器的全局混合模块传输至各个辅多媒体服务器20，30等的通信模块。辅多媒体服务器随后能发送输出流D’，E’和F’，它们包括或甚至完全对应于汇聚流S。
[0055]在第二种情况下，主多媒体服务器10的通信模块15并不将汇聚流S返回至各个辅多媒体服务器20，30。正如图4所示出的下述第二实施例的特定情况。
[0056]在这另一种情况下，全局混合模块13设置成提供输出中间流T’至各个辅多媒体服务器。特别地，分别为与主多媒体服务器10相关的各个辅多媒体服务器构建输出中间流。这一输出中间流T’因此包含从中移除了由相关辅多媒体服务器所提供的输入中间数据流T的汇聚流S。
[0057]“移除”这里被理解为是指输出中间流T’不包括输入中间流T，并因此不包括构成此输入中间流T的个别输入流E和F。
[0058]这一移除可由使用数字滤波从汇聚流S中消除这些个别输入流E和F构成，该数字滤波允许汇聚信号S中除了这些个别流E和F外的所有个别流通过。此移除操作可替代地包括选择汇聚流S中并非这些个别流E和F的个别流，以及从所选择的个别流中构建输出中间流T’。
[0059]然后，主多媒体服务器10的通信模块15将输出中间流T’从主多媒体服务器的全局混合模块13传输至辅多媒体服务器20的通信模块25。
[0060]对于辅多媒体服务器的局部混合模块21，它然后设置成通过混合输出中间流T’和由局部混合模块21所构建的输入中间流T，获得从辅多媒体服务器输出的各个输出数据流(即，图1中的输出流D’，E’和F’)。
[0061]于是，可以看到，在后面这种情况中，除了由局部混合模块21对输入流执行的混合操作和由全局混合模块13对所选择的流执行的混合操作外，还有一个补充的混合操作由局部混合模块21执行，它使用输入和输出中间流以便获得输出数据流，从而能够进一步减轻主多媒体服务器的工作负荷。
[0062]由于各个输入数据流A至F都分别与一输出数据流A’和F’相关，因而可进一步确保，对于从辅多媒体服务器输出的各个输出数据流D’至F’，辅多媒体服务器20的局部混合模块21还设置成从输出数据流中移除与其相关的输入数据流，只要后者是由选择模块11所选择的其中一个输入流即可。
[0063]因此，当输入数据流E由选择模块11选择时，该输入数据流E存在于除了与其相关的输出数据流E’外的所有输出数据流A’至F’中。相似地，当输入数据流F由选择模块11选择时，此输入数据流F存在于所有的输出数据流A’至E’中，而并不存在于与其相关的输出数据流F’中。
[0064]这在音 频数据流的情况下尤为有利，它无需传输电话会议参与者他或她自己的声
曰?
[0065]主多媒体服务器10还可包括局部混合模块17，设置成当由主多媒体服务器所接收的至少两个输入数据流由选择模块11选择时，混合这些输入数据流，类似于由其中一个辅多媒体服务器的局部混合模块21所执行的操作。
[0066]主多媒体服务器10中的这一局部混合模块17的使用允许在多个混合模块之间所混合的不同数据流具有更好的分布，并因此允许在不同模块15，17和21之间的计算负荷具有更好的分布。
[0067]输入和输出数据流可以由特定格式呈现出，从而允许多媒体服务器在会议期间能够与其他网络元件相互作用并使得能够在数据量和传输错误恢复方面优化传输。作为一个示例，可使用TCP协议来传输这些数据流，以便适当地管理可能出现的传输错误。
[0068]多媒体服务器内部的处理不必与为数据流的外部传输所特别使用的格式兼容，并且可能合适的是，一旦输入数据流A-F由多媒体服务器其中一个接收，则将它们转换为适于混合的格式，并可将输出数据流A’ -F’相反地转换为适于网络传输的格式。
[0069]为此，各个局部混合模块17，21，31有利于进一步设置成将输入数据流A-F解码为适于混合操作的格式并将输出数据流A’ -F’编码为适于数据传输的格式。
[0070]在音频数据流的情况下，适于多媒体服务器内部的混合操作的格式可为PCM格式(脉冲编码调制，Eulse Code Modulation)，并且TCP协议可用于多媒体服务器外部的数据流传输。[0071]我们现在将参考图2，它示出了根据本发明适用于数据流的分布式混合方法。
[0072]该分布式混合方法100由涉及图1所示的上述分布式混合设备来实施，即它包括一个主多媒体服务器10和至少一个辅多媒体服务器20。
[0073]该方法100包括步骤110，该步骤在主多媒体服务器10中接收至少一个输入数据流(例如三个输入数据流A，B，C)和在辅多媒体服务器中接收至少一个输入数据流(例如三个输入数据流D，E，F)。
[0074]步骤110可有利地包括子步骤115，该步骤解码输入数据流以便将它们从适于数据传输的原始格式转换为适于数据流混合的格式，如上文所述，这还允许将解码工作分布于多个服务器。
[0075]该方法继续执行步骤120，从由多个多媒体服务器所接收的输入数据流中选择多个数据流(例如输入数据流A，B，E，F)。如上文所述，根据一个或多个选择标准来实施这一选择，例如选择具有最高音频音量的一定数量的数据流或者选择任意预先确定的数据流。
[0076]一旦选择了由辅多媒体服务器所接收的多个输入数据流(在本示例中，是流E和F)，该方法继续执行步骤130，由辅多媒体服务器的局部混合模块21局部地混合由辅多媒体服务器20所接收并由主多媒体服务器10所选择的这些输入数据流，以便获得之后可传输至主多媒体服务器的全局混合模块13的输入中间流T。
[0077]在一个有利的实施例中，主多媒体服务器也具有局部混合模块17，在局部混合步骤130执行期间，相似的操作同样可在主多媒体服务器中执行。因此，一旦选择了由主多媒体服务器所接收的多个输入数据流(在本实施例中，是流A和B)，局部混合步骤130还包括由此局部混合模块17混合主多媒体服务器所接收并选择的这些输入数据流，以便获得之后同样可传输至主多媒体服务器的全局混合模块13的输入中间流。
[0078]然后，该方法继续执行步骤140，其中被选择的数据流在主多媒体服务器中进行全局混合，特别是藉助于输入中间流T，以便获得包括在选择步骤120中所选择的数据流集合的汇聚流S。当多个输入数据流进行局部混合时，此全局混合因此使用由辅多媒体服务器的其中一个局部混合模块(或者主多媒体服务器当其提供这一模块时)局部生成的所有输入中间流。
[0079]—旦获得了汇聚流S，该方法则结束于步骤150，该步骤从主多媒体服务器输出至少一个输出数据流(例如分别与输入流A，B，C相关的输出数据流A’，B’，C’ )和从辅多媒体服务器输出至少一个输出数据流(例如分别与输入流D，E，F相关的输出数据流D’，E’，F’)，这些不同的输出数据流从汇聚流S中获得。
[0080]步骤150可有利地包括子步骤155，该步骤编码输出数据流以便将他们从更适于数据流混合的原始格式转换为上述更适于数据传输的外部格式，这同样允许进一步地将编码工作分布于多个服务器。
[0081]在适于将一个数据流分布至不同的参与者的第一实施例中，在步骤140中获得的汇聚数据流S可直接原样传输至辅多媒体服务器，以便使其能够在步骤150中输出包括或甚至完全对应于汇聚数据流S的一个或多个输出数据流(这里，流D’，E’，F’)。
[0082]在另一实施例中，汇聚数据流S并不直接从主多媒体服务器传输至辅多媒体服务器，而是在全局混合步骤140中基于汇聚数据流S为各个辅多媒体服务器生成一输出中间流T’，该汇聚数据流S中移除了所讨论的从辅多媒体服务器所接收的输入中间流T。[0083]在该另一实施例中，在步骤150中，然后在辅多媒体服务器中执行一额外的局部混合的子步骤151，以便混合输出中间流T’和输入中间流T以局部地获得汇聚流S。这允许混合工作可进一步地分布于多个服务器。
[0084]在该局部混合子步骤151中，还可能的是，当输入数据流是其中一个被选择的数据流时，对于各个输出数据流而言，与其相关的输入数据流均被移除(即，输出流A’对应的输入流A，等等)，这尤其适用于音频会议。
[0085]我们现在将参考图3，它示出了根据本发明适用于分布式混合的设备的第一实施例。
[0086]在该第一实施例中，数据流是视频流，并且该混合设备是特别适于视频会议的视频混合设备。
[0087]该设备包括与上述主多媒体服务器10类似的主多媒体服务器10’和与上述辅多媒体服务器20类似的辅多媒体服务器20’。
[0088]主多媒体服务器10’因此包括全局视频混合模块13’ (与全局混合模块13类似)，局部视频混合模块17’ (与局部混合模块17类似)，以及通信和选择模块15’，其对应于上述通信15和选择11模块。对于辅多媒体服务器20’，它包括局部视频混合模块21’以及通信和选择模块25’，分别与上述模块21和25类似。
[0089]主多媒体服务器10’在分别分配给不同参与者的三个不同输入端口上接收三个输入视频流A，B, C，并在三个不同输出端口上返回分别分配给各个参与者的(并因此分别与各输入视频流相关的)三个输出视频流A’，B’，C’。
[0090]类似地，辅多媒体服务器20’在分别分配给不同参与者的三个不同输入端口上接收三个输入视频流D，E，F，并在三个不同输出端口上返回分别分配给各个参与者的(并因此分别与各输入视频流相关的)三个输出视频流E’，D’，F’。
[0091]因此，图3所示的设备能够管理具有六位参与者的视频会议。
[0092]实际上，通信和选择模块25’使用一种选择标准(例如，选择相关音频流具有最高音量的四个视频流，或基于参与者加入视频会议的顺序选择四个视频流，或者选择相关音频流其音量超过指示参与者活动的某个阈值的视频流，或者选择其中指示了活动的视频流)以在所接收并可能解码为适于混合的格式的六个数据流中选择四个视频流。在该示例中，选择数据流A，B，E和F。
[0093]由于各个服务器接收多个所选择的输入视频流，这些服务器各自的局部混合模块局部混合由这些服务器接收的所选择的输入视频流。换句话说，模块17’混合流A和B以获得输入中间流U(其中U = A+B)并且模块21’混合流E和F以获得输入中间流T (其中T = E+F)。
[0094]然后，中间流T通过通信模块25’传输至通信和控制模块15’，通信和控制模块15’控制将其传输至全局混合模块13’，它接收由局部混合模块17’获得的中间流U。
[0095]然后，全局混合模块13’混合它所接收的多个输入流，这在当前的情况下是中间流T和U,以获得包括所有选择的输入流的汇聚视频流S (其中S = T+T’ = A+B+E+F)。
[0096]一旦获得了汇聚流S，就将其分发至多媒体服务器10’和20’的所有输出端口。
[0097]对于主多媒体服务器10’，该分发包括将包含或完全对应于汇聚视频流S的各输出视频流A’，B’，C’分别传输至三个输出端口的各个端口。在图3中，汇聚流S直接从服务器10”的三个输出端口输出，可能在将其编码为适于数据传输的格式之后。
[0098]对于辅多媒体服务器20’，该分发包括将汇聚流S从控制和通信模块15’传输至控制和通信模块25’，之后获得要分别传输至服务器20’的三个输出端口的输出视频流D’，E’，F’，这些视频流包括或者完全对应于汇聚视频流S。这里，相似的，在图3中，汇聚流S从服务器20’的三个输出端口中直接输出，可能在将其编码为适于数据传输的格式之后。
[0099]在视频域中，上述的混合操作包括将视频数据流混合为同时示出所选择视频流的马赛克(在该示例中，具有相同尺寸的四个图像的马赛克)。
[0100]因此，局部混合模块17’混合输入流A，B，使之出现在四个图像的马赛克中的右上和左下的相对角落中，并且局部混合模块21’混合输入流E，F，使之出现在四个相似图像的马赛克的左上和右下的另一相对角落中。分配给在马赛克中的各个所选择的输入数据流的位置可借助于主服务器的控制和选择模块15’来预先定义并传输至辅服务器的控制和命令模块25’，以便该模块相应地通知局部混合模块21’。
[0101]通过以这种方式混合所选择的输入数据流，全局混合模块13’仅需要附加这样形成的中间流，以便获得汇聚流S，其中视觉显示对应于四个图像的马赛克，每个图像与可数据流传输至视频会议的六个参与者的流A，B, E，F相对应。
[0102]使用一个或多个选择标准，以多种形式来设置马赛克。例如再次使用四个图像马赛克的原则，一个图像因此可以为一个参与者保留，该参与者基于其状态而按需选择为可视的，而其它三个图像可用于对应于当前对他们的麦克风讲话最大声的参与者的图像的实时数据流。
[0103]我们现在将参考图4，它示出了根据本发明适用于分布式混合设备的第二实施例。
[0104]在该第二实施例中，数据流为音频流并且该混合设备是特别适于音频会议的音频混合设备。该混合设备还可为音频/视频混合设备，其中图4所示的示例特别示出了这种设备的音频操作，例如无论是在仅为音频的会议中或是音频/视频的会议中。
[0105]这里，与关注于视频会议的上述实施例不同，对应于选择的输入数据流的汇聚流S并不直接传输至所有参与者，而是对于各个参与者以特定方式修改，以防止参与者接收包括他自身传输至该设备的输入流的输出流，如果选择了该数据流，则可能导致不利的回声现象。
[0106]为此，该设备包括与上述主多媒体服务器10类似的主多媒体服务器10”和与上述辅多媒体服务器20类似的辅多媒体服务器20”。
[0107]该主多媒体服务器10”包括全局音频混合模块13” (与全局混合模块13类似)，局部音频混合模块17” (与局部混合模块17类似)，以及通信和选择模块15”，对应于上述通信15和选择11模块。对于辅多媒体服务器20”，它包括局部音频混合模块21”以及通信和选择模块25”，它们分别类似于上述的模块21和25。
[0108]这里，局部音频混合模块17”和21”分别包括初步混合装置18”和22”，它们混合由通信和选择模块15”所选择的输入音频流以便获得输入中间流，该输入中间流可由全局音频混合模块13”使用从而获得汇聚流S。
[0109]局部音频混合模块17”和21”还分别包括第二个最终混合装置19”和23”，它们基于输出中间流T’和某些所选择的输入数据流来提供输出的输出数据流。
[0110]这里，相似地，主多媒体服务器10”在分别分配给不同参与者的三个不同输入端口上接收三个输入音频流A，B, C，并在三个不同输出端口上返回分别分配给各个参与者的(并因此分别与各输入视频流相关的)三个输出音频流A’，B’，C’。
[0111]相似地，辅多媒体服务器20”在分别分配给不同参与者的三个不同输入端口上接收三个输入音频流D，E，F，并在三个不同输出端口上返回分别分配给各个参与者的(并因此分别与各输入视频流相关的)三个输出音频流E’，D’，F’。
[0112]通信和选择模块25”使用选择标准，例如上文所述的那些标准，以在所接收并可能解码为适于混合的格式的六个数据流中选择四个音频流。
[0113]作为一个不例，辅多媒体服务器传输包括关于输入音频流D, E, F的音频电平信息的消息，从而可直接访问输入音频流A，B, C的通信和选择模块25”可选择具有最高音频电平的四个输入数据流，这里例如数据流A，B，E和F。
[0114]音频电平的这一信息可藉助于特定元件来获得，例如在解码以后，当接收输入音频流时，该元件计算它们的声功率级。
[0115]由于各个服务器接收多个所选择的输入音频流，这些服务器各自的初步局部混合模块局部地混合这些服务器所接收和选择的输入音频流。换句话说，模块18”混合数据流A和B以便获得输入中间流U (其中U = A+B)并且模块22”混合流E和F以便获得输入中间流T (其中T = E+F)。
[0116]然后，中间流T由通信模块25”传输至通信和控制模块15”，通信和控制模块15”控制将其传输至全局音频混合模块13”，它接收由初步局部混合模块18”所获得的中间流U。
[0117]然后，全局音频混合模块13”可混合它接收的多个中间输入流，在此示例中为中间流T和U,以获得包括所有选择的输入流的汇聚音频流S (其中S = T+T’ = A+B+E+F)。
[0118]一旦获得汇聚流S，通过采用汇聚视频流S并移除从所讨论服务器所接收的中间流U，全局混合模块13”为各个服务器构建中间输出流。
[0119]对于主多媒体服务器10”，汇聚流S中移除了从初步局部混合模块18”所接收的输入中间流U的元素，以构建输出中间流U”。换句话说，输出中间流U”满足U” = S-U，g卩，在图4所示的示例中U” = E+F。
[0120]对于辅多媒体服务器，汇聚流S中移除了从初步局部混合模块22”所接收的输入中间流T的元素，以构建输出中间流T”。换句话说，输出中间流T”满足T”= s-T，g卩，在图4所示的示例中T” = A+B。
[0121]然后，各自的输出中间流传输至服务器各自的最终混合模块，以用于获得输出数据流。输出中间流U”因此直接传输至最终混合模块19，而输出中间流T”藉助于通信和选择模块15”和通信和控制模块25”传输至最终混合模块23”。
[0122]然后，通过使用输出中间流U”和选择的输入数据流A和B，但对于各个输出流A’，B’，C’移除与其相关的输入数据流，最终混合模块19”构建要从主多媒体服务器10”输出的多个输出音频流A’，B’，C’。
[0123]换句话说，第一输出音频数据流A’满足A’ = U，+(A+B)_A，S卩，在图4所示的示例中A’ = B+E+F，第二输出音频流B’满足B’ = U’+(A+B)-B，S卩，在图4所示的示例中B’ =A+E+F,以及第三输出音频流C，满足C，= U’ + (B+A)，目卩，在图4所示的示例中C，= A+B+E+F=S。[0124]相似地，通过使用输出中间流T”’和选择的输入数据流E和B，并对于各个输出数据流D’，E’，F’移除与其相关的输入数据流，最终混合模块23”构建要从辅多媒体服务器20”输出的多个输出音频流D’，E’，F’。
[0125]换句话说，第一输出音频数据流D’满足D’ = T’ +(E+F)，即，在图4所示的示例中D’ = A+B+E+F = S，第二输出音频流E’满足E’ = T’ +(E+F)_E，S卩，在图4所示的示例中E’=A+B+F,以及第三输出音频流F’满足F’ = T’ +(E+F)-F,即，在图4所示的示例中F’ =Α+Β+Εο
[0126]因此，多个输出音频流包括所有选择的输入音频流，可能排除掉与相关输出音频流对应的输入音频流，并且这藉助于分布于不同混合模块的混合操作来完成，这些混合模块本身分布于不同的多媒体服务器。
[0127]当然，本发明并不限制于所描述和展示的示例性实施例，在不超出本发明范围的情况下可从中推导出其他实施例和其他实施方式。
[0128]尤其是，本发明使用的多个模块在附图中被指示为在功能上是分离的，但是在它们的物理实现中有可能很好地集成在一起，例如处于同一处理器内。
[0129]此外，为了简洁起见，主多媒体服务器和单个辅多媒体服务器之间的关系已经在图3和图4中描述过。然而，很显然，本发明涵盖了任意数量的辅多媒体服务器连接至同一主多媒体服务器的情况。该数量越大，混合、解码以及编码数据流的操作将越加分布，本发明也将更为高效。
[0130]尤其是，本发明允许提供可扩展系统，该系统可适用于电话会议中潜在参与者数量的增加。如果该数量改变并超过根据本发明的分布式混合设备的能力，可增加一个或多个辅多媒体服务器至该设备并将它们连接至主多媒体服务器以便应付该潜在的处理负荷的增加，同时无需替代整个混合设备，这展示了维护和成本方面的优势。
[0131]图3和4分别示出了处理音频流和视频流的实施例。然而，当然有可能将两种类型流的处理合并在具有连接至一个或多个辅服务器的主服务器的一个分布式混合设备中，这些服务器包括音频混合模块以及视频混合模块。
【权利要求】
1.用于多媒体数据流的分布式混合设备，包括主多媒体服务器(10)，能够接收至少一个输入数据流(A，B, C)和输出至少一个输出数据流(A’，B’，C’)，以及至少一个辅多媒体服务器(20)，能够接收至少一个输入数据流(D，E，F)和输出至少一个输出数据流(D’，E’，F，)，
主多媒体服务器包括选择模块(11)，设置成从输入数据流中选择多个数据流(A，B，E，F)，以及全局混合模块(13)，设置成混合所选择的数据流从而获得汇聚流(S)； 辅多媒体服务器包括局部混合模块(21)，设置成混合由辅多媒体服务器所接收到的并由主多媒体服务器的选择模块所选择的输入数据流(E，F)，从而获得可由主多媒体服务器的全局混合模块为获得汇聚流所使用的输入中间流(T)。
2.根据权利要求1所述的分布式混合设备，其特征在于，所述主多媒体服务器和辅多媒体服务器分别包括通信模块(15，25)，设置成将信息从选择模块传输至辅多媒体服务器，该信息指示由辅多媒体服务器所接收到的哪些输入数据流已被选择模块所选择，以及将输入中间流(T)从辅多媒体服务器的局部混合模块传输至主多媒体服务器的全局混合模块。
3.根据权利要求2所述的分布式混合设备，其中所述输出数据流包括汇聚流(S)，其特征在于，所述主多媒体服务器的通信模块设置成将汇聚流从主多媒体服务器的全局混合模块传输至各个辅多媒体服务器的通信模块。
4.根据权利要求2所述的分布式混合设备，其特征在于，对于各个辅多媒体服务器: 全局混合模块设置成提供包括汇聚流的输出中间数据流(T’)，所述汇聚流中移除了由辅多媒体服务器所提供的输入中间数据流(T)， 主多媒体服务器的通信模块设置成将汇聚流从主多媒体服务器的全局混合模块传输至辅多媒体服务器的通信模块，以及 辅多媒体服务器的局部混合模块设置成通过混合输出中间数据流(T’ )和输入中间数据流(T)来获得从辅多媒体服务器输出的各个输出数据流。
5.根据权利要求4所述的分布式混合设备，其中所述各个输入数据流与一输出数据流相关，其特征在于，对于从辅多媒体服务器输出的各个输出数据流，辅多媒体服务器的局部混合模块设置成从所述输出数据流中移除与其相关的输入数据流。
6.根据权利要求1至5中任一项所述的分布式混合设备，其特征在于，所述主多媒体服务器还包括局部混合模块(17)，设置成一旦选择模块选择所述输入数据流时就混合由主多媒体服务器所接收到的至少两个输入数据流。
7.根据权利要求1至6任一所述的分布式混合设备，其特征在于，所述各个局部混合模块(17，21，31)还设置成解码输入数据流和编码输出数据流。
8.用于多媒体数据流的分布式混合方法，由包括主多媒体服务器和至少一个辅多媒体服务器的分布式混合设备执行，该方法包括步骤: 在主多媒体服务器中接收至少一个输入数据流(A，B, C)和在辅多媒体服务器中接收至少一个输入数据流Φ，E，F)； 在主多媒体服务器中从输入数据流中选择多个数据流(A，B，E，F)； 一旦选择了由辅多媒体服务器所接收到的多个输入数据流，则在辅多媒体服务器中混合由辅多媒体服务器所接收和选择的所述输入数据流，以便获得输入中间数据流(T)，在主多媒体服务器中，藉助于输入中间数据流(T)混合所选择的数据流，以便获得汇聚流(S);以及 从主多媒体服务器中输出至少一个第一输出数据流(A’，B’ )和从辅多媒体服务器中输出至少一个第二输出数据流(E’，F’)，所述输出数据流从汇聚流中获得。
9.根据权利要求8所述的分布式混合方法，对于各个辅多媒体服务器，还包括步骤: 获得包括汇聚流的输出中间数据流(T’)，所述汇聚流中移除了由辅多媒体服务器所提供的输入中间数据流(T)， 将所述输出中间数据流从主多媒体服务器传输至辅多媒体服务器，以及， 通过混合输出中间数据流(T’)和输入中间数据流(T)从而获得从辅多媒体服务器输出的各个输出数据流。
10.根据权利要求9所述的分布式混合方法，其中所述各个输入数据流与一输出数据流相关，其特征在于，对于从辅多媒体服务器输出的各个输出数据流，从所述输出数据流中移除与该输出数据流相关的输入数据流。
11.根据权利要求8至10中任一项所述的分布式混合方法，其特征在于，所述接收输入数据流的步骤包括解码所述输入数据流，以及输出数据流的输出步骤包括编码所述输出数据流。
12.根据上述权利要求中任一项所述的分布式混合方法或设备，其特征在于，所述混合设备是用于混合视频数据流的设备并且该输入和输出数据流都为视频数据流。
13.根据上述权利要求中任一项所述的分布式混合方法或设备，其特征在于，所述混合设备是用于混合音频数据流的设备并且该输入和输出数据流都为音频数据流。
14.根据上述权利要求所述的`分布式混合方法或设备，其特征在于，所述输入数据流的选择包括在输入数据流集中选择具有最高音频电平的预定数量的输入数据流。
15.根据上述权利要求中任一项所述的分布式混合方法或设备，其特征在于，所述输入数据流的选择包括选择预定的输入数据流。
【文档编号】H04N7/15GK103621064SQ201280022608
【公开日】2014年3月5日 申请日期:2012年3月8日 优先权日:2011年3月10日
【发明者】皮埃尔·博迪利斯, 弗洛伦特·普雷维塔利 申请人:Streamwide公司