专利名称：视频会议系统多画面广播方法及其装置和系统的制作方法
技术领域：
本发明涉及通信技术领域，特别是涉及一种视频会议系统多画面广播方法及其装 置及其系统。
背景技术：
视频会议系统通过网络通信技术实现虚拟会议，集视频、音频、数据通信于一体， 可实时传输各个会场的图像和声音，使得各个会场从逻辑上处于一个会议中，但是物理上 不在一个区域内，将地理上分散的用户聚集在一处，通过图像、声音等多种方式交流信息， 开展协同工作。视频会议在最大程度上缩短了空间距离，方便了协作成员之间实时、直观的 交流，与传统会议相比，可节省大量开支而不影响会议的质量。这一会议模式得到了越来越 普遍的应用。MCU(Multi-Point Control Unit，多点控制单元)是视频会议中的核心设备，主要 负责与终端或其他MCU之间的信令的处理和码流的转发或处理。多画面广播技术是视频会议系统中的常用功能，一般的MCU都支持该技术。一般 情况下，MCU解码各个终端发送过来的视频流，选择多个会场图像进行图像缩放，拼接成一 个画面，然后将拼接出来的多画面转发给会议中所有终端(会场)，使视频会议参与者可以 通过一个画面看到多个会场的画面，各会场可通过该画面中的相应子画面播放。通常，MCU的解码资源是有限的。一般来说，子画面数越多，耗费的MCU资源就越 多，如果需要处理的子画面较多，则有可能由于MCU解码能力的限制导致无法实现多画面 广播。
发明内容
本发明提供了一种视频会议系统多画面广播方法及其装置和系统，用以解决现有 技术中因单个MCU处理能力限制导致无法实现视频会议多画面广播的问题。本发明提供的视频会议多画面广播方法，应用于包含有可发送会场视频码流和接 收视频会议多画面视频码流的视频会议终端，以及MCU的视频会议系统，所述MCU包括主 MCU和辅MCU，该方法包括各MCU根据主MCU为其分配的子画面所对应的会场视频码流，并对相应会场视频 码流进行处理，得到包含有相应子画面的多画面视频码流；主MCU将各MCU处理得到的多画面视频码流合成为视频会议多画面视频码流并进 行广播。上述方法中，各MCU根据主MCU为其分配的子画面所对应的会场视频码流，对相 应会场视频码流进行处理，包括当所述主MCU接收到会场视频码流后，根据子画面分配方 案，为该主MCU和/或指定的辅MCU分配子画面，其中，每个MCU分配到一行或多行子画面， 和当为指定的辅MCU分配子画面时，将相应行的子画面对应的会场视频码流转发给相应的 辅MCU ；分配到视频码流的MCU对分配的会场视频码流进行处理。
上述方法，还包括当视频会议多画面发生切换时，主MCU根据切换后的视频会议 多画面中各会场子画面的排列方式，更新为相应MCU分配的子画面，并根据更新后的子画 面分配方案转发接收到的会场视频码流。上述方法中，在多路会场视频码流被固定分配到各MCU接收的情况下，还包括主MCU为该主MCU和指定的辅MCU分配子画面，并将子画面分配方案通知给辅 MCU ；其中，每个MCU分配到一行或多行子画面，不同MCU分配的子画面与其它MCU不同；所述各MCU根据主MCU为其分配的会场视频码流，对相应会场视频码流进行处理， 包括主MCU或/和辅MCU接收到会场视频码流后，根据所述子画面分配方案，在确定接 收到的会场视频码流与该MCU分配到的子画面不对应时，将接收到的会场视频码流转发给 分配了相应子画面的MCU ；接收到与分配的子画面对应的会场视频码流的MCU，对相应会场视频码流进行处理。上述方法，还包括当视频会议多画面发生切换时，主MCU根据切换后的视频会议 多画面中各会场子画面的排列方式，更新子画面分配方案，并将更新后的子画面分配方案 通知给辅MCU。上述方法中，所述辅MCU为多个。本发明提供的MCU，应用于包含有可发送会场视频码流和接收视频会议多画面视 频码流的视频会议终端，以及MCU的视频会议系统，所述MCU可作为所述系统中的主MCU或 辅MCU，当所述MCU作为主MCU时包括分配单元，用于为各MCU分配子画面；转发单元，与所述分配单元连接，用于根据所述分配单元的子画面分配方案，将接 收到的会场视频码流转发到相应的辅MCU ；接收单元，用于接收辅MCU根据分配到的子画面所对应的会场视频码流处理后得 到的包含有相应会场子画面的多画面视频码流；合成单元，与所述接收单元连接，用于将各MCU处理得到的多画面视频码流合成 为视频会议多画面视频码流；广播单元，与所述合成单元连接，用于将合成后的视频会议多画面视频码流进行广播。上述MCU中，所述分配单元具体用于，为该主MCU和/或指定的辅MCU分配子画面， 且每个MCU分配到一行或多行子画面；所述转发单元具体用于，当为指定的辅MCU分配子画面时，根据分配单元的子画 面分配方案，将相应行的子画面所对应的会场视频码流转发给相应的辅MCU。上述MCU中，所述分配单元还用于，当视频会议多画面发生切换时，根据切换后的 视频会议多画面中各会场子画面的排列方式，更新为相应MCU分配的子画面。上述MCU中，所述分配单元具体用于，在多路会场视频码流被固定分配到各MCU接 收的情况下，为该主MCU和指定的辅MCU分配子画面，并将子画面分配方案通知给辅MCU ； 其中，每个MCU分配到一行或多行子画面，不同MCU分配的子画面与其它MCU不同；所述转发单元具体用于，当接收到会场视频码流后，根据所述子画面分配方案，在确定接收到的会场视频码流与该MCU分配到的子画面不对应时，将接收到的会场视频码流 转发给分配了相应子画面的辅MCU。上述MCU中，所述分配单元还用于，当视频会议多画面发生切换时，根据切换后的 视频会议多画面中各会场子画面的排列方式，更新子画面分配方案，并将更新后的子画面 分配方案通知给辅MCU。上述MCU，还包括视频处理单元，用于根据所述分配单元分配的子画面，对接收到的相应子画面的 会场视频码流进行处理，得到包含相应子画面的多画面视频码流，并将该多画面视频码流 发送给所述合成单元。所述M⑶作为辅MCU时，包括接收单元，用于接收与该辅MCU分配到的子画面对应的会场视频码流；视频处理单元，与接收单元连接，用于对接收到的会场视频码流进行处理，得到包 含相应子画面的多画面视频码流；发送单元，与所述视频处理单元连接，用于将所述视频处理单元处理得到的包含 相应子画面的多画面视频码流发送给所述主MCU。本发明提供的视频会议系统，包括可发送会场视频码流和接收视频会议多画面视 频码流的视频会议终端，该视频会议系统还包括主MCU，用于为各MCU分配子画面；以及，将各MCU处理得到的多画面视频码流合 成为视频会议多画面视频码流并进行广播；辅MCU，与所述主MCU连接，用于根据主MCU为其分配的子画面所对应的会场视频 码流，对相应会场视频码流进行处理，得到包含有相应会场子画面的多画面视频码流，并将 所述多画面视频码流发送给主MCU。上述视频会议系统中，所述主MCU具体用于，为该主MCU和指定的辅MCU分配子画 面，其中，每个MCU分配到一行或多行子画面；以及，当接收到会场视频码流后，根据子画面 分配方案，将相应行的子画面对应的会场视频码流转发给相应的辅MCU。上述视频会议系统中，在多路会场视频码流被固定分配到各MCU接收的情况下， 所述主MCU具体用于，为该主MCU和指定的辅MCU分配子画面，并将子画面分配方案通知给 辅MCU ；其中，每个MCU分配到一行或多行子画面，不同MCU分配的子画面与其它MCU不同； 以及，当接收到会场视频码流后，根据所述子画面分配方案，在确定接收到的会场视频码流 与该MCU分配到的子画面不对应时，将接收到的会场视频码流转发给分配了相应子画面的 辅MCU ；或/和所述辅MCU具体用于，接收到会场视频码流后，根据所述子画面分配方案，在确定 接收到的会场视频码流与该MCU分配到的子画面不对应时，将接收到的会场视频码流转发 给分配了相应子画面的MCU。上述视频会议系统中，所述辅MCU为多个。本发明的有益技术效果包括通过主MCU为辅MCU分配会场视频码流，由辅MCU对分配到的会场视频码流进行 处理，得到包含有相应会场子画面的多画面视频码流，最后由主MCU将各MCU处理得到的多 画面视频码流合成为视频会议多画面视频码流并进行广播，从而将多画面的处理操作分担到多个MCU进行，避免了因单个MCU视频处理能力限制所导致的无法实现视频会议多画面 广播的问题。
图1为本发明一实施例提供的视频会议系统多画面广播架构示意图；图2为本发明一实施例提供的视频会议系统多画面广播流程示意图；图3为本发明另一实施例提供的视频会议系统多画面广播流程所涉及的系统架 构示意图；图4为本发明另一实施例提供的视频会议系统多画面广播架构示意图；图5为本发明一实施例提供的主MCU的结构示意图；图6为本发明一实施例提供的辅MCU的结构示意图。
具体实施例方式为了解决现有技术中因单个MCU视频编解码能力限制导致无法实现视频会议多 画面广播的上述问题，本发明实施例中，采用多个MCU堆叠，从而实现多画面广播。其中，每 个MCU可对部分子画面的视频码流进行编解码处理，然后将各MCU处理后的各子画面的视 频码流进行拼帧处理，从而得到包含各子画面的多画面，与现有技术中使用单个MCU进行 多画面广播相比，本发明实施例通过由多个MCU分担视频码流编解码，针对具有多行子画 面的视频会议多画面，解决了单个MCU编解码能力瓶颈问题。本发明实施例中，将多个MCU堆叠在一起，由这些堆叠在一起的MCU共同分担各会 场画面的编解码处理。这些堆叠在一起的MCU中，按照各自在多画面广播处理流程中的作 用和功能，可分为主MCU和辅MCU。其中，主MCU除负担部分子画面的编解码处理以外，还可 将各MCU(包括主MCU和辅MCU)处理后的视频码流进行拼帧处理，从而得到视频会议多画下面结合附图对本发明实施例进行详细描述。参见图1，为本发明一实施例提供的视频会议系统多画面广播架构示意图。如图所示，MCU IfnMCU 2堆叠在一起，其中，MCU 1为主MCU, MCU 2为辅MCU。 主MCU可根据各会场的子画面在多画面中的排列方式，选择部分会场的视频码流转发给辅 MCU进行编解码处理，并且可以接收辅MCU编解码处理后的包含有相应会场子画面的视频 码流，再根据各会场的子画面在多画面中的排列方式，将自己处理的多画面视频码流和辅 MCU处理后的多画面视频码流拼接成多画面视频帧进行播放。主MCU可通过对普通MCU进行改造实现，如通过编程方式，以使该MCU能够实现上 述主MCU的功能。本发明实施例可将各MCU连接到同一网络中，从而实现MCU的堆叠。下面以图1所示的场景为例，说明多画面广播的流程。如图1所示，当前需要将4 个会场(Tl T4)的画面放在一个多画面中进行广播，多画面中各会场的子画面排列方式 如图1中的多画面12所示。根据以上场景，堆叠在一起的MCU进行多画面广播的流程可如图2所示，主要包括 以下步骤
步骤201、MCU 1接收各会场(Tl T4)发送的视频码流。步骤202、MCU 1根据多画面中各会场的子画面的排列方式，选择部分会场的视频 码流并将其转发给MCU 2。由于MCU中负责视频编解码处理的FPGA (Filed Programmable GateArray，可编 程门阵列)通常是按行对视频帧进行拼接的，并且，MCU中用于视频编解码的DSP (digital signal processor，数字信号处理器)通常以行宏块方式进行编解码，因此，MCU 1根据多 画面中各会场的子画面的位置，选择处在同一行的子画面对应的会场视频码流转发给MCU 2进行处理。对于本实施例的具体场景，由于会场T1、T4的子画面在多画面中处于同一行， 会场Τ3、Τ2的子画面在多画面中处于同一行，因此，MCU 1可将会场Τ3、Τ2的视频码流转发 给MCU 2，也可将会场Tl、Τ4的视频码流转发给MCU 2。本流程中，MCU 1可将会场Τ3、Τ2 的视频码流转发给MCU 2。MCU 1在将会场Τ3、Τ2的视频码流转发给MCU 2时，还可以将目标画面大小(即 多画面11的大小)通知给MCU 2，以便MCU 2根据该目标画面大小，并根据会场Τ3、Τ2的 视频码流生成相应大小的多画面11。步骤203、MCU 1和MCU 2对各自负责处理的会场的视频码流进行处理。为描述方 便，以下将MCU 2处理后的包含有会场T3、T2子画面的视频码流称为码流2，将MCU 1处理 后的包含有会场Tl、Τ4子画面的视频码流称为码流1。该步骤中，MCU 2接收到会场Τ3、Τ2的视频码流后，可进行常规的编解码处理，如， 对视频码流进行解码，然后叠加会场名、横幅、字幕、边框等，拼接处多画面11，再进行编码 得到视频码流2。同理，MCU 1也可对会场Tl、Τ4的视频码流进行解码处理，拼接出多画面 12的上半部分，再进行编码得到视频码流1。其中，MCU 2可根据从MCU 1接收到的多画面 12的大小进行多画面12的编码处理。由于通常DSP编解码是以宏块为单位进行处理的，因此各MCU所处理的子画面的 图像高度也应是宏块高度的整数倍。也就是说，在MCU (可包括主MCU，也可包括辅MCU)进 行多画面处理时，根据具体情况，有可能需要对子画面的大小进行微调，以使子画面大小是 宏块高度的整数倍。步骤204、MCU 2将处理后的包含有会场T3、T2子画面的多画面11的视频码流(视 频码流2)发送给MCU 1。步骤205、MCU 1根据多画面的排列方式，利用视频码流1和视频码流2拼接出多 画面，并传输给各会场(Tl Τ4)进行播放。该步骤中，MCUl可采用RTP (Real-time Transport Protocol，实时传输控制协议) 对视频码流1和视频码流2进行打包处理。由于视频码流1和视频码流2的图像没有相关 性，所以可以直接将视频码流1的当前帧和视频码流2的当前帧合成为一帧数据发送给所 有会场，从而实现多画面广播。在根据各视频码流进行多画面拼接时，MCU 1可根据多画面 中各子画面的排列方式，将多画面11放在多画面12的下半部分，从而形成完整的多画面 12。当需要播放画面的会场较多，即多画面中的子画面较多时，为了进一步提高多画 面广播性能，可以堆叠更多的MCU，以便由更多的MCU来分担子画面的处理。图3示出了一种通过堆叠3个MCU进行多画面广播的示意图。
如图3所示，MCU 1、MCU 2禾口 MCU 3堆叠在一起，其中，MCU 1是主MCU, MCU 2禾口 MCU 3 是辅 MCU0当前需要将9个会场(Tl T9)的画面放在一个多画面中进行广播，多画面中各 会场的子画面排列方式如图3中的多画面33所示。根据以上场景，堆叠在一起的MCU进行多画面广播的流程基本与图2所示流程相 同，其中MCU 1将多画面中第三行子画面(会场T7、T8、T9的子画面)和第一行子画面(会 场Τ1、Τ2、Τ3的子画面)对应的会场视频流分别转发给MCU 2和MCU 3 ；M⑶2和MCU 3对 接收到的视频码流进行编解码处理，形成多画面32和多画面31的视频码流后再回传给MCU 1 ；MCU 1根据多画面31、多画面32和自身处理形成的多画面33中间部分(即包含会场Τ4、 Τ5、Τ6的子画面)的视频码流进行视频帧的拼接处理，从而形成完整的多画面33。以上过 程的具体实现方式可参见图2所示流程的相应描述，在此不再赘述。以上实施例中，当多画面发生切换时，如会场画面发生切换或/和多画面中子画 面数量发生变化，主MCU只要调整发送给辅MCU的码流即可。例如，针对图1所示的场景， 如果需要将会场Τ3的画面切换为会场Τ5的画面，则MCU 1将会场Τ5、Τ2的视频码流转发 给MCU 2，后续处理流程可参照图2所示的方式实现，在此不再赘述。通常，在视频会议应用中，会存在多路视频码流，如果全部由主MCU来接收并进行 转发，会加重主MCU的负载。为解决该问题，在视频会议应用中，可将多路视频码流分担到 不同的MCU上进行接收，比如，针对图3所示的架构，可将9路视频码流(即会场Tl Τ9 的视频码流)平均且相对固定的分配到3个MCU中，如，将Tl Τ3的视频码流分配到MCU 1，将Τ4 Τ6的视频码流分配到MCU 3，将Τ7 Τ9的视频码流分配到MCU 2。针对这种情况，在本发明的另一实施例中，主MCU可事先将子画面分配方案通知 给辅MCU，如将需要由各MCU处理的子画面所对应的会场标识(或发送视频码流的视频会议 终端标识)分别通知给各辅MCU。在视频会议过程中，各MCU (包括主MCU和辅MCU)按照预 先的视频码流接收分配方案接收各自分配到的视频码流，如果发现自身接收的视频码流就 是自己需要处理的子画面所对应的视频码流，则进行编解码处理；否则，将该视频码流转发 到处理该视频码流的MCU (可能是主MCU也可能是辅MCU)。辅MCU处理完成自己负责的包 含有部分子画面的多画面之后，将相应的视频码流发送给主MCU，由主MCU最终合成为包含 有所有子画面的多画面，其具体实现过程可参照前述描述，在此不再赘述。例如，类似于图3所示的场景，如图4所示，视频码流接收分配方案为将Tl Τ3 的视频码流分配到MCU 1，将Τ4 Τ6的视频码流分配到MCU3，将Τ7 Τ9的视频码流分配 到MCU 2 ；子画面分配的方案为MCU 1处理T4 T6构成的多画面，并最终合成多画面43 ； MCU 2处理T7 T9构成的多画面42 ；MCU 3处理Tl T3构成的多画面41。MCU 1通知MCU 2根据会场T7、T8、T9的视频码流合成多画面42，还可进一步将多 画面42的大小通知给MCU 2 ；M⑶1通知MCU 3根据会场Tl、Τ2、Τ3的视频码流合成多画 面41，还可进一步将多画面41的大小通知给MCU 3 ；MCU 1自身根据会场Τ4、Τ5、Τ6的视频 码流合成多画面43。MCU 1按照视频码流接收分配方案，接收到视频码流包括会场Tl Τ3的视频码流 后，根据子画面分配方案得知会场Tl Τ3的视频码流应该由MCU 3处理，因此转发给MCU
103 ；同理，MCU 3将其接收到的会场T4 T6的视频码流转发给MCU 1 ；MCU 2接收到的会场 T7 T9的视频码流则不需要转发，而是由其自身进行处理。MCU 1最终将各MCU处理后的 子画面进行拼帧处理，得到包含有所有子画面的多画面43。MCU 1在合成出包含有所有子画面的多画面43后，向其所对应的会场Tl T3广 播该多画面43的视频码流，并可以将多画面43的视频码流转发给各辅MCU，由各辅MCU向 各自对应的会场进行广播，如，MCU 2向其所对应的会场T7 T9广播，MCU 3向其所对应的 会场T4 T6广播。当然，MCU 1也可以向所有会场广播该多画面43的视频码流。当发生多画面切换时，如会场画面发生切换或/和多画面中子画面数量发生变 化，主MCU只要根据切换后的多画面中各子画面的排列方式，调整子画面分配方案并通知 给辅MCU即可，使各MCU分担多画面中不同行的子画面的处理。本发明实施例中，虽然多个MCU堆叠在一起，但在同一网络中，这些MCU之间的传 输时延通常很小，经过验证，基本能够在30ms以内，该时延相对于编解码的延时，基本可以 忽略，即不会给多画面广播性能带来太多影响。需要说明的是，上述实施例仅以每个MCU分配到一行子画面为例进行描述，事实 上，主MCU也可以将多行子画面分配给自己或辅MCU进行处理。另外，在辅MCU为多个的时 候，主MCU可以将多画面分担到指定的辅MCU处理，该指定的MUC可以是全部的辅MCU，也可 以是部分辅MCU。通过以上描述可以看出，主MCU采用辅MCU分担多画面，从而可分担多画面处理负 载，可避免因单MCU视频编解码瓶颈而导致无法实现视频会议多画面广播的问题。另外，主 MCU可直接将各MCU的码流拼帧，不做二次编解码操作，简单易行，并且不需要消耗额外的 负载。基于相同的技术构思，本发明实施例还提供了一种MCU，可应用于前述各流程。该 MCU可应用于包含有可发送会场视频码流和接收视频会议多画面视频码流的视频会议终 端，以及MCU的视频会议系统，所述MCU可作为该系统中的主MCU或辅MCU。图5示出了一种主MCU的结构，该主MCU可包括分配单元51、转发单元52、接收 单元53、合成单元54、广播单元55，其中分配单元51，用于为各MCU分配子画面；转发单元52，与分配单元51连接，用于根据分配单元51的子画面分配方案，将接 收到的会场视频码流转发到相应的辅MCU ；接收单元53，用于接收辅MCU根据分配到的子画面所对应的会场视频码流处理后 得到的包含有相应会场子画面的多画面视频码流；合成单元54，与接收单元53连接，用于将各MCU处理得到的多画面视频码流合成 为视频会议多画面视频码流；具体的，该单元可根据分配单元51制定的子画面分配方案进 行合成处理；广播单元55，与合成单元54连接，用于将合成后的视频会议多画面视频码流进行广播。上述主MCU中的分配单元51和转发单元52可以有两种实现方式方式一分配单元51可在为各MCU分配子画面时，为该主MCU和/或指定的辅MCU 分配子画面，且每个MCU分配到一行或多行子画面；转发单元52可在接收到会场发送的视频码流后，为指定的辅MCU分配子画面时，根据分配单元的子画面分配方案，将相应行的子 画面所对应的会场视频码流转发给相应的辅MCU。进一步的，分配单元51可在视频会议多 画面发生切换时，根据切换后的视频会议多画面中各会场子画面的排列方式，更新为相应 MCU分配的子画面。方式二 分配单元51可在多路会场视频码流被固定分配到各MCU接收的情况下， 为各MCU分配子画面时，为该主MCU和指定的辅MCU分配子画面，并将子画面分配方案通知 给辅MCU ；其中，每个MCU分配到一行或多行子画面，不同MCU分配的子画面与其它MCU不 同；转发单元52可在接收到会场视频码流后，根据所述子画面分配方案，在确定接收到的 会场视频码流与该MCU分配到的子画面不对应时，将接收到的会场视频码流转发给分配了 相应子画面的辅MCU。进一步的，分配单元51还可在视频会议多画面发生切换时，根据切换 后的视频会议多画面中各会场子画面的排列方式，更新子画面分配方案，并将更新后的子 画面分配方案通知给辅MCU。上述主MCU，还可包括视频处理单元56，用于根据分配单元51分配的子画面，对接 收到的相应子画面的会场视频码流进行处理，得到包含相应子画面的多画面视频码流，并 将该多画面视频码流发送给合成单元54。图6示出了一种辅MCU的结构，该辅MCU可包括接收单元61、视频处理单元62和 发送单元63，其中接收单元61，用于接收与该辅MCU分配到的子画面对应的会场视频码流；该会场 视频码流可以是由其它MCU(包括主MCU或/和其它辅MCU)转发来的会场视频码流，也可 以是该辅MCU直接从视频会议终端接收的会场视频码流；视频处理单元62，与接收单元61连接，用于对接收到的会场视频码流进行处理， 得到包含相应子画面的多画面视频码流；发送单元63，与视频处理单元62连接，用于将视频处理单元62处理得到的包含相 应子画面的多画面视频码流发送给主MCU。上述MCU中的各功能单元的具体实现与参考前述流程的相应步骤描述，在此不再 赘述。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助 软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更 佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的 部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若 干指令用以使得一台终端设备(可以是手机，个人计算机，服务器，或者网络设备等)执行 本发明各个实施例所述的方法。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人 员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应 视本发明的保护范围。
权利要求
一种视频会议多画面广播方法，应用于包含有可发送会场视频码流和接收视频会议多画面视频码流的视频会议终端，以及多点控制单元MCU的视频会议系统，其特征在于，所述MCU包括主MCU和辅MCU，该方法包括各MCU根据主MCU为其分配的子画面所对应的会场视频码流，对相应会场视频码流进行处理，得到包含有相应子画面的多画面视频码流；主MCU将各MCU处理得到的多画面视频码流合成为视频会议多画面视频码流并进行广播。
2.如权利要求1所述的方法，其特征在于，各MCU根据主MCU为其分配的子画面所对应 的会场视频码流，对相应会场视频码流进行处理，包括当所述主MCU接收到会场视频码流后，根据子画面分配方案，为该主MCU和/或指定的 辅MCU分配子画面，其中，每个MCU分配到一行或多行子画面，和当为指定的辅MCU分配子 画面时，将相应行的子画面对应的会场视频码流转发给相应的辅MCU ； 分配到视频码流的MCU对分配的会场视频码流进行处理。
3.如权利要求2所述的方法，其特征在于，还包括当视频会议多画面发生切换时，主MCU根据切换后的视频会议多画面中各会场子画面 的排列方式，更新为相应MCU分配的子画面，并根据更新后的子画面分配方案转发接收到 的会场视频码流。
4.如权利要求1所述的方法，其特征在于，在多路会场视频码流被固定分配到各MCU接 收的情况下，还包括主MCU为该主MCU和指定的辅MCU分配子画面，并将子画面分配方案 通知给辅MCU ；其中，每个MCU分配到一行或多行子画面，不同MCU分配的子画面与其它MCU 不同；所述各MCU根据主MCU为其分配的会场视频码流，对相应会场视频码流进行处理，包括主MCU或/和辅MCU接收到会场视频码流后，根据所述子画面分配方案，在确定接收到 的会场视频码流与该MCU分配到的子画面不对应时，将接收到的会场视频码流转发给分配 了相应子画面的MCU ；接收到与分配的子画面对应的会场视频码流的MCU，对相应会场视频码流进行处理。
5.如权利要求4所述的方法，其特征在于，还包括当视频会议多画面发生切换时，主MCU根据切换后的视频会议多画面中各会场子画面 的排列方式，更新子画面分配方案，并将更新后的子画面分配方案通知给辅MCU。
6.如权利要求1至5任一项所述的方法，其特征在于，所述辅MCU为多个。
7.—种MCU，应用于包含有可发送会场视频码流和接收视频会议多画面视频码流的视 频会议终端，以及MCU的视频会议系统，所述MCU可作为所述系统中的主MCU或辅MCU，其特 征在于，当所述MCU作为主MCU时包括分配单元，用于为各MCU分配子画面；转发单元，与所述分配单元连接，用于根据所述分配单元的子画面分配方案，将接收到 的会场视频码流转发到相应的辅MCU ；接收单元，用于接收辅MCU根据分配到的子画面所对应的会场视频码流处理后得到的 包含有相应会场子画面的多画面视频码流；合成单元，与所述接收单元连接，用于将各MCU处理得到的多画面视频码流合成为视 频会议多画面视频码流；广播单元，与所述合成单元连接，用于将合成后的视频会议多画面视频码流进行广播。
8.如权利要求7所述的MCU，其特征在于，所述分配单元具体用于，为该主MCU和/或 指定的辅MCU分配子画面，且每个MCU分配到一行或多行子画面；所述转发单元具体用于，当为指定的辅MCU分配子画面时，根据分配单元的子画面分 配方案，将相应行的子画面所对应的会场视频码流转发给相应的辅MCU。
9.如权利要求8所述的MCU，其特征在于，所述分配单元还用于，当视频会议多画面发 生切换时，根据切换后的视频会议多画面中各会场子画面的排列方式，更新为相应MCU分 配的子画面。
10.如权利要求7所述的MCU,其特征在于，所述分配单元具体用于，在多路会场视频码 流被固定分配到各MCU接收的情况下，为该主MCU和指定的辅MCU分配子画面，并将子画面 分配方案通知给辅MCU ；其中，每个MCU分配到一行或多行子画面，不同MCU分配的子画面 与其它MCU不同；所述转发单元具体用于，当接收到会场视频码流后，根据所述子画面分配方案，在确定 接收到的会场视频码流与该MCU分配到的子画面不对应时，将接收到的会场视频码流转发 给分配了相应子画面的辅MCU。
11.如权利要求10所述的MCU，其特征在于，所述分配单元还用于，当视频会议多画面 发生切换时，根据切换后的视频会议多画面中各会场子画面的排列方式，更新子画面分配 方案，并将更新后的子画面分配方案通知给辅MCU。
12.如权利要求7-11任一项所述的MCU，其特征在于，还包括视频处理单元，用于根据所述分配单元分配的子画面，对接收到的相应子画面的会场 视频码流进行处理，得到包含相应子画面的多画面视频码流，并将该多画面视频码流发送 给所述合成单元。
13.如权利要求7所述的MCU，其特征在于，所述MCU作为辅MCU时，包括接收单元，用于接收与该辅MCU分配到的子画面对应的会场视频码流；视频处理单元，与接收单元连接，用于对接收到的会场视频码流进行处理，得到包含相 应子画面的多画面视频码流；发送单元，与所述视频处理单元连接，用于将所述视频处理单元处理得到的包含相应 子画面的多画面视频码流发送给所述主MCU。
14.一种视频会议系统，包括可发送会场视频码流和接收视频会议多画面视频码流的 视频会议终端，其特征在于，还包括主MCU，用于为各MCU分配子画面；以及，将各MCU处理得到的多画面视频码流合成为 视频会议多画面视频码流并进行广播；辅MCU，与所述主MCU连接，用于根据主MCU为其分配的子画面所对应的会场视频码流， 对相应会场视频码流进行处理，得到包含有相应会场子画面的多画面视频码流，并将所述 多画面视频码流发送给主MCU。
15.如权利要求14所述的视频会议系统，其特征在于，所述主MCU具体用于，为该主 MCU和指定的辅MCU分配子画面，其中，每个MCU分配到一行或多行子画面；以及，当接收到会场视频码流后，根据子画面分配方案，将相应行的子画面对应的会场视频码流转发给相 应的辅MCU。
16.如权利要求14所述的视频会议系统，其特征在于，在多路会场视频码流被固定分 配到各MCU接收的情况下，所述主MCU具体用于，为该主MCU和指定的辅MCU分配子画面， 并将子画面分配方案通知给辅MCU ；其中，每个MCU分配到一行或多行子画面，不同MCU分 配的子画面与其它MCU不同；以及，当接收到会场视频码流后，根据所述子画面分配方案， 在确定接收到的会场视频码流与该MCU分配到的子画面不对应时，将接收到的会场视频码 流转发给分配了相应子画面的辅MCU ；或/和所述辅MCU具体用于，接收到会场视频码流后，根据所述子画面分配方案，在确定接收 到的会场视频码流与该MCU分配到的子画面不对应时，将接收到的会场视频码流转发给分 配了相应子画面的MCU。
17.如权利要求14-16任一项所述的视频会议系统，其特征在于，所述辅MCU为多个。
全文摘要
本发明公开了一种视频会议多画面广播方法及其装置和系统，应用于包含有可发送会场视频码流和接收视频会议多画面视频码流的视频会议终端，以及MCU的视频会议系统，所述MCU包括主MCU和辅MCU，该方法包括各MCU根据主MCU为其分配的会场视频码流，对相应所述会场视频码流进行处理，得到包含有相应会场子画面的多画面视频码流；主MCU将各MCU处理得到的多画面视频码流合成为视频会议多画面视频码流并进行广播。采用本发明，可解决现有技术中因单个MCU处理能力限制导致无法实现视频会议多画面广播的问题。
文档编号H04N7/15GK101895718SQ20101023274
公开日2010年11月24日 申请日期2010年7月21日 优先权日2010年7月21日
发明者丁志杰, 王玉波 申请人:杭州华三通信技术有限公司