专利名称：一种多画面传输方法和一种多点控制单元的制作方法
技术领域：
本发明涉及视频会议技术领域，特别涉及一种多画面传输方法和一种多 点控制单元。
背景技术：
视频会议系统是支持声音、视频以及数据通信的多媒体通信系统。 一般
的视频会议系统包括多点控制单元(MCU, Multipoint Control Unit)、终端 以及其它一些如电话接入网关(PSTN Gateway)等设备。各种不同的终端 都连入MCU进行集中交换，组成一个视频会议网络。
MCU是视频会议网络中的一个端点，为三个或更多终端及网关参加一 个多点会议服务。MCU也可以直接连接两个终端构成点对点会议，随后再 扩展为多点会议。 一个支持H.323标准的视频会议终端也是视频会议网络中 的一个端点，可以与其它H.323终端、网关或MCU进4亍实时的双向通信， 通信内容包括控制、指示、音频、运动彩色视频图像和/或数据。终端可以 仅提供话音、话音和数据、话音和视频、或话音数据和视频。
目前， 一般的视频会议系统都支持双流，即主流和辅流。其中，主流是 视频会议系统中的第一路视频流，主要用于传输广播画面；辅流是视频会议 系统中的第二路视频流，主要用于传输辅助图像或计算机上的胶片、文档等 辅助材料。例如，在一个纟见频会议中发言人的音一见频信号通过主流通道传输 到各个用户终端的主显示器上显示，而发言人发言所用的PPT文档的图像 信号通过辅流通道传输到各个用户终端的辅显示器上显示。
在多点视频会议中，多画面功能允许用户同时收看多个通话终端的视 频，有助于改进通话效果，是非常受欢迎的。但是，现有视频会议中的多换
6面功能是，由MCU将来自多个终端的图像拼接成一路视频流(即主流)后 发送给接收终端，接收终端只能显示在一个显示设备上，这样分配给每个子 画面的显示区域较小，不够清晰，影响用户的满意度。
为此，现有技术中有一种多屏多画面的方法来解决该问题，该方法具体
为当接收终端包含n台显示器时，MCU和终端之间建立一个双向的音频 通道、 一个双向的视频通道和n-l个MCU到终端的单向一见频通道；MCU将 多个终端的输入视频流合成为多个输出视频流输出给终端，其中每个输出视 频流含一个或多个子画面，每个子画面为一路输入视频流的图像；终端将收 到的多个视频流显示在不同的显示器上。
但是，在上述方法中，MCU和终端之间除了需要建立一个双向音频通 道、 一个双向视频通道外还需要建立多个MCU到终端的单向视频通道，额 外增加了 MCU和终端的处理负担。
发明内容
本发明提供了一种多画面传输方法，该方法减轻了 MCU和终端的处理负担。
本发明还提供了一种MCU，该MCU能够减轻自身以及终端的处理负担。
为达到上述目的，本发明的技术方案具体是这样实现的 本发明公开了一种多画面传输方法，该方法包括
多点控制单元MCU接收两个以上的源终端通过主流通道发送的视频
流;
MCU将所述接收的两个以上的视频流合并成两路视频流；其中，所述 合并后的两路视频流是单画面或多画面模式，且每个画面对应于一个源终端 的浮见频；
MCU将所述合并后的两路一见频流分别通过主流通道和辅流通道发送给 目的终端，使得目的终端能够在主显示设备上显示来自主流通道的视频，在辅显示设备上显示来自辅流通道的视频。
本发明还公开了一种多点控制单元MCU,该MCU包括接收模块、 合并模块和发送模块，其中，
接收模块，用于接收两个以上的源终端通过主流通道发送的视频流，并 转发给合并模块；
合并模块，用于将所述两个以上的视频流合并成两路视频流后发送给发 送模块；其中，所述合并后的两路视频流是单画面或多画面模式，且每个画 面只于应于 一 个源终端的 一见频；
发送模块，用于将所述合并后的两路视频流分别通过主流通道和辅流通 道发送给目的终端，使得目的终端能够在主显示设备上显示来自主流通道的 视频，在辅显示设备上显示来自辅流通道的视频。
由上述技术方案可见，本发明这种多点控制单元MCU接收两个以上的 源终端通过主流通道发送的视频流；MCU将所述接收的两个以上的视频流 合并成两路视频流后分别通过主流通道和辅流通道发送给目的终端，使得目 的终端能够在主显示设备上显示来自主流通道的视频，在辅显示设备上显示 来自辅流通道的视频的技术方案，使得在实现多屏多画面时，利用了已有的 辅流通道进行多画面分担，而无需在MCU和终端之间再建立额外的通道， 大大减轻了 MCU和终端的处理负担。
图1是本发明实施例一种多画面传输方法的流程图2是本发明实施例中视频会议系统的组网示意图3是本发明实施例中的又一视频会议系统的组网示意图4是本发明实施例一种多点控制单元MCU的組成结构框图。
具体实施例方式
图1是本发明实施例一种多画面传输方法的流程图。如图l所示，该方法包括以下步骤
步骤101, MCU接收两个以上的源终端通过主流通道发送的视频流。
步骤102， MCU将所述接收的两个以上的一见频流合并成两鴻4见频流； 其中，所述合并后的两路—见频流是单画面或多画面模式，且每个画面对应于 一个源终端的纟见频。
步骤103, MCU将所述合并后的两路视频流分别通过主流通道和辅流 通道发送给目的终端，使得目的终端能够在主显示设备上显示来自主流通道 的视频，在辅显示设备上显示来自辅流通道的视频。
上述方案中，在实现多屏多画面时，利用了已有的辅流通道进行多画面 分担，而无需在MCU和终端之间再建立额外的通道，大大减轻了MCU和 终端的处理负担。
为使本发明的技术方案更加清楚明白，以下例举实施例对本发明进行进 一步的详细i兌明。
图2是本发明实施例中视频会议系统的组网示意图。如图2所示，该视 频会议系统包括MCU和终端1~6。当然该系统还可以包括其它的设备，如 网关等，且终端和MCU之间可能是通过IP网络进行通信，这些没有在图2 中示意出，但不并影响说明本发明的技术方案。
在图2中，设终端6是目的终端，终端1 4是源终端，终端5是辅流 源终端。当然终端1 ~4是源终端的同时也可以是接收视频流的目的终端， 但为了筒单起见本实施例中只设终端6是目的终端，且终端6有两个显示器， 一个是用于显示从主流通道上接收的视频流的主显示器，另 一个是用于显示 从辅流通道上接收的视频流的辅显示器。参见图2，本实施例中的实现多屏 幕多画面的过程包括以下步骤
步骤201, MCU向终端1 4发送流控信息，要求终端1~4向MCU发 送视频流；
步骤202,终端1 ~ 4收到流控信息后，通过主流通道向MCU发送视频 流，在图2中用实线箭头表示；步骤203， MCU将终端1 ~4的视频流合并为两路视频流后分别通过主 流通道和辅流通道发送给所有的目的终端，这里是发送给目的终端6，具体 为MCU将发言人所在的终端1的图像通过主流通道发送给终端6，图2 中用实线箭头表示，将终端2、 3和4的图像解码，并接成3画面、编码后 通过辅流通道发送给终端6，图2中用虚线箭头表示；
步骤204，终端6将从主流通道接收到的终端1的视频显示在主显示器 上，将从辅流通道接收的3画面视频显示在辅显示器上；
步骤205,作为辅流发送者的终端5开始向MCU发送辅流，在图2中 用点划线箭头表示；这里MCU上事先是将终端5设置为辅流发送者的；
步骤206， MCU接收到终端5发送的辅流后，向终端2、 3和4发送流 控信息，要求停止发送主流视频图像；
步骤207， MCU将终端5发送的辅流通过辅流通道发送给目的终端6, 这样，目的终端6的辅显示器上会看到终端5的辅流图像；
步骤208，当终端5停止发送辅流时，MCU向终端2、 3和4发送流控 信息，要求继续发送主流视频图像，并将终端2、 3和4的图像解码、并接 成3画面、编码后通过辅流通道发送给终端6,目的终端6又能在辅显示器 上显示从辅流通道接收的3画面。
通过上述步骤，可以将原本需要在一个主显示器上显示的4画面(终端 1~4的画面)分担在主显示器和辅显示器上显示，显示效果更加清晰，提 高了用户的满意度。
从上面的流程可以看出，本实施例中利用辅流通道分担多画面时，如果 MCU需要接收并转发辅流时，辅流转发优先。
根据上述实施例本领域的技术人员可以理解，本发明实施例中的视频会 议系统需要配置成支持辅流，且保证参加会议的终端都打开辅流通道；视频 会议系统需要配置成支持多画面，且保证MC U上的编解码等资源能够满足 多画面的要求；在MCU上修改辅流输入源的设置，现有技术中的输入源只 有某个辅流源终端的辅流输入，在本实施例中修改为某个终端的主流输入、某个终端的辅流输入或多个终端合并的多画面输入。
在现有的视频会议系统中，当通过主流通道接收并收看广播画面的终端 要求观看某个其它终端时，要求被观看的终端的画面会替换掉广播画面，使 得该终端不再能收看广播画面。本发明如图1所示的技术思想也能解决该问 题，以下举例"i兌明。
图3是本发明实施例中的又一视频会议系统的组网示意图。如图3所示， 该视频会议系统包括MCU和终端1-5，本实施例的流程包括以下步骤
步骤301, MCU接收终端1和2发送的视频流形成2画面的广播流后 发送给所有的目的终端，这里以终端5为目的终端进行说明；
步骤302,终端5通过主流通道接收广播流，并在显示在主显示器上供 用户观看。
步骤303,当终端5的用户想观看终端3的画面时，终端5通过辅流通 道向MCU发送视频流请求消息，要求发送终端3的视频流；
本步骤中，所述视频流请求消息可以是H.245协议中的"sendThisSource" 信令；
步骤304, MCU收到所述视频流请求消息后，记录发送碎见频流请求消 息的通道的类型，即记录该视频流请求消息是通过辅流通道发送的，同时向 终端3发送流控信息，要求发送视频流；
步骤305，终端3收到流控信息后，开始向MCU发送主流视频图像给 MCU;
步骤306， MCU收到终端3的主流视频图像后，根据步骤4中记录的 通道类型，即辅流通道，将终端3的视频流通过辅流通道发送给终端5;
步骤307,终端5将从辅流通道接收的画面显示在辅显示器上；
步骤308，作为辅流发送者的终端4开始向MCU发送辅流，在图2中 用点划线箭头表示；
步骤309, MCU接收到终端4发送的辅流后，向终端3发送流控信息， 要求停止发送主流视频图像；
ii步骤310， MCU将终端4发送的辅流通过辅流通道发送给目的终端5, 这样，目的终端5的辅显示器上会看到终端4的辅流图像；
步骤311,当终端4停止发送辅流时，MCU向终端3发送流控信息， 要求继续发送主流视频图像，并将终端3的图像通过辅流通道发送给终端5， 目的终端5又能在辅显示器上显示从辅流通道接收的终端3的画面。
在上述实施例中，除广播画面以外，要求被观看的终端可以是多个，此 时，在步骤306中将多个终端的视频合并成一路多画面视频流后通过辅流通 道发送给目的终端即可，这里不再复述。
上述流程，使得用户在观看广播画面的同时自由观看其它终端的画面。
图4是本发明实施例一种多点控制单元MCU的组成结构框图。如图4 所示，该MCU包括接收模块401、合并模块402和发送模块403,其中，
接收模块401,用于接收两个以上的源终端通过主流通道发送的视频流， 并转发给合并模块402;
合并模块402,用于将所述两个以上的视频流合并成两路视频流后发送 给发送模块403;其中，所述合并后的两路视频流是单画面或多画面模式， 且每个画面对应于 一 个源终端的 一见频；
发送模块403，用于将所述合并后的两路视频流分别通过主流通道和辅 流通道发送给目的终端，使得目的终端能够在主显示设备上显示来自主流通 道的视频，在辅显示设备上显示来自辅流通道的视频。
如图4所示的MCU进一步包括流控信息模块404，用于在接收模块 401接收到辅流源终端通过辅流通道发送的视频流时，向指定源终端发送停 止发送视频流的流控信息；其中，所述指定源终端，是其视频流通过主流通 道发送给MCU且经由MCU合并处理后通过辅流通道发送给目的终端的源 终端；
接收模块401,进一 步用于接收辅流源终端通过辅流通道发送的视频流， 并发送给发送模块403;
发送模块403,进一步用于将所述辅流源终端发送的视频流通过辅流通道发送给目的终端。
在图4中，流控信息模块404,用于在接收模块401停止接收辅流源终 端通过辅流通道发送的视频流时，向所述指定源终端发送请求发送视频流的 流控信息；
接收模块401,用于接收所述指定源终端发送的视频流并转发给合并模 块402;
合并模块402，用于将所述指定源终端发送的视频流合并成一路视频流 后，发送给发送模块403;
发送模块403,用于将所述合并后的一路视频流通过辅流通道发送给目 的终端。
如图4所示的MCU进一步包括请求消息接收模块405,用于接收目 的终端通过辅流通道发送的视频流请求消息，并通知流控信息才莫块404;其 中，该视频流请求消息请求发送指定源终端的视频流；
流控信息模块404,用于在收到所述通知后，向所述指定源终端发送请 求发送^L频流的流控信息；
接收模块401 ，用于接收包括所述指定源终端在内的两个以上的源终端 通过主流通道发送的视频流，并转发给合并模块402;
合并模块402,用于将所述指定源终端的视频流合并成一路视频流，将 除指定源终端以外的其它源终端的视频流合并成一路视频流后发送给发送 模块403;
发送模块403,用于将所述由指定源终端的视频流合并成的一路视频流 通过辅流通道发送给目的终端，将由除指定源终端以外的其它源终端的视频 流合并成的一路视频流通过主流通道发送给目的终端。
在图4中，请求消息接收模块405,用于在接收到目的终端通过辅流通 道发送的视频流请求消息时，进一 步记录该纟见频流请求消息是通过辅流通道 发送的；
发送模块403，用于根据请求消息接收模块的记录结果，将所述由指定源终端的视频流合并成的一路视频流通过辅流通道发送给目的终端。
综上所述，本发明这种MCU接收两个以上的源终端通过主流通道发送 的视频流，并所述接收的两个以上的浮见频流合并成两絲4见频流后分别通过主 流通道和辅流通道发送给目的终端，使得目的终端能够在主显示设备上显示 来自主流通道的视频，在辅显示设备上显示来自辅流通道的视频的技术方 案，使得在实现多屏多画面时，利用了已有的辅流通道进行多画面分担，而
无需在MCU和终端之间再建立额外的通道，大大减轻了 MCU和终端的处
理负担。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护 范围，凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等， 均应包含在本发明的保护范围之内。
权利要求
1、一种多画面传输方法，其特征在于，该方法包括多点控制单元MCU接收两个以上的源终端通过主流通道发送的视频流；MCU将所述接收的两个以上的视频流合并成两路视频流；其中，所述合并后的两路视频流是单画面或多画面模式，且每个画面对应于一个源终端的视频；MCU将所述合并后的两路视频流分别通过主流通道和辅流通道发送给目的终端，使得目的终端能够在主显示设备上显示来自主流通道的视频，在辅显示设备上显示来自辅流通道的视频。
2、 如权利要求1所述的方法，其特征在于，当MCU收到辅流源终端 通过辅流通道发送的^L频流时，该方法进一步包括MCU向指定源终端发送停止发送视频流的流控信息；其中，所述指定 源终端，是其视频流通过主流通道发送给MCU且经由MCU合并处理后通 过辅流通道发送给目的终端的源终端；MCU将所述辅流源终端发送的视频流通过辅流通道发送给目的终端。
3、 如权利要求2所述的方法，其特征在于，当所述辅流源终端停止通 过辅流通道发送一见频流时，该方法进一步包括MCU向所述指定源终端发送请求发送视频流的流控信息； MCU将所述指定源终端发送的视频流合并成一路视频流后通过辅流通 道发送给目的终端。
4、 如权利要求l所述的方法，其特征在于，该方法在所述MCU接收两个以上的源终端通过主流通道发送的纟见频流 之前进一步包括MCU接收目的终端通过辅流通道发送的视频流请求消息， 该视频流请求消息请求发送指定源终端的视频流；MCU向所述指定源终端 发送请求发送视频流的流控信息；所述MCU接收两个以上的源终端通过主流通道发送的视频流包括 MCU接收包括所述指定源终端在内的两个以上的源终端通过主流通道发送 的一见频流；所述MCU将接收的两个以上的一见频流合并成两^各视频流，并分别通过 主流通道和辅流通道发送给目的终端包括MCU将所述指定源终端的视频 流合并成一路视频流后通过辅流通道发送给目的终端，将除指定源终端以外 的其它源终端的视频流合并成一路视频流后通过主流通道发送给目的终端。
5、 如权利要求4所述的方法，其特征在于.，MCU接收目的终端通过辅流通道发送的视频流请求消息时，进一步记 录该视频流请求消息是通过辅流通道发送的；并根据记录结果将所述指定源 终端的视频流合并成一路视频流后通过辅流通道发送给目的终端。
6、 一种多点控制单元MCU,其特征在于，该MCU包括接收模块、 合并模块和发送模块，其中，接收模块，用于接收两个以上的源终端通过主流通道发送的视频流，并 转发给合并模块；合并模块，用于将所述两个以上的视频流合并成两路视频流后发送给发 送模块；其中，所述合并后的两路视频流是单画面或多画面模式，且每个画 面只十应于 一 个源终端的 一见频；发送模块，用于将所述合并后的两路视频流分别通过主流通道和辅流通 道发送给目的终端，使得目的终端能够在主显示设备上显示来自主流通道的 视频，在辅显示设备上显示来自辅流通道的视频。
7、 如权利要求6所述的MCU,其特征在于，该MCU进一步包括流 控信息模块，流控信息模块，用于在接收模块接收到辅流源终端通过辅流通道发送的 视频流时，向指定源终端发送停止发送视频流的流控信息；其中，所述指定 源终端，是其纟见频流通过主流通道发送给MCU且经由MCU合并处理后通 过辅流通道发送给目的终端的源终端；接收模块，进一步用于接收辅流源终端通过辅流通道发送的视频流，并 发送给发送模块；发送模块，进一步用于将所述辅流源终端发送的视频流通过辅流通道发 送给目的终端。
8、 如权利要求7所述的MCU,其特征在于，流控信息模块，用于在接收模块停止接收辅流源终端通过辅流通道发送 的视频流时，向所述指定源终端发送请求发送视频流的流控信息；接收模块，用于接收所述指定源终端发送的视频流并转发给合并模块； 合并模块，用于将所述指定源终端发送的视频流合并成一路视频流后，发送给发送模块；发送模块，用于将所述合并后的一路视频流通过辅流通道发送给目的终二山。
9、 如权利要求6所述的MCU，其特征在于，该MCU进一步包括请 求消息接收模块，请求消息接收模块，用于接收目的终端通过辅流通道发送的视频流请求 消息，并通知流控信息模块；其中，该视频流请求消息请求发送指定源终端 的视频流；流控信息模块，用于在收到所述通知后，向所述指定源终端发送请求发 送视频流的流控信息；接收模块，用于接收包括所述指定源终端在内的两个以上的源终端通过 主流通道发送的视频流，并转发给合并模块；合并模块，用于将所述指定源终端的视频流合并成一路视频流，将除指 定源终端以外的其它源终端的视频流合并成一路视频流后发送给发送模块；发送模块，用于将所述由指定源终端的视频流合并成的一路视频流通过 辅流通道发送给目的终端，将由除指定源终端以外的其它源终端的视频流合 并成的一路视频流通过主流通道发送给目的终端。
10、 如权利要求9所述的MCU,其特征在于，请求消息接收模块，用于在接收到目的终端通过辅流通道发送的视频流 请求消息时，进一步记录该视频流请求消息是通过辅流通道发送的；发送模块，用于根据请求消息接收模块的记录结果，将所述由指定源终 端的^L频流合并成的一鴻4见频流通过辅流通道发送给目的终端。
全文摘要
本发明公开了一种多画面传输方法，包括多点控制单元MCU接收两个以上的源终端通过主流通道发送的视频流；MCU将所述接收的两个以上的视频流合并成两路视频流后分别通过主流通道和辅流通道发送给目的终端，使得目的终端能够在主显示设备上显示来自主流通道的视频，在辅显示设备上显示来自辅流通道的视频。本发明还公开了一种MCU。本发明的技术方案，大大减轻了MCU和终端的处理负担。
文档编号H04N7/15GK101437140SQ20081023978
公开日2009年5月20日 申请日期2008年12月17日 优先权日2008年12月17日
发明者丁志杰 申请人:杭州华三通信技术有限公司