专利名称：一种实现多屏多画面的方法和系统的制作方法
技术领域：
本发明涉及视频会议领域，特别涉及一种在视频会议系统中实现多屏多 画面的方法和系统。
背景技术：
视频会议系统是支持声音、视频以及数据通信的多媒体通信系统，它包
括会议电一见终端，MCU ( Multipoint Control Unit，多点控制单元)以及其它 一些设备。
目前市场上的视频会议系统一般符合ITU-T H,320(国际电信联盟电信 标准H,320)或ITU-T H,323标准，也有符合IETF SIP (互联网工程任务组会 话初始化协议)标准的系统。
终端是用户使用的设备，终端内包含编解码器，编解码器负责完成声音、 视频等媒体的压缩编码和解码，终端还连接麦克风，摄像头，显示器，声音 播放子系统，用来完成声音、视频的输入和输出，终端还包括用户输入接口， 用户通过输入接口向终端输入指令和信息。终端负责和对方的终端建立连 接，协商双方的编解码器能力，采用双方支持的编解码算法进行通信。
MCU用来完成多方通信。参加多方通信的终端和MCU建立呼叫，并 进行媒体的收发，MCU负责完成媒体的交换和混合。MCU能够4巴,人多个终 端获得的视频合成为一个多画面图像，然后发送给不同的终端。
部分终端也支持多方通信能力，即能够同时和多个终端建立连接。本文 中，把这类终端称为内置MCU功能的终端。
在多点会议中，多画面功能允许用户能够同时看到多个通话终端的视 频，有助于改进通话效果，是非常受欢迎的功能。
目前多画面通常由MCU或内置MCU的终端来进4亍合成，最终作为一
路视频流送给接收终端。
许多情况下，用户的终端设备配置了两个以上的显示器，目前^L频会议 系统支持两絲4见频流，但是现有的多画面显示只允许在一个4见频流中合成并 传送，另一个视频流只传递一个视频源图像，例如传送电脑的VGA显示信 号。如果把多画面合成为一路视频流，只能显示在一个显示器中，这样分配 给每个子画面的显示区域较小。
发明内容
本发明要解决的技术问题是提供 一 种实现多屏多画面的方法和系统，解 决现有视频会议中，多画面只能显示在一个屏幕中，导致子画面显示区域小 的问题，改善用户体-验。
为了解决上述技术问题，本发明提供了 一种视频会议系统中实现多屏多 画面的方法，所述^L频会议系统包含若干个终端，包含如下步骤
(a) 终端和多点控制单元建立连接，终端把本地视频流发送给所述多 点控制单元；
(b) 所述多点控制单元把所述终端发送的输入视频流合成为多个输出 视频流，每一个输出一见频流内容是由一个或多个所述输入一见频流合成的多画 面；
(c) 所述多点控制单元发送所述多个输出视频流给所述终端；
(d) 所述终端接收到所述多个输出视频流后显示在多个显示器上。
进一步地，上述方法还可具有以下特点，步骤(a)中，所述多点控制 单元为一独立多点控制单元或内置于任一所述^L频会议系统的终端上。
进一步地，上述方法还可具有以下特点，步骤(a)中，所述终端和所 述多点控制单元通过ITU-T H.323或ITU-T H.320或互联网工程任务组会话 初始化协议IETF SIP协议建立连接。
进一步地，上述方法还可具有以下特点，步骤(a)中，所述多点控制 单元和所述终端建立一个双向音频通道， 一个终端到多点控制单元的^L频通 道， 一个或多个多点控制单元到终端的^L频通道，通过所述音频通道和—见频通道传输所述输入3见频流和输出#见频流。
进一步地，上述方法还可具有以下特点，所述多点控制单元到终端的视 频通道个数取决于终端的显示器数目，所述多点控制单元通过协商或手工配 置获得所述终端的显示器数目。
进一步地，上述方法还可具有以下特点，所述步骤(b)中，用户通过 所述终端发送信令请求所述多点控制单元所述终端本地多画面的合成效果， 所述多点控制单元根据所述信令请求进行输入视频流的合成。
进一步地，上述方法还可具有以下特点，所述信令请求中包含如下一个
或多个参数输出视频流数目，每路输出视频流的多画面数，多画面包含的 子画面内容，多画面布局。
进一步地，上述方法还可具有以下特点，所述步骤(b)中，所述多点 控制单元为每个所述终端合成的输出视频流中不包含所述终端本地的输入 视频流。
进一步地，上述方法还可具有以下特点，所述步骤(c)中，所述多点 控制单元发送信令通知所述终端每个输出视频流的多画面布局。
本发明还提出一种实现多屏多画面的视频会议系统，包含终端、多点控 制单元，所述终端，用于把本地视频流发送给所述多点控制单元，还用于接 收所述多点控制单元发送的多个输出视频流并显示在多个显示器上；
所述多点控制单元，用于把所述终端的输入视频流合成为多个输出视频 流并发送给所述终端，其中每一个输出视频流内容是由一个或多个输入视频 流合成的多画面。
采用本发明的方法，参与通信的终端能够使用多个显示器来显示多个远 端会场的视频图像，用户能够看到更大或更多的远端会场的视频图像，提高 了用户的视频体验，增强了用户沟通效果，提升了系统的使用价值。
图1是本发明的方法的流程图2是本发明实施例的设备组网图3是本发明实施例的方法流程图4是本发明实施例中MCU合成多画面的示意图5是多画面的一些典型布局示意图6是终端和MCU建立连接的信令交互序列示意图。
具体实施例方式
本发明通过把多画面合成为两路以上的一见频流，每路一见频流分别为多画 面视频(包括单画面的特例)，每路视频流显示在不同的显示器上。这样在 相同的子画面总数下，每个子画面有更大的显示区域可用，用户能够看得更 大的子画面，从而改进视频体—睑质量。
如图1所示，本发明所述方法包含如下步骤
步骤110，参与通信的终端和提供多点通信服务的MCU或内置MCU 终端建立连接。
其中，终端和MCU或内置MCU终端之间可以使用但不限制于ITU-T H.323, ITU-T H.320, IETF SIP协议之一建立连接。
连接建立过程中，不排除有第三方设备的参与。但这些设备不是本发明 要说明的核心，所以省略了相关描述。
MCU或内置MCU终端可通过协商获知终端的显示器数目，MCU或内 置MCU终端也可以通过其它途径(如进行手工配置)获得终端的显示器数 目。
MCU和终端建立一个双向音频通道， 一个双向^L频通道(相当于一个 终端到MCU的一见频通道， 一个MCU到终端的i见频通道)，多个MCU到 终端的单向视频通道，其中单向视频通道数取决于终端的显示器数目。终端 包含n个显示器时，需建立n-1个单向一见频通道。上述MCU和终端建立通 道的方法只是一个示例，也可以用其他方式建立通道、通道数目也不限于上 述说明。可以根据终端的需要建立相应的通道数，例如终端包括多个显示器， 但只使用其中的部分显示器进行显示，则只为这些显示器建立视频通道。
步骤120,终端把本地视频流发送给MCU或内置MCU终端。
步骤130, MCU或内置MCU的终端把多个终端输入的视频流合成为多 个输出^L频流，每个输出一见频流可含一个或多个子画面，每个子画面为一路 输入视频流的图像。
其中，用户可以通过终端设备发送信令请求MCU或内置MCU的终端 本地终端多画面的合成效果，该信令请求中的参数包括但不限于输出视频 流数目，每路输出视频流的多画面数，子画面内容，多画面布局等。
步骤140， MCU或内置MCU的终端把步骤130中所述的多个输出一见频 流发送给终端。
MCU或内置MCU的终端可通过信令通知终端每个输出^L频流的多画 面布局。
步骤150,终端接收该多个输出视频流，把该多个输出视频流显示在不 同的显示器中。
本发明还提出一种实现多屏多画面的视频会议系统，包含终端、多点控 制单元，所述终端，用于把本地视频流发送给所述多点控制单元，还用于接 收所述多点控制单元发送的多个输出^L频流并显示在多个显示器上；所述多 点控制单元，用于把所述终端的输入视频流合成为多个输出视频流并发送给 所述终端，其中每一个输出视频流内容是由一个或多个输入视频流合成的多 画面，图2描述了本发明的一个具体实施例的设备连接关系。该例子中，终 端和MCU都连接到IP网络中，通过IP网络进行通信。终端和MCU通信 符合ITU-TR323标准。在该实施例中每个终端有两个显示器，并且支持接 收两鴻4见频流。MCU具有多画面的合成能力。
图3描述了本发明实施例的方法流程。
步骤310,终端1和MCU建立H.323连接。
可以是终端1主动呼叫MCU,也可以是MCU呼叫终端1。
H.323连接建立过程包括呼叫信令过程，H.245信令过程。建立的连接包括信令通道，多个Jf某体通道，包括l个双向的声音通道，l个双向的4见频
通道，1个单向的MCU到终端的3见频通道。具体的信令交互过程如图6所 示。
终端2，终端3，终端4按相同的方式也和MCU建立连接。因为所有 连接有类似的特征，在不违背一般性的情况下，这里以终端1和MCU之间 的连接为例进行描述。
步骤320,终端1把本会场的一见频流通过一个i见频通道发送给MCU。
步骤330, MCU把4个终端发来的视频流进行多画面合成，合成为多 个输出4见频流。
在本实施例中，合成为两个输出一见频流，每个输出视频流包含部分终端 的视频图像，例如一个输出视频流包含终端1和终端2的视频图像，另一个 输出3见频流包含终端3和终端4的3见频图<象。
MCU也可以为每个终端合成不同的多画面效果。例如，发送给每个终 端的输出视频流中不包含终端本身的输入视频流。
步骤340, MCU把合成的2个输出视频流通过两个视频通道发送给终 端l。同时，MCU可用信令通知终端每个输出视频流的多画面布局样式。
步骤350,终端收到输出视频流后，两个输出视频流显示在不同的显示器。
图4为MCU处理多画面合成的示意图。从4个终端来的视频流最后合 并为两个输出视频流，每个输出视频流包含了 2个终端的视频图像。
图5为几种多画面显示布局示意图。图中给出了 1画面，2子画面(左 右排列)，3子画面(1上2下排列)，4子画面(上下左右各1个排列)， 6子画面，9子画面的布局例子。
图6为终端和MCU建立连接的信令交互序列示意图。
假设终端主动呼叫MCU。
1,终端首先和MCU之间建立传递呼叫信令的通道。
2,终端在呼叫信令通道上和MCU进行呼叫信令交互。终端发送Setup 消息，MCU响应Alerting、 Connect消息，呼叫过禾呈完成。
3，终端和MCU之间建立传递H,245控制信令的通道。
4,终端在控制信令通道上和MCU进行控制信令的交互。
终端发送TerminalCapabilitySet 消息给MCU ， MCU响应 TerminalCapabilitySetAck确认消息。MCU发送TerminalCapabilitySet消息给 终端，终端响应TerminalCapabilitySetAck确i人消息。双方能力交换完成。 终端和MCU的能力集指示支持一个声音流、两个视频流的接收和发送。
终端发送MasterSlaveDetermination消息给MCU ， MCU响应 MasterSlaveDeterminationAck石角i人消'息-,MCU发送MasterSlaveDetermination 消息给终端，终端响应MasterSlaveDeterminationAck确i人消息。双方主/人决 定协商完成。
终端发送OpenLogicalChannel消息给MCU,请求建立声音流通道，MCU 发送OpenLogicalChannel消息给终端，请求建立声音流通道。终端响应 OpenLogicalChannelAck确认消息，MCU响应OpenLogicalChannelAck确认
消息。双方建立了双向的声音通道。
类似地，终端和MCU之间建立第一个双向的—见频流通道，另外终端和 MCU之间还建立一个单向的第二个视频流通道。最后，MCU和终端之间在 声音、视频流通道上发送接收媒体数据。
采用本发明的方法，参与通信的终端能够使用多个显示器来显示多个远 端会场的视频图像，用户能够看到更大或更多的远端会场的视频图像，提高 了用户的视频体验，增强了用户沟通效果，提升了系统的使用价值。
权利要求
1、一种视频会议系统中实现多屏多画面的方法，所述视频会议系统包含多点控制单元和若干个终端，包含如下步骤(a)终端和多点控制单元建立连接，终端把本地视频流发送给所述多点控制单元；(b)所述多点控制单元把所述终端发送的输入视频流合成为多个输出视频流，每一个输出视频流内容是由一个或多个输入视频流合成的多画面；(c)所述多点控制单元发送所述多个输出视频流给所述终端；(d)所述终端接收到所述多个输出视频流后显示在多个显示器上。
2、 如权利要求l所述的方法，其特征在于，步骤(a)中，所述多点控 制单元为一独立多点控制单元或内置于任一所述视频会议系统的终端上。
3、 如权利要求l所述的方法，其特征在于，步骤(a)中，所述终端和话初始化协议IETF SIP协议建立连接。
4、 如权利要求l所述的方法，其特征在于，步骤(a)中，所述多点控 制单元和所述终端建立一个双向音频通道， 一个终端到多点控制单元的3见频 通道， 一个或多个多点控制单元到终端的视频通道，通过所述音频通道和视 频通道传输所述输入视频流和输出视频流。
5、 如权利要求1或4所述的方法，其特征在于，所述多点控制单元到 终端的视频通道个数取决于终端的显示器数目，所述多点控制单元通过协商 或手工配置获得所述终端的显示器数目。
6、 如权利要求l所述的方法，其特征在于，所述步骤(b)中，用户通 过所述终端发送信令请求所述多点控制单元所述终端本地多画面的合成效 果，所述多点控制单元根据所述信令请求进行输入视频流的合成。
7、 如权利要求6所述的方法，其特征在于，所述信令请求中包含如下 一个或多个参数输出视频流数目，每路输出视频流的多画面数，多画面包 含的子画面内容，多画面布局。
8、 如权利要求1或6或7所述的方法，其特征在于，所述步骤(b)中， 所述多点控制单元为每个所述终端合成的输出视频流中不包含所述终端本 地的输入纟见频流。
9、 如权利要求1或6或7所述的方法，其特征在于，所述步骤(c)中， 所述多点控制单元发送信令通知所述终端每个输出视频流的多画面布局。
10、 一种实现多屏多画面的视频会议系统，包含终端、多点控制单元， 其特征在于，所述终端，用于把本地视频流发送给所述多点控制单元，还用 于接收所述多点控制单元发送的多个输出视频流并显示在多个显示器上；所述多点控制单元，用于把所述终端的输入视频流合成为多个输出视频 流并发送给所述终端，其中每一个输出视频流内容是由 一个或多个输入视频 流合成的多画面。
全文摘要
本发明提供了一种视频会议系统中实现多屏多画面的方法和系统，该视频会议系统包含多点控制单元和若干个终端，包含如下步骤(a)终端和多点控制单元建立连接，终端把本地视频流发送给多点控制单元；(b)多点控制单元把终端的输入视频流合成为多个输出视频流；(c)多点控制单元发送该多个输出视频流给终端，每一个输出视频流内容是由一个或多个输入视频流合成的多画面；(d)终端接收到该多个输出视频流后显示在多个显示器上。采用本发明的方法，参与通信的终端能够使用多个显示器来显示多个远端会场的视频图像，用户能够看到更大或更多的远端会场的视频图像，提高了用户的视频体验，增强了用户沟通效果，提升了系统的使用价值。
文档编号H04N7/15GK101198008SQ20081000180
公开日2008年6月11日 申请日期2008年1月3日 优先权日2008年1月3日
发明者吴永明, 范旭彤 申请人:中兴通讯股份有限公司