多画面处理方法、多点控制单元及视频系统的制作方法
【技术领域】
[0001]本发明涉及通信领域，具体而言，涉及多画面处理方法、多点控制单元及视频系统。
【背景技术】
[0002]多点视频通讯需求越来越大，每台局端设备容量有限，需要多台局端设备级联来解决容量问题，局端设备也可以称为多点控制单元(Multi Control Unit，简称为MCU)。
[0003]目前，在多点视频通讯中通常会使用多画面功能，在相关技术中，多画面功能的实现是基于每台局端设备(MCU)内部多点实现的，级联时由于局端设备(MCU)间的带宽有限，一般只有一路图像的带宽，很难实现多个子画面在不同局端设备的多画面功能。针对这个问题有多种解决方案，例如，最简单的解决方案就是多通道级联，这种方案牺牲了的局端间的带宽。
[0004]针对相关技术中使用简单的多通道级联来实现多画面功能所导致的问题，目前尚未提出有效的解决方案。
【发明内容】
[0005]本发明提供了多画面处理方法、多点控制单元及视频系统，以至少解决相关技术中使用简单的多通道级联来实现多画面功能所导致的问题。
[0006]根据本发明的一个方面，提供了一种多画面处理方法，包括:一个或多个多点控制单元MCU中的每个MCU将多画面布局中的本MCU下的终端的视频图像按照所述多画面布局进行缩放合成；所述每个MCU将合成后的视频图像进行编码并发送；终点MCU将接收到所述每个MCU发送的合成后的视频图像解码并提取每个终端的视频图像；所述终点MCU使用提取到的视频图像以及所述终点MCU下的终端的视频图像按照所述多画面布局进行合成并发送合成后的视频图像。
[0007]进一步地，所述方法还包括:根据预定规则从多个MCU中协商并确定一个MCU作为所述终点MCU。
[0008]进一步地，所述预定规则包括以下至少之一:选择特定终端所在MCU为终点MCU、带宽最大的MCU作为终点MCU、选择运算处理能力最强的MCU作为终点MCU、选择空闲资源最多的MCU作为终点MCU、根据管理员的设置确定终点MCU。
[0009]进一步地，所述方法还包括:所述终点MCU获取所述每个MCU所能够使用的带宽资源；所述每个MCU将合成后的视频图像进行编码并发送包括:所述每个MCU按照其所能使用的带宽将合成后的视频图像进行编码并发送。
[0010]进一步地，所述终点MCU使用提取到的视频图像以及所述终点MCU下的终端的视频图像按照所述多画面布局进行合成并发送合成后的视频图像包括:所述终点MCU获取另一MCU发送多画面的信息，所述信息用于表示所述另一MCU所需要的终端的视频图像；所述终点MCU根据所述信息将所述另一 MCU所需要的终端的视频图像按照上述多画面布局进行合成并向终端和/或需要此合成图像的MCU发送合成后的视频图像。
[0011]根据本发明的另一个方面，提供了一种多画面处理方法，包括:多点控制单元MCU将多画面布局中的本MCU下的终端的视频图像按照所述多画面布局进行缩放合成，将合成后的视频图像进行编码并发送；或者，所述MCU接收其他MCU发送的按照所述多画面布局合成后的视频图像并进行解码以及提取每个终端的视频图像，使用提取到的视频图像以及该MCU下的终端的视频图像按照所述多画面布局进行合成并发送合成后的视频图像。
[0012]进一步地，所述方法还包括:所述MCU与所述其他MCU根据预定规则进行协商并确定作为所述终点MCU的MCU ;在所述MCU未作为终点MCU的情况下，所述MCU将多画面布局中的本MCU下的终端的视频图像按照所述多画面布局进行缩放合成，将合成后的视频图像进行编码并发送；在所述MCU作为终点MCU的情况下，所述MCU接收所述其他MCU发送的按照所述多画面布局合成后的视频图像并进行解码以及提取每个终端的视频图像，使用提取到的视频图像以及所述MCU下的终端的视频图像按照所述多画面布局进行合成并发送合成后的视频图像。
[0013]进一步地，所述预定规则包括以下至少之一:选择特定终端所在MCU为终点MCU、选择带宽最大的MCU作为终点MCU、选择运算处理能力最强的MCU作为终点MCU、选择空闲资源最多的MCU作为终点MCU、根据管理员的设置确定终点MCU。
[0014]进一步地，所述MCU将合成后的视频图像进行编码并发送包括:所述MCU按照其所能使用的带宽将合成后的视频图像进行编码并发送，其中，所能使用的带宽为所述终点MCU确定的。
[0015]进一步地，所述终点MCU使用提取到的视频图像以及所述终点MCU下的终端的视频图像按照所述多画面布局进行合成并发送合成后的视频图像包括:所述MCU获取另一MCU的多画面的信息，其中，所述信息用于表示所述另一 MCU所需要的终端的视频图像；所述MCU根据所述信息将所述另一 MCU所需要的终端的视频图像按照上述多画面布局进行合成并向终端和/或需要此合成图像的MCU发送合成后的视频图像。
[0016]根据本发明的另一方面，提供了一种多点控制单元，所述多点控制单元MCU包括:第一处理模块，用于将多画面布局中的本MCU下的终端的视频图像按照所述多画面布局进行缩放合成，将合成后的视频图像进行编码并发送；和/或，第二处理模块，用于接收其他MCU发送的按照所述多画面布局合成后的视频图像并进行解码以及提取每个终端的视频图像，使用提取到的视频图像以及所述MCU下的终端的视频图像按照所述多画面布局进行合成并发送合成后的视频图像。
[0017]进一步地，所述多点控制单元还包括:协商模块，用于与所述其他MCU根据预定规则进行协商并确定作为所述终点MCU的MCU ;在所述MCU未作为终点MCU的情况下，所述第一处理模块使能；在所述MCU作为终点MCU的情况下，所述第二处理模块使能。
[0018]进一步地，所述预定规则包括以下至少之一:选择特定终端所在MCU为终点MCU、选择带宽最大的MCU作为终点MCU、选择运算处理能力最强的MCU作为终点MCU、选择空闲资源最多的MCU作为终点MCU、根据管理员的设置确定终点MCU。
[0019]进一步地，所述第一处理模块用于按照所述第一处理模块所在的MCU所能使用的带宽将合成后的视频图像进行编码并发送，其中，所能使用的带宽为所述终点MCU确定的。
[0020]进一步地，所述第二处理模块用于获取另一 MCU发送的多画面的信息，其中，所述信息用于表示所述另一 MCU所需要的终端的视频图像；并根据所述信息将所述另一 MCU所需要的终端的视频图像按照上述多画面布局进行合成并向终端和/或需要此合成图像的MCU发送合成后的视频图像。
[0021]根据本发明的另一方面，提供了一种视频系统，包括:至少两个多点控制器，其中，所述至少两个多点控制器中有一个具有上述的第二处理模块，其余多点控制器具有上述的第一处理模块。
[0022]通过本发明，采用一个或多个MCU中的每个MCU将多画面布局中的本MCU下的终端的视频图像按照该多画面布局进行缩放合成；该每个MCU将合成后的