专利名称：视频会议系统中的带宽控制方法及系统的制作方法
技术领域：
本发明涉及视频会议系统，特别是涉及一种视频会议系统中的带宽控制方法以及一种视频会议系统中的带宽控制系统。
背景技术：
视频会议系统中，实现让终端同时观看多画面布局的功能一般是依靠MCU (Multipoint Control Unit,多点控制单元)把来自不同客户的不同画面的输入码流解码，然后按某种多画面布局合成一个包含了多个终端视频图像的画面再重新编码得到一个输出码流的方式实现的。视频会议系统的架构可参见图1所示。常规视频会议系统中，MCU处理多个码流的流程示意图可参见图2所示。以4个码流为例进行说明，MCU把来自4个不同终端的码流解码，得到4个不同画面，然后把它们按2x2的多画面布局合成到一个画面中，再把它们编码就得到了输出码流。这个输出码流 就是发给各个需要观看多画面的视频会议终端的码流。为了适应终端的性能差异，这种MCU通常会为不同性能的终端输出不同编码格式的码流。在这种常规视频会议系统中，收和发的视频流的码流的带宽是基本相等的，例如，对于I个720P的终端，它发送了一个720P的视频流给MCU，同时也收到一个来自MCU合成后的720P视频流，总体上这两路视频所占的带宽是基本相等的。常规MCU通过合成多画面的上下行带宽基本恒定，所以视频会议系统的带宽控制会相对简单，系统管理人员只需要保证各终端的上下行带宽是某一恒定值，既可得到稳定视频质量。然而，上述常规视频会议系统，由于MCU需要承担繁重的解码合成再编码的工作，因此MCU的成本一般都比较高。为解决这个问题，业界提出了一种基于通知编码技术的视频会议系统，采用多码流方式及根据实际画面尺寸的通知编码技术实现多画面。众所周知，常规的视频会议，在屏幕上看到的来自多个不同终端的画面其实是由MCU合成之后的单个视频图像，而该图像中的各子画面面积肯定是小于等于整个画面的面积的。例如，720P的终端，它观看的画面是1280*720的，那么它显示出来的多画面视频图像中，各子画面的大小肯定是小于等于1280*720的。上述基于通知编码技术的视频会议系统就是建立在“子画面小于等于总画面”的基础上的，该技术通过MCU通知所有在大画面上的客户端，让它们按各自所在子画面的尺寸编解码，然后发给MCU，MCU则不再对这些码流解码和合成编码，而是直接转发给其他客户端。于是来自不同客户端的视频码流，经由MCU中转到达了会议当中的各个终端。这些码流到达了目标终端后，经目标终端分别解码，然后显示到屏幕上，达到了传统视频会议的多画面的效果。如图3所示，多画面布局的总画面大小为1920*1080,4个子画面的大小都为705*576，所以MCU在会议过程中负责通知各终端，按多画面布局中的画面大小，即705*576进行编码。MCU收到了终端的码流后直接转发给其他观看多画面的终端。观看多画面的终端收到多个视频码流后分别用不同的解码器解码，然后按多画面布局显示。以上利用通知编码实现多画面的技术，由于MCU不必承担繁重的解码合成再编码的工作，因此MCU的成本大大降低。同时也因为应用了该技术，使得将来有更多的业务设计和控制策略的灵活性。但更多的灵活性的背后存在一个关系到整个系统稳定性的问题——带宽控制的难度增大。我们必须对各个子窗口对应的终端进行严格的带宽控制，尤其在多画面窗口布局改变时，我们必须通过计算并逐一通知各终端使用某种编解码器编码，只有这样严格地控制才可以让系统在可控的带宽范围内稳定运行。
发明内容
基于此，本发明提供一种视频会议系统中的带宽控制方法及系统，能够让基于通知编码技术的视频会议系统在可控的带宽范围内稳定运行。为实现上述目的，本发明采用如下的技术方案一种视频会议系统中的带宽控制方法，包括以下步骤
读取带宽能力表；所述带宽能力表为将预先定义的视频编码器分配到预先划分好的各个带宽段后所形成的带宽与视频编码器对应的表格；判断当前视频会议中的多画面窗口布局是否为等比视频布局；若是，则为各终端选择相同的视频编码器；选择过程如下根据视频总带宽及当前子窗口个数计算参考码率，并在所述带宽能力表中选择对应带宽段内码率与所述参考码率最接近且小于或等于该参考码率的视频编码器。—种视频会议系统中的带览控制系统，包括读取模块，用于读取带宽能力表；所述带宽能力表为将预先定义的视频编码器分配到预先划分好的各个带宽段后所形成的带宽与视频编码器对应的表格；判断模块，用于判断当前视频会议中的多画面窗口布局是否为等比视频布局；第一视频编码器计算模块，用于在所述判断模块的判断结果为是的情况下，为各终端选择相同的视频编码器；选择过程如下根据视频总带宽及当前子窗口个数计算参考码率，并在所述带宽能力表中选择对应带宽段内码率与所述参考码率最接近且小于或等于该参考码率的视频编码器。由以上方案可以看出，本发明的视频会议系统中的带宽控制方法及系统，首先自定义一个带宽与视频编码器对应的带宽能力表，然后判断当前的多画面窗口布局类型，在等比视频布局的情况下，计算出参考码率并根据该参考码率在所述带宽能力表中选择合适的视频编码器。由于本发明的方案中各终端需要根据选定的视频编码器进行编码，因此实现了对各个子窗口对应的终端的带宽控制，使得视频会议系统能够在一个可控的带宽范围下稳定的运行。而且采用本发明的方案所编码出的视频画面质量更好。
图1为视频会议系统的架构示意图；图2为常规视频会议系统中MCU处理多个码流的流程示意图；图3为通知编码实现多画面的流程示意图；图4为本发明实施例中一种视频会议系统中的带宽控制方法的流程示意图；图5为本发明实施例中所支持的几种非等比视频布局示意图；图6为本发明实施例中一种视频会议系统中的带宽控制系统的结构示意图。
具体实施例方式下面结合附图以及具体的实施例，对本发明的技术方案作进一步的描述。要实现稳定的视频会议效果，我们需要一套完整的带宽控制策略及用户的交互设计。若需要让视频会议系统在一个可控的带宽范围下稳定的运行，那么我们必须使我们在终端与服务器之间进行传输视频、音频、会议信令所用的总带宽不超过系统所部署网络环境的带宽值。例如，用户希望召开一个4Mbps带宽的会议，那么我们就认为所有参会终端到达MCU的带宽至少为4Mbps，而我们的带宽控制的目标就是视频带宽+音频带宽+会议信令带宽<=4Mbps。音频和会议信令所占的带宽基本不变，所以在通知编码的带宽控制中，控制的重点就是视频的带宽。为了方便后面的描述，我们暂时把除了音频和信令外的代表单个客户端与服务器间的点对点的用于视频传输的带宽最大值称为“视频总带宽”，把当前终端观看视频和上传视频所消耗的带宽称为“视频消耗带宽”。其中，视频总带宽包括上下行带宽相 等以及上下行带宽不相等两种情况，在本发明实施例中，仅针对视频总带宽的上下行带宽相等的情况进行说明；另外，视频消耗带宽是一对可变值，在一个终端没有观看任何一路视频时，它的下行值为零，当它每增加观看了一路视频时，它的下行值就增加了该路视频编码器对应的输出带宽，当该终端的视频在多画面布局中某个子画面上时，该终端则按该子画面大小进行编解码并上传，其视频消耗带宽的上传值则为该终端编码器输出的带宽值。参见图1所示，一种视频会议系统中的带宽控制方法，包括以下步骤步骤S101，读取带宽能力表；所述带宽能力表为将预先定义的视频编码器分配到预先划分好的各个带宽段后所形成的带宽与视频编码器对应的表格。本发明实施例中只需直接读取带宽能力表即可，而事实上现有技术中是不存在这个带宽能力表的。因此为了让通知编码中带宽控制得以实现，我们在步骤SlOl之前还做了以下前期准备工作I)预先定义视频编码器。在本发明实施例中，我们根据不同的分辨率、帧率和码率定义了 23种编码组合，我们视他们为23种视频编码器；2)预先划分带宽等级。在本发明实施例中，为了方便用户根据带宽情况创建视频会议，我们从384kbps到8Mbps不等比地划分了 11个带宽段；3)生成带宽能力表。我们根据视频编码器的输出码率不可高于视频总带宽的原贝U，将上述23种视频编码器分配到各个带宽段中。表中各段的视频编码器可以按码率大小由小到大排列，于是形成一份带宽和视频编解码器对应的表格，这份表格就是带宽能力表。在本发明实施例中，所生成的带宽能力表如下面的表一所示表一带宽能力表
权利要求
1.一种视频会议系统中的带宽控制方法，其特征在于，包括以下步骤读取带宽能力表；所述带宽能力表为将预先定义的视频编码器分配到预先划分好的各个带宽段后所形成的带宽与视频编码器对应的表格；判断当前视频会议中的多画面窗口布局是否为等比视频布局；若是，则为各终端选择相同的视频编码器；选择过程如下根据视频总带宽及当前子窗口个数计算参考码率，并在所述带宽能力表中选择对应带宽段内码率与所述参考码率最接近且小于或等于该参考码率的视频编码器。
2.根据权利要求1所述的视频会议系统中的带宽控制方法，其特征在于，若判断得出当前视频会议中的多画面窗口布局不是等比视频布局而是由大、小两种不同尺寸窗口所组成的非等比视频布局，则为该非等比视频布局上各终端分别选择大、小两种不同尺寸窗口的视频编码器；其中小尺寸窗口的视频编码器的选择过程如下在所述带宽能力表中选择对应带宽段内最小码率的视频编码器作为所述小尺寸窗口的视频编码器；大尺寸窗口的视频编码器的选择过程如下根据视频总带宽、所有小尺寸窗口的视频编码器的码率之和以及大尺寸窗口的个数计算非等比视频布局下的参考码率，并在所述带宽能力表中选择对应带宽段内码率与所述非等比视频布局下的参考码率最接近且小于或等于该参考码率的视频编码器作为所述大尺寸窗口的视频编码器。
3.根据权利要求1所述的视频会议系统中的带宽控制方法，其特征在于，根据所述视频总带宽及当前子窗口个数，采用如下公式计算等比视频布局下的参考码率视频总带宽 /当前子窗口个数=参考码率。
4.根据权利要求2所述的视频会议系统中的带宽控制方法，其特征在于，根据所述视频总带宽、所有小尺寸窗口的视频编码器的码率之和以及大尺寸窗口的个数，采用如下公式计算非等比视频布局下的参考码率(视频总带宽一所有小尺寸窗口的视频编码器的码率之和)/大尺寸窗口的个数=参考码率。
5.根据权利要求2所述的视频会议系统中的带宽控制方法，其特征在于，在选定视频编码器之后，还包括步骤通知各终端按照所选择的视频编码器进行编码。
6.—种视频会议系统中的带览控制系统，其特征在于，包括读取模块，用于读取带宽能力表；所述带宽能力表为将预先定义的视频编码器分配到预先划分好的各个带宽段后所形成的带宽与视频编码器对应的表格；判断模块，用于判断当前视频会议中的多画面窗口布局是否为等比视频布局；第一视频编码器计算模块，用于在所述判断模块的判断结果为是的情况下，为各终端选择相同的视频编码器；选择过程如下根据视频总带宽及当前子窗口个数计算参考码率，并在所述带宽能力表中选择对应带宽段内码率与所述参考码率最接近且小于或等于该参考码率的视频编码器。
7.根据权利要求6所述的视频会议系统中的带宽控制系统，其特征在于，还包括第二视频编码器计算模块，用于在所述判断模块的判断结果为否并且当前视频会议中的多画面窗口布局是由大、小两种不同尺寸窗口所组成的非等比视频布局时，为该非等比视频布局上各终端分别选择大、小两种不同尺寸窗口的视频编码器；其中，小尺寸窗口的视频编码器的选择过程如下在所述带宽能力表中选择对应带宽段内最小码率的视频编码器作为所述小尺寸窗口的视频编码器；大尺寸窗口的视频编码器的选择过程如下根据视频总带宽、所有小尺寸窗口的视频编码器的码率之和以及大尺寸窗口的个数计算非等比视频布局下的参考码率，并在所述带宽能力表中选择对应带宽段内码率与所述非等比视频布局下的参考码率最接近且小于或等于该参考码率的视频编码器作为所述大尺寸窗口的视频编码器。
8.根据权利要求6所述的视频会议系统中的带宽控制系统，其特征在于，所述第一视频编码器计算模块包括第一参考码率计算模块，用于根据所述视频总带宽及当前子窗口个数，采用如下公式计算等比视频布局下的参考码率视频总带宽/当前子窗口个数=参考码率。
9.根据权利要求7所述的视频会议系统中的带宽控制系统，其特征在于，所述第二视频编码器计算模块包括第二参考码率计算模块，用于根据所述视频总带宽、所有小尺寸窗口的视频编码器的码率之和以及大尺寸窗口的个数，采用如下公式计算非等比视频布局下的参考码率(视频总带宽一所有小尺寸窗口的视频编码器的码率之和)/大尺寸窗口的个数=参考码率。
10.根据权利要求7所述的视频会议系统中的带宽控制系统，其特征在于，还包括通知模块，用于在所述第一视频编码器计算模块或第二视频编码器计算模块选定视频编码器之后，通知各终端按照所选择的视频编码器进行编码。
全文摘要
本发明提供一种视频会议系统中的带宽控制方法及系统，所述方法包括以下步骤读取带宽能力表；所述带宽能力表为将预先定义的视频编码器分配到预先划分好的各个带宽段后所形成的带宽与视频编码器对应的表格；判断当前视频会议中的多画面窗口布局是否为等比视频布局；若是，则为各终端选择相同的视频编码器；选择过程如下根据视频总带宽及当前子窗口个数计算参考码率，并在所述带宽能力表中选择对应带宽段内码率与所述参考码率最接近且小于或等于该参考码率的视频编码器。本发明的方法及系统实现了对各个子窗口对应的终端的带宽控制，使得视频会议系统能够在一个可控的带宽范围下稳定的运行，而且采用本发明方案编码后的画面质量更好。
文档编号H04N7/15GK103024342SQ20121057200
公开日2013年4月3日 申请日期2012年12月25日 优先权日2012年12月25日
发明者刘明宇 申请人:广东威创视讯科技股份有限公司