专利名称：码流的带宽均衡方法
技术领域：
本发明涉及到多媒体通信领域，特别涉及到一种码流的带宽均衡方法。
背景技术：
目前在视频会议系统中，各个终端之间可以相互传输内容不同的多画面视频，而在多画面传输过程中，各个终端只能按照预先设置的比例独享相应的带宽，而无法根据传输多画面视频的复杂度动态改变自身所占带宽。因此造成在多画面视频传输过程中，由于多画面视频复杂度随时变化，而各个终端所占带宽不会随之改变，从而使得一部分终端的带宽紧缺，而另外一部分终端的带宽空闲，大大降低了视频会议系统总体带宽的利用率。
为解决上述问题，现有视频会议系统中多画面的实现方案主要有如下两种方式(1)二次编解码的多画面实现方案，参考图1该二次编解码多画面实现方案的主要过程是首先由视频会议系统中的多点控制单元(MCU，Multipoint Control Unit)对来自各个终端的视频码流分别进行解码，得到相应多路解出图象；MCU再提取解出的各路图象缩放成相应比例的尺寸，并组合在一起；最后对组合在一起的图象进行整体编码，再把编码后的单路视频码流分别反馈给各个终端。
通过应用二次编解码方案，使各个终端针对不同复杂度的多画面图象，能够使用二次编解码来实现动态调整自身带宽的目的，从而达到带宽合理分配和均衡的效果。
但是上述基于二次编解码方案来实现带宽均衡的方法，存在下述缺点
实现各个终端之间的带宽均衡需要进行二次编解码处理，这就需要视频会议系统具有承载复杂运算的能力，同时需要较高的硬件实现成本；由于该二次编解码的实现过程是在MCU侧集中进行处理的，因此会占用MCU的大量操作资源，不利于多画面容量的扩展。
(2)复合码流的多画面实现方案，参照图2该复合码流多画面实现方案的主要过程是视频会议系统中的各个终端按照自身传输子画面在多画面中所占比例大小，占用相应的带宽容量；各个终端按照自身所占带宽容量的大小进行编码，并分别把编码后的视频码流发送给MCU；MCU对各个终端发来的视频码流分别进行提取，并根据从各个终端分别提取的视频码流，来记录各个终端占用的相应带宽容量，然后按顺序对提取的各路视频码流进行合成操作；MCU把合成后的单路视频码流再分别以各个终端所占用的相应带宽容量反馈回各个终端，由各个终端分别进行解码操作。
但是上述基于复合码流的多画面实现方案中，并没有提出一种控制各个终端之间进行带宽均衡的方法，从而对采用复合码流多画面方案的视频会议系统，其系统的整体带宽利用率不能得到有效地提高。
发明内容
本发明提出一种码流的带宽均衡方法，以解决现有技术中不能同时满足既节省MCU资源又能提高整体带宽利用率的问题。
为解决上述问题，本发明提出一种码流的带宽均衡方法，包括下列步骤(1)分别对各个终端的带宽特征进行分析计算；(2)根据步骤(1)的分析计算结果，分别计算出每个终端带宽均衡的调整量；
(3)根据步骤(2)计算出的调整量，对每个终端的自身带宽进行相应调整。
其中步骤(1)中分别对各个终端的带宽特征进行分析计算的是每个终端本身；步骤(2)中分别计算出每个终端带宽均衡调整量的是每个终端本身；步骤(3)中对每个终端的自身带宽进行相应调整的是每个终端本身。
其中所述步骤(1)具体包括(11)每个终端计算出各个终端在每周期时间内的平均量化步长值；(12)每个终端计算出自身在所述每周期时间内的带宽利用率；(13)每个终端计算出在所述每周期时间内的总体带宽冗余率。
其中所述步骤(11)进一步包括(111)每个终端分别对视频图象中的每个宏块进行解码，得到每个宏块的量化步长值；(112)把所有宏块的量化步长值相加后，除以所述视频图象中含有的宏块总数目得到所述平均量化步长值。
其中所述步骤(12)中的带宽利用率由下列公式求得带宽利用率＝等于每周期时间内终端实际编码比特数/每周期时间内终端目标比特数。
所述步骤(13)中的总体带宽冗余率由下列公式求得总体带宽冗余率＝(每周期时间内目标总比特数-每周期时间内实际解码总比特数)/每周期时间内目标总比特数；其中所述目标总比特数等于所有终端的目标比特数之和；所述实际解码总比特数等于所有终端的实际解码比特数之和。
所述步骤(2)具体包括在一个周期时间内，一个终端如果同时满足(a1)该终端在所有终端中的平均量化步长值最大；(a2)该终端的带宽利用率＞＝M％；
(a3)总体带宽冗余率＞＝N％；则该终端进行带宽增大调整，调整量＝该终端的初始目标带宽×P％；所述M为预先设定的带宽利用率阀值，N为预先设定的第一总体带宽冗余率阀值，P为预先设定的调节幅度阀值。
所述步骤(2)具体包括在一个周期时间内，一个终端如果同时满足(b1)总体带宽冗余率＜＝K％；(b2)该终端当前目标带宽＞初始目标带宽；则该终端进行带宽减小调整，调整量＝该终端的初始目标带宽×P％；所述K为预先设定的第二总体带宽冗余率阀值，P为预先设定的调节幅度阀值。
所述步骤(2)还具体包括在一个周期时间内，一个终端如果满足当前目标带宽/初始目标带宽＜Q％，则该终端进行带宽增大调整，调整量＝初始目标带宽-当前目标带宽；所述Q为预先设定的当前带宽利用率阀值。
本发明的有益效果通过在各个终端中实现带宽均衡，从而把原来由MCU集中处理的过程分解为由多个终端分布处理的过程，避免了占用MCU的大量操作资源，降低了MCU侧的运算复杂度和硬件实现成本；同时有利于MCU对多画面容量进行扩展，提高了多画面视频的总体质量。
图1是现有技术中采用二次编解码多画面实现方案的系统框图；图2是现有技术中采用复合码流多画面实现方案的系统框图；图3是本发明码流的带宽均衡方法的主体流程图。
具体实施例方式
在视频会议系统中，采用基于复合码流多画面实现方案来传输会议多画面视频码流时，与会的每个终端均会接收到多画面中的各个子画面。这样每个终端就可以通过分析与会各个终端(包括自身)的视频码流带宽特征，进而准确判断出与会各个终端目前带宽的需求情况；然后每个终端可以根据与会各个终端目前带宽的需求情况分别对自身的码流带宽进行相应调整；从而完成在视频会议系统中，由各个终端来完成对系统整体带宽占用的均衡，使得每个终端可以根据接收子画面复杂度的不同动态调整自身的占用带宽，提高系统整体带宽的利用率。
本发明码流的带宽均衡方法正是基于上述原理而进行设计的，该方案的核心目的就是把现有技术中由MCU集中处理各个终端的带宽均衡分解为由多个终端分布处理，克服了集中处理过程中占用MCU操作资源的缺点。下面参照附图对本发明的实现方案进行详细说明。
首先设置本方案中的一些参数阀值设置周期阀值T＝10ms；带宽利用率阀值M＝80；第一总体带宽冗余率阀值N＝50；第二总体带宽冗余率K＝20；调节幅度P＝10；带宽倍增阀值L＝1.5；当前带宽利用率Q＝50。上述中预先设定的该些阀值可以根据系统的需要，进行灵活设定，而并不局限于此处所举数值。
参照图3，步骤10中，参加视频会议的每个终端分别对与会各个终端的视频码流带宽特征进行分析计算，即每个终端除了分析计算自身视频码流带宽特征之外，还要通过接收其他各个终端的视频码流，对其他各个终端(不包括自身)的视频码流带宽特征进行分析计算。
每个终端分析计算各个终端的视频码流带宽特征包括计算出各个终端在每个周期时间内的平均量化步长值。所述的量化步长值指距离检测点最近的周期时间内的平均量化步长。因为每个终端发送视频图象时，要把整幅视频图象分成若干个宏块，每个宏块都特有一个量化步长QP，然后再对每个宏块分别进行编码；所以每个终端接收视频图象时，对该视频图象进行解码时，也要分别解出图象中每个宏块的QP值，其中每个终端的平均量化步长值由下列公式得到每个终端的平均量化步长值＝(QP1+QP2+QP3+.....+QPn)/n
其中QP1为图象第一个宏块的量化步长，QP2为图象第二个宏块的量化步长，.....QPn为图象第n个宏块的量化步长，其中n为该整幅图象中划分宏块的总数目。每个终端在每一周期时间内要同时计算出自身的平均量化步长值和其他各个终端的平均量化步长值，然后对这些平均量化步长值进行大小比较。
计算出每个终端在每个周期时间内的带宽利用率。分别对每一个终端而言，带宽利用率由下列公式得到带宽利用率＝每周期时间内终端实际编码比特数/每周期时间内终端目标比特数这里终端实际编码比特数是指在每个周期时间内终端编码器实际编出的码流比特数；终端目标比特数是指在每个周期时间内终端编码器允许编出的码流比特数。
计算出系统总体带宽冗余率。对每一终端而言，总体带宽冗余率由下列公式得到总体带宽冗余率＝(每周期时间内目标总比特数-每周期时间内实际解码总比特数)/每周期时间内目标总比特数其中目标总比特数等于所有终端目标比特数之和；实际解码总比特数等于所有终端实际解码比特数之和；这里终端实际解码比特数是指在每周期时间内终端解码器实际解码的比特数；系统中所有终端在同一时间内计算出的总体带宽冗余率结果是相同的。
步骤20中，每个终端要参考步骤10中已经分析计算出的带宽特征参数，计算自身相应的带宽调整量。其带宽调整量分为增大调整模式和减小调整模式两种情况。
带宽增大调整模式在某个周期时间内，当某个终端通过步骤10中的相应分析计算得到带宽特征同时满足下列3个条件时
该终端把自身的平均量化步长值和所有其他终端的平均量化步长值逐一进行大小比较时得到自身的平均量化步长值为最大；该终端计算出自身的带宽利用率＞＝80％(其中，80为上述预先设定的带宽利用率阀值M)；系统总体带宽冗余率＞＝50％(其中，50为上述预先设定的第一总体带宽冗余率阀值N)；则该终端进入带宽增大调整模式，该终端开始计算本次增大调整的调整量，其调整量＝该终端初始目标带宽×10％(其中，10为上述预先设定的调节幅度阀值P)。
但对于任何一个终端来说，进入增大模式调整后，其增大调整并不是无限制的，最高只能增大到该终端初始目标带宽的1.5倍(其中，1.5为上述预先设定的带宽倍增阀值L)。其中初始目标带宽是由系统总体带宽、多画面的格式以及终端子画面在多画面中所占比例三个因素共同决定的。
带宽增大模式调整还有一种特殊的处理方式，当在某个周期时间内，某个终端通过步骤10中的相应分析计算得到带宽特征满足当前目标带宽/初始目标带宽＜50％(其中，这里的50为上述预先设定的当前带宽利用率阀值Q)，为加快该终端的带宽调整速度，可以强制该终端一次性的恢复到初始目标带宽，即此时，对该终端而言增大模式调整量＝初始目标带宽-当前目标带宽。其中当前目标带宽指终端编码器当前实际编出的带宽。
带宽减小调整模式在某个周期时间内，当某个终端通过步骤10中的相应分析计算得到带宽特征同时满足下列2个条件时系统总体带宽冗余率＜＝20％(其中，20为上述预先设定的第二带宽利用率阀值K)；该终端当前目标带宽＞该终端初始目标带宽；则该终端进入带宽减小调整模式，该终端开始计算本次减小调整的调整量，其调整量＝该终端初始目标带宽×10％(这里10即为前述预先设定的调节幅度阀值P)。其中带宽减小调整是有底限的，终端带宽最小只能减少到该终端的初始目标带宽。
然后，每个终端根据自身计算出的调整量，进行相应的增大或减小调整，以达到各个终端之间的带宽均衡，提高系统整体带宽的利用率。各个终端的带宽调整可以通过对每个终端预先设置指令，自动进行指令响应，调整自身带宽的大小。
上述每个终端都以相同的周期时间同时进行分析计算各个终端的带宽特征，进而得到每个周期时间内各自带宽的调整量，然后每个终端各自在该周期时间内进行相应的带宽调整。所述的周期时间由视频会议系统应用的整体带宽而定；在视频会议召开的过程中，各个终端都是循环执行分析计算各个终端的带宽特征，进而得到每个周期时间内各自带宽的调整量，然后再相应进行调整；这样就达到了各个终端实时动态调整各自带宽的目的。
上述的实施例仅是采取由每个终端来对各个终端的带宽特征进行分析计算；然后由每个终端根据分析计算的结果，计算确定自身的带宽均衡调节量；最后根据调节量由每个终端对自身的带宽进行相应的调整。其实上述操作不一定要由终端本身来完成，也可以通过分别在每个终端的外部设置测试装置，由外置的测试装置来完成对各个终端的带宽特征进行分析计算，然后根据分析计算的结果，计算确定每个终端的带宽均衡调节量；最后根据调节量对每个终端的带宽进行相应的调整，其实现同采取由每个终端自身来完成的过程，这里不在赘述。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
权利要求
1.一种码流的带宽均衡方法，其特征在于，包括下列步骤(1)分别对各个终端的带宽特征进行分析计算；(2)根据步骤(1)的分析计算结果，分别计算出每个终端带宽均衡的调整量；(3)根据步骤(2)计算出的调整量，对每个终端的自身带宽进行相应调整。
2.根据权利要求1所述的码流的带宽均衡方法，其特征在于，步骤(1)中分别对各个终端的带宽特征进行分析计算的是每个终端本身；步骤(2)中分别计算出每个终端带宽均衡调整量的是每个终端本身；步骤(3)中对每个终端的自身带宽进行相应调整的是每个终端本身。
3.根据权利要求2所述的码流的带宽均衡方法，其特征在于，所述步骤(1)具体包括(11)每个终端计算出各个终端在每周期时间内的平均量化步长值；(12)每个终端计算出自身在所述每周期时间内的带宽利用率；(13)每个终端计算出在所述每周期时间内的总体带宽冗余率。
4.根据权利要求3所述的码流的带宽均衡方法，其特征在于，所述步骤(11)进一步包括(111)每个终端分别对视频图象中的每个宏块进行解码，得到每个宏块的量化步长值；(112)把所有宏块的量化步长值相加后，除以所述视频图象中含有的宏块总数目得到所述平均量化步长值。
5.根据权利要求3所述的码流的带宽均衡方法，其特征在于，所述步骤(12)中的带宽利用率由下列公式求得带宽利用率＝等于每周期时间内终端实际编码比特数/每周期时间内终端目标比特数。
6.根据权利要求3所述的码流的带宽均衡方法，其特征在于，所述步骤(13)中的总体带宽冗余率由下列公式求得总体带宽冗余率＝(每周期时间内目标总比特数-每周期时间内实际解码总比特数)/每周期时间内目标总比特数；其中所述目标总比特数等于所有终端的目标比特数之和；所述实际解码总比特数等于所有终端的实际解码比特数之和。
7.根据权利要求3所述的码流的带宽均衡方法，其特征在于，所述步骤(2)具体包括在一个周期时间内，一个终端如果同时满足(a1)该终端在所有终端中的平均量化步长值最大；(a2)该终端的带宽利用率＞＝M％；(a3)总体带宽冗余率＞＝N％；则该终端进行带宽增大调整，调整量＝该终端的初始目标带宽×P％；所述M为预先设定的带宽利用率阀值，N为预先设定的第一总体带宽冗余率阀值，P为预先设定的调节幅度阀值。
8.根据权利要求7所述的码流的带宽均衡方法，其特征在于，所述终端进行带宽增大调整的上限是该终端初始目标带宽的L倍；所述L为预先设定的带宽倍增阀值。
9.根据权利要求3所述的码流的带宽均衡方法，其特征在于，所述步骤(2)具体包括在一个周期时间内，一个终端如果同时满足(b1)总体带宽冗余率＜＝K％；(b2)该终端当前目标带宽＞初始目标带宽；则该终端进行带宽减小调整，调整量＝该终端的初始目标带宽×P％；所述K为预先设定的第二总体带宽冗余率阀值，P为预先设定的调节幅度阀值。
10.根据权利要求3所述的码流的带宽均衡方法，其特征在于，所述步骤(2)具体包括在一个周期时间内，一个终端如果满足当前目标带宽/初始目标带宽＜Q％，则该终端进行带宽增大调整，调整量＝初始目标带宽-当前目标带宽；所述Q为预先设定的当前带宽利用率阀值。
11.根据权利要求3、5、6、7、9或10所述的码流的带宽均衡方法，其特征在于，所述周期时间为预先设定的周期阀值。
全文摘要
本发明公开了一种码流的带宽均衡方法，首先通过分别对各个终端的带宽特征进行分析计算；然后根据所述分析计算结果，分别计算出每个终端带宽均衡的调整量；最后根据计算出的调整量，对每个终端的自身带宽进行相应调整。通过实施该发明码流的带宽均衡方法，避免了占用MCU的大量操作资源，降低了MCU侧的运算复杂度和硬件实现成本；同时有利于MCU对多画面容量进行扩展。
文档编号H04N7/15GK1581970SQ0315343
公开日2005年2月16日 申请日期2003年8月13日 优先权日2003年8月13日
发明者王静, 汪小荣, 郭戈, 魏小霞 申请人:华为技术有限公司