专利名称：基于对象的比特率控制方法和系统的制作方法
技术领域：
本发明涉及图像传输系统，尤其涉及利用基于对象的比特率控制系统，根据对象的重要性改变量化参数(QP)的方法。
用于诸如图像通信或者电视电话通信等低比特率通信的视频编码器必须在压缩效率和低复杂性方面具有较高的性能。因此，用于低比特率通信的大多数视频编码器使用后向控制方法，其根据缓冲器的状态，通过调节量化参数(QP)而对比特率进行控制。
图1显示的是传统比特率控制系统的示意结构图，包括特征分析器110，用于对输入图像的特征进行分析；量化器102，用于对图像进行量化；输出缓冲器103，用于将编码图像作为比特流进行输出；目标比特分配器104，用于根据特征分析器101和输出缓冲器103的状态信息分配目标比特；和比特率调节器105，用于根据所分配的目标比特对比特率进行调节。
特征分析器110对图像数据的特征进行分析，并且将结果提供给目标比特分配器104，目标比特分配器104根据图像数据的特征结果和输出缓冲器103的状态信息分配目标比特。比特率调节器105根据目标比特分配器104分配的目标比特对量化器102的比特率进行调节。而量化器102根据所调节的比特率对图像数据进行编码，并且将编码的数据存储到输出缓冲器103中。输出缓冲器103对比特流进行调节，以便按预定的速度进行输出，并且防止在比特流重建过程中可能产生的溢出或者下溢。
此处，比特率调节器105使用QP作为编码参数对比特率进行调节。例如，当QP具有大的值时，则降低比特率，但是也降低了视频的质量。对于QP值小的情况，则增大比特率，但是也提高了图像的质量。即，图像质量和比特率是彼此矛盾的。因此，当将网络的带宽降低到较低的比特率时，则会降低图像的质量。
但是，传统的比特率控制方法通常对整个图像提出一个数学模型(例如，线性模型、非线性模型、拉普拉斯模型、指数模型、高斯模型等等)，并且根据模型分配比特。因此不可能为输入图像的特征或重要区域(例如，人的面部，眼睛，鼻子或者嘴)确定最佳的QP。即，即使是重要区域，当由于很差的网络状况而导致比特率很低时，也会降低图像的质量。另外，即使该区域是非重要区域，由于网络状况的变化，也可能会有比重要区域更高的图像质量。
在图像通信或者电视电话通信中，必须考虑比特率和图像质量之间的关系。即，用户对于重要区域或者目标区域的图像质量的敏感程度远大于非重要区域或者非目标区域。即对于用户判断视频质量，重要或目标区域的图像质量是比整个图像的视频质量更为重要的的因素。
传统的比特率控制方法根据QP对整个屏幕进行统一编码，这样，在用户敏感的重要区域中给用户提供了低质量的图像。
另外，传统的比特率控制方法根据溢出或者下溢对QP进行调节，这样，由于根据网络状态而造成视频质量的巨大变化和下降，而不能为用户提供高质量的视频。
因此，本发明的一个目的是提供一种基于对象的比特率控制方法和系统，其能够根据对象的重要性对比特率进行不同的控制。
本发明的另外一个目的是提供一种改变QP的方法，其在控制比特率时，能够根据对象的区域属性，利用不同的模式改变QP。
通过提供一种基于对象的比特率控制方法而实现了本发明的这些和其它目的和优点，该方法包括从图像中分离出目标区域；根据至少一个宏块的重要性对量化参数进行不同的改变。
此处，在目标区域的宏块中，设定低的QP；而在背景区域的宏块中，设定高的QP。
包含在用户区域中的宏块比包含在背景区域中的宏块具有更高的重要性。
根据施加了重要性值的宏块是否是边界宏块，使用不同的QP模式。此处，示范的QP模式包括‘任意QUANT选择模式’和‘小步长QUANT改变模式’。
根据本发明的另外一个方面，在实现基于对象的比特率控制时，改变量化参数的方法包括确认施加了重要性值的宏块是否是位于用户区域和背景区域之间的边界宏块；当宏块是边界宏块时，以大的宽度对量化参数进行改变；当宏块不是边界宏块时，以小的宽度对量化参数进行改变。
根据本发明的另外一个方面，一种基于对象的比特率控制系统包括用于从图像中分离出目标区域的装置；用于根据宏块是否是目标区域，对量化参数进行不同改变的装置；用于根据改变的量化参数对宏块进行编码的装置。
可以使用面部区域提取算法对对象进行分离，对所述算法已经进行了积极的研究。
本发明的其它优点、目的和特征有一部分将在以下的说明书中进行阐述，其余部分则对于本领域的技术人员经过对以下内容的考察后会变得明了，或者通过实施本发明而体验到。可以实现和达到如所附的权利要求书具体指出的本发明的目的和优点。
下面结合附图，对本发明的优选实施例进行描述。
图2显示的是根据本发明的比特率控制系统的示意结构图。参照图2，比特率控制系统包括重要性值施加器201，量化器202，输出缓冲器203，目标比特分配器204以及比特率调节器205。
重要性值施加器201从输入图像中分离出对象。此处，可以根据面部区域提取算法分离出对象，对所述的算法已经经过了积极的研究。所分离出的对象一般包括至少一个16*16的宏块。对象分为用户区域、背景区域和边界区域。边界区域表示存在于用户区域和背景区域之间的区域。用户区域包括人体、面部、眼睛、鼻子、嘴或者其组合。
重要性值施加器201向包含在所分离对象区域中的宏块施加重要性值。此处，所分离的对象区域是用户区域，并且是视频通信中的目标区域。最好是，用户区域的宏块比背景区域的宏块具有更高的重要性值。即，这意味着，用户区域的宏块比背景区域的宏块更重要。如上所述，所施加的重要性值各不相同，并且根据不同的重要性值对QP进行改变，从而在用户区域中提高图像的质量。同时，由于目标区域通常具有较高的重要性，所有可以不包括施加重要性值的步骤。在此情况下，根据宏块是否在目标区域中，对QP进行改变。
另一方面，将输出缓冲器203所确认的网络状况信息提供给目标比特分配器204，以分配目标比特。即，目标比特分配器204基于输出缓冲器203输出的状况信息，检测网络的当前状况，以分配目标比特。
比特率调节器205根据由重要性值施加器201所分配的宏块重要性值对QP进行不同的改变。
量化器202根据不同的QP对宏块进行量化。此处，量化器202对所有施加了重要性值的宏块进行量化。
输出缓冲器203接收编码的宏块，并且输出比特流。通过具有有限带宽的信道对比特流进行传输。
当通过网络进行多媒体图像的传输时，基于对象的比特率控制系统从输入图像中分离出具有宏块单元的对象，对各个宏块施加重要性值，根据施加了重要性值的宏块对QP进行改变；利用不同的QP对各个宏块进行量化。
当使用诸如H.263或者MPEG1/2等的移动图像标准进行解释时，使用16*16的宏块单元对给定图像的各个帧进行编码。根据离散余弦转换(DCT)生成的系数值对宏块的亮度单元和色度单元进行量化，并且以N比特对它们进行表示。根据可变长度编码(VLC)对量化的比特进行编码。此处，QP确定量化方法。将小于设定QP的比特数目转换为‘0’。因此，当QP为高时，转换为‘0’的比特数目就增加。对于根据VLC编码比特的情况，降低了比特的数目，但是由于量化增加了信息丢失，这降低了图像的质量。相反地，当QP为低时，减少了由于量化而导致的信息丢失，从而提高了图像的质量，但是增加了通过具有有限带宽的网络进行数据传输的负载。
根据本发明，从所传输的图像中分离出目标区域或者重要区域，在目标区域或者重要区域设定相对低的QP，以提高图像的质量，在非目标区域或者非重要区域设定相对高的QP，以降低数据传输的负载。
下面参照图3，对根据本发明的基于对象的比特率控制方法进行详细描述。
参照图3，从输入图像中分离出目标区域(步骤211)。如上所述，目标区域可以是用户区域、背景区域或者边界区域。根据区域的大小，目标区域至少包括一个宏块。
根据本发明，对包含在所分离对象中的宏块施加重要性值(步骤213)。此处，用户区域的宏块比背景区域的宏块具有更高的重要性值。
如上所述，由于在图像质量上用户区域比背景区域更为敏感，所以向用户区域施加高的重要性值。当网络的比特率较低时，具有相对高重要性值的用户区域的图像质量保持在高的水平，但是降低具有相对低重要性的背景区域的图像质量，以满足用户，并反映网络的状况。
仍然参照图3，目标比特分配器基于输出缓冲器输出的网络状况信息对目标比特进行分配(步骤215)。
当分配目标比特时，根据由重要性值施加器所施加在宏块单元上的重要性值，比特率调节器对QP进行改变(步骤217)。
根据改变的QP，对各个宏块进行编码(步骤219)。
根据本发明，采用由H.263+所提供的Annex T(修正的QP)对QP进行改变。在现在的H.263中，在宏块单元中，QP的值可以相对于先前宏块的QP进行从+2到-2的改变。即，用于改变比特率的QP的变化范围是先前宏块QP的±2。由于在H.263中，QP的改变范围很窄，很难适应网络环境的改变，并且很难从非重要区域中区别出目标区域。
但是，由H 263+所提供的Annex T使用2比特的小步长QUANT改变模式，并且通过如下面表1所示设定的QUANT差异而对QP进行控制，或者使用6比特的任意QUANT选择模式，并且不管前面的QP，而将QP的可变范围从1扩展到31。
表1
即，可以使用在H 263+的Annex T中定义的‘小步长QUANT改变模式’或者‘任意QUANT选择模式’对QP进行改变。小步长QUANT改变模式用于降低QP的可变宽度，任意QUANT选择模式用于增加QP的可变宽度。
另一方面，最好使用任意QUANT选择模式，以快速易行地对比特率进行控制。图5显示的是用户区域和背景区域的对象分离的实例。如图5所示，当在图像通信中使用对象分离方法对背景区域和用户区域进行分离时，使用不同的QP对两个区域进行编码。由于在任意QUANT改变模式中，无需考虑前面宏块的QP，所以可以对各个宏块的QP从1到31进行选择，用户基于对象对图像进行分离，确定重要性值，并且对各个宏块进行不同的量化，从而控制比特率。如图3所示，对于将图像分为用户区域和背景区域的情况，使用相对低的QP对用户区域进行量化，以保持大量的DCT系数信息，而使用相对高的QP对背景区域进行量化，以去除DCT系数信息，从而控制比特率。因此，使用高质量的图像对有效或者目标区域进行显示，而减小非目标或者非重要区域的比特数目。
然而，当两个区域，即用户区域和背景区域，使用Annex T的任意QUANT选择模式时，增加了很多附加的报头比特，导致了比特率控制的负载。即，当2比特报头对小步长QUANT改变模式的各个宏块是必需的时，对于任意QUANT选择模式而言，6比特报头是必需的。向各个宏块添加附加比特，从而增加了额外开销。
为了解决上述问题，在图4中提出了一种方法。
图4显示的是根据本发明，在基于对象的比特率控制方法中，利用边界宏块对QP进行不同改变的方法流程图。在解释图4之前，结合图6对边界宏块进行解释。如图6所示，对象分为用户区域、背景区域和边界区域。在下文中，将用户区域的宏块称为用户宏块，将背景区域的宏块称为背景宏块，将边界区域的宏块称为边界宏块。此处，边界宏块指的是一种宏块，其在编码的宏块顺序中，位于用户区域和背景区域之间。
当编码器在一帧中对宏块进行编码时，进行编码的宏块顺序是从顶行到底行，在一行中是从左侧宏块到右侧宏块。按此顺序，发生从背景宏块到目标宏块区域或者从目标宏块区域到背景宏块的改变的宏块是边界宏块。因此，对于从背景到目标区域改变的情况，边界宏块位于目标区域，但是对于从目标区域到背景区域的改变的情况，边界宏块位于背景中。如图6所示。图中灰色宏块是发生改变的背景宏块。
通常来讲，QP在背景宏块中具有大的差值，而在用户宏块和背景宏块中的差异不大。如图4所示，根据QP的不同，使用任意QUANT选择模式或者小步长QUANT改变模式对QP进行改变。
还参照图4，比特率调节器确认由重要性值施加器施加了重要性值的宏块是否是用户区域和背景区域之间的边界宏块(步骤311)。
此处，利用各个宏块的亮度和色度元素确认宏块是否是边界宏块。即，图6中划分的用户宏块、背景宏块和边界宏块中的亮度和色度元素中存在差异。利用此差异，可以很容易地对边界宏块进行确认。
对于确认结果，当宏块是边界宏块时，将QP模式转变为任意QUANT选择模式(步骤313)。当将QP模式转变为任意QUANT选择模式时，以大宽度对QP进行改变(步骤315)。
当宏块不是边界宏块时，将QP模式转变为小步长QUANT改变模式(步骤317)。通过小步长QUANT改变模式以小宽度对QP进行改变(步骤319)。
因此，仅对边界宏块，使用任意QUANT选择模式以大宽度对QP进行改变，而对用户宏块或者背景宏块，利用小步长QUANT改变模式以小宽度对QP进行改变。因此，仅对边界宏块使用6比特报头，而对用户宏块或者背景宏块使用2比特报头。和对整个帧使用6比特报头相比，显著降低了报头比特数目，以在宏块单元中改变比特率。
另一方面，当后面存在宏块时，程序跳转到步骤311，如果没有，则程序结束(步骤321)。
如上所述，仅对边界宏块，使用任意QUANT选择模式以大宽度对QP进行改变，而对用户宏块或者背景宏块，利用小步长QUANT改变模式以小宽度对QP进行改变，从而降低了报头比特的数目，以防止额外开销。
在本实施例中，描述了在诸如图像通信或者电视电话通信的网络环境下，有效控制比特率的方法。但是，本发明的技术可以用作诸如视频邮件等运动图像控制比特率的方法。即，当根据本发明的方法，对由移动终端获得的图像进行编码时，整个编码图像的体积小，并且具有高质量。
根据本发明，在基于对象的比特率控制方法和系统中，当基于图像通信或者视频电话传输的对象对视频进行分离时，可以将特定的对象设定为具有高重要性。这样，通过在重要区域中提高图像质量和在非重要区域中降低图像质量，能够处理网络环境的低比特率问题。
根据本发明，在控制比特率时改变QP的方法中，在边界区域和其它区域对QP的不同宽度进行调节，从而防止由于过多报头所导致的额外开销。
根据本发明，在基于对象的比特率控制方法和系统中，通过在重要区域传输大量的信息和在非重要区域传输少量的信息，可以为用户提供满意质量的图像。
尤其是，本发明的方法和系统适用于诸如IMT 2000的无线移动通信。由于无线移动通信比电缆移动通信具有更差的网络环境，以低比特率获得高质量的图像是很重要的。
尽管参照特定的优选实施例对本发明进行了显示和描述，但是对于本领域技术人员，在不脱离本发明的权利要求书所限定的精神和范围的情况下，显然可以有各种形式上和细节上的变化。
上述的实施例和优点仅是示例性的，并不认为是对本发明的限制。本发明的教导可以很容易地应用于其他类型的设备。本发明的描述仅是说明性的，并不限制权利要求的范围。对于本领域技术人员，显然可以有各种替换、改进和变化。在权利要求书中，装置加功能的语句旨在涵盖实现所述功能的结构，它不仅是结构等同的，也包括等同的结构。
权利要求
1.在以宏块为单位进行图像传输的系统中，一种基于对象的比特率控制方法，包括以下步骤从图像中划分出目标区域；以及根据宏块是否位于目标区域中，对量化参数进行不同的改变。
2.根据权利要求1的方法，其特征在于，在目标区域的宏块中设定低的量化参数，而在背景区域的宏块中设定高的量化参数。
3.根据权利要求1的方法，其特征在于，所述的目标区域表示用户区域。
4.根据权利要求3的方法，其特征在于，所述用户区域包括人体、面部、眼睛、鼻子、嘴或者它们的选择性组合。
5.根据权利要求1的方法，其特征在于，根据宏块是否是目标区域和背景区域之间的边界宏块，使用不同的量化参数模式。
6.根据权利要求5的方法，其特征在于，当宏块是边界宏块时，采用任意QUANT选择模式作为量化参数模式，当宏块不是边界宏块时，采用小步长QUANT改变模式作为量化参数模式。
7.在进行基于对象的比特率控制时，一种改变量化参数的方法，包括以下步骤确认宏块是否是位于用户区域和背景区域之间的边界宏块；当宏块是边界宏块时，以大的宽度对量化参数进行改变；以及当宏块不是边界宏块时，以小的宽度对量化参数进行改变。
8.在以宏块为单位进行图像传输的系统中，一种基于对象的比特率控制方法，包括以下步骤从图像中划分出目标区域；根据宏块是否位于目标区域中，对量化参数进行改变；以及根据改变的量化参数，对宏块进行编码。
9.根据权利要求8的方法，还包括以下步骤在改变量化参数的步骤之前，根据从输出终端输入的网络状况信息分配目标比特。
10.根据权利要求8的方法，其特征在于，所述的目标区域是用户区域。
11.根据权利要求8的方法，其特征在于，改变量化参数的步骤包括以下步骤确认宏块是否是位于目标区域和背景区域之间的边界宏块；当宏块是边界宏块时，以大的宽度对量化参数进行改变；当宏块不是边界宏块时，以小的宽度对量化参数进行改变；
12.根据权利要求11的方法，其特征在于，当宏块是边界宏块时，采用任意QUANT选择模式作为量化参数模式，当宏块不是边界宏块时，采用小步长QUANT改变模式作为量化参数模式。
13.根据权利要求8的方法，其特征在于，在目标区域的宏块中设定低的量化参数，在背景区域的宏块中设定高的量化参数。
14.根据权利要求8的方法，其特征在于，利用面部区域提取算法从图像中分离出目标区域。
15.一种基于对象的比特率控制系统，包括用于从图像中分离出目标区域的装置；用于根据宏块是否是目标区域，对量化参数进行不同改变的装置；以及用于根据改变的量化参数对宏块进行编码的装置。
16.根据权利要求15的系统，还包括用于根据从输出终端输入的网络状况信息分配目标比特的装置。
17.根据权利要求15的系统，其特征在于，在目标区域的宏块中设定低的量化参数，在背景区域的宏块中设定高的量化参数。
18.根据权利要求15的方法，其特征在于，当宏块是边界宏块时，采用任意QUANT选择模式作为量化参数模式，当宏块不是边界宏块时，采用小步长QUANT改变模式作为量化参数模式。
全文摘要
一种基于对象的比特率控制方法和系统，其利用对象的重要性为用户提供满意的图像质量。从图像中分离出对象，并且向各个对象施加重要性值。根据对象的重要性对量化参数进行不同的改变。尤其是，在对象和其它区域的边界区域中对量化参数的可变宽度进行控制。
文档编号H04N7/26GK1420690SQ02150288
公开日2003年5月28日 申请日期2002年11月8日 优先权日2001年11月17日
发明者李振秀, 柳在信, 朴起洙 申请人:Lg电子株式会社