专利名称：视频编码的量化方法和装置的制作方法
技术领域：
本发明涉及视频编码的量化方法，该量化一般用在数据压缩期间。
如公知的，数据压缩方法实现以下功能，将图像划分为图像块，对这些块作离散余弦变换以提供亮度和色度系数宏块，量化这些系数以及作可变长度编码。
按照上述方法，内部型编码仅利用图像的固有内容。
中间型编码估计例如先前图像与当前图像之间的运动，以提供先前图像的运动补偿，由此提供一预测图像，然后按当前图像与预测图像之间的差来执行编码。
余弦变换能去除空间冗余和运动补偿去除时间冗余。
为了控制编码器数据速率，使量化级随该数据速率变化是已知的。通常所采用算法的目的在于获得最佳图像质量的最低可能速率同时考虑实际编码成本。
对于给定速率，改进图像质量要求去除空间和时间冗余。这一类型的算法遇到编码类型上所固有的问题，用术语块效应表示缺陷的出现。由于量化级从一个块到另一个块是不同的，解压缩的图像可示出图像块的边界，如果压缩因子大并且因此相继宏块的量化级之间的偏差大则更是如此。
本发明的目的是通过优化控制算法、亦即通过改进给定传输速率的图像质量限制前述缺点。
为此，本发明涉及视频图像数据压缩的方法，包含将当前图像划分为宏块和通过按设定速率的函数计算量化级量化每一宏块中的数据，其特征在于所计算的量化级按宏块编码成本的函数被校正。
本发明还涉及一种视频图像数据压缩的方法，包含将当前图像划分为宏块和通过按设定速率的函数计算量化级量化每一宏块中的数据，其特征在于所计算的量化级按当前图像的宏块相对于前一或后一图像中相匹配的那一个的估计或计算的运动的函数加以校正的。
本发明还涉及实现该方法的装置。
由于眼睛的整体效应，观察者的眼睛对运动的图像区域的块效应不太敏感。其对非均匀区的块效应也不太敏感，因为图像的这种均匀性或“规则性，，使前述缺陷加大。
本发明的意图是通过对这些主观图像感知准则加以考虑而采纳图像量化方法。对于均匀和/或稳定的或具有非常小运动的区域减少量化级，由此更好地进行编码。对于这一类型的区域而言，从一个宏块到另一宏块量化级的变化因此更小。对那些不均匀和/或运动的编码区域说来量化级增加，以保持图像的相同速率分配。
对围绕被处理宏块的图像区中的量化校正执行过滤使得有可能限制跃变，从而对于解压缩的图像质量，编码结果主观上显现出均匀。由此在不增加平均速率的情况下改进解压缩图像质量。
本发明的其他特征和优点通过以下结合附图对本发明优选实施例所作的非限定性描述而更为显而易见，其中
图1示出图像中的一个宏块及其过滤窗；图2a示出P型帧的一个运动矢量；图2b示出P型帧的两个运动矢量；图3示出按照本发明方法的一种算法；图4示出按照本发明的装置。
如上所述，要编码的图像被分为构成宏块的图像块。
按照本发明，对应于输入视频序列的图像n的宏块的行i和列i的每个宏块(n，i，j)被用量化级编码，所述量化级是按照下列方程局部调整的Q[n][i][j]＝Q[n][i]·αw/p[n][i][j]β2w/p[n][i][j]利用标准MPEG术语，Q[n][i]是对图像n的“切片”i计算的量化级。调整系数αw/p[n][i][j]是在已编码序列的空间特性、尤其是宏块的编码成本的基础上计算的，系数β2w/p[n][i][j]是在已编码序列的时间特性、尤其是赋予宏块的运动的基础上计算的，如后面将进一步解释的。
空间调整系数的计算该系数直接与图像的内部编码成本相联系。
宏块(n，i，j)的编码成本α[n][i][j]一般在图像的预分析期间确定，图像的预分析包括对具有恒定量化级的图像编码和测量宏块产生的速率。为了衰减从给定空间特性的一个区域到另一个区域的跃变效应，随后在宏块周围的尺寸为w的窗中过滤相应于编码成本的这一数值。因此能够衰减在邻近宏块的量化级中的急剧变化，这在经过一种类型的区域到另一区域时，例如从一个均匀的区域到一个有纹理的区域时确实是可能在边界上发生的，并且可能导致边缘效应，类似于块效应但限于这些边界。区域中的块效应是同量衰减的。
图1示出一个这种类型的窗。
整个图1包括每切片M个宏块和S个切片。
对于位于图像n的第i片和第j宏块列的给定宏块2(n，i，j)来说，考虑离所讨论宏块的距离小于或等于w的相邻宏块，定义了尺寸为w的一个窗3，亦即，这些宏块既属于包含在i-w与i+w之间的切片，也属于包含在j-w与j+w之间的列。因此w对应于被处理宏块周围的偏移。
应用下列方程在窗W上对编码成本α(n，i，j)取平均αw(n,i,j)=1(2W+1)2Σu=i-wi+wΣv=j-wj+wα(n,u,v)]]>为了量化级的校正不令作为设定平均速率的函数的步骤计算无效，亦即常规控制算法，在尺寸为w的窗上平均的校正系数αw通过将它除以整个图像上系数α的平均值αp在整个图像上被加权。αp(n)=1M.SΣu=1SΣv=1Mα(n,u,v)]]>然后对于宏块(n，i，j)空间系数假定为下列值αw/p(n,i,j)=αw(n,i,j)αp(n)]]>可以用S行和P列的矩阵表示图像n，行i和列j的矩阵系数对应于αw/p(n，i，j)。该矩阵Sp是在图像n的宏块的编码成本矩阵的基础上计算的，该编码成本矩阵是在该图像n的第一遍内部编码期间获得的。内部系数的这一矩阵称为校正屏蔽，矩阵中的每一系数被应用于相应宏块以在对该宏块编码期间校正由常规压缩算法计算的量化级。
由于图像n上系数αw/p(n，i，j)的和等于1，可能证明控制算法不受将这一空间系数应用于量化级的干扰。
所计算的系数受到约束以避免过校正，过校正可能与使用的控制算法有联系，并且为与设定速率相符，例如在编码图像的最后一些切片时，可能迫使量化级不考虑图像的复杂性。在我们的实例中，系数限制在从0.67延伸到1.5的区域中。
时间调整系数的计算为了使运动得少的区域与运动得大的区域相比具有更好的编码质量，有必要检测这些区域，这是通过恢复运动信息的数量而实现的。
可供图像的每一宏块使用的运动矢量类型取决于图像(该宏块所属图像)的类型。以MPEG标准定义的图像类型取决于图像编码，即对于内部图像编码，为类型I、即内部，对于仅考虑前一图像基准的图像编码，为类型P、即预测，以及对于考虑前一和/或后一图像基准的图像编码为类型B、即双向。
因此这些矢量可以为-对于P型图像，图像矢量参考前一内部或P型图像；-对于B型图像，正向或反向图像矢量取决于它们是否参考前一图像或后一图像。
如果对图像帧而非重构图像执行处理，计算的矢量参考这些帧而不是图像。因此可得到的帧矢量是具有相同或者相反奇偶性的帧矢量。
所有这些矢量通过块匹配获得。用运动估值器计算矢量。
考虑用于计算时间调整系数的信息是图像运动矢量的模方或模。V[n][i][j]=VX2[n][i][j]+VY2[n][i][j]]]>Vx和Vy是运动矢量的水平和垂直分量。
然后这一模信息作为将当前图像从用于计算当前图像的运动场的参考图像分离的图像数的函数被归一化，或者，如果计算是在帧的等级上执行的，则作为将当前帧与参考帧分离的帧数的函数被归一化，这是为了获得在整个序列上最相似的矢量场。
该归一化矢量为
V′[n][i][j]＝ηV[n][i][j]η是归一化因子。
所选择的参考持续时间是分离两个P型图像的持续时间。设M是分离两个P型图像的图像间隔数，设Bpos是从前一P型(或I型)图像分离B型图像的间隔数，也就是在两P型图像之间B的位置。
图2a表示P型图像的矢量4。因此该矢量参考前一图像I。当前图像P与参考图像I之间的间隙对应于M。
当应用于图像时，运动矢量的归一化因子为-当相应于前一P型(或I型)图像对一B型图像编码时，亦即对于向前类型的矢量η=MBpos]]>-当相应于下一P型(或I型)图像对一B型图像编码时，亦即对于向后类型的矢量η=MM-Bpos]]>当对一P型图像编码时(在图2a的情况下)η＝1图2b示出参考前一I型图像第二帧的P型图像的第一帧的第一运动矢量5，和参考前一I型图像的第一帧的P型图像的第二帧的第二运动矢量6。
当应用于帧时，运动矢量场的归一化因子取决于帧的场位置和奇偶性，并为-对于P型帧(在图2b的情况下)η=2·M2·M+[2·M·(1-field)+(-1)field]·parity]]>-对于B型帧和前向预测η=2·M2·Bpos+(-1)field·parity]]>-对于B型帧和后向预测η=2·M2·(M-Bpos)-(-1)field·parity]]>根据图像中包含的是第一帧还是第二帧，“场”等于1或2，根据是包含相同奇偶性还是相反奇偶性，奇偶性等于0或1。
在双向类型图像的情况下，图像宏块可以在仅有正向矢量、仅有反向矢量或可选择地为这两者的组合的基础上编码。在这种情况下，对应于最大值的那些将被选择，而两个矢量的平均值可以被同样好地采用。
因此通过将分配给图像或帧的运动矢量V(n，i，j)的模乘以相应系数η获得归一化运动矢量V′(n，i，i)。
然后通过在尺寸为W的窗上过滤矢量V′和通过在整个图像上加权来计算时间调整系数βlw/p(n，i，j)的矩阵，如前面对系数α所说明的。βlw/p[n][i][j]=1(2W+1)2Σu=i-Wi+WΣv=j-Wj+WV′[n][u][v]1M·SΣu=1SΣv=1MV′[n][u][v]]]>换言之，βlw/p(n)(i)(j)对应于尺寸为W的窗中局部运动的平均值被图像中运动的平均值加权。βlw/p[n][i][j]=V′w-V′p[n]=1-V′p(n)--V′w-[n][i][j]V′p[n]-=1-λlw/p[n][i][j]]]>表示量化级的校正因子的λ1w/p(n)(i)(j)因此对应于图像中运动的平均值与由图像中运动的平均值加权的局部运动值之间的差。
校正的目的是有利于具有少量运动的区域，代价是那些高度运动的区域。对于较低等级的局部运动V′w(n)(i)(j)，时间系数(因此量化级)较小并且对应于该局部运动的宏块的编码质量较好。而且，由于对图像的固定速率分配，运动少的这一区域如同图像V′p(n)中平均运动增加时被同样较好地加以编码。
对于高度运动的序列，校正因子最佳地起到其作用。但是，也为了适应运动少的场景，有必要调整这一系数。一个实例能够使这点得到证明。
考虑一个为“汽车日历”型、在数据压缩领域公知的运动少的场景。图像的平均运动矢量是3，是一小的数值，因为对于水平分量按8位以及对于垂直分量按7位编码的运动矢量最大值为143的数量级。对于等于1的宏块相对运动，该值给出0.33的校正因子。因此在自身运动少的序列中运动少的区域的校正加权过于大。
因此可以这样推断，校正系数λ1应该用因子
加权，其中V表示对高度运动序列的图像上运动的平均值的估计，其降低系数λ1，因此衰减对具有小的平均运动(V′p(n)＜V)的场景的校正(通过设β1趋近于1)，而对于高度运动的场景则保持它。
一秒期间图像总宽度上图像像素的运动已经从实验上规定为对V的良好估值V-=picture_widthFR·M]]>“picture width”是按像素数(例如720)表示的这一宽度，FR是图像频率(例如50Hz)。
M使得归一化平均值成为可能(因此这是在参考时间距离上的平均运动)。
最后，局部时间调整系数β21w/p(n，i，j)可以写为β2w/p[n][i][j]=1-λlw/p[n][i][j]V′p[n]V-=v--(V′p[n]-)+V′w-[n][i][j]V-]]>如果采用表达式V″[n][i][j]＝V′[n][i][j]+(V-V′p[n])，则β2w/p[n][i][j]=V′′w-[n][i][j]V-=V′′w-[n][i][j]V′′p[n]-]]>
换言之，局部时间调整系数β21w/p(n，i，j)对应于在尺寸为W的窗上归一化矢量V″的过滤，V″是通过将代表高度运动序列的平均速度矢量周围的归一化矢量V′再集中而得到的。
最后，用常规控制算法计算的当前宏块的量化级由总调整系数校正，总调整系数是考虑图像的空间和时间复杂性的乘积αw/p(n，i，j)×β2w/p(n)(i)(j)。
通过注意该乘积中的每一项可以用同一算子计算，用于计算系数的算法可得到简化，所述算子如下
对于系数α，项d(n)(u)(v)代表宏块(n，u，v)的编码成本，对于系数β，它代表分配给宏块(n，u，v)的矢量V″的模。
图3示出用于计算量化系数的算法。
标号为7的步骤在关于输入端I1上接收的并在图像的第一遍编码或预分析期间计算的内部图像块的编码成本的信息的基础上计算空间调整系数。然后在步骤8期间在尺寸为w的窗中过滤这些系数，以给出被送至步骤9的空间调整系数矩阵。
步骤10在正向和反向矢量的基础上计算图像运动矢量的模，正向和反向矢量是由运动估值器提供的并在输入端I2上获得。下一步骤11按照图像组上相应图像的位置的函数归一化这些矢量的模。它按赋予每一图像的值M的函数计算归一化因子η。下一步骤12计算高度运动的序列在整个图像上运动的平均值，如以上所定义的。然后在步骤13将归一化的矢量在这一平均值周围再集中，然后在尺寸为w的窗上将它们过滤。进而对于源自步骤13的信息，相关于图像序列中的切割部分，步骤14接收从输入端I3发出的信息。如果为被处理的当前图像发送“切割”信息项，通过发送等于1的系数矩阵，步骤14停止对量化级按时间调整系数的函数的校正。在另一情况下，它是在前一步骤计算的系数，是以时间调整系数的矩阵的形式发送的。步骤9将每一时间调整系数乘以相应的空间调整系数(同一行，同一列)，以给出它应被再调用的、相应于正被处理的图像中宏块的新系数矩阵。这一步骤也考虑送至输入端I4的量化级，它是在常规控制算法的基础上计算的那一量化级。乘以对于当前宏块所获得的新系数的这一量化级给出在步骤9输出S提供的新的被调整的量化级。
图4表示实施上述方法的装置的说明性实施例。
视频预处理电路15接收其输入端上的视频信息，也是该装置的输入端。其输出端连接到预分析或“第一遍”电路16的输入端，运动估值器17的输入端和中间/内部编码回路18的输入端。预分析电路的第一输出端连接到用于计算量化级的电路19的第一输入端，而预分析电路的第二输出端连接到用于调整量化级的电路20的第一输入端。运动估值器17的输出端并联连接到量化级调整电路20的第二输入端和中间/内部编码回路18的第二输入端。在第二输入端，量化级计算电路19接收从输出缓冲器或缓冲存储器21发出的存储容量信息。量化级计算电路19的输出端连接到量化级调整电路20的第三输入端。该电路的输出端连接到编码回路18的第三输入端。编码回路的输出端连接到输出缓冲器或缓冲存储器21，其第一输出端是该装置的输出，其第二输出端连接到量化级计算电路19。
以常规方式，预处理电路在图像组级别重新排列图像，如MPEG标准中所定义的，然后将图像分为宏块。预分析器执行第一遍，亦即在恒定量化级的基础上对图像作内部编码，恒定量化级是作为正被处理的图像组(MPEG标准的GOP)的先前图像的编码复杂性的函数预先定义或调整的，在GOP级别实现控制，以为量化级计算电路19提供每图像编码成本。预分析器还将每宏块编码成本供给局部调整量化级的电路20，以计算空间调整系数。该电路20还接收在运动估值器17的基础上计算的运动矢量，以确定时间调整系数。中间/内部编码回路18从预处理电路15接收宏块形式的视频信息，并从运动估值器接收分配给每一宏块的运动矢量，以便计算中间宏块。依据通过计算这些宏块固有的能量确定的中间或内部模式，它对中间或内部宏块执行离散余弦变换。利用由量化级调整电路20送出的已调整的量化级信息对获得的系数进行量化。然后将量化后的系数传送到缓冲存储器21然后到本装置的输出端。缓冲存储器使得能够控制本装置的输出速率。关于该存储器的存储容量的信息被传送到量化级计算电路19，其也具有关于该装置设定输出速率的信息。如其名称所暗示的，这一量化级计算电路19具有按该设定速率的函数计算每一图像的量化级的作用，该速率是在图像组级产生的并也是缓冲存储器装载的程度。然后将这一步骤送至量化级调整电路，该电路的作用尤其是按为所讨论的宏块所计算的空间和时间调整系数的函数校正其值。
自然，这些是说明性实施例，准数α可以是任何表示图像复杂性的系数，例如宏块的能量或亮度梯度。对于准数β来说同样如此，其可以是任何给出运动信息的系数。
如上所述，时间准数的应用假定被编码的场景中的连续性。因此，在例如通过由运动估值器计算的运动矢量的相干(则矢量场是非均匀的)检测的景的变化期间，系数β的使用被停止。按时间准数的函数调整量化级被停止，这样就不会损害观察算法，尤其是该算法的变换速率。在内部模式的宏块编码期间(一般与景的变化相关)，将系数β例如限制为1。
过滤窗的尺寸取决于量化级校正的所需级别窗越宽，系数越趋近于1。这一尺寸可以按正被处理区域的函数进行调整，亦即它们的均匀性和/或它们的运动取决于它们需要的量化级的校正度。
利用同一过滤器计算空间和时间校正系数不需要实现同一过滤窗。关于时间准数，当一个宏块所获得的运动矢量(无论是正向型还是反向型)相对于相邻宏块获得的那些是均匀的时，可将过滤窗减小为其最小尺寸。
该方法可适合于运用亮度数据量化的任何类型的编码器，不管是在空间域还是在频域中。描述的实例涉及变换块的系数，但本发明可能应用于图像块的亮度值。
该方法还可适合于对量化级起作用的任何类型的控制算法。我们已假定按照MPEG标准，量化级对于切片是恒定的，但本发明能够应用于为每个宏块计算一个量化级的算法。
权利要求
1.视频图像的数据压缩方法，包含将当前图像划分为宏块和通过按设定速率的函数计算量化级量化每个宏块中的数据，其特征在于将所计算的量化级作为当前图像的宏块相对于前一或后一图像(10，11，12，13，14，9)中匹配的那一个所作的估计或计算的运动的函数，并作为宏块(7，8，9)编码成本的函数来加以修改。
2.视频图像的数据压缩方法，包含将当前图像划分为宏块并通过作为设定速率的函数来计算量化级而量化每一宏块中的数据，其特征在于作为运动信息的函数来修改(10，11，12，13，14，9)所计算的量化级，所述运动信息包括当前图像的宏块相对于前一或后一图像中匹配的那一个所作的估计或计算的运动，并用相应于对于具有高度运动的序列估计的平均运动与宏块(13)所属的图像中的平均运动之间的偏差的值加以校正。
3.如权利要求1所述的方法，其特征在于在集中在当前宏块上的窗上平均(8)宏块的编码成本。
4.如权利要求3所述的方法，其特征在于通过将对宏块计算的量化级乘以等于在窗上平均的宏块的编码成本的空间调整系数，除以在整个图像上平均的编码成本来实行修改。
5.如权利要求2所述的方法，其特征在于在集中在当前宏块上的窗上来平均(13)已校正的运动。
6.如权利要求5所述的方法，其特征在于通过将对宏块计算的量化级乘以等于相应于在尺寸为w的窗上平均的已校正运动的运动矢量的模的时间调整系数，除以在整个图像上平均的已校正的运动矢量的模来实行修改。
7.如前述权利要求之一所述的方法，其特征在于每一宏块中的数据是由图像块的离散余弦变换产生的系数。
8.视频图像的数据压缩装置，包含对图像的宏块进行中间和内部编码的电路(18)，其自身包括一个图像宏块的离散余弦变换电路和一个基于由电路(19)计算的量化级的已变换系数的量化器，电路(19)用于作为该装置输出速率的函数计算量化级，其特征在于它包括接收所计算的量化级的装置(20)，以便按已编码宏块编码成本(16)的函数调整该量化级，并将其提供到中间和内部编码电路(18)和作为分配给已编码宏块的运动(17)的函数。
全文摘要
视频编码的量化方法和装置。本发明涉及视频数据压缩方法,包含将当前图像划分为宏块和通过按设定速率的函数计算量化级来量化每个宏块中的数据,其特征在于量化级作为宏块编码成本的函数被校正。还可按照所计算的或所估计的宏块运动的函数来校正量化级。
文档编号H04N7/30GK1176562SQ97117599
公开日1998年3月18日 申请日期1997年9月4日 优先权日1996年9月6日
发明者泽维尔·杜克劳克斯, 菲利普·吉洛特尔, 卢多维克·诺布里特, 皮埃尔·鲁洛 申请人:汤姆森多媒体公司