系数数目自适应的量化参数差分编码的制作方法
【专利摘要】本发明公开了一种用于视频信号预测残差变换系数的量化参数编码方法。在本发明中，dQP和量化矩阵的选择信号均条件于变换量化系数的数目，并传输于变换量化系数的后面。编码器和解码器通过约定一个固定的阈值，当若干连续的变换块的非零量化系数数目超过这个阈值时，编码器在编码了这些非零量化系数之后，向码流中编码一个dQP或量化矩阵的选择信号，表示这几个连续的块所使用的QP或量化矩阵。这样解码器就能通过累计非零量化系数数目并准确解码dQP或量化矩阵的选择信号。
【专利说明】系数数目自适应的量化参数差分编码
【技术领域】
[0001]本发明属于数字视频压缩领域，具体涉及到视频信号预测残差变换系数的量化参数的编码。
【背景技术】
[0002]数字视频是通过对时域和空域连续的自然场景进行时域和空域连续采样所得。如图1所示，数字视频由一系列时域上的视频帧所组成，每个视频帧表示自然场景在某个时间的空域采样，它由二维均匀采样的视觉像素组成。每个像素由一系列描述像素亮度和色彩的数字组成，在视频编码中，最广泛被使用的格式是YUV格式，这种格式中，每个像素由一个亮度分量Y，两个色差分量U和V组成，一般对U和V分量水平和垂直方向各进行一次下采样，这样每相邻的4个像素共用I个U和I个V分量，这就是YUV4:2:0格式。
[0003]最广泛被使用的视频编码技术是块基混合运动补偿DCT变换视频编码技术，其中最有代表性的是MPEG和VCEG正在联合制定的国际标准HEVC。如图2所示，HEVC编码器首先把输入帧被劈分成一个个NxN (其中N为2的幂次，其最小为8，最大可以到64)的块，称为最大编码单元(IXU)，然后从左到右，从上到下依次对IXU进行编码。在HEVC中，基本的预测变换编码单位称为编码单元(CU)，对于一个大小为2Nx2N的LCU，可以把它作为一个CU直接进行预测变换编码，也可以把它以四分树的方式劈分为4个大小为NxN的单元进行预测-变换-编码，而对于每个NxN的单元，它也既可以作为一个⑶进行预测-变换-编码，也可以继续以四分树的方式劈分为4个更小的单元进行编码。图3所示既是一个LCU的编码劈分图，图中LCU被劈分为4个等尺寸CU，而4个CU中的第一个、第三个和第四个又分别进行了继续的劈分。CU最小为8x8，最大可以和LCU等尺寸。对每个待编码的CU，首先从已编码的重构帧中计算出一个对当前块的预测，并与当前块相减，残差依次执行DCT变换、量化，然后反量化、反DCT变换得到重构宏块，存入重构帧序列中，用于对其后编码的⑶产生预测信号。由于精确的DCT变换是浮点变换，所以实际中一般用DCT变换的整数近似或者KLT变换的整数近似来代替。
[0004]⑶的预测有2种，第一种是帧内预测，即只使用当前编码帧的已重构的像素对当前CU进行预测。当前最流行的帧内预测技术是帧内方向预测技术。帧内方向预测直接以CU为单位进行。HEVC中所使用的角度帧内预测如图4所示。图4所示白色黑框块是当前编码⑶，左边和上边的灰色条带是当前⑶左上的已重构像素，他们用来生成当前⑶的预测信号。每一个帧内方向预测模式说明一个当然的预测方向，对于如图4所示编码CU中的某一行或某一列(用竖状网格表示)，根据预测方向找到左上重构块中的相应的像素，如图4中黑色像素块所示，作为当前行或列的预测。图4右侧所示的列预测因为左边靠上的重构像素不存在，所以在实际的预测开始前，需要根据当前预测方向从当前块上边的重构像素根据当前帧内预测方向映射过去，如图5所示。在HEVC中共有33种不同的方向预测模式，如图6所示。
[0005]CU的第二种预测是帧间预测，这时当前块的预测从时域上在当前帧前或当前帧后的重构帧中的选取。在HEVC中，预测以预测单元(PU)为基本单位。一个2Nx2N大小的⑶有4种PU划分模式，它既可以作为单一的执行运动补偿，也可以分割成几个分别执行不同的运动补偿，如图7所示。对于一个任意形状的运动补偿过程如图8、图9、图10和图11所不。显不时间为t的帧是当如编码帧，黑色块是当如编码块。显不时间为t_to、t-2*t0、t+t0帧是重构帧，其中具有点状边界的灰色块是与当前编码块同一空域位置的块。显示时间为t-t0、t-2*t0、t+t0帧都可以作为当前编码块的预测。在图8中，运动向量MVO指向当前块的前向预测块BLK0。在图9中，运动向量MVl指向当前块的后向预测块BLK1。在图10中，运动向量MV指向当前块的前向预测块BLKO，MV的反方向指向后向预测块BLKl，BLKO和BLKl的平均作为当前块的预测。在图11中，运动向量MVO指向当前块的前向预测块BLK0，运动向量MVl指向当前块的后向预测块BLK1，BLKO和BLKl的平均作为当前块的预测。在前向预测、后向预测和对称预测中，只有一个运动参数(包括运动向量和参考图像)需要编码，而在双向预测模式中，2个运动参数需要编码。对于每种时域补偿模式，编码器通过率失真优化的运动估计过程得到最优的运动参数，并将其编入码流。
[0006]在得到预测以后，将当前块与预测块相减，得到残差块，然后对残差块依次执行DCT变换或其他正交变换，然后量化、熵编码，然后再反量化、反变换、和预测块相加得到重构块，并用于后续编码块的预测。在HEVC中，变换以变换单元(TU)为单位进行。对于帧内预测，TU与⑶同尺寸，即对一个2Nx2N大小的⑶，直接执行2Nx2N 二维可分离变换。对于时域预测，则使用变尺寸块变换。这时TU的形状依赖于I3U的形状。在HEVC中，TU的形状总是比PU要小，这样变换不会穿越预测的边界，但也降低了变换的灵活性。HEVC中所使用的四分树结构变尺寸块变换如图12所示，一个2Nx2N的待变换单元可以有4种变换分割模式，即直接2Nx2N变换、2个2NxN变换、2个Nx2N变换、或者分割成4个NxN单元。4个NxN单元中的每一个都可以独立进行四分树结构的变尺寸块变换。TU的最小单元是4x4。
[0007]对变换系数的量化需要使用量化参数(QP)，有时候还要使用加权量化矩阵。在当前HEVC的编码中， 量化参数的传输发生在一个当然的尺寸的⑶之上，这个尺寸编码在图像或者片段之上。就是说，当⑶尺寸在MxM或之上且这个⑶内含非零量化系数时，编码器传输一个量化参数的差分(dQP)，这样解码器就可以根据从前的QP和这个dQP计算出当前MxM尺寸或更大尺寸CU内部所有变换块所使用的共同的QP。比如说，M为16时，如果一个⑶为32x32，且含非零变换系数，那么编码器一定给这个⑶传输一个dQP。如果一个⑶为8x8且含非零变换系数，那么编码器必须给包含它的16x16⑶传输一个dQP，这个16x16⑶内部所有8x8⑶都使用这个dQP。MxM尺寸或更大尺寸⑶，dQP在码流中的位置从来都在非零变换系数之前。在HEVC中，量化矩阵传输于图像或者片段级别，它并没有LCU或者CU级别的自适应性。
[0008]由于视频内容复杂度变化非常大，所以直接强制一个图像或者片段全部只能在一个当然尺寸之上改变QP并不是一种高效的方法。本发明描述了一种更加灵活的dQP传输方法，它能提供更高的编码效率。
【发明内容】
[0009]本发明第一个部分是在编码器和解码器之间有一个共同的整数值T，表示非零变换系数的数目，T ^ 2。这个值可以编码在图像或片段层，也可以直接由编码器和解码器约定一个缺省的值。
[0010]编码器对连续的若干不同尺寸的块Btl, B1，…UnM)实施DCT变换，然后对这些块量化，设CfN(Bi)表示块Bi的非零量化变换系数数目，当连续的几个块Btl, B1,…
Bnrl (m>0)量化产生的非零变换系数数目恰好达到T时，即:
【权利要求】
1.视频编码器使用一个QP对一组不同大小的变换块Btl,实施量化。设CfN(Bi)表示块Bi的非零量化系数数目，当且如果m大于I时有 Σ(^/Ν{/I)< T，编码器在前m个块编码入码流后，向码流中写入一个dQP，表示过去的连续m 个块使用了这个QP。编码器对连续的变换块应用不同的QP，然后通过计算率失真花费选择满足解码条件的最优组合编码入码流。
2.如权利要求1所述，T是编码器和解码器共同拥有的一个值，且T>2。T可以是缺省约定，也可以编码于图像或者片段层。
3.如权利要求1所述，相应的视频解码器连续的解码变换块。一旦累计的非零量化系数大于等于T，解码器即从码流中读取一个dQP，然后计算出这组系数的QP。然后解码器开始解码下一组变换块，并重新开始累计非零量化系数的数目，以确定解码下一个dQP的位置。
4.编码器和解码器之间共同拥有若干加权量化矩阵QMtl,QM1,…QMw (t>l)，量化矩阵可以部分或全部的编码在图像或片段层，也可以部分或全部由编码器和解码器直接缺省约定。视频编码器使用一个QMi对一组不同大小的变换块Btl, B1,…UnM)实施量
W-1化。设CfN(Bi)表示块Bi的非零量化系数数目，当且如果m大于I时有
/=0Σ(:ΜΒ^)< Q，编码器在前m个块编码入码流后，编码器继续向码流中写入一个表示QMi的仁O索引符号，表示过去的连续m个块使用了这个QMitl编码器对连续的变换块应用不同的量化矩阵，然后通过计算率失真花费选择满足解码条件的最优组合编码入码流。
5.如权利要求4所述，Q是编码器和解码器共同拥有的一个值，且Q>2。Q可以是缺省约定，也可以编码于图像或者片段层。
6.如权利要求4所述，相应的视频解码器连续的解码变换块。一旦累计的非零量化系数大于等于Q，解码器即从码流中读取一个索引以确定所用的加权量化矩阵。然后解码器开始解码下一组变换块，并重新开始累计非零量化系数的数目，以确定解码下一个加权量化矩阵索引的位置。
【文档编号】H04N19/625GK103796015SQ201210425765
【公开日】2014年5月14日 申请日期:2012年10月31日 优先权日:2012年10月31日
【发明者】朱洪波 申请人:朱洪波