专利名称：预测残差块的重排序、逆重排序方法及系统的制作方法
技术领域：
本发明涉及一种视频编码方法，特别涉及一种预测残差块的重排序、逆重排序方 法及系统。
背景技术：
新一代的视频编码标准H. 264/AVC在已有的视频编码标准的框架之下，实现了编 码效率的大幅度提高，成为今后视频信息压缩格式的主流标准。在视频编码器中，视频数据首先被划分为若干个16X16大小的块，其中每一个 16X16大小的块被称为宏块(Macroblock)，视频编码的过程以宏块(Macroblock)为单位 进行。在编码器编码一个宏块的过程当中，会进一步将宏块划分为多个更小的单元，比如16 个4X4的块，如图1所示，或者4个8X8的块等。以H.264/AVC中4X4块的帧内编码为 例，如图2所示，编码器首先利用每个4X4块周围的像素(A L，Q，图2左)根据某个预 测方向(图2右)生成一个4X4大小的预测块(Predicted block)，然后将4X4块与这 个预测块逐个像素求差值，得到一个4X4大小的残差块(Residual block)，残差块中的16 个元素称之为残差采样(Residual sample)值。由于不同的预测方向对应的残差的统计特 性有所不同，近年来，有研究者提出模式相关的方向变换，即对不同的预测方向，采用不同 的变换函数，在此基础之上，又有研究者进一步提出率失真最优变换，即每个预测方向有若 干个待选的变换函数，在编码过程中，编码器会针对每个残差块分别选择对应的性能最优 的变换函数。这些方法显著地提高了 H. 264/AVC帧内编码的性能，但同时也提高了编码器 和解码器的复杂度，一个主要的方面就是变换函数数量的显著增加导致更高的编解码器的 存储复杂度。
发明内容
本发明的目的在于提供一种预测残差块的重排序、逆重排序方法及系统，以降低 了编解码器的存储复杂度。第一方面，本发明公开了一种视频编码过程中的预测残差块的重排序方法，包括 根据统计得到的预测残差块的幅度分布，设置预测残差块的重排序方法，并且所有可能的 预测残差块的重排序方法为两种或两种以上；根据设置重排序方法步骤中得到的残差块的 重排序方法，在对残差块进行变换之前，对残差块内的残差值进行重排序。第二方面，本发明公开了一种视频编码过程中的预测残差块的重排序系统，包括 设置重排序方法模块和重排序模块。其中，设置重排序方法模块，用于根据统计得到的预测 残差块的幅度分布，设置预测残差块的重排序方法，并且所有可能的预测残差块的重排序 方法为两种或两种以上；重排序模块，用于根据设置重排序方法步骤中得到的残差块的重 排序方法，在对残差块进行变换之前，对残差块内的残差值进行重排序。第三方面，本发明公开了一种视频编码的重构过程中的预测残差块的逆重排序方 法，包括根据编码过程中所选用的重排序方法，设置重构过程中的逆重排序方法；对反变换之后得到的残差块中的残差值进行逆重排序，使之恢复重排序之前的排列顺序，逆重排 序的方法为设置重排序方法步骤中得到的逆重排序方法。第四方面，本发明公开了一种视频编码的重构过程中的预测残差块的逆重排序系 统，包括设置逆重排序方法模块和逆重排序模块，其中，设置逆重排序方法模块，用于根据 编码过程中所选用的重排序方法，设置重构过程中的逆重排序方法；逆重排序模块，用于对 反变换之后得到的残差块中的残差值进行逆重排序，使之恢复重排序之前的排列顺序，逆 重排序的方法为设置重排序方法模块中得到的逆重排序方法。第五方面，本发明公开了一种视频解码中预测残差块的逆重排序方法，包括根据 解码得到的信息，设置残差块内残差值的逆重排序方法；在解码过程中，对反变换之后得到 的残差块中的残差值进行逆重排序，逆重排序的方法由设置逆重排序方法步骤得到。第六方面，本发明公开了一种视频解码中预测残差块的逆重排序系统，包括设置 逆重排序方法模块和逆重排序模块。其中，设置逆重排序方法模块用于根据解码得到的信 息，设置残差块内残差值的逆重排序方法；逆重排序模块用于在解码过程中，对反变换之后 得到的残差块中的残差值进行逆重排序，逆重排序的方法由设置逆重排序方法模块得到。相对于现有技术而言，本发明通过在空域对残差块内的残差采样值进行重排序， 使得不同模式的残差统计特性近似相同，从而可以仅使用少量的变换函数实现与模式相关 变换近似的性能，同时降低了编解码器的存储复杂度。
图1是本发明一种视频编码中预测残差的重排序方法实施例的步骤流程图；图2是将单个宏块划分为16个4X4的块的示意图。图3是H. 264/AVC中4X4块的帧内预测示意图。图4是H. 264/AVC中4X4块的帧内预测模式0和帧内预测模式1的残差幅值分 布示意图。图5是经过重排序后，H. 264/AVC中4X 4块的帧内预测模式0和帧内预测模式1 的残差幅值分布示意图。图6是H. 264/AVC中4X4块的9个帧内预测模式的一种重排序方法的示意图。
具体实施例方式为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实 施方式对本发明作进一步详细的说明。参照图3，图3为本发明一种视频编码中预测残差的重排序方法实施例的步骤流 程图，包括如下步骤设置重排序方法步骤110，根据统计得到的预测残差块的幅度分布， 设置预测残差块的重排序方法，并且所有可能的预测残差块的重排序方法为两种或两种以 上；重排序步骤120，根据设置重排序方法步骤中得到的残差块的重排序方法，在对残差块 进行变换之前，对残差块内的残差值进行重排序。上述实施例通过在空域对残差块内的残差采样值进行重排序，使得不同模式的残 差统计特性近似相同，从而可以仅使用少量的变换函数实现与模式相关变换近似的性能， 同时降低了编解码器的存储复杂度。
上述实施例中，首先对各个模式下的残差的幅度分布进行统计，以H. 264/AVC中 4X4块的帧内预测模式0和帧内预测模式1为例，如图4所示，可以看出模式0的残差呈 现水平方向幅值相近，垂直方向幅值由上到下增大的统计特征，而模式1的残差呈现垂直 方向幅值相近，水平方向幅值由左到右增大的统计特征。为了使预测模式0和帧内预测模 式1的残差的分布特性近似相同，通过对预测模式0进行水平方向的逐行扫描，预测模式1 进行垂直方向的逐行扫描，得到图5所示的重排序后的残差块的幅度值的分布特性，可以 看出通过重排序，预测模式0和帧内预测模式1的残差的分布特性都呈现水平方向幅值相 近，垂直方向幅值由上到下增大的统计特征。类似地，对其余的帧内模式的残差也按照统计特性近似相同的目标进行重排序， 使得不同帧内模式的残差的统计特性近似相同。然后记录各个帧内模式下经过重排序后的 残差块，训练一组变换函数用于编码和解码过程中的变换和反变换。图6为H. 264/AVC中 9个帧内预测模式的一种重排序方法的示意图。在帧内编码过程中，对宏块中的每个块，首 先进行帧内预测，然后根据帧内预测模式选定重排序的方法对残差进行重排序，随后进行 变换，量化，熵编码等运算；在解码以及重建过程中，根据帧内预测模式，对反变换后的残差 块进行逆重排序，然后再对逆重排序后的残差块进行像素重建等运算。编码过程以宏块的形式提供视频数据，将视频中的一帧(称为本帧)划分为宏块，然后将宏 块划分为多个图像块，(图1即为将单个宏块划分为块的示意图)并按照以下步骤循环地 对当前帧每个块进行编码；根据当前帧内预测模式，利用当前块周围已经重建的像素值生成预测块，并计算 预测块和图像块之间的差值，即残差块；根据当前帧内预测模式，按照图5中所示的排序顺序，选定对应的重排序方法对 残差块进行重排序；根据步骤(三)中得到的重排序后的残差块，进行量化，变换，熵编码重复上述步骤，继续下一帧的编码，直到视频最后一帧处理完毕。按照本发明的一个具体实施方式
，本发明所提出的方法可以直接应用在KTA参考 软件中的帧内编码过程中。表1和表2列出了本发明与已有的方法已有方法在KTA参考软件上的性能差异， 其中分辨率分别为720p(1280X720)和1080p (1920 X 1080)，全部宏块采用帧内编码。实验 表明，本发明能够保持和已有方法一致的性能，同时变换矩阵的数量大大减少，即存储复杂 度降低。这里的已有方法是指“ |Y. Ye and Μ. Karczewicz,"Improved h. 264 intra coding based on bi-directional intra prediction, directional transform, and adaptive coefficient scanning, "Proceedings ofthe 2008 IEEE International Conference on Image Processing(ICIP)，pp. 2116-2119，Oct. 2008” 中记载的方法。表1本发明与已有方法的性能差异 表2本发明与已有方法的所用到的变换矩阵的数量 虽然本发明是在KTA参考软件的帧内编码中，但可以它同样适用于其他的编解码 平台，如H. 264/AVC，VC-I, AVS等。本发明也同样适用于P帧和B帧的帧内编码模块。上述系统实施例与方法实施例的原理相同，相关之处参考系统实施例即可，在此 不再赘述。以上对本发明所提供的一种预测残差块的重排序、逆排序、逆重排序方法及系统 进行详细介绍，本文中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实 施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术 人员，依据本发明的思想，在具体实施方式
及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
权利要求
一种视频编码过程中的预测残差块的重排序方法，其特征在于，包括设置重排序方法步骤，根据统计得到的预测残差块的幅度分布，设置预测残差块的重排序方法，并且所有可能的预测残差块的重排序方法为两种或两种以上；重排序步骤，根据设置重排序方法步骤中得到的残差块的重排序方法，在对残差块进行变换之前，对残差块内的残差值进行重排序。
2.一种视频编码过程中的预测残差块的重排序系统，其特征在于，包括设置重排序方法模块，用于根据统计得到的预测残差块的幅度分布，设置预测残差块 的重排序方法，并且所有可能的预测残差块的重排序方法为两种或两种以上；重排序模块，用于根据设置重排序方法步骤中得到的残差块的重排序方法，在对残差 块进行变换之前，对残差块内的残差值进行重排序。
3.一种视频编码的重构过程中的预测残差块的逆重排序方法，其特征在于，包括设置逆重排序方法步骤，根据编码过程中所选用的重排序方法，设置重构过程中的逆 重排序方法；逆重排序步骤，对反变换之后得到的残差块中的残差值进行逆重排序，使之恢复重排 序之前的排列顺序，逆重排序的方法为设置重排序方法步骤中得到的逆重排序方法。
4.一种视频编码的重构过程中的预测残差块的逆重排序系统，其特征在于，包括设置逆重排序方法模块，用于根据编码过程中所选用的重排序方法，设置重构过程中 的逆重排序方法；逆重排序模块，用于对反变换之后得到的残差块中的残差值进行逆重排序，使之恢复 重排序之前的排列顺序，逆重排序的方法为设置重排序方法模块中得到的逆重排序方法。
5.一种视频解码中预测残差块的逆重排序方法，其特征在于，包括设置逆重排序方法步骤，根据解码得到的信息，设置残差块内残差值的逆重排序方法；逆重排序步骤，在解码过程中，对反变换之后得到的残差块中的残差值进行逆重排序， 逆重排序的方法由设置逆重排序方法步骤得到。
6.一种视频解码中预测残差块的逆重排序系统，其特征在于，包括设置逆重排序方法模块，用于根据解码得到的信息，设置残差块内残差值的逆重排序 方法；逆重排序模块，用于在解码过程中，对反变换之后得到的残差块中的残差值进行逆重 排序，逆重排序的方法由设置逆重排序方法模块得到。
全文摘要
本发明公开了一种预测残差块的重排序、逆重排序方法及系统。该方法包括根据统计得到的预测残差块的幅度分布，设置预测残差块的排序方法，并且所有可能的预测残差块的排序方法为两种或两种以上；根据残差块的排序方法，在对残差块进行变换之前，对残差块内的残差值进行重排序。本发明通过在空域对残差块内的残差采样值进行重排序，使得不同模式的残差统计特性近似相同，从而可以仅使用少量的变换函数实现与模式相关变换近似的性能，同时降低了编解码器的存储复杂度。
文档编号H04N7/26GK101895757SQ20101023211
公开日2010年11月24日 申请日期2010年7月15日 优先权日2010年7月15日
发明者张莉, 赵欣, 马思伟, 高文 申请人:北京大学