应用于视频译码器中的取样自适应偏移处理方法及装置的制造方法
【专利说明】
[0001] 相关专利申请的夺叉引用
[0002] 本发明要求美国暂时申请号61/680, 104(申请日2012年8月6日，标题为"关于取 样自适应偏移的视频译码程序的方法与装置"），美国暂时申请号61/712, 934(申请日2012 年10月12日，标题为"关于具有减小的管线缓冲器与程序延迟的去区块滤波器与取样自适 应偏移的视频译码程序的方法与装置")，以及美国申请号13/887, 836 (申请日2013年5月 6日）的优先权。这些申请案的所有内容以引用方式纳入。
技术领域
[0003] 本发明涉及视频解码技术，尤其涉及一种用于合并取样自适应偏移（sample adaptive offset，SAO)处理以及去区块滤波处理的视频译码方法以及装置。
【背景技术】
[0004] 目前的已有各种技术运用于视频编码中，以在能够提供一定的视频质量的情况下 通过减少压缩的视频比特率（bit rate)来改善编码效率。随着对于更高解析视频（例如高 清（high definition，HD)或高清以上的分辨率）有越来越大的需求，会希望比目前的规范 中的视频编码效率能有更高的编码效率。因此，高效率视频编码（high efficiency video coding，HEVC)规范对应地被发展出来。高效率视频编码包含许多视频编码工具来实质上 提升视频编码效率，以满足各种应用的需求。一种典型的HEVC译码器包含熵解码（entropy coding)处理、逆缩放（inverse scaling)及逆量化处理、逆转换（inverse transform)处 理、帧内/帧间图像预测处理以及回路内滤波处理。
[0005] 高效率视频编码所采用的回路内滤波器包含有去区块滤波器（Deblocking Filter，DF)以及取样自适应偏移滤波器，其中取样自适应偏移滤波器对重建的像素加上一 取样自适应偏移，以补偿因重建所导致的失真（distortions)。
[0006] 图1为包含有取样自适应偏移处理的高效率视频编码译码系统的示意图，其使用 在第7.0版的高效率视频编码测试模块（HM-7.0)。来自编码单元的比特流被熵译码单元 110所译码，译码输出包含要馈入至帧内预测单元111中的帧内模式信息、要馈入至运动 补偿（motion compensation)单元112的帧间模式信息、以及要馈入至自适应回路滤波器 133的自适应回路滤波信息、以及要馈入至取样自适应偏移滤波器132的取样自适应偏移 信息，以及要馈入至逆量化单元120的留数（residues)。在进行帧内预测时，帧内预测单 元111会基于来自熵译码单元110的帧内模式信息来提供帧内预测数据；在进行帧间预测 时，运动补偿单元112会基于帧间模式信息以及来自其它一个或多个图像的先前重建的视 频数据，来提供参考图像数据。帧内/帧间模式所需要的帧内预测数据/帧间预测数据会被 提供至重建单元122以重建视频数据。经过熵译码的数据的留数会再经由逆量化单元120 以及逆转换单元121处理，以还原留数。接着，被还原的留数会与预测的数据皆会被传送至 重建单元122,以重建视频数据。来自重建单元122的重建的视频数据将会被用来重建后续 相同的图像的区块（执行帧内模式时）或是用来重建其他的图像（执行帧间模式时）。在 执行帧间模式时，重建的视频数据会被存储在参考图像缓冲器133中。然而，通常重建的视 频数据在存储前会先作回路滤波处理。在图1中，重建的视频数据会被去区块滤波器130、 取样自适应偏移滤波器131以及自适应回路滤波器132所处理，其中去区块滤波器130先 对重建的视频数据作处理，接着，取样自适应偏移滤波器131对来自去区块滤波器130的去 区块的视频数据进行处理。来自熵译码单元110的取样自适应偏移信息被提供至取样自适 应偏移滤波器131，以进行适当的取样自适应偏移操作。之后，自适应回路滤波器132会对 被取样自适应偏移滤波器131处理过的视频数据进行处理。来自熵译码单元110的自适应 回路滤波器信息会被应用至自适应回路滤波器132,以进行适当的自适应回路滤波操作。被 自适应回路滤波器132所处理的重建的视频数据会被存储在参考图像缓冲器133中，并且 会被运动补偿单元112所使用，以产生用于对其他帧进行预测的参考图像。
[0007] 如图1所示，在高效率视频编码的译码器中，三个回路内滤波器，即去区块滤波器 130、取样自适应偏移滤波器131以及自适应回路滤波器132会用来处理重建的视频数据， 以改善重建的视频数据的质量。去区块滤波器130被应用至临界像素 （boundary pixel)， 且去区块滤波处理基于重建的视频数据的基础（underlying)像素数据，以及与对应的区 块相关的编码信息来执行。另一方面，取样自适应偏移处理以及自适应回路处理皆为自适 应的，其中滤波器信息（诸如滤波器参数以及滤波器类型）可基于编码器端的基础视频数 据的分析来动态地决定。因此，相关于取样自适应偏移以及自适应回路的滤波器信息会包 含在视频比特流中，使得译码器可适当地还原取样自适应偏移处理以及自适应回路处理所 需的信息。在译码期间，滤波器信息会被译码并且会被分别提供至取样自适应偏移滤波器 以及自适应回路滤波器来进行适当操作。
[0008] 在高效率视频编码中的译码处理以及编码处理会根据最大编码单元（Largest Coding Unit，IXU)来进行，其中最大编码单元会被自适应地分割为多个使用四叉树 (quadtree)的编码单元。在每一子编码单元（coding unit)中，去区块滤波处理会先执行 于每一区块的临界像素。接着，去区块滤波处理以及取样自适应偏移滤波处理会再被执行 于每一区块的所有可用像素。在高效率视频编码测试模式第7.0版（HM-7.0)中，去区块滤 波处理会被执行于每一个8x8的区块的区块边界。每一个8x8的区块会先进行跨越垂直区 块边界的水平滤波，接着，会再进行跨越水平区块边界的垂直滤波。图2A为一垂直区块边 界210的示意图，垂直区块边界210的每一侧各有4个边界像素，分别标注为qO、ql、q2、 q3,以及p0、pl、p2、p3,其中q0以及p0系为直接邻近于垂直区块边界210的像素。图2B 为一水平区块边界220的示意图，水平区块边界220的每一侧各有4个边界像素，并且同样 地分别标注为q〇、ql、q2、q3,以及？0、？1、？2、？3，其中9〇以及？0系为直接邻近于水平区块 边界220的像素。对于每一图像，跨越一个或多个垂直边界的边界像素行（row)可用平行 的方式来水平滤波，以改善处理速度。在对垂直边界进行水平滤波后，跨越一或多个水平边 界的边界像素列（column)可用平行的方式来垂直滤波。
[0009] 如图1所示，样取样自适应偏移也可应用于HM-7.0中，取样自适应偏移是一种对 像素逐一处理的回路内滤波方式。取样自适应偏移可将一图像分割为多个最大编码单元 对齐区域，且会为每一区域决定出以下取样自适应偏移类型中的一者：两个频带偏移（band offset，B0)类型，四个边缘偏移（edge offset，E0)类型，以及无处理（即关闭）。接着，对 应于不同的取样自适应偏移类型，应使用不同类型的滤波方法。对于频带偏移类型，每一个 待处理像素会基于像素强度（intensity)被映射到一特定频带。全部的像素强度范围系被 平均地分成32个频带。每一频带的所有像素会被决定出各自对应的偏移，且