自适应采样点偏移信息的编解码装置及方法
【专利摘要】本发明提供一种用于视频编码器的在不同SAO语法元素之间共享上下文的装置及方法。本发明的多个实施例根据联合上下文模型将CABAC编码应用于多个SAO语法元素，其中多个SAO语法元素共享联合上下文。多个SAO语法元素可对应于SAO合并左旗标和SAO合并上旗标。多个SAO语法元素可对应于与不同色彩分量有关的合并左旗标或合并上旗标。联合上下文模型可基于多个SAO语法元素的联合统计来产生。本发明的多个实施例使用截断一元码二进制操作，使用具有一个上下文的CABAC，或者使用具有上下文模式和旁路模式的CABAC来对SAO类型指针进行编码，其中上下文模式用于与SAO类型指针有关的第一个二进制位，旁路模式用于任意剩余二进制位。
【专利说明】自适应采样点偏移信息的编解码装置及方法
[0001] 相关案的夺叉引用
[0002] 本发明要求主张 2012年5月29日提出的编号为61/652, 564且命名为"The context design of SAO syntax(自适应采样点偏移语法的上下文设计）"的美国临时专利 申请，以及2012年6月22日提出的编号为61/662,967且命名为"Reduction of Context Models and Context Bins for SA0(用于自适应采样点偏移的上下文二进制位及上下文模 型的简化）"的美国临时申请案的优先权。这些美国临时申请的全部内容在此引用并合并 参考。
【技术领域】
[0003] 本发明是有关于视频编解码（video coding)，更具体地，本发明是有关于自适应 采样点偏移（Sample Adaptive Offset, SA0)信息的编解码。
【背景技术】
[0004] 运动估计（Motion Estimation, ME)是一种有效的巾贞间（inter-frame)编解 码技术，使用了视频序列的时域冗余。运动补偿（Motion Compensation, MC)巾贞间编解 码已广泛用于各种国际视频编解码标准。在各种编解码标准中所采用的运动估计通常 是基于区块（block-based)的技术，其中，可为每个宏块（macroblock)或类似的区块 配置确定运动信息，例如编解码模式及运动向量。另外，也可适应性地使用帧内编解码 (intra-coding),其中图像在处理时无需参考其它图像。巾贞间预测（inter-predicted)或 中贞内预测（intra-predicted)的残差（residues)通常通过变换（transformation),量化 (quantization)及熵编码（entropy coding)进行进一步处理，以产生压缩的视频比特流 (video bitstream)。在编码操作中，引入了编码失真效应（coding artifacts),特别是在 量化操作中。为了减少编码失真效应，可对重建的（reconstructed)视频应用额外的处理 以增强在更新的编解码系统中的图像质量。该额外的处理经常配置为环路内（in-loop)操 作，以便编码器和解码器可产生（derive)相同的参考图像。
[0005] 图1为结合了环路内滤波操作的自适应的帧间/帧内视频编码系统的示意图。 对于帧间预测，运动估计/运动补偿（ME/MC) 112用于基于来自另外一个或多个图像的视 频数据来提供预测数据。切换器（switch) 114选择帧内预测110或来自ME/MC 112的 帧间预测数据，选择出的预测数据供应至加法器116,以形成预测误差，也称为预测残差 或残差。然后，预测误差经由变换器（Transformation，T) 118处理，并紧接着进行量化 (Quantization，Q) 120处理。然后，变换并量化后的残差由熵编码器122进行编码，以形成 对应于压缩的视频数据的视频比特流。然后，与变换系数有关的比特流与额外信息（side information) -起进行打包，其中额外信息例如运动，模式及与图像单元（image unit)有 关的其它信息。额外信息也可通过熵编码进行处理，以减少所需的带宽。相应地，额外信息 数据也可提供至图1所示的熵编码器122 (图中未显示至熵编码器122的运动/模式路径）。 当使用帧间预测模式时，之前重建的一个或多个参考图像需要用于形成预测残差。因而在 编码器端使用重建的环路（loop)以产生重建的图像。因此，变换及量化后的残差通过反量 化（Inverse Quantization, IQ) 124 和反变换（Inverse Transformation, IT) 126 处理，以 恢复（recovery)处理后的残差。然后，处理后的残差通过重建（Reconstruction, REC) 128 添加回到预测数据136,以重建视频数据。重建的视频数据储存在参考图像缓冲器134中， 并用于其它帧的预测。
[0006] 如图1所示，进入的视频数据在编码系统中经过了一系列的处理。来自REC 128 的重建的视频数据可能受制于因一系列处理而带来的各种损失（impairments)。相应地， 为了提高视频质量，在重建的视频数据用作预测数据之前应用各种环路处理。在研发的高 效视频编解码（High Efficiency Video Coding, HEVC)标准中，解区块滤波器（Deblocking Filter，DF) 130，SA0131 及自适应环路滤波器（Adaptive Loop Filter，ALF) 132 已发展用 于增强图像质量。DF 130用于边界像素 （boundary pixels),以及DF处理依赖于潜在的 (underlying)像素数据及与对应区块有关的编解码信息。没有DF特定的（DF-specific) 额外信息需要并入（incorporated in)视频比特流。另一方面，SA0与ALF处理是自适应 的，其中，滤波信息例如滤波器参数及滤波器类型可根据潜在的视频数据动态改变。因此， 与SA0和ALF有关的滤波信息并入视频比特流，以便解码器可适当恢复所需的信息。此外， 来自SA0和ALF的滤波器信息提供至熵编码器122以并入比特流。在图1中，DF 130首先 应用于重建的视频。然后，SA0 131应用于DF处理的视频，以及ALF 132应用于SA0处理 后的视频。然而，在DF，SA0和ALF之间的处理顺序可重新安排。在研发的HEVC视频标准 中，环路滤波处理包括DF和SA0。
[0007] HEVC中的编解码处理应用于每个最大编码单元（Largest Coding Unit, IXU)。使 用四叉树（quadtree)，IXU适应性地划分为多个编码单元。因此，IXU也成为编码树区块 (Coding Tree Block, CTB)。在每个叶编码单兀（Coding Unit, CU)中，对每个8X8区块执 行 DF，并在 HEVC测试模型版本 7.0 (HEVC Test Model Version 7.0, HM-7.0)中，对 8X8 区 块的边界应用DF。对于每个8X8区块，首先应用跨越垂直区块边界的水平滤波，然后应用 跨越水平区块边界的垂直滤波。
[0008] 如图1所示，在HM-7. 0中也采用了 SA0 131。SA0视为滤波处的处理仅应用于一 个像素的特殊情形。为了应用SA0,图像可划分为多个IXU对齐的（IXU-aligned)区域。每 个区域可在两个带偏移（Band Offset, B0)，四个边偏移（Edge Offset, E0)及无处理（OFF) 中选择一个SA0类型。对于每个待处理的（也称为待滤波的）像素，B0使用像素强度将像 素划分为带（band)。如图2所示，像素强度范围（pixel intensity range)平均分为32个 带。四个连续的带形成组，其中起始带由sao_band_position所指示。一个较佳的4带组 200如图2所示。该4带组的第一个带的位置由箭头210指示。在E0中，像素划分是首先 将像素划分为不同的组（group)(也称为类，categories或classes)。每个像素的像素分 类是基于3X3窗口（window)，如图3所示，对应于0°，90°，135°及45°的四个配置用于 分类。一旦图像或区域中的所有像素分类，对于每组像素产生并传送一个偏移。在HM-7.0 中，SA0应用于亮度和色度（chroma)分量，且每个亮度分量进行独立处理。除E0的类4之 夕卜，类似于B0,每类的所有像素产生一个偏移，其中，类4被强制使用0偏移。如下表1列示 了 E0像素的分类，其中"C"表示待分类的像素。
[0009] 表 1
[0010]
【权利要求】
1. 一种视频数据的自适应采样点偏移的处理方法，用于视频解码器，其特征在于，所述 方法包含： 接收与图像有关的经过处理并重建的像素区块，其中，所述图像来自媒体或处理器，所 述经过处理并重建的像素区块是由视频比特流中解码得到的； 由所述视频比特流中确定第一自适应采样点偏移语法元素，其中，所述第一自适应采 样点偏移语法元素是使用基于上下文的自适应二进制算术编码方式的解码由所述视频比 特流中解码得到的，以及所述第一自适应采样点偏移语法元素与至少一个第二语法元素共 享一个联合上下文模型；以及 基于包含所述第一自适应采样点偏移语法元素的自适应采样点偏移信息，对所述经过 处理并重建的像素区块实施自适应采样点偏移处理。
2. 根据权利要求1所述的方法，其特征在于，所述第一自适应采样点偏移语法元素与 所述至少一个第二语法元素对应于自适应采样点偏移合并左旗标与自适应采样点偏移合 并上旗标。
3. 根据权利要求1所述的方法，其特征在于，所述第一自适应采样点偏移语法元素与 所述至少一个第二语法元素对应于第一自适应采样点偏移合并左旗标与第二自适应采样 点偏移合并左旗标，其中，所述第一自适应采样点偏移合并左旗标用于所述视频数据的第 一颜色分量，以及所述第二自适应采样点偏移合并左旗标用于所述视频数据的第二颜色分 量。
4. 根据权利要求1所述的方法，其特征在于，所述第一自适应采样点偏移语法元素与 所述至少一个第二语法元素对应于第一自适应采样点偏移合并上旗标与第二自适应采样 点偏移合并上旗标，其中，所述第一自适应采样点偏移合并上旗标用于所述视频数据的第 一颜色分量，以及所述第二自适应采样点偏移合并上旗标用于所述视频数据的第二颜色分 量。
5. 根据权利要求1所述的方法，其特征在于，所述联合上下文模型是基于所述第一自 适应采样点偏移语法元素与所述至少一个第二语法元素的联合统计来产生的。
6. -种视频数据的自适应采样点偏移的处理方法，用于视频编码器，其特征在于，所述 方法包含： 接收与图像有关的经过处理并重建的像素区块，其中所述图像来自媒体或处理器； 为所述经过处理并重建的像素区块确定第一自适应采样点偏移语法元素； 根据联合上下文模型对所述第一自适应采样点偏移语法元素实施基于上下文的自适 应二进制算术编码方式的编码，其中所述第一自适应采样点偏移语法元素与至少一个第二 语法元素共享所述联合上下文模型；以及 将编码后的所述第一自适应采样点偏移语法元素并入与所述视频数据有关的视频比 特流。
7. 根据权利要求6所述的方法，其特征在于，所述第一自适应采样点偏移语法元素与 所述至少一个第二语法元素对应于自适应采样点偏移合并左旗标与自适应采样点偏移合 并上旗标。
8. 根据权利要求6所述的方法，其特征在于，所述第一自适应采样点偏移与所述至少 一个第二语法元素对应于第一自适应采样点偏移合并左旗标与第二自适应采样点偏移合 并左旗标，其中所述第一自适应采样点偏移合并左旗标用于所述视频数据的第一颜色分 量，所述第二自适应采样点偏移合并左旗标用于所述视频数据的第二颜色分量。
9. 根据权利要求6所述的方法，其特征在于，所述第一自适应采样点偏移语法元素与 所述至少一个第二语法元素对应于第一自适应采样点偏移合并上旗标与第二自适应采样 点偏移合并上旗标，其中所述第一自适应采样点偏移合并上旗标用于所述视频数据的第一 颜色分量，所述第二自适应采样点偏移合并旗标用于所述视频数据的第二颜色分量。
10. 根据权利要求6所述的方法，其特征在于，所述联合上下文模型是基于所述第一自 适应采样点偏移语法元素与所述至少一个第二语法元素的联合统计来产生的。
11. 一种视频数据的自适应采样点偏移的处理装置，用于视频解码器，其特征在于，所 述装置包含： 接收与图像有关的经过处理并重建的像素区块的装置，其中，所述图像来自媒体或处 理器，所述经过处理并重建的像素区块是由视频比特流中解码得到的； 由所述视频比特流中确定第一自适应采样点偏移语法元素的元素，其中，所述第一自 适应采样点偏移语法元素是使用基于上下文的自适应二进制算术编码方式的解码由所述 视频比特流中解码得到的，以及所述第一自适应采样点偏移语法元素与至少一个第二语法 元素共享一个联合上下文模型；以及 基于包含所述第一自适应采样点偏移语法元素的自适应采样点偏移信息，对所述经过 处理并重建的像素区块实施自适应采样点偏移处理的装置。
12. -种视频数据的自适应采样点偏移的处理装置，用于视频编码器，其特征在于，所 述装置包含： 接收与图像有关的经过处理并重建的像素区块的装置，其中所述图像来自媒体或处理 器； 为所述经过处理并重建的像素区块确定第一自适应采样点偏移语法元素的装置； 根据联合上下文模型对所述第一自适应采样点偏移语法元素实施基于上下文的自适 应二进制算术编码方式的编码的装置，其中所述第一自适应采样点偏移语法元素与至少一 个第二语法元素共享所述联合上下文模型；以及 将编码后的所述第一自适应采样点偏移语法元素并入与所述视频数据有关的视频比 特流的装置。
13. -种视频数据的自适应采样点偏移的处理方法，用于视频解码器，其特征在于，所 述方法包含： 接收与图像有关的经过处理并重建的像素区块，其中，所述图像来自媒体或处理器，所 述经过处理并重建的像素区块是由视频比特流中解码得到的； 由所述视频比特流中确定自适应采样点偏移类型指针，其中所述自适应采样点偏移类 型指针是根据截断一元码二进制操作进行解码的，所述自适应采样点偏移类型指针是使用 具有一个上下文的基于上下文的自适应二进制算术编码方式进行解码的，或者所述自适应 采样点偏移类型指针是通过使用上下文模式与旁路模式的基于上下文的自适应二进制算 术编码方式进行解码的，其中所述上下文模式用于与所述自适应采样点偏移类型指针有关 的第一个二进制位，所述旁路模式用于与所述自适应采样点偏移类型指针有关的任意剩余 其它二进制位；以及 基于包含所述自适应采样点偏移类型指针的自适应采样点偏移信息，对所述经过处理 并重建的像素区块实施自适应采样点偏移处理。
14. 根据权利要求13所述的方法，其特征在于，所述自适应采样点偏移类型指针对应 于第一自适应采样点偏移类型指针或第二自适应采样点偏移类型指针，其中所述第一自适 应采样点偏移类型指针与所述视频数据的亮度分量有关，所述第二自适应采样点偏移类型 指针与所述视频数据的色度分量有关。
15. -种视频数据的自适应采样点偏移的处理方法，用于视频编码器，其特征在于，所 述方法包含： 接收与图像有关的经过处理并重建的像素区块，其中所述图像来自媒体或处理器； 为所述经过处理并重建的像素区块确定自适应采样点偏移类型指针； 将编码后的所述自适应采样点偏移类型指针并入与所述视频数据有关的视频比特流， 其中，编码后的所述自适应采样点偏移类型指针对应于根据截断一元码二进制操作进行编 码的所述自适应采样点偏移类型指针，通过具有一个上下文的基于上下文的自适应二进制 算术编码方式进行编码的所述自适应采样点偏移类型指针，或者通过使用上下文模式与旁 路模式的基于上下文的二进制算术编码方式进行编码的所述自适应采样点偏移类型指针， 其中所述上下文模式用于与所述自适应采样点偏移类型指针有关的第一个二进制位，所述 旁路模式用于与所述自适应采样点偏移类型指针有关的任意剩余其它二进制位；以及 基于包含所述自适应采样点偏移类型指针的自适应采样点偏移信息，对所述经过处理 并重建的像素区块实施自适应采样点偏移处理。
16. 根据权利要求15所述的方法，其特征在于，所述自适应采样点偏移类型指针对应 于第一自适应采样点偏移类型指针或第二自适应采样点偏移类型指针，其中所述第一自适 应采样点偏移类型指针与所述视频数据的亮度分量有关，所述第二自适应采样点偏移类型 指针与所述视频数据的色度分量有关。
17. -种视频数据的自适应采样点偏移的处理装置，用于视频解码器，其特征在于，所 述装置包含： 接收与图像有关的经过处理并重建的像素区块的装置，其中，所述图像来自媒体或处 理器，所述经过处理并重建的像素区块是由视频比特流中解码得到的； 由所述视频比特流中确定自适应采样点偏移类型指针的装置，其中所述自适应采样点 偏移类型指针是根据截断一元码二进制操作进行解码的，所述自适应采样点偏移类型指针 是使用具有一个上下文的基于上下文的自适应二进制算术编码方式进行解码的，或者所述 自适应采样点偏移类型指针是通过使用上下文模式与旁路模式的基于上下文的自适应二 进制算术编码方式进行解码的，其中所述上下文模式用于与所述自适应采样点偏移类型指 针有关的第一个二进制位，所述旁路模式用于与所述自适应采样点偏移类型指针有关的任 意剩余其它二进制位；以及 基于包含所述自适应采样点偏移类型指针的自适应采样点偏移信息，对所述经过处理 并重建的像素区块实施自适应采样点偏移处理的装置。
18. -种视频数据的自适应采样点偏移的处理装置，用于视频编码器，其特征在于，所 述装置包含： 接收与图像有关的经过处理并重建的像素区块的装置，其中所述图像来自媒体或处理 器； 为所述经过处理并重建的像素区块确定自适应采样点偏移类型指针的装置； 将编码后的所述自适应采样点偏移类型指针并入与所述视频数据有关的视频比特流 的装置，其中，编码后的所述自适应采样点偏移类型指针对应于根据截断一元码二进制操 作进行编码的所述自适应采样点偏移类型指针，通过具有一个上下文的基于上下文的自适 应二进制算术编码方式进行编码的所述自适应采样点偏移类型指针，或者通过使用上下文 模式与旁路模式的基于上下文的二进制算术编码方式进行编码的所述自适应采样点偏移 类型指针，其中所述上下文模式用于与所述自适应采样点偏移类型指针有关的第一个二进 制位，所述旁路模式用于与所述自适应采样点偏移类型指针有关的任意剩余其它二进制 位；以及 基于包含所述自适应采样点偏移类型指针的自适应采样点偏移信息，对所述经过处理 并重建的像素区块实施自适应采样点偏移处理的装置。
【文档编号】H04N19/91GK104303506SQ201380024515
【公开日】2015年1月21日 申请日期:2013年4月2日 优先权日:2012年5月29日
【发明者】傅智铭, 黄毓文, 徐志玮, 雷少民 申请人:联发科技股份有限公司