用于用信号传输sao参数的视频编码方法和视频编码设备以及视频解码方法和视频解码设备的制造方法
【技术领域】
[0001] 本公开涉及一种在视频编码和解码操作中将重建像素值调整偏移的方法，其中， 所述偏移是为了使原始图像和重建图像之间的误差最小化而对样点自适应地确定的。
【背景技术】
[0002] 随着用于再现和存储高分辨率或高质量视频内容的硬件的开发和提供，对于用于 有效地对高分辨率或高质量视频内容进行编码或解码的视频编解码器的需求正在增加。根 据传统的视频编解码器，基于具有预定尺寸的宏块，根据受限的编码方法来对视频进行编 码。
[0003] 空间域的图像数据经由频率变换被变换为频域的系数。根据视频编解码器，将图 像划分为具有预定尺寸的块，对每个块执行离散余弦变换（DCT)，并以块为单位对频率系数 进行编码，以进行频率变换的快速计算。与空间域的图像数据相比，频域的系数容易被压 缩。具体地，由于根据经由视频编解码器的帧间预测或帧内预测的预测误差来表示空间域 的图像像素值，因此当对预测误差执行频率变换时，大量数据可被变换为0。根据视频编解 码器，可通过使用小量数据来代替连续并重复产生的数据，来减少数据量。
【发明内容】
[0004] 技术问题
[0005] 本公开涉及在视频编码和解码操作中用信号传输为了使原始图像和重建图像之 间的误差最小化而确定的样点自适应偏移（SA0)参数。
[0006] 解决方案
[0007] 根据本公开的各方面，提供一种样点自适应偏移（SA0)解码方法，所述方法包括： 从最大编码单元（LCU)的比特流获取上下文编码的向左SA0合并信息和上下文编码的向上 SA0合并信息；从所述比特流获取针对每个彩色分量被上下文编码的SA0打开/关闭信息； 如果SA0打开/关闭信息指示执行SA0操作，则从所述比特流获取针对每个彩色分量被旁 路编码的用于每个SA0类别的绝对偏移值信息；从所述比特流获取针对每个彩色分量被旁 路编码的带位置信息和边缘种类信息之一。
[0008] 有益效果
[0009] 在根据本公开的各种实施例的对样点自适应偏移（SA0)参数进行编码和解码的 方法中，由于仅对SA0参数中的SA0合并信息和SA0打开/关闭信息执行上下文编码和上 下文解码，并且对其余比特流执行旁路编码和旁路解码，因此可减少用于对SA0参数进行 解码的总计算量。
[0010] 此外，在SA0参数中，由于一些参数针对每个彩色分量被不同地确定，并且一些参 数针对第一色度分量和第二色度分量被设置为相同，或者针对亮度分量、第一色度分量和 第二色度分量被设置为相同，因此可减少SA0参数的总比特长度，并且也可减少将被解析 的数据量。
[0011] 此外，由于减少了将上下文编码和解码操作与旁路编码和解码操作进行切换的次 数，因此可提高对SAO参数的整个熵编码和解码操作的效率。
【附图说明】
[0012] 图la和图lb是根据本公开的实施例的样点自适应偏移（SAO)编码设备的框图和 SAO编码方法的流程图。
[0013] 图2a和图2b是根据本公开的实施例的SAO解码设备的框图和SAO解码方法的流 程图。
[0014] 图3是根据本公开的实施例的视频解码设备的框图。
[0015] 图4是示出根据本公开的实施例的边缘类型的边缘种类的表。
[0016] 图5a和图5b是示出根据本公开的实施例的边缘类型的类别的表和曲线图。
[0017] 图6a是示出根据本公开的实施例的被参考以用于与当前最大编码单元（LCU)合 并SAO参数的邻近IXU的示图。
[0018] 图6b是示出根据本公开的另一实施例的对SAO参数执行j：商编码的处理的示图。
[0019] 图7a示出根据本公开的实施例的编码单元的SAO语法。
[0020] 图7b和图7c示出根据本公开的另一实施例的编码单元的SAO语法。
[0021] 图8是根据本公开的实施例的基于具有树结构的编码单元的视频编码设备的框 图。
[0022] 图9是根据本公开的实施例的基于具有树结构的编码单元的视频解码设备的框 图。
[0023] 图10是用于描述根据本公开的实施例的编码单元的构思的示图。
[0024] 图11是根据本公开的实施例的基于编码单元的图像编码器的框图。
[0025] 图12是根据本公开的实施例的基于编码单元的图像解码器的框图。
[0026] 图13是示出根据本公开的实施例的根据深度的较深层编码单元以及分区的示 图。
[0027] 图14是用于描述根据本公开的实施例的编码单元和变换单元之间的关系的示 图。
[0028] 图15是用于描述根据本公开的实施例的与编码深度相应的编码单元的编码信息 的示图。
[0029] 图16是根据本公开的实施例的根据深度的较深层编码单元的示图。
[0030] 图17至图19是用于描述根据本公开的实施例的编码单元、预测单元和变换单元 之间的关系的示图。
[0031] 图20是用于描述根据表1的编码模式信息的编码单元、预测单元和变换单元之间 的关系的不图。
[0032] 图21是根据本公开的实施例的存储程序的盘的物理结构的示图。
[0033] 图22是用于通过使用盘来记录和读取程序的盘驱动器的示图。
[0034] 图23是用于提供内容分配服务的内容供应系统的整体结构的示图。
[0035] 图24和图25是根据本公开的实施例的应用了视频编码方法和视频解码方法的移 动电话的外部结构和内部结构的各自的示图。
[0036] 图26是根据本公开的实施例的应用通信系统的数字广播系统的示图。
[0037] 图27是示出根据本公开的实施例的使用视频编码设备和视频解码设备的云计算 系统的网络结构的示图。
[0038] 最佳实施方式
[0039] 根据本公开的各方面，提供一种样点自适应偏移（SAO)解码方法，包括：从最大编 码单元（LCU)的比特流获取被上下文编码的向左SAO合并信息和被上下文编码的向上SAO 合并信息；从所述比特流获取针对每个彩色分量被上下文编码的SAO打开/关闭信息；如 果SAO打开/关闭信息指示执行SAO操作，则从所述比特流获取针对每个彩色分量被旁路 编码的用于每个SAO类别的绝对偏移值信息；从所述比特流获取针对每个彩色分量被旁路 编码的带位置信息和边缘种类信息之一。
[0040] 获取SAO打开/关闭信息的步骤可包括：如果SAO打开/关闭信息指示执行SAO操 作，则还从所述比特流获取针对每个彩色分量以旁路模式被编码的边缘带标识信息，并且， 在IXU的SAO类型信息的第一二进制位中的SAO打开/关闭信息被执行上下文解码，SAO类 型信息的除了SAO打开/关闭信息之外的其余比特被执行旁路解码。
[0041] 获取带位置信息或边缘种类信息的步骤可包括：如果获取的边缘带标识信息指示 带类型，则从所述比特流获取针对每个彩色分量被旁路编码的带位置信息，其中，获取带位 置信息的步骤包括：如果针对每个SAO类别获取的绝对偏移值信息不为0,则从所述比特 流获取针对每个彩色分量被旁路编码的带位置信息和偏移符号信息，带位置信息在LCU的 SAO参数之中被最后获取。
[0042] 获取带位置信息或边缘种类信息的步骤可包括：如果获取的边缘带标识信息指示 边缘类型，则从所述比特流获取针对每个彩色分量被旁路编码的边缘种类信息，其中，边缘 种类信息可包括用于亮度分量的边缘种类信息和用于第一色度分量的边缘种类信息，并且 用于第一色度分量的边缘种类信息被同样地应用于第二色度分量。
[0043] 用于第一色度分量的SAO打开/关闭信息和边缘带标识信息可被同样地应用于第 二色度分量，向左SAO合并信息和向上SAO合并信息可被共同应用于IXU的亮度分量、第一 色度分量和第二色度分量。
[0044] 获取向左SAO合并信息和向上SAO合并信息的步骤可包括：确定向左SAO合并 信息的基于上下文的概率模型，通过使用确定的向左SAO合并信息的概率模型来执行熵解 码，从而重建向左SAO合并信息；确定向上SAO合并信息的基于上下文的概率模型，通过使 用确定的向上SAO合并信息的概率模型来执行熵解码，从而重建向上SAO合并信息，并且， 获取SAO打开/关闭信息的步骤可包括：确定SAO打开/关闭信息的基于上下文的概率模 型，通过使用确定的SAO打开/关闭信息的概率模型来执行熵解码，从而重建SAO打开/关 闭信息。
[0045] 获取绝对偏移值信息的步骤可包括：确定绝对偏移值信息的基于上下文的概率模 型，在不使用确定的绝对偏移值信息的概率模型的情况下执行熵解码，从而重建绝对偏移 值信息，并且，获取偏移符号信息和带位置信息的步骤可包括：在不使用偏移符号信息的基 于上下文的概率模型的情况下执行熵解码，从而重建偏移符号信息；在不使用带位置信息 的基于上下文的概率模型的情况下执行熵解码，从而重建带位置信息，并且，获取边缘种类 信息的步骤可包括：在不使用边缘种类信息的基于上下文的概率模型的情况下执行熵解 码，从而重建边缘种类信息。
[0046] 根据本公开的各方面，提供一种样点自适应偏移（SAO)编码方法，包括：输出最大 编码单元（IXU)的1比特的向左SAO合并信息和1比特的向上SAO合并信息，其中，所述1 比特的向左SAO合并信息和所述1比特的向上SAO合并信息是通过对向左SAO合并信息和 向上SAO合并信息中的每一个执行上下文编码而产生的；输出1比特的SAO打开/关闭信 息，其中，所述1比特的SAO打开/关闭信息是通过对针对每个彩色分量的SAO打开/关闭 信息执行上下文编码而产生的；如果SAO打开/关闭信息指示执行SAO操作，则输出绝对偏 移值信息的比特流，其中，绝对偏移值信息的比特流是通过对针对每个彩色分量和每个SAO 类别的绝对偏移值信息执行旁路编码而产生的；输出其余比特流，其中，所述其余比特流是 通过对针对每个彩色分量的带位置信息和边缘种类信息之一执行旁路编码而产生的。
[0047] 输出1比特的SAO打开/关闭信息的步骤可包括：如果SAO打开/关闭信息指示 执行SAO操作，则还输出1比特的边缘带标识信息，其中，所述1比特的边缘带标识信息是 通过对针对每个彩色分量的边缘带标识信息执行旁路编码而产生的，并且，在LCU的SAO类 型信息的第一二进制位中的SAO打开/关闭信息可被执行上下文编码，SAO类型信息的除 了SAO打开/关闭信息之外的其余比特可被执行旁路编码。
[0048] 输出其余比特流的步骤可包括：如果边缘带标识信息指示带类型，则带位置信息 的比特流，其中，带位置信息的比特流是输出通过对针对每个彩色分量的带位置信息执行 旁路编码而产生的，输出带位置信息的步骤可包括：如果用于每个SAO类别的绝对偏移值 信息不为〇,则输出产生的带位置信息的比特流以及通过对偏移符号信息执行旁路编码而 产生的偏移符号信息的比特流，并且，带位置信息在LCU的SAO参数之中被最后输出。
[0049] 输出其余比特流的步骤可包括：如果边缘带标识信息指示边缘类型，贝1」输出边缘 种类信息的比特流，其中，边缘种类信息的比特流是通过对针对每个彩色分量的边缘种类 信息执行旁路编码而产生的。
[0050] 根据本公开的各方面，提供一种样点自适应偏移（SAO)解码设备，包括：SAO上下 文解码器，从最大编码单元（LCU)的比特流获取被上下文编码的向左SAO合并信息和被上 下文编码的向上SAO合并信息，并从所述比特流获取针对每个彩色分量被上下文编码的 SAO打开/关闭信息；SAO旁路解码器，在SAO打开/关闭信息指示执行SAO操作的情况下， 从所述比特流获取针对每个彩色分量和每个SAO类别被旁路编码的绝对偏移值信息，并从 所述比特流获取针对每个彩色分量被旁路编码的带位置信息和边缘种类信息之一；SAO操 作器，在SAO打开/关闭信息指示执行SAO操作的情况下，通过使用获取的信息，基于绝对 偏移值信息来针对每个SAO类别调整LCU的重建值。
[0051] 根据本公开的各方面，提供一种样点自适应（SAO)编码设备，包括：SAO操作器，对 最大编码单元（IXU)执行SAO操作；SAO上下文编码器，通过对IXU的向左SAO合并信息和 向上SAO合并信息中的每一个执行上下文编码，产生并输出向左SAO合并信息的比特流和 向上SAO合并信息的比特流，通过对针对每个彩色分量的SAO打开/关闭信息执行上下文 编码，产生并输出1比特的SAO打开/关闭信息；SAO旁路编码器，在SAO打开/关闭信息 指示执行SAO操作的情况下，通过对针对每个彩色分量和每个SAO类别的绝对偏移值信息 执行旁路编码，产生并输出绝对偏移值信息的比特流，通过对针对每个彩色分量的带位置 信息和边缘种类信息之一执行旁路编码，产生并输出其余比特流。
[0052] 根据本公开的各方面，提供一种记录有用于执行以上方法的计算机程序的计算机 可读记录介质。
【具体实施方式】
[0053] 在下文中，现在将参照图la至图7c描述根据本公开的实施例的使用基于像素分 类的样点自适应偏移（SAO)操作的视频编码技术和视频解码技术。此外，将参照图8至图 20描述根据本公开的实施例的在基于具有树结构的编码单元的视频编码技术和视频解码 技术中的基于像素分类的SAO操作。在下文中，"图像"可指示静止图像或视频的运动图像， 或者视频本身。
[0054] 现在将参照图la至图7c描述根据本公开的实施例的使用基于像素分类的SAO操 作的视频编码技术和视频解码技术。图la、图lb、图2a和图2b中不出的SAO编码设备10 和SAO解码设备20执行SAO操作以使原始图像和重建像素之间的误差最小化，并发送和接 收用于执行SAO操作的SAO参数。
[0055] 使用SAO操作的SAO编码设备10将每个图像块的像素分类为预定像素组，将每个 像素分配至相应像素组，并对偏移值进行编码，其中，偏移值指示包括在相同像素组中的原 始像素和重建像素之间的误差的平均值。
[0056] 在SAO编码设备10和SAO解码设备20之间用信号传输样点。换句话说，SAO编 码设备10可对通过执行视频编码而产生的样点进行编码，并可将样点作为比特流来发送， SAO解码设备20可从接收到的比特流解析样点并重建样点。
[0057] SAO编码设备10和SAO解码设备20用信号传输用于SAO操作的SAO参数，以通过 将重建像素值调整基于像素分类而确定的偏移来使原始像素和重建像素之间的误差最小 化。在SAO编码设备和SAO解码设备之间，偏移值作为SAO参数被编码、被发送、并被接收， 之后可从SAO参数解码出该偏移值。
[0058] 因此，SAO解码设备20可通过对接收到的比特流进行解码来产生每个图像块的重 建像素，可将重建像素调整从比特流重建的偏移值，并因此可产生与原始图像的误差最小 的重建图像。
[0059] 将参照图la和图lb详细地描述用于执行SAO操作的SAO编码设备10的操作，并 将参照图2a和图2b详细地描述用于执行SAO操作的SAO解码设备20的操作。
[0060] 图la和图lb是根据本公开的实施例的SAO编码设备10的框图和SAO编码方法 的流程图。
[0061] SAO编码设备10包括SAO操作器12和熵编码器14。熵编码器14包括用于对SAO 参数进行编码的SAO上下文编码器16和SAO旁路编码器18。
[0062] SAO编码设备10接收视频的图像（例如，条带）的输入，将每个图像划分为块，并 对每个块进行编码。块可具有方形形状、矩形形状和任意几何形状，并且不限于具有预定尺 寸的数据单元。块可以是最大编码单元（LCU)或具有树结构的编码单元之中的编码单元。 在下面将参照图8至图20描述基于具有树结构的编码单元的视频编码方法和视频解码方 法。
[0063] SAO编码设备10可将每个输入图像划分为IXU，并可将通过对每个IXU的样点执 行预测、变换和熵编码而产生的结果数据输出为比特流。LCU的样点可以是包括在LCU中的 像素的像素值数据。
[0064] SAO编码设备10可单独地对画面的IXU进彳丁编码。SAO编码设备10可基于从当 前LCU划分的并具有树结构的编码单元对当前LCU进行编码。
[0065] 为了对当前IXU进行编码，SAO编码设备10可通过对包括在当前IXU中的并具有 树结构的每个编码单元执行帧内预测、帧间预测、变换和量化来对样点进行编码。
[0066] SAO编码设备10可通过对具有树结构的每个编码单元执行反量化、逆变换和帧间 预测或运动补偿来对编码单元进行解码，以重建包括在当前LCU中的编码样点。可通过对 编码样点的先前条带进行编码并随后进行解码来产生重建图像。先前条带的重建图像可被 参考以用于对当前条带执行帧间预测。
[0067] 为了使在当前LCU被编码之前的原始像素和在当前LCU被解码之后的重建像素之 间的误差最小化，SAO操作器12可确定指示原始像素和重建像素之间的差值的偏移值。
[0068] SAO操作器12可对每个彩色分量执行SAO操作。例如，针对YCrCb彩色图像，可对 亮度分量（Y分量）、第一色度分量和第二色度分量（Cr分量和Cb分量）中的每个分量执行 SAO操作。
[0069] SAO操作器12可确定是否对当前条带的亮度分量执行SAO操作。SAO操作器12 可确定是否对当前条带的第一色度分量和第二色度分量执行SAO操作，其中，第一色度分 量和第二色度分量被视为相同的分量。也就是说，如果对第一色度彩色分量执行SAO操作， 则也可对第二色度分量执行SAO操作。如果不对第一色度彩色分量执行SAO操作，则也可 不对第二色度分量执行SAO操作。
[0070] 熵编码器14可产生当前条带的SAO参数，并可将SAO参数包括在当前条带的头 中。
[0071]SAO操作器12可确定是否对每个IXU执行SAO操作。根据SAO操作器12的确定， SAO上下文编码器16可产生指示是否对亮度分量执行SAO操作的亮度SAO打开/关闭信 息。此外，根据SAO操作器12的确定，SAO上下文编码器16可产生指示是否对第一色度分 量和第二色度分量执行SAO操作的色度SAO打开/关闭信息。
[0072] SAO上下文编码器16可将亮度SAO打开/关闭信息和色度SAO打开/关闭信息包 括在LCU的SAO参数中。
[0073] SAO操作器12可针对每个IXU确定偏移值。也可针对每个IXU确定包括偏移值、 SAO类型和SAO种类的SAO参数。
[0074] SAO操作器12可根据当前IXU的像素值分类方法来确定SAO类型。SAO类型可被 确定为边缘类型或带类型。根据当前块的像素值分类方法，可确定是根据边缘类型还是根 据带类型对当前块的像素进行分类。
[0075] 如果SAO类型是边缘类型，则根据在当前LCU的重建像素和其邻近像素之间形成 的边缘的方向和形状，可确定重建像素和原始像素之间的偏移。
[0076] 如果SAO类型是带类型，则在通过对当前LCU的重建像素的像素值的总范围进行 划分而获取的多个带之中，可确定包括在每个带中的重建像素和原始像素之间的偏移。可 通过对像素值的总范围进行均匀划分或非均匀划分来获取带。
[0077] 因此，SAO操作器12可基于当前IXU的像素值的空间特征来确定指示边缘类型或 带类型的当前IXU的SAO类型。
[0078] SAO操作器12可根据当前IXU的SAO类型来确定每个重建像素的SAO种类。SAO 种类可被确定为边缘种类或带种类。
[0079] 针对边缘类型，边缘种类可指示在重建像素和其邻近像素之间形成的边缘的方 向。边缘种类可指示〇°、90°、45°和135°的边缘方向。
[0080] 如果SA0类型是边缘类型，则SA0操作器12可确定当前IXU的每个重建像素的边 缘种类。
[0081] 针对带类型，带种类可指示重建像素的像素值所属的带在多个带之中的位置，其 中，所述多个带是通过对当前LCU的像素值的总范围进行划分而获取的预定数量的连续像 素值段。
[0082] 例如，针对像素值为8比特的样点，像素值的总范围为从0到255,并且像素值可被 分类为总共32个带。在此情况下，在总共32个带之中，可确定重建像素的像素值所属的预 定数量的带。带种类可通过使用从〇到31的带索引中的一个带索引来指示预定数量的连 续带的起始位置（左侧起始点）。
[0083] 针对边缘类型，可根据在重建像素和其邻近像素之间形成的边缘的形状，将当前 LCU的重建像素分类为预定数量的类别。例如，根据四个边缘形状（诸如凹形边缘的局部谷 底、凹形边缘的弧形拐角、凸形边缘的弧形拐角和凸形边缘的局部谷峰），可将重建像素分 类为四个类别。根据当前LCU的每个重建像素的边缘形状，可确定四个类别中的一个。
[0084] 针对带类型，根据当前LCU的重建像素的像素值所属的带的位置，可将重建像素 分类为预定数量的类别。例如，根据从由带种类指示的起始位置（即，最左侧带的起始点） 开始的四个连续带的带索引，可将重建像素分类为四个类别。根据四个带之中的当前LCU 的每个重建像素所属的一个带，可确定四个类别中的一个。
[0085] SA0操作器12可确定当前IXU的每个重建像素的类别。针对属于同一类别的当前 LCU的重建像素，SA0操作器12可通过使用重建像素和原始像素之间的差值来确定偏移值。 在每个类别中，可将重建像素和原始像素之间的差值的平均值（即，重建像素的平均误差） 确定为与当前类别相应的偏移值。SA0操作器12可确定每个类别的偏移值，并可将所有类 别的偏移值确定为当前LCU的偏移值。
[0086] 例如，如果当前LCU的SA0类型是边缘类型，并且重建像素根据边缘形状被分类为 四个类别，或者，如果当前LCU的SA0类型是带类型，并且重建像素根据四个连续带的索引 被分类为四个类别，则SA0操作器12可通过确定属于所述四个类别中的每个类别的重建像 素和原始像素之间的平均误差来确定四个偏移值。
[0087] 每个偏移值可大于或等于预设最小值，并可小于或等于预设最大值。
[0088] 熵编码器14可对SA0参数进行编码并输出，其中，SA0参数包括由SA0操作器12 确定的当前IXU的SA0类型、SA0种类和偏移值。
[0089] 每个块的SA0参数可包括块的SA0类型和偏移值。可将关闭（off)类型、边缘类 型或带类型输出为SA0类型。
[0090] 如果SA0类型是关闭类型，则这可表示SA0操作不被应用于当前IXU。在此情况 下，不需要对当前LCU的其它SA0参数进行编码。
[0091] 如果SA0类型是边缘类型，则SA0参数可包括单独与边缘种类相应的偏移值。此 外，如果SAO类型是带类型，则SAO参数可包括单独与带相应的偏移值。换句话说，熵编码 器14可对每个块的