用于补偿亮度差的层间视频编码方法和设备以及层间视频解码方法和设备的制造方法
【技术领域】
[0001] 本发明涉及层间视频编码和解码方法，更具体地说，涉及一种补偿层间图像之间 的亮度差的方法。
【背景技术】
[0002] 随着用于再现和存储高分辨率或高质量视频内容的硬件正被开发和提供，对于用 于有效地对高分辨率或高质量视频内容进行编码或解码的视频编解码器的需求正在增加。 根据传统的视频编解码器，基于具有预定尺寸的编码单元，根据受限的编码方法来对视频 进行编码。
[0003] 空间域的图像数据经由频率变换被变换为频域的系数。根据视频编解码器，将图 像划分为具有预定尺寸的块，对每个块执行离散余弦变换（DCT)，并在块单元中对频率系数 进行编码，以进行频率变换的快速计算。与空间域的图像数据相比，频域的系数容易被压 缩。具体地，由于根据经由视频编解码器的帧间预测或帧内预测的预测误差来表示空间域 的图像像素值，因此当对预测误差执行频率变换时，大量数据可被变换为〇。根据视频编解 码器，可通过使用小量数据来代替连续并重复产生的数据，从而减少数据量。
[0004] 多层视频编解码器对第一层视频和各种第二层视频进行编码和解码以去除第一 层视频和第二层视频的时间和空间冗余以及层之间的冗余，从而减少第一层视频和第二层 视频的数据量。
【发明内容】
[0005] 技术问题
[0006] 如果在每个视点的视频之间亮度不相同，则由于层间预测误差量进一步增加，因 此编码效率会降低。因此，考虑到视点之间的亮度不一致，层间视频编码设备10的亮度补 偿确定器14可对每个视点的视频的亮度差进行补偿和编码。例如，可对由第一层编码器12 编码的第一视点图像和由第二层编码器16编码的第二视点图像之间的亮度差进行编码。 由于第二视点图像相对于第一视点图像的亮度差被编码，因此当第二层编码器16对第二 视点视频进行编码时可对亮度进行补偿。然而，为了能够对亮度进行补偿而会增加复杂度。
[0007] 技术方案
[0008] 根据本公开的实施例，一种层间视频解码方法包括：基于从第一层比特流获得的 编码信息对第一层图像进行重建；通过使用从第二层比特流获得的层间预测信息和第一层 重建图像中的与在第二层中将被重建的当前块相应的第一层参考块，对被确定为预定分区 模式和预测模式的第二层当前块进行重建；对处于第二层当前块不被划分的分区模式的第 二层当前块确定是否执行亮度补偿；根据是否执行亮度补偿来对第二层当前块的亮度进行 补偿，并对包括亮度被补偿的第二层当前块的第二层图像进行重建。
[0009] 有益效果
[0010] 根据本发明的实施例，多层图像的亮度补偿应用范围被适当地限制，从而保持编 码效率并降低复杂度。
【附图说明】
[0011] 从以下结合附图进行的对实施例的描述，这些和/或其它方面将变得明显并更易 于理解，其中：
[0012] 图la是根据各种实施例的层间视频编码设备的框图。
[0013] 图lb是根据各种实施例的层间视频编码方法的流程图。
[0014] 图2a是根据各种实施例的层间视频解码设备的框图。
[0015] 图2b是根据各种实施例的层间视频解码方法的流程图。
[0016] 图3示出根据实施例的层间预测结构。
[0017] 图4是根据实施例的层间视频解码设备执行亮度补偿的方法的流程图。
[0018] 图5示出根据实施例的用于基于当前块的分区（partition)模式执行亮度补偿的 语法的示例。
[0019] 图6示出根据实施例的用于基于当前块的分区模式执行亮度补偿的语法的另一 示例。
[0020] 图7是根据实施例的基于根据树结构的编码单元的视频编码设备的框图。
[0021] 图8是根据实施例的基于根据树结构的编码单元的视频解码设备的框图。
[0022] 图9是用于描述根据实施例的编码单元的概念的示图。
[0023] 图10是根据实施例的基于编码单元的图像编码器的框图。
[0024] 图11是根据实施例的基于编码单元的图像解码器的框图。
[0025] 图12是示出根据实施例的较深层编码单元以及分区的示图。
[0026] 图13是用于描述根据实施例的编码单元与变换单元之间的关系的示图。
[0027] 图14是用于描述根据实施例的编码单元的编码信息的示图。
[0028] 图15是根据实施例的较深层编码单元的示图。
[0029] 图16至图18是用于描述根据实施例的编码单元、预测单元和变换单元之间的关 系的不图。
[0030] 图19是用于描述根据表1的编码模式信息的编码单元、预测单元、和变换单元之 间的关系的不图。
[0031] 图20是根据实施例的存储程序的盘的物理结构的示图。
[0032] 图21是通过使用盘来记录和读取程序的盘驱动器的示图。
[0033] 图22是提供内容分发服务的内容供应系统的整体结构的示图。
[0034] 图23和图24分别是根据实施例的应用了视频编码方法和视频解码方法的移动电 话的外部结构和内部结构的示图。
[0035] 图25是根据实施例的采用通信系统的数字广播系统的示图。
[0036] 图26是示出根据实施例的使用视频编码设备和视频解码设备的云计算系统的网 络结构的示图。
[0037] 最佳实施方式
[0038] 根据本发明的实施例的一方面，一种层间视频解码方法包括：基于从第一层比特 流获得的编码信息对第一层图像进行重建；通过使用从第二层比特流获得的层间预测信息 和第一层重建图像中的与在第二层中将被重建的当前块相应的第一层参考块，对被确定为 预定分区模式和预测模式的第二层当前块进行重建；对处于第二层当前块不被划分的分区 模式的第二层当前块确定是否执行亮度补偿；根据是否执行亮度补偿来对第二层当前块的 亮度进行补偿，并对包括亮度被补偿的第二层当前块的第二层图像进行重建。
[0039] 当第二层当前块的尺寸为2NX2N时，第二层当前块不被划分的分区模式是 2NX2N分区模式。
[0040] 确定是否执行亮度补偿的步骤包括：从第二层比特流获得第二层块的分区模式信 息和预测模式信息；当分区模式信息是第二层当前块不被划分的分区模式，并且预测模式 信息不是帧内预测模式时，从第二层比特流获得针对第二层块的亮度补偿信息；基于针对 第二层块的亮度补偿信息确定是否对第二层当前块执行亮度补偿。
[0041] 确定是否执行亮度补偿的步骤包括：当预测模式信息不是帧内预测模式时，从第 二层比特流获得亮度补偿信息。
[0042] 确定是否执行亮度补偿的步骤包括：获得针对包括在基于预测模式信息被确定为 使用亮度补偿的条带中的当前块的亮度补偿信息。
[0043] 省略对除了被解码为第二层当前块不被划分的分区模式的块之外的第二层块确 定是否执行亮度补偿的操作，并且不对该第二层块执行亮度补偿。
[0044] 确定的预测模式是合并模式或先进运动矢量预测（AMVP)模式。
[0045] 根据本发明的实施例的一方面，一种层间视频编码方法包括：产生第一层比特流， 其中，第一层比特流包括通过对第一层图像进行编码而产生的编码信息；根据预定分区模 式和预测模式，通过使用第一层重建图像之中的与将被重建的第二层当前块相应的第一层 参考块，对第二层当前块进行重建；对处于第二层当前块不被划分的分区模式的第二层当 前块确定是否执行亮度补偿；产生第二层比特流，其中，第二层比特流包括根据是否执行亮 度补偿而确定亮度的第二层当前块与第一层参考块之间的层间预测信息。
[0046] 当第二层当前块的尺寸为2NX2N时，第二层当前块不被划分的分区模式是 2NX2N分区模式。
[0047] 确定是否执行亮度补偿的步骤包括：确定第二层块的分区模式信息和预测模式信 息；当分区模式信息是第二层当前块不被划分的分区模式，并且预测模式信息不是帧内预 测模式时，确定指示是否对第二层块执行亮度补偿的亮度补偿信息；产生第二层流的步骤 包括：产生包括分区模式信息、预测模式信息和亮度补偿信息的第二层流。
[0048] 确定是否执行亮度补偿的步骤包括：当预测模式信息不是帧内预测模式时，确定 指示是否对第二层块执行亮度补偿的亮度补偿信息。
[0049] 确定是否执行亮度补偿的步骤包括：针对包括在基于分区模式信息被确定为使用 亮度补偿的条带中的当前块，确定亮度补偿信息。
[0050] 省略对除了被解码为第二层当前块不被划分的分区模式的块之外的第二层块确 定是否执行亮度补偿的操作，并且不对该第二层块执行亮度补偿。
[0051] 确定的预测模式是合并模式或先进运动矢量预测（AMVP)模式。
[0052] 根据本发明的实施例的一方面，一种层间视频解码设备包括：第一层解码器，用于 基于从第一层比特流获得的编码信息对第一层图像进行重建；第二层解码器，用于通过使 用从第二层比特流获得的层间预测信息并使用第一层重建图像中的与在第二层中将被重 建的当前块相应的第一层参考块，对被确定为预定分区模式和预测模式的第二层当前块进 行重建；亮度补偿确定器，用于对处于第二层当前块不被划分的分区模式的第二层当前块 确定是否执行亮度补偿，其中，第二层解码器根据是否执行亮度补偿来对第二层当前块的 亮度进行补偿，并对包括亮度被补偿的第二层当前块的第二层图像进行重建。
[0053] 根据本发明的实施例的一方面，一种层间视频编码设备包括：第一层编码器，用于 产生第一层比特流，其中，第一层比特流包括通过对第一层图像进行编码而产生的编码信 息；第二层编码器，用于根据预定分区模式和预测模式，通过使用第一层重建图像之中的 与将被重建的第二层当前块相应的第一层参考块，对第二层当前块进行重建；亮度补偿确 定器，用于对处于第二层当前块不被划分的分区模式的第二层当前块确定是否执行亮度补 偿，其中，第二层编码器产生第二层比特流，其中，第二层比特流包括根据是否执行亮度补 偿而确定亮度的第二层当前块与第一层参考块之间的层间预测信息。
[0054] 根据本发明的实施例的另一方面，提供一种记录有用于执行所述方法的计算机程 序的非暂时性计算机可读记录介质。
【具体实施方式】
[0055] 以下，将参照图la至图6描述根据各种实施例的基于块特征确定是否执行亮度补 偿的层间视频编码方法和层间视频解码方法。将参照图7至图19描述可应用到层间视频 编码方法和层间视频解码方法的根据各种实施例的基于具有树结构的编码单元的视频编 码方法和视频解码方法。另外，将参照图20至图26描述视频编码方法和视频解码方法应 用到的各种实施例。
[0056] 以下，"图像"可以指静止图像或视频的运动图像，或者视频本身。
[0057] 以下，作为被分配到图像的采样位置的数据的"样点"可表示作为处理目标的数 据。例如，空间区的图像中的像素可以是样点。
[0058] 现在将参照图la至图7描述根据实施例的层间视频编码设备和方法以及层间视 频解码设备和方法。
[0059] 图la是根据各种实施例的层间视频编码设备10的框图。图lb是根据各种实施 例的层间视频编码方法的流程图。
[0060] 根据各种实施例的层间视频编码设备10可包括第一层编码器12、亮度补偿确定 器14和第二层编码器16。亮度补偿确定器14可被包括在第二层编码器16中。亮度补偿 确定器14可位于第二层编码器16的外部。
[0061] 根据各种实施例的层间视频编码设备10可根据可伸缩视频编码针对每个层对多 个图像序列进行分类和编码，并可输出包括针对每个层编码的数据的单独的流。层间视频 编码设备10可根据不同的层对第一层图像序列和第二层图像序列进行编码。
[0062] 第一层编码器12可对第一层图像进行编码，并输出包括第一层图像的编码数据 的第一层流。
[0063] 第二层编码器16可对第二层图像进行编码，并输出包括第二层图像的编码数据 的第二层流。
[0064] 例如，根据基于空间可伸缩性的可伸缩视频编码，低分辨率图像可被编码为第一 层图像，高分辨率图像可被编码为第二层图像。第一层图像的编码结果可在第一层流中被 输出。第二层图像的编码结果可在第二层流中被输出。
[0065] 作为另一示例，可根据可伸缩视频编码对多视点视频进行编码。在这种情况下，中 间视点图像可被编码为第一层图像，左视点图像和右视点图像可被编码为参考第一层图像 的第二层图像。可选地，当层间视频编码设备10允许三层或更多层（诸如第一层、第二层 和第三层）时，中间视点图像可被编码为第一层图像，左视点图像可被编码为第二层图像， 右视点图像可被编码为第三层图像。然而，本发明不必要受限于此。中间视点图像、左视点 图像和右视点图像被编码和参考的层可被改变。
[0066] 作为另一示例，可根据基于时间可伸缩性的时间分层预测来执行可伸缩视频编 码。可输出包括通过对基本帧率的图像进行编码而产生的编码信息的第一层流。时间级可 针对每个帧率被分类并可在层中被分别编码。可通过进一步参照基本帧率的图像对高帧率 的图像进行编码来输出包括高速帧率的编码信息的第二层流。
[0067] 可对第一层和多个第二层执行可伸缩视频编码。在存在三个或更多个第二层的 情况下，可对第一层图像、第一第二层图像、第二第二层图像、…、第K第二层图像进行编 码。因此，第一层图像的编码结果可在第一层流中被输出，第一第二层图像、第二第二层图 像、…、第K第二层图像的编码结果可分别在第一第二层流、第二第二层流、…、第K第二 层流中被输出。
[0068] 根据各种实施例的层间视频编码设备10可通过参考单个层的图像来执行对当前 图像进行预测的帧间预测。通过帧间预测可产生指示当前图像和参考图像之间的运动信息 的运动矢量以及当前图像和参考图像之间的残差。
[0069] 层间视频编码设备10可通过参考第一层图像的预测信息来执行对第二层图像的 预测信息进行预测的层间预测。
[0070] 当根据实施例的层间视频编码设备10允许三层或更多层（诸如第一层、第二层、 第三层等）时，层间视频编码设备10可根据多层预测结构执行第一层图像和第三层图像之 间的层间预测以及第二层图像和第三层图像之间的层间预测。
[0071] 通过层间预测可产生当前图像和不同层的参考图像之间的位置差分量以及当前 图像和不同层的参考图像之间的残差。
[0072] 稍后将参照图3详细描述层间预测结构。
[0073] 根据各种实施例的层间视频编码设备10根据每个层针对各个块对每个视频图像 进行编码。块可具有正方形形状、矩形形状或任意几何形状，并且不限于具有预定尺寸的数 据单元。块可以是根据树结构的编码单元之中的最大编码单元、编码单元、预测单元、变换 单元等。包括具有树结构的编码单元的最大编码单元被不同地称为编码块单元、块树、根块 树、编码树、编码根或树干。现在将参照图8至图20描述基于具有树结构的编码单元的视 频编码和解码方法。
[0074] 可基于编码单元、预测单元或变换单元的数据单元执行帧间预测和层间预测。
[0075] 根据各种示例性实施例的第一层编码器12可对第一层图像执行包括帧间预测或 帧内预测的源编码操作以产生符号数据。符号数据表示每个编码参考的样值和残差的样 值。
[0076] 例如，第一层编码器12可按照第一层图像的数据单元对样点执行帧间预测或帧 内预测、变换和量化，产生符号数据，对符号数据执行熵编码，并产生第一层流。
[0077] 第二层编码器16可基于具有树结构的编码单元对第二层图像进行编码。第二层 编码器16可按照第二层图像的数据单元对样点执行帧间/帧内预测、变换和量化，产生符 号数据，对符号数据执行熵编码，并产生第二层流。
[0078] 根据各种实施例的第二层编码器16可通过使用第一层图像的预测信息执行对第 二层图像进行预测的层间预测。为了通过层间预测结构对第二层图像序列之中的第二层原 始图像进行编码，第二层编码器16可通过使用第一层重建图像的预测信息确定第二层当 前图像的预测信息，并基于确定的预测信息产生第二层预测图像以对第二层原始图像和第 二层预测图像之间的预测误差进行编码。
[0079] 第二层编码器16可针对每个块（诸如编码单元或预测单元）对第二层图像执行 层间预测，并确定第一层图像之中的将由第二层图像的块参考的块。例如，可确定第一层图 像之中的位置与第二层图像中的当前块的位置相应的重建块。第二层编码器16可通过使 用与第二层块相应的第一层重建块来确定第二层预测块。
[0080] 第二层编码器16可将通过使用第一层重建块确定的第二层预测块用作对第二层 原始块进行层间预测的参考图像。第二层编码器16可使用第一层重建图像，对第二层预测 块的样值和第二层原始块的样值之间的误差（即，根据层间预测的残差）执行熵编码。
[0081] 如上所述，层间视频编码设备10可通过层间预测结构参照第一层重建图像来对 当前层图像序列进行编码。然而，根据各种实施例的层间视频编码设备10可在不参考不同 层样点的情况下，根据单层预测结构对第二层图像序列进行编码。因此，不限于第二层编码 器16仅执行层间预测以对第二层图像序列进行编码的解释。
[0082] 如上所述，当层间视频编码设备10对多视点视频进行编码时，第一层编码器12可 对第一视点视频进行编码，第二层编码器16可对第二视点视频进行编码。针对每个视点的 视频可通过不同的相机被捕捉，或者可使用不同的镜头被获得。由于针对每个视点的捕捉 角度、照明或成像工具（相机、镜头等）的特征可以是不同的，因此可能发生针对每个视点 获得的视频之间的亮度不同的现象。这样的亮度失配现象可能与针对每个视点的视频之间 的样值差有关。
[0083] 如果针对每个视点的视频之间的亮度不同，则会因为层间预测误差量的进一步增 大而使编码效率降低。因此，考虑到视点之间的亮度不一致，层间视频编码设备10的亮度 补偿确定器14可对每个视点的视频的亮度差进行补偿并编码。例如，可对由第一层编码 器12编码的第一视点图像和由第二层编码器16编码的第二视点图像之间的亮度差进行编 码。由于第二视点图像相对于第一视点图像的亮度差被编码，因此当第二层编码器16对第 二层视点视频进行编码时可对亮度进行补偿。
[0084] 根据实施例，预定参数可被用于对第一层块和第二层块之间的亮度差进行补偿。 例如，如下面的等式1所示，缩放因子a和偏移值b可被用于通过对与不同层相应的当前块 的像素P的亮度进行补偿来获得结果P'。
[0085] [等式 1]
[0086] P' = aXP+b
[0087] 用于以块为单位对亮度差进行补偿的参数可通过被包括在比特流中而被发送，或 者可通过利用第二层当前块的周围像素值和与该当前块相应的第一层重建块的周围像素 值而被推导出。
[0088] 同时，由于在层间预测结构中，在层之间预测残差，因此，对层之间的亮度差进行 预测的编码操作会增加算术运算量。因此，根据各种实施例的亮度补偿确定器14可考虑预 定数据单元（诸如当前图像的条带或块）的特征而确定是否执行亮度补偿。
[0089] 下面将参照图lb描述考虑亮度的补偿的层间视频编码设备10的详细操作。
[0090] 图lb是根据各种实施例的层间视频编码方法的流程图。
[0091] 在操作11，第一层编码器12可对第一层图像进行编码，并产生包括产生的编码信 息的样值的第一层比特流。
[0092] 在操作13,第二层编码器16可对第二层图像进行编码，并重建被确定是预定分区 模式和预测模式的第二层当前块，以产生包括产生的编码信息的样值的第二层比特流。也 就是说，第二层编码器16可根据预定分区模式和预测模式，使用第一层重建图像之中的与 将被重建的第二层当前块相应的第一层参考块，对第二层当前块进行重建。这可以解释为 如果层间视频编码设备10对多视点视频进行编码，则第一层图像与第一视点图像相应，第 二层图像与第二视点图像相应。第一层编码器12和第二层编码器16可将每个图像划分为 块，并针对各个块对每个图像进行编码。
[0093] 在操作15,亮度补偿确定器14可对处于第二层当前块不被划分的分区模式的第 二层当前块确定是否执行亮度补偿。在这点上，第二层当前块不被划分的分区模式是指在 当前块的尺寸是2NX2N时当前块的分区模式是2NX2N分区模式。
[0094] 在操作17,第二层编码器16可产生第二层比特流，其中，第二层比特流包括根据 是否执行亮度补偿而确定亮度的第二层当前块与第一层参考块之间的层间预测信息。
[0095] 例如，第二层编码器16可产生这样的第二层流：该第二层流包括针对第二层当前 块不被划分的分区模式和除了帧内预测模式之外的预测模式的第二层重建块的分区模式 信息、预测模式信息和亮度补偿信息。第二层编码器16可执行对第一层图像和第二层图像 之间的误差进行编码的层间预测，因此第二层图像的块（第二层块）和第一层图像之中的 与第二层图像的块相应的参考块（第一层参考块）之间的残差可被编码。因此，第二层比 特流可包括指示层间编码方法的各条层间预测信息以及层间残差。
[0096] 现在将更详细地描述操作13和15。
[0097] 第二层编码器16可确定指示第二层