用于预测用于层间视频解码的视差矢量的方法以及编码方法和设备的制造方法
【技术领域】
[0001] 本发明设及一种层间视频编码和解码方法，更具体地讲，设及一种确定关于层间 视频编码方法和解码方法的视差矢量的方法。
【背景技术】
[0002] 随着用于再现和存储高分辨率或高质量视频内容的硬件正被开发和提供，对于用 于有效地对高分辨率或高质量视频内容进行编码或解码的视频编解码器的需求正在增加。 在传统的视频编解码器中，基于具有预定尺寸的编码单元，根据受限的编码方法来对视频 进行编码。
[0003] 空间域的图像数据通过频率变换被变换为频域中的系数。根据视频编解码器，图 像被划分为具有预定尺寸的块，并且对每个块执行离散余弦变换值CT)，并W块为单位对频 率系数进行编码，从而快速计算频率变换。与空间域中的图像数据相比，频域的系数容易被 压缩。具体地，由于经由视频编解码器的帖间预测或帖内预测根据预测误差表示空间域的 图像像素值，因此当对预测误差执行频率变换时，大量数据可被变换为0。根据视频编解码 器，通过用小量数据代替连续并重复产生的数据，可减少数据量。
[0004] 多层视频编解码器对第一层视频和各种第二层视频进行编码和解码，W去除第一 层视频和第二层视频的时间和空间冗余W及层之间的冗余，由此减少第一层视频和第二层 视频的数据量。
【发明内容】
阳00引技术问题
[0006] 提供了一种能够在不从当前层块的外围块来预测视差矢量时通过使用默认视差 矢量和参考层深度图确定视差矢量来提高编码性能和精确度的层间视频编码方法和解码 方法。
[0007] 技术方案
[0008] 另外的方面将在W下描述中被阐述，还有部分从描述中将是清楚的，或者可通过 呈现的实施例的实践而被获知。
[0009] 根据本发明的实施例的一方面，一种层间视频解码方法包括：基于从比特流获取 的编码信息来重构第一层图像和第一层深度图；确定视差矢量是否是使用第二层当前块的 外围块可预测的；当不使用所述外围块来预测视差矢量时，使用默认视差矢量和第一层深 度图来确定第二层当前块的视差矢量。
[0010] 确定视差矢量的步骤可包括：通过使用默认视差矢量和第一层深度图来确定所确 定的视差矢量的水平分量值；将所确定的视差矢量的垂直分量值确定为默认视差矢量的垂 直分量值。
[0011] 确定视差矢量的步骤可包括：将所确定的视差矢量的水平分量值和垂直分量值之 中的与第一层深度图无关的分量的值设置为0。
[0012] 确定视差矢量的步骤可包括：获取第一层深度图之中的与默认视差矢量相应的参 考块的角点深度值；使用获取的角点深度值中的至少一个来确定第二层当前块的视差矢 量。
[0013] 确定视差矢量是否是可预测的步骤可包括：根据预定扫描顺序从所述外围块获取 视差矢量；当从所述外围块获取了视差矢量时，确定视差矢量是可预测的。
[0014] 确定视差矢量是否是可预测的步骤可包括：当与第二层当前块相应的第二层深度 图已被重构时，确定视差矢量是可预测的。
[0015] 确定视差矢量是否是可预测的步骤可包括：当从所述外围块获取的视差矢量W第 二层当前块为基准指示第一层图像的外部时，确定视差矢量是不可预测的。
[0016] 默认视差矢量可W是（0,0)。
[0017] 默认视差矢量可W是使用第一层深度图确定的全局视差矢量。
[0018] 默认视差矢量可W是使用第一层深度图的比特深度的中间值来确定的。
[0019] 根据本发明的实施例的另一方面，一种层间视频编码方法包括：产生包括通过对 第一层图像和第一层深度图进行编码而产生的编码信息的比特流；确定视差矢量是否是使 用第二层当前块的外围块可预测的；当不使用所述外围块来预测视差矢量时，通过使用默 认视差矢量和第一层深度图来确定第二层当前块的视差矢量。
[0020] 确定第二层当前块的视差矢量的步骤可包括：通过使用默认视差矢量和第一层深 度图来确定所确定的视差矢量的水平分量值；将所确定的视差矢量的垂直分量值确定为默 认视差矢量的垂直分量值。
[0021] 确定第二层当前块的视差矢量的步骤可包括：将所确定的视差矢量的水平分量值 和垂直分量值之中的与第一层深度图无关的分量的值设置为0。
[0022] 确定第二层当前块的视差矢量的步骤可包括：获取第一层深度图之中的与默认视 差矢量相应的参考块的角点深度值；使用获取的角点深度值中的至少一个来确定第二层当 前块的视差矢量。
[0023] 确定视差矢量是否是可预测的步骤可包括：根据预定扫描顺序从所述外围块获取 视差矢量；当从所述外围块获取了视差矢量时，确定视差矢量是可预测的。
[0024] 确定视差矢量是否是可预测的步骤可包括：当与第二层当前块相应的第二层深度 图已被重构时，确定视差矢量是可预测的。
[0025] 确定视差矢量是否是可预测的步骤可包括：当从所述外围块获取的视差矢量W第 二层当前块为基准指示第一层图像的外部时，确定视差矢量是不可预测的。
[00%] 默认视差矢量可W是（0,0)。
[0027] 默认视差矢量可W是使用第一层深度图确定的全局视差矢量。
[0028] 默认视差矢量可W是使用第一层深度图的比特深度的中间值来确定的。
[0029] 根据本发明的实施例的另一方面，一种层间视频解码设备包括：第一层解码器，用 于基于从比特流获取的编码信息来重构第一层图像和第一层深度图；视差确定器，用于确 定是否使用第二层当前块的外围块来预测视差矢量，并且当不使用所述外围块来预测视差 矢量时，使用默认视差矢量和第一层深度图来确定第二层当前块的视差矢量。
[0030] 根据本发明的实施例的另一方面，一种层间视频编码方设备包括：第一层编码器， 用于产生包括通过对第一层图像和第一层深度图进行编码而产生的编码信息的比特流；视 差确定器，用于确定是否使用第二层当前块的外围块来预测视差矢量，当不使用所述外围 块来预测视差矢量时，通过使用默认视差矢量和第一层深度图来确定第二层当前块的视差 矢量。
[0031] 根据本发明的实施例的另一方面，提供了一种其上记录有用于执行层间视频编码 方法的计算机程序的非暂时性计算机可读记录介质。
[0032] 本发明的有益效果
[0033] 根据本发明的实施例，可提供一种能够提高编码性能和精确度的层间视频编码方 法和解码方法。
【附图说明】
[0034] 从W下结合附图对实施例的描述中，运些和/或其它方面将变得清楚并更易于理 解，其中：
[0035] 图Ia是根据各种实施例的层间视频编码设备的框图。
[0036] 图化是根据各种实施例的层间视频编码方法的流程图。
[0037] 图2a是根据各种实施例的层间视频解码设备的框图。
[003引图化是根据各种实施例的层间视频解码方法的流程图。
[0039] 图3示出根据实施例的层间预测结构。 W40] 图4示出根据实施例的使用外围块来预测视差矢量的示例。
[0041] 图5是根据实施例的使用第一层深度图来确定视差矢量的流程图。
[0042] 图6示出根据实施例的使用默认视差矢量和第一层深度图来确定视差矢量的示 例。
[0043] 图7示出根据实施例的视差矢量不可预测的示例。
[0044] 图8是根据实施例的基于根据树结构的编码单元的视频编码设备的框图。
[0045] 题9是根据实施例的基于根据树结构的编码单元的视频解码设备的框图。
[0046] 图10是用于描述根据实施例的编码单元的概念的示图。
[0047] 图11是根据实施例的基于编码单元的图像编码器的框图。 W48] 图12是根据实施例的基于编码单元的图像解码器的框图。 W例图13是示出根据实施例的较深层编码单元W及分区的示图。
[0050] 图14是用于描述根据实施例的编码单元与变换单元之间的关系的示图。
[0051] 图15是用于描述根据实施例的编码单元的编码信息的示图。
[0052] 图16是根据实施例的较深层编码单元的示图。
[0053] 图17至图19是用于描述根据实施例的编码单元、预测单元和变换单元之间的关 系的不图。
[0054] 图20是用于描述根据表1的编码模式信息的编码单元、预测单元和变换单元之间 的关系的示图。
[0055] 图21是根据实施例的存储有程序的盘的物理结构的示图。
[0056] 图22是用于通过使用盘来记录和读取程序的盘驱动器的示图。
[0057] 图23是用于提供内容分发服务的内容供应系统的整体结构的示图。
[0058] 图24和图25分别是根据实施例的应用了视频编码方法和视频解码方法的移动电 话的外部结构和内部结构的示图。
[0059] 图26是根据实施例的应用了通信系统的数字广播系统的示图。
[0060] 图27是示出根据实施例的使用视频编码设备和视频解码设备的云计算系统的网 络结构的示图。
【具体实施方式】
[0061] 在下文中，将参照图Ia至图7描述根据各种实施例的确定帖间预测候选列表的层 间视频编码方法和层间视频解码方法。将参照图8至图20描述适用于层间视频编码方法 和层间视频解码方法的根据各种实施例的基于具有树结构的编码单元的视频编码方法和 视频解码方法。将参照图21至图27描述所述视频编码方法和所述视频解码方法适用的各 种实施例。
[0062] 在下文中，"图像"可表示视频的静止图像或运动图像，或表示视频本身。
[0063] 在下文中样本"是分配给图像的采样位置的数据，并可指示作为处理目标的数 据。例如，空间域的图像中的像素可W是样本。 W64] 现在将参照图Ia至图7描述根据实施例的层间视频编码设备和方法W及层间视 频解码设备和方法。
[0065] 图Ia是根据各种实施例的层间视频编码设备10的框图。图化是根据各种实施 例的层间视频编码方法的流程图。
[0066] 根据各种实施例的层间视频编码设备10包括第一层编码器12和第二层编码器 16。第一层编码器16可包括视差矢量确定器14。视差矢量确定器14可位于第二层编码器 16的外部。
[0067] 根据各种实施例的层间视频编码设备10可根据可伸缩视频编码针对每个层对多 个图像序列进行分类和编码，并可输出包括针对每个层编码的数据的单独的流。层间视频 编码设备10可分别根据不同的层对第一层图像序列和第二层图像序列进行编码。
[0068] 第一层编码器12可对第一层图像进行编码，并可输出包括第一层图像的编码数 据的第一层流。
[0069] 第二层编码器16可对第二层图像进行编码，并可输出包括第二层图像的编码数 据的第二层流。
[0070] 例如，根据基于空间可伸缩性的可伸缩视频编码，低分辨率图像可被编码为第一 层图像，高分辨率图像可被编码为第二层图像。第一层图像的编码结果可在第一层流中被 输出。第二层图像的编码结果可在第二层流中被输出。
[0071] 作为另一示例，多视点视频可根据可伸缩编码而被编码。在运种情况下，中间视点 图像可被编码为第一层图像，左视点图像和右视点图像可被编码为参考第一层图像的第二 层图像。可选择地，当层间视频编码设备10允许=层或更多层（诸如第一层、第二层和第 =层）时，中屯、视点图像可被编码为第一层图像，左视点图像可被编码为第二层图像，右视 点图像可被编码为第=层图像。然而，本发明不必限于此。中屯、视点图像、左视点图像和右 视点图像被编码和参考的层可被改变。
[0072] 作为另一示例，可伸缩视频编码可根据基于时间可伸缩性的时间分层预测而被执 行。包括通过对基本帖率的图像进行编码而产生的编码信息的第一层流可被输出。可对每 个帖率分类时间级别，并可在多个层中对所述时间级别分别编码。通过参考基本帖率对高 帖率的图像进行进一步编码，包括高速帖率的编码信息的第二层流可被输出。
[0073] 可对第一层W及多个第二层执行可伸缩视频编码。在存在=个或更多个第二层的 情况下，第一层图像、第一第二层图像、第二第二层图像.....第K第二层图像可被编码。因 此，第一层图像的编码结果可在第一层流中被输出，第一第二层图像的编码结果、第二第二 层图像的编码结果.....第K第二层图像的编码结果可分别在第一第二层流、第二第二层 流.....第K第二层流中被输出。
[0074] 根据各种实施例的层间视频编码设备10可通过参考单个层的图像执行用于预测 当前图像的帖间预巧U。可通过帖间预测产生指示当前图像和参考图像之间的运动信息的运 动矢量W及当前图像和参考图像之间的残差。
[00巧]层间视频编码设备10可通过参考第一层图像的预测信息执行用于预测第二层图 像的预测信息的层间预测。
[0076] 当根据实施例的层间视频编码设备10允许=层或更多个层（诸如第一层、第二 层、第=层等），层间视频编码设备10可根据多层预测结构在第一层图像和第=层图像之 间执行层间预测，并在第二层图像和第=层图像之间执行层间预测。
[0077] 当前图像和不同层的参考图像之间的位置差分量W及当前图像和所述不同层的 参考图像之间的残差可通过层间预测来产生。
[0078] 稍后将参照图3详细描述层间预测结构。
[0079] 根据各种实施例的层间视频编码设备10根据每层对针对各个块的每个视频图像 进行编码。块可具有正方形形状、矩形形状或任意几何形状，并且不限于具有预定尺寸的数 据单元。块可W是根据树结构的编码单元之中的最大编码单元、编码单元、预测单元、变换 单元等。包括具有树结构的编码单元的最大编码单元被各种地称为编码块单元、块数、根块 树、编码树、编码根或树干。现在将参照图8至图20描述基于具有树结构的编码单元的视 频编码和解码。
[0080] 可基于编码单元、预测单元或变换单元的数据单元执行帖间预测和层间预测。
[0081] 根据各种示例性实施例的第一层编码器12可对第一层图像执行包括帖间预测或 帖内预测的源编码操作W产生符号数据。符号数据表示每个编码参数的样值W及残差的样 值。
[0082] 例如，第一层编码器12可对第一层图像的数据单元中的样本执行帖间预测或帖 内预测、变换和量化，产生符号数据，对符号数据执行赌编码，并产生第一层流。
[0083] 第二层编码器16可基于具有树结构的编码单元对第二层图像进行编码。第二层 编码器16可对第二层图像的数据单元中的样本执行帖间/帖内预测、变换和量化，产生符 号数据，对符号数据执行赌编码并产生第二层流。
[0084] 根据各种实施例的第二层编码器16可通过使用第一层图像的预测信息来执行预 测第二层图像的层间预测。第二编码器16可通过使用第一层重构图像的预测信息确定第 二层当前图像的预测信息，并基于确定的预测信息产生第二层图像W对第二层原始图像和 第二层预测图像之间的预测误差进行编码，从而通过层间预测结构对第二层图像序列之中 的第二层原始图像进行编码。
[00化]第二层编码器16可针对每个块（诸如编码单元或预测单元）对第二层图像执行 层间预测，并确定第一层图像之中的将由第二层图像的块所参考的块。例如，第一层图像之 中的位置与第二层图像的当前块图像的位置对应的重构块可被确定。第二层编码器16可 通过使用与第二层块对应的第一层重构块来确定第二层预测块。
[0086] 第二层编码器16可将通过使用第一层重构块而确定的第二层预测块用作用于第 二层原始块的层间预测的参考图像。第二层编码器16可使用第一层重构图像对第二层预 测块的样值和第二层原始块的样值之间的误差（即，根据层间预测的残差）执行变换、量化 和赌编码。
[0087] 同时，当层间视频编码设备10对多视点视频进行编码时，将被编码的第一层图像 可W是第一视点视频，将被编码的第二层图像可W是第二视点视频。运样的多视点图像可 被同时获取，因此针对每个视点的图像会具有高相似度。
[0088] 然而，多视点图像可能根据针对每个视点的捕捉角度、照度或成像工具（相机、镜 头等）的不同特性而具有视差。因此，运样的视差可被成呈现为视差矢量，并且被用于通过 使用视差矢量对不同视点图像之中的与当前将被编码的块最相似的区域进行编码的视差 补偿预测可被执行，从而提高编码效率。
[0089] 层间视频编码设备10可确定用于层间预测的视差矢量，并通过比特流将所述视 差矢量作为可区分的信息发送到解码设备。
[0090] 可选择地，层间视频编码设备10可从不同类型的编码信息预测（或推导）视差矢 量，W减少针对每个预测单元发送的数据量。例如，可从当前重构的块的外围块预测视差矢 量。如果不能从外围块预测出视差矢量，则视差矢量可被设置为默认视差矢量（〇,〇)。
[0091] 然而，在当前块的视差矢量未被预测出时，将默认矢量设置为化0)可能造成在 大多数多视点图像中不考虑视差矢量的发生的问题。
[0092] 因此，如果未从外围块预测出视差矢量，则根据实施例的层间视频编码设备10可 通过利用参考层深度图来确定视差矢量，从而提高编码性能和预测精确度。
[0093] 稍后将参照图4至图7详细描述根据实施例的层间视频编码设备10确定视差矢 量的方法。
[0094] 层间视频编码设备10可使用第一层重构图像对第二层预测块的样值和第二层原 始块的样值之间的误差（即，根据层间预测的残差）执行变换、量化和赌编码。还可对预测 信息之间的误差执行赌编码。
[0095] 如上所述，层间视频编码设备10可通过层间预测结构参考第一层重构图像来对 当前层图像序列进行编码。然而，根据各种实施例的层间视频编码设备10可在不参考不同 层样本的情况下根据单层预测结构对第二层图像序列进行编码。因此，不限于层间视频编 码设备10仅执行层间预测结构的层间预测W对第二层图像序列进行编码的理解。
[0096] 将参照图化详细描述确定用于层间预测的视差矢量的层间视频编码设备10的详 细操作。在下文中，第一层图像可指参考视点图像，第二层图像可指当前编码的视点图像。
[0097] 图化是根据各种实施例的层间视频编码方法的流程图。
[0098] 在操作11，根据实施例的第一层编码器12可产生包括通过对第一层图像和第一 层深度图进行编码而产生的编码信息的比特流。在运一点上，第一层深度图可针对与第一 层深度图相应的层彩色图像的预定像素来存储相机和对象之间的距离信息。因此，第一层 深度图可用于提供通过使用多视点视频编码对自由视点显示器中的少量视点图像的虚拟 视点进行合成来提供各种视点图像的方法。
[0099] 在操作13,根据实施例的视差矢量确定器14可确定是否可使用第二层当前块的 外围块来预测视差矢量。
[0100] 例如，视差矢量确定器14可根据预定扫描顺序（例如，Z字扫描顺序和光栅扫描 顺序）从第二层当前块的外围块获取视差矢量，并且当从外围块获取到视差矢量时，使用 获取的视差矢量来预测当前块的视差矢量。将参照图4详细描述从第二层当前块的外围块 获取视差矢量的方法。因此，当从外围块获取到视差矢量时，视差矢量确定器14可确定视 差矢量是可预测的。 阳101] 然而，当从外围块获取的视差矢量W第二层当前块为基准指示第一层图像的外部 时，视差矢量确定器14确定视差矢量是不可预测的。 阳102] 同时，当与第二层当前块对应的第二层深度图在解码端可用时，视差矢量确定器 14可确定视差矢量是可预测的。由于对象和视差的距离彼此成反比，因此与第二层当前块 对应的第二层深度图可被用于预测每个像素的视差矢量。 阳103] 在操作15,根据实施例的视差矢量确定器14可使用默认视差矢量和第一层深度 图来确定第二层当前块的视差矢量。
[0104] 视差矢量确定器14可WW第二层当前块的位置为基准确定第一层深度图之中的 与默认视差矢量对应的共同定位参考块，并获取所