确定的第一层深度图之中的共同定位参 考块中的角点（corner)深度值。角点深度值之中的最大值可被转换为视差矢量并被确定 为第二层当前块的视差矢量。
[01化]在运一点上，默认视差矢量可被确定为（0,0)。可选择地，使用第一层深度图确定 的全局视差矢量可被确定为默认视差矢量。可使用第一层深度图的比特深度的中间值来确 定全局视差矢量。
[0106] 同时，视差矢量确定器14可将与确定的视差矢量的水平分量和垂直分量之中的 与第一层深度图无关的分量的值设置为0。例如，由于第二层当前块W及与第二层当前块对 应的第一层深度图在垂直分量上没有关系，因此视差矢量确定器14可使用默认视差矢量 和第一层深度图来确定视差矢量的水平分量的值，并将视差矢量的垂直分量的值确定为0。 阳107] 根据各种实施例的层间视频编码设备10可包括中央处理器（未示出），其中，所述 中央处理器通常控制第一层编码器12、视差矢量确定器14、和第二层编码器16。可选择地， 第一层编码器12、视差矢量确定器14、和第二层编码器16可通过它们各自的处理器（未示 出）进行操作，并且层间视频编码设备10通常可根据运些处理器（未示出）的交互来进行 操作。可选择地，第一层编码器12、视差矢量确定器14、和第二层编码器16可根据层间视 频编码设备10的外部处理器（未示出）的控制而被控制。 阳10引层间视频编码设备10可包括存储有第一层编码器12、视差矢量确定器14和第二 层编码器16的输入数据和输出数据的一个或更多个数据存储单元（未示出）。层间视频编 码设备10可包括存储器控制单元（未示出），其中，存储器控制单元观察数据存储单元（未 示出）的数据输入和输出。
[0109] 层间视频编码设备10可与内部视频编码处理器或外部视频编码处理器相联系地 进行操作W输出视频编码结果，从而执行包括变换的视频编码操作。除了单独的处理器之 夕F，层间视频编码设备10的内部视频编码处理器还可由中央处理器或图形处理器来实现。 [0110] 图2a是根据各种实施例的层间视频解码设备20的框图。 阳111] 根据各种实施例的层间视频解码设备20包括第一层解码器22、视差矢量确定器 24、和第二层解码器26。视差矢量确定器24可包括在第二层解码器26中。根据另一实施 例的视差矢量确定器24可位于第二层解码器26的外部。
[0112] 根据各种实施例的层间视频解码设备20可根据可伸缩编码接收针对每个层的比 特流。由层间视频解码设备20接收的比特流的层数不受限制。然而，为了便于解释，将详 细描述层间视频解码设备20的第一层解码器22接收第一层流并对第一层流进行解码，第 二层解码器26接收第二层流并对第二层流进行解码的实施例。
[0113] 例如，基于空间可伸缩性的层间视频解码设备20可接收根据不同层对不同分辨 率的图像序列进行编码的流。可通过对第一层流进行解码来重构低分辨率图像序列，可通 过对第二层流进行解码来重构高分辨率图像序列。
[0114] 作为另一示例，可根据可伸缩视频编码对多视点视频进行解码。当在多个层中接 收到立体视频流时，第一层流可被解码W重构左视点图像。第二层流可被进一步解码为第 一层流W重构右视点图像。
[0115] 可选择地，当在多个层中接收到多视点视频流时，第一层流可被解码W重构中屯、 视点图像。第二层流可被进一步解码为第一层流W重构左视点图像。第=层流可被进一步 解码为第一层流W重构右视点图像。
[0116] 作为另一示例，基于时间可伸缩性的可伸缩视频编码可被执行。第一层流可被解 码W重构基本帖率图像。第二层流可被进一步解码为第一层流W重构高速帖率图像。
[0117] 在存在=个或更多个第二层的情况下，第一层图像可从第一层流被重构。如果第 二层流通过参考第一层重构图像被进一步解码，则第二层图像可被进一步重构。如果第K 层流通过参考第二层重构图像被进一步解码，则第K层图像可被进一步重构。
[0118] 层间视频解码设备20可从第一层流和第二层流获取第一层图像和第二层图像的 编码数据，并还可获取通过帖间预测产生的运动矢量W及通过层间预测产生的预测信息。
[0119] 例如，层间视频解码设备20可对每层的帖间预测数据进行解码，并可对多层之间 的层间预测数据进行解码。可基于编码单元或预测单元通过运动补偿和层间解码来执行重 构。
[0120] 针对每个层流，通过参考通过对同一层的帖间预测而预测出的重构图像来执行针 对当前图像的运动补偿，因此图像可被重构。运动补偿意味着将通过使用当前图像的运动 矢量而确定的参考图像与当前图像的残差进行合成并重构当前图像的重构图像的操作。 阳121] 层间视频解码设备20可参考第一层图像的预测信息执行层间解码，W对通过层 间预测而预测出的第二层图像进行解码。层间解码是指使用不同层的参考块的预测信息来 对当前图像的预测信息进行重构W便确定当前图像的预测信息的操作。
[0122] 根据实施例的层间视频解码设备20可执行用于重构参考第二层图像预测出的第 =层图像的层间解码。稍后将参照图3详细描述层间预测结构。
[0123] 然而，根据各种实施例的第二层解码器26可在不参考第一层图像序列的情况下 对第二层流进行解码。因此，不限于第二层解码器26仅执行层间预测W对第二层图像序列 进行解码的理解。
[0124] 层间视频解码设备20针对每个块对视频的每个图像进行解码。根据示例性实施 例的块可包括根据树结构的编码单元之中的最大编码单元、编码单元、预测单元、变换单元 等。
[01巧]第一层解码器22可通过使用解析出的第一层图像的编码符号来对第一层图像进 行解码。如果层间视频解码设备20基于具有树结构的编码单元来接收编码的流，则第一层 解码器22可针对第一层流的每个最大编码单元基于具有树结构的编码单元来执行解码。 [01%] 第一层解码器22可针对每个最大编码单元执行赌编码，并可获取编码信息和编 码的数据。第一层解码器22可对从流获取的编码的数据执行反量化和逆变换W重构残差。 根据另一实施例的第一层解码器22可直接接收量化的变换系数的流。图像的残差可被重 构为对量化的变换系数执行反量化和逆变换的结果。
[0127] 第一层解码器22可通确定预测图像并经由同一层图像之间的运动补偿将预测图 像和残差进行组合来重构第一层图像。
[0128] 第二层解码器26可根据层间预测结构通过使用第一层重构图像的样本来产生第 二层预测图像。第二层解码器26可对第二层流进行解码W获取根据层间预测的预测误差。 第二层解码器26可将第二层预测图像与所述预测误差进行组合，从而产生第二层重构图 像。
[0129] 第二层解码器26可使用由第一层解码器22解码出的第一层重构图像来确定第二 层预测图像。第二层解码器26可根据层间预测结构来确定第一层图像之中的由第二层图 像的诸如编码单元或预测单元的块将参考的块。也就是说，第一层图像之中的由第二层图 像的块将参考的块可被确定。例如，第一层图像之中的位置与第二层图像之中的当前块的 位置对应的重构块可被确定。第二层解码器26可使用与第二层块对应的第一层重构块来 确定第二层预测块
[0130] 第二层解码器26可将根据层间预测结构使用第一层重构块确定的第二层预测块 用作用于对第二层原始块进行层间预测的参考图像。在运种情况下，第二层解码器26可通 过将使用第一层重构图像确定的第二层预测块的样值与根据层间预测的残差进行合成来 重构第二层块。 阳131] 同时，当层间视频解码设备20对多视点视频进行解码时，将被解码的第一层图像 可W是第一视点视频，将被解码的第二层图像可W是第二视点视频。
[0132] 层间视频解码设备20可通过比特流从多视点视频获取用于层间预测的视差矢 量，或从不同类型的编码信息预测视差矢量。 阳133] 例如，可从当前重构的块的外围块预测视差矢量。如果不能从外围块预测出视差 矢量，则视差矢量可被设置为默认视差矢量（〇,〇)。
[0134] 然而，在当前块的视差矢量未被预测出时，将默认矢量设置为化0)可能造成在 大多数多视点图像中不考虑视差矢量的发生的问题。
[0135] 因此，如果未从外围块预测出视差矢量，则根据实施例的层间视频解码设备20可 通过利用参考层深度图来确定视差矢量，从而提高编码性能和预测精确度。
[0136] 稍后将参照图4至图7详细描述根据实施例的层间视频解码设备20确定视差矢 量的方法。
[0137] 同时，根据空间可伸缩视频编码，当第一层解码器22对分辨率与第二层图像的分 辨率不同的第一层图像进行重构时，第二层解码器26可对第一层重构图像进行插值，W将 第一层重构图像的尺寸重新调整为具有与第二层原始图像的分辨率相同的分辨率。经过插 值后的第一层重构图像可被确定为用于层间预测的第二层预测图像。
[0138] 因此，层间视频解码设备20的第一层解码器22可通过对第一层流进行解码来重 构第一层图像序列，第二层解码器26可通过对第二层流进行解码来重构第二层图像序列。
[0139] 同时，当上述层间视频解码设备20对多视点视频进行解码时，将被解码的第一层 图像是第一视点视频，第二层图像可W是第二视点视频。可通过不同的相机或通过不同的 镜头来捕捉针对每个视点的视频。
[0140] 在下面将参照图化详细描述确定用于层间预测的视差矢量的层间视频解码设备 20的详细操作。在下文中，第一层图像可指参考视点图像，第二层图像可指当前解码的视点 图像。 阳141] 图化是根据各种实施例的层间视频解码方法的流程图。 阳142] 在操作21，根据实施例的第一层解码器22可基于从第一比特流获取的编码信息 来重构第一层图像和第一层深度图。 阳143] 在操作23,根据实施例的视差矢量确定器24可确定是否可使用第二层当前块的 外围块来预测视差矢量。
[0144] 例如，视差矢量确定器24可根据预定扫描顺序（例如，Z字扫描顺序和光栅扫描 顺序）从第二层当前块的外围块获取视差矢量，并且当从外围块获取到视差矢量时，使用 获取的视差矢量来预测当前块的视差矢量。将参照图4详细描述从第二层当前块的外围块 获取视差矢量的方法。因此，当从外围块获取到视差矢量时，视差矢量确定器14可确定视 差矢量是可预测的。
[0145] 然而，当从外围块获取的视差矢量W第二层当前块为基准指示第一层图像的外部 时，视差矢量确定器24可确定视差矢量是不可预测的。 阳146] 作为另一示例，当与第二层当前块对应的第二层深度图已被重构并且可用时，视 差矢量确定器24可确定视差矢量是可预测的。 阳147] 在操作25,当不使用外围块来预测视差矢量时，根据实施例的视差矢量确定器24 可使用默认视差矢量和第一层深度图来确定第二层当前块的视差矢量。
[0148] 例如，视差矢量确定器24可WW第二层当前块的位置为基准确定第一层深度图 之中的与默认视差矢量对应的共同定位参考块，并获取所确定的第一层深度图之中的共同 定位参考块的角点深度值。角点深度值之中的最大值可被转换为视差矢量并被确定为第二 层当前块的视差矢量。
[0149] 在运一点上，默认视差矢量可被确定为（0,0)。可选择地，使用第一层深度图确定 的全局视差矢量可被确定为默认视差矢量。可使用第一层深度图的比特深度的中间值来确 定全局视差矢量。
[0150] 同时，视差矢量确定器24可将确定的视差矢量的水平分量和垂直分量之中的与 第一层深度图无关的分量的值设置为0。例如，由于第二层当前块和与第二层当前块对应的 第一层深度图在垂直分量上没有关系，因此视差矢量确定器24可使用默认视差矢量和第 一层深度图来确定视差矢量的水平分量的值，并将视差矢量的垂直分量的值确定为0。 阳151] 根据各种实施例的层间视频解码设备20可包括通常控制第一层解码器22、视差 矢量确定器24和第二层解码器26的中央处理器（未示出）。可选择地，第一层解码器22、 视差矢量确定器24和第二层解码器26可通过它们各自的处理器（未示出）进行操作，并 且层间视频解码设备20通常根据运些处理器（未示出）的交互来进行操作。可选择地，第 一层解码器22、视差矢量确定器24和第二层解码器26可根据层间视频解码设备20的外部 处理器（未示出）的控制而被控制。
[0152] 根据各种实施例的层间视频解码设备20可包括存储有第一层解码器22、视差矢 量确定器24和第二层解码器26的输入数据和输出数据的一个或更多个数据存储单元（未 示出）。层间视频解码设备20可包括观察数据存储单元（未示出）的数据输入和输出的存 储器控制单元（未示出）。
[0153] 根据各种实施例的层间视频解码设备20可与内部视频解码处理器或外部视频解 码处理器相联系地进行操作W输出视频解码结果，从而执行包括变换的视频解码操作。除 了单独的处理器之外，层间视频解码设备20的内部视频解码处理器还可通过中央处理器 或图形处理器来实现。
[0154] 参照图Ia至图化，当视差矢量不是从第二层块的外围块被预测时，层间视频编码 设备10和层间视频解码设备20可提供通过利用默认视差矢量和第一层深度图来确定视差 矢量的层间视频编码方法和层间视频解码方法，从而提高编码性能和精确度。
[0155] 在下面将参照图3详细描述根据各种实施例的可在视频流编码设备10中执行的 层间预测结构。
[0156] 图3示出根据实施例的层间预测结构。 阳157] 层间视频编码系统1600包括基本层编码端1610、增强层编码端1660W及基本层 编码端1610与增强层编码端1660之间的层间预测端1650。基本层编码端1610和增强层 编码端1660可包括在第一层编码器12中。
[0158] 基本层编码端1610接收针对每个图像的基本层图像序列，并对所述基本层图像 序列进行编码。增强层编码端1660接收针对每个图像的增强层图像序列，并对所述增强层 图像序列进行编码。将同时给出对基本层编码端1610和增强层编码端1660之间的相似操 作的重复描述。
[0159] 块划分器1618和1668将输入图像（低分辨率图像和高分辨率图像）划分为最 大编码单元、编码单元、预测单元、变换单元等。为了对由块划分器1618和1668输出的编 码单元进行编码，可对编码单元的每个预测单元执行帖内预测或帖间预测。根据预测单元 的预测模式是帖内预测模式还是帖间预测模式，预测切换器1648和1698可参考由运动补 偿器1640和1690输出的先前重构的图像来执行帖间预测，或者可根据通过使用由帖内预 测单元1645和1695输出的当前输入图像内的当前预测单元的邻近预测单元来执行帖内预 。通过帖间预测，可为每个预测单元产生残差信息。
[0160] 预测单元与邻近图像之间的残差信息针对编码单元的每个预测单元被输入到变 换器/量化器1620和1670。变换器/量化器1620和1670可基于编码单元的变换单元来 执行针对每个变换单元的变换和量化，并可输出经过量化的变换系数。 阳161] 缩放器/逆变换器1625和1675可对编码单元的每个变换单元的经过量化的变换 系数再次执行缩放和逆变换，W产生空间域的残差信息。当通过预测切换器1648和1698 配置了帖间模式时，残差信息与先前重构的图像或邻近预测单元进行组合，从而产生包括 当前预测单元的重构图像，并将当前重构图像存储在存储器1630和1680中。根据稍后编 码的预测单元的预测模式，当前重构图像可被传送到帖内预测单元1645和1695/运动补偿 单元1640和1690。 阳162] 具体地讲，在帖间模式下，环路滤波单元1635和1685可对存储在存储器1630和 1680中的重构图像的每个编码单元执行从去块滤波操作和样本自适应偏移（SAO)滤波操 作中选择的至少一个操作。可对编码单元、编码单元中包括的预测单元、和变换单元中的至 少一个执行去块滤波和样本自适应偏移（SAO)滤波中的至少一个滤波。 阳163] 去块滤波是用于减轻数据单元的块现象的滤波。SAO滤波是用于对通过数据编码 和解码而修改的像素值进行补偿的滤波。通过环路滤波单元1635和1685滤波的数据可针 对每个预测单元而被传送到运动补偿单元1640和1690。由运动补偿单元1640和1690W 及块划分器1618和1668输出的当前重构图像与邻近编码单元之间的残差信息可被产生， W再次对由块划分器1618和1668输出的下一次序的编码单元进行编码。
[0164] 按运种方式，上述编码方法可针对输入图像的每个编码单元被重复。
[01化]用于层间预测的增强层编码端1660可参考基本层编码端1610的存储器1630中 存储的重构图像。基本层编码端1610的编码控制器1615可控制基本层编码端1610的存 储器1630,并可将基本层编码端1610的重构图像传送到增强层解码端1660。层间预测端 1650可对基本层编码端1610的存储器1630输出的基本层重构图像执行去块滤波或SAO滤 波。当分辨率在基本层的图像和增强层的图像之间不同时，层间预测端1650可对基本层的 重构图像进行上采样，并可将该重构图像传送到增强层编码端1660。当根据增强层编码端 1660的切换器1698的控制执行了层间预测时，可参考通过层间预测端1650传送的基本层 重构图像对增强层图像执行层间预测。
[0166] 为了对图像进行编码，可设置针对编码单元、预测单元和变换单元的各种编码模 式。例如，深度或划分标记等可被设置为关于编码单元的编码模式。预测模式、分区类型、 帖内方向信息、参考列表信息等可被设置为关于预测单元的编码模式。变换深度或划分标 记等可被设置为关于变换单元的编码模式。
[0167] 基本层编码端1610可根据通过应用针对编码单元的各种深度、针对预测单元的 各种预测模式、各种分区类型、各种帖内方向、各种参考列表和针对变换单元的各种变换深 度执行编码的结果，确定具有最高编码效率的编码深度、预测模式、分区类型、帖内方向/ 参考列表、变换深度等。然而，本发明不限于由基本层编码端1610确定的编码模式。
[0168] 基本层编码端1610的编码控制器1615可控制将各种编码模式适当地应用于元件 的操作。针对增强层编码端1660的层间编码，编码控制器1615可控制增强层编码端1660 通过参考基本层编码端1610的编码结果来确定编码模式或残差信息。
[0169] 例如，增强层编码端1660可通过将基本层编码端1610的编码模式用作增强层图 像的编码模式，或通过参考基本层编码端1610的编码模式，确定用于增强层图像的编码模 式。基本层编码端1610的编码控制器1615可控制增强层编码端1660的编码控制器1655 的控制信号，使得增强层编码端1660可使用来自基本层编码端1610的编码模式的当前编 码模式，W确定当前编码模式。 阳170] 与根据图3的层间预测方法的层间编码系统1600类似，根据层间预测方法的层间 解码系统可被实现。也就是说，多层视频的层间解码系统可接收基本层比特流和增强层比 特流。层间解码系统的基本层解码端可对基本层比特流进行解码W重构基本层图像。多层 视频的层间解码系统的增强层解码端可使用基本层重构图像和解析出的编码信息来对增 强层比特流进行解码，并重构增强层图像。 阳171] 如果根据各种示例性实施例的层间视频编码设备10执行层间预测，则层间视频 解码设备20可根据上述层间解码系统来重构多层图像。
[0172] 现在将参照图4a至图7详细描述视频流编码设备10和视频流解码设备20应用 关于多视点视频的层间预测结构的示例性实施例。单个视点的视频被应用于多视点视频的 视点间预测结构中的一层，因此，视点间预测结构可被解释为层间预测结构。
[0173] 在下面将参照图4至图7描述根据各种实施例的使用参考层深度图来确定视差矢 量的层间视频编码方法和层间视频解码方法。
[0174] 图4示出根据实施例的使用外围块来预测视差矢量的示例。
[0175] 参照图4,层间视频解码设备20可根据预定扫描顺序（例如，Z字扫描和光栅扫 描）来扫描外围块，W确定当前图像30中的当前块31的视差矢量。在运一点上，被扫描的 外围块可W是在时