申请号：201380071449.0
申请日：2013年12月24日
发明名称：用于编码/解码图像的方法以及使用其的设备
技术领域
本发明涉及画面编码和解码处理以及计算机可读取介质，并更具体地，涉及向可伸缩视频编码应用多个参考层的层间画面编码/解码方法及其设备以及计算机可读取介质。
背景技术：
HD(高清晰度)广播服务在全国和全世界的最近扩展使得许多人习惯于高分辨率、高质量画面，并因此，多个组织将它们的精力投入下一代成像装置的开发。此外，对于可提供比HDTV服务提供的分辨率高四倍的分辨率的UHD(超高清晰度)服务以及HDTV服务的增长兴趣正需要用于高质量画面的压缩技术。
关于画面压缩，可采用根据时间上在前或在后的画面来预测当前画面中包括的像素值的帧间预测技术、使用当前画面中的像素信息来预测当前画面中包括的像素值的帧内预测技术、以及其中在向较不频繁码元分配较长代码的同时向较频繁码元分配较短代码的熵编码技术。
用于画面压缩的技术提供有限硬件操作环境下的恒定网络带宽，而不考虑灵活网络环境。然而，需要新压缩技术来压缩向其中带宽有时改变的网络环境应用的画面数据，并且为了这样的目的，可使用可伸缩视频编码/解码方法。
技术实现要素：
本发明提供了通过有效生成和管理包括一个或多个参考层的参考画面列表来增强编码/解码效率的画面编码/解码方法、以及使用其的设备。
根据本发明的实施例，提供了可在执行层间预测时、在生成用于运动估计和运动补偿的参考画面列表时、生成包括一个或多个参考层的参考画面列表的画面编码/解码方法、以及使用其的设备。
根据本发明的实施例，提供了可在生成包括参考层的重构画面的参考画面列表时，调整参考画面列表中的参考层的重构画面的位置、以及参考层的重构画面之间的顺序的画面编码/解码方法、以及使用其的设备。
根据本发明的实施例，一种支持多层的画面解码方法可包括：接收并解析关于整个比特流中两层中的一层是否是该两层中的另一层的参考层的层依赖性信息；在使用层间预测用于解码当前层中的当前画面的情况下，接收并解析规定通过层依赖性信息导出的参考层之中的、当前画面能够参考的画面的层的层信息；和基于层信息来解码当前画面，其中，基于层信息来解码当前画面包括：通过基于层信息来执行层间预测，生成被包括在当前画面中的当前块的预测块。
该层依赖性信息可被接收、被包括在视频参数集扩展中。
该层信息可以是关于当前画面能够参考的画面的层的ID的信息，并且该层信息可被接收、被包括在片段报头中。
该画面解码方法可进一步包括：基于层依赖性信息导出整个比特流中当前层能够参考的层的数目；和如果层的数目大于0，则接收并解析指示是否能够使用层间预测用于解码当前层中的当前画面的标志信息。
该画面解码方法可进一步包括，如果标志信息指示使用层间预测，层的数目大于1，并且多于一个画面能够用于层间预测，则接收和解析层间参考画面计数信息，该信息用于规定为了当前画面的层间预测能够使用的画面的数目。
当层的数目与画面的数目不相同时，可接收该层信息。
画面的数目可被规定为层间参考画面计数信息加一。
根据本发明的另一实施例，一种支持多层的画面解码设备可包括：解析模块，被配置为接收并解析关于整个比特流中两层中的一层是否是该两层中的另一层的参考层的层依赖性信息，并且在使用层间预测用于解码当前层中的当前画面的情况下，被配置为接收并解析规定参考层之中的、当前画面能够参考的画面的层的层信息；和解码单元，被配置为基于层信息来解码当前画面，其中，该解码单元被配置为通过基于层信息来执行层间预测，生成被包括在当前画面中的当前块的预测块。
根据本发明的另一实施例，一种支持多层的画面编码设备可包括：编码模块，被配置为确定并编码关于整个比特流中两层中的一层是否是该两层中的另一层的参考层的层依赖性信息，并且在使用层间预测用于编码当前层中的当前画面的情况下，被配置为确定并编码规定通过层依赖性信息导出的参考层之中的、当前画面能够参考的画面的层的层信息；和运动补偿模块，被配置为基于层信息来编码当前画面，其中，该运动补偿模块被配置为通过基于层信息来执行层间预测，生成被包括在当前画面中的当前块的预测块。
根据本发明的另一实施例，提供一种存储由支持多层的画面编码设备生成的比特流的非易失性计算机可读取介质，该画面编码设备包括：编码模块，被配置为确定并编码关于整个比特流中两层中的一层是否是该两层中的另一层的参考层的层依赖性信息，并且在使用层间预测用于编码当前层中的当前画面的情况下，被配置为确定并编码规定通过层依赖性信息导出的参考层之中的、当前画面能够参考的画面的层的层信息；和运动补偿模块，被配置为基于层信息来编码当前画面，其中，该运动补偿模块被配置为通过基于层信息来执行层间预测，生成被包括在当前画面中的当前块的预测块。
根据本发明的实施例，提供了通过有效生成和管理包括一个或多个参考层的参考画面列表来增强编码/解码效率的画面编码/解码方法、以及使用其的设备。
根据本发明的实施例，提供了可在执行层间预测时、在生成用于运动估计和运动补偿的参考画面列表时、生成包括一个或多个参考层的参考画面列表的画面编码/解码方法、以及使用其的设备。
根据本发明的实施例，提供了可在生成包括参考层的重构画面的参考画面列表时，调整参考画面列表中的参考层的重构画面的位置、以及参考层重构画面之间的顺序的画面编码/解码方法、以及使用其的设备。
附图说明
图1是图示了根据本发明实施例的画面编码设备的配置的框图；
图2是图示了根据本发明实施例的画面解码设备的配置的框图；
图3是示意性图示了本发明可应用到的使用多层的可伸缩视频编码架构的实施例的概念图；
图4是示意性图示了根据本发明实施例的空间质量层和视图层的概念图；
图5是图示了根据本发明实施例的在编码设备中执行上层编码的方法的流程图；
图6是图示了根据本发明实施例的在解码设备中执行上层解码的方法的流程图；
图7是图示了根据本发明实施例的画面解码设备的框图；和
图8是图示了根据本发明实施例的画面解码设备的解码方法的流程图。
具体实施方式
其后，将参考附图来详细描述本发明的实施例。在描述这些实施例时，当确定为使得本发明的要义不清楚时，将省略公知配置或功能的详细描述。
当组件“连接到”或“耦接到”另一组件时，该组件可直接连接或耦接到所述另一组件，或者其他组件也可介于其间。此外，当“包括”特定组件时，不排除而是可以包括其他组件，并且这样的配置也被包括在本发明的范围中。
可使用术语“第一”和“第二”来描述各种组件，但是这些组件不限于此。使用这些术语仅区分一个组件与另一组件。例如，第一组件也可被称为第二组件，并且第二组件可被类似地称为第一组件。
独立示出这些实施例中的构成部分以表示不同特征，但是这并不意味着每一构成部分由单独硬件单元或一个软件构成单元形成。即，为了易于描述，每一构成部分与其他构成部分分离。构成部分中的至少两个可组合为单一构成部分，或者一个构成部分可被划分为可分别执行功能的多个构成部分。覆盖构成部分的组合或其分离的实施例可被包括在本发明的范围中，而不脱离本发明的要义。
一些构成部分不是执行本发明的必要功能的必要部分，而可以是增强性能的可选构成部分。本发明可仅由用于实现本发明的要义所必需的构成部分实现，或者仅包括这些必要构成部分而排除用于增强性能所使用的可选构成部分的这样的配置也可被包括在本发明的范围中。
图1是图示了根据本发明实施例的画面编码设备的配置的框图。可伸缩视频编码/解码方法或设备可通过不提供可伸缩性的一般视频编码/解码方法或设备的扩展实现。图1的框图图示了可作为可伸缩视频编码设备的基础的画面编码设备的实施例。
参考图1，该画面编码设备100包括运动估计模块111、运动补偿模块112、帧内预测模块120、开关115、减法模块125、变换模块130、量化模块140、熵编码模块150、反量化模块160、逆变换模块170、加法模块175、滤波模块180、和解码画面缓冲器190。
画面编码设备100按照帧内模式或帧间模式来对输入画面进行编码，并可输出比特流。帧内预测意味着帧内部的预测，而帧间预测意味着帧之间的预测。在帧内模式的情况下，开关115切换到帧内，而在帧间模式的情况下，开关115切换到帧间。画面编码设备100生成用于输入画面的输入块的预测块，并然后可对输入块和预测块之间的差进行编码。
在帧内模式的情况下，帧内预测模块120可通过使用与当前块相邻的已编码块的像素值进行空间预测，来生成预测块。
在帧间模式的情况下，运动估计模块111可在运动估计处理期间搜索解码画面缓冲器190中存储的参考画面中、与输入块最佳匹配的区域，由此导出运动向量。运动补偿模块112可通过使用参考画面缓冲器190中存储的解码画面和运动向量进行运动补偿，来生成预测块。
减法模块125可通过输入块和预测块之间的差来生成残差块。变换模块130可对残差块进行变换，由此输出变换系数。量化模块140可通过根据量化参数对输入的变换系数进行量化，来输出量化后参数。
熵编码模块150可通过基于量化模块140获得的值或在编码处理期间获得的编码参数，根据概率分布对码元进行熵编码，来输出比特流。熵编码是这样的方法，借助该方法，在去除统计冗余度的同时，接收具有各个值的码元，并通过二进制数的序列来表示具有各个值的码元。
这里，码元意味着要编码/解码的语法元素和编码参数、或残差信号。编码参数是用于编码或解码所必需的中介(intervening)变量，并且可包括可在编码或解码时推测的信息、以及由编码装置编码并被传递到解码装置并且意味着编码或解码画面时必需的信息的、诸如语法元素的信息。编码参数可包括诸如帧内/帧间预测模式、移位/运动向量、参考画面索引、编码块图案、残差信号的存在或不存在、变换系数、量化后变换系数、量化参数、块尺寸、块划分信息值或统计值。此外，残差信号可意味着原始信号和预测后信号之间的差，或者可意味着通过变换原始信号和预测后信号之间的差而获得的信号、或者通过变换和量化原始信号和预测后信号之间的差而获得的信号。从块单元的角度来说，残差信号可被称为残差块。
当熵编码应用时，向具有较高出现机会的码元分配较少比特，而向具有较低出现机会的码元分配较多比特，由此表示码元。所以，可降低要编码的码元的比特序列的尺寸。因此，可通过熵编码来增加画面编码的压缩性能。
可使用诸如指数哥伦布、CAVLC(上下文自适应可变长度编码)、CABAC(上下文自适应二进制算术编码)的编码方案用于熵编码。例如，可在熵编码模块150中存储诸如VLC(可变长度编码/代码)表格的、用于进行熵编码的表格，并且熵编码模块150可使用存储的VLC表格来进行熵编码。此外，熵编码模块150导出用于对目标码元进行二值化的方法以及目标码元/仓(bin)的概率模型，并然后可使用导出的二值化方法或概率模型来进行熵编码。
量化后系数由反量化模块160逆量化并可由逆变换模块170逆变换。逆量化和逆变换的系数由加法模块175添加到预测块，并然后可生成重构块。
重构块经过滤波模块180，滤波模块180然后向重构块或重构画面应用解块滤波、SAO(样本自适应偏移)、和ALF(自适应环路滤波)中的至少一个或多个。在经受滤波模块180之后，重构块可被存储在解码画面缓冲器190中。
图2是图示了根据本发明实施例的画面解码设备的配置的框图。如上面结合图1所述，可伸缩视频编码/解码方法或设备可通过扩展不提供可伸缩性的一般画面编码/解码方法或设备来实现，并且图2的框图图示了可作为可伸缩视频解码设备的基础的画面解码设备的实施例。
参考图2，画面解码设备200包括熵解码模块210、反量化模块220、逆变换模块230、帧内预测模块240、运动补偿模块250、滤波模块260、和解码画面缓冲器270。
画面解码设备200可接收从编码设备输出的比特流，按照帧内模式或帧间模式对该比特流进行解码，并可输出重新配置的画面，即重构的画面。在帧内模式的情况下，开关切换到帧内，而在帧间模式的情况下，开关切换到帧间。画面解码设备200可获得从接收的比特流重构的残差块，生成预测块，向预测块添加重构的残差块，并生成重新配置的块，即重构的块。
熵解码模块210根据概率分布对输入比特流进行熵解码，以由此生成包括量化后系数类型的码元的码元。熵解码是其中接收二进制数的序列以生成每一码元的方法。熵解码方法与上述熵编码方法类似。
量化后系数由反量化模块220反量化，由逆变换模块230逆变换，并且作为量化后系数的反量化/逆变换的结果，可生成重构的残差块。
在帧内模式的情况下，帧内预测模块240可使用与当前块相邻的已编码块的像素值来进行空间预测，由此生成预测块。在帧间模式的情况下，运动补偿模块250可使用解码画面缓冲器270中存储的参考画面和运动向量来进行运动补偿，由此生成预测块。
重构的残差块由加法器255添加到预测块，并且相加的结果经受滤波模块260。滤波模块260可向重构的块或重构的画面应用解块滤波、SAO、和ALF中的至少一个或多个。滤波模块260输出重新配置的画面，即重构的画面。重构的画面被存储在解码画面缓冲器270中，并可被使用用于帧间预测。
在画面解码设备200中包括的熵解码模块210、反量化模块220、逆变换模块230、帧内预测模块240、运动补偿模块250、滤波模块260、和解码画面缓冲器270之中，与画面解码直接关联的组件，诸如熵解码模块210、反量化模块220、逆变换模块230、帧内预测模块240、运动补偿模块250、或滤波模块260可被称为与其它组件分离的解码单元。
此外，画面解码设备200可进一步包括解析模块(未示出)，用于解析关于比特流中包括的编码后画面的信息。解析模块可包括熵解码模块210，或者解析模块可被包括在熵解码模块210中。这样的解析模块也可被实现为解码单元的一个组件。
图3是示意性图示了本发明可应用到的使用多层的可伸缩视频编码架构的实施例的概念图。在图3中，GOP(画面组)表示画面组，即，一组画面。
为了传送画面数据，需要传送介质，并且其性能可取决于网络环境针对每一传送介质而变化。对于这样的各种传送介质或网络环境的应用，可提供可伸缩视频编码方法。
可伸缩视频编码方法是这样的编码方法，其通过利用层间纹理信息、运动信息、或残差信号去除层间冗余，来增强编码/解码性能。可伸缩视频编码方法可取决于诸如传送比特率、传送误差率、或系统资源的周围条件，从空间、时间、或画面质量的角度出发，提供各类可伸缩性。
可利用多层结构来进行可伸缩视频编码，以便能够提供可向各种网络环境应用的比特流。例如，可伸缩视频编码结构可包括使用一般画面编码方法来压缩和处理画面数据的基本层、以及使用基本层编码信息和一般画面编码方法两者来压缩和处理画面数据的增强层。
这里，“层”意味着可基于空间(例如，画面尺寸)、时间(例如，编码顺序、输出画面的顺序、帧频)、画面质量、或复杂度而区分的画面或比特流的集合。此外，基本层可意味着下层、参考层或基本层，而增强层可意味着上层。此外，多层可具有彼此之间的从属性。
参考图3，例如，基本层可通过SD(标准清晰度)、15Hz帧频、1Mbps比特率来定义，第一增强层可通过HD(高清晰度)、30Hz帧频、和3.9Mbps比特率来定义，并且第二增强层可通过4K-UHD(超高清晰度)、60Hz帧频、和27.2Mbps比特率来定义。这些格式、帧频、和比特率仅是实施例，并且可在必要时变化。此外，使用的层的数目不限于此，并且可取决于情况而变化。
例如，如果传送带宽是4Mbps，则可降低第一增强层HD的帧频，使得可通过15Hz或更少进行传送。可伸缩视频编码方法可通过在结合图3描述的实施例中的上述方法来提供时间、空间、或质量可伸缩性。
在编码和解码支持比特流中的多层的视频(即，可伸缩编码)的情况下，在多层之间存在强相关性，使得当使用这样的相关性进行预测时，可消除数据中的冗余元素，并且能增强画面的编码性能。使用不同层的信息对作为预测的目标的当前层进行预测其后被称为层间预测。可伸缩视频编码其后在编码的角度意味着可伸缩视频编码，而在解码的角度意味着可伸缩视频解码。
分辨率、帧频、和颜色格式中的至少一个在多层之间可以不同，并且可进行用于层的上采样或下采样，以便调整层间预测时的分辨率。
图4是示意性图示了根据本发明实施例的空间质量层和视图层的概念图。
如图示的，比特流可包括多层。
比特流可包括具有相同空间和质量以及彼此不同视图的多个视图层(视图1、视图2、视图3)。
此外，比特流可包括具有相同视图但是彼此不同的空间分辨率和质量的多层。空间质量层可被分类为可由(多个)基本层和(多个)增强层构成的SD类别层和HD类别层。
如图示的，每一层可由标识符(layer_id)标识，以便标识混合了空间、质量和视图的多层。关于每一标识符涉及哪一层(例如，视图层、空间和质量层)以及其指示层中的上层还是下层的信息可用信号传送，包括在VPS(视频参数集)或SPS(序列参数集)、或NAL单元报头中。
如上所述，当使用层间相关性进行层间预测时，使用至少一个或多个下层来预测上层。其后，为了易于描述，要经受预测的层被表示为“目标层”，而为了目标层的预测所要使用或参考的层被表示为“参考层”。
本发明涉及当使用一个或多个参考层编码相同片段中的块时、考虑到空间、质量和视图可伸缩性的编码效率、来有效生成和管理参考层列表。
在典型帧间预测中，将当前画面的先前画面或随后画面中的至少一个确定为参考画面，并且基于该参考画面，能进行对于当前块的预测。为了预测当前块而使用的画面被称为参考画面或参考帧。
参考画面中的区域可使用例如指示参考画面的参考画面索引(refIdx)和运动向量来表示。
在帧间预测中，可选择参考画面和参考画面中与当前块对应的参考块，以生成用于当前块的预测块。
在该信息中，编码设备和解码设备可导出当前块的运动信息，并然后可基于导出的运动信息来执行帧间预测和/或运动补偿。这时，编码设备和解码设备可通过利用重构的相邻块的运动信息和/或已重构的并置画面中与当前块对应的并置块的运动信息，来增强编码/解码效率。
这里，重构的相邻块是已编码和/或解码并重构的当前画面中的块，并且可包括与当前块相邻的块和/或位于当前块的外角的块。此外，编码设备和解码设备可针对并置画面中位于与当前块在空间上对应的地点处的块，来确定预定相对位置，并且可基于确定的预定相对位置(位于与当前块在空间上对应的地点处的块内部和/或外部的位置)来导出并置块。这里，作为示例，并置画面可对应于参考画面列表中包括的参考画面之一。
在帧间预测中，可生成预测块，使得当前块的残差信号被最小化，并且运动向量的尺寸被最小化。
其间，用于导出运动信息的方案可取决于当前块的预测模式变化。向帧间预测应用的预测模式可包括AMVP(先进运动向量预测器)或合并。
作为示例，如果AMVP(先进运动向量预测器)应用，则编码设备和解码设备可使用重构的相邻块的运动向量和/或并置块的运动向量，来生成预测运动向量候选列表。即，重构的相邻块的运动向量和/或并置块的运动向量可以是预测运动向量候选。编码设备可向解码设备传送指示在该列表中包括的预测运动向量候选之中所选择的最佳预测运动向量的预测运动向量索引。这时，解码设备可使用该预测运动向量索引，来选择该预测运动向量候选列表中包括的预测运动向量候选之中的、当前块的预测运动向量。
编码设备可获得当前块的运动向量和预测运动向量之间的运动向量差(MVD)，可编码MVD并可将编码的MVD传送到解码设备。这时，解码设备可解码接收的MVD，并且可通过解码的MVD和预测运动向量之和，来导出当前块的运动向量。
编码设备可向解码设备传送例如指示参考画面的参考画面索引。
解码设备可使用相邻块的运动信息来预测当前块的运动向量，并且可使用针对从解码设备接收的运动向量的残差差值，来导出当前块的运动向量。解码设备可基于从编码设备接收的参考画面索引信息和导出的运动向量，来生成用于当前块的预测块。
作为另一示例，如果合并应用，则编码设备和解码设备可使用并置块的运动信息和/或重构的相邻块的运动信息，来生成合并候选列表。即，如果存在重构的相邻块和/或当前块的运动信息，则编码设备和解码设备可使用该运动信息作为用于当前块的合并候选。
编码设备可选择该合并候选列表中包括的合并候选之中的、可提供最佳编码效率的合并候选作为关于当前块的运动信息。这时，指示所选择的合并候选的合并索引可被传送到解码设备，包括在比特流中。解码设备可使用传送的合并索引来选择合并候选列表中包括的合并候选之一，并且可将所选择的合并候选确定为当前块的运动信息。因此，如果合并模式应用，则重构的相邻块和/或并置块的运动信息可以被原样用作当前块的运动信息。解码设备可通过将预测块添加到从编码设备传送的残差，来重构当前块。
在上述AMVP和合并模式中，可使用重构的相邻块的运动信息和/或并置块的运动信息，来导出当前块的运动信息。
在跳跃模式(对于帧间预测使用的其它模式之一)的情况下，可以对于当前块原样使用相邻块的信息。因此，在跳跃模式的情况下，编码设备不向解码设备传送除了指示要使用哪个块的运动信息的信息之外的、语法信息(诸如残差)作为当前块的运动信息。
编码设备和解码设备可通过基于获得的运动信息对当前块执行运动补偿，来生成当前块的预测块。这里，预测块可意味着已作为当前块的运动补偿的结果生成的运动补偿后的块。此外，多个运动补偿后的块可构成一个运动补偿后的画面。
解码设备可验证从编码设备接收的跳跃标记或合并标记，并可因此导出当前块的帧间预测所必需的运动信息，例如关于运动向量的信息或参考画面索引。
经受预测的处理单元可与确定预测方法及其细节的处理单元不同。例如，可以以每一预测块为基础来确定预测模式，并且可以以每一变换块为基础来进行预测。可以以每一预测块为基础来确定预测模式，并且可以以每一变换块为基础来进行帧内预测。
图5是图示了根据本发明实施例的在编码设备中执行上层编码的方法的流程图。
其后，描述在使用多层结构并支持至少一个或多个可伸缩性(例如，空间、质量、和视图可伸缩性)的视频编码方法中执行上层编码的方法，更具体的，用于配置目标画面可参考的参考层列表的方法。
首先，编码设备配置可由当前编码目标画面参考的层的列表(S510)。
编码设备可配置这样的参考层列表，该列表包括当前编码目标层的下层之中的、可在编码时由当前编码目标层参考的同一视图中的至少一层或多层。可根据下述方法中的至少一个来配置参考层列表。
根据第一实施例，编码设备可配置整个比特流中可由与当前编码目标层相同的层参考的参考层列表。
编码设备可通过按照任意顺序配置可由与目标层相同的层参考的参考层，来生成参考层列表。
或者，可从参考层之中、在其layer_id值和目标层的layer_id值具有最小差的层(即，最接近层)起按照升序来配置参考层列表。
或者，可从参考层之中具有最大优先级的层起按照降序来配置当前编码目标层的参考层列表。
与优先级相关的信息可用信号传送，包括在NAL单元报头或视频参数集中。
或者，关于与当前编码目标层具有相同视图的层，可从与当前编码目标层的空间分辨率具有最小差的层起按照升序来配置参考层列表。这时，可从其layer_id值和当前编码目标层的layer_id值具有最小差的层(即，最接近层)起按照升序，来配置具有相同空间分辨率的质量参考层。
另外，这些层可按照远离具有与当前编码目标层的视图最接近的视图的层的顺序、被包括在参考层列表中。在具有相同视图的情况下，这些层可按照与和当前编码目标层具有相同视图的层相同的方式被添加到参考层列表。
例如，在图4中图示的比特流架构中，n作为它们的layer_id的层的参考层列表可被配置为，使得按照n-1、n-2、n-3、n-4、n-5、n-6、n-7、n-8、n-9、n-10和n-11的顺序来配置它们的layer_id。
或者，可从空间分辨率与当前编码目标层具有最小差的层按照升序，来配置包括和当前编码目标层具有相同视图的参考层的参考层列表。这时，当这些层具有相同空间分辨率时，质量参考层的顺序可以从要编码的较低量化参数值到较高值(即，从解码时具有最好质量的层起按照降序)。
另外，这些层可按照远离与当前编码目标层的视图最接近的视图的顺序而被包括在参考层列表中。当这些层具有相同视图时，这些层可按照与和当前编码目标层具有相同视图的层相同的方式，被包括在参考层列表中。
目标层所参考的参考层可使用比特流中用信号传送的layer_id来描述。表格1和2中示出了描述参考层的视频参数集的示例：
<表格1>
参考表格1，num_direct_ref_layers[i]规定第i层(即，具有nuh_layer_id[i]的layer_id的层)所直接参考的参考层的数目。
ref_layer_id[i][j]规定第i层所参考的第j参考层的layer_id。即，ref_layer_id[i][j]意味着其layer_id是nuh_layer_id[i]的层参考其layer_id是nuh_layer_id[j]的层。
<表格2>
参考表格2，direct_dependency_flag[i][j]为1规定第i层(即，具有nuh_layer_id[i]的layer_id的层)直接参考第j层(即，具有nuh_layer_id[j]的layer_id的层)。
max_one_active_ref_layer_flag为1规定使用至多一个画面用于整个比特流中每一画面(即，第i层)的层间预测。max_one_active_ref_layer_flag为0可表示可使用多于一个画面用于比特流中特定图像(即，第i层)的层间预测。或者，max_one_active_ref_layer_flag为0可代表第i层不使用层间预测。
其间，max_one_active_ref_layer_flag可对于每一层用信号传送或者可在整个比特流中仅用信号传送一次。
当max_one_active_ref_layer_flag在整个比特流中用信号传送一次时，如果所有层仅参考一个参考层，则max_one_active_ref_layer_flag可以是1。因此，即使当max_one_active_ref_layer_flag为0时，规定特定层的参考层的数目的slice_numdirect_ref_layers仍然可以是“1”。
根据用于配置参考层列表的第二实施例，编码设备可配置当前要编码的目标画面可参考的参考层列表。这是为了配置当前要编码的画面的当前编码目标层可以参考的、并且可以由以下方法之一构成的参考层列表。
编码设备可通过按照任意顺序配置参考层，来生成当前编码目标画面可以参考的参考层列表。
或者，编码设备可通过从参考层之中、与编码目标层的layer_id具有最小差的层(即，最接近层)起按照升序配置参考层，来生成参考层列表。
或者，可从和目标层具有相同视图的参考层之中、具有最高优先级的层起按照降序来配置参考层列表。
这时，与优先级相关的信息可用信号传送、被包括在NAL单元报头或视频参数集中。
或者，可从和当前编码目标层的空间分辨率具有最小差的层起按照升序来配置参考层列表，该参考层列表可包括和当前编码目标层具有相同视图的层。这时，当具有相同空间分辨率时，可从与当前编码目标层的layer_id具有最小差的层(即，最接近层)起按照升序来配置参考层。
另外，这些层可按照远离与当前编码目标层的视图最接近的视图的顺序被包括在参考层列表中。具有相同视图的层可按照与和当前编码目标层具有相同视图的层相同的方式被包括在参考层列表中。
例如，在图4中图示的比特流架构中，可按照其layer_id为n-1、n-2、n-3、n-4、n-5、n-6、n-7、n-8、n-9、n-10和n-11的层的顺序，来配置具有layer_id为n的层的参考层列表。
或者，可从参考层之中与当前编码目标层的空间分辨率具有最小差的层起按照升序来配置包括和当前编码目标层具有相同视图的层的参考层列表。这时，当这些层具有相同空间分辨率时，可从要编码的最低量化参数起按照升序(即，从解码时具有最好画面质量的层起按照降序)来配置质量参考层。
另外，这些层可按照远离与当前编码目标层的视图最接近的视图的顺序被包括在参考层列表中。当这些层具有相同视图时，可按照与和当前编码目标层具有相同视图的层相同的方式，将这些层包括在参考层列表中。
可通过各种方法来描述在编码时可由当前编码目标层的片段参考的参考层。其后，参考表格3到24来描述描述和用信号传送片段报头中的参考层。
根据与表格3到11对应的实施例，片段报头包括视频参数集中用信号传送的、关于整个比特流中和当前编码目标层相同的层可参考的参考层子集中的、要当前编码的片段可参考的层的信息。
这时，仅当使用层间预测来编码要当前编码的片段时，表格3到10中的语法中的任一个可应用。
<表格3>
参考表格3，slice_num_direct_ref_layers规定画面所直接参考的参考层的数目。假设slice_num_direct_ref_layers所规定的参考层的数目等于或小于视频参数集中用信号传送的和画面具有相同layer_id(即，nuh_layer_id)的层所参考的参考层的数目(即，NumDirectRefLayers[nuh_layer_id])。
ref_layer_id[j]规定画面所直接参考的第j参考层的layer_id。
<表格4>
参考表格4，slice_num_direct_ref_layers规定画面所直接参考的参考层的数目。假设slice_num_direct_ref_layers所规定的参考层的数目等于或小于视频参数集中用信号传送的和画面具有相同layer_id(即，nuh_layer_id)的层所参考的参考层的数目(即，NumDirectRefLayers[nuh_layer_id])。
ref_layer_id_delta[j]规定画面所直接参考的第j参考层的layer_id和第j-1参考层的layer_id之间的差。这时，layer_id之差接近“0”意味着当前画面参考与对应于当前画面的层接近的具有layer_id的参考层。这时，ref_layer_id_delta[0]规定第0参考层和当前画面所属的层之间的layer_id之差。
<表格5>
参考表格5，slice_num_direct_ref_layers规定画面直接参考的参考层的数目。假设slice_num_direct_ref_layers所规定的参考层的数目等于或小于视频参数集中用信号传送的和画面具有相同layer_id(即，nuh_layer_id)的层所参考的参考层的数目(即，NumDirectRefLayers[nuh_layer_id])。
ref_layer_idx_delta[j]规定画面所直接参考的第j参考层的索引(针对视频参数集中描述的索引)和第j-1参考层的索引(针对视频参数集中描述的索引)之间的差。这时，ref_layer_idx_delta[0]规定第0参考层的索引。
<表格6>
参考表格6，slice_num_direct_ref_layers规定画面直接参考的参考层的数目。假设slice_num_direct_ref_layers所规定的参考层的数目等于或小于视频参数集中用信号传送的和画面具有相同layer_id(即，nuh_layer_id)的层所参考的参考层的数目(即，NumDirectRefLayers[nuh_layer_id])。
ref_layer_idx[j]规定画面所直接参考的第j参考层的索引(针对视频参数集中描述的索引)。
<表格7>
参考表格7，slice_num_direct_ref_layers规定画面直接参考的参考层的数目。假设slice_num_direct_ref_layers所规定的参考层的数目等于或小于视频参数集中用信号传送的和画面具有相同layer_id(即，nuh_layer_id)的层所参考的参考层的数目(即，NumDirectRefLayers[nuh_layer_id])。slice_num_direct_ref_layers为“0”意味着可使用视频参数集中用信号传送的与和画面相同的层对应的参考层作为当前画面的参考层。
ref_layer_id[j]规定画面所直接参考的第j参考层的layer_id。
<表格8>
参考表格8，slice_num_direct_ref_layers规定画面直接参考的参考层的数目。假设slice_num_direct_ref_layers所规定的参考层的数目等于或小于视频参数集中用信号传送的和画面具有相同layer_id(即，nuh_layer_id)的层所参考的参考层的数目(即，NumDirectRefLayers[nuh_layer_id])。slice_num_direct_ref_layers为“0”意味着可使用视频参数集中用信号传送的与和画面相同的层对应的参考层作为当前画面的参考层。
ref_layer_id_delta[j]规定画面所直接参考的第j参考层和第j-1参考层之间的layer_id之差。这时，layer_id之差接近“0”意味着当前画面参考具有与对应于当前画面的层接近的layer_id的参考层。ref_layer_id_delta[0]规定第0参考层的layer_id和与当前画面对应的层的layer_id之间的差。
<表格9>
参考表格9，slice_num_direct_ref_layers规定画面直接参考的参考层的数目。假设slice_num_direct_ref_layers所规定的参考层的数目等于或小于视频参数集中用信号传送的和画面具有相同layer_id(即，nuh_layer_id)的层所参考的参考层的数目(即，NumDirectRefLayers[nuh_layer_id])。
slice_num_direct_ref_layers为“0”意味着可使用视频参数集中用信号传送的与和画面相同的层对应的参考层作为当前画面的参考层。
ref_layer_idx_delta[j]规定图像所直接参考的第j参考层的索引(针对视频参数集中描述的索引)和第j-1参考层的索引(针对视频参数集中描述的索引)之间的差。ref_layer_idx_delta[0]规定第0参考层的索引。
<表格10>
参考表格10，slice_num_direct_ref_layers规定画面直接参考的参考层的数目。假设slice_num_direct_ref_layers所规定的参考层的数目等于或小于视频参数集中用信号传送的和画面具有相同layer_id(即，nuh_layer_id)的层所参考的参考层的数目(即，NumDirectRefLayers[nuh_layer_id])。
slice_num_direct_ref_layers为“0”意味着可使用视频参数集中用信号传送的与和画面相同的层对应的参考层作为当前画面的参考层。
ref_layer_idx[j]规定画面所直接参考的第j参考层的索引(针对视频参数集中描述的索引)。
根据与表格11到14对应的实施例，在片段报头中用信号传送标志，例如，layer_dependency_vps_flag，指示在要当前编码的片段中是否同样使用视频参数集中用信号传送的和当前编码目标层相同的层可参考的参考层。
如果标志为“1”，则使用视频参数集中用信号传送的参考层信息，并且如果标志为“0”，则可使用片段报头中描述的关于参考层的信息。
这时，仅当使用层间预测来编码要当前编码的片段或画面时，可应用表格11到14中的语法的任何一个。
<表格11>
参考表格11，layer_dependency_vps_flag规定在片段报头还是在片段分段报头中用信号传送参考层信息。如果layer_dependency_vps_flag为“0”，则在片段分段报头中用信号传送参考层信息。如果layer_dependency_vps_flag为“1”，则不在片段分段报头中用信号传送参考层信息，而是可使用视频参数集(VPS)扩展中用信号传送的参考层信息作为该画面的参考层信息。
slice_num_direct_ref_layers规定画面直接参考的参考层的数目。假设slice_num_direct_ref_layers所规定的参考层的数目等于或小于视频参数集中用信号传送的和画面具有相同layer_id(即，nuh_layer_id)的层所参考的参考层的数目(即，NumDirectRefLayers[nuh_layer_id])。
ref_layer_id[j]规定画面所直接参考的第j参考层的layer_id。
<表格12>
参考表格12，layer_dependency_vps_flag规定在片段报头还是在片段分段报头中用信号传送参考层信息。如果layer_dependency_vps_flag为“0”，则在片段分段报头中用信号传送参考层信息。如果layer_dependency_vps_flag为“1”，则不在片段分段报头中用信号传送参考层信息，而是可使用视频参数集(VPS)扩展中用信号传送的参考层信息作为该画面的参考层信息。
slice_num_direct_ref_layers规定画面直接参考的参考层的数目。假设slice_num_direct_ref_layers所规定的参考层的数目等于或小于视频参数集中用信号传送的和画面具有相同layer_id(即，nuh_layer_id)的层所参考的参考层的数目(即，NumDirectRefLayers[nuh_layer_id])。
ref_layer_id_delta[j]规定画面所直接参考的第j参考层和第j-1参考层之间的layer_id之差。ref_layer_id_delta[0]规定ref_layer_id[0]与当前画面的layer_id之间的差。
<表格13>
参考表格13，layer_dependency_vps_flag规定在片段报头还是在片段分段报头中用信号传送参考层信息。如果layer_dependency_vps_flag为“0”，则在片段分段报头中用信号传送参考层信息。如果layer_dependency_vps_flag为“1”，则不在片段分段报头中用信号传送参考层信息，而是可使用视频参数集(VPS)扩展中用信号传送的参考层信息作为该画面的参考层信息。
slice_num_direct_ref_layers规定画面直接参考的参考层的数目。假设slice_num_direct_ref_layers所规定的参考层的数目等于或小于视频参数集中用信号传送的和画面具有相同layer_id(即，nuh_layer_id)的层所参考的参考层的数目(即，NumDirectRefLayers[nuh_layer_id])。
ref_layer_idx_delta[j]规定画面所直接参考的第j参考层的索引(针对视频参数集中描述的索引)和第j-1参考层的索引(针对视频参数集中描述的索引)。ref_layer_idx_delta[0]规定第0参考层的索引。
<表格14>
参考表格14，layer_dependency_vps_flag规定在片段报头还是在片段分段报头中用信号传送参考层信息。如果layer_dependency_vps_flag为“0”，则在片段分段报头中用信号传送参考层信息。如果layer_dependency_vps_flag为“1”，则不在片段分段报头中用信号传送参考层信息，而是可使用视频参数集(VPS)扩展中用信号传送的参考层信息作为该画面的参考层信息。
slice_num_direct_ref_layers规定画面直接参考的参考层的数目。假设slice_num_direct_ref_layers所规定的参考层的数目等于或小于视频参数集中用信号传送的和画面具有相同layer_id(即，nuh_layer_id)的层所参考的参考层的数目(即，NumDirectRefLayers[nuh_layer_id])。
ref_layer_idx[j]规定画面所直接参考的第j参考层的索引(针对视频参数集中描述的索引)。
根据与表格15到18对应的实施例，要当前编码的片段的参考层的数目可用信号传送、被包括在片段报头(例如，slice_num_direct_ref_layers)中。这时，仅当用信号传送的参考层的数目不等于视频参数集中用信号传送的可由和当前编码目标层相同的层所参考的参考层的数目(例如，NumDirectRefLayers[nuh_layer_id])时，才用信号传送参考层。
这时，仅当使用层间预测来编码要当前编码的片段时，可应用表格15到18中的语法中的任一个。
<表格15>
参考表格15,slice_num_direct_ref_layers规定画面直接参考的参考层的数目。假设slice_num_direct_ref_layers所规定的参考层的数目等于或小于视频参数集中用信号传送的和画面具有相同layer_id(即，nuh_layer_id)的层所参考的参考层的数目(即，NumDirectRefLayers[nuh_layer_id])。如果NumDirectRefLayers[nuh_layer_id]与slice_num_direc_ref_layers相同，则使用在VPS扩展中用信号传送的参考层信息作为该画面的参考层信息，并且如果NumDirectRefLayers[nuh_layer_id]与slice_num_direc_ref_layers不相同，则使用在片段分段报头中用信号传送的参考层信息作为该画面的参考层信息。
ref_layer_id[j]规定画面所直接参考的第j参考层的layer_id。
<表格16>
参考表格16，slice_num_direct_ref_layers规定画面直接参考的参考层的数目。假设slice_num_direct_ref_layers所规定的参考层的数目等于或小于视频参数集中用信号传送的和画面具有相同layer_id(即，nuh_layer_id)的层所参考的参考层的数目(即，NumDirectRefLayers[nuh_layer_id])。如果NumDirectRefLayers[nuh_layer_id]与slice_num_direc_ref_layers相同，则使用在VPS扩展中用信号传送的参考层信息作为该画面的参考层信息，并且如果NumDirectRefLayers[nuh_layer_id]与slice_num_direc_ref_layers不相同，则使用在片段分段报头中用信号传送的参考层信息作为该画面的参考层信息。
ref_layer_id_delta[j]规定画面所直接参考的第j参考层和第j-1参考层之间的layer_id之差。ref_layer_id_delta[0]规定ref_layer_id[0]与当前画面的layer_id之间的差。
<表格17>
参考表格17，slice_num_direct_ref_layers规定画面直接参考的参考层的数目。假设slice_num_direct_ref_layers所规定的参考层的数目等于或小于视频参数集中用信号传送的和画面具有相同layer_id(即，nuh_layer_id)的层所参考的参考层的数目(即，NumDirectRefLayers[nuh_layer_id])。如果NumDirectRefLayers[nuh_layer_id]与slice_num_direc_ref_layers相同，则使用在VPS扩展中用信号传送的参考层信息作为该画面的参考层信息，并且如果NumDirectRefLayers[nuh_layer_id]与slice_num_direc_ref_layers不相同，则使用在片段分段报头中用信号传送的参考层信息作为该画面的参考层信息。
ref_layer_id_delta[j]规定画面所直接参考的第j参考层的索引(针对视频参数集中描述的索引)和第j-1参考层的索引(针对视频参数集中描述的索引)之间的差。ref_layer_idx_delta[0]规定第0参考层的索引。
<表格18>
参考表格18,slice_num_direct_ref_layers规定画面直接参考的参考层的数目。假设slice_num_direct_ref_layers所规定的参考层的数目等于或小于视频参数集中用信号传送的和画面具有相同layer_id(即，nuh_layer_id)的层所参考的参考层的数目(即，NumDirectRefLayers[nuh_layer_id])。如果NumDirectRefLayers[nuh_layer_id]与slice_num_direc_ref_layers相同，则使用在VPS扩展中用信号传送的参考层信息作为该画面的参考层信息，并且如果NumDirectRefLayers[nuh_layer_id]与slice_num_direc_ref_layers不相同，则使用在片段分段报头中用信号传送的参考层信息作为该画面的参考层信息。
ref_layer_idx[j]规定画面所直接参考的第j参考层的索引(针对视频参数集中描述的索引)。
根据本发明的另一实施例，如果使用层间预测来编码要当前编码的片段，则可用信号传送表格19到24中示出的信号。
如表格2中所示，当用信号传送指示视频参数集中与当前编码目标层相同的层可参考的参考层的数目是否最多为一的标志(例如，max_one_active_ref_layer_flag)并且该标志为“0”时，可应用表格19到24。即，参考表格19到24来描述这样的实施例，其中如果与当前编码目标层相同的层具有两个或更多参考层，则用信号传送要当前编码的片段的参考层的数目(例如，slice_num_direct_ref_layers)。
特别是，在表格19、21和23中，在片段报头中用信号传送指示是否在片段中同样使用在视频参数集中用信号传送的参考层的标志(例如，layer_dependency_vps_flag)，并且该标志为“1”，则使用在视频参数集中用信号传送的参考层信息，并且如果该标志为“0”，则在片段报头中描述并用信号传送参考层。
在根据表格20、22和24的实施例中，仅当要当前编码的片段的参考层的数目(例如，slice_num_direct_ref_layers)与在视频参数集中用信号传送的与当前编码目标层相同的层可以参考的参考层的数目不相同时，才用信号传送参考层。
<表格19>
参考表格19,inter_layer_pred_enabled_flag为“1”规定该画面使用层间预测，而inter_layer_pred_enabled_flag为“0”规定该画面不使用层间预测。
layer_dependency_vps_flag规定是否在片段报头(片段分段报头)中用信号传送参考层信息。Layer_dependency_vps_flag为“0”规定在片段报头中用信号传送参考层信息，而layer_dependency_vps_flag为“1”规定不在片段分段报头中用信号传送参考层信息，而是使用VPS扩展中用信号传送的参考层信息作为该画面的参考层信息。
slice_num_direct_ref_layers规定画面直接参考的参考层的数目。假设slice_num_direct_ref_layers所规定的参考层的数目等于或小于视频参数集中用信号传送的和画面具有相同layer_id(即，nuh_layer_id)的层所参考的参考层的数目(即，NumDirectRefLayers[nuh_layer_id])。如果max_one_active_ref_layer_flag为“1”，则NumActiveRefLayerPics＝1(NumActiveRefLayerPics＝slice_num_driect_ref_layers)，使得不用信号传送slice_num_direct_ref_layers。
ref_layer_idx[i]规定画面所直接参考的第i参考层的索引(针对视频参数集中描述的索引)。
<表格20>
参考表格20，inter_layer_pred_enabled_flag为“1”规定该画面使用层间预测，而inter_layer_pred_enabled_flag为“0”规定该画面不使用层间预测。
slice_num_direct_ref_layers规定画面直接参考的参考层的数目。假设slice_num_direct_ref_layers所规定的参考层的数目等于或小于视频参数集中用信号传送的和画面具有相同layer_id(即，nuh_layer_id)的层所参考的参考层的数目(即，NumDirectRefLayers[nuh_layer_id])。如果NumDirectRefLayers[nuh_layer_id]与slice_num_direc_ref_layers相同，则使用在VPS扩展中用信号传送的参考层信息作为该画面的参考层信息，并且如果NumDirectRefLayers[nuh_layer_id]与slice_num_direc_ref_layers不相同，则使用在片段分段报头中用信号传送的参考层信息作为该画面的参考层信息。
ref_layer_idx[i]规定画面所直接参考的第i参考层的索引(针对视频参数集中描述的索引)。
<表格21>
参考表格21，inter_layer_pred_enabled_flag为“1”规定该画面使用层间预测，而inter_layer_pred_enabled_flag为“0”规定该画面不使用层间预测。
layer_dependency_vps_flag规定是否在片段报头(片段分段报头)中用信号传送参考层信息。Layer_dependency_vps_flag为“0”规定在片段报头中用信号传送参考层信息，而layer_dependency_vps_flag为“1”规定不在片段分段报头中用信号传送参考层信息，而是使用VPS扩展中用信号传送的参考层信息作为该画面的参考层信息。
如果layer_dependency_vps_flag为“1”，则slice_num_direct_ref_layers可以与NumDirectRefLayers[nuh_layer_id]相同，并且ref_layer_idx[i]可被看作i。如果layer_dependency_vps_flag不用信号传送，则其可被看作“0”。如果max_one_active_ref_layer_flag为“1”，则layer_dependency_vps_flag可以为“0”。
slice_num_direct_ref_layers规定画面直接参考的参考层的数目。假设slice_num_direct_ref_layers所规定的参考层的数目等于或小于视频参数集中用信号传送的和画面具有相同layer_id(即，nuh_layer_id)的层所参考的参考层的数目(即，NumDirectRefLayers[nuh_layer_id])。
如果max_one_active_ref_layer_flag为“1”，则NumActiveRefLayerPics＝1(NumActiveRefLayerPics＝slice_num_driect_ref_layers)，使得不用信号传送slice_num_direct_ref_layers。
ref_layer_idx[i]规定画面所直接参考的第i参考层的索引(针对视频参数集中描述的索引)。
<表格22>
参考表格22，inter_layer_pred_enabled_flag为“1”规定该画面使用层间预测，而inter_layer_pred_enabled_flag为“0”规定该画面不使用层间预测。
slice_num_direct_ref_layers可表示画面直接参考的参考层的数目、或用于画面的层间预测所使用的层参考画面的数目。假设slice_num_direct_ref_layers所规定的参考层的数目或层参考画面的数目等于或小于视频参数集中用信号传送的和画面具有相同layer_id(即，nuh_layer_id)的层所参考的参考层的数目(即，NumDirectRefLayers[nuh_layer_id])。如果NumDirectRefLayers[nuh_layer_id]与slice_num_direct_ref_layers相同，则使用在VPS扩展中用信号传送的参考层信息作为该画面的参考层信息，并且如果NumDirectRefLayers[nuh_layer_id]与slice_num_direc_ref_layers不相同，则使用在片段分段报头中用信号传送的参考层信息作为该画面的参考层信息。
ref_layer_idx[i]规定画面所直接参考的第i参考层的索引(针对视频参数集中描述的索引)。
表格22的NumDirectRefLayers[nuh_layer_id]可基于在视频参数集扩展中接收的层依赖性信息来导出。层依赖性信息可在语法元素direct_dependency_flag[i][j]中用信号传送，并指示整个比特流中具有第i索引的层是否直接参考第j层。通过这样的层依赖性信息，可获得关于整个比特流中第i层所参考的参考层的信息。
换言之，能导出可通过诸如direct_dependency_flag[i][j]的标志信息(层信息)由当前层在整个比特流中参考的参考层的数目。
如果当前层的nuh_layer_id大于0，即如果当前层不是基本层并且获得的参考层的数目大于0，则接收标志信息(inter_layer_pred_enabled_flag)，指示是否使用层间预测用于解码当前层中的当前画面。
如果inter_layer_pred_enabled_flag为1、NumDirectRefLayers[nuh_layer_id]大于1(NumDirectRefLayers[nuh_layer_id]>1)、并且整个比特流中包括的所有层不参考一个参考层(！max_one_active_ref_layer_flag)，则接收关于参考画面的数目的信息(slice_num_direct_ref_layers)，该信息可规定可为了当前画面的层间预测而使用的参考画面的数目。其后，可为了层间预测而使用的参考画面被称为层间参考画面，并且可规定层间参考画面的数目的信息被称为层间参考画面计数信息。
如果当前画面所属的层所参考的参考层的数目至多为一，则当前画面所参考的层的数目也是一。
层间参考画面计数信息也可在诸如num_inter_layer_ref_pics_minus1的语法元素中用信号传送。
可规定层间参考画面的数目(NumActiveRefLayerPics)作为用信号传送的层间参考画面信息的值(在slice_num_direct_ref_layers的情况下)，或者作为层间参考画面计数信息加1(在num_inter_layer_ref_pics_minus1的情况下)。
如果参考层的数目(NumDirecRefLayers[nuh_layer_id])与层间参考画面的数目(NumActiveRefLayerPics)不相同，(NumDirectRefLayers[nuh_layer_id]！＝NumActiveRefLayerPics)，则接收关于参考层之中当前画面所参考的参考层的层信息(ref_layer_idx[i])。
该层信息可以是关于当前画面可参考的参考画面的层的ID的信息。
<表格23>
参考表格23，inter_layer_pred_enabled_flag为“1”规定该画面使用层间预测，而inter_layer_pred_enabled_flag为“0”规定该画面不使用层间预测。
layer_dependency_vps_flag规定是否在片段报头(片段分段报头)中用信号传送参考层信息。Layer_dependency_vps_flag为“0”规定在片段报头中用信号传送参考层信息，并且layer_dependency_vps_flag为“1”规定不在片段分段报头中用信号传送参考层信息，而是使用VPS扩展中用信号传送的参考层信息作为该画面的参考层信息。
slice_num_direct_ref_layers规定画面直接参考的参考层的数目。假设slice_num_direct_ref_layers所规定的参考层的数目等于或小于视频参数集中用信号传送的和画面具有相同layer_id(即，nuh_layer_id)的层所参考的参考层的数目(即，NumDirectRefLayers[nuh_layer_id])。
如果max_one_active_ref_layer_flag为“1”，则NumActiveRefLayerPics＝1(NumActiveRefLayerPics＝slice_num_driect_ref_layers)，使得不用信号传送slice_num_direct_ref_layers。
ref_layer_idx_delta[j]规定画面直接参考的第j参考层的索引(针对视频参数集中描述的索引)和第j-1参考层的索引(针对视频参数集中描述的索引)之间的差。ref_layer_idx_delta[0]规定第0参考层的索引。
<表格24>
参考表格24，inter_layer_pred_enabled_flag为“1”规定该画面使用层间预测，而inter_layer_pred_enabled_flag为“0”规定该画面不使用层间预测。
slice_num_direct_ref_layers规定画面直接参考的参考层的数目。假设slice_num_direct_ref_layers所规定的参考层的数目等于或小于视频参数集中用信号传送的和画面具有相同layer_id(即，nuh_layer_id)的层所参考的参考层的数目(即，NumDirectRefLayers[nuh_layer_id])。如果NumDirectRefLayers[nuh_layer_id]与slice_num_direct_ref_layers相同，则使用在VPS扩展中用信号传送的参考层信息作为该画面的参考层信息，并且如果NumDirectRefLayers[nuh_layer_id]与slice_num_direc_ref_layers不相同，则使用在片段分段报头中用信号传送的参考层信息作为该画面的参考层信息。
ref_layer_idx_delta[j]规定画面所直接参考的第j参考层的索引(针对视频参数集中描述的索引)和第j-1参考层的索引(针对视频参数集中描述的索引)之间的差。ref_layer_idx_delta[0]规定第0参考层的索引。
这时，编码时在片段报头中描述的片段可参考的层可以是整个比特流中和当前编码目标层相同的层可参考的参考层的子集。
例如，在片段报头中用信号传送的参考层可以是整个比特流中用信号传送的与当前编码目标层相同的层可参考的参考层列表的子集。
返回到图5，已配置了可由当前编码目标层的画面参考的层的列表的编码设备配置参考画面集，并执行参考画面标记(S520)，该参考画面集包括用于当前编码目标画面的帧间预测的目标层可参考的参考层的重构画面。
这时，编码设备标识由参考层列表中包括的画面构成的重构画面是否可用，并且如果可用，则包括参考画面集中的重构画面，并且如果不可用，则可将重构画面标记为“非参考画面”。
由参考层列表中包括的画面构成的参考画面集(其后，第一集合)被标记为“用于长期参考”，并且可由此在当前编码目标画面的帧间预测时被处置为(多个)长期参考画面。
除了第一集合(即，由参考层列表中包括的画面构成的参考画面集)之外，可存在各种类型用于帧间预测的参考画面集，其由与当前编码目标层相同的层的画面构成。
用于帧间预测的参考画面集可包括用于当前编码目标画面的帧间预测并且比当前编码目标画面较早显示的短期参考画面(第二集合)、用于当前编码目标画面的帧间预测并且比当前编码目标画面较晚显示的短期参考画面(第三集合)、用于当前编码目标画面的帧间预测的长期参考画面、用于可在当前编码目标画面之后编码的画面的短期参考画面(第五集合)、以及用于可在当前编码目标画面之后编码的画面的长期参考画面(第六集合)。
其后，编码设备根据参考画面集和参考画面类型来生成参考画面列表(S530)。
编码设备可基于上述各个参考画面集，根据参考画面集的特性和参考画面类型，来生成当前编码目标画面的参考画面列表。
作为示例，编码设备可将步骤S520生成的配置为参考层列表的参考画面集添加到由具有和当前编码目标层相同的层的画面的参考画面集构成的帧间参考画面列表L0和L1，由此生成最终参考画面列表。
在该情况下，编码设备只要生成参考画面列表就可将参考层的重构画面添加到固定位置，或者可生成参考画面列表并然后为了有效编码而附加改变参考层的重构画面的位置。
在只要生成参考画面列表就将参考层的重构画面添加到固定位置的情况下，一旦生成列表L0，就可将第一集合添加到最后或第一(ref_idx＝0)或第二(ref_idx＝1)位置。
如果将参考层的重构画面添加到列表L0中的中间位置，则位于该位置及其随后位置处的画面的列表中的索引可增加所添加的参考层的数目(由参考层列表构成的参考画面的数目)。
或者，编码设备在生成列表L0时，可用第一集合来替换与来自第一(ref_idx＝0)或第二(ref_idx＝1)位置的由参考层列表构成的参考画面的数目一样多的参考画面。
编码设备可在生成列表L0时添加来自任何信令(signaled)位置的第一集合。如果将第一集合添加到该列表的中间位置，则位于对应位置或其随后位置处的图像的列表中的索引可增加所添加的参考层的数目(由参考层列表构成的参考画面的数目)
或者，编码设备可用第一集合来替换与在生成列表L0时来自任何信令位置的由参考层列表构成的参考画面的数目一样多的参考画面。
或者，编码设备可在生成列表L0时将第一集合的参考层列表中包括的每一画面添加到彼此不同的任何位置。这时，编码设备可将位于添加画面的位置及其随后位置处的画面的列表中的索引增加所添加的参考层的数目(由参考层列表构成的参考画面的数目)。
或者，编码设备可在生成列表L0时用第一集合的参考层列表中包括的每一画面替换位于彼此不同的任何位置的参考画面。
或者，编码设备可在生成列表L1时将第一集合添加到最后或第一(ref_idx＝0)或第二(ref_idx＝1)位置。
如果将参考层添加到列表L1的中间位置，则编码设备可将位于该位置及其随后位置处的图像的列表中的索引增加所添加的参考层的数目(由参考层列表构成的参考画面的数目)。
或者，编码设备可在生成列表L1时用第一集合来替换与来自第一(ref_idx＝0)或第二(ref_idx＝1)位置由参考层列表构成的参考画面的数目一样多的参考画面。
编码设备可在生成列表L1时将第一集合添加到任何信令位置及其随后位置。如果将第一集合添加到列表中的中间位置，则可将位于该位置及其随后位置处的画面的列表中的索引增加所添加的参考层的数目(由参考层列表构成的参考画面的数目)。
或者，编码设备可在生成列表L1时用第一集合来替换与来自任何信令位置的由参考层列表构成的参考画面的数目一样多的参考画面。
或者，编码设备可在生成列表L1时将第一集合的参考层列表中包括的每一画面添加到彼此不同的任何位置。这时，编码设备可将位于添加画面的位置及其随后位置处的图像的列表中的索引增加所添加的参考层的数目(由参考层列表构成的参考画面的数目)。
或者，编码设备可在生成列表L1时用第一集合的参考层列表中包括的每一画面替换位于彼此不同的任何位置处的参考画面。
其间，如果在生成参考层列表之后，为了有效编码而附加改变参考层的重构画面的位置，则可通过使用可在片段报头或画面参数集中包括的编码参数，在该参考层列表中的任何位置处改变参考层的重构画面的位置。
如果生成参考层列表，则编码设备可使用参考画面列表中的参考画面，来对当前编码目标画面进行运动估计和运动补偿(S540)。
编码设备可通过传统帧间预测方法使用参考画面列表中的参考画面来对当前编码目标画面进行运动估计和运动补偿。
图6是图示了根据本发明实施例的在解码设备中进行上层解码的方法的流程图。根据本发明的解码设备支持至少一个或多个可伸缩性(例如，空间、质量、和视图可伸缩性)，并在支持多层结构的视频架构中进行上层解码。
参考图6，解码设备首先配置可由当前解码目标画面参考的层的列表(S610)。
如果比特流支持至少一个或多个可伸缩性(例如，空间、质量、和视图可伸缩性)，则根据本发明实施例的解码设备可配置用于至少一个或多个层的参考层列表。可使用由此配置的参考层列表，用于解码当前解码目标画面。
解码设备可使用视频参数集中包括的、用信号传送的当前解码目标层的参考层信息，如下配置参考层列表。
根据本发明的实施例，解码设备可配置整个比特流中和当前解码目标层相同的层可参考的参考层列表。该参考层列表被使用用于属于和当前解码目标画面所属的层相同的层的重构画面，并可基于视频参数集中用信号传送的当前解码目标层的参考层信息来配置。
例如，解码设备可配置具有用信号传送的nuh_layer_id[i]值之中的、和当前解码目标画面所属的层具有相同nuh_layer_id值的层的参考层(ref_layer_id)的参考层列表，如表格1中所示。
在使用用信号传送的参考层信息配置参考层列表时，可通过以下方法之一来确定该列表中的参考层的顺序。
首先，可按照在表格1和2中用信号传送的顺序来配置参考层。
或者，解码设备可从与解码目标层的layer_id具有最小差别的层(即，最接近层)按照升序来配置参考层列表。
或者，解码设备可从具有最高优先级的层按照降序来配置空间质量参考层列表。
这时，可在NAL单元报头或视频参数集中用信号传送与优先级相关的信息。
或者，解码设备可从和当前解码目标层具有相同视图的参考层之中、与当前解码目标层的空间分辨率具有最小差的层起按照升序来配置来配置空间质量参考层列表。
这时，当具有相同空间分辨率时，可从与当前解码目标层的layer_id具有最小差的层(即，最接近层)起按照升序来配置质量参考层。
另外，这些层可按照远离与当前解码目标层的视图最接近的视图的顺序被包括在参考层列表中。当具有相同视图时，参考层可按照与和当前解码目标层具有相同视图的层相同的方式、被包括在参考层列表中。
例如，在图4中图示的比特流架构中，可按照其layer_id为n-1、n-2、n-3、n-4、n-5、n-6、n-7、n-8、n-9、n-10和n-11的层的顺序，来配置它们的layer_id为n的层的参考层列表。
或者，在和当前解码目标层具有相同视图的层之中，可从与当前解码目标层的空间分辨率具有最小差的层起按照升序来配置这些层。这时，当具有相同空间分辨率时，可从要解码的具有最低量化参数的层起按照升序(即，从解码时具有最好画面质量的层起按照降序)来配置质量参考层。
另外，这些层可按照远离与当前解码目标层的视图最接近的视图的顺序被包括在参考层列表中，并且当具有相同视图时，可按照上述与和当前解码目标层具有相同视图的层相同的方式，将这些层包括在参考层列表中。
根据本发明的另一实施例，解码设备可配置要当前解码的画面的当前解码目标层(或片段)可参考的参考层列表，并且可使用配置的参考层列表用于解码当前解码目标层。
解码设备可使用在当前解码目标层的片段报头中用信号传送的参考层信息，来配置参考层列表。
即使当当前解码目标画面由一个或多个片段构成时，也可在片段报头中用信号传送相同参考层信息，并且这些片段可具有彼此不同的参考层信息。
解码设备可基于根据表格3到24的任一个用信号传送的信息来配置参考层的参考层列表。
这时，片段报头中用信号传送的参考层可以是整个比特流中与当前解码目标层相同的层可参考的参考层的子集。
例如，片段报头中用信号传送的参考层可以是视频参数集中用信号传送的与当前解码目标层相同的层可参考的参考层列表的子集。
在使用通过利用信令信息用信号传送或导出的参考层信息(ref_layer_id)配置参考层列表时，可按照各种方式来配置参考层列表中的参考层的顺序，如下。
首先，解码设备可按照根据表格3到24的任一个用信号传送的顺序，在参考层列表中添加参考层。
或者，解码设备可从参考层的layer_id和解码目标层具有最小差的层(即，最接近层)起按照升序，来配置空间质量参考层列表。
或者，可从参考层之中具有最高优先级的层起按照降序来配置参考层列表。
这时，与优先级相关的信息可用信号传送，包括在NAL单元报头或视频参数集中。
或者，当与当前解码目标层具有相同视图时，可从与当前解码目标层的空间分辨率具有最小差的层起按照升序来配置参考层列表。这时，当具有相同空间分辨率时，可从layer_id和当前解码目标层具有最小差的层(即，最接近层)起按照升序来配置质量参考层。
在这样的情况下，另外，这些层可按照远离与当前解码目标层的视图最接近的视图的顺序被包括在参考层列表中，并且当具有相同视图时，这些层可按照上述与和当前解码目标层具有相同视图的层相同的方式被包括在参考层列表中。
例如，在图4中示出的比特流架构中，其layer_id为n的层的参考层列表可按照其layer_id为n-1、n-2、n-3、n-4、n-5、n-6、n-7、n-8、n-9、n-10和n-11的层的顺序来配置。
或者，在和当前解码目标层具有相同视图的层之中，可从空间分辨率与当前解码目标层具有最小差的层按照升序，来配置参考层列表。这时，当具有相同空间分辨率时，质量参考层可以从要解码的最低量化参数起按照升序来配置(即，从解码时具有最好质量的层起按照降序)。
在这样的情况下，另外，这些层可按照远离与当前解码目标层的视图最接近的视图的顺序而被包括在参考层列表中，并且当具有相同视图时，这些层可按照上述与和该当前解码目标层具有相同视图的层相同的方式，被包括在参考层列表中。可使用配置的参考层列表用于解码片段。
可针对整个比特流来限制可参考的层的最大数目，并且这可在例如视频参数集、序列参数集、或片段报头中用信号传送，并且可根据分布图或级别来给出限制。
如果存在关于配置的参考层列表的附加信令(例如，诸如片段报头的高级别信令)，则解码设备可根据该信令表达什么，而改变列表中的顺序。
接下来，解码设备配置参考画面集，该参考画面集包括参考层的重构画面，并且指示用于当前解码目标画面的帧间预测的参考画面类型(S620)。
解码设备可配置包括参考层的重构画面的参考画面集，并标记用于当前解码目标画面的帧间预测的参考画面类型。
即，解码设备配置参考层列表中包括的画面所构成的参考画面集(第一集合)。这时，验证参考层列表中包括的画面是否可用作重构画面，并且如果可用，则将重构画面包括在参考画面集中，并且如果不可用，则可利用“非参考画面”来标记重构的画面。
第一集合可被标记为“用于长期参考”，使得在当前解码目标画面的帧间预测时，其能被处置为长期参考画面。
除了由第一集合(即，参考层列表)中包括的画面构成的参考画面集之外，解码设备可如下配置各种参考画面集。
使用参考画面集用于当前解码目标画面的帧间预测，并且参考画面集可包括用于当前解码目标画面的帧间预测并且比当前解码目标画面较早显示的短期参考画面(第二集合)、用于当前解码目标画面的帧间预测并且在当前解码目标画面之后显示的短期参考画面(第三集合)、用于当前解码目标画面的帧间预测的长期参考画面(第四集合)、用于可在当前解码目标画面之后解码的画面的短期参考画面、以及用于可在当前解码目标画面之后解码的画面的长期参考画面(第六集合)。
其后，解码设备根据参考画面集和参考画面类型来生成参考画面列表(S630)。
解码设备可根据参考画面集和参考画面类型，来生成当前解码目标画面的参考画面列表。即，解码设备可通过将第一集合与第二集合到第四集合组合，来生成参考画面列表。
例如，当生成当前解码目标画面的参考画面列表时，解码设备可通过将由第一集合中包括的参考画面列表构成的参考画面集添加到由包括和当前解码目标画面相同的层的画面的参考画面集构成的帧间参考画面列表L0和L1，来生成最终参考画面列表。
在该情况下，当生成参考画面列表时，可将参考层的重构画面添加到固定位置，并且参考层的重构画面的位置可为了有效编码而改变。
如果只要生成参考画面列表就将参考层的重构画面添加到固定位置，则生成列表L0时，就可从最后或第一(ref_idx＝0)或第二(ref_idx＝1)位置添加第一集合。
如果将参考层添加到列表L0中的中间位置，则位于该位置或其随后位置处的画面的列表中的索引可增加参考层的数目(由参考层列表构成的参考画面的数目)。
或者，解码设备在生成列表L0时，可用来自第一(ref_idx＝0)或第二(ref_idx＝1)位置的第一集合来替换与由参考层列表构成的参考画面的数目一样多的参考画面。
或者，解码设备可在生成列表L0时添加来自任何信令位置的第一集合。这时，如果将第一集合添加到该列表的中间位置，则位于该位置或其随后位置处的画面的列表中的索引可增加所添加的参考层的数目(由参考层列表构成的参考画面的数目)
解码设备在生成列表L0时可用来自任何信令位置的第一集合来替换与由参考层列表构成的参考画面的数目一样多的参考画面。
解码设备可在生成列表L0时将第一集合中包括的每一画面添加到彼此不同的任何位置。这时，位于该位置及其随后位置处的画面的列表中的索引可增加所添加的参考层的数目(由参考层列表构成的参考画面的数目)。
解码设备可在生成列表L0时用第一集合中包括的每一画面替换位于彼此不同的任何位置的参考画面。
或者，解码设备可在生成列表L1时将第一集合添加到最后或第一(ref_idx＝0)或第二(ref_idx＝1)位置。
如果将参考层添加到列表L1的中间位置，则位于该位置或其随后位置处的画面的列表中的索引可增加所添加的参考层的数目(由参考层列表构成的参考画面的数目)。
或者，解码设备可在生成列表L1时用来自第一(ref_idx＝0)或第二(ref_idx＝1)位置的第一集合来替换与由参考层列表构成的参考画面的数目一样多的参考画面。
解码设备可在生成列表L1时将第一集合添加到任何信令位置。这时，如果将第一集合添加到列表中的中间位置，则可将位于该位置及其随后位置处的画面的列表中的索引增加所添加的参考层的数目(由参考层列表构成的参考画面的数目)。
解码设备可在生成列表L1时用来自任何信令位置的第一集合来替换与由参考层列表构成的参考画面的数目一样多的参考画面。
解码设备可在生成列表L1时将第一集合中包括的每一画面添加到彼此不同的任何位置。这时，位于该位置及其随后位置处的画面的列表中的索引被增加所添加的参考层的数目(由参考层列表构成的参考画面的数目)。
解码设备可在生成列表L1时用第一集合中包括的每一画面替换位于彼此不同的任何位置处的参考画面。
其间，如果在生成参考层列表之后，为了附加有效编码而改变参考层的重构画面的位置，则可使用可在片段报头或画面参数集中包括的编码参数，以将该参考层的重构画面的位置改变为任何位置。
如果生成参考层列表，则可使用参考画面列表中的参考画面来对当前解码目标画面执行运动估计和运动补偿(S640)。
如果当前层的当前解码目标块经受帧间预测，则解码设备可通过使用参考画面列表中的参考画面来对当前解码目标块进行运动补偿。
图7是图示了根据本发明实施例的画面解码设备的框图。
如图示的，解码设备包括用于解析画面信息的解析模块710和用于使用画面信息预测当前画面的解码单元720。
解析模块710接收并解析关于整个比特流中当前层可参考的参考层的层依赖性信息，并且如果使用层间预测用于解码当前层中的当前画面，则接收并解析参考层的当前画面所参考的参考层的层信息。
层依赖性信息可被接收、被包括在视频参数集扩展中。
其间，关于当前画面所参考的参考层的层信息是关于当前画面可参考的参考画面的层的ID的信息，并且层信息可被包括在片段报头中。
这时，可基于层依赖性信息来导出整个比特流中当前层可参考的参考层的数目。
如果导出的参考层的数目大于0，则解析模块710可接收和解析指示是否使用层间预测用于解码当前层中的当前画面的标志信息。
如果标志信息为1，参考层的数目大于1，并且整个比特流中包括的所有层不使用一个参考层，则解析模块710可接收和解析关于层间参考画面的数目的信息，该信息可规定为了当前画面的层间预测可使用的层间参考画面的数目。
层间参考画面的数目可被规定为关于层间参考画面的数目的信息加一。即，可用信号传送关于层间参考画面的数目的信息作为层间参考画面的数目减一。
这时，仅当参考层的数目与层间参考画面的数目不相同时，可接收层信息。
解码单元720可基于层信息来解码当前画面。
图8是图示了根据本发明实施例的画面解码设备的解码方法的流程图。
首先，解码设备接收并解析整个比特流中当前层可参考的参考层的层依赖性信息(S810)。
层依赖性信息可被接收、被包括在视频参数集扩展中。
其后，解码设备基于层依赖性信息获得整个比特流中当前层可参考的参考层的数目(S820)。
如果参考层的数目大于0，则解码设备可接收和解析指示是否使用层间预测用于解码当前层中的当前画面的标志信息(S830)。
如果标志信息为1，参考层的数目大于1，并且整个比特流中包括的所有层不使用至多一个参考层，则解码设备可接收和解析关于层间参考画面的数目的信息，该信息规定为了当前画面的层间预测可使用的层间参考画面的数目(S840)。
层间参考画面的数目可利用用信号传送的层间参考画面信息的值来规定，或者可被规定为关于层间参考画面的数目的信息加一。
如果步骤S820导出的参考层的数目与步骤S840标识的层间参考画面的数目不相同(S850)，则解码设备接收并解析关于参考层之中、当前画面所参考的参考层的层信息(S860)。
即，当使用层间预测用于解码当前层中的当前画面并且满足以上条件时，解码设备接收层信息。
层信息可以是关于当前画面可参考的参考画面的层的ID的信息，并且可被接收、被包括在比特流中的片段报头中。
如果获得层信息，则解码设备基于层信息来解码当前画面(S870)。
其间，如果参考层的数目与层间参考画面的数目相同，则基于VPS中用信号传送的层依赖性信息来解码当前画面(S880)。
这样，根据本发明，提供了这样的画面编码/解码方法以及使用其的设备，其可通过有效生成和管理包括一个或多个参考层的参考画面列表，来增强编码/解码效率。
此外，存在这样的画面编码/解码方法以及使用其的设备，其可在生成参考画面列表时，调整参考画面列表中的参考层的重构画面的位置、以及参考层重构画面之间的顺序。
尽管在这些实施例中基于具有一连串步骤或块的流程图描述了这些方法，但是本发明不限于该顺序，并且可与其他步骤同时或者按照与其他步骤不同的次序来执行一些步骤。此外，本领域技术人员可理解，其他步骤可以被非排他性地包括在流程图的步骤中，或者可从流程图中去除一个或多个步骤，而不影响本发明的范围。
上述实施例包括示例的各个方面。尽管这里可以不描述示例的各个方面的所有可能组合，但是本领域技术人员将理解，这样的组合是可能的。因此，本发明包括可对所附权利要求进行的所有其他修改、变型或改变。