码器220)形成用于处理多层数据流204的装置的实例。
[0038] 网络元件218不需要能够使用在其各自层之间的层间预测解码多层数据流204。尽 管如此，都需要通知网络元件218和多层视频解码器220(即，接收者）与所述各种层W及由 树21限定的在其间的层间依赖性相关联的数据包206。例如，网络元件218丢弃与层相关联 的数据流204的数据包206,其中，例如，由于在链路内的比特率缺点，即，接收者不能再现额 外信息量等，所W分别在网络元件218与多层视频解码器220之间的进一步链路内初步不需 要所提供的额外信息量。同样，多层视频解码器220还可决定丢弃响应于外部参数(例如，当 前可用的计算功率）、再现装置的显示性能(例如，空间分辨率）、最大数量的输入视图等的 某些层的一些数据包206。即，装置218/220能够读取数据包206的层识别语法元素结构208， 并且如果存在的话，那么能够从信息214中获得在层之间的层间依赖性，和/或能够相对于 响应于信息214的层识别语法元素结构208,在扩展模式或非扩展模式之间切换，和/或能够 从信息214中相对于层读取其他特征。
[0039] 除此W外，多层视频解码器220能够通过收集和使用与该层W及通过帖间预测依 赖性与该层相关的所有层相关联的数据包206的信息，从入站数据流204中重构视频材料 202,直到某个等级(参照树结构212)。即，如上所述，多层视频解码器220可使用某个层的数 据包206,作为相对于多层视频解码器220从该层的一个或多个参考层的数据包206中获得 的层间预测的预测残差。在运方面，如上所述，多层视频解码器220还可能是使用变换残差 解码、混合视频解码、分层多树细分和/或其他编码概念的解码器。
[0040] 仅仅为了完整性，图2示出了可示例性提供多层视频编码器200和数据流204, W便 数据包206通过运种方式包含在数据流204内，W便属于不同时间实例或图片的数据包206 不彼此交错，W便在每个时刻形成连续访问单元222,每个访问单元收集属于该访问单元 222的相应时刻的数据包206, W便在该访问单元222之前或之后，属于任何其他时刻的数据 包206在数据流204内。然而，应注意的是，选择该限制，仅仅用于说明的目的，并且可替换地 选择在数据流204内的数据包206的更松弛的设置。
[0041] 在下文中，更详细地描述根据树结构212信令层间依赖性的可能性。如上所述，信 息214可包括该信令。根据该可能性，所述层分成集群。在数据流内，单独信令在一方面是集 群并且另一方面是在集群内的层之中的层间依赖性。在运范围内，下面提出的描述表示实 现图2的信息214的可能性，W便信令层间依赖性212,但是如上所述，在后文中相对于图3描 述的细节不应限于在图2中陈述的细节。确切地说，图2应被视为相对于图3的描述的可能实 现储层。
[0042] 图3示出了网络装置18,该装置可W是图2的网络元件218或多层视频解码器220， 并且多层数据流10同样配置为处理(例如）图2的数据流204。
[0043] 图3示出了多层数据流10,在由层ID IID识别的不同层上将视频材料编码入多层 数据流。每层对应于信息量的不同等级。已经相对于2讨论了在运方面的可能性，但是为了 更容易理解，人们可考虑每层给数据流10增加某个视图。然而，运并非表示限于图3的描述。 可替换地，每层可对应于信息量的不同测度的组合，例如，多个视图和空间分辨率等。
[0044] 因此，多层数据流10由多个数据包12构成，所述数据包可示例性对应于图2的数据 包206。运种数据包12(或206)可能是子流，例如，所述子流允许波前并行处理编码入视频信 号10的单独图片，所述子流可反过来由更小的单元构成，例如，NAL单元、薄片等。然而，同时 主张图2和图3的数据包12或数据包206也可能是NAL单元、薄片或其他单元。
[0045] 每个数据包12与不同层中的一个相关联，并且为了减少多层数据流10的位消耗， 使用层间预测，W便每个数据包12仅仅将"残差"加入数据流10的更低层的某个子集的数据 包中。如在14中所示，对于每层，由小圆点说明"更低层"。
[0046] 根据在图3中示出的实施方式，如下面更详细地所描述的并且使用连续线路16在 图中所说明的，可限制层间预测依赖性。具体而言，如在下面所描述的，由两个值的串联形 成层ID。具体而言，接收多层数据流10的网络装置对每个数据包12读取使用在图2中的参考 符号208表示的层ID语法结构，但是在此处由基础层ID字段20W及有条件地(例如，有条件 地根据基础层ID字段或高级语法元素打开和关闭扩展机构)扩展层ID字段22构成。示例性 地，在图中仅仅示出了具有运两个字段的数据包12。但是如上所述，基础层ID字段20的一个 或多个值可信令相应数据包12的字段22的不存在。例如，整个扩展功能可W通过在数据流 内的扩展标志在数据流内打开/关闭，并且需要或者不需要扩展层ID字段的可能条件可能 在于，如上所述，基础层ID字段是0，是或者具有设置或未设置的某个位，或者采用在字段20 或者具有大于或小于某个值的值的基础层ID字段的子部分内的某个值。下面陈述进一步实 例。
[0047] 基于层ID语法结构20和22,网络装置18获得识别与相应数据包12相关联的层的层 ID，即，1ID。下面描述不同的可能性。网络装置18也从多层数据流10中读取包含(例如)上述 (1^6(31：_(1邱日]1(1日]1巧_'1日旨的第一相互依赖性语法结构^及包含（例如）下面表示的(1山日(31：_ ext_dependency_f lag和/或旨日11日^1_(1^日。1:_日^;1:_(1邱日]1(1日]1巧_;1^1日旨的第二相互依赖性语 法结构。第一相互依赖性语法结构通过二进制的方式表示在基础层ID字段20能表示的几对 不同值之间的相互依赖性，而第二相互依赖性语法结构通过二进制的方式表示在扩展层ID 字段能表示的几对不同值之间的相互依赖性。基于运两个相互依赖性语法结构，然后，网络 装置18形成显示在不同层之间的层间预测依赖性的层间依赖性矩阵，例如，在图中的14中 描述的矩阵。下面使用伪码说明可进行导出的方式，所述伪码使用设及第一和第二相互依 赖性语法结构的接下来的循环，并且还相对于W下示图解释该方式。然而，应注意的是，所 述信令的层间预测依赖性不需要实际上用于数据流内。确切地说，可能的层间预测依赖性 的信令用于指导解码器或其他网络装置采用必要的步骤，相关的数据包按照合适的顺序可 用，即，在参考数据包之前其他数据包根据层间预测依赖性参考的数据包。
[0048] 从下面的描述中显而易见，可执行层间依赖性矩阵14的构造，W便第二相互依赖 性语法结构应用于所有实例中，其中，层间依赖性矩阵14与在从在基础层ID字段20内的相 同值中获得的并且从而与该值相关联的层ID的层之间的层间预测依赖性相关。根据下面也 更详细地描述的另一个实施方式，第二相互依赖性语法结构从位流10中读取并且在位流内 传输几次，例如，单独用于基础层ID字段20的每个可能值或者用于基础层ID字段20的可能 值的子集，同时使用索引，例如，在下面提出的实例中使用included_nuh_layer_id，使第二 相互依赖性语法结构的各种实例化与基础层ID字段20的可能值相关联。在甚至其他实施方 式中，该结构概括为允许所有可能的层间预测依赖性，并且通过第二相互依赖性语法结构 可描述，即，通过为基础层ID字段的每对不同值传输该结构，其中，第一相互依赖性语法结 构表示相互依赖性存在。
[0049] 换言之，并且如进一步在图4中所述，图3提出了用于信令层间依赖性的实例，根据 该实例，单独的相互依赖性语法结构24和26用于通过分层的方式描述层间依赖性，在运两 个相互依赖性语法结构24和26的范围之间的界面与由在数据流的每个数据包内的字段20 和22提供的基础层ID和扩展层ID的范围之间的界面一致。由字段20和22提供的基础层ID和 扩展层I閲虫特地限定包括字段20和22的相应数据包的层ID。运组扩展层ID和基础层ID的组 合能表示的所有能表示的层ID在圆圈28内由圆点30表示。即，每个圆点30对应于不同的一 对基础层ID和扩展层ID。例如，层ID可能是基础层ID和扩展层ID的串联。仅仅使用字段20提 供的基础层ID，整组28层ID 30细分成层ID的不相交的组32,在下面称为集群32,其中，属于 某个集群32的所有层ID具有相同的基础层ID。如上面相对于图2所述，由于在图4中使用在 圆点30之间的虚线说明具有运些层间依赖性的层间预测，所W与层ID 30相关联的层通过 树状方式彼此链接。为了容易理解，仅仅在图4中说明实际的层间依赖性的子集。
[0050] 在任何情况下，通过第一相互依赖性语法结构24表示通过在运对第一集群32的层 与第二集群32的层之间的层间依赖性在两个集群32之间的链接。换言之，第一相互依赖性 语法结构24粗糖地或者按照集群的方式描述在层之间的相互依赖性。在图4中，使用在集群 32之间的连续线路说明运些相互依赖性。第一和第二集群32的所有对(其中，第一集群的至 少一层与在第二集群内的一个集群链接)互连，因此，在第一相互依赖性语法结构24中表 示。然后，第二相互依赖性语法结构26阐明表示为由第一相互依赖性语法结构24互连的几 对集群32中的哪些层实际上通过层间预测彼此相关。即，第二相互依赖性语法结构26阐明 细粒度相互依赖性。然而，第二相互依赖性语法结构26也单独限定在每个集群32内的层之 间的相互依赖性，即，在层之间的集群内依赖性。在图4中，例如，示出了6个集群32,从而产 生第二相互依赖性语法结构26调节在不同集群32的层之间的细粒度相互依赖性的可能15 对集群32加上第二相互依赖性语法结构26可在内部调节相互依赖性的6个集群。如上所述 并且如下面进一步所述，因此，最大可具有第二相互依赖性语法结构的1到21个实例化34， 良P，每个集群单独具有1个并且互连的每对集群32具有一个。显然，不需要为信令为通过第 一相互依赖性语法结构24不链接的几对集群32,信令第二相互依赖性语法结构26,从而保 存有价值的边信息比特率。应注意的是，在使用第二相互依赖性语法结构26, W便描述不同 的几对集群32的层的层间依赖性的情况下，对于所有集群32,每个集群32的层数应相等。如 果使用基础层ID和扩展层ID的串联描述层ID，那么运是运种情况。然而，应提及的是，在理 论上，集群32的层数可W在集群32之间变化。在运种情况下，例如，第二相互依赖性语法结 构26的单独实例化34会在数据流内为互连的每对集群32信令，并且会为每个集群尺寸传输 至少一个实例化34。
[0051] 例如，图3示出了通过将基础层ID用作最高有效数位并且将扩展层ID用作不太有 效数位来从基础层ID和扩展层ID中获得层ID的情况。图3还示出了一个实例化34用于描述 在一个集群内的层的层间依赖性并且另一个实例化34用于描述在不同集群的层之间的依 赖性的示例性情况。为了完整性，要注意的是，图3的矩阵14具有与层ID-样多的行和列。仅 仅填充在对角线之下的下半部分，运是因为任何层可仅仅通过层间预测取决于任何先前的 (即，分层次更低的）层。在图3的实例中，列数对应于层的层ID，通过使用层间预测，所述层 ID取决于进一步层，即，基础层，运些基础层由（例如）二进制层表示，而二进制零表示不参 与层间预测相应层的层，所述层的层ID对应于当前列。在该范围内，在图3的实施方式中，第 二相互依赖性语法结构26几乎描述矩阵14的子矩阵。
[0052] 如上所述，第一和第二相互依赖性语法结构24和26可由在高级数据包216内的信 息214包括（比较图2)。图5示出了一个实例，其中，第一相互依赖性语法结构24显示在36中 描述的层集群之间的相互依赖性。例如，具有基础层ID 2的集群取决于具有基础层ID 2和1 的集群。
[0053] 第二相互依赖性语法结构的第一实例化34也存在于数据流内，并且通过子矩阵38 的形式调节在图5中描述的层之间的集群内依赖性。进一步，根据图5的实例，数据流还包括 调节不同集群的层的逐层相互依赖性的第二相互依赖性语法结构26的实例化34。具体而 言，第二实例化可通过对于被参考集群的每个增强层ID具有一行并且对于参考集群的每个 增强层ID具有一列的子矩阵40描述在不同集群的层之间的依赖性。
[0054] 在图5的实例中，子矩阵38放在矩阵36表示在集群之间的相互依赖性的每个位置， 良P，其中，定位1，并且所述集群具有相同的基础层ID，即，位于矩阵36的对角线上的集群，并 且子矩阵40放在矩阵36通过"r表示在不同的基础层ID的集群之间的相互依赖性的位置。 在42中示出结果。
[0055] 应注意的是，通过矩阵(例如，矩阵42)描述层间依赖性，仅仅是用于描述层间依赖 性的一个实例。还可使用其他描述。矩阵36到40由第一和第二相互依赖性语法结构编码的 方式可如下:第一相互依赖性语法结构24可信令在对角线之下并且包括对角线的矩阵36的 每个系数的二进制值。表示矩阵38的第二相互依赖性语法结构26的实例化34可信令在对角 线之下并且不包括对角线的矩阵38的每个系数的二进制值。表示矩阵40的第二相互依赖性 语法结构26的实例化34可信令矩阵40的所有系数的二进制值。
[0056] 在描述关于如何信令层间依赖性的可能性之后，在后文中示例性提出更详细的实 现方式，作为肥VC标准的扩展。
[0057] 具体而言，层标识符集群和集群依赖性信令可如下嵌入现有编解码器内。
[005引两个语法元素 nuh_laye;r_id和laye;r_id_ext可用于基于性能（例如，彼此的空间 关系、编码依赖性或其他性能)将在视频位流内的编码层分组成所谓的集群。将层标识符构 造成集群，可允许在单独集群内具有相等构造的编码依赖性的集群，即，在所有限定的集群 内或者限定的集群的子集内的编码依赖性相同。如在图6中所述，可在集群内作为额外一组 依赖性标志信令依赖性并且组合所述依赖性和现有依赖性信令（比较在皿VC扩展的VPS扩 展内的(1山日(31:_(1巧日]1(1日]1。7_'1日旨），^确定特定层的参考层。
[0059] 等于0的direct_ext_dependency_f lag[ i ] [ j ]规定具有扩展索引j的层并非在相 同层集群内具有扩展索引i的层的直接参考层。等于1的direct_dependency_flag[i][j]规 定具有扩展索引j的层可能是在相同集群内具有扩展索引i的层的直接参考层。在对于在0 到（l<<laye;r_id_ext_len)-l的范围内的i和 j，不存在direct_ext_dependency_f lag[i] [j]时，推断出等于0。
[0060] 替换的语法可限制在具有 max_laye;r_id_ext 的 direct_ext_depencency_f lag 语 法元素之上的循环，W避免将编码依赖性信令给未使用的层标识符。
[0061] 可如下允许在集群内并且在集群之间的编码依赖性的更灵活的信令：
[0062] a)逐个集群地信令在集群内的编码依赖性；
[0063] b)限定多个集群依赖性组并且识别应用限定的集群依赖性的集群（例如，通过 nuh_layer_id);
[0064] C)通过信令在集群之间的第一依赖性并且信令在两个相关集群内的层的第二依 赖性的方式，分层信令依赖性；
[0065] d)组合b)和C)。因此，信令(signal) W下数据：
[0066] 1、在集群之间的依赖性(例如，几对参考和相关集群）；