基于集群的依赖性信令的制作方法
【技术领域】
[0001] 本申请设及…，例如，在多层视频编码的领域中。
【背景技术】
[0002] 视频编解码器规范(例如，皿VC基础规范【1】及其扩展，例如，多视图扩展【2】【3】） 通常获得机构，用于在分层编码场景中信令视频数据的每个编码块所属的层。信令机构需 要随时可用，比较在图1中的表格中提供的肥VC中的den NAL单元报头(nuh_laye;r_id)内的 层标识符。
[0003] 由于其在位方面的尺寸有限，所W相应HEV打吾法元素允许64个值用于识别可扩展 层、视图和/或深度。对于使用当前肥VC NAL单元报头语法的多视图视频，例如，运意味着64 个视图或32个视图加上深度的组合限制为最大。虽然运对于很多共同的立体视图场景和其 他应用充分，但是对于应用(例如，光场成像【4】、【5】或全息显示【6】)具有不止100个视图的 大型摄像头阵列需要可扩展机构，用于信令层标识符的更大空间。
[0004] 而且，通过其相对于彼此的编码依赖性或空间关系将某些层或视图分组，构成层 标识符的空间，可具有优点。进一步，由于在编码的视频位流内从已经可用的信息中获得运 种信息，需要无法容忍的计算资源，所W在构成的层标识符空间内提供编码依赖性的紧凑 表示，也具有优点。
【发明内容】
[0005] 因此，本申请的目标在于，提供用于与多层编码相结合信令…的概念，运在(例如） 更小的边信息开销和/或改进的向后兼容性方面更有效。由即将发生的独立权利要求的主 题实现运个目标。
[0006] 本申请的一个方面设及在多层数据流的层之间的层间依赖性的信号作用。根据该 方面，通过表示在基础层ID能表示的几对不同值之间的相互依赖性的第一相互依赖性语法 结构W及表示在扩展层ID能表示的几对不同值之间的相互依赖性的第二相互依赖性语法 结构的方式描述层间依赖性，发现在一方面的层间依赖性的潜在多样性的太密集限制与另 一方面的层间依赖性的太复杂信令之间的良好折衷，所述基础层ID和扩展层ID索引与所述 多层数据流的部分相关联的层。根据该概念，可在一方面的可信令层间依赖性的增加的多 样性与另一方面的用于信令所述层间依赖性的减小的边信息开销之间转移重点：例如，分 别调用具有共同的基础层ID的层的组，即，"集群"，所述相同的第二相互依赖性语法结构可 用于单独在所有集群内并且在通过所述第一相互依赖性语法结构彼此相关的所有集群之 间调节所述相互依赖性。可替换地，所述第二相互依赖性语法结构的两个实例化可用于描 述一方面在所述集群内并且另一方面在不同集群的层之间的层的相互依赖性。无论是将重 点放在增加的多样性还是减小的边信息开销上，所述相互依赖性信令理念的结果是保持低 信令开销。
[0007] 本申请的一个方面设及与多层视频信号的每个数据包相关联的层ID的信令。具体 而言，运方面实现信令该层关联的有效方法，然而，与编码解码器保持向后兼容性，根据该 向后兼容性，基础层ID字段的某个值限制为不可扩展，例如，在基础层ID字段内的基础层ID 值0。并非特别相对于该不可扩展的基础层ID值避开该限制，通过将基础层ID字段细分成第 一子字段和第二子字段，通过可扩展的方式信令多层数据流的部分的层ID:每当基础层ID 字段的第一子字段满足预定标准，提供扩展层ID字段，并且如果基础层ID字段的第一子字 段不满足预定标准，那么省略扩展层ID字段。上述不可扩展基础层ID值"隐藏"在运组基础 层ID值内，其中，基础层ID字段的第一子字段不满足预定标准，因此，运个不可扩展基础层 ID值不单独处理，而是擅染前一个组的一部分。确切地说，如果基础层ID字段的第一子字段 满足预定标准，那么从在多层数据流内信令的扩展层ID字段中获得扩展值，W便运同样位 于扩展值的域的第一子集内，并且如果基础层ID字段的第一子字段不满足预定标准，那么 该扩展值设置为与扩展值的域的第一子集不相交的值。然后，使用扩展值W及从基础层ID 字段的第二子字段中获得的集群值，索引与相应部分相关联的层。总而言之，尽管保持向后 兼容性，也未丧失信令效率。
[0008] 本申请的一个方面设及用于多层视频信号的层的至少一个特征的信令(例如，对 于每层，通过层间预测与相应层直接相关的相关层的指示）或者上述第二相互依赖性语法 结构的信令。根据该方面，在多层视频信号内信令最大语法元素，W指示多层视频信号的数 据包的扩展层ID字段的最大使用值，例如，最大语法元素的范围是(例如)延伸穿过多层视 频信号的几个部分的多层视频信号的预定部分。因此，根据该方面，对于接收多层视频信号 的装置(例如，解码器或网络元件），可行的是为多层视频信号的较大预定部分获得关于扩 展层ID字段可信令的可能值的可能域的实际消耗部分的知识，并且不需要为基础层ID字段 值和扩展层ID字段值的每个组合信令至少一个特征，更确切地说，足W为基于最大假定值 确定的最大层数信令所述至少一个特征。因此，不需要为具有层ID的层传输/信令所述至少 一个特征，所述层的扩展层ID不在多层视频信号的预定部分内发生。除此W外，根据进一步 实施方式，最大假定值的知识可用于减少用于信令每个部分的层ID的边信息开销，即，用于 减少在多层视频信号的数据包内信令扩展层ID字段所需要的位。
【附图说明】
[0009] 上述方面可组合或者单独使用，并且上述方面的优选实现方式是从属权利要求的 主题并且稍后参照附图讨论，其中：
[0010]图1示出了在肥VC内的NAL单元报头的语法；
[0011] 图2示意性示出了包括多层视频编码器、网络元件W及多层视频解码器的环境，其 中，多层视频编码器、网络元件W及多层视频解码器可由在W下附图中描述的概念的任何 概念或任何组合改进；
[0012] 图3示意性示出了网络装置W及通过逐个集群的方式在到达网络装置的多层数据 流内信令层相互依赖性的概念；
[0013] 图4示意性示出了根据图3的概念信令层间依赖性的方式；
[0014] 图5示意性示出了在使用图3的信令理念的情况下获得层间依赖性的更具体的实 例；
[0015] 图6通过示出通过指示层ID扩展的语法元素扩展的一部分薄片段报头来示出薄片 段报头的肥V打吾法的可能扩展；
[0016] 图7示出了示例性扩展为实现图3的信令理念的VI^语法的实例；
[0017] 图8到图10示出了图7的实例的替换物；
[0018] 图11示意性示出了用于设置本申请的进一步概念的装置，根据该概念，在数据流 内信令扩展层ID字段的最大假定值；
[0019] 图12示意性示出了图11的概念；
[0020] 图13示出了在扩展为包括扩展层ID字段的肥VC的薄片段报头之中的部分的实例； [0021 ]图14示出了扩展为包括语法元素的VPS语法的实例，W便表示图13的扩展层ID字 段的长度；
[0022] 图15示出了扩展为包括表示扩展层ID字段的最大值的语法元素的VPS语法的实 例；
[0023] 图16a到16c示出了扩展为包括扩展层ID字段的在SEI扩展、SPS语法或PPS语法的 语法结构之中的部分的实例；
[0024] 图17示出了关于在视频数据流内的层的VPS语法信令信息的实例，根据相对于图 11和12解释的最大假定值，循环穿过其语法部分多次；
[0025] 图18示出了根据特定实例例证在扩展层ID字段、基础层ID字段与层ID之间的关系 的示意图，具体而言，使用laye;r_W_ext表示扩展层ID字段，使用nuh_laye;r_id表示基础层 ID字段，并且使用layer ID表示层ID，并且扩展层ID字段的能表示值的数量由max_laye;r_ id_ext(加上1)表示，通过将扩展长度设置为等于2,将扩展层ID字段的长度选择为2,该数 量在此处例证地设置为3;
[0026] 图19示出了扩展为包括扩展层ID字段的在薄片段报头之中的部分的实例；
[0027] 图20a示出了扩展为包括表示基础层ID字段的子字段的长度的语法元素的VPS语 法的实例；
[0028] 图20b示出了修改为有条件地明确信令扩展层ID字段的在薄片段报头之中的部分 的实例；W及
[0029] 图21示出了说明根据图18的概念使用实现的关系获得层ID的网络装置的功能的 流程图。
【具体实施方式】
[0030] 在描述本申请的某些实施方式之前，参照图2,描述示例性多层视频编解码器环 境，其中，可有利地使用下面概述的实施方式和方面。虽然示例性多层视频编解码器环境的 运个概述不理解为限制下面进一步概述的实施方式，但是相对于W下附图示例性提供的细 节和功能被视为描述下面进一步概述的实施方式的大量可能扩展，W便产生更详细的实施 方式。在任何情况下，在后文中提出的说明性多层视频编解码器环境使得更容易理解下面 概述的实施方式的优点。
[0031] 图2说明性示出了在其输入处接收视频材料202的多层视频编码器200。仅仅为了 说明的目的，视频材料202说明为多视图视频信号，传输多个视图的每个视图的视频数据， 例如，视频的每个图片的纹理和深度。一般而言，视频材料202能表示一个场景的多维取样。 一个维度可能是时间t。即，视频材料202在时间上给该场景取样，从而为每个时刻产生一个 图片。而且，可从不同的视角捕捉该场景，从而在每个时刻为每个视图产生一个视频或者为 每个视图产生一个图片。进一步，除了场景的纹理的空间取样，即，场景的颜色的空间取样， 视频材料202还为每个视图或者视图的每个子集提供场景的深度图，用于相应的视图。例 如，图2在使用阴影线说明的深度图与没有阴影线绘制的纹理图或图像之间区分。然而，应 注意的是，应注意的是，下面进一步概述的实施方式都不限于运种多视图材料。确切地说， 提供在图2中的说明，仅仅为了减轻下面提出的描述。
[0032] 多层视频编码器200配置为将视频材料202编码入多层数据流或者视频信号204。 具体而言，多层视频编码器200使用层间预测在对应于信息量的不同等级的不同层上将视 频材料编码入多层数据流204。运表示W下内容。多层视频编码器200生成多层数据流，W便 多层数据流包括多个数据包206,每个数据包与不同层中的一层相关联。例如，多层视频编 码器200将视频材料202的信息量的某个基础等级编码入某个基础层的数据包206,例如，仅 仅一个视图的纹理等。例如，从在每个数据包206内的层识别语法元素结构208中可获得数 据包206与各种层中的任何层的关联，其中，例如，层识别语法元素结构208可包含在相应数 据包206的报头210内。例如，为了说明的目的，数字1、2W及3显示为刻入数据包206内，从而 分别使用层ID 1、2W及3说明层。在运些层之中，例如，具有层IDl的层可形成最低或者基础 层，提供信息量的基础等级。其他层的数据包206可仅仅在一个或多个或各种信息类型的方 面提高在基础层的数据包206上可用的信息量。例如，除了在基础或参考层的数据包206内 已经编码的视图，某个层的数据包206还可具有在其内编码的进一步视图。可替换地，某个 层的数据包206可具有关于视频材料202的场景的深度信息，例如，示图的深度信息，该信息 的纹理已经编码入可能是任何更低层的基础或者(更具体而言）参考层的数据包。同样，表 面反射率信息可编码入进一步层的数据包，即，相对于在该场景内的对象的表面反射率的 场景的空间取样，与照明环境无关。并且甚至进一步地，阿尔法(alpha)混合信息可编码入 进一步层的数据包，即，对应于单独图片样本的场景点的透明度的空间取样。某个层的数据 包206还可在某个颜色分量上增加信息，或者可增大空间分辨率，即，提供空间分辨率细化。 同样，某个层的数据包206可仅仅提供SNR分辨率细化，即，提高编码的视频材料的信噪比。 为了就各种层而言，在多层数据流204内避免冗余，多层视频编码器200使用层间预测：即， 某个层的数据包206相对于从一个或多个其他层(相对于前一层称为参考层）中获得的层间 预测在其内编码预测残差。层间预测可应用于不同的实体中，例如，描述视频材料202的语 法元素和参数。例如，描述由某个层的数据包206传输的预测残差可校正逐个像素地在空间 域内从所述一个或多个参考层中获得的层间预测。可替换地，例如，多层视频编码器200可 使用变换残差编码，并且例如，可在变换域(例如，DCT域）中逐个变换系数地发生层间预测 校正。可替换地或者此外，多层视频编码器200可能是使用空间和/或时间预测的混合视频 编解码器型，并且例如，此外或者可替换地，层间预测可属于运动向量的细化。甚至进一步 地，多层视频编码器200可使用分层多树细分，W便将视频材料202的图片细分成:编码块， W所述编码块为单位，应用不同的预测模式，例如，空间和时间预测;变换块，W所述变换块 为单位，在预测残差上执行上述变换;和/或其他块体，W所述其他块体为单位，设置某些编 码参数，用于编码视频材料202,而非重新为进一步层信令细分信息，可从所述一个或多个 基础层中的任一个中完全采用所述细分，或者可信令相对于该细分信息的细化。
[0033] 通过在层之中的层间依赖性，多层视频信号204的层通过树212的分支彼此相关， 所述树的节点由上述层形成。为了传输关于在层之中的层间依赖性的信息，即，使关于层间 依赖性树212的信息在解码侧上可用，多层视频信号204可具有编码入该信号的关于该信号 的信息。
[0034] 在图2中，例如，说明多层视频编码器200在视频数据流204内点缀包括或者传输信 息214的高级语法数据包216。信息214可包括层间依赖性语法结构，W便描述在树212内的 层间依赖性。
[0035] 然而，关于树212的信息可在编码器和解码器上可替换地默认已知或者可重构。因 此，此外或者可替换地，层相关的信息214可包括与某个层ID扩展机构相关的信息。具体而 言，虽然对于很多应用，中等数量的层足W形成多层视频信号204,但是一些其他应用可经 受层识别语法元素结构208可信令的太少数量的层。换言之，构成层识别语法元素结构208， W便对需要运种大量层的那些应用，运也会容纳大量层，在考虑应用的整体多重性时，会不 利地造成高边信息开销，并且解释层识别语法元素结构208, W便运同样仅仅容纳中等数量 的层，运会拒绝其他应用由位于数据流204之下的多层视频编解码器充分支持。因此，可使 用某个扩展机构，W便能够在层识别语法元素结构208仅仅容纳较低的中等数量的层的数 据流204的模式与层识别语法元素结构甚至容纳大量层的模式之间切换，并且信息214可另 外或者可替换地参与在运些模式之间切换。
[0036] 虽然高级语法数据包216的效力范围可包含整个多层视频信号204,但是数据包 216所属的预定部分也可能更小，例如，预定部分可与多层视频信号204在时间上分成的块 体相关，每个块体是图片序列。例如，使用DASH或另一个合适的流协议，多层视频编码器200 可能W刚刚提及预定部分为单位，改变编码入位流204的层数、具有树结构212的形式的层 间依赖性和/或相对于层识别语法元素结构208在扩展或非扩展之间的切换。在任何情况 下，定期传输高级语法数据包216使接收者能够在随机访问的基础上具有多个随机访问时 间实例，W开始在其间解码多层视频信号214。
[0037] 图2还示例性示出了用于接收多层数据流的装置。例如，可选的网络元件218接收 并且处理多层视频数据流204，W便将该数据流转发给多层视频数据流204的接收者。因此， 图2还示出了配置为解码多层视频数据流204的多层视频解码器220。运两个实体（即，网络 元件218和多层视频解