用于处理数据流的网络实体的制作方法

用于处理数据流的网络实体
1.本技术是申请号为201910876391.6的中国专利申请的分案申请，其全部内容结合于此作为参考。
技术领域
2.本发明涉及诸如可缩放视频流的可缩放数据流，以及处理这种可缩放数据流的网络实体，诸如译码器或mane(媒体感知网络组件)。


背景技术：

3.从传输的角度来看，非常需要在时间或其它维度中调适视频位流，如在h.264/avc的标准化内已识别并且解决。将视频数据封装于网络抽象层(nal)单元中以及设计决策反映了此理解，该设计决策即：在视频位流外(在所谓的参数集中)示意许多重要但相当恒定的参数。h.264/avc的可缩放视频编码(svc)及多视图视频编码(mvc)扩展允许超出时间维度的调适，但h.264/avc的基本规范中扩充性的缺失导致用复杂方法以回溯兼容方式来扩展h.264/avc高阶语法。在h.264/avc及其扩展中，示意沿着可缩放性维度的操作点是通过nal单元报头扩展来完成，该nal单元报头扩展包括用于此目的的额外字节。相同信息由nal单元的所谓的前缀nal单元提供，该前缀nal单元含有纯h.264/avc视频数据并且构成所谓的基本层。针对增强层扩展经由基本层的序列参数集(sps)所提供的信息(其系由h.264/avc之扩展予以编码)的机构是经由所谓的子集序列参数集(ssps)建立的。
4.虽然hevc基本规范的发展仍在进行，但已进行朝着3d视频编码扩展的努力，来首先保证基本规范中的可扩展语法。基本规范中所谓的可缩放钩需要被小心设计成面向未来的(future-proof)。以下段落给出hevc高阶(hl)语法的当前状态以及目前所论述的概念的综述。
5.hevc标准化的当前状态如下：
6.在目前的hevc基本规范及3d扩展期间，众多参与者已提议如何自h.264/avc中所规定的hl语法继续前进。成果反映在该规范的当前工作草案以及个别参与者之众多贡献中。以下段落给出当前论述的综述。
7.如上所述，示意svc或mvc视频位流中在可缩放性维度内的操作点需要h.264/avc nal单元报头的(特定)扩展。此被视为不良的解决方案，其导致额外努力(例如，用来剖析多个不同的nal单元报头结构)并且需要前缀nal单元来示意基本层。因此，努力确保基本hevc nal单元报头语法足够通用，来满足基本规范的未来扩展的需要。
8.在如当前工作草案中的nal单元的语法中。当前一致意见是使用两个字节的nal单元报头。在第一个字节中，用一个位来示意nal_ref_flag，而不是h.264/avc中的nal_ref_idc的两个位，因为此hl特征还未在应用中广泛使用。语法元素nal_unit_type因此具有再一个位来示意nal单元的类型，其允许总共64个可区分类型。
9.nal单元报头的第二个字节被分成两部分，其中1c位用来示意nal单元之temporal_id，因为在基本规范中已启用时间可缩放性。第二个字节的剩余5个位在符合
hevc的位流内经保留为等于一。对使用剩余5个位的当前理解为，其可用来在未来扩展中示意例如layer_id语法元素的可缩放性识别符。
10.虽然如当前hevc基本规范中所定义的图片参数集(pps)及序列参数集相对而言类似于先前在h.264/avc中已规定的参数集，但两个新的参数集(称为调适参数集(aps)及视频参数集(vps))已引入至hevc，其中仅vps与本文件的内容有关。
11.视频参数集应该示意参数，诸如视频位流中存在的(例如时间)层级/层的数目以及里面的所有操作点的配置文件(profile)及层级(level)。将要示意的其它参数包括可缩放层之间的相依性，就好像其系在svc可缩放性信息sei消息中示意的一样。
12.以下关于nal单元和视频参数集语法的语义呈现额外的简要阐述。
13.profile_idc及level_idc指示已编码视频序列所符合的配置文件及层级。
14.max_temporal_layers_minus1+1规定序列中存在的时间层(temporal layer)的最大数目。max_temporal_layers_minus1的值应在0至7的范围内(包括0及7)。如下规定more_rbsp_data()。
[0015]-若rbsp中没有更多数据，则more_rbsp_data()的传回值等于假(false)。
[0016]-否则，搜寻rbsp数据以找到rbsp中存在的等于1的最后一个(最低有效，最右边)位。考虑到这个位的位置(其是rbsp_trailing_bits()语法结构的第一个位(rbsp_stop_one_bit))，以下适用。
[0017]-若rbsp中在rbsp_trailing_bits()语法结构之前有更多数据，则more_rbsp_data()之传回值等于真(true)。
[0018]-否则，more_rbsp_data()的传回值等于假。
[0019]
等于1的nal_ref_flag规定nal单元的内容含有序列参数集、图片参数集、调适参数集或参考图片的图块(slice)。
[0020]
对于符合附件10中所规定的配置文件中的一个或多个已编码视频序列(使用条款2至条款9中所规定的译码处理程序对其进行译码)，含有图块的nal单元的等于0的nal_ref_flag指示该图块是非参考图片的部分。
[0021]
对于序列参数集、图片参数集或调适参数集nal单元，nal_ref_flag应等于1。当nal_ref_flag对于特定图片的nal_unit_type等于1或4的一个nal单元等于0时，nal_ref_flag对于该图片的nal_unit_type等于1或4的所有nal单元应等于0。
[0022]
nal_ref_flag对于nal_unit_type等于5的nal单元应等于1。
[0023]
nal_ref_flag对于nal_unit_type等于6、9、10、11或12的所有nal单元应等于0。
[0024]
nal_unit_type规定nal单元中所含的rbsp数据结构的类型，如表1中所规定。
[0025]
译码器应忽略(自位流移除并且舍弃)使用nal_unit_type之保留值的所有nal单元之内容。
[0026]
表1-可能的nal单元类型码及nal单元类型类别(其非详尽清单)
[0027][0028][0029]“配置文件”是整个位流语法的子集。在给定配置文件的语法所赋予的界限内，仍可能需要编码器及译码器之效能的很大变化，其取决于位流中的语法元素所采用的值，诸如已译码图片的规定大小。在许多应用中，实施能够处理特定配置文件内的语法的所有假设用途的译码器当前既不可行也不合算。
[0030]
为了处理此问题，在每一配置文件内规定“层级”。层级系对位流中之语法元素之值所赋予的约束之规定集合。这种约束可为对值的简单限制。或者，这种约束可呈对值的算术组合的约束的形式(例如，图片宽度乘以图片高度乘以每秒译码的图片数)。
[0031]
层级：语法元素及变量所采用的值的约束的已定义集合。对所有配置文件定义层级的相同集合，其中每一层级的定义的大多数方面跨越不同配置文件系共有的。在规定约束内，个别实施方案可支持每一所支持配置文件的不同层级。在不同情境下，层级系在缩放之前变换系数的值。
[0032]
配置文件：语法的规定子集。
[0033]
在hevc的3d视频编码扩展的发展中，已提议将某些参数自图块报头移位至存取单元定界符(aud)，aud是h.264/avc中任选地位于新的存取单元(au)之开头的nal单元。
[0034]
在hevc 3d视频编码扩展的规范的过程期间的另一提议是通过sps之间的间接法示意操作点之间的相依性。nal单元报头应该携带对sps之参考，并且在每一sps内系对相关基本sps的参考。此(可能为重迭式)间接法必须在最低(时间
…
)层级的sps以前得以解决。此方法对诸如mane之装置赋予很高负担，来深入观察位流并且保存大量可用来识别操作点的信息。
[0035]
在任何情况下，有利的是眼下就有一种解决方案，其促进网络实体对可缩放数据流的处置或使其更有效率。
[0036]
此目标是通过所附独立权利要求中任一项的主题来达成。


技术实现要素：

[0037]
本发明的基本发现在于，如果在数据流中实际上携带数据的包随附有不同包类型的包，则可使网络实体对可缩放数据流的处置不太复杂，其中不同包类型的包具有定义可缩放性轴的数目及其语义含义的可缩放性轴描述符。通过此措施，数据携带包包括操作点识别符就已足够，该操作点识别符识别在可缩放性轴所跨越的可缩放性空间内与相应的包相关联的操作点。通过此措施，该操作点识别符提供足够的信息给网络实体，以便使这种包与其在可缩放性空间中的操作点相关联，其中假设该网络实体可以存取由预定包类型的包提供的此可缩放性轴描述符。实际上，本技术允许减少用于大部分包的数据量，因为操作点识别符仅须完成识别任务。可不太频繁地传输可缩放性轴描述符。同时，网络实体不太频繁地必须执行剖析/读取可缩放性轴描述符的繁重任务，从而减少网络实体的负担。另一方面，根据本发明的实施例，网络实体能够至少在如下程度上解译操作点识别符，以便可以区分按顺序操作点次序为最低操作点的包(即，基本层包)与其它包(即，属于按顺序操作点次序定位较高的操作点之包，即“增强”层包)。
[0038]
根据本发明的另一方面(其可与第一方面组合或可单独实施)，本发明的基本发现在于，若使用不同于数据携带包的包来传送层级和/或配置文件，则可使网络实体对可缩放数据流的处置更有效率，其中配置文件和/或层级描述符系分割成：第一集合，其明确示意针对相应的操作点的可用编码选项集和/或可用语法元素值范围的定义；以及配置文件和/或层级描述符的第二集合，其通过参考另一配置文件和/或层级描述符来示意针对其相应的操作点的可用编码选项集和/或可用语法元素值范围的定义。通过此措施，保持配置文件和/或层级描述符的完整序列的长度为较低，从而节省传输负担以及剖析负担。
附图说明
[0039]
以下关于诸图来描述本发明的优选的实施例。有利实施例是所附权利要求的主题。在附图中：
[0040]
图1a展示出数据流的示意图，媒体内容被编码于该数据流中；
[0041]
图1b示意性地示出可缩放数据流的组成；
[0042]
图1c示意性地示出根据另一实例的可缩放数据流之组成；
[0043]
图2展示出网络实体接收完整的数据流的状况的示意图；
[0044]
图3a示出二维可缩放性(例如，时间与空间)内的操作点；
[0045]
图3b示出new_profile_level_flag概念；
[0046]
图4展示出用于hevc的nal单元报头语法；
[0047]
图5展示出vps语法；
[0048]
图6展示出vps_extension_data()语法；
[0049]
图7展示出根据实例的数据流的示意图；
[0050]
图8展示出用以分别分割固定位长度语法元素或位序列的实例的流程图；
[0051]
图9展示出示例性网络实体的操作模式的流程图；
[0052]
图10展示出网络实体的另一操作模式；
[0053]
图11展示出nal单元语法；
[0054]
图12a至图12c展示出sps语法；
[0055]
图13展示出vps语法；以及
[0056]
图14展示出vps扩展数据语法。
具体实施方式
[0057]
为了容易理解以下所概述的实施例，关于图1a至图1c及图2，首先描述可缩放数据流的细节以及由这种细节导致的处置可缩放数据流的问题。图1a示出数据流10，媒体内容(诸如音频内容、视频内容、图片内容、3d网状内容或类似者)被编码至该数据流中。媒体内容可为时变的，其中数据流在时间戳记的序列中表示媒体内容，诸如视频的图片、音频信号的变换区块或帧或类似者。
[0058]
如图1a中所展示，数据流10包括包12或由包12组成。该包在大小上可相等或在大小上可不同。每个包包括包类型识别符14。每个包类型识别符14从多个包类型中识别与相应的包12相关联的包类型。多个包类型包括数据携带包类型。在图1a中，例如，在图1a中示例性展示出的数据流10部分内的包经示例性展示为此数据携带包类型，此处示例性表示为“a”。除了此数据携带包类型，还可能有其它包类型的其它包，其不携带实际上促成媒体内容的已编码表示的数据，而是携带其它数据，诸如关于媒体内容的起源的补充数据或信息或类似者。
[0059]
诸如a的数据携带包类型的至少每个包包括操作点识别符16，其从n个可缩放性轴所跨越的可缩放性空间内的多个操作点中识别与相应的包相关联的操作点，其中0》n，所述操作点具有在其中定义的顺序操作点次序。为使此清晰，参考图1b。由圆圈18示出操作点。该操作点分散于或排列于可缩放性轴所跨越的可缩放性空间20内，其中在图1b中，出于例示目的，仅展示出两个此类可缩放性轴22a及22b。
[0060]
图1b示出诸如可缩放数据流10的可缩放数据流的组成。包12(其操作点识别符识别操作点1)携带数据，其共同形成在该操作点1对媒体内容的已编码表示。此处，作为示范，操作点1形成一种基本表示，即，由操作点1的包数据提供关于媒体内容的最少量信息。例如在视频的情况下，这种包的数据以例如低的空间分辨率及最低的snr来表示媒体内容的已编码表示。通过组合属于操作点1的包所携带的数据与操作点2的包12所携带的数据(如环线24所例示)，因此而推导出的数据产生媒体内容的已编码表示，其重新构建以某种方式(诸如，就snr或空间分辨率而言)超过仅自操作点1的包重新构建的媒体内容所获得的表示。通过将操作点2的包的数据添加至操作点1的包的数据来扩展已编码表示，与之有关的媒体内容的特性为图1b中的轴2的语义含义，并且轴22b的尺度是序数量表，其根据语义含义对操作点18排序。
[0061]
在图1b中，例如，轴22b涉及空间分辨率，而轴22a涉及snr质量。然而，同样可获得可缩放性轴的其它语义含义。例如，另一操作点的包的额外数据可添加信息至媒体内容的可重新构建版本，其在之前(即，添加此数据之前)是不可获得的，诸如另一视图、另一音频信道、深度图或类似者。
[0062]
因此，图1b同样通过另外的环线24示出，媒体内容的基本已编码表示可沿着轴22b并且沿着22a扩展。换言之，将某一操作点的包12的数据添加至另一操作点的包的数据或其它操作点的包的数据的组合24导致数据的新的组合，根据可缩放性轴22a或22b中的一个，此组合超过在无此添加的情况下所获得的表示，且此顺序效果系由箭头26展示，其因此在操作点18当中形成顺序操作点次序，其穿过可缩放性空间20。
[0063]
现在，假设网络实体接收此完整的数据流。图2展示出此状况。网络实体展示为方块28，且例如为译码器或mane。在图2中，网络实体28接收完整的数据流10，即，包括所有数据包的数据流，所有数据包包括所有操作点的所有数据携带数据包。网络实体28的任务提供媒体内容给接收端30。在图2中，作为示范，网络实体28使用无线传输32来转发媒体内容至接收端30。网络实体28例如为行动性管理实体。在此状况下，网络实体28必须应付至接收端30的时变传输能力。即，例如，存在传输能力不足以将完整的数据流10转移至接收端30以便实时重现的时间例子。因此，网络实体28必须“减少”数据流10以便提供媒体内容的裁剪版本或表示给接收端30。虽然例如传输能力不足以转移完整的数据流10，但传输能力可能足以传输例如省略掉操作点5的包12的数据流10。
[0064]
应注意，同样存在网络实体28必须丢弃一些包12来满足一些外部驱动约束的其它状况。在此程度上，图2仅用作实例。
[0065]
然而，为了进行刚刚提及的减少数据流的任务，网络实体28必须检查数据流的至少一部分。将要检查的该部分包括操作点识别符16。此对网络实体28赋予高的负担，且因此有利的是保持此负担为低的。接下来描述的实施例达成此目标。
[0066]
下文中描述的实施例所处理的另一方面是关于如下事实：译码器分配用来译码数据流的能力在扩展顺序操作点次序时可能增加。例如，低阶译码器可具有较低能力，即，具有较低的配置文件和/或较低层级，如规范的引言部分中所阐释。因此，某一操作点的包的一些数据的添加可因此局限于满足某一最小配置文件和/或最小层级准则的译码器，且因此，有利的是网络实体(诸如译码器或转发数据流至译码器的某一网络实体)能够以简单方式，但另一方面以低的速率消耗，来理解与操作点18相关联的配置文件和/或层级要求。
[0067]
然而在开始描述这种实施例之前，应注意以下情况。详言之，接下来描述的实施例中所应用的命名法不同于参考图1a至图2进行的描述中所用的用词。更具体而言，接下来描述的实施例表示本技术之实施例之特定实行方案，其经定制来应用于即将到来的hevc标准中。因此，以下将上述包表示为nal单元，其nal单元报头包括操作点识别符，根据与本技术的第一方面有关的实施例，通过某一类型的nal单元(即vps nal单元)中的可缩放性轴描述符来进一步规定该操作点识别符。然而，现在描述的特定实施例易于转移至其它类型的编码译码器。在此程度上，以下实施例应被理解为仅为示例性的。
[0068]
类似地，尽管图1b示意组合24仅形成彼此的适当子集，因此每一组合是所有其它组合24的适当子集，但其它组合24的适当子集或适当超集中的一个或所有其它组合24的超集是任选的。例如，图1c展示出一种情况，其中操作点18之顺序性(即，具有在其中定义的顺序操作点次序的性质)应被理解为包括如下情况，其中组合还包括一个组合既不是其它组合的适当子集也不是适当超集的情况。在图1c中，例如，由将操作点4的包的数据添加至操作点1与2的包的数据的组合所产生的组合24与由将操作点1c的包的数据添加至操作点1与2的包的数据的组合所产生的组合24仅部分重迭，其中交集是由后一个组合(即，操作点1与2之组合)形成。因此，顺序操作点次序在操作点2包括分支。
[0069]
以下实施例呈现包括nal单元报头及vps语法的高阶语法，其允许以某种方式示意可缩放性信息，以便可用于视频译码器、视频位流撷取器或网络装置中来进行调适。nal单元报头包括可缩放性识别符，其允许示意多达三个可缩放性维度。
[0070]
在更详细地描述vps语法之前，关于图3a及图3b呈现综述。例如可在heve标准中使用该概念。
[0071]
以下呈现的new_profile_level_flag用来示意视频的可缩放性维度(例如时间、空间或任何其它维度)内的某一操作点使用与先前描述的操作点不同的配置文件或层级。图3a根据可缩放识别符(temporal_id及layer_id)展示出空间及时间可缩放视频序列内的不同操作点。图3a示出二维可缩放性(例如时间及空间)内的操作点。
[0072]
在所支持编码工具、宏区块输送量等方面描述译码器能力所需的配置文件及层级可能会随着每一操作点而改变，其在很大程度上取决于所用的可缩放性。在示意操作点的配置文件及层级或另外参数的循环中，使用new_profile_level_flag来示意关于先前所描述的操作点的新的配置文件及层级是否存在，或示意特定操作点的配置文件及层级必须通过明确参考而继承自先前所描述的操作点。
[0073]
以下描述的另一方面涉及配置文件及层级语法元素的可调适清单。参数集中的操作点的配置文件、层级及任选地其它参数是经由当型循环(while loop)给出，该循环允许直接调适，即，在不改变给定语法内(即，vps内)的其它语法元素的情况下排除或删除某些操作点以及添加某些操作点。此系使用more_rbsp_data()语法元素来达成，该语法元素允许当型循环，其不必示意层的绝对数且因此使参数集的调适变得容易。图3b示出new_profile_level_flag概念。
[0074]
以下描述的另一方面涉及层状况。层状况表示在nal单元报头的第二个字节中示意五个保留位的解译的方式，其可在hevc扩展中用作可缩放情境中的可缩放层识别符layer_id。
[0075]
在层状况方法中，在nal单元报头中示意状况识别符，其允许译码器或mane将该五
个保留位解译为独立的一维或多维识别符以用于视频编码，其是一个或多个可缩放性维度(诸如时间及空间、空间及多视图或其它)的特征。通过vps给出可缩放维度及里面的操作点的详细描述，而nal单元报头仅提供关于如何解译nal单元报头语法的五个保留位以便推导出一个或多个可缩放识别符的信息。
[0076]
接下来描述的vps语法提供手段来示意每一操作点的配置文件及层级，且经设计来允许直接的实时调适。以下章节给出关于此语法的细节。
[0077]
首先描述所提议的nal单元报头语法。
[0078]
nal单元报头的第二个字节用来示意所谓的层状况(layer_scenario)及可缩放性识别符(layer_id)，该可缩放性识别符识别在层状况的情境中的操作点。
[0079]
图4给出heve的nal单元报头语法，其具有新的语法元素layer_scenario及layer_id。语法元素layer_scenario示意可缩放性维度的状况，例如，一个可缩放性维度，来使用仅时间可缩放性(例如，如在hevc基本规范中的时间可缩放性)或组合两个类型的可缩放性(例如，时间及空间)。语法元素layer_id描述所示意的可缩放性维度内的特定nal单元的操作点且必须根据layer_scenario语法元素来解译。
[0080]
在无可缩放性或一个可缩放性维度(即，layer_scenario的值为零)的情况下，可将layer_id的值解译为不带正负号的整数，其根据译码相依性及重要性按连贯次序列出该操作点。在无可缩放性的情况下，所有nal单元应具有为零的layer_id值，用来示意不存在有意义的阶层调适程序且所有nal单元具有相同重要性。
[0081]
在两个可缩放性维度(即，layer_scenario的值为一)的情况下，可将layer_id的值解译为两个3位的不带正负号的变数。第一3个位给出在第一可缩放性维度(例如时间)中的nal单元的操作点，且第二3个位给出在第二可缩放性维度(例如空间)中的nal单元的操作点。
[0082]
当layer_scenario的值为二时，可将layer_id的值解译为2位的不带正负号的整数变数，其给出在第一可缩放性维度中的操作点，后续接着4位的不带正负号的整数变数，其描述在第二可缩放性维度中的操作点。此状况在一个维度之层数比另一维度中大时可为有益的。
[0083]
考虑到三个可缩放性维度，layer_scenario的对应值为三，且可将layer_id语法元素的值解译为三个2位的不带正负号的整数变量，其根据所用的三个可缩放性维度(例如，时间、空间及多视图可缩放性)给出操作点。
[0084]
表2给出对layer_scenario的值的综述且呈现layer_id的对应解译。
[0085]
表2：layer_scenario值的综述。
[0086][0087]
接下来描述对应的视频参数集语法。
[0088]
必须调整视频参数集的语法来示意可能三维可缩放性空间中的每一操作点的配置文件及层级，并且提供手段来以直接方式对其进行调适来反映视频位流的当前调适等级。此系使用vps_extension_data()语法元素进行使用任何种类之可缩放性(例如，时间、空间或其它)的nal单元之配置文件及层级示意来达成。此外，其提供详细信息，用来解译nal单元报头内的layer_id语法元素。
[0089]
图5中给出vps语法。
[0090]
图5示意不使用任何种类的可缩放性的nal单元的配置文件及层级，即，根据hevc基本规范来编码的视频数据，其具有最低的时间层级。
[0091]
此外，给出语法元素layer_id_type，来允许更详细地理解nal单元报头语法内的layer_id语法元素所描述的可缩放性维度。表1c针对layer_id_type语法元素规定在layer_id中示意的实际可缩放性维度。对应hevc基本规范，仅须定义时间可缩放性。另外的hevc可缩放性扩展将因此针对特定需要来规定另外的layer_id_type值，例如针对hevc的类svc扩展的1:时间可缩放性、2:空间可缩放性。
[0092]
此允许拥有vps的任何装置完全解译已知可缩放性维度内的nal单元之操作点，而不能存取vps之装置仍可进行视频位流的正确调适，但不知道实际的可缩放性维度。
[0093]
表3：layer_id_type及在layer_id中对可缩放性维度的详细描述
[0094][0095]
通过如图6中给出的vps_extension_data()来给出对使用任何维度中的可缩放性(例如，时间层级》0，空间可缩放性
…
)的操作点的描述。每一操作点系经由其layer_id来识别。new_profile_level_flag允许所描述操作的配置文件及层级的明确示意，或通过使用语法元素ref_layer参考另一操作点描述(通过其layer_id)而隐含示意。
[0096]
使用vps_extension_data()语法允许以直接方式进行调适，因为明确参考了操作点并且可通过排除固定数目个字节来省略掉该操作点。只要其它操作点描述未参考被省略的vps_extension_data()语法，就无须改变vps的位(除了被省略的位)，其大大简化了实时调适。
[0097]
因此，使用关于图1a至图1c所应用的命名法，刚刚概述的特定实施例描述了如图7中所组成的数据流。使用参考符号10来大体指示的数据流具有编码于其中的媒体内容，诸如，如上文所表示的音频、视频或其它媒体内容。数据流10包括称为nal单元的包12。每个包12包括包类型识别符，即，nal_unit_type，其从多个包类型中识别与相应的包12相关联的包类型。具有与之相关联的来自该多个包类型之第一集合的包类型之每个包12(诸如所有nal单元)包括操作点识别符34，即，layer_scenario与layer_id之组合，其从n个可缩放性轴22a、22b所跨越的可缩放性空间20内的多个操作点18中识别与相应的包12相关联的操作点18，其中0》n，该操作点18具有在其中定义的顺序操作点次序。就此而言，应注意，未必每一nal单元或包12均具有操作点识别符34。相反，可能有某一包类型之包12，其在涉及操作点的范围内具有一般性质且因此不包括任意操作点识别符。
[0098]
然而在图7的实施例中，具有与之相关联的来自该包类型的第二集合的包类型的每个包12(即，非vps nal单元)额外携带数据36，数据36随具有与之相关联的任意操作点的包12一起促成在与相应的包相关联的操作点18对媒体内容的已编码表示，根据顺序操作点次序，该任意操作点在与相应的包相关联的操作点之前，或者等于与相应的包相关联的操作点。就此而言，参考图1b及图1c的描述来获得细节。
[0099]
具有与之相关联的与包类型的第二集合不相交的预定包类型的每个包具有可缩放性轴描述符38，其定义一个或多个可缩放性轴的数目n及其语法含义，其中可缩放性轴描述符38由出现在vps nal单元中的layer_id_type表示，其中根据vps语法42来填充rbsp数据部分40。
[0100]
如上文还描述了每一vps包还可包括配置文件和/或层级描述符44之序列，即，vps_extension_data，其分别与多个操作点18之至少一子集(诸如，按照顺序操作点次序的前导操作点)相关联。每一配置文件和/或层级描述符44定义可用编码选项集(即，出于重新构建目的将要支持的最小配置文件)和/或可用语法元素值范围(即，重新构建所需的最小层级)，具有与之相关联的与相应的配置文件和/或层级描述符44相关联的操作点之包12之语法遵守该可用编码选项集和/或该可用语法元素值范围。换言之，由将某一操作点18之包之数据添加至与其它操作点18中的一个或其组合相关联的包的数据而产生的数据组合仅可针对支持该相应的配置文件和/或层级的译码器重新构建。
[0101]
配置文件和/或层级描述符44的第一集合明确示意可用编码选项集和/或可用语法元素值范围的定义，即，语法元素new_profile_level_flag(即标记46)等于1的描述符。配置文件和/或层级描述符44的第二、不相交的非空集合通过参考另一个、先前配置文件和/或层级描述符44来示意可用编码选项集和/或可用语法元素值范围的定义，即，语法元素new_profile_level_flag等于0的描述符。在图6中，配置文件的明确示意是使用位于48的语法元素profile_idc来完成，而语法元素level_idc表示层级指示符50。在new_profile_level_flag＝0的情况下对另一配置文件和/或层级描述符44的参考系使用语法元素ref_layer_id 52来完成。显然，参考配置文件和/或层级描述符44的使用减小了传输
配置文件和/或层级描述符的序列54所需的大小，且如下文进一步概述，此方面可独立于操作点识别符34及可缩放性轴描述符38的共同使用来使用。
[0102]
虽然配置文件和/或层级描述符44之序列54可按顺序操作点次序与多个操作点之至少子集相关联，但未必就是如此。相反，每一配置文件和/或层级描述符可具有字段56，即，layer_id，其定义相应的配置文件和/或层级描述符44所关联的操作点18。处理数据流10的网络实体可根据序列54中配置文件和/或层级描述符44的该字段的次序来确定在操作点18当中定义的顺序操作点次序。然而，或者网络实体可预设地已知顺序操作点次序，此系取决于例如可缩放性轴描述符。为了更精确，网络实体(诸如图2的网络实体28)可使用由字段56识别的操作点的次序以及配置文件和/或层级描述符44的序列，以便推导出顺序操作点次序。
[0103]
字段56使用位序列来识别相应的操作点，该位序列是操作点识别符34所共有的。在以下概述的实施例中，例如，所有操作点识别符34具有固定位长度语法元素(即，layer_id)以及情景语法元素(即，layer_scenario)，其中情景语法元素示意n以及固定位长度语法元素之n个分割区与n个可缩放性轴的关联，该固定位长度语法元素系字段56的位序列所共有的，或与字段56的位序列相等地构建。图8示例性地展示出一实例，该实例系用以根据情景语法元素之三个不同状态62，将固定位长度语法元素或字段56之位序列60或操作点识别符34之固定位长度语法元素分割成不同数目个分割区，其中用针对第一状态的虚线、针对第二状态的点划线及针对第三状态的划线示例性地展示出该分割区。即，解译固定位长度语法元素或位序列60的网络实体可通过使用相应的分割区中所含的位将个别固定位长度语法元素或位序列60所识别的正确操作点识别为n维可缩放性空间20中的分量。
[0104]
在以下描述的实施例中，用于语法元素ref_layer_id 52的位序列使用如图8中所展示的相同位序列。或者，可能已使用按顺序操作点次序以排名位置为单位定义的相关指针。例如，网络实体可仅将ref_layer_id逐位添加至语法元素layer_id 56，以便存取或获得当前配置文件和/或层级描述符44所代表的操作点的layer_id，以便采用当前操作点的配置文件识别符profile_idc 48和/或层级识别符level_idc 50。
[0105]
在上述实施例中，可缩放性轴描述符38，即，layer_id_type，形成语法元素，其可能状态分别与n的值与n个可缩放性轴之对应语义含义之不同组合相关联。即，可缩放性轴描述符之可能状态分别映射至不同的(n个)含义(1)，
…
，含义(n)(其中参考表3)。即，使用可缩放性轴描述符38，读取数据流之网络实体知道性质的含义之语义，图8中的分割区内的值系以序数量度。然而还没有机会成功读取vcl nal单元的网络实体然而可至少依靠操作点识别符34之位序列60的分割区(如使用根据情景语法元素64之分割所获得)中的值的序数特性，以便决定在处理数据流的过程中数据流之可能的减少。
[0106]
在继续进行至下一具体概述的实施例之前，应注意，根据本发明的上述另外的方面，可缩放性轴描述符38可被省略，而其语义例如包括于操作点识别符34中，然而其因此必须消耗的位与现在描述之实施例相比而言更多。然而，这种替代实施例仍将为有利的，因为存在配置文件和/或层级描述符44之上述序列54，其涉及明确示意配置文件和/或层级描述符44以及间接示意/参考配置文件和/或层级描述符44。
[0107]
然而，关于以上描述，应注意，可对以上概述之实施例进行各种修改。例如，在以上实例中针对固定长度语法元素或位序列60所选择的位数(即，6)可变为更大或更小。在考虑
可通过情景语法元素64调整的可能的可缩放性轴数n的范围内，类似的注意是合理的：可能的状态之集合为(1,2,3)，但亦可实现n的可能整数之不同集合。
[0108]
仅为了完整起见，图9展示出例如读取配置文件和/或层级描述符44的序列的网络实体的操作模式。首先，在步骤66读取清单54中第一个配置文件和/或层级描述符44的字段。然后，网络实体在步骤68检查当前配置文件和/或层级描述符44(在步骤66读取了其字段)是否明确示意配置文件和/或层级或者间接示意配置文件和/或层级。根据以上实施例，步骤68设计读取语法元素reserved_zero_one_bit，其中实际决策取决于语法元素的值：new_profile_level_flag等于1指示明确示意，且该语法元素等于0指示间接示意。
[0109]
在明确示意的情况下，网络实体在步骤70中读取配置文件和/或层级识别符58/50并且使配置文件和/或层级识别符58/50与在步骤66中读取的字段所识别的操作点相关联。然而，在间接示意的情况下，网络实体在步骤72自数据流读取参考字段52并且在步骤74采用与此参考字段52所识别的操作点相关联的配置文件和/或层级识别符作为在步骤66中读取的字段所识别的操作点之配置文件和/或层级识别符。然后重复这种步骤，直至已扫描完配置文件和/或层级描述符44的序列。
[0110]
类似地，图10示出利用上述实施例的网络实体的操作模式，其中可缩放性轴描述符38完善由相应的包中的操作点识别符34提供的信息。如图10中所展示，首先在步骤76读取当前包的操作点识别符。对所有包12进行此读取。此外，网络实体检查vps nal单元以便在步骤78自其读取可缩放性轴描述符。每当网络实体遇到相应的包类型之相应的包时，就进行步骤76与78。每当在步骤76读取了操作点识别符时，网络实体就在步骤80区分以下情况，其中可缩放性轴描述符还未读取，从而不可用；或已经读取，从而可用。在可用的情况下，网络实体在步骤82根据在步骤78读取的可缩放性轴描述符来解译当前包之操作点识别符。在解译之后，网络实体知道可缩放性轴的含义并且可相应地起作用。详言之，不管可用或不可用，网络实体均在步骤84从包12中选择包，诸如选择将被解码或转发至诸如接收端30的接收端的那种包。步骤84可取决于外部数据，诸如，指示接收端重现媒体数据之能力的数据，诸如最大可重现空间分辨率、显示器之最大像素位深度等等。在该解译由于可缩放性轴描述符不可用而不可用的情况下，网络实体28可被配置为起防御作用，例如，通过仅进一步处理跟进顺序操作点次序属于最低操作点的包。
[0111]
同样，网络实体28可为译码器、转码器、诸如行动性管理实体的媒体感知网络实体或类似者。
[0112]
此外，产生针对上述数据流之任何实施例的实体，诸如编码器或类似者，可被配置为足够频繁地将vps nal单元散布在数据携带包之间，以便保持持续时间较低，其中网络实体面对在可缩放性轴描述符还未可用时发生的不可用问题，如关于图10所描述。
[0113]
对于读取配置文件和/或层级描述符44之序列的网络实体，应注意，此网络实体可被配置为，除了图10之处理程序之外或作为其替代，基于与相应的操作点相关联的可用性编码选项集和/或可用语法元素值范围在包12当中进行选择：例如，在网络实体例如为译码器或接收端(网络实体与之通信)的情况下，例如在网络实体为mme的情况下，网络实体可排除所需配置文件和/或层级超过其本身的最大配置文件和/或最大层级的操作点。
[0114]
换言之，关于图4至图6所描述的系数据流，媒体内容系编码于其中，该数据流包括包(如nal包)，每个包包括包类型识别符nal_unit_type，其从多个包类型中识别与相应的
包相关联的包类型，其中具有与之相关联的来自该多个包类型的第一集合的包类型的每个包(例如，所有nal单元)包括操作点识别符layer_scenario及layer_id，其从n个可缩放性轴所跨越的可缩放性空间内的多个操作点中识别与相应的包相关联的操作点，其中0《n，该操作点具有在其中定义的顺序操作点次序，其中具有与之相关联的来自该包类型之第一集合的第二集合的任意包类型的每个包12(例如，非vps nal单元)额外携带数据，该数据随具有与之相关联的任意操作点的包一起促成在与相应的包相关联的操作点对媒体内容之已编码表示，该任意操作点在与相应的包相关联的操作点之前，或者等于与相应的包相关联的操作点，其中具有与之相关联的与第二集合不相交(即，在第二集合外)的预定包类型之每个包(如vps nal单元)具有可缩放性轴描述符(如layer_id_type)，其定义一个或多个可缩放性轴的数目及其语法含义。
[0115]
数据流的另一实例，其中具有与之相关联的预定包类型的包中的每一个还包括配置文件和/或层级描述符之序列vps_extension_data，其分别与多个操作点之至少子集(例如，按照顺序操作点次序的前导操作点)相关联，每一配置文件和/或层级描述符定义可用编码选项集(如配置文件)和/或可用语法元素值范围(如层级)，具有与之相关联的与相应的配置文件和/或层级描述符相关联的操作点之包之语法遵守该可用编码选项集和/或该可用语法元素值范围，其中该配置文件和/或层级描述符之第一集合明确示意可用编码选项集和/或可用语法元素值范围的定义(如new_profile_level_flag＝1)，且该配置文件和/或层级描述符之第二、不相交的非空集合通过参考另一、先前配置文件和/或层级描述符来示意可用编码选项集和/或可用语法元素值范围之定义(如new_profile_level_flag＝0)。
[0116]
在数据流的另一实例中，配置文件和/或层级描述符之序列按顺序操作点次序与多个操作点之至少子集(例如，按照顺序操作点次序的前导操作点)顺序相关联。
[0117]
在数据流的另一实例中，每一配置文件和/或层级描述符具有字段(如layer_id)，其识别相应的配置文件和/或层级描述符所关联的操作点(即，随4一起)，顺序操作点次序可自配置文件和/或层级描述符之序列推导出。
[0118]
在数据流的另一实例中，在每一配置文件和/或层级描述符中，该字段使用操作点识别符所共有的位序列来识别相应的配置文件和/或层级描述符所关联的操作点，该位序列识别相应的配置文件和/或层级描述符所关联的操作点。
[0119]
在数据流的另一实例中，所有操作点识别符具有固定位长度语法元素(如layer_id)以及情景语法元素(如layer_scenario)，该情景语法元素示意n以及固定位长度语法元素之n个分割区与n个可缩放性轴之关联(但无语义含义)，其中该位序列系该固定位长度语法元素所共有的。
[0120]
在数据流的另一实例中，配置文件和/或层级描述符的第二、不相交的非空集合通过参考另一、先前配置文件和/或层级描述符，使用所参考配置文件和/或层级描述符之字段的明确示意，或使用相关指标器，来示意可用编码选项集和/或可用语法元素值范围之定义，该指标器系按顺序操作点次序以排名位置为单位来定义的(其中第二替代系以上描述之替代)。
[0121]
根据数据流的另一方面，所有操作点识别符具有固定位长度语法元素及情景语法元素，该情景语法元素示意n以及固定位长度语法元素的n个分割区与n个可缩放性轴的关
联，因此第n个部分是沿着第n个可缩放性轴的相应的操作点的位置的序数量度。
[0122]
根据数据流之另一方面，可缩放性轴描述符(如layer_id_type)包括语法元素，其可能状态分别与n的值与n个可缩放性轴的对应语义含义的不同组合相关联(即，函数将{n,meaning(1),
…
,meaning(n)}映射至{1
…
max.layer_id_type的可能状态})。
[0123]
在另一数据流中，媒体内容被编码于其中，该数据流包括包，每个包包括包类型识别符，其从多个包类型中识别与相应的包相关联的包类型，其中具有与之相关联的来自该多个包类型之第一集合之包类型的每个包包括操作点识别符，其从n个可缩放性轴所跨越的可缩放性空间内的多个操作点中识别与相应的包相关联的操作点，其中0《n，该操作点具有在其中定义的顺序操作点次序，其中具有与之相关联的来自该包类型之第一集合之第二集合的任意包类型之每个包额外携带数据，该数据随具有与之相关联的任意操作点的包一起促成在与相应的包相关联的操作点对媒体内容之已编码表示，该任意操作点在与相应的包相关联的操作点之前，或者等于与相应的包相关联的操作点，其中具有与之相关联的与第二集合不相交(即，在第二集合外)的预定包类型之每个包包括配置文件和/或层级描述符之序列，其分别与多个操作点之至少一子集(例如，按照顺序操作点次序的前导操作点)相关联，每一配置文件和/或层级描述符定义可用编码选项集和/或可用语法元素值范围，具有与之相关联的与相应的配置文件和/或层级描述符相关联的操作点的包的语法遵守该可用编码选项集和/或该可用语法元素值范围，其中该配置文件和/或层级描述符的第一集合明确示意可用编码选项集和/或可用语法元素值范围的定义，且该配置文件和/或层级描述符的第二、不相交的非空集合通过参考另一个、先前配置文件和/或层级描述符来示意可用编码选项集和/或可用语法元素值范围之定义。
[0124]
在数据流的另一实例中，配置文件和/或层级描述符之序列按顺序操作点次序与多个操作点的至少子集(例如，按照顺序操作点次序的前导操作点)顺序相关联。
[0125]
在数据流的另一实例中，每一配置文件和/或层级描述符具有字段，其识别相应的配置文件和/或层级描述符所关联的操作点。
[0126]
在数据流的另一实例中，在每一配置文件和/或层级描述符中，该字段使用操作点识别符所共有的位序列来识别相应的配置文件和/或层级描述符所关联的操作点，该位序列识别相应的配置文件和/或层级描述符所关联的操作点。
[0127]
在数据流的另一实例中，所有操作点识别符具有固定位长度语法元素以及情景语法元素，该情景语法元素示意n以及固定位长度语法元素的n个分割区与n个可缩放性轴的关联，其中该位序列系该固定位长度语法元素所共有的。
[0128]
在数据流的另一实例中，配置文件和/或层级描述符之第二、不相交的非空集合通过参考另一、先前配置文件和/或层级描述符，使用所参考配置文件和/或层级描述符的字段的明确示意，或使用相关指标器，来示意可用编码选项集和/或可用语法元素值范围的定义，该指标器系按顺序操作点次序以排名位置为单位来定义的。
[0129]
在数据流的另一实例中，所有的操作点识别符具有标记，该标记示意其是否属于配置文件和/或层级描述符的第一集合及配置文件和/或层级描述符的第二、不相交的非空集合，其中该第一集合明确示意可用编码选项集和/或可用语法元素值范围的定义，该第二集合通过参考另一、先前配置文件和/或层级描述符来示意可用编码选项集和/或可用语法元素值范围之定义。
[0130]
另一方面具有用以处理数据流的网络实体(例如译码器或mane)，媒体内容系编码于该数据流中，该数据流包括包，每个包包括包类型识别符，其从多个包类型中识别与相应的包相关联的包类型，其中具有与之相关联的来自该多个包类型之第一集合之包类型的每个包包括操作点识别符，其从n个可缩放性轴所跨越的可缩放性空间内的多个操作点中识别与相应的包相关联的操作点，其中0《n，该操作点具有在其中定义的顺序操作点次序，其中具有与之相关联的来自该包类型之第一集合之第二集合的任意包类型的每个包额外携带数据，该数据随具有与之相关联的任意操作点的包一起促成在与相应的包相关联的操作点对媒体内容之已编码表示，该任意操作点在与相应的包相关联的操作点之前，或者等于与相应的包相关联的操作点，其中网络实体被配置为自具有与之相关联的与第二集合不相交(即，在第二集合外)的预定包类型之包读取可缩放性轴描述符并且取决于该可缩放性轴描述符来解译操作点识别符，其中该可缩放性轴描述符定义一个或多个可缩放性轴之数目及其语义含义。
[0131]
在另一实例中，网络实体被配置为自具有与之相关联的与第二集合不相交(即，在第二集合外)的预定包类型之包读取配置文件和/或层级描述符之序列，其分别与多个操作点的至少子集(例如，按照顺序操作点次序的前导操作点)相关联，每一配置文件和/或层级描述符定义可用编码选项集和/或可用语法元素值范围，具有与之相关联的与相应的配置文件和/或层级描述符相关联的操作点的包的语法遵守该可用编码选项集和/或该可用语法元素值范围，其中网络实体被配置为响应于数据流中的示意而自该配置文件和/或层级描述符的第一集合明确读取可用编码选项集和/或可用语法元素值范围的定义，且为了该配置文件和/或层级描述符的第二、不相交的非空集合而读取对另一、先前配置文件和/或层级描述符的参考，并且自相应的所参考的先前配置文件和/或层级描述符推导出该配置文件和/或层级描述符的第二、不相交的非空集合之可用编码选项集和/或可用语法元素值范围的定义。
[0132]
在网络实体的另一实例中，配置文件和/或层级描述符之序列按顺序操作点次序与多个操作点之至少子集(例如，按照顺序操作点次序的前导操作点)顺序相关联。
[0133]
在网络实体的另一实例中，每一配置文件和/或层级描述符具有字段，其识别相应的配置文件和/或层级描述符所关联的操作点。
[0134]
在网络实体的另一实例中，在每一配置文件和/或层级描述符中，该字段使用操作点识别符所共有的位序列来识别相应的配置文件和/或层级描述符所关联的操作点，该位序列识别相应的配置文件和/或层级描述符所关联的操作点。
[0135]
在网络实体的另一实例中，所有操作点识别符具有固定位长度语法元素以及情景语法元素，该情景语法元素示意n以及固定位长度语法元素之n个分割区与n个可缩放性轴之关联，其中该位序列系该固定位长度语法元素所共有的。
[0136]
在网络实体的另一实例中，配置文件和/或层级描述符的第二、不相交的非空集合通过参考另一个、先前配置文件和/或层级描述符，使用所参考配置文件和/或层级描述符之字段的明确示意，或使用相关指标器来示意可用编码选项集和/或可用语法元素值范围的定义，该指标器系按顺序操作点次序以排名位置为单位来定义的。
[0137]
在网络实体的另一实例中，所有操作点识别符具有固定位长度语法元素及情景语法元素，其中网络实体被配置为使用该情景语法元素来判定n且使固定位长度语法元素的n
个分割区与n个可缩放性轴相关联，因此第n个部分系沿着第n个可缩放性轴的相应的操作点的位置的序数量度。
[0138]
在另一实例中，网络实体被配置为基于解译而在具有与之相关联的来自多个包类型的第一集合的任意包类型的包当中进行选择。
[0139]
另一实例可具有用以处理数据流的网络实体(例如译码器或mane)，媒体内容被编码于该数据流中，该数据流包括包，每个包包括包类型识别符，其从多个包类型中识别与相应的包相关联的包类型，其中具有与之相关联的来自该多个包类型的第一集合的包类型的每个包包括操作点识别符，其从n个可缩放性轴所跨越的可缩放性空间内的多个操作点中识别与相应的包相关联的操作点，并且0《n，该操作点具有在其中定义的顺序操作点次序，其中具有与之相关联的来自该包类型的第一集合的第二集合的任意包类型的每个包额外携带数据，该数据随具有与之相关联的任意操作点的包一起促成在与相应的包相关联的操作点对媒体内容的已编码表示，该任意操作点在与相应的包相关联的操作点之前，或者等于与相应的包相关联的操作点，其中网络实体被配置为自具有与之相关联的与第二集合不相交(即，在第二集合外)的预定包类型的包读取配置文件和/或层级描述符的序列，其按顺序操作点次序与多个操作点的至少子集(例如，按照顺序操作点次序的前导操作点)顺序相关联，每一配置文件和/或层级描述符定义可用编码选项集和/或可用语法元素值范围，具有与之相关联的与相应的配置文件和/或层级描述符相关联的操作点的包的语法遵守该可用编码选项集和/或该可用语法元素值范围，其中该配置文件和/或层级描述符的第一集合明确示意可用编码选项集和/或可用语法元素值范围的定义，其中网络实体被配置为响应于数据流中的示意而自该配置文件和/或层级描述符之第一集合明确读取可用编码选项集和/或可用语法元素值范围的定义，且为了该配置文件和/或层级描述符的第二、不相交的非空集合而读取对另一、先前配置文件和/或层级描述符的参考，并且自相应的所参考的先前配置文件和/或层级描述符推导出该配置文件和/或层级描述符的第二、不相交的非空集合的可用编码选项集和/或可用语法元素值范围的定义。
[0140]
在另一实施例中，网络实体被配置为基于相关联的可用编码选项集和/或可用语法元素值范围而在具有与之相关联的来自多个包类型之第一集合的任意包类型之包当中进行选择。
[0141]
接下来的实施例的描述始于进一步介绍，然而其亦可转移至目前为止所描述之实施例。
[0142]
除了视频的记录、储存及播放以外，其传输是当今通信网络中的主要应用。特定通信信道的不稳定性质需要由hevc的高阶语法提供调适手段来在不同环境中表现良好。在传输期间在网络内对视频位流的直接调适(例如，通过媒体感知网络组件(mane))系主要挑战中的一个。这种装置通常就处理功率而言仅具有有限的资源且必须以极低的延迟来操作，其阻碍了深入的位流分析。
[0143]
h.264/avc的标准化内已识别此设定的需求。将视频数据封装于网络抽象层(nal)单元中以及设计决策反映了此理解，该设计决策即：在视频位流外(在所谓的参数集中)示意许多重要但相当不变的参数。在规定扩展时，h.264/avc的基本规范中扩充性的缺失导致用复杂方法以回溯兼容方式来扩展h.264/avc高阶语法。对于hevc，在基本规范中应处理灵活且可扩展的高阶语法。因此，高阶语法必须给诸如mane的装置提供必要的信息，该信息呈
可存取形式(例如，未熵译码)且适合于示意以直接方式的调适。
[0144]
以下采用如当前草案规范中所定义的视频参数集(vps)之概念，来提供调适视频位流所必需的信息，诸如操作点描述及编码相依性。其组合了信息，在h.264及其扩展中，该信息分散于层特定序列参数集(sps)上并且在参数集阶层中位于sps的顶部。
[0145]
hevc草案基本规范中对vps的当前定义将vps定义成仅有与对时间可缩放性的子层级需求有关的某一语法的冗余拷贝，该需求在h.264及其扩展中定位于sps中。因此，vps并非译码已编码视频序列所必需的。根据以下实施例，然而，省略了冗余的示意并且语法元素仅保持在vps中。此外，根据以下实施例，然而，以如下方式改变了配置文件、层级及子层级需求的示意，以使得其内在阶层反映在该需求在参数集(vps、sps及pps)之阶层内的位置中。此意味着针对位流调适及能力交换之最基本及基础的参数(即，配置文件及层级信息)提供在参数集阶层的顶部，即，vps，而不太重要的子层级需求(即，sps_max_latency_increase[i],vps_num_reorder_pics[i],vps_max_dec_pic_buffering[i])系如草案规范的较早版本中一样示意。以此方式，将以直接方式使最重要的信息可供mane使用，而无需编译来自若干sps之信息。依靠较低层级需求(诸如针对事件可缩放性之子层级需求)的应用仍可在参数集阶层之较低步阶中找到呈未编译形式的所要信息。一般而言，非特殊应用mane对终端装置之此低阶能力信息几乎不感兴趣。期望针对大多数应用使配置文件及层级需求足够精细化，且角落情况应用仍可自较低层级参数集撷取此信息。
[0146]
以此方式定义的vps允许mane完全感知与每一操作点相关联的可缩放性维度以及配置文件及层级。可通过参考来示意可缩放性维度内的操作点(其具有冗余的配置文件及层级识别符)，以减少冗余的示意。利用vps扩展数据语法来示意相应的操作点描述允许直接模块化结构，其可容易由编码器构建。
[0147]
提议sei消息来使mane及接收器感知可能经调适的视频序列，其中并不存在vps及其扩展中所描述之所有操作点。允许mane感知视频序列之实际(经调适的)内容对促进进一步调适(例如，在多个mane之重迭式调适处理程序中)很重要。
[0148]
为了在nal单元报头层级上出现的可缩放性维度内一般地示意nal单元之操作点，使用nal单元报头的第二个字节中的保留位来示意层识别符，用来从基本层或视图识别增强层或视图。通过vps提供就已编码视频序列之可缩放性维度而言解译nal单元之层识别符所必需的信息。此示意包括可缩放性之类型以及关于层识别符的相应的位如何对应于适用的可缩放性维度的信息。此允许mane或任何其它装置自nal单元报头己vps中提供的信息来正确地建立可能为多维的(时间、质量、空间、多视图、深度
…
)可缩放性操作点矩阵。
[0149]
图11中展示出现在描述的实施例的nal单元语法，其中layer_id_plus1减1指示层识别码。等于1的layer_id_plus1指示层识别码等于0，且nal单元属于基本层或基本视图。layer_id_plus1之较高值指示对应的nal单元属于与规定的layer_id_plus1相关联的增强层或视图。
[0150]
图12a至图12c中展示出对应的sps语法，且图13中展示出对应的vps语法，其中：scalability_type指示在已编码视频序列中所用的可缩放性之类型，且经由nal单元报头中的layer_id_plus1示意维度。当scalability_type等于0时，已编码视频序列符合基本hevc规范，因此所有nal单元的layer_id_plus1等于1，且没有nal单元属于增强层或视图。须根据图4来解译scalability_type的较高值。
[0151]
profile_space、profile_idc、constraint_flags及profile_compatability_flag示意如当前wd中所规定的信息，且所指示的值对layer_id_plus1等于1的所有nal单元是有效的。
[0152]
level_idc[i]示意如当前wd中所规定的信息，且所指示的值对layer_id_plus1等于1且temporal_id等于i的所有nal单元是有效的。
[0153]
layer_id_plus1_dim_len[dim]根据图13指示用来示意第n个可缩放性维度的layer_id_plus1之长度，对于n＝0，其开始于msb，或对于n》0，第(n-1)个所示意可缩放性维度的末尾。
[0154]
表4：所提议的scalability_type映射表
[0155]
scalability_typemax_dim维度01无12空间及质量可缩放性22多视图及深度可缩放性34多视图、空间、质量及深度可缩放性4...15保留保留
[0156]
表4中所示例性定义的可缩放性类型表示可缩放性之集合，其系在此时间点可预期的，但一旦对hevc扩展的工作有所进展就可由新的维度和/或组合来扩展。
[0157]
图14中展示出对应的vps扩展数据语法，其中：
[0158]
vps_extension_type指示vps扩展之类型。当vps_extension_type的值等于0时，以上给出的语法适用。
[0159]
layer_id_plus1指示vps扩展中所示意的语法元素有效时的layer_id。
[0160]
max_temporal_layers_minus1 plus 1规定layer_id_plus1等于vps中所示意的layer_id_plus1之nal单元中可能存在的时间子层之最大数目。
[0161]
等于0的new_profile_level_flag指示：与layer_id_plus1的值(等于profile_reference_layer_id_plus1所规定的值)相关联的配置文件及层级示意对具有vps扩展中所规定的layer_id_plus1之nal单元系有效的。等于1的new_profile_level_flag指示：针对layer_id_plus1的规定值之配置文件及层级系在vps扩展中明确示意。
[0162]
profile_reference_layer_id_plus1指示layer_id_plus1的值，该layer_id_plus1的相关配置文件及层级示意对layer_id_plus1的值等于vps扩展中所示意的layer_id_plus1的值之nal单元系有效的。
[0163]
profile_space、profile_idc、constraint_flags及profile_compatability_flag示意如当前wd中所规定的信息，且所指示的值对layer_id_plus1等于vps扩展数据中所规定的layer_id_plus1值之所有nal单元系有效的。
[0164]
level_idc[i]示意如当前wd中所规定的信息，且所指示的值对layer_id_plus1等于vps扩展数据中所规定的layer_id_plus1值且temporal_id等于i的所有nal单元系有效的。
[0165]
num_reference_layers规定将在译码处理程序中用作参考的由layer_id识别的层之数目。
[0166]
direct_coding_dependency_layer_id_plus1指示将在译码处理程序中用作参考
的nal单元的layer_id_plus1。
[0167]
刚刚描述的实施例非常类似于关于图4至图6已描述的实施例。在此程度上，图11至图14中已使用与先前相同的参考符号来识别对应的语法元素。在此程度上，图7之描述亦适用于新的实施例，然而其中在以下突出了差异。
[0168]
详言之，根据图11至图14的实施例，操作点识别符34已固定地分割成两个分量，即，以语法元素temporal_id的形式来识别时间可缩放性轴之等级的第一分量90，以及根据另外的可缩放性轴来处理该或该等级之第二分量，其中第二分量表示为92。在此程度上，除了具有第二分量92之外，关于图11至图14已描述之实施例对应于先前实施例，第二分量92将由可缩放性轴描述符进一步规定。
[0169]
下一个差异系关于对可缩放性轴的数目的了解。在图4至图6的实施例中，提供呈情景语法元素60之形式的中间信息，以便给网络实体提供如下可能性：仅基于相应的包本身，推导出此包之操作点的位置，在普通意义上，其定位于可缩放性空间内。在本实施例中，网络实体在vps nal单元42不可用的情况下仅能够推导出以下事实：1)当前包之操作点沿着使用temporal_id 90的时间轴之位置。2)若layer_id_plus1等于1，则该操作点关于除了该时间可缩放性轴的其它可缩放性轴处于最低等级。
[0170]
如下文中所描述，现在所突出的所有差异可分别且相应地适用，若不使用语法元素temporal_id 90，则网络实体可根据layer_id_plus1等于1的事实推导出：当前包之操作点根据所有可缩放性轴表示基本层。
[0171]
就此而言，应注意，选择等于1的layer_id_plus1来表示关于除了该时间可缩放性轴的其它可缩放性轴之最低等级仅被选为实例，并且可例如变为等于0的layer_id_plus1。
[0172]
与图4至图6的上述实施例的另一差异是关于可缩放性轴描述符38。一个纯量值的语法元素94，即，scalability_type，识别(在时间可缩放性轴上方的)可缩放性轴的数目以及这种(额外)可缩放性轴之对应含义，而对于此指示数目个(额外)可缩放性轴中的每一个，语法部分96揭露在分量92、字段56和参考字段52下方的固定长度语法元素60的分割，此是通过将此固定长度语法元素60的位顺序指派给个别(额外)可缩放性轴。
[0173]
另一差异是关于vps包以及vps包另外包括操作点识别符参考清单98的事实。对于每一字段56，此操作点识别符参考清单98识别该操作点识别符或layer_id_plus1的该值，其形成字段56所关于的操作点的重新构建的必要基础。换言之，操作点识别符参考清单98识别组合24(参见图1b或图3a和图3b)中所含的所有操作点，该组合系由添加由字段56识别的操作点之包的数据而产生的。应注意，对于某一字段56，操作点识别符参考清单98未必须要列出由字段56识别的操作点之个别组合24中所含的所有操作点。相反，操作点识别符参考清单列出参考操作点中之一个或多个就已足够，其对应组合24共同产生由个别字段56识别的操作点的组合24。
[0174]
换言之，在此方面中，有利的是其对赋予可缩放性层之层级和/或配置文件约束的有效编码，数据流(媒体内容编码于其中)包括包(如nal单元)，每个包包括包类型识别符nal_unit_type，其从多个包类型中识别与相应的包相关联的包类型，其中具有与之相关联的来自该多个包类型之第一集合的包类型的每个包(例如，所有nal单元)包括操作点识别符layer_id_plus1，其从n个可缩放性轴所跨越的可缩放性空间内的多个操作点中识别与相应的包相关联的操作点，并且0《n，该操作点具有在其中定义的顺序操作点次序，其中具
有与之相关联的来自该包类型之第一集合之第二集合的任意包类型之每个包(例如，非vps nal单元)额外携带数据，该数据随具有与之相关联的任意操作点的包一起促成在与相应的包相关联的操作点处的媒体内容的已编码表示，该任意操作点在与相应的包相关联的操作点之前，或者等于与相应的包相关联的操作点，其中具有与之相关联的与第二集合不相交(即，在第二集合外)的预定包类型的每个包(如vps nal单元)具有可缩放性轴描述符(如scalability_type及layer_id_plus1_dim_len)，其定义一个或多个可缩放性轴的数目及其语法含义。
[0175]
数据流的另一实例，其中具有与之相关联的包类型的包中的每一个还包括配置文件和/或层级描述符之序列vps_extension_data，其分别与多个操作点的至少子集(例如，按照顺序操作点次序的前导操作点)相关联，每一配置文件和/或层级描述符定义可用编码选项集(如配置文件)和/或可用语法元素值范围(如层级)，具有与之相关联的与相应的配置文件和/或层级描述符相关联的操作点的包的语法遵守该可用编码选项集和/或该可用语法元素值范围，其中该配置文件和/或层级描述符的第一集合明确示意可用编码选项集和/或可用语法元素值范围的定义(如new_profile_level_flag＝1)，且该配置文件和/或层级描述符的第二、不相交的非空集合通过参考另一个、先前配置文件和/或层级描述符来示意可用编码选项集和/或可用语法元素值范围的定义(如new_profile_level_flag＝0)。
[0176]
在数据流的另一实例中，配置文件和/或层级描述符的序列按顺序操作点次序与多个操作点的至少子集(例如，按照顺序操作点次序的前导操作点)顺序相关联。
[0177]
在数据流的另一实例中，每个配置文件和/或层级描述符具有字段(如layer_id_plus1)，其识别相应的配置文件和/或层级描述符所关联的操作点(即，随4一起)，顺序操作点次序可自配置文件和/或层级描述符之序列推导出。
[0178]
在数据流的另一实例中，在每一配置文件和/或层级描述符中，该字段使用操作点识别符所共有的位序列来识别相应的配置文件和/或层级描述符所关联的操作点，该位序列识别相应的配置文件和/或层级描述符所关联的操作点。
[0179]
在数据流的另一实例中，所有操作点识别符具有固定位长度语法元素(如layer_id_plus1)，且可缩放性存取描述符示意n max_dim以及固定位长度语法元素之n个分割区layer_id_plus1_dim_len与n个可缩放性轴之关联，其中该位序列系该固定位长度语法元素所共有的。
[0180]
在数据流的另一实例中，配置文件和/或层级描述符的第二、不相交的非空集合通过参考另一个、先前配置文件和/或层级描述符，使用所参考配置文件和/或层级描述符之字段的明确示意，或使用相关指标器，来示意可用编码选项集和/或可用语法元素值范围之定义，该指标器系按顺序操作点次序以排名位置为单位来定义的(其中第二替代是以上描述的替代)。
[0181]
根据数据流的另一方面，所有操作点识别符具有固定位长度语法元素，且可缩放性轴描述符示意n以及固定位长度语法元素的n个分割区与n个可缩放性轴的关联，因此第n个部分是沿着第n个可缩放性轴的相应的操作点的位置的序数量度。
[0182]
根据数据流的另一方面，可缩放性轴描述符(如scalability_type)包括语法元素，其可能状态分别与n的值与n个可缩放性轴之对应语义含义的不同组合相关联(即，函数将{n,meaning(1),
…
,meaning(n)}映射至{1
…
max.scalability_type的可能状态})。
[0183]
在另一数据流中，媒体内容系编码于其中，该数据流包括包，每个包包括包类型识别符，其从多个包类型中识别与相应的包相关联的包类型，其中具有与之相关联的来自该多个包类型之第一集合之包类型的每个包包括操作点识别符，其从n个可缩放性轴所跨越的可缩放性空间内的多个操作点中识别与相应的包相关联的操作点，并且0《n，该操作点具有在其中定义的顺序操作点次序，其中具有与之相关联的来自该包类型的第一集合的第二集合的任意包类型的每个包额外携带数据，该数据随具有与之相关联的任意操作点的包一起促成在与相应的包相关联的操作点对媒体内容之已编码表示，该任意操作点在与相应的包相关联的操作点之前，或者等于与相应的包相关联的操作点，其中具有与之相关联的与第二集合不相交(即，在第二集合外)的预定包类型的每个包包括配置文件和/或层级描述符的序列，其分别与多个操作点的至少子集(例如，按照顺序操作点次序的前导操作点)相关联，每一配置文件和/或层级描述符定义可用编码选项集和/或可用语法元素值范围，具有与之相关联的与相应的配置文件和/或层级描述符相关联的操作点的包的语法遵守该可用编码选项集和/或该可用语法元素值范围，其中该配置文件和/或层级描述符的第一集合明确示意可用编码选项集和/或可用语法元素值范围的定义，且该配置文件和/或层级描述符之第二、不相交的非空集合通过参考另一、先前配置文件和/或层级描述符来示意可用编码选项集和/或可用语法元素值范围的定义。
[0184]
在数据流的另一实例中，配置文件和/或层级描述符的序列按顺序操作点次序与多个操作点的至少子集(例如，按照顺序操作点次序的前导操作点)顺序相关联。
[0185]
在数据流的另一实例中，每一配置文件和/或层级描述符具有字段，其识别相应的配置文件和/或层级描述符所关联的操作点。
[0186]
在数据流的另一实例中，在每一配置文件和/或层级描述符中，该字段使用操作点识别符所共有的位序列来识别相应的配置文件和/或层级描述符所关联的操作点，该位序列识别相应的配置文件和/或层级描述符所关联的操作点。
[0187]
在数据流的另一实例中，所有操作点识别符具有固定位长度语法元素，且可缩放性存取描述符示意n max_dim以及固定位长度语法元素之n个分割区layer_id_plus1_dim_len与n个可缩放性轴的关联，其中该位序列系该固定位长度语法元素所共有的。
[0188]
在数据流的另一实例中，配置文件和/或层级描述符的第二、不相交的非空集合通过参考另一个、先前配置文件和/或层级描述符，使用所参考配置文件和/或层级描述符之字段的明确示意，或使用相关指标器，来示意可用编码选项集和/或可用语法元素值范围的定义，该指标器是按顺序操作点次序以排名位置为单位来定义的。
[0189]
在数据流的另一实例中，所有的操作点识别符具有标记，该标记示意其是否属于配置文件和/或层级描述符的第一集合及配置文件和/或层级描述符的第二、不相交的非空集合，其中该第一集合明确示意可用编码选项集和/或可用语法元素值范围的定义，该第二集合通过参考另一个、先前配置文件和/或层级描述符来示意可用编码选项集和/或可用语法元素值范围之定义。
[0190]
另一方面具有用以处理数据流的网络实体(例如译码器或mane)，媒体内容被编码至该数据流中，该数据流包括包，每个包包括包类型识别符，其从多个包类型中识别与相应的包相关联的包类型，其中具有与之相关联的来自该多个包类型之第一集合之包类型的每个包包括操作点识别符，其从n个可缩放性轴所跨越的可缩放性空间内的多个操作点中识
别与相应的包相关联的操作点，并且0《n，该操作点具有在其中定义的顺序操作点次序，其中具有与之相关联的来自该包类型之第一集合之第二集合的任意包类型之每个包额外携带数据，该数据随具有与之相关联的任意操作点的包一起促成在与相应的包相关联的操作点对媒体内容之已编码表示，该任意操作点在与相应的包相关联的操作点之前，或者等于与相应的包相关联的操作点，其中网络实体被配置为自具有与之相关联的与第二集合不相交(即，在第二集合外)的预定包类型的包读取可缩放性轴描述符并且取决于该可缩放性轴描述符来解译操作点识别符，其中该可缩放性轴描述符定义一个或多个可缩放性轴的数目及其语义含义。
[0191]
在另一实例中，网络实体被配置为自具有与之相关联的与第二集合不相交(即，在第二集合外)的预定包类型的包读取配置文件和/或层级描述符之序列，其分别与多个操作点的至少子集(例如，按照顺序操作点次序的前导操作点)相关联，每一配置文件和/或层级描述符定义可用编码选项集和/或可用语法元素值范围，具有与之相关联的与相应的配置文件和/或层级描述符相关联的操作点的包的语法遵守该可用编码选项集和/或该可用语法元素值范围，其中网络实体被配置为响应于数据流中的示意而自该配置文件和/或层级描述符的第一集合明确读取可用编码选项集和/或可用语法元素值范围的定义，且为了该配置文件和/或层级描述符的第二、不相交的非空集合而读取对另一个、先前配置文件和/或层级描述符的参考，并且自个别所参考的先前配置文件和/或层级描述符推导出该配置文件和/或层级描述符的第二、不相交的非空集合的可用编码选项集和/或可用语法元素值范围的定义。
[0192]
在网络实体的另一实例中，配置文件和/或层级描述符的序列按顺序操作点次序与多个操作点的至少子集(例如，按照顺序操作点次序的前导操作点)顺序相关联。
[0193]
在网络实体的另一实例中，每一配置文件和/或层级描述符具有字段，其识别相应的配置文件和/或层级描述符所关联的操作点。
[0194]
在网络实体的另一实例中，在每一配置文件和/或层级描述符中，该字段使用操作点识别符所共有的位序列来识别相应的配置文件和/或层级描述符所关联的操作点，该位序列识别相应的配置文件和/或层级描述符所关联的操作点。
[0195]
在网络实体的另一实例中，所有操作点识别符具有固定位长度语法元素，且可缩放性存取描述符示意n max_dim以及固定位长度语法元素之n个分割区layer_id_plus1_dim_len与n个可缩放性轴的关联，其中该位序列系该固定位长度语法元素所共有的。
[0196]
在网络实体的另一实例中，配置文件和/或层级描述符的第二、不相交的非空集合通过参考另一个、先前配置文件和/或层级描述符，使用所参考配置文件和/或层级描述符的字段的明确示意，或使用相关指标器，来示意可用编码选项集和/或可用语法元素值范围的定义，该指标器系按顺序操作点次序以排名位置为单位来定义的。
[0197]
在网络实体的另一实例中，所有操作点识别符具有固定位长度语法元素，且可缩放性存取描述符示意n max_dim以及固定位长度语法元素的n个分割区layer_id_plus1_dim_len与n个可缩放性轴的关联，因此第n个部分是沿着第n个可缩放性轴的相应的操作点的位置的序数量度。
[0198]
在另一实例中，网络实体被配置为基于解译而在具有与之相关联的来自多个包类型的第一集合的任意包类型的包当中进行选择。
[0199]
另一实例可具有用以处理数据流的网络实体(例如译码器或mane)，媒体内容系编码于该数据流中，该数据流包括包，每个包包括包类型识别符，其从多个包类型中识别与相应的包相关联的包类型，其中具有与之相关联的来自该多个包类型之第一集合之包类型的每个包包括操作点识别符，其从n个可缩放性轴所跨越的可缩放性空间内的多个操作点中识别与相应的包相关联的操作点，并且0《n，该操作点具有在其中定义的顺序操作点次序，其中具有与之相关联的来自该包类型之第一集合之第二集合的任意包类型之每个包额外携带数据，该数据随具有与之相关联的任意操作点的包一起促成在与相应的包相关联的操作点对媒体内容之已编码表示，该任意操作点在与相应的包相关联的操作点之前，或者等于与相应的包相关联的操作点，其中网络实体被配置为自具有与之相关联的与第二集合不相交(即，在第二集合外)的预定包类型之包读取配置文件和/或层级描述符之序列，其按顺序操作点次序与多个操作点之至少子集(例如，按照顺序操作点次序的前导操作点)顺序相关联，每一配置文件和/或层级描述符定义可用编码选项集和/或可用语法元素值范围，具有与之相关联的与相应的配置文件和/或层级描述符相关联的操作点之包之语法遵守该可用编码选项集和/或该可用语法元素值范围，其中该配置文件和/或层级描述符之第一集合明确示意可用编码选项集和/或可用语法元素值范围的定义，其中网络实体被配置为响应于数据流中的示意而自该配置文件和/或层级描述符之第一集合明确读取可用编码选项集和/或可用语法元素值范围的定义，且为了该配置文件和/或层级描述符的第二、不相交的非空集合而读取对另一个、先前配置文件和/或层级描述符的参考，并且自个别所参考的先前配置文件和/或层级描述符推导出该配置文件和/或层级描述符的第二、不相交的非空集合的可用编码选项集和/或可用语法元素值范围的定义。
[0200]
在另一实施例中，网络实体被配置为基于相关联的可用编码选项集和/或可用语法元素值范围而在具有与之相关联的来自多个包类型的第一集合的任意包类型的包当中进行选择。
[0201]
与以上实施例的以下差异将是可行的。例如，代替针对正好一个操作点或层id具有一个配置文件/层级描述符，可在数据流中(诸如在vps中)示意将该操作点或层id分组成层集合，其中使每一配置文件/层级描述符与该集合中的个别者相关联。例如，可示意标记的字段，来示意该分组：针对每一集合，可存在针对每一操作点的一个标记，用来示意相应的操作点是否属于相应的集合。因此，代替引用任何层id的字段56，配置文件/层级描述符的字段56可加索引于来自层id的所示意集合(即，来自操作点之集合)中之一集合。因此，将经由在字段52中示意另一层集合，而不是在其中示意个别层id，来完成对另一配置文件/层级描述符的参考。
[0202]
此外，关于可缩放性轴描述符38，可以不同方式示意上述内容：由标记(其各自与某一可缩放性类型相关联)的序列组成的可缩放性类型字段可存在于数据流中，例如vps中，且示意个别可缩放性类型是否存在。按此字段内的标记之次序，正在设定的标记将因此示意可缩放性轴之数目以及其语义含义。将层id字段34的位序列细分成片段可使用每个可缩放性类型(即，在可缩放性类型字段中设定的每个标记)的长度指示符来完成，正如通过layer_id_plus1_dim_len来完成一样。可缩放性类型字段与layer_id_plus1_dim_len共同形成可缩放性轴描述符38。
[0203]
上文中，一对参考操作点识别符清单98与识别该参考操作点识别符清单98所关联
的操作点(或操作点集合)之字段56被用来指示顺序操作点次序，即，该层之间的相依性。此使允许操作点取决于该操作点的一个以上先前操作点(沿着其操作点识别符的次序)的一种可能。在具有多个摄影机视图的使用情况下，例如，示意每个已编码视图(即，nuh_layer_id之个别值)的多个参考视图(即，nuh_layer_id的多个值)是有益的，因为取决于多个摄影机关于彼此的转译，可能发生相邻摄影机视图中对应影像区域的阻塞及显露。因此，参考多个摄影机视图可导致编码效率更高，因为所显露影像区域(即，纹理)可被预测，而不是根据所参考摄影机视图中之任一者来框内编码。编码益处不限于在同一可缩放性维度内的参考，例如，可利用深度视图(关于当前所编码之摄影机视图或另一摄影机视图)来移除当前所编码的相依摄影机视图的运动向量。然而，允许一个操作点取决于具有与之相关联的较低操作点识别符的一个以上操作点的示意亦可以不同方式来实施。例如，对于每一操作点，标记可示意相应的操作点取决于层id靠前(即，具有较低的操作点识别符)的操作点中之哪一者。可用压缩形式示意该字段：在位流中出现的n各操作点具有在其中定义的次序，该次序系通过其操作点识别符来定义的。因此可在操作点识别符的意义上自第二但最低的操作点至最高操作点来扫描操作点之序列，其中每个具有较低操作点识别符的操作点插入一个标记至vps中，从而需要n(n-1)/2个位。亦即，对于多个操作点中的每一个(或该操作点之至少一子集)，vps中可存在识别由较低操作点识别符识别的多个操作点的其它操作点的语法，诸如参考层id清单98或标记的序列，其系关于先前操作点。换言之，该语法识别那些操作点，该语法所属的相应的操作点是该那些操作点的扩展，从而识别顺序操作点次序。
[0204]
尽管在设备的上下文中已描述了一些方面，但清楚的是，这种方面还表示对应方法的描述，其中区块或装置对应于方法步骤或方法步骤的特征。类似地，方法步骤的上下文中所描述的方面还表示对应设备的对应区块或项目或特征的描述。一些或所有方法步骤可由(或使用)硬设备来执行，例如微处理器、可规划计算机或电子电路。在一些实施例中，最重要方法步骤中的一个或多个可由此设备执行。
[0205]
本发明的经编码数据流可储存于数字储存媒体上，或可于诸如无线传输媒体或有线传输媒体(诸如网际网络)之传输媒体上进行传输。
[0206]
取决于某些实施要求，本发明之实施例可在硬件中或软件中实施。可使用上面储存有电子可读控制信号之数字储存媒体(例如，软磁盘、dvd、蓝光、cd、rom、prom、eprom、eeprom或闪存)来执行该实施方案，该数字储存媒体与可规划计算机系统协作(或能够与之协作)，使得执行个别地方法。因此，数字储存媒体可为计算机可读的。
[0207]
根据本发明的一些实施例包括具有电子可读控制信号的数据载体，其能够与可规划计算机系统协作，使得执行本文所述方法中的一个。
[0208]
通常，本发明之实施例可实施为具有程序代码之计算机程序产品，当该计算机程序产品在计算机上运行时，该程序代码操作以用于执行该方法中的一个。该程序代码可例如储存于机器可读载体上。
[0209]
其它实施例包括储存于机器可读载体上的用于执行本文所述方法中的一个的计算机程序。
[0210]
换言之，本发明的方法的实施例因此为具有程序代码的计算机程序，当该计算机程序在计算机上运行时，该程序代码用于执行本文所述之方法中的一者。
[0211]
本发明的方法的另一实施例因此为数据载体(或数字储存媒体，或计算机可读媒
体)，其上面记录有用于执行本文所述方法中的一个的计算机程序。该数据载体、该数字储存媒体或该所记录媒体通常为有形且/或非暂时的。
[0212]
本发明的方法的另一实施例因此为表示用于执行本文所述方法中的一个的计算机程序的数据流或信号序列。该数据流或信号序列可例如被配置为经由数据通信连接(例如经由因特网)传送。
[0213]
另一实施例包括一种处理构件，例如计算机或可规划逻辑装置，其被配置为或适于执行本文所述方法中的一者。
[0214]
另一实施例包括一种计算机，其上面安装有用于执行本文所述方法中的一个的计算机程序。
[0215]
根据本发明之另一实施例包括一种设备或一种系统，其被配置为传送(例如，以电子方式或光学方式)用于执行本文所述方法中的一个的计算机程序至接收器。该接收可例如为计算机、行动装置、内存装置等。该设备或系统可例如包括用于将计算机程序传送至接收器的档案服务器。
[0216]
在一些实施例中，一种可规划逻辑装置(例如，现场可规划门数组)可用以执行本文所述方法之功能性中的一些或全部。在一些实施例中，现场可规划门数组可与微处理器协作，以便执行本文所述方法中的一个。通常，该方法优选的由任何硬设备执行。
[0217]
上文所述的实施例仅例示本发明的原理。应理解，本领域内的普通技术人员将明白对本文所述布置及细节的修改及变化。因此，本发明之意图仅由随附的权利要求的范围限制，且不受借助于描述及阐释本文的实施例而呈现的具体细节限制。
[0218]
本发明还可以如下方式配置。
[0219]
1.一种数据流，媒体内容被编码至所述数据流中，所述数据流包括包(12)，每个包(12)包括包类型识别符(16)，所述包类型识别符从多个包类型中识别与相应的包相关联的包类型，
[0220]
其中，具有与每个包(12)相关联的来自所述多个包类型的第一集合的包类型的每个包包括操作点识别符(34)，所述操作点识别符从n个可缩放性轴(22a，22b)所跨越的可缩放性空间(20)内的多个操作点中识别与所述相应的包相关联的操作点(18)，并且0《n，所述操作点具有在所述操作点之中定义的顺序操作点次序，
[0221]
其中，具有与每个包(12)相关联的来自包类型的所述第一集合的第二集合中的任意包类型的每个包额外携带数据(36)，所述数据与具有与所述包相关联的任意操作点的所述包一起促成在与所述相应的包相关联的所述操作点处的所述媒体内容的已编码表示，所述任意操作点在与所述相应的包相关联的所述操作点之前或者等于与所述相应的包相关联的所述操作点，
[0222]
其中，具有与每个包(44)相关联的与所述第二集合不相交的预定包类型的每个包具有可缩放性轴描述符(38)，所述可缩放性轴描述符定义所述一个或多个可缩放性轴的数目n和语义含义。
[0223]
2.根据1所述的数据流，其中，具有与所述包中的每一个相关联的所述预定包类型的所述包中的每一个还包括与所述多个操作点的至少子集中的一个或多个相关联的配置文件和/或层级描述符(44)的序列(54)，每个配置文件和/或层级描述符(44)定义可用编码选项集和/或可用语法元素值范围，具有与其相关联的与所述相应的配置文件和/或所述相
应的层级描述符相关联的操作点的包的语法遵守所述可用编码选项集和/或所述可用语法元素值范围，其中，所述配置文件和/或所述层级描述符的第一集合明确示意所述可用编码选项集和/或所述可用语法元素值范围的定义，并且所述配置文件和/或所述层级描述符的第二、不相交的非空集合通过参考另一个配置文件和/或层级描述符来示意所述可用编码选项集和/或所述可用语法元素值范围的定义。
[0224]
3.根据2所述的数据流，其中，每个配置文件和/或层级描述符(44)具有字段(56)，所述字段识别与所述相应的配置文件和/或所述相应的层级描述符(44)相关联所述操作点(18)。
[0225]
4.根据3所述的数据流，其中，所述配置文件和/或所述层级描述符(44)的所述第二、不相交的非空集合通过参考另一个配置文件和/或层级描述符并使用所参考的配置文件和/或层级描述符的所述字段的明确示意(52)，来示意所述可用编码选项集和/或所述可用语法元素值范围的定义。
[0226]
5.根据1所述的数据流，其中，对于所述多个操作点的至少子集中的每一个，具有与所述包中的每一个相关联的所述预定包类型的所述包中的每一个还包括语法(98)，所述语法识别由较低操作点识别符识别的所述多个操作点的其它操作点，所述相应的操作点是所述多个操作点的扩展，从而指示所述顺序操作点次序。
[0227]
6.根据3所述的数据流，其中，每个字段(56)使用所述操作点识别符共有的位序列(60)来识别所述相应的操作点，所述位序列识别所述相应的操作点。
[0228]
7.根据6所述的数据流，其中，所有的操作点识别符具有固定位长度语法元素(60)，并且所述可缩放性轴描述符(38)示意n和所述固定位长度语法元素(60)的n个分割区与所述n个可缩放性轴的关联，其中，所述位序列是所述固定位长度语法元素所共有的。
[0229]
8.根据6所述的数据流，其中，所有的操作点识别符(34)具有固定位长度语法元素(60)和情景语法元素(64)，所述情景语法元素示意n以及所述固定位长度语法元素的n个分割区与所述n个可缩放性轴的关联，其中，所述位序列是所述固定位长度语法元素所共有的。
[0230]
9.根据1所述的数据流，其中，所有的操作点识别符(34)具有固定位长度语法元素(60)，并且所述可缩放性轴描述符(38)示意n以及所述固定位长度语法元素的n个分割区与所述n个可缩放性轴的关联，使得第n个部分是沿着第n个可缩放性轴的所述相应的操作点的位置的序数量度。
[0231]
10.根据1所述的数据流，其中，所有的操作点识别符(34)具有固定位长度语法元素(60)和情景语法元素(64)，所述情景语法元素示意n以及所述固定位长度语法元素的n个分割区与所述n个可缩放性轴的关联，使得第n个部分是沿着第n个可缩放性轴的所述相应的操作点的位置的序数量度。
[0232]
11.根据1所述的数据流，其中，所述可缩放性轴描述符(38)包括语法元素(94)，所述语法元素的可能状态单独地与n的值和与所述n个可缩放性轴的对应语义含义的语义含义的不同组合相关联。
[0233]
12.一种数据流，媒体内容被编码至所述数据流中，所述数据流包括包(12)，每个包包括包类型识别符(16)，所述包类型识别符从多个包类型中识别与相应的包相关联的包类型，
[0234]
其中，具有与每个包(12)相关联的来自所述多个包类型的第一集合的包类型的每个包包括操作点识别符(34)，所述操作点识别符从n个可缩放性轴(22a，22b)所跨越的可缩放性空间(20)内的多个操作点中识别与所述相应的包相关联的操作点(18)，并且0《n，所述操作点具有在所述操作点之中定义的顺序操作点次序，
[0235]
其中，具有与每个包(12)相关联的来自包类型的所述第一集合的第二集合的任意包类型的每个包额外携带数据(36)，所述数据与具有与所述包相关联的任意操作点的所述包一起促成在与所述相应的包相关联的所述操作点处的所述媒体内容的已编码表示，所述任意操作点在与所述相应的包相关联的所述操作点之前或者等于与所述相应的包相关联的所述操作点，
[0236]
其中，具有与每个包(12)相关联的与所述第二集合不相交的预定包类型的每个包包括均与所述多个操作点的至少子集中的一个或多个相关联的配置文件和/或层级描述符(44)的序列(54)，每个配置文件和/或层级描述符(44)定义可用编码选项集和/或可用语法元素值范围，具有与其相关联的与所述相应的配置文件和/或所述相应的层级描述符相关联的操作点的包的序列遵守所述可用编码选项集和/或所述可用语法元素值范围，其中，所述配置文件和/或所述层级描述符的第一集合明确示意所述可用编码选项集和/或所述可用语法元素值范围的定义，并且所述配置文件和/或所述层级描述符的第二、不相交的非空集合通过参考另一个配置文件和/或层级描述符来示意所述可用编码选项集和/或所述可用语法元素值范围的定义。
[0237]
13.根据12所述的数据流，其中，每个配置文件和/或层级描述符(44)具有字段，所述字段识别与所述相应的配置文件和/或所述相应的层级描述符相关联的所述操作点。
[0238]
14.根据13所述的数据流，其中，所述配置文件和/或所述层级描述符(44)的所述第二、不相交的非空集合通过参考另一个配置文件和/或层级描述符并使用所参考的配置文件和/或层级描述符的所述字段的明确示意(52)，来示意所述可用编码选项集和/或所述可用语法元素值范围的定义。
[0239]
15.根据12所述的数据流，其中，对于所述多个操作点的至少子集中的每一个，具有与所述包中的每一个相关联的所述预定包类型的所述包中的每一个还包括语法(98)，所述语法识别由较低操作点识别符识别的所述多个操作点的其它操作点，所述相应的操作点是所述多个操作点的扩展，从而指示所述顺序操作点次序。
[0240]
16.根据12所述的数据流，其中，每个字段(56)使用所述操作点识别符共有的位序列(60)来识别所述相应的操作点，所述位序列识别所述相应的操作点。
[0241]
17.根据16所述的数据流，其中，所有的操作点识别符具有固定位长度语法元素(60)，并且所述可缩放性轴描述符(38)示意n以及所述固定位长度语法元素(60)的n个分割区与所述n个可缩放性轴的关联，其中，所述位序列是所述固定位长度语法元素所共有的。
[0242]
18.根据16所述的数据流，其中，所有的操作点识别符(34)具有固定位长度语法元素(60)和情景语法元素(64)，所述情景语法元素示意n以及所述固定位长度语法元素的n个分割区与所述n个可缩放性轴的关联，其中，所述位序列是所述固定位长度语法元素所共有的。
[0243]
19.根据12所述的数据流，其中，所有的操作点识别符(34)具有标记，所述标记示意是否属于所述配置文件和/或所述层级描述符的所述第一集合和所述配置文件和/或所
述层级描述符的所述第二、不相交的非空集合，所述第一集合明确示意所述可用编码选项集和/或所述可用语法元素值范围的定义，所述第二、不相交的非空集合通过参考另一个、先前配置文件和/或层级描述符来示意所述可用编码选项集和/或所述可用语法元素值范围的定义。
[0244]
20.一种用于处理数据流的网络实体，媒体内容被编码至所述数据流中，所述数据流包括包(12)，每个包(12)包括包类型识别符(16)，所述包类型识别符从多个包类型中识别与相应的包相关联的包类型，
[0245]
其中，具有与每个包(12)相关联的来自所述多个包类型的第一集合中的包类型的每个包包括操作点识别符(34)，所述操作点识别符从n个可缩放性轴(22a，22b)所跨越的可缩放性空间(20)内的多个操作点中识别与所述相应的包相关联的操作点(18)，并且0《n，所述操作点具有在所述操作点之中定义的顺序操作点次序，
[0246]
其中，具有与每个包(12)相关联的来自包类型的所述第一集合的第二集合中的任意包类型的每个包额外携带数据(36)，所述数据与具有与所述包相关联的任意操作点的所述包一起促成在与所述相应的包相关联的所述操作点处的所述媒体内容的已编码表示，所述任意操作点在与所述相应的包相关联的所述操作点之前或者等于与所述相应的包相关联的所述操作点，
[0247]
其中，所述网络实体被配置为：
[0248]
从具有与包(12)相关联的所述第二集合不相交的预定包类型的包读取可缩放性轴描述符(38)，所述可缩放性轴描述符定义所述一个或多个可缩放性轴的数目n和语义含义，并且
[0249]
根据所述可缩放性轴描述符来解译所述操作点识别符。
[0250]
21.根据20所述的网络实体，其中，所述网络实体被配置为：从具有与所述包相关联的所述第二集合不相交的所述预定包类型的所述包读取单独地与所述多个操作点的至少子集相关联的配置文件和/或层级描述符(44)的序列(54)，每个配置文件和/或层级描述符(44)定义可用编码选项集和/或可用语法元素值范围，具有与其相关联的与所述相应的配置文件和/或所述相应的层级描述符相关联的所述操作点的包的语法遵守所述可用编码选项集和/或所述可用语法元素值范围，其中，所述网络实体被配置为：响应于所述数据流中的示意而从所述配置文件和/或所述层级描述符的第一集合明确读取所述可用编码选项集和/或所述可用语法元素值范围的定义，并且为所述配置文件和/或所述层级描述符的第二、不相交的非空集合读取对另一个配置文件和/或层级描述符的参考，并且从相应的所参考的配置文件和/或层级描述符推导出所述配置文件和/或所述层级描述符的所述第二、不相交的非空集合的所述可用编码选项集和/或所述可用语法元素值范围的定义。
[0251]
22.根据21所述的网络实体，其中，每个配置文件和/或层级描述符(44)具有字段(56)，所述字段识别与所述相应的配置文件和/或所述相应的层级描述符(44)相关联的所述操作点(18)。
[0252]
23.根据22所述的网络实体，其中，所述配置文件和/或所述层级描述符(44)的所述第二、不相交的非空集合通过参考另一个配置文件和/或层级描述符并使用所参考的配置文件和/或层级描述符的所述字段的明确示意(52)，来示意所述可用编码选项集和/或所述可用语法元素值范围的定义。
[0253]
24.根据21所述的网络实体，其中，所述网络实体被配置为对于所述多个操作点的至少子集中的每一个，还从具有与所述包相关联的所述预定包类型的所述包读取语法(98)，所述语法识别由较低操作点识别符识别的所述多个操作点的其它操作点，所述相应的操作点是所述多个操作点的扩展，从而指示所述顺序操作点次序。
[0254]
25.根据24所述的网络实体，其中，每个字段(54)使用所述操作点识别符共有的位序列(60)来识别所述相应的操作点，所述位序列识别所述相应的操作点。
[0255]
26.根据25所述的网络实体，其中，所有的操作点识别符具有固定位长度语法元素(60)，并且所述可缩放性轴描述符(38)示意n以及所述固定位长度语法元素(60)的n个分割区与所述n个可缩放性轴的关联，其中，所述位序列是所述固定位长度语法元素所共有的。
[0256]
27.根据25所述的网络实体，其中，所有的操作点识别符(34)具有固定位长度语法元素(60)和情景语法元素(64)，所述情景语法元素示意n以及所述固定位长度语法元素的n个分割区与所述n个可缩放性轴的关联，其中，所述位序列是所述固定位长度语法元素所共有的。
[0257]
28.根据20所述的网络实体，其中，所有的操作点识别符(34)具有固定位长度语法元素(60)，并且所述可缩放性轴描述符(38)示意n以及所述固定位长度语法元素的n个分割区与所述n个可缩放性轴的关联，使得第n个部分是沿着第n个可缩放性轴的所述相应的操作点的位置的序数量度。
[0258]
29.根据20所述的网络实体，其中，所有的操作点识别符(34)具有固定位长度语法元素(60)和情景语法元素(64)，其中，所述网络实体被配置为使用所述情景语法元素来判定n并且使所述固定位长度语法元素的n个分割区与所述n个可缩放性轴相关联，使得第n个部分是沿着第n个可缩放性轴的所述相应的操作点的位置的序数量度。
[0259]
30.根据20所述的网络实体，其中，所述网络实体被配置为基于解译而在具有与所述包相关联的来自所述多个包类型的所述第一集合的任意包类型的所述包之中进行选择。
[0260]
31.一种用于处理数据流的网络实体，媒体内容被编码至所述数据流中，所述数据流包括包(12)，每个包(12)包括包类型识别符(16)，所述包类型识别符从多个包类型中识别与相应的包相关联的包类型，
[0261]
其中，具有与每个包(12)相关联的来自所述多个包类型的第一集合的包类型的每个包包括操作点识别符(34)，所述操作点识别符从n个可缩放性轴(22a，22b)所跨越的可缩放性空间(20)内的多个操作点中识别与所述相应的包相关联的操作点(18)，并且0《n，所述操作点具有在所述操作点之中定义的顺序操作点次序，
[0262]
其中，具有与每个包(12)相关联的来自所述包类型的所述第一集合的第二集合中的任意包类型的每个包额外携带数据(36)，所述数据与具有与所述包相关联的任意操作点的所述包一起促成在与所述相应的包相关联的所述操作点处的所述媒体内容的已编码表示，所述任意操作点在与所述相应的包相关联的所述操作点之前或者等于与所述相应的包相关联的所述操作点，
[0263]
其中，所述网络实体被配置为：
[0264]
从具有包相关联的与所述第二集合不相交的预定包类型的包读取均与所述多个操作点的至少子集中的一个或多个相关联的配置文件和/或层级描述符的序列，每个配置文件和/或层级描述符定义可用编码选项集和/或可用语法元素值范围，具有与其相关联的
与所述相应的配置文件和/或所述相应的层级描述符相关联的操作点的包的语法遵守所述可用编码选项集和/或所述可用语法元素值范围，其中，所述网络实体被配置为：响应于所述数据流中的示意而从所述配置文件和/或所述层级描述符的第一集合明确读取所述可用编码选项集和/或所述可用语法元素值范围的定义，并且为所述配置文件和/或所述层级描述符的第二、不相交的非空集合读取对另一个配置文件和/或层级描述符的参考，并且从相应的所参考的配置文件和/或层级描述符推导出所述配置文件和/或所述层级描述符的所述第二、不相交的非空集合的所述可用编码选项集和/或所述可用语法元素值范围的定义。
[0265]
32.根据31所述的网络实体，其中，所述网络实体被配置为基于所述相关联的可用编码选项集和/或所述相关联的可用语法元素值范围而在具有与所述包相关联的来自所述多个包类型的所述第一集合的任意包类型的所述包之中进行选择。
[0266]
33.一种用于处理数据流的方法，媒体内容被编码至所述数据流中，所述数据流包括包(12)，每个包(12)包括包类型识别符(16)，所述包类型识别符从多个包类型中识别与相应的包相关联的包类型，
[0267]
其中，具有与每个包(12)相关联的来自所述多个包类型的第一集合的包类型的每个包包括操作点识别符(34)，所述操作点识别符从n个可缩放性轴(22a，22b)所跨越的可缩放性空间(20)内的多个操作点中识别与所述相应的包相关联的操作点(18)，并且0《n，所述操作点具有在所述操作点之中定义的顺序操作点次序，
[0268]
其中，具有与每个包(12)相关联的来自所述包类型的所述第一集合的第二集合的任意包类型的每个包额外携带数据(36)，所述数据与具有与所述包相关联的任意操作点的所述包一起促成在与所述相应的包相关联的所述操作点处的所述媒体内容的已编码表示，所述任意操作点在与所述相应的包相关联的所述操作点之前或者等于与所述相应的包相关联的所述操作点，
[0269]
其中，所述方法包括：
[0270]
从具有与包(12)相关联的与所述第二集合不相交的预定包类型的包读取可缩放性轴描述符(38)，所述可缩放性轴描述符定义所述一个或多个可缩放性轴的数目n和语义含义，以及
[0271]
根据所述可缩放性轴描述符来解译所述操作点识别符。
[0272]
34.一种用于处理数据流的方法，媒体内容被编码至所述数据流中，所述数据流包括包(12)，每个包(12)包括包类型识别符(16)，所述包类型识别符从多个包类型中识别与相应的包相关联的包类型，
[0273]
其中，具有与每个包(12)相关联的来自所述多个包类型的第一集合的包类型的每个包包括操作点识别符(34)，所述操作点识别符从n个可缩放性轴(22a,22b)所跨越的可缩放性空间(20)内的多个操作点中识别与所述相应的包相关联的操作点(18)，并且0《n，所述操作点具有在所述操作点之中定义的顺序操作点次序，
[0274]
其中，具有与每个包(12)相关联的来自所述包类型的所述第一集合的第二集合的任意包类型的每个包额外携带数据(36)，所述数据与具有与所述包相关联的任意操作点的所述包一起促成在与所述相应的包相关联的所述操作点处的所述媒体内容的已编码表示，所述任意操作点在与所述相应的包相关联的所述操作点之前或者等于与所述相应的包相关联的所述操作点，
[0275]
其中，所述方法包括：
[0276]
从具有与包相关联的与所述第二集合不相交的预定包类型的包读取均与所述多个操作点的至少子集中的一个或多个相关联的配置文件和/或层级描述符的序列，每个配置文件和/或层级描述符定义可用编码选项集和/或可用语法元素值范围，具有与其相关联的与所述相应的配置文件和/或所述相应的层级描述符相关联的操作点的包的语法遵守所述可用编码选项集和/或所述可用语法元素值范围，其中，网络实体被配置为：响应于所述数据流中的示意而从所述配置文件和/或所述层级描述符的第一集合明确读取所述可用编码选项集和/或所述可用语法元素值范围的定义，并且为所述配置文件和/或所述层级描述符的第二、不相交的非空集合而读取对另一个配置文件和/或层级描述符的参考，并且从相应的所参考的配置文件和/或层级描述符推导出所述配置文件和/或所述层级描述符的所述第二、不相交的非空集合的所述可用编码选项集和/或所述可用语法元素值范围的定义。
[0277]
35.一种计算机程序，当在计算机或处理器上运行所述计算机程序时，所述计算机程序用于执行根据33和34所述的处理方法。
[0278]
参考文献
[0279]
[1]托马斯
·
维甘德(thomas wiegand)、加里j
·
沙利文(gary j.sullivan)、吉赛尔.琼特高(gisle bjontegaard)、阿贾伊.鲁思拉(ajay luthra)，“h.264/avc视频写码标准综述(overview of the h.264/avc video coding standard”，ieee电路系统视频技术学报，第n7期，第13卷，2003年7月。
[0280]
[2]jct-vc，“高效视频写码(hevc)本文规范工作草案6(high-efficiency video coding(hevc)text specification working draft 6)”，jctvc-h1003，2012年2月。
[0281]
[3]iso/iec 13818-1:mpeg-2系统规范。