解码器、编码器、方法、网络设备以及可读存储介质与流程

解码器、编码器、方法、网络设备以及可读存储介质
1.本申请是申请日为2017年2月8日、国际申请号为pct/ep2017/052769、中国申请号为“201780024264.2”、发明名称为“允许图片/视频数据流的高效的可缩减性或高效的随机访问的技术”的申请的分案申请。
技术领域
2.本申请涉及视频/图片码处理，尤其涉及允许高效地缩减这种数据流的技术、允许更容易地处理这种数据流的技术和/或允许更高效地随机访问视频数据流的技术。


背景技术：

3.有许多视频编解码器允许视频数据流的可伸缩性而无需转码，即，不需要解码和编码的顺序执行。这种可伸缩视频数据流的示例是如下的数据流，这种数据流通过简单地省去相应可伸缩视频数据流的一些增强层而在例如时间分辨率、空间分辨率或信噪比方面是可伸缩的。然而，迄今为止，还没有视频编解码器允许在场景分段(sectioning)方面具有计算上不复杂的可伸缩性。在hevc中，也存在或者已经提出了用于将hevc数据流限制为图片子区域的技术，但是这些技术在计算上仍然是复杂的。
4.而且，根据应用不同，要编码成数据流的图片内容可能是在通常提供的矩形图片区域内不能有效编码的形式。例如，全景图片内容可以被投影到二维平面上而形成图片区域，其投影方式可以使得投影目标(即全景场景在图片区域上占据的空间)是非矩形的，甚至是非凸的。在那种情况下，图片/视频数据的更有效的码处理将是有利的。
5.此外，在现有视频数据流中，以引起相当大的比特率峰值的方式提供了随机访问点。为了减少由这些比特率峰值产生的负面影响，可以考虑减小这些随机访问点出现的时间粒度。然而，这增大了对这种视频数据流进行随机访问的平均持续时间，因此，有一个可以更有效地解决该问题的思路将是有利的。


技术实现要素：

6.因此，本发明的一个目的是解决上述问题。根据本申请，这通过以下方面来实现。
7.根据本申请的第一方面，视频数据流以能够缩减的方式提供，这种方式使得该缩减导致将缩减后的视频数据流的图片仅仅限制为原始视频数据流的图片的预定子区域(subarea)，这种方式还可以避免诸如重新量化之类的转码，并且保持缩减后的视频数据流相对于原始视频数据流的编解码器的合规性。这是通过向视频数据流提供包括以下内容在内的信息来实现的：对所述预定子区域的指示；以及替换索引和/或替换参数，所述替换索引用于重定向由有效载荷部分包括的索引以便参考码处理参数设定的第二集合，所述替换参数用于调整码处理参数设定的所述第一集合以便得到码处理参数设定的第二集合。所述视频的图片以使用所述码处理参数设定的第一集合作为参数的方式被编码到所述原始视频数据流的有效载荷部分中，所述第一集合由所述有效载荷部分所包括的索引进行索引。附加地或替代地，对于补充增强信息，类似的措施是可行的。因此，可以通过执行以下操作
来将视频数据流缩减为缩减视频数据流：执行重定向和/或调整，以使所述码处理参数设定的第二集合由有效载荷部分的索引进行索引，并因此成为有效的码处理参数设定集；移除所述有效载荷部分的、参考所述图片中所述预定子区域外部的区域的部分；以及改变位置指示(诸如有效载荷部分中的切片地址)，以便以相对于所述预定子区域的周边而不是所述图片的周边度量的方式指示位置。作为代替，已经进行了缩减从而不包括有效载荷部分中的、参考预定子区域外部的区域的那些部分的数据流，可以通过参数和/或补充增强信息的实时调整来进行修改。
8.根据本申请的另一方面，图片内容的传输更加高效，因为图片内容不需要以预定方式被整形或排序，所述预定方式例如是对由底层编解码器通常支持的矩形图片区域进行填充。而是，提供了一种编码有图片的数据流，其包括移位信息，该移位信息为图片的至少一个预定子领域(subregion)的集合指示在目标图片区域内的移位，所述移位是相对于所述集合无失真或一对一或全等地复制到所述目标图片区域中而言的。例如，在投影是非矩形的情况下，在图片内传送全景场景的投影时，提供这种移位信息是有用的。在由于数据流缩减而使图片内容不再适合在缩减视频数据流的较小图片内传送的情况(例如，要在缩减视频数据流内传输的感兴趣的全景视图区段与预测的过渡边界交叉等情况)下，该移位信息也是有效的。
9.根据本申请的另一方面，通过向视频数据流提供两组随机访问点，减少了由随机访问点引起的视频数据流中的比特率峰值的负面影响：在将一个或多个图片的第一集合编码到所述视频数据流中时，至少在第一图片子区域内中断时间预测，以便形成一个或多个第一随机访问点的集合，并且在将一个或多个图片的第二集合编码到所述视频数据流中时，在与所述第一图片子区域不同的第二图片子区域内中断时间预测，以便形成一个或多个第二随机访问点的集合。以这种方式，寻求随机防问视频数据流或重新开始视频数据流的解码的解码器可以选择第一和第二随机访问点中的一个，该第一和第二随机访问点可以在时间上分布，并且在第二随机访问点的情况下至少允许关于第二图片子区域的随机访问，在第一随机访问点的情况下至少允许关于第一图片子区域的随机访问。
附图说明
10.上述技术可以有利地一起使用。此外，有利的实施方式是从属权利要求的主题。以下参照附图描述本申请的优选实施例，其中：
11.图1示出了根据与第一方面有关的本申请实施例的视频数据流的示意图，根据该方面，关于能够缩减的视频数据流的图片的子领域，视频数据流能够缩减为缩减视频数据流；
12.图2示出了根据实施例说明图1的能够缩减的视频数据流的有效载荷部分与参数集部分之间的相互依赖性的示意图，以便示出将图片编码成能够缩减的视频数据流时的参数化；
13.图3示出了根据实施例说明为了允许缩减而与图1的视频数据流一起提供的信息的可能内容的示意图；
14.图4示出了接收能够缩减的视频数据流并从中导出缩减视频数据流的网络设备的示意图；
15.图5示出了根据实施例说明使用参数集重定向来缩减视频数据流的操作模式的示意图；
16.图6示出了视频解码器82接收缩减视频数据流以从其重建缩减视频数据流的图片的示意图，该缩减视频数据流的图片仅示出原始视频数据流的图片的子区域；
17.图7示出了在缩减能够缩减的视频数据流时的替代操作模式的示意图，这次使用的参数集调整利用了与能够缩减的视频数据流一起提供的信息内的替换；
18.图8示出了可以与能够缩减的视频数据流一起提供的信息的语法示例；
19.图9示出了可以与能够缩减的视频数据流一起提供的信息的替代语法示例；
20.图10示出了可以与能够缩减的视频数据流一起提供的信息的语法的另一个例子；
21.图11示出了该信息的语法的另一个例子，这里该信息用于替换sei消息；
22.图12示出了语法表的示例，该语法表可用于形成与多层视频数据流有关的信息；
23.图13示出了根据实施例的示意图，该示意图示出了一方面的能够缩减的视频数据流内的图片的子领域内的拼块与另一方面的缩减视频数据流的图片内的对应拼块之间的关系，从而说明这些拼块空间重排的可能性；
24.图14示出了通过全景场景的直线预测获得的图片的示例；
25.图15示出了载有与全景场景的立方投影相对应的图片内容的图片的示例；
26.图16示出了通过重新排列使用图15的立方投影内容有效填充的图片；
27.图17示出了根据涉及本申请的第二方面的实施例的用于移位信息的语法表的示例，使用该语法表的示例可以提供数据流；
28.图18示出了说明根据涉及本申请的第二方面的实施例的视频数据流的结构的示意图；
29.图19示出了根据实施例说明移位信息的可能内容的示意图；
30.图20示出了说明编码器的示意图，该编码器被配置为形成包括移位信息并同时能够被缩减的数据流；
31.图21示出了说明被配置为接收包括移位信息在内的数据流的解码器的示意图，以便说明如何有利地使用移位信息的可能性；
32.图22示出了说明根据与本申请的另一方面有关的实施例的包括特定于子区域的随机访问图片在内的视频数据流的示意图；
33.图23a
‑
图23e示出了说明根据不同替代方案所使用的子区域的可能布置的示意图；
34.图24示出了说明根据实施例的视频解码器的示意图，该视频解码器被配置为接收其中散布有特定于子区域的随机访问图片的视频数据流；
35.图25示出了说明图24的情况的示意图，但是示出了视频解码器的另一种操作模式，其中视频解码器在随机访问视频数据流时，直到由特定于子区域的随机访问图片的子区域完全覆盖输入的视频数据流的图片区域时，才输出或呈现视频；
36.图26示出了说明接收视频数据流的网络设备的示意图，所述视频数据流包括特定于子区域的随机访问图片，特定于子区域的随机访问图片的子区域同时形成了视频数据流可关于其缩减的子领域；
37.图27示出了说明接收数据流的网络设备的示意图，该数据流具有移位信息并且能
够被缩减，该示意图用于说明网络设备231如何能够提供具有特定于子领域的移位信息的缩减视频数据流的可能性；
38.图28示出了图片的不相交的感兴趣领域的示例，该图片示例性地是圆柱形全景图；以及
39.图29示出了hevc的tmcts sei消息的语法表。
具体实施方式
40.本申请的描述涉及本申请的上述方面。本申请的第一方面涉及视频数据流的子区域提取/缩减，为了提供与该方面有关的背景，在下文中通过示例性地参考hevc来描述一种作为这种需求的起因的应用示例、在满足该需求时遇到的问题以及这些问题的克服动机。
41.在hevc中，可以使用时间运动约束拼块集(tmcts)sei消息来用信号通知空间子集，即拼块(tile)集。在这样的消息中定义的拼块集具有以下特征：“帧间预测过程被约束为使得：在所识别的拼块集内的任何样本的帧间预测中，不使用位于每个识别的拼块集之外的样本值，并且不使用位于分数样本位置处的利用所识别的拼块集之外的一个或多个样本值导出的样本值”。换句话说，可以独立于同一层中的与相同tmcts相关联的样本来解码tmcts的样本。tmcts包括一个或多个拼块的一个或多个矩形联合，如图28中使用矩形900所示。在该图中，用户观看的感兴趣领域900包括两个不相交的图像块。
42.tmcts sei消息的精确语法在图29中给出以供参考。
43.在许多应用中实现以下目标是有利的：在无需承担诸如视频转码之类的繁重处理的负担的情况下创建视频比特流的能够独立解码的矩形空间子集，即感兴趣领域(region of interest，roi)。这些应用包括但不限于：
44.·
全景视频流：通过头戴式显示器将广角视频(例如，360
°
视角)的仅特定空间领域显示给最终用户。
45.·
宽高比调整流：根据客户端的显示特性，在服务器端实时调整编码视频的宽高比。
46.·
解码复杂度调整：由于级别限制而无法解码给定编码视频比特流的低成本/低技术设备可能能够处理视频的空间子集。
47.对于上述示例性应用列表，前面描述的现有技术出现了许多问题。
48.·
没有任何机制使视频比特流的空间子集的hrd参数(即，缓冲/定时信息)对系统层可用。
49.·
在视频中不存在用于将给定视频比特流的空间子集简单地转换为合规的视频比特流的合规性点。
50.·
对于编码器来说，没有任何机制能够保证具有给定标识符的拼块集可以被简单地转换成合规的视频比特流。
51.在给出所列问题的解决方案的情况下，所有上述示例应用都可以以与标准相符合的方式实现。在视频码处理层内定义此功能有望成为应用和系统层的重要的合规性点。
52.hevc规范已经包括了用于提取子比特流的过程，该过程可以降低编码视频比特流的时间分辨率或层的数量，即降低空间分辨率、信号保真度或视角数量。
53.本发明为所识别的问题提供了解决方案，特别是提供了以下机制：
54.1.通过定义基于tmcts的子图片提取过程，从编码视频序列提取空间子集(即，基于单个tmcts的视频比特流)。
55.2.传送和识别用于所提取的子图片视频序列的正确的参数集值和(可选地)sei信息。
56.3.编码器传送对关于视频比特流和tmcts的某些比特流约束的保证，这些比特流约束允许提取子领域。
57.下面描述的实施例通过提供具有以下信息的视频数据流来克服刚刚概述的问题，该信息是从视频数据流的有效载荷部分重建视频图片时不需要的信息，该信息包括对预定子区域的指示以及替换索引和/或替换参数，其重要性和功能在下面更详细地描述。以下描述不限于hevc或hevc的变形。相反，下面描述的实施例可以在任何视频编解码器技术中实现，以便为这种视频码处理技术提供附加的合规性点，该附加的合规性点用于提供缩减的特定于子区域的视频数据流。稍后，详细描述了接下来描述的实施例可以如何具体实现以形成hevc的扩展。
58.图1示出了根据本申请实施例的视频数据流10。也就是说，视频数据流能够以维持合规性的方式缩减为缩减的视频数据流，在缩减的视频数据流中，图片仅显示编码到视频数据流10中的视频14的图片12的预定子区域，在缩减中不需要进行转码，或者更准确地说，不需要进行耗时且计算复杂的操作，例如重新量化、空间到频谱变换及其反变换和/或重新执行运动估计。
59.图1的视频数据流10被示出为包括：参数集部分16，表示码处理参数设定80；以及有效载荷部分18，视频14的图片12被编码到该有效载荷部分18中。在图1中，通过对有效载荷部分18使用阴影线，同时将参数设定部分16显示为没有阴影线，从而将部分16和18示例性地彼此区分。此外，部分16和18示例性地示出为在数据流10内相互交错，尽管不一定是这种情况。
60.以特定方式将视频14的图片12编码在有效载荷部分18中。特别地，图1示出了示例性预定子区域22，视频数据流10具有能够关于该预定子区域22被缩减为缩减视频数据流的能力。图片12是以这样的方式编码到有效载荷部分18中的：就预定子区域22而言，将任何码处理依赖性限制为不跨越子区域22的边界。也就是说，将某个图片12码处理到有效载荷部分18中，使得在子区域22内，子区域22的码处理不依赖于该图片内的该区域22的空间邻域。在图片12也使用时间预测被编码到有效载荷部分18的情况下，时间预测可以被限制在子区域22内，使得视频14的第一图片的子区域22内的部分在码处理时不依赖于子区域22外部的视频14的参考图片(其他图片)的区域。也就是说，产生视频数据流14的相应编码器限制用于对子区域22进行码处理的可用运动矢量集合，使得其不会指向参考图片的部分，由这些参考图片的部分形成的运动补偿预测信号需要或涉及参考图片的子区域22之外的样本。就空间依赖性而言，注意到对空间依赖性的限制可以涉及以下方面的空间预测：样本方式空间预测、码处理参数的空间预测和码处理依赖性(其例如由在空间上跨过子区域22的边界的连续的算术码处理产生)。
61.因此，有效载荷部分18中编码有图片12，如上所述，其编码方式遵循对码处理依赖性的限制，以便不涉及预定子区域22之外的部分，有效载荷部分18因此可以由语法元素的语法有序序列24组成，这些语法元素例如包括运动矢量、图片参考索引、划分信息、码处理
模式、变换系数、表示量化预测残差的残差样本值，或它们的一个或任何组合。然而，最重要的是，使用码处理参数设定20的第一集合20a作为参数，将视频14的图片12编码在有效载荷部分18中。例如，集合20a中的码处理参数设定定义了例如图片12的图片大小，诸如图片12的垂直高度和水平宽度。为了说明在将图片12码处理到有效载荷部分18中时如何将图片大小“作为参数”，简要地参考图2。图2示出了图片大小码处理参数26，作为集合20a的码处理参数设定之一的示例。显然，图片大小26表示必须由有效载荷部分18“码处理”的图片区域的大小，并且它可以用信号通知某个图片12的相应子块不进行码处理并相应地例如被诸如零(其可以对应于黑色)之类的预定样本值填充。因此，图片大小26影响28有效载荷部分18的语法描述24的量或大小30。此外，在例如位置指示32的值范围和位置指示32可能出现在语法描述24中的顺序方面，图片大小26影响28有效载荷部分18的语法描述24内的位置指示32。例如，位置指示32可以包括有效载荷部分18内的切片(slice)地址。如图1所示，切片34是数据流10的组成部分，例如，数据流10能够以切片34为单位传输到解码器。每个图片12可以以这样的切片34为单位被码处理成数据流10，其中在细分为切片34时按照解码顺序进行细分，该解码顺序是将图片12码处理成数据流10的顺序。每个切片34对应于图片12的对应区域36，并因此编码到该对应区域36中，其中区域36在子区域22的内部或外部，即它不跨过子区域的边界。在这种情况下，每个切片34可以设置有切片地址，该切片地址表示相应区域36在图片12的图片区域内(即相对于图片12的周缘)的位置。举一个具体的例子，可以相对于图片12的左上角度量切片地址。显然，这样的切片地址不会超过某个值，该值超过具有图片大小26的图片内的切片地址的值。
62.类似于图片大小26，码处理参数设定的集合20a还可以定义拼块结构38，其是图块12可以被细分为的拼块的结构。图1使用点划线40给出了将图片12细分为拼块42的示例，该细分使得拼块以列和行的拼块阵列排列。在通过细分为拼块42的拼块细分将图片12编码到有效载荷部分18中的可选情况下，这例如可以意味着：1)跨过拼块边界的空间相互依赖性不被允许因而不被使用，2)将图片12码处理到数据流10中时所按照的解码顺序以光栅扫描拼块顺序遍历图片12，即，在访问拼块顺序中的下一拼块之前遍历每个拼块。因此，拼块结构38影响28解码顺序44(按照该解码顺序44将图片12编码到有效载荷部分18中)，并因此影响语法描述24。类似于图片大小26，拼块结构38还影响28有效载荷部分18内的位置指示32，即，影响位置指示32的不同实例在语法描述24内允许出现的顺序。
63.集合20a的码处理参数设定还可以包括缓冲区定时46。例如，缓冲区定时46可以是信号码处理图片的缓冲区移除时间，在该时间，数据流10的某些部分(例如单个切片34或参考一个图片12的数据流10的部分)将从解码器的码处理图片缓冲区中移除，这些时间值影响28或涉及数据流10内的相应部分的大小，使得缓冲区定时46也影响28有效载荷部分18的量/大小30。
64.也就是说，如图2的描述所例示，在将图片12码处理到有效载荷部分18中时使用码处理参数设定的集合20a“作为参数”或进行“描述”，其意义在于，码处理参数设定20的集合20a与有效载荷部分18及其语法描述24之间的任何不合规将被识别为与合规性要求相冲突，该合规性要求是任何数据流要被识别为合规数据流都必须遵守的要求。
65.码处理参数设定的第一集合20a由索引48参考或索引，索引48包括在有效载荷部分18中，并且散置或包括在语法描述24中。例如，索引48可以包含在切片34的切片头部中。
66.尽管码处理参数设定的被索引的集合20a可以与有效载荷部分18合规地或者与有效载荷部分18一起地被修改，使得有效载荷部分18的不属于子区域22的部分被消除，并且使得得到的缩减数据流保持合规性，但是图1的实施例不遵循这种方法。尽管被索引的集合20a内的码处理参数设定和有效载荷部分18两者的这种相关联的修改不需要通过完整的解码和编码执行的迂回动作，但是为了执行该相关联的修改所需的计算开销仍然需要相当多的解析步骤等。
67.因此，图1的实施例遵循另一种方法，根据该方法，视频数据流10包括(即提供有)信息50，该信息50不是从有效载荷部分18重建视频图片12所必需的，该信息包括对预定子区域的指示以及替换索引和/或替换参数。例如，信息50可以就预定子区域22在图片12内的位置方面指示预定子区域22。例如，信息50可以以拼块为单位指示子区域22的位置。因此，信息50可以标识每个图片内的拼块42的集合，以便形成子区域22。每个图片12内的拼块42的集合可以在图片12之间固定，即，在每个图片12内形成子区域22的拼块可以彼此位于相同位置，并且形成子区域22的这些拼块的拼块边界在不同的图片12之间可以在空间上重合。应该提到的是，该拼块的集合不限于形成图片12的连续矩形拼块子阵列。然而，每个图片12内形成子区域22的拼块的无覆盖且无间隙的邻接是可以存在的，这种无间隙且无覆盖的邻接或毗邻形成矩形区域。然而，自然地，指示50不限于以拼块为单位指示子区域22。应该记得，无论如何，图片12的拼块细分的使用仅仅是可选的。例如，指示50可以以样本为单位或通过一些其他手段指示子区域22。在更进一步的实施例中，子区域22的位置甚至可以形成默认信息，该默认信息是设想要处理该视频数据流10的参与的网络设备和解码器所已知的，其中信息50仅指示关于子区域22的可缩减性或者子区域22的存在。如上所述并如图3所示，除了对预定子区域的指示52之外，信息50还包括替换索引54和/或替换参数56。替换索引和/或替换参数用于改变码处理参数设定的被索引的集合(即由有效载荷部分18内的索引所索引的码处理参数设定的集合)，使得码处理参数设定的被索引的集合适合于缩减的视频数据流的有效载荷部分，在缩减的视频数据流中，有效载荷部分18已通过以下方式被修改：移除与子区域22外部的图片12的部分有关的那些部分，并且改变位置指示32以便与子区域22的周边相关而不是与图片12的周边相关。
68.为了清楚地描述后一种情况，参考示出了网络设备60的图4，该网络设备60被配置为接收和处理根据图1的视频数据流10，以便从中导出缩减视频数据流62。“缩减视频数据流”62中的术语“缩减”应表示两件事，即第一，缩减视频数据流62对应于比视频数据流10更低的比特率，第二，缩减视频数据流62中编码的图片小于视频数据流10的图片12，因为缩减视频数据流62的较小的图片仅显示图片12的子区域22。
69.为了完成如下面更详细说明的任务，方法设备60包括：读取器64，被配置为从数据流10读取信息50；以及缩减器66，基于信息50以下面更详细地描述的方式执行缩减或提取过程。
70.图5示出了使用信息50中的替换索引54的示例性情况下的网络设备60的功能。特别地，如图5所示，网络设备60例如使用信息50以便从数据流10的有效载荷部分18中移除68部分70，该部分70与子区域22无关，即，该部分70参考子区域22之外的图片12的区域。例如，移除68可以基于切片执行，其中缩减器66一方面基于位置指示或切片34的切片头部内的切片地址，另一方面基于信息50内的指示52，来识别有效载荷部分18内的与子区域22无关的
那些切片34。
71.在图5的示例中，信息50携带替换索引54，视频数据流10的参数集部分16除了携带码处理参数设定的索引集合20a之外还携带码处理参数设定的非索引集合20b，有效载荷部分18内的索引48不对该集合20b进行参考或索引。在执行缩减时，缩减器66用替换索引54替换数据流10内的索引48(在图5中示例性地示出了一个替换)，并且在图5中使用弯曲箭头72示出该替换。通过用替换索引54对索引48进行替换，发生重定向72，根据该重定向72，缩减视频数据流62的有效载荷部分所包括的索引对码处理参数设定的第二集合20b进行参考或索引，使得码处理参数设定的第一集合20a变为不被索引的。因此，重定向72还可以包括缩减器66从参数集部分16中移除74的码处理参数设定的不再被索引的集合20a。
72.缩减器66还改变有效负载部分18内的位置指示32，以便相对于预定子区域22的周边进行度量。该改变在图5中通过弯曲箭头78指示，其中示例性地仅仅描绘一个位置指示32从数据流10到缩减视频数据流62的改变，该改变通过以下方式示意性地指示：以交叉影线的方式显示缩减视频数据流62中的位置指示32，同时以无阴影的方式显示数据流10中的位置指示32。
73.因此，总结图5的描述，网络设备60能够以仅涉及相对低的复杂度的方式获得缩减视频数据流62。正确地调整码处理参数设定的集合20b以便正确地参数化或适合于缩减视频数据流62的有效载荷部分18的量/大小30、位置指示32和解码顺序44的繁琐任务可以已经在其他地方执行，例如在编码器80内执行，编码器80通过使用图1中的虚线框代表性地示出。另一种方法是改变信息50的评估和缩减器66的缩减之间的顺序，如下面所进一步描述的。
74.图6示出了缩减视频数据流62被馈送到视频解码器82的情况，以便说明缩减视频数据流62已在其中编码了较小图片86的视频84，图片86的大小小于图片12并且仅示出其子区域22。因此，视频解码器82对缩减视频数据流62进行解码，从而产生视频84的重建。如关于图5所解释的，缩减视频数据流62具有缩减的有效载荷部分18，该缩减的有效载荷部分18中已经编码了较小图片86，该编码由码处理参数设定的第二集合20b作为参数或相应地描述。
75.视频编码器80可以例如将图片12编码成视频数据流10，同时遵守上面结合子区域22关于图1说明的码处理限制。例如，编码器80可以使用适当的速率
‑
失真优化函数的优化来执行该编码。作为该编码的结果，有效载荷部分18对集合20a进行索引。另外，编码器80产生集合20b。为此，编码器80可以例如使图片大小26和拼块结构38相对于它们在集合20a中的值进行调整，以便对应于子区域22的大小和所占用的拼块集。除此之外，编码器80自身将基本上执行如上面关于图5所解释的缩减处理并计算缓冲区定时46，以便使诸如视频解码器82之类的解码器能够使用码处理参数设定的第二集合20b内的这样计算得出的缓冲区定时46，正确地管理其码处理图片缓冲区。
76.图7示出了网络设备的操作模式的替代方式，即，使用信息50内的替换参数56的情况。根据该替代方案，如图7中所示，参数集部分16仅包括码处理参数设定的被索引的集合20a，从而不需要由缩减器66执行重新索引或重定向72和集合移除74。然而，代替这些操作，缩减器66使用从信息50获得的替换参数56，以便将码处理参数设定的被索引的集合20a调整88成为码处理参数设定的集合20b。即使根据该替代方案，为了从原始视频数据流10中导
出缩减视频数据流62，执行步骤68、78和88的缩减器66也没有相对复杂的操作。
77.换句话说，在图7的情况下，替换参数56可以例如包括图片大小26、拼块结构38和/或缓冲区定时46中的一个或多个。
78.关于图5和7应该注意的是，也可以存在两种替代方案的混合方案，其中信息50包括替换索引和替换参数两者。例如，经历从集合20a到集合20b的改变的码处理参数设定可以分布到不同的参数集切片(例如sps、pps、vps等)上，或者包括在不同的参数集切片中。因此，对于这些切片中的不同切片，例如可以执行根据图5或图7的不同处理。
79.关于改变78位置指示的任务，应注意，必须相对经常地执行该任务，因为例如要对有效载荷部分18内的切片34的每个有效载荷片执行该任务，但是位置指示32的新替换值的计算相对并不复杂。例如，位置指示可以通过水平坐标和垂直坐标来指示位置，并且改变78可以例如通过在原始位置指示32和数据流10的对应坐标与子区域22相对于图片12左上角的偏移之间形成减法，来计算位置指示的新坐标。或者，位置指示32可以使用某种线性度量来指示位置，例如，该线性度量以一些适当的单位遵循上述解码顺序，例如以编码块(诸如树根块)为单位，其中图片12被规则地划分为行和列。在这种情况下，将在步骤78中重新计算位置指示，同时仅考虑子区域22内的这些代码块的码处理顺序。在这方面，还应该注意，刚刚概述的用于从视频数据流10中形成缩减视频数据流62的缩减/提取过程也适合于以如下方式形成缩减视频数据流62：被码处理到缩减视频数据流62中的视频84的较小图片86以空间拼接的方式示出了区段22，并且图片84的相同图片内容可以以不同的空间排列方式位于图片12内的子区域22处。
80.关于图6，应注意，图6中所示的视频解码器82可能能够或可能不能解码视频数据流10以便从其重建视频14的图片12。视频解码器82不能解码视频数据流10的原因可能是视频解码器82的配置文件级别例如足以应对缩减视频数据流62的大小和复杂度，但可能不足以解码原始视频数据流10。然而，原则上，由于通过重新索引和/或参数调整对码处理参数设定的被索引集合进行了上述的适当调整，所以数据流62和10都符合一个视频编解码器。
81.关于针对要缩减的视频数据流的图片的某个子区域进行的视频流缩减/提取，在已经描述了相当通用的实施例之后，针对hevc，对与这种提取有关的动机和问题的上述描述将在下文中继续进行，以便提供用于实现上述实施例的具体示例。
82.1.单层子领域的信令方面
83.1.1.参数集：
84.当要提取空间子集时，以下参数集方面需要进行调整：
85.·
vps：没有用于单层码处理的规范信息
86.·
sps：
87.■
等级信息
88.■
图片尺寸
89.■
裁剪或合规性窗口信息
90.■
缓冲和定时信息(即hrd信息)
91.■
可能进一步的视频可用性信息(vui)项，例如motion_vectors_over_pic_boundaries_flag，min_spatial_segmentation_idc
92.·
pps：
93.■
空间分段信息，即，与水平和垂直方向上的拼块的数量和尺寸有关的拼块划分信息。
94.信令实施例
95.·
信令1a：编码器可以在带内(即，作为相应的nal单元)为每个tmcts发送附加的未使用的(即，从未激活的)vps、sps和pps，并且在补充增强信息(sei)消息中提供到tmcts的映射。
96.用于信令1a sei的示例性语法/语义在图8中示出。
97.语法元素90是可选的，因为它们可以从图片参数集标识符导出。
98.语义提供如下。
99.hum_extraction_information_sets_minus1表示在子图片提取处理中要应用的、给定signaling1a sei中包含的信息集的数量。
100.num_applicable_tile_set_identifiers_minus1表示对于子图片提取处理，后续的第i个信息集所应用于的拼块集的mcts_id的值的数量。
101.mcts_identifier[i][k]表示对于子图片提取处理，后续的第i个信息集所应用于的拼块集的mcts_id的全部num_applicable_tile_set_identifers_minus1加1的值。
[0102]
num_mcts_pps_replacements[i]表示在信令1a sei中用于mcts_id等于mcts_id_map[i]的拼块集的pps标识符替换信令的数量。
[0103]
mcts_vps_id[i]表示在子图片提取处理中第mcts_vps_idx[i]个视频参数集将用于mcts_id等于mcts_id_map[i]的拼块集。
[0104]
mcts_sps_id[i]表示在子图片提取处理中第mcts_sps_idx[i]个序列参数集将用于mcts_id等于mcts_id_map[i]的拼块集。
[0105]
mcts_pps_id_in[i][j]表示在子图片提取处理中要被替换的、mcts_id等于mcts_id_map[i]的拼块集的切片头部语法结构中的num_mcts_pps_replacements[i]pps标识符的第j个值。
[0106]
mcts_pps_id_out[i][j]表示在子图片提取过程中要替换等于值mcts_pps_id_in[i][j]的pps标识符的、mcts_id等于mcts_id_map[i]的拼块集的切片头部语法结构中的num_mcts_pps_replacements pps标识符的第j个值。
[0107]
·
信令1b：编码器可以为每个tmcts发送vps、sps和pps，并且可以发送到tmcts的映射，所有这些都包含在容器式sei中。
[0108]
用于信令1b sei的示例性语法/语义在图9中示出。
[0109]
黄色的语法元素92是可选的，因为它们可以从图片参数集标识符导出。
[0110]
语义如下所述：
[0111]
num_vps_in_message_minus1表示在子图片提取过程中要使用的给定信令1b sei中的vps语法结构的数量。
[0112]
num_sps_in_message_minus1表示在子图片提取过程中要使用的给定信令1b sei中的sps语法结构的数量。
[0113]
num_pps_in_message_minus1表示在子图片提取过程中要使用的给定信令1b sei中的pps语法结构的数量。
[0114]
num_extraction_information_sets_minus1表示在子图片提取处理中要应用的
给定信令1b sei中包含的信息集的数量。
[0115]
num_applicable_tile_set_identifiers_minus1表示对于子图片提取处理，后续的第i个信息集所应用于的拼块集的mcts_id的值的数量。
[0116]
mcts_identifier[i][k]表示对于子图片提取处理，后续的第i个信息集所应用于的拼块集的mcts_id的全部num_applicable_tile_set_identifers_minus1加1的值。
[0117]
mcts_vps_idx[i]表示在信令1b sei中通知的第mcts_vps_idx[i]个视频参数集在子图片提取处理中要用于mcts_id等于mcts_id_map[i]的拼块集。
[0118]
mcts_sps_idx[i]表示在信令1b sei中通知的第mcts_sps_idx[i]个序列参数集在子图片提取处理中要用于mcts_id等于mcts_id_map[i]的拼块集。
[0119]
num_mcts_pps_replacements[i]表示用于mcts_id等于mcts_id_map[i]的拼块集的、信令1b sei中的pps标识符替换信令的数量。
[0120]
mcts_pps_id_in[i][j]表示在子图片提取处理中要被替换的、mcts_id等于mcts_id_map[i]的拼块集的切片头部语法结构中的num_mcts_pps_replacements[i]pps标识符的第j个值。
[0121]
mcts_pps_idx_out[i][j]表示在子图片提取处理过程中要将pps标识符等于mcts_pps_id_in[i][j]的图片参数集替换为信令1c sei中的第mcts_pps_idx_out[i][j]个被通知的图片参数集。
[0122]
·
信令1c：编码器可以在sei内提供与tmcts相关联的不能被导出的参数集信息(基本上是附加的缓冲/定时(hrd)参数)以及到可适用tmcts的映射。
[0123]
用于信令1c sei的示例性语法/语义在图10中示出。
[0124]
以下sei中的hrd信息以如下方式构造：提取处理能够将原始vps中的连续语法元素块替换为来自sei的相应连续语法元素块。
[0125]
num_extraction_information_sets_minus1表示在子图片提取处理中要应用的、给定信令1c sei中包含的信息集的数量。
[0126]
num_applicable_tile_set_identifiers_minus1表示对于子图片提取处理，后续的第i个信息集所应用于的拼块集的mcts_id的值的数量。
[0127]
mcts_identifier[i][k]表示对于子图片提取处理，后续的第i个信息集所应用于的拼块集的mcts_id的全部num_applicable_tile_set_identifers_minus1加1的值。
[0128]
mcts_vps_timing_info_present_flag[i]等于1指定mcts_vps_num_units_in_tick[i]、mcts_vps_time_scale[i]、mcts_vps_poc_proportional_to_timing_flag[i]和mcts_vps_num_hrd_parameters[i]存在于vps中。mcts_vps_timing_info_present_flag[i]等于0指定mcts_vps_num_units_in_tick[i]、mcts_vps_time_scale[i]、mcts_vps_poc_proportional_to_timing_flag[i]和mcts_vps_num_hrd_parameters[i]不存在于信令1c sei中。
[0129]
mcts_vps_num_units_in_tick[i]是以频率mcts_vps_time_scale hz工作的时钟的第i个时间单位，其对应于时钟节拍计数器的一个增量(称为时钟节拍)。mcts_vps_num_units_in_tick[i]的值应大于0。以秒为单位的时钟节拍等于mcts_vpn_num_units_in_tick除以mcts_vps_time_scale的商。例如，当视频信号的图片速率为25hz时，mcts_vps_time_scale可以等于27000000并且mcts_vps_num_units_in_tick可以等于1080000，因此
时钟节拍可以是0.04秒。
[0130]
mcts_vps_time_scale[i]是一秒钟内经过的第i个时间单位。例如，使用27mhz时钟测量时间的时间坐标系统的vps_time_scale为27000000。vps_time_scale的值应大于0。
[0131]
mcts_vps_poc_proportional_to_timing_flag[i]等于1表示cvs中的在解码顺序中不是cvs中的第一图片的每个图片的图片顺序计数值，与相对于cvs中第一张图片的输出时间的图片的输出时间成比例。mcts_vps_poc_proportional_to_timing_flag[i]等于0表示cvs中的在解码顺序中不是cvs中的第一图片的每个图片的图片顺序计数值，可以或可以不与相对于cvs中第一张图片的输出时间的图片的输出时间成比例。
[0132]
mcts_vps_num_ticks_poc_diff_one_minus1[i]加1指定与等于1的图片顺序计数值的差相对应的时钟节拍数。mcts_vps_num_ticks_poc_diff_one_minus1[i]的值应在0(含)到2
32
‑
2(含)之间。
[0133]
mcts_vps_num_hrd_parameters[i]指定在信令1c sei的第i个条目中存在的hrd_parameters()语法结构的数量。mcts_vps_num_hrd_parameters的值应在0(含)到vps_num_layer_sets_minus1+1(含)的范围内。
[0134]
mcts_hrd_layer_set_idx[i][j]在由信令1c sei中第i个条目的vps指定的层集列表中，指定层集的索引，该层集是信令1c sei中第j个hrd_parameters()语法结构要应用于的层集，并且是在子图片提取处理中要使用的层集。mcts_hrd_layer_set_idx[i][j]的值应该在(vps_base_layer_internal_flag？0：1)(含)到vps_num_layer_sets_minus1(含)的范围中。比特流合规性的要求是，对于j的任何不等于k的值，mcts_hrd_layer_set_idx[i][j]的值不应等于hrd_layer_set_idx[i][k]的值。
[0135]
mcts_cprms_present_flag[i][j]等于1指定所有子层共用的hrd参数存在于信令1c sei的第i个条目的第j个hrd_parameters()语法结构中。mcts_cprms_present_flag[i][j]等于0指定所有子层共用的hrd参数不存在于信令1c sei的第i个条目的第i个hrd_parameters()语法结构中，并且被推导为与信令1c sei的第i个条目的第(i
‑
1)个hrd_parameters()语法结构相同。mcts_cprms_present_flag[i][0]被推断为等于1。
[0136]
由于上述hrd信息与vps相关，因此sps vui hrd参数的类似信息的信令可以以相同的方式实现，例如，扩展上述sei或作为单独的sei消息。
[0137]
值得注意的是，本发明的其他实施例可以在其他比特流语法结构(例如vui)中或作为参数集的扩展来使用由信令1a、1b和1c运用的机制。
[0138]
1.2.sei消息
[0139]
在原始视频比特流中出现以下任何sei消息可能需要调整机制以避免在tmcts提取之后出现不连续性：
[0140]
·
hrd相关的缓冲周期、图片定时和解码单元信息sei
[0141]
·
panscan sei
[0142]
·
*framepackingarrangement*sei
[0143]
·
decodedpicturehash sei
[0144]
·
tmcts sei
[0145]
信令实施例：
[0146]
·
信令2a：对于所有tmcts，编码器可以在容器式sei中与tmcts相关联地为上述
sei提供合适的替换。这种信令可以与信令1c中的实施例组合，并且在图11中示出。换言之，作为上述描述的附加或替代，表示视频14的视频数据流10可以包括：有效载荷部分18，所述视频的图片12被码处理到所述有效载荷部分18中；以及补充增强信息消息，指示与所述有效载荷部分18相匹配的补充增强信息，更准确而言，指示将所述视频的图片12码处理到所述有效载荷部分18中的方式，所述视频数据流还包括信息50，所述信息50包括：对所述图片12的预定子区域22的指示52；以及用于替换所述补充增强信息消息的替换补充增强信息消息，其中，所述替换补充增强信息消息被选择使得缩减视频数据流62具有缩减的有效载荷部分，所述缩减视频数据流62与所述视频数据流相比进行了以下修改：移除68所述有效载荷部分18的、参考所述图片12中所述预定子区域22外部的区域的部分70，以及改变78所述有效载荷部分18中的位置指示32，以便以相对于所述预定子区域22的周边而不是所述图片12的周边度量的方式指示位置，在所述缩减的有效载荷部分中，编码有显示所述图片的所述预定子区域22的特定于子区域的图片86，所述编码的方式使得：所述替换补充增强信息消息指示与缩减的有效载荷部分相匹配的替换补充增强信息，即，指示将所述特定于子区域的图片86码处理到所述缩减的有效载荷部分18中的方式。除了上述参数生成之外，或作为上述参数生成的替代，参数设定器80a将生成补充增强信息消息，该补充增强信息消息是由替换sei消息进行替换的潜在替换对象。除了上述重定向和/或调整之外，或作为上述重定向和/或调整的替代，替换将是由网络设备60执行的。
[0147]
all_tile_sets_flag等于0指定对于在比特流内定义的所有拼块集，由wapplicable_mcts_id[i]指定列表applicable_mcts_id[0]。all_tile_sets_flag等于1指定列表applicable_mcts_id[0]包括按值的递增顺序大于或等于当前sei nal单元的nuh_layer_id的、当前访问单元中存在的nuh_layer_id的所有值。
[0148]
tile_sets_max_temporal_id_plus1减1表示对于mcts_id等于阵列applicable_mcts_id[i]的元素的拼块集，在子图片提取处理中要提取的最大时间级别。
[0149]
num_applicable_tile_set_identifiers_minus1加1指定在子图片提取处理中应使用以下sei消息的以下适用的mcts id的数量。
[0150]
mcts_identifier[i]表示mcts_id的全部num_applicable_tile_set_identifiers_minus1的值，当使用用于拼块集的子图片提取处理提取mcts_id等于applicable_mcts_id[i]的相应拼块集时，应当插入以下sei消息。
[0151]
2.子图片提取处理：
[0152]
提取处理细节显然取决于所应用的信令方案。
[0153]
必须制定关于拼块设置和tmcts sei(特别是提取的tmcts)的约束，以确保合规性输出。上述信令实施例中的任一实施例在比特流中的存在都表示保证编码器在创建视频比特流期间服从下面制定的约束。
[0154]
输入：
[0155]
·
比特流。
[0156]
·
目标mcts标识符mctsidtarget。
[0157]
·
目标层标识符列表layeridlisttarget。
[0158]
约束或比特流要求：
[0159]
·
tiles_enabled_flag等于1。
[0160]
·
num_tile_columns_minusl＞0||num_rows_minus1＞0。
[0161]
·
mcts_id[i]等于mctsidtarget的tmcts sei消息存在并且与要输出的所有图片相关联。
[0162]
·
mcts_id[i]等于mctsidtarget的tmcts存在于tmcts sei中。
[0163]
·
必须通过tmctssei语法元素mcts_tier_level_idc_present_flag[i]、mcts_tier_idc[i]、mcts_level_idc[i]或上述信令变体1a或1b之一，来通知mcts_id[i]等于mctsidtarget的tmcts的合适等级。
[0164]
·
tmcts的hrd信息通过信令变体1a、1b或1c中之一存在于比特流中。
[0165]
·
mcts_id[i]等于mctsidtarget的tmcts中的所有矩形在亮度样本方面具有相等的高度或相等的宽度或这两者。
[0166]
处理：
[0167]
·
移除不在与等于mctsidtarget的mcts_id[i]相关联的拼块集中的所有拼块nalu。
[0168]
·
根据信令1x替换/调整参数集。
[0169]
·
根据以下内容调整剩余的nalu切片头部
[0170]
o调整slice_segement_address和first_slice_segment_in_pic_flag，从拼块集中的所有矩形创建公共图片平面。
[0171]
o如有必要，调整pps_id
[0172]
·
移除sei，或在信令2a存在的情况下替换sei。
[0173]
作为替代实施例，作为提取处理的一部分的上述约束或比特流要求可以采用比特流内的专用信令(例如，单独的sei消息或vui指示)的形式，上述提取处理要求存在这些信令。
[0174]
2.多层
[0175]
在某些情况下，分层编解码器可能是令人感兴趣的，例如，为每个领域提供不同的质量。以较低的层质量提供较大的空间区域以备用户需要可能是令人感兴趣的，广角视频的某些特定区域在较高层是不能获得的，该内容在较低层中能够获得，以进行上采样并与更高层内容一起呈现。应允许低层视频领域扩展高层视频领域的程度根据使用情况而变化。
[0176]
除了所描述的tmcts sei之外，在hevc规范的分层扩展(即附件f)中，指定了层间约束拼块集(ilcts)sei消息，其指示用于层间预测的类似性质约束。作为参考，语法表在图12中给出。
[0177]
因此，作为本发明的另一部分，考虑到附加信息，对于分层码处理视频比特流实现了与上述类似方式的提取处理。
[0178]
在考虑用于多层子图片的信令方面的情况下，与上述公开的信令和处理之间的主要差异在于，比特流的目标数据部分不再由mcts id标识符的单个值标识。相反，层集的标识符、每个所包括的层内的tmcts的多个标识符(如果适用的话)、以及所包括的层之间的相应ilcts标识符(如果适用的话)形成对比特流的目标部分进行标识的多维向量。
[0179]
·
本发明的实施例是上面公开的单层信令1a、1b、1c和2a的变体，其中语法元素mcts_identifier[i][k]被所描述的多维标识符向量所替换。
[0180]
此外，编码器约束或比特流要求扩展如下。
[0181]
2.2.提取处理：
[0182]
输入：
[0183]
·
多维标识符向量，包括：
[0184]
·
目标层集layersetidtarget
[0185]
·
目标层tmcts标识符mctsidtarget_lx，至少对于具有标识符layersetidtarget的层集内的最高层
[0186]
·
目标ilcts标识符ltctsidtarget_lxrefly，对应于
[0187]
·
比特流
[0188]
比特流要求：
[0189]
除了为单层情况定义的内容之外：
[0190]
o对于包含在比特流和层集layersetidtarget中的任何所使用的参考层ly，存在用于相应层lx的mcts_id[i]等于mctsidtarget_lx的tmcts sei消息，并且ilcts_id[i]等于iltctsidtarget_lxrefly的ilcts sei消息存在于相应层lx由
[0191]
为了排除在提取的比特流部分中存在缺失的参考样本，定义比特流部分的tmcts和ilcts还必须满足以下约束。
[0192]
o对于其拼块集tsa与等于mctsidtarget_la的mcts_id[i]相关联的、每个进行参考的层a：构成tsa的层a中的拼块是与ilcts_id[i]等于iltctsidtarget_la_refly的拼块集相关联的相同拼块。
[0193]
o对于其拼块集tsb与等于mctsidtarget_lb的mcts_id[i]相关联的、每个被参考的层b：构成tsb的层b中的拼块完全包含在由ilcts_id[i]ilctsidtarget_lx_reflb指示的相关联的参考拼块集中。
[0194]
处理
[0195]
每个层x：移除不在具有mcts_id[i]标识符mctsidtarget_lx的拼块集内的所有拼块nal单元。
[0196]
在转向本申请的下一个方面之前，针对以上提到的如下可能性做出简要说明，即，子区域22可以由拼块集组成，上述拼块集在图片12内的相对位置可以与这些拼块在较小图片86内的彼此相对的位置不同，图片86是由缩减视频数据流62表示的视频84的图片。
[0197]
图13示出了图片12被细分为沿着解码顺序使用大写字母a到i枚举的拼块阵列42。仅出于说明的目的，图13示例性地仅示出了一个图片并且细分为3
×
3拼块42。假设图片12以码处理依赖性不跨过拼块边界40的方式被码处理到视频数据流10中，以这种方式限制的码处理依赖性不仅包括图片内空间相互依赖性，而且还包括例如时间独立性。因此，当前图片内的拼块42仅取决于其自身或任何先前码处理/解码的图片(即时间参考图片)内的位于同一位置的拼块。
[0198]
在这种情况下，子区域22可以例如由非连续的拼块集42组成，例如拼块集{d，f，g，i}。由于具有相互独立性，视频84的图片86可以以如下方式显示子区域22，即，这种方式使得参与的拼块以不同的方式在图片86内空间排列。这在图13中示出：图片86也以拼块42为单位被编码到缩减视频数据流62中，但是图片12中形成子区域22的拼块在图片86中以另一彼此相互的位置关系在空间上排列。在图13的示例中，形成子区域22的拼块42占据了图片
12的相对的两侧的拼块，好像图片12示出了水平全景图，使得这些相对的两侧处的拼块实际上显示了全景场景的相邻部分。然而，在图片86中，每个拼块行中的拼块相对于图片12中的相对位置交换了位置。也就是说，例如，与图片12中的拼块d和f的相互水平定位相比，拼块f相对于拼块d出现在左手侧。
[0199]
在进入本申请的下一个方面之前，应该注意，不需要以上述方式(将码处理依赖性限制为不跨过其边界)将拼块42或区段22编码到图片12中。自然地，这种限制减轻了上面概述的视频数据流缩减/提取的技术的不利之处，但是这样的码处理依赖性倾向于仅影响沿着子区域22/拼块42的边界的小的边缘部分，根据应用不同，这些边缘部分处的失真是可以接受的。
[0200]
此外应注意，到目前为止，上述实施例提供了以新包括所述合规点的方式扩展现有视频编解码器的可能性，即仅在保持合规性的同时将视频流缩减为与原始图片12的子区域22有关的缩减视频流的可能性，为此，信息50被示例性地隐藏在sei消息、vui或参数集扩展(即解码器根据喜欢与否可以跳过的原始视频数据流的部分)中。但是，作为代替，也可以在视频数据流内作为规范部分的部分中传送信息50。也就是说，可以以从头开始包括所述合规点的方式设置新的视频编解码器。
[0201]
此外，为了完整起见，描述用于上述实施例的另一具体实现示例，该示例示出以实现上述实施例的方式扩展hevc标准的可能性。为此，提供新的sei消息。换句话说，描述了对hevc规范的修改，其使得能够将运动受约束的拼块集(mcts)提取为单独的符合hevc的比特流。下面使用和描述了两个sei消息。
[0202]
第一个sei消息，即mcts提取信息集sei消息，提供用于携带特定于mcts的替换参数集的语法，并在语义中定义提取处理。第二个sei消息，即mcts提取信息嵌套sei消息，提供用于特定于mcts的嵌套sei消息的语法。
[0203]
因此，为了将这些sei消息包括到hevc框架中，修改了hevc的通用sei消息语法以包括新类型的sei消息：
[0204][0205]
这样，列表singlelayerseilist被设置为由payloadtype值3，6，9，15，16，17，19，22，23，45，47，56，128，129，131，132，和134至153(包括134和153)组成。类似地，列表vclassociatedseilist和picunitrepconseilist将由新sei消息的类型编号152和153扩展，这些编号当然仅仅为了说明目的而选择。
[0206]
hevc的表d.1(sei消息的持久性范围)还将包括对新的sei消息的提示：
[0207]
sei消息持久性范围mcts提取信息集包含sei消息在内的clvsmcts提取信息嵌套包含sei消息在内的访问单元
[0208]
它们的语法可以如下。mcts提取信息集sei消息语法可以设计为：
[0209]
[0210][0211]
就语义而言，mcts提取信息集sei消息是使用替换参数56的信息50的示例。
[0212]
mcts提取信息集sei消息提供补充信息以执行如下所述的子比特流mcts提取，以从运动约束的拼块集(即，形成整个图片区域的片段84的拼块集)导出符合hevc的比特流。该信息由多个提取信息集组成，每个提取信息集包含提取信息集所应用于的运动约束拼块集的标识符。每个提取信息集包含在子比特流mcts提取处理期间要使用的rbsp字节的替换视频参数集、序列参数集和图片参数集。
[0213]
假设图片集associatedpicset是在解码顺序中从包含mcts提取信息集sei消息在内的访问单元(包括该访问单元)起直到(但不包括)第一个以下任何图片为止的图片：
[0214]
‑
解码顺序中的包含mcts提取信息集sei消息在内的下一个访问单元。
[0215]
‑
解码顺序中的norasloutputflag等于1的下一个irap图片。
[0216]
‑
解码顺序中的noclrasoutputflag等于1的下一个irap访问单元。
[0217]
mcts提取信息集sei消息的范围是该图片集associatedpicset。
[0218]
当mcts提取信息集拼块集sei消息对于associatedpicset中的任何图片存在时，时间运动约束拼块集sei消息对于解码顺序中的associatedpicset的第一个图片应当存在，并且对于associatedpicset的其他图片也可以存在。对于associatedpicset中的所有图片，时间运动约束拼块集sei消息应具有等于mcts_identifer[]的mcts_id[]。
[0219]
当mcts提取信息集拼块集sei消息对于associatedpicset中的任何图片存在时，mcts提取信息集sei消息对于解码顺序中的associatedpicset的第一个图片应当存在，并且对于associatedpicset的其他图片也可以存在。
[0220]
对于针对associatedpicset中的任何图片有效的任何pps，当tiles_enabled_flag等于0时，mcts提取信息集sei消息对于associatedpicset中的任何图片不应存在。
[0221]
除非每个针对associatedpicset中的任何图片有效的pps具有语法元素num_tile_columns_minus1、num_tile_rows_minus1、uniform_spacing_flag、column_width_minus1[i]和row_height_minus1[i]的相同值，否则mcts提取信息集sei消息对于associatedpicset中的任何图片不应存在。
[0222]
注1
‑
该约束类似于与等于1的tiles_fixed_structure_flag相关联的约束，并且当存在mcts提取信息集sei消息时，可能希望tiles_fixed_structure_flag等于1(尽管这不是必需的)。
[0223]
当多于一个的mcts提取信息集sei消息对于associatedpicset的图片存在时，它们应包含相同的内容。
[0224]
包含属于拼块集tileseta的拼块在内的nal单元不应包含不属于拼块集tileseta的拼块。
[0225]
每个访问单元中的mcts提取信息集sei消息的数量不得超过5。
[0226]
num_extraction_info_sets_minus1加1表示在mcts提取处理中要应用的mcts提取信息集sei消息中包含的提取信息集的数量。num_extraction_info_sets_minus1的值应在0(含)到2
32
‑
2(含)的范围内。
[0227]
第i个提取信息集被分配等于i的mcts提取信息集标识符值。
[0228]
num_associated_tile_set_identifiers_minus1[i]加1表示第i个提取信息集中的拼块集的mcts_id的值的数量。num_extraction_info_sets_minus1[i]的值应在0(含)到2
32
‑
2(含)的范围内。
[0229]
mcts_identifier[i][j]标识与第i个提取信息组相关联的、mcts_id等于mcts_identifier[i][j]的第j个拼块组。mcts_identifier[i][j]的值应在0(含)到2
32
‑
2(含)的范围内。
[0230]
num_vps_in_extraction_info_set_minus1[i]加1表示第i个提取信息集中的替换视频参数集的数量。num_vps_in_extraction_info_set_minus1[i]的值应在0(含)到15(含)的范围内。
[0231]
vps_rbsp_data_length[i][j]表示在第i个提取信息集中的后续第j个替换视频参数集的字节vps_rbsp_data_bytes[i][j][k]的数量。
[0232]
num_sps_in_extraction_info_set_minus1[i]加1表示第i个提取信息集中的替换序列参数集的数量。num_sps_in_extraction_info_set_minus1[i]的值应在0(含)到15(含)的范围内。
[0233]
sps_rbsp_data_length[i][j]表示在第i个提取信息集中的后续第j个替换序列参数集的字节sps_rbsp_data_bytes[i][j][k]的数量。
[0234]
num_pps_in_extraction_info_set_minus1[i]加1表示第i个提取信息集中的替换图片参数集的数量。num_pps_in_extraction_info_set_minus1[i]的值应在0(含)到63
(含)的范围内。
[0235]
pps_nuh_temporal_id_plus1[i][j]指定用于生成与pps rbsp中指定的pps数据相关联的pps nal单元的时间标识符，该pps rbsp由用于第i个提取信息集的第j个替换图片参数集的pps_rbsp_data_bytes[i][j][]指定。
[0236]
pps_rbsp_data_length[i][j]表示第i个提取信息集中的后续第j个替换图片参数集的字节pps_rbsp_data_bytes[i][j][k]的数量。
[0237]
mcts_alignment_bit_equal_to_zero应等于0。
[0238]
vps_rbsp_data_bytes[i][j][k]包含第i个提取信息集中的后续第j个替换视频参数集的rbsp的第k个字节。
[0239]
sps_rbsp_data_bytes[i][j][k]包含第i个提取信息集中的后续第j个替换序列参数集的rbsp的第k个字节。
[0240]
pps_rbsp_data_bytes[i][j]k]包含第i个提取信息集中的后续第j个替换图片参数集的rbsp的第k个字节。
[0241]
子比特流mcts提取处理应用如下：
[0242]
假设比特流inbitstream、目标mcts标识符mctsidtarget、目标mcts提取信息集标识符mctseisidtarget和目标最高temporalid值mctstidtarget是对子比特流mcts提取处理的输入。
[0243]
子比特流mcts提取处理的输出是子比特流outbitstream。
[0244]
输入比特流的比特流合规性要求是，作为本节中用比特流指定的处理的输出的任何输出子比特流应该是合规的比特流。
[0245]
输出子比特流以如下方式导出：
[0246]
‑
将比特流outbitstream设定为与比特流inbitstream相同。
[0247]
‑
列表auswithvps、auswithsps和auswithpps被设定为包括outbitstream内的所有包含类型为vps_nut、sps_nut和pps_nut的vcl nal单元在内的访问单元。
[0248]
‑
移除nuh_layer_id等于0且包含非被嵌套sei消息在内的所有sei nal单元。
[0249]
注2
‑“
智能”比特流提取器可以在提取的子比特流中包括适当的非被嵌套sei消息，条件是适用于子比特流的sei消息在原始比特流中作为mcts_extraction_info_nesting()中的被嵌套sei消息存在。
[0250]
‑
从outbitstream中移除具有以下类型的所有nal单元：
[0251]
‑
包含不属于mcts_id[i]等于mctsidtarget的拼块集的拼块在内的vcl nal单元，
[0252]
‑
具有vps_nut、sps_nut或pps_nut类型的非vcl nal单元。
[0253]
‑
在outbitstream中的列表auswithvps内的所有访问单元中插入num_vps_in_extraction_info_minus1[mctseisidtarget]加1个类型为vps_nut的nal单元，其由第mctseisidtarget个mcts提取信息集中的vps rbsp数据生成，所述vps rbsp数据即vps_rbsp_data_bytes[mctseisidtarget][j][](对于在0到num_vps_in_extraction_info_minus1[mctseisidtarget]的范围(包括端点值)内的j的所有值)。对于生成的每个vps_nut，将nuh_layer_id设定为等于0并且将nuh_temporal_id_plus1设定为等于1。
[0254]
‑
在outbitstream中的列表auswithsps内的所有访问单元中插入num_sps_in_extraction_info_minus1[mctseisidtarget]加1个类型为sps_nut的nal单元，其由第
mctseisidtarget个mcts提取信息集中的sps rbsp数据生成，所述sps rbsp数据即sps_rbsp_data_bytes[mctseisidtarget][j][](对于在0到num_sps_in_extraction_info_minus1[mctseisidtarget]的范围(包括端点值)内的j的所有值)。对于生成的每个sps_nut，将nuh_layer_id设定为等于0并且将nuh_temporal_id_plus1设定为等于1。
[0255]
‑
在outbitstream中的列表auswithpps内的所有访问单元中插入类型为pps_nut的nal单元，其由第mctseisidtarget个mcts提取信息集中的pps rbsp数据生成，所述pps rbsp数据即pps_rbsp_data_bytes[mctseisidtarget][j][](对于在0到num_pps_in_extraction_info_minus1[mctseisidtarget]的范围(包括端点值)内的j的所有值)，其pps_nuh_temporal_id_plus1[mctseisidtarget][j]小于或等于mctstidtarget。对于生成的每个pps_nut，nuh_layer_id被设定为等于0，并且nuh_temporal_id_plusl被设定为等于pps_nuh_temporal_id_plus1[mctseisidtarget][j](对于0到num_pps_in_extraction_info_minus1[mctseisidtarget]的范围(包括端点值)内的所有j的值)，其pps_nuh_temporal_id_plus1[mctseisidtarget][j]小于或等于mctstidtarget。
[0256]
‑
从outbitstream中移除temporalid大于mctstidtarget的所有nal单元。
[0257]
‑
对于outbitstream中的每个剩余vcl nal单元，调整切片片段头部，如下所示：
[0258]
‑
对于每个访问单元中的第一个vcl nal单元，将first_slice_segment_in_pic_flag的值设定为等于1，否则设定为等于0。
[0259]
‑
根据pps_pic_parameter_set_id等于slice_pic_parameter_set_id的pps中定义的拼块设置来设定slice_segment_address的值。
[0260]
嵌套sei消息语法的mcts提取信息可以设计为：
[0261]
[0262]
关于语义，需要注意，嵌套sei消息的mcts提取信息可以作为mcts提取信息集sei消息的附加或替代而存在，以形成信息50。
[0263]
嵌套sei消息的mcts提取信息提供了携带被嵌套sei消息并将该被嵌套sei消息与对应于一个或多个运动约束拼块集的比特流子集相关联的机制。
[0264]
在mcts提取信息集sei消息的语义中指定的子比特流mcts提取处理中，包含在嵌套sei消息的mcts提取信息中的被嵌套sei消息可用于替换包含嵌套sei消息的mcts提取信息在内的访问单元中的非被嵌套sei消息。
[0265]
all_tile_sets_flag等于0指定mcts_identifier列表被设定为包括mcts_identifier[i]。all_tile_sets_flag等于1指定列表mcts_identifier[i]包括当前访问单元中存在的temporal_motion_constrained_tile_sets sei消息的mcts_id[]的所有值。
[0266]
num_associated_mcts_identifiers_minus1加1指定后续mcts_identifier的数量。num_associated_mcts_identifiers_minus1[i]的值应在0(含)到2
32
‑
2(含)的范围内。
[0267]
mcts_identifier[i]标识与后续的被嵌套sei消息相关联的、mcts_id等于mcts_identifier[i]的拼块集。mcts_identifier[i]的值应在0(含)到2
32
‑
2(含)之间。
[0268]
num_seis_in_mcts_extraction_seis_minus1加1表示后续的被嵌套sei消息的数量。
[0269]
mcts_nesting_zero_bit应等于0。
[0270]
上面已经指出，信息50(即引导参数和/或sei适应的信息)的评估或生成可以替代地在编码器80外部完成，即在实际执行图片12到流10的编码的位置之外执行。根据这种替代方案，数据流10可以以仅伴随有与未缩减流10相关的原始参数20a和/或原始sei消息的方式传输。可选地，关于图片12的一个或多个支持的子区域22的信息可以存在于视频流10中，但是即使该信息也不是强制性的，因为信息50的评估可以基于自身对流12的拼块结构的评价以便确定一个或多个子区域。在这样做时，尽管评估信息50的繁琐任务从编码器处转移到更靠近客户端的某个位置，甚至移动到用户处(例如最终解码器82的直接上游)，但是可以通过不传输参考位于期望的子区域22之外的图片12区域的有效载荷部分18的部分70，从而无需传输完整的(即未缩减的)数据流10。当然也将传输与未缩减数据流12有关的原始码处理参数集20a和/或sei消息。执行部分70的实际缩减或移除68的网络实体60相应地可以驻留在执行信息50评估的实体的直接上游。例如，流传输设备专门仅下载数据流10的有效载荷部分18中的不属于部分70的那些部分。为此，可以使用一些下载规定，例如清单文件。dash协议可用于此目的。事实上，信息50的评估可以仅作为分别根据图3或图5的参数的实际参数调整的准备工作和/或sei替换的准备工作，而在驻留在解码器前面的这种网络设备的内部完成。总之，根据刚才讨论的替代方案，网络设备可以包括用于接收缩减数据流10的接口，该缩减数据流10仅包括去掉了部分70后的有效载荷部分18，但该缩减数据流10仍具有参数20a，该参数20a作为图片12完整地码处理为有效载荷部分18(包括部分70在内)时的参数。位置指示32可以仍然是原始的位置指示。也就是说，接收的数据流实际上是错误码处理的数据流。接收的数据流对应于具有参数20b的图5中所示的数据流62，然而，参数20b仍然是原始参数20a，并且位置指示32仍然是错误的。该流中的索引54参考该流中的参数20a，并且可能尚未相对于未缩减数据流的原始码处理进行修改。实际上，未缩减的原始数据流与所接收的数据流的唯一不同之处仅在于省略了部分70。可选地，包括一个或多个
sei消息，然而，这些sei消息参考原始码处理，例如，原始图片12的大小或完整码处理的其他特征。在这种网络设备的输出端，输出用于由解码器82解码的数据流62。在该输入和输出之间连接有模块，该模块对sei消息和/或参数进行适应性修改以适合于子区域12，输入的数据流10已经被缩减到该子区域12。也就是说，这样的模块必须执行任务74(即调整参数20a以便成为参数20b)和任务78(即调整位置指示32以便正确地参考子区域22的周边)。在这种网络设备专门将流10的下载限制为有效载荷部分18的参考子区域22的部分的情况下，关于已经执行了缩减的子区域22的知识对于这种网络设备可以是内部的，或者，在可能位于该网络设备上游的另一个网络设备承担缩减68任务的情况下，可以从外部提供该知识。对于包括位于输入和输出之间的该模块在内的网络设备，上面针对图4的网络设备做出的相同陈述(例如，关于软件、固件或硬件的实现方面)是成立的。总结刚刚概述的实施例，其涉及被配置为接收数据流的网络设备，该数据流包括有效载荷部分的一部分，视频的图片被码处理到该有效载荷部分中。该部分对应于当从有效载荷部分18中排除部分70时的结果，该部分70参考图片的预定子区域22之外的图片的区域。视频的图片12以如下方式被码处理到所述有效载荷部分18中：在不排除的情况下使用所述数据流的参数集部分中的码处理参数设定作为参数。也就是说，假设部分70没有被剔除，则所接收的数据流的参数集部分在将图片12码处理为有效载荷部分18时正确地作为参数使用。附加地或替代地，视频的图片12以如下方式被码处理到所述有效载荷部分18中：在不排除的情况下与由所述数据流的补充增强消息所指示的补充增强信息相匹配。也就是说，由接收的数据流可选地包括的sei消息实际上与未缩减的有效载荷部分18匹配。网络设备通过如下方式修改所接收的数据流：改变78所述有效载荷部分中的位置指示32，以便以相对于所述预定子区域22的周边而不是所述图片12的周边度量的方式指示位置，以及调整所述参数集部分中的码处理参数设定，和/或调整所述补充增强信息消息，使得在调整之后，在修改后的数据流中，以如下方式对有效载荷部分18的该部分(即，除了部分70以外的部分，换言之，显示所述图片的所述预定子区域的特定于子区域的图片84)进行编码：使用这样调整后的所述码处理参数设定作为参数，和/或与由调整的补充增强信息消息指示的补充增强信息补充增强信息相匹配。根据前面的实施例，除了参数20a之外，参数20b的生成也已经由编码器80完成，从而产生携带参数设定20a和20b两者的数据流。这里，在刚刚描述的替代方案中，参数20a准实时地转换为参数20b。将参数20a调整为参数20b需要使用关于子区域22的知识来修改参数20a。例如，虽然设定20a内的图片大小26对应于完整图片12的大小，但是在设定20b的调整之后，图片大小必须分别表示子区域22或图片86的大小。类似地，虽然设定20a内的拼块结构38对应于完整图片12的拼块结构，但是在设定20b的调整之后，拼块结构38必须分别表示子区域22或图片86的拼块结构。类似的陈述对于例如(但不限于)缓冲区大小和定时46也是成立的。如果在输入的接收数据流中不存在sei消息，则不需要进行调整。作为代替，可以简单地剔除sei消息，而不是调整它。
[0271]
关于上述实施例，应注意，补充增强信息的适应性调整可以涉及缓冲区大小和/或缓冲区定时数据。换句话说，在可选地存在的sei内，为了符合被剥离或缩减的视频流而在原始sei和替换sei之间进行适应性调整的或存在差异的信息类型，可以至少部分地涉及缓冲区大小和/或缓冲区定时数据。也就是说，流10中的sei数据可以具有与完整码处理有关的缓冲区大小和/或缓冲区定时数据，而替换sei数据具有与缩减流62和/或缩减图片86有
关的缓冲区大小和/或缓冲区定时数据，根据关于图1的描述，除了传送所述sei数据以外还传送替换sei数据，或者根据前一段的描述，替换sei数据实时地生成。
[0272]
以下描述涉及本申请的第二方面，即用于实现视频数据的更有效传送的技术，该视频数据不适合于视频编解码器的通常的矩形图片形状。正如之前关于第一方面一样，以下描述从一种介绍开始，即从可能出现这些问题的应用的示例性描述开始，以便引出由下文描述的实施例产生的优点。然而，应该注意，该初步描述不应该被理解为限制随后描述的实施例的广泛性。除此之外，应注意，接下来描述的本申请的方面也可以以有利的方式与上述实施例组合。这方面的细节也在下面列出。
[0273]
接下来描述的问题源于用于全景视频的各种投影，尤其是当应用诸如上述子领域提取之类的处理时。
[0274]
示例性地，在以下说明中使用所谓的立方投影。立方投影是直线投影的特殊情况，也称为心射切面(gnomonic)投影。该投影描述了当获取场景的图像表示时大多数传统相机系统/镜头的近似的变换。如图14所示，场景中的直线被映射为结果图像中的直线。
[0275]
立方投影现在应用直线投影以将立方体的周围环境映射到其六个面，每个面具有相对于立方体中心的90
°
x90
°
的视角。诸如立方投影的结果如图15中的图片a所示。公共图像中的六个面的其他排列也是可能的。
[0276]
现在，为了导出这样得到的图片a的对码处理更加友好的表示(即，较少未使用的图像区域130和矩形形状)，图像块可以在图片内移位(例如，如图16所示)以导出图片b。
[0277]
从系统的角度来看，了解图片b(图16)中的各个图像块如何在空间上与图片a中的原始(实际观点)连续表示相关是至关重要的，即，用于在给定图片b中的表示时导出图片a(图15)的附加信息是至关重要的。尤其是在服务器端或网络元件上执行诸如根据图1至图13的码处理域中的上述子领域提取之类的处理的情况下。在这种情况下，只有通过图28中的不相交roi 900指示的图片b的一部分在终端设备处可用。终端设备必须能够将给定的(部分)视频的相关领域重新映射到终端显示/呈现设备所期望的正确位置和区域。根据上述提取处理对码处理的视频比特流进行改变的服务器或网络设备可以根据被改变的视频比特流来创建和添加或调整相应的通知移位的信令。
[0278]
因此，随后描述的实施例提供在视频比特流内指示图片b的(矩形)样本组的信令。此外，每组样本相对于图片b的样本在水平和垂直方向上的移位。在另一实施例中，比特流信令包括关于图片a的结果图片大小的显式信息。此外，没有由被移位的样本组覆盖的样本或者由被移位的样本组最初覆盖的样本的默认亮度和色度值。此外，可以假设图片a的部分样本用图片b中相应样本的样本值初始化。
[0279]
示例性实施例在图17的语法表中给出。
[0280]
另一实施例利用拼块结构信令来指示属于要被移位的样本组的样本。
[0281]
关于图18，示出了根据第二方面的数据流200的实施例。视频202被编码在数据流200中。应当注意，图18的实施例可以被修改为仅指示编码到数据流200中的一个图片，但是为了便于理解那些将根据第二方面的实施例与本申请的任何其他方面的实施例相结合的示例，图18示出了数据流200是视频数据流而不是图片数据流的示例。如刚刚提到的，视频202的图片204被编码在数据流200中。然而，另外，视频数据流200包括移位信息206。移位信息具有以下意义。实际上，数据流200必须传送图片204中的图片内容，图片204具有非矩形
的外周边。图18示出了参考标记200处的这种图片内容的示例。也就是说，图片内容208示出了数据流200将在一个时间戳内(即在一个图片204内)传送的图片内容。然而，实际图片内容的外周边210是非矩形的。在图18的示例中，实际图片内容相当于立方体212的六个侧面的放开，立方体212的各个侧面在图18中使用数字1至6在立方体212的六个侧面上的通常分布(即，相对的侧面的数之和等于7)来示例性地彼此区分。因此，每个侧面代表实际图片内容208的一个子领域214，并且可以例如表示完整的三维全景场景的六分之一到相应的子领域214的合适投影，根据该示例，子领域214为正方形形状。然而，如上所述，子领域214也可以具有不同的形状，并且可以以与行列的规则排列不同的方式排列在图片内容208内。在任何情况下，208中描绘的实际图片内容具有非矩形形状，因此完全包含放开的全景内容208的最小可能矩形目标图片区域216具有未使用部分130，即，未被与全景场景有关的实际图片内容占据的部分。
[0282]
因此，为了不“浪费”在数据流200内传送的视频202的图片204中的图片区域，图片204以以下方式携带完整的实际图片内容208，即，相对于子领域214在目标图片区域216内的排列，改变了子领域214的空间相对排列。
[0283]
如图18所示，图18示出了如下例子：四个子领域，即子领域1、2、4和5，在将图片204无失真或合规地复制到目标图片区域216上时不必移位，然而，子领域3和6必须被移位。示例性地，在图18中，移位是纯粹的平移替换，其可以由二维矢量218描述，但是根据替代实施例，可以选择更复杂的移位，例如，移位另外包括在图片204与目标图片区域216之间转换时相应子领域的缩放和/或映像(镜像)和/或旋转。对于一组至少一个预定的图片子领域204中的每一个，移位信息206可以表示相对于图片204到目标图片区域216的无失真或无移位复制的、相应子领域在目标图片区域216内的移位。例如，在图18的示例中，移位信息206可以表示仅包含子领域3和6在内的一组子领域214的移位。或者，移位信息206可以表示子领域214或移位后的子领域214的集合相对于目标区域216的某个默认点(例如其左上角)的移位。默认情况下，图片204内的其余子领域(在图18的示例中是1、2、4和5)在它们例如相对于默认点无失真或合规地复制到目标图片216上时可以被视为保持不变。
[0284]
图19示出了移位信息可以包括要移位的子领域214的计数220、表示目标图片区域216的大小的目标图片区域大小参数222和针对n个被移位的子领域中的每一个的坐标224，坐标224描述将被移位的相应子领域214的移位218，该移位218测量例如相对于前述默认点、或相对于将图片204内的原始星座图中的子领域214映射到目标区域216上时的位置的移位。除了坐标224之外，信息206可以包括每个要移位的子领域214的缩放比例226，其表示在目标图片区域216内映射相应子领域214时如何缩放相应子领域214，相应子领域214根据相应的坐标224进行移位。缩放比例226可以导致相对于未移位的子领域214的放大或缩小。甚至可选地，可以针对每个子领域214用信号通知水平和/或垂直映像和/或旋转。并且，甚至进一步地，移位信息206可以针对每个要移位的或要布置在目标区域216内的子领域包括相应领域的左上角的坐标和右下角的坐标，这两个坐标同样相对于默认点或者当将相应的子领域214映射到目标区域216时没有移位的相应的角进行度量。由此，可以用信号通知放置、缩放比例和映像。因此，所传输的图片204的子领域214可以相对于它们在图片204中的原始相对布置自由地移位。
[0285]
例如，移位信息206可以具有比一个时间戳或一个图片204大的、视频202的时间间
隔的范围(即有效性)(例如，对于图片204的序列或整个视频202)。此外，图18示出了数据流200可选地还可以包括默认填充信息228，其指示用于在解码侧填充目标图片区域的部分130的默认填充，该部分130是未被任何子领域214(即，图片204的移位的或未移位的子领域214中的任何一个)覆盖的部分。在图18的示例中，例如，子领域1、2、4和5形成图片204的未移位部分，其在图18中以无阴影线示出，而图片204的其余部分(即子领域3和6)在图18中以阴影线示出，并且在子领域3和6根据信息206移位之后，所有这六个子领域都不覆盖目标图片区域216中的阴影部分130，从而将根据默认填充信息228来填充部分130。
[0286]
适合于生成数据流200的编码器230在图20中示出。编码器230简单地在数据流200中伴随有或提供有信息206，其表示为了使用图片204填充目标图片区域而需要的移位(编码器230也将图片204编码到数据流200中)。图20另外示出了编码器230可以例如生成数据流200，以便数据流200能够以维持合规性的方式进行缩减(例如图1至图13的实施例的数据流10)。换句话说，编码器230可以以也实现图1的编码器80的方式实施。出于说明的目的，图20示出了图片204被细分为子领域214的阵列(即根据图18的示例的2
×
3子领域阵列)的情况。图片204可以对应于图片12，即对应于非缩减数据流200的图片。图20示例性地示出了子区域22，编码器230针对该子区域22使得数据流200能够缩减。如关于图1所解释的，可存在若干这样的子区域22。通过这种措施，网络设备能够缩减数据流200，以便仅提取一小部分数据流200以获得缩减视频数据流，缩减视频数据流的图片86仅显示子区域22。子区域22所属的、能够将数据流200缩减得到的缩减视频数据流在图20中使用附图标记232示出。虽然未缩减的视频数据流200的图片204示出图片204，但是缩减视频数据流232的图片仅示出子区域22。为了向接收缩减视频数据流232的接收器(例如解码器)提供用缩减视频数据流232的图片内容填充目标图片区域的能力，编码器230可对视频数据流200另外提供特定于子区域22的移位信息206’。在对视频数据流200进行缩减以产生缩减视频数据流232的情况下，网络设备(例如图4的60)可以移除移位信息206，并且仅将移位信息206’移交到缩减视频数据流232中。通过这种措施，诸如解码器之类的接收器能够将缩减视频数据流232的图片的内容(其与子区域22的内容有关)填充到图18所示的目标图片区域216上。
[0287]
同样，应该强调的是，图20不应该被理解为限于能够缩减的视频数据流。如果视频数据流200是能够缩减的，则可以使用与上面关于图1至图13给出的技术不同的技术。
[0288]
图21示出了可能的接收器：解码器234接收视频数据流200或缩减视频数据流232，并分别从中重建其图片，即图片204或基于缩减视频数据流232的仅显示子区域22的图片。接收器是解码器，除了解码核心234之外，它还包括使用移位信息(在视频数据流200的情况下为206，在缩减视频数据流的情况下为206’)的移位器236，以便基于图片内容来填充目标图片区域216。因此，移位器236的输出是针对相应数据流200或232的每个图片进行了填充的目标图片区域216。如上所述，目标图片区域的某些部分仍未被图片内容填充。可选地，呈现器238可以连接在移位器236之后或者与移位器236的输出连接。呈现器238将单射(injective)投影应用于由目标图片区域216形成的目标图片，或者至少其位于目标图片区域的填充区域内的子区域，以便形成与当前观看的场景区段对应的输出图片或输出场景240。由呈现器238执行的单射投影可以是立方投影的逆投影。
[0289]
因此，上述实施例使得能够对全景或半全景场景等的图片数据进行矩形领域填塞。具体语法示例可以提供如下。下面，以伪代码的形式给出语法示例，该伪代码的名称为
rectregionpacking(i)，其指定投影帧(即216)的源矩形领域如何被填塞到填塞帧(即204)的目标矩形领域上。可以指示水平镜像和90度、180度或270度旋转，并且从领域的宽度和高度推断出垂直和水平重采样。
[0290][0291][0292]
语义如下所述。
[0293]
proj_reg_width[i]、proj_reg_height[i]、proj_reg_top[i]和proj_reg_left[i]以宽度和高度分别等于proj_frame_width和proj_frame_height的投影帧(即216)中的像素为单位表示。当与图18比较时，i是拼块214的相应领域的索引。proj_reg_width[i]指定投影帧的第i个领域的宽度。proj_reg_width[i]应大于0。proj_reg_height[i]指定投影帧的第i个领域的高度。proj_reg_height[i]应大于0。proj_reg_top[i]和proj_reg_left[i]指定投影帧中的顶部样本行和最左侧样本列。这些值应分别在从0(包括0，表示投影帧的左上角)到proj_frame_height(不含)和proj_frame_width(不含)的范围内。应将proj_reg_width[i]和proj_reg_left[i]约束为使得proj_reg_width[i]+proj_reg_left[i]小于proj_frame_width。应将proj_reg_height[i]和proj_reg_top[i]约束为使得proj_reg_height[i]+proj_reg_top[i]小于proj_frame_height。当投影帧216是立体的时，proj_reg_width[i]、proj_reg_height[i]、proj_reg_top[i]和proj_reg_left[i]应使得投影帧上的由这些字段标识的领域位于投影帧的单个组成帧内。transform_type[i]指定已经应用于投影帧的第i个领域以将其映射到填塞帧的旋转和镜像，并且因此，该映射必须被反转以便将相应的领域214映射回区域216。当然，可以指示从图片204到目标区域216的映射。当transform_type[i]指定旋转和镜像两者时，在镜像之后应用旋转。当然，相反的情况也是可能的。根据实施例指定以下值，同时可以保留其他值：
[0294]
1：无变换，2：水平镜像，3：旋转180度(逆时针)，4：水平镜像之后旋转180度(逆时针)，5：水平镜像之后旋转90度(逆时针)，6：旋转90度(逆时针)，7：水平镜像之后旋转270度(逆时针)，8：旋转270度(逆时针)。请注意，这些值对应于exif方向标记。
[0295]
packed_reg_width[i]、packed_reg_height[i]、packed_reg_top[i]和packed_reg_left[i]分别指定填塞帧中的领域(即由图片204中的拼块214覆盖的区域)的宽度、高
度、顶部样本行和最左侧样本列。对于0到i
‑
1(包括0和i
‑
1)范围内的j的任何值，由packed_reg_width[i]、packed_reg_height[i]、packed_reg_top[i]和packed_reg_left[i]指定的矩形应与由packed_reg_width[j]、packed_reg_height[j]、packed_reg_top[j]和packed_reg_left[j]指定的矩形不重叠。
[0296]
对刚刚概述的示例进行总结和概括，上面进一步描述的实施例可以进行如下变化：对于图片214的每个领域或拼块214，指示两个矩形区域，即相应领域或拼块214在目标区域216内覆盖的区域和相应领域或拼块214在图片区域204内覆盖的矩形区域，并且指示用于在这两个区域之间映射相应领域或拼块214的图片内容的映射规则，即映像和/或旋转。可以通过用信号通知一对不同大小的区域，来用信号通知缩放比例。
[0297]
在下文中，描述本申请的第三方面。第三方面涉及在视频数据流中分布访问点的有利技术。特别地，介绍与编码到视频数据流中的图片的一个或多个子区域有关的防问点。由此产生的优点将在下面描述。与本申请的其他方面一样，第三方面的描述将从描述问题发生的介绍开始。与第一方面的描述类似，该介绍示例性地涉及hevc，但是这种情况同样不应被解释为将随后解释的实施例限制为仅涉及hevc及其扩展。
[0298]
在上面给出的tmcts系统的上下文中，特定于拼块的随机访问点可以提供明显的益处。在不同时刻的拼块中的随机访问将使得能够在视频序列内的图片上更均等地分布比特率峰值。hevc中的用于特定于图片的随机访问的全部或部分机制可以被转用于拼片。
[0299]
特定于图片的随机访问机制之一是对帧内码处理图片或访问单元的指示，从帧内码处理图片或访问单元开始，在a)呈现顺序中或b)码处理和呈现顺序中位于它们之后的图片不会继承对帧内码处理图片之前的图片样本的预测依赖性。换句话说，b)即刻、或a)从第一个跟随的尾随图片开始，指示参考图片缓冲区复位。在hevc中，这样的访问单元在网络抽象层(nal)上通过特定nal单元类型进行通知，该特定nal单元类型是所谓的帧内随机访问点(irap)访问单元，例如bla、cra(都属于上述类别a)或idr(属于上述类别b)。下面进一步描述的实施例可以使用nal单元头部级别指示(例如，通过新的nal单元类型进行指示，或者为了向后兼容而通过sei消息进行指示)，其向解码器或网络中间盒/设备指示给定的访问单元包含至少一个帧内码处理的切片/拼块，其中条件a)或者b)(即某种形式的参考图片缓冲区复位)应用于每个切片/拼块。此外，除了nal单元类型的讯号之外，或作为nal单元类型的讯号的替代，可以通过关于编码器侧上的图片的切片头部级别上的指示来识别切片/拼块。因此，提前解码操作允许减少提取之后解码所需的dpb大小。
[0300]
为此目的，必须满足用fixed_tile_structure表示的约束，并且在被指示的访问单元之前的拼块的样本不应该由当前图片的相同拼块(和任何其他拼块)参考。
[0301]
根据一些实施例，编码器可以以一种方式通过子领域之间的时间预测来约束码处理依赖性，使得对于经历ra的每个子领域，用作参考图片中的时间预测的参考的图片领域被由其他子领域(一旦这些其他子领域也经历了ra)覆盖的图片区域所扩展。这些切片/拼块/子领域在比特流内指示，例如，在nal单元或切片级别或sei消息上指示。这种结构阻碍了子领域的提取，但减少了受约束的时间预测的损失。子领域随机访问的类型(允许提取与否)必须与比特流指示区分开。
[0302]
另一个实施例通过采用码处理依赖性的某种结构来利用上述信令机会。在该结构中，图片方式随机访问点存在于粗略的时间粒度上，这实现了在某些时刻的无漂移的瞬时
随机访问和现存的现有技术信令。
[0303]
然而，在更精细的时间粒度上，该码处理结构允许拼块方式随机访问，其将帧内码处理图片样本的比特率负担在时间上进行分布，使其倾向于成为变化较少的比特率表现。为了向后兼容，可以通过sei消息来用信号通知该拼块方式随机访问，将各个切片保持为非rap图片。
[0304]
在子图片比特流提取处理中，通过这种流结构内的上述sei消息(其指示基于拼块的随机访问)指示的nal单元的类型将被适当地改变为图片方式随机访问，以用信号通知在所提取的子比特流的相应图片处的瞬时随机访问的机会。
[0305]
参考图22描述根据本申请第三方面的实施例的视频数据流300。视频数据流300已在其中编码有图片302的序列，即视频304。与之前描述的其他实施例一样，描绘图片302的时间顺序可以对应于呈现时间顺序，其可以与图片302被编码到数据流300中的解码顺序一致或不一致。也就是说，尽管之前没有针对其他附图进行描述，但是视频数据流300可以被细分为一系列访问单元306，每个访问单元306与图片302中的相应一个相关联，图片302与访问单元306的序列相关联的顺序对应于解码顺序。
[0306]
使用时间预测将图片302编码到视频数据流300中。也就是说，基于解码顺序中的相应图片之前的一个或多个时间参考图片，使用时间预测对图片302之间的预测码处理图片进行码处理。
[0307]
视频数据流300包括如稍后所述的至少两种不同类型的随机访问图片，而不是仅仅具有一种类型的随机防问图片。特别地，通常的随机访问图片是不使用时间预测的图片。也就是说，以与解码顺序中的任何先前图片无关的方式对相应图片进行码处理。对于这些通常的随机访问图片，时间预测的中断涉及完整的图片区域。根据下文描述的实施例，视频数据流300可以包括或不包括这种通常的图片方式的随机访问图片。
[0308]
如刚才所述，随机访问图片不依赖于解码顺序中的先前图片。因此，它们允许随机访问解码视频数据流300。然而，在没有时间预测的情况下对图片进行码处理意味着在压缩效率方面受到码处理损失。因此，通常的视频数据流在随机访问图片处遭受比特率峰值，即比特率最大值。可以通过上述实施例解决这些问题。
[0309]
根据图22的实施例，视频数据流300包括：类型a的一个或多个图片的第一集合，在将其编码到视频数据流300中时，至少在第一图片子区域a内中断时间预测，以形成一个或多个第一随机访问点的集合；以及类型b的一个或多个图片的第二集合，在将其编码到视频数据流300中时，中断在与第一图片子区域a不同的第二图片子区域b内的时间预测，以形成视频数据流300的一个或多个第二随机访问点的集合。
[0310]
在图22的情况下，第一和第二图片子区域a和b使用阴影线示出，并且如图23a所示，彼此不重叠，其中子区域a和b沿公共边界308彼此邻接，使得子区域a和b覆盖图片302的整个图片区域。但是，不一定是这种情况。如图23b所示，子区域a和b可以部分重叠，或者如图23c所示，第一图片区域a实际上可以覆盖图片302的整个图片区域。在图23c的情况下，类型a的图片将是图片方式的随机访问点，其中时间预测被完全关闭，即在编码到数据流300中时在整个相应图片中没有任何时间预测。为了完整起见，图23d示出了子区域b不需要位于图片区域302的内部，而是还可以与两个图片302的外部图片边界310毗邻。图23e示出除了类型a和b的图片之外，还可以有具有相关联的子区域c的类型c的图片，这些子区域一起
完全覆盖图片302的图片区域。
[0311]
将时间预测中断的图22的图片b和图片a内的区域限制为子区域a和b会具有如下结果：通常，对于形成随机访问点的图片来说，用于将图片302编码到视频数据流300的比特率是较大的，因为在整个相应图片区域中避免使用时间预测，并且对于(至少按呈现顺序的)后续图片，打破了来自(按解码顺序的)先前图片的预测。在图22中的类型a和b的图片的情况下，分别仅在子区域a和b中避免使用时间预测，使得这些图片a和b处的比特率峰值312与图片方式的随机访问点图片相比是较低的。然而，如下所述，除了子区域边界处的码处理依赖性约束之外，比特率峰值312的降低以相对低的成本出现，至少就完整图片随机访问率而言是如此的。这在图22中示出：这里，曲线314应表示显示比特率随时间t的时间变化的函数。如所解释的，图片a和b的时刻的峰值312低于由图片方式的随机访问图片产生的峰值。与仅使用图片方式的随机访问图片的情况相比，视频数据流300的图片相关随机访问速率对应于经过共同覆盖整个图片区域的子区域相关随机访问图片的速率，在图22的情况下，这对应于到达至少一个类型b的图片和至少一个类型a的图片的速率。即使在视频数据流300内存在通常的图片方式的随机访问图片的情况下(如图23c的示例中的图片a的情况)，也存在优于通常的视频数据流的优点，在通常的视频数据流中，仅这些图片在时间上分布在视频数据流上。特别地，在这种情况下，可以利用子区域相关的随机访问图片(在图23c的情况下的图片b)的存在(如下面更详细地解释的)，以便降低与高比特率峰值相伴随的图片a的图片速率，但通过以下方式来补偿增大的随机访问等待时间：将类型b的图片散布到类型a的图片之间的视频数据流300中，从而允许对视频数据流的限制于子区域的随机访问在到达下一个图片方式随机访问点(即下一张图片a)的时间之前进行弥合。
[0312]
在继续描述利用视频数据流300内的特殊类型的随机访问图片的解码器之前，对子区域b和/或子区域a以及通过考虑这些子区域将图片302编码到视频数据流300的方式(除了在子区域a和b内中断时间预测并在相同图片内子区域a和b外部的区域中应用时间预测之外)进行一些说明。
[0313]
图22使用虚线框316示出了视频编码器，其被配置为将图片302编码成视频数据流300，以便分别包括刚刚概述的图片a和b。如上所述，视频编码器316可以是混合视频编码器，其使用运动补偿预测来将图片302编码成视频数据流300。视频编码器316可使用任何gop(图片组)结构以便将图片302编码成视频数据流300，例如开放gop结构或封闭gop结构。关于与子区域相关的随机访问图片a和b，这意味着视频编码器316在图片302之间散布其子区域(即a或b)不依赖于解码顺序中的任何先前图片的那些图片。稍后将描述的是，这样的子区域b和/或a可以对应于根据图1至图13的实施例的子区域22，即，能够针对其对视频数据流300进行缩减的子区域。然而，尽管这仅是示例并且可缩减性不是视频数据流300的必要特性，但应注意，以遵循子区域b和/或a的边界的方式将图片312编码到视频数据流300中是有利的，上述遵循类似于上面关于图1至图13针对子区域22的边界给出的描述。
[0314]
特别地，尽管在对视频数据流300的图片302进行编码时的空间码处理依赖性机制的范围通常很短，但是，与子区域有关的随机访问图片(即，在图22的情况下的图片a和b)以如下方式被编码到视频数据流300中是有利的：用于对相应子区域b/a进行码处理的码处理依赖性不跨过相应子区域的边界，从而不引入对相应子区域的外部或空间邻域的码处理依赖性。也就是说，在相应子区域b/a内，在对子区域相关的随机访问图片a和b编码时不进行
时间预测，并且不具有对相应子区域a/b外部的相应图片部分的空间码处理依赖性。除此之外，有利的是，随机访问图片a和b之间的图片也以将区段的区段边界考虑在内的方式被编码到视频数据流300中，直接在前的特定于区段的随机访问图片关于该区段形成特定于子区域的随机访问点。
[0315]
例如，在图22中，图片b关于子区域b形成特定于子区域的随机访问点，因此，在该图片b之后并且在第一次出现下一个子区域随机访问图片(即图片a)之前的图片302(该序列使用大括号317示例性地表示)以考虑到区段b的边界的方式进行码处理是有利的。特别地，以下做法是有利的：用于将这些图片码处理成视频数据流300的空间和时间预测以及码处理依赖性受到限制，使得在将这些图片码处理成视频数据流300时其区段b不依赖于这些图片或图片b本身的位于区段b外部的任何部分。关于运动矢量，例如，视频编码器316对用于码处理图片b与a之间的图片的区段b的可用运动矢量进行限制，以便不指向图片b以及图片b与图片a之间的图片当中的参考图片的、延伸到该参考图片的子区域b之外的部分。除此之外，由于图片b关于子区域b形成随机访问点，因此用于对图片317的子区域b进行时间预测的时间参考图片不应位于相对于图片b的上游。用于对图片b与a之间的中间图片的子区域b进行码处理的空间依赖性将以类似的方式受到限制，即，使其不引入对子区域b外部的相邻部分的依赖性。同样，根据应用不同，可以减轻这种限制，除此之外，关于漂移误差的可能对策，还可以参考图1至图13的描述。同样，刚刚针对随机访问图片之间的图片(其中在前图片是诸如图片b之类的特定于子区域的随机访问图片)所讨论的限制可以仅应用于时间预测，而空间依赖性对于漂移误差具有较不严重的影响。
[0316]
前一段中提出的讨论涉及对子区域方式的随机访问图片b的直接后继图片317(就解码顺序而言)进行码处理的码处理依赖性的限制，该限制仅仅针对子区域b内的图片317的码处理，其中直接前任随机访问图片(即图片b)关于该子区域b形成特定于子区域的随机访问点。应该与其分开处理的问题是，是否应该限制在区段b的外部区域内(即在图22的情况下的子区域a)对图片317进行码处理的码处理依赖性，以便使图片317的外部部分的码处理依赖于子区域b。也就是说，问题在于是否应该以某种方式对图片317的子区域a进行码处理，使得例如将空间码处理依赖性限制为不伸出到同一图片的区段b，以及是否应该以某种方式限制图片317的码处理子区域a的时间码处理依赖性，使得该依赖性不伸出到参考图片的子区域b，该参考图片是图片b或者码处理/解码顺序中的任一前方图片317。更确切地说，应当注意，用于对图片317的子区域a进行码处理的参考图片317一方面可以属于图片317的先前码处理/解码的图片之一，另一方面可以属于在前的随机防问图片b，或者可以相对于图片b位于上游(按解码顺序)。对于相对于图片b位于上游的参考图片，用于对任何图片317的子区域a进行码处理的时间码处理依赖性仍然受到限制，以便不伸出到子区域b。相反，这里讨论的问题是，在考虑到关于参考图片(其是图片b或者图片317中任何先前码处理/解码的图片)的码内或空间码处理依赖性或者时间码处理依赖性的情况下，用于对图片317的子区域a进行码处理的任何码处理依赖性是否将被限制或者不被限制为不会伸出到区段b。两种选择都有其优点。如果在对图片317的子区域a进行码处理时也遵守图片b和图片317的子区域b的子区域边界，即用于对子区域a进行码处理的码处理依赖性被限制为不伸出到子区域b，则子区域a继续以独立于区段b的方式进行码处理并因此形成子区域，数据流300关于该子区域可以是如上所述能够提取或能够缩减的。当考虑关于紧接在特定于子区域的随机
访问图片a之后的图片的子区域b的码处理的相同情况时，这同样适用于子区域b。如果某个子区域(例如子区域a和/或子区域b)的可缩减性不那么重要，则在编码效率方面，允许刚才讨论的码处理依赖性伸出到子区域(直接在前的区段方式随机访问图片关于该子区域形成特定于子区域的随机访问点)可能是有利的。在这种情况下，刚刚提出的讨论中的其他子区域(例如子区域a)将不再能够缩减，但是码处理效率增加，因为视频编码器316对于冗余的利用具有较少的限制，例如，选择运动矢量以便跨过子区域b的边界，从而基于这些图片或图片b中的任何一个的子区域b在时间上预测图片317的子区域a的一部分。例如，如果执行以下操作，则数据流300关于区域a将不再能够缩减。将图片317以使用时间预测的方式编码到第二图片子区域b外的图片区域a内的视频数据流300中，该时间预测至少部分地参考图片317和图片b当中的参考图片的第二图片子区域b。也就是说，在图22的情况下，完整的图片区域(即不仅是a，而且是b)可用于由图片317的时间预测码处理区域a进行参考。按照解码顺序位于图片a之后的图片317’(即在a和图22中未示出的类型b的后续图片之间的图片317’)将被编码到视频数据流300中，其中在位于第二图片子区域b外部的图片区域a内，时间预测被限制为不参考(图片a和图片317’当中的)按照解码顺序的在前参考图片的第二图片子区域b。也就是说，在图22的情况下，仅区域a可用于由图片317’的时间预测码处理区域a进行参考。子区域b也是如此：图片b遵循子区域b内的子区域b，而图片b中的b的码处理除了子区域a之外还可以使用a。在这种情况下，流300关于子区域b将不再能够缩减。
[0317]
在继续描述被配置为解码图22的视频数据流300的解码器之前，应当注意，视频编码器316可以被配置为向视频数据流300提供讯号319，讯号319在与整个视频304相关的范围内或包含图片302的序列在内的范围内，表示相应图片细分为子区域a和b的空间细分或者根据任何替代方案(例如图23a至23e中例示的那些)的空间细分。编码器316还向数据流300提供指示图片a和b的讯号318，即讯号318将某些图片标记为与由讯号319指示的任何子区域有关的特定于子区域的随机访问点。也就是说，讯号319通知在讯号319有效的图片当中恒定的空间细分，并且讯号318将特定于子区域的随机访问图片与其他图片区分开，并将这些子区域随机访问图片与子区域a和b之一相关联。
[0318]
在图片类型方面，在视频数据流300内可以不将图片b和a与其他图片进行专门区分。在图22的示例中，图片b和a“仅”是特定于子区域的随机访问图片，因此不是真实的图片方式的随机访问图片(例如idr等)。因此，就视频数据流300内的图片类型讯号320而言，视频数据流300可以对图片b和a与其他时间预测图片不加区分。例如，讯号318可以被包含在切片或这些切片的切片头部中(图片302以切片为单位被码处理到流300中)，从而指示与相应切片相对应的图片区域形成了区段b。或者，可以使用讯号320和318的组合，以便向解码器指示某个图片是特定于子区域的随机访问图片并且其属于某个子区域。例如，可以使用讯号320以指示某些图片是特定于子区域的随机访问图片，然而，不揭示相应图片关于哪个子区域表示特定于子区域的随机访问点。后一指示将由讯号318执行，讯号318将由讯号320通知为特定于子区域的随机访问图片的某个图片与由讯号319通知的图片细分的任何子区域相关联。然而，可替代地，讯号320(其可以是nal单元类型语法元素)不仅区分或区别诸如b和p图片之类的时间预测图片、诸如idr图片之类的图片方式的随机访问图片、以及诸如图片a和b之类的子区域方式的随机访问点，而且通过为图片a和b中的每一个使用不同的值，区分或区别与不同子区域相关的子区域方式的随机访问点(即，区分或区别图片a和b)。
[0319]
视频编码器316可以插入另一个讯号321，以便为某个子区域通知数据流300相对于相应的子区域是否能够缩减。可以在数据流300内通知讯号321，以允许将子区域之一通知为数据流300关于其能够被缩减的子区域，而另一个子区域不构成数据流300关于其能够被缩减的子区域。或者，讯号321仅可以允许关于所有子区域的可缩减性的二进制讯号，即讯号321可以通知所有子区域都是数据流300关于其能够被缩减的子区域，或者数据流300关于这些子区域中的任何一个不能够被缩减。然而，讯号321也可以被剔除，使得诸如图22的示例中的子区域a和b之类的子区域要么被视为完全独立进行码处理的子区域(相对于这些子区域数据流300能够分别被缩减)，要么不被视为这种子区域，在这种情况下，如前所述，使用跨过子区域边界的上述非对称码处理依赖性。
[0320]
尽管到目前为止子区域b和a被示出为连续区域，但应该注意，子区域b和a可替代地是非连续区域(例如图片302的拼块集)，其中参考图1至图13的关于拼块的具体处理的描述，根据该示例，图片302可以以拼块为单位被码处理到数据流300中。
[0321]
关于图23c，注意到由于图片a将是图片方式的随机访问图片，因此图片a的图片类型将不同于其他时间预测图片的图片类型，因此图片a将在图片类型讯号320内通知。
[0322]
图24示出了视频解码器330，其被配置为以利用图片b和a的方式解码视频数据流300。图24的视频数据流300以对应于图22的描述的方式示例性地示出，即，子区域相关的随机访问图片b和a散布在编码到视频数据流300中的视频304的图片302之间。在随机访问视频数据流300时，视频解码器330被配置为等待下一随机访问图片(即任何子区域相关的或图片方式的随机防问图片)出现。在视频数据流300不包括图片方式的随机访问图片的情况下，视频解码器330甚至可能不响应这样的图片。在任何情况下，一旦视频解码器330遇到第一子区域相关的随机访问图片(图24的示例中的图片b)，视频解码器330就重新开始解码视频数据流300。从该图片b开始，视频解码器330开始重建、解码和输出仅显示子区域b的图片322。一种替代方案是，视频解码器330还解码、重建和输出这些图片322的位于子区域b外部的部分，并提供或不提供与这些图片相伴随的信令，该信令向诸如显示设备之类的呈现设备指示这些图片的位于子区域b外部的部分遭受漂移误差，因为该外部子区域的参考图片缺失。
[0323]
视频解码器330以这种方式继续对视频数据流300进行解码，直到遇到下一个随机访问图片，即图24的示例中的图片a。由于子区域a表示用于剩余图片区域(即图片302的位于子区域b外部的区域)的随机访问点，所以视频解码器330从图片a起完整地解码、重建和输出图片302。也就是说，通过关于图24描述的功能，向用户提供机会以获得更早看到视频304的优势，至少关于子区域b(即第一个遇到的子区域相关的随机访问图片b的子区域)。然后，在遇到与覆盖图片302的其余部分的子区域有关的下一个子区域相关随机访问图片之后，视频解码器330能够提供没有漂移误差的完整图片302。在图23e的例子中，在遇到分别与子区域a、b和c有关的各个特定于子区域的随机访问图片中的第一个之后就是这种情况。
[0324]
图25示出视频解码器330的替代操作模式。这里，视频解码器330从遇到第一特定于子区域的随机访问图片(此处为图片b)起，开始解码和重构子区域b，但视频解码器330进行等待，直到已经遇到足够的随机访问图片以使它们的子区域覆盖图片302的整个图片区域为止，在此之后，视频解码器330实际上完整地输出图片302。在本示例的情况下，这是遇到图片b后面的图片a时的情况。也就是说，从图片a开始，视频解码器330输出图片302，尽管
从图片b开始就可以获得子区域b。
[0325]
图26示出了网络设备322，其接收包括特定于子区域的随机访问图片在内的视频数据流300。然而，这次，视频数据流300关于特定于子区域的随机访问图片的一个或多个子区域是能够缩减的。例如，图26示出了视频数据流300关于子区域b能够缩减的情况。关于网络设备322的可缩减性和相应的功能，应注意，该功能可以是或可以不是以对应于图1至图13的描述的方式配置的。在任何情况下，使用前述讯号318在视频数据流300内指示图片b。在缩减视频数据流300以便仅与图片b相关的情况下，网络设备322从视频数据流300中提取、或者将视频数据流300缩减到缩减视频数据流324，缩减视频数据流324的图片326构成仅显示视频304(即非缩减视频数据流300)的子区域b的内容的视频328。然而，通过该措施，子区域b不再表示关于图片326的子区域，所以缩减视频数据流324不再包括讯号318。而是，与视频数据流的特定于子区域的随机访问图片b的子区域b相对应的视频328的图片，通过图片类型讯号320在缩减视频数据流324内被通知为图片方式的随机访问图片(例如idr图片等)。可以采取的方式是多方面的。例如，除了(在网络设备322被配置为与网络设备60相对应的情况下)前面关于图5和图7描述的重定向和/或参数集修订之外，网络设备322自身可以在将视频数据流300缩减到缩减视频数据流324时改变相应的nal单元的nal单元头部中的图片类型讯号320。
[0326]
为了完整起见，图27示出了被配置为处理图20的数据流20的网络设备231。然而，图20示出了信息206’可以存在于或不存在于能够缩减的视频数据流200中，例如位于信息50内。由此，该网络设备231可以如上所述要么被配置为在将视频数据流200缩减为缩减视频数据流232时，丢弃移位信息206而仅将特定于子区域的移位信息206’从视频数据流200转移到缩减视频数据流232，要么网络设备231自身可以基于子区域22相对于可缩减视频数据流200的图片的位置的知识，重新调整移位信息206以使其成为特定于子区域的移位信息206。
[0327]
因此，例如，以上描述披露了用于提取时间运动和层间预测受到约束的拼块集的处理和信令。还描述了使用单层或多层视频码处理的码处理视频比特流的提取或空间子集。
[0328]
根据本公开的实施例，提供了以下实施方式作为示例。
[0329]
实施方式1.一种数据流，在所述数据流中编码有图片(204)，所述数据流包括：
[0330]
移位信息(206)，对于所述图片(204)的至少一个预定子领域(214)的集合，所述移位信息(206)指示相对于所述至少一个预定子领域的集合到目标图片区域(216)的无移位复制的、所述至少一个预定子领域的集合在所述目标图片区域(216)内的移位(218)。
[0331]
实施方式2.根据实施方式1所述的数据流，其中，所述移位信息(206)以以下中的一项为单位指示所述移位(218)：
[0332]
图片样本，
[0333]
图片被细分成的拼块，所述图片在不具有码处理相互依赖性的情况下以所述拼块为单位进行码处理，并且至少一个子领域(214)的集合中的每一个子领域由所述拼块组成。
[0334]
实施方式3.根据实施方式1所述的数据流，其中，所述图片的至少一个子领域的集合是所述图片到子领域阵列的无间隙且无重叠的空间划分的子集。
[0335]
实施方式4.根据实施方式1所述的数据流，其中所述移位信息包括：
[0336]
所述图片的至少一个预定子领域的集合内的预定子领域的计数(220)；
[0337]
定义所述目标图片区域的大小的大小参数(222)，以及
[0338]
对于所述图片的至少一个预定子领域的集合中的每个预定子领域，所述图片的相应预定子领域在所述目标图片区域内的移位的坐标(224)；或者
[0339]
对于所述图片的至少一个预定子领域的集合中的每个预定子领域，所述移位信息包括：关于相应预定子领域在目标领域中的位置的第一位置信息；关于相应预定领域在图片内的位置的第二信息；以及关于当在所述目标领域与所述图片之间映射相应预定子领域时的旋转的信息和/或镜像的信息。
[0340]
实施方式5.根据实施方式4所述的数据流，其中，所述移位信息还指示相应子领域在所述目标图片区域内的缩放比例(226)。
[0341]
实施方式6.根据实施方式1所述的数据流，其中，所述数据流还包括默认填充信息(228)，该默认填充信息(228)指示用于填充所述目标图片区域(216)的一部分(130)的默认填充，所述一部分(130)既不被根据所述移位信息进行了移位的所述图片的至少一个预定子领域的集合中的任何一个预定子领域覆盖，并且如果所述至少一个预定子领域的集合没有完全覆盖所述图片(204)，也不被所述图片的任何未移位部分覆盖。
[0342]
实施方式7.根据实施方式1所述的数据流，其中，在所述数据流中编码有图片序列，其中所述移位信息对于所述图片序列有效。
[0343]
实施方式8.一种解码器，用于对编码有图片的数据流进行解码，所述解码器包括：
[0344]
解码核心(234)，被配置为从所述数据流重建所述图片，以及
[0345]
移位器(236)，被配置为通过根据包含在所述数据流中的移位信息，在目标图片区域内对所述图片的至少一个预定子领域的集合中的每一个预定子领域进行移位，从而在所述图片的基础上合成目标图片。
[0346]
实施方式9.根据实施方式8所述的解码器，其中，所述移位器被配置为：如果所述至少一个预定子领域的集合没有完全覆盖所述图片(204)，则以未移位的方式将所述图片的任何未移位部分复制到所述目标图片区域(216)中。
[0347]
实施方式10.根据实施方式8所述的解码器，其中，所述移位信息以以下中的一项为单位指示相应子领域的移位：
[0348]
图片样本，
[0349]
图片被细分成的拼块，所述图片在不具有码处理相互依赖性的情况下以所述拼块为单位进行码处理，并且至少一个子领域(214)的集合中的每一个子领域由所述拼块组成。
[0350]
实施方式11.根据实施方式8所述的解码器，其中，所述图片的至少一个子领域的集合是所述图片到子领域阵列的无间隙且无重叠的空间划分的子集。
[0351]
实施方式12.根据实施方式8所述的解码器，其中，所述移位器被配置为：
[0352]
作为所述移位信息的一部分，从所述数据流读取：
[0353]
所述图片的至少一个预定子领域的集合内的预定子领域的计数，
[0354]
定义所述目标图片区域的大小的大小参数，
[0355]
对于所述图片的至少一个预定子领域的集合中的每个预定子领域，所述图片的相应预定子领域在所述目标图片区域内的移位的坐标，
[0356]
根据针对相应预定子领域读取的移位的坐标，相对于所述图片到所述目标图片区
域上的叠加，对所述图片的至少一个预定子领域的集合中的每个预定子领域进行移位。
[0357]
实施方式13.根据实施方式12所述的解码器，其中，所述移位器被配置为通过以下方式来基于所述图片合成目标图片：根据包含在所述数据流中的移位信息，在所述目标图片区域内缩放所述图片的至少一个预定子领域的集合中的每个预定子领域，所述每个预定子领域是相对于所述图片到所述目标图片区域的无失真复制，根据所述移位信息进行了移位后的预定子领域。
[0358]
实施方式14.根据实施方式8所述的解码器，其中，所述移位器被配置为：根据所述数据流中包含的默认填充信息，填充所述目标图片区域的一部分，其中，所述图片的至少一个预定子领域的集合中的任何一个都不会根据所述移位信息移位到所述目标图片区域的所述一部分，并且如果所述至少一个预定子领域的集合没有完全覆盖所述图片(204)，所述图片的任何未移位部分也不位于所述目标图片区域的所述一部分中。
[0359]
实施方式15.根据实施方式8所述的解码器，其中，所述解码核心被配置为从所述数据流重建图片序列，并且所述移位器被配置为将所述移位信息应用于所述图片序列的图片上。
[0360]
实施方式16.根据实施方式8所述的解码器，还包括：
[0361]
呈现器(238)，被配置为将单射投影应用于所述目标图片区域以形成输出图片。
[0362]
实施方式17.一种编码器，用于将图片编码到数据流，所述编码器被配置为向所述数据流提供：
[0363]
移位信息(206)，对于所述图片(204)的至少一个预定子领域(214)的集合，所述移位信息(206)指示相对于所述至少一个预定子领域的集合到目标图片区域(216)的无移位复制的、所述至少一个预定子领域的集合在所述目标图片区域(216)内的移位(218)。
[0364]
实施方式18.一种网络设备，被配置为将编码有第一图片的数据流(200)缩减为编码有特定于子区域的图片的缩减数据流(232)，所述特定于子区域的图片显示所述第一图片的预定子区域，其中所述数据流(200)包括移位信息(206)，对于所述第一图片的至少一个预定子领域的集合，所述移位信息(206)指示相对于所述至少一个预定子领域的集合到目标图片区域(216)的无移位复制的、所述至少一个预定子领域(214)的集合在所述目标图片区域(216)内的移位(218)，其中，
[0365]
所述网络设备被配置为将所述移位信息(206)修改为修改的移位信息(206’)，使得在所述目标图片区域内，以下二者重合：通过根据所述修改的移位信息对所述特定于子区域的图片中的至少一个预定子领域的集合进行了移位而复制到所述目标图片区域中的所述特定于子区域的图片，与通过根据所述移位信息对所述图片(12)的至少一个预定子领域(214)的集合进行了移位而复制到所述目标图片区域中的所述第一图片的预定子区域，并且，在缩减所述数据流时，用所述修改的移位信息替换所述移位信息，或者
[0366]
所述修改的移位信息被包括在与所述第一图片的所述预定子区域相关联的数据流中，并且所述移位信息被包括在与所述第一图片相关联的数据流中，所述网络设备被配置为在缩减所述数据流时，移除所述移位信息，并将所述修改的移位信息转移到所述缩减数据流中，以便与特定于子区域的图片相关联。
[0367]
实施方式19.一种用于对数据流进行解码的方法，所述数据流中编码有图片，所述方法包括：
[0368]
从所述数据流重建所述图片，以及
[0369]
通过根据包含在所述数据流中的移位信息，在目标图片区域内对所述图片的至少一个预定子领域的集合中的每一个预定子领域进行移位，从而在所述图片的基础上合成目标图片。
[0370]
实施方式20.一种将图片编码到数据流的方法，所述方法包括向所述数据流提供移位信息(206)，对于所述图片(204)的至少一个预定子领域(214)的集合，所述移位信息(206)指示相对于所述至少一个预定子领域的集合到目标图片区域(216)的无移位复制的、所述至少一个预定子领域的集合在所述目标图片区域(216)内的移位(218)。
[0371]
实施方式21.一种方法，用于将编码有第一图片的数据流(200)缩减为编码有特定于子区域的图片的缩减数据流(232)，所述特定于子区域的图片显示所述第一图片的预定子区域，其中所述数据流(200)包括移位信息(206)，对于所述第一图片的至少一个预定子领域的集合，所述移位信息(206)指示相对于所述至少一个预定子领域的集合到目标图片区域(216)的无移位复制的、所述至少一个预定子领域(214)的集合在所述目标图片区域内的移位(218)，其中，
[0372]
所述方法包括：将所述移位信息(206)修改为修改的移位信息(206’)，使得在所述目标图片区域内，以下二者重合：通过根据所述修改的移位信息对所述特定于子区域的图片中的至少一个预定子领域的集合进行了移位而复制到所述目标图片区域中的所述特定于子区域的图片，与通过根据所述移位信息对所述图片(12)的至少一个预定子领域(214)的集合进行了移位而复制到所述目标图片区域中的所述第一图片的预定子区域，并且，在缩减所述数据流时，用所述修改的移位信息替换所述移位信息，或者
[0373]
所述修改的移位信息被包括在与所述第一图片的所述预定子区域相关联的数据流中，并且所述移位信息被包括在与所述第一图片相关联的数据流中，所述方法包括在缩减所述数据流时，移除所述移位信息，并将所述修改的移位信息转移到所述缩减数据流中，以便与特定于子区域的图片相关联。
[0374]
实施方式22.一种数字存储介质，其上存储有根据实施方式1所述的数据流。
[0375]
实施方式23.一种具有程序代码的计算机程序，所述程序代码用于当在计算机上运行时执行根据实施方式19或20或21所述的方法。
[0376]
实施方式24.一种表示视频(14)的视频数据流，包括：
[0377]
参数集部分(16)，指示码处理参数设定(20)；
[0378]
有效载荷部分(18)，所述视频的图片(12)以使用所述码处理参数设定(20)的第一集合(20a)作为参数的方式被码处理到所述有效载荷部分(18)中，所述有效载荷部分所包括的索引(48)对所述第一集合(20a)进行索引，
[0379]
其中，所述视频数据流包括信息(50)，所述信息(50)包括：
[0380]
对所述图片(12)的预定子区域(22)的指示(52)；以及
[0381]
替换索引(54)，所述替换索引(54)用于重定向(72)由所述有效载荷部分包括的所述索引(48)以便参考码处理参数设定的第二集合(20b)，
[0382]
其中，码处理参数的所述第二集合(20b)被选择使得缩减视频数据流(62)具有缩减的有效载荷部分，所述缩减视频数据流(62)与所述视频数据流相比进行了以下修改：
[0383]
移除(68)所述有效载荷部分(18)的、参考所述图片(12)中所述预定子区域(22)外
部的区域的部分(70)，以及
[0384]
改变(78)所述有效载荷部分(18)中的位置指示(32)，以便以相对于所述预定子区域(22)的周边而不是所述图片(12)的周边度量的方式指示位置，
[0385]
在所述缩减的有效载荷部分中，以使用码处理参数设定的所述第二集合(20b)作为参数的方式，编码有显示所述图片的所述预定子区域(22)的特定于子区域的图片(86)。
[0386]
实施方式25.一种表示视频(14)的视频数据流，包括：
[0387]
参数集部分(16)，指示码处理参数设定(20)；
[0388]
有效载荷部分(18)，所述视频的图片(12)以使用所述码处理参数设定(20)的第一集合(20a)作为参数的方式被码处理到所述有效载荷部分(18)中，所述有效载荷部分所包括的索引(48)对所述第一集合(20a)进行索引，
[0389]
其中，所述视频数据流包括信息(50)，所述信息(50)包括：
[0390]
对所述图片(12)的预定子区域(22)的指示(52)；以及替换参数(56)，所述替换参数(56)用于调整(88)码处理参数设定的所述第一集合(20a)以便得到码处理参数设定的第二集合(20b)，其中，所述码处理参数设定定义缓冲区大小和定时(46)，
[0391]
其中，码处理参数的所述第二集合(20b)被选择使得缩减视频数据流(62)具有缩减的有效载荷部分，所述缩减视频数据流(62)与所述视频数据流相比进行了以下修改：
[0392]
移除(68)所述有效载荷部分(18)的、参考所述图片(12)中所述预定子区域(22)外部的区域的部分(70)，以及
[0393]
改变(78)所述有效载荷部分(18)中的位置指示(32)，以便以相对于所述预定子区域(22)的周边而不是所述图片(12)的周边度量的方式指示位置，
[0394]
在所述缩减的有效载荷部分中，以使用码处理参数设定的所述第二集合(20b)作为参数的方式，编码有显示所述图片的所述预定子区域(22)的特定于子区域的图片(86)。
[0395]
实施方式26.根据实施方式24或25所述的视频数据流，其中，所述视频数据流和所述缩减视频数据流(62)符合hevc。
[0396]
实施方式27.根据实施方式24或25所述的视频数据流，其中，所述参数集部分包括在sps nal单元和/或vps nal单元和/或pps nal单元中。
[0397]
实施方式28.根据实施方式24或25所述的视频数据流，其中，所述码处理参数设定定义以下中的一项或多项：
[0398]
图片大小(26)，
[0399]
拼块结构(38)，
[0400]
缓冲区大小和定时(46)。
[0401]
实施方式29.根据实施方式24或25所述的视频数据流，其中，所述索引(48)包含在所述有效载荷部分(18)的切片(34)的切片头部中，每个切片中编码有图片(12)的对应区域(36)，所述对应区域(36)不跨过所述预定子区域(22)的边界。
[0402]
实施方式30.根据实施方式24或25所述的视频数据流，其中，所述信息包含在sei消息、vui或参数集扩展中。
[0403]
实施方式31.根据实施方式24或25所述的视频数据流，其中，所述视频的图片以拼块(42)为单位编码到所述有效载荷部分中，所述图片被细分为所述拼块，并且所述拼块以列和行的拼块阵列进行排列，其中所述指示(52)将所述预定子区域指示为所述拼块的集
合。
[0404]
实施方式32.根据实施方式31所述的视频数据流，其中，所述视频的所述图片以拼块(42)为单位编码到所述有效载荷部分中，使得所述有效载荷部分以切片(34)为单位被细分，每个切片中编码有图片的对应区域，所述对应区域不跨过所述拼块之间的拼块边界(40)。
[0405]
实施方式33.根据实施方式24或25所述的视频数据流，其中，
[0406]
要由所述替换索引执行所述重定向(72)和/或由所述替换参数进行替换的、由所述索引(48)索引的码处理参数设定的所述第一集合(20a)的一部分属于以下中的一项或多项：
[0407]
图片大小(26)，
[0408]
拼块结构(38)，
[0409]
缓冲区大小和定时(46)。
[0410]
实施方式34.根据实施方式24或25所述的视频数据流，其中，所述视频的所述图片(12)被码处理到所述有效载荷部分(18)中，使得在所述预定子区域(22)内对所述图片进行码处理时中断了跨过所述预定子区域(22)的边界的时间预测。
[0411]
实施方式35.一种用于将视频编码为视频数据流的编码器，包括：
[0412]
参数设定器(80a)，被配置为确定码处理参数设定(20)，并生成指示所述码处理参数设定的所述视频数据流的参数集部分(16)；
[0413]
码处理核心(80b)，被配置为以使用所述码处理参数设定的第一集合(20a)作为参数的方式将所述视频的图片编码到所述视频数据流的有效载荷部分中，所述有效载荷部分所包括的索引(48)对所述第一集合进行索引，
[0414]
其中，所述编码器被配置为向所述视频数据流提供信息(50)，所述信息(50)包括：
[0415]
对所述图片(12)的预定子区域(22)的指示；以及
[0416]
替换索引(54)，所述替换索引(54)用于重定向由所述有效载荷部分包括的所述索引以便参考码处理参数设定的第二集合，
[0417]
其中，码处理参数的所述第二集合被选择使得缩减视频数据流具有缩减的有效载荷部分，所述缩减视频数据流与所述视频数据流相比进行了以下修改：
[0418]
移除(68)所述有效载荷部分的、参考所述图片中所述预定子区域外部的区域的部分，以及
[0419]
改变(78)所述有效载荷部分中的位置指示，以便以相对于所述预定子区域的周边而不是所述图片的周边度量的方式指示位置，
[0420]
在所述缩减的有效载荷部分中，以使用码处理参数设定的所述第二集合作为参数的方式，编码有显示所述图片的所述子区域的特定于子区域的图片。
[0421]
实施方式36.一种用于将视频编码为视频数据流的编码器，包括：
[0422]
参数设定器(80a)，被配置为确定码处理参数设定(20)，并生成指示所述码处理参数设定的所述视频数据流的参数集部分(16)；
[0423]
码处理核心(80b)，被配置为以使用所述码处理参数设定的第一集合(20a)作为参数的方式将所述视频的图片编码到所述视频数据流的有效载荷部分中，所述有效载荷部分所包括的索引(48)对所述第一集合进行索引，
[0424]
其中，所述编码器被配置为向所述视频数据流提供信息(50)，所述信息(50)包括：
[0425]
对所述图片(12)的预定子区域(22)的指示；以及
[0426]
替换参数(56)，所述替换参数(56)用于调整码处理参数设定的所述第一集合以便得到码处理参数设定的第二集合，其中
[0427]
所述码处理参数设定定义缓冲区大小和定时(46)，
[0428]
其中，码处理参数的所述第二集合被选择使得缩减视频数据流具有缩减的有效载荷部分，所述缩减视频数据流与所述视频数据流相比进行了以下修改：
[0429]
移除(68)所述有效载荷部分的、参考所述图片中所述预定子区域外部的区域的部分，以及
[0430]
改变(78)所述有效载荷部分中的位置指示，以便以相对于所述预定子区域的周边而不是所述图片的周边度量的方式指示位置，
[0431]
在所述缩减的有效载荷部分中，以使用码处理参数设定的所述第二集合作为参数的方式，编码有显示所述图片的所述子区域的特定于子区域的图片。
[0432]
实施方式37.根据实施方式35或36所述的编码器，其中，所述视频数据流和所述缩减视频数据流符合hevc。
[0433]
实施方式38.根据实施方式35或36所述的编码器，其中，所述参数集部分包括在sps nal单元和/或vps nal单元和/或ppsnal单元中。
[0434]
实施方式39.根据实施方式35或36所述的编码器，其中，所述码处理参数设定定义以下中的一项或多项：
[0435]
图片大小，
[0436]
拼块结构，
[0437]
缓冲区大小和定时。
[0438]
实施方式40.根据实施方式35或36所述的编码器，其中，所述编码器被配置为将所述索引插入到所述有效载荷部分的切片的切片头部中，并将图片的对应区域编码到每个切片中，所述对应区域不跨过所述预定子区域的边界。
[0439]
实施方式41.根据实施方式35或36所述的编码器，其中，所述编码器被配置为将所述信息插入到sei消息、vui或参数集扩展中。
[0440]
实施方式42.根据实施方式35或36所述的编码器，其中，所述编码器被配置为将所述视频的图片以拼块为单位编码到所述有效载荷部分中，所述图片被细分为所述拼块，并且所述拼块以列和行的拼块阵列进行排列，其中所述指示将所述预定子区域指示为所述拼块的集合。
[0441]
实施方式43.根据实施方式42所述的编码器，其中，所述编码器被配置为将所述视频的所述图片以拼块为单位编码到所述有效载荷部分中，使得所述有效载荷部分以切片为单位被细分，每个切片中编码有图片的对应区域，所述对应区域不跨过所述拼块之间的拼块边界。
[0442]
实施方式44.根据实施方式35或36所述的编码器，其中，
[0443]
要由所述替换索引执行所述重定向和/或由所述替换参数进行替换的、由所述索引来索引的码处理参数设定的所述第一集合的一部分属于以下中的一项或多项：
[0444]
图片大小，
[0445]
拼块结构，
[0446]
缓冲区定时。
[0447]
实施方式45.根据实施方式35或36所述的编码器，其中，所述编码器被配置为将所述视频的所述图片编码到所述有效载荷部分中，使得在所述预定子区域(22)内对所述图片进行码处理时中断了跨过所述预定子区域(22)的边界的时间预测。
[0448]
实施方式46.一种用于处理视频数据流的网络设备，所述视频数据流包括：
[0449]
参数集部分，指示码处理参数设定；
[0450]
有效载荷部分，所述视频的图片以使用所述码处理参数设定的第一集合作为参数的方式被码处理到所述有效载荷部分中，所述有效载荷部分所包括的索引对所述第一集合进行索引，
[0451]
其中，所述网络设备被配置为：
[0452]
从所述视频数据流读取(64)信息，所述信息包括：
[0453]
对所述图片的预定子区域的指示；以及
[0454]
替换索引，所述替换索引用于重定向由所述有效载荷部分包括的所述索引以便参考码处理参数设定的第二集合，
[0455]
通过进行以下修改将所述视频数据流缩减(66)为缩减视频数据流：
[0456]
执行所述重定向(72)和/或调整(88)，以便由所述有效载荷部分的索引对码处理参数设定的所述第二集合进行索引；
[0457]
移除(68)所述有效载荷部分的、参考所述图片中所述预定子区域外部的区域的部分，以及
[0458]
改变(78)所述有效载荷部分中的位置指示(32)，以便以相对于所述预定子区域的周边而不是所述图片的周边度量的方式指示位置，
[0459]
使得所述缩减视频数据流具有缩减的有效载荷部分，在所述缩减的有效载荷部分中，以使用码处理参数设定的所述第二集合作为参数的方式，编码有显示所述图片的所述预定子区域的特定于子区域的图片。
[0460]
实施方式47.一种用于处理视频数据流的网络设备，所述视频数据流包括：
[0461]
参数集部分，指示码处理参数设定；
[0462]
有效载荷部分，所述视频的图片以使用所述码处理参数设定的第一集合作为参数的方式被码处理到所述有效载荷部分中，所述有效载荷部分所包括的索引对所述第一集合进行索引，
[0463]
其中，所述网络设备被配置为：
[0464]
从所述视频数据流读取(64)信息，所述信息包括：
[0465]
对所述图片的预定子区域的指示；以及
[0466]
替换参数，所述替换参数用于调整码处理参数设定的所述第一集合以便得到码处理参数设定的第二集合，其中所述码处理参数设定定义缓冲区大小和定时(46)，
[0467]
通过进行以下修改将所述视频数据流缩减(66)为缩减视频数据流：
[0468]
执行所述重定向(72)和/或调整(88)，以便由所述有效载荷部分的索引对码处理参数设定的所述第二集合进行索引；
[0469]
移除(68)所述有效载荷部分的、参考所述图片中所述预定子区域外部的区域的部
分，以及
[0470]
改变(78)所述有效载荷部分中的位置指示(32)，以便以相对于所述预定子区域的周边而不是所述图片的周边度量的方式指示位置，
[0471]
使得所述缩减视频数据流具有缩减的有效载荷部分，在所述缩减的有效载荷部分中，以使用码处理参数设定的所述第二集合作为参数的方式，编码有显示所述图片的所述预定子区域的特定于子区域的图片。
[0472]
实施方式48.根据实施方式46或47所述的网络设备，其中，所述视频数据流和所述缩减视频数据流符合hevc。
[0473]
实施方式49.根据实施方式46或47所述的网络设备，其中，所述参数集部分包括在sps nal单元和/或vps nal单元和/或ppsnal单元中。
[0474]
实施方式50.根据实施方式46或47所述的网络设备，其中，所述码处理参数设定定义以下中的一项或多项：
[0475]
图片大小，
[0476]
拼块结构，
[0477]
缓冲区大小和定时。
[0478]
实施方式51.根据实施方式46或47所述的网络设备，其中，所述网络设备被配置为在所述有效载荷部分的切片的切片头部中定位所述索引，每个切片中编码有图片的对应区域，所述对应区域不跨过所述预定子区域的边界。
[0479]
实施方式52.根据实施方式46或47所述的网络设备，其中，所述网络设备被配置为从所述视频数据流的sei消息、vui或参数集扩展中读取所述信息。
[0480]
实施方式53.根据实施方式46或47所述的网络设备，其中，所述视频的图片以拼块为单位被码处理到所述有效载荷部分中，所述图片被细分为所述拼块，并且所述拼块以列和行的拼块阵列进行排列，其中所述指示将所述预定子区域指示为所述拼块的集合。
[0481]
实施方式54.根据实施方式53所述的网络设备，其中，所述视频的所述图片以拼块为单位被码处理到所述有效载荷部分中，使得所述有效载荷部分以切片为单位被细分，每个切片中编码有图片的对应区域，所述对应区域不跨过所述拼块之间的拼块边界。
[0482]
实施方式55.根据实施方式46或47所述的网络设备，其中，
[0483]
要由所述替换索引执行所述重定向和/或由所述替换参数进行替换的、由所述索引来索引的码处理参数设定的所述第一集合的一部分属于以下中的一项或多项：
[0484]
图片大小，
[0485]
拼块结构，
[0486]
缓冲区大小和定时。
[0487]
实施方式56.根据实施方式46或47所述的网络设备，其中，所述视频的所述图片(12)被码处理到所述有效载荷部分(18)中，使得在所述预定子区域(22)内对所述图片进行码处理时中断了跨过所述预定子区域(22)的边界的时间预测。
[0488]
实施方式57.根据实施方式46或47所述的网络设备，其中所述网络设备是以下中之一：
[0489]
视频解码器，能够解码所述视频数据流和所述缩减视频数据流，
[0490]
视频解码器，其配置文件级别足以使所述视频解码器能够解码所述缩减视频数据
流，但其配置文件级别不足以使所述视频解码器能够解码所述视频数据流，以及
[0491]
网络设备，被配置为根据控制信号将所述视频数据流和所述缩减视频数据流中之一转发到视频解码器。
[0492]
实施方式58.根据实施方式46或47所述的网络设备，其中，所述视频数据流包括移位信息(206)，对于所述图片(12)的至少一个预定子领域(214)的集合，所述移位信息(206)指示相对于所述至少一个预定子领域的集合到目标图片区域(216)的无移位复制的、所述至少一个预定子领域的集合在所述目标图片区域内的移位，以及
[0493]
所述网络设备被配置为将所述移位信息修改为修改的移位信息(206’)，使得在所述目标图片区域(216)内，以下二者重合：通过根据所述修改的移位信息对所述特定于子区域的图片中的预定子领域进行了移位而复制到所述目标图片区域中的所述特定于子区域的图片，与通过根据所述移位信息对所述图片(12)的至少一个预定子领域(214)的集合进行了移位而复制到所述目标图片区域中的所述图片(12)的预定子区域(22)，并且，在缩减所述视频数据流时，用所述修改的移位信息(206’)替换所述移位信息(206)，或者
[0494]
所述修改的移位信息(206’)被包括在与所述图片(12)的所述预定子区域(22)相关联的视频数据流中，并且所述移位信息(206)被包括在与所述图片相关联的视频数据流中，所述网络设备被配置为在缩减所述视频数据流时，移除所述移位信息(206)，并将所述修改的移位信息(206’)转移到所述缩减视频数据流中，以便与特定于子区域的图片(86)相关联。
[0495]
实施方式59.一种表示视频(14)的视频数据流，包括：
[0496]
有效载荷部分(18)，所述视频的图片(12)被码处理到所述有效载荷部分(18)中；以及
[0497]
补充增强信息消息，指示与将所述视频的图片码处理到所述有效载荷部分(18)中的方式相匹配的补充增强信息，
[0498]
其中，所述视频数据流包括信息(50)，所述信息(50)包括：
[0499]
对所述图片(12)的预定子区域(22)的指示(52)；以及用于替换所述补充增强信息消息的替换补充增强信息消息，
[0500]
其中，所述替换补充增强信息消息被选择使得缩减视频数据流(62)具有缩减的有效载荷部分，所述缩减视频数据流(62)与所述视频数据流相比进行了以下修改：
[0501]
移除(68)所述有效载荷部分(18)的、参考所述图片(12)中所述预定子区域(22)外部的区域的部分(70)，以及
[0502]
改变(78)所述有效载荷部分(18)中的位置指示(32)，以便以相对于所述预定子区域(22)的周边而不是所述图片(12)的周边度量的方式指示位置，
[0503]
在所述缩减的有效载荷部分中，编码有显示所述图片的所述预定子区域(22)的特定于子区域的图片(86)，所述编码的方式使得：所述替换补充增强信息消息指示与将所述特定于子区域的图片(86)码处理到所述缩减的有效载荷部分(18)中的方式相匹配的替换补充增强信息。
[0504]
实施方式60.根据实施方式59所述的视频数据流，其中所述补充增强信息属于缓冲区大小和/或缓冲区定时数据。
[0505]
实施方式61.一种用于将视频编码为视频数据流的编码器，包括：
[0506]
码处理核心(80b)，被配置为将所述视频的图片编码到所述视频数据流的有效载荷部分中，以及
[0507]
参数设定器(80a)，被配置为生成补充增强信息消息，该补充增强信息消息指示与将所述视频的图片码处理到所述有效载荷部分(18)中的方式相匹配的补充增强信息；
[0508]
其中，所述编码器被配置为向所述视频数据流提供信息(50)，所述信息(50)包括：
[0509]
对所述图片(12)的预定子区域(22)的指示；以及
[0510]
用于替换所述补充增强信息消息的替换补充增强信息消息，
[0511]
其中，所述替换补充增强信息消息被选择使得缩减视频数据流具有缩减的有效载荷部分，所述缩减视频数据流与所述视频数据流相比进行了以下修改：
[0512]
移除(68)所述有效载荷部分的、参考所述图片中所述预定子区域外部的区域的部分，以及
[0513]
改变(78)所述有效载荷部分中的位置指示，以便以相对于所述预定子区域的周边而不是所述图片的周边度量的方式指示位置，
[0514]
在所述缩减的有效载荷部分中，编码有显示所述图片的所述子区域的特定于子区域的图片，所述编码的方式使得：所述替换补充增强信息消息指示与将所述特定于子区域的图片(86)码处理到所述缩减的有效载荷部分(18)中的方式相匹配的替换补充增强信息。
[0515]
实施方式62.根据实施方式61所述的编码器，其中所述补充增强信息属于缓冲区大小和/或缓冲区定时数据。
[0516]
实施方式63.一种用于处理视频数据流的网络设备，所述视频数据流包括：
[0517]
有效载荷部分，视频的图片被码处理到所述有效载荷部分中；以及
[0518]
补充增强信息消息，指示与将所述视频的图片码处理到所述有效载荷部分(18)中的方式相匹配的补充增强信息，
[0519]
其中，所述网络设备被配置为：
[0520]
从所述视频数据流读取(64)信息，所述信息包括：
[0521]
对所述图片的预定子区域的指示；以及
[0522]
用于替换所述补充增强信息消息的替换补充增强信息消息，
[0523]
通过进行以下修改将所述视频数据流缩减(66)为缩减视频数据流：
[0524]
通过所述替换补充增强信息消息来替换所述补充增强信息消息，
[0525]
移除(68)所述有效载荷部分的、参考所述图片中所述预定子区域外部的区域的部分，以及
[0526]
改变(78)所述有效载荷部分中的位置指示(32)，以便以相对于所述预定子区域的周边而不是所述图片的周边度量的方式指示位置，
[0527]
使得所述缩减视频数据流具有缩减的有效载荷部分，在所述缩减的有效载荷部分中，编码有显示所述图片的所述预定子区域的特定于子区域的图片，所述编码的方式使得：所述替换补充增强信息消息指示与将所述特定于子区域的图片(86)码处理到所述缩减的有效载荷部分(18)中的方式相匹配的替换补充增强信息。
[0528]
实施方式64.一种用于处理视频数据流的网络设备，被配置为：
[0529]
接收视频数据流，该视频数据流包括有效载荷部分的一部分，视频的图片被码处理到该有效载荷部分中，其中，有效载荷部分的该部分对应于对所述有效载荷部分中的、参
考位于所述图片的预定子区域之外的图片区域的那些部分的排除，其中，所述视频的图片以如下方式被码处理到所述有效载荷部分中：
[0530]
在不排除的情况下使用所述视频数据流的参数集部分中的码处理参数设定作为参数，和/或
[0531]
在不排除的情况下与由所述视频数据流的补充增强消息所指示的补充增强信息相匹配，
[0532]
通过如下方式修改所述视频数据流：
[0533]
改变(78)所述有效载荷部分中的位置指示(32)，以便以相对于所述预定子区域的周边而不是所述图片的周边度量的方式指示位置，以及
[0534]
调整所述参数集部分中的码处理参数设定，和/或调整所述补充增强信息消息，使得在所述视频数据流具有的有效载荷部分的该部分中，以如下方式对显示所述图片的所述预定子区域的特定于子区域的图片进行编码：
[0535]
使用所述码处理参数设定作为参数，和/或
[0536]
与由调整的补充增强信息补充增强消息指示的补充增强信息补充增强信息相匹配。
[0537]
实施方式65.根据实施方式64所述的网络设备，被配置为与所述视频数据流一起还接收关于所述预定子区域(22)的信息，或者使用关于所述预定子区域(22)的信息来限制所述视频数据流的下载，使得所述有效载荷部分(18)中的、参考位于所述预定子区域(22)之外的图片区域的那些部分(70)不被下载。
[0538]
实施方式66.一种用于将视频编码为视频数据流的方法，包括：
[0539]
确定码处理参数设定(20)，并生成指示所述码处理参数设定的所述视频数据流的参数集部分(16)；
[0540]
以使用所述码处理参数设定的第一集合(20a)作为参数的方式将所述视频的图片编码到所述视频数据流的有效载荷部分中，所述有效载荷部分所包括的索引(48)对所述第一集合进行索引，
[0541]
为所述视频数据流提供信息(50)，所述信息(50)包括：
[0542]
对所述图片(12)的预定子区域(22)的指示；以及
[0543]
替换索引(54)，所述替换索引(54)用于重定向由所述有效载荷部分包括的所述索引以便参考码处理参数设定的第二集合，
[0544]
其中，码处理参数的所述第二集合被选择使得缩减视频数据流具有缩减的有效载荷部分，所述缩减视频数据流与所述视频数据流相比进行了以下修改：
[0545]
移除(68)所述有效载荷部分的、参考所述图片中所述预定子区域外部的区域的部分，以及
[0546]
改变(78)所述有效载荷部分中的位置指示，以便以相对于所述预定子区域的周边而不是所述图片的周边度量的方式指示位置，
[0547]
在所述缩减的有效载荷部分中，以使用码处理参数设定的所述第二集合作为参数的方式，编码有显示所述图片的所述子区域的特定于子区域的图片。
[0548]
实施方式67.一种用于将视频编码为视频数据流的方法，包括：
[0549]
确定码处理参数设定(20)，并生成指示所述码处理参数设定的所述视频数据流的
参数集部分(16)；
[0550]
以使用所述码处理参数设定的第一集合(20a)作为参数的方式将所述视频的图片编码到所述视频数据流的有效载荷部分中，所述有效载荷部分所包括的索引(48)对所述第一集合进行索引，
[0551]
为所述视频数据流提供信息(50)，所述信息(50)包括：
[0552]
对所述图片(12)的预定子区域(22)的指示；以及
[0553]
替换参数(56)，所述替换参数(56)用于调整码处理参数设定的所述第一集合以便得到码处理参数设定的第二集合，其中
[0554]
所述码处理参数设定定义缓冲区大小和定时，
[0555]
其中，码处理参数的所述第二集合被选择使得缩减视频数据流具有缩减的有效载荷部分，所述缩减视频数据流与所述视频数据流相比进行了以下修改：
[0556]
移除(68)所述有效载荷部分的、参考所述图片中所述预定子区域外部的区域的部分，以及
[0557]
改变(78)所述有效载荷部分中的位置指示，以便以相对于所述预定子区域的周边而不是所述图片的周边度量的方式指示位置，
[0558]
在所述缩减的有效载荷部分中，以使用码处理参数设定的所述第二集合作为参数的方式，编码有显示所述图片的所述子区域的特定于子区域的图片。
[0559]
实施方式68.一种用于处理视频数据流的方法，所述视频数据流包括：
[0560]
参数集部分，指示码处理参数设定；
[0561]
有效载荷部分，所述视频的图片以使用所述码处理参数设定的第一集合作为参数的方式被码处理到所述有效载荷部分中，所述有效载荷部分所包括的索引对所述第一集合进行索引，
[0562]
其中，所述方法包括：
[0563]
从所述视频数据流读取(64)信息，所述信息包括：
[0564]
对所述图片的预定子区域的指示；以及
[0565]
替换索引和/或替换参数，所述替换索引用于重定向由所述有效载荷部分包括的所述索引以便参考码处理参数设定的第二集合，所述替换参数用于调整码处理参数设定的所述第一集合以便得到码处理参数设定的第二集合，
[0566]
通过进行以下修改将所述视频数据流缩减(66)为缩减视频数据流：
[0567]
执行所述重定向(72)和/或调整(88)，以便由所述有效载荷部分的索引对码处理参数设定的所述第二集合进行索引；
[0568]
移除(68)所述有效载荷部分的、参考所述图片中所述预定子区域外部的区域的部分，以及
[0569]
改变(78)所述有效载荷部分中的位置指示(32)，以便以相对于所述预定子区域的周边而不是所述图片的周边度量的方式指示位置，
[0570]
使得所述缩减视频数据流具有缩减的有效载荷部分，在所述缩减的有效载荷部分中，以使用码处理参数设定的所述第二集合作为参数的方式，编码有显示所述图片的所述预定子区域的特定于子区域的图片。
[0571]
实施方式69.一种用于将视频编码为视频数据流的方法，包括：
[0572]
将所述视频的图片编码到所述视频数据流的有效载荷部分中，
[0573]
生成补充增强信息消息，该补充增强信息消息指示与将所述视频的图片码处理到所述有效载荷部分(18)中的方式相匹配的补充增强信息；
[0574]
为所述视频数据流提供信息(50)，所述信息(50)包括：
[0575]
对所述图片(12)的预定子区域(22)的指示；以及
[0576]
用于替换所述补充增强信息消息的替换补充增强信息消息，
[0577]
其中，所述替换补充增强信息消息被选择使得缩减视频数据流具有缩减的有效载荷部分，所述缩减视频数据流与所述视频数据流相比进行了以下修改：
[0578]
移除(68)所述有效载荷部分的、参考所述图片中所述预定子区域外部的区域的部分，以及
[0579]
改变(78)所述有效载荷部分中的位置指示，以便以相对于所述预定子区域的周边而不是所述图片的周边度量的方式指示位置，
[0580]
在所述缩减的有效载荷部分中，编码有显示所述图片的所述子区域的特定于子区域的图片，所述编码的方式使得：所述替换补充增强信息消息指示与将所述特定于子区域的图片(86)码处理到所述缩减的有效载荷部分(18)中的方式相匹配的替换补充增强信息。
[0581]
实施方式70.一种用于处理视频数据流的方法，所述视频数据流包括：
[0582]
有效载荷部分，视频的图片被码处理到所述有效载荷部分中；以及
[0583]
补充增强信息消息，指示与将所述视频的图片码处理到所述有效载荷部分(18)中的方式相匹配的补充增强信息，
[0584]
其中，所述方法包括：
[0585]
从所述视频数据流读取(64)信息，所述信息包括：
[0586]
对所述图片的预定子区域的指示；以及
[0587]
用于替换所述补充增强信息消息的替换补充增强信息消息，
[0588]
通过进行以下修改将所述视频数据流缩减(66)为缩减视频数据流：
[0589]
通过所述替换补充增强信息消息来替换所述补充增强信息消息，
[0590]
移除(68)所述有效载荷部分的、参考所述图片中所述预定子区域外部的区域的部分，以及
[0591]
改变(78)所述有效载荷部分中的位置指示(32)，以便以相对于所述预定子区域的周边而不是所述图片的周边度量的方式指示位置，
[0592]
使得所述缩减视频数据流具有缩减的有效载荷部分，在所述缩减的有效载荷部分中，编码有显示所述图片的所述预定子区域的特定于子区域的图片，所述编码的方式使得：所述替换补充增强信息消息指示与将所述特定于子区域的图片(86)码处理到所述缩减的有效载荷部分(18)中的方式相匹配的替换补充增强信息。
[0593]
实施方式71.一种用于对视频数据流进行处理的方法，包括：
[0594]
接收视频数据流，该视频数据流包括有效载荷部分的一部分，视频的图片被码处理到该有效载荷部分中，其中，有效载荷部分的该部分对应于对所述有效载荷部分中的、参考位于所述图片的预定子区域之外的图片区域的那些部分的排除，其中，所述视频的图片以如下方式被码处理到所述有效载荷部分中：
[0595]
在不排除的情况下使用所述视频数据流的参数集部分中的码处理参数设定作为
参数，和/或
[0596]
在不排除的情况下与由所述视频数据流的补充增强消息所指示的补充增强信息相匹配，
[0597]
通过如下方式修改所述视频数据流：
[0598]
改变(78)所述有效载荷部分中的位置指示(32)，以便以相对于所述预定子区域的周边而不是所述图片的周边度量的方式指示位置，以及
[0599]
调整所述参数集部分中的码处理参数设定，和/或调整所述补充增强信息消息，使得在所述视频数据流具有的有效载荷部分的该部分中，以如下方式对显示所述图片的所述预定子区域的特定于子区域的图片进行编码：
[0600]
使用所述码处理参数设定作为参数，和/或
[0601]
与由调整的补充增强信息补充增强消息指示的补充增强信息补充增强信息相匹配。
[0602]
实施方式72.一种数字存储介质，其上存储有根据实施方式24或25或59所述的数据流。
[0603]
实施方式73.一种具有程序代码的计算机程序，所述程序代码用于当在计算机上运行时执行根据实施方式66或67或68或69或70或71所述的方法。
[0604]
实施方式74.一种视频数据流，在所述视频数据流中使用时间预测编码有图片(302)序列，使得：
[0605]
在将一个或多个图片(图片a)的第一集合编码到所述视频数据流中时，至少在第一图片子区域(a)内中断时间预测，以便形成一个或多个第一随机访问点的集合，以及
[0606]
在将一个或多个图片(图片b)的第二集合编码到所述视频数据流中时，在与所述第一图片子区域(a)不同的第二图片子区域(b)内中断时间预测，以便形成一个或多个第二随机访问点的集合。
[0607]
实施方式75.根据实施方式74所述的视频数据流，其中，所述第一子区域和所述第二子区域彼此邻接而没有重叠。
[0608]
实施方式76.根据实施方式75所述的视频数据流，其中，所述第一子区域和所述第二子区域形成所述图片(302)序列的无重叠和无间隙的划分，在所述视频数据流中用信号通知(319)所述划分。
[0609]
实施方式77.根据实施方式76所述的视频数据流，其中，在将所述一个或多个图片(图片a)的第一集合编码到所述视频数据流中时，完全中断所述图片的区域上的时间预测，以便形成一个或多个图片方式的随机访问点的集合。
[0610]
实施方式78.根据实施方式74所述的视频数据流，其中，
[0611]
在将所述一个或多个图片(图片b)的第二集合编码到所述视频数据流中时，在所述第二图片子区域(b)内中断对所述第二图片子区域外部的空间部分的空间码处理依赖性。
[0612]
实施方式79.根据实施方式74所述的视频数据流，还包括：
[0613]
讯号(318)，指示所述一个或多个图片(图片b)的第二集合。
[0614]
实施方式80.根据实施方式79所述的视频数据流，其中，所述讯号(318)至少部分地通过所述视频数据流的图片类型讯号(320)来指示所述一个或多个图片(图片b)的第二
集合，所述图片类型讯号(320)在图片方式的随机访问点和特定于子区域的随机访问点之间进行区分。
[0615]
实施方式81.根据实施方式80所述的视频数据流，其中，所述讯号(318)通过所述视频数据流的所述图片类型讯号(320)来指示所述一个或多个图片(图片b)的第二集合，所述图片类型讯号(320)指示所述一个或多个图片(图片b)的第二集合是特定于子区域的随机访问点，并进一步将所述一个或多个图片(图片b)的第二集合与所述第二图片子区域(b)相关联。
[0616]
实施方式82.根据实施方式80所述的视频数据流，其中，所述视频数据流的所述图片类型讯号(320)包含在所述视频数据流的nal单元头部中。
[0617]
实施方式83.根据实施方式74所述的视频数据流，还包括：另一讯号(321)，用于针对所述图片序列指示在将所述图片(302)编码到所述视频数据流中时，所述第二图片子区域(b)的时间预测是被限制为不伸出到位于所述第二图片子区域之外的所述图片(302)的图片区域，还是被允许所述伸出。
[0618]
实施方式84.根据实施方式74所述的视频数据流，其中，在将位于所述一个或多个图片的第二集合中的一个图片(图片b)与在解码顺序方面的后续的所述一个或多个图片的第一集合中的一个图片(图片a)之间的图片(317)编码到所述视频数据流中时，对所述第二图片子区域(b)内的时间预测进行限制，从而不参考位于所述第二图片子区域(b)外部的参考图片的图片区域(a)。
[0619]
实施方式85.根据实施方式74所述的视频数据流，其中在将位于所述一个或多个图片的第二集合中的一个图片(图片b)与在解码顺序方面的后续的所述一个或多个图片的第一集合中的一个图片(图片a)之间的图片(317)编码到所述视频数据流中时，对所述第二图片子区域(b)内的时间预测进行限制，从而不参考在解码顺序中相对于所述一个或多个图片的第二集合中的所述一个图片(图片b)位于上游的参考图片。
[0620]
实施方式86.根据实施方式84所述的视频数据流，其中，在将位于所述一个或多个图片的第二集合中的一个图片(图片b)与在解码顺序方面的后续的所述一个或多个图片的第一集合中的一个图片(图片a)之间的图片(317)编码到所述视频数据流中时，在位于所述第二图片子区域(b)外部的图片区域(a)内，对时间预测进行限制，从而不对参考图片的所述第二图片子区域(b)进行参考，所述参考图片分别属于以下中的任一项：位于所述一个或多个图片的第二集合中的所述一个图片(图片b)与在解码顺序方面的后续的所述一个或多个图片的第一集合中的一个图片(图片a)之间的所述图片(317)；以及所述一个或多个图片的第二集合中的所述一个图片(图片b)。
[0621]
实施方式87.根据实施方式84所述的视频数据流，其中，
[0622]
在将位于所述一个或多个图片的第二集合中的所述一个图片(图片b)与在解码顺序方面的后续的所述一个或多个图片的第一集合中的一个图片(图片a)之间的图片(317)编码到所述视频数据流中时，在位于所述第二图片子区域(b)外部的图片区域(a)内使用时间预测，所述时间预测至少部分地对参考图片的所述第二图片子区域(b)进行参考，所述参考图片分别属于以下中的任一项：位于所述一个或多个图片的第二集合中的所述一个图片(图片b)与在解码顺序方面的后续的所述一个或多个图片的第一集合中的一个图片(图片a)之间的所述图片(317)；以及所述一个或多个图片的第二集合中的所述一个图片(图片
b)，以及
[0623]
在将位于在解码顺序方面的后续的所述一个或多个图片的第一集合中的所述一个图片(图片a)之后的图片(317’)编码到所述视频数据流中时，在位于所述第二图片子区域(b)外部的图片区域(a)内，对时间预测进行限制，从而不参考在解码顺序方面的在先参考图片的所述第二图片子区域(b)，所述在先参考图片属于以下中的任一项：所述后续的所述一个或多个图片的第一集合中的所述一个图片(图片a)；以及位于所述后续的所述一个或多个图片的第一集合中的所述一个图片(图片a)之后的所述图片(317’)。
[0624]
实施方式88.一种编码器，用于使用时间预测将图片序列编码到视频数据流，所述编码器被配置为：
[0625]
在将一个或多个图片的第一集合编码到所述视频数据流中时，至少在第一图片子区域内中断时间预测，以便形成一个或多个第一随机访问点的集合，以及
[0626]
在将一个或多个图片的第二集合编码到所述视频数据流中时，在与所述第一图片子区域不同的第二图片子区域内中断时间预测，以便形成一个或多个第二随机访问点的集合。
[0627]
实施方式89.根据实施方式88所述的编码器，其中，所述第一子区域和所述第二子区域彼此邻接而没有重叠。
[0628]
实施方式90.根据实施方式89所述的编码器，其中，所述第一子区域和所述第二子区域形成所述图片(302)序列的无重叠和无间隙的划分，以及所述编码器被配置为在所述视频数据流中提供讯号(319)，所述讯号(319)是所述无重叠和无间隙的划分的讯号。
[0629]
实施方式91.根据实施方式88所述的编码器，被配置为在将所述一个或多个图片的第一集合编码到所述视频数据流中时，完全中断所述图片的区域上的时间预测，以便形成图片方式的随机访问点的集合。
[0630]
实施方式92.根据实施方式88所述的编码器，被配置为在将所述一个或多个图片的第二集合编码到所述视频数据流中时，在所述第二图片子区域(b)内中断对所述第二图片子区域外部的空间部分的空间码处理依赖性。
[0631]
实施方式93.根据实施方式88所述的编码器，还被配置为将指示所述一个或多个图片的第二集合的讯号插入到所述视频数据流中。
[0632]
实施方式94.根据实施方式88所述的编码器，被配置为将另一讯号(321)插入到所述视频数据流中，所述另一讯号(321)用于针对所述图片序列指示在将所述图片(302)编码到所述视频数据流中时，所述第二图片子区域(b)的时间预测是被限制为不伸出到位于所述第二图片子区域之外的所述图片(302)的图片区域，还是被允许所述伸出。
[0633]
实施方式95.根据实施方式88所述的编码器，其中，所述编码器被配置为：
[0634]
在将位于所述一个或多个图片的第二集合中的一个图片与在解码顺序方面的后续的所述一个或多个图片的第一集合中的一个图片之间的图片编码到所述视频数据流中时，对所述第二图片子区域内的时间预测进行限制，从而不参考位于所述第二图片子区域外部的参考图片的图片区域。
[0635]
实施方式96.根据实施方式88所述的编码器，其中，所述编码器被配置为：在将位于所述一个或多个图片的第二集合中的一个图片(图片b)与在解码顺序方面的后续的所述一个或多个图片的第一集合中的一个图片(图片a)之间的图片(317)编码到所述视频数据
流中时，对所述第二图片子区域(b)内的时间预测进行限制，从而不参考在解码顺序中相对于所述一个或多个图片的第二集合中的所述一个图片(图片b)位于上游的参考图片。
[0636]
实施方式97.根据实施方式95所述的编码器，其中，所述编码器被配置为：在将位于所述一个或多个图片的第二集合中的一个图片(图片b)与在解码顺序方面的后续的所述一个或多个图片的第一集合中的一个图片(图片a)之间的图片(317)编码到所述视频数据流中时，在位于所述第二图片子区域(b)外部的图片区域(a)内，对时间预测进行限制，从而不对参考图片的所述第二图片子区域(b)进行参考，所述参考图片分别属于以下中的任一项：位于所述一个或多个图片的第二集合中的所述一个图片(图片b)与在解码顺序方面的后续的所述一个或多个图片的第一集合中的一个图片(图片a)之间的所述图片(317)；以及所述一个或多个图片的第二集合中的所述一个图片(图片b)。
[0637]
实施方式98.根据实施方式95所述的编码器，其中，所述编码器被配置为：
[0638]
在将位于所述一个或多个图片的第二集合中的所述一个图片(图片b)与在解码顺序方面的后续的所述一个或多个图片的第一集合中的一个图片(图片a)之间的图片(317)编码到所述视频数据流中时，在位于所述第二图片子区域(b)外部的图片区域(a)内使用时间预测，所述时间预测至少部分地对参考图片的所述第二图片子区域(b)进行参考，所述参考图片分别属于以下中的任一项：位于所述一个或多个图片的第二集合中的所述一个图片(图片b)与在解码顺序方面的后续的所述一个或多个图片的第一集合中的一个图片(图片a)之间的所述图片(317)；以及所述一个或多个图片的第二集合中的所述一个图片(图片b)，以及
[0639]
在将位于在解码顺序方面的后续的所述一个或多个图片的第一集合中的所述一个图片(图片a)之后的图片编码到所述视频数据流中时，在位于所述第二图片子区域(b)外部的图片区域(a)内，对时间预测进行限制，从而不参考在解码顺序方面的在先参考图片的所述第二图片子区域(b)，所述在先参考图片属于以下中的任一项：所述后续的所述一个或多个图片的第一集合中的所述一个图片(图片a)；以及位于所述后续的所述一个或多个图片的第一集合中的所述一个图片(图片a)之后的所述图片。
[0640]
实施方式99.一种解码器，用于使用时间预测从视频数据流中解码图片序列，所述解码器使用以下随机访问点的集合支持随机访问：
[0641]
一个或多个第一随机访问点的集合，位于一个或多个图片的第一集合处，在将所述一个或多个图片的第一集合编码到所述视频数据流中时，至少在第一图片子区域内中断时间预测，以及
[0642]
一个或多个第二随机访问点的集合，位于一个或多个图片的第二集合处，在将所述一个或多个图片的第二集合编码到所述视频数据流中时，在与所述第一图片子区域不同的第二图片子区域内中断时间预测。
[0643]
实施方式100.根据实施方式99所述的解码器，被配置为：如果当前图片是所述一个或多个图片的第二集合中的一个图片，
[0644]
从当前图片起重新开始所述图片序列的解码和/或输出，但是将所述图片序列的解码和/或输出中的至少一个预先限制为所述第二图片子区域。
[0645]
实施方式101.根据实施方式100所述的解码器，被配置为在遇到所述第一随机访问点的集合中的一个第一随机访问点时停止所述预先限制。
[0646]
实施方式102.根据实施方式99述的解码器，被配置为：如果当前图片是所述一个或多个图片的第一集合或第二集合中的一个图片，
[0647]
从当前图片起重新开始解码所述图片序列，但是限制所述图片序列的输出，直到在重新开始解码之后遇到一个或多个图片的每个集合的一张图片为止，其中，对于一个或多个图片的每个集合，在将一个或多个图片的相应集合的每个图片编码到所述视频数据流中时，在特定于所述一个或多个图片的相应集合的图片子区域内中断时间预测，所述一个或多个图片的集合的子区域彼此不同并且合在一起完整地覆盖所述图片序列的图片区域。
[0648]
实施方式103.根据实施方式99所述的解码器，其中，所述第一子区域和所述第二子区域彼此邻接而没有重叠，以及所述编码器被配置为：如果当前的随机访问点是所述第二随机访问点之一并且下一随机访问点是第一访问点之一，则在当前和下一随机访问点之间将解码限制为所述第二图片子区域，并且将解码从所述第二图片子区域扩展为还包括所述第一图片子区域。
[0649]
实施方式104.根据实施方式99所述的解码器，其中，所述第一子区域和所述第二子区域形成所述图片(302)序列的无重叠和无间隙的划分，所述解码器被配置为从所述视频数据流中的讯号(319)导出所述划分。
[0650]
实施方式105.根据实施方式99所述的解码器，被配置为将所述一个或多个图片的第一集合视为一个或多个图片方式的随机访问点的集合。
[0651]
实施方式106.根据实施方式99所述的解码器，被配置为解码根据实施方式74所述的数据流。
[0652]
实施方式107.一种被配置为接收根据实施方式74所述的视频数据流的网络设备，在所述视频数据流中使用时间预测编码有图片(302)序列，其中，所述网络设备被配置为缩减所述数据流以获得缩减视频数据流，在所述缩减视频数据流中编码有显示所述第二图片子区域的特定于子区域的图片(326)，所述缩减是通过以下方式进行的：移除编码有位于所述第二图片子区域外部的所述图片的图片区域的部分视频数据流，并且将所述视频数据流内的信息(318)用图片类型信息(320)替换，所述视频数据流内的信息(318)将所述一个或多个图片的第二集合指示为特定于子区域的随机访问点，所述图片类型信息(320)将所述一个或多个图片的第二集合指示为图片方式的随机访问图片。
[0653]
实施方式108.一种方法，用于使用时间预测将图片序列编码到视频数据流中，所述方法包括：
[0654]
在将一个或多个图片的第一集合编码到所述视频数据流中时，至少在第一图片子区域内中断时间预测，以便形成一个或多个第一随机访问点的集合，以及
[0655]
在将一个或多个图片的第二集合编码到所述视频数据流中时，在与所述第一图片子区域不同的第二图片子区域内中断时间预测，以便形成一个或多个第二随机访问点的集合。
[0656]
实施方式109.一种方法，用于使用时间预测从视频数据流中解码图片序列，所述方法包括使用以下随机访问点的集合对所述视频数据流进行随机访问：
[0657]
一个或多个第一随机访问点的集合，位于一个或多个图片的第一集合处，在将所述一个或多个图片的第一集合编码到所述视频数据流中时，至少在第一图片子区域内中断时间预测，以及
[0658]
一个或多个第二随机访问点的集合，位于一个或多个图片的第二集合处，在将所述一个或多个图片的第二集合编码到所述视频数据流中时，在与所述第一图片子区域不同的第二图片子区域内中断时间预测。
[0659]
实施方式110.一种方法，包括：
[0660]
接收根据实施方式74所述的视频数据流，在所述视频数据流中使用时间预测编码有图片(302)序列，
[0661]
缩减所述数据流以获得缩减视频数据流，在所述缩减视频数据流中编码有显示所述第二图片子区域的特定于子区域的图片(326)，所述缩减是通过以下方式进行的：移除编码有位于所述第二图片子区域外部的所述图片的图片区域的部分视频数据流，并且将所述视频数据流内的信息(318)用图片类型信息(320)替换，所述视频数据流内的信息(318)将所述一个或多个图片的第二集合指示为特定于子区域的随机访问点，所述图片类型信息(320)将所述一个或多个图片的第二集合指示为图片方式的随机访问图片。
[0662]
实施方式111.一种数字存储介质，其上存储有根据实施方式74所述的数据流。
[0663]
实施方式112.一种具有程序代码的计算机程序，所述程序代码用于当在计算机上运行时执行根据实施方式108或109或110所述的方法。
[0664]
关于以上描述，应注意，所示的任何编码器、解码器或网络设备可以用硬件、固件或软件来体现或实现。当以硬件实现时，相应的编码器、解码器或网络设备可以例如以专用集成电路的形式实现。如果以固件实现，则相应的设备可以实现为现场可编程阵列，并且如果以软件实现，则相应的设备可以是被编程为执行所描述的功能的处理器或计算机。
[0665]
虽然已经在装置的上下文中描述了一些方面，但是将清楚的是，这些方面还表示对应方法的描述，其中，块或设备对应于方法步骤或方法步骤的特征。类似地，在方法步骤的上下文中描述的方面也表示对对应块或者对应装置的项或特征的描述。可以由(或使用)硬件装置(诸如，微处理器、可编程计算机或电子电路)来执行一些或全部方法步骤。在一些实施例中，可以由这种装置来执行最重要方法步骤中的一个或多个方法步骤。
[0666]
本发明的编码数据流或信号可以存储在数字存储介质上，或者可以在诸如无线传输介质或有线传输介质(例如，互联网)等的传输介质上传输。已经描述了将某些信息插入或编码到数据流中，同时将该描述理解为以下公开：所得到的数据流包括相应信息、标志的语法元素等。
[0667]
取决于某些实现要求，可以在硬件中或在软件中实现本发明的实施例。可以使用其上存储有电可读控制信号的数字存储介质(例如，软盘、dvd、蓝光、cd、rom、prom、eprom、eeprom或闪存)来执行实现，该电可读控制信号与可编程计算机系统协作(或者能够与之协作)从而执行相应方法。因此，数字存储介质可以是计算机可读的。
[0668]
根据本发明的一些实施例包括具有电可读控制信号的数据载体，该电可读控制信号能够与可编程计算机系统协作从而执行本文所述的方法之一。
[0669]
通常，本发明的实施例可以实现为具有程序代码的计算机程序产品，程序代码可操作以在计算机程序产品在计算机上运行时执行方法之一。程序代码可以例如存储在机器可读载体上。
[0670]
其他实施例包括存储在机器可读载体上的计算机程序，该计算机程序用于执行本文所述的方法之一。
[0671]
换言之，本发明方法的实施例因此是具有程序代码的计算机程序，该程序代码用于在计算机程序在计算机上运行时执行本文所述的方法之一。
[0672]
因此，本发明方法的另一实施例是其上记录有计算机程序的数据载体(或者数字存储介质或计算机可读介质)，该计算机程序用于执行本文所述的方法之一。数据载体、数字存储介质或记录介质通常是有形的和/或非瞬时性的。
[0673]
因此，本发明方法的另一实施例是表示计算机程序的数据流或信号序列，所述计算机程序用于执行本文所述的方法之一。数据流或信号序列可以例如被配置为经由数据通信连接(例如，经由互联网)传送。
[0674]
另一实施例包括处理装置，例如，计算机或可编程逻辑器件，所述处理装置被配置为或适于执行本文所述的方法之一。
[0675]
另一实施例包括其上安装有计算机程序的计算机，该计算机程序用于执行本文所述的方法之。
[0676]
根据本发明的另一实施例包括被配置为向接收机(例如，以电方式或以光学方式)传输计算机程序的装置或系统，该计算机程序用于执行本文所述的方法之一。接收机可以是例如计算机、移动设备、存储设备等。装置或系统可以例如包括用于向接收机传送计算机程序的文件服务器。
[0677]
在一些实施例中，可编程逻辑器件(例如，现场可编程门阵列)可以用于执行本文所述的方法的功能中的一些或全部。在一些实施例中，现场可编程门阵列可以与微处理器协作以执行本文所述的方法之一。通常，方法优选地由任意硬件装置来执行。
[0678]
本文描述的装置可以使用硬件装置、或者使用计算机、或者使用硬件装置和计算机的组合来实现。
[0679]
本文描述的装置或本文描述的装置的任何组件可以至少部分地在硬件和/或软件中实现。
[0680]
本文描述的方法可以使用硬件装置、或者使用计算机、或者使用硬件装置和计算机的组合来执行。
[0681]
本文描述的方法或本文描述的装置的任何组件可以至少部分地由硬件和/或由软件执行。
[0682]
上述实施例对于本发明的原理仅是说明性的。应当理解的是：本文所述的布置和细节的修改和变形对于本领域其他技术人员将是显而易见的。因此，旨在仅由所附专利权利要求的范围来限制而不是由借助对本文实施例的描述和解释所给出的具体细节来限制。