多视图解码器的制作方法

本技术涉及允许有效多视图/层编码(例如，多视图图片/视频编码)的编码概念。

背景技术：

1、在本领域中众所周知可伸缩编码概念。在视频编码中，例如，h.264允许基层编码视频数据流伴有额外增强层数据，以便在不同的方面提高基层质量视频的重建质量，例如，空间分辨率、信噪比(snr)等和/或最后但同样重要的是，视图的数量。最近定案的hevc标准也由svc/mvc框架(svc＝可扩展视频编码，mvc＝多视图编码)扩展。hevc与其前面的h.264在很多方面不同，例如，适合于并行解码/编码以及低延迟传输。就并行解码/编码而言，hevc支持wpp(波前并行处理)编码/解码以及瓦片并行处理概念。根据wpp概念，个别图片以逐行方式分成子流。在每个子流内的编码次序从左指向右。子流具有的定义在其中的解码次序，从顶部子流引向底部子流。使用概率适配(自适应)进行子流的熵编码。个别地或者基于用于熵编码诸如分别在第二ctb(编码树块)的端部上的从前面子流的左手边缘的紧接的前面子流直到某个位置的概率的初步适配状态，对各个子流进行概率初始化。不需要限制空间预测。即，空间预测可以横跨介于紧接的后面的子流之间的边界。通过这种方式，这些子流可以与形成波前的当前编码/解码的位置并行地编码/解码，该波前通过从左下到右上、从左到右的瓦片方式运行。根据瓦片概念，图片分成瓦片，并且为了给出(render)这些瓦片的编码/解码，禁止在瓦片边界之上的并行处理、空间预测的可能主题。仅仅允许在瓦片边界之上的回路滤波。为了支持低延迟处理，薄片概念已被扩展：允许薄片可切换为重新初始化熵概率，采用在处理前一个子流期间保存的熵概率，即，位于当前薄片开始所属的子流前面的子流，并且采用连续更新的熵概率，直到直接紧接的前面的薄片结束。通过这种措施，使wpp和瓦片概念更适合于低延迟处理。

2、然而，更可取的是具有考虑中的概念，这进一步提高了多视图/层编码概念。

技术实现思路

1、因此，本发明的目标在于，提供一种提高多视图/层编码概念的概念。

2、由未决的独立权利要求的主题实现这个目标。

3、本技术的第一方面涉及多视图编码。尤其地，作为第一方面的基础的理念如下。一方面，视图间预测帮助利用在捕捉某个场景的多个视图之间的冗余，从而提高编码效率。另一方面，视图间预测防止多个视图独立于彼此可解码/可编码，即，并行可解码/可编码，以便例如，利用多核处理器。更精确地说，视图间预测使第二视图的部分依赖于第一视图的相应参考部分，并且在第一和第二视图的部分之间的这个关系需要在并行解码/编码第一和第二视图时满足某个视图间解码/编码偏移/延迟。作为第一方面的基础的理念在于，这个视图间编码偏移可以大幅减少，如果通过在第一/参考视图所分成的空间段的空间段边界上进行视图间预测的方式，改变编码和/或解码，那么仅仅通过微小的方式降低编码效率。可以进行变化，以便从第一视图到第二视图的视图间预测不组合第一视图的不同空间段的任何信息，但是仅仅从起源于第一视图的一个空间段的信息中分别预测第二视图及其语法元素。根据一个实施方式，甚至更严格地进行变化，以便视图间预测甚至不穿过空间段边界，即，所述一个空间段边界是包括共同定位的位置或共同定位的部分的空间段。在视图间预测中考虑组合起源于第一视图的两个或多个空间段的信息的结果时，由在段边界上的视图间的变化产生的优点变得清晰。在这种情况下，在视图间预测中涉及这种组合的第二视图的任何部分的编码/解码必须推迟，直到第一视图的所有空间段的编码/解码由层间预测组合。然而，在第一视图的空间段边界上的视图间预测的变化解决了这个问题，并且第一视图的一个空间段一解码/编码，第二视图的每个部分就容易可编码/可解码。然而，编码效率仅仅小幅降低，这是因为依然大体上允许层间预测，该限制仅仅适用于第一视图的空间段边界。根据一个实施方式，编码器注意在第一视图的空间段的空间段边界上的层间预测的变化，以便避免第一视图的两个或多个空间段具有上述组合，并且将这个避免/情况信令给解码器，这反过来将信令用作一种保证，以便例如，减少响应于信令的视图间解码延迟。根据另一个实施方式，解码器还改变由在数据流内的信令触发的层间预测的方式，以便由于就这些空间段边界而言，控制层间预测所需要的边信息的量可以减少，所以在形成数据流时，可以利用在第一视图的空间段的空间段边界上的层间预测参数设置的限制。

4、本技术的第二方面涉及多层视频编码以及以下情况：通常，多个层的图片所编码成的nal单元收集到访问单元内，以便与一个时刻相关的nal单元形成一个访问单元，与和相应的nal单元相关的层无关，或者以便对于不同的每对时刻和层，具有一个访问单元，然而，与所选择的可能性无关，单独处理每个时刻到层对的nal单元，将其排列成不交错。即，在通过另一对时刻和层的nal单元继续之前，发出属于某个时刻和层的nal单元。不准许交错。然而，这阻止了进一步减少端对端延迟，这是因为防止编码器在属于基层的nal单元之间发出属于相关层的nal单元，然而，由层间并行处理造成这种情况。本技术的第二方面放弃在传输的尾流内的nal单元的严格的依次不交错的设置，并且为此，重新使用限定访问单元的第一可能性，收集一个时刻的所有nal单元：在一个访问单元内收集一个时刻的所有nal单元，并且访问单元依然通过未交错的方式设置在传输的位流内。然而，允许一个访问单元的nal单元交错，以便一个层的nal单元散置有另一个层的nal单元。属于在一个访问单元内的一个层的nal单元的运行形成解码单元。准许交错，以便对于在一个访问单元内的每个nal单元，层间预测需要的信息包含在该访问单元内的任何前面的nal单元内。编码器可以在位流内信令是否应用交错，并且反过来，解码器可以(例如)使用多个缓冲器，以便将每个访问单元的不同层的交错的nal单元重新分类，或者根据信令，在不交错的情况下，使用仅仅一个缓冲器。不产生编码效率损失，然而，端对端延迟减少。

5、本技术的第三方面涉及每个位流数据包(例如，每个nal单元)的层索引的信令。根据本技术的第三方面，发明人认识到，应用主要属于两种类型中的一种。正常应用需要中等数量的层，因此，在每个数据包内没有层id字段，该数据包被配置为完全覆盖总体的中等数量的层。仅仅很少发生反过来需要过量的层的更复杂的应用。因此，根据本技术的第三方面，使用在多层视频信号内的层识别扩展机制信令，以便信令在每个数据包内的层识别语法元素完全或仅仅部分与在多层数据流内的层识别扩展一起是否确定相应数据包的层或者完全由层识别扩展代替/支配。通过这种措施，仅仅在很少发生的应用中，需要层识别扩展，并且该层识别扩展消耗比特率，而在大部分情况下，层相关联的有效信令可行。

6、本技术的第四方面涉及在不同程度的信息量之间的层间预测依赖性的信令，将视频资料编码成多层视频数据流。根据第四方面，第一语法结构限定依赖性维度的数量以及每个依赖性维度i的排序等级的最大ni，并且双射映射在依赖性空间内的至少子集的可用点中的相应一个上映射每个等级，以及对于依赖性维度i，第二语法结构。后者限定在层之间的依赖性。每个语法结构描述在相应的第二语法结构所属的依赖性维度i的ni排序等级之中的依赖性。因此，限定依赖性的努力仅仅随着依赖性维度的数量线性增大，而由这个信令施加的对在单独层之间的相互依赖性的限制较低。

7、自然，所有以上方面可以每两个、每三个或者全部组合。