高效可伸缩编码概念的制作方法

本技术涉及诸如可伸缩视频编码等可伸缩编码概念。

背景技术：

1、在本领域中，已知可伸缩编码概念。例如，在视频编码中，h.264涉及svc扩展(可伸缩视频编码)，从而允许基础层编码视频数据流附加有额外的增强层数据，以使得从诸如空间分辨率、信噪比(snr)等不同的方面提升基础层视频质量的重构品质。通过svc配置文件也可扩展最近定稿的hevc标准。hevc在许多方面不同与其前期h.264，诸如，用于并行解码/编码的适用性和低延迟传输等。至于涉及的并行编码/解码，hevc支持wpp(波前并行处理)编码/解码以及片(tile)并行处理概念。根据wpp概念，以行式方式将各个图片分割成子流。自左至右指导每个子流内的编码顺序。子流具有其中限定的解码顺序，即，从顶部子流引导至底部子流。使用概率自适应性执行子流的熵编码。针对各个子流独立完成概率初始化，或者基于熵编码时使用的概率的初始自适配状态，使紧随的前一子流在第二ctb(编码树块)结束时从前一子流的左手边缘相应地到达特定位置。空间预测不需要受限制。即，空间预测可跨越中间连续子流之间的边界。通过这种方式，可将子流与形成波前的当前编码/解码的位置并行编码/解码，波前通过自左下方至右上方、自左至右的倾斜方式前行。根据片概念，将图片分段成片并且为了使这些片的编码/解码可能经过并行处理，抑制跨边界线的空间预测。仅可允许跨片边界线的环内滤波。为了支持低延迟处理，切片概念被延伸为：允许切片可切换，以将熵概率重新初始化，采用在处理之前子流过程中保存的熵概率，即，当前切片开始属于的子流之前的子流，并且采用连续被更新的熵概率，直至紧随的前一切片结束。通过这种措施，使得wpp和片概念更适用于低延迟处理。

2、然而，更有利于具有进一步改善可伸缩编码概率的正在讨论的概念。

3、因此，本发明的目标是提供进一步改善可伸缩编码概念的概念。

4、通过未决独立权利要求的主题实现本目标。

技术实现思路

1、本技术的第一方面涉及结合并行处理概念的可伸缩视频编码。诸如wpp和片区段等并行处理概念允许以将图片细分而成的空间区段(例如以子流、片、或者切片的形式)将视频的图片并行解码。正如空间帧内图片预测，该层间预测通过层间预测限制彼此相互依赖的解码层的并行程度。更精确地，空间帧内层预测限制单层的图片解码时的并行程度，通过不同方式解决这种问题。例如，当使用片作为空间区段时，空间帧内层预测受限于不能跨越边界线。在wpp子流的情况下，通过交错方式执行其并行处理以产生适当的倾斜处理波阵面。在层间预测的情况下，根据参考层的共置部分执行依赖层的解码。因此，依赖层的空间区段的解码可最先开始，此时，已经将参考层的共置部分处理/解码。如同不同视图作为不同层的层间预测的情况，或者归因于自低层至高层的上采样，在允许“运动补偿”的情况下，放大了“共置部分”的区域。即，易于使使用层间预测的可伸缩解码与并行解码的视频解码器从关于这些相关依赖层的短期语法元素推导相互依赖层的并行处理的并行程度，短期语法元素限定将这些相互依赖层的图片细分成其空间区段。然而，稳定地完成该操作是比较繁琐并且在计算上比较复杂。除此之外，当执行该操作时，视频解码器不能够适当地调度并行运行的解码线程以将多层视频数据流解码。因此，根据本发明的第一方面，通过引入长期语法元素结构改善了多层视频数据流的相互依赖层的并行解码，当长期语法元素结构假设特定值时，保证了视频解码器在比短期语法元素的时间间隔更大的预定时间段内，将依赖层的图片细分成使得第二层的图片的空间区段之间的边界与第一层的空间区段的每个边界重叠。通过这种措施，视频解码器能够依赖于多层视频数据流被适当地编码的事实，以使得将相互依赖层的图片细分成空间区段，而不疏忽地降低这些相互依赖层之间可行的并行程度。更确切地，在预定时间段内，通过开发不同层中的空间区段的边界通过信号方式彼此重叠的约束，解码器可提前将空间区段的分布调度到视频解码器的并行处理线程中。尽管如此，长期语法元素结构允许关闭该保证，从而允许在其他应用情景或者使高端视频解码器基于短期仅根据短期语法元素执行并行处理调度，即，不开发关于相互依赖层的空间区段的边界之间的相对定位的任何保证。出于决定机会主义解码之目的还可使用长期语法元素。

2、本技术的另一方面关于可伸缩性编码，根据其相互依赖层的图片结合相互依赖层的并行处理利用自基础层至增强层的上采样而经历层间预测。具体地，该方面关于用于执行自基础层至增强层的上采样的内插法。自然，该内插法可使基础层图片的相邻分区变得彼此依赖。即，内插法使上采样的基础层参考图片的各部分的外圆周处的内插结果与基础层图片的共置分区内的两个像素/像元以及相邻分区的像素/像元相互依赖。换言之，在被“涂黑”或者拓宽的增强层图片中预测到用作共置部分的层间预测的参考的基础层图片的区域。顺便提及，通过层间预测的内插法而导致的相互依赖性对相互依赖层的并行处理时可实现的并行程度产生不利影响。例如，根据本发明的第二方面，引入了语法元素，语法元素通知解码器：沿着基础层的分区修改内插以不混合基础层图片的相邻分区的像素/像元，基础层图片的分区及其上采样型式取决于增强层图片的空间区段或者基础层与增强层的空间区段。通过引入该语法元素，编码器能够在两种模式之间切换：如果内插法受限于使基础层图片的部分自包含，即，启动限制，则随着沿着基础层图片的分区边缘的内插质量轻微地降低，在相互依赖层的并行解码时将最大程度地增加所获得的并行程度，然而，在不限制内插法的情况下，并行程度降低且分区边缘处的内插质量增加。

3、本技术的第三方面关于具有相互依赖层的并行解码的可伸缩视频编码并且通过引起长期语法元素结构试图减轻解码器执行并行处理调度的负担，即，将空间区段分布到并行处理线程中，长期语法元素结构允许解码器在比该时间间隔更大的预定时间段内确定层间偏移量或者层间延迟，在该时间间隔内，短期语法元素发出相互依赖层的图片的空间区段的大小和定位、以及这些图片的空间采样分辨率的信号。通过引入发出层间偏移量的信令的上期语法元素，视频编码器能够在两种模式之间切换：根据第一模式，编码器向解码器保证了与相互依赖层的解码之间的特定并行程度对应的特定的层间偏移量并且在该预定时间段内相应地设置短期语法元素，以使得实际层间偏移量等于保证的一或者甚至更低。根据另一模式，不向解码器提供该保证，因此，编码器无需设置短期语法元素以满足另一白哦准，诸如，可选地，将短期语法元素适配成该预定时间段内的视频内容。因此，当服从整个预定时间段内的该计数时，在时间上共置对其的增强层图片的第一空间区段开始不面临任何冲突时，至少相对于增强层图片的第一空间区段该预定时间段内的解码，在数据流中明确发出信号的层间偏移量可以是不得不被解码的最小化的基础层空间区段的计数。

4、本技术的第四方面关于可伸缩的视频编码和多层视频数据流所属的各个nal单元的各层的信令、以及可伸缩空间内的这些层的定位、以及跨可伸缩空间的可伸缩维度的含义。为了易于通过涉及传输多层视频数据流的中间网络实体执行任务，该信息对于这些中间网络实体易于访问并且能够被容易地管理。本技术的第四方面基于发明人的法线，根据本发明，典型的应用情景证明类型指示符字段的支出，类型指示符字段概念nal单元报头内的与各个层相关联的层指示符字段的方式，类型指示符字段被解译为：如果类型指示符字段具有第一状态，则常见信息nal单元中的映射信息将层指示符字段的可能值映射至操作点，并且使用相应的层指示符字段和映射信息将层nal单元与操作点相关联。同样，可从不同程度上适配各层与可伸缩的星座之间的映射并且允许实现多数可伸缩空间，然而，使管理总支出的缺点增加。如果类型指示符字段具有第二状态，则将层指示符字段分割成一个以上部分，并且通过使用这些部分的值作为可伸缩空间内的矢量的坐标而定位与相应nal单元相关联的操作点。通过这种措施，各层与可伸缩星座之间的映射允许实现更少数目的可伸缩空间，然而，具有使网络实体的管理总支出减少的优点。在两种情况下，层指示符字段可以相同，与应用请求无关，但是，层指示符字段通过可伸缩空间引导层的nal单元的方式可被适配于当前应用及其具体细节。自适应的优点过度补偿了类型指示符字段的额外支出的必要性。

5、本技术的第五方面关于多层视频编码，即，可伸缩的视频编码，从而允许不同层使用不同的编解码器/标准。允许连续层使用不同的编解码器/标准的可能性能够支持已经存在的视频环境的延迟扩展，从而解决通过进一步的增强层而随后扩展的多层视频数据流并且鉴于此使用新的和潜在地更佳编解码器/标准。不能够理解一些增强层的编解码器/标准的网络汇集仍能够处理低层并且通过传输层解码器回馈多编解码的解码器，对于多层视频数据流的每个nal单元，传输层解码器识别与其相关联的相同编解码器并且相应地将多层视频数据流的nal单元移交至多标准多层解码器

6、本技术的第六方面涉及多层视频编码，多层视频编码将基础层的图片和增强层的图片均细分成块的阵列。在这种情况下，通过将语法元素结构插入到多层视频数据流中可有效地发出层间偏移量的信号，语法元素结构指示用于将以基础层块为单位的基础层和增强层的图片并行解码的层间偏移量。即，本技术的第六方面基于明确传输语法元素结构的发现，语法元素结构指示以基础层块的为单位的基础层与增强层之间的层间偏移量通过镜射方式使仅被传输的数据增加，其中，与解码器通过其他方式推导用于基于其他语法元素将基础层与增强层的图片并行解码的层间偏移量的情况相比较，解码器的计算复杂度大大地减少，例如，其他语法元素显示基础层块和增强层块的块大小、基础层图片与增强层图片的采样分辨率等。当将语法元素结构实现为长期语法元素结构时，第六方面与第三方面密切相关，因此，层间偏移量向解码器指示了保证：该保证同样适用于比时间间隔更大的预定时间段，在该时间间隔内，多层视频数据流中的短期语法元素指示另行称为必要的这些暗示，以通过相对复杂的方式将这些语法元素组合而确定层间偏移量。

7、自然，可以将所有的上述方面以它们中的两个、三个、四个或者其全部的方式进行组合。