分层编码方案中的颜色转换的制作方法

本发明涉及用于处理信号的方法，特别是处理视频信号的方法。对信号的处理可以包括但不限于获取、导出、输出、接收和重构数据，例如用于增加视频信号中的动态颜色范围的数据。

背景技术：

技术进步意味着有众多不同的处理信号的技术和方法，尤其是用于信号的压缩、存储和传输。例如，多年来，已经开发了许多编码图片和视频信号以压缩信息的方法。这有益于减少借助无线地面广播、有线广播、卫星广播或借助因特网或其它数据网络的任何传输路径的存储需求和带宽需求。随着技术的进步，已经开发了更复杂的压缩和传输方法。人们需要更高质量的信号，例如，需要具有更高的视频分辨率的信号(表现为每帧更多的像素点或每秒更高的帧数)。因此，存在多种信号格式，并且众多类型的信号编码器和解码器也许能够或也许不能够使用那些格式的信号。这给内容创建者和发行者带来了问题，因为他们希望确保其内容能提供给最广泛的受众。因此，创建者和发行者必需以许多不同的编码格式提供其内容，例如，使用mpeg-2、mpeg-4part10、高效视频编码(hevc)等标准编码技术进行编码。另外，标准和非标准的广播和流媒体技术也促进了编码信号的分流。总之，这造成了复杂状况，增加了内容发行者的成本，并且由于仍然很普遍的旧技术(例如，传统的解码器和机顶盒)缺乏兼容性，采用更新更好的技术会更加困难。

高动态范围(hdr)视频已经展示了通过增加一维的质量改进来传输更高质量视频的潜力，即除了提高分辨率(即每帧更多像素点)和提高运动保真度(即每秒更多帧)之外，运营商还可以增加动态范围(即更大的亮度范围和更多的色调，由此使对比度和颜色更生动)。hdr显示器的广泛使用使hdr视频变得越来越重要。

高动态范围(hdr)通常指的是比标准动态范围(sdr)更高的亮度和/或颜色范围，后者使用常规的伽玛曲线来代表各种颜色。hdr通常通过更改最亮和最暗颜色的值以及使用不同的颜色平面(通常从标准颜色平面扩展到更宽的色域平面)来工作。

当前市场上存在多种hdr实施方式，通常需要颜色分量(例如亮度y和色度cb和cr)的10位(甚至更高的位深度)表示，以具有足够大的可用值范围。该类hdr实施方式的其中一种是hdr10，它利用视频信号中的静态元数据调整视频流中表示的亮度和颜色的范围。这样，单个hdr设置将被应用于整个视频序列。使用动态元数据的不同实施方式具有不同的商业名称，例如hdr10+或vision。通过动态元数据，可以逐帧地更改hdr设置，从而允许更大的粒度和对场景变化更好的适应性。

然而，hdr视频的传输目前需要能够解码本地10位视频格式的解码器，例如hevc。这需要经常重复视频工作流程，因为大多数运营商需要继续为他们的大部分客户群提供服务，而这些客户群仅拥有能够解码8位avc/h.264视频的传统设备。同样，这也阻止了运营商使用8位格式的hdr，例如vp9。此外，hdr所需的色调映射不一定是优化压缩效率的最佳选择。有关这方面的更多信息，请参考以下论文：a.banitalebi-dehkordi、m.azimi，m.t.pourazad和p.nasiopoulos，“利用hevc和h.264/avc标准压缩高动态范围视频”，关于异构网络质量、可靠性、安全性和鲁棒性的第十届国际会议，罗得岛，2014年，第8-12页。

较新的编码标准，尤其是与hdr相关的标准或技术，与无法轻易替换或升级的传统解码设备不兼容是一个普遍的问题。另一个普遍问题是传输信号的可用带宽有限。还有一个普遍问题是，内容发行者在创建和维护以不同方式编码的相同内容的多个版本时，会产生处理和存储的开销，并且这一问题由于引入了几种互相竞争的和广泛不兼容的hdr类型信号(即那些可能具有更大亮度范围和对比度的信号，和/或那些包含表示较宽色域信息的信号)的编码技术而变得更加严重。

本公开旨在解决上述一个或多个问题。

技术实现要素：

在本公开中，描述了如何以分层编码方案组合hdr类型的信息，以解决上述一个或多个问题。特别地，本发明的目的是提供编码和解码方案，其允许分层信号被编码、传输和解码，从而使hdr类型的信号能够通过与hdr兼容的显示设备呈现给用户；或者当一种或多种解码器技术或相关的显示设备无法处理hdr类型的信息时，能够向用户呈现非hdr的等效信号。特别地，本发明的目的是提供更简洁更有效的方法。本发明的目的是在可能的情况下提供包括hdr类型解码和sdr类型编码所需的所有信息的复合编码视频流；以及在以下方面提供灵活性，即hdr类型解码所需的信息是否流向解码器；或是否在解码器上使用hdr类型解码所需的信息(例如，可以忽略或丢弃该信息)。

根据所附权利要求，提供了一种方法、计算机程序、计算机可读存储介质或数据载体以及数据处理装置。

根据本发明的第一方面，提供了一种编码信号的方法。该方法包括：至少通过将输入信号从第一颜色空间转换到第二颜色空间来处理所述输入信号，以生成第一处理信号。通过第一编码模块对所述第一处理信号进行编码以生成第一编码信号，并且解码所述第一编码信号以生成解码信号。然后至少通过将所述解码信号从所述第二颜色空间转换到所述第一颜色空间来处理所述解码信号，以生成第二处理信号。之后第二编码模块处理所述第二处理信号和所述输入信号以生成第二编码信号。通过此方法，提供了信号改进、降低带宽潜在需求以及向后兼容性中的一种或多种。

所述第二编码信号可以包含利用所述第一编码信号来重构所述输入信号的附加辅助数据。

所述第二编码信号可以包括利用所述第一编码信号来重构所述输入信号的残差信号或调整信号。这样，可以纠正编解码类型的不准确之处。

所述残差信号或调整信号可以包括获取所述输入信号和所述第二处理信号之间的差。

可以对所述输入信号进行下采样，并且所述下采样可以降低所述输入信号的分辨率。

可选地，可以在将所述输入信号从第一颜色空间转换到第二颜色空间之前，对所述输入信号进行下采样；以及在将所述解码信号从第二颜色空间转换到第一颜色空间之前，对所述解码信号进行上采样。这样，从第一颜色空间到第二颜色空间的转换过程是在数量较少的像素点上进行的，因此可以更快地完成。与全分辨率转换相比，该方法还可以减小颜色转换的尺寸。此外，任何因转换而引入的伪像都可以得到有效的校正。

可选地，可以在将所述输入信号从第一颜色空间转换到第二颜色空间之后，对所述输入信号进行下采样；以及在将所述解码信号从所述第二颜色空间转换到所述第一颜色空间之后，对所述解码信号进行上采样。

所述输入信号从所述第一颜色空间到所述第二颜色空间的转换可以包括以下操作中的一个或多个：映射颜色空间(例如，rgb到ycbcr/lms)；更改采样模式(例如，4：4：4到4：2：2)；从第一位深度转换到第二位深度，其中所述第一位深度大于所述第二位深度；更改亮度分量的动态范围；更改色域；更改电光传递函数模型；更改最低亮度级别(例如，黑色级别)；更改最高亮度级别(例如，白色级别)；以及进行色调映射。

所述输入信号可以包括多个连续的帧，并且每个所述连续的帧可以被所述第一编码模块编码。这样，降低了对帧进行计数和信令的需求。此外，还大大减少了管理编码内参考帧的需求。

可选地，将所述输入信号从第一颜色空间转换到第二颜色空间的步骤是非线性的。

可选地，将所述输入信号从第一颜色空间转换到第二颜色空间以生成第一处理信号的步骤是非预测性的。这样，可以以独立的方式进行颜色空间转换，而无需计算额外的预测信息，这更容易促进转换函数的模块化替换。同样，这种方式减少了解码器的计算负担，并且可以实现更多的向后兼容性。

根据本发明的第二方面，提供了一种解码信号的方法。所述方法包括：利用第一解码模块对第一编码信号解码以生成第一解码信号。利用第二解码模块对第二编码信号进行解码以生成第二解码信号。然后通过将所述第一解码信号从第一颜色空间转换到第二颜色空间来处理所述第一解码信号，以生成经处理的解码信号。之后第二解码模块对所述第二解码信号进行处理以生成组合解码信号。通过此方式，提供了信号改进、降低带宽潜在需求以及向后兼容性中的一种或多种。

可选地，如果显示器仅能够显示所述第一颜色空间中的信号，则可以将所述组合解码信号转换回到所述第一颜色空间。

所述第二编码信号可以包含利用所述第一编码信号来重构所述输入信号的附加辅助数据。

所述辅助数据还可以包含用于重构高动态范围信号的元数据，从而提供更大的粒度并适应场景变化。

所述第二编码信号可以包括残差信号或调整信号，以利用所述第一编码信号重构原始输入信号。

可以将所述残差信号或调整信号添加到所述经处理的解码信号以生成所述组合解码信号。这样，可以纠正编解码类型的不准确之处。

可选地，在将所述第一解码信号从第一颜色空间转换到第二颜色空间之前，可以对所述第一解码信号进行上采样。这样，可以在较低的分辨率下更迅速地进行颜色转换。

可选地，可以对所述经处理的解码信号进行上采样。这样，可以将所述经处理的解码样本转换到更高的质量等级。

可选地，所述上采样可以与范围调整相结合。这样，可以避免多次接触内存缓冲区，从而减少内存访问次数和必需的内存带宽。

从第一颜色空间转换到第二颜色空间的步骤可以包括以下操作中的一个或多个：映射颜色空间(例如，rgb到ycbcr/lms)；更改采样模式(例如，4：4：4到4：2：2)；从第一位深度转换到第二位深度，其中所述第一位深度大于所述第二位深度；更改亮度分量的动态范围；更改色域；更改电光传递函数模型；更改最低亮度级别(例如，黑色级别)；更改最高亮度级别(例如，白色级别)；以及进行色调映射。

从所述第一颜色空间转换到所述第二颜色空间的步骤可以包括从非高动态范围信号转换到动态范围信号。

通过从非高动态范围信号转换到动态范围信号以从第一颜色空间转换到第二颜色空间的步骤还可以包括感测所连接的显示器是否不能显示所述高动态范围信号；如果不能，则输出第一解码信号。通过这种方式提供了向后兼容性。

所述第一编码信号可以包括所述组合解码信号的所有帧。所述第一编码信号中的每一帧均可以由所述第一解码模块进行解码，并提供所述组合解码信号的基本版本。所述第二编码信号可以包括所述基本版本每一帧的增强信息。

可选地，将所述输入信号从所述第一颜色空间转换到所述第二颜色空间的步骤是非线性的。

可选地，将所述输入信号从所述第一颜色空间转换到所述第二颜色空间以生成第一处理信号的步骤是非预测性的。这样，可以以独立的方式进行颜色空间转换，以促进转换函数的模块化替换。

提供了一种计算机程序，所述计算机程序适于执行上文详述的对输入信号进行编码和解码的方法。

提供了一种计算机可读存储介质或数据载体，包括计算机程序，其中该计算机程序适于执行对输入信号进行编码和解码的方法。

提供了一种数据处理装置，包括处理器和存储器，所述数据处理装置适于执行以上概述的信号编码和解码方法。

附图说明

现在将参考附图仅以示例的方式描述本发明，其中：

图1示出了用于对信号进行编码及解码的示例性系统；

图2示出了根据第一示例的解码系统的示例；

图3示出了根据第一示例的第一变型的解码器的示例；

图4示出了根据第一示例的第二变型的解码器的示例；

图5示出了根据第一示例的第三变型的解码器的示例；

图6示出了计算机系统的示例；

图7示出了根据第二示例的编码系统及方法的示例；

图8示出了根据第二示例的解码系统及方法的示例；

图9示出了根据第三示例的编码系统的示例；

图10示出了根据第三示例的解码系统的示例；

图11示出了根据第一示例的编码系统的示例；

图12示出了根据第四示例的编码系统的示例；

图13示出了根据第四示例的第一变型的编码系统的示例；并且

图14示出了对应于第一变型的解码系统的示例。

具体实施方式

下面给出了一些定义，以帮助读者理解本文中所使用的术语。

作为非限制性示例，信号可以为图像、音频信号、多信道音频信号、视频信号、多视角视频信号(如3d视频)、体积信号(如医学成像、科学成像、全息成像等)、体积视频信号，或甚至多于四个维度的信号。

广义而言，视频被定义为移动图像的记录、再现或广播。视频信号由一系列单帧组成，每一帧可以通过编码/解码方法被单独压缩。

编码是一个过程，涉及将信息从一种格式转换为另一种格式，以便将信息有效地从一个源传输到另一个源，或存储该信息。待编码信息可以为原始视频，其中通常包含大量无法以原始形式传输的数据。因此，将原始视频进行编码或压缩，以使原始视频内容在传输时需要的空间更少。解码是编码的逆过程，包括将编码信息转换(解压缩)为原始的传输前的格式。编码和解码可以是无损的或有损的。

对于视频信号，特别是与hdr视频相关的信号，具有有限色彩容量(即，不提供相关hdr标准所需的峰值亮度/对比度和色域)的消费类显示器，smpte定义了元数据，用于描述元数据在母版显示器上出现时的场景。smptest2086“支持高亮度和宽色域图像的母版显示器色彩容量元数据”描述了静态数据，如maxfall(最大帧平均亮度水平)和maxcll(最大内容亮度水平)。smptest2094“用于高亮度和宽色域图像的色彩容量变换的内容相关元数据”包括可随场景变化的动态元数据。这包括st2094-10(杜比视觉格式)、色彩容量重构信息(cvri)、smptest2094-20(飞利浦格式)和st2094-30(彩色印片格式)中定义的颜色重映射信息(cri)以及hdr10+st2094-40(三星格式)。辅助数据可以包含或包括这里描述的元数据，并且附加增强信息(例如残差信息)可以是任何辅助数据的一部分。

视频内容可以以规定的一个(或多个)质量等级进行传输，视频质量等级例如可以通过特定的空间分辨率或帧率或峰值信噪比(psnr)定义。质量等级可能受到承载视频内容的传输通道的限制。例如，现有的解码硬件可以将信号解码至给定的分辨率和/或帧速率(第一质量等级)。可以使用计算解码方法来重构至少一个附加质量等级。无法被更新以执行高于第一质量等级的解码的传统解码设备，将简单地以第一质量等级对信号进行解码，并忽略附加增强数据。

信号的位深度与用于传送特定值的位数有关。在视频中，位深度(有时称为颜色深度)与表示图像内像素的颜色分量(例如亮度y和色度cb和cr)相关，具体来说，定义了图像中可存储的亮度级别的数量和颜色的数量。位深度小于或等于8位的图像被视为标准动态范围的图像，位深度大于8位的图像可被视为高动态范围或增强动态范围的图像。

图像分辨率可视为对可用信息量的度量。视频分辨率本质上是对某一特定图像可见信息量的基本度量。空间视频分辨率通常由显示设备的每个维度可显示的像素数来定义，并且通常提供为显示设备的宽度与显示设备的高度相对照。例如，全高清信号表示为1920x1080像素，或者更常见地是简单的1080p。uhd信号通常可以具有3840×2160像素的帧分辨率，通常更简单地称为4k分辨率。uhd信号也可以具有8k分辨率(例如7680×4320像素)。同样地，视频信号中可能存在额外的时间分辨率，例如，视频信号可以有多种帧率，例如每秒25、30、50、60、100和120帧。

上采样过程包括将信号或信号序列的较低分辨率版本转换为信号的较高分辨率版本，以提高信号质量。上采样生成序列的近似值，这是通过以较高速率对信号进行采样而获得的，并且通常由解码器对编码数据执行上采样。可以在空间上(即在像素分辨率上)或时间上(即在帧率上)执行上采样。

相反，下采样生成序列的近似值，这是通过以较低速率对信号进行采样而获得的，从而得到信号的较低分辨率版本。

颜色空间可以定义为一组颜色的数学表示，其允许再现特定的颜色。数字图像和视频表示中最常用的两种颜色空间是rgb(红/绿/蓝)和ycrcb(亮度/红色度/蓝色度)。可以将颜色空间更广泛地定义为由推荐标准itu-rbt709、2020、2100、2390中的一个或更多个来定义，这些推荐标准提供了颜色定义的更多细节，包括如何在视频中表示诸如像素的图像元素的规范，并且在一些情况下还包括和定义信号的以下属性参数：采样模式(例如4：4：4到4：2：2)；位深度；亮度分量的动态范围；色域；使用的电光传递函数模型；最低亮度级别(例如黑色级别)；以及最高亮度级别(例如白色级别)。

应该注意的是，以下示例是在具有视频内容的信号上执行的。该视频内容包括帧，可以在每个视频片段内的每个帧上(即，在连续帧上)执行任何处理。在一些示例中，可以以不同的方式处理部分帧，以相同方式处理所有帧的优点在于减少了对帧计数和信令的需求，并且大大减少了管理帧内编码参考帧的需求。

图1示出了本专利申请中描述的用于对信号进行编码及解码的示例性系统。特别地，原始信号100由编码器1100编码。数据流1150由该编码器生成，并被发送至解码器1200-0至1200-n。该数据流可被分割，并且数据流1150的各部分被发送至解码器。每个解码器解码其各自的数据流部分，并获得#0级别至#n级别的重构信号。通过处理并组合不同级别的重构信号以获得单一的信号，从而得到最终信号。不同解码器可以接收数据流的不同部分，并以不同的质量级别重构信号。解码器可以解码并输出不同的质量级别。

图2示出了本专利申请中描述的解码系统的示例。特别地，由多个解码器1200-0至1200-1接收数据流1150。数据流1150可以由符合标准的数据流(例如，符合诸如avc、hevc、vvc等标准的编解码器和非标准编解码器)以及辅助数据流形成。将第一子流馈送至第一解码器1200-1，第一解码器1200-1将数据流分割成数据流220，数据流220被馈送至标准解码器230以生成较低质量视频240。增强解码器270将较低质量视频240与数据流210一起进行处理，以生成输出视频sdr280，即具有sdr的视频输出。在这种情况下，输出视频sdr可以对应于处理(例如，上采样)后的较低质量视频240，但是没有由数据流210添加的任何附加信息(例如，在解码器1200-1不能解读数据流210的情况下)，或者对应于用来自数据流210的附加信息处理之后的较低质量视频240(例如，组合流)，然后将组合流按顺序下采样至sdr分辨率，以适应例如仅能够显示sdr视频的电视或显示器。将第二子流馈送至第二解码器1200-0，第二解码器1200-0将数据流分割成数据流220，数据流220被馈送至标准解码器230以生成较低质量视频240。增强解码器250将较低质量视频240与数据流210一起进行处理，以生成输出视频hdr260。

在图1和图2中，在解码模块1200-0、1200-n处接收数据流。数据流可以是包括与诸如协议标准(例如，dash、hls等)和/或编码标准(例如，诸如avc、hevc、vvc等的mpeg标准，或诸如vp9、av1、vc-6等的其他编解码器格式)兼容的数据的流。然后，通过解复用模块将数据流分割为两个(或多个)独立的流。将第一流传递至解码模块，该解码模块基于第一解码方案进行解码，例如基于标准的方案(例如，avc、hevc、vvc、vc-6等)或基于非标准的方案(例如，vp9、av1等)。将第一解码模块的输出(例如，第一解码视频信号)传递至第二解码模块，该第二解码模块根据第二解码方案进行解码。第二解码模块还接收某些辅助数据流，该辅助数据流在与第一解码模块的输出一起处理时，会生成一个增强解码视频信号。

在一个示例中，第一解码方案与第二解码方案相同。

在另一个示例中，第一解码方案不同于第二解码方案。第二解码方案还可以包括诸如上采样、残差去量化、残差变换、添加来自运动补偿帧缓冲器的残差、后处理等操作。从下面的进一步描述中可以明显看出，残差信息例如是通过将参考信号与参考信号的重构版本进行比较而生成的差信号。

在一些示例中，辅助数据流还包含某些元数据(静态或动态)，例如重构hdr信号所需的元数据。该元数据可以与第一解码模块的输出和辅助数据流中的其他数据一起由第二解码模块处理，以便生成增强hdr解码视频信号。元数据可以包括用于指定hdr信息的范围的范围信息，并且可以包含用于确保hdr信号在显示器上以逐标题、逐场景或逐帧方式正确再现的信息。辅助数据流也可以包含残差信息。

在一些示例中，第一解码模块重构较低位深度(例如，8位)的信号，第二解码模块将该信号转换为较高位深度(例如，10位)的信号，这适合于hdr。在一个示例中，第二解码模块能够感测解码设备是否不能显示较高位深度(例如，10位)的hdr图片，在不能的情况下，其解码并显示较低位深度(例如，8位)的信号。

在一些示例中，第二解码模块将调整值范围所必须的处理与从第一(较低)质量级别对输出信号进行重构所需的其他处理相结合。在一个示例中，上采样操作与范围调整相结合，以避免多次接触内存缓冲区，从而内存访问以及必要的内存带宽都会减少。例如，其他处理包括上采样和/或添加残差数据，以从上采样后的较低质量级别转换至较高质量级别。

在一些示例中，第一解码模块重构信号的较低分辨率再现。然后，第二解码模块将hdr调整应用于信号的较低分辨率重构。在hdr调整之后，第二编码模块进一步处理信号和其他辅助数据，以便获得更高分辨率和/或更高质量的信号。

在一些示例中，编码器接收高位深度(例如，10位)的hdr源信号，对源信号进行下采样，并调整下采样后的再现，以便获得低位深度(例如，8位)的sdr信号。用第一编解码器处理sdr信号，以获得第一编码数据集。将第一编解码器的解码输出转换为更高位深度的hdr信号，然后由第二编码器模块处理该信号，以生成第二编码数据集。第二编码数据集包含附加辅助数据，该附加辅助数据用于重构原始源信号的全分辨率重构再现。

在一些示例中，编码器在下采样操作之前或之后处理高位深度hdr信号。例如，高位深度hdr信号可以在颜色空间中表示，例如推荐标准itu-rbt.2020、推荐标准itu-rbt.2100或类似标准中定义的颜色空间，它们通过引用并入本文。通过背景介绍，推荐标准2100包括可用于hdr信号的两个传递函数定义，即：感知量化器(pq)，其先前被标准化为smptest2084(通过引用并入本文)；以及混合对数型伽玛(hlg)，其先前被标准化为aribstd-b67(通过引用并入本文)。具有10位颜色位深度的pq方案也称为hdr10。(https://en.wikipedia.org/wiki/rec._2020-cite_note-hdrcompatiblecea2015-49)同样地，具有10位颜色位深度的hlg方案也称为hlg10。

可以在下采样之前或之后处理hdr信号，以将其转换至不同颜色空间，例如在推荐标准itu-r709或类似标准中定义的颜色空间(通过引用并入本文)。例如，这种转换可以使生成的信号是低位深度(例如，8位)的sdr信号。然后，该信号可以由上述的第一编码模块使用。

相反，在上采样操作之前或之后，第一编解码器的解码输出从第一颜色空间(例如，bt.709)转换至第二颜色空间(例如，bt.2020或bt.2100)，以生成高位深度hdr信号(例如，10位)。然后，可以由上述的第二编码器模块对该信号进行处理。

在一些示例中，第一解码模块接收第一编码信号并重构该信号的较低分辨率再现，例如该信号也是低位深度(例如，8位)的sdr信号。sdr信号可以在第一颜色空间(例如，bt.709)中表示，并且在上采样操作之前或之后转换至第二颜色空间(例如，bt.2020或bt.2100)以得到更高分辨率再现，从而以更高分辨率生成例如高位深度(例如，10位)的hdr信号。第二编码信号由第二解码模块解码以生成调整信号或残差信号。然后，第二解码模块可以进一步利用调整信号处理hdr信号，以生成调整后的hdr信号。在调整之后，第二编码模块进一步处理信号和其他辅助数据，以便获得更高分辨率和/或更高质量的信号。

可以使用本领域已知的方法进行转换，例如包含在推荐标准itu-rbt.2407和itu-rbt.2087中的方法，这些方法通过引用并入本文。还使用了查找表(luts)和/或其他已知方法(例如，itu-rbt.2408-0报告或bbrr&d许可的hlg查找表，均通过引用并入本文)支持颜色空间之间的转换。

在另一个例子中，在进行下采样过程之前，例如通过执行颜色转换，将源信号调整并转换为较低位深度的sdr信号。

图3示出了根据第一示例的解码器的示例。解复用器300将数据流210分割为三个不同的流，即hdr流或范围数据310、第一组增强数据330以及第二组增强数据360。将hdr范围数据310馈送至hdr调整模块320，并与较低质量视频240相结合，以生成第一输出流。将第一输出流馈送至第一增强器340，并与第一组增强数据330一起进行处理，以生成第二输出流。最终，将第二输出流馈送至上采样器350，并且由第二增强器370使用第二组增强数据360处理上采样流，以输出视频hdr输出260。注意，如果第一组增强数据330不存在，则直接将第一输出流馈送至上采样器350，而其他步骤保持不变。

图4示出了根据第二示例的解码器的示例。第二示例可视为第一示例的替代示例。解复用器300将数据流210分割为三个不同的流，即hdr流310、第一组增强数据330以及第二组增强数据360。将第一组增强数据330馈送至第一增强器400，并与较低质量视频240相结合以生成第一输出流。将第一输出流馈送至上采样器410，以生成上采样版本，然后将上采样版本与hdr流数据310一起馈送至hdr调整模块420，以生成第二输出流。由第二增强器370使用第二组增强数据360处理第二输出流，以输出视频hdr输出260。注意，如果第一组增强数据330不存在，则将较低质量视频240直接馈送至上采样器410，而其他步骤保持不变。

图5示出了根据第三示例的解码器的示例。第三示例也可作为第一和第二示例中的至少一个的替代示例。解复用器300将数据流210分割为三个不同的流，即hdr流310、第一组增强数据330以及第二组增强数据360。将第一组增强数据330馈送至第一增强器500，并与较低质量视频240相结合，以生成第一输出流。将第一输出流馈送至上采样器510，并与hdr范围数据310一起进行处理，以生成第二输出流。由第二增强器520使用第二组增强数据360处理第二输出流，以输出视频输出280。在这种情况下，将上采样和hdr调整合并在一个操作中。

在图3、4和5的示例中，如果hdr范围数据310、第一组增强数据330和第二组增强数据360中的至少一个不存在于数据流210中，则可以省略使用该数据的相应增强或调整操作。在这些情况下，如果解复用数据流的一部分不存在，则接收处理实体(例如，增强器或hdr调整模块之一)可被配置为通过接收到的视频流。在某些情况下，增强解码器可被配置为通过省略hdr调整操作来输出sdr视频，例如，如果显示设备不能够再现hdr视频。如果需要较低分辨率的输出视频，则可以禁用上采样器和第二增强器。可以通过选择性地控制增强解码器250的组件的操作来配置不同的视频输出。

图6示出了如本专利申请中描述的计算机系统600的例子。如图所示，计算机系统600包括可以在其上实现上述解码器的多个处理器。该计算机系统包括系统总线611、计算机可读存储介质612、至少一个处理器613、输入/输出接口614以及通信接口615。图6示出了通信耦合于输入/输出接口614的输入设备670和存储设备680，以及通过通信接口615通信耦合于至少一个网络690的计算机系统600。计算机可读存储介质612存储有可以至少实现上述增强解码器的信号处理器应用640-1。信号处理器应用640-1可以由至少一个处理器613作为至少一个信号处理器进程640-2来执行。特别有利的是，能够在多个处理器上分发解码以实现并行处理。本文描述的编解码系统及方法能够有效地使用并行处理。

图7示出了本专利申请中描述的编码系统及方法的示例。在编码系统处接收输入信号700，例如高位深度(例如10位或12位，或其他，例如16位或甚至更高)的hdr型信号。然后通过第一颜色转换模块701将输入信号从第一颜色空间(例如，bt.2020或bt.2100)转换至第二颜色空间(例如，bt.709)。其中第一颜色空间不同于第二颜色空间。在转换过程中，可以将信号从原始的高位深度减小至低位深度(例如，8位)的sdr信号。然后，由下采样器对sdr信号进行处理，以从较高分辨率传递至较低分辨率。而后，由第一编码器703对输出信号进行处理。在一个示例中，第一编码器703是基于mpeg标准或类似标准的已知编码模块，并且在一个示例中，该标准是被广泛使用的编码标准，大部分的终端用户解码器将与之兼容，以实现该技术的广泛向后兼容性。

在某些其他示例中，可以以相反的顺序进行转换和下采样，即先进行下采样，然后再进行转换。在另一个示例中，由于未进行下采样操作，因此转换后的信号直接被传递至第一编码器703。在这种最基本的情况下，当未进行下采样操作时，分辨率无变化。

第一编码器703的输出是第一编码流710。第一编码流710也可被认为是前面提及的可广泛解码的基层输出，并且可以在与输入信号700不同的颜色空间(并且可选地以较低分辨率)向用户呈现输入信号的再现。不同的颜色空间可以是多种不同格式中的任何一种或多种，也可以由信号的任何一种或多种其他约束条件来定义。在一个示例中，颜色空间可以从rgb颜色空间变为yuv颜色空间，或者从hdr型颜色空间变为sdr型颜色空间。

由第一解码器704对第一编码器703的输出进行进一步解码，然后将输出的解码信号传递至第二颜色转换模块705，以将解码信号从第二颜色空间转换回第一颜色空间。第二颜色转换模块705可以使用与第一颜色空间转换模块701的处理相反的逆处理。使用逆处理或其他处理的优点在于，没有任何信息从第一颜色转换模块701流向第二颜色转换模块705，因为不需要元数据或关于如何执行颜色空间转换705的其他指示。显而易见地，更高级别的编码处理提供了一种可以纠正颜色空间转换中任何错误的方式。接下来，由于采用了更高级别的编码，因此没有必要试图在第一颜色空间中准确或完全预测信号。

另外，在第二颜色转换模块705执行转换期间，信号的位深度可从低位深度(例如8位)增加至高位深度(例如10位、12位或更高)，以生成hdr型信号。然后，由706对hdr型信号或经过简单颜色转换的信号进行上采样，并且由第二编码器707对所得上采样hdr型信号与原始输入信号一起进行处理，以生成第二编码流720。

第二编码器707所执行的处理可以生成残差信号，该残差信号表示作为参考信号的输入信号700与作为原始信号700的重构的上采样hdr型信号之间的差。残差信号可用于在解码器处调整相应的上采样hdr型信号，以在解码器处重建原始输入信号700或其近似值。在这种情况下，残差信号解决了由第一编码器703及第一解码器704引入的任何伪像或其他信号差的问题，换句话说，残差信号对编解码器类型的不准确之处进行了校正。另外，残差信号还校正了由第一和第二颜色空间转换模块701和705执行的颜色空间转换所引入的任何伪像或信号差。最后，当使用时，残差信号对由下采样器702和上采样器706引入的任何差也进行了校正。这样，可以做出设计决策以使用上述更简单或更有效的版本。还可使用已知技术对残差信号进行编码。

在一个示例中，可以以相反的顺序进行转换和上采样，即先进行上采样，然后再进行转换。在另一个示例中，由于未进行上采样操作，因此转换后的信号直接被传递至第二编码器707。其中第二编码器707以与以前相同的方式生成残差信号，但是这一次分辨率没有改变。

从图7中可以看出，编码器及相关的编码方法生成第一编码流710。该第一编码流710可以使用符合标准的或其他编码方式进行编码，并且代表第一或基本质量等级的信号。编码器及相关编码方法还生成第二编码流720或增强流，其可以包括用于调整或校正在基本质量等级上的信号的颜色转换版本的残差信息，该残差信息是在解码器处由第一编码流710导出的。除了颜色变化之外，分辨率也可能有变化。所有这些特征单独地和/或共同地生成一个复合信号，该复合信号可以允许颜色空间转换(例如但不限于hdr至sdr转换)，在编码输入信号的可广泛解码版本之上进行编码和解码，从而可以改善信号、降低带宽潜在需求和实现向后兼容中的一项或多项。该架构和结构可以达到优于现有技术的效率。

图8示出了本专利申请中描述的解码系统及方法的示例。第一解码器801接收第一编码流710并对其进行解码，以在第二颜色空间中生成解码信号820，该解码信号820可以是低位深度(例如8位)的sdr型信号。然后，将解码信号820传递至颜色转换模块802，以将其从第二颜色空间转换回第一颜色空间。在转换过程中，信号的位深度可从低位深度(例如8位)增加至高位深度(例如10位、12位或更高位)，以生成hdr型信号，该信号是原始hdr型信号在较低分辨率下的重构。然后，上采样器803对转换后的信号(第一颜色空间和/或hdr型)进行上采样，并由第二解码器804对所得到的上采样信号及第二编码流720一起进行处理，以生成最终解码信号810(例如，校正后处于第一颜色空间的信号和/或hdr型信号)。这里，第二编码流720可以包含残差信息，该残差信息可以与上采样hdr型信号相结合(例如相加)以重构原始输入信号700(例如，在编码器处接收的信号)或其近似值。或者，在另一个示例中，可以以相反的顺序进行颜色转换和上采样，即先进行上采样，然后再进行颜色转换。在另一个示例中，由于未进行上采样操作803，因此转换后的信号直接被传递至第二解码器804，这种情况会在分辨率没有变化时发生。

图8的解码系统生成第一解码信号820，该第一解码信号820处于第二颜色空间中，可以是sdr型信号。可以将第一解码信号820输出至显示器，尤其有利于输出至当第一解码信号820被转换至第二颜色空间时无法利用有用信息的显示器。图8的解码系统还生成最终解码信号810，该最终解码信号810处于第一颜色空间中，可以是hdr型信号，并且由第二编码流720中的残差信号校正。最终解码信号810可用于输出至与第一颜色空间兼容的显示器。相比于第一解码信号820，最终解码信号810可以处于另一质量级别(例如，增强后的颜色和/或分辨率)。解码系统可以确定相连的任何显示器所具有的能力，并且相应地选择是否创建最终解码信号810、是否使用第一解码信号820和/或是否将最终解码信号转换回兼容格式。

图9示出了本专利申请中描述的编码系统的示例。图9的示例可视为图7示例的变体。为了简洁起见，不再详细公开图7所公开的共同特征。具体而言，图9示出了一个示例，其中有三个编码层和两个独立的输入信号，这两个输入信号可具有相同的分辨率，但在颜色空间和/或sdr/hdr特性方面可能不同。

在该示例中，在编码系统处接收sdr输入信号900，例如低位深度(例如，8位)的sdr信号。该信号可以是原始信号(例如，直接从诸如照相机或视频馈送的视频源获得的信号)或已经从hdr颜色空间(例如，bt.2020或bt.2100)转换至sdr颜色空间(例如，bt.709)的hdr信号(例如，hdr输入信号960)。下采样器902对sdr信号900进行处理，以从较高分辨率传递至较低分辨率。然后，由第一编码器903对输出信号进行处理。第一编码器903的输出是第一编码流910。第一解码器904解码第一编码器903的输出，上采样器906对所输出的解码信号进行上采样，并且第二编码器907对所得到的上采样后的sdr信号及原始sdr输入信号900一起进行处理，以生成第二编码流920。如图7所示，第二编码流920可以包括残差信号，以校正下采样/上采样过程902和906以及编码/解码过程903和904中的任何缺陷。

然后，将第二编码流920及第一编码流910传递至sdr解码器930——后者可以是类似于图10中方框区域所示的sdr解码器。sdr解码器930解码第一编码流910并对其进行上采样，以创建sdr输入信号900的重构版本。然后，在某些情况下，使用第二编码流920中的残差信息将sdr输入信号900的重构版本修饰或调整为sdr输入信号或与之更接近的表达。应当注意，到此，该信号的颜色空间与sdr输入信号900的颜色空间相同。

而后，将sdr解码器930的输出传递至颜色转换模块940，以将解码信号从sdr颜色空间转换至hdr颜色空间。在转换过程中，信号的位深度可从低位深度(例如8位)增加至高位深度(例如10位或12位)，以生成hdr信号(例如具有更大动态亮度范围和/或更宽色域的信号)。将所得的hdr信号与hdr输入信号960一起馈送至第三编码器950，以生成第三编码流970。该第三编码流970可以包含可用于在解码器处重构hdr信号的附加编码信息。

第三编码流970可以包括残差信号，其主要校正颜色转换过程中的任意缺陷。残差信号表示作为参考信号的hdr输入信号960与所得的hdr信号之间的差。第三编码流970的残差信号可以校正下采样/上采样过程902和906以及编码/解码过程903和904产生的任何问题，而这些问题还未被第二编码流920的残差处理。残差信号可用于在解码器处调整相应的颜色空间转换的hdr信号，以重构hdr输入信号960或其近似值。例如，第三编码器950生成的残差信号可以校正转换成hdr格式后的sdr解码器930的输出与hdr输入信号960之间的差。

图10示出了一种解码系统的示例。图10所示解码系统被设计为接收图9所示的编码器输出的编码流。第一解码器1001接收第一编码流910，并对其进行解码以生成第一解码信号。然后，上采样器1003对第一解码信号进行上采样，并且所得到的上采样信号与第二编码流920一起由第二解码器1004处理，例如通过使用其中的残差信号，以生成sdr解码信号1010。随后，将sdr解码信号1010传递至颜色转换模块1002，以将解码信号从sdr颜色空间转换至hdr颜色空间。在转换期间，信号的位深度可从低位深度增加至高位深度，以生成hdr重构信号。之后，将hdr重构信号与第三编码流970一起传递至第三解码器1020，例如通过使用其中的残差信号以生成hdr解码信号1030。例如，第三编码流970中的残差信号可以与颜色转换模块1002的输出相结合(例如求和)。

图9和图10的编解码系统为信号的编解码提供了一种灵活有效的方法，特别地，但非唯一地，提供了在两个分辨率和两个颜色空间中可用的视频信号。将两个独立信号输入编码器，其中一个所处的颜色空间比另一个更高或更复杂。例如，一个信号可以处于高动态范围颜色空间(包括例如更大亮度范围及更高对比度和/或更宽的色域)，而另一个信号可以处于非高动态范围或标准动态范围。在解码器处可获得与这两个独立输入信号相关的多个编码流。

此外，编解码系统还提供了在较低或不太复杂的颜色空间的信号的下采样版本，例如低位深度sdr信号的下采样版本。该信号由第一编码器903编码，并形成从编码器系统输出的信号的基层。基层的分辨率低于输入信号900、960的分辨率。因此，提供了一种编解码系统，其在确保向后兼容性方面更为有效，因为大多传统解码器能够以较低分辨率解码第一编码流910(例如，基层)。例如，第一编码流910可以是标准分辨率，而第二编码流920和第三编码流970可以是高清或1080p分辨率。或者，第一编码流910可以是高清或1080p分辨率，而第二编码流920和第三编码流970可以是uhd或4k分辨率。能够处理更高分辨率的解码器将能够利用第二编码流920(特别是第二编码流920中包含的残差信息)，以更高的分辨率(例如uhd或4k分辨率)进行上采样和校正上采样的再现，并将其作为sdr解码信号1010输出。在某些情况下，可以通过能够显示较高分辨率但不适于显示第一或hdr颜色空间内的视频数据的显示设备来观看sdr解码信号1010。可以用软件来执行第二解码器1004处的上采样1003和校正，并且可以向现有传统解码器提供软件更新来应用该技术。当然，如果解码器具有这种能力，并且所连接的显示器具有相应显示这种信号的能力，则这种经过上采样和校正的再现可以作为由颜色空间转换模块1002和第三编码流970提供的进一步信号改进的基础。可以看出，内容提供者可以提供一个或两个内容信号，并且编解码系统可以根据需要适当地提供第一、第二及第三编码流，以在各种解码器/显示器组合中以三种格式再现信号。如果第二编码流920和第三编码流970是以残差信号为基础的，则可以对残差信号进行有效编码(因为与第一编码器903输出的密集或结构化的数据相比，残差信号代表稀疏或非结构化的数据)。例如，残差信号可以近似为零均值，并且可以包括许多零值(在相比较的两个信号没有差别的区域中)。这种形式的信号可以被有效地压缩。

图11示出了本专利申请中描述的编码系统的示例。在编码系统处接收sdr输入信号900，例如低位深度(例如，8位)的sdr信号。该信号可以是原始信号(例如，直接从诸如照相机或视频馈送的视频源获得的信号)，或已从hdr颜色空间(例如，bt.2020或bt.2100)转换至sdr颜色空间(例如，bt.709)的hdr输入信号(例如，hdr输入信号960)。然后，第一编码器1103处理sdr输入信号900。第一编码器1103的输出是第一编码流910。第一编码器1103的输出由第一解码器1104进一步解码，并且将输出的解码信号传递至颜色转换模块1105，以将解码信号从sdr颜色空间转换回hdr颜色空间。在转换过程中，信号的位深度可从低位深度增加至高位深度，以生成hdr信号。之后，上采样器1106对hdr信号进行上采样，第二编码器1107将得到的上采样hdr信号与hdr原始输入信号960一起进行处理，生成第二编码流920。

在一个示例中，可以以相反的顺序进行转换和上采样，即先进行上采样，然后再进行转换。在另一个示例中，由于未进行上采样操作，因此转换后的信号直接被传递至第二编码器1107。在一种情况下，在上采样之前执行颜色转换可能是有益的，因为可以在较低分辨率下更快地进行颜色转换。如果第二编码器1107生成残差信号，则可以校正hdr输入信号960与上采样器1106的输出之间的任何差。

然后，将第一编码流910和第二编码流920发送至如图8所示的解码器(例如，代替图11中对应的第一编码流710和第二编码流720)，并相应地对其进行解码以生成解码后的sdr信号820和解码后的hdr信号810。

图12示出了本专利申请中描述的编码系统的示例。在编码系统处接收输入信号1000，例如高位深度(例如，10位或12位)的hdr信号。该输入信号由下采样器1002进行处理，以从较高分辨率转化为较低分辨率。然后可以通过色调映射转换器1003将下采样信号转换为色调映射转换后的下采样信号。色调映射转换器1003使用传统和/或已知的色调映射算子和算法(仅作为背景资料，读者可以参考专利出版物us20150078661、us20170070719或us9437171，它们通过引用并入本文)导出输入信号的色调映射1016。该转换可以包括调整与下采样信号相关联的各种参数，例如，亮度和色度值；亮度、对比度及颜色；伽马逻辑；色度抽取、缩放、色度降噪等非限制性的示例。在转换过程中，色调映射转换器1003可以进一步将下采样信号从高位深度(例如，10位或12位)的hdr信号转换为低位深度(例如，8位)的sdr信号。例如，当第一编码器1004仅能够处理8位信号而不是10位或更高位深信号时，这可能是最有益的。可以以压缩或未压缩的方式将色调映射1016传输(例如，以元数据的方式)至解码系统。然后，由第一编码器1004对色调映射后的下采样信号进行处理。在一个示例中，可以以相反的顺序进行转换和下采样，即先进行下采样，然后再进行转换。在另一个示例中，由于未进行下采样操作，因此转换后的信号直接被传递至第一编码器1004。

由第一解码器1005对第一编码器1004的输出、即第一编码流1012，进行进一步解码以生成第一解码信号。可选地，由第二编码器1006对第一解码信号和色调映射后的下采样信号一起进行处理，以生成第二编码流1014。可选地，第二编码流由第二解码器1007解码，并添加(未示出)至第一解码信号，以生成第二解码信号。然后，由色调映射逆转换器1008对第二解码信号(或者，在不使用第二编码器和第二解码器的情况下，为第一解码信号)进行处理，该逆转换器1008使用色调映射转换器1003生成的色调映射1016来生成色调映射调整后的信号。通过使用常规和/或已知的逆色调映射算子和算法(仅作为背景资料，读者可以参考前面提及的专利公开文献)重新调整由色调映射所指示的信号，色调映射逆转换器1008可以以与色调映射转换器相反的方式工作。如果第二解码信号是低位深度1(例如，8位)的sdr信号，则色调映射逆转换器可以进一步将第二解码信号从低位深度(例如，8位)的sdr信号转换成高位深度(例如，10位或12位)的hdr信号。然后，通过上采样器1009对该信号进行上采样，并且由第三编码器1010对所得到的上采样信号与原始输入信号一起进行处理，以生成第三编码流1020。在一个示例中，可以以相反的顺序进行转换和上采样，即先进行上采样，然后再进行转换。在另一个示例中，由于未进行上采样操作，因此转换后的信号直接被传递至第三编码器1010。

可选的，第二编码器1006能够校正第一解码器的输出与色调映射后的下采样信号之间的差。例如可以通过导出第一解码器的输出与色调映射后的下采样信号之间的差(例如，残差)并以有效的方式编码该残差来实现。然后，可选的第二解码器1007能够逆处理编码后的残差，以对其进行解码，并将其添加至第一解码信号中，从而生成第二解码信号，该第二解码信号实际上是第一解码信号的校正版本。

同样地，第三编码器1010能够校正原始输入信号1000与上采样hdr信号(例如，上采样器1009的输出)之间的差。例如，这可以通过导出原始输入信号与上采样hdr信号之间的差异(例如残差)并以有效的方式编码所述残差来实现。然后，编码后的残差可以由解码系统进行逆处理，并添加至上采样hdr信号中。

可选的，第二编码器/解码器和第三编码器/解码器可以例如以类似于专利公开文献wo2014/170819、wo2013/011466、wo2013/011492或wo2017/089839中描述的方式操作，所有这些专利公开文献均通过引用并入本文。

通过在较低分辨率信号上(例如下采样后的信号)导出色调映射，大大减少了色调映射的处理，因为是对较少数量的像素进行处理，因此可以更快地完成。此外，与全分辨率色调映射相比，色调映射的尺寸会减小，如果再进行压缩，效率会更高。此外，如果在处理过程中使用了可选的第二编码器/解码器，则可以以较低的分辨率校正第一编码器/解码器引入的任何伪像(例如，色带，块等)。因此，与以较高分辨率校正的伪像相比，这些伪像可以得到有效校正。此外，第三编码器将通过添加更多残差来进一步增强信号，以使编码信号尽可能接近hdr输入信号。

图13示出了本专利申请中描述的编码系统的示例。在编码系统处接收输入信号1000，例如高位深度(例如，10位或12位)的hdr信号。然后，由下采样器1002对输入信号进行处理，以从较高分辨率转化为较低分辨率。然后可以通过使用色调映射转换器1003将下采样信号转换为色调映射转换后的下采样信号。色调映射转换器1003使用常规和/或已知的色调映射算子和算法(例如，如上所述)导出输入信号的色调映射1016。该转换可以包括调整与下采样信号相关联的各种参数，例如，亮度和色度值；亮度、对比度及颜色；伽马逻辑；色度抽取、缩放、色度降噪等非限制性的示例。在转换过程中，色调映射转换器1003可以进一步将下采样信号从高位深度(例如，10位或12位)的hdr信号转换为低位深度(例如，8位)的sdr信号。例如，当第一编码器1004仅能够处理8位信号而不是10位或更高位深信号时，这可能是最有益的。可以将色调映射1016以压缩或未压缩的方式传输(例如，以元数据的方式)至解码系统。然后，由第一编码器1004对色调映射后的下采样信号进行处理。在一个示例中，可以以相反的顺序进行转换和下采样，即先进行下采样，然后再进行转换。在另一个示例中，由于未进行下采样操作，因此转换后的信号直接被传递至第一编码器1004。由第一解码器1005对第一编码器1004的输出、即第一编码流1012，进行进一步解码以生成第一解码信号。然后，由色调映射逆转换器1008处理第一解码信号，该色调映射逆转换器1008使用由色调映射转换器1003生成的色调映射1016来生成色调映射调整后的信号。色调映射逆转换器1008可以以与色调映射转换器相反的方式工作，通过使用常规和/或已知的逆色调映射算子和算法(例如，如上所述)按照色调映射的指示重新调整信号。如果第二解码信号是低位深度1(例如，8位)的sdr信号，则色调映射逆转换器可以进一步将第二解码信号从低位深度(例如，8位)的sdr信号转换成高位深度(例如，10位或12位)的hdr信号。可选地，由第二编码器1006对色调映射后的校正信号和下采样信号一起进行处理，以生成第二编码流1014。可选地，第二编码流由第二解码器1007解码，并且添加(未示出)至第一解码信号中，以生成第二解码信号。然后，通过上采样器1009对第二解码信号(或者，在不使用第二编码器和第二解码器的情况下，对第一解码信号)进行上采样，并且由第三编码器1010对所得到的上采样信号与原始输入信号一起进行处理，以生成第三编码流1020。在一个示例中，可以以相反的顺序进行转换和上采样，即先进行上采样，然后再进行转换。在另一个示例中，由于未进行上采样操作，因此转换后的信号被直接传递至第三编码器1010。

可选的第二编码器1006能够校正第一解码器的输出与下采样信号之间的差异。例如，可以通过导出第一解码器的输出与下采样信号之间的差异(例如，残差)并以有效的方式编码该残差来实现。然后，可以由可选的第二解码器1007处理编码后的残差，以对其进行解码，并将其添加至第一解码信号中，从而生成第二解码信号，该第二解码信号实际上是第一解码信号的校正版本。

同样地，第三编码器1010能够校正原始输入信号与上采样hdr信号之间的差异。例如，可以通过导出原始输入信号与上采样hdr信号之间的差异(例如残差)并以有效的方式编码所述残差来实现。然后，可以由解码系统逆处理编码后的残差，并将其添加至上采样后的hdr信号中。

可选的第二编码器/解码器和第三编码器/解码器可以例如以类似于上述专利公开文献中描述的方式运行。

通过在较低分辨率信号上(例如下采样后的信号)导出色调映射，大大减少了色调映射的处理，这是由于是对较少数量的像素进行处理，因此可以更快地完成。此外，与全分辨率色调映射相比，色调映射的尺寸会减小，如果再进行压缩的话，效率会更高。此外，如果在处理过程中使用了可选的第二编码器/解码器，则可以以较低分辨率校正第一编码器/解码器引入的任何伪像(例如，色带，块等)。因此，与以较高分辨率校正伪像相比，可以更有效率地校正这些伪像。此外，第三编码器将通过添加更多残差来进一步增强信号，以使编码信号尽可能接近hdr输入信号。

图14示出了本专利申请中描述的解码系统的示例。第一解码器1101接收第一编码流1010，并对其进行解码以生成第一解码信号1120。然后由色调映射逆转换器1108对第一解码信号1120进行处理，该逆转换器1108使用接收到的色调映射元数据1016生成色调映射调整后的信号。色调映射逆转换器1108可以以与色调映射转换器相反的方式工作，通过使用常规和/或已知的逆色调映射算子和算法(例如，如上所述)按照色调映射的指示重新调整信号。如果第一解码信号是低位深度1(例如，8位)的sdr信号，则色调映射逆转换器可以进一步将第一解码信号从低位深度(例如，8位)的sdr信号转换成高位深度(例如，10位或12位)的hdr信号。可选地，第二解码器1201解码第二编码流101，以生成解码后的第一残差流。此外，可选地，由第二解码器1201对色调映射调整后的信号和解码后的第一残差流一起进行处理，以生成第二解码信号。然后，由上采样器1103对第二解码信号(或者，在没有接收到第二编码流1014，并因此没有使用第二解码器1201的情况下，对色调映射调整后的信号)进行上采样，以生成色调映射校正后的上采样信号。在一个示例中，可以以相反的顺序进行色调映射转换和上采样，即先进行上采样，然后进行转换。在另一个示例中，由于未进行上采样操作，因此色调映射信号直接被传递至上采样器1103。第三解码器1104解码第三编码流1020，以生成解码后的第二残差流。由第三解码器1104进一步处理色调映射校正后的上采样信号以及解码后的第二残差流，以生成第三解码信号。第三解码信号可以是hdr信号。

通过在较低分辨率信号上(例如，上采样前的信号)处理色调映射，大大减少了色调映射的处理，因为是对较少数量的像素进行处理，因此可以更快地完成。此外，与全分辨率色调映射相比，色调映射的尺寸会减小，解压可以更为有效。此外，如果在处理过程中使用了可选的第二解码器，则可以以较低分辨率校正第一解码器引入的任何伪像(例如，色带，块等)。因此，与以较高分辨率校正伪像相比，可以更有效率地校正这些伪像。此外，第三编码流将通过添加更多残差来进一步增强信号，以使编码信号尽可能接近hdr输入信号。

当实现动态色调映射时，可以应用图12至14的示例，例如，其中色调映射参数基于被处理的帧而变化。由于本实施例可以很容易地应用于连续帧，例如，以独立的方式处理每个帧，所以可以在编解码系统中高效且轻易地实现这些实施例。

这里所描述的示例允许将10位或12位的hdr视频有效地转换成数据集，该数据集包括8位较低分辨率视频、用于局部重建10位或12位hdr的信息的色调映射以及用于重建全分辨率全质量图片的校正元数据。在基于层的编码方法中以较低分辨率执行色调映射转换产生了一系列独特的好处，例如允许最小化这种操作所需的处理能力(在编码和解码时，这对于直播视频以及低功率解码器设备尤其重要)。例如，校正元数据的可用性允许校正可能在“10位至8位至10位”转换过程中引入的任何条带效应。最后，可以校准10位或12位至8位转换，以提供可查看的向后兼容的8位标准动态范围(sdr)的较低分辨率视频，或者通过智能分配本地图像直方图以实现最大压缩来最大化压缩效率。

在上述示例所讨论的转换中，可在解码器或者在编码器模拟解码器动作的情况下使用所谓的“盲”转换。这意味着转换可以以独立的方式执行，便于转换功能的模块化替换。这适用于上采样、下采样、颜色空间转换、hdr至sdr转换(反之亦然)、信号元素编码格式改变等。例如，不同的转换方法可以应用于不同帧或不同视频流。可以在编码器与解码器之间发信号以协调编码和解码。然而，不需要改变系统架构或处理流程来适应这些改变。可以通过使用与处理无关的残差信号来实现，例如，残差信号校正两个相比较信号(参考信号和重构信号)之间的差，但是重构信号可以以多种方式生成。本实施例还能够并行处理一小部分视频数据，例如2×2或4×4像素的编码单元或块。这是因为处理流程的某些实现方式没有在一帧视频数据的各个部分中引入空间依赖性。这使得对帧的不同部分进行有效的并行处理成为可能，例如，这些示例可以并行地应用于帧的不同部分，然后组成最终输出，以生成一个或多个质量级别的输出信号。

本文描述的某些示例提出了一种易于实现的低复杂度方案，该方案可以处理不同的颜色表示，其中这些颜色表示可以表示不同级别的颜色质量。在某些示例中，由于各个转换组件或模块并不试图预测信号，因此以独立方式运行。然后，使用残差的增强信号可以提供适当的调整。这种方法还使得对这些转换组件或模块可以采取更模块化的方法，并在必要时改变它们，而无需考虑元数据的传输流变化。

可以执行几种类型的颜色空间转换。特别地，可以使用非线性颜色空间转换。

当从相对低复杂度的信号改变至相对高复杂度的信号时，通过使用残差信息(即，仅改变信号)来编码颜色空间、hdr或信号元素编码格式信息，可提高额外的效率。

在所有上述示例中，第一编码模块/编码器(以及相应的第一解码模块/解码器)可以对应于任何类型的编码标准，例如标准的mpeg编解码器(例如，avc、hevc等)，非标准编解码器(如vp9、av1等)或等分层编解码器。

以上描述是以非限制性示例的方式提供的，并且以上的任何变化或组合均包括在本描述中。