分层vdr编译码中的层分解的制作方法

分层vdr编译码中的层分解的制作方法
【专利摘要】技术使用多个较低位深编解码器来将较高位深的高动态范围的图像从上游装置提供给下游装置。可以使用基本层以及一个或多个增强层来传载视频信号，其中，基本层不能被独自解码和观看。可以通过高级量化从较高位深的高动态范围的输入图像数据产生用于基本层处理的较低位深的输入图像数据，以使要由增强层视频信号传载的图像数据的量最小化。增强层视频信号中的图像数据可以包括至少部分基于与高级量化中所使用的特定方法相对应的预测方法的映射参数、量化参数和残差值。为了改进编码性能，自适应动态范围适配技术考虑特殊转变效果(诸如淡入和淡出)。
【专利说明】分层VDR编译码中的层分解
[0001] 相关申请的交叉引用
[0002] 本申请要求于2011年11月4日提交的美国临时专利申请No. 61/555, 978和于 2012年2月8日提交的美国临时申请No. 61/596,600的优先权，这两篇申请的全部内容都 通过引用并入此。

【技术领域】
[0003] 本发明总体上涉及图像处理，并且尤其涉及使用分层VDR编解码器来对可变动态 范围图像进行编码、解码和表不。

【背景技术】
[0004] 由DolbyLaboratories,In.C和其它公司开发的显示技术能够再现具有高动态范 围（HDR)的图像。这样的显示器可以再现比常规显示器更忠实地表示真实世界场景的图 像。
[0005] 为了支持向后兼容以及新的HDR显示技术，可以使用多个层来将视频数据从诸如 多层视频编码器的上游装置递送到下游装置。在所述多个层的基本层（BL)中传载的标准 动态范围（SDR)视频数据针对在SDR显示器上的观看体验进行优化，而在所述多个层的基 本层和增强层（EL)的组合中传载的视觉动态范围（VDR)视频数据支持具有比SDR显示器 的动态范围高的动态范围的VDR显示器的观看体验。如本文中所使用的，在对这样的图像 数据进行编码和解码中所涉及的编解码器被指示为针对SDR显示器优化的VDR编解码器。
[0006] BL图像数据可以包括从来自图像数据输入的较高位深（higherbitdepth)(例 如，每一颜色分量12位或更多位）的HDR源图像导出的较低位深（lowerbitdepth)(例 如，每一颜色分量8位）的SDR图像。在BL图像数据中编码的SDR图像典型地包括调色师 进行的以使得SDR图像在相对窄的或标准的动态范围内看起来尽可能地逼真的颜色校正。 例如，可以在SDR图像中改变或校正与输入HDR图像中的像素中的一些或全部像素相关的 色调信息，以便创建在标准动态范围内看起来逼真的图像。这些颜色校正导致各个颜色通 道中的非对称剪切（clipping)，并且特别是在HDR源图像的相对欠曝光或过曝光区域中引 入人工颜色改变。经过颜色校正的SDR图像可以使得SDR显示器可以示出HDR源图像的暗 区域和高亮区中的图像细节。
[0007] 剪切是一种类型的颜色改变，其改变/修改颜色通道中的界外像素值，以使得得 到的像素值在目标表示范围内（目标表示范围可以是在特定类型的SDR显示器所支持的范 围内的一个范围、或者在由SDR显示器的范围所支持的范围内的一个范围、或者在由VDR显 示器的范围所支持的范围内的一个范围、等等）。剪切可以发生在颜色通道中的零个、一个 或多个中（例如，可以在经色调映射的图像中剪切HDR图像的某一部分中的在RGB颜色空 间中的R、G和B像素值）。剪切量可以或者可以不随颜色通道而变化（例如，对于绿色，剪 切得更多，而对于蓝色，剪切得更少，等等）。
[0008] 引入到SDR图像中的诸如剪切的颜色校正使得SDR图像包括与它们的对应VDR图 像的不同的且来源独立的图像内容，并且难以、甚至不可能在没有复杂处理且没有足够大 的位率的情况下被下游装置移除以用于重构高动态范围图像。当使用多个层来将图像数据 发送到下游装置时，执行颜色校正的逆操作可能要求例如在增强层中将大量附加图像数据 发送到下游装置。
[0009] 在本部分中描述的方法是可从事的方法，但未必是以前已经构想或从事的方法。 因此，除非另外指出，否则，不应仅凭借包含于本部分中而认为在本部分中描述的方法中的 任一种为现有技术。类似地，除非另外指出，否则，关于一种或更多种方法识别的问题不应 基于本部分而认为在任何现有技术中已被识别。

【专利附图】

【附图说明】
[0010] 在附图中以作为示例的、而非限制的方式例示本发明，在附图中，相似的标号指示 类似的元件，并且在附图中：
[0011] 图1例示根据示例实施例的基本配置文件（baselineprofile)中的视觉动态范围 编解码器架构；
[0012] 图2例示根据示例实施例的主配置文件中的视觉动态范围编解码器架构；
[0013] 图3例示根据示例实施例的在YCbCr颜色空间中应用的场景自适应（adaptive) 动态范围调整量化；
[0014] 图4A和图4B例示根据本发明的示例实施例的示例处理流程；
[0015] 图5例示根据本发明的实施例的在其上可以实现本文中所描述的计算机或计算 装置的示例硬件平台；以及
[0016] 图6例示根据本发明的实施例的用于检测两个量化方案之间的选择和转变序列 (transitionsequence)的不例流程。

【具体实施方式】
[0017] 本文中描述与使用分层VDR编解码器对可变动态范围图像进行编码、解码和表示 有关的示例实施例。在以下的描述中，出于解释的目的，为了使得能够彻底理解本发明，阐 述了大量的特定细节。但应理解，可以在没有这些特定细节的情况下实施本发明。在其它 情况下，为了避免不必要地遮蔽、掩盖或混淆本发明，不以详尽的细节描述公知的结构和装 置。
[0018] 这里根据以下的要点描述示例性实施例：
[0019] 1?总体概述
[0020] 2.分层视频递送
[0021] 2.1基本配置文件
[0022] 2. 2主配置文件
[0023] 3?高级量化
[0024] 4?线性拉伸
[0025] 5.示例处理流程
[0026] 6.自适应动态范围调整
[0027] 7.实现机构一硬件概述
[0028] 8.等同、扩展、替代和其它
[0029] 1.总体概述
[0030] 本概述给出本发明的示例实施例的一些方面的基本描述。应当注意，本概述不是 示例性实施例的各方面的详尽或全面的概括。并且，应当注意，本概述不应被理解为标识示 例性实施例的任何特别重要的方面或要素，也不应被理解为特别地将示例性实施例的任何 范围划界，也不总体上将本发明划界。本概述仅以简要和简化的格式给出与示例性实施例 有关的一些概念，并且应被理解为仅是以下给出的示例性实施例的更详细的描述的概念性 序言。
[0031] 在一些实施例中，可以使用分层VDR编解码器来将压缩的VDR图像（例如，视频图 像）提供给VDR图像处理装置（例如，VDR显示器）。如本文中所使用的，术语"分层VDR编 解码器"可以是指其中基本层在SDR显示器上可能不能被独自观看的VDR编解码器。如本 文中所使用的，术语"VDR"或"视觉动态范围"可以是指比标准动态范围宽的动态范围，并 且可以包括但不限于高达人类视觉可以瞬时感知的瞬时可感知动态范围和色域的宽动态 范围。
[0032] 本文中所描述的支持较高位深（例如，12+位）的VDR图像的分层VDR编解码器可 以在多个层中用两个或更多个较低位深（例如，8位）的编解码器来实现。所述多个层可以 包括基本层和以及一个或多个增强层。
[0033] 与其它技术形成鲜明对比，根据本文中所描述的技术的基本层图像数据不支持 SDR显示器上的优化观看，或者使SDR图像看起来尽可能地好，在标准动态范围内与人类感 知匹配。相反，根据本文中所描述的技术的基本层图像数据支持VDR显示器上的优化观看。 在示例实施例中，根据本文中所描述的技术的基本层图像数据包括VDR图像数据的较低位 深版本的特定组成，并且在增强层中传载基本层与原始VDR图像之间的其余差异。
[0034] 此外，根据其它技术，与相同的源图像有关的VDR图像数据和SDR图像数据包括不 同的图像内容。例如，输入到编码器的SDR图像数据包括不是已知的或者可从输入到编码 器的VDR图像数据确定的特别的独立的改变。通常，可以通过在例如调色师已经改变SDR 图像数据之后将SDR图像数据与VDR图像进行比较来辩论地分析调色师进行颜色分级的结 果或颜色校正。
[0035] 与此形成鲜明对比，根据本文中所描述的技术，可以使用VDR图像数据来通过分 层分解（例如，高级量化，其后进行分层编码）导出基本层（BL)图像数据。高级量化中所应 用的特定方法是分层VDR编码器知道的，并且甚至是分层VDR编码器有目的地选择的。执 行高级量化的特定高级量化器的选择/确定可以基于例如在VDR解码器侧重构的VDR图像 的图像质量可能如何。因此，根据本文中所描述的技术的高级量化是由本文中所描述的分 层VDR编解码器事先知道的（例如，在生成输入到基本层处理的未压缩基本层数据之前）、 控制和实现的一个或多个操作。因此，根据本文中所描述的技术，可以避免或禁用根据其它 技术的确定独立地改变或产生的VDR图像数据与SDR图像数据之间的差异的复杂分析。
[0036] 实现本文中所描述的技术的编解码器可以被配置为包括充分利用基本层（BL)图 像数据与原始输入VDR图像数据之间的统计冗余的层间预测能力。EL图像数据可以（可能 仅）传载残差（或差分）图像数据，而不是在不利用不同层的图像数据中的统计冗余的情 况下传载大量VDR图像数据。
[0037] 在一些实施例中，可以使用预测来进一步最小化在增强层中将传载的VDR图像数 据的量。作为高级分层VDR编码器的特定应用，分层VDR编码器可以建立高级量化与预测 之间的相应关系。基于用于导出输入到基本层处理的未压缩基本层数据的高级量化的特定 应用，分层VDR编码器可以在多种可用的预测方法之中选择特定的相应预测方法。在例子 中，如果在高级量化中使用线性量化，则可以使用基于一次多项式的预测方法来进行预测。 在另一个例子中，如果在高级量化中使用量化曲线（例如，Sigmoid曲线、mu-law、基于人类 感知的曲线等），则可以使用与量化曲线相对应的基于更高次（二次或更高次）多项式的预 测方法来进行预测。在另一个例子中，如果在高级量化中使用交叉颜色（矢量）通道量化 (例如，在原色分级操作中所使用的斜率/偏移/功率/色调/饱和度），则可以使用相应 的交叉颜色通道预测来进行预测。在又一个例子中，如果在高级量化中使用分段量化，则可 以使用与分段量化相应的预测方法来进行预测。相应的预测方法可以由分层VDR编码器预 先配置或者动态地选择，这是因为分层VDR编码器预先知道（例如，在不分析高级量化的结 果的情况下）在高级量化中是否使用例如线性量化、曲线量化、交叉颜色通道量化、分段量 化、基于查找表（LUT)的量化、不同类型的量化的组合等、以及使用这些类型的量化中的哪 种特定类型的量化。
[0038] 与此形成鲜明对比，根据其它技术，因为基本层中的输入SDR图像数据的颜色校 正（诸如由调色师进行的那些颜色校正）是独立执行的，所以在没有对基本层中的输入SDR 图像数据和输入VDR图像数据两者的独立的不同的图像内容进行昂贵的比较和分析处理 的情况下，难以确定哪种方法应被用于进行预测。
[0039] 因此，在一些实施例中，根据本文中所描述的技术，可以禁用或避免用于确定VDR 和被独立改变的输入基本层内容中的差异的复杂且昂贵的分析（例如，在预测操作中）。分 层VDR编解码器可以实现用于将高级量化与预测相关联的高级量化和处理逻辑。
[0040] 在一些实施例中，即使分层VDR编解码器不被设计为提供针对在SDR显示器中观 看进行优化的基本层图像数据，分层VDR编解码器仍然可以通过基本层优化广泛地重用 VDR编解码器中的组件。在实施例中，分层VDR编码器可以在针对SDR显示器进行优化的 情况下在VDR编解码器基础设施中添加一个或多个模块或者修改一个或多个模块，以从输 入VDR图像数据通过高级量化来产生输入到基本层处理的基本层图像。因此，分层VDR编 码器可以仅需要来自输入VDR图像的图像内容的单个输入，而不是用于VDR的图像内容的 一个输入以及用于SDR的不同图像内容的另一个输入。例如，分层VDR编码器中的转换模 块可以实现用于将输入16位RGBVDR数据转换为作为输入到基本层处理的基本层图像数 据的8位YCbCr的高级量化。
[0041] 在示例实施例中，分层VDR编解码器可以被配置为广泛地支持例如行业标准、专 有规范、来自行业标准的扩展中所定义的VDR参考处理语法、规范和编码架构、或前述的组 合。在示例实施例中，分层VDR编解码器（编码器和/或解码器）的输入和输出中的一个 或多个与用于针对SDR显示器优化的VDR编解码器的VDR规范或配置文件所指定的输入和 输出相同或基本上类似。分层VDR编解码器可以是经由两个（便宜的）8位解码器来处理 和呈现12+位VDR图像的工具，而无需使用昂贵的12+位解码器来为VDR图像提供感知上 类似的图像质量。如本文中所使用的，术语"N+位图像"可以是指使用每一个颜色分量N个 位或更多个位表示的并且具有至少一个颜色分量的图像。在一些实施例中，编解码器中的 多于一个的较低位深解码器和/或多于一个的较低位深编码器可以至少对于一些操作并 行地工作，并且联合地执行装置中的VDR图像数据的编码和解码。
[0042] 本文中所描述的实施例的实际益处包括但不限于为仅关心最终VDR质量、而不关 心或者甚至不查看可能从基本层图像数据构建的SDR版本的终端消费者提供高质量的VDR 图像数据。
[0043] 在一些实施例中，可以使用组合编解码器（其可以是VDR编码器或VDR解码器） 来在多种模式下操作。组合编解码器的操作模式中的一种操作模式可以使组合编解码器作 为分层VDR编解码器操作，而组合编解码器的操作模式中的不同的一种操作模式也可以允 许对适合于在SDR显示器上观看的基本层进行编码。结果，在一些示例实施例中，组合VDR 解码器可以适当地对遵循任一VDR规范的编码的位流进行解码。结果，在一些示例实施例 中，组合VDR编码器可以适当地产生遵循任一VDR规范的编码的位流。
[0044] 在一些示例实施例中，其它应用程序所需的数据也可以与将从上游装置递送到下 游装置的基本层和增强层图像数据包括在一起。在一些示例实施例中，如本文中所描述的 基本层和增强层可以支持另外的特征和/或正交特征。
[0045] 在一些不例实施例中，本文中所描述的机制形成媒体处理系统的一部分，该媒体 处理系统包括但不限于：手持装置、游戏机、电视、膝上型电脑、上网本电脑、平板电脑、蜂窝 无线电电话、电子书阅读器、销售点终端、台式电脑、计算机工作站、电脑亭、或各种其它类 型的终端和媒体处理单元。
[0046] 本领域的技术人员将容易想到对于本文中所描述的优选实施例以及总体原理和 特征的各种修改。因此，本公开并非意图局限于所示的实施例，而是应被给予与本文中所描 述的原理和特征一致的最宽泛的范围。
[0047] 2.分层视频递送
[0048] 在一些实施例中，例如上游装置（例如，图1的VDR图像编码器102或图2的图像 编码器202)可以使用基本层以及一个或多个增强层来将一个或多个视频信号（或编码的 位流）中的图像数据递送到下游装置（例如，图1的VDR图像解码器150)。图像数据可以 包括较低位深的基本层图像数据和增强层图像数据，该基本层图像数据是从较高位深（例 如，12+位）VDR图像被量化的并且是在基本层图像容器（YCbCr4:2:0图像容器）中被传载 的，增强层图像数据包括VDR图像与从基本层图像数据产生的预测帧之间的残差值。下游 装置可以接收并使用基本层图像数据和增强层图像数据，以重构VDR图像的较高位深（12+ 位）版本。
[0049] 在一些实施例中，基本层图像数据不是用于生成为了在SDR显示器上观看而被优 化的SDR图像；相反，基本层图像数据与增强层图像数据一起为了重构用于在VDR显示器上 观看的高质量VDR图像而被优化。
[0050] 2. 1基本配置文件
[0051] 图1示出根据示例实施例的基本配置文件中的VDR编解码器架构。如本文中所 使用的，术语"基本配置文件"可以是指VDR编译码系统中的最简单的编码器配置文件。 在一个实施例中，基本配置文件将基本编码层和增强编码层中的所有视频处理都限制在 YCbCr4:2:0颜色空间中。在一个示例实施例中，可以根据4:2:0采样方案用YCbCr空间进 行预测；可以使用例如多项式/IDLUT预测方法来进行预测。在一些实施例中，将VDR图像 数据递送到下游装置的上游装置可以包括实现本文中所描述的一种或多种技术的VDR图 像编码器102,而接收来自VDR图像编码器102的视频信号并对这些视频信号进行处理的下 游装置可以包括实现本文中所描述的一种或多种技术的VDR图像解码器150。VDR图像编 码器102和VDR图像解码器150均可以用一个或多个计算装置实现。
[0052] 在示例实施例中，VDR图像编码器（102)被配置为接收输入VDR图像（106)。如本 文中所使用的，"输入VDR图像"是指可以用于导出源图像（例如，高端图像获取装置所捕 捉的原始图像等）的VDR版本的宽或高动态范围图像数据，其产生输入VDR图像。输入VDR 图像可以在支持高动态范围色域的任何颜色空间中。在一些实施例中，输入VDR图像（106) 是与源图像有关的唯一输入，其提供用于供VDR图像编码器（102)进行编码的图像数据；可 以使用高级量化基于输入VDR图像（106)来产生用于根据本文中所描述的技术的基本层处 理的与源图像有关的输入图像数据。
[0053] 在示例实施例中，如图1中所示，输入VDR图像是RGB颜色空间中的12+位RGB图 像。在一个例子中，输入VDR图像中所表示的每个像素包括针对颜色空间（例如，RGB颜色 空间）定义的所有通道（例如，红色、绿色和蓝色通道）的像素值。每个像素可以可选地和 /或可替代地包括用于颜色空间中的通道中的一个或多个的上采样的或下采样的像素值。 应指出，在一些实施例中，除了诸如红色、绿色和蓝色的三原色之外，例如在如本文中所描 述的颜色空间中还可以同时使用不同的原色以支持宽色域；在那些实施例中，如本文中所 描述的图像数据包括附加的关于那些不同原色的像素值，并且可以用本文中所描述的技术 同时进行处理。
[0054] 在示例实施例中，VDR图像编码器（102)被配置为将输入VDR图像的像素值从第 一颜色空间（例如，RGB颜色空间）变换到第二颜色空间（例如，YCbCr颜色空间）。颜色 空间变换可以例如由VDR图像编码器（102)中的RGB-2-YCbCr单元（108)执行。
[0055] 在示例实施例中，本文中的VDR图像编码器（102)或下采样器（例如，444-420下 采样器110)被配置为将YCbCr颜色空间中的VDR图像（例如，为4:4:4采样格式）下采样 为12+位下采样VDR图像112 (例如，为4:2:0采样格式）。在不考虑压缩效果的情况下，12 位+下采样VDR图像（112)的色度通道中的图像数据的总量可以是12位+下采样VDR图 像（112)的亮度通道中的图像数据的总量的大小的四分之一。
[0056] 在示例实施例中，VDR图像编码器（102)被配置为对从VDR图像（为4:4:4采样 格式）下采样的YCbCr图像数据（在本例子中，为4:2:0采样格式）执行高级量化，以产生 YCbCr颜色空间中的8位BL图像（114)。如图1中所示，12+位VDR图像（112)和8位BL 图像（114)两者都是在相同的色度下采样之后产生的，因此包含相同的图像内容（例如，8 位BL图像114比12+位VDR图像112更粗略量化）。
[0057] 在示例实施例中，VDR图像编码器（102)或其中的第一编码器（116-1)被配置为将 YCbCr颜色空间中的8位BL图像（214)编码/格式化为4:2:0采样格式的基本层图像容器 中的图像数据。在一些实施例中，基本层图像容器中的图像数据不是用于生成针对在SDR 显示器上观看而被优化的SDR图像；相反，为了最小化要在多个层中被传载的、要被重构为 针对VDR显示器被优化的VDR图像的VDR图像数据的总体位要求，将基本层图像容器中的 图像数据优化为包含最优数量的较低位深图像容器中的基本层图像数据。如本文中所使用 的，术语"较低位深"是指在具有较低位深的编码空间中被量化的图像数据；较低位深的例 子包括8位，而术语"较高位深"是指在具有较高位深的编码空间中被量化的图像数据；较 高位深的例子是12位或更多位。具体地，术语"较低位深"或"较高位深"不是指像素值的 最低有效位或最_有效位。
[0058] 在示例实施例中，VDR图像编码器（102)基于基本层图像容器中的图像数据来产 生可被输出到下游装置中的视频解码器（例如VDR图像解码器150或其中的第一解码器 152-1)的基本层视频信号。
[0059] 在示例实施例中，在本例子中，VDR图像编码器（102)中的解码器（120)将基本层 图像容器中的图像数据解码为4:2:0采样格式的解码基本层图像。解码基本层图像不同于 8位BL图像（114)，这是因为解码基本层图像包括在由第一编码器（116-1)和解码器（120) 执行的编码和解码操作中引入的编译码变化、舍入误差和逼近。
[0060] 除了包含在基本层视频信号中的之外，VDR图像重构数据还可以由VDR图像编码 器在与基本层分离的一个或多个增强层中递送到下游装置。在一些实施例中，YCbCr颜色 空间中的较高位深VDR图像（112)可以从同一图像帧中的相邻采样被预测（通过使用帧内 预测），或者可以从属于同一层并且被作为经过运动补偿的预测参考而缓冲在预测图像帧 缓冲器内的过去解码的图像帧中的采样被预测（帧间预测）。层间预测还可以至少部分基 于来自其它层（例如，基本层）的解码后的信息。
[0061] 在示例实施例中，VDR图像编码器（102)包括执行与预测有关的一个或多个操作 的预测处理单元（122)。由预测处理单元（例如，122)执行的预测可以减小VDR视频解码 器（例如，图1的150)重构VDR图像中的开销。在示例实施例中，VDR图像编码器（102)被 配置为通过帧内或帧间预测（或估计或其它方法）、至少部分地基于12+位VDR图像（112) 和解码基本层图像来确定用于预测的一组映射参数（134)。预测处理单元（122)可以基于 该组映射参数（134)和解码基本层图像来产生YCbCr颜色空间中的12+位预测图像。如本 文中所使用的，映射参数的例子可以包括但不限于用于预测的多项式参数。
[0062] 在示例实施例中，VDR图像编码器（102)被配置为产生12+位VDR图像（112)与 由预测处理单元（122)产生的预测图像之间的残差值（130)。颜色通道（例如，亮度通道） 中的残差值可以是通过线性或对数域中的减法运算（例如，126)生成的差值。可替代地和 /或可选地，颜色通道（例如，亮度通道）中的残差值可以是通过线性或对数域中的除法运 算生成的比值。在各种示例实施例中，为了产生12+位VDR图像（112)与预测图像之间的 残差值（130)，可以使用一个或多个其它的数学表示和相应的操作。
[0063] 在实施例中，除了通过高级量化（或伪颜色分级处理）引入的差别之外，12+位 VDR图像（112)和8位BL图像（114)包括相同的图像内容。在实施例中，除了通过高级量 化（或伪颜色分级处理）引入的量化噪声或差别之外，12+位VDR图像（112)包括与8位BL 图像相同的色度信息。在实施例中，可以根据高级量化在基本层中对12+位图像（112)中的 中间色调和暗区域进行编码，而可以根据相同的高级量化在增强层中对12+位图像（112) 中的高亮区域进行编码。
[0064] 附加地和/或可选地，颜色校正/改变/畸变（例如，剪切）没有仅引入到在从8 位BL图像（114)到预测图像的处理路径中第一编码单元（116-1)、解码单元（120)或预测 处理单元（122)所进行的基本层处理中。在示例实施例中，除了可能固有地存在于处理路 径中的可能的畸变（例如，由基本层编解码器造成的基本层畸变）之外，预测图像包括与8 位BL图像（114)相同的色度信息。
[0065] 在示例实施例中，VDR图像编码器（102)中的非线性量化器（NLQ) 128被配置为使 用一个或多个NLQ参数来将12+位数字表示的残差值（130)量化为8位数字表示（或YCbCr 颜色空间中的8位残差值）。
[0066] 在示例实施例中，VDR图像编码器（102)或其中的第二编码器（116-2)被配置为 在增强层图像容器中例如以4:2:0采样格式编码8位残差值。增强层图像容器在逻辑上与 基本层中的基本层图像容器是分离的。
[0067] 在示例实施例中，VDR图像编码器（102)基于增强层图像容器中的8位残差值来 产生可以输出到视频解码器（例如，VDR图像解码器150或其中的第二解码器152-2)的增 强层视频信号。
[0068] 在示例实施例中，可以将该组映射参数（134)和NLQ参数（132)作为补充增强信 息（SEI)或视频位流中（例如，增强层中）可用的其它类似元数据载体的一部分发送到下 游装置（例如，VDR图像解码器150)。
[0069] 可以使用多个编解码器（诸如H. 264/AVC/HEVC、MPEG-2、VP8、VC-l和/或其它编 解码器）中的一个或多个来实现第一编码器（116-1)、第二编码器（116-2)和解码器（120) (以及152-1U52-2)中的一个或多个。
[0070] 在示例实施例中，VDR图像解码器（150)被配置为接收包括基本层以及一个或多 个增强层的多个层（或多个位流）中的输入视频信号。如本文中所使用的，术语"多层"或 "多个层"可以是指传载（视频信号的）彼此之间具有一个或多个逻辑依赖关系的视频或图 像信号的两个或更多个位流。
[0071] 在示例实施例中，VDR图像解码器（150)中的第一解码器（152-1)被配置为基于 基本层视频信号来产生解码基本层图像。在一些实施例中，VDR图像解码器（150)中的第 一解码器（152-1)可以与VDR图像解码器（102)中的解码器（120)相同或基本上类似。同 样地，VDR图像解码器（150)中的解码基本层图像和该解码基本层图像可以是相同的或基 本上类似的，前提条件是解码基本层图像源于同一VDR图像（例如，106)。
[0072] 在示例实施例中，VDR视频解码器（150)包括执行与预测有关的一个或多个操作 的预测处理单元（158)。可以使用由预测处理单元执行的预测来在VDR视频解码器（例如， 图1的150)中高效率地重构VDR图像。预测处理单元（158)被配置为接收该组映射参数 (134)并且至少部分基于该组映射参数（134)和解码基本层图像来产生12+位预测图像。 [0073] 在示例实施例中，VDR图像解码器（150)中的第二解码器（152-2)被配置为基于 一个或多个增强视频信号来检索增强层图像容器中的8位残差值。
[0074] 在示例实施例中，VDR图像解码器（150)中的非线性去量化器（NLdQ) 154被配置 为通过增强层接收一个或多个NLQ参数，并且使用所述一个或多个NLQ参数来将8位残差 值去量化为12+位数字表示（或YCbCr颜色空间中的12+位残差值）。
[0075] 在示例实施例中，VDR图像解码器（150)被配置为基于12+位残差值（130)和由 预测处理单元（158)产生的12+位预测图像来产生重构的VDR图像（160)。颜色通道（例 如，亮度通道）中的重构像素值可以是通过线性或对数域中的加法运算（例如，162)生成的 总和。可替代地和/或可选地，颜色通道（例如，亮度通道）中的重构值可以是通过线性或 对数域中的乘法运算生成的乘积。在各种示例实施例中，出于从残差值和预测图像产生重 构像素值（160)的目的，可以使用一个或多个其它的数学表示和相应的运算。
[0076] 2. 2主配置文件
[0077] 图2例示了根据示例实施例的主配置文件中的VDR编解码器架构。如本文中所使 用的，术语"主配置文件"可以是指VDR编译码系统中的允许复杂度高于基本配置文件的配 置文件。例如，主配置文件可以允许在YCbCr或RGB两个颜色空间中进行操作，并且它还允 许以各种子采样格式（包括4:2:0、4:2:2和4:4:4)进行操作。在示例实施例中，可以在RGB 颜色空间中根据4:4:4采样方案进行预测；可以使用例如多项式/IDLUT预测方法来进行 预测。在一些实施例中，将VDR图像数据递送到下游装置的上游装置可以包括如图2中所 示的VDR图像编码器202,而接收并处理VDR图像数据的下游装置可以包括VDR图像解码器 250。VDR图像编码器202和VDR解码器250均可以用一个或多个计算装置来实现。
[0078] 在示例实施例中，VDR图像编码器（202)被配置为接收输入VDR图像（206)。输入 VDR图像（206)可以在支持高动态范围色域的任何颜色空间中。
[0079] 在示例实施例中，如图2中所示，输入VDR图像是RGB颜色空间中的12+位RGB图 像。在例子中，输入VDR图像中的每个像素包括在RGB颜色空间中定义的红色、绿色和蓝色 通道的像素值。每个像素可以可选地和/或可替代地包括颜色空间中的通道中的一个或多 个的上采样的或下采样的像素值。
[0080] 在示例实施例中，VDR图像编码器（202)被配置为对VDR图像206中的12+位RGB 图像数据执行高级量化（在本例子中，以4:4:4采样格式）以产生8位RGBVDR数据。
[0081] 在示例实施例中，VDR图像编码器（202)被配置为将8位RGBVDR数据从第一颜色 空间（在本例子中，RGB颜色空间）变换到第二颜色空间（例如，YCbCr颜色空间）。颜色 空间变换可以例如由VDR图像编码器（202)中的RGB-2-YCbCr单元（208)执行。
[0082] 在示例实施例中，VDR图像编码器（202)或其中的下采样器（例如，444-420下采 样器210)被配置为将YCbCr颜色中的8位VDR数据下采样为8位下采样BL图像214(例 如，以4:2:0采样格式）。
[0083] 在示例实施例中，VDR图像编码器（202)或其中的第一编码器（216-1)被配置为将 8位下采样BL图像（214)编码为基本层图像容器中的图像数据。在示例实施例中，基本层 图像容器中的图像数据不是对于在SDR显示器上观看而被优化的；相反，将基本层图像容 器中的图像数据优化为：将最大量的表示较高位深VDR图像数据的可重构信息包含在较低 位深图像容器中，并且最小化需要在增强层中传载的VDR图像重构数据（例如，残差值230) 的量。
[0084] 在示例实施例中，VDR图像编码器（202)基于基本层图像容器中的图像数据来产 生可以输出到下游装置中的视频解码器（例如，VDR图像解码器250或其中的第一解码器 252-1)的基本层视频信号。
[0085] 在示例实施例中，在本例子中，VDR图像编码器（202)中的解码器（220)将基本层 图像容器中的图像数据解码为4:2:0采样格式的解码基本层图像。解码基本层图像不同于 8位BL图像（214)，因为解码基本层图像包括在第一编码器（216-1)和解码器（220)执行 的编码操作和解码操作中所引入的变化和误差，诸如舍入误差和逼近。
[0086] 除了基本层视频信号之外，VDR图像重构数据也可由VDR图像编码器在与基本层 分离的一个或多个增强层中递送到下游装置。RGB颜色空间中的VDR图像（206)可以从同一 图像帧中的相邻采样被预测（使用帧内预测），或者可以从属于同一层并且被作为经过运 动补偿的预测参考缓冲在预测图像帧缓冲器内的过去解码的图像帧中的采样被预测（帧 间预测）。层间预测还可以至少部分基于来自其它层（例如，基本层）的解码的信息。
[0087] 在示例实施例中，VDR图像编码器（202)或其中的上采样器（例如，420-444上采 样器212)被配置为将4:2:0采样格式的解码基本层图像上采样为8位上采样的图像数据 (在本例子中，4:4:4采样格式）。
[0088] 在示例实施例中，VDR图像编码器（202)或其中的YCbCr-2-RGB单元（例如，236) 被配置为将8位上采样图像数据从非预测颜色空间（在本例子中，YCbCr颜色空间）变换 到预测颜色空间（例如，RGB颜色空间）。
[0089] 在示例实施例中，VDR图像编码器（202)包括执行与预测有关的一个或多个操作 的预测处理单元（222)。由预测处理单元（例如，222)执行的预测可以减小VDR视频解码 器（例如，图2的250)重构VDR图像中的开销。
[0090] 在示例实施例中，VDR图像编码器（202)被配置为通过帧内或帧间预测（或估计或 其它方法）、至少部分基于变换到预测颜色空间的上采样图像数据和12+位VDR图像（206) 来确定用于预测的一组映射参数（234)。预测处理单元（222)可以基于变换到预测颜色空 间的上采样图像数据和该组映射参数（234)来产生RGB颜色空间中的12+位预测图像。
[0091] 在示例实施例中，VDR图像编码器（202)被配置为产生12+位VDR图像（206)与 预测图像之间的（RGB)残差值（230)。颜色通道（例如，G通道）中的残差值可以是通过线 性或对数域中的减法运算（例如，126)生成的差值。可替代地和/或可选地，颜色通道（例 如，G通道）中的残差值可以是通过线性或对数域中的除法运算生成的比值。在各种示例 实施例中，出于产生12+位VDR图像（206)与预测图像之间的残差值（230)的目的，可以使 用其它的数学表示和相应的运算/映射/函数。
[0092] 在实施例中，除了通过高级量化（或伪颜色分级处理）引入的量化差值或噪声之 外，12+位VDR图像（206)包括与8位RGBVDR数据相同的色度信息。在实施例中，12+位 VDR图像（206)中的中间色调和暗区域可以在基本层中根据高级量化被编码，而12+位VDR 图像（206)中的高亮区域可以在增强层中根据相同的高级量化被编码。
[0093] 在示例实施例中，在从8位RGBVDR数据到预测图像的处理路径中RGB-2-YCbCr 单元（208)、下采样器（210)、第一编码单元（216-1)、解码单元（220)、上采样器（212)、 YCbCr-2-RGB单元（236)或预测处理单元（222)没有引入额外的颜色校正/改变/畸变（例 如，剪切）。在示例实施例中，除了可能固有地存在于该处理路径中的可能的畸变（例如，由 基本层编解码器引起的基本层畸变、或来自下采样和上采样中的色度重新格式化的误差） 之外，预测图像包括与8位RGBVDR数据相同的色度信息。
[0094] 在示例实施例中，VDR图像编码器（202)中的444至420下采样和非线性量化单 元（444至420和NLQ) 228被配置为：进行下采样，并且使用一个或多个NLQ参数将残差值 (230)从4:4:4采样格式的12+位数字表示量化为4:2:0采样格式的8位数字表示（或8 位RGB残差值）。
[0095] 在示例实施例中，VDR图像编码器（202)或其中的第二编码器（216-2)被配置为 在增强层图像容器中对该8位残差值进行编码。增强层图像容器在逻辑上与基本层图像容 器分离。
[0096] 在示例实施例中，VDR图像编码器（202)基于增强层图像容器中的8位残差值来 产生可以输出到视频解码器（例如，VDR图像解码器250或其中的第二解码器252-2)的增 强层视频信号。
[0097] 在示例实施例中，可以将所述组映射参数（234)和NLQ参数（232)作为补充增强 信息（SEI)或视频位流中（例如，增强层中）可用的其它类似元数据载体的一部分发送到 下游装置（例如，VDR图像解码器250)。
[0098] 可使用多个编解码器（诸如H. 264/AVC/HEVC、MPEG-2、VP8、VC-1和/或其它编 解码器）中的一个或多个实现第一编码器（216-1)、第二编码器（216-2)和解码器（220) (252-U252-2)中的一个或多个。
[0099] 在示例实施例中，VDR图像解码器（250)被配置为接收包括基本层以及一个或多 个增强层的多个层（或多个位流）中的输入视频信号。
[0100] 在示例实施例中，VDR图像解码器（250)中的第一解码器（252-1)被配置为基于基 本层视频信号来产生解码的（YCbCr)基本层图像。在一些实施例中，VDR图像解码器（250) 中的第一解码器（252-1)可以与VDR图像解码器（202)中的解码器（220)相同或基本上类 似。同样地，VDR图像解码器（250)中的解码的基本层图像和解码的基本层图像可以是相 同的或基本上类似的，前提条件是解码的基本层图像来源于同一VDR图像（例如，206)。
[0101] 在示例实施例中，在本例子中，VDR图像解码器（250)或其中的上采样器（例如， 444-420下采样器266)被配置为将4:2:0采样格式的解码的基本层图像上采样为4:4:4采 样格式的8位上采样图像数据。
[0102] 在示例实施例中，VDR图像解码器（250)或其中的RGB-2-YCbCr单元（264)被配 置为将8位上采样图像数据从非预测颜色空间（在本例子中，YCbCr颜色空间）变换到预 测颜色空间（例如，RGB颜色空间）。
[0103] 在示例实施例中，VDR视频解码器（250)包括执行与预测有关的一个或多个操作 的预测处理单元（258)。可以使用由预测处理单元实行的预测来在VDR视频解码器（例如， 图2的250)中高效率地重构VDR图像。预测处理单元（258)被配置为：接收所述组映射参 数（234)，并且至少部分基于该组映射参数（234)和预测颜色空间中的8位上采样图像数据 来产生12+位预测图像。
[0104] 在示例实施例中，VDR图像解码器（250)中的第二解码器（252-2)被配置为基于 一个或多个增强视频信号来检索增强层图像容器中的8位（RGB)残差值。
[0105] 在示例实施例中，VDR图像解码器（250)中的非线性去量化器（NLdQ) 254和420至 440上采样器（268)被配置为：通过增强层接收一个或多个NLQ参数，并且使用所述一个或 多个NLQ参数来将4:2:0采样格式的8位残差值去量化并上采样为4:4:4采样格式的12+ 位数字表示（或RGB颜色空间中的12+位残差值）。
[0106] 在示例实施例中，VDR图像解码器（250)被配置为基于12+位残差值（230)和由 预测处理单元（258)产生的12+位预测图像来产生重构的VDR图像（260)。颜色通道（例 如，G通道）中的重构像素值可以是通过线性或对数域中的加法运算（例如，262)生成的总 和。可替代地和/或可选地，颜色通道（例如，G通道）中的重构值可以是通过线性或对数 域中的乘法运算生成的乘积。在各种示例实施例中，出于从残差值和预测图像产生重构像 素值（260)的目的，可以使用其它的数学表示和相应的运算/函数/映射。
[0107] 附加地和/或可选地，如本文中所描述的，视频编码器或解码器可以执行以下操 作中的一个或多个：变换、量化、熵编译码、图像缓冲、采样滤波、下采样、上采样、插值、复 用、解复用、交织、放大、缩小、运动补偿、视差估计、视差补偿、深度估计、深度补偿、编码、解 码等。
[0108] 3?高级量化
[0109] 在一些实施例中，诸如由VDR图像编码器（图1的102或图2的202)执行的高级 量化被设计和实现为捕捉/保留基本层中的尽可能多的图像细节。这使得需要被编码为增 强层视频信号的残差值（例如，图1的130或图2的230)的量最小化。此外，捕捉/保留 的基本层中图像细节支持诸如VDR图像解码器（例如，150)的下游装置高效率地重构VDR 图像。精确图像细节的存在减轻/减少/去除了否则在有损压缩操作期间将产生/放大的 视觉伪像。
[0110] 如所讨论的，与通过其它技术产生的针对SDR显示器优化的基本层SDR图像不同， 根据本文中所描述的技术解码的基本层图像不是用于在SDR显示器上观看。相反，根据本 文中所描述的技术解码的基本层图像用作中间图像数据，其用于进一步在VDR图像编码器 中产生残差值，并且用于进一步在VDR图像解码器中重构较高位深的VDR图像。
[0111] 根据本文中所描述的技术，被设计用于生成SDR显示器上的最佳观看体验的颜色 分级处理是不需要的，并且可被禁用或避免。在增强层处理路径和基本层处理路径中引起 非对称（或不同）剪切的外部控制的或用户控制的颜色校正被避免或禁用。增强层处理路 径和基本层处理路径两者中的剪切水平进一步由根据本文中所描述的技术的VDR图像编 码器控制。还可以在增强层图像数据中对在基本层图像数据中经过颜色剪切的像素进行颜 色剪切。
[0112]可以使用本文中所描述的技术来降低预测的计算复杂度，预测包括涉及基本层中 的SDR图像数据和增强层中的VDR图像数据的层间预测，并且这些技术是友好的片上系统 (SoC)。例如，本文中所描述的预测处理可以被实现为本文中所描述的高级量化（或伪颜色 分级）的逆操作。因为VDR图像编码器可以如本文中所描述的那样充分地控制高级量化， 所以预测处理也可以被充分地控制。在一些实施例中，可以在增强层处理路径和基本层处 理路径中充分地控制剪切水平和具有颜色剪切的像素，以使得诸如一次多项式映射的计算 效率高的预测方法可以足以产生和重构预测图像。
[0113] 在示例实施例中，通过线性量化器在（例如，图1和图2中的）高级量化中将较高 位深（例如，16位）VDR数据直接量化为较低位深（8位）基本层图像数据。
[0114] 在一些示例实施例中，可以使用线性或非线性量化器中的一个或多个来将较高位 深（例如，12+位）图像数据量化为较低位深（例如，8位）图像数据。可以选择不同颜色 空间中的和/或不同颜色通道中的不同量化器。例如，为了减轻/减少/去除（例如，平滑 区域中的）轮廓伪像和其它伪像，可以在不同颜色空间中和/或通过不同高级量化方法来 量化视频信号。在一些实施例中，本文中所描述的高级量化可以包括以下中的一个或多个： 线性量化；线性拉伸；基于曲线的/非均匀的量化；基于关于一个帧、多个帧、一个场景、多 个场景、或者一个帧内的一个或多个分区等的直方图的概率密度函数（Pdf)优化量化（例 如，Lloyd-Max量化）；感知量化；矢量量化；前述量化的任何组合（例如，在感知空间中进 行感知量化后，接着进行Pdf优化量化）。在一些实施例中，特定类型的高级量化可以与一 种或多种类型的预测方法具有对应关系。例如，当将均匀量化应用为高级量化时，预测中所 使用的对应类型的预测方法可以基于一次多项式。
[0115] 量化可以在单独通道的基础上执行，或者在两个或更多个通道上被同时执行。在 示例实施例中，可以跨两个或更多个颜色通道执行矢量量化。例如，可以通过使用颜色空间 中的颜色通道作为轴来设置坐标系（例如，3DCartesian)。可以在该坐标系中执行诸如旋 转的空间变换，以创建被定义为颜色空间中的所述两个或更多个颜色通道的组合（或投影 的总和）的新轴。被投影以形成这些新轴中的一个轴的所述两个或更多个颜色通道中的像 素值可一起被量化器在这些新轴中的所述一个轴上量化。
[0116] 在一些实施例中，特定高级量化方法可以基于如下被选择：该特定高级量化方法 可以在多大程度上压缩输出多层VDR图像数据、同时仍保持被压缩的输出VDR图像数据在 VDR解码器侧的高感知质量。
[0117] 在一些实施例中，可以选择补偿编解码器的弱点的特定高级量化方法。例如，编解 码器可能在压缩暗区域方面表现不好，并且甚至可能在重构的VDR图像中输出轮廓伪像。 本文中所描述的高级量化可以使用特定曲线（例如，Sigmoid曲线、mu-law、基于人类感知 的曲线等）来产生具有较少的重构VDR图像中可见的轮廓伪像的图像数据。
[0118] 根据本文中所描述的技术的VDR编码器可以将输入VDR图像数据取作关于将被 VDR编码器处理的图像内容的唯一输入。尽管输入VDR图像数据可以被提供给增强层数据 处理，但是如本文中所描述的，可以使用可以飞速（例如，以与输入VDR被输入到VDR编码 器的速度相同的线速）执行的高级量化来产生基本层数据处理的输入图像数据。
[0119] 在一些实施例中，在如本文中所描述的8位量化步骤（例如，图1的128或图2的 228)之前可进行使视频（例如，VDR)信号看起来更像SDR信号的转换，这是因为诸如H. 264 的现有编码器可能已经适合于处理SDR信号。可以使用移动VDR信号的动态范围以使之看 起来更像SDR信号的各种高级量化技术。在示例实施例中，可以使用可逆颜色分级方法（例 如，斜率+偏移+功率+色调+饱和度或S0P+HS)来将稀疏数据变换到目标范围。在另一 示例实施例中，可以使用在显示管理中所使用的色调映射曲线来将VDR信号变换为看起来 更像SDR信号。这里，术语"显示管理"是指被执行以使VDR视频信号适合于特定显示器或 特定范围的显示器所支持的动态范围的一个或多个操作。
[0120] 本文中所描述的高级量化可被以一种或多种不同方式执行。高级量化可以执行全 局量化，在全局量化中，使用单个设置来量化整个帧或整个场景。高级量化还可以执行基于 分区的（局部）量化，在该量化中，每个帧划分为多个不重叠区域，并且每个不重叠区域被 使用自身的设置来量化。高级量化可以执行基于分区的（局部）量化，在该量化中，每个帧 划分为多个不重叠区域，并且每个不重叠区域被使用自身的设置来量化，但是用于特定不 重叠区域的量化器设置是基于从一个或多个重叠区域导出的分析数据而确定的。可以在一 个或多个不同颜色空间中的任何一个中应用高级量化。其中可以应用高级量化的颜色空间 的例子包括但不限于以下空间中的任何一个：RGB颜色空间、YCbCr颜色空间、YCoCg颜色空 间、ACES颜色空间或其它颜色空间。
[0121] 在一些实施例中，其中应用量化的颜色空间被保持与其中执行预测的颜色空间相 同。在VDR图像编码处理和VDR图像解码处理这两者中都可以如此。如果其中发生图像呈 现的颜色空间不同于其中量化发生的颜色空间，则可以视情况执行颜色空间变换。
[0122] 4.线性拉伸
[0123] 在示例实施例中，可以在如图1和图2中所示的高级量化中、在如图3中所示的 YCbCr颜色空间中或者在RGB颜色空间中应用场景自适应动态范围调整量化方法。所考虑 的一个场景中内的颜色通道i中的最大值可以被表示为。所考虑的一个场景中内的颜 色通道i中的最小值可以被表示为Vi，min。由该范围内的数据点的最小值和最大值和/或分 布限定的范围可以基于图像内容从帧到帧、从多个帧到多个帧、从场景到场景、从多个场景 到多个场景、从节目到节目等等而改变。
[0124] 颜色通道i中的待处理像素值可以被表示为Vi。在VDR(例如，亮度）编码空间为 16位（或图1和图2中的12+位）的情况下，可以适用以下表达式：
[0125]0 彡v一n<U216_l (1)
[0126] 场景自适应动态范围调整量化方法如下将整个范围[vi>min,vi;max]映射到8位 YCbCr709 标准范围[Si，min，Si，max]:

【权利要求】
1. 一种方法，包括： 接收输入图像序列中的输入视觉动态范围（VDR)图像，其中，所述输入VDR图像包括第 一位深； 从一个或多个可用的高级量化函数选择特定高级量化函数； 将所述特定高级量化函数应用于所述输入VDR图像以产生输入基本层图像，其中，所 述输入基本层图像包括第二位深，所述第二位深低于所述第一位深； 将从所述输入基本层图像导出的图像数据压缩为基本层（BL)视频信号；和 将从所述输入VDR图像导出的图像数据的至少一部分压缩为一个或多个增强层（EL) 视频信号。
2. 根据权利要求1所述的方法，还包括： 从所述BL视频信号解码BL图像，所述BL图像对应于所述输入BL图像； 从一种或多种预测方法选择预测方法； 使用所述预测方法，至少部分基于所述BL图像来产生预测图像； 基于所述预测图像和所述输入VDR图像来产生残差值； 将非线性量化应用于所述残差值以产生输出EL图像数据，所述残差值包括较高位深 值，并且所述输出EL图像数据包括较低位深值；和 将所述输出EL图像数据压缩为所述一个或多个EL视频信号。
3. 根据权利要求2所述的方法，其中，基于高级量化方法与预测方法之间的对应关系 来选择所述预测方法。
4. 根据权利要求1所述的方法，其中，高级量化方法包括以下中的一种或多种：全局量 化、线性量化、线性拉伸、基于曲线的量化、概率密度函数（Pdf)优化量化、LLoyd-Max量化、 基于分区的量化、感知量化、交叉颜色通道/矢量量化或其它类型的量化。
5. 根据权利要求1所述的方法，其中，所述输入图像序列包括不同的第二VDR输入图 像；并且所述方法还包括： 从一种或多种可用的高级量化方法选择不同的第二特定高级量化方法； 将所述第二特定高级量化方法应用于所述第二输入VDR图像以产生第二输入BL图 像； 将从所述第二输入基本层图像导出的第二图像数据压缩为所述BL视频信号；和 将从所述第二输入VDR图像导出的图像数据的至少一部分压缩为所述一个或多个EL 视频信号。
6. 根据权利要求5所述的方法，还包括： 从所述BL视频信号解码不同的第二BL图像，所述第二BL图像对应于所述第二输入BL图像； 从所述一种或多种预测方法选择不同的第二预测方法； 使用所述第二预测方法，至少部分基于所述第二BL图像来产生第二预测图像； 基于所述第二预测图像和所述第二输入VDR图像来产生不同的第二残差值； 将非线性量化应用于所述第二残差值以产生第二输出EL图像数据，所述第二残差值 包括较高位深值，并且所述第二输出EL图像数据包括较低位深值；和 将所述输出EL图像数据压缩为所述一个或多个EL视频信号。
7. 根据权利要求1所述的方法，其中，VDR编码器中的第一 8位编码器将所述输入BL 图像中的图像数据压缩为所述BL视频信号，并且其中，所述VDR编码器中的第二8位编码 器将所述输入VDR图像中的图像数据的至少一部分压缩为所述一个或多个EL视频信号。
8. 根据权利要求7所述的方法，其中，所述第一 8位编码器和所述第二8位编码器中的 至少一个包括以下之一：高级视频编码（AVC)编码器、运动图像专家组（MPEG)-2编码器、或 高效率视频编码（HEVC)编码器。
9. 根据权利要求1所述的方法，其中，高级量化方法基于一个或多个因素被选择，该一 个或多个因素包括但不限于最小化相对于所述输入VDR图像的将被编码为所述一个或多 个EL视频信号的图像数据的量。
10. 根据权利要求1所述的方法，其中，高级量化方法基于一个或多个因素被选择，该 一个或多个因素包括但不限于从所述输入VDR图像确定的一个或多个特性。
11. 根据权利要求1所述的方法，其中，在接收到所述输入VDR图像之后，禁止调色师进 行颜色分级。
12. 根据权利要求1所述的方法，其中，使用第一图像容器来保存从所述输入BL图像导 出的图像数据，并且其中，使用不同的第二图像容器来保存所述输入VDR图像中的图像数 据的所述至少一部分。
13. 根据权利要求12所述的方法，其中，所述第一图像容器和所述第二图像容器中的 至少一个包括颜色空间中的一个或多个通道中的像素值。
14. 根据权利要求12所述的方法，其中，从与多个采样方案相关联的多个图像容器选 择所述第一图像容器和所述第二图像容器中的至少一个，并且其中，所述多个采样方案包 括4:4:4采样方案、4:2:2采样方案、4:2:0采样方案或其它采样方案中的任何一个。
15. 根据权利要求1所述的方法，还包括将通过一个或多个输入视频信号被表示、接 收、发送或存储的一个或多个输入VDR图像转换为通过一个或多个输出视频信号被表示、 接收、发送或存储的一个或多个输出VDR图像。
16. 根据权利要求1所述的方法，其中，所述一个或多个EL视频信号和所述输入VDR 图像中的至少一个包括按以下之一被编码的图像数据：高动态范围（HDR)图像格式、与电 影艺术与科学学院（AMPAS)的学院颜色编码规范（ACES)标准相关联的RGB颜色空间、数字 电影倡导联盟的P3颜色空间标准、参考输入媒介度量/参考输出媒介度量（RIMM/ROMM)标 准、sRGB颜色空间、或RGB颜色空间或YCbCr颜色空间。
17. 根据权利要求1所述的方法，还包括： 确定用于所述输入VDR图像处理为所述BL和EL视频信号的特定配置文件；和 在将所述输入VDR图像处理为所述BL和EL视频信号中执行与所述特定配置文件相关 的一个或多个操作。
18. -种方法，包括： 基于一个或多个增强层（EL)视频信号来产生输入图像序列中的VDR图像的图像数据 的至少一部分； 基于基本层（BL)视频信号来产生BL图像，所述BL图像包括通过从一种或多种可用的 高级量化方法选择的特定高级量化方法产生的所述VDR图像的基本层VDR图像数据；和 基于所述BL图像和所述图像数据的所述至少一部分来重构所述VDR图像的版本，所述 VDR图像的所述版本包括比所述BL图像所包括的第二位深高的第一位深。
19. 根据权利要求18所述的方法，还包括： 接收预测元数据，所述预测元数据包括但不限于一组映射参数； 基于所述预测元数据来确定预测方法； 使用所述预测方法，至少部分基于所述BL图像来产生预测图像； 通过将所述预测图像与从所述一个或多个EL视频信号导出的图像数据的所述至少一 部分进行组合来重构所述VDR图像的较高位深版本。
20. 根据权利要求19所述的方法，其中，所述预测方法对应于所述高级量化方法。
21. 根据权利要求19所述的方法，其中，高级量化方法包括以下中的一种或多种：全局 量化、线性量化、线性拉伸、基于曲线的量化、概率密度函数（Pdf)优化量化、LLoyd-Max量 化、基于分区的量化、感知量化、交叉颜色通道/矢量量化或其它类型的量化。
22. 根据权利要求19所述的方法，其中，通过VDR解码器中的第一 8位解码器从所述 BL视频信号导出所述BL图像，并且其中，通过所述VDR解码器中的第二8位解码器从所述 一个或多个增强层（EL)视频信号导出所述VDR图像中的图像数据的所述至少一部分。
23. 根据权利要求22所述的方法，其中，所述第一 8位编码器和所述第二8位编码器 中的至少一个包括以下之一：高级视频编码（AVC)编码器、运动图像专家组（MPEG)-2编码 器、或高效率视频编码（HEVC)编码器。
24. 根据权利要求18所述的方法，其中，高级量化方法基于一个或多个因素被选择，该 一个或多个因素包括但不限于最小化相对于源VDR图像的将被从所述一个或多个EL视频 信号导出的图像数据的量。
25. 根据权利要求18所述的方法，其中，使用第一图像容器来保存BL图像中的图像数 据，并且其中，使用不同的第二图像容器来保存所述VDR图像的图像数据的所述至少一部 分。
26. 根据权利要求25所述的方法，其中，所述第一图像容器和所述第二图像容器中的 至少一个包括颜色空间中的一个或多个通道中的像素值。
27. 根据权利要求25所述的方法，其中，从与多个采样方案相关联的多个图像容器选 择所述第一图像容器和所述第二图像容器中的至少一个，并且其中，所述多个采样方案至 少包括4:4:4采样方案、4:2:2采样方案、4:2:0采样方案或其它采样方案。
28. 根据权利要求18所述的方法，还包括对通过一个或多个输入视频信号被表示、接 收、发送或存储的一个或多个VDR图像进行处理。
29. 根据权利要求18所述的方法，其中，所述VDR图像的所述较高位深版本的至少一部 分包括按以下之一被编码的图像数据：高动态范围（HDR)图像格式、与电影艺术与科学学 院（AMPAS)的学院颜色编码规范（ACES)标准相关联的RGB颜色空间、数字电影倡导联盟的 P3颜色空间标准、参考输入媒介度量/参考输出媒介度量（RIMM/R0MM)标准、sRGB颜色空 间、或与国际电信联盟（ITU)的BT. 709推荐标准相关联的RGB颜色空间。
30. 根据权利要求18所述的方法，还包括： 确定与所述BL和EL视频信号相关的特定配置文件；和 在从所述BL和EL视频信号重构所述VDR图像的较高位深版本中执行与所述特定配置 文件相关的一个或多个操作。
31. -种执行根据权利要求1-17所述的方法中的任何一种的编码器。
32. -种执行根据权利要求18-30所述的方法中的任何一种的解码器。
33. -种执行根据权利要求1-30所述的方法中的任何一种的系统。
34. -种系统，包括： 编码器，所述编码器被配置为执行： 接收输入图像序列中的输入视觉动态范围（VDR)图像； 从一个或多个可用的高级量化方法选择特定高级量化方法； 将所述特定高级量化函数应用于所述输入VDR图像以产生输入基本层图像，所述输入VDR图像包括较高位深VDR图像数据，并且所述输入基本层图像包括较低位深VDR图像数 据； 将从所述输入基本层图像导出的图像数据压缩为基本层（BL)视频信号；和 将从所述输入VDR图像导出的图像数据的至少一部分压缩为一个或多个增强层（EL) 视频信号； 解码器，所述解码器被配置为执行： 基于一个或多个增强层（EL)视频信号来产生输入VDR图像的输入图像数据的至少一 部分； 基于BL视频信号来产生BL图像；和 基于所述BL图像和所述输入图像数据的所述至少一部分来重构所述输入VDR图像的 较高位深版本。
35. 根据权利要求1所休的方法，其中，所诜择的高级量化函数句,栝线性拉伸函数：
其中，~指示所述输入图像序列中的第i输入VDR图像的第j像素，s#指示所产生的 第i输入基本层图像的第j像素，vUi和Viu指示第i输入VDR图像中的像素之中的最小像 素值和最大像素值，cui和cH，i指示所产生的第i输入基本层图像中的像素之中的最小像素 值和最大像素值，O是舍入常数。
36. 根据权利要求1所述的方法，其中，所选择的高级量化函数包括基于场景的适配函 数：
其中，Vji指示所述输入图像序列中的场景中的第i输入VDR图像的第j像素，Sji指示 所述场景中的所产生的第i输入基本层图像的第j像素，Vumin和vH，max指示所述场景中的 所述输入VDR图像中的像素之中的最小值和最大值，Cumin和cH，max指示所述场景中的所产 生的输入基本层图像中的像素之中的最小像素值和最大像素值，O是舍入常数。
37. 根据权利要求1所述的方法，其中，所选择的高级量化函数包括基于逐帧的适配函 数：
其中，指示所述输入图像序列中的过渡场景中的第i输入VDR图像的第j像素，Sji 指示所述过渡场景中的所产生的第i输入基本层图像的第j像素，vUi和Vlu指示所述过渡 场景中的第i输入VDR图像中的像素之中的最小值和最大值，Cumil^PcH，max指示所述过渡场 景中的所产生的输入基本层图像中的像素之中的最小像素值和最大像素值，O是舍入常数。
38. 根据权利要求37所述的方法，其中，所述过渡场景包括淡入场景或淡出场景。
39. 根据权利要求1所述的方法，其中，从所述一个或多个可用的高级量化函数选择特 定高级量化函数的步骤还包括： 选择所述输入图像序列中的两个连续输入VDR图像； 应用第一适配函数来计算第一组两个相应基本层（BL)图像； 应用第二适配函数来计算第二组两个相应BL图像； 基于所述第一组BL图像来计算第一组直方图； 基于所述第二组BL图像来计算第二组直方图； 基于所述第一组直方图来计算第一均方差； 基于所述第二组直方图来计算第二均方差； 将所述第一均方差与所述第二均方差进行比较；和 如果所述第一均方差小于所述第二均方差，则选择所述第一适配函数。
40. 根据权利要求39所述的方法，其中，所述第一适配函数是基于逐帧的适配函数，并 且所述第二适配函数是基于场景的适配函数。
【文档编号】H04N19/98GK104322072SQ201280053511
【公开日】2015年1月28日 申请日期:2012年11月1日 优先权日:2011年11月4日
【发明者】苏冠铭, 曲晟, S·N·胡亚勒卡, 陈涛, W·C·吉什, H·凯普弗 申请人:杜比实验室特许公司