分层vdr编译码中的层分解的制作方法
【专利说明】分层VDR编谭码中的层分解
[0001] 本申请是申请号为201280053511.9、申请日为2012年11月1日、发明名称为"分层 VDR编译码中的层分解"的发明专利申请的分案申请。
[0002] 相关申请的交叉引用
[0003] 本申请要求于2011年11月4日提交的美国临时专利申请No. 61/555,978和于2012 年2月8日提交的美国临时申请No. 61 /596，600的优先权，运两篇申请的全部内容都通过引 用并入此。
技术领域
[0004] 本发明总体上设及图像处理，并且尤其设及使用分层VDR编解码器来对可变动态 范围图像进行编码、解码和表示。
【背景技术】
[0005] 由Do化y Laboratories, In.C和其它公司开发的显示技术能够再现具有高动态范 围化DR)的图像。运样的显示器可W再现比常规显示器更忠实地表示真实世界场景的图像。
[0006] 为了支持向后兼容W及新的皿R显示技术，可W使用多个层来将视频数据从诸如 多层视频编码器的上游装置递送到下游装置。在所述多个层的基本层(BL)中传载的标准动 态范围（SDR)视频数据针对在SDR显示器上的观看体验进行优化，而在所述多个层的基本层 和增强层化L)的组合中传载的视觉动态范围（VDR)视频数据支持具有比SDR显示器的动态 范围高的动态范围的VDR显示器的观看体验。如本文中所使用的，在对运样的图像数据进行 编码和解码中所设及的编解码器被指示为针对SDR显示器优化的VDR编解码器。
[0007] 化图像数据可W包括从来自图像数据输入的较高位深化igher bit depth)(例 如，每一颜色分量12位或更多位）的HDR源图像导出的较低位深（lower bit depthK例如， 每一颜色分量8位)的SD姻像。在化图像数据中编码的SDR图像典型地包括调色师进行的W 使得SDR图像在相对窄的或标准的动态范围内看起来尽可能地逼真的颜色校正。例如，可W 在SDR图像中改变或校正与输入HDR图像中的像素中的一些或全部像素相关的色调信息，W 便创建在标准动态范围内看起来逼真的图像。运些颜色校正导致各个颜色通道中的非对称 剪切(clipping),并且特别是在HDR源图像的相对欠曝光或过曝光区域中引入人工颜色改 变。经过颜色校正的SDR图像可W使得SDR显示器可W示出HDR源图像的暗区域和高亮区中 的图像细节。
[000引剪切是一种类型的颜色改变，其改变/修改颜色通道中的界外像素值，W使得得到 的像素值在目标表示范围内（目标表示范围可W是在特定类型的SDR显示器所支持的范围 内的一个范围、或者在由SDR显示器的范围所支持的范围内的一个范围、或者在由VDR显示 器的范围所支持的范围内的一个范围、等等）。剪切可W发生在颜色通道中的零个、一个或 多个中（例如，可W在经色调映射的图像中剪切HDR图像的某一部分中的在RGB颜色空间中 的R、G和B像素值）。剪切量可W或者可W不随颜色通道而变化（例如，对于绿色，剪切得更 多，而对于蓝色，剪切得更少，等等）。
[0009] 引入到SDR图像中的诸如剪切的颜色校正使得SDR图像包括与它们的对应VDR图像 的不同的且来源独立的图像内容，并且难W、甚至不可能在没有复杂处理且没有足够大的 位率的情况下被下游装置移除W用于重构高动态范围图像。当使用多个层来将图像数据发 送到下游装置时，执行颜色校正的逆操作可能要求例如在增强层中将大量附加图像数据发 送到下游装置。
[0010] 在本部分中描述的方法是可从事的方法，但未必是W前已经构想或从事的方法。 因此，除非另外指出，否则，不应仅凭借包含于本部分中而认为在本部分中描述的方法中的 任一种为现有技术。类似地，除非另外指出，否则，关于一种或更多种方法识别的问题不应 基于本部分而认为在任何现有技术中已被识别。
【附图说明】
[0011 ]在附图中W作为示例的、而非限制的方式例示本发明，在附图中，相似的标号指示 类似的元件，并且在附图中：
[0012] 图1例示根据示例实施例的基本配置文件(baseline profile)中的视觉动态范围 编解码器架构；
[0013] 图2例示根据示例实施例的主配置文件中的视觉动态范围编解码器架构；
[0014] 图3例示根据示例实施例的在YCbCr颜色空间中应用的场景自适应(adaptive)动 态范围调整量化；
[001引图4A和图4B例示根据本发明的示例实施例的示例处理流程；
[0016] 图5例示根据本发明的实施例的在其上可W实现本文中所描述的计算机或计算装 置的示例硬件平台；W及
[0017] 图6例示根据本发明的实施例的用于检测两个量化方案之间的选择和转变序列 (transition sequence)的示例流程。
【具体实施方式】
[0018] 本文中描述与使用分层VDR编解码器对可变动态范围图像进行编码、解码和表示 有关的示例实施例。在W下的描述中，出于解释的目的，为了使得能够彻底理解本发明，阐 述了大量的特定细节。但应理解，可W在没有运些特定细节的情况下实施本发明。在其它情 况下，为了避免不必要地遮蔽、掩盖或混淆本发明，不W详尽的细节描述公知的结构和装 置。
[0019]运里根据从下的要点描述示例性实施例：
[0020] 1.总体概述
[0021] 2.分层视频递送
[0022] 2.1基本配置文件
[0023] 2.2主配置文件
[0024] 3.高级量化 [00巧]4.线性拉伸
[0026] 5.示例处理流程
[0027] 6.自适应动态范围调整
[002引 7.实现机构一硬件概述
[0029] 8.等同、扩展、替代和其它
[0030] 1.总体概述
[0031] 本概述给出本发明的示例实施例的一些方面的基本描述。应当注意，本概述不是 示例性实施例的各方面的详尽或全面的概括。并且，应当注意，本概述不应被理解为标识示 例性实施例的任何特别重要的方面或要素，也不应被理解为特别地将示例性实施例的任何 范围划界，也不总体上将本发明划界。本概述仅W简要和简化的格式给出与示例性实施例 有关的一些概念，并且应被理解为仅是W下给出的示例性实施例的更详细的描述的概念性 序旨。
[0032] 在一些实施例中，可W使用分层VDR编解码器来将压缩的VDR图像（例如，视频图 像)提供给VDR图像处理装置(例如，VDR显示器）。如本文中所使用的，术语"分层VDR编解码 器"可W是指其中基本层在SDR显示器上可能不能被独自观看的VDR编解码器。如本文中所 使用的，术语"VDR"或"视觉动态范围"可W是指比标准动态范围宽的动态范围，并且可W包 括但不限于高达人类视觉可W瞬时感知的瞬时可感知动态范围和色域的宽动态范围。
[0033] 本文中所描述的支持较高位深(例如，12+位）的VDR图像的分层VDR编解码器可W 在多个层中用两个或更多个较低位深(例如，8位)的编解码器来实现。所述多个层可W包括 基本层和W及一个或多个增强层。
[0034] 与其它技术形成鲜明对比，根据本文中所描述的技术的基本层图像数据不支持 SDR显示器上的优化观看，或者使SDR图像看起来尽可能地好，在标准动态范围内与人类感 知匹配。相反，根据本文中所描述的技术的基本层图像数据支持VDR显示器上的优化观看。 在示例实施例中，根据本文中所描述的技术的基本层图像数据包括VDR图像数据的较低位 深版本的特定组成，并且在增强层中传载基本层与原始VDR图像之间的其余差异。
[0035] 此外，根据其它技术，与相同的源图像有关的VDR图像数据和SDR图像数据包括不 同的图像内容。例如，输入到编码器的SDR图像数据包括不是已知的或者可从输入到编码器 的VDR图像数据确定的特别的独立的改变。通常，可W通过在例如调色师已经改变SDR图像 数据之后将SDR图像数据与VDR图像进行比较来辩论地分析调色师进行颜色分级的结果或 颜色校正。
[0036] 与此形成鲜明对比，根据本文中所描述的技术，可W使用VDR图像数据来通过分层 分解(例如，高级量化，其后进行分层编码)导出基本层(BL)图像数据。高级量化中所应用的 特定方法是分层VDR编码器知道的，并且甚至是分层VDR编码器有目的地选择的。执行高级 量化的特定高级量化器的选择/确定可W基于例如在VDR解码器侧重构的VDR图像的图像质 量可能如何。因此，根据本文中所描述的技术的高级量化是由本文中所描述的分层VDR编解 码器事先知道的（例如，在生成输入到基本层处理的未压缩基本层数据之前）、控制和实现 的一个或多个操作。因此，根据本文中所描述的技术，可W避免或禁用根据其它技术的确定 独立地改变或产生的VDR图像数据与SDR图像数据之间的差异的复杂分析。
[0037] 实现本文中所描述的技术的编解码器可W被配置为包括充分利用基本层(BL)图 像数据与原始输入VDR图像数据之间的统计冗余的层间预测能力。EL图像数据可W (可能 仅)传载残差(或差分）图像数据，而不是在不利用不同层的图像数据中的统计冗余的情况 下传载大量VDR图像数据。
[0038] 在一些实施例中，可W使用预测来进一步最小化在增强层中将传载的VDR图像数 据的量。作为高级分层VDR编码器的特定应用，分层VDR编码器可W建立高级量化与预测之 间的相应关系。基于用于导出输入到基本层处理的未压缩基本层数据的高级量化的特定应 用，分层VDR编码器可W在多种可用的预测方法之中选择特定的相应预测方法。在例子中， 如果在高级量化中使用线性量化，则可W使用基于一次多项式的预测方法来进行预测。在 另一个例子中，如果在高级量化中使用量化曲线（例如，Sigmoid曲线、mu-law、基于人类感 知的曲线等），则可W使用与量化曲线相对应的基于更高次(二次或更高次）多项式的预测 方法来进行预测。在另一个例子中，如果在高级量化中使用交叉颜色（矢量)通道量化（例 如，在原色分级操作中所使用的斜率/偏移/功率/色调/饱和度），则可W使用相应的交叉颜 色通道预测来进行预测。在又一个例子中，如果在高级量化中使用分段量化，则可W使用与 分段量化相应的预测方法来进行预测。相应的预测方法可W由分层VDR编码器预先配置或 者动态地选择，运是因为分层VDR编码器预先知道(例如，在不分析高级量化的结果的情况 下)在高级量化中是否使用例如线性量化、曲线量化、交叉颜色通道量化、分段量化、基于查 找表(LUT)的量化、不同类型的量化的组合等、W及使用运些类型的量化中的哪种特定类型 的量化。
[0039] 与此形成鲜明对比，根据其它技术，因为基本层中的输入SDR图像数据的颜色校正 (诸如由调色师进行的那些颜色校正)是独立执行的，所W在没有对基本层中的输入SDR图 像数据和输入VDR图像数据两者的独立的不同的图像内容进行昂贵的比较和分析处理的情 况下，难W确定哪种方法应被用于进行预测。
[0040] 因此，在一些实施例中，根据本文中所描述的技术，可W禁用或避免用于确定VDR 和被独立改变的输入基本层内容中的差异的复杂且昂贵的分析(例如，在预测操作中）。分 层VDR编解码器可W实现用于将高级量化与预测相关联的高级量化和处理逻辑。
[0041] 在一些实施例中，即使分层VDR编解码器不被设计为提供针对在SDR显示器中观看 进行优化的基本层图像数据，分层VDR编解码器仍然可W通过基本层优化广泛地重用VDR编 解码器中的组件。在实施例中，分层VDR编码器可W在针对SDR显示器进行优化的情况下在 VDR编解码器基础设施中添加一个或多个模块或者修改一个或多个模块，W从输入VDR图像 数据通过高级量化来产生输入到基本层处理的基本层图像。因此，分层VDR编码器可W仅需 要来自输入VDR图像的图像内容的单个输入，而不是用于VDR的图像内容的一个输入W及用 于SDR的不同图像内容的另一个输入。例如，分层VDR编码器中的转换模块可W实现用于将 输入16位RGB VDR数据转换为作为输入到基本层处理的基本层图像数据的8位YCb化的高级 量化。
[0042] 在示例实施例中，分层VDR编解码器可W被配置为广泛地支持例如行业标准、专有 规范、来自行业标准的扩展中所定义的VDR参考处理语法、规范和编码架构、或前述的组合。 在示例实施例中，分层VDR编解码器(编码器和/或解码器)的输入和输出中的一个或多个与 用于针对SDR显示器优化的VDR编解码器的VDR规范或配置文件所指定的输入和输出相同或 基本上类似。分层VDR编解码器可W是经由两个(便宜的）8位解码器来处理和呈现1化位VDR 图像的工具，而无需使用昂贵的1化位解码器来为VDR图像提供感知上类似的图像质量。如 本文中所使用的，术语"N+位图像"可W是指使用每一个颜色分量N个位或更多个位表示的 并且具有至少一个颜色分量的图像。在一些实施例中，编解码器中的多于一个的较低位深 解码器和/或多于一个的较低位深编码器可w至少对于一些操作并行地工作，并且联合地 执行装置中的VDR图像数据的编码和解码。
[0043] 本文中所描述的实施例的实际益处包括但不限于为仅关屯、最终VDR质量、而不关 屯、或者甚至不查看可能从基本层图像数据构建的SDR版本的终端消费者提供高质量的VDR 图像数据。
[0044] 在一些实施例中，可W使用组合编解码器(其可W是VDR编码器或VDR解码器)来在 多种模式下操作。组合编解码器的操作模式中的一种操作模式可W使组合编解码器作为分 层VDR编解码器操作，而组合编解码器的操作模式中的不同的一种操作模式也可W允许对 适合于在SDR显示器上观看的基本层进行编码。结果，在一些示例实施例中，组合VDR解码器 可W适当地对遵循任一VDR规范的编码的位流进行解码。结果，在一些示例实施例中，组合 VDR编码器可W适当地产生遵循任一 VDR规范的编码的位流。
[0045] 在一些示例实施例中，其它应用程序所需的数据也可W与将从上游装置递送到下 游装置的基本层和增强层图像数据包括在一起。在一些示例实施例中，如本文中所描