对多层vdr译码中的感知量化的视频内容进行编码的制作方法
【专利说明】
[0001] 相关申请的交叉引用
[0002] 本申请要求2013年3月26日提交的美国临时专利申请No. 61/805,388和2013 年8月2日提交的No. 61/861，555的优先权，每篇申请的全部内容通过引用并入此。
技术领域
[0003] 本发明总体上涉及图像处理，并且尤其涉及对感知量化的视频进行编码、解码和 表不。
【背景技术】
[0004] 多个层可以被用于将视频数据从上游设备（诸如多层视频编码器）递送到下游设 备。例如，虚拟动态范围（VDR)视频数据被承载在所述多个层的基本层和增强层（EL)的组 合中以供用于VDR显示器的观看体验。
[0005] BL图像数据可被用从VDR图像推导的低或部分动态范围图像数据进行编码。在低 或部分动态范围图像数据中，从VDR图像映射的出界码字可以被裁剪到目标表示范围。VDR 图像中所表示的文本变化和图像细节在低或部分动态范围图像数据中可能丢失。
[0006] 在本部分中描述的方法是可从事的方法，但未必是以前已经构想或从事的方法。 因此，除非另外指出，否则，不应仅凭借包含于本部分中而认为在本部分中描述的方法中的 任一种为现有技术。类似地，除非另外指出，否则，关于一种或更多种方法识别的问题不应 基于本部分而认为在任何现有技术中已被识别。
【附图说明】
[0007] 本发明在附图的图中以举例的方式、而非限制的方式被例示说明，在附图中，相似 的标号指代类似的元件，其中：
[0008] 图1A例示说明根据本发明的实施例的多层视频编码器；
[0009] 图1B例示说明根据本发明的实施例的多层视频解码器；
[0010] 图1C和图1D例示说明根据本发明的实施例实现的解码器中的组成器单元的定点 实现；
[0011] 图2A和图2B例示说明根据本发明的实施例的搜索最佳映射参数值的示例算法；
[0012] 图3A和图3B例示说明根据本发明的实施例的示例处理流程；以及
[0013]图4例示说明在其上可以实现本文中所描述的计算机或计算设备的示例硬件平 台。
【具体实施方式】
[0014]本文中描述了与使用多层编解码器对包括感知量化的基本层图像数据的可变动 态范围图像进行编码、解码和表示相关的示例实施例。在以下描述中，出于解释的目的，阐 述了大量具体的细节以便提供本发明的透彻理解。然而，很明显本发明可在不具有这些具 体细节的情况下被实现。在其它实例中，众所周知的结构和设备未被详尽地描述，以避免不 必要地掩盖、遮盖或混淆本公开。
[0015] 在本文中根据以下大纲来描述示例实施例：
[0016] 1?总体概述
[0017] 2.对视频内容进彳丁编码和解码
[0018] 3.基于图像内容分配可用码字
[0019] 4.多层视频编码
[0020] 5.多层视频解码
[0021] 6.BL图像数据中的视觉细节的保留
[0022] 7.幂函数中的指数值的示例确定
[0023] 8.包括分段线性量化的线性量化中的参数值的示例确定
[0024]9.示例处理流程
[0025] 10?示例机构--硬件概述
[0026]11.等同、扩展、替代和其它
[0027] 1?总体概述
[0028] 此概述给出了本发明的实施例的一些方面的基本描述。应指出，此概述不是该实 施例的各方面的广泛或详尽总结。此外，应指出，此概述不预期被理解为标识该实施例的任 何尤其重要的方面或元素，也不会特别限制示例性实施例的任何范围，也不会在整体上限 制本发明。此概述仅仅以扼要和简化的格式表示涉及示例性实施例的一些概念，并且应被 理解为仅仅是以下示例性实施例的更详细描述的概念性前序。
[0029] 在一些实施例中，多层编解码器可以被用于针对多种多样的显示器（例如，VDR 显示器等）产生或处理包括压缩图像（例如，视频图像）的媒体信号。为了在多种多样的 宽动态范围显示器和窄动态范围显示器上提供优良的视觉质量，可以用实现本文中所描述 的感知量化（P?技术的多层编解码器来对将被发布到下游设备的视频内容进行量化和编 码。被下游设备渲染的这样的视频内容表现出与通过其它技术表现的那些视觉特性极大不 同的视觉特性。
[0030] 如本文中所使用的，术语"多层编解码器"可以指在音频视觉信号（例如，位流、广 播信号、媒体文件等）中实现多层结构的多层编码器或解码器。所述多个层包括基本层和 一个或多个增强层。基本层和增强层包括从相同的（例如，感知编码的、等等）源图像推导 的图像数据。基本层中的图像数据包含具有低动态范围或部分动态范围的压缩图像数据， 该压缩图像数据可能不能针对在相对较窄的动态范围（诸如标准动态范围或SDR)的显示 器上的渲染进行优化。所述多个层中的图像数据联合包含宽动态范围的压缩图像，这些压 缩图像可以被解码并且在相对较宽的动态范围（诸如视觉动态范围或VDR)的显示器上被 观看。本文中所使用的术语"VDR"或"视觉动态范围"可以指比标准动态范围宽的动态范 围，并且可以包括但不限于直到人类视觉在一瞬间可以感知到的瞬间可感知动态范围和色 域的宽动态范围。
[0031] 本文中所描述的多层编解码器可以在多个层中用两个或更多个低位深（例如，8 位等）编解码器（例如，伽玛域编解码器等）来实现，以便在整体上支持所述多个层中的高 位深（例如，12+位等）图像，并且支持基本层中的低位深（例如，8位等）图像。例如，一 个或多个伽玛域编码器可以被部署在BL信号处理路径中和/或本文中所描述的多层编码 器的一个或多个EL信号处理路径中。在一些实施例中，至少一个伽玛域解码器可以被部署 在下游设备（其是仅基本层的解码器）的BL信号处理路径中。
[0032] 本文中所描述的PQ技术可以被用于使得伽玛域编解码器能够保留原始的感知编 码的视频内容的视觉细节。不是需要在视频编码器侧的PQ至伽玛格式转换器以及在解码 器侧的伽玛至PQ格式转换器，本文中所描述的技术使得多层编码器、多层解码器、基本层 解码器等中的伽玛域编解码器能够在没有这些格式转换器的情况下直接保留感知编码的 视频内容的视觉细节。在宽动态范围和窄动态范围中都保留这些视觉细节的感知量化的视 频信号可以在不利用PQ至伽玛格式转换的情况下由多层编码器直接提供给下游设备。类 似地，下游设备接收的感知量化的视频信号可以在不利用伽玛至PQ格式转换的情况下直 接被下游设备解码和/或被用保留的视觉细节渲染。因此，根据本文中所描述的技术，计算 复杂度、译码效率和感知质量都可以得到显著改善。
[0033] 实现本文中所描述的技术的编解码器可以被进一步配置为包括充分利用基本层 (BL)图像数据和原始输入图像数据之间的统计冗余的层间预测能力。EL图像数据可以（可 能仅可以）承载残余（或差分）图像数据，而不是在不利用不同层的图像数据中的相关性 和统计冗余性的情况下承载大量宽动态范围图像数据。
[0034] 在一些示例实施例中，其它应用（包括但不限于与感知编码操作无关的那些应用 等）所需的数据也可以与基本层和增强层图像数据包括在一起被从上游设备递送到下游 设备。在一些示例实施例中，如本文中所描述的，附加特征和/或正交特征可以被基本层和 增强层支持。
[0035] 在一些示例实施例中，如本文中所描述的机构形成媒体处理系统的一部分，所述 媒体处理系统包括但不限于以下中的任何一个：手持设备、游戏机、电视、膝上型计算机、上 网本计算机、平板计算机、蜂窝无线电电话、电子书阅读器、销售点终端、台式计算机、计算 机工作站、计算机亭、或各种其它种类的终端和媒体处理单元。
[0036] 对于文中所描述的优选实施例以及总体原理和特征的各种修改将对于本领域那 些技术人员显而易见。因此，本公开并不局限于所示的实施例，而是要被给予与文中描述的 原理和特征一致的最宽的范围。
[0037] 2.对视频内容进行编码和解码
[0038] 如果两个亮度水平彼此的差别不足，则人类视觉可能不能感知到这两个亮度水平 之间的差别。反而，人类视觉只有在亮度水平的差别不小于最小可觉差（JND)时才感知到 差别。由于人类视觉的感知非线性，各JND的量不是均匀地在亮度水平范围上设定大小和 比例，而是随着不同的单独的亮度水平发生变化。
[0039] 本文中所描述的技术（例如，算法等）可以被多层编码器用于将源视频内容编码 为多层视频信号，该多层视频信号保留BL图像数据中的以及BL和EL图像数据的组合中的 源视频内容的视觉细节。在一些实施例中，源视频内容最初基于感知编码技术（例如，由 Dolbylaboratories,Inc.，SanFrancisco,California开发的VDR编码技术等），用（例 如，由VDR规范定义的、等等的）源编码格式的源码字进行编码。在一些实施例中，源编码 格式的源码字表示以如下这样的方式分布的亮度水平，即亮度水平被最佳地间隔或量化以 与人类视觉的感知非线性匹配。
[0040] 本文中所描述的多层编码器所产生的多层视频信号可以被直接地或间接地发送 到或者被多种多样的下游设备接收，所述下游设备包括但不限于以下中的任何一个：具有 多层解码器的显示系统、具有基本层解码器的显示系统等。
[0041] 支持相对较宽动态范围显示操作的下游设备（例如，多层解码器等）可以基于接 收的多层视频信号来推导和/或渲染源视频内容的宽动态范围版本。解码的源视频内容的 宽动态范围版本表示逼近源视频内容中的源码字所表示的亮度水平的目标亮度水平（例 如，设备特定亮度水平等）。
[0042] 支持相对较窄动态范围显示操作的下游设备（例如，BL解码器等）可以基于接收 的多层视频信号的BL图像数据来推导和/或渲染解码的具有源视频内容的视觉细节的窄 动态范围版本。解码的源视频内容的窄动态范围版本表示从源视频内容中的源码字所表示 的亮度水平映射的、但是在下游设备所支持的相对较窄的动态范围内的目标亮度水平（例 如，设备特定亮度水平等）。
[0043]虽然源视频内容的解码的窄动态范围版本和解码的宽动态范围版本都表示从源 视频内容中的源码字所表示的亮度水平映射的目标亮度水平（例如，设备特定亮度水平 等），但是与源视频内容中的源码字所表示的亮度水平相比，源视频内容的解码的窄动态范 围版本可能比源视频内容的解码的宽动态范围版本包括更多的误差（例如，由于相对较低 的位深、低或高亮度水平处的裁剪等而导致的量化误差）。
[0044] 3.基于图像内容分配可用码字
[0045] 不使用本文中所描述的技术的视频编解码器以不保留最初感知编码的源视频内 容的视觉细节的方式分配特定位深（例如，8位等）的码字。例如，包括不使用本文中所描述 的技术的伽玛域编解码器的媒体设备可能会对设备特定动态范围中的高亮度子范围（例 如，明亮的部分、高光等）过多地分配码字，而对设备特定动态范围中的低亮度子范围（例 如，黑暗的部分、黑暗区域等）不足地分配码字。结果，感知编码的源视频内容的视觉细节 在这些其它的技术下不必要地丢失。
[0046] 与不使用本文中所描述的技术的视频编解码器相比，根据这些技术的多层编解码 器中的视频编解码器以保留感知编码的源视频内容的视觉细节的方式分配特定位深（例 如，8位等）的可用码字。结果，与不使用这些技术的其它视频编解码器相比，源视频内容中 的感知细节在本文中所描述的多层编解码器中被更好地保留。
[0047]根据本文中所描述的技术，多层编解码器基于源视频内容中的（例如，场景中的、 等等的）图像帧所承载的图像内容来选择/确定特定的参数值（例如，幂函数中的指数值、 线性量化中的斜率、分段线性量化中的枢轴（Pivot)等）。如果图像内容包括更多的高光部 分或更多的亮度水平，则参数值可以被选为/被确定为使更多的在高亮度子范围中被表示 的亮度水平可供用于编码或解码操作。如果图像内容包括更少的高光部分或更少的亮度水 平，则参数值可以被选为/被确定为使更少的在高亮度子范围中被表示的亮度水平可供用 于编码或解码操作。类似地，如果图像内容包括更多的黑暗部分或更多的亮度水平，则参数 可以被选为/被确定为使更多的在低亮度子范围中被表示的亮度水平可供用于编码或解 码操作。如果图像内容包括更少的黑暗部分或更少的亮度部分，则参数值可以被选为/被 确定为使更少的在低亮度子范围中被表示的亮度水平可供用于编码或解码操作。
[0048]4.多层视频编码
[0049] 如前面所指出的，包括基本层和一个或多个增强层的多层视频信号（例如，译码 的位流等）可以被上游设备（例如，图1的多层编码器102)用于将编码的视频内容递送到 下游设备（其之一可以例如是图1B的多层解码器152等）。在一些实施例中，通过多个层 递送的视频内容包括相对较低位深的BL图像数据（例如，图1A、图1B的106等）和作为 BL图像数据