高动态范围视频编码中的预抖动的制作方法
【专利说明】
[0001] 相关申请的交叉引用
[0002] 本申请要求2013年11月12日提交的序号为61/903,189的美国临时专利申请的优 先权，该申请的全部内容特此通过引用并入。
技术领域
[0003] 本发明总体上涉及视频图像。更特别地，本发明的实施例涉及视频信号在被编码 之前的上游抖动(dithering)或预抖动。
【背景技术】
[0004] 如本文中所使用的，术语"动态范围"（DR)可与人类心理视觉系统(HVS)感知图像 中的例如从最黑暗的暗（黑)到最明壳的壳（白）的强度(例如，壳度、luma)范围的能力有关。 从这个意义上来说，DR与"场景相关"强度有关。DR还可以与显示装置充分地或逼真地呈现 特定广度的强度范围的能力有关。从这个意义上来说，DR与"显示器相关"强度有关。除非在 本文的描述中的任何地点将特定的意义明确地指定为具有特别的重要性，否则应推断该术 语可以以任一意义使用，例如，可交换地使用。
[0005] 如本文中所使用的，术语高动态范围（HDR)与跨越人类视觉系统(HVS)的14-15个 数量级的DR广度有关。例如，具有(例如，从统计、生物计量或眼科意义中的一个或多个上来 说)基本上正常的视觉的适应性良好的人具有跨越大约15个数量级的强度范围。适应的人 可以感知少至仅少数光子的昏暗光源。然而，这些同样的人可以在沙漠、海洋或雪地中感知 正午的太阳的近乎痛苦的耀眼的强度(或者甚至瞥向太阳，但是是短暂地，以防止伤害）。不 过，该跨度可适用于"适应的"人(例如，其HVS具有进行重置和调整的时间段的那些人）。
[0006] 相反，与HDR相比较，DR可能是有所截断的，人可在DR上同时感知强度范围中的宽 的广度。如本文中所使用的，术语增强动态范围（EDR)或视觉动态范围（VDR)可以单独地或 可交换地与可通过HVS短期适应而感知的DR有关。如本文中所使用的，EDR可以与跨越5至6 个数量级的DR相关。因此，虽然与真实场景相关HDR相比较可能有点窄，但是EDR却表示宽的 DR广度。
[0007] 在实践中，图像包括一个或多个颜色分量(例如，亮度Y以及色度Cb和Cr)，其中，每 个颜色分量用每像素 n位的精度表示(例如，n = 8)。通过使用线性亮度编码，其中8的图 像(例如，彩色24位JPEG图像)被认为是标准动态范围的图像，而其中n>8的图像可以被认为 是增强动态范围的图像。EDR和HDR图像也可以使用低位深、非线性亮度编码（例如，10位对 数亮度编码）、或高精度(例如，16位)浮点格式(诸如由Industrial Light and Magic开发 的OpenEXR文件格式)来进行存储和发布。
[0008] 大多数消费者台式显示器支持200至300cd/m2或尼特的亮度。大多数消费者HDTV 的范围为从300至1000cd/m2。与HDR或EDR相比较，这样的常规的显示器因此代表低动态范 围（LDR)，LDR也被称为标准动态范围（SDR)。随着EDR内容的可用性由于捕捉设备(例如，照 相机)和EDR显示器(例如，Dolby Laboratories的PRM-4200专业参考监视器)两者的发展而 增长，EDR内容可以被颜色分级，并且被显示在支持更高动态范围（例如，从1，000尼特至5， 〇〇〇尼特或更大）的H)R显示器上。
[0009] 为了支持与老式回放装置以及新式HDR或超高清(UHD)显示技术的向后兼容性，多 个位流层可以用于将UHD和HDR(或EDR)视频数据从上游装置递送到下游装置。给定这样的 多层流，老式解码器可以使用一组层来重构具有较低动态范围（LDR)或标准动态范围（SDR) 的内容的HD版本。高级解码器可以使用第二组层来重构内容的HD或UHD EDR版本以在能力 更强的显示器上渲染它。在2013年9月26日提交的序号为61/882,773、标题为"BackWard-compatible coding for ultra-high definition signals with enhanced dynamic range"的美国临时专利申请中描述了这样的系统的例子，该申请也于2013年12月4日作为 序号为PCT/US2013/073085的PCT申请提交，该申请的全部内容通过引用并入本文。
[0010] 在这样的系统中，LDR路径的位深通常只有8位，这可能在解码和显示处理期间导 致伪像，诸如条带和假轮廓。如本文所使用的，对于具有多个颜色分量(例如，RGB或YCbCr) 的图像，术语n位图像(例如，12位或8位图像)表示其中其颜色分量的像素用n位像素表示的 图像。例如，在8位RGB图像中，每个像素由三个颜色分量构成，每个颜色分量(例如，R、G或B) 可以用8位表示，每个颜色像素总共24位。
[0011] 这些伪像中的一些在解码器中可以被移除；然而，老式解码器可能不具有直接解 决该问题的处理能力或计算能力。如这里发明人所意识到的，改进的用于多格式EDR视频的 编码和发布的预抖动技术是令人期望的。在图像和视频处理中，抖动技术通常应用于下游， 在解码器中，靠近显示器。如本文所使用的，术语"预抖动"或"上游抖动"表示在视频信号被 编码以被发送到下游之前应用于该视频信号的抖动技术。
[0012] 在本部分中描述的方法是可从事的方法，但未必是以前已经构想或从事的方法。 因此，除非另外指出，否则，不应仅凭借包含于本部分中而认为在本部分中描述的方法中的 任一种为现有技术。类似地，除非另外指出，否则，关于一种或更多种方法识别的问题不应 基于本部分而认为在任何现有技术中已被识别。
【附图说明】
[0013] 本发明的实施例在附图中以举例的方式、而非限制的方式被例示，在附图中，相似 的标号指的是类似的元件，其中：
[0014] 图1A和图1B描绘了根据本发明的实施例的用于对EDR和LDR图像进行编码的示例 系统；
[0015]图2A和图2B描绘了根据本发明的实施例的用于产生用于对EDR图像进行编码的抖 动噪声的示例数据流；
[0016]图3描绘了根据本发明的实施例的用于对EDR图像进行预抖动的例子;和
[0017] 图4描绘了根据本发明的实施例的用于在噪声抖动产生处理期间自适应地选择基 于0TF的滤波器的示例处理。
【具体实施方式】
[0018] 本文描述了被应用于对EDR和LDR视频信号进行编码的预抖动方法和系统。在以下 描述中，出于解释的目的，阐述了大量具体的细节以便提供本发明的透彻理解。然而，很明 显本发明可在不具有这些具体细节的情况下被实现。在其它实例中，众所周知的结构和设 备未被详尽地描述，以避免不必要地掩盖、遮盖或混淆本公开。
[0019] 概述
[0020] 本文描述的示例实施例涉及具有高或增强动态范围的视频图像的预抖动。视频编 码器接收输入的增强动态范围(EDR)图像以及将被以给定目标率编码的对应的较低动态范 围（LDR)图像。在编码之前，预抖动处理被应用于输入的LDR图像以产生具有低于原始位深 的第二位深的抖动的LDR图像。预抖动处理包括:产生均匀分布的噪声，将空间滤波器应用 于该噪声以产生经空间滤波的噪声，将时间滤波器应用于经空间滤波的噪声以产生输出噪 声，将输出噪声添加到输入的LDR图像以产生噪声增强的LDR图像，并且对噪声增强的图像 进行量化以产生抖动的LDR图像。
[0021] 在实施例中，空间滤波器和时间滤波器是低通滤波器，并且空间滤波器基于人类 视觉系统(HSV)的光学传递函数(0TF)。
[0022] 在实施例中，空间滤波器和时间滤波器是高通滤波器，并且空间滤波器基于人类 视觉系统(HSV)的光学传递函数(0TF)。
[0023] 在实施例中，选择应用低通滤波器还是高通滤波器是基于视频编码器的输出处的 目标位率的。
[0024] 在实施例中，空间滤波器的通带基于输入的LDR图像的亮度。
[0025]多格式EDR信号的编码
[0026]分层编码
[0027]现有的显示器和回放装置(诸如HDTV、机顶盒或蓝光播放器)通常支持高达1080p HD分辨率的信号（例如，每秒60帧1920 X 1080个像素）。对于消费者应用，现在通常使用每个 颜色分量每个像素8位的位深压缩这样的信号。由于8位位深和对应的低动态范围，这样的 信号通常被称为具有标准动态范围（SDR)的信号。
[0028]随着新的电视标准(诸如超高清(UHD))正被开发，可能希望的是，对具有增强分辨 率和/或