用于具有增强动态范围的超高清视频信号的向后兼容编码的制作方法
【专利说明】用于具有増强动态范围的超高清视频信号的向后兼容编码
[0001] 相关申请的交叉引用
[0002] 本申请要求以下申请的优先权：2013年1月2日提交的第61/748, 411号的美国 临时申请、2013年5月8日提交的第61/821，173号的美国临时申请；以及2013年9月26 日提交的第61/882, 773号的美国临时专利申请，所有这些申请的全部内容都通过引用并 入本文。
技术领域
[0003] 本发明总体上涉及图像。更特别地，本发明的实施例涉及具有增强动态范围的高 清信号的向后兼容的编码和解码。
【背景技术】
[0004] 音频和视频压缩是多媒体内容的开发、存储、发布和消费中的关键组成部分。压缩 方法的选择涉及编码效率、编码复杂度和延迟之间的权衡。随着处理能力对计算成本的比 率增大，使得可以开发出允许更高效的压缩的更复杂的压缩技术。作为例子，在视频压缩 中，来自国际标准组织（ISO)的运动图像专家组（MPEG)通过发布MPEG-2、MPEG-4(第2部 分）和H. 264/AVC (或MPEG-4,第10部分）编码标准来持续地改进最初的MPEG-1视频标 准。
[0005] 尽管H. 264的压缩效率和成就，被称为高效率视频编码（HEVC)的新一代视频压缩 技术现在正在开发之中。HEVC有望提供优于现有的H. 264 (也被称为AVC)标准的改进的压 缩能力，关于 HEVC 的草稿可在 B. Bross、W. -J. Han、G. J. Sullivan、J. -R. Ohm 和 T. Wiegand 的"high efficiency video coding(HEVC)text specification draft 8"，ITU-T/ISO/ IEC Joint Collaborative Team on Video Coding(JCT-VC)document JCTVC-J1003, July 2012中获得，该文献的全部内容通过引用并入本文，现有的H. 264标准被发表为"Advanced Video Coding for generic audio-visual services"，ITU T Rec. H. 264 和 ISO/ IEC14496-10，该标准的全部内容通过引用并入本文。
[0006] 视频信号可以用多个参数来表征，诸如位深、颜色空间、色域和分辨率。现代的电 视和视频回放设备（例如，蓝光播放器）支持多种分辨率，包括标清（例如，720 X480i)和 高清（HD)(例如，1920X 1080p)。超高清（UHD)是至少具有3, 840X2, 160分辨率（被称为 4K UHD)并且具有高达7680X4320 (被称为8K UHD)的选项的下一代分辨率格式。超高清 还可以被称为Ultra HD、UHDTV或超高视觉。如本文中所使用的，UHD表示高于HD分辨率 的任何分辨率。
[0007] 视频信号的特性的另一方面是其动态范围。动态范围OR)是图像中的强度（例 如，亮度，luma)的范围（例如，从最黑暗的暗色到最明亮的亮色）。如本文中所使用的，术 语"动态范围"(DR)可以与人类心理视觉系统（HVS)感知图像中的强度（例如，亮度，luma) 的范围（例如，从最黑暗的暗色到最明亮的亮色）的能力相关。从这个意义上来说，DR与 "参考场景的"强度相关。DR还可以与显示设备充分地或逼近地呈现具有特定广度的强度 范围的能力相关。从这个意义上来说，DR与"参考显示器的"强度相关。除非特定意义在本 文的描述中的任何地方被明确地指定具有特殊重要性，否则应推断该术语例如可互换地用 于两者之中任何一种意义上。
[0008] 如本文中所使用的，术语高动态范围（HDR)与跨越人类视觉系统（HVS)的14-15 个数量级的DR广度相关。例如，（例如，从统计意义、生物计量意义或眼科意义中的一个或 多个上来说）基本正常的适应性强的人具有跨越大约15个数量级的强度范围。具有适应 性的人可以感知到少到仅少数几个光子的昏暗光源。然而，同样的这些人可以在沙漠中、在 海中或者在雪中感知到正午的太阳的几乎令人痛苦地耀眼的强度（或者甚至望向太阳，但 是短暂地望向太阳以防止伤害）。不过，该跨度可供"具有适应性的"人（例如，其HVS具有 在其中进行重置和调整的时间段的那些人）使用。
[0009] 相比之下，在其上人类可以同时感知到强度范围中的广泛广度的DR相对于HDR而 言可能有所截断。如本文中所使用的，术语"增强动态范围"（EDR)、"视觉动态范围"或"可 变动态范围"(VDR)可以单独地或者可互换地与HVS可同时感知的DR相关。如本文中所使 用的，EDR可以与跨越5-6个数量级的DR相关。因此，虽然可能相对于真实的场景参考HDR 而言有些窄，但是EDR却表示宽泛的DR广度。如本文中所使用的，术语"同时动态范围"可 以与EDR相关。
[0010] 为了支持与老式回放设备以及新式HDR或UHD显示技术的向后兼容性，可以使用 多个层来将UHD和HDR(或EDR)视频数据从上游设备递送到下游设备。给定这样的多层流， 老式解码器可以使用基本层来重构内容的HD SDR版本。高级解码器可以使用基本层和增 强层两层来重构内容的UHD EDR版本以在更有能力的显示器上呈现它。如这里的发明人所 意识到的，改进的UHD EDR视频编码技术是令人期望的。
[0011] 本章节中所描述的方法是可以寻求的方法，但是不一定是以前已经设想过或寻求 过的方法。因此，除非另有指示，否则不应仅因本章节中所描述的任一方法被包括在本章节 中就假定该方法作为现有技术。类似地，对于一种或多种方法被标识的问题不应基于本章 节就被假定已经在任何现有技术中被认识到，除非另有指示。
【附图说明】
[0012] 本发明的实施例在附图的图中以举例的方式、而不是以限制的方式被例示，在附 图中，相似的标号指代类似的元件，其中：
[0013] 图1描绘根据本发明的实施例的UHD EDR编码系统的示例实现；
[0014] 图2描绘根据本发明的实施例的UHD EDR解码系统的示例实现；
[0015] 图3描绘根据本发明的实施例的图1中所描绘的系统的变型，其中，基本层包括隔 行信号（interlaced signal)；
[0016] 图4描绘根据本发明的实施例的图2的解码系统的变型，其中，基本层包括隔行视 频信号；
[0017] 图5描绘根据本发明的实施例的用于增强层中的残差信号的非线性量化器的示 例实现；
[0018] 图6A描绘根据本发明的实施例的残差像素的自适应预量化处理；和
[0019] 图6B描绘根据本发明的实施例的设置用于残差信号的非线性量化器的下输入边 界或上输入边界的自适应处理。
【具体实施方式】
[0020] 本文描述了具有增强动态范围的超高清信号的向后兼容编码。给定可以用如下 两个信号表示的输入视频信号：一个信号具有超高清（UHD)分辨率和高或增强动态范围 (EDR)，另一个信号具有UHD (或较低）分辨率和标准动态范围（SDR)，这两个信号被编码在 向后兼容的分层流中，这使得老式解码器可以提取HD标准动态范围（SDR)信号并且使得新 式解码器可以提取UHD EDR信号。
[0021] 在以下描述中，为了说明的目的，阐述了许多特定细节，以便提供本发明的透彻理 解。然而，将显而易见的是，可以在没有这些特定细节的情况下实施本发明。在其它情况下， 不对公知的结构和设备进行详尽的描述，以便避免不必要地模糊本发明。
[0022] 概述
[0023] 本文中所描述的示例实施例涉及具有增强动态范围的超高清信号的向后兼容的 编码和解码。给定用如下两个信号表示的输入视频信号：一个信号具有超高清（UHD)分 辨率和高或增强动态范围（EDR)，另一个信号具有UHD(或较低）分辨率和标准动态范围 (SDR)，这两个信号被编码在向后兼容的分层流中，这使得老式解码器可以提取HD标准动 态范围（SDR)信号并且使得新式解码器可以提取UHDEDR信号。响应于基本层HD SDR信号， 使用单独的亮度预测模型和色度预测模型产生预测信号。在亮度预测器中，仅基于基本层 的亮度像素值计算预测信号的亮度像素值，而在色度预测器中，基于基本层的亮度像素值 和色度像素值两者计算预测信号的色度像素值。基于输入的UHD EDR信号和预测信号计算 残差信号。分别对基本层信号和残差信号进行编码以形成编码的位流。
[0024] 在另一实施例中，接收器对所接收的分层位流进行解复用以产生HD分辨率的、标 准动态范围（SDR)的编码的基本层（BL)流和UHD分辨率的、增强动态范围（EDR)的编码的 增强层流。使用BL解码器对编码的BL流进行解码以产生HD分辨率的、标准动态范围的解 码的BL信号。响应于解码的BL信号，产生预测EDR信号，其中，该预测信号的亮度分量的 像素值仅基于解码的BL信号的亮度像素值被预测，而该预测信号的至少一个色度分量的 像素值基于解码的BL信号的亮度值和色度值两者被预测。使用EL解码器对编码的EL流 进行解码以产生解码的残差信号。响应于解码的残差信号和预测信号，还可以产生输出UHD EDR信号。
[0025] 在另一实施例中，增强层中的残差信号在用非线性量化器量化之前进行自适应预 处理。在一个实施例中，如果残差像素值周围的像素的标准差低于阈值，则将这些残差像素 值预量化为零。
[0026] 在另一实施例中，根据具有非常大的或非常小的像素值的残差像素的像素连接性 的度量，限制非线性量化器的输入范围。
[0027] 在另一实施例中，基于场景中的连续帧序列上的残差像素的极值来设置非线性量 化器的参数。
[0028] 用于超高清EDR信号的编码器
[0029] 现有的显示和回放设备，诸如HDTV、机顶盒或蓝光播放器，通常支持高达1080p HD分辨率（例如，以每秒60帧的1920X1080)的信号。对于消费者应用，现在通常以亮 度-色度颜色格式使用每一颜色分量每一像素8位的位深对这样的信号进行压缩，在所述 亮度-色度颜色格式中，通常，色度分量具有比亮度分量低的分辨率（例如，YCbCr或YUV 4:2:0颜色格式）。因为8位深度和相应的低动态范围，这样的信号通常被称为具有标准动 态范围（SDR)的信号。
[0030] 随着新的电视标准（诸如超高清（UHD))正被开发，可能可取的是，以老式HDTV解 码器和新式UHD解码器都可以处理的格式对具有增强分辨率和/或增强动态范围的信号进 行编码。
[0031] 图1描绘了支持具有增强动态范围（EDR)的UHD信号的向后兼