用于增强动态范围信号的分层编码的自适应整形的制作方法
【专利说明】
[0001] 相关申请的交叉引用
[0002] 本申请要求W下专利申请的优先权：2013年6月17日提交的美国临时专利申请 No. 61/836, 044 ;2014年3月12日提交的美国临时专利申请No. 61/951，914 ;W及2014年 5月23日提交的美国临时专利申请No. 62/002, 631，每件专利申请的全部内容特此通过引 用并入。
[0003] 本申请还设及2014年3月25日提交的国际申请No.PCT/US2014/031716,该申请 的全部内容通过引用并入本文。
技术领域
[0004] 本发明一般设及视频图像。更具体地，本发明的实施例设及用于分层编码和解码 的、具有高或增强动态范围的图像的自适应整形（reshape)。
【背景技术】
[000引如本文中所使用的，术语"动态范围"值时可W与人类屯酒视觉系统（HV巧感知图 像中的例如从最黑暗的暗（黑）到最明亮的亮（白）的强度（例如，照度、亮度）范围的能 力有关。在运个意义上，DR与"场景参考（scene-referred)"强度有关。DR还可W与显示 设备充分地或近似地呈现特定广度化rea化h)的强度范围的能力有关。在运个意义上，DR 与"显示器参考（display-referred)"强度有关。除非特定的意义在本文的描述中的任何 点处被明确地指定为具有特别的重要性，否则应推断该术语可W在任一意义上（例如，可 互换地）被使用。
[0006] 如本文中所使用的，术语高动态范围化DR)与跨越人类视觉系统化V巧的一些 14-15个数量级的DR广度有关。例如，具有（例如，在统计、生物计量或眼科意义上）基本 上正常的视觉的适应良好的人类具有跨越大约15个数量级的强度范围。适应的人类可W 感知如仅少数光子那么少的昏暗光源。然而，运些相同的人类可W感知沙漠、海或雪中的正 午的太阳的近乎痛苦的耀眼强度（或者甚至瞥向太阳，但是短暂地W防止伤害）。该跨度不 过对于"适应的"人类（例如，其HVS具有进行重置和调整的时间段的那些人）是可用的。
[0007] 相反，与皿R相比较，在其上人类可W同时感知强度范围中的广泛广度的DR有些 截短。如本文中所使用的，术语增强动态范围巧DR)或视觉动态范围（VDR)可W单独地或 可互换地与HVS可同时感知的DR有关。如本文中所使用的，EDR可W与跨越5至6个数量 级的DR有关。因此，尽管与真实场景参考皿R相比较，可能有些较窄，但是邸R却表示宽的 DR广度。
[0008] 在实际中，图像包括一个或多个颜色分量（例如，亮度YW及色度Cb和化），其中， 每个颜色分量通过每一像素n位的精度表示（例如，n= 8))。尽管亮度动态范围和位深不 是等同的实体，但是它们通常是相关的。其中n《8的图像（例如，彩色24位JPEG图像） 被认为是标准动态范围的图像，而其中n〉8的图像可W被认为是增强动态范围的图像。邸R 和皿R图像也可W使用高精度（例如，16位）浮点格式（诸如由In化StrialLi曲tand Magic开发的化e址XR文件格式）来进行存储和分发。
[0009] 视频信号可W通过多个参数（诸如位深、颜色空间、色域和分辨率）表征。现代的 电视和视频回放设备（例如，蓝光播放器）支持各种分辨率，包括标清（例如，720X480i) 和高清师）（例如，1920X 1080P)。超高清扣皿）是具有至少3, 840X2, 160分辨率（被称 为4K U皿）W及高达7680 X 4320的选项（被称为8K U皿）的下一代分辨率格式。超高清 也可W被称为Ultra皿、UHDTV或超高视觉。如本文中所使用的，UHD表示高于皿分辨率 的任何分辨率。
[0010] 为了支持与旧有的8位回放设备W及新的皿R或U皿编码和显示技术的后向兼 容，可W使用多种格式来将U皿和皿R(或邸时视频数据从上游设备递送到下游设备。给 定邸R流，一些解码器可W使用8位层的集合来重构内容的皿SDR或邸R版本。高级解码 器可W使用W比传统的8位高的位深编码的层的第二集合来重构内容的UHD邸R版本W在 更有能力的显示器上呈现它。如发明人在运里所意识到的，用于邸R视频的编码和分发的 改进技术是所希望的。
[0011] 在本部分中描述的方法是可W追寻的方法，但不一定是W前已设想或追寻的方 法。因此，除非另有指示，否则不应仅仅由于在本部分中所描述的任一方法包括在本部分中 就假定它们有资格作为现有技术。类似地，针对一种或多种方法识别出的问题不应基于本 部分就假定已在任何现有技术中被认识到，除非另有指示。
【附图说明】
[0012] 本发明的实施例在附图的图中通过示例的方式、而非W限制的方式被示出，并且 在附图中，相似的附图标记指的是类似的元素，并且其中：
[001引图IA描绘根据本发明的实施例的EDR分层编码的示例框架；
[0014] 图IB描绘根据本发明的实施例的EDR分层解码的示例框架；
[0015] 图2描绘基于幕函数的示例邸R信号整形函数，其中，函数参数a根据本发明的 实施例而确定。
[0016] 图3描绘根据本发明的实施例的用于确定用于邸R输入的前向成形函数的最佳指 数的示例过程；
[0017]图4描绘根据本发明的实施例的用于确定邸R码字的前向映射的示例过程；
[001引图5描绘根据本发明的实施例的输入邸R码字（V。）到基于块的缩放因子化(V。)） 的中间映射的示例；
[0019] 图6描绘根据本发明的实施例的输入邸R码字到最终输出的整形符号的示例映 射；
[0020] 图7描绘根据本发明的实施例计算的反向映射的示例；
[0021] 图8A和图8B描绘根据本发明的实施例的色度范围缩放的示例；W及
[0022] 图9描绘根据本发明的实施例的编码和解码管线的示例。
【具体实施方式】
[0023] 本文中描述了用于具有增强动态范围（邸时的视频图像的分层编码的自适应整 形技术。在W下描述中，出于解释的目的，阐明了大量具体的细节，W便提供本发明的透彻 理解。然而，将清楚的是，本发明可W在没有运些具体细节的情况下实施。在其它情况下， 公知的结构和设备没有被详尽地描述，W便避免不必要地封闭、模糊或混淆本发明。
[0024] 概述
[0025] 本文中所描述的示例实施例设及用于高效分层编码的、具有高或增强动态范围的 视频图像的自适应整形。编码器接收将W分层表示被编码的输入的增强动态范围巧DR)图 像。输入图像可W使用可用视频编码器中的一个或多个不支持的位深格式被伽玛编码或感 知编码。输入图像被重映射到一个或多个量化层W使用可用视频编码器来产生适合于压缩 的输出码字。
[0026] 在一个实施例中，重映射是基于使用单个函数参数的幕函数。展现了基于对于输 入邸R图像中的每个块计算基于块的复杂性量度（measure)、并然后评估量化图像中的量 化引起的失真的量来确定最佳函数参数的技术。
[0027] 在另一个实施例中，使用基于块的复杂性度量（诸如标准偏差）W及基于块的线 性量化模型（其中，对于每个图像块确定单独的最优的量化器缩放器（scaler))来产生 最佳映射。该单独的最优的缩放器被组合W对于每个输入码字确定包络斜率（envelope slope),并且基于包络斜率来确定输入码字与输出码字之间的最优的前向映射函数。反向 映射函数可W作为查找表被发送到解码器，或者它可W使用分段多项式近似来近似。
[0028]在另一个实施例中，给定反向映射查找表，使用分段多项式近似技术来近似逆向 (inverse)映射函数。
[0029] 在解码器中，对编码的位流层进行解码W产生解码的视频层，该解码的视频层被 再组合W产生单个解码信号。然后，给定接收到的定义编码器整形或映射函数的参数，对解 码信号进行逆向映射W产生从编码器发送到解码器的原始邸R信号的估计。
[0030]在另一个实施例中，可W对输入视频信号的色度颜色分量进行转化（translate)， W使得期望的白点（whitepoint)的坐标被近似地移位（shift)到转化的色度范围的中 屯、。
[0031] 用于视频信号整形和分层分解的示例框架 [003引分层编码和解码
[0033] 现有的显示器和回放设备（诸如皿TV、机顶盒或蓝光播放器）通常支持高达IOSOp 皿分辨率（例如，在每秒60帖时的1920X1080)的信号。对于消费者应用，运样的信号现在 通常W其中通常色度分量具有比亮度分量低的分辨率的亮度-色度颜色格式（例如，YCb化 或YUV4:2:0颜色格式）、每一颜色分量每一像素使用8位的位深来进行压缩。由于8-位 深和对应的低动态范围，运样的信号通常被称为具有标准动态范围（SDR)的信号。随着新 的电视标准（诸如超高清扣皿)）正被开发，可能所希望的是对具有增强分辨率和/或增强 动态范围的信号进行编码。
[0034] 视频图像通常被伽玛编码W补偿人类视觉系统的性质。例如，口U-RRec. 2020 定义了UHDTV信号的推荐伽玛编码。对于邸R图像，感知量化（P曲可W提供对于传统的 伽玛编码的更好的替代。人类视觉系统W非常非线性的方式对增加的光水平（level)进 行响应。人类看见刺激的能力受该刺激的亮度、该刺激的大小、构成该刺激的空间频率、W 及眼睛在一个人观看该刺激的特定时刻适应的亮度水平影响。感知量化器函数将线性的 输入灰度水平映射到与人类视觉系统中的对比灵敏度阔值更好地匹配的输出灰度水平。 在其全部内容通过引用并入本文的、2012年12月6日提交的、J.S.Miller等人的标题为"PerceptimlIuminsncenonline曰rity-b曰sedimagedateexchange曰crossdifferent displaycap油ilities"、序号为PCT/US2012/068212 的PCT申请（将被称为 <212 申请）中 描述了PQ映射函数的示例，在该申请中，给定固定的刺激大小，对于每一个亮度水平（即， 刺激水平），根据最灵敏的适应水平和最灵敏的空间频率（根据HVS模型）来选择该亮度 水平处的最小可见对比步长（step)。与传统的表示物理阴极射线管（CRT)设备的响应曲 线、并且巧合地可能具有与人类视觉系统响应的方式非常粗略的相似性的伽玛曲线相比， 如'212申请所确定的PQ曲线使用相对简单的函数模型来模拟人类视觉系统的真实视觉响 应。
[003引在其全部内容通过引用并入本文的、2013年3月26日提交的、标题为叩ncoding perceptually-quantizedvideocontentinmulti-layerVDRcoding"的、从现在开始将 被称为'388申请的美国临时申请序号61/805, 388(该申请还于2014年3月25日被作为 PCT/US2014/031716提交）中，发明人描述了使用两层编码器对PQ编码的邸R图像数据进 行高效编码和传输的图像整形技术。本申请通过描述可应用于使用单层编