高动态范围视频的显示管理的制作方法
【专利说明】
[0001] 相关申请的交叉引用
[0002] 本申请要求在2013年2月21日提交的美国临时专利申请第61/767,380号以及 在2013年4月9日提交的美国临时专利申请第61/810, 104号的优先权，其通过引用而被 整体结合于此。
技术领域
[0003] 本发明一般地涉及图像。更具体地说，本发明的实施例涉及对具有高或者增强动 态范围的图像的显示管理处理。
【背景技术】
[0004] 这里所使用的术语"动态范围"（DR)可以涉及人类视觉系统（HVS)对图像中例如 从最暗的暗部（黑色）到最亮的亮部（白色）的强度（例如，亮度（luminance，luma))范 围进行感知的能力。从这个意义上讲，DR涉及"与场景相关"的强度。DR还可涉及显示设 备适当地或近似地呈现特定宽度的强度范围的能力。从这个意义上讲，DR涉及"与显示器 相关"的强度。除非在这里的描述中的任何一点处明确地指出特定的意义具有特定重要性， 否则应推断该术语可以（例如，互换地）用在任意一种意义中。
[0005] 这里所使用的术语高动态范围（HDR)涉及跨越人类视觉系统（HVS)的某14-15个 数量级的DR宽度。例如，具有基本正常视力的适应良好的人（例如，在统计学意义、计量生 物学意义或眼科学意义中的一个或多个上）具有跨越约15个数量级的强度范围。适应的 人可感知少到只有极少数光子的微弱光源。然而，这些同样的人可感知沙漠、海或雪中正午 太阳的近乎刺痛的耀眼强度（或甚至看一下太阳，然而只是短暂地看一下，以防止伤害）。 不过这个跨度对"适应的"人一例如其HVS具有进行重置和调节的时间段的那些人一是可 用的。
[0006] 相比之下，较之HDR，人类可同时感知强度范围中的扩展宽度的DR可在一定程度 上缩短。这里所使用的术语增强动态范围（EDR)或视觉动态范围（VDR)可单独地或互换地 涉及可由HVS同时感知的DR。这里所使用的EDR可涉及跨越5到6个数量级的DR。因此， 尽管与真实场景相关的HDR可能在一定程度上变窄，但EDR表示较宽的DR宽度。
[0007] 实际上，图像包括一个或多个颜色分量（例如，亮度Y和色度Cb和Cr)，其中每一 个颜色分量由每像素N位的精度表示（例如，N= 8)。N彡8的图像（例如，彩色24位JPEG 图像）被看作标准动态范围的图像，而N>8的图像可被看作增强动态范围的图像。EDR和 HDR图像也可以利用诸如由工业光魔开发的OpenEXR文件格式之类的高精度（例如，16位） 浮点格式而被存储和分发。
[0008] 直至最近，显示器已经具有比HDR明显更窄的DR。使用典型阴极射线管（CRT)、具 有恒定荧光白色背光照明的液晶显示器（LCD)或者等离子屏幕技术的电视（TV)和计算机 监视装置在它们的DR呈现能力上可被约束为约三个数量级。因此这种传统的显示器特征 是低动态范围（LDR)，关于HDR或EDR还称作标准动态范围（SDR)。
[0009] 多数消费级桌面显示器支持200至300cd/m2或者说尼特的亮度。多数消费级HDTV 的范围从300至1000cd/m2。随着EDR内容的可用性由于捕捉设备（例如，摄像机）和EDR 显示器（例如，来自杜比的PRM-4200专业基准监视器）两者的进步而增长，EDR内容可以在 支持多种动态范围（例如，从1，〇〇〇尼特到5, 000尼特或者更多）的EDR显示器上被进行 颜色分级。类似地，H)R内容可以在具有与用来对原始内容进行颜色分级的显示器不同的 动态范围的SDR显示器和EDR显示器两者上被显示。如发明人在这里认识到的，到HDR显 示器上的H)R图像的显示管理的改进技术对于后向兼容性和优越的沉浸式体验两者而言 是期望的。
[0010] 在该部分中描述的方法是能够探求的方法，但并不一定是先前已经设想或探求的 方法。因此，除非另有指示，否则不应认为在该部分中描述的方法中的任何一种仅仅因包括 在该部分中而适格现有技术。类似地，相对于一个或多个方法标识的问题不应基于该部分 而被假定在任何现有技术中已经被认识到，除非另有指示。
【附图说明】
[0011] 在附图中通过示例的方式而不是限制的方式示出本发明实施例，并且其中，相似 标号指代类似元件，并且其中：
[0012] 图1A-图1C示出了根据本发明实施例的EDR图像的显示管理的示例处理；
[0013] 图2示出了根据本发明实施例的用于将输入EDR数据从输入RGB颜色空间转换为 IPT-PQ空间的示例处理；
[0014]图3示出了根据本发明实施例的EDR图像的非线性动态范围映射的示例；
[0015] 图4示出了根据本发明实施例的色调映射的IPT-PQ图像中的P和T颜色分量的 饱和度调节的示例处理；
[0016] 图5示出了根据本发明的可能实施例的色度重映射的示例映射功能；并且
[0017] 图6示出了根据本发明实施例的多尺度细节保留的示例实施方式。
【具体实施方式】
[0018] 增强动态范围（EDR)图像的高效显示管理（例如，色调（tone)和色域（gamut)映 射）在这里被描述。在以下描述中，为了说明目的，阐述大量具体细节以提供本发明的透彻 理解。然而，清楚的是，在没有这些具体细节的情况下可以实践本发明。在其它情况下，不 详尽地描述公知结构和设备，以避免不必要地使本发明封闭、模糊或混乱。
[0019] 概览
[0020] 在这里描述的示例实施例涉及EDR图像的高效显示管理。显示管理处理器接收将 被显示在目标显示器上的具有增强动态范围的输入图像，目标显示器具有与基准显示器不 同的动态范围。输入图像首先被从输入颜色空间（例如，RGB)变换为经感知校正的IPT颜 色空间（IPT-P?。非线性映射函数通过将输入信号的强度从基准动态范围映射到目标动态 范围来生成第一色调映射信号。第一色调映射信号的强度（I)分量被锐化以利用反锐化掩 模来保留细节，并且颜色（P和T)分量的饱和度被适当地调节以生成第二色调映射输出图 像。色域映射函数可被应用于第二色调映射输出图像以生成适合显示到目标显示器上的图 像。显示管理流水线也可适用于根据专门定义的显示模式来调节显示图像的强度和颜色分 量。
[0021 ] 在输入图像被以其中色度分量处于比亮度分辨率更低的空间分辨率的颜色格式 接收到的情况下，那么在示例实施例中，显示管理处理可被分为可以并行执行的两个路径。 一个路径对所有颜色分量操作，但是以输入图像的色度分量的较低分辨率操作，而第二路 径仅对亮度相关数据操作，但是以亮度分量的原始（完全）分辨率操作。
[0022] 示例显示管理处理流水线
[0023] 图1A示出了根据本发明的实施例的EDR图像（也称作HDR图像）的显示管理的 示例处理。如在图1A中示出，视频处理器（例如，机顶盒、图像显示器或者其他合适的图像 处理器）接收到EDR图像（102)和可选的关联元数据（104)和（106)。EDR图像（102)可 以包括诸如H)R视频信号之类的一系列图像的帧的一部分或者完整帧。这里所使用的术语 "元数据"指的是作为编码比特流的一部分传输并且辅助解码器呈现解码图像的任何辅助 信息。这种元数据可以包括但不限于颜色空间或者色域信息、基准显示参数以及辅助信号 参数，如在这里描述的那些。
[0024] 接收到的EDR图像（102)可以是按照RGB颜色格式或者任何其他颜色空间的，诸 如YCbCr、XYZ等等。接收到的图像可能已经在基准EDR监视器上被进行颜色分级，基准EDR 监视器可能具有与目标显示监视器不同的动态范围和色域特性。这里所使用的术语"颜色 分级"表示调节图像或视频的颜色以校正颜色伪像和/或匹配导演的意图的处理。
[0025]EDR输入（102)还可以包括与用来在节目制作期间对图像进行颜色分级的 显示器有关的源显示元数据（104)。例如，这种元数据可以包括如由推荐规范ITU-R BT. 1866(03/2011)定义的基准电光传递函数（E0TF)。EDR输入还可以包括附加的源显示和 内容元数据（106)，诸如源或基准显示器的最大和最小明度（brightness)，数据的最大、最 小和平均中间色调，以及颜色分级期间的环境光的强度。例如，基准监视器的元数据可以包 括在制作中使用的以下示例参数：
[0026] 源监视器最小明度，Smin= 0? 005尼特；
[0027] 源监视器最大明度，Smax= 4000尼特；
[0028] 环境光，Samb=10尼特；
[0029]伽马，Sgamma= 2. 4;
[0030] 颜色空间=DCIP3,白点=D65;
[0031] 基准监视器的元数据通常仅需要被传输一次；然而，视频数据的元数据可以基于 每个帧、基于每个场景或者每当存在变化而被传输。如果没有与源内容有关的元数据，那么 在一些实施例中这种数据可以通过分析源视频内容而被提取。
[0032]IPT-PQ颜色空间
[0033] 在优选实施例中，处理流水线在将被称作IPT-PQ颜色空间之物中被执行；然而， 类似的处理步骤可以在诸如RGB、YCbCr、XYZ、CIE-Lab等其他颜色空间中被执行。如在以 下论文中描述的IPT是人类视觉系统中的视锥细胞之间的颜色差异的模型'Development andtestingofacolorspace(ipt)withimprovedhueuniformity'，，byF.Ebnerand M.D.Fairchild,inProc. 6thColorImagingConference:ColorScience,Systems,and Applications,IS&T,Scottsdale,Arizona,Nov. 1998,pp. 8-13 (将被称作Ebner论文），其 通过引用而被整体结合于此。在这个意义