基于全局显示管理的光调制的制作方法
【专利说明】基于全局显示管理的光调制
[0001]相关申请的交叉引用
[0002]本申请要求2013年I月25日提交的美国临时专利申请N0.61/756713的优先权，该申请通过引用而全文并入此。
技术领域
[0003]本发明总体上涉及图像数据。更特别地，本发明的一个实施例涉及基于全局显示管理的光调制。
【背景技术】
[0004]一些已有显示器具有与高动态范围(HDR)显示器相比相对窄的动态范围(例如，SDR、LDR等)。这些显示器包括基于Rec.709和数字电影倡导联盟的(DCI)规范的投影仪或显示系统。这些显示系统的动态范围部分地局限于当定义那些标准(诸如CRT显示器)时占主导的显示能力或那些标准中规定的以及由于系统中的其它技术限制导致的最小亮度水平和最大亮度水平。
[0005]HDR或扩展动态范围照相机最初捕捉的图像可具有场景相关动态范围(DR)，其显著大于前文提及的显示设备所支持的窄动态范围。显示器制造商尝试通过调整全局显示器参数，诸如最小亮度水平、最大亮度水平和伽马值来创建高动态范围的压缩(impress1n)以避免此问题。但是，这些调整无法基于从输入图像解码的窄动态范围信息来增加图像中的同时(或瞬时)对比度以及可最好地保持来自输入信号的图像中的相同相对对比度。另夕卜，这些技术预计在呈现HDR图像的窄动态范围版本时产生差的质量，并且引入额外的感知伪像，诸如剪除、联合、颜色偏移等。
[0006]在本部分中描述的方法是可从事的方法，但未必是以前已经构想或从事的方法。因此，除非另外指出，否则，不应仅凭借包含于本部分中而认为在本部分中描述的方法中的任一种为现有技术。类似地，除非另外指出，否则，关于一种或更多种方法识别的问题不应基于本部分而认为在任何现有技术中已被识别。
【附图说明】
[0007]本发明由附图作为示例而非限制性地示出，在附图中相似的附图标记指示相似的元素，并且在附图中:
[0008]图1示出了支持呈现具有受限动态范围的输入图像的显示系统的示例性方面；
[0009]图2A和2B示出了从宽动态范围的输入图像到具有受限动态范围的输出图像的示例性映射；
[0010]图3比较具有或不具有全局光调制能力的LDR显示系统；
[0011]图4不出了具有全局光调制能力的LDR显不系统中的不例性处理和光调制路径；
[0012]图5示出了 LDR显示系统所呈现的两个示例性LDR图像；
[0013]图6示出了用于场景中的输入VDR图像序列的动态范围窗口的示例性序列；
[0014]图7示出了示例性显示系统；
[0015]图8示出了示例性处理流；以及
[0016]图9示出了在其上实现文中所描述的计算机或计算设备的示例性硬件平台。
【具体实施方式】
[0017]文中描述了涉及基于全局显示管理的光调制的示例性实施例。在以下描述中，出于解释的目的，阐述了大量具体的细节以便提供本发明的透彻理解。然而，很明显本发明可在不具有这些具体细节的情况下被实现。在其它实例中，众所周知的结构和设备未被详尽地描述，以避免不必要地掩盖、遮盖或混淆本公开。
[0018]在文中根据以下大纲来描述示例性实施例:
[0019]1.总体概述
[0020]2.绝对亮度水平的非感知调整
[0021]3.绝对亮度水平的感知调整
[0022]4.显示系统的比较
[0023]5.示例性处理和光调制路径
[0024]6.绝对亮度水平的非感知调整
[0025]7.示例性显示系统
[0026]8.示例性处理流
[0027]9.实现机制-硬件概述
[0028]10.等同、扩展、替换或者类似物
[0029]1.总体概述
[0030]此概述给出了本发明的实施例的一些方面的基本描述。应指出，此概述不是该实施例的各方面的广泛或详尽总结。此外，应指出，此概述不预期被理解为标识该实施例的任何尤其重要的方面或元素，也不会特别勾勒该实施例的任何方面，也不会在整体上限制本发明。此概述仅仅以扼要和简化的格式表示涉及示例性实施例的一些概念，并且应被理解为仅仅是以下示例性实施例的更详细描述的概念性前序。
[0031]根据文中描述的技术，输入图像通过基于输入图像的亮度水平分布而产生的具有不同的动态范围窗口(例如，通过对于绝对最小亮度水平和最大亮度水平的调整而得到的具有受限动态范围的不同实例，等)被映射到输出图像。
[0032]在一个示例中，当输入图像示出黑暗亮度水平分布中一个或多个显著(salient)对象时，输入图像通过黑暗动态范围窗口被映射到输出图像。对于输入图像中的大量的相对暗的像素，黑暗动态范围窗口的大部分被用于产生相同或基本相同(例如，在JND的5 %、10%、20%等内)的亮度水平。黑暗动态范围窗口的亮侧被用于主控(host)输入图像中的其余相对亮像素的压缩亮度水平。
[0033]在另一个示例中，当输入图像示出明亮亮度分布中一个或多个显著对象时，输入图像通过明亮动态范围窗口被映射到输出图像。对于输入图像中的大量的相对明亮的像素，明亮动态范围窗口的大部分被用于产生相同或基本相同的亮度水平。明亮动态范围窗口的黑暗侧被用于主控(host)输入图像中的其余相对黑暗像素的压缩亮度水平。
[0034]视频输入图像中的输入图像可被感知编码。文中所述的技术将捕获宽动态范围的输入图像的显著内容的大量输入像素在具有受限动态范围的对应输出图像中映射到相同或大致相同的亮度水平。文中所描述的技术允许具有在动态范围窗口外部或者边缘的亮度水平的像素经由显示管理被最大程度地压缩，而不是仅仅被剪除。与其它方法相比，根据文中所描述的技术的方法在输出图像中较大程度地保持输入图像的感知质量。
[0035]文中所描述的方法还可被用于单独地全局调制所采用的颜色空间的一个或多个主通道(例如，红色、绿色、蓝色或其它)，同时将宽动态范围的输入图像映射到具有受限动态范围的输出图像。主通道的单独调制重整色域中的颜色平衡，并且在某些颜色(图像中的色调和饱和区域)比其它颜色更占主导的情况下是有益的。例如，在主导为红色并且仅具有一些暗淡(muted)的蓝色的场景中，蓝色通道LED与其它通道相比被更多地削弱，同时保持能够感知正确地表达暗淡蓝色，因为不需要大的向蓝色域。
[0036]具有全局光调制能力的受限动态范围显示系统可相对于宽动态范围显示系统被成本高效地实现。根据文中所描述的技术，受限动态范围显示系统可从扩展动态范围(EDR)、可视动态范围(VDR，如下文所述)或HDR输入图像实现输入图像中的深黑色以及丰富的高亮部。此外，从统计学视角看，许多输入图像的动态范围通过对于绝对最小亮度水平和最大亮度水平的调整而位于具有受限动态范围的一些动态范围窗口或一些实例中。在此方法中，仅一些像素可能需要通过显示管理被映射或者压缩。由于在由于眼睛中的眩光而同时可看见极亮和极暗元素时、人类视野的动态范围往往减小，对于偏远亮度水平的亮度压缩可被执行，而不会过度影响输出图像的感知质量。
[0037]文中所描述的技术还可被用于实现其它益处，包括但不限于节约能量、延长所涉及光源元件和电子组件(例如，LED)的寿命。
[0038]在一些实施例中，文中所描述的机构形成了媒体处理系统的一部分，该媒体处理系统包括但不限于手提式设备、游戏机、电视机、膝上型计算机、平板计算机、笔记本计算机、蜂窝式无线电电话、投影仪、电影系统、电子书阅读器、终端销售点、台式计算机、计算机工作站、计算机亭、以及各种类型的终端和媒体处理单元。
[0039]对于文中所描述的优选实施例以及总体原理和特征的各种修改将对于本领域那些技术人员显而易见。因此，本公开并不局限于所示的实施例，而是要被给予与文中描述的原理和特征一致的最宽的范围。
[0040]2.绝对亮度水平的非感知调整
[0041]图1示出了支持呈现低动态范围或LDR(102)的输入图像的显示系统的示例性方面。LDR的示例是(在非限制的情况下)在Rec.709或数字电影倡导联盟的(DCI)规范中被定义的。这样的显示系统的相对窄动态范围(例如，104)是由可在给定时间(例如，对于图像帧)被同时设置的最小亮度水平和最大亮度水平(例如，分别为0.1尼特和140尼特)导致的。
[0042]可通过基于图像的整体亮度水平随时间向上和向下改变绝对最小和最大亮度水平来缓解诸如动态范围(140)的相对窄动态范围的问题。在任何给定时间，绝对最小和最大亮度水平两者可一起向上或向下移动，同时维持它们之间的相对亮度水平。
[0043]如图1所示，这样的显示系统的绝对最小亮度水平和最大亮度水平(分别为0.1尼特和140尼特)可上移至具有较高的绝对最小亮度水平和最大亮度水平的动态范围(140-1)，下移至具有较低的绝对最小亮度水平和最大亮度水平的动态范围(140-3)，或者保持与动态范围(104)相同的、未偏移的动态范围(104-2)。输入图像中的相对亮度水平可在某一位深的特定亮度空间(例如，8位亮度空间、10位亮度空间等)中被表示。通过使用光路中的全局虹膜、光圈、光聚焦或光色散组件、光调制设备等来改变显示系统中的绝对最小亮度水平和最大亮度水平不会改变输入图像中表示的相对亮度水平。相同的相对代码值被用于驱动在显示系统中呈现输入图像。
[0044]在一些实施例中，相对亮度水平可由8位代码值表示。具有绝对最小亮度水平和最大亮度水平的第一设置的代码值(例如，O)可指的是用于第一图像帧的在第一时间的第一绝对亮度水平(例如，0.001尼特)，而具有绝对最小亮度水平和最大亮度水平的第二不同设置的相同代码值(O)可指的是用于第二不同图像帧的在第二不同时间的第二不同绝对亮度水平(例如，0.1尼特)。
[0045]如果两个亮度水平彼此不显著不同，人类视觉可能不能感知这两个亮度水平之间的差别。相反，只有当亮度水平相差不小于恰可察觉差(JND)时人类视觉才感知到差别。由于人类视觉的感知非线性，各个JND的量没有被在一定范围的亮度水平上均匀地设定大小或缩放，而是关于不同的各个亮度水平彼此不同。
[0046]在一些实施例中，输入显示系统的视频信号中的图像数据可能被感知编码或者可能不被感知编码。即使输入图像数据被感知编码，在绝对最小亮度水平和最大亮度水平被升高或降低之后，输入图像数据中的相对亮度水平导致也上移或下移的绝对亮度水平。除了在如Rec.709或DCI规范中被定义的0.1尼特和140尼特之间之外，偏移的绝对亮度水平典型地不匹配在图1的偏移的绝对最小亮度水平和最大亮度水平(例如，104-1或104-3)的人类视觉的感知非线性。对于绝对最小亮度水平和最大亮度水平的不同范围的人类视觉的感知非线性之间的不匹配不能通过调整输入图像的全局参数(诸如伽马值)而被简单地校正。
[0047]因此，通过使用光路中的全局虹膜、光圈、光聚焦或光色散组件、光调制设备等来调整显示系统中的绝对最小亮度水平和最大亮度水平使得图像外观改变和视觉伪像。那些外观改变和视觉伪像包括但不限于以下中的任一个:剪除、原始可感知分辨率的丢失、正确颜色感知的丢失、带化、假轮廓、图像的黑暗区域中的色移等。
[0048]3.绝对亮度水平的感知调整
[0049]根据文中所描述的技术，LDR显示系统(例如，SDR显示系统等)、移动设备、平板计算机等被配置为接收视频信号输入，该视频信号输入提供比由LDR显示系统支持(或者预期)的瞬时动态范围宽得多的相对宽动态范围的图像。例如，显示系统支持的瞬时动态范围可比得上或者几乎等于Rec.709、DCI规范等中定义的动态范围，而视频信号输入支持的动态范围可以是HDR、VDR等。在一些实施例中，视频信号输入可基于SanFrancisco, California的