改进不同显示能力之间基于感知照度非线性的图像数据交换的装置和方法
【专利摘要】一种手持成像装置具有数据接收器，其被配置为接收参考编码图像数据。所述数据包括被外部译码系统编码的参考代码值。所述参考代码值表示参考灰度级，这些参考灰度级通过使用基于适于不同光水平的人类视觉对于空间频率的感知非线性的参考灰阶显示函数而被选择。所述成像装置还具有数据转换器，其被配置为访问参考代码值与该成像装置的装置特定代码值之间的代码映射。装置特定代码值被配置为生成特定于成像装置的灰度级。基于代码映射，数据转换器被配置为将参考编码图像数据转码为用装置特定代码值编码的装置特定图像数据。
【专利说明】改进不同显示能力之间基于感知照度非线性的图像数据交
换的装置和方法
[0001]相关申请的交叉引用
[0002]本申请要求于2011年12月6日提交的美国临时专利申请N0.61/567,579 ;于2012年7月23日提交的美国临时专利申请N0.61/674，503 ;以及于2012年9月20日提交的美国临时专利申请N0.61/703，449的优先权，这些申请的全部内容都出于所有目的通过引用并入此。
【技术领域】
[0003]本发明总地涉及图像数据。更特别地，本发明的实施例涉及不同显示能力之间基于感知非线性的图像数据交换。
【背景技术】
[0004]技术的发展使得现代显示器设计可以呈现图像和视频内容，与相同内容呈现在落后的显示器上相比，各种质量特性得到显著改进。例如，一些更现代的显示器能够以比常规或标准显示器的标准动态范围(SDR)高的动态范围(DR)呈现内容。
[0005]例如，一些现代的液晶显示器(IXD)具有光单元(背光单元、侧光单元等)，该光单元提供光场，在该光场中可以与有源LCD元件的液晶取向状态的调制分开地对各个部分进行调制。该双调制方法是可扩展的(例如，可扩展到N个调制层，其中，N包括大于2的整数)，诸如可以通过显示器的电光学构造中的可控中间层(例如，可分别控制的LCD层的多个层)进行扩展。
[0006]相比之下，一些现有的显示器具有比高动态范围(HDR)明显窄的动态范围(DR)。使用典型的阴极射线管(CRT)、具有恒定荧光白色背光照明或等离子体屏幕技术的液晶显示器(LCD)的移动装置、计算机平板、游戏装置、电视(TV)和计算机监视器设备的DR呈现能力可能限于大约三个数量级。这样的现有显示器因此代表标准动态范围(SDR)，相对于HDR,有时也被称为“ ‘低’动态范围”或“LDR”。
[0007]HDR照相机所捕捉的图像可具有远大于大多数(如果不是所有)显示装置的动态范围的场景相关(scene-referred)HDR。场景相关HDR图像可以包括大量数据，并且可以被转换为便利于传输和存储的后期制作格式(例如，具有8位RGB、YCbCr或深色选项的HDMI视频信号；具有10位4:2:2采样率的1.5Gbps SDI视频信号；具有12位4:4:4或10位4:2:2采样率的3Gbps SDI ;以及其他视频或图像格式)。后期制作图像可以包括比场景相关HDR图像的动态范围小得多的动态范围。此外，当图像被递送到终端用户的显示装置进行呈现时，沿途发生装置特定和/或制造商特定的图像变换，使得与原始的场景相关HDR图像相比，在呈现图像中引起大量视觉上明显的错误。
[0008]在本部分中描述的方法是可从事的方法，但未必是以前已经构想或从事的方法。因此，除非另外指出，否则，不应仅凭借包含于本部分中而认为在本部分中描述的方法中的任一种为现有技术。类似地，除非另外指出，否则，关于一种或更多种方法识别的问题不应基于本部分而认为在任何现有技术中已被识别。
【专利附图】
【附图说明】
[0009]在附图中以举例的方式、而非限制的方式例示本发明，在附图中，相似的标号表示类似的元件，其中:
[0010]图1例示根据本发明的示例实施例的跨越多个光适应水平的对比敏感度函数曲线的示例族群；
[0011]图2例示根据本发明的示例实施例的示例积分路径；
[0012]图3例示根据本发明的示例实施例的示例灰阶(grayscale)显示函数；
[0013]图4例示根据本发明的示例实施例的描绘Weber分数的曲线；
[0014]图5例示根据本发明的示例实施例的与不同GSDF的装置交换图像数据的示例框架；
[0015]图6例示根据本发明的示例实施例的示例转换单元；
[0016]图7例示根据本发明的示例实施例的示例SDR显示器；
[0017]图8A和图8B例示根据本发明的示例实施例的示例处理流程；
[0018]图9例示根据本发明的示例实施例的在其上可以实现如本文中所描述的计算机或计算装置的示例硬件平台；
[0019]图1OA例示根据一些示例实施例的多个代码空间中的以JND为单位的代码错误的最大量，所述多个代码空间中的每个代码空间具有一个或多个不同位深中的不同的一个位深;
[0020]图1OB至图1OE例示根据一些示例实施例的代码错误的分布；以及
[0021]图11例示根据示例实施例的函数模型中的参数的值。
【具体实施方式】
[0022]本文中描述与不同能力的显示器之间基于感知照度非线性的图像数据交换相关的示例实施例。在以下的描述中，出于解释的目的，为了使得能够彻底理解本发明，阐述了大量的特定细节。但应理解，可以在没有这些特定细节的情况下实施本发明。在其它情况下，为了避免不必要地遮蔽、掩盖或混淆本发明，不以详尽的细节描述公知的结构和装置。
[0023]本文中根据下面的大纲来描述示例实施例:
[0024]1.总体概述
[0025]2.对比敏感度函数(CSF)模型
[0026]3.感知非线性
[0027]4.数字代码值和灰度级(gray level)
[0028]5.模型参数
[0029]6.可变空间频率
[0030]7.函数模型
[0031]8.基于参考GSDF交换图像数据
[0032]9.转换参考编码图像数据
[0033]10.示例处理流程[0034]11.实现机构——硬件概述
[0035]12.枚举示例实施例、等同、扩展、替代和其它
[0036]1.总体概述
[0037]本概述给出本发明的示例实施例的一些方面的基本描述。应当注意，本概述不是示例性实施例的各方面的详尽或全面的概括。并且，应当注意，本概述不应被理解为标识示例性实施例的任何特别重要的方面或要素，也不应被理解为特别地将示例性实施例的任何范围划界，也不总体上将本发明划界。本概述仅以简要和简化的格式给出与示例性实施例有关的一些概念，并且应被理解为仅是以下给出的示例性实施例的更详细的描述的概念性序言。
[0038]如果两个照度值彼此相差不大，则人类视觉可能感知不到这两个照度值之间的差异。相反，如果照度值相差不小于最小可觉差(JND)，则人类视觉仅感知到差异。由于人类视觉的感知非线性，各个JND的数量在光水平(light level)范围上为不均匀的大小或比例，而是随着不同的各个光水平而变化。另外，由于感知非线性，各个JND的数量在特定光水平处的空间频率范围上为不均匀的大小或比例，而是随着低于截止空间频率的不同空间频率而变化。
[0039]通过用相等大小或线性缩放大小的照度量化步长被编码的图像数据与人类视觉的感知非线性不匹配。用通过在一个固定空间频率上的照度量化步长被进行编码的图像数据与人类视觉的感知非线性也不匹配。根据这些技术，当分配码字来表示量化照度值时，太多的码字可能分布在光水平范围的特定区域(例如，明亮区域)中，而太少的码字则可能分布在光水平范围的不同区域(例如，黑暗区域)中。
[0040]在过于密集的区域中，大量码字可能不能生成感知差异，并且因此实际上被浪费。在稀疏的区域中，两个相邻码字可以生成比JND大得多的感知差异，并且可能生成轮廓畸变(也称为条带状)视觉伪像。
[0041]根据如本文中所描述的技术,可以使用对比敏感度函数(contrast sensitivityfunction, CSF)来确定宽范围的光水平(例如，O至12，000cd/m2)上的JND。在示例实施例中，选择在特定光水平的作为空间频率的函数的峰值JND来表示在该特定光水平的人类感知量。峰值JND的选择根据如下的人类视觉的行为:即当具有接近的、但是不同的照度值的背景被观看时人类视觉适应于提高的水平的视觉感知性水平，这在视频和图像显示视场中有时被称为勾边效应(crispening effect)和/或Whittle的勾边效应,并且在本文中可以像这样进行描述。如本文中所使用的，术语“光适应水平(light adaptation level)”可以用于表示这样的光水平，在该光水平，在假定人类视觉适应于该光水平的情况下，选择/确定(例如，峰值)JND。如本文中所描述的峰值JND在不同光适应水平随空间频率而变化。
[0042]如本文中所使用的，术语“空间频率”可以是指图像中的空间调制/变化的速率(其中，与相对于时间计算速率相对比，相对于空间距离或在空间距离上计算速率)。与可将空间频率固定为特定值的常规方法相对比，如本文中所描述的空间频率可以例如在一个范围中或在一个范围上变化。在一些实施例中，峰值JND可被限于特定空间频率范围(例如，0.1至5.0、0.01至8.0个周期/度、或者更小的或更大的范围)内。
[0043]参考灰阶显示函数(GSDF)可以基于CSF模型而产生。在一些实施例中，对于CSF模型假定非常广的视场，以用于产生更好地支持娱乐显示场的参考GSDF。GSDF是指参考数字代码值(或参考码字)集合、参考灰度级(或参考照度值)集合、以及这两个集合之间的映射。在不例实施例中，每个参考数字代码值对应于如JND所表不的(例如,在某一光适应水平的峰值JND)的人类感知量。在示例实施例中，相同数量的参考数字代码值可以对应于人类感知量。
[0044]可以通过从初始值开始累积JND来获得GSDF。在示例实施例中，将中间码字值(例如，对于12位代码空间，2048)作为初始值给予参考数字代码。参考数字代码的初始值可以对应于初始参考灰度级(例如，lOOcd/m2)。在参考数字代码一个接一个地递增时可以通过正累积JND (相加)来获得对于参考数字代码的其他值的其他参考灰度级，当参考数字代码一个接一个地递减时，可以通过负累积JND (相减)来获得对于参考数字代码的其他值的其他参考灰度级。在示例实施例中，在计算GSDF中的参考值时，可以使用诸如对比度阈值的量值来代替JND。在计算GSDF中实际上所使用的这些量值可以被定义为无单位比率，并且可以与相应的JND仅相差已知的或可确定的乘数、除法因子和/或偏差。
[0045]代码空间可被选择为包括GSDF中的所有参考数字代码值。在一些实施例中，所有的参考数字代码值都驻存在其中的代码空间可以是下列代码空间之一:10位代码空间、11位代码空间、12位代码空间、13位代码空间、14位代码空间、15位代码空间、或者更大的或更小的代码空间。
[0046]尽管可以使用大的代码空间(>15位)来托管所有的参考数字代码值，但是在特定实施例中，使用最高效的代码空间(例如，10位、12位等)来托管参考GSDF中所产生的所有参考数字代码值。
[0047]可以使用参考GSDF来对图像数据进行编码，所述图像数据例如由具有远大于大多数(如果不是所有)显示装置的动态范围的场景相关HDR的HDR照相机、演播室系统、或其他系统捕捉或产生。可以用多种分发或发送方法(例如，具有8位RGB、YCbCr或深色选项的HDMI视频信号；具有10位4:2:2采样率的1.5Gps SDI视频信号；具有12位4:4:4或10位4:2:2采样率的3Gps SDI ;以及其他视频或图像格式)来将编码图像数据提供给下游装直。
[0048]在一些实施例中，因为参考GSDF中的相邻参考数字代码值对应于在JND内的灰度级，所以人类视觉能够区分的细节可以完全或基本上保留在基于参考GSDF被编码的图像数据中。完全支持参考GSDF的显示器可以呈现不具有条带状或轮廓畸变伪像的图像。
[0049]可以使用基于参考GSDF被编码的图像数据(或参考编码图像数据)来支持可能不能完全支持参考GSDF中的所有参考照度值的多种能力较低的显示器。因为参考编码图像数据包括所支持的照度范围(其可以被设计为显示器所支持的范围的超集)中的所有感知细节，所以参考数字代码值可被以如下方式最佳地且高效率地转码为显示器特定数字代码值，即尽可能多地保留特定显示器能够支持的细节并且引起尽可能少的视觉上明显的错误。附加地和/或可选地，可以与从参考数字代码值到显示器特定数字代码值的转码相结合地或者作为该转码的一部分，执行去轮廓(decontour)和抖动(dither),以进一步改进图像或视频质量。
[0050]如本文中所描述的技术是无关于颜色空间的。它们可以用于RGB颜色空间、YCbCr颜色空间或不同的颜色空间中。此外，可以将使用随空间频率变化的JND导出参考值(例如，参考数字代码值和参考灰度级)的技术应用于可以包括照度通道或者可以不包括照度通道的不同颜色空间(例如，RGB)中的除了照度通道之外的不同通道(例如，红色、绿色和蓝色通道之一)。例如，作为参考灰度级的代替，可以使用可应用于蓝色颜色通道的JND来导出参考蓝色值。因此，在一些实施例中，可以用灰阶来取代颜色。附加地和/或可选地，还可以使用不同的CSF模型来代替Barten的模型。所以，对于同一 CSF模型，可以使用不同的模型参数。
[0051]在一些实施例中，如本文中所描述的机构形成媒体处理系统的一部分,所述媒体处理系统包括但不限于:手持装置、游戏机、电视、膝上型计算机、上网本计算机、蜂窝无线电话、电子书阅读器、销售点终端、台式计算机、计算机工作站、计算机亭、或各种其他类型的终端和媒体处理单元。
[0052]对于本文中所描述的优选实施例以及总体原理和特征的各种修改对于本领域的技术人员将是清楚的。因此，本公开并非意图局限于所示的实施例，而是要被给予与本文中所描述的原理和特征一致的最广泛的范围。
[0053]2.对比敏感度函数(CSF)模型
[0054]可以用对比敏感度函数(CSF)来最好地描述人类视觉对于所呈现的图像中的空间结构的敏感度，CSF将对比敏感度描述为空间频率(或人类观察者所感知的图像中的空间调制/变化的速率)的函数。如本文中所使用的，对比敏感度S可以被认为是人类视觉神经信号处理中的增益，而对比度阈值Ct可以从对比敏感度的倒数确定，例如:
[0055]对比敏感度=S = 1/CT 表达式(I) [0056]如本文中所使用的，术语“对比度阈值”可以是指人眼感知到对比度差异所必要的(相对)对比度的最低值(例如，最小可觉差)，或者与该最低值相关；在一些实施例中，还可以将对比度阈值描绘为照度值范围上除以光适应水平的最小可觉差的函数。
[0057]在一些实施例中，可以在实验中直接测量对比度阈值，而不使用任何CSF模型。然而，在一些其他实施例中，可以基于CSF模型来确定对比度阈值。可以用若干个模型参数来构建CSF模型，并且可以使用CSF模型来导出GSDF，该GSDF的灰度级中的量化步长取决于由照度值和空间频率表征的光水平并且随该光水平而变化。示例实施例可以基于各种CSF模型中的一个或多个来实现，诸如下列文献中所描述的CSF模型:Peter G.J.Barten的Contrast Sensitivity of the Human Eye and its Effects on Image Quality(1999)(在下文中，Barten 的模型或 Barten 的 CSF 模型)、或 A.B.Watson, MIT Press (1933)的Digital Images and Human Vision 中的 Scott Daly,第 17 章(在下文中，Daly 的模型)。关于本发明的示例实施例，可以用实验、从理论上、用CSF模型或它们的组合来导出用于产生参考灰阶显示函数(GSDF)的对比度阈值。
[0058]如文本中所使用的，GSDF可以是指多个数字代码值(例如，1，2，3，…，N)到多个灰度级(L1, L2, L3，…，Ln)的映射，其中，如表1中所示，数字代码值表示对比度阈值的索引值，灰度级对应于对比度阈值。
[0059]表1
[0060]
【权利要求】
1.一种成像装置，包括: 数据接收器，所述数据接收器被配置为接收包括参考代码值的参考编码图像数据，所述参考编码图像数据被外部译码系统编码，所述参考代码值表示参考灰度级，所述参考灰度级通过使用基于适于不同光水平的人类视觉对于空间频率的感知非线性的参考灰阶显示函数而选择；和 数据转换器，所述数据转换器被配置为访问参考代码值与所述成像装置的装置特定代码值之间的代码映射，所述装置特定代码值被配置为生成被配置用于所述成像装置的装置特定灰度级，所述数据转换器被配置为基于代码映射来将参考编码图像数据转码为用装置特定代码值编码的装置特定图像数据。
2.根据权利要求1所述的成像装置，其中，所述成像装置是标准动态范围显示装置。
3.根据权利要求1所述的成像装置，其中，所述成像装置被配置为支持40度与25度之间的中间水平角度大小、以及不大于25度的窄水平角度大小之一。
4.根据权利要求1所述的成像装置，其中，所述成像装置被配置为支持1.5米与0.5米之间的中间观看距离、以及不大于0.5米的短观看距离之一。
5.一种方法，包括以下步骤: 接收用参考代码值编码的参考编码图像数据，所述参考代码值表示参考灰度级集合； 访问参考代码值与装置特定代码值之间的代码映射，所述装置特定代码值表示装置特定灰度级集合；和 基于所述代码映射，将参考编码图像数据转码为用装置特定控制代码编码的装置特定图像数据； 其中，参考灰度级集合的连续参考灰度级之间的第一量化步长大小与适于第一光水平的人类视觉对于空间频率的对比敏感度相关。
6.根据权利要求5所述的方法，其中，所述第一量化步长大小与适于第一光水平的人类视觉对于空间频率的峰值对比敏感度相关。
7.根据权利要求5所述的方法，其中，所述第一量化步长大小小于在第一光水平的最小可觉差阈值。
8.根据权利要求5所述的方法，其中，第二量化步长大小与适于第二光水平的人类视觉对于空间频率的对比敏感度相关，所述第一量化步长大小和所述第二量化步长大小不同。
9.根据权利要求8所述的方法，其中，所述第二量化步长大小与适于第一光水平的人类视觉对于空间频率的峰值对比敏感度相关。
10.根据权利要求8所述的方法，其中，所述第一光水平小于所述第二光水平，并且第一步长大小大于第二步长大小。
11.根据权利要求5所述的方法，其中，所述参考灰度级集合覆盖上限的值在1000与15000尼特之间、包括1000和15000尼特的动态范围。
【文档编号】G06T5/00GK103988165SQ201280060408
【公开日】2014年8月13日 申请日期:2012年12月6日 优先权日:2011年12月6日
【发明者】J·S·米勒, S·戴勒, M·尼扎玛巴迪, R·阿特肯斯 申请人:杜比实验室特许公司