专利名称：光检测、色貌模型、以及修改图像显示的动态范围的制作方法
技术领域：
本发明的实施例总体上涉及图像和显示处理，更具体地涉及检测图像中的光源以基于光源(例如，感知光源)协助不同观看环境下的图像的颜色外观预测和/或动态范围修改的系统、设备、集成电路、计算机可读介质、以及方法。
背景技术：
根据人类视觉系统(“HVS”)，已经开发了色貌模型(“CAM，color appearance model")以与如若不然会感知为不同的不同环境条件下的颜色匹配。具体地，一个条件集合下(例如，在图像中)捕获的颜色会被在另一条件集合下观看该颜色的观测者感知为不同的颜色。以下是会有助于可感知颜色不匹配的因素的示例不同发光体的不同色度和/ 或亮度水平、用于显示颜色的装置的不同类型、背景的相对亮度、周边环境的不同条件、以及其它因素。传统色貌模型旨在通过对以条件的目的集合观看的图像进行调整以使得它显现为以下颜色来补偿这些因素该颜色与图像以条件的源集合被捕获所处的颜色相同。因而，可以使用色貌模型将一个环境(例如，源环境)中看到的颜色的区块(patch)转换为如将会在不同环境(例如，目标环境)中观测到的颜色的等效区块。虽然包括色适配(chromatic adaptation)的预测色貌中的一些方法起到作用，但是具有它们的缺陷。在至少一个方法中，确定发光体的不同色度和亮度水平的效果通常需要人工干预，如人工测量环境参数值。常常，随后将环境参数值编码成伴随图像数据的元数据，以修改目标环境下的颜色。或者，在一些情形中，使用环境参数的估计或假定值引导色适配过程。为了举例说明，考虑奥地利的维也纳国际照明委员会(“CIE”)主张的CIECAM02 色貌模型(“CAM”)。根据此模型，适配度(degree of adaptation) D取决于适配亮度LA， 通常假定适配亮度LaS观看环境中白色对象的亮度的大约20%。通常使用光学测量装置测量白色对象的亮度，在预测色貌时人工实现这些值。此外，一些色貌模型实现方式还基于与亮度水平适配因子&、周边的影响C、以及色感应因子N。的几个预定值有关的几个预定的恒定周边条件得出适配度D。在一些方法中，无论部分是否包括光源、反射表面或者其它方面，均在图像的大多数或所有部分上全局地应用这些参数。鉴于以上内容，将会期望提供用以协助包括高动态范围图像的、不同观看环境的图像中的颜色外观预测的系统、计算机可读介质、方法、集成电路、以及设备。
发明内容
实施例总体上涉及图像和显示处理，更具体地涉及检测图像中的光源以基于光源 (例如，感知光源)协助不同观看环境中的图像的颜色外观预测和/或动态范围修改的系统、设备、集成电路、计算机可读介质、以及方法。在一些实施例中，一种方法包括检测表示图像的部分的像素，指定图像部分的像素子集与光源相关联，以及确定像素子集的参数，参数被配置成生成包括图像部分的再现图像中的颜色。在一个实施例中，确定参数包括计算构成光源的像素子集的适配度D。在一些实施例中，对于每个像素确定适配度。对于光源而言，适配度可以指定不使发光体减损。在一个实施例中，检测光源以协助在亮度值的高动态范围与低动态范围之间转换。
配合结合附图取得的以下详细描述更充分地明白本发明及其各实施例，在附图中图IA是图示了根据本发明至少一些实施例的、用于检测光源以修改源环境下捕获的颜色的系统的示例的图；图IB是图示了根据本发明至少一些实施例的、用于检测光源以与目标环境下的颜色匹配的系统的示例的图；图2描绘了根据本发明具体实施例的光源分析器的示例；图3描绘了根据本发明一些实施例的候选光源检测器的示例；图4A至4C描绘了根据一些实施例的确定候选光源的示例；图5描绘了根据本发明一些实施例的作为检测光源的方法的示例的流程；图6描绘了根据各实施例的、使用光源检测以协助不同观看条件之间的颜色匹配的源图像处理器和目标图像处理器的示例；图7是图示了根据本发明一些实施例的亮度范围控制器的功能的图；图8是根据本发明至少一些实施例的、被配置成操作至少具有前端调制器的显示装置的控制器的示意图；图9图示了根据本发明至少一个实施例的、适合使用光源检测使不同观看环境中的颜色匹配的示例性计算机系统；图IOA和IOB描绘了根据本发明实施例的亮度范围修改设备的示例；图11描绘了根据本发明实施例的、被配置成检测光源作为感知光源的光源检测器；图12描绘了根据本发明实施例的、被配置成提升感知光源的亮度值的图像处理器；图13描绘了根据本发明实施例的、被配置成提升感知光源的亮度值的LDR2HDR处
理器；图14描绘了根据本发明一些实施例的光源检测器的示例；图15描绘了根据本发明一些实施例的光源检测器的另一示例；以及图16是根据本发明至少一些实施例的、被配置成操作至少具有前端调制器的显示装置的控制器的示意图。在附图的数个视图中，相似的附图标记表示相应部分。注意，附图标记中的大多数附图标记包括通常识别首次引入该附图标记的图的一个或两个最左边的数字。
具体实施例方式图IA是图示了根据本发明至少一些实施例的、用于检测光源以修改源环境下捕获的颜色的系统的示例的图。如图所示，系统100包括图像处理器120和源图像生成器160， 并且被配置成处理源环境下的图像。图像处理器120被配置成生成环境参数130，环境参数 130被源图像生成器160使用以生成源图像数据164，源图像数据164被配置成再现目标环境下的颜色。源图像数据164的示例包括根据色貌模型(“CAM”)162生成的外表关连、以及表征光源或非光源的信息。图像处理器120被示出为包括光源分析器122和环境参数处理器124。光源分析器122被配置成检测表示当作候选光源的图像IOlb的部分的一个或更多个像素，并且还被配置成识别像素是光源的部分(例如，被感知为自发光)还是不是光源的部分(例如，被感知为反射表面，诸如漫反射表面或者另外的不透光表面)。如本文中所使用的，术语“光源”至少在一些实施例中是指与描绘发光体(例如，生成光的物理光源) (诸如灯泡或太阳，或者诸如像镜子、冰或玻璃那样的可被感知为自发光的对象的表面(例如，镜面反射表面))的图像的部分相关联的一个或更多个像素。根据一些实施例，发光体可以指感知光源(物理光源或者高反射表面)，其中，发光体可以在场景(例如，源环境)中作为场景图像的部分被捕获，或者与观看环境(例如，目标环境)相关联。术语“光源”可以描述由人类视觉系统(“HVS”)感知成自发光的像素或刺激(stimulus)，如此，可以与术语 “感知光源”可互换地使用。在一些实例中，光源的亮度值可以高于例如与非光源相关联的值的范围。如本文中所使用的，术语“非光源”至少在一些实施例中是指这样的一个或更多个像素其与描绘可以散射或漫射光以使得表面可被感知成不是闪光或镜面的对象的表面 (例如，漫反射表面)(诸如，织品或土壤)的图像的部分相关联。在一些示例中，非光源是按照未由HVS感知成光源的漫射方式反射光的表面。非光源的示例包括相对暗的周边中的一张白纸或白色结婚礼服，其中，纸张和礼服具有相对明亮的外观。注意，术语“非光源”在一些实施例中还可以是指这样的一个或更多个像素其与描绘不会被感知成光源的、具有足够大尺寸的物理光源的图像的部分相关联。在一些实施例中，光源分析器122被配置成 根据相对于与非光源相关联的至少其它像素的尺寸和/或亮度值，把一个或更多个像素识别成光源。环境参数处理器1 被配置成确定像素中的一个或更多个像素的参数130，由此参数130可被配置成例如结合目标图像生成器170协助目标环境下的再现图像中的颜色的生成。在一些实施例中，通过色貌模型(“CAM”) 162使用参数130来生成外表关联，如光亮度相关值、色度相关值、以及色泽相关值。鉴于以上内容，图像处理器120以及其构件中的至少一些构件可以检测一个或更多个光源，以及将光源与非光源区分开。具体地，光源分析器122可以从包括非发光表面 (如，未被感知成自发光的漫反射表面或发亮的半透明表面(例如，温室窗口或覆霜窗口后方的光))的区域中辨别图像中被感知成自发光的区域。图像处理器120可以被配置成基于包括像素是否是光源的部分的、与像素相关联的信息，来确定作为参数130中的至少一个参数的适配度D。根据各实施例，可以针对每个像素各自确定适配度D，或者在一些情形中，可以全局地(例如，遍及所有或显著数目的像素)确定适配度。在一些实施例中，相比于非光源的像素，可以针对与感知光源相关联的像素不同地确定适配度D。此外，图像处理器120例如可以被配置成基于非光源的像素信息来确定适配亮度La。在一些实施例中，图像处理器120可以被配置成基于确定为光源或非光源的像素，来确定(或大致确定)与光源相关联的发光体的颜色(例如，感知颜色)。在一些实施例中，可以把与光源相关联的像素驱动为相比于与非光源相关联的像素的更大范围中的亮度水平。例如，考虑图像被配置成以亮度值的相对低的动态范围(“LDR”)操作。当在显示器上显示以产生亮度值的相对高的动态范围(“HDR”)中的图像时，图像处理器120可以被配置成扩大与光源相关联的像素的亮度值范围(例如，从亮度值的LDR至HDR范围)，而非光源的亮度值范围可以较小 (例如，等同于原始图像的亮度值的低动态范围)。为了图示图像处理器120的操作，考虑图像处理器120分析表示图像(如，图像 IOlb)的数据，包括表示太阳的像素数据、表示冰表面上的太阳的镜面反射(例如，完美、镜面类反射)的像素数据、以及表示覆盖地面的雪10 的像素数据。雪10 作为图像IOlb 的相对浅的部分显现。光源分析器122被配置成分析包括太阳的图像部分的像素(如，像素103a)、以及包括反射的另一图像部分的像素(包括像素10北)。此外，光源分析器122 被配置成分析表示雪覆盖地面的又一图像部分的像素(如，像素103c)。可以通过图像捕获装置107(如，摄像装置)生成图像101b，图像捕获装置107被配置成捕获太阳提供用于源环境中发光体的场景IOla的影像。注意，还对于示出的示例，虽然太阳可以是主要光源，但可以存在会感知成自发光的其它表面(即，感知光源)，如作为反射10 的、镜面反射太阳的一片冰。在一些实施例中，环境传感器110被配置成光学感测影响色貌模型162的运算的环境参数。环境传感器110的示例包括数码相机(例如，能够提供HDR图像的高清图像摄像装置)、光度计、光检测器、被配置成接收光以感测亮度水平以及颜色的光传感器、以及用于确定用于修改颜色(或颜色外观)的参数130的其它类型传感器。环境参数处理器IM可以包括适配亮度La生成器(“La Gen”)125b，适配亮度生成器12 被配置成生成表示图像IOlb的像素的适配亮度(“La”)参数132c的数据。根据一些实施例，适配亮度La可以是指定区域上(例如，图像IOlb中所有或显著数目的像素上)的平均光强度的适配场的亮度。注意，适配亮度La的确定不必局限于图像并且可以通过使用环境传感器110考虑环境(例如，源或目标环境)得出。可以把适配场描述成包括近端场、背景场、以及周边场。在一些实施例中，选择适配亮度参数132c的值作为图像IOlb 中的并非光源的部分(即，不是感知光源的部分)的最亮像素的亮度值。例如，适配亮度生成器12 可以被配置成确定图像IOlb中的与光源不相关联的像素，诸如描绘此示例中雪覆盖地面的部分以及不是感知光源的像素103c。一旦适配亮度生成器12 检测出非光源的像素的亮度值大于非光源(例如，具有漫反射表面的对象)的其它像素，适配亮度生成器 12 就可以选择该亮度值作为适配亮度的值。在至少一个实施例中，适配亮度参数132c是由源图像生成器160针对图像IOlb中的所有像素使用的全局参数。在一些实施例中，适配亮度生成器125b被配置成生成多个适配亮度参数132c作为许多适配亮度局部化值。具体地，适配亮度生成器12 可以选择构成非光源的像素的亮度值作为局部化适配亮度参数132c，而选择其它亮度值作为其它非光源的局部化适配亮度参数132c。在操作中，适配亮度生成器12 识别图像IOlb中的与非光源相关联的像素组， 并且还确定比其它非光源像素的其它亮度值大的亮度值。随后，适配亮度生成器12 可以选择最大亮度值作为包括该像素组的图像IOlb的区域的适配亮度La。在此情形中，适配亮度参数132c是图像IOlb的区域或部分的局部参数。在一些实施例中，可以将单个适配亮度参数132c用于未形成光源的部分的像素(即，被感知成白色而未被感知成光源的像素)，可以各自得出局部化适配亮度参数132c并且将局部化适配亮度参数132c用于光源和非光源。环境参数处理器IM还可以包括适配度生成器(“DOA Gen") 125a，适配度生成器 12 被配置成生成表示图像IOlb的像素的适配度(“DoA”)参数13 的数据。根据一些实施例，适配度D可以是表明是否使发光体减损(或者使发光体减损至何种程度)的经亮度调整的适配(例如色适配)度。适配度生成器12 可以接收指定像素是否与光源相关联的光源标识符(“LS ID”)128、光源的标识、以及其它光源相关信息，如亮度水平和光源尺寸。在一些实施例中，用以从源环境向目标环境转换的色适配度是小的，或者其相对于非光源，对于图像IOlb的自发光部分而言可忽略。因而，适配度生成器12 可以被配置成将与光源相关联的像素设置为零(例如，D = 0)，从而不使发光体(例如，它的颜色或亮度) 减损(例如，未适配于所采用的白点)。此外，适配度生成器12 被配置成计算构成非光源的像素的适配度D，从而适配度使发光体减损(例如，部分适配直至完全适配于所采用的白点)。例如，非光源是这样的表面其提供与镜面反射表面相比以更大量的角度散射和反射光的漫反射量。在一些示例中，非光源可以反射可被感知成明亮表面、但是未由HVS感知成光源的光的量。对于除了与光源相关联的像素之外的像素，适配度生成器12 可以针对与例如非光源相关联的像素生成色适配中使发光体减损的适配度参数13加。因而，适配度可以是指定完全适配的、范围直至且包括值一(例如，D = 1)的非零值。在一些实施例中，逐个像素地确定适配度，从而适配度的值是相应像素的亮度值的函数。在至少一个实施例中，可以通过首先确定光源(例如，其中D = O)中像素的亮度值与确定适配度的像素的亮度值之间的差对适配度进行插值。随后，可以确定从D = 0至适配度值(例如，0 < D < 1)的距离，其中，可以通过线性或非线性关系确定距离。在另一实施例中，与光源相关联的像素与设置为零(0)的D的值相关联。此外，与感知光源不相关联的、并且例如相对暗或与低亮度值相关联的像素可以与设置为对应于阈值亮度值的中间适配度Dint的D值相关联。阈值亮度值定义如下水平在该水平之下，D的值(即，在Dint 以下)可以相对恒定或者可以与阈值亮度值以上的亮度值不同地被插值。最终，非光源的像素(或者具有大于阈值亮度值的亮度值的像素)可以具有与光源的亮度值和阈值亮度值之间的像素亮度值成比例地插值的适配度D。可以对适配度进行线性或非线性插值。在一个示例中，适配度可以根据提供在D = 0与Dint的两个值之间光滑插值的厄密(Hermite) 多项式而在D = 0与Dint之间变化。这种多项式的示例是k3_3s2+l，其中，s表示高和低亮度值的缩放比例以对应于从0至1的范围。在至少一个实施例中，通过使用等式1至3 计算中间适配度Dint。在一些实施例中，如在以下等式(1)中，适配度生成器12 至少在一些情形中可以各自生成Dint (即，“D” )、以及像素的任何D值。
权利要求
1.一种生成图像的方法，所述方法包括检测表示图像的图像部分的像素子集，所述像素子集与表示指示候选光源的亮度值的数据相关联；指定第一图像部分的第一像素子集与第一光源相关联；以及确定所述第一像素子集的参数，所述参数被配置成生成包括所述第一图像部分的再现图像中的颜色。
2.如权利要求1所述的方法，其中，指定所述第一像素子集与第一光源相关联包括 根据相对于与非光源相关联的第二像素子集的亮度值和像素数量，来识别所述第一像素子集作为所述第一光源。
3.如权利要求1所述的方法，还包括确定第二图像部分的第二像素子集与非光源相关联。
4.如权利要求1所述的方法，还包括确定第二图像部分的第二像素子集与非光源相关联；以及基于所述光源，来计算表示所述图像的白点的数据。
5.如权利要求1所述的方法，其中，确定所述第一像素子集的参数包括计算构成所述第一光源的所述第一像素子集的适配度D，其表明对于所述第一光源的发光体颜色没有减损。
6.如权利要求1所述的方法，其中，检测表示图像的图像部分的像素子集包括生成所述图像的下采样图像，所述下采样图像随着所述下采样图像中的像素数目减小而逐渐模糊；确定来自所述图像与所述下采样图像的值集之间的差以形成合成图像；以及根据包括所述亮度值集的若干个所述合成图像，来确定所述候选光源。
7.如权利要求1所述的方法，其中，检测表示图像的图像部分的像素子集包括确定第一值集，所述第一值集表示指示所述图像中第一像素组的边界的亮度值改变； 在相邻像素上分布表示所述亮度值改变的所述第一值集，以形成表示另一图像中的亮度值改变的分布值；对所述另一图像进行下采样以形成第二值集，所述第二值集表示指示所述另一图像的下采样图像中的第二像素组的另一边界的亮度值改变；以及将所述第二值集减去所述第一值集，以定义所述候选光源。
8.如权利要求1所述的方法，还包括确定所述图像中的与所述光源不相关联的像素，所述像素的亮度值大于非光源的其它像素；以及选择所述像素的亮度值作为所述图像的适配亮度LA的值， 其中，所述适配亮度是全局参数。
9.如权利要求1所述的方法，还包括 确定所述图像中的与所述非光源相关联的像素子集，所述像素子集与比所述非光源的其它像素大的亮度值相关联；以及选择所述像素的亮度值作为所述图像的区域的适配亮度LA的值， 其中，所述适配亮度是所述区域的局部参数。
10.一种用于处理图像的设备，包括光源分析器，被配置成分析图像的像素值以识别候选光源的集合，所述光源分析器包括候选光源检测器，被配置成检测表示与框架相关联的区域的边界的数据作为所述候选光源；以及光源识别器，被配置成识别表示所述候选光源的子集的数据作为感知光源；以及环境参数生成器，被配置成确定所述光源的每个像素的参数以生成目标环境下装置处的再现图像中的颜色，其中，所述颜色受所述光源中的至少一个光源的发光体颜色影响。
11.如权利要求10所述的设备，还包括图像金字塔生成器，被配置成生成表示所述图像的下采样图像的数据，并且还被配置成随着所述下采样图像中的像素数目减小而使所述下采样图像逐渐模糊，其中，所述图像和所述下采样图像是存储在数据结构内的图像金字塔的层。
12.如权利要求11所述的设备，还包括差评估器，被配置成确定所述图像与所述下采样图像两者中的分层像素之间的差， 其中，至少与所述分层像素的子集相关联的正的、非零结果指示所述候选光源中的至少一个候选光源的边界。
13.如权利要求10所述的设备，其中，所述候选光源检测器还被配置成确定所述图像与所述下采样图像两者之间的高斯结果图像的差，其中，所述高斯结果图像的差指示所述框架的边界。
14.如权利要求10所述的设备，其中，所述光源识别器还包括 尺寸评估器，被配置成确定候选光源的尺寸；以及亮度评估器，被配置成确定所述候选光源的一个或更多个亮度值， 其中，所述光源识别器被配置成基于小于尺寸阈值的尺寸以及大于亮度阈值的一个或更多个亮度值来将框架识别为光源。
全文摘要
实施例总体上涉及图像和显示处理，更具体地涉及检测图像中的光源以基于光源(例如，感知光源)协助不同观看环境中的图像的颜色外观预测和/或动态范围修改的系统、设备、集成电路、计算机可读介质、以及方法。在一些实施例中，一种方法包括检测表示图像的部分的像素，指定图像部分的像素子集与光源相关联，以及确定像素子集的参数，参数被配置成生成包括图像部分的再现图像中的颜色。在一个实施例中，检测光源以协助亮度值的高动态范围与低动态范围之间的转换。
文档编号G06T5/40GK102422322SQ201080020991
公开日2012年4月18日 申请日期2010年5月4日 优先权日2009年5月11日
发明者埃里克·莱因哈德, 安德斯·巴莱斯塔特, 格温·丹贝格, 蒂莫·孔克 申请人:杜比实验室特许公司