专利名称：光源估计设备和方法、成像设备及图像处理方法
技术领域：
本发明涉及一种光源估计设备、光源估计方法、图像拾取设备和图像处理方法，其中例如具有多个不同光谱灵敏度特性的图像拾取装置使用在拍摄未指定的任意对象的图像时所获得的传感器响应值，以估计表示照射对象的未知拍摄光源的色彩的光谱特性。
背景技术：
入射到人眼上以使得能够形成视觉的光是由于照明的辐射能量的一部分，其由被看见的对象反射，并且通过空气传播；虽然人类视觉系统不能直接测量对象和照明的特性，但是甚至在具有未知色彩特性的照明之下，也能以一定程度的可靠性识别对象。该特性被称作色彩恒定性，并且例如使得白色对象表面能够被感觉为白色。
另一方面，在数字静止照相机、数字视频摄像机和其它电子图像拾取设备中，通过CCD(电荷耦合器件)或其它光电传感器的响应，将场景拾取为图像；然而，由于一般而言，R、G、B或者其它颜色信道之间的传感器响应平衡是恒定的，因此为了根据场景照明在显现(appearance)自然的状态下形成图像，校正机制对于调整信道之间的平衡是必要的。如果平衡不被足够地调整，则对于图像的观看者，正常地被识别为无色对象的地方在图像中将被再现成是有色的，或者将以与所记忆的色彩不同的色彩再现对象，从而产生不自然的印象；因此平衡调整对于图像的色彩再现是极其重要的。
信道之间的平衡调整例如可以通过以下方式来执行每个信道的增益调整中被称作白平衡的无色颜色校正；通过信道之间的信号的线性矩阵变换来校正光源的色彩呈现特性(专利参考文献1)；或与图像拾取设备的传感器、视觉系统等的不同灵敏度响应匹配。然而，无论使用哪种方法，校正机制都必须使用某些手段来获得适于场景的校正参数。例如，如果被拍摄场景的光源的光谱分布是已知的，则可以使用下面方程式(1)和(2)，以相对于光量是线性的RGB三信道响应以及图像拾取系统的光谱灵敏度特性，计算用于调整传感器白平衡的适当增益值。
RwGwBw=SI---(1)]]>其中S是表示传感器灵敏度的矩阵(三个信道×波长样本数n)，并且I是表示光源的光谱分布的列向量(波长样本数n)。
gR＝Gw/Rw，gG＝Gw/Gw＝1.0，gB＝Gw/Bw(2)然而，对于图像拾取设备，与在图像拾取的时候存在于场景中而没有校准等的对象和场景的照明光源相关的信息通常是未知的；并且必须从用于图像拾取的专用传感器或传感器的响应结果识别确定这些参数所需的照明光源的色彩特性或适于该场景的调整参数，从而构成了被称作光源估计问题或色彩恒定性问题的问题。
在视觉研究领域内，从大约1980年开始提出了各种算法和计算模型，并且除此之外，在传统的彩色图像拾取设备中加入了基于经验知识的技术，其估计性能通过多年得到了发展。近来，还预期了对机器人学和其它人工视觉系统的应用。
最广泛使用的算法之一基于对象的表面反射率的场景上的空间平均接近于灰色这一假定，从传感器响应的平均值和其到黑体地方上的投影，提取光源的色彩分量(非专利参考文献1、非专利参考文献2)，并且用于各种模式中，例如简单地在像素之间平均传感器响应，在指定的亮度电平的范围之内平均像素，或者根据空间位置改变采样的范围或加权。还存在这样一种方法，其中假定具有最高亮度电平的区域对应于与完全漫反射表面接近的白表面，从具有高响应值的像素的采样结果提取光源的色彩分量(专利参考文献2)，并且存在这样一种方法，其中高亮度电平的区域被假定为镜面反射分量，并且从响应值的分布估计光源(非专利参考文献3)。由于这些方法基于关于应当在物理上独立于光源的对象表面的假定，因此可以知道，根据场景，光源估计结果可以大大受到与所作假定偏离的对象状态的影响。
还存在这样的研究，其中通过假定对象表面是漫反射表面的反射模型，并且通过少数维的线性模型来近似光源和对象表面的光谱特性，使用与传感器响应的向量空间不同的向量空间、通过线性计算来尝试重构(非专利参考文献4)，并且存在这样的研究，其中施加诸如对象表面的光谱反射率必须在物理上处于范围0至1内的约束条件，以选择具有高概率的光源(非专利参考文献5)；然而，在具有少数响应信道的一般化图像拾取系统中，这些系统不独立地提供足够的估计性能。此外，尽管计算量增大，也提出了这样一种方法，其综合多个已知假定和光源、对象表面、图像拾取系统等的概率分布，以改善统计估计的准确性(非专利参考文献6)。
在特别是应用反射模型的方法中，代替以单个完全未知的光源为解来执行估计，在一些方法中，在从预先被选作候选者的多个光源中归类或检测最有可能的光源的确定方法中利用广泛的先验知识；这样的方法可能是有利的，因为计算相对简单，并且可以快速地输出结果。作为用于判断结果可靠性的标准，可以使用在固定的约束条件之下恢复传感器响应本身的误差(非专利参考文献7)；并且已经存在用于在传感器空间内广泛地使用色域内的分布状态的提议，以高效地通过与预先用作基准的色域或者加权分布的比较来量化相关关系(非专利参考文献8、非专利参考文献9、非专利参考文献10、专利参考文献3)。
专利参考文献1已
公开日本专利申请No.2002-142231专利参考文献2已
公开日本专利申请No.H9-55948专利参考文献3已
公开日本专利申请No.H5-191826非专利参考文献1G.Buchsbaum，“A Spatial Processor Model for ObjectColor Perception”，J.Franklin Inst.，310，1980非专利参考文献2E.H.Land，“Recent Advances in Retinex Theory”，Vision Research，26，1986非专利参考文献3H.C.Lee，“Method for computing the scene-illuminantchromaticity from specular highlights”，J.Opt.Soc.Am.A，Vol.3，No.10，1986非专利参考文献4L.T.Maloney & B.A.Wandell，“Color ConstancyAmethod for recovering surface spectral reflectance”，J.Opt.Soc.Am.A，1986非专利参考文献5D.A.Forsyth，“A Novel Algorithm for Color Constancy”，Int.J.Comput.Vision，5，1990非专利参考文献6D.H.Brainard & W.T.Freeman，“Bayesian colorconstancy”，J.Opt.Soc.Am.A，Vol.14，No.7，1997非专利参考文献7B.Tao，I.Tastl & N.Katoh，“Illumination Detection inLinear Space”，Proc.8th Color Imaging Conf，2000
非专利参考文献8Hewlett-Packard Company，Hubel等，“White pointdetermination using correlation matrix memory”，美国专利6038339非专利参考文献9G.D.Finlayson，P.M.Hubel & S.Hordley，“Color bycorrelation”，Proc.5th Color Imaging Conf.，1997非专利参考文献10S.Tominaga & B.A.Wandell，“Naturalscene-illuminant estimation using the sensor correlation”，Proc.IEEE，Vol.90，No.1，2002。
发明内容
通常，为了在数字照相机内的图像处理操作如白平衡处理中使用光源估计算法，处理速度不仅必须快，而且在实现的时候存储器消耗等的成本需要低。
然而，即使在上述传统算法中允许较快归类和检测的的算法的情况下(非专利参考文献8、非专利参考文献9、专利参考文献3)，如图10中在传感器响应空间中评价测试光源的合理性的传统方法的概念图所示，虽然随着被设为候选者的测试光源101的数目1到n的增加，存在提高估计准确性的可能性，但是由于由比较部分109执行传感器响应105的图像分布106到对象103的拾取图像与基准分布(1，2，...，n)108的比较性评价，其中对象103的拾取图像由图像拾取装置104拾取，并且基准分布(1，2，...，n)108与各个测试光源101对应地被存储在存储介质107中，因此在与图像拾取光源102相关的传感器空间的图像分布106中，输出评价结果分值(1，2，...，n)110，并且由判断部分111将基于分值110被判断为最正确的测试光源判断为估计光源O；用作正确光源比较标准的基准分布信息(1，2，...，n)108如色域(color gamut)、加权分布、目标值等必须以与被选用的测试光源101的数目1到n相同的数量被保存在存储介质107中，从而存在增加使用ROM或其他存储介质107的趋势，因此仍然存在相对于准确性和成本的优点和缺点组合的问题。
上述方法通过固定投影为一个拾取图像创建一个图像分布，并且使该分布成为与对应于多个所采用光源的多个基准分布比较的判断标准，而在本发明中，将通过对应于多个所采用光源的投影生成的多个基准分布与用作判断标准的单个固定基准分布进行比较。
本发明是鉴于上述内容而设计的，并且其目的是提供一种光源估计设备、光源估计方法、图像拾取设备和图像处理方法，其用于根据传感器响应估计图像拾取场景的未知光源的色彩特性，以便改善彩色图像拾取设备的自动白平衡调整和色彩再现质量的其它方面。
本发明的光源估计设备通过包括以下装置来估计正确的图像拾取光源存储装置，用于针对每个测试光源存储参数，其中该参数用于通过针对传感器响应值执行可以在色度上从图像拾取装置的多个不同已知光谱灵敏度特性和从预先假定的多个测试光源的光谱特性被近似的操作，将传感器响应值投影到与图像拾取光源无关的评价空间中；投影转换装置，用于使用存储在存储装置中的参数，将传感器响应值投影到与图像拾取光源无关的评价空间中；以及评价装置，用于基于由投影转换装置投影的图像场景的样本值的图像分布状态评价，多个测试光源的正确性。
因此，根据本发明，实现下面操作。
对于采样的传感器响应，通过可以在色度上从图像拾取装置的已知光谱灵敏度特性和从测试光源的光谱特性被近似的操作，执行到与光源无关的评价空间中的投影，并且基于广泛地分布在其中的样本值的状态评价每一个测试光源的合理性。
因此，对于每个测试光源只需存储用于从传感器空间投影到评价空间中的矩阵或其它参数，从而通过在单个评价空间中提供评价标准，可以以低的存储器消耗获得高的估计准确性。
此外，通过可以在色度上从图像拾取装置的已知光谱灵敏度特性和从所假定的测试光源的光谱特性被近似的操作，执行到与图像拾取光源无关的评价空间中的投影，并且通过基于被投影场景的样本值的分布状态评价多个测试光源的正确性，本发明的光源估计方法针对传感器响应值正确地估计图像拾取光源。
因此，根据本发明，实现下面操作。
为了使用与光源无关的固定空间执行评价，仅为单个基准分布空间保存作为正确光源比较标准的信息就足够了，从而简化了评价处理，因此可以解决增大成本的问题。作为进一步的结果，可以提供用于作为正确光源标准而参考的较大信息量(条件和数据)，从而也促进了用来提高估计准确性的优化调整。
此外，本发明的图像拾取设备包括存储装置，用于针对每个测试光源存储参数，其中该参数用于通过针对传感器响应值执行可以在色度上从图像拾取装置的多个不同已知光谱灵敏度特性和预先假定的多个测试光源的光谱特性被近似的操作，将传感器响应值投影到与图像拾取光源无关的评价空间中；投影转换装置，用于使用存储在存储装置中的参数，将传感器响应值投影到与图像拾取光源无关的评价空间中；评价装置，用于通过基于由投影转换装置投影的图像场景的样本值的图像分布状态而评价多个测试光源的正确性，估计正确的图像拾取光源；光源估计装置，用于通过在数值公式中结合、或者通过条件分支选择、或者通过组合通过估计而确定的图像拾取光源和通过与所使用的估计方法不同的估计方法而确定的光源，估计最终的图像拾取光源以将其确定为估计光源；以及色彩平衡调整装置，在图像拾取装置的传感器响应的色彩平衡处理中，使用适于其的光谱特性或参数，作为估计图像拾取光源的色彩。
因此，根据本发明，实现下面操作。
在该图像拾取设备中，可以扩大图像拾取光源的估计范围，并且通过针对每个测试光源仅存储用于从传感器空间投影到评价空间中的矩阵或其它参数，并且通过在单个评价空间中提供评价标准，获得具有低存储器消耗的高估计准确性，以便将其用于色彩平衡处理中。
此外，本发明的图像处理方法通过可以在色度上从图像拾取装置的已知光谱灵敏度特性和从所假定的测试光源的光谱特性被近似的操作，针对传感器响应值，执行到与图像拾取光源无关的评价空间中的投影；通过基于被投影场景的样本值的分布状态而评价多个测试光源的正确性，估计正确的图像拾取光源；通过在数值公式中结合、或者通过条件分支选择、或者通过组合通过估计而确定的图像拾取光源和通过与所使用的估计方法不同的估计方法而确定的光源，估计最终的图像拾取光源以将其确定为估计光源；以及在图像拾取装置的传感器响应的色彩平衡处理中，使用适于其的光谱特性或参数作为估计图像拾取光源的色彩。
因此，根据本发明，实现下面操作。
在该图像处理方法中，可以扩大图像拾取光源的估计范围，并且通过针对每个测试光源仅存储用于从传感器空间投影到评价空间的矩阵或其它参数，并且通过在单个评价空间中提供评价标准，获得具有快速处理的高估计准确性，以将其用于色彩平衡处理中。
图1是应用于本发明实施例的在与光源无关的评价空间中评价测试光源的合理性的方法的概念图；图2是数字静止照相机内的图像处理方框图；图3是示出基准分布生成处理的流程图；图4是示出光源估计处理的流程图；图5是示出光谱反射率基函数(basis function)的图；图6是示出将色图投影到反射率向量空间中的示例图；图7A到7C是示出测试光源的图，其中图7A以相同的间隔，图7B以特定间隔被精细地划分，而图7C包括多个光源；图8是示出反射率样本的分布的图；图9是示出基准分布表的图；以及图10是在传感器响应空间中评价测试光源的合理性的传统方法的概念图。
具体实施例方式
以下，适当时参照
本发明的实施例。
图1是应用于本实施例的在与光源无关的评价空间中评价测试光源的合理性的方法的概念图。
在图1中，使用图像拾取光源2由图像拾取装置4拾取对象3的图像。为了使得能够投影到与光源无关的评价空间中，相对于此时由图像拾取装置4采样的传感器响应5，使用作为已知量的图像拾取装置4的光谱灵敏度特性、并且使用测试光源(1到n)1的光谱特性，预先执行色度近似操作，并且通过投影转换部分6使用存储在存储介质7中的与每一个测试光源对应的矩阵(1到n)8，执行到评价空间的图像分布9中的投影，然后基于在图像分布9中广泛分布的样本值的状态，并且基于基准分布11，相对于每个测试光源(1到n)1的合理性，由评价部分10输出评价分值12，并且判断部分13基于分值12而将被判断为最接近正确的测试光源判断为估计光源O。
因此，相对于每一个测试光源(1到n)在存储介质7中仅存储用于从传感器空间投影到评价空间中的图像分布9的矩阵(1到n)8或其它参数就足够了，从而通过在评价空间的图像分布9中、通过单个基准分布11提供评价标准，可以由评价部分10输出具有足够信息量以便使得判断部分13能够进行准确判断的分数(1，2，...，n)12，其中仅使用了存储介质7的少量存储空间。
图2是示出应用本发明实施例的数字静止照相机内的图像处理系统的方框图。
假定这样一种数字静止照相机，其中可以作为与光量成比例的10比特数字值而获得在三个信道红、蓝、绿中相对于每个像素而不同的、由于光谱灵敏度特性的传感器响应，并且在该设备内的图像处理操作单元中，使用每个信道的适当增益值执行用于白平衡调整的处理。
为了基于通过从由传感器响应读出部分21读取的值中减去黑校正部分22中的偏移分量而获得的传感器响应，确定白平衡调整的适当增益值，由子采样部分23在所有像素中以适当的位置间隔执行子采样。此时，排除了可被判断为在接近传感器响应的最小和最大值的范围内达到了饱和的像素。由光源估计处理部分24对这些采样像素执行后述的光源估计处理。
结果，通过前面在方程(1)和(2)中表示的计算，从存储在增益确定部分25中的、针对每个测试光源的白平衡调整的增益值中选择与所估计的光源对应的增益值；并且在白平衡增益调整部分26内的白平衡处理中采用所选增益值。
随后，通过灰度级转换部分27的非线性灰度级转换和色彩空间转换部分28的3×3矩阵转换，将Y、Cb和Cr(亮度/色差信号)各自转换成8比特，由编码部分29执行包括图像压缩处理在内的编码，并且由文件写入部分30将结果作为电子文件写入在存储卡中。
在本实施例的光源估计中，相对于传感器响应，如下面方程式(3)所示，假定对象表面线性反射模型。
f=RGB=SLr---(3)]]>其中L是包含光源光谱分布的n个波长样本的对角矩阵(n×n)，并且r是表示对象表面光谱反射率的列向量(波长样本数n)。
本实施例使用方程式(4)的矩阵计算来说明，其假定可以通过三个基函数的线性组合来近似对象表面的光谱反射率。
r≅ra=Bw=b1b2b3β1β2β3---(4)]]>其中B是表示光谱反射率的基函数的矩阵(波长样本数n×基数3)，b1、b2、b3是表示光谱反射率的基函数的列向量(波长样本数n)，w是包含加权系数的列向量(基数3)，β1、β2、β3是用来作为基函数的线性和表示光谱反射率的加权系数，并且ra是表示光谱反射率的近似值的列向量(波长样本数n)。
如果光谱反射率是已知的，则可以如在下面方程式(5)中计算用于基函数的加权系数的近似值。
w=β1β2β3=Bt(BBt)-1r---(5)]]>由于在方程式(5)中w与传感器或图像拾取光源无关，因此由基函数的加权系数产生的向量空间(以下被称作反射率向量空间)可以被认为是特定于对象的空间。图5所示的光谱反射率基函数是从400nm到700nm的波长范围内表示的基函数的例子；由于β1表示亮度分量，则第一分量被设成在整个波长范围内是平坦的，而第二和第三分量是这样操作的结果，即从24个特定色图的光谱反射率数据提取排除了作为偏移的第一分量的最高两个分量，然后执行主分量分析。根据方程式(3)和(4)，当基数和传感器响应信道数相同时，使用下面方程式(6)计算通过矩阵从传感器响应进行投影的列向量。
w~=β~1β~2β~3=(SLB)-1RGB=MRGB---(6)]]>方程式(6)中的矩阵M将传感器响应投影到反射率向量空间中，但是它是与光源L相关的矩阵，并且以下被称作光源矩阵。如果使用与对其获得传感器响应的场景的光源相同的光源作为光源L，则即使对象的光谱反射率是未知的，也将从传感器响应投影的列向量 恢复成接近值。然而，如果使用与图像拾取场景的光源不同的光源，则得不到该恢复准确性。因此，假定任意光源Li，并且使用在方程式(7)中表示的光源矩阵Mi。
Mi＝(SLiB)-1(7)
利用使用方程式(7)获得的光源矩阵Mi，并且利用作为方程式(6)投影的列向量 与对象的正确列向量w之间的关系，可以评价反射率向量空间中与图像拾取光源的类似度。通过反射率向量空间内的β2-β3平面中的24个色图的模拟结果，图6示出了从已知表面的光谱反射率近似的点的分布处于接近于使用与图像拾取时的光源相同的光源的光源矩阵、从相同表面的拾取图像的传感器响应投影的点的分布的状态，以及使用与图像拾取时的光源不同的光源的光源矩阵投影的点的分布处于与前面分布不同的状态。
对象可采用的列向量w广泛地分布在反射率向量空间中，并且难以通过使用从单个像素的传感器响应获得的列向量 评价与未知对象的关系。因此，这里假定图像拾取场景由单个光源均匀地照明，将所有像素中的采样像素的传感器响应投影到反射率向量空间中，并且通过评价这些分布状态(以下被称作图像分布)，确定单个估计光源。提供多个用于评价的光源(以下被称作测试光源)，并且根据上述方程式(7)预先计算和存储所有光源矩阵。
在估计处理的时候，相对于所有测试光源采用每个光源矩阵，以评价所投影的图像分布，并且在所有测试光源中选择具有最高的表示正确度的评价指数的测试光源作为估计光源。这里，假定色温大约处于2850K到8000K范围内的自然光作为测试光源；为了减小估计误差分散，以尽可能几乎相等的间隔，在CIE 1976 UCS色品图(chromaticity diagram)的u’-v’平面中的CIE目光轨迹(locus)上采用七个测试光源，如图7A所示。在本实施例中，可以选择任何测试光源作为估计结果，从而如图7B所示，在u’-v’平面上仅以色温方向上的特定期望间隔更加精细地划分测试光源，并且如图7C所示，还可以增加采用在物理上不同的发光方法的光源，例如荧光灯，以提高在更多样的场景中获得正确估计结果的概率。
为了相对地评价图像分布的分布状态是否是对象的正确状态，参考要被采用为反射率向量空间中的比较标准的单个固定分布状态(以下被称作基准分布)。将基准分布存储为二维数值表格式的数据，其中该二维表被提供相对于在β2-β3平面中以相同的间隔划分的每个单元格的加权系数。例如使用诸如下面的过程来生成该基准分布。
在图3的流程图中示出了特定的基准分布生成处理。
在步骤S1，收集可能是图像拾取对象的大量对象的表面的光谱反射率数据，并且提取尽可能多样的代表性样本。
在步骤S2，使用方程式(5)将光谱反射率的样本数据投影到反射率向量空间中(图8)。
在步骤S3，通过在反射率向量空间中为β2-β3平面的每个轴指定低端low2和low3、高端high2和high3、以及单元格划分数bin2和bin3，设置单元格区域，使得该矩形区域包含(comprehend)样本分布。
在步骤S4，对位于每个单元格区域内的数据样本数进行计数，以生成频率分布。
使用下面方程式(8)计算单元格坐标(x，y)。
x＝floor((β2-low2)×bin2/(high2-low2))y＝floor((β3-low3)×bin3/(high3-low3)) (8)其中floor()是舍弃小数部分的运算符。
在步骤S5，记录将每个单元格中的频率编码至适当的比特深度的值Trxy。
在步骤S6，为了形成基准分布的分布范围的轮廓(outline)，计算凸包括(convexly encompass)其中存在值的单元格的多边形，并且通过将值1分配给对于其不存在值的、存在于该多边形内的任何单元格，填充该轮廓内的单元格中的空洞。图9示出了以2的比特深度生成的基准分布的例子中单元格的数值。
图4是特定光源估计处理的流程图。
在估计处理的时候，根据图4所示的下面过程重复对每个测试光源计算分值。
在步骤S11，为测试光源选择投影矩阵。具体地说，图1所示的投影转换部分6从存储介质7选择测试光源i的光源矩阵Mi。
在步骤S12，执行样本像素的读取。具体地说，图1所示的投影转换部分6从图像拾取装置4读取样本像素。这里，样本像素的传感器响应5是各种场景的图像拾取结果。
在步骤S13，执行矩阵转换。具体地说，图1所示的投影转换部分6使用测试光源i的光源矩阵Mi，以将样本像素的传感器响应5投影到反射率向量空间中。
在步骤S14，生成图像分布。具体地说，图1所示的投影转换部分6在与基准分布11相同的单元格位置创建图像分布9。类似于基准分布11的生成，图像分布9包括将每个单元格中的频率编码至适当的比特深度的值Thixy。这里，比特深度被取值为1；在图9中的基准分布表的单元格内加灰示出了将1值分配给存在一个或多个像素的每个单元格、并且将0用于所有其它单元格的图像分布。
在步骤S15，对所有样本像素重复处理，返回到步骤S12以重复步骤S12到S15的处理和判断。具体地说，图1的投影转换部分6不仅记录每个像素的图像分布9，还对位于基准分布11中存在值的单元格(在图9中以粗边框示出)内的像素进行计数。
在步骤S16，对每个测试光源计算分值。这里，分值12是图像分布9与基准分布11之间的相关值等。具体地说，图1所示的评价部分10计算下面三种指数。
第一，作为分布相关，使用方程式(9)针对每个单元格计算图像分布9与基准分布11的加权的乘积之和，作为表示基准分布11和图像分布9之间的相关函数的指数。
Ici=Σx=1bin2Σy=1bin3TrxyThixy---(9)]]>第二，作为像素数的划分，使用方程式(10)计算像素数与存在于基准分布11的色域(在图9中以粗边框示出)内的所有样本像素的比例，作为关于像素样本数的相对于基准分布11的比较指数。
Ipi＝(位于Trixy＞0的单元格坐标x，y的像素的数目)/(样本像素总数)(10)第三，作为分布大小，基于在使用错误光源矩阵进行投影的情况下、与正确光源矩阵的差别越大、则在β2轴方向上分散的分布范围将越宽这一假定，仅对于反射率向量空间中的图像分布，使用方程式(11)计算下面的指数Iri＝(Max2m-Min2m)/(Max2i-Min2i) (11)其中Max2i是由测试光源i的光源矩阵投影的β2的最大值，Min2i是由测试光源i的光源矩阵投影的β2的最小值，并且m是所有测试光源中Max2i-Min2i最小的光源i。
这里，图1所示的评价部分10使用方程式(12)、通过相乘这三种指数来获得光源i的分值12。
Si＝Ici·Ipi·Iri(12)在步骤S17，通过返回到步骤S11以重复步骤S11到S17的处理和判断，对所有测试光源重复处理。
在步骤S18，选择估计光源。具体地说，图1所示的评价部分10在获得所有测试光源1的分值12时确定具有最高分值12的光源i作为估计光源。
另外，还可以确定使用具有高分值的测试光源、通过加权平均处理等而选择的中间光源为估计光源。
另外，可以在色温方向上仅对图7A中的u’-v’平面上接近于具有高分值的测试光源的特定间隔进行更精细的划分，以便新生成多个测试光源，并且相对于新生成的测试光源分级执行其分值计算和判定，以进一步提高估计结果的分辨率。
当测试光源包括可基于发光的物理方法分成不同类别的多个光源，例如高效率荧光灯或者三波长荧光灯时，在各自的计算中使用在每个类别内的评价和类别之间的评价之间的不同指数，并且可以组合分别获得的分值，以判断估计光源。
当在一时间周期上连续地执行场景光源估计处理时，可以组合以短间隔在过去获得的指数和估计结果，以判断最近的估计光源。
为了在反射率向量空间中评价测试光源的正确性，除了β2-β3平面内的分布状态之外，还可以评价诸如β1-β3和β1-β2平面的其它二维空间中的分布，或者可以执行沿着每个轴的一维分布的评价，或者可以评价三维中的分布状态。
例如，通过使用基于向量信道之间的相对值的二维空间，例如通过将β2和β3除以β1而产生的β2/β1-β3/β1平面，可以抑制每个场景的曝光分散性和相同场景内的发光强度不均匀性对评价的影响。
此外，通过可以在色度上从图像拾取装置的光谱灵敏度特性和在每个场景的图像拾取时测量的图像拾取光源的光谱分布特性近似的操作，可以将传感器响应值投影到单独场景的评价空间中，其中传感器响应值是实际上存在的各种场景的图像拾取结果或者通过各种虚拟场景的图像拾取的数值操作的预测结果，并且可以使用从投影值的频率分布生成的加权分布和区域信息作为基准色域。
不必说，本发明不局限于上述实施例，而是可以在本发明的权利要求的范围内适当地采用各种其它配置。
本发明的光源估计设备通过包括以下装置来估计正确的图像拾取光源存储装置，用于针对每个测试光源存储参数，其中该参数用于通过针对传感器响应值执行可以在色度上从图像拾取装置的多个不同已知光谱灵敏度特性和预先假定的多个测试光源的光谱特性近似的操作，将传感器响应值投影到与图像拾取光源无关的评价空间中；投影转换装置，用于使用存储在存储装置中的参数，将传感器响应值投影到与图像拾取光源无关的评价空间中；以及评价装置，用于基于由投影转换装置投影的图像场景的样本值的图像分布状态，评价多个测试光源的正确性。因此，通过可以在色度上从已知的图像拾取系统的光谱灵敏度特性以及从测试光源的光谱特性近似的操作，将采样的传感器响应投影到与光源无关的评价空间中，从而存在这样的有利结果，即可以基于广泛地分布在其中的样本值的状态而评价每个测试光源的合理性。
因此，对于每个测试光源仅存储用于从传感器空间投影到评价空间中的矩阵或其它参数是足够的，从而通过在单个评价空间中提供评价标准，可以以低的存储器消耗获得高的估计准确性。
此外，通过可以在色度上从已知的图像拾取装置的光谱灵敏度特性以及从所假定的测试光源的光谱特性近似的操作，执行传感器响应值到与图像拾取光源无关的评价空间中的投影，并且通过基于被投影场景的采样值的分布状态评价多个测试光源的正确性，本发明的光源估计方法正确地估计图像拾取光源。因此使用与光源无关的固定空间执行评价，从而存储用于仅一个基准分布空间的信息作为正确光源的比较标准是足够的，并且简化了评价处理，从而可以解决成本增大的问题。此外，可以提供用于作为正确光源标准而参考的较大信息量(条件和数据)，从而存在这样的有利结果，即也促进了用来提高估计准确性的优化调整。
在根据本发明的方法中，从多个测试光源中判断最适合的光源；在现有技术所提出的方法中，为了在与光源有关的空间中执行评价，对于每个光源都需要评价标准，并且由于用作评价标准的数据量与测试光源的模式数成比例增长，因此必须减小评价标准数据量或测试光源数，从而牺牲了估计准确性，或者准确性被给予优先权，从而导致存储器成本增大。在本发明中，提供了用于空间转换的系数，其对于每个测试光源只需少量的存储器，并且使用与光源无关的固定空间执行评价，从而仅对于单个空间存储要作为用于判断正确光源的比较标准而参考的信息(条件和数据)就足够了，因此可以在不增加成本的情况下提高估计准确性，从而提供高于现有技术的优点。
此外，本发明的图像拾取设备包括存储装置，用于针对每个测试光源存储参数，其中该参数用于通过针对传感器响应值执行可以在色度上从图像拾取装置的多个不同已知光谱灵敏度特性和从预先假定的多个测试光源的光谱特性被近似的操作，将传感器响应值投影到与图像拾取光源无关的评价空间中；投影转换装置，用于使用存储在存储装置中的参数，将传感器响应值投影到与图像拾取光源无关的评价空间中；评价装置，用于通过基于由投影转换装置投影的图像场景的样本值的图像分布状态而评价多个测试光源的正确性，估计正确的图像拾取光源；光源估计装置，用于通过在数值公式中结合、或者通过条件分支选择、或者通过组合通过估计而确定的图像拾取光源和通过与所使用的估计方法不同的估计方法而确定的光源，估计最终的图像拾取光源以将其确定为估计光源；以及色彩平衡调整装置，用于在图像拾取装置的传感器响应的色彩平衡处理中，使用作为估计的图像拾取光源的色彩的光谱特性或者适于其的参数。因此，在该图像拾取设备中，可以扩大图像拾取光源的估计范围，并且只需针对每个测试光源存储用于从传感器空间投影到评价空间中的矩阵或其它参数，从而存在这样的有利结果，即通过在单个评价空间中提供评价标准，可以在低存储器消耗的情况下获得高估计准确性，从而使得能够用于色彩平衡处理中。
此外，本发明的图像处理方法通过可以在色度上从图像拾取装置的已知光谱灵敏度特性和从所假定的测试光源的光谱特性被近似的操作，针对传感器响应值，执行到与图像拾取光源无关的评价空间中的投影；通过基于被投影场景的样本值的分布状态而评价多个测试光源的正确性，估计正确的图像拾取光源；通过在数值公式中结合、或者通过条件分支选择、或者通过组合通过估计而确定的图像拾取光源和通过与所使用的估计方法不同的估计方法而确定的光源，估计最终的图像拾取光源以将其确定为估计光源；以及在图像拾取装置的传感器响应的色彩平衡处理中，使用作为估计图像拾取光源的色彩的光谱特性或适于其的参数。因此，在该图像处理方法中，可以扩大图像拾取光源的估计范围，并且只需针对每个测试光源存储用于从传感器空间投影到评价空间中的矩阵或其它参数，从而存在这样的有利结果，即通过在单个评价空间中提供评价标准，可以在低存储器消耗的情况下获得高估计准确性，从而使得能够用于色彩平衡处理中。
本发明可以提供一个用于从图像拾取系统的响应准确估计图像拾取场景的光源的框架。如果可以在图像拾取系统中估计未知场景的光源，则在图像拾取设备中准确地确定图像白平衡调整、色彩匹配调整和其它参数变得有可能，并且当记录和显示图像时，可以执行场景的拾取图像的准确色彩再现，和执行准确的校正以便获得特定期望的色彩再现。
权利要求
1.一种光源估计设备，用来正确地估计图像拾取光源，其中根据在拾取未指定任意对象的图像时获得的传感器响应值，具有多个不同光谱灵敏度特性的图像拾取装置估计表示照射对象的未知图像拾取光源的色彩的光谱特性，其包括存储装置，用于针对每个测试光源存储参数，其中所述参数用于通过执行操作将所述传感器响应值投影到与所述图像拾取光源无关的评价空间中，所述操作可以在色度上从所述图像拾取装置的多个不同的所述已知光谱灵敏度特性和从预先假定的多个测试光源的光谱特性被近似；投影转换装置，用于使用存储在所述存储装置中的参数，将所述传感器响应值投影到与图像拾取光源无关的所述评价空间中；以及评价装置，用于基于由所述投影转换装置投影的图像场景的样本值的图像分布状态，评价所述多个测试光源的正确性。
2.一种光源估计方法，其中根据在拾取未指定任意对象的图像时获得的传感器响应值，具有多个不同光谱灵敏度特性的图像拾取装置估计表示照射对象的未知图像拾取光源的色彩的光谱特性，其包括以下步骤通过可以在色度上从图像拾取装置的已知光谱灵敏度特性和从所假定的测试光源的光谱特性被近似的操作，将所述传感器响应值投影到与图像拾取光源无关的评价空间中；以及通过基于被投影场景的采样值的分布状态而评价多个所述测试光源的正确性，估计正确的图像拾取光源。
3.根据权利要求2所述的光源估计方法，其中用于所述评价的向量空间是这样的空间，其中用来通过结合多个反射率基函数来近似各种对象表面的光谱反射率的加权系数表示特定于对象表面的光谱反射率特性，或者它是这样的空间，其中加权系数通过固定操作变成被进一步转换的值。
4.根据权利要求3所述的光源估计方法，其中用来近似光谱反射率的所述反射率基函数是通过统计分析作为总体的多个已知对象表面的光谱反射率数据而获得的光谱反射率分量；或者是有意提取的光谱反射率分量；或者是两者的组合。
5.根据权利要求2所述的光源估计方法，其中用于所述评价的向量空间是这样的空间，其中通过固定操作将从具有特定光谱分布的单个虚拟基准光源在对象表面上反射的光的光谱分布值转换到多个信道。
6.根据权利要求5所述的光源估计方法，其中使用其所述光谱分布在整个波长范围内固定的基准光源。
7.根据权利要求2所述的光源估计方法，其中采用多个具有不同的已知光谱分布的光源作为所述测试光源；预先存储每个测试光源的光谱分布数据或者与对其施加了所述光谱分布数据的每个测试光源对应的计算系数；并且在所述光源估计的时候参考该数据或系数。
8.根据权利要求2所述的光源估计方法，其中从各种已知光源的光谱分布数据中、从用来通过多个光源基函数的加权线性和来近似光谱分布数据的系数中，或者从使用固定计算公式从光谱分布数据获得的指数中，预先提取和存储多个不同代表性光源作为所述测试光源；并且在所述光源估计的时候，参考每个测试光源的光谱分布数据、或与对其施加了该数据的每一个测试光源对应的计算系数。
9.根据权利要求8所述的光源估计方法，其中作为预先存储的多个不同光源的信息，使用特定光源的光谱分布数据或者与对其施加了该分布数据的特定光源对应的计算系数；并且在所述光源估计的时候，通过适当的选择、插值处理，生成并参考所述多个测试光源。
10.根据权利要求7所述的光源估计方法，其中所述多个代表性测试光源可按照光源的色温值或者按照光源的物理发光方法或者两者进行归类。
11.根据权利要求2所述的光源估计方法，其中，在所述图像拾取装置的传感器响应值中，使用关于所有像素的值或者关于在图像拾取平面的空间位置内的适当位置、在适当的范围内且以适当的间隔采样的像素的值。
12.根据权利要求2所述的光源估计方法，其中，在所述图像拾取装置的传感器响应值中，使用仅仅关于其每个信道的值处于指定范围内的那些像素的值、或者关于所有像素而不是其每个信道的值处于指定范围内的像素的值。
13.根据权利要求2所述的光源估计方法，其中，在将所述图像拾取装置的传感器响应值投影到评价空间中的时候，或者在所述时候之前，以固定任意比例或者以根据图像拾取结果预先确定的适当比率执行缩放。
14.根据权利要求2所述的光源估计方法，其中在添加噪声、曝光误差或者在所述图像拾取装置中假定的其它临时波动量之后，或者在添加对其添加了该波动量的像素之后，使用所述图像拾取装置的传感器响应值。
15.根据权利要求2所述的光源估计方法，其中相对于所述测试光源的每一个，在不作进一步修改的情况下，或者在通过固定操作转换成值之后，使用从投影到评价空间中的样本像素的值获得的统计量；从图像分布获得的统计量，其表示从样本像素生成的评价空间中的频率分布；从图像色域获得的统计量，其表示样本像素分布在其中的评价空间中的区域；或者这些统计量的任何两个或更多个的组合，作为预先假定的正确性指数的所述估计标准。
16.根据权利要求2所述的光源估计方法，其中相对于所述测试光源的每一个，将从所述传感器响应值的传感器空间中的样本像素获得的统计量、或者从通过固定操作从传感器空间中的样本像素值转换的值获得的统计量投影到评价空间中，并且在不作进一步修改的情况下，或者在通过固定操作转换成值之后，使用其作为预先假定的正确性指数的所述估计标准。
17.根据权利要求15所述的光源估计方法，其中，基于在每个波长的从0到1的范围内的物理可能性、以及其中平均起来存在以平坦波长特性近似无色性的大量表面的真实世界中的假定概率分布，相对于对象表面的光谱反射率，使用在评价空间的特定区域内可形成的添加了统计量的约束或加权，预先计算所述测试光源的每一个的正确性指数。
18.根据权利要求2所述的光源估计方法，其中，相对于所述测试光源的每一个，使用预先记录、可参考且表示评价空间中的显现范围的基准色域的相关函数；投影到评价空间中的样本像素值；从样本像素生成的评价空间中的频率分布；样本像素分布在其中的评价空间中的区域；或者其任何两个或更多个的组合，作为所述评价标准的指数。
19.根据权利要求18所述的光源估计方法，其中使用加权分布和区域信息作为所述基准色域，其中根据从各种对象表面的光谱反射率数据转换成由反射率基函数近似的系数的值、或者通过固定操作转换所述系数而获得的值的评价空间中的频率分布，生成所述加权分布和区域信息。
20.根据权利要求18所述的光源估计方法，其中使用从值的频率分布生成的加权分布和区域信息作为所述基准色域，其中使用能够在色度上从所述图像拾取装置的光谱灵敏度特性和从在每个场景的图像拾取时测量的图像拾取光源的光谱分布特性近似的操作，将传感器响应值投影到每个场景的评价空间中，所述传感器响应值是各种实际存在的场景的图像拾取结果或者是通过数值操作预测针对各种虚拟场景拾取的图像的结果。
21.根据权利要求18所述的光源估计方法，其中，相对于对象表面的光谱反射率，使用加权分布和区域信息作为所述基准色域，其中根据基于在每个波长的从0到1的范围内的物理可能性、以及其中平均起来存在以平坦波长特性近似无色性的大量表面的真实世界中的假定概率分布而确定的频率分布，生成所述加权分布和区域信息。
22.根据权利要求19所述的光源估计方法，其中，在从任何所述频率分布或者从其组合生成所述基准色域之前或之后，相对于评价空间中的分布，执行根据固定标准的内插值、外插值、删除、空间滤波或其它处理。
23.根据权利要求15所述的光源估计方法，其中，在生成所述测试光源的每一个的正确性指数中，为了强调其中测试光源之间的差异在评价空间中显现得更加明显的高色彩饱和区域，提取图像分布，并且对图像色域中的轮廓或其附近执行加权操作。
24.根据权利要求15所述的光源估计方法，其中，相对于投影到评价空间中的样本像素的图像区域或图像分布，在执行根据固定标准的内插值、外插值、删除、空间滤波或其它处理之后，针对所述测试光源的每一个计算正确性指数。
25.根据权利要求15所述的光源估计方法，其中从投影到单个评价空间中的样本像素值生成的多个不同指数，或者从投影到多个不同评价空间中的样本像素值生成的多个不同指数，通过数值装置被结合；通过条件分支被选择；或者组合两者，以产生用来评价所述测试光源的每一个的正确性的新指数。
26.根据权利要求2所述的光源估计方法，其中将所述多个测试光源中具有最高正确性指数的测试光源确定为估计光源。
27.根据权利要求2所述的光源估计方法，其中将所述多个测试光源中具有高正确性的两个或更多个光源的加权平均确定为估计光源。
28.根据权利要求26所述的光源估计方法，其中重复这样的过程，其中初始选择所述多个测试光源中具有最高正确性指数的光源，并且参考对所述选择的光源的附近进行细分所获得的不同光源，以生成每个光源的正确性指数。
29.根据权利要求26所述的光源估计方法，其中所述测试光源根据物理发光方法包括两个或更多个类别；执行色温判断处理和发光方法判断处理，所述色温判断处理是基于表示在每个类别内色温最接近于图像拾取光源的色温的指数，并且所述发光方法判断处理是基于使用相同或另一个指数表示光源最接近于图像拾取光源的物理发光方法的指数；根据这两个判断结果确定估计光源。
30.根据权利要求26所述的光源估计方法，其中所述测试光源根据物理发光方法包括两个或更多个类别，并且仅相对于属于由用户指定的类别或由不同于所述估计装置的类别判断装置提供的类别的测试光源，基于表示最接近于图像拾取光源的光源的指数，确定估计光源。
31.根据权利要求2所述的光源估计方法，其中通过所述估计而确定的图像拾取光源和通过与所述估计不同的估计方法而确定的光源通过数值装置进行结合、通过条件分支进行选择，或者组合两者，以确定最终的估计光源。
32.一种图像拾取设备，其中根据在拾取未指定的任意对象的图像时获得的传感器响应值，具有多个不同光谱灵敏度特性的图像拾取装置估计表示照射对象的未知图像拾取光源的色彩的光谱特性，并且在所述图像拾取装置的传感器响应的色彩平衡处理中，其使用作为估计光源的色彩的光谱特性或者适于其的参数，其包括存储装置，用于针对每个测试光源存储参数，其中所述参数用于通过执行操作，将所述传感器响应值投影到与所述图像拾取光源无关的评价空间中，所述操作可以在色度上从所述图像拾取装置的多个不同的所述已知光谱灵敏度特性和从预先假定的多个测试光源的光谱特性被近似；投影转换装置，用于使用存储在所述存储装置中的参数，将所述传感器响应值投影到与图像拾取光源无关的所述评价空间中；评价装置，用于基于由所述投影转换装置投影的图像场景的样本值的图像分布状态，评价所述多个测试光源的正确性；光源估计装置，用于通过在数值公式中结合、或者通过条件分支选择、或者通过组合通过所述估计而确定的图像拾取光源和通过与所述估计不同的估计方法而确定的光源，估计最终的图像拾取光源以将其确定为估计光源；以及色彩平衡调整装置，在所述图像拾取装置的传感器响应的色彩平衡处理中，使用作为估计图像拾取光源的色彩的光谱特性或者适于其的参数。
33.一种图像处理方法，其中根据在拾取未指定的任意对象的图像时获得的传感器响应值，具有多个不同光谱灵敏度特性的图像拾取装置估计表示照射对象的未知图像拾取光源的色彩的光谱特性，并且在所述图像拾取装置的传感器响应的色彩平衡处理中，其使用作为估计光源的色彩的光谱特性或者适于其的参数，其包括以下步骤通过可以在色度上从已知图像拾取装置的光谱灵敏度特性和从所假定测试光源的光谱特性被近似的操作，将所述传感器响应值投影到与图像拾取光源无关的评价空间中；通过基于被投影场景的采样值的分布状态而评价多个所述测试光源的正确性，估计正确的图像拾取光源；通过使用数值装置结合、通过使用条件分支选择、或者通过组合通过所述估计而确定的图像拾取光源和通过与所述估计不同的估计方法而确定的光源，估计最终的图像拾取光源以将其确定为估计光源；以及在所述图像拾取装置的传感器响应的色彩平衡处理中，使用作为估计的图像拾取光源的色彩的光谱特性、或者适于其的参数。
全文摘要
一种光源估计方法，用于从传感器响应对未知拍摄场景估计光源的色彩特性，以便提高色彩再现质量，如白平衡调整，其中，在投影转换单元(6)中使用通过可以在色度上从相对于传感器响应值(5)的成像装置(4)的已知光谱灵敏度特性以及从测试光源(1)的假定光谱特性被近似的计算而获得的参数，将场景投影到与拍摄光源(2)无关的评价空间内的图像分布(9)上，并且评价部分(10)用来通过基于被投影场景的样本值的分布状态评定多个测试光源(1)的合理性，估计正确的拍摄光源(2)。
文档编号H04N9/04GK1732696SQ20038010783
公开日2006年2月8日 申请日期2003年11月12日 优先权日2002年11月12日
发明者石神光一朗, 加藤直哉 申请人:索尼株式会社