专利名称：图像处理装置、方法、程序和图像获取装置的制作方法
技术领域：
本发明涉及处理彩色图像信号的图像处理装置、图像处理方法、其图像处理程序、以及具有处理彩色图像信号功能的图像获取装置，更特别地，本发明涉及图像处理装置、图像处理方法、图像处理程序、和图像获取装置，用于控制彩色信号的调节，以最优化彩色再生。
背景技术：
频繁使用固态图像获取元件的图像获取装置(例如数字照相机和数字摄像机)具有自动白平衡功能。日本专利公开第2002-281512号中披露了一种这样的固态图像获取装置。自动白平衡功能调节颜色，使得白色目标显示为白色画面，而与在图像获取时光源的颜色无关。
然而，即使白色目标被再生(reproduce，再现)为精确白色画面的图像，这并不一定意味着对于在图像获取场景中的人来说，白色目标的外观被自然地再生。例如，在白炽灯下略红的白色或室外阴影处略蓝的白色有时感觉更自然。其原因之一是人视觉的适应机制具有不能总是跟踪(follow up)视野中的白色的特性。此外，另一原因是，当用户获取图像时，用户的意图、喜好等不同，例如，用户是否想要使景色的场面的气氛留下，或想要使作为物品的目标的精确信息留下。此外，不仅关于白平衡，而且关于白色之外的颜色，使目标在比色法中类似于位于特定光源下的目标的目标再生(reproduction，再现)，并不一定产生用户在获取图像时所期望的外观上的目标的自然再生。
在自动白平衡功能中，例如，从图像获取的结果的图像信号评估由光源引起的颜色的变化，并且自动跟踪所评估的颜色。在上述控制中，例如，预先在图像获取装置中频繁设置用于判定光源的色温范围等。如果色温范围较大，那么产生的画面不会在其中留下光源的气氛，尽管其保真地再生目标的颜色。然而，如果色温范围较小，则尽管产生的画面在其中留下了光源的气氛，但是产生的画面不呈现目标的正确颜色。
同时，包括用于有意取代白平衡的机构的图像获取装置在传统上是可用的。这样的经验感知在传统上是已知的，例如，在诸如室内的白炽灯的人造光源下，图像略红，非彩色或皮肤的颜色被自然地再生。因此，这样的对策在传统上是可用的，在低色温侧跟踪(follow-up)时执行用于留下红色调的补偿处理或抑止白平衡的R(红色)增益的处理。此外，另一种对策是可用的，其允许用户设置白平衡放大器增益的移动范围。
发明内容
在这种通过如上述技术中的自动白平衡处理来有意识取代调节值中，作出了很多努力来基于固定的情况判断来改变取代调节值的方式。然而，很难无条件地决定在任何情况下都被认为合适的条件。特别地，为了防止用户指定白平衡的跟踪条件而给用户带来的负担，需要用于图像获取的场景的自适应控制。为此，例如，基于在幅值与预先设置的阈值之间的关系将景色的色温等级和亮度等级分类并基于该分类改变跟踪方法可以是一种对策。然而，对策不能够总是达到最优状态。
期望提供一种图像处理装置，其可以自动产生呈现自然白平衡状态的图像，其中图像呈现出接近于在图像获取场景中观察者看到的颜色。
还期望提供一种图像获取装置，其可以自动产生呈现自然白平衡状态的图像，其中图像呈现出接近于在图像获取场景中观察者看到的颜色。
为了满足上述需要，根据本发明，提供了一种用于处理彩色图像信号的图像处理装置，包括光源颜色评估装置，用于基于彩色图像信号评估取决于图像获取光源的光谱分布的光源参数；照度等级评估装置，用于基于彩色图像信号评估其值取决于照度的照度等级；控制值调制(modulation，调节)装置，用于将当执行调节以基于由光源颜色评估装置评估的光源参数建立白平衡时的彩色图像信号的每个彩色信号的第一调节控制值，向当执行调节以使特定参考光源下的非彩色目标被再生为非彩色目标时的每个彩色信号的第二调节控制值方向调制；以及调制控制装置，用于响应于照度等级，改变控制值调制装置的调节控制值的调制量。
在图像处理装置中，光源颜色评估装置基于彩色图像信号评估取决于图像获取光源的光谱分布的光源参数，并且控制值调制装置将当执行调节以基于所评估的光源参数建立白平衡时的彩色图像信号的每个彩色信号的第一调节控制值，向当执行调节以使特定参考光源下的非彩色目标被再生为非彩色目标时的每个彩色信号的第二调节控制值方向调制(modulate，调节)。此时，调制控制装置响应于由照度等级评估装置评估的并具有取决于照度的值的照度等级来改变调节控制值的调制量。因此，响应于照度等级，控制所留下的图像获取光源的色调的程度。结果，可以自动调节图像信号，使得将被再生的图像具有接近于人对颜色的适应状态的自然色调。
本发明的上述和其他目的、特征和优点将从下面结合附图的描述和权利要求中变得显而易见，附图中的相同部件或元件用相同的参考标号表示。
图1是示出了应用本发明的数字照相机的总体结构的框图；图2是示出了用于执行图1的数字照相机的白平衡调节处理的功能结构的功能框图；图3是示出了图2所示的放大器增益设置部的B比率(ratio)的跟踪灵敏度的设置的示意图；图4是示出了在图2所示的B放大器和G放大器的增益值和黑体轨迹之间的关系的示意图；图5A和图5B是示出了图1的数字照相机的亮度检测以及光圈和电子快门的控制状态的示意图；图6是示出了图2所示的跟踪灵敏度设置部的处理过程的流程图；以及图7是用于计算图6的处理过程中的标准化适应系数的示例性曲线图。
具体实施例方式
下面详细描述本发明的优选实施例，其中本发明应用于数字照相机。
图1示出了根据本发明实施例的数字照相机的总体结构。
参考图1，所示的数字照相机包括光学块11、CCD单元12、定时发生器(TG)12a、预处理电路13、相机处理电路14、编码器/解码器15、控制部16、输入部17、图形接口(I/F)18、显示单元18a、读卡器/写卡器(R/W)19、以及存储卡19a。光学块11、定时发生器12a、预处理电路13、相机处理电路14、编码器/解码器15、输入部17、图形接口(I/F)18、以及读卡器/写卡器19连接到控制部16。
光学块11包括透镜，用于将来自目标的光聚集在CCD单元12上；驱动机构，用于移动透镜以执行聚焦或变焦；快门机构；光圈机构等。基于来自控制部16的控制信号，驱动透镜和机构。
CCD单元12基于从定时发生器12a输出的定时信号被驱动，并将来自目标的输入光转换为电信号。应该注意，可以使用诸如CMOS(互补金属氧化物半导体)图像传感器的一些其他固态图像获取装置来代替CCD单元12。定时发生器12a在控制部16的控制下输出定时信号。
预处理电路13对从CCD单元12输出的图像信号执行采样保持处理，使得S/N比(信躁比)通过CDS(相关双采样)处理保持良好。此外，预处理电路13通过AGC(自动增益控制)处理来控制增益，并执行A/D转换处理，以及输出数字图像信号。
相机处理电路14对来自预处理电路13的图像信号执行相机信号处理，例如白平衡调节处理、色彩校正处理、AF(自动聚焦)处理、AE(自动曝光)处理等。
编码器/解码器15以预定的静止画面图像数据格式(例如，JPEG(联合图像专家组)系统等)，对来自相机处理电路14的图像信号执行压缩编码处理。此外，编码器/解码器15对来自控制部16的静止画面图像的编码数据执行解压缩解码处理。
控制部16是由诸如CPU(中央处理器)、ROM(只读存储器)、RAM(随机存储器)等组成的微控制器，并执行存储在ROM等中的程序，使得数字照相机的部件被总体控制。
输入部17是由诸如快门释放按钮等的各种操作键、控制杆、和调控盘组成的，并响应于用户的输入操作向控制部16输出控制信号。
图形接口18从来自控制部16的图像信号中产生将显示在显示单元18a上的图像信号，并将该图像信号提供给显示单元18a以在显示单元18a上显示。显示单元18a是由诸如LCD(液晶显示器)单元组成的，并显示图像获取过程中经由相机的图像(camera-through-image)、通过再生记录在存储卡19a上的数据而产生的图像等。
由便携式闪存组成的存储卡19a作为记录通过图像获取等产生的图像数据的记录介质，可拆除地连接到读卡器/写卡器19。读卡器/写卡器19将由控制部16提供的数据记录在存储卡19a上，以及将从存储卡19a读出的数据输出到控制部16。应该注意，例如，可写光盘、硬盘驱动器(HDD)等也可以用作记录介质。
下面，描述数字照相机的基本操作。首先，描述静止画面图像的图像获取时的操作。
在获取静止画面图像之前，通过由CCD单元12接收光并执行的光电转换处理而得到的信号被连续地提供给预处理电路13。预处理电路13对所输入的信号执行CDS处理和AGC处理，并将所处理的信号转换为数字信号。相机处理电路14对从预处理电路13提供的数字图像信号执行画面质量校正处理，并将所处理的信号作为经由相机的图像的信号通过控制部16提供给图形接口18。因此，经由相机的图像显示在显示单元18a上，并且用户在观看显示在显示单元18a上的图像时可以执行视角调节。
然后，如果在前述状态下输入部17的快门释放按钮被按下，则控制部16将控制信号输出到光学块11和定时发生器12a，以引起光学块11的快门操作。因此，一帧的图像信号由CCD单元12输出。
相机处理电路14对从CCD单元12通过预处理电路13提供的一帧的图像信号执行图像质量校正处理，并将所得到的图像信号提供给编码器/解码器15。编码器/解码器15对所输入的图像信号执行压缩编码处理，并将如此产生的编码数据通过控制部16提供给读卡器/写卡器19。因此，获取的静止画面图像的数据文件被存储到存储卡19a中。
另一方面，再生存储在存储卡19a中的静止画面图像文件的情况下，控制部16响应于来自输入部17的输入操作，通过读卡器/写卡器19从存储卡19a读出所选择的静止画面图像文件，并将所读出的文件提供给编码器/解码器15，以引起编码器/解码器15执行解压缩解码处理。解码的图像信号通过控制部16提供给图形接口18。因此，静止画面图像被再生并显示在显示单元18a上。
现在，描述相机处理电路14的白平衡调节处理。图2示出了用于执行白平衡调节处理的功能结构。
参考图2，根据本实施例的数字照相机的相机处理电路14包括白平衡(WB)放大器141。同时，控制部16包括放大器增益设置部161、跟踪灵敏度设置部162、曝光量设置部163、和亮度检测部164。应当注意，控制部16的功能可以由例如软件处理来实现。
被预处理电路13数字化的RGB信号被输入到白平衡放大器141和放大器增益设置部161。白平衡放大器141包括用于白平衡调节的增益控制放大器，其个别地改变RGB信号的电平，并根据来自放大器增益设置部161的控制信号在其中设置增益。
放大器增益设置部161基于来自预处理电路13的图像信号和由跟踪灵敏度设置部162设置的跟踪灵敏度，计算放大器增益控制值。在此，增益控制功能不仅包括将图像中的非彩色目标的信号设置为R＝G＝B状态的功能，还包括响应于来自R＝G＝B状态的跟踪灵敏度来调制控制值的功能。
放大器增益设置部161包括内部ROM，其中存储有在调节白平衡放大器141的R、G、和B的放大器的增益时所参考的黑体轨迹(black body locus)的数据。增益调节功能在沿着由RGB比率组成的色度坐标系统上的黑体轨迹朝向预定色度的方向上，平行移动基于图像信号计算的R、G、和B的比率。此时，从原始比率到预定比率的移动量响应于由跟踪灵敏度设置部162设置的跟踪灵敏度而改变，从而改变留在图像上的由白平衡放大器141调节的图像获取光源的色调的程度。
应当注意，黑体轨迹代表随着温度升高，从完全吸收能量的被称作全辐射体(黑体)的虚拟物体发射的光的颜色变化的方式，作为色度坐标系统上的色温的变化的轨迹。根据黑体轨迹，黑体在色温低时发射非常偏红的颜色的光，以及随着色温升高，光的颜色呈现出诸如黄、白、和蓝白的变化。普通光源的颜色(目光、白炽灯等)存在于黑体轨迹的周围。同时，在用图像传感器检测诸如白炽灯(其中，荧光物质被激励以产生可见光)的光源的光时，这种光有时会远离黑体轨迹。然而，根据人眼睛的感觉，如上面刚刚提及的光源接近于黑体轨迹上的光源，因此，当由光源产生的图像的红或蓝的色调将被校正时，通过沿黑体轨迹平行移动RGB比率获得自然色图像。
跟踪灵敏度设置部162响应于曝光量设置部163的输出值，将跟踪灵敏度设置到放大器增益设置部161。曝光量设置部163是负责AE功能的块，并且基于亮度检测部164的检测值自动设置曝光量。特别地，曝光量设置部163输出用于打开光圈11a的控制值(F值)、用于预处理电路13的电子快门速度的控制值等。此外，曝光量设置部163基于亮度的检测值计算取决于绝对照度的等级(称作评估的照度等级)，并将该评估的照度等级输出到跟踪灵敏度设置部162。亮度检测部164检测由白平衡放大器141输出的RGB信号的亮度。如下所述，亮度检测部164检测全部屏幕上的像素的RGB值的最大值的平均值，并将该平均值输出作为亮度的信息。
现在，描述白平衡放大器141的增益设置。
如果调节白平衡增益使得图像获取光源的色调不能保持，则因为调节后的图像不能总是再生用户期望的样子，所以放大器增益设置部161有意识地将增益控制值移动到适当状态。
一种用于执行适当控制的可能对策是应用视觉适应机构的方法，近年来对该方法进行了研究，假设使用模型表达式从图像获取场景的状况计算对于视觉来说自然的颜色的处理，以实现连续和自然的控制。例如，根据作为由CIE(国际照明委员会)为色彩管理定义的色彩的外观的模型(色彩外观模型)的CIECAM02模型，可以从白色的绝对亮度、在观看环境中的观看目标与环境之间的亮度关系等，计算表示对白点的适应程度的D因子。在此，适应程度表示关于在不同信道之间独立的锥体响应(L，M，S)的适应增益变化，并且即使适应程度被应用于在作为图像传感器的响应的R、G、和B信道之间独立的白平衡增益的控制，也可以预料到近似的效果。
然而，当在CIECAM02模型等的模型表达式中指定观看者的适应状况时的亮度的定义根据诸如完全漫反射表面的虚拟白色表面反射的光的亮度来假定。然而，在实际应用中，其符合模型的意图，以将照度等级转换成具有固定反射率的虚拟表面反射的光源的光具有的亮度，而不是直接使用场景中的未指定的表面的亮度等级。特别地，在图像获取场景中，亮度信息由于目标或图像获取时的视角的变化而不稳定，并且目标的反射率的幅值不能区别于光源的强度。因此，上述亮度的定义不适合稳定地评估适应状态的程度。
因此，在本实施例中，取决于照度的等级(评估的照度等级)基于亮度的检测结果被评估，以及跟踪灵敏度响应于所评估的等级而变化，以改变用于放大器增益的控制值的移动量，从而自动校正图像信号，使得可以获得与人的视觉的应用状态相配的自然色。
下面，具体地描述放大器增益的设置。应当注意，尽管对于所有的R、G、和B，可以独立地调节白平衡放大器141的放大器增益，但是下面对本实施例的描述给出仅有用于R和B的两个放大器增益被调节而用于G放大器的增益被固定的情况作为示例。此外，在下面的描述中，术语R比率和B比率表示信道之间的比率，即，基于在整个屏幕上的预处理电路13后的R、G、和B信道的值的积分结果计算的R/G和B/G。
图3示出了放大器增益设置部161的B比率的跟踪灵敏度的设置作为实例。
图3中横坐标轴的“输入B比率”表示通过AWB功能计算的B比率，并且示出输入B比率根据图3曲线中的直线被调制。由跟踪灵敏度设置部162设置的跟踪灵敏度采用从0到1的范围内的值，并且在跟踪灵敏度为1的情况下，如图3中粗线所表示的线L1所示，输入B比率被输出，并被调节，使得输出B比率完全跟踪输入B比率，以再生正确的白色。然而，在输入B增益低于下限值Bmin1或高于上限值Bmax1的情况下，输出B增益被固定到固定的下限值Bmin1或固定的上限值Bmax1，以限定输出B增益。例如，对应于通用光源的有效的色温范围，提供这样的极限值。
在跟踪灵敏度为0的情况下，如虚线表示的线L2所示，基本上将固定值输出作为输出B比率，而不考虑输入B比率。然而，提供了一个范围，在该范围内，输出B比率完全跟踪输入B增益，以再生正确的白色，使得在输入B比率具有在所提供的下限值Bmin2与上限值Bmax2之间的值的情况下，输入B比率按其原样输出，但是在输入B比率低于下限值Bmin2的情况下，输出B比率固定为下限值Bmin2，而在输入B比率高于上限值Bmax2的情况下，输出B比率固定为上限值Bmax2。
在跟踪灵敏度被设置为0到1之间的值的情况下，如虚线表示的线L3所示，如果输入B增益具有在下限值Bmin2与上限值Bmax2之间的值，则输入B增益按其原样输出，使得输出B增益完全跟踪输入B增益，以再生正确的白色。另一方面，如果输入B比率具有在下限值Bmin1与下限值Bmin2之间或在上限值Bmax2与上限值Bmax1之间的值，则通过使用具有对应于跟踪灵敏度的斜率(0至1)的直线对输入B比率进行线性转换所获得的值用作输出B比率。此外，如果输入B比率具有低于下限值Bmin1或高于上限值Bmax1的值，则输出B比率固定为下限值Bmin3或上限值Bmax3。换句话说，在输出B比率完全跟踪的范围(在Bmin2与Bmax2之间的范围)之外，B比率被调节，使得白点在跟踪灵敏度降低时被移位较大距离。
在上述的增益调节处理中，增益控制完全跟踪以再生正确的白色的范围(以下称作跟踪范围)的下限值Bmin2和上限值Bmax2，被看作增益值(在此，B比率)，使用该值，在假定对应于极限值的两个参考光源的情况下，正确的白色在各个参考光源下被再生。换句话说，这样认为，当B比率不在跟踪范围内时，B比率被设置为在任意一个参考光源下的增益值之一，该值靠近当前值，以将白点移位，使得图像获取光源的色调可以自然地保持。
另一方面，也可以这样认为，假定一个参考光源的情况下的增益值(B比率)位于在下限值Bmin2与上限值Bmax2之间的中间位置，并且在中间值附近的固定范围内的B比率不变。当这样认为时，可以意识到，即使没有设置上述的跟踪范围(即，极限值被设置为Bmin2＝Bmax2)，也可以提供再生自然画面的效果。
应该注意，以上所述的下限值Bmin1和Bmin2以及上限值Bmax1和Bmax2可以具有事先设置的值或可由用户任意设置。例如，可以根据是执行静止画面图像获取还是移动画面图像获取来改变设置值。此外，参考光源优选地为在可见光的波长范围内具有均匀能量的光谱分布的均匀能量光。或者，参考光源优选地具有近似于具有色温在5,000[K]到7,000[K]范围内的目光轨迹的色度。
图4示出了在B放大器和G放大器的增益值和黑体轨迹之间的关系。还参考图4描述基于B比率的跟踪灵敏度设置的增益设置。
图4中的点a到f表示R比率和B比率的色度坐标系统上绘制的点，其中，R比率和B比率被调节以通过AWB功能再生正确的白色。在跟踪灵敏度为1的情况下，点a到f不移动，以及在该时间点的R比率和B比率按其原样输出，因此，其倒数被设置为白平衡放大器141的增益。然而，虽然未示出，如上述参考图3所述，B比率的输出值被限制在下限值Bmin1和上限值Bmax1。
另一方面，如果完全跟踪以再生正确的白色的B比率的范围(跟踪范围)被设置为由虚线表示，则在跟踪灵敏度为0的情况下，如果B比率位于跟踪范围内，例如点c和d，则R比率和B比率按其原样输出。然而，如果B比率高于跟踪范围，例如点a和b，则点沿黑体轨迹平行移动，直到其被限制到上限值Bmax2。另一方面，如果B比率低于跟踪范围，例如点e和f，则点沿黑体轨迹平行移动，直到其被限制到下限值Bmin2。
在跟踪范围被设置为0到1之间的值的情况下，跟踪范围之外的点a、b、e、和f沿黑体轨迹移动一定量，该一定量改变以与跟踪灵敏度成反比例地增加。例如，如果跟踪灵敏度是中间值0.5，则点a、b、e、和f移向在跟踪灵敏度为0的情况下的移动轨迹的中间点(例如点a2、b2、e2、和f2)。移动量随着跟踪灵敏度下降而增加。
在图4的实例中，增益值沿黑体轨迹平行移动，使得可以获得具有在图像获取时的光源的色调的自然色的图像。例如，在B比率高于跟踪范围的情况下，即，当获得使B信号放大到更高电平的增益值时，如果仅B放大器的增益值被限制，则获得在其上仅B信号电平减少的黄色图像，同时实际光源颜色在沿黑体轨迹的橙色方向上。因此，如果用于R放大器的增益值也被调节，则获得保持光源色调的图像。例如，当在夕阳等情况下获取图像时，图像保持光源的色调。另一方面，当B比率低于跟踪范围时，如果仅B放大器的增益值被限制，则获得蓝色图像。然而，如果R放大器的增益值也被调节，则获得保持光源的青色调(冷色)的图像。例如，当在多云天空等情况下获取图像时，图像可以保持光源的色调。
然后，响应于跟踪灵敏度，调节增益值的调节量(移动量)。如下所述，因为响应于图像信号的评估照度等级来设置跟踪灵敏度，所以可以产生外观更接近于观察者看到的图像获取场景的外观的自然色的画面。
应到注意，尽管在图4中，示出了B比率被限制情况下的增益值，可选地，R比率也可以类似地被限制，或者B比率和R比率都可以被限制。此外，增益值不仅可以在平行于黑体轨迹的方向上移动，也可以在垂直于黑体轨迹的方向上移动。在这种情况下，在垂直方向上的移动量小于在平行方向上的移动量。此外，作为移动中的参考的轨迹可以不是黑体轨迹，而是例如日光的色温变化的轨迹。
此外，不仅设置基于图像获取光源的评估的控制值(例如，放大器增益)，还设置对应于下限值Bmin1和Bmin2以及上限值Bmax1和Bmax2的极限值，例如，响应于图像获取光源的评估参数来执行调制。在这种情况下，光源的参数可以是任何参数，只要其具有与色温的大小相等的关系。
此外，不仅可以调制根据RGB的色度的控制值，还可以调制通过诸如从CIE标准相对发光效率的转换可以被唯一确定的色度的坐标系统(x-y色度坐标系统)上的控制值。此外，不仅如R比率-B比率坐标系统的二维色度坐标系统，而且一维色度也可以用来实现控制值的调制。
图5A和图5B示出了亮度检测以及光圈和电子快门的控制状态。参考图5A和图5B描述计算评估照度等级的方法。
尽管未在图5A和图5B中示出，但是亮度检测部164在白平衡放大器141的白平衡调节之后，从RGB信号检测图像的亮度。亮度检测部164使用图像的每个像素的RGB值的最大值，并计算整个屏幕上最大值的平均值以检测图像的亮度。这是因为，如果假设，在目标的亮度的反射率低的情况下，目标具有一定饱和度，三个RGB值的最大值呈现了比RGB值的乘积和更靠近从宽表面反射的光的亮度等级的等级，并且更靠近响应于该亮度而改变的等级。
曝光量设置部163基于光圈11a和电子快门的控制值和亮度的检测值，评估当前的照度等级。首先，如图5A所示，在评估之前，(例如，出货之前)，亮度反射率被固定(大约20％到100％)的无彩色的参考图201的图像在光谱分布几乎平坦的光源下的照度为100[Lux]的状态下被获取作为参考状态，然后，记录用于光圈11a和电子快门的控制值以及亮度检测值。
在实际图像获取时，如图5B所示，获得在将要获取目标202的图像时的用于光圈11a和电子快门的控制值以及亮度的检测值，并且在所获得的值与参考状态中的相应值之间的差被转换成EV值并全部相加。例如，如图5A和5B所示，在参考状态和当前状态中的光圈11a的控制值分别为F2.0和F4.0的情况下，转换值为-2.0EV。此外，当电子快门的速度为1/60秒和1/120秒时，转换值为-1.0EV，并且当亮度的检测值为100和50时，转换值为-1.0EV，并且相加值为-4.0EV。应当注意，如果应用使用共同增益放大所获取的图像的RGB值以控制亮度的处理(AGC等)，则有必要将在参考状态与当前状态的增益值之间的差也转换为EV值并加上该EV值。
此外，不是执行到参考状态的相对等级的转换，而是执行到对应于绝对亮度的等级的转换，例如，通过计算1,000×2EV[Lux]。在此应该注意，作为评估照度等级的输出值是以2为底的对数(以下称作LV值)。该值与EV值成比例增加。
应该注意，在曝光量设置部163的评估照度等级的输出级可以设置时间低通滤波器，以稳定放大器增益设置部161的调制值。
图6示出了跟踪灵敏度设置部162的处理过程。
步骤S11跟踪灵敏度设置部162从曝光量设置部163读入评估亮度等级(LV值)。
步骤S12放大器增益设置部161从LV值计算标准化适应系数Dnorm。标准化适应系数Dnorm当其具有最大值1.0时，呈现图像获取光源完全适应于正确地再生白色的适应状态，但是当其具有最小值0时，呈现白色被再生同时光源的色调大部分留在所有亮度等级中的适应状态。标准化适应系数Dnorm因为LV值呈现较高值而基本上呈现较高值，并且如果对应关系是基于视觉系统的模型表达式、实验结果等，则观察者的适应状态可以被高精确度地评估。以下将参考图7描述该转换所使用的曲线的实例。
步骤S13跟踪灵敏度设置部162从标准化适应系数Dnorm计算跟踪灵敏度，并将所计算的跟踪灵敏度Dset设置到放大器增益设置部161。根据下面的表达式，从标准化适应系数Dnorm和预先设置的最小灵敏度等级Dmin(其中0≤Dmin≤1)计算跟踪灵敏度DsetDset＝(1-Dmin)Dnorm+Dmin
在此，将在白平衡调节中留下的图像获取光源的色调的程度可以通过设置最小灵敏度等级Dmin来确定。特别地，当最小灵敏度等级Dmin减少时，控制将被留下的色调的程度的范围增加，并且可以增加将被留下的色调的程度。因此，多个值可以被设置为最小灵敏度等级Dmin，使得其中一个可以响应于图像获取状态而被选择性地使用。
例如，在静止画面图像获取和移动画面图像获取之间，通常使用的再生监视器的特性、要求的跟踪程度等经常不同。因此，画面制作可以有意识地被区分，使得例如在移动画面图像获取时，最小灵敏度等级Dmin被设置为较低值，以防止色调在图像获取期间光源变化时不自然地变化。或者，最小灵敏度等级Dmin可以通过用户的操作来设置。例如，事先准备对应于用户的不同图像获取意图的多个操作模式，使得为单个操作模式预设的最小灵敏度等级Dmin的值中的一个被设置。此时，例如，还可以为每个操作模式设置增益的极限值。
图7示出了用于计算标准化适应系数Dnorm的曲线。
例如，跟踪灵敏度设置部162事先将图7的曲线中的少量点的LV值，以及标准化适应系数Dnorm的值以彼此对应的关系存储在ROM等中。然后，在步骤S12，通过插值法(例如，线性插值法)，从存储在ROM中的多个值，计算这样读入的对应于LV值的标准化适应系数Dnorm。然而，如果LV值位于设置范围之外，则在LV值低于下限值的情况下，输出最小值0，但是在LV值高于上限值的情况下，输出最大值1。在LV值与标准化适应系数Dnorm之间的少量关系被事先存储在ROM中并以该方式被插值使用的情况下，从视觉系统的非线性模型表达式或实验得到的复杂结果也可以被简单地用于设置跟踪灵敏度。
如上所述，在本实施例的数字照相机中，响应于对应于图像信号的照度的等级设置跟踪灵敏度，并且在正确再生正确颜色的方向上图像信号被调节的程度响应于跟踪灵敏度而改变。具体地，当照度等级增加时，应用更强的白平衡校正，使得在图像获取光源下的颜色成为正确颜色，并且当照度等级减小时，应用白平衡校正，使得图像的颜色可以从正确颜色接近对应于特定光源下的颜色的颜色。在使用照度等级的情况下，可以高精确度地评估观察者对图像获取光源的视觉的适应状态，并且响应于该适应状态，控制白平衡放大器141的增益设置时的极限值和校正量。因此，可以自动产生自然画面图像，其外观接近于在评估适应状态中的图像获取场景的外观。
应当注意，本发明不仅可以应用于如上所述的关于获取图像的白色区域执行的颜色再生校正处理(白平衡处理)，也可以应用于如下颜色再生校正处理，其中响应于具有三个或更多信道的不同光谱灵敏度特性的传感器响应值，基于作为矩阵系数的多于六个的颜色再生系数执行线性转换，以实现与图像获取光源下的颜色相同的颜色被再生的颜色平衡。在该种情况下，在不同于图像获取光源的光源下的色调被自然地反映在图像上。
应该注意，尽管在上述的实施例中，本发明应用于数字照相机，本发明还可以应用于其他任何使用固态图像获取装置的图像获取设备，例如数字摄影机。此外，本发明可以应用于便携式电话机、PDA(个人数字助理)等的图像获取功能。此外，本发明还可以应用于用于连接到PC等的视频电话或用于游戏软件的小型相机对图像获取信号的处理。
此外，上述处理功能可以由计算机实现。在这种情况下，提供了描述图像获取设备应具有的那些功能(具体地，对应于放大器增益设置部161、跟踪灵敏度设置部162、曝光量设置部163、亮度检测部164等的功能)的处理内容的程序。然后，在计算机上由计算机执行该程序，以实现上述处理功能。记述处理内容的程序可以被记录在能被计算机读取的记录介质上或记录介质中。磁记录装置、光盘、磁光盘、半导体存储器等可以用于作为这样的计算机可读介质。
为了分配该程序，例如，诸如光盘或半导体存储器的在其上或其中记录有该程序的便携记录介质被出售。同样，也可以将该程序存储在服务器计算机的存储设备中，使得该程序可以通过网络从服务器计算机传送到另一计算机。
执行该程序的计算机存储该程序，例如，记录在便携记录介质上或记录介质中，或从服务器计算机传送到计算机本身的存储装置中。然后，计算机从计算机本身的存储装置读取该程序，并根据该程序执行处理。应该注意，计算机还可以直接从便携存储介质读取程序，并根据该程序执行处理。或者，计算机可以在每次其接收到从服务器计算机传送的程序来根据程序执行处理。
尽管使用特定术语描述了本发明的优选实施例，但是这样的描述只是用于说明的目的，而且应该理解，在不脱离权利要求的精神或范围的情况下可以对本发明作出改变和替换。
权利要求
1.一种用于处理彩色图像信号的图像处理设备，包括光源颜色评估装置，用于基于所述彩色图像信号评估取决于图像获取光源的光谱分布的光源参数；照度等级评估装置，用于基于所述彩色图像信号评估其值取决于照度的照度等级；控制值调制装置，用于将当执行调节以基于由所述光源颜色评估装置评估的所述光源参数建立白平衡时的所述彩色图像信号的每个彩色信号的第一调节控制值，向当执行调节以使在特定参考光源下的非彩色目标被再生为非彩色目标时的每个所述彩色信号的第二调节控制值方向调制；以及调制控制装置，用于响应于所述照度等级，改变所述控制值调制装置的所述调节控制值的调制量。
2.根据权利要求1所述的图像处理设备，其中，所述调制控制装置将所述调制量设置为随着所述照度等级增加而减小。
3.根据权利要求1所述的图像处理设备，其中，所述调制控制装置在所述第一调节控制值与所述第二调节控制值之间的差值低于固定值时，将所述调制量设置为零。
4.根据权利要求1所述的图像处理设备，其中，所述调制控制装置在取决于所述图像获取光源的所述光谱分布的光源参数与取决于所述参考光源的所述光谱分布的另一光源参数之间的差值低于固定值时，将所述调制量设置为零。
5.根据权利要求1所述的图像处理设备，其中，所述调制控制装置为在执行调节时使用的每个彩色信号设置两个调节控制值使得非彩色目标被再生为在两个参考光源的每个下的非彩色目标，并且在所述第一调节控制值位于所述两个调节控制值之间的范围内的情况下，将所述调制量设置为零。
6.根据权利要求1所述的图像处理设备，其中，所述调制控制装置在所述第一调节控制值位于预定范围之外时，进行控制，以输出所述范围的上限和下限中的一个的固定调节控制值。
7.根据权利要求1所述的图像处理设备，其中，所述调制控制装置在取决于所述图像获取光源的所述光谱分布的所述光源参数位于预定范围之外时，进行控制，以输出所述范围的上限和下限中的一个的固定调节控制值。
8.根据权利要求1所述的图像处理设备，其中，所述控制值调制装置在平行于和垂直于黑体轨迹或根据日光的色温变化的轨迹的方向上移动所述调节控制值，以调制色度坐标系统上的所述调节控制值，在所述平行方向上的所述移动量大于在所述垂直方向上的所述移动量。
9.根据权利要求1所述的图像处理设备，其中，所述调制控制装置根据将被处理的是移动画面图像的处理还是静止画面图像的处理，使用于所述调节控制值的所述调节量不同。
10.一种用于处理彩色图像信号的图像处理设备，包括光源颜色评估装置，用于基于所述彩色图像信号评估取决于图像获取光源的光谱分布的光源参数；照度等级评估装置，用于基于所述彩色图像信号评估其值取决于照度的照度等级；控制值调制装置，用于将当基于所述光源参数调节所述彩色图像信号的每个彩色信号以使在图像获取光源下观察的目标的颜色被再生时的调节控制值，向当调节每个所述彩色信号以使在特定参考光源下观察相同目标时的颜色被再生时所使用的调节控制值方向调制；以及调制控制装置，用于响应于所述照度等级，改变所述控制值调制装置的所述调节控制值的调制量。
11.根据权利要求10所述的图像处理设备，其中，所述调节控制值是由用于线性地转换每个所述彩色信号的矩阵系数中的一个组成的彩色再生系数。
12.一种包括用于获取图像的固态图像获取元件的图像获取设备，包括光源颜色评估装置，用于基于由图像获取获得的图像信号评估取决于图像获取光源的光谱分布的光源参数；照度等级评估装置，用于基于所述图像信号评估其值取决于照度的照度等级；控制值调制装置，用于将当执行调节以基于由所述光源颜色评估装置评估的所述光源参数建立白平衡时的所述图像信号的每个彩色信号的第一调节控制值，向当执行调节以使在特定参考光源下的非彩色目标被再生为非彩色目标时的每个所述彩色信号的第二调节控制值方向调制；以及彩色信号调制装置，用于响应于从所述控制值调制装置输出的所述调节控制值，调节所述图像信号的每个所述彩色信号。
13.根据权利要求12所述的图像获取设备，还包括曝光控制装置，用于在图像获取时基于所述图像的亮度控制曝光，所述照度等级评估装置基于所述图像信号和所述曝光控制装置的曝光控制参数评估所述照度等级。
14.一种包括用于获取图像的固态图像获取元件的图像获取设备，包括光源颜色评估装置，用于基于由图像获取获得的图像信号评估取决于图像获取光源的光谱分布的光源参数；照度等级评估装置，用于基于所述图像信号评估其值取决于照度的照度等级；控制值调制装置，用于将当基于所述光源参数调节所述图像信号的每个彩色信号以使在图像获取光源下观察的目标的颜色被再生时的调节控制值，向当调节每个所述彩色信号以使在特定参考光源下观察相同目标时的颜色被再生时所使用的调节控制值方向调制；以及调制控制装置，用于响应于所述照度等级，改变所述控制值调制装置的所述调节控制值的调制量。
15.一种用于处理彩色图像信号的彩色信号的图像处理方法，包括以下步骤基于所述彩色图像信号评估取决于图像获取光源的光谱分布的光源参数；基于所述彩色图像信号评估其值取决于照度的照度等级以及将当执行调节以基于由所述光源颜色评估步骤的处理评估得到的所述光源参数建立白平衡时的所述彩色图像信号的每个彩色信号的第一调节控制值，向当执行调节以使在特定参考光源下的非彩色目标被再生为非彩色目标时的每个所述彩色信号的第二调节控制值方向调制对应于所述照度等级的量。
16.一种用于处理彩色图像信号的彩色信号的图像处理方法，包括以下步骤基于所述彩色图像信号评估取决于图像获取光源的光谱分布的光源参数；基于所述彩色图像信号评估其值取决于照度的照度等级；以及将当基于所述光源参数调节所述彩色图像信号的每个彩色信号以使在图像获取光源下观察的目标的颜色被再生时的调节控制值，向当调节每个所述彩色信号以使在特定参考光源下观察相同目标时的颜色被再生时所使用的调节控制值方向调制。
17.一种图像处理程序，用于使计算机执行彩色图像信号的彩色调节控制，所述图像处理程序使所述计算机起到以下作用光源颜色评估装置，用于基于所述彩色图像信号评估取决于图像获取光源的光谱分布的光源参数；照度等级评估装置，用于基于所述彩色图像信号评估其值取决于照度的照度等级；控制值调制装置，用于将当执行调节以基于由所述光源颜色评估装置评估的所述光源参数建立白平衡时的所述彩色图像信号的每个彩色信号的第一调节控制值，向当执行调节以使在特定参考光源下的非彩色目标被再生为非彩色目标时的每个所述彩色信号的第二调节控制值方向调制；以及调制控制装置，用于响应于所述照度等级，改变所述控制值调制装置的所述调节控制值的调制量。
18.一种图像处理程序，用于使计算机执行彩色图像信号的彩色调节控制，所述图像处理程序使所述计算机起到以下作用光源颜色评估装置，用于基于所述彩色图像信号评估取决于图像获取光源的光谱分布的光源参数；照度等级评估装置，用于基于所述彩色图像信号评估其值取决于照度的照度等级；控制值调制装置，用于将当基于所述光源参数调节所述彩色图像信号的每个彩色信号以使在图像获取光源下观察的目标的颜色被再生时的调节控制值，向当调节每个所述彩色信号以使在特定参考光源下观察相同目标时的颜色被再生时所使用的调节控制值方向调制；以及调制控制装置，用于响应于所述照度等级，改变所述控制值调制装置的所述调节控制值的调制量。
19.一种用于处理彩色图像信号的图像处理设备，包括光源颜色评估部，用于基于所述彩色图像信号评估取决于图像获取光源的光谱分布的光源参数；照度等级评估部，用于基于所述彩色图像信号评估其值取决于照度的照度等级；控制值调制部，用于将当执行调节以基于由所述光源颜色评估部评估的所述光源参数建立白平衡时的所述彩色图像信号的每个彩色信号的第一调节控制值，向当执行调节以使在特定参考光源下的非彩色目标被再生为非彩色目标时的每个所述彩色信号的第二调节控制值方向调制；以及调制控制部，用于响应于所述照度等级，改变所述控制值调制部的所述调节控制值的调制量。
20.一种用于处理彩色图像信号的图像处理设备，包括光源颜色评估部，用于基于所述彩色图像信号评估取决于图像获取光源的光谱分布的光源参数；照度等级评估部，用于基于所述彩色图像信号评估其值取决于照度的照度等级；控制值调制部，用于将当基于所述光源参数调节所述彩色图像信号的每个彩色信号以使在图像获取光源下观察的目标的颜色被再生时的调节控制值，向当调节每个所述彩色信号以使在特定参考光源下观察相同目标时的颜色被再生时所使用的调节控制值方向调制；以及调制控制部，用于响应于所述照度等级，改变所述控制值调制部的所述调节控制值的调制量。
21.一种包括用于获取图像的固态图像获取元件的图像获取设备，包括光源颜色评估部，用于基于由图像获取获得的图像信号评估取决于图像获取光源的光谱分布的光源参数；照度等级评估部，用于基于所述图像信号评估其值取决于照度的照度等级；控制值调制部，用于将当执行调节以基于由所述光源颜色评估部评估的所述光源参数建立白平衡时的所述图像信号的每个彩色信号的第一调节控制值，向当执行调节以使在特定参考光源下的非彩色目标被再生为非彩色目标时的每个所述彩色信号的第二调节控制值方向调制；以及彩色信号调制部，用于响应于从所述控制值调制部输出的所述调节控制值，调节所述图像信号的每个所述彩色信号。
22.一种包括用于获取图像的固态图像获取元件的图像获取设备，包括光源颜色评估部，用于基于由图像获取获得的图像信号评估取决于图像获取光源的光谱分布的光源参数；照度等级评估部，用于基于所述图像信号评估其值取决于照度的照度等级；控制值调制部，用于将当基于所述光源参数调节所述图像信号的每个彩色信号以使在图像获取光源下观察的目标的颜色被再生时的调节控制值，向当调节每个所述彩色信号以使在特定参考光源下观察相同目标时的颜色被再生时所使用的调节控制值方向调制；以及调制控制部，用于响应于所述照度等级，改变所述控制值调制部的所述调节控制值的调制量。
全文摘要
放大器增益设置部基于图像信号评估取决于图像获取光源的光谱分布的光源参数。然后，将当执行调节以基于所评估的光源参数建立白平衡时的每个彩色信号的第一调节控制值向当执行调节以使在特定参考光源下的非彩色目标被再生为非彩色目标时的第二调节控制值调制对应于跟踪灵敏度的量。所调制的调节控制值设置给白平衡放大器。响应于从亮度检测值评估的照度等级，将跟踪灵敏度设置给放大器增益设置部。
文档编号H04N9/73GK1867078SQ20061007823
公开日2006年11月22日 申请日期2006年5月16日 优先权日2005年5月16日
发明者石神光一朗, 宇根英辅, 左中由美, 加藤直哉 申请人:索尼公司