进行白平衡控制的图像处理装置及其控制方法和摄像设备的制造方法
【技术领域】
[0001]本发明涉及用于进行白平衡控制的图像处理装置、控制该图像处理装置的方法和摄像设备，尤其涉及图像处理装置所进行的白平衡处理。
【背景技术】
[0002]近年来，在诸如摄像设备等的图像处理装置所进行的自动白平衡处理中，广泛使用所谓的TTL(通过镜头)方法。在使用TTL方法的自动白平衡处理中，根据通过拍摄所获得的图像来估计来自光源的光的颜色。此外，为了计算白平衡校正值(以下称为WB校正值)，需要在图像上精确地区分来自光源的光的颜色和被摄体的颜色。
[0003]例如，提出了如下摄像设备，其中该摄像设备将图像分割成多个区域(块区域)，并且将根据各分割区域所获得的颜色信息应用于各自表示与光源类型相对应的颜色分布的范围的检测框(参见日本特开2003-163944)。在该摄像设备中，根据可应用区域的数量、被摄体的亮度水平和红外光量而以检测框为单位来判断光源，并且基于该判断结果来进行白平衡控制。
[0004]此外，提出了如下摄像设备，其中该摄像设备被配置为针对白色提取范围中所包括的受到将绿色转换成非彩色的作用的绿色被摄体(例如，在诸如阴影中的场所等的暗处拍摄绿色的树或草等的情况下)进行适当的白平衡(参见日本特开2006-174281)。在该摄像设备中，通过基于具有照度、绿色的量和R增益作为坐标轴的三维坐标系上的数据的分布，判断是在室内使用室内荧光灯作为光源还是在室外在太阳/阴影下拍摄了图像，来控制白平衡。
[0005]然而，在日本特开2003-163944和日本特开2006-174281所述的摄像设备中，即使在来自同一光源的光下，如果图像中的被摄体的颜色改变，则也难以使用同一 WB校正值来进行白平衡控制。
[0006]例如，日本特开2003-163944所述的摄像设备考虑通过根据各光源的评价值改变增益值来使用与各个光源相关联的WB校正值的中间值。然而，在日本特开2003-163944中，由于基于颜色分布来检测光源，因此如果图像中的被摄体的颜色改变，则难以稳定地继续应用WB校正值。
[0007]此外，日本特开2006-174281所述的摄像设备考虑根据从三维坐标面上的光源标识边界起的距离来逐级地改变白平衡控制。然而，同样在日本特开2006-174281中，与日本特开2003-163944所述的摄像设备相同，如果被摄体的颜色改变，则难以稳定地继续应用WB校正值。
【发明内容】
[0008]本发明提供能够以不易受到被摄体的颜色的变化所影响的方式稳定地进行白平衡控制的图像处理装置、控制该图像处理装置的方法和摄像设备。
[0009]在本发明的第一方面中，提供一种图像处理装置，用于进行白平衡处理，所述图像处理装置包括:第一计算单元，用于根据从第一图像所获得的红外光量来计算用于进行白平衡处理的第一白平衡校正值；第二计算单元，用于根据从所述第一图像所获得的白色像素来计算与所述第一白平衡校正值不同的第二白平衡校正值；第三计算单元，用于基于所述第一白平衡校正值和所述第二白平衡校正值来计算第三白平衡校正值；白平衡控制单元，用于使用所述第三白平衡校正值来对所述第一图像进行白平衡处理；以及存储单元，用于将所述第三白平衡校正值存储作为基准白平衡校正值，其中，在对通过在拍摄所述第一图像之后进行的拍摄而获得的第二图像进行白平衡处理时，在从所述第二图像获得不小于预定量的红外光量、并且所述第二图像中的所获得的白色像素的数量小于预定数量的情况下，所述白平衡控制单元使用所述存储单元中所存储的基准白平衡校正值来对所述第二图像进行白平衡处理。
[0010]在本发明的第二方面中，提供一种摄像设备，包括:摄像装置；红外光传感器，用于检测红外光；获取单元，用于从通过使用所述摄像装置进行的拍摄而获得的第一图像获取颜色评价值；计算单元，用于使用在拍摄所述第一图像时的红外光量的检测结果和从所述第一图像所获取到的颜色评价值来计算白平衡校正值；图像处理单元，用于使用所述白平衡校正值来对所述第一图像进行白平衡校正处理；以及存储单元，用于存储所述白平衡校正处理所使用的所述白平衡校正值，其中，在对通过在拍摄所述第一图像之后进行的拍摄而获得的第二图像进行白平衡处理的情况下，所述图像处理单元使用在拍摄所述第二图像时的红外光量的检测结果来判断是否继承所述存储单元中所存储的基准白平衡校正值，然后对所述第二图像进行白平衡处理。
[0011]在本发明的第三方面中，提供一种图像处理装置的控制方法，所述图像处理装置用于进行白平衡处理并且包括存储单元，所述控制方法包括以下步骤:根据从第一图像所获得的红外光量来计算用于进行白平衡处理的第一白平衡校正值；根据从所述第一图像所获得的白色像素来计算与所述第一白平衡校正值不同的第二白平衡校正值；基于所述第一白平衡校正值和所述第二白平衡校正值来计算第三白平衡校正值；使用所述第三白平衡校正值来对所述第一图像进行白平衡处理；将所述第三白平衡校正值作为基准白平衡校正值存储在所述存储单元中；以及在对通过在拍摄所述第一图像之后进行的拍摄而获得的第二图像进行白平衡处理时，在从所述第二图像获得不小于预定量的红外光量、并且所述第二图像中的所获得的白色像素的数量小于预定数量的情况下，使用所述存储单元中所存储的基准白平衡校正值来对所述第二图像进行白平衡处理。
[0012]根据本发明，可以使图像处理装置稳定地进行不易受被摄体的颜色的变化所影响的白平衡控制。
[0013]通过以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。
【附图说明】
[0014]图1是作为包括根据本发明的第一实施例的图像处理装置的摄像设备的数字照相机的框图。
[0015]图2是图1所示的图像处理装置中所包括的白平衡控制器的框图。
[0016]图3是图1所示的数字照相机所进行的拍摄处理的流程图。
[0017]图4是在图3的拍摄处理的步骤中所进行的WB校正值计算处理的流程图。
[0018]图5是用于说明图2所示的白色判断部所进行的判断处理的图。
[0019]图6是在图4的WB校正值计算处理的步骤中所进行的基于白色的WB校正值可靠性计算处理的流程图。
[0020]图7A?7H是用于说明图2所示的白平衡控制器所进行的可靠性的计算所使用的表的图，其中:图7A示出在计算基于比例的可靠性时所使用的表，图7B示出在计算基于距离的可靠性时所使用的表，图7C示出在计算颜色可靠性时所使用的表，图7D示出在计算基于亮度的可靠性时所使用的表，图7E示出在计算基于红外光的可靠性时所使用的表的示例，图7F示出在计算基于红外光的可靠性时所使用的表的另一示例，图7G示出在计算绿色可靠性时所使用的表，并且图7H示出在计算夜景颜色可靠性时所使用的表。
[0021]图8A和8B是用于说明在图4的WB校正值计算处理的步骤中所进行的基于红外光判断的绿色检测的图，其中:图8A示出RAW数据所表示的图像的示例，并且图8B示出将图8A所示的图像分割成预定数量的块的状态。
[0022]图9是在图4的WB校正值计算处理的步骤中所进行的基于红外光判断的绿色检测处理的流程图。
[0023]图10A?10D是用于说明图2所示的白平衡控制器所进行的WB校正值的计算的图，其中:图10A是用于说明基于红外光判断的绿色检测的图，图10B是用于说明基于绿色检测的色温估计的图，图10C是用于说明基于色温估计的WB校正值计算的图，并且图10D是用于说明根据基于白色的WB校正值和基于红外光的WB校正值的最终WB校正值的计算的图。
[0024]图11是在图4的WB校正值计算处理的步骤中所进行的基于绿色检测的色温估计处理的流程图。
[0025]图12是在图4的WB校正值计算处理的步骤中所进行的用于将基于白色的WB校正值和基于红外光的WB校正值进行相加的处理的流程图。
[0026]图13是在图4的WB校正值计算处理的步骤中所进行的继承处理的流程图。
[0027]图14A是包括根据本发明的第二实施例的图像处理装置的数字照相机所进行的继承处理的流程图。
[0028]图14B是图14A的继续。
[0029]图15是用于说明在图14A和14B的继承处理中根据混合WB校正值和基准WB校正值之间的差与差阈值的判断结果所进行的处理的图。
【具体实施方式】
[0030]以下将参考示出本发明的实施例的附图来详细说明本发明。
[0031]图1是包括根据本发明的第一实施例的图像处理装置的摄像设备的框图。
[0032]摄像设备例如是数字照相机(以下简称为照相机)，而且例如还可以是数字摄像机。此外，摄像设备可以是诸如具有照相机功能的移动电话或具有照相机的计算机等的具有照相机功能的电子装置。
[0033]图1中的附图标记100所不的照相机具有包括镜头、快门和光圈的光学系统101。经由光学系统101使被摄体图像(光学图像)在摄像装置102上成像。此时，将诸如焦距、快门速度和光圈值等的光学系统信息从光学系统101发送至中央处理单元(CPU) 103。
[0034]摄像装置102例如是多个像素呈二维矩阵排列的(XD图像传感器或CMOS图像传感器。此外，用于将入射光分离成R(红色)、G(绿色)和B (蓝色)的这些颜色的颜色成分的颜色滤波器按拜尔阵列排列在这些像素上。摄像装置102将光学图像转换成表示各像素的亮度信息的模拟信号。
[0035]作为来自摄像装置102的输出的模拟信号由模数转换器(未示出)转换成数字图像信号。该数字图像信号是进行显影处理之前的RAW数据，并且由CPU 103存储在一次存储装置104中。注意，利用CPU 103来设置摄像装置102的电气增益(以下称为ISO感光度)。
[0036]测光传感器105具有多个测光区域(例如，总共为由12(水平方向)X8(垂直方向)个区域形成的96个区域)，并且根据经由光学系统101所入射的光量来检测各测光区域的被摄体亮度。然后，所检测到的被摄体亮度值由模数转换器(未示出)转换成数字亮度信号并且被发送至CPU 103。
[0037]注意，测光传感器105的测光区域的数量仅需为正数，并且不限于上述示例。
[0038]红外光传感器106被分割成与测光传感器105的测光区域相同数量的区域，并且根据经由光学系统101所入射的光量来从各区域检测红外光量。然后，所检测到的红外光量由模数转换器(未示出)转换成数字红外光信号并且被发送至CPU 103。
[0039]CPU 103控制照相机100的整体操作，并且根据预先存储的程序来控制照相机
100。在以下说明中，可以利用诸如ASIC(专用集成电路)等的专用硬件来实现通过CPU 103执行关联程序所实现的功能中的至少一部分功能。
[0040]一次存储装置104是诸如RAM等的易失性存储装置，并且用作CPU 10