专利名称：能白平衡调整的摄像装置的制作方法
技术领域：
本发明涉及一种摄像装置和白平衡调整方法，特别地，涉及一种将闪光灯发光时所拍摄的图像的颜色的再现性成为更加自然的颜色的技术。
背景技术：
根据现有技术，为了将闪光灯发光时由色温度不同所产生的不自然的白色补正为更加自然的颜色，调整白平衡。在日本特开平8-51632号公报中，已知下述方法作为白平衡的调整方法，例如， 将闪光灯发光时的图像和闪光灯没有发光时的图像分别分割成多个区域，基于各自对应的区域的亮度差，对每个被分割的区域分别设定白平衡。
发明内容
本发明的目的在于使闪光灯发光时所拍摄的图像的颜色的再现性成为更加自然的颜色。为了实现上述目的，本发明方案1记载的一种摄像装置，其特征在于，具备发光单元和摄像单元，还具备摄像控制单元，其进行控制以使所述摄像单元拍摄通过所述发光单元的发光而处于明亮时的图像即第一图像和该发光单元没有发光时的图像即第二图像；第一取得单元，其分别取得用于对在所述第一图像和所述第二图像的拍摄时所设定的白平衡进行调整的各种颜色分量的增益值；分割单元，其将由所述摄像单元拍摄的摄像区域分割为多个区域；第二取得单元，其针对所述第一图像和所述第二图像，分别取得通过所述分割单元所分割的多个区域的亮度值；算出单元，其分别算出通过所述第二取得单元所取得的所述第一图像的区域的亮度值除以对应的所述第二图像的区域的亮度值后的值作为相对值；选择单元，其从通过所述算出单元算出的相对值中优先并选择多个值高的相对值；和补正单元，其基于通过所述第一取得单元所取得的所述第一图像和所述第二图像的各颜色分量的增益值和通过所述选择单元所选择的多个相对值，对通过所述发光单元的发光而处于明亮时的图像的各颜色分量的增益值进行补正。此外，为了实现上述目的，本发明方案2的摄像装置的特征在于，还具有变换单元，其将通过所述第一取得单元算出的图像的各颜色分量变换为其他颜色空间中的至少包括亮度信息在内的像素的参数的组，所述补正单元还基于通过所述变换单元变换的像素的参数的组，对所述各颜色分量的增益值进行补正。此外，为了实现上述目的，本发明方案3的白平衡调整方法的特征在于，包括以下步骤第一取得步骤，其取得通过发光而处于明亮时的图像即第一图像和没有发光时的图像即第二图像；第二取得步骤，其分别取得用于对在所述第一图像和所述第二图像的拍摄时所设定的白平衡进行调整的各种颜色分量的增益值；分割步骤，其将由所述第一取得步骤所取得的图像分割为多个区域；第三取得步骤，其针对所述第一图像和所述第二图像，分别取得通过所述分割步骤所分割的多个区域的亮度值；算出步骤，其分别算出通过所述第
4三取得步骤的处理所取得的所述第一图像的区域的亮度值除以所述第二图像的区域的亮度值后的值作为相对值；选择步骤，其从通过所述算出步骤算出的相对值中优先并选择多个值高的相对值；和补正步骤，其基于通过所述第二取得步骤所取得的所述第一图像和所述第二图像的各颜色分量的增益值和通过所述选择步骤所选择的多个相对值，对通过发光而处于明亮时的图像的各颜色分量的增益值进行补正。
图1是对本发明的摄像装置的一实施方式的硬件的构成进行表示的区域图。图2是对具有图1的硬件的构成的摄像装置执行的闪光灯摄像处理的流程进行说明的流程图。图3是对根据不发光时取景(through)图像或者发光时拍摄图像得到8X8的64 个分割区域的状态进行表示的模式图。图4是表示对发光时取景图像和非发光时拍摄图像的各个分割区域的亮度比率进行存储的表的一个例子的示意图。图5是对具有图1的硬件的构成的摄像装置执行的白平衡处理的流程进行说明的第1实施例的流程图。图6是对具有图1的硬件的构成的摄像装置执行的白平衡处理的流程进行说明的第2实施例的流程图。
具体实施例方式(第1实施方式)下面，使用附图，说明本发明的第1实施方式。图1是对本发明的摄像装置1的一实施方式的硬件的构成进行表示的区域示意图。图1所示的摄像装置1能够通过例如数码相单元构成。摄像装置1包括CPU(中央处理单元)11、R0M (只读存储器)12、RAM(随机存取存储器)13、图像处理部14、白平衡增益算出部15、图像分割部16、亮度取得部17、总线18、输入输出接口 19、摄像部20、发光部21、操作部22、显示部23、存储部M、通信部25、以及驱动器26。CPUll根据R0M12中所记录的程序或者从存储部24装载到RAM13的程序来执行各种处理。RAMI3中还适当地存储了 CPUll执行各种处理时所必需的数据等。图像处理部14由DSP (数字信号处理器)和VRAM(视频随机存取存储器)等构成， 通过与CPUll协动，对图像的数据实施各种图像处理。例如，图像处理部14对从后述的摄像部20输出的拍摄图像的数据实施噪声降低、 白平衡的调整、手抖动补偿等的图像处理。白平衡增益算出部15，在图像处理部14进行的图像处理当中，算出白平衡的调整所用的白平衡增益。对于白平衡增益算出部15的进一步构成细节，后述。图像分割部16，在图像处理部14进行的图像处理当中，将白平衡的调整所用的图像的数据在空间方向上分割成几个区域的数据。对于图像分割部16的进一步构成细节，后述。亮度取得部17，在图像处理部14进行的图像处理当中，从白平衡的调整所用的图像的数据中，取得亮度值等。对于亮度取得部17的进一步构成细节，还包括亮度比较部41 而后述。CPU11、R0M12、RAM13、图像处理部14、白平衡增益算出部15、图像分割部16和亮度取得部17经由总线18而相互连接。在该总线18上还连接了输入输出接口 19。在输入输出接口 19上连接了摄像部20、发光部21、操作部22、显示部23、存储部对、通信部25以及驱动器沈。尽管没有图示，但摄像部20还包括光学透镜部和图像传感器。光学透镜部为了对被摄体进行拍摄，由用于对光进行聚光的透镜例如聚焦透镜或者变焦透镜等构成。聚焦透镜是使被摄体像成像在图像传感器的光接收面上的透镜。变焦透镜是在一定的范围使焦点距离自由变化的透镜。在光学透镜部上，根据需要，设置了周边电路，该周边电路用于调整焦点、曝光、白平衡等的设定参数。图像传感器由光电变换元件和AFE (模拟前端)等构成。光电变换元件由例如 CMOS (complementary Metal Oxide Semiconductor，互补金属氧化物半导体)型的光电变换元件等构成。被摄体像从光学透镜部入射到光电变换元件。这里，光电变换元件对被摄体像进行光电变换(拍摄)，将图像信号蓄积一定时间，将蓄积的图像信号作为模拟信号依次供给到AFE。AFE对该模拟的图像信号执行A/D (模拟/数字)变换处理等各种信号处理。通过各种信号处理，生成数字信号，并且作为摄像部20的输出信号进行输出。下面，将摄像部20的输出信号称为“拍摄图像的数据”。因此，从摄像部20输出拍摄图像的数据，从而适当地供给到CPU11、图像处理部14、白平衡增益算出部15等。发光部21具有闪光灯，按照CPUll的控制，使闪光灯发光。在本第1实施方式中， 将用户进行对操作部22的拍摄图像的记录指示的操作例如进行了操作部22当中未图示的释放按钮的按下操作作为契机，使闪光灯发光。操作部22例如由未图示的释放按钮等各种按钮构成，接受用户的指示操作。显示部23由能够显示各种图像的显示器等构成。存储部24由DRAM (Dynamic Random Access Memory，动态随机存取存储器)等构成，并且存储后述的取景图像、显示对象的原图像、该原图像上所合成而得到的图像等的各种图像的数据。通信部25控制经由包括因特网的网络而与其他的装置(没有图示)之间进行的
ififn。在驱动器沈上，适当地安装了由磁盘、光盘、磁光盘、或者半导体存储器等构成的可拆装介质31。通过驱动器沈从可拆装介质31中读出的程序，根据需要，被安装到存储部M中。此外，可拆装介质31也与存储部M同样能够存储在存储部M上所存储的图像的数据等的各种数据。
以上，参考图1，说明了本第1实施方式的摄像装置1的硬件的构成。下面，说明具有这种硬件之构成的摄像装置1执行的闪光灯摄像处理的流程。所谓闪光灯摄像处理，是指使闪光灯发光来拍摄被摄体，对该结果所得到的拍摄图像的数据进行白平衡的调整，之后，记录到可拆装介质31等上为止的一系列的处理。图2是对具有图1的硬件的构成的摄像装置1执行的闪光灯摄像处理的流程进行说明的流程图。首先，作为摄像装置1的动作模式，在本第1实施方式中，假设设置了不使闪光灯发光而拍摄被摄体的通常模式、和使闪光灯发光而拍摄被摄体的闪光灯模式。而且，用户通过进行对操作部22的预定的操作，能够选择地指示通常模式或者闪光灯模式，作为动作模式。在这种情况下，当闪光灯模式的选择被指示时，开始闪光灯摄像处理。在步骤Sl中，CPUll执行取景图像的摄像处理以及取景图像的显示处理。S卩，CPUll控制摄像部20和图像处理部14，使由摄像部20进行的摄像动作继续。 然后，CPUll在由摄像部20进行的摄像动作继续的期间，将从该摄像部20依次输出的拍摄图像的数据暂时存储在存储器(存储部中。这样的一系列的处理是这里所说的“取景摄像处理”。此外，CPUll依次读出在取景摄像处理时被暂时记录在存储器(存储部中的各个数据，并将与各个数据对应的拍摄图像依次显示在显示部23上。这样的一系列的处理是这里所说的“取景显示处理”。以下，将通过取景显示处理而显示在显示部23上的拍摄图像称为“取景图像”。在步骤S2中，CPUll判断是否存在拍摄图像的记录指示。如上述，通过用户对操作部22当中的释放按钮进行按下操作，能够进行拍摄图像的记录指示。因此，在释放按钮没有被按下操作时，在步骤S2，判定为否，处理返回到步骤Si。 即，在释放按钮被按下操作为止的期间，通过重复执行步骤Sl和S2的循环处理，来重复执行取景摄像处理和取景显示处理，并且被摄体的取景图像被实时地持续显示在显示部23 上。另外，尽管没有图示，但是即使经过了预定时间，在释放按钮依然没有被按下操作的情况下，CPUll等也可以强制地结束闪光灯摄像处理。此后，在释放按钮被按下操作的情况下，在步骤S2，判定为是，处理进行到步骤 S3。在步骤S3中，CPUll控制发光同时控制对被摄体进行拍摄。详细地，CPUll控制发光部21，使闪光灯发光，并且控制摄像部20，对被摄体进行拍摄。此时从摄像部20输出的拍摄图像的数据作为记录对象的数据而被暂时存储在存储部24中。在步骤S4中，CPUll使用通过步骤Sl的取景摄像处理在闪光灯没有发光时拍摄被摄体的取景图像的数据和通过步骤S3的处理在闪光灯发光时拍摄被摄体的拍摄图像的数据，执行对记录对象的拍摄图像的白平衡进行调整的处理。以下，与图2的记载一起，将这种步骤S4的处理称为“白平衡处理”。此夕卜，以下，将通过步骤Sl的取景摄像处理在闪光灯没有发光时拍摄被摄体的取景图像的数据称为“没有发光时取景图像的数据”。另一方面，以下，将通过步骤S3的处理在闪光灯发光时拍摄被摄体的拍摄图像的数据称为“发光时拍摄图像的数据”。这里，假设记录对象的拍摄图像的数据采用了发光时拍摄图像的数据。但是，除了发光时拍摄图像的数据之外，还可以采用白平衡的设定之后再1次使闪光灯发光、摄像部 20拍摄被摄体的结果所得到的拍摄图像的数据作为记录对象。在这种情况下，该记录对象的拍摄图像的数据通过所设定的白平衡进行调整。另外，对于白平衡处理的进一步构成细节，后述。在步骤S5，CPUll将通过步骤S4之处理而施加了白平衡处理的记录对象的拍摄图像的数据记录到可拆装介质31。由此，闪光灯摄像处理变为结束。以上，说明了闪光灯摄像处理。下面，对闪光灯摄像处理当中由步骤S4执行的白平衡处理进行说明。在这里，首先，说明用于执行白平衡处理的功能构成，接着，说明基于该功能构成所执行的白平衡处理的流程。在白平衡处理被执行的情况下，在图1的摄像装置1当中，白平衡增益算出部15、 图像分割部16和亮度取得部17发挥功能作用。白平衡增益算出部15，分别算出关于没有发光时取景图像的白平衡增益和关于发光时拍摄图像的白平衡增益。详细地，假设没有发光时取景图像和发光时拍摄图像的各个数据由RGB(R 红，G 绿，B:蓝)分量构成。在该情况下，白平衡增益算出部15，作为没有发光时取景图像的白平衡增益，分别算出R分量的增益(以下称为“SRG”)、G分量的增益(以下称为“SGG”)、B分量的增益(以下称为“SBG” )。而且下面将SRG、SGG、SBG 一并称为“没有发光时取景图像的RGB分量的
增益值”。此外，白平衡增益算出部15，作为发光时拍摄图像的白平衡增益，分别算出R分量的增益(以下称为“LRG”)、G分量的增益(以下称为“LGG”)、B分量的增益(以下称为 “LBG”)。下面，将SRG、SGG、SBG 一并称为“发光时拍摄图像的RGB分量的增益值”。接着，白平衡增益算出部15，将没有发光时取景图像和发光时拍摄图像的RGB分量的各个增益值变换成YUV (Y 亮度，U 亮度和蓝分量的色差，V 亮度和红分量的色差)分量的增益值。下面，将从没有发光时取景图像和发光时拍摄图像的RGB分量的各个增益值变换来的YUV分量的各个增益值称为“YUV变换值”。这里，没有发光时取景图像的YUV变换值由Y分量的增益(以下称为SY)、U分量的增益(以下称为SU)和V分量的增益(以下称为SV)构成。在这种情况下，没有发光时取景图像的YUV变换值根据下述式(1)进行运算。式1
权利要求
1.一种摄像装置，其特征在于，包括 发光单元；摄像单元；图像取得单元，取得在所述发光单元的发光时通过所述摄像单元拍摄的第1图像和在所述发光单元的不发光时通过所述摄像单元拍摄的第2图像；增益值取得单元，分别取得通过所述图像取得单元取得的所述第1图像和所述第2图像的各颜色分量的增益值；分割单元，将通过所述图像取得单元取得的第1图像和第2图像分割成多个区域； 亮度值取得单元，针对所述多个区域的每一个区域，分别取得通过所述分割单元分割成多个区域的第1图像和第2图像的亮度值；算出单元，分别算出通过所述亮度值取得单元取得的所述第1图像的每个区域的亮度值和所述第2图像的每个区域的亮度值的相对值；选择单元，从通过所述算出单元分别算出的相对值之中，选择确定的多个相对值；以及补正单元，基于通过所述选择单元选择的确定的多个相对值，补正所述第1图像的至少一部分的区域的各颜色分量的增益值。
2.根据权利要求1所述的摄像装置，其特征在于，所述算出单元，算出通过所述亮度值取得单元取得的所述第1图像的每个区域的亮度值除以所述第2图像的每个区域的亮度值后的值作为所述相对值，所述选择单元，从通过所述算出单元分别算出的相对值之中，优先地选择值高的确定的多个相对值；所述补正单元，基于通过所述第1取得单元取得的第1图像和第2图像的各颜色分量的增益值和通过所述选择单元选择的确定的多个相对值，补正所述第1图像的各颜色分量的增益值。
3.根据权利要求1所述的摄像装置，其特征在于，还包括确定单元，确定通过所述算出单元分别算出的相对值为预定值以下的区域， 所述算出单元，算出通过所述亮度值取得单元取得的所述第1图像的每个区域的亮度值除以所述第2图像的每个区域的亮度值后的值作为所述相对值，所述选择单元，从通过所述第2算出单元分别算出的相对值之中，优先地选择值低的多个相对值；所述补正单元，基于通过所述选择单元选择的确定的多个相对值，补正与通过所述确定单元所确定的相对值对应的第1图像的各颜色分量的增益值。
4.根据权利要求1所述的摄像装置，其特征在于，还包括变换单元，将通过所述图像取得单元取得的第1图像和第2图像的各颜色分量变换成其他色空间中的至少包括亮度信息的像素的参数的组，所述补正单元，还基于通过所述变换单元变换的像素的参数的组，补正所述第1图像和所述第2图像的各颜色分量的增益值。
5.一种白平衡调整方法，其特征在于，包括图像取得步骤，取得通过发光而处于明亮的第1图像和通过发光而没有处于明亮的第 2图像；增益值取得步骤，分别取得通过图像取得步骤所取得的所述第1图像和所述第2图像的各颜色分量的增益值；分割步骤，将通过所述图像取得步骤的处理所取得的第1图像和所述第2图像分别分割成多个区域；亮度值取得步骤，针对所述多个区域的每个区域，取得通过所述分割步骤分割成多个区域的所述第1图像和所述第2图像的亮度值；算出步骤，分别算出通过所述亮度值取得步骤所取得的所述第1图像的每个区域的亮度值和所述第2图像的每个区域的亮度值的相对值；选择步骤，从通过所述亮度值算出步骤分别算出的相对值之中，优先地选择确定的多个相对值；以及补正步骤，基于通过所述选择步骤所选择的确定的多个相对值，补正所述第1图像的至少一部分的区域的各颜色分量的增益值。
全文摘要
本发明提供一种摄像装置，包括发光部、摄像部、图像分割部、CPU、白平衡增益算出部、亮度取得部。摄像部取得所述发光部的发光时由所述摄像单元拍摄的第1图像和所述发光部的不发光时由所述摄像单元拍摄的第2图像。白平衡增益算出部分别取得由所述摄像部取得的所述第1图像和所述第2图像的各颜色分量的增益值。图像分割部将由摄像部取得的第1图像和第2图像分割成多个区域。亮度取得部分别算出所述第1图像的每个区域的亮度值和所述第2图像的每个区域的亮度值的相对值。亮度取得部，从分别算出的相对值之中，选择确定的多个相对值。白平衡增益算出部基于所选择的确定的多个相对值，补正所述第1图像的至少一部分的区域的各颜色分量的增益值。
文档编号H04N9/73GK102469243SQ20111034384
公开日2012年5月23日 申请日期2011年11月3日 优先权日2010年11月4日
发明者北川博康, 塚越丈史 申请人:卡西欧计算机株式会社