图像处理装置、摄像装置、图像处理方法以及图像处理程序与流程

本发明涉及一种图像处理装置、摄像装置、图像处理方法以及图像处理程序，尤其涉及一种应用于白平衡校正的技术。

背景技术：

数码相机的自动白平衡(AWB)校正方法通常有如下方法：根据“摄像信号的颜色分布”或“场景的明度”等信息确定场景的光源种类，根据适合所确定的光源种类的白平衡(WB)增益(消除光源的颜色的WB增益)对摄像信号进行白平衡校正。但是，在实际的摄影场景中包含有“树绿”或“人的皮肤”等“物体颜色”，“物体颜色”阻碍光源种类的推断。

例如，“在太阳光下拍摄的人的皮肤”和“钨光的颜色(在钨光下拍摄的无彩色的物体颜色)”呈类似的颜色分布，很难判别光源种类。

为了解决该课题并提高AWB性能，推断“物体颜色＝被摄体本来的颜色”很重要。

以往，提出了如下数字摄影装置：为了能够重放改变照明环境的图像，获取相当于消除了照明环境的影响的图像数据的物体颜色分量数据，将任意的照明分量数据与所获取的物体颜色分量数据合成(专利文献1、2)。

关于上述物体颜色分量数据的获取，利用差分图像数据(只受闪光的影响的图像数据)和闪光光谱数据获取实质上相当于被摄体上的各位置(各像素)中的光谱反射率的物体颜色分量数据，所述差分图像数据表示在打开闪光的照明环境下拍摄的第1图像数据与在关闭闪光的照明环境下拍摄的第2图像数据的差分。

并且，若获取物体颜色分量数据，则接着根据物体颜色分量数据和第2图像数据生成表示不包含闪光的照明环境的影响的照明分量数据。该照明分量数据在重放成为物体颜色分量数据的基础的图像时使用，但通过将任意的照明分量数据与物体颜色分量数据合成，能够重放改变照明环境的图像。

以往技术文献

专利文献

专利文献1：日本特开2001-78202号公报

专利文献2：日本特开2001-08224号公报

技术实现要素：

发明要解决的技术课题

专利文献1、2所记载的发明的特征在于，生成物体颜色分量数据，或者生成物体颜色分量数据以及照明分量数据，并保存所生成的物体颜色分量数据或物体颜色分量数据以及照明分量数据。然后，通过保存物体颜色分量数据，能够轻松地修正基于照明环境的图像的色彩。

即，希望在摄影时的气氛下重放图像的情况下，将相互成对地生成、保存的物体颜色分量数据和照明分量数据进行合成，希望读入其他图像的照明环境的影响来重放的情况下，将物体颜色分量数据与在其他照明环境中获得的照明分量数据进行合成，从而能够重放改变照明环境的图像。

然而，专利文献1、2所记载的发明的特征在于，为了能够重放改变照明环境的图像，获取相当于消除了照明环境的影响的图像数据的物体颜色分量数据，并不以提高AWB校正的性能(提高可靠性)为目的。

并且，在专利文献1、2中，虽然记载了通过将物体颜色分量数据与照明分量数据进行合成，能够重放摄影时的气氛或者任意改变照明环境的图像的内容，但是并没有记载进行对例如关闭闪光的照明环境下拍摄的第2图像数据的AWB校正(即，物体颜色使白色物体看起来发白的图像的校正)的内容。

本发明的目的在于，提供一种能够通过判别实施主曝光的图像内的“被摄体本来的颜色”来提高对实施主曝光的图像进行自动白平衡校正的性能(可靠性)的图像处理装置、摄像装置、图像处理方法以及图像处理程序。

本发明的另一目的在于，提供一种能够通过找出实施主曝光的图像中所含的“无彩色的物体”来提高光源推断的准确性并提高对实施主曝光的图像进行自动白平衡校正的性能(场景韧性)的图像处理装置、摄像装置、图像处理方法以及图像处理程序。

用于解决技术课题的手段

为了实现上述目的，本发明的一个方式所涉及的图像处理装置具备：第1图像获取部，其分别获取第1摄像信号和第2摄像信号，第1摄像信号表示发射闪光来拍摄的闪光发射图像，第2摄像信号表示不发射闪光而拍摄的非闪光发射图像；第2图像获取部，其获取第3摄像信号，第3摄像信号表示所获取的第1摄像信号与第2摄像信号的差分；第3图像获取部，其获取第4摄像信号，第4摄像信号将所获取的第3摄像信号乘以闪光用白平衡增益而得，闪光用白平衡增益去除了由于闪光的颜色导致的影响；颜色信号获取部，其根据所获取的第4摄像信号获取表示摄像画面内的各区域的第1颜色的颜色信号；以及第1白平衡增益计算部，其按照每一个区域计算白平衡增益，白平衡增益将表示实施主曝光的图像的摄像信号的各区域中的第2颜色的颜色信号校正为表示相同区域的第1颜色的颜色信号。

根据本发明的一个方式，分别获取表示闪光发射图像的第1摄像信号和表示非闪光发射图像的第2摄像信号，根据所获取的第1摄像信号与第2摄像信号的差分获取只受闪光的影响的(只将闪光设为光源的)第3摄像信号。所获取的第3摄像信号乘以闪光用白平衡增益而获得第4摄像信号，闪光用白平衡增益去除了由于闪光的颜色导致的影响。该第4摄像信号是与实施主曝光的图像内的“被摄体本来的颜色”(物体颜色)对应的信号。然后，按照每一个区域计算第1白平衡增益，第1白平衡增益将表示实施主曝光的图像的摄像信号的各区域的第2颜色的颜色信号校正为表示第4摄像信号的对应的区域的第1颜色(物体颜色)的颜色信号。由此，能够按照每一个区域计算用于将表示实施主曝光的图像的摄像信号的各区域的第2颜色的颜色信号校正为表示被摄体本来的颜色即第1颜色的颜色信号的适当的第1白平衡增益。

在本发明的另一方式所涉及的图像处理装置中，优选具备第1白平衡校正部，第1白平衡校正部根据通过第1白平衡增益计算部计算出的每一个区域的白平衡增益，按照每一个区域对实施主曝光的图像的摄像信号进行白平衡校正。由此，能够通过适于每一个区域的第1白平衡增益对实施主曝光的图像的摄像信号进行白平衡校正，尤其对混杂有多个光源种类的场景的图像有效。

在本发明的另一其他方式所涉及的图像处理装置中，优选具备第2白平衡增益计算部，第2白平衡增益计算部根据通过第1白平衡增益计算部计算出的每一个区域的白平衡增益计算相对于整个区域的第2白平衡增益。根据每一个区域的第1白平衡增益计算出的相对于整个区域的第2白平衡增益的白平衡增益的可靠性(计算白平衡增益作为适当值的概率)提高，尤其在光源种类为1种的情况下，或者在1种光源种类的颜色主导的情况下有效。

在本发明的另一其他方式所涉及的图像处理装置中，优选第2白平衡增益计算部对通过第1白平衡增益计算部计算出的每一个区域的第1白平衡增益进行加权平均来计算相对于整个区域的第2白平衡增益。由此，能够进一步提高所计算的白平衡增益的可靠性。

在本发明的另一其他方式所涉及的图像处理装置中，优选第2白平衡增益计算部在对每一个区域的第1白平衡增益进行加权平均时，按照通过颜色信号获取部获取的颜色信号所表示的各区域的第1颜色的彩度，越是彩度低的颜色的区域，越增高权重。对于使无彩色的物体颜色成为无彩色的白平衡校正来说，彩度低的颜色的区域的被摄体是比有彩色的被摄体更应该强调的被摄体，能够进一步提高所计算的白平衡增益的可靠性。

在本发明的另一其他方式所涉及的图像处理装置中，优选具备亮度计算部，亮度计算部根据第2图像获取部所获取的第3摄像信号分别计算摄像画面内的各区域的亮度值，第2白平衡增益计算部在对每一个区域的第1白平衡增益进行加权平均时，根据亮度计算部计算出的每一个区域的亮度值降低亮度值低的区域的权重。由于闪光无法充分到达亮度值低的区域，因此对亮度值低的第1区域计算的第1白平衡增益的可靠性变低。因此，在对每一个区域的第1白平衡增益进行加权平均时，降低对亮度值低的第1区域计算的第1白平衡增益的权重，由此提高所计算的白平衡增益的可靠性。另外，也可以将对亮度值低的第1区域计算的第1白平衡增益的权重设为零，并从白平衡增益的计算中排除。

在本发明的另一其他方式所涉及的图像处理装置中，优选具备亮度计算部，亮度计算部根据第1图像获取部所获取的第1摄像信号或第2图像获取部所获取的第3摄像信号分别计算摄像画面内的各区域的亮度值，第2白平衡增益计算部在对每一个区域的第1白平衡增益进行加权平均时，根据亮度计算部计算出的每一个区域的亮度值降低亮度值比判别第1摄像信号的饱和的阈值高的区域的权重。亮度值比判别饱和的阈值高的区域(亮度值非常高的区域)存在摄像信号因闪光而饱和(过白)的可能性，对这种区域计算的第1白平衡增益的可靠性低。因此，对每一个区域的第1白平衡增益进行加权平均时，降低对亮度值非常高的区域计算的第1白平衡的权重，由此提高所计算的白平衡增益的可靠性。

在本发明的另一其他方式所涉及的图像处理装置中，优选具备第2白平衡校正部，第2白平衡校正部根据通过第2白平衡增益计算部计算出的相对于整个区域的第2白平衡增益对实施主曝光的图像的摄像信号进行白平衡校正。由此，能够通过适于整个区域的第2白平衡增益对实施主曝光的图像的摄像信号进行白平衡校正。

在本发明的另一其他方式所涉及的图像处理装置中，优选具备：判别部，其判别闪光是否到达被摄体；以及控制部，其只有在通过判别部判别为闪光已到达被摄体时，使第1白平衡增益计算部执行每一个区域的白平衡增益的计算。由于在闪光未到达被摄体的情况下，无法判别被摄体本来的颜色(物体颜色)，因此优选本处理在闪光到达被摄体的情况下进行。另外，在检测被摄体距离且检测出的被摄体距离超过闪光的最大到达距离的情况下，或者在表示第1摄像信号与第2摄像信号的差分的只受闪光的影响的第3摄像信号为零或大致零的情况下，能够判别为闪光未到达被摄体。

在本发明的另一其他方式所涉及的图像处理装置中，优选具备判别部，判别部根据第2图像获取部所获取的第3摄像信号按照每一个区域判别闪光是否到达，第1白平衡增益计算部只有对通过判别部判别为闪光已到达的区域计算每一个区域的第1白平衡增益。这是因为，从闪光未到达的区域无法检测该区域的第1颜色(物体颜色)，从而第1白平衡增益也无法计算。

本发明的另一其他方式所涉及的摄像装置具备：闪光发射部；摄像部，其对从闪光发射部接收闪光发射的闪光发射图像以及未接收闪光发射的非闪光发射图像进行拍摄，并输出表示闪光发射图像以及非闪光发射图像的摄像信号；以及上述的图像处理装置，第1图像获取部将从摄像部输出的表示闪光发射图像以及非闪光发射图像的摄像信号分别作为第1摄像信号以及第2摄像信号获取。

本发明的另一其他方式所涉及的图像处理方法包括如下步骤：分别获取第1摄像信号和第2摄像信号，第1摄像信号表示发射闪光来拍摄的闪光发射图像，第2摄像信号表示不发射闪光而拍摄的非闪光发射图像；获取第3摄像信号，第3摄像信号表示所获取的第1摄像信号与第2摄像信号的差分；获取第4摄像信号，第4摄像信号将所获取的第3摄像信号乘以闪光用白平衡增益而得，闪光用白平衡增益去除了由于闪光的颜色导致的影响；根据所获取的第4摄像信号获取表示摄像画面内的各区域的第1颜色的颜色信号；以及按照每一个区域计算第1白平衡增益，第1白平衡增益将表示实施主曝光的图像的摄像信号的各区域中的第2颜色的颜色信号校正为表示相同区域的第1颜色的颜色信号。

本发明的另一其他方式所涉及的图像处理程序使计算机执行如下步骤：分别获取第1摄像信号和第2摄像信号，第1摄像信号表示发射闪光来拍摄的闪光发射图像，第2摄像信号表示不发射闪光而拍摄的非闪光发射图像；获取第3摄像信号，第3摄像信号表示所获取的第1摄像信号与第2摄像信号的差分；获取第4摄像信号，第4摄像信号将所获取的第3摄像信号乘以闪光用白平衡增益而得，闪光用白平衡增益去除了由于闪光的颜色导致的影响；根据所获取的第4摄像信号获取表示摄像画面内的各区域的第1颜色的颜色信号；以及按照每一个区域计算第1白平衡增益，第1白平衡增益将表示实施主曝光的图像的摄像信号的各区域的第2颜色的颜色信号校正为表示相同区域中的第1颜色的颜色信号。

并且，本发明的另一其他方式所涉及的图像处理装置具备：图像获取部，其获取摄像信号，摄像信号表示发射闪光来拍摄的闪光发射图像；以及无彩色区域提取部，其根据所获取的摄像信号和表示闪光的颜色的颜色信号从摄像信号中提取颜色与闪光的颜色相同的区域作为无彩色区域。

左右自动白平衡校正的性能(场景韧性)的重要点是光源种类的推断的准确度，只要能够正确地推断光源种类，则能够轻松地进行对该光源种类的颜色校正(白平衡校正)。

但是，在实际的摄影场景中包含有“树绿”或“人的皮肤”等“物体颜色”，“物体颜色”阻碍光源种类的推断。例如，“在太阳光下拍摄的人的皮肤”和“钨光的颜色(在钨光下拍摄的无彩色的物体的颜色)”呈类似的颜色分布，很难判别光源种类。

由此，为了准确地推断光源种类，如何从“摄像信号的颜色分布”找出“没有物体颜色的影响的部分”(＝“无彩色的物体”)很重要。

根据本发明的另一其他方式，获取表示闪光发射图像的摄像信号，从所获取的摄像信号中提取颜色与闪光的颜色相同的区域作为无彩色区域。在此，由于已知闪光的颜色，因此能够从表示闪光发射图像的摄像信号中提取颜色与闪光的颜色相同的区域。并且，在被摄体本来的颜色(物体颜色)为白色或灰色的无彩色的情况下，若向无彩色的被摄体照射闪光，则无彩色的被摄体成为闪光的颜色。因此，从表示闪光发射图像的摄像信号中提取颜色与闪光的颜色相同的区域的处理就成了提取无彩色区域的处理。

在本发明的另一其他方式所涉及的图像处理装置中，优选发射闪光来拍摄的闪光发射图像是以将曝光时间设为闪光的发射时间以下的快门速度拍摄的图像。通过以闪光的发射时间以下的高速的快门速度拍摄闪光发射图像，能够不易受到环境光的影响，从而能够更加准确地提取无彩色区域。

在本发明的另一其他方式所涉及的图像处理装置中，优选在将2以上的整数设为n时，图像获取部从表示依次发射n种发光量的闪光来拍摄的n个闪光发射图像的第1摄像信号中获取第n摄像信号，无彩色区域提取部关于第1摄像信号至第n摄像信号分别提取限制在特定的亮度范围内且颜色与闪光的颜色相同的区域，并将所提取的区域的满足OR条件的区域提取为无彩色区域，特定的亮度范围去除了高亮度部分和低亮度部分。

若闪光发射图像的一部分由于被摄体的距离而过白，或者闪光无法到达，则有时无法准确地判定无彩色区域。因此，根据本发明的另一其他方式，从表示发光量不同的n张闪光发射图像的第1摄像信号中获取第n摄像信号，从第1摄像信号至第n摄像信号中分别提取高限制在特定的亮度范围内且颜色与闪光的颜色相同的区域，并将所提取的区域的满足OR条件的区域提取为无彩色区域，其中，该特定的亮度范围去除了亮度部分和低亮度部分，因此即使在由于被摄体距离而使闪光发射图像中包含有过白部分或闪光无法到达的部分的情况下，通过从“无彩色区域”正确地排除这些部分，并且设定分别从闪光的发光量不同的闪光发射图像提取的“无彩色区域”的OR条件，能够在更广的被摄体距离的范围内提取“无彩色区域”。

在本发明的另一其他方式所涉及的图像处理装置中，优选在将2以上的整数设为n时，图像获取部从表示依次发射n种颜色的闪光来拍摄的n张闪光发射图像的第1摄像信号中获取第n摄像信号，无彩色区域提取部关于第1摄像信号至第n摄像信号分别提取颜色与n种颜色的闪光的颜色相同的区域，并将所提取的区域的满足AND条件的区域提取为无彩色区域。

在单色闪光下，无法区别到底是闪光发射图像的颜色被照射闪光而成为与闪光的颜色相同的颜色，还是被摄体本来的颜色(物体颜色)成为与闪光的颜色相同的颜色。因此，根据本发明的另一其他方式，从表示闪光的颜色不同的n张闪光发射图像的第1摄像信号中获取第n摄像信号，从第1摄像信号至第n摄像信号中分别提取颜色与n种颜色的闪光的颜色相同的区域，并将所提取的区域的满足AND条件的区域提取为无彩色区域，因此能够不受物体颜色的影响而高精度地提取无彩色区域。

在本发明的另一其他方式所涉及的图像处理装置中，具备：白平衡增益获取部，其提取与通过无彩色区域提取部从实施主曝光的图像的摄像信号中提取的无彩色区域对应的区域，并将所提取的区域的颜色设为光源色，获取与光源色对应的白平衡增益；以及白平衡校正部，其根据所获取的白平衡增益对实施主曝光的图像的摄像信号进行白平衡校正。

根据本发明的另一其他方式，从实施主曝光的图像的摄像信号中提取与无彩色区域对应的区域，并将所提取的区域的颜色设为光源色。即，由于提取了物体颜色为无彩色的无彩色区域，因此在该区域带有颜色的情况下，能够认为该颜色因光源色产生。而且，如果可以确定光源色(光源种类)，则能够获取与光源色对应的最佳的白平衡增益，从而能够根据所获取的白平衡增益对实施主曝光的图像的摄像信号进行白平衡校正。

在本发明的另一其他方式所涉及的图像处理装置中，优选具备：判别部，其判别闪光是否到达被摄体；以及控制部，其只有在通过判别部判别为闪光已到达被摄体时，使无彩色区域提取部执行无彩色区域的提取。在闪光未到达被摄体的情况下，很难提取无彩色区域，因此优选在闪光到达被摄体的情况下进行。

本发明的另一其他方式所涉及的摄像装置具备：闪光发射部；摄像部，其从闪光发射部发射或非发射闪光来拍摄闪光发射图像或非闪光发射图像，并输出表示闪光发射图像或非闪光发射图像的摄像信号；以及上述的图像处理装置，图像获取部获取从摄像部输出的表示闪光发射图像的摄像信号。

本发明的另一其他方式所涉及的图像处理方法包括如下步骤：获取摄像信号，摄像信号表示发射闪光来拍摄的闪光发射图像；以及根据所获取的摄像信号和表示闪光的颜色的颜色信号，从摄像信号中提取颜色与闪光的颜色相同的区域作为无彩色区域。

本发明的另一其他方式所涉及的图像处理程序使计算机执行如下步骤：获取摄像信号，摄像信号表示发射闪光来拍摄的闪光发射图像；以及根据所获取的摄像信号和表示闪光的颜色的颜色信号，从摄像信号中提取颜色与闪光的颜色相同的区域作为无彩色区域。

发明效果

根据本发明，利用闪光获取实施主曝光的图像内的被摄体本来的颜色(表示物体颜色的第1颜色)，按照每一个区域计算白平衡增益，该白平衡增益将表示实施主曝光的图像的摄像信号的各区域的颜色(第2颜色)的颜色信号校正为表示相同区域的第1颜色的颜色信号，因此能够按照每一个区域计算用于将表示实施主曝光的图像的摄像信号的各区域的第2颜色的颜色信号校正为表示被摄体本来的颜色即第1颜色的颜色信号的适当的第1白平衡增益。

附图说明

图1是相当于本发明所涉及的摄像装置的数码相机的正面立体图。

图2是图1所示的数码相机的背面立体图。

图3是表示图1所示的数码相机的控制处理系统的框图。

图4是与本表示发明的第1实施方式的图像处理装置对应的图像处理部的框图。

图5是表示单板式彩色成像元件中使用的基色系拜耳排列的图。

图6是表示单板式彩色成像元件中使用的X-Trans(注册商标)排列的图。

图7是表示图6所示的X-Trans排列的基本排列图案的图。

图8是表示与第1实施方式对应的图像处理方法的流程图。

图9是表示进行多区域WB校正的第1WB校正部的处理步骤的流程图。

图10是与表示本发明的第2实施方式的图像处理装置对应的图像处理部的框图。

图11是表示进行AWB校正的图像处理部的处理步骤的流程图。

图12是表示图10所示的第2WB增益计算部的另一实施方式的第2WB增益计算部的框图。

图13是包含表示图10所示的第2WB增益计算部的另一其他实施方式的第2WB增益计算部的框图。

图14是与表示本发明的第3实施方式的图像处理装置对应的图像处理部的主要部分框图。

图15是与表示本发明的第4实施方式的图像处理装置对应的图像处理部的主要部分框图。

图16是与表示本发明的第5实施方式的图像处理装置对应的图像处理部的框图。

图17是与图16所示的第5实施方式对应的流程图。

图18是表示从以氙气管为光源的闪光发射部发射的闪光的发射时间与发射强度的关系的图表。

图19是示出表示本发明的第6实施方式的图像处理方法中的处理步骤的流程图。

图20是示出表示本发明的第7实施方式的图像处理方法中的处理步骤的流程图。

图21是与本发明所涉及的图像处理装置对应的图像处理部的框图。

图22是表示本发明所涉及的图像处理方法的实施方式的流程图。

图23是与表示本发明的第8实施方式的图像处理装置对应的图像处理部的框图。

图24是与表示本发明的第9实施方式的图像处理装置对应的图像处理部的主要部分框图。

图25是作为摄像装置的实施方式的智能手机的外观图。

图26是表示图25所示的智能手机500的结构的框图。

具体实施方式

参照附图，对本发明的实施方式进行说明。在以下实施方式中，对将本发明应用于数码相机(摄像装置)的例子进行说明。其中，在除了数码相机以外的图像处理装置、摄像装置、图像处理方法以及图像处理程序中也能够应用本发明。

图1是数码相机2的正面立体图。图2是数码相机2的背面立体图。

数码相机2具备相机主体3和安装于相机主体3的前面的透镜镜筒4。透镜镜筒4以及相机主体3可以一体地设置，也可以作为透镜更换式相机拆装自如地设置。

在相机主体3的前面除了设置有透镜镜筒4之外，还设置有闪光发射部5，在相机主体3的上面设置有快门按钮6以及电源开关7。快门按钮6是接收来自用户的摄影指示的摄影指示部，由具有半按时接通的S1开关和全按时接通的S2开关的二级行程开关构成。电源开关7是从用户接收数码相机2的电源的接通以及断开的切换指示的电源切换部。

在相机主体3的背面设置有：由液晶面板等构成的显示部8；以及通过用户直接操作的操作部9。显示部8在摄影待机状态下显示即时预览图像(实时取景图像)来作为电子取景器发挥功能，在摄影图像或存储器存储图像的重放时，作为重放图像显示部发挥功能。

操作部9由模式切换开关、十字键、执行键等任意的操作设备构成。例如，模式切换开关在切换数码相机2的动作模式时通过用户操作。作为数码相机2的动作模式，有用于拍摄被摄体来获得摄影图像的摄影模式(自动摄影模式、手动摄影模式以及连拍模式等)、将图像重放显示的重放模式等。

自动摄影模式是使用自动进行调焦的自动聚焦(AF：Auto Focus)功能、自动设定光圈值以及快门速度的自动曝光(AE：Auto Exposure)功能等的模式，手动摄影模式是能够由用户使用操作部9适当第设定调焦、光圈值以及快门速度等的模式。

另一方面，十字键以及执行键在显示部8显示菜单画面或设定画面、或者移动显示在菜单画面或设定画面内的光标、或者确定数码相机2的各种设定的情况下，通过用户操作。

在相机主体3的底部(省略图示)设置有：装载外部存储器10的存储器插槽；以及开闭该存储器插槽的开口的装载盖。外部存储器10拆装自如地设置于相机主体3，若安装于相机主体3，则与设置在相机主体3的存储控制部33电连接。外部存储器10一般能够由卡型闪存器等半导体存储器构成，但是并无特别限定，能够将磁介质等任意存储方式的存储介质用作外部存储器10。

图3是表示数码相机2的控制处理系统的框图。

被摄体光通过设置于透镜镜筒4的透镜部12和设置于相机主体3的机械快门20，并通过成像元件21(摄像部)受光。透镜部12由包含摄影透镜(透镜组)以及光圈的摄影光学系统构成。成像元件21是接收被摄体像而生成摄像信号(图像数据)的元件，具有RGB(红绿蓝)等滤色器以及将光学图像转换为电信号的CCD(Charge Coupled Device)或CMOS(Complementary Metal Oxide Semiconductor)等图像传感器。从成像元件21输出的图像数据在进程处理部22中通过AGC(Automatic Gain Control)电路等实施进程处理之后，模拟形式的图像数据通过AD(Analog Digital)转换部23转换为数字形式的图像数据。数字化的图像数据保存于主存储器24中。

主存储器24是暂时存储图像数据的区域，由DRAM(Dynamic Random Access Memory)等构成。从AD转换部23发送来且蓄存在主存储器24中的图像数据通过由系统控制部25控制的图像处理部31读出。图像处理部31将成像元件21所生成的图像数据用作输入图像数据，进行白平衡校正、伽马校正处理以及去马赛克处理等各种图像处理，将图像处理后的图像数据再次保存在主存储器24中。

在图像处理部31中实施图像处理而保存在主存储器24中的图像数据通过显示控制部35以及压缩扩展部32读出。显示控制部35控制显示部8，使从主存储器24读出的图像数据显示于显示部8。如此，从成像元件21输出并在图像处理部31中接受图像处理的图像数据作为摄影确认图像(后预览)显示于显示部8。

另一方面，压缩扩展部32进行从主存储器24读出的图像数据的压缩处理，制作JPEG(Joint Photographic Experts Group)或TIFF(Tagged Image File Format)等任意压缩形式的图像数据。压缩处理后的图像数据通过存储控制部33存储于外部存储器10中，存储控制部33对向外部存储器10存储数据的处理以及从外部存储器10读出数据的处理进行控制。另外，在将图像数据等数据类存储于外部存储器10中的情况下，存储控制部33根据从时钟设备34获取的日期时间信息向该数据类附加编辑日期时间信息(更新日期时间信息)等摄影信息或其他相关信息。该摄影信息以任意格式附加于图像数据，例如能够采用Exif(Exchangeable image file format)形式。

在重放外部存储器10中保存的图像数据的重放模式中，外部存储器10中保存的图像数据通过由系统控制部25控制的存储控制部33读出，并通过压缩扩展部32实施扩展处理之后，保存在主存储器24中。然后，以与摄影图像的确认显示相同的步骤，通过显示控制部35从主存储器24读出图像数据，在显示部8中重放显示图像数据。

AF处理部37当有快门按钮6的第1阶段的按下(半按)时，对与半按时读入的AF区域对应的图像数据的高频分量的绝对值进行积算，并将该积算出的值(AF评价值)输出至系统控制部25。

AE检测部38当有快门按钮6的第1阶段的按下(半按)时，对与整个画面对应的数字信号进行积算，或者对在画面中央部和周边部实施不同的权重的图像数据进行积算，并将该积算值输出至系统控制部25。

如上所述，系统控制部25对主存储器24、图像处理部31以及存储控制部33进行控制，但对数码相机2中的其他各部(AF处理部37、AE检测部38)也进行控制。

例如，在自动摄影模式时，若半按快门按钮6，则系统控制部25经由透镜驱动部27使透镜部12的聚焦透镜从最近位置向无限远侧移动，并且使AF处理部37动作，从AF处理部37获取各透镜位置中的AF评价值。然后，检索AF评价值最大的对焦位置，使聚焦透镜向该对焦位置移动，由此进行对被摄体(主要被摄体)的调焦。并且，在自动摄影模式时，若半按快门按钮6，则系统控制部25使AE检测部38动作，根据从AE检测部38输入的积算值计算被摄体亮度(摄影Ev值)，根据该摄影Ev值按照程序线图确定光圈的光圈值以及快门速度(机械快门20和/或成像元件21的电荷蓄积时间)，若全按快门按钮6，则根据已确定的光圈值控制光圈，并且根据已确定的快门速度经由快门驱动部26控制机械快门20，并且经由未图示的成像元件驱动部对成像元件21中的电荷蓄积时间进行控制。

并且，系统控制部25控制闪光发射部5来控制闪光的发射以及非发射。本例的闪光发射部5例如具有：发射白色闪光的氙气管；以及在氙气管与发射窗口之间取出放入的1个或2个以上的滤色器，系统控制部25通过调整氙气管的发射时间来调整闪光的发光量，通过取出放入滤色器来调整闪光的发射颜色。另外，闪光发射部5可以使用红(R)、绿(G)、蓝(B)发光二极管来代替氙气管，在该情况下，利用流向RGB发光二极管的电流量调整发光量，并且调整RGB发光二极管的发光量的比率，从而能够发射任意颜色的闪光。

而且，系统控制部25对电源控制部28进行控制来进行电源29中的电池安装的有无、电池的种类、电池剩余量的检测等。并且，系统控制部25获取在时钟设备34中计数的日期时间信息并用于各种处理。并且，系统控制部25对构成图像处理部31的各种处理部进行控制。

另外，系统控制部25获取来自包含快门按钮6、电源开关7以及操作部9的用户接口36的操作信号，进行与操作信号相应的各种处理以及设备控制。并且，系统控制部25根据从电源开关7接收的电源接通断开信号控制电源控制部28，对电源29的接通以及断开进行控制。

在系统控制部25中进行的各种处理以及设备控制所需的程序或数据类存储在控制存储器30中。系统控制部25能够根据需要读出控制存储器30中存储的程序或数据类，并且能够将新的程序或数据类保存在控制存储器30中。例如，系统控制部25能够将已设定的白平衡模式(以下，称作“WB模式”)的种类或白平衡增益(以下，称作“WB增益”)等条件数据写入控制存储器30中。并且，系统控制部25能够控制显示控制部35，使从各部获取的各种信息显示于显示部8。另外，系统控制部25能够按照用户经由用户接口36输入的操作信号改变显示于显示部8的各种信息。

[第1实施方式]

接着，对图3所示的图像处理部31的详细内容进行说明。

图4是与表示本发明的第1实施方式的图像处理装置对应的图像处理部的框图，尤其示出了进行白平衡校正的图像处理部。

首先，具备图4所示的第1实施方式的图像处理部311的数码相机2从闪光发射部5连续获取表示发射闪光来拍摄的闪光发射图像的图像数据(第1摄像信号)和表示不发射闪光而拍摄的非闪光发射图像的图像数据(第2摄像信号)，并将第1摄像信号以及第2摄像信号暂时保存在主存储器24中。另外，数码相机2连续拍摄(连拍)非闪光发射图像和闪光发射图像，第1摄像信号和第2摄像信号实际上是表示拍摄同一场景而得的摄像信号。并且，暂时保存在主存储器24的第1摄像信号以及第2摄像信号是图像处理之前的马赛克数据(RAW数据：马赛克状的红(R)、绿(G)、蓝(B)的颜色数据)。

图4所示的图像处理部311示出了图3所示的图像处理部31的第1实施方式，主要由第1图像获取部321、第2图像获取部322、第3图像获取部323、颜色信号获取部325、第1WB增益计算部326以及第1WB校正部327构成。

第1图像获取部321从主存储器24读出(获取)与保存在主存储器24中的闪光发射图像以及非闪光发射图像对应的第1摄像信号以及第2摄像信号，并将所获取的第1摄像信号以及第2摄像信号输出至第2图像获取部322。

第2图像获取部322从第1摄像信号减去第2摄像信号，获取表示第1摄像信号与第2摄像信号的差分的第3摄像信号(即，只受闪光的影响的第3摄像信号)，并将所获取的第3摄像信号输出至第3图像获取部323。

在第3图像获取部323相加闪光用WB增益324，第3图像获取部323将只受闪光的影响的第3摄像信号乘以闪光用WB增益324，获取去除了由于闪光的颜色导致的影响的第4图像信号。另外，闪光用WB增益324是用于去除由于闪光的颜色导致的影响的WB增益，是根据从闪光发射部5发射的闪光的颜色(光谱分布)确定的、用于将与闪光的颜色对应的RGB的颜色数据(第3摄像信号)设为白(灰色)的颜色数据(第4摄像信号)的RGB每一个颜色的增益。并且，闪光用WB增益324预先存储在控制存储器30中，第3图像获取部323从控制存储器30获取闪光用WB增益324。并且，通过第3图像获取部323从只受闪光的影响的第3摄像信号生成的、去除了由于闪光的颜色导致的影响的第4图像信号是与通过闪光发射或非闪光发射拍摄的图像内的“被摄体本来的颜色”(物体颜色)对应的信号。

颜色信号获取部325根据通过第3图像获取部323生成的表示物体颜色的第4摄像信号获取表示摄像画面内的各区域1～n的颜色(第1颜色)的颜色信号，并将表示各区域1～n的第1颜色的颜色信号Color1～n输出至第1WB增益计算部326。

在此，对摄像画面内的各区域以及表示各区域中的第1颜色的颜色信号进行说明。

现在，在成像元件21具有在单板式彩色成像元件中最广泛使用的滤色器的颜色排列即基色系拜耳排列的情况下，如图5所示，绿色(G)像素呈棋盘式格纹状配置，红色(R)、蓝色(B)以线序方式配置。该拜耳排列的基本排列图案P₁具有2×2的像素尺寸，具有拜耳排列的滤色器的成像元件的基本排列图案P₁分别在成像元件的水平方向以及垂直方向上重复配置。并且，在基本排列图案P₁内包含有RGB所有颜色的像素。

因此，在为具有拜耳排列的滤色器的成像元件的情况下，作为与摄像信号对应的摄像画面内的各区域，优选由2×2像素划分的区域。

并且，在将区域内(2×2像素内)的1个R像素的信号设为S_R1，将2个G像素的信号的平均值设为S_G1，将1个B像素的信号设为S_B1时，作为表示各区域的颜色的颜色信号Color，能够用这些RGB信号的比、即S_R1/S_G1以及S_B1/S_G1表示。另外，在本例中，将表示各区域的颜色的颜色信号Color设为RGB信号的比、即S_R1/S_G1以及S_B1/S_G1，但是并不限定于此，只要是能够确定区域的颜色的信息，则可以为任意一个。

并且，在成像元件21具有图6以及图7所示的X-Trans(注册商标)排列的情况下，作为摄像画面内的各区域，优选由6×6像素划分的区域，或者由3×3像素划分的区域。

如图6所示，X-Trans排列的滤色器的基本排列图案P₂具有6×6的图像尺寸。并且，如图7所示，基本排列图案P₂还能够理解成被实线框包围的3×3像素的A排列和被虚线框包围的3×3像素的B排列在水平方向以及垂直方向上交替排列而成的排列。

由于在基本排列图案P₂或A排列以及B排列内包含RGB所有颜色的像素，因此能够将与基本排列图案P₂对应的6×6像素或与A排列以及B排列对应的3×3像素设为摄像画面内的各区域。

并且，摄像画面内的各区域并不限定于与成像元件的滤色器的基本排列图案的图像尺寸对应的区域，也可以将1个像素作为最小区域。在该情况下，马赛克数据的1个像素的数据为RGB中的1个颜色数据，并不包含确定最小区域(1个像素)的颜色的RGB所有颜色数据。因此，通过对周边的颜色数据进行插值来生成不足的颜色数据，并使用所生成的颜色数据确定最小区域的颜色。

而且，作为摄像画面内的各区域，例如也可以将1个画面分割成16×16像素尺寸的区域，使用这些分割的区域。

返回图4，第1WB增益计算部326输入表示通过颜色信号获取部325获取的各区域1～n的第1颜色的颜色信号Color1～n。并且，第1WB增益计算部326从主存储器24获取主曝光的摄像信号。作为经主曝光的摄像信号，可以考虑第1摄像信号以及第2摄像信号中的一个摄像信号，或者另行拍摄同一场景而获得的摄像信号。

第1WB增益计算部326根据表示每一个区域的物体颜色(第1颜色)的颜色信号Color1～n和表示主曝光的摄像信号的每一个区域的颜色(第2颜色)的颜色信号(RGB信号的比，即S_R2/S_G2、S_B2/S_G2)，按照每一个区域计算用于将表示主曝光的摄像信号的各区域的第2颜色的颜色信号校正为表示相同区域的第1颜色的颜色信号的WB增益1～n。即，第1WB增益计算部326利用下式计算WB增益1～n。

[式1]

每一个区域的WB增益1～n＝(表示每一个区域的第1颜色的颜色信号Color1～n)÷(表示每一个区域的第2颜色的颜色信号)

更详细地说明的话，在将表示每一个区域的第1颜色(物体颜色)的颜色信号Color1～n中的RG信号的比设为S_R1/S_G1，将BG信号的比设为S_B1/S_G1，将表示主曝光的摄像信号的各区域的第2颜色的颜色信号中的RG信号设为S_R2/S_G2，将BG信号的比设为S_B2/S_G2时，能够分别利用下式计算WB增益1～n中的相对于R信号的WB增益R_1～n以及相对于B信号的WB增益B_1～n。

[式2]

R_1～n＝(每一个区域的S_R1/S_G1)÷(每一个区域的S_R2/S_G2)

B_1～n＝(每一个区域的S_B1/S_G1)÷(每一个区域的S_B2/S_G2)

在此，上述WB增益R_1～n、B_1～n是将相对于主曝光的摄像信号(RGB信号)中的G信号的增益设为1时的RB信号的增益。因此，在将G信号的增益设为X时，RB信号的增益使WB增益R_1～n、B_1～n成为X倍。

图8是表示与第1实施方式对应的图像处理方法的流程图，尤其示出了获取每一个区域的WB增益的处理步骤。

在图8中，第1图像获取部321(图4)获取暂时保持在主存储器24中的表示闪光发射图像的“第1摄像信号”和表示非闪光发射图像的“第2摄像信号”(步骤S10、S12)。

第2图像获取部322根据在步骤S10、S12中获取的“第1摄像信号”和“第2图像信号”从第1摄像信号减去第2摄像信号，获取表示第1摄像信号与第2摄像信号的差分的“第3摄像信号”(步骤S14)。该“第3摄像信号”是只受闪光的影响的摄像信号，是未受闪光以外的其他照明环境的影响的摄像信号。

接着，第3图像获取部323将只受闪光的影响的“第3摄像信号”乘以“闪光用WB增益”，获取去除了由于闪光的颜色导致的影响的“第4图像信号”(步骤S16)。去除了由于闪光的颜色导致的影响的“第4图像信号”成为与闪光发射或非闪光发射拍摄的图像内的“被摄体本来的颜色”(物体颜色)对应的信号。

接着，颜色信号获取部325根据表示物体颜色的“第4摄像信号”获取表示摄像画面内的各区域1～n的颜色(第1颜色)的颜色信号“Color 1”～“Color n”(步骤S18)。

将确定摄像画面内的各区域1～n中的1个区域的参数m设为1(步骤S20)。

接着，第1WB增益计算部326求出表示主曝光的摄像信号的区域m的颜色的颜色信号，获取将所求出的颜色信号校正为表示该区域m的物体颜色的颜色信号“Color m”的WB增益“WB增益m”(步骤S22)。该“WB增益m”能够利用前述的[式1]算式计算。

接着，将参数m以1单位增量(步骤S24)，判别增量了的参数m是否大于区域的总数n(m＞n)(步骤S26)。在参数m为n以下的情况(“否”的情况)下，过渡到步骤S22，进行与参数m对应的区域的“WB增益m”。

在获取所有区域的“WB增益1”～“WB增益n”，且参数m大于区域的总数n的情况(m＞n)(“是”的情况)下，结束获取每一个区域的“WB增益1”～“WB增益n”的本处理。

[多区域WB校正]

图4所示的第1WB校正部327输入主曝光的摄像信号和通过第1WB增益计算部326计算出的“WB增益1”～“WB增益n”，将主曝光的摄像信号的各区域的摄像信号乘以与每一个区域对应的“WB增益m”，按照每一个区域进行白平衡校正(多区域WB校正)。

图9是表示进行多区域WB校正的第1WB校正部327的处理步骤的流程图。

第1WB校正部327获取保存在主存储器24中的主曝光的摄像信号(步骤S30)。

接着，将确定摄像画面内的各区域1～n中的1个区域的参数m设为1(步骤S32)。

接着，第1WB校正部327获取主曝光的摄像信号中的“区域m”的摄像信号，将“区域m”的摄像信号乘以与该“区域m”对应地计算出的“WB增益m”，进行白平衡校正(步骤S34)。

接着，将参数m以1单位增量(步骤S36)，判别增量了的参数m是否大于区域的总数n(m＞n)(步骤S38)。在参数m为n以下的情况(“否”的情况)下，过渡到步骤S34，与上述相同地将与参数m对应的区域的摄像信号通过与该区域对应地计算出的“WB增益m”进行校正。

在结束经主曝光的摄像信号的所有区域的白平衡校正，且参数m大于区域的总数n的情况(m＞n)(“是”的情况)下，结束按照每一个区域进行白平衡校正的本处理。另外，实施了白平衡校正的主曝光的摄像信号输出至进行伽马校正处理以及去马赛克处理等的后段的图像处理部。

[第2实施方式]

图10是与表示本发明的第2实施方式的图像处理装置对应的图像处理部的框图，尤其示出了进行白平衡校正的图像处理部。另外，对与图4所示的第1实施方式共同的部分标注同一符号，省略其详细说明。

第1实施方式进行“多区域WB校正”，而第2实施方式的不同点在于，使用单一WB增益(以下，称作“AWB增益”)对主曝光的摄像信号进行白平衡校正。

如图10所示，第2实施方式的图像处理部312与第1实施方式的图像处理部311相比，不同点在于追加了第2WB增益计算部330，并且设置第2WB校正部332来代替第1WB校正部327。

第2WB增益计算部330输入通过第1WB增益计算部326计算出的每一个区域的“WB增益1”～“WB增益n”，根据这些“WB增益1”～“WB增益n”计算单一“AWB增益”。

即，第2WB增益计算部330根据每一个区域的“WB增益1”～“WB增益n”计算这些“WB增益1”～“WB增益n”的代表值，即“AWB增益”。作为“WB增益1”～“WB增益n”的代表值，可以考虑“WB增益1”～“WB增益n”的平均值、中间值、最频值等。

第2WB校正部332输入主曝光的摄像信号和通过第2WB增益计算部330计算出的“AWB增益”，将主曝光的摄像信号乘以“AWB增益”，进行自动白平衡校正(AWB校正)。

[AWB校正]

图11是表示进行AWB校正的图像处理部312的处理步骤的流程图，主要示出了第2WB增益计算部330和第2WB校正部332的处理。

如图11所示，第2WB增益计算部330根据通过第1WB增益计算部326计算出的每一个区域的“WB增益1”～“WB增益n”计算这些“WB增益1”～“WB增益n”的代表值，即“AWB增益”(步骤S40)。

第2WB校正部332从主存储器24获取主曝光的摄像信号(步骤S42)，将所获取的主曝光的摄像信号乘以通过步骤S40计算出的“AWB增益”，由此进行主曝光的摄像信号的白平衡校正(步骤S44)。另外，实施了白平衡校正的主曝光的摄像信号输出至进行伽马校正处理以及去马赛克处理等的后段的图像处理部。

＜第2WB增益计算部的另一实施方式＞

图12是表示图10所示的第2WB增益计算部330的另一实施方式的第2WB增益计算部330A的框图。

如图12所示，第2WB增益计算部330A由彩度检测部334和加权平均计算部336构成。

彩度检测部334根据从颜色信号获取部325输出的表示各区域1～n的第1颜色(物体颜色)的颜色信号Color1～n按照每一个区域计算权重系数W₁～W_n。在此，关于通过彩度检测部334计算的权重系数W₁～W_n，越是彩度低的颜色的区域(越是接近无彩色的区域)，越高地设定权重。即，对与颜色信号Color1～n对应的各区域中的无彩色(灰色)的区域的权重系数最高，在颜色空间(例如，由S_R1/S_G1轴和S_B1/S_G1构成的颜色空间)上，越是与灰色之间的距离远的区域，越减小权重。

加权平均计算部336根据通过第1WB增益计算部326计算出的每一个区域的WB增益1～n和通过彩度检测部计算出的每一个区域的权重系数W₁～W_n计算WB增益1～n的加权平均值，并将计算出的加权平均值作为AWB增益输出至第2WB校正部332。

彩度低的区域的颜色是接近无彩色(灰色)的颜色，是在计算将拍摄到的图像内的灰色的物体颜色校正为灰色的WB增益的基础上，应该强调的区域的颜色。而且，利用这种加权平均计算AWB增益，从而能够提高AWB增益的可靠性。

＜第2WB增益计算部的另一其他实施方式＞

图13是包含表示图10所示的第2WB增益计算部330的另一其他实施方式的第2WB增益计算部330B的框图。

在图13中，亮度计算部338根据只受闪光的影响的第3摄像信号计算每一个区域的亮度值Y₁～Y_n。在将各区域的RGB信号设为S_R、S_G、S_B时，通过下式计算每一个区域的亮度值Y。

[式3]

Y＝0.3S_R+0.6S_G+0.1S_B

并且，也可以将在上述亮度值Y的计算中发挥作用最大的G信号S_G用作每一个区域的亮度值。

第2WB增益计算部330B根据通过第1WB增益计算部326计算出的每一个区域的WB增益1～n和通过亮度计算部338计算出的每一个区域的亮度值Y₁～Y_n计算WB增益1～n的加权平均值，并将计算出的加权平均值作为AWB增益输出至第2WB校正部332(图10)。

第2WB增益计算部330B在计算WB增益1～n的加权平均值时，降低亮度值低的区域的权重。这是因为，闪光无法充分到达亮度值低的区域，对这种区域求出的物体颜色(即，根据物体颜色计算的WB增益)的可靠性低。

并且，第2WB增益计算部330B在计算WB增益1～n的加权平均值时，降低亮度值非常高的区域(亮度值比判别表示闪光发射图像的第1摄像信号的饱和的阈值高的区域)的权重。这是因为，亮度值非常高的区域存在第1摄像信号相比于闪光饱和(过白)的可能性，对这种区域计算的第1白平衡增益的可靠性低。另外，在用8位(0～255)表示所计算的亮度值的情况下，能够将上述阈值设为250左右。并且，并不限定于根据第3摄像信号计算亮度值的情况，也可以根据第1摄像信号计算每一个区域的亮度值，在该情况下，能够更加准确地判断第1摄像信号是否饱和。

[第3实施方式]

图14是与表示本发明的第3实施方式的图像处理装置对应的图像处理部的主要部分框图。

在图4以及图10所示的第1实施方式以及第2实施方式中，无论闪光是否适当地到达被摄体，都通过第1WB增益计算部326计算摄像画面内的每一个区域的WB增益，但是在图14所示的第3实施方式中，判别闪光是否到达被摄体，且只有在判别为闪光已到达被摄体时，执行基于第1WB增益计算部326A的每一个区域的WB增益的计算。并且，若判别为闪光未到达被摄体，则进行通常的白平衡校正。

在图14中，判别部333判别从闪光发射部5发射的闪光是否到达被摄体(主要被摄体)。就该判别而言，求出被摄体距离，对该被摄体距离与根据闪光发射部5的闪光指数、闪光摄影时的F值以及ISO(国际标准化组织)灵敏度求出的闪光到达距离进行比较，在被摄体距离超过闪光到达距离时，判别为闪光未到达被摄体。另外，能够根据通过AF处理向对焦位置移动的透镜(聚焦透镜)的位置求出被摄体距离。并且，能够另外设置进行三角测距等的测距部，并使用通过测距部测距的被摄体距离。

控制部335使第1WB增益计算部326A以及WB校正部337中的任一个进行动作，若从判别部333输入闪光已到达被摄体的判别结果，则使第1WB增益计算部326A进行动作，若从判别部333输入闪光未到达被摄体的判别结果，则使WB校正部337进行动作。

若第1WB增益计算部326A被控制部335设定为可进行动作，则如上所述，根据表示每一个区域的物体颜色的颜色信号Color1～n和表示主曝光的摄像信号的每一个区域的颜色的颜色信号，按照每一个区域计算WB增益1～n。然后，根据计算出的WB增益1～n以与第1实施方式或第2实施方式相同的方式进行白平衡校正。

另一方面，若WB校正部337被控制部335设定为可进行动作，则根据白平衡校正之前的摄像信号确定AWB增益，将白平衡校正之前的摄像信号乘以确定的AWB增益，由此进行白平衡校正。在此，作为AWB增益的确定方法，可以考虑如下等各种公知的方法：根据白平衡校正之前的摄像信号求出RGB信号的比，根据所求出的比确定光源种类，从预先按照每一个光源种类存储有适当的AWB增益的存储部读出与已确定的光源种类对应的AWB增益的方法；以及以白平衡校正之后的RGB信号的比成为1:1:1的方式确定AWB增益的方法。

另外，判别部333根据被摄体距离和闪光到达距离判别闪光是否到达被摄体，但是并不限定于此，也可以通过根据只以闪光为光源的第3摄像信号计算出的亮度值是否为为了判别闪光是否到达被摄体而设定的阈值以上来进行判别。作为该情况的阈值，能够使用在被摄体位于最大的闪光到达距离的情况下获得的根据第3摄像信号计算出的亮度值。

[第4实施方式]

图15是与表示本发明的第4实施方式的图像处理装置对应的图像处理部的主要部分框图。

在图14所示的第3实施方式中，只有在判别为闪光到达被摄体时，执行基于第1WB增益计算部326A的每一个区域的WB增益的计算，但是在图15所示的第4实施方式中，判别闪光是否到达摄像画面内的每一个区域，且只有对判别为闪光已到达的区域执行基于第1WB增益计算部326B的WB增益的计算。

在图15中，判别部333A根据只以闪光为光源的第3摄像信号计算每一个区域的亮度值，通过计算出的亮度值是否为为了判别闪光是否到达被摄体而设定的阈值以上，来判别闪光是否到达每一个区域。作为该情况的阈值，能够使用在被摄体位于最大的闪光到达距离的情况下获得的根据第3摄像信号(被摄体的区域的第3摄像信号)计算出的亮度值。

判别部333A将按照每一个区域判别的闪光到达的判别结果输出至第1WB增益计算部326B。

第1WB增益计算部326B根据表示每一个区域的物体颜色的颜色信号Color1～n和表示主曝光的摄像信号的每一个区域的颜色的颜色信号按照每一个区域计算WB增益1～n，但是根据从判别部333A获得的每一个区域的闪光到达的判别结果，只对获得了闪光已到达被摄体的判别结果的区域进行对该区域的WB增益。根据这样计算出的每一个区域的WB增益以与第2实施方式相同的方式计算AWB增益，进行白平衡校正。

在使用图13说明的第2WB增益计算部的另一其他实施方式中，在计算WB增益1～n的加权平均值(AWB增益)时，降低了亮度值低的区域的权重，但是根据第4实施方式，由于对闪光未到达的区域未计算WB增益，因此实际上与将闪光未到达的区域(亮度值低的区域)的权重设为零来计算AWB增益的情况相同。

[第5实施方式]

图16是与表示本发明的第5实施方式的图像处理装置对应的图像处理部的框图，尤其示出了进行白平衡校正的图像处理部的主要部分。

首先，具备图16所示的第5实施方式的图像处理部411的数码相机2获取表示从闪光发射部5发射闪光来拍摄的闪光发射图像的图像数据(摄像信号)，并将摄像信号暂时保存在主存储器24中。另外，暂时保存在主存储器24中的摄像信号是图像处理之前的马赛克数据(RAW数据：马赛克状的RGB的数据)。

图16所示的图像处理部411表示图3所示的图像处理部31的第5实施方式，主要由图像获取部421、颜色信号获取部422以及无彩色区域提取部423构成。

图像获取部421从主存储器24读出(获取)与保存在主存储器24中的闪光发射图像对应的摄像信号，并将所获取的摄像信号输出至颜色信号获取部422。

颜色信号获取部422根据所输入的摄像信号获取表示摄像画面内的各区域1～n的颜色的颜色信号Color1～n，并将所获取的颜色信号Color1～n输出至无彩色区域提取部423。在此，关于摄像画面内的各区域以及表示各区域的颜色的颜色信号，引用第1实施方式中的说明，省略其详细的说明。

关于无彩色区域提取部423的其他输入，可以提供获得表示从闪光发射部5发射的闪光的颜色的闪光的颜色信息424，无彩色区域提取部423根据表示各区域1～n的颜色的颜色信号Color1～n和表示闪光的颜色的颜色信息424提取具有与闪光发射的颜色相同的颜色的区域(erea)作为无彩色区域，并输出表示无彩色区域的信息(无彩色区域信息426)。

即，在某一区域的物体颜色为无彩色(灰色)的情况下，若闪光与该区域接触，则该区域的颜色成为闪光的颜色。因此，通过从闪光发射图像的各区域中提取与闪光的颜色相同的颜色的区域，能够提取物体颜色为无彩色的区域(无彩色区域)。

在此，表示闪光的颜色信息424例如能够设为用RGB信号表示闪光的颜色时的RGB信号的比，即R_ref/G_ref、B_ref/G_ref。并且，闪光的颜色信息424预先存储在控制存储器30中，无彩色区域提取部423从控制存储器30(图3)获取闪光的颜色信息424。在闪光发射部外置于相机的情况下，能够在没有环境光的状态下对白色或灰色的图表进行闪光发射，根据通过闪光发射获得的RGB信号的比检测表示外置的闪光发射部的闪光的颜色的颜色信号。

并且，作为通过无彩色区域提取部423提取无彩色区域的方法，例如可以考虑如下方法：根据下式计算表示某一区域m的颜色的颜色信号Color m(R_m/G_m、B_m/G_m)和表示闪光的颜色的颜色信息424(R_ref/G_ref、B_ref/G_ref)在R/G轴、B/G轴的颜色空间上的差分距离L，

[式4]

当计算出的差分距离L满足[式4]所示的不等式时，将该区域m设为无彩色区域。即，只要差分距离L在0.1以内，则能够判断为无彩色。

并且，作为通过无彩色区域提取部423提取无彩色区域的其他方法，可以考虑如下方法：对表示区域m的颜色的Color m(R_m/G_m、B_m/G_m)与表示闪光的颜色的颜色信息424(R_ref/G_ref、B_ref/G_ref)进行比较，当满足下式时，将该区域m设为无彩色区域。

[式5]

0.9×R_ref/G_ref≤R_m/G_m≤1.1×R_ref/G_ref

并且，

0.9×B_ref/G_ref≤B_m/G_m≤1.1×B_ref/G_ref

提取物体颜色为无彩色的无彩色区域这一步骤在进行将无彩色区域的图像再现为无彩色的白平衡校正方面很重要。

并且，优选将检测被摄体的明度(被摄体亮度)的被摄体亮度检测部和只有在检测出的被摄体亮度低于阈值时，使无彩色区域提取部423进行无彩色区域的提取的控制部进一步设置在图像处理部411。作为阈值，能够设为进行在黑暗的地方自动发射闪光的低亮度自动发射时的亮度值的最大值、或进行日光闪光(还称作“白天闪光”)摄影时的被摄体亮度的最小值。

在被摄体亮度过高的情况下，闪光发射图像强烈地受到环境光的影响，无法高精度地提取无彩色区域。因此，优选只有在被摄体亮度低于阈值时，进行无彩色区域的提取(在被摄体亮度高于阈值时，不进行无彩色区域的提取)。

图17是与图16所示的第5实施方式对应的流程图，尤其示出了提取摄像图像内的被摄体的物体颜色为无彩色的区域(无彩色区域)的处理步骤。

在图17中，图像获取部421从主存储器24获取表示发射闪光来拍摄的闪光发射图像的“摄像信号”(步骤S50)。在该情况下，优选以高速的快门速度拍摄闪光发射图像。即，这是为了通过以高速的快门速度拍摄闪光发射图像来使闪光发射图像尽可能不受环境光的影响(使闪光发射图像接近只以闪光为光源的图像)。

图18是表示从以氙气管为光源的闪光发射部5发射的闪光的发射时间与发射强度的关系的图表。

如图18所示，闪光的发射时间最大为1/500(秒)左右，在短时间内结束发射。并且，闪光的发射时间根据被摄体亮度、被摄体距离以及向氙气管供电的主电容器的容量等而发生改变，但是大致为1/1000～1/500(秒)左右。

因此，拍摄闪光发射图像时的快门速度优选为1/500(秒)以下。另外，若将快门速度设为比闪光的发射时间大幅快，则产生闪光的渐晕(本来的闪光摄像所需的闪光不足)，因此优选拍摄闪光发射图像时的快门速度为闪光的发射时间以下，接近闪光的发射时间。

接着，无彩色区域提取部423根据示出表示闪光发射图像的摄像信号的每一个区域的颜色的颜色信号Color1～n和表示闪光的颜色的颜色信息424，提取具有与闪光发射的颜色相同的颜色的区域(area)作为无彩色区域(步骤S52)。

[第6实施方式]

图19是示出表示本发明的第6实施方式的图像处理方法中的处理步骤的流程图。另外，第6实施方式的图像处理部的结构与图16所示的第5实施方式的图像处理部411的结构大致相同，因此参照图16以及图19对第6实施方式的图像处理方法进行说明。

首先，具备第6实施方式的图像处理部411的数码相机2从闪光发射部5依次发射多种(将2以上的整数设为n时为n种)发光量的闪光，从表示n张闪光发射图像的第1摄像信号中连续拍摄(获取)第n摄像信号，并将第1摄像信号～第n摄像信号暂时保存在主存储器24中。

在此，闪光发射部5按照来自系统控制部25的指示使氙气管的发射时间和/或流向氙气管的电流量发生改变，调整闪光的发光量。并且，数码相机2例如以如下方式自动确定多种发光量：以适当曝光时的Ev值(Exposure value)为基准，成为Ev值在-2.0Ev～+2.0Ev的范围内按照1.0Ev的步进或者0.5Ev的步进发生变化的发光量。

在图19中，图像获取部421从主存储器24获取表示闪光的发光量不同的n张闪光发射图像的第1摄像信号至第n摄像信号(步骤S60)。

接着，将确定第1摄像信号至第n摄像信号中的任一摄像信号的参数m设为1(步骤S62)。

接着，无彩色区域提取部423从“第m摄像信号”中提取与闪光的颜色一致的颜色的区域，将所提取的区域设为“第m无彩色区域(候补)”(步骤S64)。以与第5实施方式相同的方法进行该无彩色区域的提取。

接着，无彩色区域提取部423从所提取的“第m无彩色区域(候补)”中提取限制在特定的亮度范围内的区域，将所提取的区域设为“第m无彩色区域(确定)”(步骤S66)。在此，特定的亮度范围是去除了高亮度部分和低亮度部分的亮度范围。例如，能够设为通过闪光的发光量改变Ev值时的Ev值的步进幅度左右的范围。这是为了在闪光下由于被摄体距离发生过白或者闪光未到达而无法准确地判定“无彩色区域”的情况下，正确地排除过白部分或闪光未到达的部分的“无彩色区域(候补)”。

接着，将参数m以1单位增量(步骤S68)，判别增量了的参数m是否大于闪光发射图像的张数n(m＞n)(步骤S70)。在参数m为n以下的情况(“否”的情况)下，过渡到步骤S64，以与上述相同的方式从与参数m对应的“第m摄像信号”中提取“第m无彩色区域(确定)”(步骤S64～S70)。

另一方面，结束对所有(n张)闪光发射图像的“无彩色区域(确定)”的提取，在参数m大于闪光发射图像的张数n的情况(m＞n)(“是”的情况)下，过渡到步骤S72。

在步骤S72中，无彩色区域提取部423设定经步骤S64～S70的处理获取的“第1无彩色区域(确定)”～“第n无彩色区域(确定)”的OR条件(逻辑和)，将满足OR条件的区域设为“无彩色区域”。

根据第6实施方式，即使在由于被摄体距离在闪光发射图像中包含过白部分或闪光未到达的部分的情况下，也能够通过从“无彩色区域”正确地排除这些部分，并设定分别从闪光的发光量不同的闪光发射图像中提取的“无彩色区域”的OR条件，在更广的被摄体距离的范围内提取“无彩色区域”。

[第7实施方式]

图20是示出表示本发明的第7实施方式的图像处理方法中的处理步骤的流程图。另外，第7实施方式的图像处理部的结构与图16所示的第5实施方式的图像处理部411的结构大致相同，因此参照图16以及图20对第7实施方式的图像处理方法进行说明。

首先，具备第7实施方式的图像处理部411的数码相机2从闪光发射部5依次发射多种(将2以上的整数设为n时为n种)颜色的闪光，从表示n张闪光发射图像的第1摄像信号中连续拍摄(获取)第n摄像信号，并将第1摄像信号～第n摄像信号暂时保存在主存储器24中。

在此，闪光发射部5按照来自系统控制部25的指示在氙气管与发射窗口之间取出放入1个或2个以上的滤色器，调整闪光的发射颜色。

在图20中，图像获取部421从主存储器24获取表示闪光的发射颜色不同的n张闪光发射图像的第1摄像信号至第n摄像信号(步骤S80)。

接着，将确定第1摄像信号至第n摄像信号中的任一摄像信号的参数m设为1(步骤S82)。

接着，无彩色区域提取部423从“第m摄像信号”中提取与闪光的颜色一致的颜色的区域，将所提取的区域设为“第m无彩色区域(候补)”(步骤S84)。以与第5实施方式相同的方式进行该无彩色区域的提取。

接着，将参数m以1单位增量(步骤S86)，判别增量了的参数m是否大于闪光发射图像的张数n(m＞n)(步骤S88)。在参数m为n以下的情况(“否”的情况)下，过渡到步骤S84，以与上述相同的方法从与参数m对应的“第m摄像信号”中提取“第m无彩色区域(候补)”(步骤S84～S88)。

另一方面，结束对所有(n张)闪光发射图像的“无彩色区域(候补)”的提取，在参数m大于闪光发射图像的张数n的情况(m＞n)(“是”的情况)下，过渡到步骤S90。

在步骤S90中，无彩色区域提取部423设定经步骤S84～S88的处理获取的“第1无彩色区域(候补)”～“第n无彩色区域(候补)”的AND条件(逻辑与)，将满足AND条件的区域设为“无彩色区域(确定)”。

在单色闪光下，无法区别到底是闪光发射图像的颜色被照射闪光而成为与闪光的颜色相同的颜色，还是被摄体本来的颜色(物体颜色)成为与闪光的颜色相同的颜色。根据第7实施方式，从表示闪光的颜色不同的n张闪光发射图像的第1摄像信号中获取第n摄像信号，从第1摄像信号至第n摄像信号中分别提取颜色与n种颜色的闪光相同的区域，并将所提取的区域的满足AND条件的区域提取为无彩色区域，因此能够不受物体颜色的影响而高精度地提取无彩色区域。

[AWB校正的另一实施方式]

接着，说明根据如上所述那样提取的表示“无彩色区域”的无彩色区域信息426(图16)对主曝光的摄像信号进行白平衡校正的AWB校正。

图21是与本发明所涉及的图像处理装置对应的图像处理部的框图，尤其示出了进行白平衡校正的图像处理部31的主要部分。

图21所示的图像处理部412主要由摄像信号提取部430、WB增益获取部432以及WB校正部434构成。

摄像信号提取部430输入保存在主存储器24中的主曝光的摄像信号和从图16所示的图像处理部411的无彩色区域提取部423输出的无彩色区域信息426。在此，主曝光的摄像信号是如下摄像信号中的任一摄像信号：表示与在无彩色区域的提取中使用的闪光发射图像的摄像信号；以及表示拍摄与在无彩色区域的提取中使用的闪光发射图像的被摄体相同的被摄体的闪光发射图像或非闪光发射图像的摄像信号。

摄像信号提取部430根据无彩色区域信息426从主曝光的摄像信号中提取无彩色区域的摄像信号，并将所提取的摄像信号输出至WB增益获取部432。另外，无彩色区域的摄像信号是无彩色区域的物体颜色为无彩色的摄像信号，但是为与1个或多个光源种类(环境光、闪光)的颜色对应的摄像信号。

WB增益获取部432根据从摄像信号提取部430输入的无彩色区域的摄像信号将与无彩色区域对应的区域的颜色作为光源色获取与该光源色对应的WB增益(AWB增益)。

具体而言，根据无彩色区域的摄像信号获取表示无彩色区域的颜色的颜色信号(R/G、B/G)，并根据获取的颜色信号确定光源种类。作为光源种类，有太阳光(晴朗、阴凉)、荧光灯、钨灯等，若确定光源种类，则从按照每一个光源种类预先存储有最佳AWB增益的存储部读出(获取)与已确定的光源种类对应的AWB增益。根据本实施方式，能够根据无彩色区域的颜色准确地进行光源种类的推断，因此能够获取适当的AWB增益。

并且，能够根据无彩色区域的摄像信号获取表示无彩色区域的颜色的颜色信号(R/G、B/G)，并计算用于将所获取的颜色信号校正为无彩色(灰色)的颜色信号的AWB增益。在该情况下，能够将R/G＝1、B/G＝1用作灰色的颜色信号。另外，获取AWB增益的方法并不限定于上述例子，只要是根据与无彩色区域对应的区域的颜色获取AWB增益的方法，也可以是任一方法。

WB校正部434将从主存储器24获取的主曝光的摄像信号乘以从WB增益获取部432输入的AWB增益，进行主曝光的摄像信号的白平衡校正。通过WB校正部434实施白平衡校正的主曝光的摄像信号输出至进行伽马校正处理以及去马赛克处理等的后段的图像处理部。

图22是表示本发明所涉及的图像处理方法的实施方式的流程图，尤其示出了从摄像图像提取无彩色区域进行白平衡校正的处理步骤。

在图22中，从无彩色区域提取部423(图16)获取物体颜色为无彩色的“无彩色区域”(表示无彩色区域的无彩色区域信息426)(步骤S100)。

接着，数码相机2对与对应于提取了无彩色区域的闪光发射图像的场景相同的场景实施主曝光，获取“主曝光的摄像信号”(步骤S102)。主曝光的摄像可以是非闪光发射的摄像或闪光发射的摄像中的任一摄像。并且，也可以省略步骤S102的主曝光的摄像动作，将与提取了无彩色区域的闪光发射图像对应的摄像信号获取为“主曝光的摄像信号”。

接着，摄像信号提取部430(图21)提取“主曝光的摄像信号”中的无彩色区域的摄像信号，将所提取的摄像信号所表示的颜色设为“光源色”(步骤S104)。

WB增益获取部432获取将所提取的摄像信号所表示的“光源色”消除的(将光源色所表示的颜色信号设为灰色的颜色信号)AWB增益(步骤S106)。另外，在进行使光源种类的色泽反映的白平衡校正的情况下，优选代替灰色的颜色信号，将如下坐标所表示的颜色信号用作目标的颜色信号，计算AWB增益，该坐标从R/G轴、B/G轴的颜色空间上的灰色的颜色信号的坐标(1，1)朝向表示无彩色区域的颜色的颜色信号(表示光源种类的颜色的颜色信号)的坐标稍微偏离。

接着，WB校正部434利用在步骤S106中获取的“AWB增益”对在步骤S102中获取的“主曝光的摄像信号”进行校正(步骤S108)。

由此，能够将物体颜色为无彩色的被摄体像作为无彩色的被摄体像进行拍摄(白平衡校正)。

[第8实施方式]

图23是与表示本发明的第8实施方式的图像处理装置对应的图像处理部的框图，尤其示出了无彩色区域提取部的另一实施方式。

在图23中，被摄体亮度检测部440检测被摄体的明度(被摄体亮度)，能够使用AE检测部38(图3)。该被摄体亮度检测部440对在无彩色区域的提取中使用的摄像信号的获取(拍摄)时的被摄体亮度进行检测。

控制部442按照通过被摄体亮度检测部440检测出的被摄体亮度输出使无彩色区域提取部423A有效/无效的使能信号，只有在检测出的被摄体亮度低于阈值时，输出使无彩色区域提取部423A有效(进行动作)的使能信号。在此，作为阈值，能够设为进行在黑暗的地方自动发射闪光的低亮度自动发射时的亮度值的最大值、或进行日光闪光(还称作“白天闪光”)摄影时的被摄体亮度的最小值。

无彩色区域提取部423A输入示出表示闪光发射图像的摄像信号的每一个区域的颜色的颜色信号Color1～n、表示闪光的颜色的颜色信息424以及来自控制部442的使能信号，只有在输入了使无彩色区域提取部423A进行动作的使能信号时，根据颜色信号Color1～n和表示闪光的颜色的颜色信息424提取具有与闪光发射的颜色相同的颜色的区域(area)作为无彩色区域。相反，无彩色区域提取部423A在被摄体亮度高且从控制部442输入了使无彩色区域提取部423A不进行动作的使能信号时，不进行无彩色区域的提取处理。

在被摄体亮度过高的情况下，闪光发射图像强烈地受到环境光的影响，无法高精度地提取无彩色区域。因此，只有在被摄体亮度低于阈值时，进行无彩色区域的提取，在被摄体亮度高于阈值时，不进行无彩色区域的提取。

[第9实施方式]

图24是与表示本发明的第9实施方式的图像处理装置对应的图像处理部的主要部分框图。

在图24所示的第9实施方式中，判别闪光是否到达被摄体，只有在判别为闪光到达被摄体时，通过无彩色区域提取部423B执行无彩色区域的提取，若判别为闪光未到达被摄体，则进行通常的白平衡校正。

在图24中，判别部444判别从闪光发射部5发射的闪光是否到达被摄体。就该判别而言，求出被摄体距离，对该被摄体距离与根据闪光发射部5的闪光指数、闪光摄影时的F值以及ISO灵敏度求出的闪光到达距离进行比较，在被摄体距离超过闪光到达距离的情况下，判别为闪光未到达被摄体。另外，能够根据通过AF处理移动至对焦位置的透镜(聚焦透镜)的位置求出被摄体距离。并且，能够另外设置进行三角测距等的测距部，使用通过测距部测距的被摄体距离。

控制部446使无彩色区域提取部423B以及WB校正部448中的任一个进行动作，若从判别部444输入闪光已到达被摄体的判别结果，则使无彩色区域提取部423B进行动作，若从判别部444输入闪光未到达被摄体的判别结果，则使WB校正部448进行动作。

若无彩色区域提取部423B被控制部446设定为进行动作，则根据颜色信号Color1～n和表示闪光的颜色的颜色信息424提取具有与闪光发射的颜色相同的颜色的区域(area)作为无彩色区域。

另一方面，若WB校正部448被控制部446设定为进行动作，则根据白平衡校正之前的摄像信号确定AWB增益，将白平衡校正之前的摄像信号乘以已确定的AWB增益，由此进行白平衡校正。在此，作为AWB增益的确定方法，可以考虑如下等各种公知的方法：根据白平衡校正之前的摄像信号求出RGB信号的比，根据所求出的比确定光源种类，从按照每一个光源种类预先存储有适当的AWB增益的存储部读出与所确定的光源种类对应的AWB增益的方法；以及以白平衡校正之后的RGB信号的比成为1:1:1的方式确定AWB增益的方法。

另外，判别部444根据被摄体距离和闪光到达距离判别闪光是否到达被摄体，但并不限定于此，也可以通过闪光发射图像与非闪光发射图像的差分图像的亮度值是否为为了判别闪光是否到达被摄体的而设定的阈值以上来进行判别。作为此时的阈值，能够使用在被摄体位于最大的闪光到达距离时获得的差分图像的亮度值。

并且，在上述第1实施方式至第9实施方式中，对在数码相机中实施作为本发明的范围的各种图像处理的例子进行了说明，但是也可以由以与数码相机不同的计算机或服务器等为代表的其他装置实施这些这些处理的一部分或全部。

例如，在计算机中加工图像数据时，可以向设置于计算机的图像处理装置输入表示闪光发射图像和非闪光发射图像等的图像数据，对所输入的图像数据进行使用这些图像数据的图像处理。并且，在服务器具备图像处理装置的情况下，例如可以从数码相机或计算机向服务器发送表示闪光发射图像和非闪光发射图像等的图像数据，在服务器的图像处理装置中对已接收的图像数据进行使用这些图像数据的图像处理，向发送源发送、提供图像处理后的图像数据。

并且，能够应用本发明的方式并不限定于数码相机，除了能够应用于以摄像为主要功能的相机类以外，还能够应用于除了具备摄像功能之外还具有摄像以外的其他功能(通话功能、通信功能、其他计算机功能)的移动设备类。作为能够应用本发明的另一方式，例如可以举出具有相机功能的移动电话或智能手机、PDA(Personal Digital Assistants)、便携式游戏机。以下，对能够应用本发明的智能手机的一例进行说明。

＜智能手机的结构＞

图25是表示作为摄像装置的实施方式的智能手机500的外观的图。

图25所示的智能手机500具有平板状的框体502，且在框体502的一个面具备由作为显示部的显示面板521、作为输入部的操作面板522一体构成的显示输入部520。并且，框体502具备扬声器531、麦克风532、操作部540以及相机部541。另外，框体502的结构并不限定于此，例如还能够采用显示部和输入部独立的结构，或者采用具有折叠结构或滑动机构的结构。

图26是表示图25所示的智能手机500的结构的框图。如图26所示，作为智能手机500的主要构成要件，具备无线通信部510、显示输入部520、通话部530、操作部540、相机部541、存储部550、外部输入输出部560、GPS(Global Positioning System)接收部570、动作传感器部580、电源部590以及主控制部501。并且，作为智能手机500的主要功能，具备经由基站装置BS和移动通信网NW进行移动无线通信的无线通信功能。

无线通信部510按照主控制部501的指示对容纳于移动通信网NW的基站装置BS进行无线通信。使用该无线通信进行语音数据、图像数据等的各种文件数据、电子邮件数据等的收发以及Web数据或流数据等的接收。

显示输入部520是所谓的触控面板，其通过主控制部501的控制来显示图像(静止画以及动画)或文字信息等，并以视觉形式向用户传递信息，并且检测用户对所显示的信息进行的操作，具备显示面板521和操作面板522。在欣赏所生成的3D图像时，优选显示面板521是3D显示面板。

显示面板521将LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)等用作显示设备。

操作面板522是将显示于显示面板521的显示面上的图像以能够辨认的方式载置且检测由用户的手指或尖笔操作的一个或多个坐标的设备。若通过用户的手指或尖笔操作该设备，则将由操作而产生的检测信号输出至主控制部501。接着，主控制部501根据所接收的检测信号检测显示面板521上的操作位置(坐标)。

如图25所示，智能手机500的显示面板521和操作面板522一体地构成了显示输入部520，但是成为如操作面板522完全覆盖显示面板521的配置。在采用该配置的情况下，操作面板522对显示面板521以外的区域也可以具备检测用户操作的功能。换言之，操作面板522也可以具备如下检测区域：对与显示面板521重叠的重叠部分的检测区域(以下，称作显示区域)；以及对除此以外的与显示面板521不重叠的外缘部分的检测区域(以下，称作非显示区域)。

另外，虽然可以使显示区域的大小和显示面板521的大小完全一致，但是不必一定使两者一致。并且，操作面板522也可以具备外缘部分和除此以外的内侧部分这两个感应区域。而且，外缘部分的宽度根据框体502的大小等适当地设计。另外，作为在操作面板522中采用的位置检测方式，可以举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，也能够采用任一方式。

通话部530具备扬声器531和麦克风532，其将通过麦克风532输入的用户的语音转换成可由主控制部501处理的语音数据并输出至主控制部501，或者将通过无线通信部510或外部输入输出部560接收的语音数据进行解码并从扬声器531输出。并且，如图25所示，例如能够将扬声器531以及麦克风532搭载于与设置有显示输入部520的面相同的面。

操作部540为使用按键开关等的硬键，其接收来自用户的指示。例如，操作部540是如下按键式开关：搭载于智能手机500的框体502的显示部的下部、下侧面，当用手指等按下时开启，当拿开手指时，通过弹簧等的复原力成为关闭状态。

存储部550存储主控制部501的控制程序或控制数据、将通信对象的名称和电话号码等建立对应关联的地址数据、所收发的电子邮件的数据、通过Web浏览下载的Web数据或下载的内容数据，并且暂时存储流数据等。并且，存储部550由智能手机内置的内部存储部551和具有拆装自如的外部存储器插槽的外部存储部552构成。另外，构成存储部550的各个内部存储部551和外部存储部552利用闪存器类型(flash memory type)、硬盘类型(hard disk type)、微型多媒体卡类型(multimedia card micro type)、卡类型的存储器(例如，Micro SD(注册商标)存储器等)、RAM(Random Access Memory)、ROM(Read Only Memory)等储存介质来实现。

外部输入输出部560发挥与连结于智能手机500的所有外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或网络(例如，互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(Radio Frequency Identification)、红外线通信(Infrared Data Association：IrDA)(注册商标)、UWB(Ultra Wideband)(注册商标)、紫蜂(ZigBee)(注册商标)等)直接或间接地与其他外部设备连接。

作为与智能手机500连结的外部设备，例如有如下：有线/无线头戴式耳机、有线/无线外部充电器、有线/无线数据端口、经由卡插槽连接的存储卡(Memory card)或SIM(Subscriber Identity Module)/UIM(User Identity Module)卡、经由音频/视频I/O(Input/Output)端子连接的外部音频/视频设备、无线连接的外部音频/视频设备、有线/无线连接的智能手机、有线/无线连接的个人计算机、有线/无线连接的PDA、有线/无线连接的耳机等。外部输入输出部能够将从这种外部设备输送来的数据传递给智能手机500的内部的各构成要件，或者使智能手机500的内部的数据输送至外部设备。

GPS接收部570按照主控制部501的指示接收从GPS卫星ST1～STn发送的GPS信号，执行基于所接收的多个GPS信号的测位运算处理，检测由该智能手机500的纬度、经度、高度构成的位置。GPS接收部570在能够从无线通信部510或外部输入输出部560(例如，无线LAN)获取位置信息时，还能够利用该位置信息检测位置。

动作传感器部580例如具备三轴加速度传感器等，按照主控制部501的指示检测智能手机500的物理移动。通过检测智能手机500的物理移动，可以检测智能手机500的移动方向或加速度。该检测结果被输出至主控制部501。

电源部590按照主控制部501的指示向智能手机500的各部供给蓄存于电池(未图示)的电力。

主控制部501具备微处理器，按照存储部550所存储的控制程序或控制数据动作，集中控制智能手机500的各部。并且，主控制部501为了通过无线通信部510进行语音通信或数据通信，具备控制通信系统的各部的移动通信控制功能和应用处理功能。

应用处理功能通过由主控制部501按照存储部550所存储的应用软件动作来实现。作为应用处理功能，例如有控制外部输入输出部560而与对象设备进行数据通信的红外线通信功能或进行电子邮件的收发的电子邮件功能、阅览Web的Web浏览功能等。

并且，主控制部501具备根据接收数据或所下载的流数据等图像数据(静止画或动画数据)将影像显示于显示输入部520等的图像处理功能。图像处理功能是指主控制部501对上述图像数据进行解码并对该解码结果实施图像处理而将图像显示于显示输入部520的功能。

而且，主控制部501执行对显示面板521的显示控制以及检测用户通过操作部540、操作面板522进行的操作的操作检测控制。

通过显示控制的执行，主控制部501显示用于启动应用软件的图标或滚动条等软键，或者显示用于制作电子邮件的窗口。另外，滚动条是指针对无法完全收纳于显示面板521的显示区域的大图像等，用于接收使图像的显示部分移动的指示的软键。

并且，通过操作检测控制的执行，主控制部501检测用户通过操作部540进行的操作，或者通过操作面板522接收对上述图标的操作或对上述窗口的输入栏的字符串的输入，或者接收通过滚动条的显示图像的滚动要求。

而且，通过操作检测控制的执行，主控制部501具备如下触控面板控制功能：判定对操作面板522的操作位置是与显示面板521重叠的重叠部分(显示区域)，还是除此以外的与显示面板521不重叠的外缘部分(非显示区域)，从而对操作面板522的感应区域或软键的显示位置进行控制。

并且，主控制部501还能够检测对操作面板522的手势操作，并根据检测出的手势操作执行预先设定的功能。手势操作并不是指以往单纯的触摸操作，而是指通过手指等描绘轨迹或同时指定多个位置，或者组合这些动作，从多个位置对至少一个描绘出轨迹的操作。

相机部541为使用CMOS(Complementary Metal Oxide Semiconductor)或CCD(Charge-Coupled Device)等成像元件进行电子拍摄的数码相机。能够将前述的数码相机2应用于该相机部541。

并且，相机部541能够通过主控制部501的控制将通过摄影获得的图像数据例如转换为JPEG(Joint Photographic Experts Group)等压缩的图像数据，并记录于存储部550，或者通过外部输入输出部560或无线通信部510输出。如图25所示，在智能手机500中，相机部541搭载于与显示输入部520相同的面，但是相机部541的搭载位置并不限于此，可以搭载于显示输入部520的背面，或者也可以搭载多个相机部541。另外，在搭载多个相机部541的情况下，还能够替换供摄影的相机部541而单独进行拍摄，或者同时使用多个相机部541进行拍摄。

并且，相机部541能够用于智能手机500的各种功能。例如，能够在显示面板521显示由相机部541获取的图像，或者将相机部541的图像用作操作面板522的操作输入的一种。并且，在GPS接收部570检测位置时，还能够参照来自相机部541的图像检测位置。而且，还能够参照来自相机部541的图像，不使用三轴加速度传感器，或者并用三轴加速度传感器，来判断智能手机500的相机部541的光轴方向或当前的使用环境。当然，还能够在应用软件内利用来自相机部541的图像。

[其他]

本发明包含通过安装于通用的计算机使该计算机作为图像处理装置发挥功能的图像处理程序、记录有该图像处理程序的计算机可读取的非暂时性记录介质以及安装有图像处理程序的计算机(图像处理装置)。

在为作为图像处理装置发挥功能的计算机的情况下，经由数码相机、存储卡或通信线路获取表示闪光发射图像、非闪光发射图像等的图像处理之前的RAW数据。

并且，本发明并不限定于上述实施方式，在不脱离本发明的精神的范围内，能够进行各种变形，这是不言而喻的。

符号说明

2-数码相机，4-透镜镜筒，5-闪光发射部，6-快门按钮，7-电源开关，8-显示部，9-操作部，10-外部存储器，12-透镜部，21-成像元件，24-主存储器，25-系统控制部，26-快门驱动部，27-透镜驱动部，30-控制存储器，31、311、312、411、412-图像处理部，36-用户接口，321-第1图像获取部，322-第2图像获取部，323-第3图像获取部，324-闪光用WB增益，325、422-颜色信号获取部，326、326A、326B-第1WB增益计算部，327-第1WB校正部，330、330A、330B-第2WB增益计算部，332-第2WB校正部，333、333A、444-判别部，334-彩度检测部，335、442、446-控制部，336-加权平均计算部，337、434、448-WB校正部，338-亮度计算部，421-图像获取部，423、423A，423B-无彩色区域提取部，424-闪光的颜色信息，426-无彩色区域信息，430-摄像信号提取部，432-WB增益获取部，440-被摄体亮度检测部，500-智能手机，541-相机部。