图像处理装置、摄像装置、图像处理方法以及程序与流程

本发明涉及一种图像处理装置、摄像装置、图像处理方法以及程序，尤其涉及一种在闪光发射下拍摄获取的图像数据的图像处理。

背景技术：

通过不使闪光发射而进行的摄影(以下，还称作“非闪光发射摄影”)而获取的图像(以下，还称作“非闪光发射图像”)基本上是受只来自环境光的光线的影响的图像。另一方面，通过在闪光发射下进行的摄影(以下，还称作“闪光发射摄影”)获取的图像(以下，还称作“闪光发射图像”)是除了受环境光的影响之外，还受闪光的影响的图像。

在该闪光发射图像中混杂有“闪光的影响大的主要被摄体等部分”和“闪光的影响小或实际上没有影响的背景等部分”。即，存在于闪光发射部的附近的主要被摄体等在闪光发射图像中成为除了受环境光的影响之外，还受闪光的影响的图像。另一方面，不存在于闪光发射部的附近的背景等在闪光发射图像中成为主要受环境光的影响的图像。这样，1个闪光发射图像中存在光源的种类实际上不同的多个图像部分。因此，在对闪光发射图像整体的白平衡一律进行调整的情况下，很难使光源的种类实际上不同的多个图像部分的白平衡同时最佳化。

因此，在闪光发射图像的白平衡处理中，将背景等图像部分以及主要被摄体等图像部分视为个别的光源区域，对各图像部分个别地进行白平衡处理，从而改善图像的色泽。

例如，专利文献1公开了根据摄影图像数据以及监视器图像数据计算白平衡映射的图像处理装置。该白平衡映射是摄影图像数据中用于分别对照射频闪灯(闪光)而变亮的像素区域以及频闪灯照射不到而发暗的像素区域进行适当的白平衡的调整的数据。

并且，专利文献2公开了在通过频闪灯(闪光)发射摄影而获取的图像的白平衡处理中，进行以实现稳定的白平衡校正为目的的图像处理的摄像装置。在该摄像装置中，根据频闪灯发射图像数据、非频闪灯发射图像数据以及非频闪灯发射时的过去图像数据计算白平衡校正值。

以往技术文献

专利文献

专利文献1：日本特开2012-19293号公报

专利文献2：日本特开2010-193002号公报

发明的概要

发明要解决的技术课题

如上所述，例如可以考虑如下方法：使用闪光发射图像的数据和非闪光发射图像的数据等，根据被摄体相同但主要被摄体等图像部分的明度不同的多个摄影图像，将“受闪光的影响的图像部分”与“不受闪光的影响的图像部分”进行分离。

然而，即使在闪光发射摄影时闪光均匀地照射到被摄体上，实际的摄影图像的明度也会依赖被摄体的颜色而发生改变。因此，只根据闪光发射图像的数据与非闪光发射图像的数据之间的差分数据，很难准确地推断与闪光发射图像的明度相关的闪光的影响。

作为一例，分别将粘贴于平坦的板上的红色比色图表、绿色比色图表以及蓝色比色图表作为被摄体，进行了闪光发射摄影以及非闪光发射摄影。在这些摄影中，使用具备具有RGB(红绿蓝)滤色器的成像元件的数码相机(摄像装置)，在距离该数码相机大致相等的位置分别配置红色比色图表、绿色比色图表以及蓝色比色图表。然后，根据由闪光发射图像与非闪光发射图像之间的差分数据计算的亮度值，关于基于闪光的图像分量求出比色图表之间的明度(亮度值)的关系。在此，根据RGB数据(RGB像素值)求出闪光发射图像与非闪光发射图像之间的差分数据，将该差分数据的RGB数据应用于用“Y＝0.3*R+0.6*G+0.1*B”表示的算式，进行“亮度值(Y)”的计算，从而获得了图32所示的结果。

图32是例示与红色比色图表、绿色比色图表以及蓝色比色图表相关的“闪光发射图像与非闪光发射图像之间的差分数据”的亮度的关系的图表。图32的纵轴表示各比色图表的“闪光发射图像与非闪光发射图像之间的差分数据”的亮度值(Y)的大小。

在假设为拍摄获取的图像的明度不依赖被摄体的颜色的情况下，认为粘贴在平板上的红色比色图表、绿色比色图表以及蓝色比色图表的“闪光发射图像与非闪光发射图像之间的差分数据”的亮度值互不相等。然而，实际上，由图32也明确可知，红色比色图表、绿色比色图表以及蓝色比色图表的“闪光发射图像与非闪光发射图像之间的差分数据”的亮度值相互不同，闪光发射图像的明度依赖于被摄体的颜色。

因此，闪光发射图像与非闪光发射图像之间的差分数据成为除了反映了闪光的影响之外还反应了依赖于被摄体自身颜色的影响的数据。根据“未消除依赖于被摄体的颜色的影响的数据”未必能准确地获得“闪光发射图像中的显示闪光的影响的数据”。因此，从高精度地进行白平衡处理等各种图像处理的观点来看，优选对处理对象的图像数据中根据被摄体的颜色引起的明度的不同进行补偿。

然而，以往没有提出关注根据被摄体的颜色引起的明度的不同而进行白平衡处理等各种图像处理的方法。例如，在专利文献1的图像处理装置中，在将摄影图像数据分类为明亮的像素区域和暗的像素区域之后进行白平衡处理，但是完全没有关注根据被摄体的颜色引起的明度的不同。并且，在专利文献2公开的白平衡处理中，根据频闪灯发射图像数据以及非频闪灯发射图像数据计算白平衡校正值，但是在白平衡处理中完全没有考虑根据被摄体的颜色引起的明度的不同。

本发明是鉴于上述情况而完成的，其目的在于提供一种能够对处理对象的图像数据中根据被摄体的颜色引起的明度的不同进行补偿的图像处理技术及其相关技术。

用于解决技术课题的手段

本发明的一个方式涉及图像处理装置，其具备：闪光图像分量获取部，其根据第1图像数据获取闪光图像分量数据，第1图像数据通过在闪光发射下拍摄被摄体而获取，闪光图像分量数据表示基于闪光的被摄体的图像分量；闪光校正数据获取部，其根据闪光图像分量数据获取闪光校正数据，闪光校正数据反映了根据被摄体的颜色引起的闪光图像分量数据的明度的不同；以及闪光明度校正部，其根据闪光图像分量数据以及闪光校正数据获取闪光图像校正分量数据，闪光图像校正分量数据补偿了根据被摄体的颜色引起的闪光图像分量数据的明度的不同。

根据本方式，根据“表示基于闪光的被摄体的图像分量的闪光图像分量数据”和“反映了根据被摄体的颜色引起的闪光图像分量数据的明度的不同的闪光校正数据”获取补偿(校正)了闪光图像分量数据的明度的不同的闪光图像校正分量数据。通过根据该闪光图像校正分量数据进行对第1图像数据的各种图像处理，能够获得补偿了根据被摄体的颜色引起的闪光图像分量数据的明度的不同的处理结果。

在此所说的“表示基于闪光的被摄体的图像分量的闪光图像分量数据”例如能够用从在闪光和环境光的影响下获取的闪光发射图像的数据(第1图像数据)中消除了环境光的影响的数据表示。另外，“闪光图像分量数据”能够通过直接或间接地表示闪光的影响的数据表示，例如也可以用受到具有与摄影中使用的闪光同等的颜色分量比的光线的影响的数据表示。

并且，在此所说的“环境光”是指在摄影时影响被摄体的除了闪光以外的光分量，可以由来自单一光源的光线构成“环境光”，也可以混合来自多个光源的光线而构成“环境光”。

优选闪光图像分量获取部根据第1差分数据获取闪光图像分量数据，第1差分数据表示第1图像数据与通过在非闪光发射下拍摄被摄体而获取的第2图像数据的差分。

根据本方式，通过表示“通过在闪光发射下拍摄被摄体而获取的第1图像数据”与“通过在非闪光发射下拍摄被摄体而获取的第2图像数据”的差分的第1差分数据，能够高精度地表示“直接表示基于闪光的被摄体的图像分量的闪光图像分量数据”。

优选闪光图像分量获取部根据第1差分数据获取闪光图像分量数据，第1差分数据表示第1图像数据与第2图像数据的差分，第1图像数据通过在第1发光量的闪光发射下拍摄被摄体而获取，第2图像数据通过在不同于第1发光量的第2发光量的闪光发射下拍摄被摄体而获取。

根据本方式，能够用表示“通过在第1发光量的闪光发射下拍摄被摄体而获取的第1图像数据”与“通过在第2发光量的闪光发射下拍摄被摄体而获取的第2图像数据”的差分的第1差分数据高精度地获取“表示基于闪光的被摄体的图像分量的闪光图像分量数据”。在本方式中，能够用“受到具有与闪光同等的颜色分量比的光线的影响的数据”表示“间接地表示基于闪光的被摄体的图像分量的闪光图像分量数据”。

优选闪光图像分量获取部通过将闪光用白平衡增益应用于第1差分数据来获取闪光图像分量数据。

根据本方式，由于应用闪光用的白平衡增益来对“表示基于闪光的被摄体的图像分量的闪光图像分量数据”调整白平衡，因此能够获取使被摄体本来具有的适当的色调再现的闪光图像分量数据。

优选闪光校正数据获取部获取色比数据，色比数据表示被划分为多个处理块的所述闪光图像分量数据的多个处理块各自中的闪光图像分量数据的颜色分量比，根据闪光图像分量数据的色比数据获取闪光校正数据，闪光校正数据反应了根据被摄体的颜色引起的闪光图像分量数据在多个处理块之间的明度的不同。

根据本方式，能够以处理块单元获取闪光校正数据。

优选闪光校正数据是，通过应用于表示闪光图像分量数据的明度的第1明度数据，对根据被摄体的颜色引起的闪光图像分量数据的明度的不同进行补偿的数据，闪光校正数据获取部分别关于闪光图像分量数据的多个处理块获取闪光校正数据。

根据本方式，通过应用于表示闪光图像分量数据的明度的第1明度数据，能够获取可对根据被摄体的颜色引起的闪光图像分量数据的明度的不同进行补偿的闪光校正数据。

优选闪光明度校正部根据闪光图像分量数据获取多个处理块各自中的第1明度数据，分别关于多个处理块将闪光校正数据应用于第1明度数据，从而获取闪光图像校正分量数据。

根据本方式，在表示闪光图像分量数据的明度的第1明度数据中应用闪光校正数据，获取补偿了根据被摄体的颜色引起的闪光图像分量数据的明度的不同的闪光图像校正分量数据。

优选闪光校正数据获取部以无彩色的色比数据为基准获取分别与多个处理块相关的闪光校正数据。

根据本方式，以无彩色为基准获取闪光校正数据。无彩色是“白色”、“黑色”以及“通过白色与黑色的混合获得的颜色”，在本说明书中，“灰色”是可包含这些“白色”、“黑色”以及“通过白色与黑色的混合获得的颜色”的概念。在使用基色的颜色空间中，无彩色的各基色量相等，例如在RGB颜色空间，无彩色具有“R数据＝G数据＝B数据(即，“R数据:G数据:B数据＝1:1:1”)”的关系。

优选第1图像数据通过包含多个颜色的滤色器的成像元件获取，闪光图像分量数据包含分别与多个颜色相关的颜色分量数据，闪光校正数据获取部根据颜色分量数据获取多个处理块各自中的闪光图像分量数据的色比数据。

根据本方式，根据使用于摄影的成像元件的滤色器的颜色，能够简便地获取闪光图像分量数据的色比数据。

优选闪光图像分量数据的色比数据基于如下比：闪光图像分量数据的分别和多个颜色相关的颜色分量数据与多个处理块各自中的闪光图像分量数据的多个颜色的颜色分量数据的总和的比。

根据本方式，闪光图像分量数据的色比数据能够作为根据多个处理块各自中的闪光图像分量数据的多个颜色的颜色分量数据的总和标准化的数据获取。

优选闪光校正数据获取部基于运算处理根据多个处理块各自中的闪光图像分量数据的色比数据获取多个处理块各自中的闪光图像分量数据的明度指标数据，运算处理从闪光图像分量数据的色比数据导出明度指标数据，明度指标数据表示与被摄体的颜色相应的闪光图像分量数据的明度，基于运算处理根据无彩色的色比数据获取与该无彩色相关的明度指标数据，在无彩色的色比数据中，分别和多个颜色相关的颜色分量数据与多个处理块各自中的多个颜色的颜色分量数据的总和的比相互相等，根据多个处理块各自中的闪光图像分量数据的明度指标数据与和无彩色相关的明度指标数据的比，获取分别与闪光图像分量数据的多个处理块相关的闪光校正数据。

根据本方式，能够根据“闪光图像分量数据的明度指标数据”与“和无彩色相关的明度指标数据”的比获取闪光校正数据。

另外，为了导出明度指标数据而使用的“运算处理”只要是能够计算直接或间接地表示明度的数据的处理即可，能够使用预先规定的运算式或参照表。因此，例如可以将“亮度值”的计算中使用的运算式用于在此所说的“运算处理”，也可以将通过这种运算式计算的“亮度值”作为“明度指标数据”。

优选多个处理块分别由单一像素构成。

根据本方式，能够以像素单元获取闪光校正数据。在此所说的“像素”为闪光图像分量数据的构成单元，能够以构成成像元件的像素为基准。

优选多个处理块分别由多个像素构成。

根据本方式，能够以多个像素的单元获取闪光校正数据。例如，即使在构成闪光图像分量数据的各像素数据中包含未预期的噪声分量的情况下，通过以多个像素单元进行闪光校正数据的获取处理，也能够实质性地降低这种噪声分量的影响。

优选在第1图像数据的拍摄中使用的成像元件是包含多个颜色的滤色器的单板式成像元件，多个颜色的滤色器通过重复配置特定的颜色图案的基本排列而构成，构成多个处理块各自的多个像素与构成基本排列的像素对应。

根据本方式，能够以成像元件的滤色器的基本排列为基准获取闪光校正数据，从而能够简便地进行闪光校正数据的获取处理。

优选图像处理装置还具备：环境光图像分量获取部，其获取表示基于环境光的被摄体的图像分量的环境光图像分量数据；环境光校正数据获取部，其根据环境光图像分量数据获取环境光校正数据，环境光校正数据反映了根据被摄体的颜色引起的环境光图像分量数据的明度的不同；以及环境光明度校正部，其根据环境光图像分量数据以及环境光校正数据获取环境光图像校正分量数据，环境光图像校正分量数据补偿了根据被摄体的颜色引起的环境光图像分量数据的明度的不同。

根据本方式，根据“表示基于环境光的被摄体的图像分量的环境光图像分量数据”和“反映了根据被摄体的颜色引起的环境光图像分量数据的明度的不同的环境光校正数据”，能够获取补偿了环境光图像分量数据的明度的不同的环境光图像校正分量数据。通过根据该环境光图像校正分量数据进行对第1图像数据的各种图像处理，能够获得补偿了根据被摄体的颜色引起的环境光图像分量数据的明度的不同的处理结果。

在此所说的“表示基于环境光的被摄体的图像分量的环境光图像分量数据”例如能够用从在闪光和环境光的影响下获取的闪光发射图像的数据(第1图像数据)中消除了闪光的影响的数据表示。该“环境光图像分量数据”能够用受到具有与使用于闪光发射图像的数据(第1图像数据)的拍摄获取的环境光同等的颜色分量比的光线的影响的数据表示。

优选环境光图像分量获取部以第2图像数据为基础数据获取环境光图像分量数据，第2图像数据通过在非闪光发射下拍摄被摄体而获取。

根据本方式，能够根据第2图像数据高精度地获取环境光图像分量数据。

环境光图像分量数据可以是第2图像数据本身，也可以是从第2图像数据导出的其他数据。

优选环境光图像分量获取部以第2差分数据为基础数据获取环境光图像分量数据，第2差分数据表示第1图像数据与第1差分数据的差分，第1差分数据表示第1图像数据与通过在非闪光发射下拍摄被摄体而获取的第2图像数据的差分。

根据本方式，能够通过从作为闪光发射图像的数据的第1图像数据中去掉用第1差分数据表示的闪光图像分量数据，来获取环境光图像分量数据。

环境光图像分量获取部也可以根据通过在第1发光量的闪光发射下拍摄被摄体而获取的第1图像数据和第1差分数据导出基础数据，并根据该基础数据获取环境光图像分量数据，第1差分数据表示第1图像数据与第2图像数据的差分，第2图像数据通过在不同于第1发光量的第2发光量的闪光发射下拍摄被摄体而获取。

优选环境光图像分量获取部获取色比数据，色比数据表示多个处理块各自中的基础数据的颜色分量比，根据多个处理块各自中的闪光图像分量数据的色比数据和基础数据的色比数据获取环境光用白平衡增益，通过将环境光用白平衡增益应用于基础数据，获取环境光图像分量数据。

根据本方式，由于应用环境光用的白平衡增益来对“表示基于环境光的被摄体的图像分量的环境光图像分量数据”进行白平衡，因此能够获取使被摄体的适当的色调再现的环境光图像分量数据。

优选若环境光用白平衡增益应用于多个处理块各自中的基础数据的色比数据，则导出多个处理块各自中的环境光图像分量数据的色比数据。

根据本方式，使用环境光用的白平衡增益导出环境光图像分量数据的色比数据。

优选环境光校正数据获取部获取色比数据，色比数据表示多个处理块各自中的环境光图像分量数据的颜色分量比，根据环境光图像分量数据的色比数据获取环境光校正数据，环境光校正数据反映了根据被摄体的颜色引起的环境光图像分量数据在多个处理块之间的明度的不同。

根据本方式，能够以处理块单元获取环境光校正数据。

优选环境光校正数据是，通过应用于表示环境光图像分量数据的明度的第2明度数据，对根据被摄体的颜色引起的环境光图像分量数据的明度的不同进行补偿的数据，环境光校正数据获取部分别关于环境光图像分量数据的多个处理块获取环境光校正数据。

根据本方式，通过应用于表示环境光图像分量数据的明度的第2明度数据，能够获取可对根据被摄体的颜色引起的环境光图像分量数据的明度的不同进行补偿的环境光校正数据。

优选环境光明度校正部根据环境光图像分量数据获取多个处理块各自中的第2明度数据，分别关于多个处理块将环境光校正数据应用于第2明度数据，从而获取环境光图像校正分量数据。

根据本方式，将环境光校正数据应用于表示环境光图像分量数据的明度的第2明度数据，获取补偿了根据被摄体的颜色引起的环境光图像分量数据的明度的不同的环境光图像校正分量数据。

优选环境光校正数据获取部以无彩色的色比数据为基准获取分别与多个处理块相关的环境光校正数据。

根据本方式，能够以无彩色为基准获取环境光校正数据。

优选第1图像数据通过包含多个颜色的滤色器的成像元件拍摄，环境光图像分量数据包含分别与多个颜色相关的颜色分量数据，环境光校正数据获取部根据颜色分量数据获取多个处理块各自中的环境光图像分量数据的色比数据。

根据本方式，能够根据在摄影中使用的成像元件的滤色器的颜色简便地获取环境光图像分量数据的色比数据。

优选环境光图像分量数据的色比数据基于如下比：环境光图像分量数据的分别和多个颜色相关的颜色分量数据与多个处理块各自中的环境光图像分量数据的多个颜色的颜色分量数据的总和的比。

根据本方式，环境光图像分量数据的色比数据能够作为根据多个处理块各自中的环境光图像分量数据的多个颜色的颜色分量数据的总和标准化的数据获取。

优选环境光校正数据获取部基于运算处理根据多个处理块各自中的环境光图像分量数据的色比数据获取多个处理块各自中的环境光图像分量数据的明度指标数据，运算处理从环境光图像分量数据的色比数据导出明度指标数据，明度指标数据表示与被摄体的颜色相应的环境光图像分量数据的明度，基于运算处理根据无彩色的色比数据获取与无彩色相关的明度指标数据，在无彩色的色比数据中，分别和多个颜色相关的颜色分量数据与多个处理块各自中的多个颜色的颜色分量数据的总和的比相互相等，根据多个处理块各自中的环境光图像分量数据的明度指标数据与和无彩色相关的明度指标数据的比，获取分别与环境光图像分量数据的多个处理块相关的环境光校正数据。

根据本方式，根据“环境光图像分量数据的明度指标数据”与“和无彩色相关的明度指标数据”的比获取环境光校正数据。

另外，为了导出明度指标数据而使用的“运算处理”只要是能够计算直接或间接地表示明度的数据的处理即可。因此，可以将在“亮度值”的计算中使用的运算式使用于在此所说的“运算处理”，也可以将通过这种运算式计算的“亮度值”作为“明度指标数据”。

优选图像处理装置还具备白平衡处理部，白平衡处理部根据闪光图像校正分量数据调整第1图像数据的白平衡。

根据本方式，能够根据闪光图像校正分量数据调整第1图像数据的白平衡，闪光图像校正分量数据补偿了根据被摄体的颜色引起的闪光图像分量数据的明度的不同。

优选白平衡处理部根据闪光图像校正分量数据将闪光用白平衡增益应用于第1图像数据。

根据本方式，能够根据闪光图像校正分量数据将闪光用白平衡增益应用于第1图像数据，闪光图像校正分量数据补偿了根据被摄体的颜色引起的闪光图像分量数据的明度的不同。

优选图像处理装置还具备白平衡处理部，白平衡处理部根据闪光图像校正分量数据以及环境光图像校正分量数据调整第1图像数据的白平衡。

根据本方式，能够根据“补偿了根据被摄体的颜色引起的闪光图像分量数据的明度的不同的闪光图像校正分量数据”和“补偿了根据被摄体的颜色引起的环境光图像分量数据的明度的不同的环境光图像校正分量数据”调整第1图像数据的白平衡。

优选白平衡处理部根据闪光图像校正分量数据和环境光图像校正分量数据将闪光用白平衡增益以及环境光用白平衡增益应用于第1图像数据。

根据本方式，能够根据“补偿了根据被摄体的颜色引起的闪光图像分量数据的明度的不同的闪光图像校正分量数据”和“补偿了根据被摄体的颜色引起的环境光图像分量数据的明度的不同的环境光图像校正分量数据”，将闪光用白平衡增益以及环境光用白平衡增益应用于第1图像数据。

优选明度为亮度。

根据本方式，能够获取补偿了根据被摄体的颜色引起的闪光图像分量数据的亮度的不同的闪光图像校正分量数据。

本发明的另一方式涉及一种摄像装置，其具备：成像元件；以及上述的图像处理装置。

本发明的另一方式涉及一种图像处理方法，其具备如下步骤：根据第1图像数据获取闪光图像分量数据，第1图像数据通过在闪光发射下拍摄被摄体而获取，闪光图像分量数据表示基于闪光的被摄体的图像分量；根据闪光图像分量数据获取闪光校正数据，闪光校正数据反映了根据被摄体的颜色引起的闪光图像分量数据的明度的不同；以及根据闪光图像分量数据以及闪光校正数据获取闪光图像校正分量数据，闪光图像校正分量数据补偿了根据被摄体的颜色引起的闪光图像分量数据的明度的不同。

本发明的另一方式涉及一种程序，其用于使计算机执行如下步骤：根据第1图像数据获取闪光图像分量数据，第1图像数据通过在闪光发射下拍摄被摄体而获取，闪光图像分量数据表示基于闪光的被摄体的图像分量；根据闪光图像分量数据获取闪光校正数据，闪光校正数据反映了根据被摄体的颜色引起的闪光图像分量数据的明度的不同；以及根据闪光图像分量数据以及闪光校正数据获取闪光图像校正分量数据，闪光图像校正分量数据补偿了根据被摄体的颜色引起的闪光图像分量数据的明度的不同。

发明效果

根据本发明，能够获取补偿了根据被摄体的颜色引起的闪光图像分量数据的明度的不同的闪光图像校正分量数据。通过利用该“补偿了根据被摄体的颜色引起的闪光图像分量数据的明度的不同的闪光图像校正分量数据”对处理对象的图像数据进行白平衡处理等各种图像处理，能够对根据被摄体的颜色引起的明度的不同进行补偿，从而能够提高处理精度。

附图说明

图1是数码相机的正面立体图。

图2是数码相机的背面立体图。

图3是表示数码相机的控制处理系统的框图。

图4是对根据被摄体的颜色引起的图像数据的明度(亮度)的不同进行说明的图，图4(a)是表示分别与灰色被摄体以及蓝色被摄体相关的图像数据的亮度值的关系的图，图4(b)是表示补偿了根据被摄体的颜色引起的图像数据的明度的不同之后的图像数据的亮度值的关系的图。

图5是表示第1实施方式所涉及的图像处理装置的功能结构的框图。

图6是第1实施方式所涉及的白平衡处理的流程图。

图7是表示第2实施方式所涉及的闪光图像分量获取部的功能结构的框图。

图8是表示闪光图像分量获取部的第1图像数据提取部的结构例的框图。

图9是表示闪光图像分量获取部的第1提取数据调整部的结构例的框图。

图10是表示构成成像元件的多个像素的平面结构的概念图。

图11是表示滤色器的基本排列例的俯视图，图11(a)表示拜耳排列的基本排列图案，图11(b)表示X-Trans(注册商标)类型的基本排列图案。

图12是表示第2实施方式所涉及的闪光校正数据获取部的功能结构的框图。

图13是表示第1色比数据获取部的功能结构的框图。

图14是表示第1校正数据计算部的功能结构的框图。

图15是第2实施方式所涉及的白平衡处理的流程图。

图16是表示第3实施方式所涉及的闪光明度校正部的功能结构的框图。

图17是第3实施方式所涉及的白平衡处理的流程图。

图18是表示第4实施方式所涉及的图像处理装置的功能结构的框图。

图19是表示第4实施方式所涉及的环境光图像分量获取部的功能结构的框图。

图20是表示环境光图像分量获取部的第2图像数据提取部的结构例的框图。

图21是表示环境光图像分量获取部的第2提取数据调整部的结构例的框图。

图22是表示环境光校正数据获取部的功能结构的框图。

图23是表示第2色比数据获取部的功能结构的框图。

图24是表示第2校正数据计算部的功能结构的框图。

图25是表示环境光明度校正部的功能结构的框图。

图26是表示第4实施方式所涉及的白平衡处理部的功能结构的框图。

图27是第4实施方式所涉及的白平衡处理的流程图。

图28是表示在第4实施方式中用于获取闪光图像校正分量数据的处理流程(图27的步骤S42)的细节的流程图。

图29是表示在第4实施方式中用于获取环境光图像校正分量数据的处理流程(图27的步骤S43)的细节的流程图。

图30是表示智能手机的外观的图。

图31是表示图30所示的智能手机的结构的框图。

图32是例示与红色比色图表、绿色比色图表以及蓝色比色图表相关的“闪光发射图像与非闪光发射图像之间的差分数据”的亮度的关系的图表。

具体实施方式

参照附图，对本发明的实施方式进行说明。在以下实施方式中，对将本发明应用于数码相机(摄像装置)的例子进行说明。其中，在除了数码相机以外的图像处理装置、摄像装置、图像处理方法以及程序中也能够应用本发明。

图1是数码相机2的正面立体图。图2是数码相机2的背面立体图。

数码相机2具备相机主体3和安装于相机主体3的前面的透镜镜筒4。相机主体3以及透镜镜筒4可以一体地设置，也可以作为透镜更换式相机拆装自如地设置。

在相机主体3的前面除了设置有透镜镜筒4之外，还设置有闪光发射部5，在相机主体3的上面设置有快门按钮6以及电源开关7。快门按钮6是接收来自用户的摄影指示的摄影指示部，电源开关7是从用户接收数码相机2的电源的接通以及断开的切换指示的电源切换部。另外，闪光发射部5可以是内置于数码相机2(相机主体3)的类型的闪光装置，也可以是外置类型的闪光装置。

在相机主体3的背面设置有：由液晶面板等构成的显示部8；以及通过用户直接操作的操作部9。显示部8在摄影待机状态下显示即时预览图像(实时取景图像)来作为电子取景器发挥功能，在摄影图像或存储器存储图像的重放时作为重放图像显示部发挥功能。

操作部9由模式切换开关、十字键、执行键等任意的操作设备构成。例如，模式切换开关在切换数码相机2的动作模式时通过用户操作。作为数码相机2的动作模式，有用于拍摄被摄体来获得摄影图像的摄影模式、将图像重放显示的重放模式等。并且，作为其他摄影模式，有进行自动聚焦的AF(Auto Focus)模式以及进行手动聚焦操作的MF(Manual Focus)模式。另一方面，十字键以及执行键在显示部8显示菜单画面或设定画面、或者移动显示在菜单画面或设定画面内的光标、或者确定数码相机2的各种设定的情况下，通过用户操作。

在相机主体3的底部(省略图示)设置有：装载主存储器10的存储器插槽；以及开闭该存储器插槽的开口的装载盖。主存储器10拆装自如地设置于相机主体3，若安装于相机主体3，则与设置在相机主体3的存储控制部33(参照图3)电连接。主存储器10一般能够由卡型闪存器等半导体存储器构成，但是并无特别限定，能够将磁介质等任意存储方式的存储介质用作主存储器10。

图3是表示数码相机2的控制处理系统的框图。

被摄体光通过设置于透镜镜筒4的透镜部12和设置于相机主体3的机械快门20，并通过成像元件21受光。透镜部12由包含摄影透镜(透镜组)以及光圈的摄影光学系统构成。成像元件21是接收被摄体像而生成图像数据的元件，具有RGB(红绿蓝)等滤色器以及将光学图像转换为电信号的CCD(Charge Coupled Device)或CMOS(Complementary Metal Oxide Semiconductor)等图像传感器(光电二极管)。从成像元件21输出的图像数据在进程处理部22中通过AGC(Automatic Gain Control)电路等实施进程处理之后，模拟形式的图像数据通过AD转换部23转换为数字形式的图像数据。经数字化的图像数据保存于缓冲存储器24中。

缓冲存储器24是暂时存储图像数据的区域，由DRAM(Dynamic Random Access Memory)等构成。从AD转换部23发送来并蓄存在缓冲存储器24中的图像数据通过由系统控制部25控制的图像处理装置31读出。

图像处理装置31将从缓冲存储器24读出的图像数据用作处理对象，除了进行后述的白平衡处理之外，还进行伽马校正处理以及去马赛克处理等各种图像处理，并将图像处理后的图像数据再保存于缓冲存储器24中。

在图像处理装置31中实施图像处理而保存在缓冲存储器24中的图像数据通过显示控制部35以及压缩扩展部32读出。显示控制部35控制显示部8，使从缓冲存储器24读出的图像数据显示于显示部8。如此，从成像元件21输出并在图像处理装置31中接受了图像处理的图像数据作为摄影确认图像(后预览)显示于显示部8。

另一方面，压缩扩展部32进行从缓冲存储器24读出的图像数据的压缩处理，制作JPEG(Joint Photographic Experts Group)或TIFF(Tagged Image File Format)等任意压缩形式的图像数据。压缩处理后的图像数据通过存储控制部33存储于主存储器10中，存储控制部33对向主存储器10存储数据的处理以及从主存储器10读出数据的处理进行控制。另外，在将图像数据等数据类存储于主存储器10中的情况下，存储控制部33根据经由系统控制部25从时钟设备34获取的日期时间信息等向该数据类附加编辑日期时间信息(更新日期时间信息)等摄影信息或其他关联信息。包含该摄影信息的关联信息以任意格式附加于图像数据，例如能够采用Exif(Exchangeable image file format)形式。

在重放主存储器10中保存的图像数据的重放模式中，主存储器10中保存的图像数据通过由系统控制部25控制的存储控制部33读出，并通过压缩扩展部32实施扩展处理之后，保存在缓冲存储器24中。然后，以与摄影图像的确认显示相同的步骤，通过显示控制部35从缓冲存储器24读出图像数据，在显示部8中重放显示图像数据。

如上所述，系统控制部25对缓冲存储器24、图像处理装置31以及存储控制部33进行控制，但对数码相机2中的其他各部也进行控制。例如，系统控制部25对透镜驱动部27进行控制来控制透镜部12的驱动，对快门驱动部26进行控制来控制机械快门20的驱动，对成像元件21进行控制来控制图像数据的输出。并且，系统控制部25对闪光发射部5进行控制来控制闪光的发射以及不发射，对电源控制部28进行控制来进行电源29中的电池安装的有无、电池的种类、电池剩余量的检测等。并且，系统控制部25获取在时钟设备34中计数的日期时间信息并用于各种处理。并且，系统控制部25对构成图像处理装置31的各种处理部进行控制。

而且，系统控制部25获取来自包含快门按钮6、电源开关7以及操作部9的用户接口36的操作信号，进行与操作信号相应的各种处理以及设备控制。例如，系统控制部25根据从快门按钮6接收的释放信号控制快门驱动部26，对机械快门20的开闭进行控制。并且，系统控制部25根据从电源开关7接收的电源接通断开信号控制电源控制部28，对电源29的接通以及断开进行控制。

在系统控制部25中进行的各种处理以及设备控制所需的程序或数据类存储在控制存储器30中。系统控制部25能够根据需要读出控制存储器30中存储的程序或数据类，并且能够将新的程序或数据类保存在控制存储器30中。例如，系统控制部25能够将已设定的白平衡模式的种类或白平衡增益等条件数据写入控制存储器30中。并且，系统控制部25能够控制显示控制部35，使从各部获取的各种信息显示于显示部8。另外，系统控制部25能够按照用户经由用户接口36输入的操作信号改变显示于显示部8的各种信息。

接着，对图像处理装置31中的白平衡处理进行说明。

在以下各实施方式中，将白平衡处理作为图像处理的一例进行说明，但是下述的图像处理进程还能应用于除了白平衡处理以外的其他处理。

在以下各实施方式中，在闪光发射图像的白平衡处理中，进行用于补偿(校正)根据被摄体的颜色引起的明度的不同的校正处理。在以下各实施方式中，作为图像数据的“明度”使用“亮度”。

图4是对根据被摄体的颜色引起的图像数据的明度(亮度)的不同进行说明的图。图4(a)是表示分别与灰色(无彩色)的被摄体以及蓝色(有彩色)的被摄体相关的图像数据的亮度值的关系的图，图4(b)是表示补偿了根据被摄体的颜色引起的图像数据的明度的不同之后的图像数据的亮度值的关系的图。图4(a)以及图4(b)的纵轴表示分别与灰色被摄体以及蓝色被摄体相关的图像数据的亮度值。另外，图4(a)以及图4(b)表示灰色被摄体以及蓝色被摄体配置在距离闪光发射部相等的位置的实例。在图4(a)以及图4(b)中，“Fg1”概念性地表示灰色被摄体的图像数据的亮度中的闪光发挥作用的部分，“Lg1”概念性地表示灰色被摄体的图像数据的亮度中的环境光发挥作用的部分。并且，“Fb1”以及“Fb2”概念性地表示蓝色被摄体的图像数据的亮度中的闪光发挥作用的部分，“Lb1”以及“Lb2”概念性地表示蓝色被摄体的图像数据的亮度中的环境光发挥作用的部分。

一般来说，图像数据中的“闪光的影响量(参照图4(a)的“Fg1”以及“Fb1”)”以及“环境光的影响量(参照图4(a)的“Lg1”以及“Lb1”)”根据闪光发射部5与被摄体之间的距离发生变化。并且，由于图像的明度依赖于被摄体的颜色，因此即使闪光发射部5与被摄体之间的距离相同，若被摄体的颜色不同，则图像中的闪光的影响量以及环境光的影响量也会发生变化。因此，在图4(a)所示的例子中，在灰色被摄体的图像数据与蓝色被摄体的图像数据之间，闪光发挥作用的亮度部分的大小不一致(即，“Fg1≠Fb1”)，并且环境光发挥作用的亮度部分的大小也不一致(即，“Lg1≠Lb1”)，整体亮度的大小也不同(即，“Fg1+Lg1≠Fb1+Lb1”)。

在下述各实施方式中，对这种根据被摄体的颜色引起的图像数据的亮度(明度)的不同进行补偿，如图4(b)所示，进行用于实现下述的算式1～算式3中的至少任一关系的处理。

算式1“Fg1＝Fb2(其中，“Fb2＝Fb1×闪光用的校正数据(闪光校正数据)”)”

算式2“Lg1＝Lb2(其中，“Lb2＝Lb1×环境光用的校正数据(环境光校正数据)”)”

算式3“Fg1+Lg1＝Fb2+Lb2”

这样，消除依赖于被摄体的颜色的明度的不同等的影响，实现用上述算式1～算式3中的至少任一个表示的关系，由此能够获取更加准确的“表示闪光的影响的图像数据”，通过利用该图像数据进行图像处理，能够对图像数据的亮度(明度)的不同进行补偿。

如上所述，在图像处理装置31中还进行了除白平衡处理以外的图像处理，但是以下主要对白平衡处理进行说明，省略关于除白平衡处理以外的图像处理的说明。

＜第1实施方式＞

图5是表示第1实施方式所涉及的图像处理装置31的功能结构的框图。本实施方式的图像处理装置31具有闪光图像分量获取部40、闪光校正数据获取部42、闪光明度校正部44以及白平衡处理部46。

闪光图像分量获取部40根据第1图像数据(闪光发射图像数据D1)获取闪光图像分量数据(RGB闪光影响度映射)D3，第1图像数据通过在闪光发射下拍摄被摄体而获取，闪光图像分量数据表示基于闪光的被摄体的图像分量。

闪光图像分量获取部40中的闪光图像分量数据D3的具体获取方法并无特别限定。例如，闪光图像分量获取部40能够将“闪光发射图像数据D1(第1图像数据)”与“通过在非闪光发射下拍摄被摄体而获取的非闪光发射图像数据D2(第2图像数据)”的差分数据作为闪光图像分量数据D3。该闪光图像分量数据D3是从闪光发射图像数据D1消除了环境光的影响的“表示闪光的影响的图像数据”。即，闪光图像分量数据D3为从闪光发射图像排除不受闪光的影响而只受环境光的影响的区域，并分离了受闪光的影响的区域的数据。

通过闪光图像分量获取部40获取闪光发射图像数据D1以及非闪光发射图像数据D2的方法并无特别限定。例如，与连续地拍摄获取的同一被摄体相关的闪光发射图像数据D1以及非闪光发射图像数据D2也可以从成像元件21(参照图3)经由进程处理部22、AD转换部23以及缓冲存储器24供给至图像处理装置31的闪光图像分量获取部40。并且，闪光图像分量获取部40也可以获取主存储器10中保存的与同一被摄体相关的闪光发射图像数据D1以及非闪光发射图像数据D2作为处理对象。在该情况下，主存储器10中保存的闪光发射图像数据D1以及非闪光发射图像数据D2通过存储控制部33读出，在压缩扩展部32实施扩展处理之后，经由缓冲存储器24供给至图像处理装置31的闪光图像分量获取部40。

并且，供给至图像处理装置31(闪光图像分量获取部40)的闪光发射图像数据D1以及非闪光发射图像数据D2的拍摄获取条件、图像类型、图像尺寸等各种条件并无特别限定。即，只要是“在闪光发射下拍摄获取的图像数据”以及“在非闪光发射下拍摄获取的图像数据”，则供给至图像处理装置31(闪光图像分量获取部40)的闪光发射图像数据D1以及非闪光发射图像数据D2可以是在任何摄影条件下拍摄获取的图像数据。例如，闪光发射图像数据D1以及非闪光发射图像数据D2可以是静止画数据，也可以是动画数据。并且，作为非闪光发射图像数据D2，也可以使用即时预览用的图像数据或如闪光的调光用的图像数据那样在高速动作时拍摄获取的图像数据。

将这些闪光发射图像数据D1以及非闪光发射图像数据D2供给至图像处理装置31(闪光图像分量获取部40)的进程在系统控制部25(参照图3)的控制下适当地进行。

另外，获取闪光图像分量数据D3的闪光图像分量获取部40的结构例在后述的第2实施方式中进行详细说明。

图5的闪光校正数据获取部42根据闪光图像分量数据D3获取闪光校正数据(各颜色闪光影响度映射)D4，闪光校正数据反映了根据被摄体的颜色引起的闪光图像分量数据D3的明度的不同。该闪光校正数据D4能够通过用于消除根据被摄体的颜色引起的影响(明度的不同)的数值数据(例如增益值)表示。

闪光明度校正部44根据闪光图像分量数据D3以及闪光校正数据D4获取闪光图像校正分量数据(合成闪光影响度映射)D5，闪光图像校正分量数据补偿了根据被摄体的颜色引起的闪光图像分量数据D3的明度的不同。该闪光图像校正分量数据D5是根据闪光校正数据D4调整闪光图像分量数据D3从而补偿了基于与被摄体的颜色相应的光谱特性的亮度的不同的“表示闪光的影响的(图像)数据”。

这些闪光校正数据获取部42以及闪光明度校正部44的结构例或闪光校正数据D4以及闪光图像校正分量数据D5的具体例在后述的第2实施方式以及第3实施方式中进行详细说明。

白平衡处理部46根据闪光图像校正分量数据D5调整闪光发射图像数据(第1图像数据)D1的白平衡。例如，能够从闪光图像校正分量数据D5推断闪光发射图像数据D1中的闪光的影响强的区域以及弱的区域。因此，白平衡处理部46能够根据闪光图像校正分量数据D5判别闪光发射图像数据(第1图像数据)D1中的闪光的影响比较强的区域，并对该“闪光的影响比较强的区域”的图像数据(闪光发射图像数据(第1图像数据)D1)应用闪光用白平衡增益。

另外，白平衡处理部46中的白平衡处理的具体方法并无特别限定。例如，可以进行只消除闪光发射图像数据D1中的闪光的影响的白平衡处理，也可以进行分别消除闪光发射图像数据D1中的闪光以及环境光的影响的白平衡处理。更具体而言，可以对闪光发射图像数据D1中的闪光的影响比较强的区域应用闪光用的白平衡增益。在该情况下，对除了该“闪光的影响比较强的区域”以外的区域可以不应用白平衡增益，也可以应用环境光用的白平衡增益。并且，也可以关于闪光发射图像数据D1的各区域，求出闪光的影响与环境光的影响的比例，并根据该比例应用闪光用的白平衡增益以及环境光用的白平衡增益这两者。

图6是第1实施方式所涉及的白平衡处理的流程图。

首先，在闪光图像分量获取部40中，获取闪光发射图像数据D1以及非闪光发射图像数据D2(图6的S11)，根据这些闪光发射图像数据D1以及非闪光发射图像数据D2获取闪光图像分量数据(RGB闪光影响度映射)D3(S12)。

然后，在闪光校正数据获取部42中，根据闪光图像分量数据D3获取闪光校正数据D4(S13)。并且，在闪光明度校正部44中，根据闪光图像分量数据D3以及闪光校正数据D4获取闪光图像校正分量数据D5(S14)。

然后，在白平衡处理部46中，对闪光发射图像数据D1进行与闪光图像校正分量数据D5相应的白平衡处理(S15)。

如以上说明，根据本实施方式的图像处理装置31以及图像处理方法，能够获取用于消除根据被摄体的颜色引起的亮度(明度)的不同等的影响的闪光校正数据，并考虑该闪光校正数据来获取表示闪光的影响度的闪光图像校正分量数据。通过使用这种闪光图像校正分量数据，能够对闪光发射图像数据D1进行高精度的白平衡处理。

＜第2实施方式＞

在本实施方式中，对与上述第1实施方式相同或类似的结构标注同一符号，省略其详细的说明。

在本实施方式中，通过以无彩色(灰色)的被摄体的光谱特性(光谱反射率)为基准调整被摄体的摄影图像的明度(亮度)，进行补偿根据被摄体的颜色引起的图像数据的明度的不同的处理。

本实施方式所涉及的图像处理装置31与图5所示的第1实施方式的图像处理装置31相同地具备闪光图像分量获取部40、闪光校正数据获取部42、闪光明度校正部44以及白平衡处理部46，尤其是闪光图像分量获取部40以及闪光校正数据获取部42具有以下具体结构。

首先，对闪光图像分量获取部40的具体结构的一个方式进行说明。

本实施方式的闪光图像分量获取部40根据第1差分数据获取闪光图像分量数据D3，第1差分数据表示通过在闪光发射下拍摄被摄体而获取的闪光发射图像数据(第1图像数据)D1与通过在非闪光发射下拍摄被摄体而获取的非闪光发射图像数据D2(第2图像数据)的差分。尤其是本实施方式的闪光图像分量获取部40通过将闪光用白平衡增益应用于该第1差分数据来获取闪光图像分量数据D3。

图7是表示第2实施方式所涉及的闪光图像分量获取部40的功能结构的框图。本实施方式的闪光图像分量获取部40具有第1图像数据提取部47以及第1提取数据调整部49。第1图像数据提取部47获取表示闪光发射图像数据D1与非闪光发射图像数据D2的差分的第1差分数据。第1提取数据调整部49通过将闪光用白平衡增益应用于该第1差分数据来获取闪光图像分量数据D3。

图8是表示闪光图像分量获取部40的第1图像数据提取部47的结构例的框图。本实施方式的第1图像数据提取部47具有减法器48。闪光发射图像数据D1以及非闪光发射图像数据D2输入减法器48中，减法器48计算用“第1差分数据(第1RGB闪光影响度映射)D6＝闪光发射图像数据D1-非闪光发射图像数据D2”表示的第1差分数据D6。由减法器48计算出的第1差分数据D6从第1图像数据提取部47发送至第1提取数据调整部49。

图9是表示闪光图像分量获取部40的第1提取数据调整部49的结构例的框图。本实施方式的第1提取数据调整部49具有第1白平衡调整部50以及闪光用WB增益存储部51。第1白平衡调整部50读出闪光用WB增益存储部51中保存的闪光用白平衡增益WB1，并将闪光用白平衡增益WB1应用于第1差分数据D6，从而获取闪光图像分量数据(第2RGB闪光影响度映射)D3。

这样，经第1图像数据提取部47以及第1提取数据调整部49获取的闪光图像分量数据D3成为实施了与闪光的光谱特性相应的白平衡的校正的“表示闪光的影响的图像数据”。因此，本实施方式的闪光图像分量获取部40输出调整了灰平衡的闪光图像分量数据D3。

另外，获取闪光用白平衡增益WB1并存储在闪光用WB增益存储部51中的方法并无特别限定。例如，在闪光发射部5(参照图1以及图3)为内置于数码相机2(相机主体3)的类型的闪光装置的情况下，由于已知闪光的光谱特性，因此在制造数码相机2(相机主体3)等时，能够预先获取闪光用白平衡增益WB1并存储在闪光用WB增益存储部51中。并且，在闪光发射部5为外置类型的闪光装置的情况下，能够使用户例如在闪光发射下对灰卡进行拍摄，从该摄影图像数据预先获取适当的闪光用白平衡增益WB1，并将该闪光用白平衡增益WB1存储在闪光用WB增益存储部51中。

另外，第1图像数据提取部47(闪光图像分量获取部40)也可以不使用非闪光发射图像数据D2，而是使用闪光发射图像数据来获取闪光图像分量数据D3。即，闪光图像分量获取部40也可以根据第1差分数据获取闪光图像分量数据D3，第1差分数据表示通过在第1发光量的闪光发射下拍摄被摄体而获取的第1图像数据(闪光发射图像数据D1)与通过在不同于第1发光量的第2发光量的闪光发射下拍摄被摄体而获取的第2图像数据(闪光发射图像数据)的差分。

接着，对闪光校正数据获取部42(参照图5)中的闪光图像分量数据D3的处理单元(处理块)进行说明。

图10是表示构成成像元件21的多个像素14的平面结构的概念图。成像元件21通过多个像素14呈二维状排列而构成，各像素14具有滤色器以及图像传感器。通过成像元件21拍摄获取的图像数据由分别从这些像素14(图像传感器)输出的像素数据(像素值)的集合构成。因此，上述的闪光发射图像数据D1、非闪光发射图像数据D2、第1差分数据D6以及闪光图像分量数据D3也分别由像素数据的集合构成。

本实施方式的闪光校正数据获取部42将闪光图像分量数据D3划分为多个处理块来进行处理，这些多个处理块可以分别由单一像素构成，也可以由多个像素构成。在将各处理块的结构像素设为单一像素的情况下，按照每一个像素进行闪光校正数据获取部42等中的下述处理。另一方面，在将各处理块的结构像素设为多个像素的情况下，按照每一个该“构成处理块的多个像素”进行闪光校正数据获取部42等中的下述处理。

另外，在由多个像素构成多个处理块各自的情况下，构成多个处理块各自的多个像素优选与构成成像元件21的滤色器16的基本排列的像素14对应。即，在闪光发射图像数据(第1图像数据)D1的拍摄中使用的成像元件21是包含RGB等多个颜色的滤色器的单板式成像元件，在这些多个颜色的滤色器通过重复配置特定的颜色图案的基本排列而构成的情况下，优选以与该滤色器的基本排列对应的方式规定各处理块。

图11是表示滤色器16的基本排列例的俯视图，图11(a)表示拜耳排列的基本排列图案，图11(b)表示X-Trans(注册商标)类型的基本排列图案。另外，在图11(a)中，“R”表示R(红色)的滤色器16，“B”表示B(蓝色)的滤色器16，“G1”以及“G2”表示G(绿色)的滤色器16。并且，在图11(b)中，“R1”～“R8”表示R(红色)的滤色器16，“B1”～“B8”表示B(蓝色)的滤色器16，“G1”～“G20”表示G(绿色)的滤色器16。

例如，在成像元件21具有拜耳排列的滤色器16的情况下，优选由如图11(a)所示的2个像素×2个像素(合计4个像素)构成各处理块。另一方面，在成像元件21具有X-Trans类型的滤色器16的情况下，优选由如图11(b)所示的6个像素×6个像素(合计36个像素)构成各处理块。

另外，也可以相同地设定构成闪光校正数据获取部42等的处理中的各处理块的像素的单元和构成后述的白平衡处理部46的白平衡处理中的各处理块的像素的单元。即，在白平衡处理中的各处理块由单一像素构成的情况下，闪光校正数据获取部42等的处理中的各处理块也能够由单一像素构成。并且，在白平衡处理中的各处理块由构成滤色器16的基本排列的多个像素构成的情况下，闪光校正数据获取部42等中的各处理块也能够由构成滤色器16的基本排列的多个像素构成。

在以下说明中，对由单一像素构成各处理块的例子进行说明，但是在由多个像素构成各处理块的情况下，也基本上进行相同的处理。因此，关于由多个像素构成各处理块时的处理，虽然也有适当地将“像素”称作“由多个像素构成的区域”的实例，但为了方便起见，在下述说明中称作“像素”。

接着，对闪光校正数据获取部42的具体结构的一个方式进行说明。

本实施方式的闪光校正数据获取部42为了降低依赖于基于被摄体的光谱特性(光谱反射率)的颜色的影响，根据按照每一个处理块获取的闪光图像分量数据的色比数据(RGB比等)获取明度指标数据(亮度数据)，根据该明度指标数据获取用于对颜色之间的明度(亮度)的不同进行补偿的闪光校正数据(校正增益)。

图12是表示第2实施方式所涉及的闪光校正数据获取部42的功能结构的框图。

本实施方式的闪光校正数据获取部42具有第1色比数据获取部53以及第1校正数据计算部54。第1色比数据获取部53根据闪光图像分量数据D3获取色比数据D7，色比数据D7表示多个处理块各自中的闪光图像分量数据D3的颜色分量比。第1校正数据计算部54根据闪光图像分量数据D3的色比数据D7获取闪光校正数据D4，闪光校正数据D4反映了根据被摄体的颜色引起的闪光图像分量数据D3的多个处理块之间的明度的不同。

图13是表示第1色比数据获取部53的功能结构的框图。本例的第1色比数据获取部53具有第1去马赛克处理部56以及第1色比计算部57。

第1去马赛克处理部56进行闪光图像分量数据D3的去马赛克处理(同步化处理)。通过该去马赛克处理而获取颜色分量数据D8，颜色分量数据D8通过对构成闪光图像分量数据D3的各像素分配分别与构成成像元件21的滤色器16的颜色(RGB等)相关的像素数据而得。

第1色比计算部57根据该颜色分量数据D8获取多个处理块各自中的闪光图像分量数据D3的色比数据D7。该色比数据D7表示构成闪光图像分量数据D3的颜色分量数据D8的颜色分量比率(RGB比等)，按照每一个处理块计算。闪光图像分量数据D3包含分别与构成滤色器16的多个颜色(RGB等)相关的颜色分量数据D8，闪光图像分量数据D3从通过包含多个颜色(RGB等)的滤色器16的成像元件21获取的闪光发射图像数据(第1图像数据)D1导出。第1色比数据获取部53(闪光校正数据获取部42)的第1色比计算部57根据该颜色分量数据D8获取多个处理块各自中的闪光图像分量数据D3的色比数据D7。

另外，闪光图像分量数据D3的色比数据D7基于如下比：闪光图像分量数据D3的分别和多个颜色相关的颜色分量数据D8与多个处理块各自中的闪光图像分量数据D3的多个颜色的颜色分量数据D8的总和的比。例如，对由RGB的颜色分量数据D8构成闪光图像分量数据D3，由单一像素构成各处理块，通过第1去马赛克处理部56中的去马赛克处理使闪光图像分量数据D3的各像素具有RGB每一个的颜色分量数据D8的情况进行考察。在该情况下，在闪光图像分量数据D3的“某一像素”中的RGB的颜色分量数据D8的值的比例如为“R:G:B＝1:2:3”的实例中，与该像素相关的色比数据D7为“R:G:B＝1/(1+2+3):2/(1+2+3):3/(1+2+3)”，这是直接或间接地表示颜色分量比的数据。

另外，在上述例子中，通过第1去马赛克处理部56进行闪光图像分量数据D3的去马赛克处理，但是也可以设为闪光图像分量获取部40获取“被去马赛克处理的闪光发射图像数据D1以及非闪光发射图像数据D2”的结构。即，也可以在输入于闪光图像分量获取部40之前的阶段对闪光发射图像数据D1和非闪光发射图像数据D2进行去马赛克处理。并且，在上述例子中，通过第1去马赛克处理部56进行闪光图像分量数据D3的去马赛克处理，但是在由多个像素构成处理块的情况下，也可以省略第1去马赛克处理部56(去马赛克处理)。在省略第1去马赛克处理部56的情况下，能够从与各处理块中所含的多个像素相关的颜色分量数据D8获取各处理块中的色比数据D7。

例如，在由与拜耳排列的基本排列图案对应的2个像素×2个像素构成各处理块的情况下，也可以将图11(a)的用“R”表示的像素的数据(像素数据)当作各处理块的R的颜色分量数据D8，将图11(a)的用“B”表示的像素的数据当作各处理块的B的颜色分量数据D8，根据图11(a)的用“G1”以及“G2”表示的2个像素的数据获取各处理块的G的颜色分量数据D8。并且，在由与X-Trans类型的基本排列图案对应的6个像素×6个像素构成处理块的情况下，也可以根据图11(b)的用“R1”～“R8”表示的8个像素的数据获取各处理块的R的颜色分量数据D8，根据图11(b)的用“B1”～“B8”表示的8个像素的数据获取各处理块的B的颜色分量数据D8，根据图11(b)的用“G1”～“G20”表示的20个像素的数据获取各处理块的G的颜色分量数据D8。根据多个像素的数据求出各处理块中的单色的颜色分量数据D8的方法并无特别限定，例如也可以设定与该单色相关的多个像素的数据的“平均值”作为单色的颜色分量数据D8。因此，在图11(a)所示的例子中，也可以将用“G1”以及“G2”表示的2个像素的数据的平均值设定为各处理块的G的颜色分量数据D8。同样在图11(b)所示的例子中，也可以将用“R1”～“R8”表示的8个像素的数据的平均值设定为各处理块的R的颜色分量数据D8，将用“B1”～“B8”表示的8个像素的数据的平均值设定为各处理块的B的颜色分量数据D8，将用“G1”～“G20”表示的20个像素的数据的平均值设定为各处理块的G的颜色分量数据D8。

图14是表示第1校正数据计算部54的功能结构的框图。本例的第1校正数据计算部54具有第1明度指标数据获取部59以及第1校正数据运算处理部60。

第1明度指标数据获取部59根据色比数据D7获取明度指标数据D9。即，第1明度指标数据获取部59(闪光校正数据获取部42)基于“从闪光图像分量数据D3的色比数据D7中导出表示与被摄体的颜色相应的闪光图像分量数据D3的明度的明度指标数据D9的运算处理”，根据多个处理块各自中的闪光图像分量数据D3的色比数据D7获取多个处理块各自中的闪光图像分量数据D3的明度指标数据D9。

第1校正数据运算处理部60根据明度指标数据D9获取闪光校正数据D4。尤其是，本实施方式的第1校正数据运算处理部60(闪光校正数据获取部42)以无彩色的色比数据为基准获取分别与多个处理块相关的闪光校正数据D4。即，第1校正数据运算处理部60(闪光校正数据获取部42)基于运算处理根据无彩色的色比数据获取与无彩色相关的明度指标数据，在无彩色的色比数据中，分别和多个颜色相关的颜色分量数据与多个处理块各自中的多个颜色的颜色分量数据的总和的比相互相等。然后，第1校正数据运算处理部60(闪光校正数据获取部42)根据多个处理块各自中的闪光图像分量数据D3的明度指标数据D9与和无彩色相关的明度指标数据的比，获取分别与闪光图像分量数据D3的多个处理块相关的闪光校正数据D4。

在此，为了获取明度指标数据D9而使用的上述“运算处理”只要是导出直接或间接地表示明度的明度指标数据D9的处理，则无特别限定，例如也可以使用在“亮度值”的计算中使用的运算处理。因此，也可以根据在“亮度值(Y)”的计算中使用的例如用“Y＝0.3*R+0.6*G+0.1*B”表示的算式计算明度指标数据D9。若利用该算式进行运算处理，则例如在闪光图像分量数据D3的“某一处理块”中的色比数据D7为表示“R:G:B＝1/(1+2+3):2/(1+2+3):3/(1+2+3)(＝1:2:3)”的数据的情况下，能够将该处理块的明度指标数据D9例如设定为“D9＝0.3*1/(1+2+3)+0.6*2/(1+2+3)+0.1*3/(1+2+3)＝0.3/6+1.2/6+0.3/6＝1.8/6＝0.9/3”。在该情况下，由于在无彩色的色比数据中，与RGB各自相关的颜色分量数据相互相等，因此始终为表示“R:G:B＝1/3:1/3:1/3(＝1:1:1)”的数据。因此，利用上述算式求出的无彩色的明度指标数据D9成为“D9＝0.3*1/3+0.6*1/3+0.1*1/3＝0.3/3+0.6/3+0.1/3＝1.0/3”。在该情况下，由第1校正数据运算处理部60求出的闪光校正数据D4根据该处理块中的闪光图像分量数据D3的明度指标数据D9(＝0.9/3)与无彩色的明度指标数据D9(＝1.0/3)的比(＝(0.9/3)/(1.0/3))获取，例如能够将该比的倒数(＝1.0/0.9)作为闪光校正数据D4。另外，作为明度指标数据D9，还能够使用CIE XYZ表色系统(颜色空间)中的Y(亮度)或CIE L*a*b*表色系统(颜色空间)中的L*(明度)。

闪光明度校正部44(参照图5)根据如上所述获取的“从闪光图像分量获取部40(第1提取数据调整部49)输出的闪光图像分量数据D3”和“从闪光校正数据获取部42(第1校正数据运算处理部60)输出的闪光校正数据D4”获取闪光图像校正分量数据D5。另外，关于闪光图像校正分量数据D5的具体获取方法在后述的第3实施方式中进行详细说明。

图15是第2实施方式所涉及的白平衡处理的流程图。

如上所述，本实施方式的白平衡处理是第1实施方式的白平衡处理的一个方式。因此，图15所示的步骤S21与第1实施方式所涉及的图6的步骤S11对应，图15所示的步骤S22以及步骤S23与图6的步骤S12对应，图15所示的步骤S24～步骤S26与图6的步骤S13对应，图15所示的步骤S27与图6的步骤S14对应，图15所示的步骤S28与图6的步骤S15对应。

即，在本实施方式中，在闪光图像分量获取部40的第1图像数据提取部47中获取闪光发射图像数据D1以及非闪光发射图像数据D2(图15的S21)，并根据这些闪光发射图像数据D1以及非闪光发射图像数据D2获取第1差分数据D6(S22)。

然后，在闪光图像分量获取部40的第1提取数据调整部49中，将闪光用白平衡增益WB1应用于第1差分数据D6而获取闪光图像分量数据D3(S23)。

然后，在闪光校正数据获取部42的第1色比数据获取部53中，通过第1去马赛克处理部56根据闪光图像分量数据D3获取与各处理块相关的颜色分量数据D8，通过第1色比计算部57根据颜色分量数据D8获取与各处理块相关的色比数据D7(S24)。

然后，在闪光校正数据获取部42的第1校正数据计算部54中，通过第1明度指标数据获取部59根据色比数据D7获取与各处理块相关的明度指标数据D9(S25)，通过第1校正数据运算处理部60根据明度指标数据D9获取与各处理块相关的闪光校正数据D4(S26)。

然后，在闪光明度校正部44中，根据闪光图像分量数据D3以及闪光校正数据D4获取闪光图像校正分量数据D5(S27)，在白平衡处理部46中，对闪光发射图像数据D1进行与闪光图像校正分量数据D5相应的白平衡处理(S28)。

如以上说明，根据本实施方式的图像处理装置31以及图像处理方法，能够与第1实施方式所涉及的图像处理装置31相同地基于用于补偿根据被摄体的颜色引起的闪光图像分量数据的明度(亮度)的不同的闪光校正数据实现高精度的白平衡处理。

＜第3实施方式＞

在本实施方式中，对与上述第2实施方式相同或类似的结构标注同一符号，省略其详细说明。

本实施方式的图像处理装置31是第2实施方式的图像处理装置31的一个方式，对表示闪光图像分量数据D3的明度(亮度)的数据按照每一个处理块应用闪光校正数据D4，由此获取闪光图像校正分量数据D5。即，本实施方式所涉及的图像处理装置31与图5所示的第1实施方式的图像处理装置31以及第2实施方式的图像处理装置31相同地具有闪光图像分量获取部40、闪光校正数据获取部42、闪光明度校正部44以及白平衡处理部46，但尤其闪光明度校正部44具有以下具体结构。

图16是表示第3实施方式所涉及的闪光明度校正部44的功能结构的框图。

本实施方式的闪光明度校正部44具有第1明度数据获取部62以及第1校正计算部63。

闪光明度校正部44的第1明度数据获取部62根据从闪光图像分量获取部40发送的闪光图像分量数据D3获取多个处理块各自中的第1明度数据D10。本实施方式中的第1明度数据D10是表示亮度的数据，可以通过任意方法求出第1明度数据(亮度闪光影响度映射)D10。即，第1明度数据获取部62将闪光图像分量数据D3的颜色分量数据(RGB数据等)转换为亮度来获取第1明度数据D10。例如，在图14所示的第1明度指标数据获取部59(闪光校正数据获取部42、第1校正数据计算部54)中，以与为了获取明度指标数据D9而使用的“运算处理(例如“Y＝0.3*R+0.6*G+0.1*B”)”相同的方式，根据闪光图像分量数据D3计算第1明度数据D10(亮度值(Y))。

闪光明度校正部44的第1校正计算部63关于多个处理块的每一个处理块，将闪光校正数据D4应用于第1明度数据D10，由此获取闪光图像校正分量数据D5。更具体而言，在本实施方式的闪光校正数据获取部42中获取的闪光校正数据D4是通过应用于表示闪光图像分量数据D3的明度的第1明度数据D10，对根据被摄体的颜色引起的闪光图像分量数据D3(第1明度数据D10)的明度的不同进行补偿的数据。闪光校正数据获取部42关于闪光图像分量数据D3的多个处理块的每一个处理块获取这种闪光校正数据D4。

例如，也可以通过按照每一个处理块将第1明度数据D10乘以闪光校正数据D4，计算补偿了根据被摄体的颜色引起的明度的不同的闪光图像校正分量数据D5。在该情况下，闪光校正数据获取部42(第1校正数据运算处理部60(参照图14))能够获取“闪光图像分量数据D3的明度指标数据D9与无彩色的明度指标数据D9的比的倒数”作为闪光校正数据D4。例如，如上所述，在用“D9＝1.0/3”表示无彩色的明度指标数据D9，用“D9＝0.9/3”表示某一处理块中的闪光图像分量数据D3的明度指标数据D9的情况下，由于用“(0.9/3)/(1.0/3)＝0.9”表示“闪光图像分量数据D3的明度指标数据D9与无彩色的明度指标数据D9的比”，因此能够将闪光校正数据D4设为“D4＝1.0/0.9”。在该情况下，闪光图像校正分量数据D5能够用第1明度数据D10乘以“1.0/0.9”而得的值表示。

如此，通过将闪光校正数据D4应用于表示闪光图像分量数据D3的亮度(明度)的第1明度数据D10来获取的闪光图像校正分量数据D5成为补偿了根据被摄体的颜色引起的闪光图像分量数据D3(第1明度数据D10)的亮度(明度)的不同的数据。

图17是第3实施方式所涉及的白平衡处理的流程图。

如上所述，本实施方式的白平衡处理是第2实施方式的白平衡处理的一个方式。例如，图17所示的步骤S31～S36与第2实施方式所涉及的图15的步骤S21～S26对应，图17所示的步骤S37以及步骤S38与图15的步骤S27对应，图17所示的步骤S39与图15的步骤S28对应。

即，在本实施方式中，以与图15的步骤S21～步骤S26相同的方式获取闪光发射图像数据D1以及非闪光发射图像数据D2(图17的S31)，获取第1差分数据D6(S32)，获取闪光图像分量数据D3(S33)，获取与各处理块相关的色比数据D7(S34)，获取与各处理块相关的明度指标数据D9(S35)，获取与各处理块相关的闪光校正数据D4(S36)。

然后，在闪光明度校正部44的第1明度数据获取部62中，根据闪光图像分量获取部40所获取的闪光图像分量数据D3获取与各处理块相关的第1明度数据D10(S37)。然后，在闪光明度校正部44的第1校正计算部63中，根据第1明度数据D10以及闪光校正数据D4获取闪光图像校正分量数据D5(S38)。

然后，在白平衡处理部46中，对闪光发射图像数据D1进行与闪光图像校正分量数据D5相应的白平衡处理(S39)。例如，可以将“闪光图像校正分量数据D5对最大的灰度值(最大图像数据值)显示50％以上的值的区域”判定为闪光区域，白平衡处理部46可以对闪光发射图像数据D1中的这种闪光区域应用闪光用白平衡增益WB1来进行白平衡处理。

如上说明，根据本实施方式的图像处理装置31以及图像处理方法，能够基于用于对根据被摄体的颜色引起的闪光图像分量数据的明度(亮度)的不同进行补偿的闪光校正数据获取闪光图像校正分量数据D5。通过使用该闪光图像校正分量数据D5，能够实现高精度的白平衡处理。

＜第4实施方式＞

在本实施方式中，对与上述第3实施方式相同或类似的结构标注同一符号，省略其详细说明。

上述第1实施方式～第3实施方式主要涉及闪光的白平衡调整，但本实施方式除了涉及闪光以外，还涉及环境光的白平衡调整。即，本实施方式的图像处理装置31不仅进行闪光发射图像数据D1中的与闪光相关的各颜色的校正处理，而且进行与环境光相关的各颜色的校正处理。

一般来说，在图像数据的摄影光源不明确的情况下，若图像中不包含灰色(无彩色)的被摄体或者图像中所含的无彩色的被摄体的区域(位置)不明确，则很难获取适当的白平衡增益。

然而，例如根据上述第2实施方式以及第3实施方式的图像处理装置31中的图像处理，能够获取闪光图像分量数据D3(参照图9)，闪光图像分量数据D3实施了消除在拍摄时使用的闪光的影响的白平衡处理。该闪光图像分量数据D3是表示照射了闪光的被摄体的本来的颜色分量比的数据。因此，通过以闪光图像分量数据D3为基准(目标)使用，关于受到闪光的影响的图像区域，无论本来的被摄体的颜色是否为无彩色，都能够获取与环境光相关的适当的白平衡增益。

若能够获取环境光用白平衡增益，则也能够通过与上述第2实施方式以及第3实施方式的图像处理装置31中的处理相同的处理，获取补偿了根据被摄体的颜色引起的明度的不同的“表示环境光的影响的数据(后述的环境光图像校正分量数据)”。通过将这种表示环境光的影响的数据(环境光图像校正分量数据)与在上述第2实施方式～第3实施方式中获取的闪光图像校正分量数据D5组合使用，能够关于闪光发射图像数据D1的各处理块求出环境光与闪光的影响的比率。通过使用该“闪光发射图像数据D1的每一个处理块的环境光与闪光的影响的比率”进行闪光用的白平衡处理和/或环境光用的白平衡处理，能够进行高精度的白平衡处理。

以下，对第4实施方式所涉及的具体功能结构例进行说明。

图18是表示第4实施方式所涉及的图像处理装置31的功能结构的框图。本实施方式的图像处理装置31除了具有上述闪光图像分量获取部40、闪光校正数据获取部42、闪光明度校正部44以及白平衡处理部46之外，还具有环境光图像分量获取部66、环境光校正数据获取部68以及环境光明度校正部70。

闪光图像分量获取部40、闪光校正数据获取部42以及闪光明度校正部44具有与上述第3实施方式相同的功能结构。

环境光图像分量获取部66以通过在非闪光发射下拍摄被摄体而获取的第2图像数据(非闪光发射图像数据D2)为基础数据，获取表示基于环境光的被摄体的图像分量的环境光图像分量数据D11。在此，基础数据是指获取环境光图像分量数据D11时成为基础的数据，只要能够导出表示基于环境光的被摄体的图像分量的环境光图像分量数据D11，则无特别限定。例如，环境光图像分量获取部66可以将“第2图像数据(非闪光发射图像数据D2)”本身用作基础数据，并且可以将表示“第1图像数据(闪光发射图像数据D1)”与“表示该第1图像数据与第2图像数据(非闪光发射图像数据D2)的差分的第1差分数据”的差分的第2差分数据用作基础数据，从而能够根据这种基础数据(例如“第2图像数据”或“第2差分数据”)导出环境光图像分量数据D11。

图19是表示第4实施方式所涉及的环境光图像分量获取部66的功能结构的框图。本实施方式的环境光图像分量获取部66具有第2图像数据提取部72以及第2提取数据调整部73。

本例的第2图像数据提取部72是获取表示基于环境光的被摄体的图像分量的环境光图像分量数据的基础数据D14的处理部。具体而言，例如能够将不使闪光发射地拍摄而获取的“只受环境光的影响的非闪光发射图像数据D2”用作“环境光图像分量数据的基础数据D14”，但环境光图像分量数据的基础数据D14的获取方法并不限定于此。

例如，环境光图像分量获取部66的第2图像数据提取部72能够将表示“闪光发射图像数据(第1图像数据)D1”与“表示闪光发射图像数据D1与通过在非闪光发射下拍摄被摄体而获取的非闪光发射图像数据D2(第2图像数据)的差分的第1差分数据D6”的差分的第2差分数据用作“环境光图像分量数据的基础数据D14”。图20是表示环境光图像分量获取部66的第2图像数据提取部72的结构例的框图。本例的第2图像数据提取部72具有第1减法器74以及第2减法器75。闪光发射图像数据D1以及非闪光发射图像数据D2输入到第1减法器74，第1减法器74计算用“第1差分数据D6＝闪光发射图像数据D1-非闪光发射图像数据D2”表示的第1差分数据D6。闪光发射图像数据D1以及第1差分数据D6输入到第2减法器75，第2减法器75计算用“基础数据(第1RGB背景影响度映射)D14＝第2差分数据＝闪光发射图像数据D1-第1差分数据D6”表示的基础数据D14。由第2减法器75计算出的基础数据D14从第2图像数据提取部72发送至第2提取数据调整部73。

图21是表示环境光图像分量获取部66的第2提取数据调整部73的结构例的框图。本实施方式的第2提取数据调整部73具有基础数据色比获取部76、白平衡增益获取部77以及第2白平衡调整部78。

基础数据色比获取部76(环境光图像分量获取部66)获取表示多个处理块各自中的基础数据D14的颜色分量比的色比数据D15。

白平衡增益获取部77(环境光图像分量获取部66)根据多个处理块各自中的闪光图像分量数据D3的色比数据D7和基础数据D14的色比数据D15获取环境光用白平衡增益WB2。在图21所示的例子中，白平衡增益获取部77从闪光图像分量获取部40获取闪光图像分量数据D3而进行与上述第1色比数据获取部53(参照图12)相同的处理，由此获取多个处理块各自中的闪光图像分量数据D3的色比数据D7。其中，白平衡增益获取部77也可以从闪光校正数据获取部42的第1色比数据获取部53获取闪光图像分量数据D3的色比数据D7。

闪光图像分量数据D3是应用闪光用白平衡增益WB1而再现被摄体的本来的色调的数据，该“被摄体的本来的色调”无论是在向被摄体照射闪光来拍摄的情况下，还是在向被摄体只照射环境光来拍摄的情况下，都不会改变而相同。因此，白平衡增益获取部77关于相同的处理块获取环境光用白平衡增益WB2，以使将环境光用白平衡增益WB2应用于基础数据D14的色比数据D15而获得的数据与闪光图像分量数据D3的色比数据D7相等。

另外，构成闪光图像分量数据D3的多个处理块中的“不受闪光的影响而只受环境光的影响的处理块”的数据并不是再现“被摄体的本来的色调”的数据。因此，白平衡增益获取部77在获取环境光用白平衡增益WB2时，不使用闪光图像分量数据D3的色比数据D7中的“只受环境光的影响的处理块”的数据，而是使用“受闪光的影响的处理块”的数据来获取环境光用白平衡增益WB2。

这样，若环境光用白平衡增益WB2应用于多个处理块各自中的基础数据D14的色比数据D15，则导出多个处理块各自中的环境光图像分量数据D11的色比数据，环境光用白平衡增益WB2将表示“被摄体的本来的色调”的闪光图像分量数据D3的色比数据D7设定为目标数据来获取。因此，第2白平衡调整部78(环境光图像分量获取部66)通过将环境光用白平衡增益WB2应用于基础数据D14来获取环境光图像分量数据(第2RGB背景影响度映射)D11。

另外，由于环境光图像分量数据D11根据被摄体多少存在偏差，因此也可以将关于多个处理块获取的环境光用白平衡增益WB2的总和的平均值用作应用于与各处理块相关的基础数据D14的环境光用白平衡增益WB2。其中，如环境光不由单一光源构成而是混合多个光源而构成的情况，或被摄体包含移动体的情况那样，还存在如下情况：在将按照每一个处理块(每一个像素)导出的环境光用白平衡增益WB2应用于对应的处理块的基础数据D14时，更能够提高画质。因此，无需对基础数据D14的所有处理块一律应用同一环境光用白平衡增益WB2。

这样求出的环境光图像分量数据D11是不受闪光的影响的“表示环境光的影响的摄影图像数据”。

另外，环境光图像分量获取部66(第2图像数据提取部72)也可以不使用非闪光发射图像数据D2，而是使用闪光发射图像数据来获取第1差分数据D6以及基础数据D14。即，环境光图像分量获取部66也可以根据“通过在第1发光量的闪光发射下拍摄被摄体而获取的第1图像数据(闪光发射图像数据D1)”和“表示该第1图像数据与通过在不同于第1发光量的第2发光量的闪光发射下拍摄被摄体而获取的第2图像数据(闪光发射图像数据)的差分的第1差分数据D6”导出基础数据D14，并根据该基础数据D14获取环境光图像分量数据D11。

图22是表示环境光校正数据获取部68的功能结构的框图。

环境光校正数据获取部68具有第2色比数据获取部80以及第2校正数据计算部81，根据环境光图像分量数据D11获取环境光校正数据(各颜色环境光影响度映射)D12，环境光校正数据反映了根据被摄体的颜色引起的环境光图像分量数据D11的明度的不同。即，第2色比数据获取部80根据环境光图像分量数据D11获取表示多个处理块各自中的环境光图像分量数据D11的颜色分量比的色比数据D16。第2校正数据计算部81根据环境光图像分量数据D11的色比数据D16获取环境光校正数据D12，环境光校正数据D12反映了根据被摄体的颜色引起的环境光图像分量数据D11的多个处理块之间的明度的不同。

本实施方式的环境光校正数据获取部68为了降低依赖于基于被摄体的光谱特性(光谱反射率)的颜色的影响，根据按照每一个处理块获取的环境光图像分量数据D11的色比数据(RGB比等)获取明度指标数据(亮度数据)，并根据该明度指标数据获取用于补偿颜色之间的明度(亮度)的不同的环境光校正数据D12(校正增益)。

图23是表示第2色比数据获取部80的功能结构的框图。

本例的第2色比数据获取部80具有第2去马赛克处理部82以及第2色比计算部83。

第2去马赛克处理部82进行环境光图像分量数据D11的去马赛克处理。通过该去马赛克处理获取颜色分量数据D17，颜色分量数据D17通过对构成环境光图像分量数据D11的各像素分配分别与构成成像元件21的滤色器16的颜色(RGB等)相关的像素数据而得。第2色比计算部83根据颜色分量数据D17获取多个处理块各自中的环境光图像分量数据D11的色比数据D16。该色比数据D16表示构成环境光图像分量数据D11的颜色分量数据D17的比率(RGB比等)，按照每一个处理块计算。

环境光图像分量数据D11包含分别与构成成像元件21的滤色器16的多个颜色(RGB等)相关的颜色分量数据。第2色比数据获取部80(环境光校正数据获取部68)根据该颜色分量数据获取多个处理块各自中的环境光图像分量数据D11的色比数据D16。

另外，环境光图像分量数据D11的色比数据D16基于如下比：环境光图像分量数据D11的分别和多个颜色相关的颜色分量数据D17与该多个处理块各自中的环境光图像分量数据D11的多个颜色的颜色分量数据D17的总和的比。

在上述例中，通过第2去马赛克处理部82进行环境光图像分量数据D11的去马赛克处理，但是在由多个像素构成处理块的情况下，也可以省略第2去马赛克处理部82(去马赛克处理)。在省略第2去马赛克处理部82的情况下，能够根据与各处理块中所含的多个像素相关的颜色分量数据D17获取各处理块中的色比数据D16。这样，根据多个像素的数据求出各处理块中的单色的颜色分量数据D17的方法并无特别限定，例如也可以设定与该单色相关的多个像素的数据的“平均值”作为单色的颜色分量数据D17。

图24是表示第2校正数据计算部81的功能结构的框图。本例的第2校正数据计算部81具有第2明度指标数据获取部84以及第2校正数据运算处理部85。

第2明度指标数据获取部84根据色比数据D16获取明度指标数据D18。即，第2明度指标数据获取部84(环境光校正数据获取部68)基于“从环境光图像分量数据D11的色比数据D16导出表示与被摄体的颜色相应的环境光图像分量数据D11的明度的明度指标数据D18的运算处理”，根据多个处理块各自中的环境光图像分量数据D11的色比数据D16获取多个处理块各自中的环境光图像分量数据D11的明度指标数据D18。

第2校正数据运算处理部85根据明度指标数据D18获取环境光校正数据D12。尤其是本实施方式的第2校正数据运算处理部85(环境光校正数据获取部68)以无彩色的色比数据为基准获取分别与多个处理块相关的环境光校正数据D12。即，第2校正数据运算处理部85(环境光校正数据获取部68)基于运算处理根据无彩色的色比数据获取与无彩色相关的明度指标数据，在无彩色的色比数据中，分别和多个颜色相关的颜色分量数据与多个处理块各自中的多个颜色的颜色分量数据的总和的比相互相等。然后，第2校正数据运算处理部85(环境光校正数据获取部68)根据多个处理块各自中的环境光图像分量数据D11的明度指标数据D18与和无彩色相关的明度指标数据的比，获取分别与环境光图像分量数据D11的多个处理块相关的环境光校正数据D12。

在此，为了获取明度指标数据D18而使用的上述“运算处理”只要是导出直接或间接地表示明度的明度指标数据D18的处理，则无特别限定，例如可以使用在“亮度值”的计算中使用的运算处理。因此，也可以根据在“亮度值(Y)”的计算中使用的例如用“Y＝0.3*R+0.6*G+0.1*B”表示的算式计算明度指标数据D18。在该情况下，由第2校正数据运算处理部85求出的环境光校正数据D12根据其处理块中的环境光图像分量数据D11的明度指标数据D18与无彩色的明度指标数据D18的比获取。

图18所示的环境光明度校正部70根据如上获取的“从环境光图像分量获取部66(第2图像数据提取部72)输出的环境光图像分量数据D11”以及“从环境光校正数据获取部68(第2校正数据运算处理部85)输出的环境光校正数据D12”获取围环境光图像校正分量数据(合成环境光影响度映射)D13，围环境光图像校正分量数据补偿了根据被摄体的颜色引起的环境光图像分量数据D11的明度的不同。

图25是表示环境光明度校正部70的功能结构的框图。

本实施方式的环境光明度校正部70具有第2明度数据获取部86以及第2校正计算部87。

环境光明度校正部70的第2明度数据获取部86根据环境光图像分量数据D11获取多个处理块各自中的第2明度数据(亮度环境光影响度映射)D19。本实施方式中的第2明度数据D19是表示亮度的数据，可以通过任意方法求出第2明度数据D19。即，第2明度数据获取部86将环境光图像分量数据D11的颜色分量数据(RGB数据等)转换为亮度来获取第2明度数据D19。例如，能够与在第2明度指标数据获取部84(环境光校正数据获取部68、第2校正数据计算部81)中为了获取明度指标数据D18而使用的“运算处理”相同地，根据环境光图像分量数据D11计算第2明度数据D19(亮度值(Y))。

环境光明度校正部70的第2校正计算部87通过分别关于多个处理块将环境光校正数据D12应用于第2明度数据D19，获取环境光图像校正分量数据D13。更具体而言，在本实施方式的环境光校正数据获取部68中获取的环境光校正数据D12是通过应用于表示环境光图像分量数据D11的明度的第2明度数据D19来补偿根据被摄体的颜色引起的环境光图像分量数据D11的明度的不同的数据。环境光校正数据获取部68分别关于环境光图像分量数据D11的多个处理块获取这种环境光校正数据D12。

因此，例如也可以通过按照每一个处理块将第2明度数据D19乘以环境光校正数据D12，计算补偿了根据被摄体的颜色引起的明度的不同的环境光图像校正分量数据D13。在该情况下，环境光校正数据获取部68(第2校正数据运算处理部85(参照图24))能够获取“环境光图像分量数据D11的明度指标数据D18与无彩色的明度指标数据D18的比的倒数”作为环境光校正数据D12。

如此，通过将环境光校正数据D12应用于表示环境光图像分量数据D11的亮度(明度)的第2明度数据D19来获取的环境光图像校正分量数据D13成为补偿了根据被摄体的颜色引起的环境光图像分量数据D11的亮度(明度)的不同的数据。

然后，图18所示的本实施方式的白平衡处理部46根据闪光图像校正分量数据D5以及环境光图像校正分量数据D13调整闪光发射图像数据(第1图像数据)D1的白平衡。即，白平衡处理部46根据闪光图像校正分量数据D5以及环境光图像校正分量数据D13将闪光用白平衡增益WB1以及环境光用白平衡增益WB2应用于闪光发射图像数据(第1图像数据)D1。

图26是表示第4实施方式所涉及的白平衡处理部46的功能结构的框图。

本例的白平衡处理部46具有光源比数据获取部88以及白平衡运算处理部89。光源比数据获取部88根据闪光图像校正分量数据D5以及环境光图像校正分量数据D13按照每一个处理块获取表示闪光与环境光的比的光源比数据(综合闪光影响度映射)D20。

白平衡运算处理部89根据光源比数据D20按照每一个处理块切换闪光用白平衡增益WB1以及环境光用白平衡增益WB2的应用比，进行对闪光发射图像数据D1的白平衡处理。

白平衡运算处理部89(白平衡处理部46)获取闪光发射图像数据D1、闪光用白平衡增益WB1以及环境光用白平衡增益WB2的方法并无特别限定。例如，白平衡运算处理部89也可以从闪光图像分量获取部40或环境光图像分量获取部66获取闪光发射图像数据D1。并且，白平衡运算处理部89也可以从闪光用WB增益存储部51(参照图9)获取闪光用白平衡增益WB1。并且，白平衡运算处理部89也可以从白平衡增益获取部77(参照图21)获取环境光用白平衡增益WB2。

另外，由白平衡运算处理部89进行的白平衡处理运算的具体方法并无特别限定，也可以按照每一个处理块将闪光用白平衡增益WB1以及环境光用白平衡增益WB2这两者应用于闪光发射图像数据D1。例如，在闪光发射图像数据D1的“某一处理块”中的闪光与环境光的影响比率为“闪光:环境光＝2:1”的情况下，也可以将白平衡增益应用于该处理块中的闪光发射图像数据D1的应用比设为“闪光用白平衡增益WB1:环境光用白平衡增益WB2＝2/(2+1):1/(2+1)”。或者，例如在闪光发射图像数据D1的“某一处理块”中闪光的影响度大于环境光的影响度的情况下，可以对该处理块应用闪光用白平衡增益WB1，另一方面，在环境光的影响比率大于闪光的影响比率的情况下，可以对该处理块应用环境光用白平衡增益WB2。

如此，通过根据闪光发射图像数据D1的各处理块中的闪光的影响量与环境光的影响量的比率进行以闪光作为光源的白平衡处理以及以环境光作为光源的白平衡处理，能够分别对闪光发射图像数据D1中的“闪光的影响相对大的图像部分”以及“环境光的影响相对大的图像部分”进行适当的白平衡处理。

图27是第4实施方式所涉及的白平衡处理的流程图。

首先，在闪光图像分量获取部40以及环境光图像分量获取部66中，获取闪光发射图像数据D1以及非闪光发射图像数据D2(图27的S41)。然后，在闪光图像分量获取部40、闪光校正数据获取部42以及闪光明度校正部44中，根据闪光发射图像数据D1以及非闪光发射图像数据D2获取闪光图像校正分量数据D5(S42)。另外，在环境光图像分量获取部66、环境光校正数据获取部68以及环境光明度校正部70中，根据闪光发射图像数据D1以及非闪光发射图像数据D2获取环境光图像校正分量数据D13(S43)。

另外，关于获取闪光图像校正分量数据D5的步骤S42的进程，参照图28在后面进行叙述。并且，关于获取环境光图像校正分量数据D13的步骤S43的进程，参照图29在后面进行叙述。

然后，在白平衡处理部46的光源比数据获取部88中，根据闪光图像校正分量数据D5以及环境光图像校正分量数据D13获取光源比数据D20(S44)。

然后，在白平衡处理部46的白平衡运算处理部89中，对闪光发射图像数据D1进行与该光源比数据D20相应的白平衡处理(S45)。例如，与光源比数据D20相应的闪光用白平衡增益WB1以及环境光用白平衡增益WB2应用于闪光发射图像数据D1。

图28是表示在第4实施方式中用于获取闪光图像校正分量数据D5的处理流程(图27的步骤S42)的细节的流程图。另外，图28所示的步骤S51～步骤S57为分别与第3实施方式所涉及的图17所示的步骤S32～步骤S38相同的处理。

即，在闪光图像分量获取部40的第1图像数据提取部47(参照图7)中，根据闪光发射图像数据D1以及非闪光发射图像数据D2获取第1差分数据D6(图28的S51)，在第1提取数据调整部49中获取闪光图像分量数据D3(S52)。

然后，在闪光校正数据获取部42的第1色比数据获取部53(参照图12)中，根据闪光图像分量数据D3获取与各处理块相关的色比数据D7(S53)。然后，在第1校正数据计算部54的第1明度指标数据获取部59(参照图14)中，根据该色比数据D7获取与各处理块相关的明度指标数据D9(S54)，在第1校正数据运算处理部60中，根据明度指标数据D9获取与各处理块相关的闪光校正数据(各颜色闪光影响度映射)D4(S55)。

然后，在闪光明度校正部44的第1明度数据获取部62(参照图16)中，根据在闪光图像分量获取部40中获取的闪光图像分量数据D3获取与各处理块相关的第1明度数据D10(S56)。然后，在闪光明度校正部44的第1校正计算部63中，根据第1明度数据D10以及闪光校正数据D4获取闪光图像校正分量数据D5(S57)。

图29是表示在第4实施方式中用于获取环境光图像校正分量数据D13的处理流程(图27的步骤S43)的细节的流程图。

首先，在环境光图像分量获取部66的第2图像数据提取部72(参照图19)中，根据非闪光发射图像数据D2获取基础数据D14(图29的S61)。

然后，在基础数据色比获取部76(参照图21)中，根据基础数据D14获取色比数据D15(S62)，在白平衡增益获取部77(参照图21)中，根据闪光图像分量数据D3的色比数据D7和基础数据D14的色比数据D15获取环境光用白平衡增益WB2(S63)。

然后，在第2白平衡调整部78(参照图21)中，将环境光用白平衡增益WB2应用于基础数据D14来获取环境光图像分量数据D11(S64)。然后，在环境光校正数据获取部68的第2色比数据获取部80(参照图22)中，按照每一个处理块获取环境光图像分量数据D11的色比数据D16(S65)，在第2校正数据计算部81的第2明度指标数据获取部84(参照图24)中，根据环境光图像分量数据D11的色比数据D16按照每一个处理块获取明度指标数据D18(S66)。然后，在第2校正数据运算处理部85(参照图24)中，根据明度指标数据D18获取环境光校正数据D12(S67)。

然后，在环境光明度校正部70的第2明度数据获取部86(参照图25)中，根据环境光图像分量数据D11获取第2明度数据D19(S68)，在第2校正计算部87(参照图25)中，根据第2明度数据D19以及环境光校正数据D12获取环境光图像校正分量数据D13(S69)。

如上说明，根据本实施方式的图像处理装置31以及图像处理方法，能够分别准确地求出闪光的影响度以及环境光的影响度，并能够根据准确的闪光的影响度以及环境光的影响度对闪光发射图像数据D1进行高精度的白平衡处理。

在闪光的发射下进行摄影的情况下，还存在闪光不充分到达被摄体的一部分或全部的情况，在只考虑了闪光的影响度的白平衡处理中，有时很难调整为被摄体本来的色泽。然而，根据本实施方式的图像处理装置31以及图像处理方法，由于进行考虑了闪光的影响度，并且还考虑了环境光的影响度的白平衡处理，因此能够适当地恢复被摄体本来的色泽。

例如，即使在闪光发射图像数据D1中混杂有“闪光充分到达而闪光起到支配性的影响的图像部分”和“闪光未充分到达而闪光起不到支配性的影响的图像部分”的情况下，也能够在对各个图像部分补偿了根据被摄体的颜色引起的明度的不同的状态下进行适当的白平衡处理。

＜其他变形例＞

上述的实施方式以及变形例中的任意方式之间也可以进行组合。并且，上述的实施方式只是例示，也可以将本发明应用于其他结构。

并且，分别在上述第1实施方式至第4实施方式中，对在相机主体3中实施闪光图像校正分量数据D5的获取处理以及使用了闪光图像校正分量数据D5的图像处理的例子进行了说明，但是也可以由与相机主体3(数码相机2)不同的计算机或服务器等其他装置实施这些处理的一部分或全部。例如，在计算机中加工图像数据时，也可以通过将闪光发射图像D1以及非闪光发射图像D2等数据类输入计算机中设置的图像处理装置内，进行闪光图像校正分量数据D5的获取处理以及使用了闪光图像校正分量数据D5的图像处理。并且，在服务器具有图像处理装置的情况下，例如也可以从数码相机2(相机主体3)或计算机向服务器发送闪光发射图像D1以及非闪光发射图像D2等数据类，由服务器的图像处理装置对图像数据进行闪光图像校正分量数据D5的获取处理以及使用了闪光图像校正分量数据D5的图像处理，从而向发送源发送以及提供图像处理后的图像数据。

并且，上述各功能结构能够通过任意的硬件、软件或两者的组合而实现。例如，对能够安装使计算机执行上述各装置以及处理部(图像处理装置31等)中的图像处理方法(处理步骤(处理顺序))的程序、存储有该程序的计算机可读取的存储介质(非暂时性存储介质)或其程序的计算机，也能够应用本发明。

并且，能够应用本发明的方式并不限定于数码相机以及计算机(服务器)，除了能够应用于以摄像为主要功能的相机类以外，还能够将本发明应用于除了具有摄像功能之外还具有摄像以外的其他功能(通话功能、通信功能、其他计算机功能)的移动设备类。作为能够应用本发明的其他方式，例如可以举出具有相机功能的移动电话或智能手机、PDA(Personal Digital Assistants)、便携式游戏机。以下，对能够应用本发明的智能手机的一例进行说明。

＜智能手机的结构＞

图30是表示智能手机101的外观的图。图30所示的智能手机101具有平板状的框体102，且在框体102的一个面具备由作为显示部的显示面板121、作为输入部的操作面板122一体构成的显示输入部120。并且，所述框体102具备扬声器131、麦克风132、操作部140以及相机部141。另外，框体102的结构并不限定于此，例如可以采用显示部和输入部独立的结构，也可以采用具有折叠结构或滑动机构的结构。

图31是表示图30所示的智能手机101的结构的框图。如图31所示，作为智能手机的主要构成要件，具备无线通信部110、显示输入部120、通话部130、操作部140、相机部141、存储部150、外部输入输出部160、GPS(Global Positioning System)接收部170、动作传感器部180、电源部190以及主控制部100。并且，作为智能手机101的主要功能，具备经由基站装置BS和移动通信网NW进行移动无线通信的无线通信功能。

无线通信部110按照主控制部100的指示对容纳于移动通信网NW的基站装置BS进行无线通信。使用所述无线通信进行语音数据、图像数据等的各种文件数据、电子邮件数据等的收发以及Web数据或流数据等的接收。

显示输入部120是所谓的触控面板，其通过主控制部100的控制来显示图像(静止图像以及动态图像)或文字信息等，并以视觉形式向用户传递信息，并且检测用户对所显示的信息进行的操作，具备显示面板121和操作面板122。

显示面板121将LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)等用作显示设备。操作面板122是将显示于显示面板121的显示面上的图像以能够辨认的方式载置且检测由用户的手指或尖笔操作的坐标的设备。若通过用户的手指或尖笔操作所述设备，则将由操作而产生的检测信号输出至主控制部100。接着，主控制部100根据所接收的检测信号检测显示面板121上的操作位置(坐标)。

如图30所示，作为本发明的摄像装置的一实施方式例示的智能手机101的显示面板121和操作面板122一体地构成了显示输入部120，但是成为如操作面板122完全覆盖显示面板121的配置。在采用了所述配置的情况下，操作面板122对显示面板121以外的区域也可以具备检测用户操作的功能。换言之，操作面板122也可以具备如下检测区域：关于与显示面板121重叠的重叠部分的检测区域(以下，称作“显示区域”)；以及关于除此以外的与显示面板121不重叠的外缘部分的检测区域(以下，称作“非显示区域”)。

另外，虽然可以使显示区域的大小和显示面板121的大小完全一致，但是不必一定使两者一致。并且，操作面板122也可以具备外缘部分和除此以外的内侧部分这两个感应区域。而且，外缘部分的宽度根据框体102的大小等适当地设计。另外，作为在操作面板122中采用的位置检测方式，可以举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，也能够采用任一方式。

通话部130具备扬声器131和麦克风132，其将通过麦克风132输入的用户的语音转换成可由主控制部100处理的语音数据并输出至主控制部100，将通过无线通信部110或外部输入输出部160接收的语音数据进行解码并从扬声器131输出。并且，如图30所示，例如能够将扬声器131搭载于与设置有显示输入部120的面相同的面，将麦克风132搭载于框体102的侧面。

操作部140为使用按键开关等的硬键，其接收来自用户的指示。例如，如图30所示，操作部140是如下按键式开关：搭载于智能手机101的框体102的侧面，当用手指等按下时开启，当拿开手指时，通过弹簧等的复原力成为关闭状态。

存储部150存储主控制部100的控制程序或控制数据、应用软件、将通信对象的名称和电话号码等建立对应关联的地址数据、所收发的电子邮件的数据、通过Web浏览下载的Web数据或下载的内容数据，并且暂时存储流数据等。并且，存储部150由智能手机内置的内部存储部151和具有拆装自如的外部存储器插槽的外部存储部152构成。另外，构成存储部150的各个内部存储部151和外部存储部152利用闪存器类型(flash memory type)、硬盘类型(hard disk type)、微型多媒体卡类型(multimedia card micro type)、卡类型的存储器(例如，Micro SD(注册商标)存储器等)、RAM(Random Access Memory)、ROM(Read Only Memory)等储存介质来实现。

外部输入输出部160发挥与连结于智能手机101的所有外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或网络(例如，互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(Radio Frequency Identification)、红外线通信(Infrared Data Association：IrDA)(注册商标)、UWB(Ultra Wideband)(注册商标)、紫蜂(ZigBee)(注册商标)等)直接或间接地与其他外部设备连接。

作为与智能手机101连结的外部设备，例如有如下：有线/无线头戴式耳机、有线/无线外部充电器、有线/无线数据端口、经由卡插槽连接的存储卡(Memory card)或SIM(Subscriber Identity Module)卡/UIM(User Identity Module)卡、经由音频/视频I/O(Input/Output)端子连接的外部音频/视频设备、无线连接的外部音频/视频设备、有线/无线连接的智能手机、有线/无线连接的个人计算机、有线/无线连接的PDA、有线/无线连接的耳机等。外部输入输出部也可以将从这种外部设备输送来的数据传递给智能手机101的内部的各构成要件，或者将智能手机101的内部的数据输送至外部设备。

GPS接收部170按照主控制部100的指示接收从GPS卫星ST1～STn发送的GPS信号，执行基于所接收的多个GPS信号的测位运算处理，检测由智能手机101的纬度、经度、高度构成的位置。GPS接收部170在能够从无线通信部110或外部输入输出部160(例如，无线LAN)获取位置信息的情况下，还能够利用该位置信息检测位置。

动作传感器部180例如具备三轴加速度传感器等，按照主控制部100的指示检测智能手机101的物理移动。通过检测智能手机101的物理移动，可以检测智能手机101的移动方向或加速度。所述检测结果被输出至主控制部100。

电源部190按照主控制部100的指示向智能手机101的各部供给蓄存于电池(未图示)的电力。

主控制部100具备微处理器，按照存储部150所存储的控制程序或控制数据动作，集中控制智能手机101的各部。并且，主控制部100为了通过无线通信部110进行语音通信或数据通信，具备控制通信系统的各部的移动通信控制功能和应用处理功能。

应用处理功能通过由主控制部100按照存储部150所存储的应用软件动作来实现。作为应用处理功能，例如有控制外部输入输出部160而与对象设备进行数据通信的红外线通信功能或进行电子邮件的收发的电子邮件功能、阅览Web页的Web浏览功能等。

并且，主控制部100具备根据接收数据或所下载的流数据等图像数据(静止图像或动态图像的数据)将影像显示于显示输入部120等的图像处理功能。图像处理功能是指主控制部100对上述图像数据进行解码并对所述解码结果实施图像处理从而将图像显示于显示输入部120的功能。

而且，主控制部100执行对显示面板121的显示控制以及检测用户通过操作部140、操作面板122进行的操作的操作检测控制。

通过显示控制的执行，主控制部100显示用于启动应用软件的图标或滚动条等软键，或者显示用于创建电子邮件的窗口。另外，滚动条是指针对无法完全收纳于显示面板121的显示区域的大图像等，用于接收使图像的显示部分移动的指示的软键。

并且，通过操作检测控制的执行，主控制部100检测用户通过操作部140进行的操作，或者通过操作面板122接收对上述图标的操作或对上述窗口的输入栏的字符串的输入，或者接收通过滚动条发出的显示图像的滚动要求。

而且，通过操作检测控制的执行，主控制部100具备如下触控面板控制功能：判定对操作面板122的操作位置是与显示面板121重叠的重叠部分(显示区域)，还是除此以外的与显示面板121不重叠的外缘部分(非显示区域)，从而对操作面板122的感应区域或软键的显示位置进行控制。

并且，主控制部100还能够检测对操作面板122的手势操作，并根据检测出的手势操作执行预先设定的功能。手势操作并不是指以往单纯的触摸操作，而是指通过手指等描绘轨迹或同时指定多个位置，或者组合这些动作，从多个位置对至少一个描绘出轨迹的操作。

相机部141为使用CMOS等成像元件进行电子拍摄的数码相机。并且，相机部141能够通过主控制部100的控制将通过拍摄获得的图像数据例如转换为JPEG等压缩的图像数据，并存储于存储部150，通过外部输入输出部160或无线通信部110输出。如图30所示，在智能手机101中，相机部141搭载于与显示输入部120相同的面，但是相机部141的搭载位置并不限于此，可以搭载于显示输入部120的背面，或者也可以搭载多个相机部141。另外，在搭载多个相机部141的情况下，可以替换供摄影的相机部141而单独进行拍摄，或者也可以同时使用多个相机部141进行拍摄。

并且，相机部141能够用于智能手机101的各种功能。例如，能够在显示面板121显示由相机部141获取的图像，或者将相机部141的图像用作操作面板122的操作输入的一种。并且，在GPS接收部170检测位置时，还能够参照来自相机部141的图像检测位置。而且，还能够参照来自相机部141的图像，不使用三轴加速度传感器，或者并用三轴加速度传感器，来判断智能手机101的相机部141的光轴方向或判断当前的使用环境。当然，还能够在应用软件内利用来自相机部141的图像。

此外，还能够将通过GPS接收部170获取的位置信息、通过麦克风132获取的语音信息(也可以通过主控制部等进行语音文本转换而成为文本信息)、通过动作传感器部180获取的姿势信息等等附加给静止画或动画的图像数据并存储在存储部150中，并通过外部输入输出部160或无线通信部110输出。

上述图像处理装置31例如能够通过主控制部100实现。

符号说明

2-数码相机，3-相机主体，4-透镜镜筒，5-闪光发射部，6-快门按钮，7-电源开关，8-显示部，9-操作部，10-主存储器，12-透镜部，14-像素，16-滤色器，20-机械快门，21-成像元件，22-进程处理部，23-AD转换部，24-缓冲存储器，25-系统控制部，26-快门驱动部，27-透镜驱动部，28-电源控制部，29-电源，30-控制存储器，31-图像处理装置，32-压缩扩展部，33-存储控制部，34-时钟设备，35-显示控制部，36-用户接口，40-闪光图像分量获取部，42-闪光校正数据获取部，44-闪光明度校正部，46-白平衡处理部，47-第1图像数据提取部，48-减法器，49-第1提取数据调整部，50-第1白平衡调整部，51-闪光用WB增益存储部，53-第1色比数据获取部，54-第1校正数据计算部，56-第1去马赛克处理部，57-第1色比计算部，59-第1明度指标数据获取部，60-第1校正数据运算处理部，62-第1明度数据获取部，63-第1校正计算部，66-环境光图像分量获取部，68-环境光校正数据获取部，70-环境光明度校正部，72-第2图像数据提取部，73-第2提取数据调整部，74-第1减法器，75-第2减法器，76-基础数据色比获取部，77-白平衡增益获取部，78-第2白平衡调整部，80-第2色比数据获取部，81-第2校正数据计算部，82-第2去马赛克处理部，83-第2色比计算部，84-第2明度指标数据获取部，85-第2校正数据运算处理部，86-第2明度数据获取部，87-第2校正计算部，88-光源比数据获取部，89-白平衡运算处理部，100-主控制部，101-智能手机，102-框体，110-无线通信部，120-显示输入部，121-显示面板，122-操作面板，130-通话部，131-扬声器，132-麦克风，140-操作部，141-相机部，150-存储部，151-内部存储部，152-外部存储部，160-外部输入输出部，170-GPS接收部，180-动作传感器部，190-电源部。