图像处理装置、摄像装置、图像处理方法及程序与流程

本发明涉及一种图像处理装置、摄像装置、图像处理方法及程序，尤其涉及多区域白平衡处理技术。

背景技术：

多区域白平衡处理(以下，称为“多区域WB处理”)为按构成1张图像的每个像素或者每个区域应用不同的白平衡增益(以下，称为“WB增益”)的白平衡处理(以下，称为“WB处理”)。根据多区域WB处理，即使是来自多个光源的光以按每个像素(每个区域)而不同的比率照射于被摄体的图像，也能够适当地校正各像素(各区域)的色相(彩色平衡)。

例如，使闪光灯发光来拍摄人物夜景场景时，人物受到闪光灯光(例如，包含较多蓝色波长的光)的影响而被拍摄，但摄影图像中的背景(夜景)实际上不受闪光灯光的影响而受到钠灯(包含较多红色波长的光)等其他环境光的影响而被拍摄。此时，为了通过WB处理使人物图像的色相(彩色平衡)变得良好，需将取消闪光灯光的影响的WB增益应用于人物图像，而为了使背景的色相(彩色平衡)变得良好，需将取消其他环境光的影响的WB增益应用于背景图像。因此，对构成图像的所有像素应用共同的WB增益时，很难兼顾人物的色相(彩色平衡)与背景的色相(彩色平衡)。

然而，根据多区域WB处理，可改变应用于1个图像中包含的人物部分的WB增益与应用于背景部分的WB增益。因此，例如，根据闪光灯光的到达量，对每个像素最优化所应用的WB增益，从而能够兼顾人物的色相(彩色平衡)与背景的色相(彩色平衡)。

专利文献1公开能够抑制利用从被摄体区域获得的颜色信息计算的白平衡控制值的偏差的白平衡控制装置。该白平衡控制装置从图像检测被摄体区域，将图像分割为多个区域，对与被摄体区域重复的各个区域计算表示区域的代表色的颜色信息，并且确定权重。并且，白平衡控制装置对各个颜色信息应用针对与被摄体区域重复的区域确定的权重来进行积算，并根据颜色信息的积算结果与预先设定的目标色的信息，计算如代表色成为目标色的白平衡控制值。

并且，专利文献2公开能够获取调整为用户所需色温的图像的摄像装置。该摄像装置中，根据通过闪光灯非发光拍摄的初始图像计算相对于背景光的WB增益，比较在刚拍摄初始图像之后通过闪光灯发光拍摄的正式图像与初始图像的亮度，根据该亮度差超过阈值的正式图像中的区域的图像数据计算相对于被摄体光的WB增益。并且，以相对于背景光的WB增益和相对于被摄体光的WB增益、用于闪光灯光的预先设定的WB增益为基准，计算不同值的多个WB增益，将这些多个WB增益个别地应用于正式图像，由此生成不同色温的多张包围图像。

并且，为了能够在保存图像数据之后实施图像的白平衡调整，有时与图像数据一同保存WB增益。

例如，记载于专利文献3的摄像装置中，与显影处理所需的附带信息一同预先将正式图像的RAW图像数据存储于存储介质，由此能够在RAW图像数据的显影处理时进行自动白平衡调整。

以往技术文献

专利文献

专利文献1：日本特开2012－165077号公报

专利文献2：日本特开2010－187113号公报

专利文献3：日本特开2009－4895号公报

发明的概要

发明要解决的技术课题

如上述，通过与RAW图像数据一同预先保存显影处理所需的附带信息，能够在事后调整RAW图像数据的白平衡。

然而，事后调整RAW图像数据等图像数据的白平衡时，与白平衡调整相关的自由度较低。

例如，在人物夜景场景中通过使闪光灯发光的摄影而获取的图像中，有时用户希望“想要仅对人物部分稍微向红色方向进行修正”。此时，若使整个画面的白平衡位移，则不仅人物部分，人物以外的背景部分的色调(彩色平衡)也发生变化，因此无法满足用户要求。

另一方面，事后进行白平衡调整时，用户通过手动按每个像素设定WB增益时，能够满足“想要仅对人物部分稍微向红色方向进行修正”的用户要求。然而，按每个像素通过手动设定WB增益的操作非常繁杂，效率低。

如此，为了进行多区域WB处理而与RAW图像数据等图像数据一同保存按每个像素设定的个别的WB增益信息时，虽然能够在事后切换是否执行多区域WB处理，但无法简单地满足例如“想要仅对人物部分稍微向红色方向进行修正”的用户要求。

本发明是鉴于上述情况而完成的，其目的在于提供一种即使在事后进行多区域WB处理时也能够进行高自由度的白平衡调整的技术。

用于解决技术课题的手段

本发明的一方式涉及一种图像处理装置，其具备：光源种类判定部，判定原图像数据的光源的数量和种类；增益获取部，获取按原图像数据的每个光源种类设定的基准白平衡增益；混合比获取部，按原图像数据的每个像素获取每个光源种类的影响率，根据该影响率获取基准白平衡增益的混合比率；及记录部，将基准白平衡增益和混合比率与原图像数据建立对应关联而存储于存储介质。

根据本方式，基准白平衡增益和混合比率与原图像数据建立对应关联而被存储。因此，即使在读取存储于存储介质的原图像数据而在事后进行多区域WB处理时，通过从存储介质读取基准白平衡增益和混合比率来使用，能够适当地进行多区域WB处理。并且，在事后进行多区域WB处理时，由于能够调整基准白平衡增益和混合比率，因此能够进行高自由度的白平衡调整。

优选光源种类判定部将原图像数据的光源判定为闪光灯光和环境光，增益获取部获取将闪光灯光设为光源种类时设定的闪光灯光用基准白平衡增益和将环境光设为光源种类时设定的环境光用基准白平衡增益，混合比获取部按原图像数据的每个像素获取闪光灯光和环境光各自的影响率，根据该影响率获取闪光灯光用基准白平衡增益与环境光用基准白平衡增益之间的混合比率，记录部将闪光灯光用基准白平衡增益、环境光用基准白平衡增益和混合比率与原图像数据建立对应关联而存储于存储介质。

根据本方式，关于使闪光灯光发光来拍摄获取的原图像数据，能够在事后适当地进行多区域WB处理，并且能够进行高自由度的白平衡调整。

优选图像处理装置还具备闪光灯图像获取部，所述闪光灯图像获取部获取使闪光灯发光来拍摄的闪光灯发光图像数据和不使闪光灯发光来拍摄的闪光灯非发光图像数据，混合比获取部根据闪光灯发光图像数据和闪光灯非发光图像数据获取闪光灯光和环境光各自的影响率，根据该影响率获取闪光灯光用基准白平衡增益与环境光用基准白平衡增益之间的混合比率。

根据本方式，能够在事后进行考虑到闪光灯光和环境光的影响率的多区域WB处理。

优选混合比获取部获取闪光灯非发光图像数据的每个像素的第1亮度值，获取闪光灯发光图像数据的每个像素的第2亮度值，根据第1亮度值和第2亮度值获取闪光灯光和环境光各自的影响率，根据该影响率获取闪光灯光用基准白平衡增益与环境光用基准白平衡增益之间的混合比率。

根据本方式，根据闪光灯发光图像数据和闪光灯非发光图像数据的亮度值(第1亮度值和第2亮度值)，能够精度良好地求出闪光灯光用基准白平衡增益与环境光用基准白平衡增益的混合比率。

优选原图像数据为闪光灯发光图像数据。

根据本方式，能够在事后进行闪光灯发光图像数据的多区域WB处理。

优选图像处理装置还具备光源种类数据获取部，所述光源种类数据获取部获取表示第1光源种类的影响的第1图像数据，并获取表示第2光源种类的影响的第2图像数据，通过光源种类判定部判定的原图像数据的光源种类包含第1光源种类及第2光源种类时，增益获取部获取设定于第1光源种类的基准白平衡增益和设定于第2光源种类的基准白平衡增益，混合比获取部根据第1图像数据和第2图像数据获取第1光源种类和第2光源种类的影响率，根据影响率获取设定于第1光源种类的基准白平衡增益与设定于第2光源种类的基准白平衡增益之间的混合比率，记录部将设定于第1光源种类的基准白平衡增益、设定于第2光源种类的基准白平衡增益和混合比率与原图像数据建立对应关联而存储于存储介质。

根据本方式，能够在事后进行考虑到第1光源种类和第2光源种类的影响率的多区域WB处理。

优选与获取原图像数据时的白平衡设定模式无关地，光源种类判定部判定原图像数据的光源的数量和种类，增益获取部获取按每个光源种类设定的基准白平衡增益，混合比获取部按原图像数据的每个像素获取每个光源种类的影响率，根据影响率获取基准白平衡增益的混合比率，记录部将基准白平衡增益和混合比率与原图像数据建立对应关联而存储于存储介质。

根据本方式，与获取原图像数据时的白平衡设定模式无关地，基准白平衡增益和混合比率与原图像数据建立对应关联而存储于存储介质。因此，用户能够与获取原图像数据时的白平衡设定模式无关地在事后对原图像数据实施多区域WB处理。

优选图像处理装置还具备设定模式判定部，所述设定模式判定部判定获取原图像数据时的白平衡设定模式，仅在通过设定模式判定部判定的白平衡设定模式为根据原图像数据的颜色分布信息确定应用于该原图像数据的白平衡增益的自动白平衡模式时，光源种类判定部判定原图像数据的光源的数量和种类，增益获取部获取按每个光源种类设定的基准白平衡增益，混合比获取部按原图像数据的每个像素获取每个光源种类的影响率，根据影响率获取基准白平衡增益的混合比率，记录部将基准白平衡增益和混合比率与原图像数据建立对应关联而存储于存储介质。

根据本方式，能够仅在获取原图像数据时的白平衡设定模式为自动白平衡模式时，在事后进行原图像数据的多区域WB处理。

在此所说的“自动白平衡模式”是通过分析原图像数据来确定白平衡增益的模式，白平衡增益的确定方法并无特别限定。

本发明的另一方式涉及一种图像处理装置，其具备：处理数据获取部，从存储介质获取原图像数据、按原图像数据的每个光源种类设定的基准白平衡增益、按原图像数据的每个像素设定的基准白平衡增益的混合比率；及增益计算部，按原图像数据的每个像素，从基准白平衡增益根据混合比率计算应用白平衡增益。

根据本方式，能够精度良好地求出应用于原图像数据的应用白平衡增益，并能够在事后对原图像数据进行多区域WB处理。

优选通过处理数据获取部获取的基准白平衡增益包含将闪光灯光设为光源种类时设定的闪光灯光用基准白平衡增益及将环境光设为光源种类时设定的环境光用基准白平衡增益，通过处理数据获取部获取的混合比率为按原图像数据的每个像素设定的闪光灯光用基准白平衡增益与环境光用基准白平衡增益之间的混合比率，增益计算部按原图像数据的每个像素，从闪光灯光用基准白平衡增益和环境光用基准白平衡增益根据混合比率计算应用白平衡增益。

根据本方式，能够在事后进行考虑到闪光灯光和环境光的影响的多区域WB处理。

优选图像处理装置还具备：设定模式获取部，获取取得原图像数据时的白平衡设定模式的信息；及处理模式获取部，获取原图像数据的白平衡处理模式的信息，增益计算部中，根据白平衡设定模式的信息和白平衡处理模式的信息，当判定为白平衡处理模式与白平衡设定模式相同时，根据从存储介质获取的基准白平衡增益来计算应用白平衡增益，当判定为白平衡处理模式与白平衡设定模式不同时，获取根据白平衡处理模式设定的基准白平衡增益，根据该基准白平衡增益来计算应用白平衡增益。

根据本方式，即使在获取原图像数据时的白平衡设定模式与执行原图像数据的多区域WB处理时设想的白平衡处理模式不同的情况下，也能够实施反映出所设想的白平衡处理模式的多区域WB处理。

另外，“白平衡处理模式”通过任意方法确定，可由用户确定白平衡处理模式，也可在图像处理装置中根据各种条件等来确定白平衡处理模式。

优选图像处理装置还具备：光源种类指定部，接收由用户指定的光源种类；及指定增益获取部，获取按光源种类指定部接收的由用户指定的光源种类设定的基准白平衡增益，增益计算部将按原图像数据的每个光源种类设定的基准白平衡增益的至少一部分取代为通过指定增益获取部获取的基准白平衡增益，根据混合比率计算应用白平衡增益。

根据本方式，能够执行反映出由用户指定的光源种类的多区域WB处理。

优选图像处理装置还具备白平衡处理部，所述白平衡处理部对原图像数据适用应用白平衡增益来获取的白平衡调整图像数据。

根据本方式，能够获取已实施多区域WB处理的白平衡调整图像数据。

优选图像处理装置还具备：显示控制部；及显示部，通过显示控制部控制，显示控制部将基于白平衡调整图像数据的图像显示于显示部。

根据本方式，用户能够经由显示部简单地确认基于白平衡调整图像数据的图像。

优选显示控制部连接于由用户操作的操作部，将表示原图像数据的光源种类的光源显示显示于显示部，有多种原图像数据的光源种类时，将按每个光源种类设置的多个光源显示显示于显示部，多个光源显示显示于显示部时，若根据用户经由操作部的操作而指定多个光源显示中的任意一个，则根据与经由操作部指定的光源显示对应的光源的影响率强调显示显示于显示部的图像的一部分或全部。

根据本方式，用户能够通过显示于显示部的图像的强调显示，简单地确认所需光源的影响率的大小。

优选显示控制部在显示部中强调显示图像的像素中与由用户经由操作部指定的光源显示对应的光源的影响率高于原图像数据的光源中的其他种类的光源的影响率的像素。

根据本方式，用户能够通过显示于显示部的图像的强调显示，简单地确认所需光源的影响率大于其他光源的影响率的图像部分。

优选显示控制部在显示部中强调显示图像的像素中与由用户经由操作部指定的光源显示对应的光源的影响率高于第1率的像素。

根据本方式，用户能够通过显示于显示部的图像的强调显示，简单地确认所需光源的影响率较大的图像部分。

另外，在此所说的“第1率”并无特别限定，例如可设为“50％”等规定值，也可根据原图像数据的光源的数量和种类等适当设定。

优选图像处理装置还具备白平衡调整部，所述白平衡调整部调整图像的白平衡，显示控制部连接于由用户操作的操作部，将表示原图像数据的光源种类的光源显示显示于显示部，有多种原图像数据的光源种类时，将按每个光源种类设定的多个光源显示显示于显示部，当多个光源显示显示于显示部时，若根据用户经由操作部的操作指定多个光源显示中的任意一个，则在显示部显示接收基于与经由操作部指定的光源显示对应的光源的白平衡的变更的变更显示，根据用户经由操作部的操作，经由变更显示接收图像中的白平衡的变更，若通过显示控制部接收到白平衡的变更，则白平衡调整部调整图像的白平衡来将变更反映于图像，显示控制部将通过白平衡调整部调整白平衡的图像显示于显示部。

根据本方式，用户能够经由显示部简单地确认对与用户经由显示于显示部的光源显示指定的光源相关的白平衡进行变更调整的图像。

优选图像处理装置还具备白平衡调整部，所述白平衡调整部调整图像的白平衡，显示控制部连接于由用户操作的操作部，将表示原图像数据的光源种类的光源显示显示于显示部，有多种原图像数据的光源种类时，将按每个光源种类设定的多个光源显示显示于显示部，多个光源显示显示于显示部时，若根据用户经由操作部的操作指定多个光源显示中的任意一个，则将接收与经由操作部指定的光源显示对应的光源在图像中的影响率变更的变更显示显示于显示部，根据用户经由操作部的操作，经由变更显示接收图像中的影响率的变更量，白平衡调整部调整图像的白平衡，将显示控制部经由变更显示接收的影响率的变更量反映于图像，显示控制部将通过白平衡调整部调整白平衡的图像显示于显示部。

根据本方式，用户能够经由显示部简单地确认与由用户指定的光源相关的变更调整白平衡之后的图像。

优选白平衡设定模式为以下模式中的任意一个：预先设定有白平衡增益的预设白平衡模式；根据原图像数据的颜色分布信息确定应用于原图像数据的白平衡增益的自动白平衡模式；及根据与原图像数据不同的参考图像数据的颜色分布信息确定应用于原图像数据的白平衡增益的自定义白平衡模式。

优选原图像数据为RAW图像数据。

根据本方式，例如能够在原图像数据(RAW图像数据)显影时获得白平衡调整图像数据。

优选原图像数据为无压缩图像数据。

优选原图像数据为无损压缩图像数据。

优选原图像数据为有损压缩图像数据。

能够从这些原图像数据获取白平衡调整图像数据。

本发明的另一方式涉及一种摄像装置，其具备：成像元件；及上述图像处理装置，原图像数据通过成像元件获取。

本发明的另一方式涉及一种图像处理方法，其中，判定原图像数据的光源的数量和种类，获取按原图像数据的每个光源种类设定的基准白平衡增益，按原图像数据的每个像素获取每个光源种类的影响率，根据影响率获取基准白平衡增益的混合比率，将基准白平衡增益和混合比率与原图像数据建立对应关联而存储于存储介质。

本发明的另一方式涉及一种图像处理方法，其中，从存储介质获取原图像数据、按原图像数据的每个光源种类设定的基准白平衡增益、按原图像数据的每个像素设定的基准白平衡增益的混合比率，按原图像数据的每个像素，从基准白平衡增益根据混合比率计算应用白平衡增益。

本发明的另一方式涉及一种程序，其用于使计算机执行如下步骤：判定原图像数据的光源的数量和种类的步骤；获取按原图像数据的每个光源种类设定的基准白平衡增益的步骤；按原图像数据的每个像素获取每个光源种类的影响率，根据影响率获取基准白平衡增益的混合比率的步骤；及将基准白平衡增益和混合比率与原图像数据建立对应关联而存储于存储介质的步骤。

本发明的另一方式涉及一种程序，其用于使计算机执行如下步骤：从存储介质获取原图像数据、按原图像数据的每个光源种类设定的基准白平衡增益、按原图像数据的每个像素设定的基准白平衡增益的混合比率的步骤；及按原图像数据的每个像素，从基准白平衡增益根据混合比率计算应用白平衡增益的步骤。

发明效果

根据本发明，通过使用存储于存储介质的基准白平衡增益及混合比率，能够在事后精度良好地进行原图像数据的多区域WB处理。并且，由于能够在事后进行多区域WB处理时调整基准白平衡增益和混合比率，因此能够进行高自由度的白平衡调整。

附图说明

图1是数码相机的正面立体图。

图2是数码相机的背面立体图。

图3是表示数码相机的控制处理系统的框图。

图4是表示第1实施方式所涉及的图像处理部的功能结构例的框图。

图5是表示第1实施方式所涉及的图像处理流程的流程图。

图6是表示第2实施方式所涉及的图像处理部的功能结构例的框图。

图7是表示第2实施方式所涉及的图像处理流程的流程图。

图8是表示第3实施方式所涉及的图像处理部的功能结构例的框图。

图9是表示第3实施方式所涉及的图像处理流程的流程图。

图10是表示第4实施方式所涉及的图像处理流程的流程图。

图11是表示数码相机、计算机、服务器及便携式终端的网络连接的概念图。

图12是表示第5实施方式所涉及的数据处理部(图像处理部)的功能结构例的框图。

图13是表示第5实施方式所涉及的图像处理流程的流程图。

图14是表示第6实施方式所涉及的数据处理部(图像处理部)的功能结构例的框图。

图15是表示第6实施方式所涉及的图像处理流程的流程图。

图16是表示第7实施方式所涉及的数据处理部(图像处理部)的功能结构例的框图。

图17是表示第7实施方式所涉及的图像处理流程的流程图。

图18是表示第8实施方式所涉及的图像处理部的功能结构例的框图。

图19是表示显示部中的图像显示例的图。

图20是表示用户指定强调显示的模式中的显示部的显示例的图。

图21是表示用户指定强调显示时的显示部中的图像显示例的图。

图22是表示第9实施方式所涉及的图像处理部的功能结构例的框图。

图23是表示第9实施方式所涉及的显示部中的图像显示例的图。

图24是表示智能手机的外观的图。

图25是表示图24所示的智能手机的结构的框图。

具体实施方式

参考附图，对本发明的实施方式进行说明。以下实施方式中，对将本发明应用于数码相机(摄像装置)的例子进行说明。但是，还能够将本发明应用于数码相机以外的图像处理装置、摄像装置、图像处理方法及程序。

图1是数码相机2的正面立体图。图2是数码相机2的背面立体图。

数码相机2具备相机主体3及安装于相机主体3的前面的透镜镜筒4。透镜镜筒4和相机主体3可一体设置，也可作为透镜更换式相机而装卸自如地设置。

相机主体3的前面除了透镜镜筒4以外还设置有闪光灯发光部5，在相机主体3的上面设置有快门按钮6和电源开关7。快门按钮6为接收来自用户的摄影命令的摄影命令部，电源开关7为从用户接收数码相机2的电源的打开和关闭的切换命令的电源切换部。

在相机主体3的背面设置有由液晶面板等构成的显示部8及由用户直接操作的操作部9。显示部8在摄影待机状态下显示即时预览图像(实时取景图像)而作为电子取景器发挥功能，在回放摄影图像或存储器存储图像时作为回放图像显示部而发挥功能。

操作部9由模式切换开关、十字键和执行键等任意的操作设备构成。例如，模式切换开关在切换数码相机2的动作模式时由用户操作。作为数码相机2的动作模式，有用于拍摄被摄体来获得摄影图像的摄影模式及回放显示图像的回放模式等。并且，作为其他摄影模式，有进行自动聚焦的AF(Auto Focus)模式及进行手动聚焦操作的MF(Manual Focus)模式。另一方面，十字键及执行键在显示部8显示菜单画面或设定画面、或移动显示于菜单画面或设定画面内的光标、或确定数码相机2的各种设定时，由用户操作。

相机主体3的底部(省略图示)设置有装填有主存储器10的存储器插槽、打开和关闭该存储器插槽的开口的装填盖。主存储器10装卸自如地设置于相机主体3，若安装于相机主体3，则与设置于相机主体3的存储控制部33电连接。主存储器10通常能够由卡型闪存器等半导体存储器构成，但并无特别限定，能够将磁介质等任意存储方式的存储介质用作主存储器10。

图3是表示数码相机2的控制处理系统的框图。

被摄体光通过设置于透镜镜筒4的透镜部12及设置于相机主体3的机械快门20，由成像元件21接收。成像元件21为接收被摄体像来生成图像数据的元件，具有RGB(红绿蓝)等滤色器和将光学图像转换为电信号的CCD(Charge Coupled Device)或CMOS(Complementary Metal Oxide Semiconductor)等图像传感器。从成像元件21输出的图像数据在工艺处理部22通过AGC(Automatic Gain Control)电路等实施工艺处理，之后通过AD转换部23将模拟形式的图像数据转换为数字形式的图像数据。被数字化的图像数据保存于缓冲存储器24。

缓冲存储器24为暂时存储图像数据的区域，由DRAM(Dynamic Random Access Memory)等构成。从AD转换部23发送而存储在缓冲存储器24的图像数据通过由系统控制部25控制的数据处理部31读取。数据处理部31将由成像元件21生成的图像数据用作输入图像数据，进行伽马校正处理和去马赛克处理等各种图像处理，并将图像处理后的图像数据再次保存于缓冲存储器24。

在数据处理部31中实施图像处理并保存于缓冲存储器24的图像数据由显示控制部35和压缩/扩展部32读取。显示控制部35控制显示部8，将从缓冲存储器24读取的图像数据显示于显示部8。如此，从成像元件21输出并在数据处理部31中接受图像处理的图像数据作为摄影确认图像而显示于显示部8(后浏览)。

另一方面，压缩/扩展部32进行从缓冲存储器24读取的图像数据的压缩处理，创建JPEG(Joint Photographic Experts Group)或TIFF(Tagged Image File Format)等任意压缩形式的图像数据。压缩处理后的图像数据通过控制对主存储器(存储介质)10存储数据的处理和自主存储器10读取数据的处理的存储控制部33，存储于主存储器10。另外，在主存储器10存储图像数据等数据类时，存储控制部33根据从后述的时钟设备34获取的日期和时间信息，对该数据类附加编辑日期和时间信息(更新日期和时间信息)等摄影信息和其他关联信息。该摄影信息以任意格式附加于图像数据，例如可采用Exif(Exchangeable image file format)形式。

回放保存于主存储器10的图像数据的回放模式中，保存于主存储器10的图像数据通过由系统控制部25控制的存储控制部33读取，在通过压缩/扩展部32实施扩展处理之后保存于缓冲存储器24。并且，以与摄影图像的确认显示相同的步骤，通过显示控制部35从缓冲存储器24读取图像数据，在显示部8中回放显示图像数据。

系统控制部25如上述那样控制缓冲存储器24、数据处理部31和存储控制部33，还控制数码相机2中的其他各部。例如，系统控制部25通过控制透镜驱动部27来控制透镜部12的驱动，通过控制快门驱动部26来控制机械快门20的驱动，通过控制成像元件21来控制图像数据的输出。并且，系统控制部25通过控制闪光灯发光部5来控制闪光灯的发光和非发光，通过控制电源控制部28来进行电源29中有无安装电池、电池的种类和电池余量的检测等。并且，系统控制部25获取在时钟设备34中计数的日期时间信息来用于各种处理。并且，系统控制部25控制构成数据处理部31的各种处理部。

而且，系统控制部25获取来自包含快门按钮6、电源开关7及操作部9的用户界面36的操作信号，根据操作信号进行各种处理和设备控制。例如，系统控制部25根据从快门按钮6接收的释放信号控制快门驱动部26，控制机械快门20的打开和关闭。并且，系统控制部25根据从电源开关7接收的电源打开关闭信号控制电源控制部28，控制电源29的打开和关闭。

在系统控制部25中进行的各种处理和设备控制所需的程序和数据类存储于控制存储器30。系统控制部25能够根据需要读取存储于控制存储器30的程序和数据类，并且能够将新的程序和数据类保存于控制存储器30。例如，系统控制部25能够将所设定的白平衡模式(以下，称为“WB模式”)的种类和白平衡增益等条件数据写入控制存储器30。并且，系统控制部25能够控制显示控制部35来将从各部获取的各种信息显示于显示部8。另外，系统控制部25能够根据用户经由用户界面36输入的操作信号，变更显示于显示部8的各种信息。

接着，关于通过成像元件21获取的原图像数据的白平衡处理，对具体的图像处理例进行说明。

另外，以下的各实施方式中，对从成像元件21输出并经过工艺处理部22(工艺处理)和AD转换部23(AD转换处理)的“RAW图像数据”经由缓冲存储器24输入至数据处理部31而用作原图像数据的例子进行说明。因此，数据处理部31中的去马赛克处理在以下的原图像数据(RAW图像数据)中跳过。另外，原图像数据并不限定于“RAW图像数据”，还能够对具有JPEG形式或者TIFF形式等其他任意格式的图像数据进行同样的图像处理。

通常，数码相机中有有如下机种：代替已实施画质处理的JPEG图像等处理图像或者除了这种处理图像以外，还能够将“实施画质处理之前的图像数据”或者“仅实施由拍摄系统引起的画质处理(例如，透镜阴影校正等)的图像数据”即RAW图像数据存储于存储介质(主存储器10)。通过预先存储RAW图像数据，用户能够在日后使用RAW显影软件等进行RAW图像数据的画质处理和显影处理，无需进行重新摄影就能够获得不同画质的图像。数码相机中，将RAW图像数据存储于存储介质时，将RAW图像数据的显影所需的信息(摄影条件和机种信息等)也一并存储于存储介质。“RAW图像数据”和“显影所需的信息数据”的存储方式并无特别限定，可将对“RAW图像数据”附加显影所需的信息数据和其他信息来作为标签信息(元数据)的状态的数据保存于存储介质。以下的实施方式中，将对RAW图像数据附加标签信息(元数据)的数据称为“RAW数据”。

并且，保存于主存储器10的原图像数据的压缩形式并无特别限定，原图像数据可以是无压缩图像数据，也可以是无损压缩图像数据，还可以是有损压缩图像数据。另外，原图像数据为RAW图像数据时，可在WB处理(参考后述的“白平衡处理部(WB处理部)64”)之前进行显影处理，也可在WB处理之后进行显影处理。并且，原图像数据为压缩图像数据(无损压缩图像数据或有损压缩图像数据)时，优选在WB处理(参考后述的“WB处理部64”)之前进行扩展处理。这些显影处理和扩展处理例如可在后述的处理数据获取部60中进行。

＜第1实施方式＞

本实施方式涉及一种用于实现通过以按每个像素而不同的混合比率混合多个WB增益(基准白平衡增益(以下，称为“基准WB增益”))来获取适于每个像素的WB增益(应用白平衡(以下，称为“应用WB增益”))的多区域WB处理的处理结构。尤其，本实施方式中，用于获取“适于每个像素的WB增益(应用WB增益)”的“多个WB增益(基准WB增益)”和“每个像素的混合比率”存储于主存储器(存储介质)10，而不是“适于每个像素的WB增益(应用WB增益)”。

图4是表示第1实施方式所涉及的图像处理部38的功能结构例的框图。

本实施方式的图像处理部38包含数据处理部31及存储控制部33，数据处理部31具有光源种类判定部40、增益获取部42及混合比获取部44。

光源种类判定部40判定原图像数据的光源的数量和种类。判定原图像数据的光源的数量和种类的方法并无特别限定。例如，作为光源种类设想闪光灯光和环境光时，光源种类判定部40可从控制闪光灯发光部5的系统控制部25获取与有无闪光灯发光相关的信息，由此判定原图像数据的光源的数量和种类。关于闪光灯发光的有无，通过用户经由用户界面36进行的设定来确定或者根据检测摄影场景的明度的测光传感器(省略图示)的检测结果并由系统控制部25确定，但无论如何，系统控制部25具有有无闪光灯发光的信息。因此，作为光源种类设想环境光和闪光灯光时，光源种类判定部40可通过获取系统控制部25所掌握的有无闪光灯发光的信息，判定原图像数据的光源的数量和种类。

增益获取部42获取按原图像数据的每个光源种类设定的基准WB增益。例如，针对闪光灯光的光源种类，能够预先设定与闪光灯光相关的WB增益并保存于控制存储器30等存储器，因此增益获取部42可从存储器获取预先设定的闪光灯光用WB增益来作为基准WB增益。并且，针对环境光的光源种类，增益获取部42例如可以分析原图像数据来获取颜色分布信息和亮度分布信息，并从该颜色分布信息和亮度分布信息推断适于环境光的WB增益，并获取该WB增益作为基准WB增益。

混合比获取部44按原图像数据的每个像素获取每个光源种类的影响率，根据该影响率获取基准WB增益的混合比率。在此所说的“影响率”通过任意方法求出，例如能够通过分析原图像数据来求出“影响率”。另外，后述的第2实施方式中，根据分析图像数据来获得的“亮度值”获取影响率，根据该影响率获取基准WB增益的混合比率。

存储控制部33作为将基准WB增益和混合比率与原图像数据建立对应关联而存储于主存储器(存储介质)10的记录部发挥功能。另外，原图像数据从混合比获取部44(数据处理部31)输出并经由缓冲存储器24和压缩/扩展部32(参考图3)发送至存储控制部33，并保存于主存储器10。保存于主存储器10的原图像数据为压缩图像数据(无损压缩图像数据或有损压缩图像数据)时，在压缩/扩展部32中进行与压缩形式相应的压缩处理，当为无压缩图像数据时，跳过压缩/扩展部32中的压缩处理。

图5是表示第1实施方式所涉及的图像处理流程的流程图。以下的流程图的说明中，作为一例，对将在对被摄体照射有闪光灯光和环境光的状态下获取的图像数据作为原图像数据的例子进行说明。

首先，通过光源种类判定部40判定原图像数据的光源的数量和种类(图5的S11)，本例中，闪光灯光和环境光判定为2种光源种类。

并且，通过增益获取部42获取将环境光设为光源种类时设定的“适于环境光的WB增益WB1(以下，称为“环境光用基准WB增益WB1”)”及将闪光灯光设为光源种类时设定的“适于闪光灯光的WB增益WB2(以下，称为“闪光灯光用基准WB增益WB2”)”(S12)。

并且，通过混合比获取部44，按原图像数据的每个像素获取闪光灯光和环境光各自的影响率，根据该影响率获取表示闪光灯光用基准WB增益与环境光用基准WB增益之间的混合比率“Ratio_ij(其中，“i”表示以X轴值和Y轴值表示像素位置时的X轴值，“j”表示Y轴值)”(S13)。

并且，通过存储控制部33，环境光用基准WB增益WB1、闪光灯光用基准WB增益WB2和混合比率Ratio_ij与原图像数据建立对应关联而存储于主存储器10(S14)。

如以上说明，根据本实施方式，成为在多区域WB处理中使用的WB增益的计算基础的“每个光源种类的基准WB增益”和“混合比率”与原图像数据建立对应关联而存储。由此，能够使用所存储的“每个光源种类的基准WB增益”和“混合比率”简单地获取适于每个像素的WB增益，因此能够根据用户的需要在事后对原图像数据执行多区域WB处理。例如，通过预先将RAW图像数据作为原图像数据并与“每个光源种类的基准WB增益”和“混合比率”一同存储于主存储器10，用户能够在进行RAW图像数据的显影处理时一并确定是否执行多区域WB处理。

并且，在事后进行多区域WB处理时，还能够根据用户的需要变更“每个光源种类的基准WB增益”和“混合比率”的一部分或全部，因此能够进行高自由度的白平衡调整。因此，用户例如还能够在事后分别调整“闪光灯光的影响率较高的人物像等图像部分”与“闪光灯光的影响率较低的背景像等图像部分”的白平衡。

＜第2实施方式＞

本实施方式中，对与上述第1实施方式相同或类似的结构和作用，省略详细说明。

本实施方式关于第1实施方式的具体方式，示出将通过拍摄闪光灯发光场景来获得的闪光灯发光图像数据作为原图像数据的情况。

图6是表示第2实施方式所涉及的图像处理部38的功能结构例的框图。

本实施方式的数据处理部31(图像处理部38)除了光源种类判定部40、增益获取部42及混合比获取部44以外，还具有闪光灯图像获取部46。闪光灯图像获取部46获取通过使闪光灯发光来拍摄获得的闪光灯发光图像数据和通过闪光灯非发光拍摄与闪光灯发光图像数据的被摄体相同的被摄体来获得的闪光灯非发光图像数据。即，本实施方式中，若用户想要获取闪光灯发光图像数据而按下快门按钮6(参考图1和图2)，则系统控制部25控制闪光灯发光部5的发光的同时控制成像元件21等，自动地连续进行闪光灯非发光摄影和闪光灯发光摄影。闪光灯图像获取部46获取通过这些摄影获得的闪光灯发光图像数据和闪光灯非发光图像数据。

另外，存储于主存储器10的处理对象的原图像数据为闪光灯发光图像数据，但闪光灯非发光图像数据也可与闪光灯发光图像数据一同存储于主存储器10。

闪光灯发光图像数据和闪光灯非发光图像数据从闪光灯图像获取部46发送至混合比获取部44，并且闪光灯非发光图像数据还发送至增益获取部42。

闪光灯非发光图像数据为不受闪光灯光的影响而将环境光作为主要光源来拍摄的图像数据，因此增益获取部42通过分析闪光灯非发光图像数据来获取环境光用基准WB增益。具体而言，增益获取部42可计算自动白平衡模式用的WB增益(以下，称为“AWB增益”)，将该AWB增益设定为环境光用基准WB增益。另外，AWB增益能够根据任意方法计算。增益获取部42例如可分析闪光灯非发光图像数据，从RGB的像素值求出颜色分布信息，并将平均值无彩色化的增益设定为AWB增益(环境光用基准WB增益)。并且，增益获取部42可从闪光灯非发光图像数据的亮度值求出亮度分布信息，根据该亮度分布信息确定AWB增益(环境光用基准WB增益)。并且，还可将按多个环境光的每个种类设定的WB增益预先存储于控制存储器30等存储器，增益获取部42通过分析闪光灯非发光图像数据来判定环境光的类别，从存储器获取与所判定的环境光的类别相关的WB增益来设定为环境光用基准WB增益。

另一方面，闪光灯光用基准WB增益根据闪光灯光的特性预先求出而存储于控制存储器30等存储器，通过增益获取部42从存储器读取来获取。

混合比获取部44根据由闪光灯图像获取部46获取的闪光灯发光图像数据和闪光灯非发光图像数据获取闪光灯光和环境光各自的影响率，并根据该影响率获取闪光灯光用基准白平衡增益与环境光用基准白平衡增益之间的混合比率。

具体而言，本例的混合比获取部44获取闪光灯非发光图像数据的每个像素的亮度值(以下，称为“第1亮度值”)，并获取闪光灯发光图像数据的每个像素的亮度值(以下，称为“第2亮度值”)，根据第1亮度值和第2亮度值获取闪光灯光和环境光各自的影响率。

第1亮度值和第2亮度值的获取方法并无特别限定。例如，以“R_ij(其中，“i”表示以X轴值和Y轴值表示像素位置时的X轴值，“j”表示Y轴值)”表示闪光灯发光图像数据和闪光灯非发光图像数据各自的R像素值，以“G_ij(其中，“i”表示以X轴值和Y轴值表示像素位置时的X轴值，“j”表示Y轴值)”表示G像素值，以“B_ij(其中，“i”表示以X轴值和Y轴值表示像素位置时的X轴值，“j”表示Y轴值)”表示B像素值时，闪光灯非发光图像数据的各像素的亮度值(第1亮度值)“Y1_ij(其中，“i”表示以X轴值和Y轴值表示像素位置时的X轴值，“j”表示Y轴值)”和闪光灯发光图像数据的各像素的亮度值(第2亮度值)“Y2_ij(其中，“i”表示以X轴值和Y轴值表示像素位置时的X轴值，“j”表示Y轴值)”能够通过下述式1和式2表示。另外，以下式1和式2中，作为系数使用“0.299”、“0.587”和“0.114”，但可使用其他系数。

式1 Y1_ij＝R_ij×0.299+G_ij×0.587+B_ij×0.114

式2 Y2_ij＝R_ij×0.299+G_ij×0.587+B_ij×0.114

混合比获取部44能够使用第1亮度值Y1_ij和第2亮度值Y2_ij并通过下述式3，获取闪光灯影响率“Flash_ij”和混合比率“Ratio_ij”。

式3 Ratio_ij＝Flash_ij＝1-(Y1_ij/Y2_ij)

如此获取的环境光用基准WB增益、闪光灯光用基准WB增益和混合比率与第1实施方式相同地通过存储控制部33，与原图像数据(闪光灯发光图像数据)建立对应关联而存储于主存储器10。另外，混合比率Ratio_ij如本例，可以与闪光灯影响率Flash_ij等价(参考上述式3)，也可以是与闪光灯影响率Flash_ij不同的比率，只要是反映出闪光灯影响率Flash_ij的值即可。

图7是表示第2实施方式所涉及的图像处理流程的流程图。

首先，通过光源种类判定部40，原图像数据的光源判定为2种(闪光灯光和环境光)光源种类(图7的S21)，通过闪光灯图像获取部46获取闪光灯发光图像数据和闪光灯非发光图像数据(S22)。

并且，通过增益获取部42，从闪光灯非发光图像数据获取环境光用基准WB增益WB1(S23)，并且从存储器获取闪光灯光用基准WB增益WB2(S24)。

并且，通过混合比获取部44，获取闪光灯非发光图像数据的每个像素的亮度值(第1亮度值)Y1_ij(S25)，并且获取闪光灯发光图像数据的每个像素的亮度值(第2亮度值)Y2_ij(S26)。并且，通过混合比获取部44，从第1亮度值Y1_ij和第2亮度值Y2_ij按原图像数据(闪光灯发光图像数据)的每个像素获取闪光灯的影响率Flash_ij，根据该闪光灯的影响率设定混合比率Ratio_ij(S27)。

并且，通过存储控制部33，环境光用基准WB增益WB1、闪光灯光用基准WB增益WB2和混合比率Ratio_ij与原图像数据(闪光灯发光图像数据)建立对应关联而存储于主存储器10(S28)。

如以上说明，根据本实施方式，成为按通过闪光灯摄影而获取的原图像数据(闪光灯发光图像数据)的每个像素设定的WB增益的计算基础的“环境光用基准WB增益”、“闪光灯光用基准WB增益”和“混合比率”与原图像数据建立对应关联而存储。因此，在事后进行图像的白平衡调整时，通过使用所存储的这些“环境光用基准WB增益”、“闪光灯光用基准WB增益”和“混合比率”，能够个别地对“闪光灯光的影响占主导的图像部分”与“环境光的影响占主导的图像部分”进行白平衡调整。

例如，用户希望“想要仅对闪光灯光的影响率较大的人物的图像部分稍微向红色方向进行修正”时，只要将适于闪光灯光的闪光灯光用基准WB增益WB2稍微向红色方向错开即可。此时，只有闪光灯光用基准WB增益WB2的比率较高的像素的色调(彩色平衡)向红色方向位移，闪光灯光用基准WB增益WB2的比率较低且环境光用基准WB增益WB1的比率较高的像素的色调(彩色平衡)不易受影响。其结果，闪光灯光用基准WB增益WB2的比率较高的人物的图像部分的色调向红色方向修正，而环境光用基准WB增益WB1的比率较高的背景的图像部分的色调大致维持原状，能够进行满足用户需要的白平衡调整。

另外，上述图6和图7所示的第2实施方式中，对将闪光灯光和环境光的分别作为原图像数据中的第1光源种类和第2光源种类来处理的例子进行了说明，但第1光源种类和第2光源种类并无特别限定。可代替闪光灯发光图像数据和闪光灯非发光图像数据，通过光源种类数据获取部(参考图6)获取表示第1光源种类的影响的第1图像数据，并获取表示第2光源种类的影响的第2图像数据。即，通过光源种类判定部判定的原图像数据的光源种类包含第1光源种类和第2光源种类时，增益获取部42可获取针对第1光源种类设定的适于第1光源种类的基准白平衡增益和针对第2光源种类设定的适于第2光源种类的基准白平衡增益。此时，混合比获取部44从第1图像数据和第2图像数据获取原图像数据中的第1光源种类和第2光源种类的影响率，并根据该影响率获取针对第1光源种类设定的基准白平衡增益与针对第2光源种类设定的基准白平衡增益之间的混合比率。并且，存储控制部33将针对第1光源种类设定的基准白平衡增益、针对第2光源种类设定的基准白平衡增益和混合比率与原图像数据建立对应关联而存储于存储介质。

＜第3实施方式＞

本实施方式中，对与上述第1实施方式和第2实施方式相同或类似的结构和作用，省略详细说明。

本实施方式中，仅在获取原图像数据时的白平衡设定模式(以下，称为“WB设定模式”)为AWB模式时，进行上述第1实施方式中的基准WB增益和混合比率的获取处理和存储处理。当WB设定模式为预设白平衡模式(以下，称为“预设WB模式”)、自定义白平衡模式(以下，称为“自定义WB模式”)和及手动白平衡模式(以下，称为“手动WB模式”)等AWB模式以外的模式时，不实施上述第1实施方式中的基准WB增益和混合比率的获取处理和存储处理。

获取原图像数据时可选择的WB设定模式并无特别限定，可选择预先设定的将仅1种WB模式作为WB设定模式，也可从多种WB模式中选择与用户的指定相应的模式或选择与摄影条件相应的模式作为WB设定模式。

因此例如，可选择以下模式中的任意一个模式作为WB设定模式：根据预先设想的光源种类(晴天(太阳光)、荧光灯和灯泡等)而预先设定白平衡增益的预设WB模式；根据原图像数据的颜色分布信息确定应用于原图像数据的白平衡增益的AWB模式；及根据与原图像数据不同的参考图像数据的颜色分布信息确定应用于原图像数据的白平衡增益的自定义WB模式。并且，也可选择用户通过手动个别地确定WB增益的手动WB模式作为WB设定模式。

以下，对WB设定模式为AWB模式时进行与第1实施方式相同的处理的例子进行说明，但并不限定于此，例如可进行与第2实施方式相同的处理来代替与第1实施方式相同的处理。

图8是表示第3实施方式所涉及的图像处理部38的功能结构例的框图。

本实施方式的数据处理部31(图像处理部38)除了光源种类判定部40、增益获取部42及混合比获取部44以外，还具备设定模式判定部48。设定模式判定部48判定获取原图像数据时的WB设定模式。该WB设定模式的判定方法并无特别限定。当系统控制部25具有WB设定模式的信息时，设定模式判定部48可从系统控制部25获取WB设定模式的信息。

另外，图8所示的例子中，设定模式判定部48与系统控制部25作为分体而示出，但系统控制部25可发挥设定模式判定部48的作用，系统控制部25也可包含于图像处理部38。

数据处理部31中包含的设定模式判定部48、光源种类判定部40、增益获取部42及混合比获取部44由系统控制部25控制，各部中的处理的执行及非执行能够通过系统控制部25决定。尤其，本实施方式中，仅在通过设定模式判定部48判定的WB设定模式为AWB模式时，在图像处理部38中执行与第1实施方式相同的处理。

即，仅在WB设定模式为AWB模式时，光源种类判定部40判定原图像数据的光源的数量和种类，增益获取部42获取按每个光源种类设定的基准白平衡增益。并且，混合比获取部44按原图像数据的每个像素获取每个光源种类的影响率，根据该影响率获取基准白平衡增益的混合比率。并且，存储控制部33将基准白平衡增益和混合比率与原图像数据建立对应关联而存储于主存储器10。

图9是表示第3实施方式所涉及的图像处理流程的流程图。另外，以下说明中，一并示出将以闪光灯光和环境光作为光源种类的闪光灯发光图像数据作为原图像数据的例子。

首先，通过设定模式判定部48判定获取原图像数据时的WB设定模式(图9的S31)，通过系统控制部25判定WB设定模式是否为AWB模式(S32)。

判定为WB设定模式为AWB模式时(S32的是)，通过光源种类判定部40判定原图像数据的光源的数量和种类(例如，闪光灯光和环境光)(S33)。并且，通过增益获取部42获取按每个光源种类设定的基准白平衡增益(环境光用基准WB增益和闪光灯光用基准WB增益)(S34)。

并且，通过混合比获取部44按原图像数据的每个像素获取每个光源种类的影响率，根据该影响率获取基准白平衡增益(环境光用基准WB增益和闪光灯光用基准WB增益)的混合比率(S35)。并且，通过存储控制部33，基准白平衡增益(环境光用基准WB增益和闪光灯光用基准WB增益)和混合比率与原图像数据建立对应关联而存储于主存储器10(S36)。

另一方面，判定为WB设定模式不是AWB模式时(S32的否)，跳过上述的处理步骤S33～S36。

如以上说明，根据本实施方式，针对在AWB模式中获取的原图像数据，基准白平衡增益和混合比率存储于主存储器10，因此与第1实施方式同样地，用户能够在事后以高自由度进行图像的白平衡调整。另一方面，针对在AWB模式以外的模式中拍摄获取的原图像数据，跳过上述的一系列处理步骤S33～S36，因此从原图像数据的摄影至向主存储器10的存储为止的处理得以高速化。

＜第4实施方式＞

本实施方式中，对与上述第1实施方式～第3实施方式相同或类似的结构和作用，省略详细说明。

上述第3实施方式中，仅在WB设定模式为AWB模式时进行与第1实施方式或第2实施方式相同的处理，但本实施方式中，与获取原图像数据时的WB设定模式无关地进行与第1实施方式或第2实施方式相同的处理。

为了执行多区域WB处理，如上述那样，需要特殊的处理和信息。用户想在拍摄获取原图像数据时实施多区域WB处理时，能够在获取到原图像数据时进行用于这种多区域WB处理的特殊处理或获取信息。然而，摄影之后，例如在到达显影RAW图像数据的阶段之后，用户想实施多区域WB处理时，由于未进行需在摄影时进行的用于多区域WB处理的特殊处理，并且未获取需在摄影时获取的信息，因此很难实现多区域WB处理。

例如，将在人物夜景场景中使闪光灯发光来摄影获取的图像数据作为原图像数据而进行多区域WB处理时，需一并获取闪光灯非发光图像数据，从闪光灯发光图像数据与闪光灯非发光图像数据之间的像素值的差值按每个像素获取闪光灯影响率，根据闪光灯影响率，按每个像素获取环境光用基准WB增益与闪光灯光用基准WB增益之间的混合比率。然而，即使在RAW图像数据(原图像数据)的显影阶段想执行这些处理，作为RAW图像数据存储的只有闪光灯发光图像数据，并没有多区域WB处理所需的闪光灯非发光图像数据，因此无法获取用于实施多区域WB处理的“适于每个像素的WB增益”。

因此，如本实施方式，通过与获取原图像数据时的WB设定模式无关地，如上述第1实施方式或第2实施方式那样预先将基准白平衡增益和混合比率存储于主存储器10，即使用户想在事后进行多区域WB处理时，也能够获取已实施适当的多区域WB处理的白平衡调整图像数据(以下，称为“WB调整图像数据”)。

本实施方式中的图像处理部38与上述第1实施方式(参考图4)和第2实施方式(参考图6)基本相同。即，与获取原图像数据时的WB设定模式无关地，光源种类判定部40判定原图像数据的光源的数量和种类，增益获取部42获取按每个光源种类设定的基准白平衡增益，混合比获取部44按原图像数据的每个像素获取每个光源种类的影响率，根据影响率获取基准白平衡增益的混合比率，存储控制部33将基准白平衡增益和混合比率与原图像数据建立对应关联而存储于主存储器10。

图10是表示第4实施方式所涉及的图像处理流程的流程图。本实施方式中，第3实施方式的处理流程中，省略与WB设定模式的判定相关的上述处理步骤S31～S32(参考图9)，进行上述处理步骤S33～S36。

即，与获取原图像数据时的WB设定模式无关地，通过光源种类判定部40判定原图像数据的光源的数量和种类(例如，闪光灯光和环境光)(S33)。并且，通过增益获取部42获取按每个光源种类设定的基准白平衡增益(例如，环境光用基准WB增益和闪光灯光用基准WB增益)(S34)。

并且，通过混合比获取部44按原图像数据的每个像素获取每个光源种类的影响率，根据该影响率获取基准白平衡增益(例如，环境光用基准WB增益和闪光灯光用基准WB增益)的混合比率(S35)。并且，通过存储控制部33，基准白平衡增益(例如，环境光用基准WB增益和闪光灯光用基准WB增益)和混合比率与原图像数据建立对应关联而存储于主存储器10(S36)。

如以上说明，根据本实施方式，与获取原图像数据时的WB设定模式无关地，始终实施用于多区域WB处理的运算，基准白平衡增益和混合比率与原图像数据建立对应关联而存储于主存储器10。因此，用户能够与获取原图像数据时的WB设定模式无关地，在事后决定是否执行针对原图像数据的多区域WB的处理。

＜第5实施方式＞

本实施方式中，对与上述第1实施方式～第4实施方式相同或类似的结构和作用，省略详细说明。

本实施方式关于一种从主存储器10读取上述原图像数据以及基准WB增益和混合比率，对该原图像数据实施多区域WB处理，从而获得WB调整图像数据的处理。

即，本实施方式的数据处理部31从主存储器10获取与原图像数据建立对应关联而存储的基准WB增益和混合比率来进行原图像数据的WB处理。因此，本实施方式中使用的主存储器10中例如如上述第1实施方式～第4实施方式的原图像数据那样，基准WB增益和混合比率与原图像数据建立对应关联而存储。

另外，本实施方式所涉及的下述数据处理部31(参考图12)可与包含上述第1实施方式～第3实施方式中说明的“光源种类判定部40、增益获取部42及混合比获取部44”的数据处理部31(参考图4、图6及图8)一体设置，也可作为分体而设置。因此，例如将图4、图6及图8所示的数据处理部31设置于数码相机2时，图12所示的本实施方式所涉及的数据处理部31可同样设置于数码相机2，也可如图11所示那样，设置于经由有线或无线的网络94与数码相机2连接的计算机91或服务器92。并且，下述图12所示的数据处理部31可设置于能够与从数码相机2取下的主存储器10连接的计算机91等。并且，下述图12所示的数据处理部31可设置于与数码相机2、计算机91或服务器92连接的便携式终端96且能够接收原图像数据的智能手机或者平板终端等便携式终端96。

图12是表示第5实施方式所涉及的数据处理部31(图像处理部38)的功能结构例的框图。

本实施方式的数据处理部31具有处理数据获取部60、增益计算部62及WB处理部64。

处理数据获取部60从主存储器10获取原图像数据、按原图像数据的每个光源种类设定的基准WB增益、按原图像数据的每个像素设定的基准WB增益的混合比率。基准WB增益和混合比率包含于原图像数据的标签信息时，处理数据获取部60能够从所获取的原图像数据的标签信息获取基准WB增益和混合比率。

增益计算部62按原图像数据的每个像素，从基准WB增益根据混合比率计算应用WB增益。

WB处理部64对原图像数据适用应用WB增益来获取WB调整图像数据。例如，以“V_ij(其中，“i”表示以X轴值和Y轴值来表示像素位置时的X轴值，“j”表示Y轴值)”表示原图像数据的像素值，以“WB_ij(其中，“i”表示以X轴值和Y轴值表示像素位置时的X轴值，“j”表示Y轴值)”表示应用WB增益时，WB调整图像数据的各像素值“Q_ij(其中，“i”表示以X轴值和Y轴值表示像素位置时的X轴值，“j”表示Y轴值)”以下述式4表示。

式4 Q_ij＝V_ij×WB_ij

以下，对通过处理数据获取部60获取的基准WB增益包含将闪光灯光设为光源种类时设定的闪光灯光用基准WB增益及将环境光设为光源种类时设定的环境光用基准WB增益的情况进行说明。通过处理数据获取部60获取的混合比率为按原图像数据的每个像素设定的闪光灯光用基准WB增益与环境光用基准WB增益之间的混合比率。并且，增益计算部62按原图像数据的每个像素，从闪光灯光用基准WB增益与环境光用基准WB增益根据混合比率计算应用白平衡增益。

根据该数据处理部31，原图像数据为RAW图像数据时，用户进行RAW图像数据的显影处理时，能够使用存储于主存储器10的“基准WB增益(环境光用基准WB增益和闪光灯光用基准WB增益)”与“混合比率”，一并进行多区域WB处理。

图13为表示第5实施方式所涉及的图像处理流程的流程图。

首先，通过处理数据获取部60，从主存储器10获取原图像数据、环境光用基准WB增益WB1、闪光灯光用基准WB增益WB2及混合比率Ratio_ij(图13的S41)。

并且，通过增益计算部62，按原图像数据的每个像素，从环境光用基准WB增益WB1、闪光灯光用基准WB增益WB2和混合比率Ratio_ij获取应用WB增益WB_ij(S42)。

并且，通过WB处理部64，对原图像数据适用应用WB增益WB_ij来获取WB调整图像数据(S43)。

如以上说明，根据本实施方式，能够适当地进行原图像数据的多区域WB处理。

并且，按每个光源种类准备有多区域WB处理中使用的基准WB增益(环境光用基准WB增益和闪光灯光用基准WB增益)，因此用户还能够进行个别地变更光源种类的一部分影响的WB处理。例如，用户希望“想要仅对照射有闪光灯的图像部分(人物像等)稍微向红色方向进行修正”时，WB处理部64将在WB处理中使用的闪光灯光用基准WB增益稍微向红色方向错开即可。此时，能够仅使WB调整图像数据中的闪光灯光用基准WB增益的比率较高的人物像等图像部分的色调(彩色平衡)向红色方向位移，对闪光灯光用基准WB增益的比率较低且环境光用基准WB增益的比率较高的背景图像部分的影响较小。如此，根据本实施方式的图像处理部38，能够简单地获得与白平衡调整相关的自由度较高且满足用户要求的WB调整图像数据。

＜第6实施方式＞

本实施方式中，对与上述第1实施方式～第5实施方式相同或类似的结构和作用，省略详细的说明。

图14为表示第6实施方式所涉及的数据处理部31(图像处理部38)的功能结构例的框图。

本实施方式的数据处理部31除了处理数据获取部60、增益计算部62及WB处理部64以外，还具有设定模式获取部66及处理模式获取部68。

设定模式获取部66获取取得原图像数据时的WB设定模式的信息。WB设定模式信息的获取方法并无特别限定，原图像数据的标签信息中包含WB设定模式的信息时，设定模式获取部66可从通过处理数据获取部60获取的原图像数据的标签信息读取WB设定模式的信息来获取。

处理模式获取部68获取原图像数据的白平衡处理模式(以下，称为“WB处理模式”)的信息。本例的“WB处理模式”为用户所希望的WB模式，用户向处理模式输入部70输入希望作为处理图像数据的实际WB处理的WB模式作为“WB处理模式”。

处理模式输入部70的具体方式并无特别限定，处理模式输入部70搭载于数码相机2时，例如能够由“操作部9(参考图2)”构成处理模式输入部70。并且，处理模式输入部70搭载于计算机91、服务器92或便携式终端96时，能够由搭载于这些设备类的键盘、鼠标或者触摸面板等任意操作部构成处理模式输入部70。

通过处理模式获取部68获取的“原图像数据的WB处理模式的信息”发送至增益计算部62。并且，增益计算部62中发送由设定模式获取部66获取的“原图像数据的WB设定模式的信息”。

增益计算部62根据WB设定模式的信息及WB处理模式的信息判定为WB处理模式与WB设定模式相同时，根据从主存储器10经由处理数据获取部60获取的基准WB增益来计算应用WB增益。另一方面，判定为WB处理模式与WB设定模式不同时，增益计算部62获取根据WB处理模式设定的基准WB增益，并根据该基准WB增益计算应用WB增益。

例如，与WB设定模式为AWB模式相对地，WB处理模式为预设WB模式时，增益计算部62获取设定为预设WB模式用的WB增益，并根据该预设WB模式用基准WB增益设定新的基准WB增益(例如，环境光用基准WB增益WB1和闪光灯光用基准WB增益WB2)。根据WB处理模式设定的基准WB增益的获取方法并无限定，主存储器10中作为原图像数据的标签信息保存有“根据WB处理模式设定的基准WB增益”时，增益计算部62可读取所保存的信息来获取“根据WB处理模式设定的基准WB增益”。

另外，判定为WB处理模式与WB设定模式不同时，增益计算部62中的应用WB增益的计算中使用的多个基准WB增益的可全部发生变化，也可多个基准WB增益的仅一部分发生变化。例如，处理模式输入部70中，可由用户输入表示基准WB增益(例如，环境光用基准WB增益WB1和闪光灯光用基准WB增益WB2)中想从WB设定模式改变WB增益的对象和具体的变更后的WB增益的信息。此时，处理模式获取部68可获取由用户输入至处理模式输入部70的“想从WB设定模式改变WB增益的基准WB增益”和“具体的变更后的WB增益”的信息并发送至增益计算部62。增益计算部62将由用户输入的“想从WB设定模式改变WB增益的基准WB增益”变更为“具体的变更后的WB增益”，根据变更后的基准WB增益和混合比率获取应用WB增益。

图15为表示第6实施方式所涉及的图像处理流程的流程图。另外，以下例子中，对作为基准WB增益将环境光用基准WB增益WB1和闪光灯光用基准WB增益WB2存储于主存储器10的情况进行说明。

首先，通过处理数据获取部60，从主存储器10获取原图像数据、环境光用基准WB增益WB1、闪光灯光用基准WB增益WB2和混合比率Ratio_ij(图15的S51)。

并且，通过设定模式获取部66，获取取得原图像数据时的WB设定模式的信息，并且通过处理模式获取部68获取由用户输入至处理模式输入部70的WB处理模式的信息。并且，通过增益计算部62判定WB设定模式与WB处理模式是否相同(S52)。

WB设定模式与WB处理模式相同时(S52的是)，根据从主存储器10经由处理数据获取部60获取的基准WB增益(环境光用基准WB增益WB1和闪光灯光用基准WB增益WB2)和混合比率Ratio_ij，通过增益计算部62获取原图像数据的每个像素的应用WB增益WB_ij(S53)。

另一方面，WB设定模式与WB处理模式不同时(S52的否)，通过增益计算部62获取与WB处理模式相应的基准WB增益，所获取的基准WB增益设定为WB处理中使用的新的基准WB增益(环境光用基准WB增益WB1和闪光灯光用基准WB增益WB2)(S55)。并且，增益计算部62中，从重新设定的基准WB增益和混合比率Ratio_ij获取按原图像数据的每个像素设定的应用WB增益WB_ij(S53)。

并且，通过WB处理部64对原图像数据适用应用WB增益WB_ij来获取WB调整图像数据(S54)。

如以上说明，根据本实施方式，能够进行反映出调整白平衡时的用户的嗜好的多区域WB处理。

＜第7实施方式＞

本实施方式中，对与上述第1实施方式～第6实施方式相同或类似的结构和作用，省略详细说明。

本实施方式关于能够将基准WB增益的一部分或全部取代为与由用户指定的光源种类对应的WB增益来进行原图像数据的WB处理的例子。

图16为表示第7实施方式所涉及的数据处理部31(图像处理部38)的功能结构例的框图。

本实施方式的数据处理部31除了处理数据获取部60、增益计算部62、WB处理部64、设定模式获取部66及处理模式获取部68以外，还具有光源种类指定部72及指定增益获取部74。

光源种类指定部72接收由用户经由光源种类输入部76指定的光源种类的信息。光源种类输入部76的具体方式并无特别限定，与处理模式输入部70同样地，光源种类输入部76搭载于数码相机2时，例如能够由“操作部9(参考图2)”构成光源种类输入部76。并且，光源种类输入部76搭载于计算机91、服务器92或便携式终端96时，能够由搭载或连接于这些设备类的键盘、鼠标或者触摸面板等任意的操作部构成光源种类输入部76。

指定增益获取部74获取针对输入至光源种类输入部76并由光源种类指定部72接收的“由用户指定的光源种类”设定的基准WB增益。

增益计算部62将按原图像数据的每个光源种类设定的基准WB增益的至少一部分取代为通过指定增益获取部74获取的基准WB增益，并根据混合比率计算应用WB增益。

因此，用户能够将基准WB增益(例如，环境光用基准WB增益WB1和闪光灯光用基准WB增益WB2)中的一部分或全部取代为针对其他光源设定的基准WB增益，进行原图像数据的WB处理。

另外，处理模式输入部70和光源种类输入部76可一体设置，并且处理模式获取部68和光源种类指定部72可一体设置。此时，例如用户为了取代基准WB增益而向光源种类输入部76输入用于设定新的基准WB增益的光源种类时，增益计算部62可判定为WB设定模式与WB处理模式不同。

图17为表示第7实施方式所涉及的图像处理流程的流程图。以下的流程图的说明中，作为一例，对原图像数据的基准WB增益为环境光用基准WB增益WB1和闪光灯光用基准WB增益WB2的例子进行说明。

首先，通过处理数据获取部60，从主存储器10获取原图像数据、环境光用基准WB增益WB1、闪光灯光用基准WB增益WB2和混合比率Ratio_ij(图17的S61)。

并且，通过设定模式获取部66，获取取得原图像数据时的WB设定模式的信息，并且通过处理模式获取部68获取由用户输入的WB处理模式的信息，通过增益计算部62判定WB设定模式与WB处理模式是否相同(S62)。

WB设定模式与WB处理模式相同时(S62的是)，根据从主存储器10经由处理数据获取部60获取的基准WB增益(环境光用基准WB增益WB1和闪光灯光用基准WB增益WB2)和混合比率Ratio_ij，通过增益计算部62获取按原图像数据的每个像素设定的应用WB增益WB_ij(S63)。

另一方面，WB设定模式与WB处理模式不同时(S62的否)，用户将与用于确定重新设定的基准WB增益WB1、WB2的光源种类相关的信息输入至光源种类输入部76。输入至光源种类输入部76的光源种类的数据由光源种类指定部72获取，通过指定增益获取部74获取根据所输入的光源种类确定的新的基准WB增益WB1、WB2(S65)。并且，从新的基准WB增益WB1、WB2和混合比率Ratio_ij，通过增益计算部62获取按原图像数据的每个像素设定的应用WB增益WB_ij(S63)。

并且，通过WB处理部64对原图像数据适用应用WB增益WB_ij来获取WB调整图像数据(S64)。

如以上说明，根据本实施方式，能够进行反映出调整白平衡时的用户的与光源种类相关的嗜好的多区域WB处理。

另外，上述实施方式中，对判定WB处理模式是否与WB设定模式不同之后，由用户变更基准WB增益的光源种类的例子进行了说明，但可不判定WB处理模式是否与WB设定模式不同而根据需要由用户变更基准WB增益的光源种类。此时，例如图16所示的例子中，无需处理模式输入部70和处理模式获取部68。

＜第8实施方式＞

本实施方式中，对与上述第1实施方式～第7实施方式相同或类似的结构和作用，省略详细说明。

本实施方式关于一种显示部8中的调整图像数据的显示方式及白平衡调整。以下，作为一例，对将基于上述第5实施方式(图12参考)所涉及的图像处理部38(数据处理部31)中生成的WB调整图像数据的图像显示于显示部8的情况进行说明。

图18为表示第8实施方式所涉及的图像处理部38的功能结构例的框图。

本实施方式所涉及的图像处理部38除了数据处理部31以外，还包含显示控制部35及通过显示控制部35控制的显示部8。显示控制部35经由系统控制部25(参考图2)与操作部9连接，将基于WB调整图像数据的图像显示于显示部8。

图19为表示显示部8中的图像显示例的图。

图19所示的例子中，显示控制部35控制显示部8，并将基于调整图像数据的图像显示于显示部8的图像显示部80。并且，显示控制部35将表示原图像数据的光源种类的光源显示82显示于显示部8，原图像数据的光源种类有多个时，将按每个光源种类设定的多个光源显示82显示于显示部8。因此例如，作为原图像数据的光源设想环境光和闪光灯光时，与环境光相关的光源显示82a(图19所示的例子中为“WB1设定”)和与闪光灯光相关的光源显示82b(图19所示的例子中为“WB2设定”)显示于显示部8。

图19所示的例子中，以闪光灯发光图像数据作为原图像数据生成调整图像数据，基于调整图像数据的图像由人物像及包含建筑物的背景构成。因此，基于调整图像数据的图像中，人物像部分受闪光灯光的影响较大，而背景部分受环境光的影响较大。

并且，本实施方式中，用户指定原图像数据的光源中的任意一个，在图像显示部80中强调显示所指定的光源的影响较大的图像部分(像素)。

图20为表示用户指定强调显示的模式中的显示部8的显示例的图。图21为表示用户指定强调显示时的显示部8中的图像显示例的图。

多个光源显示82显示于显示部8时，显示控制部35能够根据用户经由操作部9的操作通过强调显示指定部84指定多个光源显示82中的任意一个。并且，显示控制部35根据与经由操作部9通过强调显示指定部84指定的光源显示82对应的光源的影响率，将显示于显示部8的图像显示部80的图像的一部分或全部作为强调显示部86。另外，光源的影响率能够根据混合比率确定，因此显示控制部35根据从主存储器10经由处理数据获取部60获取的混合比率，针对显示于图像显示部80的图像的各像素获取光源的影响率。

具体而言，显示控制部35中，显示于图像显示部80的基于调整图像数据的图像的像素中，可将与由用户经由操作部9通过强调显示指定部84指定的光源显示82对应的光源的影响率高于原图像数据的光源中的其他种类的光源的影响率的像素，在显示部8的图像显示部80中作为强调显示部86来强调显示。例如，原图像数据的光源种类为环境光(与图21的“光源显示82a”对应)和闪光灯光(与“光源显示82b”对应)时，若用户对操作部9进行操作而如图20那样通过强调显示指定部84指定与闪光灯光相关的光源显示82b，则如图21所示，闪光灯光的影响率高于环境光的影响率的人物图像部分的像素成为图像显示部80中的强调显示部86的对象。

另外，强调显示部86的判定基准并无特别限定，显示控制部35可代替比较原图像数据的光源之间的影响率，根据由用户指定的光源的影响率的绝对值确定强调显示部86的对象像素。即，显示控制部35在显示于图像显示部80的基于调整图像数据的图像中，在显示部8中强调显示与由用户经由操作部9指定的光源显示82对应的光源的影响率高于第1率的像素。在此所说的“第1率”能够设定为任意值，例如能够设定为50％等比率。

并且，强调显示部86的强调显示方法也无特别限定，例如可通过以粗线包围由成为强调显示对象的像素构成的区域等来进行强调显示部86的强调显示。

如以上说明，根据本实施方式，基于由用户的光源显示82的指定，特定光源的影响率较高的图像部分(像素)作为强调显示部86而显示于图像显示部80。因此，用户能够轻松地确认显示于图像显示部80的图像中特定光源种类的影响较大的部分。

＜第9实施方式＞

本实施方式中，对与上述第8实施方式相同或类似的结构和作用，省略详细说明。

本实施方式中，能够变更由用户指定的光源种类或改变影响率。以下，对能够变更由用户指定的光源种类的例子进行说明。

图22为表示第9实施方式所涉及的图像处理部38的功能结构例的框图。

本实施方式的图像处理部38除了数据处理部31、显示控制部35及显示部8以外，还包含调整图像的白平衡的白平衡调整部(以下，称为“WB调整部”)90。

图像处理部38的其他结构与上述第8实施方式所涉及的图像处理部38(参考图18)相同。

即，显示控制部35经由系统控制部25与由用户操作的操作部9连接(参考图3)。如图19所示，显示控制部35将基于调整图像数据的图像显示于显示部8的图像显示部80，并且将表示原图像数据的光源种类的光源显示82显示于显示部8，原图像数据的光源种类有多个时，将按每个光源种类设置的多个光源显示82显示于显示部8。

并且，多个光源显示82显示于显示部8时，显示控制部35能够根据用户经由操作部9进行的操作，通过强调显示指定部84(参考图20)指定多个光源显示82中的任意一个。并且，若通过强调显示指定部84指定多个光源显示82中的任意一个，则如图23所示，显示控制部35在显示部8显示变更显示88。变更显示88接收基于与经由操作部9通过强调显示指定部84指定的光源显示82对应的光源的白平衡的变更。

显示控制部35经由操作部9根据用户的操作，经由变更显示88接收图像中的白平衡的变更。图23所示的例子中，用户能够从显示于变更显示88的其他光源(“晴天”、“阴天”、“荧光灯”及“灯泡”等)中经由操作部9指定代替与显示“WB2设定”的光源显示82b对应的光源(闪光灯光)而采用的光源。

若通过显示控制部35接收到白平衡的变更，则WB调整部90变更调整基于显示于图像显示部80的调整图像数据的图像的白平衡，生成反映出向由用户指定的新的光源的变更的图像数据(以下，称为“变更图像数据”)。

并且，显示控制部35将基于通过WB调整部90变更调整白平衡的变更图像数据的图像显示于显示部8的图像显示部80。

另外，可代替变更光源，改变由用户指定的光源的影响率。即，多个光源显示82显示于显示部8时，若根据用户经由操作部9进行的操作指定多个光源显示82中的任意一个，则显示控制部35将接收与经由操作部9指定的光源显示82对应的光源在图像中的影响率的变更的变更显示88显示于显示部。并且，显示控制部35可根据用户经由操作部9进行的操作，经由变更显示接收“与所指定的光源显示82对应的光源的影响率”的变更量。图23所示的例子中，显示控制部35代替变更显示88中的“晴天”、“阴天”、“荧光灯”及“灯泡”等的显示，例如可以以任意方式将“0％”～“100％”的范围的比率显示于显示部8。此时，可设为用户能够经由操作部9选择显示于变更显示88的任意比率，将由用户选择的比率作为“与所指定的光源显示82对应的光源的影响率的变更量”。

此时，WB调整部90(参考图22)调整基于调整图像数据的图像的白平衡，生成将由显示控制部35经由光源显示82接收的影响率的变更量反映于图像的变更图像数据。并且，显示控制部35将基于通过WB调整部90变更调整白平衡的变更图像数据的图像显示于显示部8的图像显示部80。

如以上说明，根据本实施方式，用户能够以光源单位变更图像的白平衡。尤其，在显示部8(图像显示部80)中强调显示作为变更对象指定的光源的影响率较大的像素，因此用户能够轻松地判别变更图像的哪一部分的色调(彩色平衡)。

＜变形例＞

可组合上述的实施方式及变形例中的任意方式彼此。并且，上述实施方式仅为例示，可将本发明应用于其他结构。并且，上述各功能结构能够通过任意的硬件、软件或者两者的组合实现。例如，对使计算机执行上述各装置和处理部(数据处理部31等)中的图像处理方法(图像处理步骤)的程序、存储有该程序的计算机可读存储介质(非暂时性存储介质)、或者能够安装该程序的计算机也能够应用本发明。

并且，可应用本发明的方式不限定于数码相机及计算机(服务器)，除了以摄像为主要功能的相机类之外，还能够将本发明应用于除了摄像功能之外还具备摄像以外的其他功能(通话功能、通信功能、其他的计算机功能)的移动设备类。作为可应用本发明的其他方式，例如可举出具有相机功能的移动电话或智能手机、PDA(Personal Digital Assistants)、便携式游戏机。以下，对能够应用本发明的智能手机的一例进行说明。

＜智能手机的结构＞

图24是表示智能手机101的外观的图。图24所示的智能手机101具有平板状框体102，在框体102的一面具备作为显示部的显示面板121及与作为输入部的操作面板122成为一体的显示输入部120。并且，该框体102具备扬声器131、麦克风132、操作部140及相机部141。另外，框体102的结构并不限定于此，例如还能够采用显示部与输入部为独立的结构，或具有折叠结构或滑动机构的结构。

图25是表示图24所示的智能手机101的结构的框图。如图25所示，作为智能手机的主要构成要件，具备无线通信部110、显示输入部120、通话部130、操作部140、相机部141、存储部150、外部输入输出部160、GPS(Global Positioning System)接收部170、动作传感器部180、电源部190及主控制部100。并且，作为智能手机101的主要功能具备经由基站装置及移动通信网进行移动无线通信的无线通信功能。

无线通信部110根据主控制部100的命令，相对于容纳于移动通信网的基站装置进行无线通信。使用无线通信进行音频数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据或流数据等的接收。

显示输入部120为所谓的触摸面板，其具备显示面板121及操作面板122，通过主控制部100的控制，显示图像(静态图像及动态图像)和文字信息等来视觉性地向用户传递信息，并且检测相对于所显示信息的用户操作。

显示面板121能够将LCD(Liquid Crystal Display)或OELD(Organic Electro-Luminescence Display)等用作显示设备。操作面板122是以能够视觉识别显示于显示面板121的显示面上的图像的方式载置，并检测通过用户的手指或触控笔操作的坐标的设备。若通过用户的手指或触控笔操作该设备，则将因操作而产生的检测信号输出至主控制部100。接着，主控制部100根据所接收的检测信号检测显示面板121上的操作位置(坐标)。

如图24所示，作为本发明的摄像装置的一实施方式例示的智能手机101的显示面板121与操作面板122成为一体而构成显示输入部120，配置成操作面板122完全覆盖显示面板121。采用该配置时，操作面板122可具备对显示面板121外的区域也检测用户操作的功能。换言之，操作面板122可具备针对与显示面板121重叠的重叠部分的检测区域(以下，称为“显示区域”)和针对不与显示面板121重叠的除此以外的外缘部分的检测区域(以下，称为“非显示区域”)。

另外，可使显示区域的大小与显示面板121的大小完全一致，但并不一定要使两者一致。并且，操作面板122可具备外缘部分及除此以外的内侧部分的2个感应区域。而且，外缘部分的宽度根据框体102的大小等适当设计。而且，作为在操作面板122中采用的位置检测方式，还可举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，可采用任一方式。

通话部130具备扬声器131和麦克风132，将通过麦克风132输入的用户的声音转换为能够在主控制部100中处理的音频数据来输出至主控制部100，对通过无线通信部110或外部输入输出部160接收的音频数据据进行解码并从扬声器131输出。并且，如图24所示，例如，能够将扬声器131搭载于与设置有显示输入部120的表面相同的表面，并将麦克风132搭载于框体102的侧面。

操作部140为使用键开关等的硬件键，接收来自用户的命令。例如，如图24所示，操作部140搭载于智能手机101的框体102的侧面，为若被手指等按下则打开，若手指离开则通过弹簧等的复原力成为关闭状态的按键式开关。

存储部150存储主控制部100的控制程序和控制数据、应用程序软件、对通信对象的名称和电话号码等建立对应关系的地址数据、所收发的电子邮件的数据、通过Web浏览下载的Web数据及已下载的目录数据，并且临时存储流数据等。并且，存储部150由智能手机内置的内部存储部151及具有装卸自如的外部存储器插槽的外部存储部152构成。另外，构成存储部150的各个内部存储部151与外部存储部152使用例如闪存类型(flash memory type)、硬盘类型(hard disk type)、微型多媒体卡类型(multimedia card micro type)、卡类型的存储器(例如，MicroSD(注册商标)存储器等)、RAM(Random Access Memory)或ROM(Read Only Memory)等存储介质来实现。

外部输入输出部160发挥与智能手机101连结的所有外部设备的接口作用，通过通信等(例如，通用串行总线(USB)和确定IEEE(The Institute of Electrical and Electronics Engineers,Inc.)的IEEE1394等)或网络(例如，互联网、无线LAN(Local Area Network)、蓝牙(Bluetooth)(注册商标)、RFID(Radio Frequency Identification)、红外线通信(Infrared Data Association：IrDA)(注册商标)、UWB(Ultra Wideband)(注册商标)、紫蜂(ZigBee)(注册商标)等)直接或间接地连接其他外部设备。

作为与智能手机101连结的外部设备，例如有有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡插槽连接的存储卡(Memory card)或SIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)卡、经由音频·视频I/O(Input/Output)端子连接的外部音频·视频设备、无线连接的外部音频·视频设备、有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的耳机等。外部输入输出部可将从这种外部设备接收传送的数据传递至智能手机101的内部的各构成要件，或使智能手机101内部的数据传送至外部设备。

GPS接收部170根据主控制部100的命令接收从GPS卫星ST1～STn发送的GPS信号，执行基于所接收的多个GPS信号的测位运算处理，检测由该智能手机101的纬度、经度、高度构成的位置。GPS接收部170在能够从无线通信部110或外部输入输出部160(例如，无线LAN)获取位置信息时，还能够利用该位置信息检测位置。

动作传感器部180例如具备3轴加速度传感器等，根据主控制部100的命令，检测智能手机101的物理动态。通过检测智能手机101的物理动态，可检测智能手机101的移动方向或加速度。该检测结果被输出至主控制部100。

电源部190根据主控制部100的命令，向智能手机101的各部供给蓄积在电池(未图示)的电力。

主控制部100具备微处理器，根据存储部150所存储的控制程序或控制数据动作，统一控制智能手机101的各部。主控制部100为了通过无线通信部110进行音频通信或数据通信，具备控制通信系统的各部的移动通信控制功能和应用程序处理功能。

应用程序处理功能通过主控制部100根据存储部150所存储的应用程序而动作来实现。作为应用程序处理功能，例如可举出通过控制外部输入输出部160来与对象设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能及浏览Web页的Web浏览功能等。

主控制部100具备根据接收数据或所下载的流数据等图像数据(静态图像或动态图像的数据)向显示输入部120显示影像等的图像处理功能。图像处理功能是指主控制部100解码上述图像数据，并对该解码结果实施图像处理来将图像显示于显示输入部120的功能。

而且，主控制部100执行对显示面板121的显示控制和检测通过操作部140与操作面板122进行的用户操作的操作检测控制。

通过执行显示控制，主控制部100显示用于启动应用程序软件的图标、或显示滚动条等软件键、或者显示用于创建电子邮件的窗口。另外，滚动条是指用于针对无法完全容纳于显示面板121的显示区域的较大图像等，接收移动图像的显示部分的命令的软件键。

并且，通过执行操作检测控制，主控制部100检测通过操作部140进行的用户操作，或接收通过操作面板122进行的相对于上述图标的操作或对上述窗口的输入栏的文字列的输入，或者接收通过滚动条进行的显示图像的滚动要求。

而且，通过执行操作检测控制，主控制部100具备触控面板控制功能，该功能判定相对于操作面板122的操作位置是与显示面板121重叠的重叠部分(显示区域)还是除此以外的不与显示面板121重叠的外缘部分(非显示区域)，并控制操作面板122的感应区域或软件键的显示位置。

并且，主控制部100还能够检测相对于操作面板122的手势操作并根据检测出的手势操作执行预先设定的功能。手势操作是指并非以往的简单的触控操作，而是根据手指等描绘轨迹，或同时指定多个位置，或者组合这些来从多个位置对至少一个描绘轨迹的操作。

相机部141为使用CMOS等成像元件进行电子拍摄的数码相机。并且，相机部141通过主控制部100的控制，能够将通过拍摄获得的图像数据转换为例如JPEG等压缩的图像数据并存储于存储部150，通过外部输入输出部160或无线通信部110输出。如图24所示，智能手机101中，相机部141搭载于与显示输入部120相同的表面，但相机部141的搭載位置并不限于此，可搭载于显示输入部120的背面，或者也可搭载有多个相机部141。另外，搭载有多个相机部141时，还能够切换供拍摄的相机部141来单独拍摄或者同时使用多个相机部141进行拍摄。

并且，相机部141能够利用于智能手机101的各种功能中。例如，能够利用于在显示面板121显示通过相机部141获取的图像，或者作为操作面板122的操作输入之一利用相机部141的图像。并且，当GPS接收部170检测位置时，还能够参考来自相机部141的图像来检测位置。而且，还能够参考来自相机部141的图像，不使用3轴加速度传感器或者与3轴加速度传感器同时使用来判断智能手机101的相机部141的光轴方向，或判断当前的使用环境。当然，能够在应用程序软件内利用来自相机部141的图像。

此外，将对静态图像或动态图像的图像数据附加通过GPS接收部170获取的位置信息、通过麦克风132获取的音声信息(也可以通过主控制部等进行音频文本转换而成为文本信息)、通过动作传感器部180获取的姿势信息等等来存储于存储部150，并通过外部输入输出部160或无线通信部110进行输出。

上述图像处理部38(参考图4、6、8、12、14、16、18及22)例如能够通过主控制部100实现。

符号说明

2-数码相机，3-相机主体，4-透镜镜筒，5-闪光灯发光部，6-快门按钮，7-电源开关，8-显示部，9-操作部，10-主存储器，12-透镜部，20-机械快门，21-成像元件，22-工艺处理部，23-AD转换部，24-缓冲存储器，25-系统控制部，26-快门驱动部，27-透镜驱动部，28-电源控制部，29-电源，30-控制存储器，31-数据处理部，32-压缩/扩展部，33-存储控制部，34-时钟设备，35-显示控制部，36-用户界面，38-图像处理部，40-光源种类判定部，42-增益获取部，44-混合比获取部，46-闪光灯图像获取部，48-设定模式判定部，60-处理数据获取部，62-增益计算部，64-WB处理部，66-设定模式获取部，68-处理模式获取部，70-处理模式输入部，72-光源种类指定部，74-指定增益获取部，76-光源种类输入部，80-图像显示部，82-光源显示，84-强调显示指定部，86-强调显示部，88-变更显示，90-WB调整部，91-计算机，92-服务器，94-网络，96-便携式终端，100-主控制部，101-智能手机，102-框体，110-无线通信部，120-显示输入部，121-显示面板，122-操作面板，130-通话部，131-扬声器，132-麦克风，140-操作部，141-相机部，150-存储部，151-内部存储部，152-外部存储部，160-外部输入输出部，170-GPS接收部，180-动作传感器部，190-电源部。