图像处理装置和图像处理方法与流程
本发明涉及合成曝光量不同的多张图像而生成合成图像数据的图像处理装置和图像处理方法。
背景技术：
例如，有时在如能够从窗户看到晴天的室外的风景且室内的照明比较暗的情况等明暗差较大的场景中，如果使曝光与室外的风景匹配则室内变得死黑，如果使曝光与室内匹配则室外的风景变得死白。
在这种明暗差较大的场景中，为了满足想要获得尽可能保留了室内和室外风景双方的灰度的图像的需求，提出了采用生成动态范围大于1张图像的合成图像(高动态范围图像)的HDR合成的技术的数字照相机。
在这样的数字照相机中，拍摄曝光量不同的多张图像、例如包含比适当曝光亮的曝光条件的图像和比适当曝光暗的曝光条件的图像在内的多张图像，对这些曝光量不同的多张图像进行HDR合成并生成合成图像数据。
与通常的1张摄影的图像数据同样，也对这样获得的合成图像数据进行白平衡校正。但是，由于作为生成合成图像数据的依据的图像数据为多个，所以进行了关于根据哪个图像数据来计算白平衡系数的提案。
例如，在日本特开2014-175734号公报中记载了以下技术：根据预先确定的条件来选择将曝光量不同的至少2个图像中的哪个图像的评价结果用于计算白平衡校正值。
可是，关于1张图像的白平衡校正值的计算，在日本特开2003-244723号公报中记载了将图像分割为多个区域的技术。
作为如上所述的HDR合成图像的白平衡校正方法，例如考虑有以下两种方法。
第1方法是根据HDR合成图像本身计算白平衡系数，进行白平衡校正。但是，在该方法的情况下，如果不生成HDR合成图像，则无法计算白平衡系数，白平衡校正需要时间。并且，由于曝光量因图像内的区域的不同而不同，所以HDR合成图像有时不会获得白平衡良好的结果。
此外，第2方法分别对HDR合成前的多个图像计算白平衡系数并进行白平衡校正，对白平衡校正后的多个图像进行HDR合成。这里，虽然在HDR合成前的图像中存在亮度相当低的死黑部分或亮度相当高的死白部分，但是有时在这样的部分中失去白平衡。所以，即使对使用根据HDR合成前的图像而计算出的白平衡系数来进行白平衡校正所得的图像进行合成，有时也无法获得被良好地校正了白平衡的HDR合成图像。
同样，在如上述日本特开2014-175734号公报所记载的、使用根据曝光量不同的多张图像中的任意1张图像而计算出的白平衡系数对HDR合成图像进行白平衡校正的情况下，有时也由于在动态范围较大的场景中存在死黑部分或死白部分而无法获得适当的白平衡系数，所以不会获得白平衡良好的结果。而且，白平衡系数根据采用曝光量不同的多张图像中的哪个图像而发生变化，所以白平衡校正结果变得不稳定。
此外，由于上述日本特开2003-244723号公报是计算1张图像的白平衡校正值的技术，所以没有记载如何进行HDR合成图像的白平衡校正。
技术实现要素：
本发明的目的在于提供一种能够高速且稳定地进行适合于合成图像的白平衡检测的图像处理装置和图像处理方法。
本发明的一个方式的图像处理装置，其特征在于，该图像处理装置具有：图像信息计算部，其将曝光量不同的多张图像数据中的2张以上的图像数据分别分割为多个区域，按照分割后的每个区域，计算包含亮度相当值在内的图像信息；图像数据选择部，其根据对上述亮度相当值和规定阈值进行比较所得的结果，按照每个上述区域，从上述2张以上的图像数据中选择1个以上在白平衡调整中使用的图像数据；白平衡增益计算部，其使用由上述图像数据选择部按照每个上述区域选择的图像数据，计算应用于合成图像数据的白平衡系数；合成部，其将上述曝光量不同的多张图像数据合成而生成合成图像数据；以及白平衡校正部，其使用由上述白平衡增益计算部计算出的白平衡系数，校正上述合成图像数据的白平衡。
本发明的一个方式的图像处理方法，其特征在于，该图像处理方法具有：第1步骤，将曝光量不同的多张图像数据中的2张以上的图像数据分别分割为多个区域，按照分割后的每个区域，计算包含亮度相当值在内的图像信息；第2步骤，根据对上述亮度相当值和规定阈值进行比较所得的结果，按照每个上述区域，从上述2张以上的图像数据中选择1个以上在白平衡调整中使用的图像数据；第3步骤，使用通过上述第2步骤按照每个上述区域所选择的图像数据，计算应用于合成图像数据的白平衡系数；第4步骤，将上述曝光量不同的多张图像数据合成而生成合成图像数据；以及第5步骤，使用通过上述第3步骤计算出的白平衡系数，校正上述合成图像数据的白平衡。
附图说明
图1是示出本发明实施方式1的摄像装置的结构的框图。
图2是示出上述实施方式1的摄像装置的摄影模式的处理的流程图。
图3是示出上述实施方式1的图2的步骤S6的评价值生成处理的详细内容的流程图。
图4是示出上述实施方式1的处于HDR合成模式时的图3的步骤S25的图像数据选择处理的详细内容的流程图。
图5是示出上述实施方式1的处于HDR合成水中摄影模式时的图3的步骤S25的图像数据选择处理的详细内容的流程图。
图6是示出上述实施方式1的图2的步骤S9的基本图像处理的详细内容的流程图。
图7是示出上述实施方式1的、根据摄影时的条件设定用于与适当曝光图像的亮度相当值进行比较的阈值的例子的图。
图8是示出上述实施方式1的、在计算摄影张数为3张时的每个区域的评价值时，在阈值附近对曝光量不同的图像进行加权相加的例子的线图。
图9是示出上述实施方式1的、在计算摄影张数为2张时的每个区域的评价值时，在阈值附近对曝光量不同的图像进行加权相加的例子的线图。
图10是示出上述实施方式1的、根据区域中的适当曝光图像的亮度相当值来改变对计算整个图像的评价值时的区域的权值的例子的线图。
具体实施方式
以下，参照附图说明本发明的实施方式。
(实施方式1)
图1至图10示出了本发明的实施方式1，图1是示出摄像装置的结构的框图。即，本实施方式将合成曝光量不同的多张图像数据而生成合成图像数据的图像处理装置应用于摄像装置。
另外，虽然在本实施方式中，以镜头更换式的数字照相机作为摄像装置为例进行说明，但是不限于此，只要是镜头固定式的小型数字照相机或者智能手机等具有摄像功能的装置即可，可以为任意的装置。
该摄像装置构成为经由接口(1/F)3以能够进行通信的方式连接更换式镜头1和照相机主体2，并具有将连拍所得的多张图像数据合成而生成1张合成图像数据的功能。
更换式镜头1例如经由镜头安装部拆装自如地安装于照相机主体2，利用形成于镜头安装部的电触点(设置于更换式镜头1侧的电触点和设置于照相机主体2侧的电触点)等构成接口3。
更换式镜头1具有：镜头11、光圈12、驱动器13、闪存14和微型计算机15。
镜头11是用于将被摄体的光学像成像到照相机主体2的后述的摄像元件22上的摄影光学系统。
光圈12是对从镜头11朝向摄像元件22的光束的通过范围进行控制的光学光圈。
驱动器13根据来自微型计算机15的指令，驱动镜头11进行对焦位置的调整，在镜头11为电动变焦镜头等的情况下进一步进行焦距的变更。除此以外，驱动器13根据来自微型计算机15的指令，驱动光圈12使开口直径发生变化。通过该光圈12的驱动，被摄体的光学像的亮度发生变化，模糊的大小等也发生变化。
闪存14是存储由微型计算机15执行的控制程序或与更换式镜头1相关的各种信息的存储介质。
微型计算机15是所谓的镜头侧计算机，并与驱动器13、闪存14和接口3连接。而且，微型计算机15经由接口3与后述的主体侧计算机即微型计算机50进行通信，接收来自微型计算机50的指令，进行存储在闪存14中的信息的读出/写入，对驱动器13进行控制。并且，微型计算机15将与该更换式镜头1相关的各种信息发送到微型计算机50。
接口3将更换式镜头1的微型计算机15和照相机主体2的微型计算机50连接成能够在双方向上进行通信。
接着，照相机主体2具有：快门21、摄像元件22、模拟处理部23、模拟/数字转换部(A/D转换部)24、总线25、SDRAM26、AE处理部27、AF处理部28、图像处理部30、图像压缩部37、图像解压缩部38、LCD驱动器41、LCD42、存储器接口(存储器I/F)43、记录介质44、操作部47、闪存48和微型计算机50。
快门21用于对来自镜头11的光束到达摄像元件22的时间进行控制，例如是使快门帘移动的结构的机械式快门。该快门21通过微型计算机50的指令而被驱动，并对光束到达摄像元件22的时间、即摄像元件22对被摄体的曝光时间进行控制。
摄像元件22是具有在摄像面上以规定的像素间距2维状排列的多个像素，根据摄像控制部即微型计算机50的控制，接收来自镜头11和光圈12的光束并进行拍摄(也就是说，对所形成的被摄体的光学像进行光电转换)后生成模拟图像信号的摄像部。这里，由于摄像元件22以将与镜头11的光轴垂直的面作为受光面的方式配置，所以多个像素的2维排列方向成为与镜头11的光轴垂直的方向。
本实施方式的摄像元件22例如构成为以下单板式的摄像元件：在垂直方向和水平方向上排列的多个像素的前表面配置有原色拜尔排列(R(红色)G(绿色)B(蓝色)拜尔排列)的滤色片。另外，摄像元件22当然不限于单板式的摄像元件，例如也可以为在基板厚度方向上对颜色成分进行分离的层叠式的摄像元件。
模拟处理部23对从摄像元件22读出的模拟图像信号降低了重置噪声等之后进行波形整形，然后进行增益放大，以便成为目标亮度。
A/D转换部24将从模拟处理部23输出的模拟图像信号转换为数字图像信号(适当称作图像数据)。
总线25是用于将在摄像装置内的某个部位产生的各种数据或控制信号传输到摄像装置內的其他部位的传输通道。本实施方式的总线25与A/D转换部24、SDRAM26、AE处理部27、AF处理部28、图像处理部30、图像压缩部37、图像解压缩部38、LCD驱动器41、存储器I/F43和微型计算机50连接。
从A/D转换部24输出的图像数据(以下适当称作RAW图像数据)经由总线25被传输，并临时存储在SDRAM26中。
SDRAM26是用于临时存储上述的RAW图像数据或者在图像处理部30、图像压缩部37、图像解压缩部38等中处理后的图像数据等各种数据的存储部。
AE处理部27根据RAW图像数据，计算被摄体亮度。这里计算出的被摄体亮度用于自动曝光(AE)控制、即光圈12的控制或快门21的控制、摄像元件22的曝光时机控制(或者所谓的电子快门的控制)等。
AF处理部28从RAW图像数据中提取高频成分信号，通过AF(自动对焦)累计处理取得对焦检测值。这里取得的合焦检测值用于镜头11的AF驱动。另外，AF当然不限定于这种对比度AF，例如也可以构成为使用专用的AF传感器(或者摄像元件22上的AF用像素)进行位相差AF。
图像处理部30用于对图像数据进行各种图像处理，包含图像数据选择部31、白平衡增益计算部32、HDR合成部33和基本图像处理部34。
图像数据选择部31作为图像信息计算部发挥作用，该图像信息计算部将曝光量不同的多张图像数据中的2张以上的图像数据分别分割为多个区域，按照分割后的每个区域，计算包含亮度相当值的图像信息。并且，图像数据选择部31根据对亮度相当值和规定阈值进行比较所得的结果，按照每个区域从上述2张以上的图像数据中选择1个以上在白平衡调整中使用的图像数据。这样，图像数据选择部31在进行HDR合成处理时，按照分割后的每个区域，选择使用在何种曝光条件下拍摄出的图像数据。此外，在图像数据选择部31选择图像数据时，无需将在HDR合成处理中使用的曝光量不同的多张图像数据全部作为在白平衡调整中使用的图像数据的候选，将2张以上作为候选即可。
白平衡增益计算部32使用由图像数据选择部31按照每个区域选择出的图像数据，计算白平衡系数来作为用于适合于合成图像数据的白平衡增益。
HDR合成部33是将曝光量不同的多张图像合成而生成高动态范围图像合成(HDR图像合成)的图像合成部。具体而言，该HDR合成部33进行以下等处理：比较例如曝光量不同的多张图像的同一像素位置的亮度相当值，采用亮度相当值最佳的图像的像素值作为HDR合成图像的像素值。
基本图像处理部34进行OB减法、白平衡校正、同时化、色彩矩阵运算、γ转换、颜色校正、边缘强调、降噪等各处理。所以，基本图像处理部34具有作为白平衡校正部的功能。将通过该图像处理部30进行各种处理后的图像数据再次存储到SDRAM26。
图像压缩部37在记录图像数据时，从SDRAM26中读出由图像处理部30处理后的图像数据，并按照JPEG压缩方式进行压缩，生成JPEG图像数据。该JPEG图像数据由微型计算机50赋予文件头等，并作为JPEG文件经由存储器I/F43记录在记录介质44中。
图像解压缩部38进行压缩图像数据的解压缩。例如在进行已记录完成图像的再现的情况下，根据微型计算机50的控制，对于经由存储器I/F43从记录介质44中读出的JPEG文件中的JPEG图像数据，由图像解压缩部38按照JPEG解压缩方式，进行解压缩。
LCD驱动器41读出存储在SDRAM26中的图像数据，将读出的图像数据转换为影像信号，对LCD42进行驱动控制并使LCD42显示基于影像信号的图像。
LCD42通过如上所述的LCD驱动器41的驱动控制，显示图像，并且显示该摄像装置涉及的各种信息。
这里，在LCD42中进行的图像显示包括短时间内显示刚刚拍摄的图像数据的记录浏览显示、记录在记录介质44中的JPEG文件的再现显示和实时取景显示等。
存储器I/F43是进行向记录介质44记录图像数据的控制的记录控制部，并且，还进行来自记录介质44的图像数据的读出。
记录介质44是非易失性存储图像数据的记录部，例如由能够在照相机主体2上拆装的存储卡等构成。但是，记录介质44不限于存储卡，可以是盘状的记录介质，也可以是其他任意的记录介质。所以，记录介质44无需是摄像装置固有的结构。
操作部47用于进行针对该摄像装置的各种操作输入，包含：用于使摄像装置的电源接通/断开的电源按钮、用于指示图像的摄影开始的例如由1st(第一)释放开关和2nd(第二)释放开关构成的2级式操作按钮的释放按钮、用于进行记录图像的再现的再现按钮、用于进行摄像装置的设定等的菜单按钮、在项目的选择操作中使用的+字键或在选择项目的确定操作中使用的OK按钮等操作按钮等。这里，能够使用菜单按钮或十字键、OK按钮等进行设定的项目包含摄影模式(程序摄影模式、光圈优先摄影模式、快门速度优先摄影模式、手动摄影模式、HDR合成模式、水中摄影模式、HDR合成水中摄影模式等)、记录模式(JPEG记录模式、RAW+JPEG记录模式等)和再现模式等。在对操作部47进行操作后，将与操作内容相应的信号输出到微型计算机50。
闪存48是非易失性存储由微型计算机50执行的处理程序和该摄像装置涉及的各种信息的存储介质。这里，作为由闪存48进行存储的信息，可举出例如在图像处理中使用的参数、用于确定照相机主体2的设备种类名称或制造编号、由用户设定的设定值等若干例子。该闪存48进行存储的信息通过微型计算机50读取。
微型计算机50是用于对照相机主体2内的各部分进行控制，并且经由接口3向微型计算机15发送指令，控制更换式镜头1的装置，并且是统一控制该摄像装置的控制部。在由用户从操作部47进行操作输入后，微型计算机50按照在闪存48中存储的处理程序，从闪存48读入处理所需的参数，执行与操作内容相应的各种处理序列。
作为控制部的微型计算机50作为摄像控制部发挥作用，该摄像控制部在HDR合成模式(或HDR合成水中摄影模式、以下适当情况下相同)下，一边控制光圈12或快门21或模拟处理部23的增益(ISO感光度)等一边使摄像元件22进行拍摄，取得曝光量不同的多张图像数据。
接着，图2是示出摄像装置的摄影模式的处理的流程图。该处理(和以下的各流程图所示的处理)基于作为控制部的微型计算机50的控制来进行。
在利用电源按钮接通摄像装置的电源并进行未图示的主流程的处理时，在通过操作部47的操作将摄像装置设定为摄影模式后，执行该处理。
然后，首先，进行摄影条件的设定(步骤S1)。这里，用户取得所设定的各种摄影条件，并进行设定以成为所取得的摄影条件。具体而言，用户判定将程序摄影模式、光圈优先摄影模式、快门速度优先摄影模式、手动摄影模式、HDR合成模式、水中摄影模式、HDR合成水中摄影模式等中的哪个模式设定为摄影模式，根据判定结果来进行摄像装置的模式设定。
另外，以下，对设定HDR合成模式或HDR合成水中摄影模式的情况进行说明。
接着，基于在例如实时取景时取得的图像，通过AE处理部27来进行测光运算，通过AF处理部28来进行测距运算，确定曝光条件(步骤S2)。
即，基于测距运算结果来驱动镜头11的对焦镜头，调整为使被摄体像对焦于摄像元件22上，基于测光运算结果来计算曝光量并进行设定。但是，在用户手动设定对焦位置和曝光量的情况下，优先于自动设定值而使用这些手动设定值。
这里，由于假设设定了HDR合成模式或HDR合成水中摄影模式的情况，因此基于测光运算结果计算用于获得适当曝光图像的曝光条件、用于获得比适当曝光图像暗的曝光不足图像的曝光条件和用于获得比适当曝光图像亮的曝光过度图像的曝光条件，例如首先将光圈值或快门速度或ISO感光度等设定成用于获得适当曝光图像的曝光条件(其中，由于摄影顺序未特别限定，所以在先于适当曝光图像而拍摄曝光不足图像或曝光过度图像的情况下，首先设定用于获得这些图像的曝光条件)。这里，曝光不足图像和曝光过度图像相对于适当曝光图像的各曝光校正量可以在存在用户设定的值的情况下使用该值，在不存在用户设定值的情况下使用预先确定的值。
而且，根据设定的曝光条件，拍摄1张图像(步骤S3)。
接着，判定HDR合成模式(或HDR合成水中摄影模式)下的规定张数的摄影是否结束(步骤S4)。该摄影张数也可以在存在用户设定的张数的情况下使用该张数，在不存在用户设定的张数的情况下，使用预先确定的张数。另外，在本实施方式中，基本上对规定张数为3张(或者如之后参照图7进行说明的那样，也有时在动态图像或浏实时取景图像等的HDR合成处理中，摄影张数为2张(不拍摄适当曝光图像，而是仅拍摄曝光不足图像和曝光过度图像等))的情况进行说明。
在该步骤S4中判定为规定张数的摄影未结束的情况下，在将曝光条件变更为下一个图像用的曝光条件后(步骤S5)，返回到步骤S3进行下一拍摄。
这样，在步骤S4中判定为规定张数的摄影已结束的情况下，图像数据选择部31生成评价值(步骤S6)。另外，作为在评价值的生成中使用的图像，可以使用所拍摄的全部图像，也可以使用一部分的图像。例如，也可以使用所拍摄的多张图像中的适当曝光图像和在最过度的曝光条件下拍摄的图像和在最不足的曝光条件下拍摄的图像。
这里，图3是示出图2的步骤S6的评价值生成处理的详细内容的流程图。
在开始该处理后，首先，微型计算机50作为水中摄影判定部发挥作用，判定是否为水中摄影(步骤S21)。该判定可以基于用户进行的手动的设定输入(用于设定为HDR合成水中摄影模式的输入等)来进行，也可以通过分析所拍摄的图像中的例如适当曝光图像来进行自动判定。在自动判定的情况下，例如可以举出分析整个图像的颜色成分，在蓝色成分的比率较高的情况下判定为是水中摄影的方法等。
接着，将曝光量不同的多张图像中的2张以上的图像数据分别分割为多个即N个区域(步骤S22)。这里，如果列举分割方法的一例，则为纵64×横64分割。此外，分割可以按照等间隔(也就是说，使各区域的大小均等)进行，或者也可以在中央部和周边部按照不同的间隔进行。以下，适当通过i(i＝1，……，N)对分割后的区域进行区别。
并且，图像数据选择部31设定在选择图像时使用的阈值(步骤S23)。这里，在将曝光量不同的多张图像数据中的2张以上的图像数据的张数设为n张时，图像数据选择部31将阈值设定为(n-1)个。作为具体例，在图像张数为3张时，图像数据选择部31将阈值设定为2个。
此外，阈值无需按照每个区域i而不同，也可以对全部区域i使用相同的值。而且，阈值可以为预先确定的值，也可以为根据摄影时的条件来进行调整后的值。之后参照图7，对图像数据选择部31根据摄影时的条件来设定阈值的例子进行说明。
接着，分别对适当曝光图像、曝光过度图像、曝光不足图像，按照每个区域i来计算图像信息(步骤S24)。这里计算的图像信息包含亮度相当值，在是作为例如RGB拜尔图像的RAW图像的情况下，符合该亮度相当值的有将区域i内的G像素的像素值的平均值(或者可以为累计值，以下同样)或者区域i内的RGB的各颜色成分的每个像素值的平均值转换为Y值后所得的平均Y值等。
具体而言，假设在利用e表示曝光量不同的图像，特别是在图像张数为3张时，利用e＝0表示适当曝光图像，利用e＝+1表示曝光过度图像，利用e＝-1表示曝光不足图像。
而且，如下述式1所示，分别利用Rei，Gei，Bei表示图像e中的、在区域i中包含像素坐标(x，y)的(也就是说，(x，y)∈i)的颜色成分Re(x，y)，Ge(x，y)，Be(x，y)的平均值。
[式1]
这里计算出的图像信息的颜色成分的区域平均值Rei，Gei，Bei中的、包含最多亮度成分的颜色成分的区域平均值Gei与上述的亮度相当值对应。但是，如上所述，也可以通过将各颜色成分的区域平均值Rei，Gei，Bei乘以系数后相加，计算亮度成分的区域平均值Yei，将该亮度成分的区域平均值Yei用作亮度相当值。
接着，使用在步骤S23中设定出的阈值和在步骤S24中计算出的亮度相当值，设定是按照每个区域i选择1个以上的哪个图像e来作为在白平衡调整中使用的图像，更具体而言，设定是按照每个区域i以何种权重we来使用哪个图像e(步骤S25)。
这里，权重we满足如下述式2所示的归一化条件。
[式2]
之后参照图4、图5、图8、图9等，对将该权重we设为什么值的具体例子进行说明。
在这样设定了权重we后，图像数据选择部31根据利用权重we对于某个区域i选择出的1个以上的图像中的该区域i的图像信息(颜色成分的区域平均值Rei，Gei，Bei)，如下述式3所述地计算区域i的加权颜色成分Ri，Gi，Bi(步骤S26)。这里计算出的加权颜色成分Ri，Gi，Bi是计算白平衡系数时使用的每个区域i的评价值。
[式3]
这样，在进行了步骤S26的处理后，从该处理返回。
返回到图2的说明，白平衡增益计算部32根据由图像数据选择部31计算出的评价值，计算应用于合成图像数据用的白平衡系数(步骤S7)。
具体而言，首先，根据每个区域i的评价值Ri，Gi，Bi，使用例如每个区域i的权重αi，如下述式4所述地计算整个图像的评价值<R>，<G>，<B>。
[式4]
这里，如果针对全部i设为αi＝1，则设每个区域i的评价值Ri，Gi，Bi的简单平均为整个图像的评价值<R>，<G>，<B>。此外，之后将参照图10对根据每个区域i的亮度相当值来设定权重αi的例子进行说明。并且，不限于这些例子，也可以利用其他适当的方法来设定权重αi。
而且，根据整个图像的评价值<R>，<G>，<B>，如下述式5所述地计算对于整个图像适用的全局的白平衡系数，即对于HDR合成图像的R成分适用的白平衡系数gr和对于HDR合成图像的B成分适用的白平衡系数gb。
[式5]
接着，HDR合成部33对曝光量不同的多张图像进行合成，生成动态范围大于1张图像的高动态范围图像(步骤S8)。这里，在多张图像中存在位置偏差的情况下，例如在以适当曝光图像为基准对适当曝光以外的图像进行位置对准后再进行由HDR合成部33进行的合成处理。
另外，以下，假设对RAW图像数据进行由HDR合成部33进行的处理，所生成的高动态范围图像也为RAW图像来进行说明。但是，对由图像处理部30进行了图像处理的图像数据进行由HDR合成部33进行的合成处理也无妨。
接着，基本图像处理部34对作为所生成的高动态范围图像的RAW图像进行图像处理(所谓的显像处理)，生成YC图像(亮度色差图像)或RGB图像(步骤S9)。
然后，图像压缩部37对被显像处理后的图像进行JPEG压缩，由微型计算机50经由存储器I/F43作为JPEG文件记录在记录介质44中(步骤S10)，从该处理返回到未图示的主处理。
接着，图4是示出处于HDR合成模式时的图3的步骤S25的图像数据选择处理的详细内容的流程图。如上所述，该图像数据选择处理按照每个区域i来进行。
首先，关于某个区域i，将适当曝光图像的亮度相当值记作X(0)，将曝光不足图像的亮度相当值记作X(-1)，将曝光过度图像的亮度相当值记作X(+1)，假设在图像张数为3张时由图像数据选择部31设定的2个阈值为a，b(这里，a<b)。
在上述的例子中，
X(0)＝Gei(e＝0)，或X(0)＝Yei(e＝0)
X(-1)＝Gei(e＝-1)，或X(-1)＝Yei(e＝-1)
X(+1)＝Gei(e＝+l)，或X(+1)＝Yei(e＝+l)。
然后，在开始该图4所示的处理后，首先，判定X(0)<a是否成立(步骤S31)。
在判定为X(0)<a的情况下，图像数据选择部31为了检测曝光量不同的多张图像数据中的2张以上的图像数据的位置偏差，进一步判定X(0)<X(+1)是否成立(步骤S32)。一般而言，在不存在位置偏差的情况下，亮度相当值成为与曝光量相应的值。但是，如果存在位置偏差，则有时在亮度相当值和曝光量中产生反转的关系。因此，该步骤S32和后述的步骤S34成为通过判定是否产生该反转，来判定是否存在位置偏差的处理。
此外，在步骤S31中判定为X(0)≧a的情况下，判定X(0)>b是否成立(步骤S33)。
这里在判定为X(0)>b的情况下，图像数据选择部31为了检测曝光量不同的多张图像数据中的2张以上的图像数据的位置偏差，判定X(0)>X(-1)是否成立(步骤S34)。
在步骤S32中判定为X(0)<X(+1)的情况下，选择曝光过度图像(步骤S35)。这里的选择意味着将权重we(e＝-1，0，+1)设定为we(e＝-1)＝0、we(e＝0)＝0、we(e＝+l)＝1。
此外，在步骤S34中判定为X(0)>X(-1)的情况下，选择曝光不足图像(步骤S36)。这里的选择意味着将权重we(e＝-1，0，+1)设定为we(e＝-1)＝1、we(e＝0)＝0、we(e＝+1)＝0。
在除此以外的情况下，即在步骤S32中判定为X(0)≧X(+1)且存在位置偏差的情况下，在步骤S33中判定为X(0)≦b的情况下，在步骤S34中判定为X(0)≦X(-1)且存在位置偏差的情况下，选择适当曝光图像(步骤S37)。这里的选择意味着将权重we(e＝-1，0，+1)设定为we(e＝-1)＝0、we(e＝0)＝1、we(e＝+1)＝0。
而且，在通过步骤的任意一个步骤设定了图像e的权重we后，从该处理返回。
这样，在适当曝光图像的亮度相当值X(0)为a≦X(0)≦b的情况下，选择适当曝光图像，在小于阈值a的情况下，基本上选择曝光过度图像，在大于阈值b的情况下，基本上选择曝光不足图像。这里叙述为基本上选择是指：不考虑曝光量不同的多张图像数据中的2张以上的图像数据的位置偏差的情况，也就是说不进行步骤S32和步骤S34的处理的情况。
与此相对，在考虑位置偏差的情况下，图像数据选择部31检测相对于成为位置对准的基准的适当曝光图像数据的、除适当曝光以外的图像数据的位置偏差，在存在位置偏差的情况下，选择适当曝光图像来取代选择未获得适当的信息的曝光过度图像或曝光不足图像。
此外，图5是示出处于HDR合成水中摄影模式时的图3的步骤S25的图像数据选择处理的详细内容的流程图。如上所述，该图像数据选择处理也按照每个区域i来进行。
该图5所示的处理省略了图4所示的处理中的步骤S32。所以，在步骤S31中判定为X(0)<a情况下，进入步骤S35，选择曝光过度图像。
所以，在X(0)<a时，无论X(0)和X(+1)的大小关系如何，选择曝光过度图像，不选择适当曝光图像。
这样，在R成分的衰减较大的水中摄影的情况下，优选选择图像中的R成分残留较多的曝光过度图像。
另外，虽然在图4和图5中，根据亮度相当值的大小关系与曝光量的大小关系是否反转来判定是否产生了位置偏差，但是不限于此，也可以根据例如颜色来进行判定。
即，由于要取得的多张图像在不存在位置偏差的情况下仅是曝光量不同，所以区域i中的多张图像间的颜色的差异小(另一方面，如果颜色的差异大，则能够估计为存在图像的位置偏差)。因此，也可以根据色值来判定位置偏差。这里，作为色值，只要使用例如将颜色信号值RGB转换为亮度色差信号值YC时的色差信号值C即可。
具体而言，图像数据选择部31根据每个区域i的图像信息(颜色成分的区域平均值Rei、Gei、Bei)，分别对图像e，计算每个区域i的色值。关于某个区域i，将这样计算出的适当曝光图像(e＝0)的色值记作C(0)，将曝光不足图像(e＝-l)的色值记作C(-1)，将曝光过度图像(e＝+1)的色值记作C(+1)，假设用于判定色值的差分是否较大的色差阈值为Cth。
在该情况下，取代图4的步骤S32的处理，进行
|C(+1)-C(0)|<Cth
的判定即可。所以，如果满足该条件式，则进入步骤S35并选择曝光过度图像，如果不满足(也就是说，如果检测出存在位置偏差)，则进入步骤S37并选择适当曝光图像。
同样，取代图4和图5的步骤S34的处理，进行
|C(-1)-C(0)|<Cth
的判定即可。如果满足该条件式，则进入步骤S36并选择曝光不足图像，如果不满足(也就是说，如果检测出存在位置偏差)，则进入步骤S37并选择适当曝光图像。
接着，图6是示出图2的步骤S9的基本图像处理的详细内容的流程图。
在开始该处理后，为了降低喑时噪声，进行OB减法处理：从摄像元件22的有效像素区域的像素值中减去摄像元件22的光学黑体区域的像素值(步骤S41)。
接着，通过将拜尔排列的图像数据中的R像素的像素值乘以在步骤S7中计算出的R增益，将B像素的像素值乘以在步骤S7中计算出的B增益，进行白平衡校正(步骤S42)。即，基本图像处理部34作为白平衡校正部发挥作用，使用由白平衡增益计算部32如上所述地计算出的白平衡系数，校正合成图像数据的白平衡。
接着，作为同时化处理，进行去马赛克处理：从在每1个像素中仅存在RGB成分中的1个颜色成分的RGB拜尔排列的图像数据中，根据周边像素对在关注像素中不存在的颜色成分进行插值而求出，由此转换为所有像素全部具有RGB的3个颜色成分的图像数据(步骤S43)。
并且，进行色彩矩阵运算：从照相机主体2的闪存48中读出与所设定的白平衡模式(例如，太阳光模式、灯泡模式、荧光灯模式等)相应的色彩矩阵系数，并与图像数据相乘(步骤S44)。
而且，从照相机主体2的闪存48中读出预先设定的伽马表，对图像数据进行伽马转换(步骤S45)。
然后，进行颜色再现处理来作为颜色校正处理：在将颜色信号RGB转换为亮度色差信号YCbCr以后，以成为自然的颜色再现的方式校正饱和度或色相(步骤S46)。
接着，通过对图像数据使用带通滤波器来提取边缘成分，通过将提取出的边缘成分乘以与边缘强调度相应的系数而进行放大，并将放大后的边缘成分与图像数据相加来进行边缘强调处理(步骤S47)。
并且，通过对图像数据进行使用降低高频的滤波器的、或与空间频率相应的核化处理等，进行降噪处理(步骤S48)。另外，该降噪处理可以在步骤S43的同时化处理以前进行。
这样，在进行了步骤S48的处理后，从该处理返回。
接着，图7是示出根据摄影时的条件来设定用于与适当曝光图像的亮度相当值进行比较的阈值的例子的图。在该图7中，图示出了亮度动态范围为的情况。
在图7的最上段示出了摄影张数为3张，且不特别进行曝光校正等而拍摄适当曝光图像的情况下的阈值a、b的例子。以下，将该例子称作标准设定例。
在图7的第2段中示出了摄影张数为3张，且在负侧进行曝光校正并拍摄适当曝光图像的情况下的阈值a、b的例子。在该情况下，虽然阈值b与标准设定例相同，但是阈值a被设定为低于标准设定例的值。即，在用户有意地在负侧对适当曝光图像的曝光条件进行曝光校正的情况下，将较低一方的阈值a设定为更低，以便即使在暗的区域中，选择适当曝光图像的比例也增大(以便按照更低的比例选择曝光过度图像)。
在图7的第3段中示出了摄影张数为3张且在正侧进行曝光校正并拍摄适当曝光图像的情况下的阈值a、b的例子。在该情况下，阈值a与标准设定例相同，但是阈值b被设定为高于标准设定例的值。即，在用户有意地在正侧对适当曝光图像的曝光条件进行曝光校正的情况下，将较高一方的阈值a设定为更高，以便即使在亮的区域中，选择适当曝光图像的比例也增大(以便按照更低的比例选择曝光不足图像)。
在图7的第4段中示出了摄影张数为3张并且为水中静态图像摄影的情况下的阈值a，b的例子。在该情况下，虽然阈值b与标准设定例相同，但是阈值a被设定为高于标准设定例的值。在水中摄影的情况下，图像中的R成分显著减少。因此，将较低一方的阈值a设定为更高，以便与不是水中摄影的情况相比，以更高的比例选择保持较多R成分的曝光过度图像(以便使得从图5的步骤S31转移到步骤S35的比例增大)。
在图7的第5段中示出了为动态图像或实时取景图像等的HDR合成处理且摄影张数为2张(未拍摄到适当曝光图像，仅拍摄到曝光不足图像和曝光过度图像)的情况下(所以，阈值的个数为2-1＝1个)的阈值a的例子。该情况下的阈值a被设定为例如标准设定例中的2个阈值a、b的中间程度的值。另外，在图7的例子中，该阈值a被示为与第4段(水中静态图像)的阈值a相等的值，但是不限于此。
另外，在上述的图4和图5所示的例子中，针对区域i，仅对任意1张图像赋予权重1，对其他图像赋予权重0。但是，不限于此，也可以对多张图像赋予不为零的权重。
这里，在图8和图9中示出在阈值的附近，对2个图像实施加权的例子。图8是示出计算摄影张数为3张时的每个区域i的评价值时，对在阈值a、b的附近曝光量不同的图像进行加权相加的例子的线图，图9是在计算摄影张数为2张时的每个区域i的评价值时，对在阈值a的附近曝光量不同的图像进行加权相加的例子的线图。
如图8或图9所示，在适当曝光图像的亮度相当值X(0)为阈值a或阈值b的附近值的情况下，可以对在图4或图5的处理中夹着阈值而切换选择的2个图像的双方赋予非零的权重we。
具体而言，在图8所示的例子中，在亮度相当值X(0)为阈值a的附近时，
we(e＝+l)≠0，we(e＝0)≠0，we(e＝-1)＝0，
在为阈值b的附近时，
we(e＝+l)＝0，we(e＝0)≠0，we(e＝-1)≠0。
此外，在图9所示的例子中，在亮度相当值X(0)为阈值a的附近时，
we(e＝+l)≠0，we(e＝-1)≠0。
在图8、图9所示的任意情况下，权重we满足式2所示的归一化条件，同时在阈值a、b的附近非零的权重的比率根据亮度相当值X(0)而发生变化，除阈值a、b的附近以外成为与图4和图5所示的例子相同的权重。而且，使用这些权重we，如式3所示地计算每个区域i的评价值Ri、Gi、Bi。
接着，图10是示出根据区域i中的适当曝光图像的亮度相当值X(0)，使计算图像整体的评价值时的对区域i的权重αi发生变化的例子的线图。
如上所述，在根据每个区域i的评价值Ri，Gi，Bi来计算图像整体的评价值<R>、<G>、<B>时使用的权重αi不限于为了获得单纯平均而设为1，也可以按照每个区域i而不同。
图10是根据每个区域i的适当曝光图像的亮度相当值X(0)来设定权重αi的例子。另外，在该图10中也示出了亮度动态范围为的情况。
具体而言，在该图10所示的例子中，将权重αi设定为：在区域i的适当曝光图像的亮度相当值X(0)为稍微小于例如阈值b的值Xp时，取αi＝1，当亮度相当值X(0)变得小于Xp时，αi减小，成为X(0)＝0且αi＝0，即使亮度相当值X(0)大于Xp，αi也减小，成为X(0)＝255且αi＝0。另外，虽然在图10中示出了增减为直线式的例子，但是不限于此。
通过进行这种设定，适当曝光图像的亮度相当值X(0)大于阈值b，能够使适当曝光图像中像素值发生饱和的附近的区域Ru的权重αi下降。并且，在适当曝光图像的亮度相当值X(0)为阈值b以下的区域Rm中，亮度相当值X(0)也接近0且使在适当曝光图像中像素为死黑的附近的权重αi逐渐下降。
由此，能够适当抑制有可能失去颜色平衡的像素饱和附近对图像整体的评价值<R>、<G>、<B>的影响、以及颜色平衡不鲜明的死黑附近对图像整体的评价值<R>、<G>、<B>的影响，能够进行重视适合于取得颜色平衡的中间亮度的区域的白平衡系数的计算。
此外，不限于上述的例子，也可以在区域i位于整个图像的中央部分的情况下增大权重αi，在位于图像的周边部分的情况下减小权重αi。在该情况下，能够重视位于画面的中央部分的被摄体的颜色平衡。
根据这种实施方式1，由于将曝光量不同的多张中的2张以上的图像数据的图像数据分割为多个区域，根据对分割后的每个区域i的亮度相当值和规定阈值进行比较所得的结果，按照每个区域i选择1个以上在白平衡调整中使用的图像数据，使用选择出的图像数据来计算适用于合成图像数据的白平衡系数，所以能够更高速且稳定地进行适合于合成图像的白平衡检测。
此外，由于根据摄影时的条件来设定阈值，所以能够利用分别适合于进行了曝光校正的情况、水中摄影的情况、动态图像/实时取景图像摄影的情况等的阈值，选择在白平衡调整中使用的图像数据。
由于在适当曝光图像的亮度相当值X(0)为适当范围内的情况下选择适当曝光图像，在较低的情况下选择曝光过度图像，在较高的情况下选择曝光不足图像，所以能够按照每个区域i适当选择适合于计算白平衡系数的亮度的图像数据。
此外，由于在存在位置偏差的情况下，选择作为位置对准的基准的适当曝光图像处理，所以能够抑制选择由于位置偏差而无法获得适当的信息的曝光过度图像或曝光不足图像的情况。
这时，由于在根据每个区域i的亮度相当值来检测位置偏差的情况下，亮度相当值为在图像数据选择中使用的值，所以不需要计算其他值等的处理。
另一方面，在根据每个区域i的色值的差分来检测位置偏差的情况下，能够根据颜色的不同适当地进行图像数据的选择。
并且，由于使用满足归一化条件的权重来计算评价值，所以能够对于任意的区域，以适当的比例组合多张图像。
而且，由于在水中摄影的情况下，以与不是水中摄影的情况相比以更高的比例选择曝光过度图像的方式选择图像数据，具体而言，由于将阈值设定成以与不是水中摄影的情况相比以更高的比例选择曝光过度图像，所以能够根据保持较多的R成分的曝光过度图像来适当计算白平衡系数。
此外，在对适当曝光图像进行负侧曝光校正的情况下，将阈值设定成以更低的比例选择曝光过度图像，在对适当曝光图像进行了正侧曝光校正的情况下，将阈值设定成以更低的比例选择曝光不足图像，能够进行重视遵照摄影者的意图的被摄体部分的白平衡校正。
并且，在使用包含最多亮度成分的颜色成分(例如G成分)的值来作为亮度相当值的情况下，省略根据RGB颜色成分来计算亮度成分Y的处理，能够减轻处理负荷。
另外，上述叙述中主要说明了图像处理装置，但也可以是进行与图像处理装置相同处理的图像处理方法，还可以是用于使计算机执行与图像处理装置相同处理的处理程序、可通过记录该处理程序的计算机读取的非暂时性记录介质等。
- 还没有人留言评论。精彩留言会获得点赞！