图像处理装置以及图像处理方法与流程

本发明涉及对按时间序列拍摄的多张图像数据进行合成的图像处理装置以及图像处理方法。

背景技术：

近年来，提出有搭载了比较亮合成处理功能的数字照相机等摄像装置。这里，比较亮合成处理是以下处理：对按时间序列拍摄的多张图像中的同一像素位置的像素值进行比较，用值大的一方的像素值来置换该像素位置的像素值。

该比较亮合成处理用于在包含比较亮且较小的移动体的摄影场景中，以必要且充分短的快门速度按照时间序列拍摄(即连续摄影)而取得的多张图像，能够取得移动体的轨迹，作为S/N比高的良好的图像。

如果列举所应用的摄影场景的若干例子，则存在烟花、天体摄影、夜间的车辆等的头灯的移动轨迹的摄影等。

在例如烟花摄影的情况下，以短于几秒的快门速度按照时间序列拍摄构成烟花的亮点的几秒的流动，而取得多张图像。此外，在天体摄影的情况下，以短的快门速度按照时间序列拍摄构成天体的星星的非常缓慢的移动，而取得多张图像。并且，在夜间的车等的头灯的移动轨迹的情况下，也同样以短于与想要拍摄的移动轨迹的长度对应的快门速度的快门速度，按照时间序列拍摄，而取得多张图像。

而且，在任意的摄影的情况下，通过对所得到的多张图像进行比较亮合成，能够避免如以长时间的快门速度拍摄的情况那样的由于暗电流引起的画质劣化，得到S/N好的图像。

作为这种技术，例如在日本特开2014-212415号公报中记载了具有比较亮合成处理部的摄像装置，该比较亮合成处理部将最开始的图像数据存储为累计比较亮合成图像数据，按照每个像素对新得到的图像数据和累计比较亮合成图像数据进行比较，每次取得新的图像数据时，反复进行将大的一方的像素数据作为新的像素数据来重新构成累计比较亮合成图像数据的比较亮合成处理。

并且，在该公报中记载了以下技术：具有比较亮合成处理部和比较暗合成处理部，对累计比较亮合成图像数据和累计比较暗合成图像数据的差分图像数据进行运算，对将累计比较暗合成图像数据乘以增益值所得的图像数据和将差分图像数据乘以任意增益值所得的图像数据进行合成。

但是，在如上所述的摄影场景中，比较亮合成作为拍摄印象深刻的(例如，比实际更印象深刻的)图像的技术得到普及，但是，存在期望拍摄比实际更进一步印象深刻的图像的摄影场景。

例如，虽然在烟花的摄影场景中，发射了各种颜色的绚丽多彩的烟花，但是另一方面，有时也发射不太绚丽多彩的烟花。在这种情况下，有时期望仅将绚丽多彩的烟花图像化。

此外，伴随着烟花，也产生如烟等那样的损坏烟花的清晰度的现象。同样，也在夜间的车辆等的头灯的移动轨迹的摄影中，在以城市的道路为对象的情况下，有时浮游在路上的废气损坏头灯的移动轨迹的清晰度。在这种情况下，有时期望去除了烟或废弃的更清晰的图像。

这样，存在拍摄更鲜艳且印象深刻的图像的用户需求。

技术实现要素：

本发明的目的在于提供一种能够得到比实际的摄影场景更鲜艳且印象深刻的图像的图像处理装置以及图像处理方法。

简单来说，本发明的一个方式的图像处理装置，其对按照时间序列拍摄而取得的多张图像数据进行合成，其特征在于，该图像处理装置具有：饱和度判定部，其针对按照时间序列拍摄被摄体而取得的多张图像数据，判定构成所述图像数据的各像素的饱和度是否在高饱和度区内；以及图像合成部，其针对所述多张图像数据进行高饱和度比较亮合成处理，该高饱和度比较亮合成处理是指仅针对构成所述图像数据的各像素内的、由所述饱和度判定部判定为在所述高饱和度区内的像素，将其置换为包含亮度成分的指标更大的像素的像素值。

此外，本发明的一个方式的图像处理方法对按照时间序列拍摄而取得的多张图像数据进行合成，其特征在于，该图像处理方法具有：饱和度判定步骤，针对按照时间序列拍摄被摄体而取得的多张图像数据判定构成所述图像数据的各像素的饱和度是否在高饱和度区内；以及图像合成部步骤，对所述多张图像数据进行高饱和度比较亮合成处理，该高饱和度比较亮合成处理是指仅针对构成所述图像数据的各像素内的、通过所述饱和度判定步骤判定为在所述高饱和度区内的像素，将其置换为包含亮度成分的指标更大的像素的像素值。

附图说明

图1是示出本发明实施方式1的摄像装置的结构的框图。

图2是示出上述实施方式1中的摄像元件的结构的图。

图3是示出上述实施方式1的摄像元件的有效像素部中的像素的排列的图。

图4是示出上述实施方式1的图像处理部的结构的框图。

图5是示出上述实施方式1的摄像装置的高饱和度比较亮合成模式的处理的流程图。

图6是示出上述实施方式1的摄像装置中取得成为合成对象的多张图像的情况的时序图。

图7是示出上述实施方式1的图5的步骤S3中的高饱和度比较亮合成处理的详细内容的流程图。

图8是用于说明上述实施方式1的设定高饱和度区的方法的一例的图。

图9是示出上述实施方式1中的取得了帧1的图像的时间点的摄影场景的例子的图。

图10是示出上述实施方式1中的取得了帧1n的图像期间的总的摄影场景的例子的图。

图11是示出上述实施方式1中的根据帧1n的图像而生成的比较暗图像的例子的图。

图12是示出上述实施方式1中的根据帧1n的图像而生成的高饱和度比较亮图像的例子的图。

图13是示出本发明的实施方式2的摄像装置的高饱和度比较亮合成模式的处理的流程图。

图14是示出上述实施方式2的摄像装置中的取得高饱和度比较亮合成用的多张图像，然后取得比较暗合成用的多张图像的情况的时序图。

图15是示出上述实施方式2的图13的步骤S3中的高饱和度比较亮合成处理的详细内容的流程图。

具体实施方式

以下，参照附图说明本发明的实施方式。

(实施方式1)

图1至图12示出了本发明的实施方式1，图1是示出摄像装置的结构的框图。如以下所说明，本实施方式的摄像装置具有作为对拍摄所得的图像进行处理的图像处理装置的功能。

如图1所示，该摄像装置具有：镜头1、摄像元件2、图像处理部3、AF(自动对焦)评价值运算部4、显示部5、抖动检测部7、抖动校正部8、曝光控制部9、对焦控制部10、照相机操作部11和照相机控制部12。另外，在图1中还记载了存储卡6，但是该存储卡6以可相对于摄像装置拆装的方式构成，因此也可以不是摄像装置中的固有结构。

镜头1是用于将被摄体的光学像成像到摄像元件2的摄像区域上的摄像光学系统。该镜头1包含用于调节焦点位置而进行对焦的对焦镜头、和用于控制通过的光束的范围的光圈，并且在本实施方式中还具有抖动校正功能。

摄像元件2是对由镜头1成像的被摄体的光学像进行拍摄(光电转换)，取得并输出图像数据的摄像部。另外，在本实施方式中，说明了摄像元件2为具有原色拜尔排列的滤色器的彩色摄像元件，但是当然也可以为其他结构。此外，摄像元件2构成为能够在与镜头1的拍摄光轴垂直的面内移动，且具有抖动校正功能。

图像处理部3对从摄像元件2输出的图像数据进行各种图像处理，生成显示用或者记录用的图像。之后将参照图4详细说明该图像处理部3的结构。

AF评价值运算部4根据从摄像元件2输出的图像数据来计算AF评价值，并输出到照相机控制部12。例如，AF评价值运算部4根据从摄像元件2输出的图像数据来计算对比度值，并作为AF评价值输出。

显示部5根据由图像处理部3图像处理为显示用后的信号，对图像进行显示。该显示部5进行实时取景显示和静态图像显示、动作再现显示等，并且还显示该摄像装置的各种信息等。

存储卡6是用于保存由图像处理部3处理为记录用后的图像数据(静态图像数据、动态图像数据)的记录介质。

抖动检测部7构成为具有加速度传感器或角速度传感器等，检测该摄像装置的抖动并输出到照相机控制部12。

抖动校正部8根据照相机控制部12的控制，以抵消检测到的抖动的方式使镜头1和摄像元件2中的至少一方移动，减轻在成像在摄像元件2的摄像区域上的光学式被摄体像中产生抖动的影响。

曝光控制部9根据照相机控制部12的指令，以由该照相机控制部12确定的快门速度(曝光时间)对摄像元件2的元件快门进行控制并取得图像。并且，曝光控制部9还根据由照相机控制部12确定的光圈值，进行镜头1所包含的光圈的控制等。此外，曝光控制部9将摄像元件2的驱动信息输出到照相机控制部12。

对焦控制部10驱动镜头1以调节焦点。即，对焦控制部10根据从AF评价值运算部4接收到AF评价值的照相机控制部12的控制，对镜头1所包含的对焦镜头进行驱动，使形成在摄像元件2上的被摄体像达到对焦。此外，对焦控制部10将镜头位置等镜头驱动信息输出到照相机控制部12。

照相机操作部11是用于进行针对该摄像装置的各种操作输入的操作部。该照相机操作部11中包含以下等操作部件：用于接通/断开摄像装置的电源的电源开关；用于指示输入静态图像摄影、动态图像摄影等的释放按钮；用于设定静态图像摄影模式(该静态图像摄影模式作为更详细的模式，包含高饱和度比较亮合成模式)或动态图像摄影模式、实时取景模式等的模式按钮。

照相机控制部12根据来自对焦控制部10的镜头驱动信息、来自AF评价值运算部4的AF评价值、来自曝光控制部9的驱动信息、来自图像处理部3的处理信息、来自抖动检测部7的抖动信息、来自照相机操作部11的操作输入等，控制包含图像处理部3、存储卡6、抖动校正部8、曝光控制部9和对焦控制部10等在内的整个该摄像装置。

该照相机控制部12根据自动曝光控制或者根据从照相机操作部11输入的设定值，确定快门速度(曝光时间)和光圈值，将确定出的快门速度和光圈值的信息输出到曝光控制部9。

然后，照相机控制部12作为以下控制部发挥作用：在设定了高饱和度比较亮合成模式时，经由曝光控制部9，使摄像元件2按照时间序列进行拍摄而取得多张图像数据。

接着，图2是示出摄像元件2的结构的图。

摄像元件2具有：有效像素部21，其在垂直方向和水平方向上排列有接受来自镜头1的光并进行光电转换的像素；以及光学黑体(OB)部22，其对来自镜头1的光进行遮光。

图3是示出摄像元件2的有效像素部21的像素的排列的图。

如图3所示，在摄像元件2的有效像素部21中配置有原色拜尔排列的滤色器。这里，众所周知，原色拜尔排列以2×2像素排列为基本排列，在该基本排列的对角位置配置绿色像素Gr、Gb，在与绿色像素Gr相同的行上配置红色像素R，在与绿色像素Gb相同的行上配置蓝色像素B。

另外，原色拜尔排列的滤色器不限于配置于有效像素部21，当然也可以配置于包含OB部22在内的摄像元件2的整个摄像面。

图4是示出图像处理部3的结构的框图。

作为图像合成部的图像处理部3具有：比较暗合成处理部31、高饱和度比较亮合成处理部32和标准图像处理部33。

比较暗合成处理部31对连续拍摄而获得的多张图像数据进行比较暗合成处理而生成比较暗图像。这里，比较暗合成处理是以下处理：对多张图像中的同一像素位置的像素值进行比较，用值小的一方的像素值来置换该像素位置的像素值。

如之后参照图7等详细说明的那样，该高饱和度比较亮合成处理部32进行考虑了饱和度的比较亮合成处理。这里，本实施方式(和后述的其他实施方式)中的比较亮合成处理使通常的比较亮合成处理更一般化。

这里，通常的比较亮合成处理是以下处理：对多张图像中的同一像素位置的像素值进行比较，用值大的一方的像素值来置换该像素位置的像素值。

与此相对，本实施方式(和后述的其他实施方式)的比较亮合成处理是以下处理：对多张图像中的同一像素位置的指标(包含像素的亮度成分的指标)进行比较，将指标更大的一方的像素值置换为该像素位置的像素值。虽然该指标的一例是在通常的比较亮合成处理中示出的像素值本身，但是如在后述的实施方式2中所说明的那样，也可以将对像素的亮度色差成分进行加权相加所得的合成评价值作为包含像素的亮度成分的指标。

而且，高饱和度比较亮合成处理部32作为饱和度判定部发挥作用：针对多张图像数据，判定构成图像数据的各像素的饱和度是否在高饱和度区内，并且作为图像合成部的一部分发挥作用，对多张图像数据进行高饱和度比较亮合成处理，该高饱和度比较亮合成处理是指仅针对构成图像数据的各像素内的、由饱和度判定部判定为在高饱和度区内的像素，将其置换为包含亮度成分的指标更大的像素的像素值。

标准图像处理部33对由比较暗合成处理部31和高饱和度比较亮合成处理部32生成的合成图像进行用于生成显示用图像或记录用图像的标准图像处理、即显像处理。该标准图像处理部33也针对在除高饱和度比较亮合成模式以外的通常的静态图像摄影模式下获得的图像同样进行显像处理。另外，在除高饱和度比较亮合成模式以外的通常的静态图像摄影模式下获得的图像的情况下，适当跳过比较暗合成处理部31和高饱和度比较亮合成处理部32的各处理。

该标准图像处理部33包含OB相减部34。该OB相减部34通过从有效像素部21的像素值中减去OB部22的像素值，或在曝光时间(快门速度)比较长的情况下另行取得遮光图像并进行帧相减，去除包含在有效像素部21中的偏置成分或固定图形噪声等。

图5是示出摄像装置的高饱和度比较亮合成模式的处理的流程图。

在从未图示的主处理进入到该处理后，首先，根据照相机控制部12的控制，取得在高饱和度比较亮合成处理中成为合成对象的多张图像(步骤S1)。

这里，图6是示出摄像装置取得成为合成对象的多张图像的情况的时序图。

在开始摄影前，用户预先打开抖动校正功能，或者更优选的是将摄像装置固定于例如三脚架等。而且，用户通过例如进行释放按钮的第一次的按压操作R1，开始成为合成对象的多张图像的取得，首先取得帧1的图像。接着，依次取得帧2、帧3、……的各图像。然后，用户通过进行释放按钮的第二次的按压操作R2，取得成为合成对象的多张图像中的最终图像即帧n(n为正整数)的图像。这样，帧1帧n的图像成为实施高饱和度比较亮合成的对象的帧信息BF。

图9是示出取得了帧1的图像的时间点的摄影场景P1的例子的图。

在摄影场景P1中存在城市的夜景41、夜空42、灰色的云43和饱和度低的烟花44。

此外，图10是示出取得了帧1n的图像的期间的总的摄影场景P1n的例子的图。

在总的摄影场景P1n中还加入有在摄影场景P1之后发射的饱和度高的各色的烟花45。该总的摄影场景P1n与针对帧1n的图像进行通常的比较亮合成处理时获得的图像的状况大致一致。

这样，在取得成为合成对象的多张图像后，接着，比较暗合成处理部31合成比较暗图像(步骤S2)。即，比较暗合成处理部31通过从为了高饱和度比较亮合成处理用而取得的帧1帧n的各图像中选择在各像素位置处像素值最小的像素并进行合成，生成比较暗图像。通过进行该处理，提取在成为合成对象的多张图像中共同的背景。

图11是示出根据帧1n的图像而生成的比较暗图像的例子的图。

在该图11所示的例子中，选择像素值最小的像素的结果是，包含在帧1n的图像中的任意图像中的城市的夜景41和夜空42被保留，灰色的云43、饱和度低的烟花44和饱和度高的各色的烟花45消失。

接着，通过高饱和度比较亮合成处理部32，进行之后参照图7进行说明的高饱和度比较亮合成处理(步骤S3)。

图12是示出根据帧1n的图像而生成的高饱和度比较亮图像的例子的图。

在进行本实施方式的高饱和度比较亮合成处理后，城市的夜景41、夜空42和饱和度高的各色的烟花45被保留，灰色的云43和饱和度低的烟花44消失。即，在通常的比较亮合成处理中保留的灰色的云43和饱和度低的烟花44在本实施方式中由于饱和度低而从比较亮合成的对象中去除，未保留在最终的合成图像中(参照图7的处理)。

并且，通过标准图像处理部33对合成图像进行标准图像处理(即显像处理)(步骤S4)，将生成的图像显示于显示部5并记录在存储卡6中(步骤S5)，从该处理返回到未图示的主处理。

图7是示出图5的步骤S3中的高饱和度比较亮合成处理的详细内容的流程图。根据照相机控制部12的控制，由作为图像合成部的一部分的高饱和度比较亮合成处理部32进行该高饱和度比较亮合成处理。

在开始该处理后，高饱和度比较亮合成处理部32首先将在上述步骤S2中由比较暗合成处理部31生成的比较暗图像设定为高饱和度比较亮合成处理中的合成图像的初始值(最开始的合成图像)(步骤S11)。由此，比较暗图像成为进行高饱和度比较亮合成处理时的基准图像。

接着，设定高饱和度区(步骤S12)。

图8用于说明设定高饱和度区的方法的一例的图。

用于判定某个像素是否为高饱和度的高饱和度区虽然可以作为规定的区预先给出，但是也可以根据摄影场景来适当地设定。因此，该图8示出根据成为合成对象的多张图像来设定高饱和度区的例子。

首先，根据成为合成对象的多张图像，生成用于设定高饱和度区的评价图像。作为该评价图像，可以使用对成为合成对象的多张图像进行通常的比较亮合成处理而获得的比较亮图像，也能够使用通过步骤S2的处理来生成的比较暗图像，当然也可以使用其他图像。此外，在生成评价图像时，为了减轻处理负荷，使用减少了像素数的缩小图像即可。

并且，在评价图像为例如拜尔图像的情况下，进行去马赛克处理，生成各像素具有颜色成分(这里，例如是RGB成分)的评价图像。

接着，将评价图像分割为规定的多个部分图像。对分割成该部分图像的分割可以为均等分割，当然也可以为在图像的例如中央部和周边部中分割为不同的大小和形状。这里，当用标号i分别表示通过进行分割而获得的多个部分图像时，首先，计算包含在部分图像i中的全部像素的RGB成分的平均值R(i)、G(i)、B(i)，并且计算部分图像i的平均亮度色差成分，即

Y(i)＝{R(i)+2G(i)+B(i)}/4

Cx(i)＝{R(i)－B(i)}/Y(i)

Cy(i)＝{R(i)+B(i)－2G(i)/Y(i)。

对全部的部分图像i进行用于判定这样计算出的部分图像i的Cx(i)、Cy(i)是否进入到图8所示的预先确定的无彩色区NCA中的处理。

该判定的结果是，利用标号i’分别表示被判定为进入到无彩色区NCA的多个部分图像。接着，分别计算全部的部分图像i’的Cx(i’)、Cy(i’)的平均值，将计算出的平均值设为在高饱和度比较亮合成处理中成为无彩色的基准的Cx基准值和Cy基准值。与该Cx基准值和Cy基准值对应的颜色空间上的坐标为图8所示的无彩色基准值SP。

在确定了无彩色基准值SP后，将以如图8所示的无彩色基准值SP为基准的规定范围的区域设为适当确定出的非高饱和度区TCA。

而且，将全颜色空间ACA内的、非高饱和度区TCA的外侧的区域(在图8中附加了阴影的区域)设为高饱和度区。另外，沿着全颜色空间ACA的轮廓标注的3位数的数值是用nm为单位来表示光的波长所得的数值。

这样，作为饱和度判定部的高饱和度比较亮合成处理部32根据多张图像数据，确定无彩色基准值，与确定出的无彩色基准值相应地设定高饱和度区。

另外，这里，所说明的高饱和度区的设定方法是一例，当然也可以使用其他适当的设定方法。

接着，读入成为合成对象的多张图像内的1张图像(步骤S13)，并读入所读入的图像中的某个像素(步骤S14)。

然后，高饱和度比较亮合成处理部32判定所读入的像素是否在步骤S12中所设定的高饱和度区内(步骤S15)。

在进行该判定时，虽然需要所读入的像素的颜色成分，但是在步骤S13中所读入的图像是例如拜尔图像的情况下，进行去马赛克处理，并且与上述同样进行求取该像素的Cx成分和Cy成分的处理。

这里，为了更加简单化并使处理高速化，作为一例，去马赛克处理可以进行如下的处理。

即，对于拜尔排列中的像素Gr，将上下相邻的像素B的平均值设为B成分，将左右相邻的像素R的平均值设为R成分。此外，对于拜尔排列中的像素Gb，将左右相邻的像素B的平均值设为B成分，将上下相邻的像素R的平均值设为R成分。并且，对于拜尔排列中的像素R，将左右相邻的像素Gr的平均值设为G成分，将左上右上左下右下(或者，当然可以为这4个中的2个)相邻的像素B的平均值设为B成分。而且，对于拜尔排列中的像素B，将左右相邻的像素Gb的平均值设为B成分，将左上右上左下右下(或者，当然可以为这4个中的2个)相邻的像素R的平均值设为R成分。

在步骤S15中，在判定为在高饱和度区内的情况下，高饱和度比较亮合成处理部32判定在步骤S14中所读入的像素的像素值一方是否比当前的合成图像中的对应的像素值亮(像素值大)(步骤S16)。因此，本实施方式的图像合成部使用像素值本身(像素的亮度)作为包含像素的亮度成分的指标，进行高饱和度比较亮合成处理。

而且，在判定为所读入的像素的像素值一方亮的情况下，用在步骤S14中所读入的像素的像素值来置换当前的合成图像的像素值(步骤S17)。

在该步骤S17的处理结束后，或者在步骤S15中判定为不在高饱和度区内的情况下，或者在步骤S16中判定为所读入的像素的像素值一方不明亮的情况下，判定针对在步骤S13中所读入的图像的全部像素的处理是否结束(步骤S18)。因此，未进入高饱和度区内的像素不进行比较亮合成处理。

在该步骤S18中判定为对全部像素的处理未结束的情况下，进入步骤S14并读入下一个像素，进行如上所述的处理。

另一方面，在步骤S18中判定为对全部像素的处理已结束的情况下，判定对成为合成对象的多张图像的全部的处理是否结束(步骤S19)。

这里，在判定为对全部图像的处理未结束的情况下，进入步骤S13并读入下一个图像，进行如上所述的处理。

这样，在步骤S19中判定为对全部图像的处理已结束的情况下，从该处理返回到图5所示的处理。

根据这种实施方式1，判定构成图像数据的各像素是否是高饱和度，仅针对判定为是高饱和度的像素，进行置换为包含亮度成分的指标更大的像素的像素值的高饱和度比较亮合成处理，所以能够去除例如烟花的烟、浮游在路上的废气、同时发射的多个烟花中的饱和度低且不太美观的烟花、路上的头灯等的特定颜色等，保留增加了清晰度的印象深刻的图像。

此外，由于根据多张图像数据，适当设定无彩色基准值和高饱和度区，所以能够保留与摄影场景相应的最佳的饱和度的图像。

并且，通过使用像素值作为进行高饱和度比较亮合成处理时的包含亮度成分的指标，能够对高饱和度区内的像素进行通常的比较亮合成处理，能够使用现有的处理电路或处理程序，能够消减成本。

而且，由于将比较暗图像设定为高饱和度比较亮合成处理中的合成图像的初始值，所以能够降低夜空等的暗部的噪声并能够接近黑色，能够获得动态范围更宽且噪声感少的清晰的合成图像。

这时，通过根据为了高饱和度比较亮合成处理用而取得的多张图像数据来生成比较暗图像，能够缩短摄影所需的时间。

(实施方式2)

图13至图15示出了本发明的实施方式2，图13是示出摄像装置的高饱和度比较亮合成模式的处理的流程图。

在该实施方式2中，对与上述实施方式1相同的部分标注相同标号等并适当省略说明，主要仅对不同点进行说明。

在上述实施方式中，使用在高饱和度比较亮合成处理中成为合成对象的多张图像，生成了比较暗图像。与此相对，本实施方式在与取得在高饱和度比较亮合成处理中成为合成对象的多张图像数据的时机不同的时机，取得多个图像数据，根据至少包含在不同的时机取得的多个图像数据的图像数据，生成比较暗图像。并且，虽然在上述实施方式1中，根据对所读入的像素的像素值本身的大小进行比较后的结果，进行了像素值的置换，但是在本实施方式中，根据所读入的像素的像素值计算合成评价值，根据对所计算出的合成评价值的大小进行比较后的结果，进行像素值的置换。

即，在开始图13所示的处理后，在步骤S1中取得在高饱和度比较亮合成处理中成为合成对象的多张图像后，在高饱和度比较亮合成用的图像组之外，另行取得比较暗合成用的图像组(步骤S21)。

这里，图14是示出摄像装置取得高饱和度比较亮合成用的多张图像，然后取得比较暗合成用的多张图像的情况的时序图。

用户通过进行释放按钮的第一次的按压操作R1，然后进行释放按钮的第二次的按压操作R2，取得实施高饱和度比较亮合成的对象的帧信息BF即帧1帧n的图像的动作与上述实施方式1相同。

在本实施方式中，从帧n的下一个帧(n+1)开始，取得实施比较暗合成的对象的帧信息DF。这里，取得m张图像作为帧信息DF。这样，在取得帧(n+m)后，摄影的处理结束。

使图像的清晰度降低的烟或云等随着时间发生变化。与此相对，在将摄像装置固定于例如三脚等的情况下，背景不发生变化。因此，通过在与取得高饱和度比较亮合成用的图像组的时机不同的时机取得比较暗合成用的图像组，能够排除烟或云等的影响，并获得更清晰的比较暗图像。

因此，接下来在步骤S2中，使用作为帧信息DF而取得的帧(n+1)(n+m)的图像，通过比较暗合成处理部31来合成比较暗图像。

然后，进行步骤S335的处理，从该处理返回到未图示的主处理。

另外，在上述中，在取得高饱和度比较亮合成用的多张图像后取得比较暗合成用的图像组并在该帧(n+1)(n+m)的图像组中实施比较暗合成，但是，当然也可以使用帧1(n+m)的全部图像实施比较暗合成(在该情况下，根据包含在与取得高饱和度比较亮合成用的多张图像数据的时机不同的时机取得的多张图像数据在内的图像数据，生成比较暗图像)，或者也可以在取得高饱和度比较亮合成用的多张图像以前取得比较暗合成用的图像组。或者，在相同的摄影场景中的以前的摄影中，已经生成了比较暗图像的情况下(在使用三脚架的摄影中，这种情况较多)，当然也可以使用该比较暗图像。在例如烟花摄影中，发射的烟花的数量越增加，烟越多，所以如果在发射开始的时间点或发射开始前的时间点生成了比较暗图像，则能够获得更优选的比较暗图像。

接着，图15是示出图13的步骤S3中的高饱和度比较亮合成处理的详细内容的流程图。根据照相机控制部12的控制，由作为图像合成部的一部分的高饱和度比较亮合成处理部32进行该高饱和度比较亮合成处理。

在开始该处理后，进行步骤S11S15的处理。

而且，在步骤S15中判定为在高饱和度区内的情况下，计算针对在步骤S14中所读入的像素的合成评价值P，作为包含像素的亮度成分的指标(步骤S31)。

即，在设在步骤S14中所读入的像素的亮度色差成分为Y、Cx、Cy时，利用

P＝K×Y+1×Cx+m×Cy

计算合成评价值P。这里，k、l、m是计算合成评价值P时赋予给各成分Y、Cx、Cy的加权系数。通过调整该加权系数，能够按照期望设定重视Y、Cx、Cy中的哪一个的合成评价值P。例如，如果假设1>k且1>m，则能够获得重视Cx成分的合成评价值P。

接着，判定计算出的合成评价值P是否大于当前的合成图像中的对应的像素的合成评价值P0(步骤S32)。

这里，在判定为合成评价值P大于合成评价值P0的情况下，进入步骤S17，如上所述，用在步骤S14中所读入的像素的像素值来置换当前的合成图像的像素值。

因此，本实施方式的图像合成部将对像素的亮度色差成分进行加权相加所得的合成评价值用作包含亮度成分的指标，进行高饱和度比较亮合成处理。

在判定为该步骤S17的处理结束或者在步骤S15中判定为不在高饱和度区内的情况下，或者在步骤S32中判定为合成评价值P为合成评价值P0以下的情况下，进行步骤S18和步骤S19的处理。因此，被判定为不在高饱和度区内的像素、和合成评价值P为合成评价值P0以下的像素不进行像素值的置换。

这样，在步骤S19中判定为对全部图像的处理已结束的情况下，从该处理返回到图13所示的处理。

根据这种实施方式2，实现与上述实施方式1大致相同的效果，并且在与取得高饱和度比较亮合成处理用的多张图像数据的时机不同的时机，取得比较暗合成处理用的多张图像数据，所以能够获得比去除了使图像的背景的饱和度降低的要因(例如，烟或烟花等)更纯粹的背景场景，进而，能够获得更优选的高饱和度比较亮图像。

此外，将对像素的亮度色差成分进行加权相加所得的合成评价值P用作包含亮度成分的指标，进行高饱和度比较亮合成处理，所以不是单纯选择更明亮的像素，而是能够进行优先选择例如红色或蓝色的像素(颜色选择)、或者优先选择饱和度和亮度中的任意一个等，并能够进行更遵循用户的意向的合成图像的生成。

另外，虽然上述主要说明了摄像装置，但是也可以是使用由摄像装置按照时间序列拍摄被摄体而取得的多张图像数据，进行如上所述的比较暗合成处理或高饱和度比较亮合成处理的图像处理装置。此外，可以是进行与摄像装置或图像处理装置相同的处理的摄像方法或图像处理方法，也可以是用于使计算机进行与摄像装置或图像处理装置相同的处理的处理程序、利用记录该处理程序的计算机可读取的非临时性的记录介质等。