摄像装置和摄像方法与流程

本发明涉及拍摄动态图像，并记录动态图像的图像数据的摄像装置和摄像方法。

背景技术：

以往，摄像装置搭载有AE(Auto Exposuer：自动曝光)处理功能，根据图像数据的亮度成分，计算出适当曝光量，从而控制快门速度、光圈、ISO感光度等。在动态图像摄影时，各帧的曝光时间(快门速度)通过所谓的电子快门而控制。因此，在利用快门速度控制为适当曝光时，如果被摄体亮度高，则快门速度会成为比动态图像的帧率短的电子快门速度。这种情况下，再现动态图像会产生翻页感(ぱらぱら)(如翻页漫画那样，图像瞬间发生变化，不自然地变动的感觉)，无法成为平滑的动作，从而成为不自然的动态图像。

于是，提出了在被摄体存在运动的情况下，减慢快门速度，以减弱边缘强调，另一方面，在被摄体不存在运动的情况下，加快快门速度，以强化边缘强调的摄像装置(参照日本国公开专利2007-189295号公报(专利文献1))。

技术实现要素：

在动态图像摄影时，需要根据动态图像再现时的帧率进行动态图像记录。例如，全高清(2K动态图像)的情况下，存在60p、30p的规格，分别在1秒期间内拍摄60帧、30帧。为了使图像的明亮度恒定，具有按照快门速度变更光圈、增益、ND滤镜的方法。

在被摄体存在运动的情况下，如果快门速度没有基本符合所记录的帧率(例如，在HD30P的情况下为1/30秒的快门速度)，则无法记录在相当于1帧的时间内的被摄体的所有动作。即，由于根据所记录的规格确定快门速度，因此如专利文献1所述那样根据被摄体亮度而在中途不彻底地改变快门速度也无法完全消除翻页感。

此外，还可以考虑使用使快门速度与所记录的帧率一致，根据被摄体亮度的变化 使ND滤镜(减光滤镜)在摄影光学系统的光路中高速出入的方法、以及快速改变光圈的方法。然而，在这些方法中，人类的眼睛会感到闪烁，因而在进行更高度的动态图像摄影时会降低图像的质量。

还可以考虑变更增益的方法。这种情况下，如果被摄体变得明亮，则位于降低增益的方向，在即使将增益变更为0dB以下，来自摄像元件的图像信号也会饱和的情况下，无法确保明亮度的线性度。这种不良情况可通过缓慢移动光圈来解决。然而，考虑到为进行静态图像摄影而需要能够高速移动的光圈，因而需要分别设置用于静态图像摄影的光圈和用于动态图像摄影的光圈，招致设备的大型化。此外，在不具备光圈机构的小型设备中，需要通过ND滤镜进行控制，如上所述会导致图像的质量降低。

本发明就是鉴于这种情况而完成的，其目的在于提供在动态图像摄影时能够生成不存在翻页感且实现适当曝光量的图像数据的摄像装置和摄像方法。

本发明的摄像装置对动态图像进行摄影、记录，该摄像装置包括：摄像部，其以比上述动态图像的帧率短的周期反复进行摄像，并输出图像数据；图像处理部，其具备预先确定的多个图像合成处理，通过上述多个图像合成处理中的一个处理对从上述摄像部输出的一系列的上述图像数据进行图像合成，生成合成图像；以及曝光运算部，其根据视场亮度来指示针对上述一系列的图像数据的上述多个图像合成处理中的一个处理。

本发明的摄像方法用于对动态图像进行摄影、记录，该摄像方法以比上述动态图像的帧率短的周期反复进行摄像，并输出图像数据，通过多个图像处理中的一个处理对一系列的上述图像数据进行图像合成，生成合成图像，根据视场亮度来指示针对上述一系列的图像数据的上述多个图像合成处理中的一个处理。

发明的效果

本发明可提供在动态图像摄影时能够生成不存在翻页感且为适当曝光量的图像数据的摄像装置和摄像方法。

附图说明

图1是表示本发明一个实施方式的相机的主要电气结构的框图。

图2A和图2B是表示在本发明一个实施方式的相机中，通常曝光处理时和分割曝光处理时的曝光时机的图。

图3是表示在本发明一个实施方式的相机中，分割曝光处理时的分割曝光期间的曝光量和合成处理的图。

图4表示在本发明一个实施方式的相机中，进行摄像控制的设定的设定画面。

图5是表示在本发明一个实施方式的相机中，数字ND(以下，称作“DND”)滤镜摄影模式的子模式的图表。

图6是表示在本发明一个实施方式的相机中，根据分割曝光处理时的被摄体亮度而确定的图像合成处理的图表。

图7是表示在本发明一个实施方式的相机中的摄影模式处理的动作的流程图。

图8是表示本发明一个实施方式的相机中的DND控制的动作的流程图。

图9是表示本发明一个实施方式的相机中的DND控制的动作的流程图。

具体实施方式

以下，作为本发明的一个实施方式，对应用于数字相机(以下，称作相机)的示例进行说明。该相机具有摄像部，通过该摄像部将被摄体像转换为图像数据，并根据该转换后的图像数据，将被摄体像在配置于主体的背面等的显示部(也可以是通过目镜观察被摄体像的电子取景器)上进行实时取景显示。摄影者观察实时取景显示，从而确定构图和快门时机。在静态图像摄影时，如果对释放按钮进行操作则静态图像的图像数据会被记录于记录介质。在动态图像摄影时，如果对动态图像按钮等进行操作则开始动态图像摄影，如果再次对动态图像按钮等进行操作则动态图像摄影结束。选择了再现模式时，可以将记录于记录介质的静态图像和动态图像的图像数据再现显示于显示部。

此外，在动态图像摄影时，将对应于帧率的曝光时间分割为多个，在每个分割曝光期间分别读出图像数据，并使用该读出的多个图像数据，进行图像合成以得到适当曝光量的图像数据。在进行该图像合成时，准备多个图像合成处理，根据视场亮度而从多个图像合成处理中选择最佳的图像合成处理以进行图像合成(例如，参照图3的No.1～5、图6、图8的S39～S61、图9的S71～S79等)。

图1是表示本发明一个实施方式的相机的主要电气结构的框图。摄像部1内设置有光学系统3和摄像元件5。光学系统3在摄像元件5上形成被摄体的光学像。光学系统3具有对焦镜头，该对焦镜头根据来自系统控制部27的驱动控制信号，能够通 过镜头驱动机构在光轴方向移动。

光学系统3内可以设置光圈，该光圈确定用于调节曝光量的光圈值。此外，在光学系统3与摄像元件5之间可以设置机械快门，通过机械快门的开闭动作进行对摄像元件5的曝光和遮光，从而控制机械快门速度。

摄像元件5是CMOS图像传感器或CCD图像传感器等，将通过光学系统3而成像的被摄体的光学像按照每个像素而转换为电信号，并输出图像数据。在该图像数据的输出时，摄像元件5根据来自系统控制部27的摄像控制信号，进行曝光和图像数据的读出。摄像元件5在动态图像摄影时具备电子快门功能，能够控制曝光时间。摄像元件5作为以比动态图像的帧率短的周期反复进行摄像，并输出图像数据的摄像部发挥功能。

此外，摄像元件5还可以根据来自系统控制部27或曝光确定部41的指示，将2个像素的输出相加并输出图像数据(将它们称作“2像素混合”)(参照图9的S77)。将通过摄像元件5而读出的图像数据输出到前处理部7内的通常处理部9、合成处理部11和总线25。总线25是用于在各块间进行信号的发送接收的信号线。

前处理部7设置有通常处理部9、合成处理部11、增益调整部13、显像处理部15。

合成处理部11在对动态图像进行摄影或使用数字ND的情况下，进行分割曝光，对通过各分割曝光取得的图像数据进行合成处理。该合成处理根据来自系统控制部27和分割曝光控制部35等的控制信号进行。合成处理部11进行后述的平均相加(例如，参照图3的No.4、图6的No.B～C、图8的S45)、部分相加(例如，参照图3的No.3、图6的No.D～E、图8的S51)、累积相加(例如，参照图3的No.2、图6的No.F～H、图8的S55)等合成处理。

另一方面，通常处理部9在静态图像摄影时等，进行在不进行合成处理时通过1次曝光取得的图像数据的处理。

增益调整部13对从通常处理部9和合成处理部11输出的图像数据施加增益、即将图像数据乘以k倍，并输出给显像处理部15。合成处理部11和增益调整部13具备预先确定的多个图像合成处理，作为通过多个图像处理中的一个处理对从摄像部输出的一系列的图像数据进行图像合成，以生成合成图像的图像处理部发挥功能(例如，参照图3、图8的S45～S47、S51～S55、S59～S61、图9的S75～S79)。该图像处 理部执行累积相加、累积相加+增益提高、平均相加中的至少一个。

显像处理部15对通过通常处理部9或合成处理部11生成的RAW图像数据，进行逆马赛克变换、白平衡调整、伽马校正等的显像处理。将显像处理后的图像数据输出给总线25。

图像处理部17对通过显像处理部15等而处理后的图像数据，进行实时取景显示、用于静态图像记录和动态图像记录的图像处理，并且对于记录于外部存储器47中的图像数据，进行用于再现显示的WB(白平衡)、NR(降低噪声)、暗电流校正、失真像差校正、色像差校正等基本的图像处理等各种图像处理。

压缩/解压缩处理部19在将图像数据记录于外部存储器47时，进行JPEG或MPEG等的图像压缩处理。并且，在从外部存储器47读出图像数据，并显示于显示部(display)21时，对被压缩的图像数据进行解压缩处理。

显示部21具有TFT(Thin Film Transistor：薄膜晶体管)液晶或有机EL等的显示器，在背面显示部或EVF(电子取景器)上显示基于图像数据的图像。无线接口(I/F)23是用于通过无线方式与外部设备进行通信的接口。

系统控制部27具有CPU(Central Processing Unit：中央处理单元)等控制电路及其周边电路，根据在内部存储器33内的非易失性存储器中存储的程序，对相机整体进行控制。

操作输入部29具有释放按钮、动态图像按钮、十字按钮等操作部件、背面显示部等上的用于输入触摸操作的触摸面板等，根据用户操作进行各种模式设定和摄影动作的指示。通过操作输入部29，摄影者能够进行例如比较亮合成和比较暗合成等的实时合成摄影模式、实时B门摄影模式、数字ND滤镜摄影模式、高动态范围摄影模式、高速摄影模式等摄影模式等的设定(关于这些摄影模式请参照图4)。

麦克风31将音频转换为音频数据，并输出给系统控制部27。在动态图像摄影时，将通过麦克风31而转换的音频数据与动态图像数据一起记录。另外，还可以设置动态图像再现用的扬声器。

内部存储器33暂时性存储相机动作所需的各种设定信息和在图像处理时途中经过的图像数据。内部存储器33具有可改写的非易失性的闪存、可改写的易失性存储器的SDRAM等存储器。

外部存储器47是可自如装填于相机主体内或固定于内部的非易失性的存储介 质，例如是SD卡和CF卡等。该外部存储器47通过接口(I/F)45记录图像数据，并且在再现时通过I/F45读出所记录的图像数据。

记录格式确定部43确定动态图像记录时的记录格式。本实施方式中，在内部存储器33内的非易失性存储器中存储多个记录格式，在菜单画面上显示这些多个记录格式(例如，24P、30P、60P)，用户通过对十字按钮的操作和在触摸面板上的触摸操作等进行指定。

分割曝光控制部35内设置有级别判别部37、曝光确定部41。级别判别部37根据来自摄像元件5的图像数据，判别视场亮度的级别。本实施方式中，比较视场亮度V₁与判别值kV₀、V₀/2、V₀/4、V₀/8，判别6种级别(参照图8的S39、S43、S49、S57、图9的S71)。

曝光确定部41根据按照在记录格式确定部43中确定的记录格式而确定的曝光时间(快门速度)，确定获得适当曝光的光圈值和ISO感光度。此外，曝光确定部41作为对根据视场亮度而被级别判别部划分了级别的图像数据，指示多个图像合成处理中的一个处理的曝光运算部发挥功能。例如，在图3所示的示例中，根据视场亮度分类为No.1～No.5，并根据该分类进行平均相加、部分相加、累积相加等相加处理、增益提高等处理。

此外，在图8、图9所示的示例中，根据视场亮度而分为6类(S37、S41、S47、S53、S61)，并根据该分类，进行平均相加、部分相加、累积相加等相加处理以及增益调整、2像素混合等处理(S45～S47、S51～S55、S59～S61、S75～S79)。曝光确定部41作为根据视场亮度的变化，输出变更多个图像合成处理中的一个处理的指示的曝光运算部发挥功能。

接着，使用图2，对通常曝光处理和分割曝光处理进行说明。在图2A和图2B中，上段表示通常曝光处理，下段表示分割曝光处理，横轴表示时间变化。此外，图2A表示CCD图像传感器等的具有电子全局快门的摄像元件的曝光处理的示例，图2B表示C-MOS图像传感器等的具有电子滚动快门的摄像元件的曝光处理的示例。

在图2A和图2B所示的示例中，无论摄像元件5是电子全局快门还是电子滚动快门的情况下，在进行通常曝光处理时都通过电子快门功能在1帧期间内进行1次曝光。该通常曝光处理的1帧的周期T1在图2A和图2B所示的示例中为60fps(60帧秒＝1/60秒)。本实施方式中，在实时取景显示中进行通常曝光。

此外，在分割曝光处理的情况下，1帧的周期与通常曝光处理时相同为60fps，在该示例中，在1帧的时间T1内进行4分割曝光处理。即，在时间T1期间内按照分割曝光时间Exd进行4次曝光，并且每次进行曝光时都读出图像数据。各曝光在时刻ES开始曝光，并在时刻RO进行图像数据的读出。在进行分割曝光处理的情况下，如图2A和图2B的各下段所示，1帧的周期T内的大半时间为曝光时间。

图2A所示的CCD图像传感器等电子全局快门的情况下，能够同时进行数据的读出和下一帧的曝光开始。此外，在具有电子滚动快门的C-MOS图像传感器的情况下，如图2B所示，只要在图像传感器内读出了数据后，则缓慢地向图像传感器外输出数据。这样，在电子全局快门和电子滚动快门的情况下，在曝光开始和读出的时刻不同的任意的方式下，都能够进行分割曝光处理。

接着，使用图3，对进行分割曝光处理时，合成与适当曝光量的图像等效的图像的方法。

图3中，时刻t0～t8是1帧期间T1(图3所示的例子中，T1＝1/60秒)。本例中，摄像元件5为使用C-MOS图像传感器的情况，通过滚动快门进行读出。1帧中的分割曝光的数量为4，按照每个T2进行1张的图像的读出。此外，被分割的帧内的曝光时间为T2(1/240秒)(时刻t0～t2、t2～t4、t4～t6、···)。时间T3是后述的No.5所示的更为明亮时的曝光时间(1/360秒)。

本实施方式中，预先准备多个图像合成处理，根据视场亮度的明亮度，从多个图像合成处理中选择。图3所示的例子中，根据明亮度而准备了No.1～No.5的5种图像合成处理。

图3的No.1的示例是曝光时间为1/60秒，无法获得适当曝光量的视场较暗的情况。这种情况下，对在各曝光时间T2取得的图像数据进行累积相加，并对该累积相加后的图像数据进行增益提高以成为适当曝光的级别。即，合成处理部11将在时刻t0～t2曝光的曝光量LM1、在时刻t2～t4曝光的曝光量LM2、在时刻t4～t6曝光的曝光量LM3、在时刻t6～t8曝光的曝光量LM4进行累积相加。然而，仅通过该累积相加无法获得适当光量，因而增益调整部13施加增益以成为适当光量。另外，后述的图8的S59～S61进行与该No.1同样的处理。

图3的No.2所示的例子是曝光时间为1/60秒的情况下获得适当曝光量的视场的明亮度的情况。这种情况下，如果对在各曝光时间T2取得的图像数据进行累积相加， 则成为适当曝光量。具体而言，合成处理部11将在时刻t0～t2曝光的曝光量LM5、在时刻t2～t4曝光的曝光量LM6、在时刻t4～t6曝光的曝光量LM7、在时刻t6～t8曝光的曝光量LM8进行累积相加。仅通过该累积相加就成为适当光量。另外，后述的图8的S59～S61中，如果设S61的增益调整量为1，则成为与该No.2同样的处理。

图3的No.3所示的例子是相比No.2的情况而言视场明亮的情况，在曝光时间为1/120秒的情况下获得适当曝光量。这种情况下，对在各曝光时间T2取得的图像数据进行部分相加，并对该相加值取平均，则成为适当曝光量。即，合成处理部11将在时刻t0～t2曝光的曝光量LM9与在时刻t2～t4曝光的曝光量LM10相加而计算出相加值SM1，将在时刻t4～t6曝光的曝光量LM11与在时刻t6～t8曝光的曝光量LM12相加而计算出相加值SM2。然后，该相加值SM1+SM2的平均值、即(SM1+SM2)/2就成为适当光量。另外，后述的图8的S51～S53进行与该No.3同样的处理。

图3的No.4所示的例子是相比No.3的情况而言视场明亮的情况，在曝光时间为1/240秒的情况下成为适当曝光量。这种情况下，将在各曝光时间T2取得的图像数据进行累积相加，并对该相加值取平均，则成为适当曝光量。合成处理部11将在时刻t0～t2曝光的曝光量LM13、在时刻t2～t4曝光的曝光量LM14、在时刻t4～t6曝光的曝光量LM15、在时刻t6～t8曝光的曝光量LM16进行累积相加，并对该相加值取平均、即将相加值除以4即可(将该运算称作“平均相加”)。仅通过该平均相加就能够成为适当光量。另外，后述的图8的S44～S47中，在步骤S44设T3＝T2，并设步骤S47的增益调整量为1，则成为与该No.4同样的处理。

图3的No.5所示的例子是相比No.4的情况而言视场明亮的情况，曝光时间为1/360秒的情况下成为适当曝光量。这种情况下，采用曝光时间T3(本例中为T3·240/360＝T3·2/3)，减小通过分割曝光得到的各图像数据的值。即，对各曝光量LM17、LM18、LM19、LM20进行平均相加，求出适当曝光量(参照图8的S44～S47)。

接着，使用图4对与摄像控制关联的摄影模式的设定进行说明。本实施方式中，设置了控制摄像元件5的摄像动作，进行图像数据的合成处理等(其中，高速摄影时不进行图像合成)，从而获得各种图像的“摄像控制模式”。对于该摄像控制模式，可作为显示部21的菜单画面而如图4所示显示并由用户选择。

图4中，最上段的左侧的“IMG CTRL”表示图像/控制的各选择项目，最上段的右侧的ON表示设定状态，OFF表示非设定状态。作为摄像控制模式，在图4所示的 例子中，实时合成摄影(标记为“LV COMP”)为非设定状态，实时B门摄影(标记为“LV BLB”)为非设定状态，数字ND滤镜摄影(标记为“DND”)为设定状态，高动态范围摄影(标记为“HDR”)为非设定状态，高速摄影(标记为“HiSP”)为非设定状态。另外，在本例中，仅设定了1种摄像控制模式，也可以设定多种的模式。

实时合成摄影(LV COMP)用于较低亮度的被摄体摄影时，进行反复曝光，使用每次曝光时输出的图像数据进行图像合成。作为图像合成，利用在当前帧图像和前一帧图像的各像素位置处相对较亮或较暗的像素的数据进行覆盖。例如，在对夜里的高速道路摄影的情况下，若进行比较亮合成，则成为沿着车的移动而仅合成明亮的车灯的轨迹的图像。此外，如果进行了比较暗合成，则成为仅存在消除了车灯的背景图像的图像。

实时B门摄影(LV BLB)也用于较低亮度的被摄体摄影时，进行反复曝光，随着时间经过而对各像素位置的像素值进行相加合成。例如，当与B门摄影同样地拍摄从烟花升空到烟花散开的状态时，在该摄影中显示经过图像。

数字ND滤镜摄影(DND)不使用光学滤镜，通过数字控制来进行与安装有光学滤镜时同样的减光摄影。在动态图像摄影的情况下，如果设定了该DND模式，则在明亮的场景下也能够在开放光圈的状态进行摄影。图3、图8和图9所示的示例是设定了该DND模式的情况下的控制。

高动态范围摄影(HDR)将曝光量不同的多个帧图像合成，生成放大了灰度的图像。改变曝光时间以取得多个帧图像，并且改变感光度以取得多个帧图像，使用这些多个帧图像，将再现了饱和或黑暗状态的区域的灰度的图像合成。

高速摄影(HiSP)利用所谓的电子快门，在极短时间内进行曝光以使移动体静止，从而取得图像。在机械快门的情况下，难以进行极短时间的曝光，然而由于电子快门仅是通过摄像元件5控制电荷蓄积的时机，因此能够进行极短时间的曝光。

接着，使用图5，对选择了数字ND滤镜摄影模式的情况下的子菜单进行说明。数字ND滤镜摄影模式中还准备了手动数字ND滤镜摄影模式和自动数字ND滤镜摄影模式。此外，手动数字ND滤镜摄影模式能够选择减光率。图5中，在“SEL”的栏可以选择自动(AUTO)和手动(MANU)，通过“减光”设定能够减光调节的亮度范围。

选择了“AUTO”时，成为自动数字ND滤镜摄影模式，根据亮度而自动地切换数 字ND滤镜的减光率，在将光圈固定为-4EV的情况下进行自动减光控制。在上述图3的所有摄影中减光率自动发生变化。

选择了“MANU”时，成为手动数字ND滤镜摄影模式，固定用户所选择的ND滤镜的减光量。作为固定的减光量，在图5所示的例子中，可以按照每1/3段来变更。然而不限于此，还可以按照每1/2段或每1/4段或更为细致地变更。手动数字ND滤镜摄影模式下，可得到适当曝光的亮度变更范围较小，然而可得到与光学ND滤镜同样的效果。数字ND滤镜摄影相比光学ND滤镜而言无需拆装，能够细致地设定ND减光量(光学ND滤镜通常按照每1段来设定)，滤镜不会被污染也不会破损，具有能够在短时间内切换的优势。

接着，使用图6，对数字ND滤镜摄影模式设定时对应于视场亮度的曝光控制和合成处理进行说明。本实施方式中，如上所述，根据视场亮度从多个图像合成处理中选择一个处理，进行图像数据的处理，图6示出根据视场亮度而选择的图像合成处理的例子。

图6所示的例子中，No.B所述的亮度BV₀是基本亮度。No.B时，在ISO固定、光圈值固定的状态下，电子快门速度TV为1/240秒进行曝光的情况下，可从摄像元件5得到适当输出V₀。这种情况下，将4次分割曝光的图像数据相加，并将该相加值除以4，从而生成成为适当曝光的图像。另外，该No.B的图像合成处理是与图3的No.4所示的例子相同的处理。

此外，No.A是亮度比No.B高的情况下的例子。No.A表示进一步缩短1次曝光时间1/240秒，将电子快门速度Tv变更为1/360秒的情况。另外，在亮度比No.A高的情况下，可以进一步缩短1次的曝光时间。该No.A的图像合成处理是与图3的No.5所示的例子相同的处理。

图6中，No.C至No.G是相比No.B的情况下视场亮度逐渐变暗的情况。从No.C至No.G，将分割帧数固定为4，并将电子快门速度固定为1/240秒，在此状态上实施相加运算处理以生成成为适当曝光的图像。

例如，No.C时，视场亮度处于BV₀-1与BV₀之间，来自摄像元件5的图像数据的输出在V₀与V₀/2之间。因此，No.C时，图像数据的相加处理是平均相加、即将4次的分割曝光的图像数据相加，并将该相加值除以4，进一步乘以增益，从而生成成为适当曝光的图像。

此外，No.D时，视场亮度为比基准亮度BV₀暗1段的BV₀-1，来自摄像元件5的图像数据的输出是V₀/2。因此，No.D时，图像数据的相加处理进行累积部分相加，进行平均化运算、即将4次的分割曝光的图像数据中的最初的2次的图像数据与后面的2次的图像数据分别相加，并将该相加值除以2，从而生成成为适当曝光的图像。另外，该No.D的图像合成处理是与图3的No.3所示的例子相同的处理。

此外，No.E时，视场亮度处于BV₀-1与BV₀-2之间，来自摄像元件5的图像数据的输出在V₀/2与V₀/4之间。因此，No.E时，图像数据的相加处理是平均相加、即将4次的分割曝光的图像数据中的最初的2次的图像数据与后门的2次的图像数据分别相加，并将该相加值除以2，进而乘以增益，从而生成成为适当曝光的图像。

此外，No.F时，视场亮度是比基准亮度BV₀暗2段的BV₀-2，来自摄像元件5的图像数据的输出是V₀/4。因此，No.F时，图像数据的相加处理是累积相加、即将4次的分割曝光的图像数据累积相加，则该相加值就成为实现适当曝光的图像。另外，该No.F的图像合成处理是与图3的No.2所示的例子相同的处理。

此外，No.G时，视场亮度处于BV₀-2与BV₀-3之间，来自摄像元件5的图像数据的输出位于V₀/4与V₀/8之间。因此，No.G时，图像数据的相加处理是累积相加、即将4次的分割曝光的图像数据累积相加，进而乘以增益，从而生成成为适当曝光的图像。另外，该No.G的图像合成处理是与图3的No.1所示的例子相同的处理。

图6的No.H是在亮度更低时，在摄像元件5内进行2像素混合，画质虽然会某种程度发生劣化，然而可确保感光度的示例。此外，进行增益提高以实现适当曝光。

上述的No.B～G是在手动数字ND滤镜摄影模式和自动数字ND滤镜摄影模式中共通的控制。并且，No.A和No.H是仅在自动数字ND滤镜摄影模式中的控制。

接着，使用图7所示的流程图，对摄影模式的处理进行说明。如使用图4说明的那样，本实施方式中，与摄像控制关联地能够设定5种摄影模式。另外，该流程图和后述的图8和图9所示的流程图中，系统控制部27内的CPU根据在内部存储器33中存储的程序，控制相机内的各部分，从而执行附图的处理。

进入图7所示的摄影模式的流程后，首先进行实时取景(LV)显示(S1)。这里，通过通常处理部9对来自摄像元件5的图像数据实施处理。并且，对于该处理后的图像数据，由增益调整部13、显像处理部15、图像处理部17等实施实时取景显示用的处理，并根据该图像数据在显示部21进行实时取景显示。用户观察实时取景显示， 能够确定构图，或者确定静态图像的快门时机和动态图像的摄影开始/结束的时机。

在进行了实时取景显示时，接下来进行摄影模式的设定(S3)。如上所述，本实施方式中，使显示部21显示菜单画面，利用十字按钮或触摸操作从菜单画面中将与摄像控制关联的摄影模式设定为用户意图的摄影模式。另外，作为设定方法，不限于菜单画面，例如还可以通过专用按钮等进行设定。

在步骤S3中的摄影模式的设定中，在处于实时合成摄影模式(LV CMP)的情况下，设定实时合成摄影模式(S5)，进行实时合成控制(S7)。该控制结束后，返回步骤S1。

在步骤S3的摄影模式的设定中，在处于实时B门摄影模式(LV BLB)的情况下，设定实时B门摄影模式(S9)，进行实时B门控制(S11)。该控制结束后，返回步骤S1。

在步骤S3的摄影模式的设定中，在处于数字ND滤镜摄影模式(DND)的情况下，设定数字ND滤镜摄影模式(S13)，进行数字ND滤镜控制(S15)。该控制结束后，返回步骤S1。后面使用图8和图9说明该数字ND滤镜控制的详细动作。

在步骤S3的摄影模式的设定中，在处于高动态范围摄影模式(HDR)的情况下，设定高动态范围摄影模式(S17)，进行高动态范围控制(S19)。该控制结束后，返回步骤S1。

在步骤S3的摄影模式的设定中，在处于高速摄影模式(HiSP)的情况下，设定高速摄影模式(S21)，进行高速控制(S23)。该控制结束后，返回步骤S1。

在步骤S3的摄影模式的设定中，在未选择与摄像控制关联的摄影模式的情况下，不选择摄影模式(S25)，进行通常摄影(S27)。这里，执行通常进行的通常摄影。进行了通常摄影后，返回步骤S1。

接着，使用图8和图9所示的流程图，对图7的步骤S15的数字ND滤镜控制(DND控制)的详细动作进行说明。

进入DND控制的流程后，首先设定ISO感光度SV和光圈值AV(S31)。这里，设定预设值或在菜单画面等中设定的ISO感光度值SV。此外，在设定了光圈优先模式或手动曝光控制模式的情况下，设定用户所指示的光圈值AV。在设定了自动曝光控制模式的情况下，在后述的步骤S35中测定视场亮度BV，因此光圈值AV可根据视场亮度BV等而通过顶点运算求出。另外，在已设定SV、AV的情况下，确认设定 值。

进行了SV、TV的设定后，接下来进行DND模式的选择(S33)。如使用图5所述的那样，数字ND滤镜模式包括自动数字ND滤镜摄影模式(AUTO)和手动数字ND滤镜摄影模式(MANU)这2种。该步骤中，判定选择了哪个摄影模式并设定。并且，在设定了手动数字ND滤镜摄影模式的情况下，一并设定所选择的减光量。

在进行了DND模式的选择后，接下来进行BV测定(S35)。这里，根据来自摄像元件5的图像数据，计算视场亮度BV。

进行了BV测定后，接下来判定DND模式是否为自动数字ND滤镜摄影模式(AUTO)(S36)。该判定的结果为AUTO模式的情况下，进行合成处理的确定(S37)。这里，在步骤S35中，根据检测出的BV值，判定符合前述的No.A～H中的哪一个并确定。步骤S36的判定的结果为AUTO模式关闭的情况下，根据所设定的ND值确定合成处理。

在确定了合成处理方法后，接下来判定是否V₁＞V₀(S39)。这里，V₁是在假定摄像元件5不饱和的情况下，对视场亮度输出的值。V₁＝kV₀是输出饱和的限度。此外，V1＝V0是适当曝光状态。

步骤S39的判定的结果为V₁≥kV₀的情况下，输出变得饱和，进行警告显示(S41)。另外，作为警告显示，既可以通过文字、图案文字、图标等在显示部21上警告未适当曝光的情况，也可以设置蜂鸣器等发声部件，通过警告音来表示，还可以设置振动部件来通过振动进行表示等，可采用任意的方法。

步骤S39的判定的结果并非V₁＞kV₀的情况下，接下来判定是否为V₀/2＜V₁≤kV₀(S43)。

步骤S43的判定的结果为V₀/2＜V₁≤kV₀的情况下，确定包括1/240秒的短快门速度(T3)(S44)，进行平均相加(S45)，并调整增益(S47)。这里，将通过1帧中的4次分割曝光而取得的4个图像数据依次相加，并将该相加值除以分割数4以计算出平均相加值。计算出相加平均值后，接下来进行增益调整。在作为DND模式而设定了MANU的情况下，将增益固定。而作为DND设定了AUTO的情况下，虽然可以变更增益，然而这种情况下优选采用注意使得画面的明亮度不会急剧变化的算法。该步骤S43“是”、S45、S47的处理相当于前述的图3的No.4、5、图6的No.A、B、C的处理。

另一方面，步骤S43的判定结果并非V₀/2＜V₁≤kV₀的情况下，判定是否为V₀/4＜V₁≤V₀/2(S49)。

步骤S49的判定的结果为V₀/4＜V₁≤V₀/2的情况下，进行部分相加(S51)，并进行平均相加(S53)，进行增益调整(S55)。这种情况下，与图3的No.3的情况同样地，将4个分割曝光中的2个图像数据相加(部分相加)。该相加值存在2个，因此将两者相加，并除以2(平均相加)。

接着，进行增益调整。无论DND模式是AUTO还是MANU，都与步骤S55的情况同样，通常将增益固定。该步骤S49“是”、S51、S53、S55的处理相当于前述的图3的No.3、图6的No.D、No.E的处理。

另一方面，步骤S49的判定的结果并非V₀/4＜V₁≤V₀/2的情况下，判定是否为V₀/8＜V₁≤V₀/4(S57)。

步骤S57的判定的结果为V₀/8＜V₁≤V₀/4的情况下，进行累积相加(S59)，并进行增益调整(S61)。这里，将通过1帧中的n次分割曝光而取得的n个图像数据依次相加，从而计算出累积相加值。计算出累积相加值后，接着进行增益调整。无论DND模式是AUTO还是MANU，通常都将增益固定。该步骤S57“是”、S59、S61的处理相当于前述的图3的No.1、No.2、图6的No.F、No.C的处理。

另一方面，步骤S57的判定的结果并非V₀/8＜V₁≤V₀/4的情况下，成为V₁＜V₀/8(S71)。这里，1次曝光的输出表示适当曝光量V₀的1/8倍。

接着，进行是否为AUTO的判定(S73)。这里，根据在步骤S33设定的数字ND滤镜摄影模式进行判定。

步骤S73的判定的结果为AUTO的情况下，进行2像素混合(S75)，进行累积相加(S77)，并进行增益调整(S79)。这种情况下，视场亮度比较暗，而为了通过自动曝光控制成为适当曝光，除了进行累积相加之外，还进行2像素混合。2像素混合输出由摄像元件5将2个像素的图像数据相加得到的数据，因此像素值成为2倍。累积相加是与步骤S59同样的处理，而增益调整是与步骤S47、S55、S61同样的处理。

在步骤S79进行了增益调整，或者在步骤S81进行了警告时，结束DND控制的处理，并返回原本的流程。当被摄体发生变化时明亮度也会变化，因此重复执行同样的处理。

如上所述，在本发明的一个实施方式中，能够进行预先确定的多个图像合成处理 (图8的S45和S47的处理、S51和S53的处理、S59和S61的处理、图9的S75、S77和S79的处理)，通过多个图像合成处理中的一个处理将从摄像部几乎没有中断地输出的一系列的图像数据进行图像合成，生成合成图像(例如，参照图8、图9)。因此，在动态图像摄影时能够生成不存在翻页感且为适当曝光量的图像数据。即，选择能够在根据动态图像的帧率确定的曝光时间的几乎全部期间内曝光的多个图像合成处理中的1个，从而在动态图像摄影时能够生成不存在翻页感且为适当曝光量的图像数据。此外，由于固定了帧率，因而在短时间内即可进行变更帧率的处理，因此控制变得容易。

另外，本发明的一个实施方式中，在对1帧进行分割曝光时，设分割数为4，然而分割数不限于4。可以根据被摄体的亮度，适当变更分割数。

此外，本发明的一个实施方式中，作为多个图像合成处理，单独进行或组合进行了平均相加、部分相加、累积相加、增益调整、像素混合。然而，作为多个图像合成处理而言，既可以不具备以上全部处理，也可以组合其他的图像合成处理。

此外，本发明的一个实施方式中，作为2像素混合(图9的S75)，通过摄像元件5进行了混合，然而不限于此，既可以通过前处理部7进行，也可以通过其他的部进行。此外，不限于2像素混合，也可以采用3像素混合、4像素混合等，根据亮度改变混合数。

此外，本发明的各实施方式中，将级别判别部37、曝光确定部41、记录格式确定部43构成为独立于系统控制部27的结构，然而当然也可以将各部的全部或一部分通过软件来构成，并通过系统控制部27内的CPU及其周边电路和程序代码来执行。此外，作为这些各部的功能，除了通过硬件电路和软件来实现以外，也可以通过根据通过Verilog描述的程序语言而生成的门电路等的硬件结构来实现，还可以通过按照DSP(Digital Signal Processor：数字信号处理器)等程序代码执行的电路来实现。

此外，本实施方式中，作为用于摄影的设备，使用数字相机进行了说明，然而作为相机，既可以是数字单反相机也可以是紧凑型数字相机，还可以是摄像机、摄影机等的动态图像用的相机，进而，还可以是在移动电话、智能手机、便携信息终端(PDA：Personal Digital Assist：个人数字助理)、个人计算机(PC)、平板型计算机、游戏设备等中内置的相机。无论何种情况，只要是能够通过分割曝光摄影的设备，就能够应用本发明。

此外，关于在本说明书中说明的技术中的主要通过流程图说明的控制，大多可通过程序进行设定，有时也能够收录于记录介质和记录部。作为在该记录介质、记录部中的记录方式，既可以在产品出厂时记录，也可以使用所发布的记录介质，通过因特网下载得到。

此外，关于专利权利要求书、说明书和附图中的动作流程，为了方便而使用“首先”、“接着”等的表现顺序的词语进行了说明，然而在没有特别说明的情况下，并非表示必须按照这种顺序加以实施。

本发明不仅限于上述实施方式，可以在实施阶段在不脱离其主旨的范围内对构成要素变形并使其具体实现。此外，通过在上述实施方式中公开的多个构成要素的适当组合，可形成各种的发明。例如，可以删除在实施方式所示的全部构成要素中的任意几个构成要素。进而，还可以适当组合不同实施方式中的构成要素。