，图像输出电平未必以正比例的值输出。
[0026]合成处理部14在从图像传感器4读出的与多个分割帧对应的图像数据中，按照分别对应的每个像素对输出进行合成处理，生成合成图像数据。作为该合成处理，存在加法平均合成、比较明合成、比较暗合成、决定了阈值的比较明合成、决定了阈值的比较暗合成。
[0027]合成处理部14中的比较明合成是指，在从图像传感器4读出的多个图像数据中，按照分别对应的每个像素对输出进行比较，将输出较大一方的像素输出作为合成图像的像素数据。另外，比较暗合成是指，按照分别对应的每个像素对输出进行比较，将输出较小一方的像素输出作为合成图像的像素数据。另外，加法平均合成是指，在从图像传感器4读出的多个图像数据中，对分别对应的每个像素的输出进行加法平均而生成合成图像。决定了阈值的比较明合成和比较暗合成是指，当在比较明合成和比较暗合成中对每个像素的输出进行比较时，根据是否具有阈值以上的差来决定是否进行合成。
[0028]合成处理部14具有作为合成处理部的功能，该合成处理部对通过增益施加部施加了增益后的多个分割图像数据进行图像合成，生成I帧的合成图像数据。另外，该合成处理部进行使用在构成I帧的期间内所读出的全部分割图像数据来作为I帧的图像数据的图像合成。
[0029]增益施加部15对图像数据乘以规定的增益值。作为增益值除了正增益以外还有负增益，例如作为负增益的一例，通过乘以1/2的增益值，图像数据的输出成为1/2，能够实施与ND2滤镜(将光量减光到1/2的滤镜)同等的减光效果。
[0030]增益施加部15如后述所述那样，在根据被摄体亮度而使分割帧增加的情况下、或者使分割帧减少的情况下，为了抑制图像的明亮度的变化而施加与分割数量对应的增益(参照后述的图3)。增益是考虑在基本图像处理中进行的图像输出而计算出的。通过调整增益，即使在I帧期间中的帧分割数量变化的情况下也能够获得大致相同的图像输出。因为对于人类的眼睛来说，即使图像输出的电平稍微变动也感觉为相同的输出电平，因此只要是人类的眼睛无法感知到变动的程度的图像输出电平的变化，都可以视为大致相同。因此，即使帧中的分割数量发生变化，拍摄者也感觉不到不协调感。增益施加部15发挥作为增益施加部的功能，该增益施加部对从摄像部I输出的多个分割图像数据施加增益。另外，对未被分割的图像数据施加与后述的曝光检测部21中检测出的被摄体亮度信息对应的增益。
[0031]显影处理部16对合成处理部14中生成的RAW图像数据(显影处理前的图像数据)进行去马赛克(同时化处理)、白平衡调整、伽马校正、图像压缩等显影处理。
[0032]电平判定部17判定像素数据的输出电平。在本实施方式中，以使得像素数据不达到饱和电平的方式决定在I帧中重复摄像的分割数量(帧分割数量)，该电平判定部17判定是否达到饱和电平。像素数据是否达到饱和电平是使用RAW图像数据的比特数量的饱和输出来判定的。也可以显示像素数据的输出电平，由使用者进行判断，进行调整的同时设定帧分割数量。
[0033]分割帧数量检测部19在电平判定部17判定为图像数据的像素输出饱和的情况下，检测来自图像传感器4的图像数据成为不饱和的帧分割数量。具体地说，在记录开始前的实时取景显示中，对预先决定的I帧的曝光时间进行分割，并在该分割的帧时间中进行曝光，在电平判定部17中判定像素数据是否未饱和，使帧分割数量增加直到像素数据不饱和为止。另一方面，记录开始后，在图像数据饱和的情况下，I个I个地逐渐增加分割数量。作为逐渐增加的方法也可以考虑在多个帧中I个I个地增加，而不进行分割数量的急剧地变化。虽然在本实施方式中，分割帧的周期(第2周期)使用以2以上的整数分割I帧的周期(第I周期)所得到的值，但也可以是不恰好以2以上的整数整除的周期。
[0034]此外，虽然也可以使帧分割数量增加直到所有的像素数据不饱和为止，但也可以使帧分割数量增加直到饱和像素相对于所有像素数量达到一定比例以下为止。另外，实际上除了一边变更帧分割数量一边检测像素数据的电平以外，例如还可以根据像素数据的电平(平均输出电平或峰值输出电平等)来计算帧分割数量。关于I帧的分割的具体的动作在后述的图4的S9?S13中说明。
[0035]曝光检测部21输入来自图像传感器4的图像数据，检测被摄体亮度，向增益施加部15、系统控制部30等输出该检测出的被摄体亮度信息。增益施加部15如前述所述，根据取得的被摄体亮度来计算并施加增益。
[0036]记录格式设定部23根据用户在输入接口 38中的指定来设定记录格式。在动态图像的记录中存在各种记录格式，通过记录格式设定部23来设定。例如，本专利的I帧在HD30P的情况下是1/30秒，在HD60P的情况下是1/60秒。
[0037]在总线31上除了连接有所述摄像部1、图像处理部10、电平判定部17、分割帧数量检测部19、曝光检测部21、记录格式设定部23之外，还连接有内部存储器33、外部存储器36、显示部37、输入接口 38、麦克风39、以及系统控制部30。
[0038]内部存储器33存储有照相机的动作所需要的各种设定信息、用于系统控制部30执行所需要的程序代码，或在图像处理时暂时存储中途经过的图像。内部存储器33由闪速存储器等非易失性存储器、DRAM等易失性的存储器构成。
[0039]外部存储器36是自由地装填于照相机主体、或者固定于内部的非易失性的存储介质，例如是SD卡或CF卡等。该外部存储器36记录有在显影处理部16进行了显影处理的图像数据，另外能够在再现时读出所记录的图像数据显示于显示部37，或者向照相机的外部输出。
[0040]显示部37由通过TFT (Thin Film Transistor)液晶器件或有机EL显示器件等构成的背面显示部或EVF(电子取景器)构成，显示部37显示由显影处理部16进行了显影的图像。
[0041]输入接口 38具有释放按钮、动态图像按钮等动作部件、或背面显示部等中的用于输入触摸动作的触摸面板等，输入接口 38根据用户操作进行各种模式设定或动态图像记录指示等拍摄动作的指示。记录格式设定部23中的记录格式的设定是在菜单画面中通过输入接口 38来进行的。
[0042]麦克风39在动态图像记录时将周围的声音转换成模拟信号。此外，该模拟声音信号被转换成数字形式的声音数据，与动态图像的图像数据一起记录于外部存储器36。
[0043]系统控制部30具有CPU(Central Processing Unit)，系统控制部30按照存储于内部存储器33内的程序代码进行照相机的整体控制。系统控制部30对上述所示的包含于摄像部I的各部位发送控制信号。同样，经由总线31对来自摄像部I的输出信号进行接收。除此之外，除了所述的图像处理部10、电平判定部17、分割帧数量检测部19、曝光检测部21之外，还对内部存储器33、外部存储器36、显示部37、输入接口 38以及麦克风39各部位进行控制信号的发送接收。
[0044]另外，系统控制部30进行如下方式的控制:当在摄像部I中取得多个分割图像数据时，第I周期的期间中(I帧中)不变更分割帧的数量，并且，增益施加部变更增益，使得变更了分割帧的数量的第I周期的下一个周期能够获得大致相同的图像输出(参照图2)。
[0045]接着，使用图2，对本实施方式中被摄体亮度变化的情况下的帧分割数量的变更和增益变更进行说明。图2的上段表示被摄体亮度逐渐变亮的情况，图2的下段表示被摄体亮度逐渐变暗的情况(参照图2的被摄体亮度的变化的图表)。在图2的上段和下段，帧率都是l/30sec。此外，在图2中，施加了垂直线的分割帧表示标准电平的明亮度，另外施加了横线的分割帧表示增益施加后的影像输出的电平。
[0046]当前，在时刻T0，帧的分割数量是4。到了时刻Tl，曝光检测部21检测到被摄体亮度变亮，当在电平判别部17承认了饱和则帧的分割数量从4变化到5。因为I帧的周期(第I周期)(在这种情况下是l/30sec)不变，因此分割帧的周期(第2周期)变短(在这种情况下从l/120sec变到l/150sec)。另外，因为当单纯使帧的分割数量增加时，分割帧的图像数据的输出电平瞬时降低，因此通过增益施加部15施加正增益使得达到标准电平的明亮度，从而使拍摄者感觉不到不协调感。
[0047]此外，图2上段的时刻Tl和时刻Tla之间的分割帧中的箭头表示增益提升。以后，因为被摄体亮度随着时刻T2、T3、T4、…经过而增加，因此增益施加部15中的增益提升量降低。在此期间，由于通过增益施加部15对图像数据施加增益使得成为大致恒定的明亮度，因此记录图像用的影像输出能够维持大致恒定的电平(参照图2的上段中的施加了横线的分割帧)。
[0048]图2的下段示出被摄体亮度变暗的情况。当前，在时刻Τ10，帧的分割数量是6。到了时刻Τ11，当曝光检测部21检测到被摄体亮度变暗时，帧的分割数量从6变化到5。因为I帧的周期(第I周期)(在这种情况下是l/30sec)不变，因此分割帧的周期(第2周期)变长(在这种情况下从l/180sec变到l/150sec)。另外，因为当单纯使帧的分割数量减少时，分割帧的图像数据的输出电平瞬时上升，因此通过增益施加部15施加负增益使得达到对拍摄者没有不协调感的变化范围的明亮度。
[0049]图2下段的时刻Tll和时刻Tlla之间的分割帧中的箭头表示增益下降。以后，因为被摄体亮度随着时刻T12、T13、T14、…经过而降低，因此增益施加部15中的增益提升量增加。在此期间，由于通过增益施加部15对图像数据施加增益使得达到