处理不同。
[0110]当进行基本图像处理后，接着，判定是否是记录图像效果确认用和合成效果确认用中的任意一方(S115)。这里，在步骤S37或S44中的图像处理的情况下判定为“是”，在步骤S46的记录图像的图像处理的情况下判定为“否”。
[0111]在步骤S115中的判定结果为记录图像效果确认用和合成效果确认用中的任意一方的情况下，进行分辨率转换(S117)。这里，分辨率转换电路109b针对步骤S85中取得的图像数据，使用闪存127中存储的图像的分辨率进行分辨率转换。该情况下，结合进行显示的显示面板135的分辨率对图像的分辨率进行转换。
[0112]当在步骤S117中进行分辨率转换后、或步骤S115中的判定结果为“否”的情况下，接着，判定是否是第I张(S119)。这里，判定是否是进行拍摄以用于深度合成的多个图像中的第I张。在第I张的情况下，由于不存在合成对象图像，所以，跳过步骤S117的处理。
[0113]在步骤S119中的判定结果为不是第I张的情况下，进行位置对齐(S121)。在该步骤中，图像合成电路109c进行对拍摄后的合成用的图像的坐标偏移进行校正的位置对齐。作为位置对齐，例如，对I张图像进行块分割，计算每个块的向相关值最小的坐标的移动量，结合移动量来进行位置对齐。除此以外，也可以计算图像整体的移动量。计算图像整体的移动量的方法能够缩短运算时间，但是精度降低。
[0114]当进行位置对齐后，接着，进行深度合成(S123)。这里，图像合成电路109c进行用于得到扩大景深的效果的图像合成。例如，按照每个像素提取各图像的高频成分，采用提取出的高频成分较高的像素，按照每个像素对高频成分进行合成，生成深度合成图像。
[0115]当在步骤S123中进行深度合成后、或步骤S119中的判定结果为是第I张的情况下，判定处理是否结束(S125)。这里，判定所拍摄的合成用图像的处理是否结束。S卩，在记录图像效果确认用或合成效果确认用的图像处理的情况下，判定与步骤S79(图4)中设定的待合成的对焦位置对应的全部图像数据的处理是否结束。并且，在记录用图像的图像处理的情况下，根据与步骤S71、S77中设定的对焦位置对应的全部图像数据的处理是否结束来进行判定。在该判定结果为处理未结束的情况下，读出下一个合成用图像，反复进行步骤S113以下的处理。
[0116]在步骤S121中的判定结果为处理结束的情况下、或步骤S123中进行基本图像处理后，结束图像处理的处理流程，返回原来的处理流程。
[0117]这样，在本实施方式的图像处理的流程中，在深度合成的情况下，使用步骤S85(参照图5)中拍摄的多个合成用图像进行深度合成(S123)。并且，在记录图像效果确认用或合成效果确认用的深度合成的情况下，进行分辨率转换(S117)。通过分辨率转换来减小图像数据的尺寸，由此，确保显示的精度并实现处理时间的缩短。
[0118]接着，使用图7对对焦位置和合成帧的关系进行说明。在图7中，横轴示出对焦位置。并且，标号A所示的范围表示步骤S36的深度合成AF中的对焦位置和合成效果确认用图像的合成帧的位置。并且，标号B所示的范围表示正式拍摄时的步骤S43?S47中的对焦位置和合成帧的位置。
[0119]在深度合成AF的情况下，如标号A的范围所示，与通常AF用对焦位置Lal?La5的间隔相比，深度合成AF用对焦位置Lbl?Lb9的间隔较密。这是为了在记录时的深度合成时准确设定对焦位置。并且，合成效果确认用图像是使用对焦位置Fbl、Fb5、Fb9处取得的图像数据而合成的。由于深度合成中使用的图像的帧数较少，所以，能够确保显示面板135的显示精度并实现合成用的处理时间的缩短。
[0120]并且，在进行了快门释放按钮的全按时进行的正式拍摄的情况下，如标号B的范围所示，按照基准间隔Lsd设定静态图像记录用的对焦位置，在与其对应的对焦位置Fdl?Fdl3取得图像数据，记录用的深度合成的图像是根据这些图像数据而生成的。记录确认用的深度合成图像是使用对焦位置Fcl?Fcl3处取得的图像数据而生成的。
[0121]这样，为了合成效果确认用而使用的图像的帧数最少，为了记录确认用而使用的帧数次少，记录图像用而使用的帧数最多。因此，记录用的深度合成图像花费处理时间，但是能够生成高精度的图像数据。另一方面，合成效果确认用和记录效果确认用的深度合成图像能够确保足以显示在显示面板135中的精度，并且能够缩短处理时间。因此，不会错过快门机会，能够观察进行了深度合成的情况下的确认图像。
[0122]接着，使用图8?图10对本发明的一个实施方式的主动作的变形例进行说明。关于本变形例，在本发明的一个实施方式中，还能够通过实时取景显示来确认深度合成的效果。除了将图3置换为图8?图10以外，本变形例与本发明的一个实施方式相同，以不同之处为中心进行说明。
[0123]在本变形例中，概略地讲，改变对焦镜头的对焦位置并反复进行摄像，存储在存储器(SDRAM127)中。存储器呈环状访问，在一圈之后，蓄积8张焦点位置不同的图像，显示深度合成后的合成图像作为实时取景图像。在被摄场变化的情况下，在图像合成阶段成为错误，从重新准备8张图像开始。
[0124]当本变形例中的主动作开始后，执行图2所示的步骤SI。在本变形例中，在步骤SI中的初始化中，对本变形例中使用的标志(初次标志=“1”)和用作计数器(计数器i= “1”)的变量进行初始化。并且，将错误计数器复位为O。这里，初次标志是用于判定合成图像的初次的标志。计数器i是为了准备8张合成图像而对张数进行计数的计数器。
[0125]当在步骤SI中进行初始化后，执行图2所示的步骤S3?S19。这些步骤中的处理与本发明的一个实施方式中的处理相同。
[0126]在步骤Sll中的判定结果为未按下动态图像按钮的情况下、或步骤S17中关闭动态图像文件后、或步骤S19中生成动态图像文件后，在图8的步骤S32中判定是否处于实时取景显示中。
[0127]在步骤S32中的判定结果为未处于实时取景显示中的情况下，执行步骤S33?S47。这里的处理与本发明的一个实施方式中的处理相同。
[0128]在步骤S32中的判定结果为处于实时取景显示中的情况下，进行平移检测(S201)。这里，通过照相机内设置的加速度传感器(未图示)来检测照相机的抖动。使用为了进行手抖校正而搭载的加速度传感器的输出进行检测。
[0129]当进行平移检测后，接着，判定是否存在平移(S203)。这里，根据基于步骤S201中检测到的加速度传感器的输出的抖动的检测量是否小于规定值来进行判定。在用户大幅移动照相机以用于构图变更或被摄体追踪等的情况下，抖动的检测量大于规定值。当存在平移时，即使存在多个图像数据，也无法进行深度合成，所以，在该步骤中判定有无平移。
[0130]在步骤S203中的判定结果为不存在平移的情况下，判定是否存在合成错误(S205)。在后述步骤S229中无法进行位置对齐的情况下，输出错误信号，在合成错误计数中向上计数。在该步骤中，根据错误信号进行判定。
[0131]在步骤S205中的判定结果为存在合成错误的情况下，接着，判定合成错误的次数是否超过3。另外，3是例示，根据深度合成所要求的级别来决定即可。
[0132]在步骤S207中的判定结果为合成错误的次数超过3的情况下，将计数器i复位为1(S209)，使初次标志为1(S211)。由于合成错误计数器超过3，所以，判断为多次发生合成错误，对合成用的图像的取入进行复位，进行初次标志和合成图像计数用的计数器的复位以重新开始。
[0133]并且，在步骤S203中的判定结果为存在平移的情况下，也在步骤S209和S211中进行初次标志和合成图像计数用的计数器的复位，以使得重新进行深度合成。
[0134]在步骤S205中的判定结果为不存在合成错误的情况下、或步骤S207中合成错误的次数为3以下的情况下、或步骤S211中初次标志设置I后，接着，判定初次标志是“I”还是“O” (S213)。当在步骤S245中最初进行深度合成用的图像处理后，初次标志从“O”变化为 “ I ”。
[0135]在步骤S213中的判定结果为初次标志为“I”的情况下，进行AE处理(S215)。由于是深度合成用的最初的处理，所以，AE处理电路111测定被摄体亮度，进行光圈、电子快门速度、ISO感光度等的曝光运算，以使得能够进行最佳的曝光控制。
[0136]接着，进行镜头位置的运算(S217)。这里，检测主要被摄体的进深，运算进行8次拍摄时的镜头位置，以使得从主被摄体的近前到里侧实现对焦(例如参照图4)。
[0137]当在步骤S217中进行镜头位置的运算后、或步骤S213中的判定结果为初次标志为“O”的情况下，移动到镜头位置(S221)。这里，微计算机207经由驱动器205使对焦镜头移动到步骤S217中运算出的镜头位置。
[0138]当使镜头位置移动后，接着，进行基于电子快门的拍摄(S223)。这里，通过摄像元件103中的电子快门，在由电子快门速度决定的曝光时间内对被摄体像进行曝光，当经过曝光时间后进行图像数据的读出。
[0139]当进行基于电子快门的拍摄后，接着，进行基本图像处理(S225)。这里，基本图像处理电路109a对步骤S223中读出的图像数据实施基本图像处理。
[0140]当进行基本图像处理后，接着，与步骤S213同样，判定初次标志是“I”还是“O” (S227) ο
[0141]在步骤S227中的判定结果为初次标志为“O”的情况下，进行位置对齐(S229)，进行深度合成(S231)。在图像数据为8以上的情况下，初次标志为“0”，能够进行深度合成。在该步骤中，使用8张图像数据进行图像彼此的位置对齐，进行深度合成处理。由于在SDRAM127中暂时存储最新的8张图像数据，所以，使用这8张图像数据进行深度合成。并且，如上所述，在无法进行步骤S229中的位置对齐的情况下，输出