摄像装置、摄像方法、处理程序与流程

本发明涉及通过进行像素偏移和深度合成而生成景深较深的高分辨率的合成图像数据的摄像装置、摄像方法、处理程序。

背景技术：

以往提出了如下技术：对以像素间距的非整数倍的移动量进行像素偏移而获取到的多个图像数据进行合成而生成高分辨率的合成图像数据。

例如，在日本特开平6-225317号公报中记载了如下技术：通过使拜耳排列的摄像元件沿水平方向、垂直方向、或倾斜方向偏移0.5像素或1像素来进行四次或八次摄影，并对所获得的4张或8张图像进行合成从而生成在水平方向和垂直方向上具有两倍的分辨率的图像。

并且，以往也提出了如下技术：通过进行一边变更对焦位置一边获取多张图像的对焦包围摄影，并对所获得的多个图像进行深度合成得到扩大了对焦范围的景深较深的图像。

例如，在日本专利第4678603号公报中记载了如下技术：通过对焦包围摄影来获取多张图像，并以使各图像的特征点一致的方式使图像变形，在多张图像之间选择对应的像素内锐利度最高的像素并进行合成，从而输出在整个画面上焦点对准的全对焦图像。

当通过在上述日本特开平6-225317号公报中记载的那样的像素偏移技术而生成高分辨率的图像时，焦点对准的部分被高分辨率化，但未对原来焦点未对准的部分进行高分辨率化。例如在微距摄影等的情况下，由于在整个被摄体上使焦点对准非常难，因此焦点对准的部分与焦点未对准的部分的分辨率差较大，从而与普通的1张摄影图像相比生成景深更浅的图像。

要想加深景深只要减小镜头光圈开口直径即可，但当减小镜头光圈开口直径时，由于这次因衍射的影响而导致焦点对准的部分的像也模糊，因此要想获得高分辨率的图像需要以某种程度的大小打开镜头光圈。

因此，作为不减小镜头光圈就能获得景深较深的图像的方法，考虑利用在上述日本专利第4678603号公报中记载的那样的进行对焦包围摄影和深度合成的技术。然而，在进行像素偏移摄影和对焦包围摄影这两方的情况下，所获取的图像张数为(像素偏移所需的图像张数)×(对焦包围张数)，例如在像素偏移为8张，对焦包围为10张的情况下，为了获得1张合成图像而拍摄80张图像。因此，不仅需要较长的摄影时间，合成图像也需要较长的时间，并且，要想对张数庞大的图像进行合成处理，SDRAM等存储器也需要大容量。

本发明就是鉴于上述情况而完成的，其目的在于，提供能够缩短图像的获取和处理所需的时间，节约存储器容量，生成景深较深的高分辨率图像的摄像装置、摄像方法、处理程序。

技术实现要素：

用于解决课题的手段

本发明的某个方式的摄像装置具有：像素偏移处理部，其在某个对焦位置上进行像素偏移拍摄而获取多个图像数据，并对获取到多个图像数据进行像素偏移合成处理而生成像素偏移合成图像数据；深度处理部，其使上述像素偏移处理部对多个对焦位置进行处理，生成对焦位置不同的多个像素偏移合成图像数据，并对该多个像素偏移合成图像数据进行深度合成处理而生成景深较深的图像；以及合焦区域提取部，其在多个上述对焦位置中的至少一个对焦位置上提取合焦区域，上述像素偏移处理部针对被提取了上述合焦区域的对焦位置，仅对包含该合焦区域在内的部分图像区域进行像素偏移合成处理。

本发明的某个方式的摄像方法具有如下步骤：像素偏移处理步骤，在某个对焦位置上进行像素偏移拍摄而获取多个图像数据，并对获取到的多个图像数据进行像素偏移合成处理而生成像素偏移合成图像数据；深度处理步骤，对多个对焦位置执行上述像素偏移处理步骤，生成对焦位置不同的多个像素偏移合成图像数据，并对该多个像素偏移合成图像数据进行深度合成处理而生成景深较深的图像；以及合焦区域提取步骤，在多个上述对焦位置中的至少一个对焦位置上提取合焦区域，上述像素偏移处理步骤是如下步骤：针对被提取了上述合焦区域的对焦位置，仅对包含该合焦区域在内的部分图像区域进行像素偏移合成处理。

本发明的某个方式的处理程序是用于使计算机执行在某个对焦位置上进行像素偏移拍摄而获取多个图像数据，并对获取到的多个图像数据进行像素偏移合成处理而生成像素偏移合成图像数据的像素偏移处理步骤、对多个对焦位置执行上述像素偏移处理步骤，生成对焦位置不同的多个像素偏移合成图像数据，并对该多个像素偏移合成图像数据进行深度合成处理而生成景深较深的图像的深度处理步骤、以及在多个上述对焦位置的至少一个对焦位置上提取合焦区域的合焦区域提取步骤的处理程序，上述像素偏移处理步骤是如下步骤：针对被提取了上述合焦区域的对焦位置，仅对包含该合焦区域在内的部分图像区域进行像素偏移合成处理。

附图说明

图1是示出本发明的实施方式一的数码相机的结构的框图。

图2是示出上述实施方式一的像素偏移合成处理部的结构的框图。

图3是示出在上述实施方式一中通过在一个对焦位置上的像素偏移摄影得到的8张拜耳图像中的R、Gr、Gb、B的基本的像素配置的图。

图4是示出在上述实施方式一中由像素配置部从图3所示的像素配置的8张拜耳图像中获得的R像素配置的图。

图5是示出在上述实施方式一中由像素配置部从图3所示的像素配置的8张拜耳图像中获得的Gr像素配置的图。

图6是示出在上述实施方式一中由像素配置部从图3所示的像素配置的8张拜耳图像中获得的Gb像素配置的图。

图7是示出在上述实施方式一中由像素配置部从图3所示的像素配置的8张拜耳图像中获得的B像素配置的图。

图8是示出在上述实施方式一中以较大的光圈开口直径拍摄的图像的例子的图。

图9是示出在上述实施方式一中以较小的光圈开口直径拍摄的图像的例子的图。

图10是示出在上述实施方式一中对图8所示的图像和图9所示的图像的锐利度进行比较而提取的合焦区域的样子的图。

图11是示出在上述实施方式一中合焦区域提取部所设定的像素偏移摄像区域的图。

图12是示出在上述实施方式一中由合焦区域提取部在像素偏移摄像区域内设定的图像获取区域的图。

图13是示出在上述实施方式一中像素偏移部所进行的像素偏移的路径的图。

图14是示出上述实施方式一的数码相机的主处理的流程的流程图。

图15是示出上述实施方式一的数码相机的摄影和合成处理的流程的流程图。

图16是示出上述实施方式一的数码相机的像素偏移摄影处理的流程的流程图。

图17是示出上述实施方式一的数码相机的深度合成处理的流程的流程图。

图18是示出在通过与上述实施方式一的方法相比较的与以往相同的方法来获取用于进行像素偏移和深度合成的图像时的图像数据量的例子的图。

图19是概略性地示出在通过上述实施方式一的方法来获取用于进行像素偏移和深度合成的图像时的图像数据量的例子的图。

图20是示出本发明的实施方式二的数码相机的像素偏移摄影处理的流程的流程图。

图21是示出本发明的实施方式三的数码相机的摄影和合成处理的流程的流程图。

图22是示出上述实施方式三的数码相机的像素偏移摄影处理的流程的流程图。

图23是示出上述实施方式三的数码相机的像素偏移合成和深度合成处理的流程的流程图。

图24是示出上述实施方式三的数码相机的深度合成处理的流程的流程图。

图25是示出本发明的实施方式四的数码相机的结构的框图。

具体实施方式

下面，参照附图对本发明的实施方式进行说明。

【实施方式一】

图1至图19示出了本发明的实施方式一，图1是示出数码相机的结构的框图。本实施方式将摄像装置应用于数码相机。

该数码相机构成为将更换式镜头1和照相机主体2连接成能够经由接口(I/F)3进行通信。

更换式镜头1例如经由镜头安装部装卸自由地安装于照相机主体2，接口3由形成于镜头安装部的电接点(设置于更换式镜头1侧的电接点和设置于照相机主体2侧的电接点)等构成。这样，更换式镜头1能够经由接口3与照相机主体2通信。

更换式镜头1具有：镜头11、光圈12、驱动器13、闪存14、以及微型计算机15。

镜头11是用于将被摄体的光学像成像于照相机主体2的后述的摄像元件22上的摄像光学系统。

光圈12是控制穿过镜头11的光束的穿过范围的光学光圈。

驱动器13根据来自微型计算机15的指令，驱动镜头11进行对焦位置的调整，在镜头11是电动变焦镜头等的情况下再进行焦点距离的变更。此外，驱动器13根据来自微型计算机15的指令，驱动光圈12使开口直径变化。通过该光圈12的驱动，被摄体的光学像的明亮度发生变化，模糊的大小等也发生变化。

另外，在后述的高深度超分辨率摄影模式中一边进行对焦包围和像素偏移一边获取多张图像数据的情况下，镜头11根据对焦包围依次变更对焦位置。并且，在本实施方式中，在对焦包围摄影的各个对焦位置上为了提取合焦区域而使开口直径大小不同从而获取2张图像时驱动光圈12。

闪存14是存储由微型计算机15执行的处理程序、有关更换式镜头1的各种信息的存储介质。

微型计算机15是所谓的镜头侧计算机，且该微型计算机15与驱动器13、闪存14、以及接口3连接。而且，微型计算机15经由接口3与后述的作为主体侧计算机的微型计算机45通信，接受来自微型计算机45的指令，进行存储在闪存14中的信息的读出/写入，来控制驱动器13。并且，微型计算机15将有关该更换式镜头1的各种信息发送到微型计算机45。

接口3将更换式镜头1的微型计算机15和照相机主体2的微型计算机45连接成能够双向通信。

接下来，照相机主体2具有机械快门21、摄像元件22、音圈马达(VCM)23、模拟处理部24、模拟/数字转换部(A/D转换部)25、总线26、SDRAM 27、AF处理部28、AE处理部29、像素偏移合成处理部30、深度合成处理部31、图像处理部32、JPEG处理部36、监视器驱动器37、监视器38、霍尔元件39、存储器接口(存储器I/F)41、记录介质42、操作部43、闪存44、以及微型计算机45。

机械快门21控制来自镜头11的光束到达摄像元件22的时间，且该机械快门21例如是使快门帘幕运行的结构的机械快门。该机械快门21通过微型计算机45的指令而被驱动，来控制光束到达摄像元件22的时间。在仅用机械快门21规定曝光开始和曝光结束的情况下，该光束的到达时间为摄像元件22对被摄体的曝光时间。另外，在后述的高深度超分辨率摄影模式中一边进行对焦包围和像素偏移一边获取多张图像数据的情况下，在从获取最初的图像之前的时刻到获取了最后的图像之后的时刻机械快门21被维持在打开的状态。

摄像元件22具有以规定的像素间距(参照图13等所示的像素间距P)排列成二维状的多个像素，且该摄像元件22根据作为像素偏移摄像控制部(是摄像控制部，且是像素偏移处理部的一部分)和对焦包围摄像控制部(是摄像控制部，且是深度处理部的一部分)的微型计算机45的控制，对经由镜头11和光圈12成像的被摄体的光学像进行光电转换而生成模拟图像信号。该摄像元件22不仅能够进行所有像素读出，还能够读出期望的行或期望的区域(或期望的像素)的像素信号。

本实施方式的摄像元件22例如构成为在垂直方向和水平方向上排列的多个像素的前面配置原色拜耳排列的彩色滤镜而成的单板式的摄像元件。另外，摄像元件22当然不限于单板式的摄像元件，例如也可以是在基板厚度方向上分离颜色成分那样的层叠式的摄像元件。

音圈马达(VCM)23是像素偏移处理部的一部分，使摄像元件22与被摄像元件22接受的光束在上述的二维状的像素排列方向上的相对位置发生位移，且音圈马达(VCM)23是以使帧期间的移动量为像素间距的非整数倍(例如半像素间距单位)(图13等)的方式使相对位置移动的像素偏移部、位移部。音圈马达(VCM)23的具体的结构如下：例如通过磁力使摄像元件22浮在空中并控制磁力，从而在与镜头11的光轴垂直的面内移动摄像元件22的位置。

另外，在这里作为像素偏移部而举音圈马达(VCM)23为例，但并不限于此，也可以使用可以进行像素偏移的其他适当的机构。

模拟处理部24对从摄像元件22读出的模拟图像信号在降低了复位噪声等的基础上进行波形整形，进一步进行增益提升以使其成为目标明亮度。

A/D转换部25将从模拟处理部24输出的模拟图像信号转换为数字图像信号(以后称作图像数据)。

总线26是用于将在数码相机内的某个地方产生的各种数据和控制信号传输到数码相机内的其他地方的传输路径。本实施方式的总线26与音圈马达(VCM)23、A/D转换部25、SDRAM 27、AF处理部28、AE处理部29、像素偏移合成处理部30、深度合成处理部31、图像处理部32、JPEG处理部36、监视器驱动器37、霍尔元件39、存储器I/F 41、以及微型计算机45连接。

从A/D转换部25输出的图像数据(下面适当称作RAW图像数据)经由总线26传输，且该图像数据暂时存储在SDRAM 27中。

SDRAM 27是暂时存储上述的RAW图像数据、或者在像素偏移合成处理部30、深度合成处理部31、图像处理部32、JPEG处理部36等中处理的图像数据等各种数据的存储部。

AF处理部28从RAW图像数据提取高频成分的信号，通过AF(自动对焦)累积处理来获取对焦评价值。这里获取的对焦评价值用于镜头11的AF驱动。另外，AF当然不限定于这样的对比度AF，例如也可以使用专用的AF传感器(或摄像元件22上的AF用像素)来进行相位差AF。

AE处理部29根据RAW图像数据来计算被摄体亮度。这里计算的被摄体亮度用于自动曝光(AE)控制即光圈12的控制、机械快门21的控制、摄像元件22的曝光时刻控制(或所谓的元件快门的控制)等。另外，作为用于计算被摄体亮度的数据，这里使用RAW图像数据，但也可以取而代之，使用在数码相机中设置专用的测光传感器得到的数据。

像素偏移合成处理部30是像素偏移处理部的一部分，通过作为像素偏移摄像控制部的微型计算机45的控制，在某个对焦位置上驱动音圈马达(VCM)23使摄像元件22移动，并对拍摄而获取的多张图像数据进行像素偏移合成处理而生成比从摄像元件22获得的图像数据更高分辨率的像素偏移合成图像数据(也称作超分辨率图像)。该像素偏移合成处理部30对通过作为对焦包围摄像控制部的微型计算机45的控制而获取的像素偏移后的多张图像数据的对焦位置不同的多个组按组(即按对焦位置)进行像素偏移合成处理，而生成对焦位置不同的多张高分辨率的像素偏移合成图像数据。

深度合成处理部31是深度处理部的一部分，对像素偏移合成处理部30所生成的对焦位置不同的多张像素偏移合成图像数据进行深度合成处理而生成景深较深的图像。更具体地说，深度合成处理部31通过计算像素偏移合成处理部30所生成的对焦位置不同的多张像素偏移合成图像数据中的各像素的锐利度，并进行将各像素位置中的锐利度最高的像素的像素值设定为该像素位置的像素值的深度合成处理，而合成比从摄像元件获得的图像数据景深更深的图像。

图像处理部32对RAW图像数据或像素偏移合成处理部30和深度合成处理部31所生成的图像数据进行各种图像处理，包含同步化处理部33边缘增强处理部34、噪声降低处理部35。

同步化处理部33进行如下的同步化处理：通过根据周边像素进行插值而求出在关注像素中不存在的颜色成分，由此从每一像素仅存在RGB成分内的一种颜色成分的拜耳排列的图像数据转换为所有像素都具有RGB三色成分的图像数据。

边缘增强处理部34对图像数据进行边缘增强处理。

噪声降低处理部35通过对图像数据进行与空间频率对应的核化处理等来进行噪声降低处理。

这样，由图像处理部32进行各种处理后的图像数据再次存储在SDRAM 27中。

JPEG处理部36在记录图像数据时从SDRAM 27读出图像数据，并按照JPEG压缩方式对读出的图像数据进行压缩，使压缩的图像数据暂时存储在SDRAM 27中，这样，存储在SDRAM 27中的压缩的图像数据由微型计算机45附加构成文件所需的标头而被整合成记录用的数据。而且，根据微型计算机45的控制将被整合的记录用的数据经由存储器I/F 41而记录于记录介质42中。

并且，JPEG处理部36也进行读出的图像数据的解压缩。即，在进行记录完毕图像的再现的情况下，根据微型计算机45的控制，例如经由存储器I/F 41从记录介质42中读出JPEG文件，并使其暂时存储在SDRAM 27中。JPEG处理部36读出存储在SDRAM 27中的JPEG图像数据，并按照JPEG解压缩方式对读出的JPEG图像数据进行解压缩，使解压缩后的图像数据存储在SDRAM 27中。

监视器驱动器37读出存储在SDRAM 27中的图像数据，并将读出的图像数据转换为影像信号，驱动控制监视器38使监视器38显示基于影像信号的图像。在通过该监视器驱动器37而进行的图像显示中包含以短时间显示刚刚拍摄到的图像数据的浏览显示、记录于记录介质42中的JPEG文件的再现显示、以及实时取景显示等。

监视器38通过上述那样的监视器驱动器37的驱动控制而显示图像并且显示涉及该数码相机的各种信息。

霍尔元件39是按时间序列对通过音圈马达(VCM)23而移动的摄像元件22的摄影动作中的上述的相对位置进行检测的位置检测部。这里作为位置检测部而使用霍尔元件39，但当然不限定于霍尔元件39。

如上所述，存储器I/F 41进行图像数据向记录介质42的写入和来自记录介质42的图像数据的读出。

记录介质42非易失地存储图像数据，且该记录介质42例如由能够相对照相机主体2装卸的存储卡等构成。但是，记录介质42并不限定于存储卡，可以是盘状的记录介质，也可以是其他任意的记录介质。因此，记录介质42在数码相机中不必是固有的结构。

操作部43用于进行针对该数码相机的各种操作输入，且操作部43包含用于接通/断开数码相机的电源的电源按钮、由用于指示图像的摄影开始的构成为例如具有第1(第一)释放开关和第2(第二)释放开关的两段式操作按钮组成的释放按钮、用于进行记录图像的再现的再现按钮、用于进行数码相机的设定等的菜单按钮、用于项目的选择操作的十字键和用于选择项目的确定操作的OK按钮等操作按钮等。

这里，在能够使用菜单按钮、十字键、OK按钮等来设定的项目中，包含摄影模式(普通摄影模式、高深度超分辨率摄影模式等)、记录模式(JPEG记录模式、RAW+JPEG记录模式等)等。当对该操作部43进行操作时，与操作内容对应的信号被输出到微型计算机45。

闪存44是非易失地存储由微型计算机45执行的处理程序、涉及该数码相机的各种信息的存储介质。这里，作为闪存44所存储的信息，例如举用于边缘增强处理的参数和用于噪声降低处理的参数等数码相机的动作所需的各种参数、高深度超分辨率摄影模式中的像素偏移的大小、方向、顺序等信息、以及用于确定数码相机的制造编号等这几个为例。由微型计算机45读取该闪存44所存储的信息。

微型计算机45控制照相机主体2内的各部并且经由接口3将指令发送给微型计算机15来控制更换式镜头1，且该微型计算机45是统一控制该数码相机的控制部。当由用户从操作部43进行操作输入时，微型计算机45按照存储在闪存44中的处理程序，从闪存44中读取处理所需的参数，执行与操作内容对应的各种序列。

而且，微型计算机45是像素偏移处理部的一部分，作为如下的像素偏移摄像控制部而发挥功能，该像素偏移摄像控制部一边控制上述的音圈马达(VCM)23进行移动上述的相对位置的像素偏移，一边在相对位置移动过程中控制摄像元件22进行多次曝光，来获取多张图像数据。

并且，微型计算机45是深度处理部的一部分，作为如下的对焦包围摄像控制部而发挥功能，该对焦包围摄像控制部一边以规定的移动量离散地移动对焦位置一边反复进行像素偏移摄像控制部的摄像控制来获取多组对焦位置不同的多张图像数据。

此外，微型计算机45也作为如下的合焦区域提取部而发挥功能，该合焦区域提取部在对焦包围摄像控制部进行摄像控制的多个对焦位置中的至少一个对焦位置上提取图像中的合焦区域。

在由该合焦区域提取部提取合焦区域的情况下，上述的像素偏移合成处理部30使用包含该合焦区域在内的部分图像区域独自的图像数据进行合成，而生成像素偏移合成图像数据。

即，关于本实施方式的摄像装置，像下面说明的那样，像素偏移处理部在某个对焦位置上进行像素偏移拍摄而获取多个图像数据，并对获取到的多个图像数据进行像素偏移合成处理而生成像素偏移合成图像数据，深度处理部使像素偏移处理部对多个对焦位置进行处理而生成对焦位置不同的多个像素偏移合成图像数据，并对多个像素偏移合成图像数据进行深度合成处理而生成景深较深的图像，合焦区域提取部在多个对焦位置中的至少一个对焦位置上提取合焦区域，上述的像素偏移处理部针对被提取了合焦区域的对焦位置，仅对包含合焦区域在内的部分图像区域进行像素偏移合成处理。

而且，本实施方式的微型计算机45也作为如下的摄像控制部而发挥功能，该摄像控制部以对光圈12的开口直径不同的两个图像进行拍摄的方式控制光圈12和摄像元件22。

接下来，图2是示出像素偏移合成处理部30的结构的框图。

像素偏移合成处理部30具有像素配置部51、像素插值部52、以及平均化部53。

像素配置部51将在高深度超分辨率摄影模式中获取的8张拜耳图像分别分离成R成分、Gr成分(位于与R成分同一行的G成分)、Gb成分(位于与B成分同一行的G成分)、B成分，并根据像素偏移位置配置该8张拜耳图像。

这里，图3是示出通过在一个对焦位置上的像素偏移摄影得到的8张拜耳图像中的R、Gr、Gb、B的基本的像素配置的图，图4是示出由像素配置部51从图3所示的像素配置的8张拜耳图像中获得的R像素配置的图，图5是示出由像素配置部51从图3所示的像素配置的8张拜耳图像中获得的Gr像素配置的图，图6是由像素配置部51从图3所示的像素配置的8张拜耳图像中获得的Gb像素配置的图，图7是示出由像素配置部51从图3所示的像素配置的8张拜耳图像中获得的B像素配置的图。

这里，在图3～图7所示的各颜色成分R、Gr、Gb、B中，(x，y)表示摄像元件22的水平方向(x方向)和垂直方向(y方向)的像素位置，附在右上方的1～8内的任意数字表示是8张拜耳图像内的第几张图像。

像素配置部51从反复图3所示那样的基本的像素配置而构成的8张拜耳图像中提取R成分，之后根据参照图13而说明的摄像元件22的像素偏移路径重新配置，而生成图4所示那样的在4×4像素排列中排列有八个R成分的像素配置的R合成图像。同样地，像素配置部51从8张拜耳图像中分别提取Gr、Gb、B成分，根据像素偏移路径重新配置，而分别生成图5、图6、图7各自所示那样的像素配置的Gr合成图像、Gb合成图像、B合成图像。

像素插值部52根据周边的R成分对图4中缺失的R成分进行插值，根据周边的Gr成分对图5中缺失的Gr成分进行插值，根据周边的Gb成分对图6中缺失的Gb成分进行插值，根据周边的B成分对图7中缺失的B成分进行插值。

平均化部53在对应的像素位置彼此例如通过将像素插值部52进行插值的Gr合成图像和Gb合成图像相加除以2来平均化。通过该平均化能够降低噪声从而实现高画质。

而且，通过这样的合成处理，从而在高深度超分辨率摄影模式中可以获得水平方向上两倍且垂直方向上两倍的分辨率的像素偏移合成图像。

接下来，参照图8～图12对作为合焦区域提取部的微型计算机45所提取的合焦区域等进行说明。这些图8～图12示出例如对昆虫或蜘蛛等被摄体进行微距拍摄时的例子。

首先，图8是示出以较大的光圈开口直径拍摄的图像的例子的图，图9是示出以较小的光圈开口直径拍摄的图像的例子的图。

在图8所示那样的以较大的光圈开口直径拍摄的图像中，被摄体的例如头部和前脚对准了焦点，但由于景深较浅因此胸部、躯体、后脚等非常模糊。

另一方面，在图9所示那样的以较小的光圈开口直径拍摄的图像中，由于景深较深因此焦点几乎对准到整个被摄体上，但因衍射的影响而导致整个被摄体的锐利度降低。

在本实施方式中，像之后参照图16来说明处理的流程那样，作为合焦区域提取部的微型计算机45分别计算以两个不同的开口直径获取的2张图像中的每个像素的锐利度，提取图8所示那样的以较大的光圈开口直径拍摄的图像比图9所示那样的以较小的光圈开口直径拍摄的图像锐利度高的像素区域作为合焦区域。这里，图10示出对图8所示的图像和图9所示的图像的锐利度进行比较而提取的合焦区域的样子的图。

并且，微型计算机45像图11所示那样将包含所提取的区域在内的行设定为像素偏移摄像区域Ap(下面称作摄像区域Ap)，像图12所示那样作为摄像区域Ap中的包含合焦区域在内的部分图像区域而例如将矩形的区域设定为图像获取区域Ac。这里，图11是示出合焦区域提取部所设定的摄像区域Ap的图，图12是示出由合焦区域提取部在摄像区域Ap内设定的图像获取区域Ac的图。

接下来，图13是示出通过作为像素偏移部的音圈马达(VCM)23而进行的像素偏移的各定心位置的图。在该图13中，在将像素间距表示为P，将水平右方向作为x方向，将垂直下方向作为y方向时，利用(x，y)来表示对各定心位置的移动量。

在本实施方式中，包含位置与某个定心位置相差像素间距的非整数倍的定心位置，例如通过在八个不同的定心位置上移动摄像元件22，并在各定心位置上拍摄图像，对拍摄得到的8张图像进行合成而获取1张像素偏移合成图像。在对焦包围摄影中的各个对焦位置上进行这样的像素偏移合成图像的获取。

在图13所示的例子中，定心位置A2为相对于定心位置A1偏移了(P/2，P/2)的位置，定心位置A3为相对于定心位置A2偏移了(P/2，-P/2)的位置，定心位置A4为相对于定心位置A3偏移了(P/2，P/2)的位置，定心位置A5为相对于定心位置A4偏移了(0，P)的位置，定心位置A6为相对于定心位置A5偏移了(-P/2，-P/2)的位置，定心位置A7为相对于定心位置A6偏移了(-P/2，P/2)的位置，定心位置A8为相对于定心位置A7偏移了(-P/2，-P/2)的位置，定心位置A1为相对于定心位置A8偏移了(0，-P)的位置。

另外，也可以采用该图13所示的例子以外的定心位置，在这种情况下，像素配置部51所重新配置的像素信号的位置与图4～图7所示的例子不同。

接下来，图14是示出数码相机的主处理的流程的流程图。基于微型计算机45的控制来进行该图14所示的处理。

当对操作部43的电源按钮进行接通操作使数码相机的电源接通时开始该主处理，首先进行数码相机的初始化(步骤S1)。

接下来，微型计算机45对是否操作了操作部43的再现按钮进行判定(步骤S2)。

这里，在操作了再现按钮的情况下，进行再现/编辑处理(步骤S3)。该再现/编辑处理是如下处理：显示记录于记录介质42中的文件的一览，等待来自用户的选择操作，再现所选择确定的文件、或者编辑所选择的图像。

在步骤S2中未操作再现按钮或者进行了步骤S3的处理的情况下，对是否操作了操作部43的菜单按钮而选择了有关数码相机的照相机设定进行判定(步骤S4)。

这里，在选择了照相机设定的情况下，将变更照相机设定的菜单显示于监视器38上，等待从操作部43进行变更照相机设定的用户操作。这里，作为照相机设定的几个例子，可举出上述那样的摄影模式和记录模式等，但并不限于此，其中，

摄影模式：普通摄影模式、高深度超分辨率摄影模式

记录模式：JPEG记录模式、RAW+JPEG记录模式

而且，在进行了用户操作的情况下，根据操作内容进行照相机设定(步骤S5)。

在步骤S4中未选择照相机设定或者进行了步骤S5的处理的情况下，对释放按钮是否从断开转移到第1释放接通的状态进行判定(步骤S6)，其中，该第1释放接通的状态是第一阶段的按压状态(所谓的半按状态)。

这里，在转移到第1释放接通的状态的情况下，在该转移的时刻，由AE处理部29进行用于拍摄图像的自动曝光(AE)控制，并且由AF处理部28进行自动对焦控制(AF)(步骤S7)。由此，在按压了第1释放按钮以后进行所谓的AE锁定和AF锁定。

然后，对是否对电源按钮进行了断开操作进行判定(步骤S8)，在未进行断开操作的情况下，返回到步骤S2并反复进行上述那样的处理。

并且，在上述的步骤S6中未转移到第1释放接通的状态的情况下，对释放按钮是否成为第2释放接通的状态(所谓的全按状态)进行判定(步骤S9)，其中，该第2释放接通的状态是第二阶段的按压状态。

这里，在未成为第2释放接通的状态的情况下，使机械快门21成为打开状态，由AE处理部29进行实时取景用的自动曝光(AE)控制，进行基于电子快门的1张图像摄影(步骤S10)。

对这样拍摄的图像进行例如省略了对记录图像进行的图像处理中的几个后的基本图像处理(步骤S11)，将被基本图像处理的图像显示于监视器38作为实时取景(步骤S12)。

然后，转移到上述的步骤S8的处理对是否对电源按钮进行了断开操作进行判定，在未进行断开操作的情况下，返回到步骤S2反复进行上述那样的处理。

另一方面，在上述的步骤S9中在成为第2释放接通的状态的情况下，若设定为高深度超分辨率摄影模式则执行之后参照图15而说明的摄影和合成处理(步骤S13)。另外，在设定为普通摄影模式的情况下，这里执行普通的摄影处理。

接着，对是否设定了RAW记录模式进行判定(步骤S14)，在设定了的情况下将RAW图像作为文件记录于记录介质42中(步骤S15)。

在步骤S14中未设定RAW记录模式或者进行了步骤S15的处理的情况下，由图像处理部32对通过拍摄得到的图像进行图像处理(步骤S16)。

然后，由JPEG处理部36对被图像处理后的图像进行JPEG压缩，并通过微型计算机45的控制附加标头，从而作为JPEG文件记录于记录介质42中(步骤S17)。

在进行了该步骤S17的处理之后，转移到上述的步骤S8的处理，对是否对电源按钮进行断开操作进行判定。

这样，在步骤S8中对电源按钮进行断开操作的情况下，结束该主处理。

图15是示出数码相机的摄影和合成处理的流程的流程图。

当开始该处理时，微型计算机45经由微型计算机15和驱动器13将镜头11的对焦位置设定为初始位置(步骤S21)。

然后，进行之后参照图16而说明的像素偏移摄影处理(步骤S22)。通过该像素偏移摄影处理获取由上述的相对位置不同的多个图像数据组成的图像组。

接下来，对对焦包围摄影中的所有的对焦位置上的像素偏移摄影是否结束进行判定(步骤S23)。

这里，在判定为所有的对焦位置上的像素偏移摄影还未结束的情况下，在变更对焦位置之后(步骤S24)返回到上述的步骤S22进行像素偏移摄影处理。即，关于像素偏移摄影，为了求出比像素间距小的位置精度(例如半像素间距的位置精度)，在步骤S22中的一系列的像素偏移摄影中不变更对焦位置，而在一系列的像素偏移摄影结束时根据需要来变更对焦位置。

这样，在步骤S23中判定为所有的对焦位置上的像素偏移摄影结束的情况下，由像素偏移合成处理部30对由在一个对焦位置上获取的8张图像组成的图像组进行像素偏移合成处理，而生成1张像素偏移合成图像(步骤S25)。仅对图像获取区域Ac的图像数据进行这里的像素偏移合成处理。

而且，判定针对在所有对焦位置上获取的图像组的像素偏移合成处理是否结束(步骤S26)。

这里，在判定为针对在所有对焦位置上获取的图像组的像素偏移合成处理还未结束的情况下，返回到上述的步骤S25，进行针对在下一个对焦位置上获取的图像组的像素偏移合成处理。

这样，在步骤S26中判定为针对在所有对焦位置上获取的图像组的像素偏移合成处理结束的情况下，进行之后参照图17而说明的深度合成处理(步骤S27)，并从该处理返回到图14所示的处理。

图16是示出数码相机的像素偏移摄影处理的流程的流程图。

当开始该处理时，通过音圈马达(VCM)23将摄像元件22移动到初次定心位置(例如图13所示的定心位置A1)(步骤S30)。

接下来，微型计算机45经由微型计算机15和驱动器13将光圈12设定成两个不同的开口直径，由摄像元件22以各自的开口直径获取图像并存储在SDRAM 27(步骤S31)中。这里，光圈12所设定的两个不同的开口直径例如是图14的步骤S7中的自动曝光(AE)控制所设定的开口直径和光圈12所能设定的最小开口直径。这里，以自动曝光(AE)控制所设定的开口直径获取的图像(以较大的光圈开口直径拍摄的图像)例如像图8所示那样，以最小开口直径获取的图像(以较小的光圈开口直径拍摄的图像)例如像图9所示那样。

接着，分别计算构成以两个不同的开口直径获取的2张图像的各像素的锐利度(步骤S32)。

然后，提取图8所示那样的以较大光圈开口直径拍摄的图像中的比图9所示那样的以较小光圈开口直径拍摄的图像锐利度高的区域，作为合焦区域(步骤S33)。另外，这里通过对以不同的开口直径获取的两个图像的锐利度进行比较来进行合焦区域的提取，但也可以像后述的实施方式二、三中例示的那样使用其他适当的方法。这样，上述的图10示出了对图8所示的图像和图9所示的图像的锐利度进行比较而提取的合焦区域的样子。

并且，例如将参照图11所示那样的摄像区域Ap设定为在读出行中包含步骤S33中提取的整个合焦区域这样的部分图像区域(步骤S34)。在后述的步骤S36～S39的循环中，仅将这里设定的摄像区域Ap的图像数据(即包含合焦区域在内的部分图像区域独自的图像数据)从摄像元件22读出并存储在SDRAM 27中。由此，能够显著提高摄像元件22的帧频，从而也能够减小SDRAM 27所需的存储器容量。

接下来，如图12所示，将在步骤S34中设定的摄像区域Ap内的例如矩形的区域设定为图像获取区域Ac(步骤S35)。这里，图像获取区域Ac与摄像区域Ap相等或者是摄像区域Ap内的一部分区域，且图像获取区域Ac是将图10所示那样的合焦区域全部包含的区域。这里，如果表示各区域的包含关系则是：

摄像区域图像获取区域合焦区域

如上所述，仅对这里设定的图像获取区域Ac进行图15的步骤S25所示的像素偏移合成处理。由此，能够减轻像素偏移合成处理部30的处理负荷，从而缩短处理时间。

接着，微型计算机45变更摄像元件22的定心位置(步骤S36)。例如按照上述的图13的A1～A8所示那样的顺序进行这里的定心位置的变更。

音圈马达(VCM)23接受微型计算机45对摄像元件22的定心位置的变更，将摄像元件22移动到新的定心位置(步骤S37)。

而且，在移动后的新的定心位置上由摄像元件22进行图像的摄影，从摄像元件22读出图11所示那样的摄像区域Ap的图像数据并存储在SDRAM 27中(步骤S38)。

然后，判定是否反复进行了七次步骤S36～S39的循环，即判断是否获取了在步骤S30中设定在初次定心位置A1而在步骤S31中获取的AE设定光圈值的1张图像和通过七次循环而在步骤S38中获取的定心位置A2～A8的7张摄像区域Ap的图像合计8张图像(步骤S39)。

这里在判定为七次循环还未结束的情况下，返回到步骤S36进行下一个定心位置的处理。

另一方面，在步骤S39中判定为七次循环结束的情况下，从该处理返回到图15所示的处理。

另外，这里由于设想了以行单位进行读出的摄像元件22，因此将从摄像元件22输出并存储到SDRAM 27中的图像数据作为摄像区域Ap的图像数据。然而，在例如能够以像素单位(像素的地址单位)进行读出的摄像元件22的情况下，也可以将从摄像元件22输出并存储到SDRAM 27中的图像数据作为图像获取区域Ac的图像数据。由此，能够进一步提高摄像元件22的帧频，从而进一步减小SDRAM 27所需的存储器容量。

并且，这里将在步骤S31中拍摄的图像的一张兼用作第一次像素偏移摄影的图像，但并不限于此。例如也可以将步骤S31的处理例如作为仅为了检测合焦区域而进行的预备摄影而例如获取比主摄影更低分辨率的图像，将步骤S36～S39的处理作为主摄影而进行八次循环。在这种情况下，通过第一次循环获取全视场角图像(这里，本说明书中的“全视场角图像”是指作为图像从摄像元件22获取的整体，即不是从所获取的图像中提取的一部分视场角的部分图像)，通过第二～八次循环仅获取摄像区域Ap(或者图像获取区域Ac)的图像数据。

图17是示出数码相机的深度合成处理的流程的流程图。

当开始该处理时，深度合成处理部31从SDRAM 27输入对焦包围摄影中的多个对焦位置的像素偏移合成图像和全视场角图像(但是，当然可以从处理所需的数据起依次输入，而不需要同时输入所有的数据)(步骤S41)。

这里，全视场角图像是在对焦包围摄影中的多个对焦位置中的任意对焦位置(例如在图15的步骤S21中设定的对焦初始位置)上在图16所示的像素偏移摄影处理的步骤S31中获取的2张图像内的例如以最小开口直径获取的图像。

使用以最小开口直径获取的图像作为全视场角图像是因为考虑到与以自动曝光(AE)控制所设定的开口直径获取的图像相比，合焦区域以外的区域(非合焦区域)的图像的锐利度更高。但是，由于因非合焦而导致的模糊和因衍射而导致的模糊的模糊方式不同，因此也可以根据需要使用以自动曝光(AE)控制所设定的开口直径获取的图像作为全视场角图像。

并且，不使用对焦包围摄影中的多个对焦位置的全视场角图像进行深度合成是因为非合焦区域原本是锐利度较低的区域，从而即使进行深度合成也不能太期待提高锐利度的效果。这样，由于仅对进行了像素偏移合成处理的图像获取区域Ac的图像数据进行深度合成处理，因此能够减轻深度合成处理部31的处理负荷，从而缩短处理时间。

接下来，进行全视场角图像的插值处理，生成分辨率与像素偏移合成图像的分辨率相同的高清晰的全视场角图像(步骤S42)。

接着，选择分辨率与像素偏移合成图像相同的高清晰的全视场角图像中的处理对象像素位置(步骤S43)。例如按照光栅扫描的顺序进行该像素位置的选择。

判定在步骤S43中选择的处理对象像素是否存在于对焦包围摄影中的多个对焦位置的像素偏移合成图像中的任意一个中(步骤S44)。这里，由于像上述那样仅对图像获取区域Ac进行像素偏移合成处理，因此也有时处理对象像素不存在于像素偏移合成图像中。因此，进行该步骤S44中的判定。

这里，在判定为处理对象像素不存在于任何像素偏移合成图像中的情况下，将插值处理后的全视场角图像中的处理对象像素的像素值存储在SDRAM 27内的输出图像缓冲器中(步骤S45)。

并且，在判定为处理对象像素存在于某个像素偏移合成图像中的情况下，进一步对处理对象像素是否存在于两个以上的像素偏移合成图像中进行判定(步骤S46)。

这里，在判定为仅一个像素偏移合成图像中存在处理对象像素的情况下，将该像素偏移合成图像中的处理对象像素的像素值存储在SDRAM 27内的输出图像缓冲器中(步骤S47)。

另一方面，在步骤S46中判定为在两个以上的像素偏移合成图像中存在处理对象像素的情况下，选择被判定为存在处理对象像素的像素偏移合成图像中的一个(步骤S48)。

而且，计算在步骤S48中选择的像素偏移合成图像中的处理对象像素的锐利度(步骤S49)。

接下来，针对存在处理对象像素的所有像素偏移合成图像，判定是否结束了处理对象像素的锐利度的计算(步骤S50)，在存在还未处理的像素偏移合成图像的情况下，返回到步骤S48，像上述那样进行针对下一个像素偏移合成图像的处理。

这样，在步骤S50中针对存在处理对象像素的所有像素偏移合成图像判定为结束了处理对象像素的锐利度的计算的情况下，将锐利度最大的处理对象像素的像素值存储在SDRAM 27内的输出图像缓冲器中(步骤S51)。

这样，在进行了步骤S45、步骤S47、或者步骤S51中的任意处理之后，针对分辨率与像素偏移合成图像相同的高清晰的全视场角图像中的所有像素位置，判定处理是否结束(步骤S52)。

这里，在判定为针对所有像素位置的处理还未结束的情况下，返回到步骤S43，选择下一个像素位置进行上述那样的处理。

另一方面，在步骤S52中判定为针对所有像素位置的处理结束的情况下，从该处理返回到图15所示的处理。

接下来，图18是示出在通过与本实施方式的方法相比较的与以往相同的方法来获取用于进行像素偏移和深度合成的图像时的图像数据量的例子的图。

在这种情况下，由于在各对焦位置L0～Ln上例如进行像素偏移拍摄而获取8张全视场角图像，因此所获取的全视场角图像的张数为8(n+1)张，例如在进行10点对焦包围摄影的情况下，获取80张图像数据，来进行像素偏移合成处理和深度合成处理。

另一方面，图19是概略性地示出在通过本实施方式的方法来获取用于进行像素偏移和深度合成的图像时的图像数据量的例子的图。

在使用本实施方式的方法的情况下，概略地考虑，从摄像元件22输出的图像数据用图11所示那样的摄像区域Ap的图像数据即可，因此在摄像区域Ap为整个图像的例如八分之一的情况下，只要获取图18所示的情况下的1/8的图像数据即可(但是，更准确地说，像参照图16而说明的那样为了获取2张全视场角图像，获取的图像数据量增多几个，然而仍然如此)，从而能够大幅减少所需的数据量而减轻处理负荷，进而提高处理速度。

根据这样的实施方式一，由于针对被提取了合焦区域的对焦位置，仅对包含合焦区域在内的部分图像区域进行像素偏移合成处理，因此减轻了像素偏移合成处理的处理负荷而缩短了图像的处理所需的时间，从而能够节约存储器容量并生成景深较深的高分辨率图像。

此时，关于提取了合焦区域的对焦位置，设为将在被提取了合焦区域以后获取的图像数据取为包含合焦区域在内的部分图像区域独自的图像数据，因此能够进一步缩短图像的获取所需的时间。而且，也能够进一步节约存储器容量。

并且，由于深度处理部仅在存在对于两个以上的像素偏移合成图像数据共通的像素位置时，对像素位置的像素进行深度合成处理，因此对于深度合成处理也能够减轻处理负荷而更进一步缩短图像的处理所需的时间，从而更进一步节约存储器容量。

而且，由于通过计算光圈的开口直径不同的两个图像中的各像素的锐利度，而提取以较大的光圈开口直径拍摄的图像在相同像素位置上锐利度更高的像素的区域作为合焦区域，因此能够进行基于两个图像的精度较高的合焦区域的提取。

此时，由于若以较高的精度提取合焦区域，则不需要观察剩余量而将图像获取区域Ac取得稍大，因此能够适当缩短图像的获取和处理所需的时间，从而适当节约存储器容量。并且，也能够适当降低像素偏移合成处理的负荷和深度合成处理的负荷。

【实施方式二】

图20示出本发明的实施方式二，是示出数码相机的像素偏移摄影处理的流程的流程图。

在该实施方式二中，对与上述的实施方式一相同的部分标注相同的标号等而适当省略其说明，主要仅对不同点进行说明。

在上述的实施方式一中通过对以不同的开口直径获取的两个图像的锐利度进行比较来进行合焦区域的提取，但本实施方式是提取一个图像中的锐利度为规定值以上的区域作为合焦区域。

即，在本实施方式中，代替上述的实施方式一的图16所示的处理，执行图20所示的处理。

当开始图20所示的处理进行上述的步骤S30的处理时，微型计算机45经由微型计算机15和驱动器13将光圈12设定成图14的步骤S7中的自动曝光(AE)控制所设定的开口直径，使摄像元件22获取图像并存储在SDRAM 27中(步骤S31A)。

接下来，按像素计算所获取的1张图像的锐利度(步骤S32A)。

接着，提取由计算出的锐利度为规定值以上的像素的集合组成的区域作为合焦区域(步骤S33A)。

然后，与上述相同地进行上述的步骤S34～S39的处理，在步骤S39中判定为七次循环结束的情况下，从该处理返回到图15所示的处理。

根据这样的实施方式二，实现了与上述的实施方式一几乎相同的效果，并且由于为了在对焦包围摄影的各对焦位置上提取合焦区域而获取的全视场角图像1张即可，因此与全视场角图像需要2张的实施方式一相比，进一步缩短了图像的摄影时间从而进一步减小了SDRAM 27所需的存储器容量，并且能够减轻深度合成处理部31的锐利度计算处理。

具体而言，例如考虑了用于像素偏移合成处理的在一个对焦位置上获取的图像张数为8张，在对焦包围摄影中的对焦位置的数目为10的情况。此时，在上述的实施方式一的结构中，由于在一个对焦位置上需要各获取2张全视场角图像，因此在十个对焦位置上获取的全视场角图像为20张。与此相对，根据本实施方式的结构，由于只要在一个对焦位置上仅获取1张全视场角图像即可，因此在十个对焦位置上获取的全视场角图像为10张。这样，在本实施方式中，与上述的实施方式一相比能够大幅减少要获取的图像数据量(甚至存储器量或处理负荷)。

【实施方式三】

图21至图24示出本发明的实施方式三，图21是示出数码相机的摄影和合成处理的流程的流程图。

在该实施方式三中，对与上述的实施方式一、二相同的部分标注相同的标号等而适当省略其说明，主要仅对不同点进行说明。

在上述的实施方式一中通过对以不同的开口直径获取的两个图像的锐利度进行比较来提取合焦区域，在上述的实施方式二中提取一个图像中的锐利度为规定值以上的区域作为合焦区域，但本实施方式通过对在某个对焦位置上获取的第一张全视场角图像与对已经获取的在各对焦位置上获取的第一张全视场角图像进行深度合成而成的全视场角图像的锐利度进行比较来提取合焦区域，并在上述某对焦位置上获取的第二张及以后的根据所提取的合焦区域来设定的摄像区域Ap的图像。

当开始图21所示的处理时，进行上述的步骤S21～S24的处理，在步骤S23中判定为所有的对焦位置上的像素偏移摄影结束的情况下，进行之后参照图23而说明的像素偏移合成和深度合成处理(步骤S25B)，然后从该处理返回到图14所示的处理。

接下来，图22是示出数码相机的像素偏移摄影处理的流程的流程图。

当在图21的步骤S22中进入该处理时，进行上述的步骤S30和步骤S31A的处理，对该图22所示的处理是否为初次对焦位置上的处理即是否为图21的步骤S22～S24的循环中的第一次处理(即在步骤S21中设定的对焦初始位置上的处理)进行判定(步骤S61)。

这里在判定为是初次对焦位置上的处理的情况下，不仅将在步骤S31A中获取的全视场角图像数据存储成用于像素偏移合成处理，还作为检测用合成图像存储在SDRAM 27内的检测用图像缓冲器中(步骤S62)。这里，检测用图像缓冲器是为了提取合焦区域甚至设定图像获取区域Ac而使用的SDRAM 27内的存储区域。

然后，像上述那样进行上述步骤S36～S39的处理。因此，在该图22所示的处理为初次对焦位置上的处理的情况下，由于未进行合焦区域的提取，因此在步骤S38的处理中通过七次循环而获取的7张图像都为全视场角图像。

另一方面，在步骤S61中判定为不是初次对焦位置上的处理的情况下，分别计算构成存储在检测用图像缓冲器中的全视场角的检测用合成图像和在步骤S31A中获取的全视场角图像这2张图像的各像素的锐利度(步骤S32B)。

接下来，对在步骤S31A中获取的图像提取锐利度为规定值(可视为合焦的程度的规定值)以上的区域内的比存储在检测用图像缓冲器中的检测用合成图像锐利度还高的区域作为合焦区域(步骤S33B)。

而且，进行上述的步骤S34和步骤S35的处理，再由深度合成处理部31根据在步骤S32B中计算出的锐利度对存储在检测用图像缓冲器中的检测用合成图像和在步骤S31A中获取的图像进行深度合成(步骤S63)。

然后，将在步骤S63中深度合成后的检测用合成图像覆盖写入于检测用图像缓冲器中的检测用合成图像，来进行图像数据的更新(步骤S64)。由此，在下次进入步骤S22～S24的循环时对在步骤S31A中获取的图像与检测用图像缓冲器内的更新后的检测用合成图像比较锐利度来提取合焦区域。

然后，像上述那样进行上述步骤S36～S39的处理与判定为是初次对焦位置上的处理的情况相同。但是，在该图22所示的处理不是初次对焦位置上的处理的情况下，在步骤S38的处理中通过七次循环而获取的7张图像为摄像区域Ap的图像。

这样，在步骤S39中判定为七次循环结束的情况下，从该处理返回到图21所示的处理。

接着，图23是示出数码相机的像素偏移合成和深度合成处理的流程的流程图。

当在图21的步骤S25B中进入该处理时，选择由在初次对焦位置上进行像素偏移拍摄而获取的8张全视场角图像组成的图像组(步骤S71)。

接下来，由像素偏移合成处理部30对在初次对焦位置上获取的8张全视场角图像进行像素偏移合成处理而生成1张全视场角的像素偏移合成图像(步骤S72)。

而且，将所生成的像素偏移合成图像存储在SDRAM 27内的输出图像缓冲器中(步骤S73)。

接着，选择由在不同的对焦位置上进行像素偏移拍摄而获取的8张图像组成的图像组(步骤S74)。这8张图像内的1张是全视场角图像，其他7张是摄像区域Ap的图像。

并且，由像素偏移合成处理部30对这8张图像中的图像获取区域Ac的图像部分进行像素偏移合成处理而生成图像获取区域Ac的1张像素偏移合成图像(步骤S75)。

然后，像之后参照图24而说明的那样对在步骤S75中生成的图像获取区域Ac的像素偏移合成图像和存储在输出图像缓冲器中的全视场角的像素偏移合成图像进行深度合成处理(步骤S76)。像之后参照图24而说明的那样通过该处理来更新输出图像缓冲器中的图像。

接下来，对所有的对焦位置上的处理是否结束进行判定(步骤S77)。

这里，在判定为所有的对焦位置上的处理未结束的情况下，返回到步骤S74，变更对焦位置进行上述那样的处理。

另一方面，在步骤S77中判定为所有的对焦位置上的处理结束的情况下，从该处理返回到图21所示的处理。

接下来，图24是示出数码相机的深度合成处理的流程的流程图。

当在图23的步骤S76中进入该处理时，深度合成处理部31输入图23的步骤S73中所存储的输出图像缓冲器中的图像数据、或者在步骤S74～S77的循环中的之前一个循环中在后述的步骤S85中被更新的输出图像缓冲器中的图像数据(步骤S81)。这里，输出图像缓冲器的图像像上述那样是全视场角的像素偏移合成图像。

接着，深度合成处理部31输入在图23的步骤S75中生成的图像获取区域Ac的像素偏移合成图像数据(步骤S82)。

这里，由于在步骤S81中输入的图像和在步骤S82中输入的图像中成为深度合成的对象的是图像获取区域Ac，因此选择图像获取区域Ac内的处理对象像素位置(步骤S83)。根据上述的步骤S43例如按照图像获取区域Ac内的光栅扫描的顺序进行该像素位置的选择。

而且，分别计算在步骤S81中输入的图像和在步骤S82中输入的图像中的处理对象像素的锐利度(步骤S84)。

通过将这样计算出的锐利度较高一方的像素值覆盖写入于输出图像缓冲器中的处理对象像素位置的像素值来更新输出图像缓冲器中的图像数据(步骤S85)。

然后，对针对所有的处理对象像素的处理是否结束进行判定(步骤S86)。

这里，在判定为针对所有的处理对象像素的处理还未结束的情况下，返回到步骤S83，选择下一个处理对象像素位置进行上述那样的处理。

另一方面，在步骤S86中判定为针对所有的处理对象像素位置的处理结束的情况下，从该处理返回到图23所示的处理。

根据这样的实施方式三，实现了与上述的实施方式一、二几乎相同的效果，并且由于通过与已经获取到的对焦位置的图像的锐利度进行比较来提取在新的对焦位置上获取的图像的合焦区域，因此能够进行更准确的合焦区域的提取。

而且，由于若以较高的精度准确地提取合焦区域，则不需要观察剩余量而将图像获取区域Ac取得稍大，因此能够适当缩短图像的获取和处理所需的时间从而适当节约存储器容量。并且，也能够适当降低像素偏移合成处理的负荷和深度合成处理的负荷。

具体而言，与上述的例子相同，考虑了在一个对焦位置上获取的用于像素偏移合成处理的图像张数为8张，在对焦包围摄影中的对焦位置的数目为10的情况。此时，在上述的实施方式一的结构中获取的全视场角图像为20张，在上述的实施方式二的结构中获取的全视场角图像为10张。与此相对，在本实施方式中，由于只要在第一对焦位置上获取8张，在之后的第二～第八对焦位置上获取1张即可，因此所获取的全视场角图像为15张。

更一般地说，若将在一个对焦位置上获取的全视场角图像张数设为x(x为2以上的整数)，将在对焦包围摄影中的对焦位置的数目设为y(y为2以上的整数)，则在实施方式一中获取的全视场角图像的张数为2y，在实施方式二中获取的全视场角图像的张数为y，在本实施方式中获取的全视场角图像的张数为(x+y-1)。因此，可知在第二实施方式中获取的全视场角图像的张数最少。另一方面，对在实施方式一中获取的全视场角图像的张数2y与在本实施方式中获取的全视场角图像的张数(x+y-1)进行比较来看，在y＞(x-1)时，可知与上述的实施方式一相比在本实施方式中获取的全视场角图像的张数更少。即，例如在x＝8时，可知若对焦包围摄影中的对焦位置y比7大则能够比实施方式一更加减少要获取的数据量。

【实施方式四】

图25示出本发明的实施方式四，是示出数码相机的结构的框图。

在该实施方式四中，对与上述的实施方式一～三相同的部分标注相同的标号等而适当省略其说明，主要仅对不同点进行说明。

在上述的实施方式一的图1所示的结构例中，通过音圈马达(VCM)23使摄像元件22在与镜头11的光轴垂直的面内移动，来进行像素偏移，但本实施方式是在更换式镜头1内设置光轴移位光学元件16，通过使该光轴移位光学元件16移动来进行像素偏移。

即，在更换式镜头1内不仅设置有上述的镜头11、光圈12、闪存14、以及微型计算机15，还设置有光轴移位光学元件16、音圈马达(VCM)23、以及霍尔元件39，本实施方式的驱动器13A除了上述的驱动器13的功能之外，还具有根据霍尔元件39的检测结果来进行音圈马达(VCM)23的驱动控制的功能。

这里，光轴移位光学元件16使从镜头11朝向摄像元件22的光束的光轴移位，例如能够广泛采用通过将规定折射率且规定厚度的光学板相对光轴非垂直地倾斜来使光轴移位并通过调整倾斜的角度来控制移位量的方式、或者通过用2张光学板夹着规定折射率的液体而使其呈蛇腹状地(以入射侧的光学板与出射侧的光学板为不平行的状态)运动来校正光轴的方式等各种方式(也可以兼用所谓的光学式抖动校正机构)。

并且，音圈马达(VCM)23根据驱动器13A的控制，驱动光轴移位光学元件16使光轴移位。

并且，霍尔元件39检测光轴移位光学元件16的驱动位置。

这样，驱动器13A根据更换式镜头1内的微型计算机15的控制，进而根据照相机主体2内的微型计算机45的控制，参照霍尔元件39的检测结果，驱动音圈马达(VCM)23，控制光轴移位光学元件16对光轴的移位方向和移位量。

另外，可以采用如下结构：组合在实施方式一～三中说明的使摄像元件22移动来进行像素偏移的结构和该实施方式四的结构，使摄像元件22和光轴移位光学元件16这两方移动来进行像素偏移。在这种情况下，设置移动摄像元件22的音圈马达(VCM)23、移动光轴移位光学元件16的音圈马达(VCM)23，并且设置检测摄像元件22的位置的霍尔元件39、检测光轴移位光学元件16的位置的霍尔元件39。

根据这样的实施方式四，在使光学系统移动来进行像素偏移的情况下，或者在使摄像元件22和光学系统移动来进行像素偏移的情况下，能够实现与上述的实施方式一～三几乎相同的效果。

另外，上述的各部可以构成为电路。而且，如果任意的电路都能够实现相同的功能，则可以安装成单个电路，也可以安装成组合了多个电路的电路。并且，任意的电路并不限于构成为用于实现作为目的的功能的专用电路，也可以是通过使通用电路执行处理程序来实现作为目的的功能的结构。

并且，在上述中主要对摄像装置进行说明，但也可以是进行与摄像装置相同的处理的摄像方法，也可以是用于使计算机执行摄像方法的处理程序、能够由记录该处理程序的计算机读取的非暂时的记录介质等。

而且，本发明不限定于上述实施方式本身，可以在实施阶段中在不脱离其主旨的范围内对构成要素进行变形来具体化。并且，通过上述实施方式所公开的多个构成要素的适当组合，可以形成各种发明的方式。例如，也可以从实施方式所示的所有构成要素中删除几个构成要素。并且，也可以适当组合不同的实施方式的构成要素。这样，当然可以在不脱离发明的主旨的范围内进行各种变形和应用。

本申请是以2014年11月4日在日本申请的特愿2014-224418号作为优先权主张的基础而申请的，上述的公开内容被引用于本申请说明书、权利要求书以及附图。