摄像装置、摄像方法和非暂时性计算机可读存储介质与流程

实施例方面涉及将多个图像对准的摄像装置。

背景技术：

在拍摄与诸如数字照相机的摄像装置的距离相差很大的多个被摄体的图像的情况下，或者在拍摄沿深度方向长的被摄体的图像的情况下，由于景深不足，可能仅会聚焦被摄体的一部分。为了解决这个问题，日本特开平10-290389号公报讨论了一种所谓的焦点堆叠技术，其中，拍摄对焦位置不同的多个图像，从各个图像中仅提取聚焦区域，并且合成聚焦区域以生成聚焦在整个摄像区域上的一个合成图像。日本特开2014-207502号公报讨论了一种技术，其中，用户通过触摸面板指定要聚焦的被摄体，并且拍摄聚焦在各个要聚焦的被摄体上的焦点堆叠图像。

然而，当通过日本特开平10-290389号公报和日本特开2014-207502号公报中讨论的方法拍摄图像时，由于镜头的有效f数的影响，可能出现以下问题。

在用于焦点堆叠的摄像中，在改变对焦位置的同时拍摄图像。有效f数根据对焦位置而变化。有效f数的变化可能会改变拍摄图像的亮度和深度，这可能会导致合成图像不均匀。

技术实现要素：

根据本发明的一方面，提供了一种摄像装置，其包括：传感器，其被构造为拍摄光轴方向上的对焦位置不同的多个图像；调整单元，其被构造为当拍摄所述多个图像中的至少一部分时，调整与摄像有关的参数，以校正根据对焦位置变化的有效f数所造成的影响；以及合成单元，其被构造为将所述多个图像合成。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是示出根据本公开的示例性实施例的数字照相机的示意性构造的背面立体图。

图2是示出根据本公开的示例性实施例的数字照相机的硬件构造的框图。

图3是示出根据本公开的示例性实施例的光信号进入包括多个光电转换单元的像素的状态的图。

图4a至图4d是示出根据本公开的示例性实施例的在成像面上形成被摄体图像的状态的图。

图5是示出根据本公开的示例性实施例的用于焦点堆叠的摄像的示例的图。

图6是示出根据本公开的示例性实施例的用于焦点堆叠的摄像的流程图。

图7是示出根据本公开的示例性实施例的对焦位置与有效f数之间的关系的曲线图。

具体实施方式

下面将参照附图详细描述本公开的示例性实施例。

图1是示出根据示例性实施例的作为摄像装置的数字照相机的示意性构造的背面立体图。

在数字照相机100的背面设置有用于显示图像和各种信息的显示单元101、以及包括用于接收用户的各种操作的操作构件(诸如各种开关和按钮)的操作单元102。此外，在数字照相机100的背面设置有用于切换摄像模式的模式选择开关104、以及能够以旋转方式操作的控制器轮103。在数字照相机100的顶面设置有用于发出摄像指令的快门按钮121、用于开关数字照相机100的电源的电源开关122和用于向被摄体发射闪光的闪光灯141。闪光灯141与摄像指令同步地发光，以弥补黑暗被摄体区域中的光量不足。显示单元101可以包括触摸面板，并且可以通过用户在显示单元101上的触摸操作来实现操作单元102、控制器轮103、模式选择开关104和快门按钮121的部分或全部功能。

数字照相机100可通过有线通信或无线通信连接到外部装置，并且可以将图像数据(静止图像数据和运动图像数据)输出到外部装置。通过盖131可打开/关闭的记录介质插槽(未示出)设置在数字照相机100的底面，并且诸如存储卡的记录介质130可插入到记录介质插槽中并且可从记录介质插槽中移除。

存储在记录介质插槽中的记录介质130可以与数字照相机100的系统控制单元210(参见图2)通信。记录介质130不限于可插入到记录介质插槽中并且可从记录介质插槽中移除的存储卡，并且可以是光盘或诸如硬盘的磁盘。此外，记录介质130可以内置在数字照相机100的主体中。

图2是示出数字照相机100的硬件构造的框图。数字照相机100包括挡板201、摄像透镜202、快门203和摄像单元204。挡板201覆盖摄像光学系统，以防止灰尘和摄像光学系统损坏。摄像透镜202包括透镜组(该透镜组包括变焦透镜和聚焦透镜)，并且构成摄像光学系统。快门203包括用于调整摄像单元204的曝光量的光圈功能。摄像单元204是将光学图像转换成电信号(模拟信号)的摄像设备，并且例如是包括规则地布置有rgb像素的拜耳阵列结构的图像传感器(诸如电荷耦合器件(ccd)传感器和互补金属氧化物半导体(cmos)传感器)。快门203可以是通过控制摄像设备的复位定时来控制累积时间的机械快门或电子快门。

另选地，摄像单元204具有其中在一个像素中设置有多个光电转换单元以获取立体图像的结构，并且可以通过相差检测进行自动聚焦(af)处理。

图3是示出根据本示例性实施例的光信号进入包括多个光电转换单元的像素的状态的图。

在图3中，像素阵列301包括用于各个像素的微透镜302、滤色器303以及光电转换单元304和305。光电转换单元304和305属于同一像素，并且对应于一个公共微透镜302和一个公共滤色器303。图3是示出从上方观看的数字照相机100的图，并且示出了对应于一个像素的两个光电转换单元304和305并排布置的状态。在从出射光瞳306射出的光束中，光轴309的上侧的光束(对应于来自区域307的光束)进入光电转换单元305，下侧的光束(对应于来自区域308的光束)进入光电转换单元304。换句话说，光电转换单元304和305各自接收摄像透镜的出射光瞳的不同区域的光。当由图像a表示由光电转换单元304接收的光的信号图像并且由图像b表示由光电转换单元305接收的光的信号图像时，可以基于如图像a和图像b一样的成对的光瞳分割图像之间的相位差来计算散焦量，并且可以获取距离信息。特别地，当各自包括两个光电转换单元的像素被排布在摄像设备的整个表面上时，摄像设备可以在画面上的任选位置处获取关于被摄体的距离信息。

通过不使用包括各自包括两个光电转换单元的像素的摄像设备，而是通过使用包括普通像素的摄像设备，可以获得上述距离信息。例如，摄像单元204通过改变多个透镜的相对位置来生成要聚焦的位置不同的多个图像。以下描述的图像处理单元206将各个图像划分为块，并且计算各个块的对比度。图像处理单元206将多个拍摄图像的相同位置处的块之间的对比度进行比较，并且将具有最大对比度的块确定为对焦块。最后，图像处理单元206从拍摄图像的对焦位置确定关于各个块的距离信息。

数字照相机100包括模数(a/d)转换器205、图像处理单元206、存储器控制单元207、数模(d/a)转换器208、存储器209和系统控制单元210。模拟信号从摄像单元204被输出到a/d转换器205。a/d转换器205将获取的模拟信号转换为数字信号的图像数据，并将图像数据输出至图像处理单元206或存储器控制单元207。

图像处理单元206对从a/d转换器205获取的图像数据或从存储器控制单元207获取的数据进行诸如像素插值和阴影校正的校正处理、白平衡处理、伽马校正处理、颜色转换处理。此外，图像处理单元206提取图像并进行可变倍率处理，从而实现电子变焦功能。此外，图像处理单元206使用拍摄图像的图像数据进行预定的计算处理，并且系统控制单元210基于通过计算处理以这种方式获取的结果来进行曝光控制和测距控制。例如，系统控制单元210基于镜头测光(ttl，through-the-lens)系统进行自动聚焦(af)处理、自动曝光(ae)处理和闪光预发射(以下称为ef)处理。图像处理单元206使用拍摄图像的图像数据进行预定的计算处理，并且系统控制单元210使用获取的计算结果进行ttl系统的自动白平衡(awb)处理。

图像处理单元206包括图像合成处理电路。代替包括图像处理单元206的构造，可以采用其中通过系统控制单元210的软件处理来实现图像合成处理的功能的构造。

更具体地，图像处理单元206可以进行加法合成处理、加权加法合成处理等作为合成处理。合成之前的各个图像的像素值由i_i(x，y)表示(i＝1到n，x和y表示画面中的坐标)，并且通过合成n个图像获得的图像的像素值由i(x，y)表示。像素值可以是在进行awb处理之后输出的拜耳阵列的信号r、g1、g2和b中的各个的值，或者可以是从一组信号r、g1、g2和b获得的亮度信号的值(亮度值)。此时，可以在以各个像素包括信号r、g和b的方式对拜耳阵列的信号进行插值处理之后，针对各个像素计算亮度值。例如通过以下表达式(1)计算亮度值。

y＝0.3×r+0.59×g+0.11×b(1)

基于以下表达式，对例如通过必要时对多个图像的对准处理而相关联的各个像素值进行处理。通过以下表达式(2)进行加法合成处理。

i(x，y)＝i_1(x，y)+i_2(x，y)+…+i_n(x，y)(2)

通过以下表达式(3)进行加权加法合成处理，i(x，y)＝(a1×i_1(x，y)+a2×i_2(x，y)+…+an×i_n(x，y))/n（3）

其中ak是加权系数。

从a/d转换器205输出的图像数据通过图像处理单元206和存储器控制单元207，或者通过存储器控制单元207写入存储器209。存储器209还用作存储要在显示单元101上显示的图像数据的图像显示器存储器(视频存储器)。存储器209具有可以存储预定数量的静止图像、预定数量的全景图像(广角图像)和全景图像的合成结果的存储容量。存储器209也可以用作系统控制单元210加载从非易失性存储器211读取的程序的工作区。

存储在存储器209中的图像显示数据(数字数据)被发送到d/a转换器208。d/a转换器208将接收到的数字数据转换成模拟信号，并将该模拟信号提供给显示单元101。结果，在显示单元101上显示图像。显示单元101是诸如液晶显示器和有机电致发光(el)显示器的显示设备，并且基于来自d/a转换器208的模拟信号来显示图像。通过系统控制单元210来切换显示单元101上的图像显示的开/关(on/off)。关闭图像显示可以减少电力消耗。当通过a/d转换器205从摄像单元204累积在存储器209中的数字信号被d/a转换器208转换成模拟信号并且该模拟信号的图像被依次显示在显示单元101上时，可以实现显示实时图像的电子取景器功能。

数字照相机100包括非易失性存储器211、系统计时器212、系统存储器213、检测单元215和闪光灯控制单元217。非易失性存储器211是电可擦除/可存储存储器(例如，电可擦可编程只读存储器(eeprom))，并且存储要由系统控制单元210执行的程序、操作常数等。此处使用的程序是执行根据以下描述的本示例性实施例的各种流程图的程序。此外，非易失性存储器211包括存储系统信息的区域和存储用户设置信息的区域。在数字照相机100启动时，系统控制单元210读出并恢复存储在非易失性存储器211中的各种信息和设置。

系统控制单元210包括中央处理单元(cpu)，并且执行存储在非易失性存储器211中的各种程序代码以控制数字照相机100的整体操作。由系统控制单元210从非易失性存储器211读取的程序、操作常数、变量等被加载到系统存储器213中。随机存取存储器(ram)被用作系统存储器213。此外，系统控制单元210控制存储器209、d/a转换器208、显示单元101等以进行显示控制。系统计时器212测量用于各种控制的时间和内置时钟的时间。闪光灯控制单元217基于被摄体的亮度来控制闪光灯141的发光。检测单元215包括陀螺仪或加速度传感器，并且获取数字照相机100的角速度信息、姿态信息等。角速度信息包括关于通过数字照相机100进行全景摄像时的角速度和角加速度的信息。姿态信息包括关于数字照相机100相对于水平方向的倾斜度的信息。

图2所示的显示单元101、操作单元102、控制器轮103、快门按钮121、模式选择开关104、电源开关122和闪光灯141与参照图1所描述的相同。

构成操作单元102的各种操作构件例如用于选择显示在显示单元101上的各种功能图标。当选择了预定的功能图标时，针对各个场景将功能分配给操作构件。换句话说，操作单元102的操作构件用作各种功能按钮。功能按钮的示例包括结束按钮、后退按钮、图像馈送按钮、跳转按钮、景深预览按钮、属性更改按钮和disp按钮。例如，当按下菜单按钮时，在显示单元101上显示用于各种设置的菜单画面。用户可以使用显示在显示单元101上的菜单画面、四向按钮、以及set(设置)按钮直观地进行设置操作。

作为以旋转方式被操作的操作构件的控制器轮103与四向按钮一起用于指定选择项目。当以旋转方式操作控制器轮103时，生成与操作量(例如，旋转角度和旋转次数)相对应的电脉冲信号。系统控制单元210分析脉冲信号并控制数字照相机100中的各个单元。控制器轮103可以是能够检测旋转操作的任何构件。例如，控制器轮103可以是生成与用户的旋转操作相对应的脉冲信号的拨盘操作构件。此外，控制器轮103可以是包括触摸传感器的操作构件，该触摸传感器检测由用户的手指在控制器轮103(所谓的触摸轮)上的旋转操作。

快门按钮121包括第一开关sw1和第二开关sw2。当在操作中途半按下快门按钮121时，第一开关sw1接通。结果，指示准备摄像的信号被发送到系统控制单元210。系统控制单元210在接收到指示第一开关sw1接通的信号时，开始af处理、ae处理、awb处理、ef处理和其他处理的操作。当在操作完成时完全按下快门按钮121时，第二开关sw2接通。结果，指示开始摄像的信号被发送到系统控制单元210。系统控制单元210在接收到指示第二开关sw2接通的信号时，进行从自摄像单元204读出信号到将图像数据写入记录介质130的一系列摄像操作。

模式选择开关104在诸如静止摄像模式、运动摄像模式和回放模式的各种模式之间切换数字照相机100的操作模式。静止摄像模式和运动摄像模式中的各个还包括自动摄像模式、自动场景确定模式、手动模式、具有针对各个场景的摄像设置的各种场景模式、程序ae模式和定制模式。静止摄像模式还包括全景摄像模式，其中通过全景摄像来合成全景图像(广角图像合成)。

数字照相机100包括电源单元214和电源控制单元218。电源单元214例如是诸如碱性电池和锂(li)电池的一次电池、诸如镍镉(nicd)电池、镍氢(nimh)电池和li电池的二次电池、或交流(ac)适配器，并向电源控制单元218供电。电源控制单元218检测电源单元214的电池的安装/拆卸、电池的类型、剩余电池电量等，并基于检测结果和系统控制单元210的指令，在一定时段期间，向包括记录介质130的单元供给电压。

数字照相机100包括接口(i/f)216，当将记录介质130安装在记录介质插槽(未示出)中时，该接口使得能够在记录介质130与系统控制单元210之间进行通信。已经参照图1描述了记录介质130的细节，这里省略了描述。

接下来，简要描述焦点堆叠(焦点包围)。

图4a至图4d是示出根据本示例性实施例的在成像面上形成被摄体图像的状态的图。

图4a示出了通过光学透镜402在平面403a上形成被摄体401的图像404的状态。当平面403a和摄像设备的图像传感器平面彼此一致时，被摄体401的图像在平面403a上形成为“点”，并被记录为聚焦图像。

图4b示出了成像面和图像传感器平面彼此不一致的情况。在图像传感器平面403b位于与图4a所示的平面403a不同的位置的情况下，由光学透镜402形成的被摄体401的图像在图像传感器平面403b上看起来像是弥散圆405。此时，在弥散圆405小于摄像设备的容许弥散圆的情况下，弥散圆405被视为等同于聚焦的“点”，并且可以获得等同于聚焦图像的图像。另一方面，在弥散圆405大于容许弥散圆的情况下，在图像传感器平面403b上获得模糊图像。

图4c是示出从侧面观看的上述状态的图。在焦点410上形成被摄体的图像并且在平面411a的位置存在图像传感器平面的情况下，获得弥散圆的直径412a。此时的弥散圆的直径412a小于摄像设备的容许弥散圆的直径413。因此，由摄像设备记录的图像417是没有模糊的聚焦图像。另一方面，在平面414a的位置处存在图像传感器平面的情况下，此时的弥散圆的直径415a大于容许弥散圆的直径413。因此，图像传感器平面414a上的图像418a是模糊图像。弥散圆的直径412a小于容许弥散圆的直径413的阴影区域对应于聚焦深度416a，并且聚焦深度416a在被摄体侧被转换并替换为景深。

图4d是示出与图4c所示的状态相比光圈更闭合的状态的图。在进一步关闭光圈的状态下，将图4c中的弥散圆的直径412a和415a分别改变为相对于平面411b的弥散圆的直径412b和相对于平面414b的弥散圆的直径415b。此时，图4d中的弥散圆的直径415b小于图4c中的弥散圆的直径415a。因此，此时获得的图像418b是与图像418a相比具有较少模糊的图像。此外，此时的聚焦深度416b比聚焦深度416a深。

图5是示出根据本示例性实施例的用于焦点堆叠的摄像的示例的图。在该示例中，假定被摄体51至53为要聚焦的被摄体。被摄体51至53位于不同的距离(物距)，并且被摄体51、52和53从靠近数字照相机100的一侧(从短距离侧向长距离侧的方向)依次定位。由于数字照相机100的结构，无法通过进行一次摄像将被摄体51至53包括在景深内。此外，为了获得更高的分辨率，在某些情况下，各个图像的景深变浅。在这种情况下，为了获得聚焦在所有多个被摄体51至53上的焦点堆叠图像，通过多个深度来覆盖进行焦点包围摄像的焦点范围500(包围范围)。景深511至516表示各个摄像中的景深，并且被布置为覆盖焦点范围500。换句话说，当以相同视角(六次)拍摄具有景深511至516的对焦位置的图像时，焦点范围500内的被摄体51至53在任何图像中聚焦。从以这种方式拍摄的多个图像中，在各个位置处选择在各个位置处具有最高清晰度的像素(即，最聚焦图像的像素值)，并且对这些像素进行合成。结果，可以获得在整个焦点范围500(整个包围范围)上聚焦的图像。

在上述用于焦点堆叠的摄像中，当拍摄要合成的各个图像时的有效f数是相同的。如果在拍摄要合成的各个图像时的有效f数彼此大不相同，则合成图像可能不均匀。更具体地，如果改变有效f数而造成拍摄图像的亮度差异，则合成图像的亮度变得不均匀。此外，如果改变有效f数而造成所拍摄图像的深度差异，则合成图像的分辨率变得不均匀。

此外，根据对焦位置，数字照相机中使用的镜头的开放光圈f数发生变化。尤其是，频繁用于拍摄焦点堆叠图像的短距离摄像透镜的有效f数在最接近端与无限远端之间存在很大差异，并且在最接近端有效f数通常更暗(更大)。因此，如果在将焦点位置从最接近端侧移向无限远端侧的同时在摄像开始时设置的摄像条件下拍摄用于焦点堆叠的图像，则一系列拍摄图像的亮度随有效f数的变化而变化。这可能导致合成图像的亮度不均匀。此外，如果要合成的图像的深度彼此不同，则合成图像的分辨率可能变得不均匀。

在步骤s601中，系统控制单元210基于用户的输入或默认设置来设置摄像条件。摄像条件包括要拍摄的图像数量和对焦位置。例如，用户通过兼作显示单元101的触摸面板来指定要聚焦的位置，并且在与在光轴方向上要聚焦的位置相对应的要聚焦的位置的前面和后面以相等的间隔指定多个要聚焦的位置。另选地，用户可以通过兼为显示单元101的触摸面板指定两个位置，并且在两个位置之间以相等间隔设置对焦位置。系统控制单元210可以考虑处理负荷来增加对焦位置的数量(要拍摄的图像的数量)。系统控制单元210按照距离的顺序确定所设置的对焦位置的摄像顺序。例如，系统控制单元210进行设置以便将对焦位置从最接近端侧向无限远端侧改变。

在步骤s601中，系统控制单元210还基于对焦位置设置摄像中的景深，并基于所设置的景深确定f数。

在步骤s601中，除了对焦位置和景深之外，系统控制单元210还设置国际标准化组织(iso)感光度、快门速度。

在步骤s602中，系统控制单元210获取在步骤s601的设置下拍摄图像时的有效f数，并且将有效f数存储在存储器209中以在步骤s605中进行调用。

在步骤s603中，摄像单元204在步骤s601中的设置下拍摄第一图像。

在步骤s604中，系统控制单元210基于在步骤s601中设置的摄像顺序来改变对焦位置。

在步骤s605中，系统控制单元210调用在步骤s602中存储的f数，并调整用于步骤s606中的摄像的有效f数，使其等于在步骤s602中存储的f数。如上所述，在移动对焦位置的同时拍摄图像的情况下，有效f数根据对焦位置而变化。在移动对焦位置的同时调整摄像的有效f数，以使其与拍摄第一图像时的f数一致，可以防止合成图像的不均匀。

图7是示出根据本示例性实施例的对焦位置与有效f数之间的关系的曲线图。图7示出在镜头的光圈被打开到最大的同时将对焦位置从无限远端侧移动到最接近端侧的情况下的有效f数的变化。预先获取有效f数的这种变化作为镜头信息，并且在步骤s605中用于f数的调整中。例如，当在将光圈设置为作为开放值的f2.8的同时拍摄图像时，最接近端的有效f数为f5.6，而无限远端的有效f数为f2.8。换句话说，当在将光圈值设置为开放值的同时在最接近端侧拍摄图像，并且将对焦位置移至无限远端侧时，有效f数会随着对焦位置移向无限远端侧而减小。如图7所示，系统控制单元210根据对焦位置与有效f数之间的预先获取的关系来估计有效f数，并且调整光圈，使得当拍摄第一图像之外的图像时的有效f数等于第一图像的有效f数。

在系统控制单元210无法从镜头获取与有效f数有关的信息的情况下，摄像单元204在步骤s605中调整有效f数之前进行临时摄像。系统控制单元210将通过临时摄像获得的图像的亮度和在临时摄像之前拍摄的图像的亮度进行比较，以估计有效f数的变化。此外，系统控制单元210基于估计结果计算目标有效f数，并关闭光圈。

此时，显示单元101可以显示有效f数。另选地，当有效f数和标称f数彼此不同时，显示单元101显示警告。

在步骤s606中，摄像单元204在步骤s605中调整的设置下拍摄图像。

在步骤s607中，系统控制单元210确定是否结束摄像。在确定结束摄像的情况下(步骤s607为“是”)，处理进入步骤s608，并且进行合成处理。在确定不结束摄像的情况下(步骤s607为“否”)，处理返回至步骤s604，移动对焦位置，并且拍摄下一帧的图像。

在步骤s608中，系统控制单元210进行焦点堆叠处理。

描述了焦点堆叠方法的示例。系统控制单元210首先计算要合成的两个图像的位置偏移量。计算位置偏移量的方法的示例如下。系统控制单元210首先在图像之一中设置多个块。在一个实施例中，系统控制单元210以相同的大小设置多个块。接下来，系统控制单元210在另一幅图像中在与设定的各个块的相同位置处设定比设定的各个块更宽的范围作为搜索范围。最后，系统控制单元210在另一图像的各个搜索范围中，计算与对应的第一设置块的、亮度的绝对差之和(以下称为sad)最小的对应点。系统控制单元210从各个第一设置块的中心和对应的搜索范围的上述对应点计算位置偏移作为矢量。在上述对应点的计算中，除了sad之外，系统控制单元210还可以使用平方差之和(以下称为ssd)、归一化互相关(以下称为ncc)等。

接下来，系统控制单元210基于位置偏移量来计算变换系数。系统控制单元210使用例如投影变换系数作为变换系数。变换系数不仅限于投影变换系数，并且可以使用仿射变换系数或仅针对水平或垂直移位简化的变换系数。

例如，系统控制单元210可以使用表达式(4)进行变换，

其中(x'，y')表示变换后的坐标，而(x，y)表示变换前的坐标。

接下来，图像处理单元206计算对准之后的各个图像的对比度值。作为计算对比度值的方法的示例，图像处理单元206首先使用以下表达式(5)从各个像素的颜色信号sr、sg和sb计算亮度y。

y＝0.299sr+0.587sg+0.114sb(5)

接下来，如以下表达式(6)至(8)所述，将sobel滤波器应用于像素的亮度y的3×3矩阵l以计算对比度值i。

上述计算对比度值的方法仅是示例。例如，可以使用允许通过预定频带的边缘检测滤波器，诸如拉普拉斯滤波器或带通滤波器。

接下来，图像处理单元206生成合成图。为了生成合成图，图像处理单元206比较图像中相同位置处的像素的对比度值，并将具有最高对比度值的像素的合成比设置为100％，并将相同位置处的其他像素的合成比设置为0％。图像处理单元206在图像中的所有位置处设置这样的合成比。

最后，图像处理单元206基于合成图来替换像素，以生成合成图像。当相对于以这种方式计算的合成比将相邻像素之间的合成比从0％改变为100％(或从100％改变为0％)时，在合成边界处明显不自然。因此，将具有预定像素数(抽头数)的滤波器应用于合成图，以防止相邻像素之间的合成比急剧变化。

尽管在上述示例性实施例中已经描述了在将对焦位置从最接近端移动到无限远端的同时拍摄图像的示例，但是根据被摄体，对焦位置的一部分可能就足够了。例如，当不需要聚焦在最接近端的图像时，与使用最接近端的对焦位置的情况相比，可以减小有效f数的最大值。因此，在开始一系列摄像之前，预先计算用于焦点堆叠的区域，计算用于焦点堆叠的区域中的最大有效f数，并将该有效f数用作各个对焦位置处的目标有效f数。

此外，在将对焦位置从无限远端侧移动到最接近端侧的同时拍摄图像的情况下，为了维持有效f数，必须逐步增大光圈的开口直径；然而，光圈可能会在途中到达开放端。此时，随着对焦位置移到最接近端，图像会变暗；然而，光圈的开口直径不能再增大。

在这种情况下，系统控制单元210通过将iso感光度调整为增益，将快门速度调整为曝光时间，来校正由于有效f数的差异造成的亮度差异。此时，可能会保持分辨率的不均匀，但是可以减少亮度的不均匀。另外，由于iso感光度的改变会改变噪声量，因此希望优先于iso感光度来改变快门速度。

此外，在上述示例性实施例中，已经描述了其中首先调整光圈以减少由有效f数造成的不均匀的示例；然而，其不限于此。在不改变光圈的情况下，可以基于对焦位置改变iso感光度和快门速度之一或两者。在这种情况下，在图像之间可能会出现分辨率的不均匀；然而，至少可以减少图像之间的亮度不均匀。换句话说，仅需要调整与摄像有关的至少任一参数，以校正由有效f数的根据对焦位置的变化所造成的对图像的影响。

如上所述，根据本示例性实施例，诸如数字照相机的摄像装置可以减少焦点堆叠图像的不均匀。

在上述示例性实施例中，在同一装置中进行从摄像处理到合成处理的处理；然而，其不限于此。例如，摄像处理可以由摄像装置执行，而合成处理可以由诸如个人计算机(pc)和服务器的其他处理装置执行。

其他实施例

已经基于数字照相机的实施方式描述了示例性实施例；然而，实施方式不限于数字照相机的实施方式。例如，示例性实施例可以通过包括摄像设备的移动设备、或通过可以拍摄图像的网络照相机来实施。

本公开的示例性实施例还可以通过以下方式来实现：通过网络或存储介质将实现上述示例性实施例的一个或多个功能的程序供给到系统或装置，并使系统或装置中的计算机的一个或多个处理器读取并进行程序。此外，本公开的示例性实施例可以通过实现一种或多种功能的电路(例如，专用集成电路(asic))来实现。

还可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(asic))的系统或装置的计算机，来实现本公开的实施例，并且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制所述一个或更多个电路执行上述实施例中的一个或更多个的功能的方法，来实现本公开的实施例。所述计算机可以包括一个或更多个处理器(例如，中央处理单元(cpu)，微处理单元(mpu))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(ram)、只读存储器(rom)、分布式计算系统的存储器、光盘(诸如压缩光盘(cd)、数字通用光盘(dvd)或蓝光光盘(bd)^tm)、闪存设备以及存储卡等中的一个或更多个。

本公开的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。

虽然参照示例性实施例对本公开进行了描述，但是应当理解，本公开并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。