的位置（图像内的对象的位置）以及将移动之后的第二图像的像素值添加到 第一图像的像素值，来得到存储图像。第一存储图像是其中至少一部分第二图像被添加到 第一图像的图像；并且其他输入图像可以进一步被添加。
[0141] 在根据实施例的图像处理的方法中，如图4所示，步骤S10至步骤S14被多次重 复。在步骤S15中，确定是否结束重复。在重复不结束的情况下，步骤S10至S14被再次实 现。例如，聚焦位置进一步被更改，并且图像被采集。因此，图像处理器30获取包括第一图 像和第二图像的多个输入图像。当多个输入图像被采集时，聚焦位置彼此不同。图像处理 器30通过添加获取的多个输入图像中的至少一部分而得到第一存储图像。
[0142] 在步骤S15中，例如，当输入图像被存储规定的次数时，重复结束。在重复结束的 情形下，步骤S16被实现。
[0143] 存储图像是包括不同的多个聚焦位置的信息且在画面中模糊的图像。在步骤S16 和步骤S17中，通过在存储图像上实现模糊移除处理而得到输出图像。例如，图像处理器30 通过在第一存储图像上实现模糊移除处理而得到输出图像，在第一存储图像中，第一图像 和第二图像被附加地存储。在模糊移除处理中，第一存储图像基于对应于第一位置和第二 位置的点扩散函数被变换。这里，在输出图像的坐标（X，Y)被定义为〇(X，Y)。
[0144] 权重归一化被进行以得到输出图像0(Χ，Υ)。换句话说，存储图像的像素值除以权 重。这是因为存储的权重在存储图像的像素之间是不同的。Β(Χ，Υ)除以W(X，Y)。
[0145] [公式 19]
[0147] 在步骤S16中，存储图像的PSF(点扩散函数，即，模糊函数）被估计。已知在 一定范围内扫描聚焦位置时所采集的图像的PSF在画面中是均匀的，而不管对象的深 度。（H. Nagahara, S. Kuthirummal, C. Zhou, and S. K. Nayer,''Flexible Depth of Field Photography, "Proc. European Conf. Computer Vision, pp. 60-73, 2008)〇
[0148] 图5至7是图解用于估计PSF的方法的示意性视图。
[0149] 首先，将描述通过进行聚焦扫描而采集的图像的PSF。在聚焦扫描中，在通过当曝 光时将聚焦位置从近端位置变化至远端位置的一次采集中采集一个图像。在聚焦扫描被进 行的情况下，在画面中均匀模糊的图像被采集。
[0150] 图5显示在聚焦位置v的PSF。例如，孔径宽度可以通过a = f/f_^计算，其中， 透镜的焦距是f，以及透镜的f数是€_。当焦点对准时，模糊直径可以被如下计算出，其中， 聚焦位置是P，以及一个聚焦位置是V。
[0151] [公式 20]
[0153] 模糊直径b (v)随着聚焦位置v远离位置P移动而增加。
[0154] 例如，考虑图6所示的情形下的PSF。这里，扫描范围Rs从17 (mm)至19 (mm)。
[0155] 在这种情况下，当聚焦位置v是位置v71时，对象b71是焦点对准的。这里，对象 b71被布置在从成像元件25沿着Z轴方向分开200 (mm)的位置。
[0156] 类似地，对象b72、对象b73、对象b74、以及对象b75分别在聚焦位置v72、聚焦位 置v73、聚焦位置v74、以及聚焦位置v75是焦点对准的。成像元件25与对象b72至b75之 间沿着Z轴方向的距离分别是450 (mm)、750 (mm)、1150 (mm)、以及2000 (mm)。
[0157] 对于这种情形，在精细地移动聚焦位置v的同时，对于图5描述的每一个位置的 PSF被添加。从而做出图7。这里，使得PSF在模糊直径（掩体（pillbox))内被均匀地卷 积（convolved)。图7估计了在进行聚焦扫描的同时采集的图像的PSF。在图7中，纵轴是 PSF的值；并且横轴是与一个像素的距离Ln。
[0158] 在图7中，对于聚焦的不同聚焦位置的多个PSF被叠加。也就是，多个PSF(f71至 f75)被叠加。F71至f75的PSF是分别对应于对象b71至b75的图像的像素的PSF。因此， PSF彼此交叠；并且可以看出PSF不取决于图像的深度。
[0159] 对于图5至图7所描述的实例是聚焦位置被连续扫描的聚焦扫描的实例。相反， 在实施例中，如上所述，通过重复聚焦位置的更改和采集以及通过附件地存储被采集的多 个图像而得到存储图像。实施例是所谓的离散聚焦扫描。图8显示对于聚焦位置的更改是 离散的且具有10步的情况下的PSF。虽然图8所示的PSF没有图7所示的PSF平滑，但是 可以看出PSF基本上不取决于图像的深度。
[0160] 在步骤S17中，图像处理器30使用估计的PSF修复来自存储图像的图像。在修复 中，例如，维纳滤波（Wiener Filter)等等可以被使用。估计的PSF的矩阵表示是矩阵h。
[0161] 通过将输出图像的傅里叶变换设置成
[0162] [公式 21]
[0163] 0(u) · · · (21)
[0164] 将修复图像的傅里叶变换设置为
[0165] [公式22]，以及
[0166] d(?) ?**(22)
[0167] 将PSF的傅里叶变换设置为
[0168] [公式 23]
[0169] H(u) · · · (23)
[0170] 维纳滤波可以通过
[0173] 计算。
[0174] 使用逆傅里叶逆变换，修复图像被形成。这里，。η2/。/是信噪比。
[0175] 如上所述，通过更改聚焦位置和并进行采集、通过重复聚焦位置的更改和进行采 集、以及通过添加图像，高质量的图像可以被获得。例如，在安装在诸如智能手机等等的便 携式终端中的相机中，相机的孔径光阑不能被精细地调节；并且存在景深浅的情形。同样在 这种相机中，例如，通过使用根据实施例的图像处理方法或者图像处理装置，全聚焦图像可 以被获得。
[0176] 图9是图解参考实例的图像处理装置的特性的示意性视图。
[0177] 在参考实例的方法中，如在如上所述的聚焦扫描中，当曝光时，聚焦位置被改变 (扫描）；在画面中均匀模糊的图像被获取；并且通过在图像上进行模糊移除处理获得全聚 焦图像。
[0178] 图9显示在图像通过聚焦扫描被采集的情况下，电荷Q与时间Τ之间的关系。图 9的纵轴是存储在成像元件的像素中的电荷Q。图9的横轴是时间Τ。例如，从Τ = 0到Τ =Ts的间隔是扫描时间。在扫描时间内，聚焦位置ν(扫描位置）随着时间逝去从V。变化 至并且图像被采集。在实例中，在扫描时间期间，曝光持续。
[0179] 与常规对象（例如，室内对象）b76被采集的情况相比，在明亮的对象b77被采集 的情况下，电荷在像素（例如，光电二极管）中更迅速地被存储。在明亮的对象b77被采集 的情况下，在聚焦位置的扫描完成之前，电荷Q不期望地达到饱和Qsat。当诸如户外对象等 等的明亮的对象在聚焦扫描中被采集时，像素迅速地变得饱和；并且存在没有足够的时间 用于扫描的情形。
[0180] 相反地，在实施例中，聚焦位置的更改以及采集被重复。因此，例如，通过将曝光与 扫描分离，可以产生全聚焦图像，而不用担心像素的饱和。
[0181] 图10是图解根据第一实施例的图像处理装置的特性的示意性视图。
[0182] 同样在图10中纵轴是电荷Q ;并且横轴是时间T。图10下方的点图解了当图像被 采集时的时刻，以及在这些时刻的聚焦位置V。在扫描时间（从T = 0至T = Ts)中，在由 图中的圆点所示的时刻Τ1、Τ2...，Τη进行采集。在这些时刻的聚焦位置彼此不同。在实例 中，当曝光时，聚焦位置被固定。然而，在实施例中，当曝光时，聚焦位置可以被移动。
[0183] 如图10所示，被存储在像素中的电荷对于每一次采集被重置。因此，即使在明亮 的对象b77被采集的情况下，像素也不容易变得饱和。例如，甚至明亮的对象的高质量的全 聚焦图像也可以被获得。
[0184] 第二实施例
[0185] 图11是图解根据第二实施例的图像处理装置的框图。
[0186] 图12是图解根据第二实施例的图像处理装置的操作的流程图。
[0187] 如图11所示，与图像处理装置100相比，根据第二实施例的图像处理装置101进 一步包括自动聚焦检测器11。自动聚焦检测器11进行相机的自动聚焦（AF)功能。可以使 用各种方法来实现自动聚焦。例如，在图像的对比度最大的位置聚焦的对比度AF、通过获取 相位差聚焦的相位差AF等等可以被使用。在实施例中，AF方法没有特别地被限制。
[0188] 如图12所示，除了在第一实施例中描述的步骤S10至步骤S17之外，图像处理装 置101的图像处理方法进一步包括步骤S09。
[0189] 在步骤S09中，任意图像通过自动聚焦功能被聚焦。自动聚焦检测器11检测将焦 点对准的聚焦位置。
[0190] 在步骤S10中，基于通过自动聚焦检测的聚焦位置，扫描范围Rs被设置。扫描范 围被如下设置为通过自动聚焦所检测的聚焦位置vAF的向前和/或向后。
[0191] v〇= v AF- Δ v
[0192] ve= v AF+ Δ v
[0193] 这里，Δ v是预定的向前/向后扫描宽度。在第一实施例中，整个扫描范围RS是 预定的范围。在实施例中，当采集时，扫描范围Rs被动态地确定。
[0194] 例如，在成像单元20被聚焦在对象上的状态下，聚焦位置被设置为第一位置；并 且在第一位置处，输入图像被采集。第一位置被设置为参考