件25与透镜22的光轴方向中心之间的距离是透镜22的焦 距。在这种情况下，成像单元20的焦点对应于无穷远。被用作第二位置的聚焦位置使得成 像元件25与透镜22的光轴方向中心之间的距离比透镜22的焦距短。例如，第二位置对应 于成像单元20的最短采集距离。输入图像在这样的第一和第二位置之间的多个聚焦位置 被采集。在实施例中，多个输入图像可以包括在相同的聚焦位置被采集的输入图像。
[0056] 在以上叙述的实例中，当采集时，聚焦位置被固定。在实施例中，当曝光时，聚焦位 置可以是移动的。例如，当聚焦位置在第一范围中时，成像元件25采集第一图像。第一范 围包括第一位置；并且在采集第一图像的同时，聚焦位置在第一范围内被改变。类似地，当 聚焦位置在不同于第一范围的第二范围中时，成像元件25采集第二图像。第二范围包括第 二位置；并且在采集第二图像的同时，聚焦位置在第二范围内被改变。
[0057] 在步骤S11中，透镜22(或者成像元件25)被移动至由聚焦位置确定单元10确定 的聚焦位置。例如，透镜22被移动至使得聚焦位置是第一位置的位置。
[0058] 在步骤S12中，成像元件25采集图像。例如，当聚焦位置是第一位置时，成像元件 25采集第一图像。在如下所述的步骤S13至S15之后，步骤S10至S12再次被重复；并且 当聚焦位置是第二位置时，成像元件25采集第二图像。
[0059] 这里，在任意聚焦位置v采集的图像（输入图像）的坐标（x，y)处的像素值被定 义为Isra(x，y ;v)。输入图像的值可以是诸如亮度值的标量或者可以是在彩色图像（例如， RGB或者YUV)中使用的矢量。
[0060] 在步骤S13中，图像处理器30进行运动估计。在运动估计中，从输入图像至参考 图像的运动矢量被检测。这里，参考图像是用作存储的参考的图像。输入图像当中的一个 图像可以被用作参考图像。例如，当开始处理时的初始输入图像被用作参考图像。在参考 图像的坐标（X，y)的像素值被定义为Iraf (X，y)。
[0061] 例如，在第一位置采集的第一图像被用作参考图像。随后，在第二位置采集的第二 图像被用作输入图像；并且从第二图像至第一图像的运动矢量被检测。运动矢量是取决于 第一图像内的对象（物体）的位置与第二图像内的对象的位置之间的差的矢量。
[0062] 各种方法可以被用于检测运动矢量。例如，块（block)匹配可以被使用。然而，用 于检测运动矢量的方法不局限于块匹配。
[0063] 块匹配是包括将输入图像细分成多个矩形块、并且在对应于每一个块的参考图像 中搜索块的方法。一个块的尺寸是I乘以M2。块的位置是（i，j)。平均绝对差（MAD)等等 可以被用作用于确定运动的误差函数。
[0066] 这里，矢量u = (ux，uy)T是要被评估的运动矢量。T是转置。
[0067] 在搜索的范围是-W彡X彡W和-W彡y彡W的矩形区域的情况下，以下块匹配算 法确定在位置（i, j)的运动矢量u(i, j)。
[0070] 这里，对于iaPuy的搜索以最小化误差函数E由公式4所示出。
[0071] [公式 4]
[0073] 块内部的运动矢量与块的运动矢量相同。也就是，
[0074] [公式 5]
[0075] u(x, y) ： = u(i, j) · · · (5)
[0076] 匹配可以以包括具有以十进制表达的坐标的位置的精度来进行。例如，等距 (isometric)线性拟合等等可以被使用。
[0077] 这里，不可以检测运动矢量，并且，例如，被用于通过诸如MPEG2的视频编码的压 缩的运动矢量可以被使用。被解码器解码的运动矢量可以被使用。
[0078] 当检测运动矢量时，表示整个画面（screen)的运动的参数化运动（parametric motion)可以被确定。例如，使用Lucas-Kanade方法来确定整个画面的参数化运动。从被 确定的参数化运动来确定运动矢量。
[0079] 参数化运动表示使用参数化的投影的运动。例如，坐标（x，y)的运动可以使用仿 射转换被如下表不。
[0082] 矢量a = (a。，a2, a3, a4, a5)τ是表示运动的参数。使用Lucas-Kanade方法，从整 个画面估计这种运动的参数。在Lucas-Kanade方法中，实施以下步骤1至4。
[0083] 步骤 1 :
[0084] 梯度
[0085] [公式 7]
[0087] 被计算。
[0088] 步骤 2 :
[0089] 海森（Hessian)矩阵
[0090] [公式 8]
[0092] 被计算。
[0093] 步骤 3 :
[0094] [公式 9]
[0096] 被计算。
[0097] 步骤 4 :
[0098] 更新
[0099] [公式 10]
[0100] a(t)= a (t D+Aa · · · (10)
[0101] 被计算。重复步骤2至4,直至达到指定数为止。这里，迭代的数目通过上标t表 不。
[0102] 当参数已经被确定时，在任意坐标位置的运动矢量可以通过
[0103] [公式 11]
[0104] u (x, y) = p (x, y) a- (x, y)T · · · (11)
[0105] 被确定。
[0106] 同样，例如，对于两个帧中的每一个帧可以计算特征点；并且从特征点之间的关联 可以确定参数化运动。
[0107] 在步骤S14中，图像处理器30在存储器缓冲区中存储输入图像。
[0108] 存储器缓冲区是用于存储与参考图像对齐（aligned with)的输入图像的缓冲区。 输入图像被存储在存储于存储器缓冲区中的存储图像中。存储图像的分辨率可以与输入图 像的分辨率不同。例如，在垂直方向和水平方向上，存储图像的分辨率可以是输入图像的分 辨率的2倍、3倍或者4倍。例如，通过增加分辨率，超分辨率效应发生。因此，可以产生高 质量的图像。存储图像的分辨率可以低于输入图像的分辨率。
[0109] 存储图像的坐标是坐标（X，Y)。在存储图像的坐标（X，Y)处的像素值是B (X，Y)。 如上所述，存在存储图像的分辨率不同于输入图像的分辨率的情形。因此，当存储时，以输 入图像的分辨率所确定的运动矢量的尺度（scale)被变换为对应于存储图像的分辨率。
[0110] [公式 12]
[0111] U(x, y) = P u(x, y) ... (12)
[0112] 这里，矢量U(x，y)是经历尺度变换的运动矢量。P是输入图像的分辨率与存储图 像的分辨率的比。
[0113] 接下来，输入图像的像素的值Isra(x，y ;v)被存储的位置被确定。使用经历尺度变 换的运动矢量，在所存储得图像上的存储位置坐标为
[0114] [公式 13]
[0116] 这里，P是输入图像的分辨率与存储图像的分辨率的比值。
[0117] 输入图像的像素 Isra(x，y ;v)被存储在存储图像中。
[0118] 存储位置坐标是坐标D(x，y);而坐标D(x，y)可以是十进制的。因此，在存储位置 坐标附近的离散坐标（discrete ordinate)被确定。
[0119][公式 14]
[0121] 这里，附近离散坐标由
[0122] [公式 15]
[0123] X = (X，Υ)τ · · · (15)
[0124] 表示。
[0125] 被舍入到最接近的整数的存储位置坐标的每一个成分由
[0126] [公式 16]
[0127] round (D (x, y)) · · · (16)
[0128] 表示。
[0129] 通过将输入图像的像素值添加至在附近离散坐标的存储图像，实现如下存储。
[0130] [公式 17]
[0131] B(X, Y)+ = Isrc(x, y ；v) · · · (17)
[0132] 这里，z+= a表示a被添加至z。
[0133] 在实施例中，如下所述，当从存储图像获得输出图像时，为存储图像的每一个像素 考虑权重。权重被存储在存储权重图像中，存储权重图像被存储在存储权重缓冲区中。存 储权重图像的分辨率与存储图像的分辨率相同。在存储权重图像的坐标（x，Y)处的像素值 被定义为w(x，Y)。
[0134] 在步骤S14中，同样实现权重的存储。对于存储图像中的每一个像素，存储的权重 被存储在存储权重图像中。也就是，如下被实现。
[0135] [公式 18]
[0136] ff(X, Y)+ = 1. 0 · · · (18)
[0137] 在实例中，存储图像的每一个像素的存储的权重W(X，Υ)对应于对于该像素，输入 图像被添加的次数。
[0138] 当添加输入图像至存储图像时，可以不对于整个输入图像而是对于一部分输入图 像进行添加。例如，用户可以指定图像的中心部分等等作为要被处理的区域。在这种情况 下，对应于要被处理的区域的输入图像的部分被添加至存储图像。
[0139] 如上所述，从输入图像至参考图像的运动矢量被估计；并且基于被估计的运动矢 量，输入图像被对齐。通过存储被对齐的输入图像，得到存储图像。
[0140] 例如，通过基于如上所述的从第二图像至第一图像的运动矢量，添加第二图像的 至少一部分至第一图像，得到存储图像（第一存储图像）。换句话说，通过基于运动矢量来 移动第二图像