动信息，并且将运动信息提供给合成单元83。
[0083] 在步骤S15中，合成单元83合成从运动估计单元81提供的运动信息和从运动估 计单元82提供的运动信息，并且将合成的运动信息提供给相机模糊校正单元84。
[0084] 具体地，例如，在上述的步骤S13至步骤S15中执行下面的处理。
[0085] 即，如图5的箭头A21所指示，可以假设获得多个图像的组（S卩，包括各个帧的图 像的运动图像）作为外图像。这里，由箭头A21所指示的每个矩形表示外图像的每个帧。
[0086]当获得包括多个帧的外图像时，运动估计单元81将外图像划分成多个局部区域， 并且获得每个局部区域的运动向量，如箭头A22所指示。由箭头A22所指示的一个矩形表 示外图像，并且外图像中的每个矩形表示外图像上的局部区域。另外，在每个局部区域中描 绘的箭头指示该局部区域的运动向量。
[0087] 在计算局部区域的运动向量中，例如使用例如模板匹配方法通过相应时间（帧） 的图像之间的相似度来获得被摄体的移动量的方法。从而，当获得外图像的每个局部区域 的运动向量时，运动估计单元81基于每个时间的外图像的每个局部区域的运动向量来计 算图像处理设备11的运动向量A作为运动信息。
[0088] 例如，根据诸如牛顿（Newton)方法的仿射参数估计这样的方法来计算图像处理 设备11的运动向量A。
[0089] 在外图像的情况下，还计算基于内图像的运动信息。即，当获得由箭头A23所指示 的图像的组作为内图像时，运动估计单元82将内图像划分成多个局部区域，如箭头A24所 指示，并且通过模板匹配等获得每个局部区域的运动向量。
[0090] 箭头A23所指示的每个矩形表示内图像的每个帧。箭头A24所指示的一个矩形表 示内图像，并且内图像中的每个矩形表示内图像上的局部区域。另外，在每个局部区域中描 绘的箭头指示该局部区域的运动向量。
[0091]运动估计单元82基于每个时间的内图像的每个局部区域的运动向量，通过牛顿 方法等计算图像处理设备11的运动向量B作为运动信息。
[0092]以此方式从内图像获得的运动向量B的右、左、上和下部分相对于从外图像获得 的运动向量A是反向的，如图6所示。
[0093] S卩，如图6所示，垂直于图像处理设备11的前表面的方向（S卩，平行于外图像捕获 单元23的拍摄方向的方向）被称为Z轴方向，并且垂直于Z轴的轴被称为X轴和Y轴。这 里，X轴是图像处理设备11的水平方向（即，平行于水平面的方向）上的轴，而Y轴是平行 于垂直方向的方向上的轴。
[0094] 当分别使用外图像和内图像计算出运动向量A和运动向量B，并且例如图像处理 设备11的运动仅是围绕用作旋转轴的Y轴的旋转运动时，如图的上侧所示，运动向量A和 运动向量B为相同方向。
[0095] 另一方面，当图像处理设备11的运动仅为围绕用作旋转轴的X轴的旋转运动以及 围绕用作旋转轴的Z轴的旋转运动时，如图的下侧所示，运动向量A和运动向量B的右、左、 上和下部分是反向的，使得其方向被翻转为相对的方向。
[0096] 图的右侧的一个矩形表示外图像或内图像，并且图像中的箭头表示图像的运动向 量。
[0097] 当以此方式获得运动向量A和运动向量B作为运动信息时，合成单元83将运动向 量A和运动向量B合成以生成运动向量C。所获得的运动向量C被假设为图像处理设备11 的最终运动信息。
[0098] 具体地，例如，合成单元83通过计算下面的式（1)来计算运动向量C。
[0099][数学式1]
[0100] C = al ? A+bl ? B... (1)
[0101] 在式（1)中，al和bl分别指示作为运动向量A和运动向量B的权重的系数，并且 被确定为使得满足"al+bl = 1.0"。
[0102] 例如，外图像捕获单元23和内图像捕获单元22可以进行拍摄，使得曝光时间不 同，并且可以对从曝光时间较短的图像获得的运动向量给出较大的权重，使得根据运动估 计的精确度来确定系数al和bl。这里，对从曝光时间较短的图像获得的运动向量给出较大 的权重的原因是：在拍摄图像时曝光时间较短的图像具有较少的由于移动的被摄体或相机 抖动所造成的模糊，并且可以精确地进行运动估计。
[0103] 具体地，在很多情况下，在外图像捕获单元23和内图像捕获单元22中，对于拍摄 作为拍摄者的用户的内图像捕获单元22,到被摄体的距离较短。因此，在内图像中，由于相 机抖动所造成的模糊（抖动）比在外图像中更少，并且可以以更高的精确度进行运动估计。 因此，在将内图像的曝光时间设置成比外图像的曝光时间更短、并且将系数bl设置成具有 比系数al更大的值时，可以获取更高的效率。
[0104] 返回参照图4的流程图以进行描述，当在步骤S15的处理中将图像处理设备11的 运动信息计算为用于相机模糊校正的控制信息时，随后进行步骤S16的处理。
[0105] 在步骤S16中，相机模糊校正单元84基于从合成单元83提供的运动信息对从外 图像捕获单元23提供的外图像进行相机模糊校正，并且将作为结果获得的外图像提供给 记录单元54 〇
[0106]例如，相机模糊校正单元84基于作为从合成单元83提供的运动信息的运动向量C 来计算外图像上的每个局部区域内部的特征点的移动量，并且基于该移动量来计算仿射参 数。
[0107]更具体地，如图7的上侧所示，假设在时间t(帧t)时的外图像APll中获得每个 局部区域的运动向量作为图像处理设备11的运动信息。外图像APll中的每个矩形表示局 部区域，并且每个局部区域中的箭头表示该局部区域的运动向量。
[0108] 现在，如图的下侧所示，假设针对外图像APll的每个局部区域获得特征点。在图 的下侧，一个圆圈（更具体地，没有斜纹的圆圈）表示时间t时的一个特征点，并且具有斜 纹的圆圈表示时间t+1时的特征点。
[0109] 在该情况下，相机模糊校正单元84获得运动向量C作为运动信息，即每个局部区 域的运动向量，并且基于时间t时的每个特征点的位置来获得时间t+1时的特征点的位置。 然后，相机模糊校正单元84获得满足下面的式（2)和式（3)的变形参数a至1作为仿射参 数。这里，假设在外图像APll上有P个特征点。
[0114]在式⑵中，具有元素s、t和u的向量指示时间t时的外图像APll的特征点的坐 标。即，具有元素s、t和u的向量指示在图7中用没有斜纹的圆圈表示的特征点的坐标。
[0115] 在式（3)中，具有元素X、Y和Z的向量指示根据运动信息获得的在时间t+1时的 外图像APll的特征点的坐标。即，具有元素X、Y和Z的向量指示在图7中用具有斜纹的圆 圈表示的特征点的坐标。
[0116] 式（3)指示图7中的时间t+1时的特征点与时间t时的特征点重叠的图像变形， 即仿射变换的变形表示。相应地，在式（2)和式（3)中具有元素x、y和z的向量指示在使 用仿射参数对时间t+1时的外图像APll的特征点的坐标进行图像变形的情况下的变形后 的特征点的坐标。
[0117] 当计算出变形参数a至1时，如式（2)所示，获得相互匹配的P个特征点的变形参 数a至1，使得变形之后的t+1时的特征点的位置与时间t时的特征点的位置之间的差异 (即，变换误差）最小。
[0118]当以此方式获得仿射参数时，相机模糊校正单元84通过使用所获得的仿射参数 进行在前面的式（3)中所指示的图像变形、以及使从外图像捕获单元23提供的时间t+1时 的实际的外图像变形来进行运动校正。即，从外图像中除去相机抖动分量，进行相机模糊校 正，并且将作为结果获得的外图像提供给记录单元54。在通过式（3)中所指示的图像变形 (图像变换）进行的相机模糊校正中，可以处理平移、扩张和收缩、旋转以及失真的运动。
[0119] 返回参考图4的流程图以进行描述，当在步骤S16中对外图像进行相机模糊校正 时，处理进行到步骤S17。
[0120] 在步骤S17中，记录单元54在控制单元52的控制下记录从相机模糊校正单元84 提供的外图像，然后拍摄处理结束。
[0121] 如上所述，图像处理设备11基于通过使用外图像和内图像获得图像处理设备11 的运动信息所获取的运动信息，对外图像进行相机模糊校正。
[0122] 从而，可以使用外图像和内图像这两者以较高的精确度来估计图像处理设备11 的运动。从而，即使当图像处理设备11在拍摄外图像时更复杂地移动，也可以以较高的精 确度除去在图像处理设备11的运动中出现的抖动分量。即，可以获得具有高质量和较高锐 度的外图像。
[0123] 换言之，在图像处理设备11中，通过使用关于通过在两个不同方向上的拍摄而获 得的图像的信息对图像进行拍摄控制，相比于拍摄一个图像的情况，可以使用更多信息来 进行拍摄控制。因此，可以获得具有更高质量的外图像。
[0124] 以上已经描述了对外图像进行相机模糊校正的示例。然而，可以通过相同的处理 对内图像进行相机模糊校正，并且可以记录作为结果获得的内图像。
[0125](第一实施例的修改示例1)
[0126](图像处理设备的配置示例2)
[0127] 如上所述，通过合成从外图像获得的运动向量A和从内图像获得的运动向量B，获 得了运动向量C。然而，除了所述运动向量之外，还可以合成通过传感器获得的运动向量。
[0128] 在该情况下，图像处理设备11具有例如在图8中所示的配置。在图8中，对与在 图2中所示的构成元件相对应的构成元件给出相同的标号，并且将适当地省略其描述。
[0129] 在图8中所示的图像处理设备11被配置为使得在图2中的图像处理设备11中还 安装运动检测单元111。
[0130] 运动检测单元111包括例如加速度传感器或陀螺仪传感器，检测图像处理设备11 的运动，并且向信号处理单元53的合成单元83提供作为运动信息的指示检测结果的运动 向量D。
[0131] 这里，图8中的图像处理设备11的信号处理单元53具有在图3中所示的信号处 理单元53的配置。信号处理单元53的合成单元83合成从运动估计单元81提供的运动信 息、从运动估计单元82提供的运动信息以及从运动检测单元111提供的运动信息，并且向 相机模糊校正单元84提供合成的运动信息。
[0132][拍摄处理的描述2]
[0133] 接下来，将参照图9的流程图来描述当图像处理设备11具有在图8中所示的配置 时进行的拍摄处理。因为步骤S41和步骤S42的处理与图4的步骤Sll和步骤S12的处理 相同，所以将省略其描述。
[0134] 在步骤S43中，运动检测单元111检测图像处理设备11的运动，并且向合成单元 83提供作为运动信息的指示检测结果的运动向量D。
[0135] 在计算运动向量D时，步骤S44和步骤S45的处理被顺序地执行以对外图像和内 图像进行运动估计。因为这些处理与图4的步骤S13和步骤S14的处理相同，所以将省略 其描述。
[0136] 在步骤S46中，合成单元83合成从运动估计单元81提供的运动信息、从运动估计 单元82提供的运动信息以及从运动检测单元111提供的运动信息，并且向相机模糊校正单 元84提供合成的运动信息。具体地，例如合成单元83通过计算下面的式（4)来计算运动 向量C。
[0137][数学式4]
[0138] C = al ? A+bl ? B+cl ? D... (4)
[0139] 在式⑷中，cl指示用作运动向量D的权重的系数，并且确定系数al、bl和cl使 得满足"al+bl+cl = 1. 0"。因此，在式（4)中，对作为运动信息的运动向量A、运动向量B和 运动向量D进行加权加法，使得获得作为图像处理设备11的最终运动信息的运动向量C。
[0140] 因此，在获得图像处理设备11的运动信息时，顺序地进行步骤S47和步骤S48的 处理，并且拍摄处理结束。因为这些处理与图4的步骤S16和步骤S17的处理相同，所以将 省略其描述。
[0141] 从而，图像处理设备11合成从外图像和内图像获得的运动信息以及通过运动检 测单元111获得的运动信息，并且基于作为结果获得的运动信息对外图像进行相机模糊校 正。
[0142] 因此，通过不仅使用从外图像和内图像获得的运动信息，而且使用通过运动检测 单元111获得的运动信息，可以以更高的精确度估计图像处理设备11的运动。从而，因为 可以以更高的精确度通过相机模糊校正除去抖动分量，所以可以获得具有更高的质量的外 图像。
[0143] [第二实施例]
[0144](信号处理单元的配置示例2)
[0145] 上面已经描述了进行外图像的相机模糊校正作为拍摄控制的示例。然而，可以进 行外图像的视场角的调整作为拍摄控制。
[0146] 在该情况下，例如，如图10所示，根据作为拍摄者的用户的视线方向来进行外图 像的视场角的调整。
[0147] 具体地，如箭头A31所示，通常，当用户Ull通过使图像处理设备11的