[0049]在拍摄多个图像P时，传感器移位控制部7控制传感器移位机构6而使摄像元件5移位，并且将摄像元件5的移位方向和移位量的信息(以下简称作传感器移位控制信息。)输出到装置主体部3。
[0050]装置主体部3具有:保存由摄像元件5取得的多个图像P的帧存储器8 ;检测多个图像P间的位置偏差量的位置偏差检测部9 ;对多个图像P进行合成的高分辨率合成部10 ;对由该高分辨率合成部10生成的高分辨率合成图像V进行重采样而生成变换图像U的图像变换部11;按照每个区域计算作为多个图像P的基准的基准图像S与变换图像U之间的相关度的相关度计算部12 ;以及根据计算出的相关度对高分辨率合成图像V进行校正的图像校正部13。
[0051]位置偏差检测部9在被输入来自传感器移位控制部7的传感器移位控制信息时，检测基准图像S、与多个图像P中的基准图像S以外的图像(以下简称作参考图像T。)之间的位置偏差量，并将检测出的位置偏差量输出到高分辨率合成部10。
[0052]高分辨率合成部10根据从位置偏差检测部9输入的位置偏差量，对帧存储器8所保存的多个图像P进行位置对准，并且按照每个颜色通道(例如R、Gr, Gb, B),在分辨率比图像P高的高分辨率空间上配置多个图像P。
[0053]具体而言，首先将基准图像S的像素配置到高分辨率空间上，接着，将其配置到使该参考图像T移动了由位置偏差检测部9取得的基准图像S与一个参考图像T之间的位置偏差量后的位置。
[0054]在配置像素时，如果与要配置的像素的颜色为相同颜色的像素已经被配置在基准图像S的像素和其他参考图像T的像素中，则可以不重新进行像素配置，可以与已经配置的相同颜色的像素进行相加平均来更新像素值。
[0055]并且，高分辨率合成部10在配置了所有图像的像素后，进行如下处理:根据在高分辨率空间上配置的像素的信息，对存在于各像素间的、尚未被配置的像素的信息进行插值和填充。
[0056]作为插值的方法，例如使用配置于周围的像素实施考虑了边缘方向的方向判别插值，或者复制存在于最近处的像素来进行插值即可。
[0057]如图3所示，图像变换部11对从高分辨率合成部10输出的每个颜色通道的高分辨率合成图像V进行重采样。重采样是如下处理:例如针对填充了像素的信息的插值后的高分辨率合成图像V，对基准图像S的位置周边的区域A部进行采样，间隔剔除像素来缩小图像。
[0058]此外，图像变换部11在通过重采样进行间隔剔除前，使用高分辨率合成图像V的重采样位置的周边像素，施加较弱的低通滤波(以下简称作低通滤波处理。)。将低通滤波的强度设为能够调整，使得图像的张数和插值前的每个区域的像素填充程度(覆盖率)越低，越较强程度地调整低通强度。
[0059]此外，在重采样时，如果直接对基准图像S的位置进行采样和间隔剔除，则通过重采样而生成的图像成为与基准图像S的像素信息完全相同的像素信息，无法由相关度计算部12计算出相关度，因此需要进行低通滤波处理，使得混有与基准图像S分开拍摄的参考图像T的像素。
[0060]如图3所示，图像变换部11能够通过对高分辨率合成图像V进行低通滤波处理后将其缩小，生成被变换为低分辨率后的变换图像U。
[0061]相关度计算部12在从图像变换部11输出的变换图像U、与从帧存储器8输出的基准图像S之间，以匹配的格式，按照每个区域，通过差分绝对值之和、或者差分平方和等计算相关度。
[0062]此外，相关度计算部12将在基准图像S与被重采样的变换图像U之间计算出的相关度的信息扩展为高分辨率合成图像V的图像尺寸，并输出到图像校正部13。此时，由相关度计算部12进行的相关度的信息的比例变换通过最近邻那样的放大复制、或双三次放大那样的插值放大来进行即可。
[0063]如图4所示，图像校正部13具有:对基准图像S进行颜色插值的颜色插值处理部14 ;将通过该颜色插值处理部14进行颜色插值后的基准图像S放大而生成基准放大图像W的放大处理部15 ;根据相关度计算合成比率的合成比率计算部16 ;以及根据计算出的合成比率，对基准放大图像W和高分辨率合成图像V进行合成的合成处理部17。
[0064]颜色插值处理部14对从帧存储器8输出的拜尔排列的基准图像S进行颜色插值而使其3板化(或4板化)。
[0065]放大处理部15将从颜色插值处理部14输出的3板化的基准图像S放大为与高分辨率合成图像V相同的尺寸，生成基准放大图像W。
[0066]合成比率计算部16根据从相关度计算部12输出的相关度的信息，计算合成比率。如图5所示，对于该合成比率，在相关性低(相关度小)的情况下，计算出的基准放大图像W的合成比率较大，在相关性高(相关度大)的情况下，计算出的基准放大图像W的合成比率较小。此外，图5中，纵轴表示合成比率的大小，横轴表示相关性的高低。
[0067]合成处理部17根据从合成比率计算部16输出的合成比率，对从放大处理部15输入的基准放大图像W、和从高分辨率合成部10输入的高分辨率合成图像V进行合成，生成校正图像X。
[0068]所生成的校正图像X被输入到帧存储器8进行保存。
[0069]以下参照图2，对使用了这样构成的本实施方式的图像处理装置I的图像处理方法进行说明。
[0070]根据本实施方式的图像处理装置1，首先将经由摄像镜头4收集的光成像在摄像元件5的摄像面上，在通过传感器移位机构6使摄像元件5移位的同时，按照时间序列取得多个图像P并保存到帧存储器8中。
[0071]在将多个图像P保存到帧存储器8后，通过位置偏差检测部9检测基准图像S与参考图像T之间的位置偏差量(进行检测的步骤)。然后，高分辨率合成部10根据检测出的位置偏差量，在高分辨率空间上将基准图像S和参考图像T进行位置对准并合成，生成高分辨率合成图像V (生成高分辨率合成图像的步骤)。
[0072]在图2中，由高分辨率合成部10生成的高分辨率合成图像V的画面右端具有细小的黑白花纹的被摄体Q，但在由摄像元件5取得的多个图像P中，对于作为基准图像S的第I张和作为参考图像T的第3张，在高分辨率合成图像V的黑白花纹的被摄体Q的位置处采样出黑的区域。此外，对于作为参考图像T的第2张和第4张，在相同位置处采样出白的区域。该黑白花纹的被摄体Q是细小花纹的被摄体，因此在低分辨率的图像P中产生混叠(以下简称作重叠。)，黑白花纹的被摄体Q的成像变得不准确，从而变黑或变白。
[0073]但是，通过根据由位置偏差检测部9检测出的位置偏差量，由低分辨率的图像S、T生成高分辨率合成图像V，将存在静止的被摄体的区域(静止区域)高分辨率化，因此能够在具有重叠的图像P的画面右端的黑或白的区域中再现黑白花纹的被摄体Q。
[0074]图6中示出了仅Gr通道的高分辨率合成图像V，在拜尔排列的情况下，除了 Gr通道以外还存在Gb、R、B通道，如以下说明那样是同样的概念。
[0075]图6中示出的Gr后面的编号表示设为I块0.5个像素来拍摄多个图像P的摄影顺序。
[0076]在该例的情况下，图6以第I张像素Grl的位置为基准，
[0077]基于该基准，
[0078]第2张的像素Gr2表示在水平方向上错开I个像素、垂直方向上错开O个像素来拍摄图像P，并基于与基准的位置偏差量而在高分辨率空间上配置各像素而得的高分辨率合成图像V，
[0079]第3张的像素Gr3表示在水平方向上错开O个像素、垂直方向上错开I个像素来拍摄图像P，并基于与基准的位置偏差量而在高分辨率空间上配置各像素而得的高分辨率合成图像V，
[0080]第4张的像素Gr4表示在水平方向上错开I个像素、垂直方向上错开I个像素来拍摄图像P，并基于与基准的位置偏差量而在高分辨率空间上配置各像素而得的高分辨率合成图像V，
[0081]第5张的像素Gr5表示在水平方向上错开0.5个像素、垂直方向上错开0.5个像素来拍摄图像P，并基于与基准的位置偏差量而在高分辨率空间上配置各像素而得的高分辨率合成图像V，
[0082]第6张的像素Gr6表示在水平方向上错开1.5个像素、垂直方向上错开0.5个像素来拍摄图像P，并基于与基准的位置偏差量而在高分辨率空间上配置各像素而得的高分辨率合成图像V，
[0083]第7张的像素Gr7表示在水平方向上错开0.5个像素、垂直方向上错开1.5个像素来拍摄图像P，并基于与基准的位置偏差量而在高分辨率空间上配置各像素而得的高分辨率合成图像V，
[0084]第8张的像素GrS表示在水平方向上错开1.5个像素、垂直方向上错开1.5个像素来拍摄图像P，并基于与基准的位置偏差量而在高分辨率空间上配置各像素而得的高分辨率合成图像V。
[0085]此外，图6中的斜线部的像素表示根据周边所配置的像素、通过插值而填充的像素。
[0086]并且，在通过图像变换部11对高分辨率合成图像V进行重采样，间隔剔除而生成变换图像u(生成变换图像的步骤)后，相关度计算部12按照每个区域在变换图像U与基准图像S之间计算相关度(计算相关度的步骤)。由此，仅存在运动被摄体的区域(运动物体区域)的相关度降低，