图像处理装置和图像处理方法
【技术领域】
[0001 ] 本发明涉及图像处理装置和图像处理方法。
【背景技术】
[0002]公知有如下的图像处理装置:其计算所拍摄的多个图像中的作为基准的I张基准图像、与多个图像中的基准图像以外的图像之间的相关量，随着该相关量减小，减小多个图像中的基准图像以外的图像的合成比率来合成图像(例如参照专利文献I)。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1:日本特开2011-199786号公报
【发明内容】
[0006]发明要解决的课题
[0007]在被摄体具有细花纹的情况下，在被摄体运动的区域(以下简称作运动物体区域。)中，正确判定为图像间的差分大，相关量减小，但在被摄体静止的区域(以下简称作静止区域。)中具有混叠，由此错误判定为图像间的差分大，相关量减小。S卩，在运动物体区域中，能够抑制由被摄体的运动和像素的位置偏差而造成的伪影(artifact)，但在具有混叠的静止区域中，尽管像素位置对准，也计算出不准确的相关量，从而无法实现高分辨率。
[0008]本发明是鉴于上述情况而完成的，其目的在于，提供一种能够提高静止区域的分辨率、并且抑制运动物体区域的伪影的图像处理装置和图像处理方法。
[0009]用于解决课题的手段
[0010]本发明的一个方式是一种图像处理装置，其具有:位置偏差检测部，其检测按照时间序列取得的多个图像间的位置偏差量；高分辨率合成部，其根据所述位置偏差量，在分辨率比所述多个图像高的高分辨率空间上，对该多个图像进行合成；图像变换部，其通过重采样，将由该高分辨率合成部生成的高分辨率合成图像缩小，生成变换图像；相关度计算部，其按照每个区域，计算作为所述多个图像的基准的基准图像与所述变换图像之间的相关度；以及图像校正部，其以由该相关度计算部计算出的所述相关度越高、所述基准图像的合成比率越小的方式，校正所述高分辨率合成图像。
[0011]根据本方式，通过根据按照时间序列而取得的多个图像间的位置偏差量在高分辨率空间上对多个图像进行合成，生成高分辨率合成图像。然后，将所生成的高分辨率合成图像变换为在图像变换部中通过重采样而被缩小后的变换图像，在相关度计算部中计算基准图像与变换图像之间的相关度。然后，以计算出的相关度越高、基准图像的合成比率越小的方式，在图像校正部中校正高分辨率合成图像。
[0012]计算通过对高分辨率合成图像进行重采样而得到的低分辨率的变换图像与基准图像之间的相关度，由此能够仅在运动的被摄体的部分中得到低的相关度分布，在相关度低的运动的被摄体的部分中增大基准图像的合成比率，在运动的被摄体的部分以外的部分中增大高分辨率合成图像的合成比率，从而不论有无混叠，都能够提高静止区域的分辨率，抑制运动物体区域中的多重图像等伪影。
[0013]在上述方式中，也可以具有图像取得部，所述图像取得部按照时间序列取得所述多个图像。
[0014]在上述方式中，也可以是，所述图像取得部具有:摄像元件，被摄体的像形成在该摄像元件上，该摄像元件取得图像；传感器移位机构，其在取得多个所述图像时，能够使形成在所述摄像元件上的像的位置相对于该摄像元件相对地错开；以及传感器移位控制部，其控制所述像的移位方向和移位量。
[0015]由此，传感器移位机构按照由传感器移位控制部所控制的移位方向和移位量，使像相对于摄像元件的位置相对地错开，由此能够取得被摄体的位置被错开后的多个图像。传感器移位机构可以使摄像元件移动，也可以使配置于摄像元件的前级的光学系统相对于摄像元件错开。
[0016]在上述方式中，也可以是，所述位置偏差检测部根据由所述传感器移位控制部所控制的移位方向和移位量，计算所述基准图像与所述多个图像中的所述基准图像以外的图像即参考图像之间的位置偏差量。
[0017]由此，能够更准确地计算基准图像与参考图像之间的位置偏差量。
[0018]在上述方式中，也可以是，所述位置偏差检测部按照每个区域，计算所述基准图像、与所述多个图像中的所述基准图像以外的图像即参考图像之间的位置偏差量。
[0019]在上述方式中，也可以是，所述高分辨率合成部根据所述位置偏差量，在所述高分辨率空间上配置所述多个图像的各像素。
[0020]由此，能够简单地生成高分辨率合成图像。
[0021]在上述方式中，也可以是，所述高分辨率合成部根据配置在所述高分辨率空间上的像素信息，对未被配置的像素进行插值。
[0022]由此，能够填充存在于I张高分辨率合成图像的各像素间的、未进行像素配置的像素的像素信息，能够进一步提高分辨率，所述I张高分辨率合成图像是通过像素配置对多个图像进行合成而得到的。
[0023]在上述方式中，也可以是，所述图像变换部对所述高分辨率合成图像进行低通滤波处理后将其缩小。
[0024]由此，能够防止直接通过重采样间隔剔除基准图像而变为与基准图像的像素信息相同的像素信息的情况，在相关度计算时能够准确地计算变换图像与基准图像之间的相关度。
[0025]在上述方式中，也可以是，在由所述高分辨率合成部在所述高分辨率空间上配置了所述多个图像的像素时，所述图像变换部根据每个区域的像素的填充程度，调整低通滤波的低通强度。
[0026]由此，像素的填充程度越低，越增强低通的强度，从而能够进一步提高分辨率。
[0027]在上述方式中，也可以是，所述图像变换部根据对所述图像校正部的校正结果进行控制的控制参数，调整低通滤波的低通强度。
[0028]由此，能够进行在重视分辨率的情况下增强低通强度、在重视伪影抑制的情况下减弱低通强度等调整。
[0029]在上述方式中，也可以是，所述相关度计算部将计算出的所述相关度的分布图像扩展为所述高分辨率合成图像的分辨率。
[0030]由此，能够使采用低分辨率图像计算出的相关度的分布图像的尺寸与高分辨率合成图像一致，从而使图像校正部中的校正变得容易。
[0031]在上述方式中，也可以是，所述图像校正部将所述基准图像放大为与所述高分辨率合成图像相同的尺寸来生成放大图像，并以根据所述相关度确定出的合成比率对所生成的放大图像和所述高分辨率合成图像进行合成。
[0032]由此，能够使用根据图像尺寸一致的变换图像与基准图像之间的相关度信息确定出的合成比率，容易地进行合成。
[0033]本发明的另一方式是一种图像处理方法，其包含以下步骤:检测按照时间序列取得的多个图像间的位置偏差量；根据所述位置偏差量，在分辨率比所述多个图像高的高分辨率空间上，对该多个图像进行合成，生成高分辨率合成图像；通过重采样，将所述高分辨率合成图像缩小，生成变换图像；按照每个区域，计算作为所述多个图像的基准的基准图像与所述变换图像之间的相关度；以及以所述相关度越高、所述基准图像的合成比率越小的方式，校正所述高分辨率合成图像。
[0034]发明的效果
[0035]根据本发明，起到以下效果:能够在静止区域中提高像素位置对准的区域的分辨率，并且能够在运动物体区域中抑制像素位置未对准的区域的伪影。
【附图说明】
[0036]图1是示出本发明一个实施方式的图像处理装置的结构框图。
[0037]图2是在图1的图像处理装置中被处理的图像的图。
[0038]图3是示出由图1的图像处理装置的图像变换部进行的高分辨率合成图像的Gr通道的重采样的图。
[0039]图4是示出图1的图像处理装置的图像校正部的结构框图。
[0040]图5是示出由图1的图像处理装置的合成比率计算部计算出的、图像校正时的基准放大图像与高分辨率合成图像之间的合成比率关系的曲线图。
[0041]图6是示出由图1的图像处理装置的高分辨率合成部生成的高分辨率合成图像的Gr通道的图。
[0042]图7是示出由图3的图像变换部进行的重采样的第I变形例的图。
[0043]图8是示出由图3的图像变换部进行的重采样的第2变形例的图。
【具体实施方式】
[0044]以下，参照附图对本发明一个实施方式的图像处理装置和图像处理方法进行说明。本实施方式的图像处理装置I例如是照相机，如图1所示，具有拍摄被摄体而取得多个图像P的图像取得部2、和对由该图像取得部2取得的多个图像P进行处理的装置主体部3。
[0045]图像取得部2具有:会聚光的光学系统4;拍摄由该光学系统4会聚后的光的摄像元件5 ;使该摄像元件5在与摄像面平行的方向上移位的传感器移位机构6 ;以及控制摄像元件5的移位方向和移位量的传感器移位控制部7。
[0046]光学系统4例如是摄像镜头，会聚来自被摄体的光，从而在摄像元件5的摄像面上形成被摄体的光学像。
[0047]摄像元件5例如具有图2所示那样的像素排列(所谓的拜尔排列)，其摄像面配置成与光学系统4的光轴大致垂直，拍摄形成在摄像面上的被摄体的光学像而取得图像。
[0048]传感器移位机构6能够使摄像元件5在与摄像面平行且相互垂直的两个方向上，以亚像素为单位二维地移位。