图像处理装置、摄像装置、图像处理方法和图像处理程序的制作方法
【技术领域】
[0001] 本发明涉及图像处理装置、摄像装置、图像处理方法和图像处理程序。
【背景技术】
[0002] 作为数码相机，除使用了相位差检测方式、对比度检测方式的自动聚焦外还具备 能够由使用者手动进行调焦的所谓手动聚焦模式的数码相机广为公知。
[0003] 作为具有手动聚焦模式的数码相机，公知有采用了以能够一边对被摄体进行确认 一边进行调焦的方式设置反射镜并使用了对目视的相位差进行显示的分裂式微棱镜屏的 方法的数码相机。另外，也公知有采用了进行目视的对比度的确认的方法的数码相机。
[0004] 然而，近年来普及的省略了反射镜的数码相机中，由于没有反射镜，因此不存在一 边显示相位差一边确认被摄体像的方法，不得不依赖于对比度检测方式。可是，在该情况 下，无法实现IXD(liquidcrystaldisplay:液晶显示器）等显示装置的分辨率以上的对 比度的显示，不得不采用进行局部放大等而显示的方法。
[0005] 因此，近年来，为了使在手动聚焦模式时操作者使被摄体对焦的作业容易，而将裂 像显示在即时预览图像（也称作实时取景图像）内。所谓裂像，例如是指将显示区域分割 为多个而得到的分割图像（例如沿上下方向分割而得到的各图像），且是根据焦点的偏移 而在视差产生方向（例如左右方向）上存在偏移、且若为已对焦的状态则视差产生方向的 偏移消失的分割图像。操作者（例如摄影者）操作手动聚焦环而进行对焦，以使裂像（例 如在上下方向上分割而得到的各图像）的偏移消失。
[0006] 日本特开2004 - 40740号公报（以下，称作专利文献1)中记载的手动聚焦装置具 有：光圈移动单元，使被摄体光路上的开口光圈在与光轴垂直的面上移动；及存储单元，对 在开口光圈移动的两个测距位置分别进行摄像而得到的两个被摄体图像进行存储。另外， 具有输出对两个被摄体图像进行合成而得到的裂像并显示焦点状态是否合适的显示单元。
[0007] 日本特开2009 - 147665号公报（以下，称作专利文献2)记载的摄像装置中，生 成对第一被摄体像和第二被摄体像分别进行光电转换而得到的第一图像和第二图像，该第 一被摄体像和第二被摄体像由来自摄像光学系统的光束中的被光瞳分割部分割后的光束 形成。并且，使用这些第一图像和第二图像来生成裂像，且对第三被摄体像进行光电转换而 生成第三图像，该第三被摄体像由未被光瞳分割部分割的光束形成。并且，将第三图像显示 在显示部，且在第三图像内显示所生成的裂像，且将从第三图像提取出的颜色信息附加到 裂像。如此，通过将从第三图像提取出的颜色信息附加到裂像，能够使裂像的视觉确认性良 好。
[0008] 日本特开2009 - 163220号公报（以下，称作专利文献3)中记载的摄像装置具备 使显示单元显示重叠图像的处理单元，该重叠图像是使被光瞳分割单元分割而得到的第一 图像和第二图像重叠而得到的。
[0009] 日本特开2001 - 309210号公报（以下，称作专利文献4)中记载的数码相机具备 对焦点位置与被摄体位置之间的偏移量进行检测并根据偏移量来变更裂像的显示内容的 显示变更单元。
[0010] W006/030488(以下，称作专利文献5)记载的图像处理装置具备在聚焦控制部的 光学系统的对焦动作中根据由摄像元件得到的图像来形成将分辨率的变化量扩大而得到 的疑似图像的结构。
【发明内容】
[0011] 发明要解决的课题
[0012] 然而，专利文献1~5记载的技术均存在如下问题：存在以超过焦点的偏移量能够 视觉确认的分辨率的分辨率来显示图像的情况、以小于焦点的偏移量无法视觉确认的分辨 率的分辨率来显示图像的情况。
[0013] 本发明鉴于这种情形而提出，目的在于提供能够设为与对焦的程度对应的处理速 度和分辨率的图像处理装置、摄像装置、图像处理方法和图像处理程序。
[0014] 用于解决课题的手段
[0015] 为了达到上述目的，本发明的第一方式所涉及的图像处理装置包括：图像获取部， 获取从摄像元件输出的基于第一图像信号和第二图像信号的第一图像和第二图像，所述摄 像元件具有第一像素组和第二像素组，所述第一像素组和第二像素组使通过了摄影透镜中 的第一区域和第二区域的被摄体像进行光瞳分割并分别成像而输出第一图像信号和第二 图像信号；视差计算部，算出表示由图像获取部获取的第一图像的各像素与第二图像的对 应的像素之间的偏移量的视差；生成部，基于从摄像元件输出的图像信号来生成第一显示 用图像，且基于第一图像和第二图像来生成用于对焦确认的第二显示用图像；变更部，根据 由视差计算部算出的视差来变更由生成部生成的第一显示用图像和第二显示用图像中的 至少第二显示用图像的分辨率；显示部，对图像进行显示；及显示控制部，对显示部进行如 下控制：使显示部显示由生成部生成的第一显示用图像且在第一显示用图像的显示区域内 显示由生成部生成的第二显示用图像。由此，与不具有本结构的情况相比，能够实现与对焦 的程度对应的处理速度和分辨率。
[0016] 为了达成上述目的，本发明的第二方式所涉及的图像处理装置包括：图像获取部， 获取从摄像元件输出的基于第一图像信号和第二图像信号的第一图像和第二图像，所述摄 像元件具有第一像素组和第二像素组，所述第一像素组和第二像素组使通过了摄影透镜中 的第一区域和第二区域的被摄体像进行光瞳分割并分别成像而输出第一图像信号和第二 图像信号；视差计算部，算出表示由图像获取部获取的第一图像的各像素与第二图像的对 应的像素之间的偏移量的视差；生成部，基于从摄像元件输出的图像信号来生成第一显示 用图像，且基于第一图像和第二图像来生成用于对焦确认的第二显示用图像；变更部，根据 由视差计算部算出的视差来变更由生成部生成的第一显示用图像和第二显示用图像中的 至少第二显示用图像的分辨率；显示部，对图像进行显示；及显示控制部，进行如下控制： 抑制显示部显示由生成部生成的第一显示用图像且使显示部显示由生成部生成的第二显 示用图像。由此，与不具有本结构的情况相比，能够实现与对焦的程度对应的处理速度和分 辨率。
[0017] 本发明的第三方式也可以设为，在本发明的第一方式或第二方式的基础上，变更 部随着视差的减少而提高分辨率。由此，与不具有本结构的情况相比，能够随着对焦的程度 变小而实现处理的高速化，且能够随着对焦的程度变大而提高分辨率。
[0018] 本发明的第四方式也可以设为，在本发明的第一方式至第二方式中的任一个方式 的基础上，变更部通过变更摄像元件的驱动方法来变更摄像元件的输出像素数，从而变更 分辨率。由此，与不具有本结构的情况相比，能够以简单的控制变更分辨率。
[0019] 本发明的第五方式也可以设为，在本发明的第四方式的基础上，摄像元件所包含 的像素配置成行列状，摄像元件的输出像素能够以像素的行为单位进行变更，变更部通过 以行为单位变更输出像素来变更分辨率。由此，与不具有本结构的情况相比，能够以简单的 控制变更分辨率。
[0020] 本发明的第六方式也可以设为，在本发明的第五方式的基础上，摄像元件的输出 像素还能够以像素的列为单位进行变更，变更部还通过以列为单位变更输出像素来变更分 辨率。由此，与不具有本结构的情况相比，能够以简单的控制变更输出像素。
[0021] 本发明的第七方式也可以设为，在本发明的第四方式的基础上，摄像元件所包含 的像素配置成行列状，摄像元件的输出像素能够以像素的列为单位进行变更，变更部通过 以列为单位变更输出像素来变更分辨率。由此，与不具有本结构的情况相比，能够以简单的 控制变更输出像素。
[0022] 本发明的第八方式也可以设为，在本发明的第四方式至第七方式中的任一个方式 的基础上，变更部通过变更摄像元件所包含的输出像素中的第一像素组和第二像素组的输 出像素的密度来变更输出像素数。由此，与不具有本结构的情况相比，能够以简单的控制实 现与对焦的程度对应的处理速度和第二显示用图像的分辨率。
[0023] 本发明的第九方式也可以设为，在本发明的第八方式的基础上，在由视差计算部 算出的视差为阈值以下的情况下，变更部通过使密度高于由视差计算部算出的视差超过阈 值的情况下的密度来变更输出像素数。由此，与不具有本结构的情况相比，能够抑制在视差 为阈值以下的情况下第二显示用图像的分辨率不足的情形的发生。
[0024] 本发明的第十方式也可以设为，在本发明的第九方式的基础上，在由视差计算部 算出的视差为阈值以下的情况下，变更部通过使密度高于由视差计算部算出的视差超过阈 值的情况下的密度且根据视差的减少而提高该密度来变更输出像素数。由此，与不具有本 结构的情况相比，能够高精度地抑制在视差为阈值以下的情况下第二显示用图像的分辨率 不足的情形的发生。
[0025] 本发明的第十一方式也可以设为，在本发明的第八方式至第十方式中的任一个方 式的基础上，在由视差计算部算出的视差超过阈值的情况下，变更部通过使密度低于由视 差计算部算出的视差为阈值以下的情况下的密度来变更输出像素数。由此，与不具有本结 构的情况相比，能够抑制在视差超过阈值的情况下第二显示用图像的分辨率过剩的情形的 发生。
[0026] 本发明的第十二方式也可以设为，在本发明的第十一方式的基础上，在由视差计 算部算出的视差超过阈值的情况下，变更部通过使密度低于由视差计算部算出的视差为阈 值以下的情况下的密度且根据视差的增大而降低该密度来变更输出像素数。由此，与不具 有本结构的情况相比，能够高精度地抑制在视差超过阈值的情况下第二显示用图像的分辨 率过剩的情形的发生。
[0027] 本发明的第十三方式也可以设为，在本发明的第一方式至第十二方式中的任一个 方式的基础上，在分辨率由变更部提高得超过预定值的情况下，显示控制部进一步进行使 显示部的第二显示用图像的显示区域比通常时扩大的控制。由此，与不具有本结构的情况 相比，能够提高第二显示用图像的视觉确认性。
[0028] 本发明的第十四方式也可以设为，在本发明的第十三方式的基础上，在显示区域 被扩大了的状态下分辨率由变更部降低为预定值以下的情况下，显示控制部进一步进行使 显示区域的大小返回到通常时的大小的控制。由此，与不具有本结构的情况相比，能够对第 二显示用图像的视觉确认性的降低进行抑制。
[0029] 本发明的第十五方式也可以设为，在本发明的第一方式至第十四方式中的任一个 方式的基础上，变更部还根据由视差计算部算出的视差来变更作为显示部的显示对象的图 像的帧率。由此，与不具有本结构的情况相比，能够实现与对焦的程度对应的帧率。
[0030] 本发明的第十六方式也可以设为，在本发明的第一方式至第十五方式中的任一个 方式的基础上，变更部还根据由视差计算部算出的视差来变更视差计算部的计算频度。由 此，与不具有本结构的情况相比，能够设为与对焦的程度对应的计算频度。
[0031] 本发明的第十七方式也可以设为，在本发明的第一方式至第十六方式中的任一个 方式的基础上，变更部还根据由视差计算部算出的视差来变更摄像元件的驱动频率。由此， 与不具有本结构的情况相比，能够设为与对焦的程度对应的驱动频率。
[0032]