图像处理装置、摄像装置、图像处理方法以及图像处理程序的制作方法
【技术领域】
[0001]本发明涉及图像处理装置、摄像装置、图像处理方法以及图像处理程序。
【背景技术】
[0002]作为数码相机，广泛公知如下的数码相机:除了使用相位差检测方式、对比度检测方式的自动聚焦的模式之外，还具备使用者能够手动进行调焦的所谓的手动聚焦模式。
[0003]作为具有手动聚焦模式的数码相机，公知采用如下方法的数码相机，即，设置反光镜以便能够在确认被摄体的同时进行调焦，并使用显示基于目视的相位差的裂像微棱镜屏幕。另外，还公知采用进行基于目视的对比度的确认的方法的数码相机。
[0004]但是，在近年来普及的省略了反光镜的数码相机中，由于没有反光镜，所以没有在显示相位差的同时确认被摄体像的方法，不得不依赖于对比度检测方式。但是，在这种情况下，无法显示IXD(liquid crystal display:液晶显示器)等显示装置的分辨率以上的对比度，不得不采用进行局部放大等来显示的方法。
[0005]因此，近年来，为了使得在手动聚焦模式时用户(例如摄影者)对被摄体进行焦点对准的操作变得容易，在实时预览图像(也称为取景图像)内显示裂像。裂像是例如将显示区域分割成多个而得到的分割图像(例如在上下方向上分割而得到的各图像)，是指根据焦点的偏移而在视差产生方向(例如左右方向)上产生偏移、并且如果是对准了焦点的状态则视差产生方向的偏移消失的分割图像。用户操作手动聚焦环(以下称为“聚焦环”)而进行焦点对准，以使得裂像(例如在上下方向上分割而得到的各图像)的偏移消失。
[0006]在日本特开2009-147665号公报(以下，称为“专利文献I”)中记载的摄像装置生成对通过来自摄像光学系统的光束中被光瞳分割部分割了的光束而形成的第I被摄体像以及第2被摄体像分别进行光电转换而得到的第I图像以及第2图像。然后，使用这些第I以及第2图像来生成裂像，并且对通过没有被光瞳分割部分割的光束来形成的第3被摄体像进行光电转换而生成第3图像。然后，将第3图像显示于显示部，并且在第3图像内显示所生成的裂像，并且将从第3图像提取出的颜色信息附加到裂像。通过这样将从第3图像提取出的颜色信息附加到裂像，能够优化裂像的视觉辨认性。
[0007]此处，作为提高在手动聚焦模式时在LCD中显示的图像的画质的技术，公知例如专利文献2以及专利文献3所记载的技术。
[0008]在日本特开2012-4729号公报(以下称为“专利文献2”)中记载的摄像装置根据处于焦点检测用像素的周围的正常像素的像素值，计算表示焦点检测用像素周边的图像的平坦性的边缘量与表示焦点检测像素周边的图像的亮度的周边亮度。另外，根据这些值，通过平均值校正与增益校正中的某一方的校正方法来校正焦点检测用像素的像素值。然后，针对校正了焦点检测用像素的像素值的图像数据实施伽马校正处理。
[0009]在日本特开2007-124604号公报(以下称为“专利文献3”)中记载的图像处理装置通过面部检测部从图像数据中检测对象区域。然后，通过伽马校正部基于根据对象区域的检测而得到的对象区域的亮度值以及根据图像数据的整个区域或者一部分区域而得到的分布信息即亮度的频度分布，导出校正表格，使用所导出的校正表格来对图像数据进行颜色校正。
【发明内容】
[0010]发明所要解决的课题
[0011]但是，裂像是在与光瞳分割方向交叉的方向上交替地组合了光瞳分割而得到的第I图像中的图像区域(第I图像区域)与第2图像中的图像区域(第2图像区域)的图像。因此，根据被摄体的对比度，有时难以对包括第I图像区域与第2图像区域的边界在内的边界区域进行视觉辨认。
[0012]本发明是鉴于这样的情况而提出的，其目的在于，提供一种能够容易地在视觉上识别对焦确认用的图像所包含的边界区域的图像处理装置、摄像装置、图像处理方法以及图像处理程序。
[0013]用于解决课题的技术方案
[0014]为了实现上述目的，本发明的第I方式的图像处理装置包括:图像取得部，取得基于从具有第I像素群以及第2像素群的摄像元件输出的第I图像信号以及第2图像信号的第I图像以及第2图像，第I像素群对通过了摄影透镜中的第I区域的被摄体像进行光瞳分割并进行成像而输出第I图像信号，第2像素群对通过了摄影透镜中的第2区域的被摄体像进行光瞳分割并进行成像而输出第2图像信号；生成部，根据从摄像元件输出的图像信号来生成第I显示用图像，并且根据第I图像以及第2图像来生成用于对焦确认的第2显示用图像；校正部，依照根据第2显示用图像中的空间频率特性以及第2显示用图像中的像素值的柱状图的极值中的至少一方而确定的灰度校正信息，校正第2显示用图像的灰度；显示部，显示图像；以及显示控制部，对显示部进行控制，以使显示部显示由生成部生成的第I显示用图像，并且在第I显示用图像的显示区域内显示通过校正部校正了灰度的第2显示用图像。由此，与不具有本结构的情况相比，能够更容易地在视觉上识别对焦确认用的图像所包括的边界区域。
[0015]本发明的第2方式的图像处理装置包括:图像取得部，取得基于从具有第I像素群以及第2像素群的摄像元件输出的第I图像信号以及第2图像信号的第I图像以及第2图像，第I像素群对通过了摄影透镜中的第I区域的被摄体像进行光瞳分割并进行成像而输出第I图像信号，第2像素群对通过了摄影透镜中的第2区域的被摄体像进行光瞳分割并进行成像而输出第2图像信号；生成部，根据从摄像元件输出的图像信号来生成第I显示用图像，并且根据第I图像以及第2图像来生成用于对焦确认的第2显示用图像；校正部，依照根据第2显示用图像中的空间频率特性以及第2显示用图像中的像素值的柱状图的极值中的至少一方而确定的灰度校正信息，校正第2显示用图像的灰度；显示部，显示图像；以及显示控制部，对显示部进行控制，以使显示部显示通过校正部校正了灰度的第2显示用图像。由此，与不具有本结构的情况相比，能够更容易地在视觉上识别对焦确认用的图像所包括的边界区域。
[0016]本发明的第3方式是，在本发明的第I方式或者第2方式中，也可以是，空间频率特性是第2显示用图像中的空间频率强度最大的方向。由此，与不具有本结构的情况相比，能够提高边界区域的视觉辨认性。
[0017]本发明的第4方式是，在本发明的第3方式中，也可以是，灰度校正系数是根据空间频率强度最大的方向与基于第I图像以及第2图像的视差方向的一致度的降低而使低于预定值的亮度的图像区域的对比度增大的灰度校正系数。由此，与不具有本结构的情况相比，能够抑制伴随着空间频率强度最大的方向与视差方向的一致度的降低而使视觉辨认性变差。
[0018]本发明的第5方式是，在本发明的第I方式第4方式的某一方中，也可以是，第2显示用图像包括沿与光瞳分割方向交叉的方向组合了第I图像所包括的第I图像区域和第2图像所包括的第2图像区域而得到的图像，根据第2显示用图像所包括的第I边界区域中的空间频率特性以及第2显示用图像中的像素值的柱状图的极值中的至少一方，确定灰度校正信息，第I边界区域包括第I图像区域与第2图像区域的边界。由此，与不具有本结构的情况相比，能够确定更准确的灰度校正信息。
[0019]本发明的第6的方式是，在本发明的第5方式中，也可以是，校正部依照灰度校正信息，校正第I边界区域的灰度。由此，与不具有本结构的情况相比，能够抑制对不需要灰度校正的区域实施灰度校正的情况。
[0020]本发明的第7方式是，在本发明的第I方式第4方式的某一方中，也可以是，第2显示用图像包括沿与光瞳分割方向交叉的方向组合了第I图像所包括的第I图像区域和第2图像所包括的第2图像区域而得到的图像，校正部依照灰度校正信息，校正第2显示用图像所包括的第I边界区域的灰度，第I边界区域包括第I图像区域与第2图像区域的边界。由此，与不具有本结构的情况相比，能够抑制对不需要灰度校正的区域实施灰度校正。
[0021]本发明的第8方式是，在本发明的第I方式第7方式的某一方中，也可以是，根据柱状图而确定的灰度校正信息的内容是在柱状图具有多个极大值的情况下使与多个极大值中的特定的一对极大值对应的像素间的对比度大于校正前的对比度的内容。由此，与不具有本结构的情况相比，能够抑制对不需要灰度校正的区域实施灰度校正的情况。
[0022]本发明的第9方式是，在本发明的第8方式中，也可以是，还包括根据所提供的指示来确定对比度的确定部。由此，与不具有本结构的情况相比，能够提高可用性。
[0023]本发明的第10方式是，在本发明的第I方式第9方式的某一方中，也可以是，校正部在与第I显示用图像及第2显示用图像的边界相邻的第I显示用图像侧的第2边界区域中的具有预定值以上的彩度的像素的占有率低于阈值的情况下，依照灰度校正信息来校正第2显示用图像的灰度。由此，与不具有本结构的情况相比，能够避免实施不需要的灰度校正。
[0024]本发明的第11方式是，在本发明的第10方式中，也可以是，校正部使用根据占有率而确定的调整值来调整灰度校正信息，依照调整后的灰度校正信息来校正第2显示用图像的灰度。由此，与不具有本结构的情况相比，能够提高边界区域的视觉辨认性。
[0025]本发明的第12方式是，在本发明的第I方式第11方式中的任一方式中，也可以是，摄像元件还具有第3像素群，该第3像素群对透过了摄影透镜的被摄体像不进行光瞳分割地进行成像而输出第3图像信号，生成部根据从第3像素群输出的第3图像信号来生成第I显示用图像。由此，与不具有本结构的情况相比，能够以简单的结构来提高第I显示用图像的画质。
[0026]为了实现上述目的，本发明的第13方式的摄像装置包括:本发明的第I方式第12方式中的任一个方式的图像处理装置；摄像元件，具有第I像素群以及第2像素群；以及存储部，存储根据从摄像元件输出的图像信号而生成的图像。由此，与不具有本结构的情况相比，能够更容易地在视觉上识别对焦确认用的图像所包括的边界区域。
[0027]为了实现上述目的，本发明的第14的方式的图像处理方法包括以下步骤:取得基于从具有第I像素群以及第2像素群的摄像元件输出的第I图像信号以及第2图像信号的第I图像以及第2图像，第I像素群对通过了摄影透镜中的第I区域的被摄体像进行光瞳分割并进行成像而输出第I图像信号，第2像素群对通过了摄影透镜中的第2区域的被摄体像进行光瞳分割并进行成像而输出第2图像信号，根据从摄像元件输出的图像信号来生成第I显示用图像，根据第I图像以及第2图像来生成用于对焦确认的第2显示用图像，依照根据第2显示用图像中的空间频率特性以及第2显示用图像中的像素值的柱状图的极值中的至少一方而确定的灰度校正信息，校正第2显示用图像的灰度，对显示图像的显示部进行控制，以使显示部显示所生成的第I显示用图像，并且在第I显示用图像的显示区域内显示校正了灰度的第2显示用图像。由此，与不具有本结构的情况相比，能够更容易地在视觉上识别对焦确认用的图像所包括的边界区域。
[0028]为了实现上述目的，本发明的第15方式的图像处理方法包括以下步骤:取得基于从具有第I像素群以及第2像素群的摄像元件输出的第I图像信号以及第2图像信号的第I图像以及第2图像，第I像素群对通过了摄影透镜中的第I区域的被摄体像进行光瞳分割并进行成像而输出第I图像信号，第2像素群对通过了摄影透镜中的第2区域的被摄体像进行光瞳分割并进行成像而输出第2图像信号，根据从摄像元件输出的图像信号来生成第I显示用图像，根据第I图像以及第2图像来生成用于对焦确认的第2显示用图像，依照根据第2显示用图像中的空间频率特性以及第2显示用图像中的像素值的柱状图的极值中的至少一方而确定的灰度校正信息，校正第2显示用图像的灰度，对显示部进行控制以使显示部显示校正了灰度的第2显示用图像。由此，与不具有本结构的情况相比，能够更容易地在视觉上识别对焦确认用的图像所包括的边界区域。
[0029]为了实现上述目的，本发明的方式的图像处理程序用于使计算机作为本发明的第I方式至第12方式中的任一个方式的图像处理装置中的图像取得部、生成部、校正部以及显示控制部发挥功能。由此，与不具有本结构的情况相比，能够更容易地在视觉上识别对焦确认用的图像所包括的边界区域。
[0030]发明效果
[0031]根据本发明，可以获得能够容易地在视觉上识别对焦确认用的图像所包括的边界区域这样的效果。
【附图说明】
[0032]图1是示出作为第I以及第2实施方式的镜头可换式相机的摄像装置的外观的一个例子的立体图。
[0033]图2是示出图1所示的摄像装置的背面侧的背视图。
[0034]图3是示出图1所示的摄像装置的电气系统的结构的一个例子的框图。
[0035]图4是示出在图1所示的摄像装置所包括的摄像元件中设置的滤色器的配置的一个例子的概略配置图。
[0036]图5是示出图1所示的摄像装置所包括的摄像元件中的相位差像素(第I像素以及第2像素)的结构的一个例子的概略结构图。
[0037]图6是示出图1所示的摄像装置所包括的图像处理部的主要部件结构的一个例子的功能框图。
[0038]图7是示出图6所示的图像处理部所包括的生成部的主要部件结构的一个例子的功能框图。
[0039]图8是示出图1所示的摄像装置的主要部件结构的一个例子的功能框图。
[0040]图9是示出图1所示的摄像装置所包括的显示装置中的裂像的显示区域以及正常图像的显示区域的一个例子的示意图。
[0041]图10是示出通过图6所示的校正部使用的像素值转换函数组的一个例子的图表。
[0042]图11是示出通过图6所示的校正部使用的系数导出函数的一个例子的图表。
[0043]图12是示出图1所示的摄像装置所包括的显示装置中显示的正常图像以及裂像的第I例的图。
[0044]图13是示出通过图6所示的图像处理部来执行的第I实施方式的图像输出处理的流程的一个例子的流程图。
[0045]图14是示出对于图12所示的裂像中的解析对象区域进行傅立叶转换而得到的空间频率的强度分布的一个例子的强度分布图。
[0046]图15是示出图1所示的摄像装置所包括的显示装置中显示的正常图像以及裂像的第2例的图。
[0047]图16是示出对于图15所示的裂像中的解析对象区域进行傅立叶转换而得到的空间频率的强度分布的一个例子的强度分布图。
[0048]图17是示出图12所示的裂像中的解析对象区域所包括的像素值的柱状图的一个例子的图表。
[0049]图18是示出在图1所示的摄像装置所包括的显示装置中显示实时预览图像以及对比度调整操作部(软键)的状态的一个例子的图。
[0050]图19是用于说明图10所示的像素值转换函数组所包括的一个像素值转换函数的基于对比度调整操作部的调整方法的图表。
[0051]图20是示出像素值转换函数被调整之前与被调整之后的形态例的图表。
[0052]图21是示出通过图6所示的图像处理部来执行的第2实施方式的图像输出处理的流程的一个例子的流程图。
[0053]图22是示出第3实施方式的智能手机的外观的一个例子的立体图。
[0054]图23是示出第3实施方式的智能手机的电气系统的主要部件结构的一个例子的框图。
[0055]图24是示出作为第I?第3实施方式的裂像的变形例且分成奇数行与偶数行地交替排列第I图像以及第2图像而形成的裂像的一个例