图像处理装置、摄像装置、图像处理方法及图像处理程序的制作方法

图像处理装置、摄像装置、图像处理方法及图像处理程序的制作方法
【专利摘要】本发明提供一种能够立即切换表示对焦状态的彩色图像显示与表示非对焦状态的无彩色图像显示的图像处理装置、摄像装置、图像处理方法及图像处理程序。控制部(28C)在对第1图像信号的输出值与第2图像信号的输出值进行了比较的比较结果小于阈值时，进行用于对焦确认的彩色裂像显示于显示器的控制，所述彩色裂像通过对与普通图像的位置对应的位置的无彩色裂像赋予普通图像中包含的彩色而获得。并且，控制部(28C)在比较结果为阈值以上时，进行将根据显示用左眼图像及显示用右眼图像获得的无彩色裂像显示于显示器的控制。
【专利说明】
图像处理装置、摄像装置、图像处理方法及图像处理程序
技术领域
[0001]本发明涉及一种图像处理装置、摄像装置、图像处理方法及图像处理程序。
【背景技术】
[0002]众所周知，作为数码相机，除了利用相位差检测方式和对比度检测方式的自动对焦之外，还具备使用者能够通过手动进行调焦的所谓手动对焦模式的相机。
[0003]作为具有手动对焦模式的数码相机，已知有采用如下方法的相机，S卩，设置反光镜，以便能够在确认被摄体的同时进行调焦，并利用显示肉眼观察的相位差的裂像微棱镜屏(split micro prism screen)。并且，还已知有采用进行肉眼观察的对比度确认的方法的相机。
[0004]但是，近年来普及的省略了反光镜的数码相机中，由于没有反光镜，没有显示相位差的同时确认被摄体像的方法，不得不依赖对比度检测方式。但是，此时，无法显示LCD(liquid crystal display:液晶显示器)等显示装置的分辨率以上的对比度，不得不采用进行局部放大来显示的方法。
[0005]因此，近年来，为了使手动对焦模式时由用户(例如，摄影者)对被摄体进行对焦的操作容易，将裂像显示于实时取景图像(还称为即时预览图像)内。裂像例如为显示区域分割为多个的分割图像(例如，分割为上下方向的各图像)，是指根据焦点的偏离向视差产生方向(例如，左右方向)偏离，并且对焦状态时视差产生方向的偏离消失的分割图像。用户操作手动对焦环(以下，称为“对焦环”)来对焦，以使裂像(例如，分割为上下方向的各图像)的偏离消失。
[0006]在此，对裂像的原理进行说明。生成通过摄影镜头中的一对区域的被摄体像被光瞳分割而分别成像而获得的所谓的右眼图像及左眼图像。并且，利用右眼图像及左眼图像生成裂像，且生成透射摄影镜头的被摄体像未被光瞳分割而成像而获得的普通图像。并且，在显示部显示普通图像且在普通图像内显示裂像。
[0007]但是，已知有多种能够用于使用户识别是否为对焦状态的技术。例如，专利文献I中记载的摄像装置显示裂像，并在相位差满足规定条件时对裂像赋予普通图像的颜色信息。由此，容易辨识表示对焦状态的显示图像与表示非对焦状态的显示图像。
[0008]现有技术文献
[0009]专利文献
[0010]专利文献1:日本特开2009-147665号公报

【发明内容】

[0011]发明所要解决的问题
[0012]然而，计算相位差的处理比较复杂，很难立即进行对裂像赋予颜色信息的处理及从裂像去除颜色信息的处理。
[0013]本发明是鉴于这种实际情况而提出的，其目的在于提供一种能够立即切换表示对焦状态的彩色图像显示与表示非对焦状态的无彩色图像显示的图像处理装置、摄像装置、图像处理方法及图像处理程序。
[0014]用于解决问题的手段
[0015]为了实现上述目的，本发明的第I方式所涉及的图像处理装置包含:生成部，生成基于从成像元件输出的第I图像信号的无彩色的第I图像、基于从成像元件输出的第2图像信号的无彩色的第2图像及基于从成像元件输出的第3图像信号的彩色的第3图像，所述成像元件具有通过摄影镜头中的第I及第2区域的被摄体像被光瞳分割而分别成像从而输出第I图像信号的第I像素组及输出第2图像信号的第2像素组，且具有透射摄影镜头的被摄体像未被光瞳分割而成像从而输出第3图像信号的第3像素组；显示部，显示图像;及控制部，在对第I图像信号的输出值与第2图像信号的输出值进行了比较的比较结果小于阈值时，进行将用于对焦确认的彩色图像显示于显示部的控制，所述彩色图像通过在第3图像与第I及第2图像对应的位置对第I及第2图像赋予第3图像中包含的彩色而获得，并在比较结果为阈值以上时，进行将根据第I及第2图像获得且用于对焦确认的无彩色图像显示于显示部的控制。由此，与计算用于判定是否为对焦状态的相位差时相比，图像处理装置能够立即切换表示对焦状态的彩色图像显示与表示非对焦状态的无彩色图像显示。
[0016]本发明的第2方式所涉及的图像处理装置中，在本发明的第I方式中，控制部进行在显示部显示第3图像且在第3图像的显示区域内选择性地显示彩色图像及无彩色图像的控制。由此，与未在第3图像的显示区域内选择性地显示彩色图像及无彩色图像时相比，图像处理装置能够视觉性地轻松辨认是否为对焦状态。
[0017]本发明的第3方式所涉及的图像处理装置中，在本发明的第I方式或第2方式中，比较结果为基于第I图像信号的输出值与第2图像信号的输出值之间的差分及比中的至少一个的值。由此，与未将基于第I图像信号的输出值与第2图像信号的输出值之间的差分及比中的至少一个的值用作比较结果时相比，图像处理装置能够减轻直至判定是否为对焦状态为止所需要的负荷。
[0018]本发明的第4方式所涉及的图像处理装置中，在本发明的第3方式中，比较结果为差分的绝对值。由此，与未将差分的绝对值用作比较结果时相比，图像处理装置能够高精度地判定是否为对焦状态。
[0019]本发明的第5方式所涉及的图像处理装置中，在本发明的第3方式中，比较结果为对差分的绝对值进行标准化而获得的值。由此，与未将对差分的绝对值进行标准化而获得的值用作比较结果时相比，图像处理装置能够高精度地判定是否为对焦状态。
[0020]本发明的第6方式所涉及的图像处理装置中，在本发明的第3方式中，比较结果是表示第I图像信号的输出值及第2图像信号的输出值中的一个相对于另一个的比例背离基准值的程度的背离度。由此，与未将表示第I图像信号的输出值及第2图像信号的输出值中的一个相对于另一个的比例背离基准值的程度的背离度用作比较结果时相比，图像处理装置能够高精度地判定是否为对焦状态。
[0021]本发明的第7方式所涉及的图像处理装置中，在本发明的第I方式至第6方式的任一方式中，阈值根据摄影条件确定。由此，与不根据摄影条件确定阈值时相比，图像处理装置能够实现显示彩色图像的频度与显示无彩色图像的频度之间的均衡。
[0022]本发明的第8方式所涉及的图像处理装置中，在本发明的第7方式中，摄影条件为光圈值，随着光圈值变小而减小阈值。由此，与不随着光圈值变小而减小阈值时相比，图像处理装置能够根据景深使显示彩色图像的频度与显示无彩色图像的频度均衡化。
[0023]本发明的第9方式所涉及的图像处理装置中，在本发明的第7方式中，摄影条件为焦距，随着焦距变长而减小阈值。由此，与不随着焦距变长而减小阈值时相比，图像处理装置能够根据景深使显示彩色图像的频度与显示无彩色图像的频度均衡化。
[0024]本发明的第10方式所涉及的图像处理装置中，在本发明的第7方式中，摄影条件为曝光时间，随着曝光时间变长而减小阈值。由此，与不随着曝光时间变长而减小阈值时相比，图像处理装置能够根据基于曝光时间的噪声量使显示彩色图像的频度与显示无彩色图像的频度均衡化。
[0025]本发明的第11方式所涉及的图像处理装置中，在本发明的第7方式中，摄影条件为成像元件的增益，随着增益变大而减小阈值。由此，与不随着增益变大而减小阈值时相比，图像处理装置能够根据基于增益的噪声量使显示彩色图像的频度与显示无彩色图像的频度均衡化。
[0026]本发明的第12方式所涉及的图像处理装置中，在本发明的第I方式至第11方式的任一方式中，比较结果为，对根据与基于经由第I区域入射的光及经由第2区域入射的光的减光特性相应的校正系数分别校正了减光特性的第I图像信号的输出值与第2图像信号的输出值进行比较的比较结果。由此，与不对第I图像信号的输出值及第2图像信号的输出值进行减光特性校正时相比，图像处理装置能够高精度地判定是否为对焦状态。
[0027]本发明的第13方式所涉及的图像处理装置中，在本发明的第I方式至第12方式的任一方式中，比较结果，对配置于与光瞳分割方向交叉的方向上的像素间的第I图像信号的输出值与第2图像信号的输出值进行比较的比较结果。由此，与不使用对配置于与光瞳分割方向交叉的方向上的像素间的第I图像信号的输出值与第2图像信号的输出值进行比较的比较结果时相比，图像处理装置能够高精度地判定是否为对焦状态。
[0028]本发明的第14方式所涉及的图像处理装置中，在本发明的第I方式至第13方式的任一方式中，比较结果为，在包含第I及第2像素组的像素组被分割而获得的多个分割像素组的各个分割像素组中对第I图像信号的输出值与第2图像信号的输出值进行比较的比较结果。由此，与不使用在分割像素组的每一个中对第I图像信号的输出值与第2图像信号的输出值进行比较的比较结果时相比，图像处理装置能够高精度地判定是否为对焦状态。
[0029]本发明的第15方式所涉及的图像处理装置中，在本发明的第I方式至第13方式的任一方式中，比较结果为，在包含第I及第2像素组的像素组被分割而获得的多个分割像素组的各个分割像素组中对第I图像信号的平均输出值与第2图像信号的平均输出值进行比较的比较结果。由此，与不使用在分割像素组的每一个中对第I图像信号的平均输出值与第2图像信号的平均输出值进行比较的比较结果时相比，图像处理装置能够高精度地判定是否为对焦状态。
[0030]本发明的第16方式所涉及的图像处理装置中，在本发明的第I方式至第15方式的任一方式中，控制部在比较结果小于阈值时进行通过从第3图像向第I及第2图像赋予彩度来对第I及第2图像赋予彩色的控制。由此，与比较结果小于阈值时不从第3图像对第I及第2图像赋予彩度时相比，图像处理装置能够以简单的结构生成彩色图像。
[0031]本发明的第17方式所涉及的图像处理装置中，在本发明的第I方式至第16方式的任一方式中，在比较结果小于阈值时对第I及第2图像赋予的彩色的强度随着比较结果背离阈值而变大。由此，与不使彩色的强度随着比较结果背离阈值而变大时相比，图像处理装置能够在彩色图像与无彩色图像之间的区域实现缓慢的颜色变化。
[0032]为了实现上述目的，本发明的第18方式所涉及的摄像装置包含:第I方式至第17方式的任一方式所述的图像处理装置;具有第I像素组、第2像素组及第3像素组的成像元件；及存储根据从成像元件输出的信号生成的图像的存储部。由此，与计算用于判定是否为对焦状态的相位差时相比，摄像装置能够立即切换表示对焦状态的彩色图像显示与表示非对焦状态的无彩色图像显示。
[0033]为了实现上述目的，本发明的第19方式所涉及的图像处理方法包含如下步骤:生成基于从成像元件输出的第I图像信号的无彩色的第I图像、基于从成像元件输出的第2图像信号的无彩色的第2图像及基于从成像元件输出的第3图像信号的彩色的第3图像，所述成像元件具有通过摄影镜头中的第I及第2区域的被摄体像被光瞳分割而分别成像从而输出第I图像信号的第I像素组及输出第2图像信号的第2像素组，且具有透射摄影镜头的被摄体像未被光瞳分割而成像从而输出第3图像信号的第3像素组，针对显示图像的显示部，在对第I图像信号的输出值与第2图像信号的输出值进行了比较的比较结果小于阈值时，进行显示用于对焦确认的彩色图像的控制，所述彩色图像通过在第3图像与第I及第2图像对应的位置对第I及第2图像赋予第3图像中包含的彩色而获得，并在比较结果为阈值以上时，进行显示根据第I及第2图像获得且用于对焦确认的无彩色图像的控制。由此，与计算用于判定是否为对焦状态的相位差时相比，图像处理方法能够立即切换表示对焦状态的彩色图像显示与表示非对焦状态的无彩色图像显示。
[0034]为了实现上述目的，本发明的第20方式所涉及的图像处理程序用于使计算机执行包含如下步骤的处理:生成基于从成像元件输出的第I图像信号的无彩色的第I图像、基于从成像元件输出的第2图像信号的无彩色的第2图像及基于从成像元件输出的第3图像信号的彩色的第3图像，所述成像元件具有通过摄影镜头中的第I及第2区域的被摄体像被光瞳分割而分别成像从而输出第I图像信号的第I像素组及输出第2图像信号的第2像素组，且具有透射摄影镜头的被摄体像未被光瞳分割而成像从而输出第3图像信号的第3像素组，针对显示图像的显示部，在对第I图像信号的输出值与第2图像信号的输出值进行了比较的比较结果小于阈值时，进行显示用于对焦确认的彩色图像的控制，所述彩色图像通过在第3图像与第I及第2图像对应的位置对第I及第2图像赋予第3图像中包含的彩色而获得，并在比较结果为阈值以上时，进行显示根据第I及第2图像获得且用于对焦确认的无彩色图像的控制。由此，与计算用于判定是否为对焦状态的相位差时相比，图像处理程序能够立即切换表示对焦状态的彩色图像显示与表示非对焦状态的无彩色图像显示。
[0035]发明效果
[0036]根据本发明，与计算用于判定是否为对焦状态的相位差时相比，可获得能够立即切换表示对焦状态的彩色图像显示与表示非对焦状态的无彩色图像显示的效果。
【附图说明】
[0037]图1是表示作为第I及第2实施方式所涉及的镜头可换式相机的摄像装置外观的一例的立体图。
[0038]图2是表示第I及第2实施方式所涉及的摄像装置背面侧的后视图。
[0039]图3是表示第I及第2实施方式所涉及的摄像装置的硬件结构的一例的框图。
[0040]图4是表示设置于第I实施方式所涉及的摄像装置中包含的成像元件的滤色器结构的一例的概要结构图。
[0041]图5是表示第I实施方式所涉及的摄像装置中包含的成像元件中的普通像素、第I像素及第2像素的配置例以及分别分配于普通像素、第I像素及第2像素的滤色器颜色的配置例的示意图。
[0042]图6是表示第I及第2实施方式所涉及的摄像装置中包含的成像元件中的第I像素及第2像素各自的结构的一例的示意图。
[0043]图7是表示第I及第2实施方式所涉及的摄像装置中包含的图像处理部的主要部分功能的一例的框图。
[0044]图8是用于说明通过第I及第2实施方式所涉及的摄像装置中包含的图像处理部生成的裂像的生成方法的示意图。
[0045]图9是表示包含显示于第I及第2实施方式所涉及的摄像装置中包含的第I显示器的裂像及普通图像的实时取景图像的一例的画面图。
[0046]图10是表示第I及第2实施方式所涉及的摄像装置中包含的混合式取景器的结构的一例的概要结构图。
[0047]图11是表示第I实施方式所涉及的图像生成处理流程的一例的流程图。
[0048]图12是用于说明基于左区域通过光及右区域通过光的减光特性的原理(分别入射到第I及第2像素的光束路径的一例)的说明图。
[0049]图13是表示光瞳分割方向的线性减光特性对左眼图像及右眼图像各自的与光瞳分割方向相当的方向的各像素的输出造成的影响的一例的曲线图。
[0050]图14是表示校正前后的显示用左眼图像及显示用右眼图像所受到的减光特性的影响的一例的示意图。
[0051]图15是表示普通图像的亮度信号及色差信号与赋予颜色信息之前的裂像的亮度信号及色差信号在存储器上的对应关系的一例的示意图。
[0052]图16是表示普通图像的亮度信号及色差信号与赋予颜色信息之后的裂像的亮度信号及色差信号在存储器上的对应关系的一例的示意图。
[0053]图17是表示差分绝对值和与普通图像的彩度相乘的增益之间的对应关系的一例的曲线图。
[0054]图18是表示被标准化的差分绝对值和与普通图像的彩度相乘的增益之间的对应关系的一例的曲线图。
[0055]图19是表示F值小于3.5时及F值为3.5以上时被标准化的差分绝对值和与普通图像的彩度相乘的增益之间的对应关系的一例的曲线图。
[0056]图20是表示F值小于3.5时及F值为3.5以上时被标准化的差分绝对值和与普通图像的彩度相乘的增益之间的对应关系的另一例的曲线图。
[0057]图21是表示焦距小于50毫米时及焦距为50毫米以上时被标准化的差分绝对值和与普通图像的彩度相乘的增益之间的对应关系的一例的曲线图。
[0058]图22是表示焦距小于50毫米时及焦距为50毫米以上时被标准化的差分绝对值和与普通图像的彩度相乘的增益之间的对应关系的另一例的曲线图。
[0059]图23是表示Tv值小于6.0时及Tv值为6.0以上时被标准化的差分绝对值和与普通图像的彩度相乘的增益之间的对应关系的一例的曲线图。
[0060]图24是表示Tv值小于6.0时及Tv值为6.0以上时被标准化的差分绝对值和与普通图像的彩度相乘的增益之间的对应关系的另一例的曲线图。
[0061]图25是表示输出值差分和与普通图像的彩度相乘的增益之间的对应关系的一例的曲线图。
[0062]图26是表示第2实施方式所涉及的图像生成处理流程的一例的流程图。
[0063]图27是表示第2实施方式所涉及的摄像装置中包含的成像元件中的普通像素、第I像素及第2像素的配置例以及分别分配于普通像素、第I像素及第2像素的滤色器颜色的配置例的示意图。
[0064]图28是表示第3实施方式所涉及的智能手机外观的一例的立体图。
[0065]图29是表示第3实施方式所涉及的智能手机的电力系统的主要部分结构的一例的框图。
[0066]图30是表示第I像素及第2像素的其他配置例的概要配置图。
[0067]图31是表示滤色器的其他结构例的概要结构图。
[0068]图32是第I?第3实施方式所涉及的裂像的变形例，是表示被相对于行方向倾斜的倾斜分割线分割的裂像的一例的示意图
[0069]图33A是第I?第3实施方式所涉及的裂像的变形例，是表示被格子状分割线分割的裂像的一例的示意图。
[0070]图33B是第I?第3实施方式所涉及的裂像的变形例，是表示形成为方格花纹的裂像的一例的示意图。
【具体实施方式】
[0071]以下，根据附图对本发明所涉及的摄像装置的实施方式的一例进行说明。
[0072][第I实施方式]
[0073]图1是表示第I实施方式所涉及的摄像装置100的外观的一例的立体图，图2是图1所示的摄像装置100的后视图。
[0074]摄像装置100为镜头可换式相机。摄像装置100包含摄像装置主体200及可更换地安装于摄像装置主体200的可换镜头300，是省略反光镜的数码相机。可换镜头300包含具有可通过手动操作沿光轴方向移动的聚焦透镜302的摄影镜头16(参考图3)。并且，摄像装置主体200上设置有混合式取景器(注册商标)220。在此所说的混合式取景器220是指，例如选择性地使用光学取景器(以下，称为“0VF")及电子取景器(以下，称为“EVF")的取景器。
[0075]可换镜头300可更换地安装于摄像装置主体200。并且，可换镜头300的镜筒上设置有手动对焦模式时使用的调焦环301。随着手动进行的调焦环301的旋转操作，聚焦透镜302沿光轴方向移动，被摄体光在与被摄体距离相应的对焦位置成像于后述的成像元件20(参考图3)。
[0076]在摄像装置主体200的前面设置有混合式取景器220中包含的OVF的取景窗241。并且，在摄像装置主体200的前面设置有取景器切换杆(取景器切换部)214。若使取景器切换杆214向箭头SW方向转动，则可在能够以OVF辨识的光学像与能够以EVF辨识的电子像(实时取景图像)之间进行切换(后述)。另外，OVF的光轴L2是不同于可换镜头300的光轴LI的光轴。并且，在摄像装置主体200的上面主要设置有释放按钮211及用于设定摄影模式或播放模式等的拨盘212。
[0077]作为摄影准备命令部及摄影命令部的释放按钮211构成为能够检测摄影准备命令状态及摄影命令状态这2个阶段的按压操作。摄影准备命令状态是指例如从待机位置按下至中间位置(半按位置)的状态，摄影命令状态是指按下至超过中间位置的最终按下位置(全按位置)的状态。另外，以下内容中，将“从待机位置按下至半按位置的状态”称为“半按状态”，将“从待机位置按下至全按位置的状态”称为“全按状态”。
[0078]本第I实施方式所涉及的摄像装置100中，作为动作模式，根据用户的命令选择性地设定摄影模式和播放模式。摄影模式中，根据用户的命令选择性地设定手动对焦模式和自动对焦模式。自动对焦模式中，通过将释放按钮211设为半按状态，进行摄影条件的调整，之后，若接着设为全按状态，则进行曝光(摄影)。即，通过将释放按钮211设为半按状态，AE(Automatic Exposure)功能发挥作用而设定曝光状态之后，AF(Auto-Focus)功能发挥作用而进行对焦控制，若将释放按钮211设为全按状态，则进行摄影。
[0079]在图2所示的摄像装置主体200的背面，设置有触摸屏显示器213、十字键222、菜单/确认(MENU/ΟΚ)键224、返回/显示(BACK/DISP)按钮225及OVF的取景器接目部242。
[0080]触摸屏显示器213具备液晶显示器(以下，称为“第I显示器”)215及触摸屏216。
[0081]第I显示器215显示图像及字符信息等。第I显示器215用于显示作为摄影模式时以连续帧拍摄而获得的连续帧图像的一例的实时取景图像(即时预览图像)。并且，第I显示器215还用于显示作为被赋予静态图像摄影命令时以单一帧拍摄而获得的单一帧图像的一例的静态图像。而且，第I显示器215还用于显示播放模式时的播放图像显示或菜单画面等的显不O
[0082]触摸屏216为透射型触摸屏，叠加于第I显示器215的显示区域的表面。触摸屏216检测基于命令体(例如，手指或触控笔)的接触。触摸屏216将表示检测结果(在触摸屏216上有无基于命令体的接触)的检测结果信息以规定周期(例如，100毫秒)输出至规定的输出对象(例如，后述的CPU12(参考图3))。当触摸屏216检测到基于命令体的接触时，检测结果信息包含能够确定触摸屏216上的基于命令体的接触位置的二维坐标(以下，称为“坐标”)，当触摸屏216未检测到基于命令体的接触时，检测结果信息不包含坐标。
[0083]十字键222作为输出I个或多个菜单的选择、变焦或逐帧播放等各种指令信号的多功能键发挥作用。菜单/确认键224为兼具如下功能的操作键:作为用于进行在第I显示器215的画面上显示I个或多个菜单的指令的菜单按钮的功能及作为发出选择内容的确定及执行等指令的确认(OK)按钮的功能。返回/显示按钮225用于删除选择项目等所希望的对象或取消指定内容或者返回前一个操作状态时等。
[0084]图3是表示第I实施方式所涉及的摄像装置100的硬件结构的一例的电力系统框图。
[0085]摄像装置100包含摄像装置主体200所具备的卡口(mount)256及与卡口 256对应的可换镜头300侧的卡口 346。可换镜头300通过使卡口 346与卡口 256结合来可更换地安装于摄像装置主体200。
[0086]可换镜头300包含滑动机构303及马达304。滑动机构303通过进行调焦环301的操作，使聚焦透镜302沿着光轴LI移动。滑动机构303上以能够沿着光轴LI滑动的方式安装有聚焦透镜302。并且，滑动机构303上连接有马达304，滑动机构303接收马达304的动力，使聚焦透镜302沿着光轴LI滑动。
[0087]马达304经由卡口256、346连接于摄像装置主体200，马达的驱动根据来自摄像装置主体200的命令来控制。另外，本第I实施方式中，作为马达304的一例，适用步进马达。因此，马达304根据来自摄像装置主体200的命令，与脉冲功率同步动作。并且，图3所示的例子中，示出了马达304设置于可换镜头300的例子，但并不限于此，马达304也可设置于摄像装置主体200。
[0088]摄像装置100为记录所拍摄的静态图像和动态图像的数码相机，整个相机的操作通过CPU(central processing unit:中央处理器)12控制。摄像装置100包含操作部14、接口部24、主存储部25、辅助存储部26、图像处理部28、扬声器35、显示控制部36、接目检测部37及外部接口(I/F)39。
[0089]CPU12、操作部14、接口部24、主存储部25、辅助存储部26、图像处理部28、扬声器35、显示控制部36、接目检测部37、外部I/F39及触摸屏216经由总线40相互连接。
[0090]主存储部25表示易失性存储器，例如指RAM(随机存取存储器(Random AccessMemory))。辅助存储部26表示非易失性存储器，例如指闪存或HDD(硬盘驱动器(Hard DiskDrive))。
[0091]另外，本第I实施方式所涉及的摄像装置100中，自动对焦模式时，CPU12以通过拍摄获得的图像的对比度值成为最大的方式驱动控制马达304，由此进行对焦控制。并且，自动对焦模式时，CPU12计算表示通过拍摄获得的图像的明度的物理量即AE信息。当释放按钮211设为半按状态时，CPUl 2导出与根据AE信息表示的图像的明度相应的快门速度及F值。并且，以成为所导出的快门速度及F值的方式控制相关各部，由此进行曝光状态的设定。
[0092]操作部14为对摄像装置100赋予各种命令时由用户操作的用户界面。操作部14包含释放按钮211、选择摄影模式等的拨盘212、取景器切换杆214、十字键222、菜单/确认键224及返回/显示按钮225。通过操作部14接收的各种命令作为操作信号而输出至CPU12，CPU12执行与从操作部14输入的操作信号相应的处理。
[0093]摄像装置主体200包含位置检测部23。位置检测部23连接于CPU12。位置检测部23经由卡口 256、346与调焦环301连接，检测调焦环301的旋转角度，并将表示作为检测结果的旋转角度的旋转角度信息输出至CPU12XPU12执行与从位置检测部23输入的旋转角度信息相应的处理。
[0094]若设定摄影模式，则表示被摄体的图像光经由包含能够通过手动操作移动的聚焦透镜302的摄影镜头16及快门18而成像于彩色成像元件(作为一例，为CMOS传感器)20的受光面。积蓄在成像元件20的信号电荷通过从设备控制部22施加的读出信号，作为与信号电荷(电压)相应的数字信号被依次读出。成像元件20具有所谓的电子快门功能，通过使电子快门功能发挥作用，根据读出信号的时刻控制各光传感器的电荷积蓄时间(快门速度)。另夕卜，本第I实施方式所涉及的成像元件20为CMOS型的图像传感器，但并不限于此，也可以是CXD图像传感器。
[0095]关于成像元件20，作为一例，具备图4所示的滤色器21。滤色器21包含最有助于获得亮度信号的与G (绿)对应的G滤波器G、与R(红)对应的R滤波器R及与B (蓝)对应的B滤波器。图5所示的例子中，作为成像元件20的像素数的一例，采用了 “4896X3265”像素，针对这些像素，分别在行方向(水平方向)及列方向(垂直方向)上以规定周期性配置G滤波器、R滤波器及B滤波器。因此，摄像装置100在进行R、G、B信号的同步(插值)处理等时，能够根据重复的图案进行处理。另外，同步处理是指根据与单板式彩色成像元件的滤色器排列对应的马赛克图像按每个像素计算所有颜色信息的处理。例如，当为由RGB三色的滤色器构成的成像元件时，同步处理表示根据由RGB构成的马赛克图像按每个像素计算所有RGB的颜色信息的处理。
[0096]作为一例，如图5所示，成像元件20包含后述的第I像素L、第2像素R及普通像素N。第I像素L、第2像素R及普通像素N上分别设置有微透镜19，透射微透镜19的光被第I像素L、第2像素R及普通像素N受光而进行光电转换。成像元件20的各像素上分配有滤色器21中包含的“R”、“G”及“B”中的任一滤波器。另外，图5所示的例子中，像素内的“R”指R滤波器，像素内的G”指G滤波器，像素内的“B”指B滤波器。
[0097]成像元件20包含第I像素行150、第2像素行152及第3像素行154。第I像素行150在同一行内包含第I像素L、第2像素R及普通像素N。第I像素L及第2像素R在行方向上隔着多个普通像素N(图5所示的例子中为2个普通像素N)而交替配置，以便对G滤波器分配第I像素L及第2像素R。第2像素行152与第I像素行150相比，不同点在于第I像素L与第2像素R的位置相反。第3像素行154是指行内的所有像素为普通像素N的行。第I像素行150及第2像素行152在列方向上隔着多行的第3像素行154(本第I实施方式中，作为一例，在列方向上行数以规定周期不同的第3像素行154)而交替配置。
[0098]如此，通过第I像素行150、第2像素行152、及第3像素行154根据规定规则配置，成像元件20中，分别在行方向及列方向上交替配置第I像素L与第2像素R。本第I实施方式中，在行方向上，第I像素L及第2像素R各自在每6像素配置有各I像素，在列方向上，第I像素L及第2像素R也各自在每6像素配置有各I像素。
[0099]关于第I像素L，作为一例，如图6所示，是受光面上行方向的左半部分(从受光面观察被摄体时的左侧(换言之，从被摄体观察受光面时的右侧))被遮光部件20A遮光的像素。关于第2像素R，作为一例，如图6所示，是受光面上行方向的右半部分(从受光面观察被摄体时的右侧(换言之，从被摄体观察受光面时的左侧))被遮光部件20B遮光的像素。另外，以下内容中，无需区别说明第I像素L及第2像素R时，称为“相位差像素”。
[0100]透射摄影镜头16的出射光瞳的光束大致分为左区域透射光及右区域透射光。左区域透射光是指透射摄影镜头16的出射光瞳的光束中左半部分的光束，右区域透射光是指透射摄影镜头16的出射光瞳的光束中右半部分的光束。透射摄影镜头16的出射光瞳的光束被作为光瞳分割部发挥作用的微透镜19及遮光部件20A、20B分割为左右，第I像素L接收左区域透射光，第2像素R接收右区域透射光。其结果，与左区域通过光对应的被摄体像及与右区域通过光对应的被摄体像作为不同视差的视差图像(相当于与左区域通过光对应的被摄体像的左侧视差图像及相当于与右区域通过光对应的被摄体像的右侧视差图像)而被获取。另外，以下内容中，无需区别说明遮光部件20A、20B时，不标注符号而称为“遮光部件”。
[0101]成像元件20分类为第I像素组、第2像素组及第3像素组。关于第I像素组，作为一例，如图5所示，是指配置成行列状的多个第I像素L。关于第2像素组，作为一例，如图5所示，是指配置成行列状的多个第2像素R。关于第3像素组，作为一例，是指图5所示的多个普通像素N。其中，普通像素N是指相位差像素以外的像素(例如，未设置有遮光部件20A、20B的像素)。另外，以下内容中，无需区别说明第I?第3像素组时，称为“像素组”。
[0102]另外，以下内容中，为了便于说明，将从各第I像素L以像素单位输出的像素信号称为“第I像素信号”。将从各第2像素R以像素单位输出的像素信号称为“第2像素信号”。并且，将从各普通像素N以像素单位输出的像素信号称为“第3像素信号”。并且，无需区别说明第I?第3像素信号时，称为“像素信号”。
[0103]并且，以下内容中，为了便于说明，将从第I像素组以像素组单位(I画面单位)输出且表示左侧视差图像(以下，称为“左眼图像”)的图像信号称为“第I图像信号”。并且，将从第2像素组以像素组单位输出且表示右侧视差图像(以下，称为“右眼图像”)的图像信号称为“第2图像信号”。并且，将从第3像素组输出且表示非视差图像(不具有视差的图像)的图像信号称为“第3图像信号”。并且，无需区别说明第I?第3图像信号时，称为“图像信号”。
[0104]通过成像元件20在相同摄影时刻获得的第I图像信号、第2图像信号及第3图像信号(I画面份的图像信号)在相同时刻通过图像处理部28获取。
[0105]图像处理部28对所获取的图像信号实施各种信号处理。图像处理部28通过将各种信号处理所涉及的多个功能的电路集成为I个的集成电路即ASIC(专用集成电路(Applicat1n Specific Integrated Circuit))来实现。但是，硬件结构并不限定于此，例如可以是可编程逻辑器件，也可以是包含CPU、R0M及RAM的计算机等其他硬件结构。
[0106]图像处理部28具有普通图像生成部28A(本发明所涉及的生成部的一例)、裂像生成部28B(本发明所涉及的生成部的一例)及控制部28C(本发明所涉及的控制部的一例)。普通图像生成部28A获取第3图像信号，生成基于所获取的第3图像信号的普通图像(本发明所涉及的第3图像的一例)。普通图像为彩色图像，例如为与普通像素N的排列相同的彩色排列的彩色图像。
[0107]关于普通图像，针对第3像素组中包含的所有普通像素N，所对应的颜色以外的颜色的第3像素信号被周围像素的第3像素信号插值，从而根据所有普通像素N的R、G、B的第3像素信号生成。即，通过对所有普通像素N的R、G、B的第3像素信号实施所谓YC转换处理，生成亮度信号Y及色差信号Cr、Cb，基于所生成的亮度信号Y及色差信号Cr、Cb生成与画面尺寸相应尺寸的普通图像。
[0108]裂像生成部28B获取第I及第2图像信号，根据所获取的第I图像信号及第2图像信号生成无彩色的裂像(本发明所涉及的无彩色图像的一例)作为用于对焦确认的图像。在此，例如裂像生成部28B通过对第I图像信号及第2图像信号实施信号处理来生成亮度信号Y，并根据所生成的亮度信号Y生成无彩色的裂像。
[0109]关于裂像，作为一例，如图8所示，是指使显示用左眼图像(本发明所涉及的第I图像的一例)与显示用右眼图像(本发明所涉及的第2图像的一例)在规定方向(例如与视差产生方向正交的方向)上相邻而配置的图像。显示用左眼图像是指在规定方向上对左眼图像进行4分割而获得的4个分割图像中的一部分分割图像(图8所示的例子中，从正面观察时的第I个及第3个分割图像)。显示用右眼图像是指从在规定方向上对右眼图像进行4分割而获得的4个分割图像中，针对和与显示用左眼图像对应的分割区域相邻的分割区域提取的分割图像(图8所示的例子中，从正面观察时饿第2个及第4个分割图像)。
[0110]控制部28C连接于普通图像生成部28A及裂像生成部28B，获取通过普通图像生成部28A生成的普通图像及通过裂像生成部28B生成的无彩色的裂像。控制部28C将从普通图像生成部28A获取的普通图像输出至显示控制部36(参考图3)。
[0111]控制部28C获取用于生成裂像的第I及第2图像信号。并且，在对所获取的第I图像信号的输出值与第2图像信号的输出值进行了比较的比较结果小于阈值时，生成彩色的裂像(本发明所涉及的彩色图像的一例)并输出至显示控制部36(参考图3)。彩色的裂像通过对与普通图像的位置对应的位置上的显示用右眼图像及显示用左眼图像赋予普通图像中包含的彩色来生成。
[0112]控制部28C在对所获取的第I图像信号的输出值与第2图像信号的输出值进行了比较的比较结果为阈值以上时，将从裂像生成部28B获取的无彩色的裂像输出至显示控制部36(参考图3)。另外，以下内容中，无需区别说明无彩色的裂像与彩色的裂像时，称为“裂像”。
[0113]回到图3，混合式取景器220具有显示电子像的液晶显示器(以下，称为“第2显示器，，)247。
[0114]显示控制部36连接于第I显示器215及第2显示器247。显示控制部36根据来自CPU12的命令选择性地控制第I显示器215及第2显示器247，由此在第I显示器215及第2显示器247(本发明所涉及的显示部的一例)选择性地显示图像。另外，以下内容中，无需区别说明第I显示器215及第2显示器247时，称为“显示装置”。
[0115]作为一例，如图9所示，裂像显示于显示装置的画面中央部的矩形框内，在裂像的外周区域显示普通图像。图9所示的例子中，示出显示用右眼图像与显示用左眼图像在规定方向上交替配置各2个的裂像。裂像中包含的显示用左眼图像及显示用右眼图像根据对焦状态向视差产生方向偏离。并且，图9所示的例子中，示出焦点与人物的周边区域(例如，树)对齐且焦点未与人物对齐的状态。
[0116]另外，本第I实施方式中，代替普通图像的一部分图像而嵌入裂像来对普通图像合成裂像，但并不限于此，例如，也可以是在普通图像上叠加裂像的合成方法。并且，也可以在叠加裂像时适当调整被裂像叠加的普通图像的一部分图像与裂像的透射率来进行叠加的合成方法。由此，表示连续拍摄的被摄体像的实时取景图像被显示于显示装置的画面上，所显示的实时取景图像为在普通图像的显示区域内显示有裂像的图像。
[0117]另外，本第I实施方式所涉及的摄像装置100构成为能够通过拨盘212(对焦模式切换部)切换手动对焦模式与自动对焦模式。若选择任一对焦模式，则显示控制部36将合成有裂像的实时取景图像显示于显示装置。并且，若通过拨盘212选择自动对焦模式，则CPU12作为相位差检测部及自动调焦部发挥作用。相位差检测部检测左眼图像与右眼图像之间的相位差。自动调焦部根据检测出的相位差以使聚焦透镜302的散焦量成为零的方式从设备控制部22经由卡口 256、346控制马达304，使聚焦透镜302向对焦位置移动。另外，上述“散焦量”例如是指左眼图像及右眼图像的相位偏移量。
[0118]回到图3，接目检测部37检测用户(例如摄影者)观察取景器接目部242的情况，并将检测结果输出至CPU12。因此，CPU12能够根据接目检测部37中的检测结果掌握取景器接目部242是否被使用。
[0119]外部I/F39与LAN(局域网(Local Area Network))或互联网等通信网连接，经由通信网进行外部装置(例如，打印机)与CPU12之间的各种信息的收发。因此，作为外部装置连接有打印机时，摄像装置100能够将所拍摄的静态图像输出至打印机来进行印刷。并且，作为外部装置连接有显示器时，摄像装置100能够将所拍摄的静态图像或即时预览图像输出至显示器来进行显示。
[0120]作为一例，如图10所示，混合式取景器220包含0VF240及EVF248AVF240为具有接物透镜244及接目透镜246的反伽利略取景器，EVF248具有第2显示器247、棱镜245及接目透镜 246。
[0121]并且，接物透镜244的前方配设有液晶快门243，液晶快门243在使用EVF248时以防止光学像入射到接物透镜244的方式进行遮光。
[0122]棱镜245反射显示于第2显示器247的电子像或各种信息并引导至接目透镜246，且合成光学像与显示于第2显示器247的信息(电子像、各种信息)。
[0123]在此，若沿图1所示的箭头SW方向转动取景器切换杆214，则每次转动时，交替切换能够通过0VF240辨识光学像的OVF模式与能够通过EVF248辨识电子像的EVF模式。
[0124]当为OVF模式时，显示控制部36以液晶快门243成为非遮光状态的方式进行控制，以便能够从接目部辨识到光学像。并且，第2显示器247中仅显示裂像。由此，能够显示在光学像的一部分叠加有裂像的取景器图像。
[0125]并且，当为EVF模式时，显示控制部36以液晶快门243成为遮光状态的方式进行控制，以便能够从接目部仅辨识到显示于第2显示器247的电子像。另外，第2显示器247上输入有与合成了输出至第I显示器215的裂像的图像数据等同的图像数据。由此，第2显示器247能够与第I显示器215同样地显示在普通图像的一部分合成有裂像的电子像。
[0126]接着，作为本第I实施方式的作用，参考图11对在CPU12的控制下通过图像处理部28进行的图像生成处理进行说明。另外，图11所示的图像生成处理在从设定手动对焦模式之后I画面份的第I?第3图像信号被存储于主存储部25时通过图像处理部28来进行。
[0127]图11所示的图像生成处理中，首先，在步骤400中，普通图像生成部28A从主存储部25获取第3图像信号，根据所获取的第3图像信号生成普通图像。
[0128]但是，摄像装置100中，作为一例，如图12所示，当拍摄到被摄体时，通过摄影镜头16的左区域通过光通过与第I像素L对应的微透镜19并入射到第I像素L。但是，左区域通过光即使通过与第2像素R对应的微透镜19，也会被遮光部件20B遮光，因此并不入射到第2像素R。另一方面，通过摄影镜头16的右区域通过光通过与第2像素R对应的微透镜19并入射到第2像素R。但是，右区域通过光即使通过与第I像素L对应的微透镜19，也会被遮光部件20A遮光，因此并不入射到第I像素L。如此，针对像素的一半配置有遮光部件，而且左区域通过光及右区域通过光各自的中心偏离摄影镜头16的光轴，因此在第I像素组及第2像素组各自中，减光特性根据光瞳分割方向的像素位置线性地发生变化。减光特性的变化体现为左眼图像及右眼图像中的输出的变化。即，假设光量均匀的光从正面入射到摄影镜头16时获得的左眼图像及右眼图像的左右方向(相当于光瞳分割方向的方向)的输出根据像素位置大致线性地发生变化。例如，如图13所示，左眼图像中，越是右方向的像素位置，输出越减小，右眼图像中，越是左方向的像素位置，输出越减小。左眼图像及右眼图像的各输出向左右相反的方向的大致线性的变化对裂像的画质也产生影响。
[0129]因此，在图11所示的图像生成处理中，在步骤402中，裂像生成部28B从主存储部25获取第I图像信号及第2图像信号，对所获取的第I图像信号及第2图像信号实施阴影校正。在此，阴影校正是指根据与减光特性相应地设定的校正系数，对第I图像信号及第2图像信号的减光特性进行校正。校正系数例如根据校正用直线导出。校正用直线例如为针对特定一行中包含的多个像素输出的、回归线与目标灵敏度比(例如1.0)之间的距离的平方和变得最小的线性函数，校正用直线的因变量被用作校正系数。另外，校正系数并不限定于此，可以是通过基于实际设备的实验或模拟等预先获得的默认值(消除事先预想的减光特性的校正系数)。并且，在此例示了对第I图像信号的输出值及第2图像信号的输出值进行校正的情况，但并不限于此，也可对第I像素L及第2像素R的灵敏度进行校正。
[0130]通过如此进行上述步骤402的处理，能够减轻减光特性对在后述的步骤404中生成的裂像的影响。即，作为一例，如图14所示，光瞳分割方向的像素的线性灵敏度变化引起的显示用左眼图像及显示用右眼图像的线性输出变化与未根据校正系数进行校正时相比，有所减轻。
[0131]在接下来的步骤404中，裂像生成部28B根据已在步骤402中实施阴影校正的第I及第2图像信号生成无彩色的裂像，之后过渡到步骤405。
[0132]在步骤405中，裂像生成部28B将在上述步骤404中生成的裂像存储于主存储部25的预先设定的存储区域(以下，为了便于说明，称为“规定的存储区域”)，之后，过渡到步骤406。
[0133]在步骤406中，控制部28C获取已在步骤402中实施阴影校正的第I及第2图像信号中的未处理的一对相位差像素的第I及第2像素信号，之后，过渡到步骤408。在此，“未处理”是指在本步骤406中还未获取第I及第2像素信号的情况。并且，在此，“一对相位差像素”例如是指在与光瞳分割方向交叉的方向(例如，正交的方向)上相邻的一对相位差像素(第I像素L及第2像素R)。图5所示的例子中，是指在第I像素行150及第2像素行152上，位置在行方向上对齐的一对第I像素L及第2像素R(在列方向上相邻的第I像素L及第2像素R)。
[0134]在步骤408中，控制部28C判定对在步骤406中获取的第I像素信号的输出值与在步骤406中获取的第2像素信号的输出值进行了比较的比较结果是否小于阈值。另外，在此，作为比较结果的一例，采用了在步骤406中获取的第I像素信号的输出值与在步骤406中获取的第2像素信号的输出值之间的差分的绝对值(以下，称为“差分绝对值”)。
[0135]在步骤408中，当对在步骤406中获取的第I像素信号的输出值与在步骤406中获取的第2像素信号的输出值进行了比较的比较结果小于阈值时，判定为肯定，并过渡到步骤410。在步骤408中，当对在步骤406中获取的第I像素信号的输出值与在步骤406中获取的第2像素信号的输出值进行了比较的比较结果为阈值以上时，判定为否定，并过渡到步骤412。
[0136]另外，为了便于说明，在本第I实施方式中，“对焦状态”并不限于焦点的偏离量变成零的情况，还表示上述比较结果小于阈值的情况。并且，为了便于说明，在本第I实施方式中，“非对焦状态”表示上述比较结果为阈值以上的情况。
[0137]在步骤410中，控制部28C对存储于规定的存储区域的裂像的规定位置赋予与在步骤406中获取的第I及第2像素信号的各个相位差像素位置对应的位置的普通图像的颜色信息。在此，所定位置例如是指与在步骤406中获取的第I及第2像素信号的各个相位差像素位置对应的位置。
[0138]关于针对裂像的颜色信息赋予，例如利用在步骤400中生成的普通图像中的色差信号Cr、Cb来进行。在此，普通图像及裂像的亮度信号Y及色差信号Cr、Cb在存储器(例如，主存储部25)上作为所谓的YC422格式的图像数据来处理。作为一例，如图15所示，在步骤400中生成的普通图像被分解为亮度信号Yo及色差信号Cro、Cbo。相对于此，在步骤404中生成的无彩色的裂像(赋予颜色信息之前的裂像)按与普通图像的像素位置对应的每个像素位置，分解为亮度信号Yi。
[0139]在上述步骤410中，作为一例，如图16所示，将色差信号CroXbo乘以增益而获得的值适用作裂像的色差信号Cr1Xb1，由此实现对无彩色的裂像赋予颜色信息。
[0140]在此，关于与色差信号CroXbo相乘的增益，作为一例，如图17所示，预先设定为根据差分绝对值发生变动的值。图17所示的例子中，阈值被设定为“40”，因此当差分绝对值为“40”以上时，对色差信号Cro、Cbo乘以“O”。此时，对无彩色的裂像不赋予颜色信息(步骤408:否)。相对于此，当差分绝对值小于“40”时，差分绝对值越小，对色差信号Cro、Cbo乘以越大的增益(步骤410)。其结果，差分绝对值越小，对无彩色的裂像赋予的彩色显示地越鲜明。另夕卜，图17所示的增益与差分绝对值之间的对应关系作为表或运算式预先存储于辅助存储部26，表或运算式由控制部28C从辅助存储部26读出来使用。
[0141]在接下来的步骤412中，控制部28C判定对所有的一对相位差像素的处理是否结束(是否已执行上述步骤406的处理)。步骤412中，当对所有的一对相位差像素的处理已结束时，判定为肯定，并过渡到步骤414。步骤412中，当对所有的一对相位差像素的处理未结束时，判定为否定，并过渡到步骤406。
[0142]在步骤414中，控制部28C将在上述步骤400中生成的普通图像输出至显示控制部36，且将存储于规定的存储区域的裂像输出至显示控制部36，之后，结束本图像生成处理。显示控制部36进行如下控制，S卩，若输入有普通图像及裂像，则将普通图像作为动态图像而连续显示于显示装置，且将裂像作为动态图像而连续显示于普通图像的显示区域内。与此相应地，作为一例，如图9所示，显示装置显示实时取景图像。因此，摄影者能够通过显示于显示装置的裂像确认对焦状态。并且，图11所示的图像生成处理在手动对焦模式中执行，因此摄影者能够通过观察裂像的同时操作对焦环301来使焦点的偏离量变成零。
[0143]如以上说明，摄像装置100中对第I图像信号的输出值与第2图像信号的输出值进行比较。并且，当比较结果小于阈值时，对与普通图像的位置对应的位置的无彩色的裂像赋予普通图像中包含的彩色，由此显示彩色的裂像。并且，当比较结果为阈值以上时，显示无彩色的裂像。因此，与计算相位差时相比，摄像装置100能够立即切换彩色的裂像与无彩色的裂像。
[0144]并且，摄像装置100中，在普通图像的显示区域内选择性地显示无彩色的裂像与彩色的裂像。因此，与在普通图像的显示区域内不选择性地显示无彩色的裂像与彩色的裂像时相比，摄像装置100能够轻松地视觉识别是否为对焦状态
[0145]并且，摄像装置100中，判定差分绝对值是否小于阈值。因此，与不使用差分绝对值时相比，摄像装置100能够高精度地判定是否为对焦状态。
[0146]并且，摄像装置100中，判定对已实施阴影校正的第I图像信号的输出值与已实施阴影校正的第2图像信号的输出值进行了比较的比较结果是否小于阈值。因此，与未使用已实施阴影校正的第I及第2图像信号的输出值时相比，摄像装置100能够高精度地判定是否为对焦状态。
[0147]并且，摄像装置100中，判定对在与光瞳分割方向交叉的方向上配置的一对相位差像素中的第I像素信号的输出值与第2像素信号的输出值进行了比较的比较结果是否小于阈值。因此，与不使用对在与光瞳分割方向交叉的方向上配置的一对相位差像素中的第I及第2像素信号的输出值时相比，摄像装置100能够以高精度判定是否为对焦状态。
[0148]并且，摄像装置100中，通过从普通图像向无彩色的裂像赋予基于色差信号Cr、Cb的彩度，对无彩色的裂像赋予彩色。由此，与未从普通图像向无彩色的裂像赋予基于色差信号Cr、Cb的彩度时相比，摄像装置100能够以简单的结构对无彩色的裂像赋予彩色。
[0149]并且，摄像装置100中，当比较结果小于阈值时，随着比较结果背离阈值，对无彩色的裂像赋予的彩色的强度变大。因此，与不会使彩色的强度随着比较结果背离阈值而加大时相比，摄像装置100能够在彩色区域与无彩色区域之间的区域实现缓慢的颜色变化。
[0150]另外，上述第I实施方式中，例示了通过判定差分绝对值是否小于阈值来判定是否需要对裂像赋予颜色信息的情况，但本发明并不限定于此。例如，也可根据表示一对相位差像素中一个相位差像素的像素信号相对于另一个相位差像素的像素信号的输出值的比例背离基准值的程度的背离度进行判定。在此，一个相位差像素的像素信号相对于另一个相位差像素的像素信号的输出值的比例例如是指在步骤406中获取的第2像素信号的输出值相对于第I像素信号的输出值的比例。并且，基准值例如指“I”。此时，例如，只要一对相位差像素的像素信号的输出值比例在规定范围内(例如，0.8以上1.2以下的范围内)，则对裂像赋予颜色信息，若在规定范围外，则不对裂像赋予颜色信息。
[0151]并且，上述第I实施方式中，例示了为了调整对裂像赋予的彩色的强度，通过根据差分绝对值设定的增益(参考图17)来调整对裂像赋予的彩度的情况，但本发明并不限定于此。例如，也可以通过根据对差分绝对值进行标准化的值设定的增益来调整对裂像赋予的彩度。此时，例如，利用以下数式(I)将普通图像的彩度Co转换为彩度C1，并将转换获得的彩度(^适用作裂像的彩度(对裂像附加彩度CD。另外，在数式(I)中，“AS”指差分绝对值，“Avg”指相位差像素平均值(例如，在步骤406中获取的第I像素信号的输出值与在步骤406中获取的第2像素信号的输出值的平均值)。并且，“a”及“b”为用于微调的系数，可以是固定值，也可以是变量值(例如，根据由触摸屏216接收的命令自定义的值)。
[0152]Ci = CoX (a~( Δ S/Avg) Xb)......(I)
[0153]在此，设为a = 0.l、b = l、阈值= 0.4时，就与彩度Co相乘的增益(=a~( Δ S/Avg) Xb)而言，作为一例，如图18所示，预先设定为根据“AS/Avg”确定的值。图18所示的例子中，阈值被设定为“0.4”，因此当“ Δ S/Avg”为“0.4”以上时，对彩度Co乘以“O”。此时，不对无彩色的裂像赋予颜色信息。与此相对，“Δ S/Avg”小于“0.4”时，“Δ S/Avg”越小，对彩度Co乘以越大的值。其结果，“ A S/Avg”越小，对无彩色的裂像赋予的彩色显示得越鲜明。另外，图18所示的增益与“ A S/Avg”之间的对应关系作为表或运算式而预先存储于辅助存储部26，表或运算式在对裂像赋予颜色信息时，通过控制部28C读出来使用。
[0154]另外，图18所示的例子中，阈值被固定，但并不限于此，阈值也可变动。此时，根据摄影条件设定阈值即可。例如，景深根据光圈值发生变化，因此随着光圈值变小而减小阈值即可。图19及图20所示的例子中，F值小于3.5时的阈值为0.4，F值为3.5以上时的阈值为
0.6。因此，F值小于3.5时(景深较浅时)，比F值为3.5以上时(景深较深时)更难对裂像赋予彩色。因此，即使改变F值时，也能够实现对裂像赋予彩色的频度与不对裂像赋予彩色的频度的均衡。
[0155]图19所示的例子中，ΔS/Avg小于阈值时的增益值在F值小于3.5时和F值为3.5以上时并无差异，但本发明并不限定于此。即，△ S/Avg小于阈值时的增益值也可以在F值小于3.5时和F值为3.5以上时不同。例如，图20所示的例子中，Δ S/Avg小于阈值时的增益值在F值为3.5以上时大于F值小于3.5时。由此，F值为3.5以上时(景深较深时)，与F值小于3.5时(景深较浅时)相比，能够使对裂像赋予的彩色显示得更鲜明。
[0156]阈值也可根据焦距设定。此时，例如，景深根据焦距发生变化，因此随着焦距变长而减小阈值即可。图21及图22所示的例子中，焦距f为50毫米以上时的阈值为0.4，焦距fVj、于50毫米时的阈值为0.6。因此，焦距f为50毫米以上时(景深较浅时)，与焦距f小于50毫米时(景深较深时)相比，更难对裂像赋予彩色。因此，即使焦距f发生变化，也能够实现对裂像赋予彩色的频度与对裂像不赋予彩色的频度的均衡。
[0157]图21所示的例子中，ΔS/Avg小于阈值时的增益值在焦距f为50毫米以上时及焦距f小于50毫米时并无差异，但本发明并不限定于此。即，Δ S/Avg小于阈值时的增益值也可在焦距f为50毫米以上时和焦距f小于50毫米时不同。例如，图22所示的例子中，Δ S/Avg小于阈值时的增益值在焦距f小于50毫米时大于焦距f为50毫米以上时。由此，焦距f小于50毫米时(景深较深时)，与焦距f为50毫米以上时(景深较浅时)相比，能够使对裂像赋予的彩色显示得更鲜明。
[0158]阈值可根据曝光时间(Tv(时间值(timevalue)值)设定。此时，例如，噪声根据曝光时间发生变化，因此随着曝光时间变长而减小阈值即可。图23及图24所示的例子中，Tv值为6.0以上时的阈值为0.4，Tv值小于6.0时的阈值为0.6。因此，Tv值为6.0以上时(噪声较多时)，与Tv值小于6.0时(噪声较少时)相比，更难对裂像赋予彩色。因此，S卩使改变Tv值时，也能够实现对裂像赋予彩色的频度与对裂像不赋予彩色的频度的均衡。
[0159]图23所示的例子中，ΔS/Avg小于阈值时的增益值在Tv值为6.0以上时和Tv值小于6.0时并无差异，但本发明并不限定于此。即，Δ S/Avg小于阈值时的增益值也可在Tv值为6.0以上时和Tv值小于6.0时不同。例如，图24所示的例子中，Δ S/Avg小于阈值时的增益值在Tv值小于6.0时大于Tv值为6.0以上时。由此，Tv值小于6.0时(噪声较少时)，与Tv值为6.0以上时(噪声较多时)相比，能够使对裂像赋予的彩色显示得更鲜明。
[0160]另外，噪声根据成像元件20的增益发生变化。因此，可随着成像元件20的增益变大而减小阈值。由此，即使在成像元件20的增益发生变化时，也能够实现对裂像赋予彩色的频度与对裂像不赋予彩色的频度的均衡。
[0161]并且，上述第I实施方式中，例示了从差分绝对值导出增益的情况，但也可从第I像素信号的输出值与第2像素信号的输出值之间的差分(输出值差分)导出增益。此时，例如如图25所示，可预先设定输出值差分与增益之间的对应关系，利用表示输出值差分与增益之间的对应关系的表或运算式来从输出值差分导出增益。
[0162]并且，上述第I实施方式中，例示了在比较结果小于阈值时根据差分绝对值调整增益来调整对裂像赋予的彩色的强度的情况，但本发明并不限定于此。例如，比较结果小于阈值时，可与差分绝对值无关地直接对裂像赋予普通图像的彩度。此时，无需利用表或运算式导出与差分绝对值对应的增益，因此能够更迅速地进行彩色的裂像与无彩色的裂像之间的切换。
[0163]并且，上述第I实施方式中，例示了按每一对相位差像素对第I像素信号的输出值与第2像素信号的输出值进行比较的情况，但本发明并不限定于此。例如，也可对从第I像素组中包含的所有第I像素L输出的第I像素信号的平均输出值与从第2像素组中包含的所有第2像素R输出的第2像素信号的平均输出值进行比较。并且，可不对所有相位差像素进行输出值的比较，而是将一部分相位差像素作为对象来进行输出值的比较。此时，例如也可对从第I像素组的一部分区域即第I区域输出的第I像素L的像素信号的平均输出值与从第2像素组的第2区域(与第I区域的位置对应的位置的区域)输出的第2像素R的像素信号的平均输出值进行比较。并且，例如还可对从第I像素组的中央部的第I像素L输出的第I像素信号的输出值与从第2像素组的中央部的第2像素R输出的第2像素信号的输出值进行比较。
[0164]并且，上述第I实施方式中，例示了对裂像赋予颜色信息的情况，但并不限于此，也可对生成裂像之前的左眼图像及右眼图像赋予颜色信息。此时，优选对通过已实施阴影校正的第I图像信号显示的左眼图像及通过已实施阴影校正的第2图像信号显示的右眼图像赋予颜色信息。
[0165]并且，上述第I实施方式中说明的图像生成处理流程(参考图11)仅为一例。因此，在不脱离宗旨的范围内当然可以删除不必要的步骤、或追加新的步骤、或更换处理顺序。并且，上述第I实施方式中说明的图像生成处理中包含的各处理可通过执行程序，利用计算机通过软件结构来实现。并且，上述第I实施方式中说明的图像生成处理中包含的各处理可通过ASIC或可编程逻辑器件等硬件结构来实现，也可通过硬件结构与软件结构的组合来实现。
[0166]通过由计算机执行程序来实现上述第I实施方式中说明的图像生成处理时，预先将程序存储于规定的存储区域(例如辅助存储部26)即可。另外，并不一定要从最开始就存储于辅助存储器26。例如，可先将程序存储于与计算机连接来使用的SSD(固态硬盘(SolidState Drive))、CD-ROM、DVD盘、磁光盘、IC卡等任意的便携式存储介质。并且，也可设为由计算机从这些便携式存储介质获取程序来执行。并且，也可设为将各程序存储于经由互联网或LAN(局域网(Local Area Network))等与计算机连接的其他计算机或服务器装置等中，并由计算机从这些获取程序来执行。
[0167]并且，为了通过软件结构来实现上述第I实施方式中说明的图像生成处理中包含的各处理，例如，设为通过由CPU12执行图像生成处理程序，从而在摄像装置100中进行图像生成处理即可。其中，图像生成处理程序预先存储于辅助存储器26即可，CPU12从辅助存储部26读出图像生成处理程序并向主存储部25展开后执行即可。此时，CPU12通过执行图像生成处理程序，发挥与图7所示的普通图像生成部28A、裂像生成部28B及控制部28C相同的作用。
[0168]并且，上述第I实施方式中，例示了具有第I?第3像素组的成像元件20，但本发明并不限定于此，也可以是仅由第I像素组及第2像素组构成的成像元件。具有这种成像元件的数码相机能够根据从第I像素组输出的第I图像及从第2像素组输出的第2图像生成三维图像(3D图像)，还能够生成二维图像(2D图像)。此时，二维图像的生成例如通过在第I图像及第2图像的彼此中的相同颜色的像素间进行插值处理来实现。并且，可不进行插值处理，而是将第I图像或第2图像采用为二维图像。
[0169]并且，上述第I实施方式中，例示了在第I?第3图像被输入至图像处理部28时，普通图像与裂像二者同时显示于显示装置的相同画面的方式，但本发明并不限定于此。例如，显示控制部36也可进行如下控制，S卩，抑制将普通图像作为动态图像而连续显示于显示装置，且将裂像作为动态图像来连续显示于显示装置。在此所说的“抑制普通图像的显示”例如指不将普通图像显示于显示装置。具体而言是指，通过虽然生成普通图像但不对显示装置输出普通图像从而不对显示装置显示普通图像、或通过不生成普通图像从而不对显示装置显示普通图像。可利用显示装置的整个画面显示裂像，作为一例，可利用图9所示的整个裂像的显示区域来显示裂像。
[0170]并且，作为用于通过抑制显示普通图像来显示裂像的条件，可考虑各种条件。例如，在命令显示裂像的状态下解除普通图像的显示命令时，显示控制部36可进行不将普通图像显示于显示装置而是显示裂像的控制。并且，例如，摄影者观察混合式取景器时，显示控制部36可进行不将普通图像显示于显示装置而是显示裂像的控制。并且，例如，当释放按钮211设为半按状态时，显示控制部36可进行不将普通图像显示于显示装置而是显示裂像的控制。并且，例如，未对释放按钮211进行按压操作时，显示控制部36可进行不将普通图像显示于显示装置而是显示裂像的控制。并且，例如，使检测被摄体的脸部的脸部检测功能发挥作用时，显示控制部36可进行不将普通图像显示于显示装置而是显示裂像的控制。另外，在此，举出了显示控制部36抑制显示普通图像的变形例，但并不限于此，例如显示控制部36也可进行在普通图像上覆盖显示整个画面的裂像的控制。
[0171]并且，上述第I实施方式中说明的摄像装置100可具有确认景深的功能(景深确认功能)。此时，例如摄像装置100具有景深确认键。景深确认键可以是硬键，也可以是软键。若是通过硬键发出命令，则优选适用例如瞬时动作型开关(非保持型开关)。在此所说的瞬时动作型开关例如指仅在按下至规定位置的期间维持摄像装置100中的特定动作状态的开关。其中，若按下景深确认键，则光圈值被改变。并且，在持续按下景深确认键期间(按下至规定位置期间)，光圈值持续变化直至达到极限值。如此，按下景深确认键期间光圈值发生变化，因此有时无法获得为了获得裂像所需的相位差。因此，也可设为在显示有裂像的状态下景深确认键被按下时，在按下期间从裂像变更为普通的实时取景显示。并且，也可由CPU12以在解除按下状态时再次显示裂像的方式进行画面的切换。另外，在此，作为景深确认键的一例，例示了适用瞬时动作型的开关的情况，但并不限于此，也可适用交替动作型开关(保持型开关)。
[0172][第2实施方式]
[0173]在上述第I实施方式中，说明了对第I像素信号的输出值与第2像素信号的输出值进行比较的情况，而在本第2实施方式中，说明对第I像素信号的平均输出值与第2像素信号的平均输出值进行比较的情况。另外，本第2实施方式中，对与上述第I实施方式中说明的构成要件标注相同符号并省略说明。
[0174]本第2实施方式所涉及的摄像装置100A与上述第I实施方式所涉及的摄像装置100相比，不同点在于，作为一例具有图27所示的成像元件20C来代替成像元件20。成像元件20C与成像元件20相比，共同点在于在行方向及列方向的各方向上交替配置有第I像素L及第2像素R，但行方向及列方向的各方向上的相位差像素的配置间隔不同。即，成像元件20中，在行方向上，相同种类的相位差像素在每6像素配置有各I像素，而成像元件20C中，在行方向上，相同种类的相位差像素在每5像素配置有各I像素。并且，成像元件20中，在列方向上，相同种类的相位差像素在每6像素配置有各I像素，而成像元件20C中，在列方向上，相同种类的相位差像素在每5像素配置有各I像素。
[0175]本第2实施方式所涉及的摄像装置100A与上述第I实施方式所涉及的摄像装置100相比，不同点在于，通过图像处理部28进行图26所示的图像生成处理，以此代替通过图像处理部28进行图11所示的图像生成处理。图26所示的图像生成处理与图11所示的图像生成处理相比，不同点在于，具有步骤700?步骤710来代替步骤406?412。
[0176]图26所示的图像生成处理中，在步骤700中，作为一例，如图27所示，控制部28C设定分割成像元件20而获得的多个分割区域600中应关注的分割区域600(以下，称为“关注分割区域”)。在此，“关注分割区域”是指还未成为步骤702的处理对象的分割区域600。分割区域600例如是指成像元件20被分割为MXM的行列状(例如，8 X 8的行列状)而获得的各区域(图27所示的例子中，以粗实线包围的区域)。在此，“M”是指2以上的自然数。
[0177]作为一例，如图27所示，分割区域600为根据规定规则配置有第I像素L、第2像素R及普通像素N而成的行列状像素组(本发明所涉及的分割像素组的一例(图27所示的例子中，为5X5的行列状))。分割区域600包含多组(图27所示的例子中为2组)一对相位差像素。分割区域600中包含的一对相位差像素为在相对于光瞳分割方向正交的方向上相邻的第I像素L及第2像素R。即，是在行方向上对齐位置的一对第I像素L及第2像素R(在列方向上相邻的第I像素L及第2像素R)。
[0178]在接下来的步骤702中，控制部28C获取从在步骤700中设定的关注分割区域中包含的所有第I像素L输出的第I像素信号，并计算所获取的所有第I像素信号的平均输出值，之后过渡到步骤704。另外，在本步骤702中获取的第I像素信号为已在步骤402中实施阴影校正的第2图像信号。并且，图27所示的例子中，从I个分割区域600(关注分割区域)计算分别从2个第I像素L输出的第I像素信号的平均输出值。
[0179]在步骤704中，控制部28C获取从在步骤700中设定的关注分割区域中包含的所有第2像素R输出的第2像素信号，并计算所获取的所有第2像素信号的平均输出值，之后过渡到步骤706。另外，在本步骤704中获取的第2像素信号为已在步骤402中实施阴影校正的第2图像信号。并且，图27所示的例子中，从I个分割区域600(关注分割区域)计算分别从2个第2像素R输出的第2像素信号的平均输出值。
[0180]在步骤706中，控制部28C判定对在步骤702中计算出的第I像素信号的平均输出值与在步骤704中计算出的第2像素信号的平均输出值进行了比较的比较结果是否小于阈值。另外，在此，作为比较结果的一例，采用在步骤702中获取的第I像素信号的平均输出值与在步骤704中获取的第2像素信号的平均输出值之间的差分的绝对值。
[0181]在步骤706中，对在步骤702中计算出的第I像素信号的平均输出值与在步骤704中计算出的第2像素信号的平均输出值进行了比较的比较结果小于阈值时，判定为肯定，并过渡到步骤708。在步骤706中，对在步骤702中计算出的第I像素信号的平均输出值与在步骤704中计算出的第2像素信号的平均输出值进行了比较的比较结果为阈值以上时，判定为否定，并过渡到步骤710。
[0182]在步骤708中，控制部28C对存储于规定的存储区域的裂像赋予与在步骤702中获取的第I像素信号及在步骤704中获取的第2像素信号的各个相位差像素的位置对应的位置的普通图像的颜色信息。
[0183]在接下来的步骤710中，控制部28C判定是否已对所有分割区域600执行步骤700的处理。在步骤710中，未对所有分割区域600执行步骤700的处理时，判定为否定，并过渡到步骤700。在步骤710中，已对所有分割区域600执行步骤700的处理时，判定为肯定，并过渡到步骤414。
[0184]如以上说明，摄像装置100A中，在各个分割区域600中判定对第I像素信号的平均输出值与第2像素信号的平均输出值进行了比较的比较结果是否小于阈值。因此，与不在各个分割区域600中判定比较结果是否小于阈值时相比，摄像装置100A能够以高精度判定是否为对焦状态。
[0185]另外，上述第2实施方式中，例示了在各个分割区域600中判定对第I像素信号的平均输出值与第2像素信号的平均输出值进行了比较的比较结果是否小于阈值的情况，但本发明并不限定于此。例如，也可在各个分割区域600中判定对第I像素信号的输出值的中央值与第2像素信号的输出值的中央值进行了比较的比较结果是否小于阈值。也可在各个分割区域600中判定对第I像素信号的输出值的众数(mode)与第2像素信号的输出值的众数进行了比较的比较结果是否小于阈值。并且，还可在各个分割区域600中判定对第I像素信号的输出值的代表值与第2像素信号的输出值的代表值进行了比较的比较结果是否小于阈值。在此，作为第I像素信号的输出值的代表值的一例，可举出从存在于分割区域600内的特定位置的第I像素L输出的第I像素信号的输出值。并且，作为第2像素信号的输出值的代表值的一例，可举出从存在于分割区域600内的特定位置的第2像素R输出的第2像素信号的输出值。
[0186]并且，上述第2实施方式中，作为比较结果的一例，采用在步骤702中获取的第I像素信号的平均输出值与在步骤704中获取的第2像素信号的平均输出值之间的差分的绝对值，但本发明并不限定于此。例如，也可以是在步骤702中获取的第I像素信号的平均输出值及在步骤704中获取的第2像素信号的平均输出值中一个平均输出值相对于另一个平均输出值的比例。此时，例如根据表示一个平均输出值相对于另一个平均输出值的比例背离基准值(例如，I)的程度的背离度来判定是否对裂像赋予颜色信息即可。
[0187][第3实施方式]
[0188]上述各实施方式中，例示了摄像装置100、100A，但作为摄像装置100U00A的变形例即便携式终端装置，例如可举出具有摄像机功能的移动电话或智能手机等。此外，也可举出Η)Α(个人数字助理(Personal Digital Assistants))和便携式游戏机等。本第3实施方式中，以智能手机为例，参考附图进行详细说明。
[0189]图28是表示智能手机500的外观的一例的立体图。图28所示的智能手机500具有平板状框体502，在框体502的一侧面具备作为显示部的显示面板521与作为输入部的操作面板522成为一体的显示输入部520。并且，该框体502具备扬声器531、麦克风532、操作部540及相机部541。另外，框体502的结构并不限定于此，例如能够采用显示部与输入部独立的结构，或者采用具有折叠结构或滑动机构的结构。
[0190]图29是表示图28所示的智能手机500的结构的一例的框图。如图29所示，作为智能手机500的主要构成要件，具备无线通信部510、显示输入部520、通信部530、操作部540、相机部541、存储部550及外部输入输出部560。另外，作为智能手机500的主要构成要件，具备GPS(Global Posit1ning System)接收部570、动作传感器部580、电源部590及主控制部501。并且，作为智能手机500的主要功能，具备经由基站装置BS及移动通信网NW进行移动无线通信的无线通信功能。
[0191]无线通信部510根据主控制部501的命令，对容纳于移动通信网NW的基站装置BS进行无线通信。使用该无线通信，进行语音数据、图像数据等各种文件数据、电子邮件数据等的收发及Web数据或流数据等的接收。
[0192]显示输入部520为所谓的触控面板，其具备显示面板521及操作面板522。因此，显示输入部520通过主控制部501的控制，显示图像(静态图像及动态图像)和字符信息等来视觉性地向用户传递信息，并且检测用户对所显示的信息的操作。另外，欣赏所生成的3D图像时，优选显示面板521为3D显示面板。
[0193]显不面板521是将LCD、0ELD(0rganic Electro-Luminescence Display)等用作显示设备的装置。操作面板522是以能够视觉辨认显示于显示面板521的显示面上的图像的方式载置，并检测通过用户的手指或尖笔来操作的一个或多个坐标的设备。若通过用户的手指或尖笔操作该设备，则将通过操作而产生的检测信号输出至主控制部501。接着，主控制部501根据所接收的检测信号检测显示面板521上的操作位置(坐标)。
[0194]如图29所示，智能手机500的显示面板521与操作面板522成为一体而构成显示输入部520，并配置成操作面板522完全覆盖显示面板521。采用该配置时，操作面板522可以对显示面板521外的区域也具备检测用户操作的功能。换言之，操作面板522可具备针对与显示面板521叠加的叠加部分的检测区域(以下，称为显示区域)、及针对除此以外的不与显示面板521叠加的外缘部分的检测区域(以下，称为非显示区域)。
[0195]另外，可使显示区域的大小与显示面板521的大小完全一致，但无需一定要使两者一致。并且，操作面板522可具备外缘部分及除此以外的内侧部分这两个感应区域。而且，夕卜缘部分的宽度根据框体502的大小等适当设计。此外，作为在操作面板522中采用的位置检测方式，可举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，能够采用任一方式。
[0196]通信部530具备扬声器531和麦克风532。通信部530将通过麦克风532输入的用户的声音转换为能够在主控制部501中处理的语音数据来输出至主控制部501。并且，通信部530对通过无线通信部510或外部输入输出部560接收的语音数据进行解码而从扬声器531输出。并且，如图28所示，例如能够将扬声器531搭载于与设置有显示输入部520的面相同的面，并将麦克风532搭载于框体502的正面下部。
[0197]操作部540为使用键开关等的硬件键，接受来自用户的命令。例如，如图28所示，操作部540搭载于智能手机500的框体502的正面下部，是用手指等按下时开启，手指离开时通过弹簧等的复原力而成为关闭状态的按钮式开关。
[0198]存储部550存储主控制部501的控制程序和控制数据、应用软件、将通信对象的名称和电话号码等建立对应关联的地址数据、所收发的电子邮件的数据。并且，存储部550存储通过Web浏览下载的Web数据或已下载的内容数据。另外，存储部550临时存储流数据等。并且，存储部550具有内置于智能手机的内部存储部551及装卸自如且具有外部存储器插槽的外部存储部552。另外，构成存储部550的各个内部存储部551与外部存储部552通过使用闪存类型(flash memory type)、硬盘类型(hard disk type)等存储介质来实现。作为存储介质，除此之外还可例示微型多媒体卡类型(multimedia card micro type)、卡类型的存储器(例如，MicroSD(注册商标)存储器等)、RAM(Random Access Memory)、R0M(Read OnlyMemory)。
[0199]外部输入输出部560发挥与连结于智能手机500的所有外部设备的接口的作用，用于通过通信等直接或间接地与其他外部设备连接。作为与其他外部设备的通信，例如可举出通用串行总线(USB)、IEEEl 394等。作为网络，例如可举出互联网、无线LAN、蓝牙(Bluetooth(注册商标))、RFID(Rad1 Frequency Identificat1n)、红外线通信(Infrared Data Associat1n:1rDA(注册商标))。并且，作为网络的另一例子，可举出UWB(Ultra Wideband(注册商标))或紫蜂(Zig Bee(注册商标))等。
[0200]作为与智能手机500连结的外部设备，例如有:有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡插槽连接的存储卡(Memory card)。作为外部设备的另一例子，可举出SIM(Subscriber Identity Module Card)/UIM(User Identity ModuleCard)卡、经由语音/视频1/0 (Input/Output)端子连接的外部语音/视频设备。除了外部语音/视频设备之外，还可举出无线连接的外部语音/视频设备。并且，还能够代替外部语音/视频设备，例如适用有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。
[0201]外部输入输出部560能够将从这种外部设备接收到传送的数据传递至智能手机500内部的各构成要件、或将智能手机500内部的数据传送至外部设备。
[0202]GPS接收部570根据主控制部501的命令接收从GPS卫星STl?STn发送的GPS信号，执行基于所接收的多个GPS信号的测位运算处理，检测包含智能手机500的玮度、经度、高度的位置。GPS接收部570在能够从无线通信部510或外部输入输出部560(例如，无线LAN)获取位置信息时，还能够利用该位置信息检测位置。
[0203]动作传感器部580例如具备三轴加速度传感器等，根据主控制部501的命令，检测智能手机500的物理动作。通过检测智能手机500的物理动作，可检测智能手机500的移动方向或加速度。该检测结果被输出至主控制部501。
[0204]电源部590根据主控制部501的命令，向智能手机500的各部供给蓄积在电池(未图示)的电力。
[0205]主控制部501具备微处理器，根据存储部550所存储的控制程序或控制数据进行动作，统一控制智能手机500的各部。并且，主控制部501为了通过无线通信部510进行语音通信或数据通信，具备控制通信系统的各部的移动通信控制功能及应用处理功能。
[0206]应用处理功能通过主控制部501根据存储部550所存储的应用软件进行动作来实现。作为应用处理功能，例如有控制外部输入输出部560来与对象设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、浏览Web页的Web浏览功能等。
[0207]并且，主控制部501具备根据接收数据或所下载的流数据等图像数据(静态图像或动态图像的数据)在显示输入部520显示影像等的图像处理功能。图像处理功能是指主控制部501对上述图像数据进行解码，对该解码结果实施图像处理并将图像显示于显示输入部520的功能。
[0208]而且，主控制部501执行对显示面板521的显示控制及检测通过操作部540、操作面板522进行的用户操作的操作检测控制。
[0209]通过执行显示控制，主控制部501显示用于启动应用软件的图标或滚动条等软件键，或者显示用于创建电子邮件的窗口。另外，滚动条是指用于使无法全部容纳于显示面板521的显示区域的较大图像等，接受使图像的显示部分移动的命令的软件键。
[0210]并且，通过执行操作检测控制，主控制部501检测通过操作部540进行的用户操作，或者通过操作面板522接受对上述图标的操作或对上述窗口的输入栏输入字符串。并且，通过执行操作检测控制，主控制部501接受通过滚动条进行的显示图像的滚动请求。
[0211]而且，通过执行操作检测控制，主控制部501判定对操作面板522操作的位置是与显示面板521叠加的叠加部分(显示区域)还是除此以外的不与显示面板521叠加的外缘部分(非显示区域)。并且，具有接收该判定结果来控制操作面板522的感应区域或软键的显示位置的触摸屏控制功能。
[0212]并且，主控制部501还能够检测对操作面板522的手势操作，并根据检测出的手势操作执行预先设定的功能。手势操作表示并非以往的简单的触摸操作，而是通过手指等描绘轨迹、或者同时指定多个位置、或者组合这些来从多个位置对至少一个描绘轨迹的操作。
[0213]相机部541为使用CMOS或CCD等成像元件进行拍摄的数码相机，具备与图1等中示出的摄像装置100相同的功能。
[0214]并且，相机部541能够对手动对焦模式与自动对焦模式进行切换。若选择手动对焦模式，则能够通过操作显示于操作部540或显示输入部520的聚焦用图标按钮等，进行相机部541的摄影镜头的对焦。并且，手动对焦模式时，将合成有裂像的即时预览图像显示于显示面板521，由此使能够确认手动对焦时的对焦状态。另外，可将图10所示的混合式取景器220设置于智能手机500。
[0215]并且，相机部541通过主控制部501的控制，将通过拍摄获得的图像数据转换为例如JPEG(Joint Photographic coding Experts Group)等压缩的图像数据。并且，能够将转换获得的图像数据记录于存储部550或通过外部输入输出部560或无线通信部510输出。图29所示的智能手机500中，相机部541搭载于与显示输入部520相同的面，但相机部541的搭载位置并不限定于此，可搭载于显示输入部520的背面，或者也可搭载有多个相机部541 ο另夕卜，搭载有多个相机部541时，还能够切换供拍摄的相机部541来单独进行拍摄或者同时使用多个相机部541进行拍摄。
[0216]并且，相机部541能够利用于智能手机500的各种功能中。例如，能够在显示面板521显示通过相机部541获取的图像，或者作为操作面板522的操作输入之一，利用相机部541的图像。并且，当GPS接收部570检测位置时，还能够参考来自相机部541的图像来检测位置。而且，还能够参考来自相机部541的图像，不使用三轴加速度传感器或者与三轴加速度传感器同时使用来判断智能手机500的相机部541的光轴方向，或判断当前的使用环境。当然，还能够在应用软件内利用来自相机部541的图像。
[0217]此外，还能够在静态图像或动态图像的图像数据上附加各种信息来记录于存储部550，或通过外部输入输出部560或无线通信部510进行输出。作为在此所说的“各种信息”，例如可举出在静态图像或动态图像的图像数据上通过GPS接收部570获取的位置信息、通过麦克风532获取的语音信息(也可以通过主控制部等进行语音文本转换而成为文本信息)。此外，还可以是通过动作传感器部580获取的姿势信息等等。
[0218]另外，上述各实施方式中，例示了在行方向及列方向的各方向上每隔规定像素数而交替配置第I像素L与第2像素R的情况，但本发明并不限定于此。例如，如图30所示，可在行方向上，每隔规定像素数而交替配置第I像素L与第2像素R，在列方向上，每隔规定像素数配置相邻的第I像素L及第2像素R。此时，优选使第I像素L及第2像素R的位置在第I像素组与第2像素组之间在列方向及行方向的至少一个方向上在规定像素数内对齐。另外，图30所示的例子中，示出了使第I像素L与第2像素R在第I像素组与第2像素组之间在列方向及行方向的各方向上的位置配置于在I像素内对齐的位置的例子。
[0219]上述各实施方式中，例示了将原色(R滤波器、G滤波器、B滤波器)的排列设为拜耳排列的滤色器21(参考图4)，但本发明并不限定于此。例如，可使用图31所示的滤色器21D来代替滤色器21。图31中示意地示出了滤色器21D的原色(R滤波器，G滤波器，B滤波器)的排列及遮光部件的配置的一例。图30所示的滤色器21D中，第I?第4的行排列在列方向上反复配置。第I行排列是指沿着行方向交替配置有B滤波器及G滤波器的排列。第2行排列是指使第I行排列在行方向上错开半个间距(半像素量)的排列。第3行排列是指沿着行方向交替配置G滤波器及R滤波器的排列。第4的行排列是指使第3行排列在行方向上错开半个间距的排列。
[0220]第I行排列及第2行排列在列方向上错开半个间距而相邻。第2行排列及第3行排列也在列方向上错开半个间距而相邻。第3行排列及第4行排列也在列方向上错开半个间距而相邻。第4行排列及第I行排列也在列方向上错开半个间距而相邻。因此，第I?4行排列的每一个在列方向上每隔2像素而重复。
[0221]关于第I像素L及第2像素R，作为一例，如图31所示，被分配于第3及第4行排列。即，第I像素L被分配于第3行排列，第2像素R被分配于第4行排列。并且，第I像素L及第2像素R相互相邻而以(最小间距)成对配置。并且，图31所示的例子中，第I像素L在行方向及列方向的各方向上按每6像素被分配，第2像素R也在行方向及列方向的各方向上按每6像素被分配。
[0222]并且，图31所示的例子中，对第I像素L及第2像素R分配有G滤波器。设置有G滤波器的像素与设置有其他颜色的滤波器的像素相比灵敏度良好，因此能够提高插值精度。而且，G滤波器与其他颜色的滤波器相比具有连续性，因此分配有G滤波器的像素与分配有其他颜色的滤波器的像素相比，易进行插值。
[0223]并且，上述各实施方式中，例示了沿上下方向被4分割的裂像，但并不限于此，可将沿倾斜方向或左右方向被分割为多个的图像适用为裂像。
[0224]并且，图32所示的裂像66b被与行方向具有倾斜角的分割线63b(例如，裂像66b的对角线)2分割。该裂像66b中，根据从第I像素组输出的输出信号生成的相位差图像66Lb显示于一个区域。并且，根据从第2像素组输出的输出信号生成的相位差图像66Rb显示于另一区域。
[0225]并且，图33A及图33B所示的裂像66c被分别与行方向及列方向平行的格子状的分割线63c分割。裂像66c中，根据从第I像素组输出的输出信号生成的相位差图像66Lc被排列显示为方格花纹(格子图案)形状。并且，根据从第2像素组输出的输出信号生成的相位差图像66Rc排列显示为方格花纹。
[0226]而且，不限于裂像，也可根据2个相位差图像生成其他对焦确认图像，并显示对焦确认图像。例如，可叠加2个相位差图像来进行合成显示，当焦点偏离时显示为二重像，当焦点对准的状态下清晰地显示图像。
[0227]符号说明
[0228]16-摄影镜头，20、20C-成像元件，28A-普通图像生成部，28B-裂像生成部，28C-控制部，36-显示控制部，100、100A-摄像装置，215-第I显示器，247-第2显示器。
【主权项】
1.一种图像处理装置，其包含: 生成部，生成基于从成像元件输出的第I图像信号的无彩色的第I图像、基于从所述成像元件输出的第2图像信号的无彩色的第2图像及基于从所述成像元件输出的第3图像信号的彩色的第3图像，所述成像元件具有通过摄影镜头中的第I及第2区域的被摄体像被光瞳分割而分别成像从而输出所述第I图像信号的第I像素组及输出所述第2图像信号的第2像素组，且具有透射所述摄影镜头的被摄体像未被光瞳分割而成像从而输出所述第3图像信号的第3像素组； 显示部，显示图像;及 控制部，在对所述第I图像信号的输出值与所述第2图像信号的输出值进行了比较的比较结果小于阈值时，进行将用于对焦确认的彩色图像显示于所述显示部的控制，所述彩色图像通过在所述第3图像与所述第I及第2图像对应的位置对所述第I及第2图像赋予所述第3图像中包含的彩色而获得，并在所述比较结果为所述阈值以上时，进行将根据所述第I及第2图像获得且用于对焦确认的无彩色图像显示于所述显示部的控制。2.根据权利要求1所述的图像处理装置，其中， 所述控制部进行在所述显示部显示所述第3图像且在所述第3图像的显示区域内选择性地显示所述彩色图像及所述无彩色图像的控制。3.根据权利要求1或2所述的图像处理装置，其中， 所述比较结果为基于所述第I图像信号的输出值与所述第2图像信号的输出值之间的差分及比中的至少一个的值。4.根据权利要求3所述的图像处理装置，其中， 所述比较结果为所述差分的绝对值。5.根据权利要求3所述的图像处理装置，其中， 所述比较结果为对所述差分的绝对值进行标准化而获得的值。6.根据权利要求3所述的图像处理装置，其中， 所述比较结果是表示所述第I图像信号的输出值及所述第2图像信号的输出值中的一个相对于另一个的比例背离基准值的程度的背离度。7.根据权利要求1至6中任一项所述的图像处理装置，其中， 所述阈值根据摄影条件确定。8.根据权利要求7所述的图像处理装置，其中， 所述摄影条件为光圈值， 随着所述光圈值变小而减小所述阈值。9.根据权利要求7所述的图像处理装置，其中， 所述摄影条件为焦距， 随着所述焦距变长而减小所述阈值。10.根据权利要求7所述的图像处理装置，其中， 所述摄影条件为曝光时间， 随着所述曝光时间变长而减小所述阈值。11.根据权利要求7所述的图像处理装置，其中， 所述摄影条件为所述成像元件的增益， 随着所述增益变大而减小所述阈值。12.根据权利要求1至11中任一项所述的图像处理装置，其中， 所述比较结果为，对根据与基于经由所述第I区域入射的光及经由第2区域入射的光的减光特性相应的校正系数分别校正了所述减光特性的所述第I图像信号的输出值与所述第2图像信号的输出值进行比较的比较结果。13.根据权利要求1至12中任一项所述的图像处理装置，其中， 所述比较结果为，对配置于与光瞳分割方向交叉的方向上的像素间的所述第I图像信号的输出值与所述第2图像信号的输出值进行比较的比较结果。14.根据权利要求1至13中任一项所述的图像处理装置，其中， 所述比较结果为，在包含所述第I及第2像素组的像素组被分割而获得的多个分割像素组的各个分割像素组中对所述第I图像信号的输出值与所述第2图像信号的输出值进行比较的比较结果。15.根据权利要求1至13中任一项所述的图像处理装置，其中， 所述比较结果为，在包含所述第I及第2像素组的像素组被分割而获得的多个分割像素组的各个分割像素组中对所述第I图像信号的平均输出值与所述第2图像信号的平均输出值进行比较的比较结果。16.根据权利要求1至15中任一项所述的图像处理装置，其中， 所述控制部在所述比较结果小于所述阈值时，进行通过从所述第3图像向所述第I及第2图像赋予彩度来对所述第I及第2图像赋予彩色的控制。17.根据权利要求1至16中任一项所述的图像处理装置，其中， 所述比较结果小于所述阈值时对所述第I及第2图像赋予的彩色的强度随着所述比较结果背离所述阈值而变大。18.—种摄像装置，其包含: 权利要求1至17中任一项所述的图像处理装置； 具有所述第I像素组、所述第2像素组及所述第3像素组的成像元件;及 存储根据从所述成像元件输出的信号生成的图像的存储部。19.一种图像处理方法，其包含如下步骤: 生成基于从成像元件输出的第I图像信号的无彩色的第I图像、基于从所述成像元件输出的第2图像信号的无彩色的第2图像及基于从所述成像元件输出的第3图像信号的彩色的第3图像，所述成像元件具有通过摄影镜头中的第I及第2区域的被摄体像被光瞳分割而分别成像从而输出所述第I图像信号的第I像素组及输出所述第2图像信号的第2像素组，且具有透射所述摄影镜头的被摄体像未被光瞳分割而成像从而输出第3图像信号的第3像素组， 针对显示图像的显示部，在对所述第I图像信号的输出值与所述第2图像信号的输出值进行了比较的比较结果小于阈值时，进行显示用于对焦确认的彩色图像的控制，所述彩色图像通过在所述第3图像与所述第I及第2图像对应的位置对所述第I及第2图像赋予所述第3图像中包含的彩色而获得，并在所述比较结果为所述阈值以上时，进行显示根据所述第I及第2图像获得且用于对焦确认的无彩色图像的控制。20.—种图像处理程序，其用于使计算机执行包含如下步骤的处理: 生成基于从成像元件输出的第I图像信号的无彩色的第I图像、基于从所述成像元件输出的第2图像信号的无彩色的第2图像及基于从所述成像元件输出的第3图像信号的彩色的第3图像，所述成像元件具有通过摄影镜头中的第I及第2区域的被摄体像被光瞳分割而分别成像从而输出所述第I图像信号的第I像素组及输出所述第2图像信号的第2像素组，且具有透射所述摄影镜头的被摄体像未被光瞳分割而成像从而输出所述第3图像信号的第3像素组， 针对显示图像的显示部，在对所述第I图像信号的输出值与所述第2图像信号的输出值进行了比较的比较结果小于阈值时，进行显示用于对焦确认的彩色图像的控制，所述彩色图像通过在所述第3图像与所述第I及第2图像对应的位置对所述第I及第2图像赋予所述第3图像中包含的彩色而获得，并在所述比较结果为所述阈值以上时，进行显示根据所述第I及第2图像获得且用于对焦确认的无彩色图像的控制。
【文档编号】G02B7/34GK105934710SQ201480073633
【公开日】2016年9月7日
【申请日】2014年10月27日
【发明人】河合智行, 林淳司
【申请人】富士胶片株式会社