图像处理装置、图像处理方法及程序与流程

本发明涉及一种图像处理装置、图像处理方法及程序，尤其涉及一种进行从相位差检测用像素输出的像素值的插值的技术。

背景技术：

一直以来，已知有通过像面相位差af(自动聚焦，autofocus)技术进行对焦的摄像装置。通过像面相位差af技术进行对焦的摄像装置中，具备有普通像素和相位差检测用像素离散地排列的成像元件。

相位差检测用像素中，遮光膜开口的面积比普通像素小，因此当根据相位差检测用像素的输出值生成图像时，需要对相位差检测用像素的像素值进行校正来使用。因此，提出有与相位差检测用像素的像素值的校正相关的技术。

例如，专利文献1中记载有如下内容，即，一种能够装卸透镜装置的摄像装置，存在与从透镜装置获取的透镜信息中包含的透镜id(identification)对应的校正增益值时，选择通过增益校正处理对所有的相位差检测用像素的输出信号进行校正的方法，没有与透镜id对应的校正增益值时，选择通过插值校正处理对所有的相位差检测用像素的输出信号进行校正的方法。在此，插值校正处理是指，通过将校正对象像素的输出信号(像素值)替换为利用摄像用像素的输出信号生成的信号来进行校正，所述摄像用像素的输出信号检测位于校正对象像素周围的与校正对象像素相同的颜色。

并且，例如专利文献2中记载有如下技术，即，一种具有相位差检测用像素及普通像素的成像元件，根据相位差检测用像素的像素数据的混入率，改变被增益调整的相位差检测像素的像素数据的加权系数来进行校正处理。

以往技术文献

专利文献

专利文献1：日本特开2016-076998号公报

专利文献2：日本特开2014-180000号公报

技术实现要素：

发明要解决的技术课题

在此，作为对相位差检测用像素的像素值进行插值的代表性方法，有平均值插值(周边像素插值)及增益插值。

平均值插值是使用位于进行插值的相位差检测用像素的周边的多个普通像素的像素值的加权平均值来进行插值的方法。为了提高相位差检测的精度，需要以高密度配置相位差检测用像素，但另一方面，若增加相位差检测用像素的密度，则导致在加权平均值的计算中使用的普通像素的数量减少，因此导致平均值插值的精度下降。

增益插值是将相位差检测用像素的像素值乘以增益值来使信号电平与周围的普通像素的像素值一致的插值方法。相位差检测用像素的像素值依赖于像高、f值、散焦量等而变动，因此很难预先以高精度计算增益值，需要分析实际加以校正的raw数据，计算相位差检测用像素与普通像素的信号比(＝增益值)。但是，在需要在拍摄被摄体之后立刻显示摄像图像的(要求实时性的)动态图像等即时预览的显示用图像的生成中，没有足够的时间计算增益值。

生成要求实时性的显示用图像时，通过可进行增益插值，针对来自以高密度配置有相位差检测用像素的成像元件的图像数据，也能够实现高精度的相位差检测用像素的像素值的插值。

专利文献1及2中，并未提及针对生成要求实时性的显示用图像时的相位差检测用像素的像素值的增益插值。

本发明是鉴于这种情况而完成的，其目的在于提供一种即使在生成要求实时性的显示用图像的生成时，也能够使用增益值对相位差检测用像素的像素值的增益进行插值的图像处理装置、图像处理方法及程序。

用于解决技术课题的手段

为了实现上述目的，作为本发明的一方式的图像处理装置具备：成像元件，二维地配置有多个相位差检测用像素和多个普通像素；图像获取部，在动态图像的拍摄中从成像元件依次获取具有多个相位差检测用像素的像素值及多个普通像素的像素值的帧图像的动态图像的时间顺序的各帧图像；增益值计算部，根据通过图像获取部获取的时间顺序的过去帧图像，计算在当前帧图像的相位差检测用像素的像素值的增益插值中使用的增益值；第1增益插值部，使用增益值，对当前帧图像的相位差检测用像素的像素值进行插值；及显示用图像生成部，根据通过第1增益插值部进行插值的当前帧图像的相位差检测用像素的像素值及普通像素的像素值，生成当前帧图像的显示用图像。

根据本方式，根据时间顺序的过去帧图像，计算在当前帧图像的相位差检测用像素的像素值的增益插值中使用的增益值，使用该计算出的增益值，对当前帧图像的相位差检测用像素的像素值进行插值。由此，本方式即使在生成要求实时性的显示用图像时，也能够对相位差检测用像素的像素值进行增益插值，因此能够生成图像质量良好的显示用图像。

优选图像处理装置具备：周边像素值计算部，根据位于当前帧图像的相位差检测用像素的周边区域的普通像素的像素值，计算周边像素值；及周边像素插值部，使用周边像素值，进行当前帧图像的相位差检测用像素的像素值的插值。

根据本方式，根据位于当前帧图像的相位差检测用像素的周边区域的普通像素的像素值计算周边像素值，使用计算出的周边像素值，对当前帧图像的相位差检测用像素的像素值进行插值。由此，本方式对当前帧的相位差检测用像素的像素值，不仅能够进行增益插值，还能够进行周边像素插值，因此能够生成图像质量良好的显示用图像。

优选图像处理装置具备：插值控制部，控制第1增益插值部和周边像素插值部的动作，当增益值计算部计算出增益值时，插值控制部使第1增益插值部进行插值，当增益值计算部未计算出增益值时，插值控制部使周边像素插值部进行插值。

根据本方式，当增益值计算部计算出增益值时，使第1增益插值部进行插值，当增益值计算部未计算出增益值时，使周边像素插值部进行插值。由此，本方式中，在无法进行增益插值时，进行周边像素插值，因此能够稳定地生成图像质量良好的显示用图像。

优选如下，即，当增益值计算部不计算增益值时，显示用图像生成部不生成当前帧图像的显示用图像。

根据本方式，不生成不计算增益值而不进行增益插值的当前帧图像的显示用图像。由此，本方式中，不生成不进行增益插值的当前帧图像的显示用图像，由已进行增益插值的帧图像构成显示用图像，因此能够稳定地生成没有违和感且优质的图像。

优选图像处理装置具备：参数获取部，获取用于推断增益值的信息即增益值推断参数；推断增益值计算部，根据通过参数获取部获取的增益值推断参数，计算推断增益值；及第2增益插值部，使用推断增益值，对当前帧图像的相位差检测用像素的像素值进行插值，当推断增益值计算部计算出推断增益值时，插值控制部使第2增益插值部进行插值。

根据本方式，获取用于推断增益值的信息即增益值推断参数，根据所获取的增益值推断参数计算推断增益值，使用推断增益值对当前帧图像的相位差检测用像素的像素值进行插值。由此，本方式中，即使在不计算增益值时也根据所推断的推断增益值进行增益插值，因此通过进行增益插值的帧图像增加，能够生成成为稳定的图像质量且没有违和感的显示用图像。

优选如下，即，当参数获取部未获取增益值推断参数时，显示用图像生成部不生成当前帧图像的显示用图像。

根据本方式，未获取增益值推断参数时，不生成当前帧图像的显示用图像。由此，本方式中，不显示未获取增益值推断参数而未进行增益校正的帧图像，因此能够提供显示用图像的图像质量变得稳定且没有违和感的显示用图像。

优选参数获取部所获取的增益值推断参数包含与成像元件接收的光束所通过的透镜光瞳的形状相关的信息及与相位差检测用像素和普通像素的入射光线角度特性相关的信息中的至少一个。

根据本方式，参数获取部所获取的增益值推断参数包含与成像元件接收的光束所通过的透镜光瞳的形状相关的信息及与相位差检测用像素和普通像素的入射光线角度特性相关的信息中的至少一个。由此，本方式能够准确地推断增益值，能够提供更优质的图像。

优选图像处理装置具备：摄像条件获取部，针对当前帧图像及过去帧图像，获取与摄像条件相关的信息，在当前帧图像及过去帧图像中，当与摄像条件相关的信息的变化量为阈值以上时，插值控制部使周边像素插值部进行插值。

根据本方式，针对当前帧及过去帧，获取与摄像条件相关的信息，当所获取的与摄像条件相关的信息的变化量为阈值以上时，通过周边像素插值部进行插值。由此，本方式能够防止如下现象，即，过去帧的摄像条件与当前帧的摄像条件之间的差异大，若将根据过去帧计算出的增益值适用于当前帧的插值，则图像质量反而下降。

优选增益值计算部通过计算多个过去帧图像的相位差检测用像素与普通像素的信号比来计算增益值。

根据本方式，根据多个过去帧图像的相位差检测用像素与普通像素的信号比计算增益值，因此能够生成更具有连续性、图像质量稳定且没有违和感的显示用图像。

优选成像元件为滚动快门方式或全局快门方式。

根据本方式，成像元件为滚动快门方式或全局快门方式，因此能够对从各种方式的成像元件输出的相位差检测用像素的像素值进行适当的插值。

优选图像处理装置具备显示部，其显示通过显示用图像生成部生成的显示用图像。

根据本方式，在显示部显示通过显示用图像生成部生成的显示用图像，因此能够向用户提供具有实时性且相位差检测用像素的像素适当地被插值的图像。

作为本发明的另一方式的图像处理方法包含：通过二维地配置有多个相位差检测用像素和多个普通像素的成像元件，在动态图像的拍摄中从成像元件依次获取具有多个相位差检测用像素的像素值及多个普通像素的像素值的帧图像的动态图像的时间顺序的各帧图像的步骤；根据所获取的时间顺序的过去帧图像，计算在当前帧图像的相位差检测用像素的像素值的增益插值中使用的增益值的步骤；使用增益值，对当前帧图像的相位差检测用像素的像素值进行插值的步骤；及根据已进行插值的当前帧图像的相位差检测用像素的像素值及普通像素的像素值，生成当前帧图像的显示用图像的步骤。

优选图像处理方法包含：根据位于当前帧图像的相位差检测用像素的周边区域的普通像素的像素值，计算周边像素值的步骤；及使用周边像素值，进行当前帧图像的相位差检测用像素的像素值的插值。

优选图像处理方法包含：控制使用增益值对当前帧图像的相位差检测用像素的像素值进行插值的第1增益插值部和使用周边像素值对当前帧图像的相位差检测用像素的像素值进行插值的周边像素插值部的动作，且当计算增益值时，使第1增益插值部进行插值，未计算出增益值时，使周边像素插值部进行插值的步骤。

作为本发明的另一方式的程序，其使计算机执行图像处理工序，该图像处理工序包含：通过二维地配置有多个相位差检测用像素和多个普通像素的成像元件，在动态图像的拍摄中从成像元件依次获取具有相位差检测用像素的像素值及多个普通像素的像素值的帧图像的动态图像的时间顺序的各帧图像的步骤；根据所获取的时间顺序的过去帧图像，计算在当前帧图像的多个相位差检测用像素的像素值的增益插值中使用的增益值的步骤；使用增益值，对当前帧图像的相位差检测用像素的像素值进行插值的步骤；及根据已进行插值的当前帧图像的相位差检测用像素的像素值及普通像素的像素值，生成当前帧图像的显示用图像的步骤。

发明效果

根据本发明，根据时间顺序的过去帧图像，计算在当前帧图像的相位差检测用像素的像素值的增益插值中使用的增益值，使用该计算出的增益值对当前帧图像的相位差检测用像素的像素值进行插值，因此即使在生成要求实时性的显示用图像时，也能够对相位差检测用像素的像素值进行增益插值，能够生成图像质量良好的显示用图像。

附图说明

图1是表示摄像装置的一例的立体图。

图2是图1所示的摄像装置的后视图。

图3是表示图1所示的摄像装置的内部结构的一例的框图。

图4是表示成像元件的滤色器排列的图。

图5是示意地示出一对第1相位差检测用像素za及第2相位差检测用像素zb的俯视图。

图6是表示第1相位差检测用像素za及第2相位差检测用像素zb的结构的主要部分放大图。

图7是表示图像处理装置的功能结构例的框图。

图8是表示时间顺序的各帧的图。

图9是表示图像处理装置的功能结构例的框图。

图10是从曝光至图像的显示的时序图。

图11是表示图像处理装置的显示动作流程的图。

图12是从曝光至图像的显示的时序图。

图13是表示图像处理装置的显示动作流程的图。

图14是表示图像处理装置的功能结构例的框图。

图15是表示图像处理装置的显示动作流程的图。

图16是表示图像处理装置的显示动作流程的图。

图17是表示图像处理装置的功能结构例的框图。

图18是表示图像处理装置的显示动作流程的图。

图19是从曝光至图像的显示的时序图。

图20是表示作为摄像装置的一实施方式的智能手机的外观的图。

图21是表示图20所示的智能手机的内部结构的框图。

具体实施方式

以下，根据附图对本发明所涉及的图像处理装置、图像处理方法及程序的优选实施方式进行说明。

图1及图2分别是表示摄像装置的一例(数码相机)的立体图及后视图。该摄像装置10是通过成像元件接收通过透镜的光，转换为数字信号并作为静态图像或动态图像的图像数据来记录于记录介质的数码相机。

如图1所示，摄像装置10中，在其正面配设有摄影透镜12、闪光灯1等，在上表面配设有快门按钮2、电源和/或模式开关3、模式转盘4等。另一方面，如图2所示，在相机背面配设有液晶显示器(lcd：liquidcrystaldisplay)30、变焦按钮5、十字按钮6、菜单和/或确认(menu和/或ok)按钮7、播放按钮8、返回按钮9等。

摄影透镜12由伸缩式的变焦透镜构成，通过电源和/或模式开关3将相机的工作模式设定为摄影模式，由此从相机主体伸出。闪光灯1朝向主要被摄体照射闪光灯光。

快门按钮2由所谓的包括“半按”及“全按”的二级行程式开关构成，作为摄影准备指示部而发挥功能，并且作为图像的记录指示部而发挥功能。

若作为摄影模式选择静态图像摄影模式且快门按钮2被“半按”，则摄像装置10进行执行af和/或ae(自动曝光，autoexposure)控制的摄影准备动作，若快门按钮2被“全按”，则摄像装置10进行静态图像的摄像及记录。

并且，若作为摄影模式选择动态图像摄影模式且快门按钮2被“全按”，则摄像装置10开始动态图像的录像，若快门按钮2再次被“全按”，则摄像装置10停止录像而成为待机状态。

电源和/或模式开关3兼具作为打开或关闭摄像装置10的电源的电源开关的功能和作为设定摄像装置10的模式的模式开关的功能，配设成在“关闭(off)位置”、“播放位置”及“摄影位置”之间滑动自如。摄像装置10使电源和/或模式开关3滑动来对位于“播放位置”或“摄影位置”，由此电源打开(on)，通过对位于“关闭(off)位置”，电源关闭。并且，通过使电源和/或模式开关3滑动来对位于“播放位置”，设定为“播放模式”，通过对位于“摄影位置”，设定为“摄影模式”。

模式转盘4作为设定摄像装置10的摄影模式的模式切换部而发挥功能，通过该模式转盘4的设定位置，摄像装置10的摄影模式设定为各种模式。例如为进行静态图像摄影的“静态图像摄影模式”、进行动态图像摄影的“动态图像摄影模式”等。

液晶显示器30进行摄影模式时的即时预览图像、预览图像、后浏览图像的显示、播放模式时的静态图像或动态图像的显示，并且进行菜单画面的显示等，由此作为图形用户界面的一部分而发挥功能。

变焦按钮5作为指示变焦的变焦指示机构而发挥功能，且由指示向长焦侧变焦的长焦按钮5t及指示向广角侧变焦的广角按钮5w构成。摄像装置10在摄影模式时，通过该长焦按钮5t和广角按钮5w被操作，摄影透镜12的焦距发生变化。并且，播放模式时，通过该长焦按钮5t和广角按钮5w被操作，播放中的图像放大、缩小。

十字按钮6为输入上下左右这4个方向的指示的操作部，作为从菜单画面选择项目或指示从各菜单选择各种设定项目的按钮(光标移动操作机构)而发挥功能。左及右键作为播放模式时的帧传送(正向及逆向传送)按钮而发挥功能。

菜单/确认按钮7为兼具作为菜单按钮的功能和作为确认按钮的功能的操作按钮，所述菜单按钮用于执行在液晶显示器30的画面上显示菜单的指令，所述确认按钮发出选择内容的确定及执行等的指令。

播放按钮8为用于切换为将已摄影记录的静态图像或动态图像显示于液晶显示器30的播放模式的按钮。

返回按钮9作为指示取消输入操作或返回前一个操作状态的按钮而发挥功能。

另外，本实施方式所涉及的摄像装置10中，也可以不对按钮及开关类设置固有的部件，而是通过设置触摸面板并操作该触摸面板，实现这些按钮及开关类的功能。

图3是表示摄像装置10的内部结构的实施方式的框图。该摄像装置10将所拍摄的图像记录于存储卡54，整个装置的动作通过中央处理装置(cpu：中央处理器，centralprocessingunit)40综合控制。

在摄像装置10中设置有快门按钮2、电源和/或模式开关3、模式转盘4、长焦按钮5t、广角按钮5w、十字按钮6、菜单/确认按钮7、播放按钮8、返回按钮9等操作部38。来自该操作部38的信号输入至cpu40，cpu40根据输入信号控制摄像装置10的各电路，例如，进行成像元件16的驱动控制、透镜驱动控制、光圈驱动控制、摄影动作控制、图像处理控制、图像数据的记录和/或再生控制及液晶显示器30的显示控制等。

若通过电源和/或模式开关3打开摄像装置10的电源，则从未图示的电源部向各块进行供电，开始摄像装置10的驱动。

透过摄影透镜12、光圈14、机械快门(mechanicalshutter)15等的光束成像于作为cmos(互补金属氧化物半导体，complementarymetal-oxidesemiconductor)型彩色图像传感器的成像元件16。另外，成像元件16并不限于cmos型，也可以是xy地址型或ccd(电荷耦合元件，chargecoupleddevice)型彩色图像传感器。

成像元件16中，二维排列有多个受光元件(光电二极管)，成像于各光电二极管的受光面的被摄体像转换为与其入射光量相应的量的信号电压(或电荷)，经由成像元件16内的a/d(模拟/数字，analog/digital)转换器转换为数字信号并输出。

成像元件16中，在由沿水平方向及垂直方向二维地排列的光电转换元件(光电二极管)构成的多个像素上，以以下例示的第1周期的颜色排列配设有滤色器。并且，成像元件16中配置有多个相位差检测用像素和摄像用的多个普通像素(相位差检测用像素以外的像素)。

如图5所示，相位差检测用像素具有光瞳分割用开口部，由相对于水平方向的开口部的位置互不相同的第1相位差检测用像素za及第2相位差检测用像素zb构成，一对第1相位差检测用像素za和第2相位差检测用像素zb以开口部相互相对的方式相邻配置。另外，关于第1相位差检测用像素za及第2相位差检测用像素zb的结构的详细内容，将在后面进行叙述。

图4是表示成像元件16的滤色器排列及相位差检测用像素的配置的图。

如图4所示，在成像元件16的多个普通像素，以第1周期的颜色排列配置有与第1颜色(绿色)对应的第1滤波器、分别与绿色以外的2个颜色以上的各颜色(红色及蓝色)对应的多个第2滤波器中的任意滤色器。第1实施方式的成像元件16的滤色器的第1周期的颜色排列为通常的拜耳排列。另外，第1滤波器为使绿色的波长频带的光透射的g滤波器，多个第2滤波器为使红色的波长频带的光透射的r滤波器和使蓝色的波长频带的光透射的b滤波器。

具有拜耳排列的成像元件16中，沿水平方向(行方向)仅配置有普通像素的普通像素行有：具有r滤波器的像素(r像素)和具有g滤波器的像素(g像素)沿行方向交替配置的rg行及g像素；及具有b滤波器的像素(b像素)沿行方向交替配置的gb行。并且，rg行和gb行沿垂直方向(列方向)交替配置。

并且，本例的第1相位差检测用像素za及第2相位差检测用像素zb中分别配置有g滤波器。另外，第1相位差检测用像素za及第2相位差检测用像素zb中，例如也可以不配置g滤波器，从而使比g滤波器的透射波长区域更宽的波长区域的光能够入射。

成像元件16的第1相位差检测用像素za及第2相位差检测用像素zb和普通像素周期性地沿行方向配置的相位差检测用像素行设置于每隔多行的gb行，在与相位差检测用像素行相邻的至少2行仅配置普通像素行。

并且，关于本例的相位差检测用像素行，将一对第1相位差检测用像素za及第2相位差检测用像素zb和1个普通像素这3个像素作为1个周期而周期性地排列。因此，在相位差检测用像素行，g像素和b像素沿行方向每隔2个像素(一对第1相位差检测用像素za及第2相位差检测用像素zb)而交替配置。

另外，本例的相位差检测用像素行设置于拜耳排列的gb行，但并不限定于此，也可以设置于rg行。

可将构成动态图像的1帧的图像(帧图像)的图像尺寸设为小于所有像素的静态图像。即，动态图像摄影模式中，成像元件16被间拔驱动，由此能够实现低功率及高速处理。并且，进行即时预览显示时，也可以缩小图像尺寸。另外，与本说明的帧图像对应的图像数据包含相位差检测用像素的像素值。

图5是示意地表示一对第1相位差检测用像素za及第2相位差检测用像素zb的俯视图。

如图5所示，第1相位差检测用像素za在像素的右半部分具有开口部，第2相位差检测用像素zb在像素的左半部分具有开口部。即，一对第1相位差检测用像素za和第2相位差检测用像素zb的开口部相互面对。

普通像素和相位差检测用像素中像素特性不同，因此为了获得优质的图像质量，需要在对相位差检测用像素适当地进行校正的基础上生成显示用图像。

图6是表示第1相位差检测用像素za及第2相位差检测用像素zb的结构的主要部分放大图。

如图6所示，在第1相位差检测用像素za的光电二极管pd的前面侧(微透镜l侧)配设有遮光部件16a，另一方面，在第2相位差检测用像素zb的光电二极管pd的前面侧配设有遮光部件16b。微透镜l及遮光部件16a、16b具有光瞳分割功能，在图6上，遮光部件16a对光电二极管pd的受光面的左半部分进行遮光。因此，在第1相位差检测用像素za仅接收通过摄影透镜12的射出光瞳的光束中通过光轴的左侧的光束。并且，本例中，作为滤色器cf，g滤波器配置于微透镜l的下方。

遮光部件16b对第2相位差检测用像素zb的光电二极管pd的受光面的右半部分进行遮光。因此，在第2相位差检测用像素zb仅接收通过摄影透镜12的射出光瞳的光束中通过光轴的右侧的光束。如此，通过具有光瞳分割功能的微透镜l及遮光部件16a、16b，通过射出光瞳的光束被分割为左右，分别入射于第1相位差检测用像素za及第2相位差检测用像素zb。

回到图3，在动态图像或静态图像的摄影时从成像元件16读出的图像信号(图像数据)经由图像输入控制器22暂时存储于存储器(sdram(同步动态随机存储存储器，synchronousdynamicrandomaccessmemory))48，或者读入af处理部42、ae检测部44等。

cpu40根据操作部38中的操作对摄像装置10的各部进行综合控制，但在即时预览图像的摄影(显示)及动态图像的摄影(记录)中始终进行af动作及ae动作。

作为相位差检测部发挥功能的af处理部42是进行相位差af处理的部分，使用经由图像输入控制器22获取的第1相位差检测用像素za、第2相位差检测用像素zb的各输出信号来检测相位差。

若从af处理部42输入表示相位差的相位差数据，则cpu40作为根据相位差数据进行相位差af的焦点调节部发挥功能。即，cpu40根据相位差数据计算基于摄影透镜12的焦点位置与成像元件16的成像面之间的偏离量(散焦量)，以计算出的散焦量成为零的方式经由透镜驱动部36移动摄影透镜12内的聚焦透镜。另外，散焦量的计算也可以通过af处理部42进行。

ae检测部44对经由图像输入控制器22获取的图像数据(例如，整个画面的g像素的像素值)进行积算，或对在画面中央部和周边部进行不同的权重的图像数据(g像素的像素值)进行积算，并将其积算值输出至cpu40。cpu40根据从ae检测部44输入的积算值计算被摄体的明度(摄影ev值(exposurevalue))。摄影模式为静态图像摄影模式时，若有快门按钮2的第1阶段的按压(半按)，则cpu40再次进行前述af控制，若有快门按钮2的全按，则计算被摄体的明度(摄影ev值)，根据计算出的摄影ev值并根据程序线图确定基于光圈14的f值及机械快门15的曝光时间(快门速度)，进行静态图像的摄影(曝光控制)。

另一方面，摄影模式为动态图像摄影模式时，若有快门按钮2的全按，则cpu40开始动态图像的摄影及记录(录像)。另外，在动态图像摄影时，开放机械快门15，从成像元件16连续读出图像数据(例如，作为帧速率，30帧/秒、60帧/秒)来连续进行相位差af，并且计算被摄体的明度，通过快门驱动部33控制快门速度(基于滚动快门的电荷积蓄时间)和/或基于光圈驱动部34的光圈14。

cpu40根据来自变焦按钮5的变焦指令经由透镜驱动部36使变焦透镜沿光轴方向进行进退动作，从而变更焦距。

并且，rom47为存储有相机控制程序、成像元件16的缺陷信息、图像处理等中使用的各种参数或表的rom(只读存储器，readonlymemory)或eeprom(电可擦可编程只读存储器，electricallyerasableprogrammableread-onlymemory)。

图像处理部24读出在动态图像或静态图像的摄影时经由图像输入控制器22获取且暂时存储于存储器48的未处理的图像数据(raw数据)。图像处理部24对所读出的raw数据进行偏移处理、像素插值处理(相位差检测用像素、缺陷像素等的插值处理)、白平衡校正、包含灵敏度校正的增益控制处理、伽马校正处理、同步化处理(还称为“去马赛克处理”)、亮度及色差信号生成处理、轮廓增强处理及色彩校正等。

通过图像处理部24进行了处理的图像数据且作为即时预览图像进行了处理的图像数据被输入至vram(图像随机存储器，videoramrandomaccessmemory)50。

vram50中包含分别记录表示1帧量的图像的图像数据的a区域及b区域。vram50中，表示1帧量的图像的图像数据在a区域和b区域交替改写。vram50的a区域及b区域中，从除图像数据被改写的一侧的区域以外的区域读出所写入的图像数据。

从vram50读出的图像数据在视频编码器28中被编码，并输出至设置于相机背面的液晶显示器30。

通过图像处理部24进行了处理的图像数据且作为记录用静态图像或动态图像进行了处理的图像数据(亮度数据(y)及色差数据(cb)、(cr))再次存储于存储器48。

在记录静态图像或动态图像时，压缩/扩展处理部26对通过图像处理部24进行了处理并存储于存储器48的亮度数据(y)及色差数据(cb)、(cr)实施压缩处理。在静态图像的情况下，例如以jpeg(联合图像专家组，jointphotographiccodingexpertsgroup)形式进行压缩，在动态图像的情况下，例如以h.264形式进行压缩。通过压缩/扩展处理部26压缩的压缩图像数据经由介质控制器52记录于存储卡54。

并且，在播放模式时，压缩/扩展处理部26对经由介质控制器52从存储卡54获得的压缩图像数据实施扩展处理。介质控制器52进行压缩图像数据对存储卡54的记录及读出等。

作为自动聚焦控制部发挥功能的cpu40在进行相位差af时，向传感器驱动部32输出读出成像元件16的至少af区域内的相位差检测用像素行的图像数据的读出指令，从成像元件16读出所对应的图像数据。

在动态图像(包含即时预览图像)的摄影及显示时，cpu40从成像元件16获取用于对图像数据进行间拔读出的间拔率。该间拔率可以是预先设定的固定值，也可以设为能够由用户从多个间拔率中选择。例如，能够与动态图像的图像尺寸的选择或者帧速率的选择联动而设定最佳间拔率。另外，设为进行间拔读出的行中包含相位差检测用像素行。

cpu40将表示与间拔率相应的间拔图案(提取图案)的读出指令输出至传感器驱动部32，从成像元件16间拔读出图像数据。

af处理部42从所读出的相位差检测用像素行提取af区域内的相位差检测用像素(第1相位差检测用像素za及第2相位差检测用像素zb)的输出数据，检测第1相位差检测用像素za的输出数据与第2相位差检测用像素zb的输出数据的相位差。例如，从一对第1相位差检测用像素za的第1相位差检测用像素za的输出数据与第2相位差检测用像素zb的第2相位差检测用像素zb的输出数据之间的相关变得最大时(一对相位差检测用像素的各像素值的差分绝对值的积算值变得最小时)的第1相位差检测用像素za的输出数据与第2相位差检测用像素zb的输出数据之间的左右方向的移位量求出相位差。

并且，能够计算对所求出的移位量进行与一对第1相位差检测用像素za和第2相位差检测用像素zb的水平方向的位置偏离量相应的校正的值作为相位差数据。另外，相位差的计算方法并不限于上述方法，能够适用各种方法。

接着，cpu40根据通过af处理部42检测的相位差数据计算基于摄影透镜12(摄像光学系统)的焦点位置与成像元件16的成像面的偏离量(散焦量)。另外，散焦量的计算也可以通过af处理部42进行。

cpu40根据计算出的散焦量，以散焦量成为零的方式经由透镜驱动部36移动摄影透镜12内的聚焦透镜，由此进行相位差af。

成像元件16中，一对第1相位差检测用像素za和第2相位差检测用像素zb以开口部相互面对的方式相邻配置，因此一对第1相位差检测用像素za与第2相位差检测用像素zb的间隔变得最小。由此，能够使相位差的空间采样频率最大，与一对第1相位差检测用像素和第2相位差检测用像素隔着普通像素而分开配置的情况相比，能够以高精度进行针对空间频率高的被摄体的相位差af。

另外，能够在动态图像生成时从成像元件16间拔读出的行中包含具有相位差检测用像素(第1相位差检测用像素za及第2相位差检测用像素zb)的相位差检测用像素行，在动态图像的摄影中也能够适当地进行相位差af。

＜第1实施方式＞

对本发明的第1实施方式进行说明。图7是表示本实施方式的图像处理装置60的功能结构例的框图。另外，图像处理装置60设置于摄像装置10。

本实施方式的图像处理装置60具备传感器61、接口63、存储器48、增益值计算部67、相位差像素插值部69、显示用图像生成部73及显示部75。

传感器61通过成像元件16实现，如上述，成像元件16中二维地配置有多个相位差检测用像素和多个普通像素。

接口63作为图像获取部发挥功能，并通过图像输入控制器22实现。接口63在动态图像的拍摄中从成像元件16依次获取具有多个相位差检测用像素的像素值及多个普通像素的像素值的帧图像的动态图像的时间顺序的各帧图像。接口63能够将从传感器61输出的像素数据置于(存储于)存储器48，并且，还能够不经由存储器48而向后段的电路传送像素数据。并且，还能够读入置于存储器48的像素数据并发送至后段的电路。生成即时预览图像时，为了确保实时性，优选接口63不经由存储器48而向后段处理传送从传感器61输出的像素数据。因此，生成即时预览图像时，没有足够的时间将像素数据置于存储器48来计算增益值，并进行增益插值。

图8是概念性地表示输入至接口63的动态图像的时间顺序的各帧的图。输入至接口63的帧图像以第1帧201、第2帧202及第3帧203的方式依次连续而继续。例如，对第2帧202的相位差检测用像素的像素值进行插值时，第2帧202成为当前帧，第1帧201成为过去帧。并且，对第3帧203的相位差检测用像素的像素值进行插值时，第3帧203成为当前帧，第2帧202成为过去帧。另一方面，对第1帧201的相位差检测用像素的像素值进行插值时，第1帧201成为当前帧，但第1帧201成为最初的帧，因此不存在过去帧。

回到图7，如上述，存储器48由sdram构成。

增益值计算部67根据通过图像获取部获取的时间顺序的过去帧图像，计算在当前帧图像的相位差检测用像素的像素值的增益插值中使用的增益值。

增益值根据像高(画面内的位置)而发生变化。因此，增益值计算部67例如将帧图像面分割为k×l区，在各区计算增益值。另外，为了便于说明，将相对于1个帧的多个增益值称为增益值组。

增益值计算部67仅利用紧前的帧(过去帧)计算增益值时，增益值计算部67将利用紧前的帧(过去帧)计算出的增益值组直接用于当前帧。

并且，增益值计算部67也可以计算多个过去帧图像的相位差检测用像素与普通像素的信号比，从而计算增益值。

此时，增益值计算部67将分别利用过去n帧计算出的n组的增益值按每个区进行平均化而用于当前帧。

具体而言，将帧编号设为k(当前帧为0，随着向过去回溯而设为1、2、3、……)，将计算增益值的区的坐标设为(x,y)，将k帧的(x,y)的增益值定义为g(k,x,y)。遍及过去n帧而对相同区的增益值进行平均化，因此如下计算适用于当前帧的增益值组g’(x,y)。

[数式1]

作为更优选的方式，事先准备每个帧的权重w(k)并设为如下。

[数式2]

w(k)在不用于平均化的帧中设为0，在用于平均化的帧中设为1。例如，当前帧曝光时的光圈f1和第k个过去帧曝光时的光圈f2的差异在规定以上时，将第k个的w(k)设为0。另外，关于根据当前帧的摄像条件和过去帧的摄像条件的变化量改变增益值的计算的方式，将在图16中进行详细说明。

增益值计算部67通过分析raw数据来计算增益值。具体而言，将raw数据分割为k×l区，在各区中计算g像素的平均值gave和相位差检测用像素的平均值pave，增益值作为gave/pave来计算。此时，区内曝光不足时，gave和pave成为极小的值，无法精度良好地计算增益值。并且，区内饱和时，也无法精度良好地计算增益值。因此，这种区的增益值优选不用于通过上述(式1)及(式2)示出的平均化。

因此，按每个区设置(式2)中的权重w(k)。即，将权重表示为w(k,x,y)，在第k个帧中，认为(x,y)的区的增益值的精度低时，设为w(k,x,y)＝0。更具体而言，进行增益值计算的区内的g像素中，其电平为阈值th1以上且阈值th2以下的像素的数小于阈值th3时，认为增益值的精度低，调整w(k,x,y)的值。

相位差像素插值部69通过图像处理部24实现，并具备第1增益插值部71。第1增益插值部71使用通过增益值计算部67计算出的增益值，对当前帧图像的相位差检测用像素的像素值进行插值。即，第1增益插值部71将相位差检测用像素的像素值乘以通过增益值计算部67计算出的增益值，以填补相位差检测用像素的灵敏度下降量，由此进行使信号电平与普通像素一致的插值。

显示用图像生成部73通过图像处理部24实现，根据通过第1增益插值部71进行了插值的当前帧图像的相位差检测用像素的像素值及普通像素的像素值生成当前帧图像的显示用图像。即，显示用图像生成部73生成对相位差检测用像素的像素值进行了插值的当前帧的显示用图像。

显示部75显示通过显示用图像生成部73生成的显示用图像。显示部75在液晶显示器30显示显示用图像。例如，显示部75在液晶显示器30显示即时预览图像、预览图像或后浏览图像。

＜第2实施方式＞

接着，对本发明的第2实施方式进行说明。本实施方式中，对相位差检测用像素的像素值，与增益插值一同进行根据周边像素值进行的周边像素插值。

图9是表示本实施方式的图像处理装置60的功能结构例的框图。另外，对图7中已进行说明的部分，标注相同符号并省略说明。

周边像素值计算部77通过cpu40实现，根据位于当前帧图像的相位差检测用像素的周边区域的普通像素的像素值计算周边像素值。例如，周边像素值计算部77通过对进行插值的关注像素(相位差检测用像素)的周边像素的像素值进行加权平均，计算周边像素值。在此，周边像素根据插值的精度和摄像条件适当确定，例如为以关注像素为中心的3×3、5×5、7×7的范围的普通像素。另外，周边像素值计算部77能够通过加权平均以外的公知的方法计算周边像素值。

相位差像素插值部69具备第1增益插值部71、插值控制部79及周边像素插值部81。

周边像素插值部81使用周边像素值，对当前帧图像的相位差检测用像素的像素值进行插值。即，周边像素插值部81将对关注像素(相位差检测用像素)周边的普通像素的像素值进行加权平均来求出的周边像素值作为关注像素的像素值，由此对关注像素的像素值进行插值。

插值控制部79控制第1增益插值部71和周边像素插值部81的动作。例如，当增益值计算部67计算出增益值时，插值控制部79使第1增益插值部71进行插值，当增益值计算部67未计算出增益值时，插值控制部79使周边像素插值部81进行插值。

(显示例1)

接着，对第2实施方式中的显示用图像向液晶显示器30的显示例进行说明。在显示例1中，是仅用周边像素插值对在第1帧中使用的相位差检测用像素的像素值进行插值的情况。

图10是在从向成像元件16的曝光至即时预览图像的显示的时序图中追记增益值计算的时刻的时序图。

图10中分别记载有(a)vd同步信号、(b)曝光及读出、(c)即时预览图像生成处理、(d)增益值计算及(e)向液晶显示器30的显示的序列。

图10所示的情况下，对滚动快门方式的成像元件16进行曝光。曝光之后，结合vd(垂直驱动，verticaldriving)同步信号(图10(a))，包含各行的像素值的像素数据依次传送至asic(专用集成电路，applicationspecificintegratedcircuit)(图10(b)的“读出”)。在此，asic具有接口63、增益值计算部67、周边像素值计算部77、相位差像素插值部69(插值控制部79、第1增益插值部71及周边像素插值部81)、显示用图像生成部73的功能。

asic对从传感器61接收的像素数据进行处理，生成即时预览图像。asic的处理中，有由相位差像素插值部69进行的相位差检测用像素的像素值的插值和通过显示用图像生成部73进行的其他处理(图10(c))。在此，其他处理表示去马赛克或降噪及轮廓增强等在即时预览图像生成中使用的一般的信号处理。在此，当前进行处理的帧为第1帧时，asic的插值控制部79使周边像素插值部81进行相位差检测用像素的像素值的插值。

接着，通过asic，自传感器的读出全部结束之后，根据所读出的像素值计算增益值(图10(d))。该计算出的增益值无法及时显示于当前帧图像的液晶显示器30，因此在下一帧图像的插值处理中使用。

在此，相位差检测用像素的密度高时周边像素插值的精度下降，因此优选积极使用增益插值进行插值。另一方面，为了进行增益插值，需要事先计算相位差检测用像素与普通像素的信号比(＝在增益插值中使用的增益值)。信号比计算与即时预览处理相比，需要使用大量的行数据，因此必需在暂且在存储器48展开像素数据的基础上计算信号比，在时机上很难将计算出的信号比适用于当前帧。

即，从使显示用图像的图像质量良好的观点考虑，优选在计算出增益值之后进行针对当前帧图像的相位差检测用像素的插值。但是，为了确保即时预览显示中要求的实时性，增益值计算所花费的时间会成为问题。即，若计算增益值来进行增益插值，则很难确保即时预览显示的实时性。因此，本发明中，在开始即时预览显示来生成第1帧的显示图像时，不存在适当的增益值时，仅用周边像素插值对相位差检测用像素的像素值进行插值来生成显示图像。

另外，本发明除了能够适用于电源打开时显示的即时预览显示以外，还能够适用于刚从播放模式切换为摄影模式之后的即时预览显示时、或从将包含相位差检测用像素的行不作为输出对象的驱动模式切换为将该行作为输出对象的驱动模式之后的即时预览显示。

图11是表示图像处理装置60的即时预览图像的显示动作流程的图。

首先，输出即时预览显示开始指示(步骤s101)。例如，在摄像装置10的电源开关和/或模式开关3打开的同时通过cpu40输出即时预览显示开始指示。在相机启动之后或进行静态图像摄影之后等开始即时预览显示时，为了确定即时预览显示的曝光量而进行测光(初次测光)(步骤s102)。但是，例如，还能够用即将开始即时预览显示之前的静态图像摄影时的测光结果代替初次测光。

之后，接收初次测光的结果，设定即时预览显示的曝光参数(光圈、iso灵敏度、快门速度、即时预览时的传感器帧速率)(步骤s103)，用vd同步信号(按每个帧)进行曝光及像素数据的读出(步骤s104)。另外，测光通过在摄像装置10的内部具备的测光传感器进行，曝光参数的设定通过cpu40进行，读出通过接口63进行。

利用所获取的像素数据进行测光(步骤s105)，通过cpu40确定下一帧用的曝光参数(步骤s106)。而且，利用像素数据，通过增益值计算部67计算增益插值用的增益值(步骤s107)。

之后，通过插值控制部79判定当前帧是否为第1帧(步骤s108)，当前帧为第1帧时，即，增益值计算部67未计算出增益值时，通过插值控制部79，由周边像素插值部81进行周边像素插值，仅用周边像素插值对相位差检测用像素进行插值(步骤s109)。

另一方面，当前帧不是第1帧时，即，增益值计算部67计算增益值时，通过插值控制部79，通过周边像素插值部81或用增益插值对相位差检测用像素进行插值(步骤s110)。另外，此时的相位差检测用像素的插值考虑摄像情况、帧图像的状态而进行，插值控制部79仅使第1增益插值部71进行插值，或使第1增益插值部71及周边像素插值部81进行插值。例如，插值控制部79根据帧图像的频率成分和/或根据对焦程度，控制第1增益插值部71和周边像素插值81的动作。

之后，通过显示用图像生成部73，进行即时预览图像的生成(步骤s111)，向液晶显示器30或evf(电视寻像器，electricviewfinder)显示显示用图像(步骤s112)。之后，例如，通过cpu40进行是否继续即时预览显示的判定(步骤s113)，继续即时预览显示时，根据计算出的曝光参数设定曝光参数。另一方面，不继续即时预览显示时，结束处理。

上述实施方式中，执行各种处理的处理部(处理单元，processingunit)的硬件结构为如下示出的各种处理器(processor)。作为各种处理器，包含执行软件(程序)来作为各种处理部发挥功能的通用的处理器即cpu(中央处理器，centralprocessingunit)、fpga(现场可编程门阵列，fieldprogrammablegatearray)等能够在制造之后变更电路结构的处理器即可编程逻辑器件(programmablelogicdevice：pld)、asic(专用集成电路，applicationspecificintegratedcircuit)等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。

1个处理部可由这些各种处理器中的1个构成，也可以通过相同种类或不同种类的2个以上的处理器(例如，多个fpga的组合或者cpu和fpga的组合)构成。并且，也可以由1个处理器构成多个处理部。作为由1个处理器构成多个处理部的例子，第1，有如客户机及服务器等计算机为代表，由1个以上的cpu和软件的组合构成1个处理器，该处理器作为多个处理部发挥功能的方式。第2，有如系统芯片(systemonchip:soc)等为代表，使用通过1个ic(集成电路，integratedcircuit)芯片实现包含多个处理部的整个系统的功能的处理器的方式。如此，各种处理部作为硬件结构利用上述各种处理器的1个以上来构成。

而且，作为这些各种处理器的硬件结构，更具体而言，为组合了半导体元件等电路元件的电路(circuitry)。

上述各结构及功能能够通过任意的硬件、软件或者两者的组合来适当实现。例如，对使计算机执行上述处理步骤(处理顺序)的程序、记录有这种程序且计算机能够读取的记录介质(非暂时性记录介质)、或者能够安装这种程序的计算机，也能够适用本发明。

(显示例2)

接着，对第1实施方式及第2实施方式中的即时预览图像向液晶显示器30的显示例进行说明。显示例2中，第1帧图像不计算增益值而无法进行增益插值，因此不显示第1帧图像。

图12与图9同样地，是在从向成像元件16的曝光至即时预览图像的显示的时序图中追记增益值计算的时刻的时序图。图11的时序图与图9的时序图相比，不同点在于第1帧不显示于液晶显示器30。

关于第1帧图像，对从传感器61接收的像素数据进行处理，通过增益值计算部67计算增益值(图10(d))。然而，由于不进行第1帧图像的显示，因此不进行基于周边像素插值部81的插值及通过显示用图像生成部73进行的第1帧的显示用图像的生成。

在第2帧图像之后，如图10中已说明，根据通过增益值计算部87计算出的增益值进行插值，进行与液晶显示器30对应的即时预览图像的显示。

图13是表示图像处理装置60的显示动作流程的图。

首先，通过cpu40输出即时预览显示开始指示(步骤s201)。之后，进行初次测光(步骤s202)，设定曝光参数(步骤s203)。测光通过在摄像装置10的内部具备的测光传感器进行，曝光参数的设定通过cpu40进行。

并且，根据所设定的曝光参数进行曝光，通过接口63从所曝光的像素读出像素值(步骤s204)，通过测光传感器进行测光(步骤s205)，通过cpu40确定下一帧用的曝光参数(步骤s206)，通过增益值计算部87计算下一帧用的相位差检测用像素与普通像素的信号比(步骤s207)。

之后，通过插值控制部79判定当前帧是否为第1帧(步骤s208)，当前帧不是第1帧时，即，增益值计算部67计算增益值时，通过插值控制部79，通过周边像素插值部81或用增益插值对相位差检测用像素进行插值(步骤s209)。

之后，通过显示用图像生成部73进行即时预览图像的生成(步骤s210)，向液晶显示器30或evf显示显示用图像(步骤s211)。

另一方面，当前帧为第1帧时，即，增益值计算部67未计算出增益值时，并不通过显示用图像生成部73进行显示用图像的生成。即，第1帧并不显示于液晶显示器30。

之后，例如，通过cpu40进行是否继续即时预览显示的判定(步骤s212)，继续即时预览显示时，根据计算出的曝光参数设定曝光参数。另一方面，不继续即时预览显示时，结束处理。

＜第3实施方式＞

接着，对本发明的第3实施方式进行说明。本实施方式中，根据推断出的增益值对相位差检测用像素的像素值进行插值。

图14是表示本实施方式的图像处理装置60的功能结构例的框图。另外，对图7中已进行说明的部分，标注相同符号并省略说明。

本实施方式的图像处理装置60具备传感器61、接口63、存储器48、增益值计算部67、相位差像素插值部69、显示用图像生成部73、显示部75、周边像素值计算部77、参数获取部85及推断增益值计算部87。

参数获取部85通过cpu40实现，获取用于推断增益值的信息即增益值推断参数。例如，当摄像装置10为镜头可换式相机时，在透镜侧与机身侧进行通信，参数获取部85从透镜侧获取透镜的特性及用于推断增益值的增益值参数。

参数获取部85所获取的增益值推断参数包含与成像元件16接收的光束所通过的透镜光瞳的形状相关的信息及与相位差检测用像素和普通像素的入射光线角度特性相关的信息中的至少一个。增益值较大地受到透镜光瞳形状的影响，透镜光瞳形状根据f值及聚焦透镜位置等而发生变化。作为与透镜光瞳的形状相关的信息，例如可举出表示光圈14的状态的f值或聚焦透镜位置。

推断增益值计算部87根据通过参数获取部85获取的增益值推断参数计算推断增益值。例如，推断增益值计算部87根据透镜光瞳形状、相位差检测用像素与普通像素的入射光线角度特性，计算推断增益值。

第2增益插值部83使用推断增益值对当前帧图像的相位差检测用像素的像素值进行插值。即，当推断增益值计算部87计算出推断增益值时，插值控制部79使第2增益插值部83进行插值。由此，即使在如第1帧那样增益值计算部67未计算出增益值时，也根据推断增益值，对相位差检测用像素的像素值进行增益插值。

(显示例3)

接着，对第3实施方式中的即时预览图像向液晶显示器30的显示例进行说明。显示例3与显示例1同样地，是仅用周边像素插值对在第1帧中使用的相位差检测用像素的像素值进行插值的情况。

图15是表示第3实施方式的图像处理装置60的显示例3的显示动作的流程图。

首先，通过cpu40输出即时预览显示的开始指示(步骤s301)。之后，进行初次测光(步骤s302)，设定曝光参数(步骤s303)。测光通过在摄像装置10的内部具备的测光传感器进行，曝光参数的设定通过cpu40进行。

并且，根据所设定的曝光参数进行曝光，通过接口63从所曝光的像素读出像素值(步骤s304)，进行测光(步骤s305)，通过cpu40确定下一帧用的曝光参数(步骤s306)，通过增益值计算部87计算下一帧用的相位差检测用像素和普通像素的增益值(步骤s307)。

之后，通过插值控制部79判定当前帧是否为第1帧(步骤s308)，当前帧不是第1帧时，即，增益值计算部67计算增益值时，判定是否能够通过参数获取部85进行透镜通信(步骤s309)。

无法进行透镜通信时，插值控制部79使周边像素插值部81对相位差检测用像素的像素值进行插值(步骤s310)，显示用图像生成部73生成显示用图像(步骤s311)。

另一方面，判定为能够通过参数获取部85进行透镜通信(步骤s309)，且判定为能够通过参数获取部85获取增益值推断参数(步骤s314)时，根据通过推断增益值计算部87获取的增益值推断参数计算增益值(步骤s315)。之后，插值控制部79通过第2增益插值部83或周边像素插值部81对相位检测用像素的像素值进行校正(步骤s316)，使显示用图像生成部73生成显示用图像(步骤s311)。

之后，通过显示部75将所生成的显示用图像显示于液晶显示器30或evf(步骤s312)。

之后，例如，通过cpu40进行是否继续即时预览显示的判定(步骤s313)，继续即时预览显示时，根据计算出的曝光参数设定曝光参数。另一方面，不继续即时预览显示时，结束处理。

(显示例4)

接着，对第3实施方式中的即时预览图像向液晶显示器30的显示例进行说明。显示例4中，透镜第1帧图像不计算增益值而无法进行增益插值，因此不显示第1帧图像。

安装有第三方制透镜时、或由于某些不良情况而无法进行相机机身与透镜之间的通信时、或即使能够进行通信但在透镜侧未存储有为了推断增益值而所需的参数时，推断增益值计算部87无法计算推断增益值。这种情况下，不进行第1帧图像的显示。即，当参数获取部85未获取增益值推断参数时，显示用图像生成部73仅生成当前帧图像的显示用图像。

图16是表示第3实施方式的图像处理装置60的显示例4的显示动作的流程图。

首先，通过cpu40输出即时预览显示的开始指示(步骤s401)。之后，进行初次测光(步骤s402)，设定曝光参数(步骤s403)。测光通过在摄像装置10的内部具备的测光传感器进行，曝光参数的设定通过cpu40进行。

并且，根据所设定的曝光参数进行曝光，通过接口63从所曝光的像素读出像素值(步骤s404)，进行测光(步骤s405)，通过cpu40确定下一帧用的曝光参数(步骤s406)，通过增益值计算部87计算下一帧用的相位差检测用像素和普通像素的增益值(步骤s407)。

之后，通过插值控制部79判定当前帧是否为第1帧(步骤s408)，当前帧不是第1帧时，即，增益值计算部67计算增益值时，判定是否能够通过参数获取部85进行透镜通信(步骤s409)。

无法进行透镜通信时，不生成与第1帧对应的显示用图像。

另一方面，判定为能够通过参数获取部85进行透镜通信(步骤s409)，且判定为能够通过参数获取部85获取增益值推断参数(步骤s410)时，根据通过推断增益值计算部87获取的增益值推断参数计算增益值(步骤s411)。之后，插值控制部79通过第2增益插值部83或周边像素插值部81对相位检测用像素的像素值进行插值(步骤s412)，使显示用图像生成部73生成显示用图像(步骤s413)。

之后，通过显示部75，将所生成的显示用图像显示于液晶显示器30或evf(步骤s414)。

之后，例如，通过cpu40进行是否继续即时预览显示的判定(步骤s415)，继续即时预览显示时，根据计算出的曝光参数设定曝光参数。另一方面，不继续即时预览显示时，结束处理。

＜第4实施方式＞

接着，对本发明的第4实施方式进行说明。本实施方式中，根据帧之间的摄像条件的变化量，对相位差检测用像素的像素值进行插值。

图17是表示本实施方式的图像处理装置60的功能结构例的框图。另外，对图7中已进行说明的部分，标注相同符号并省略说明。

本实施方式的图像处理装置60由传感器61、接口63、存储器48、增益值计算部67、相位差像素插值部69、显示用图像生成部73、显示部75、周边像素值计算部77、参数获取部85、推断增益值计算部87及摄像条件获取部89构成。

摄像条件获取部89通过cpu40实现，关于当前帧图像及过去帧图像，获取与摄像条件相关的信息。例如，摄像条件获取部89获取与成像元件16接收的光束所通过的光学系统的光圈14相关的信息。

当在当前帧图像及过去帧图像中，与摄像条件相关的信息的变化量为阈值以上时，插值控制部79使周边像素插值部81进行插值。例如，插值控制部79如下进行控制。为了追随曝光，在过去帧图像与当前帧图像之间f值发生大幅变化时，不应进行利用过去帧的增益值的增益插值。这种情况下，优选仅用周边像素插值进行相位差像素插值。因此，例如，利用过去帧曝光时的光瞳直径r1、当前帧曝光时的光瞳直径r2计算的变化量和预先确定的阈值th满足以下(式3)的条件时，插值控制部79判定为光瞳形状的变化大，使周边像素插值部81进行插值。

[数式3]

|1-(r1/r2)|＞th…(式3)

(显示例5)

图18是表示第4实施方式的图像处理装置60的显示例5的显示动作的流程图。

首先，通过cpu40输出即时预览显示的开始指示(步骤s501)。之后，进行初次测光(步骤s502)，设定曝光参数(步骤s503)。测光通过在摄像装置10的内部具备的测光传感器进行，曝光参数的设定通过cpu40进行。

并且，根据所设定的曝光参数进行曝光，通过接口63从所曝光的像素读出像素值(步骤s504)，进行测光(步骤s505)，通过cpu40确定下一帧用的曝光参数(步骤s506)，通过增益值计算部87计算下一帧用的相位差检测用像素和普通像素的增益值(步骤s507)。

之后，通过插值控制部79判定当前帧是否为第1帧(步骤s508)，当前帧不是第1帧时，即，增益值计算部67计算增益值时，通过摄像条件获取部89获取与当前帧图像及过去帧图像的摄像条件相关的信息，通过插值控制部79判定变化量是否大于阈值(步骤s516)。变化量为阈值以上时，无法在当前帧的增益插值使用根据过去帧图像计算出的增益值，因此判定是否能够通过参数获取部85进行透镜通信(步骤s509)。另一方面，变化量为阈值以下时，能够在当前帧的增益插值使用根据过去帧图像计算出的增益值，因此使用计算出的增益值进行插值。

无法进行透镜通信时，插值控制部79使周边像素插值部81对相位差检测用像素的像素值进行插值(步骤s510)，显示用图像生成部73生成显示用图像(步骤s511)。

之后，通过显示部75，将所生成的显示用图像显示于液晶显示器30或evf(步骤s512)。

之后，例如，通过cpu40进行是否继续即时预览显示的判定(步骤s513)，继续即时预览显示时，根据计算出的曝光参数设定曝光参数。另一方面，不继续即时预览显示时，结束处理。

另一方面，判定为能够通过参数获取部85进行透镜通信(步骤s509)，且判定为能够通过参数获取部85获取增益值推断参数(步骤s514)时，根据通过推断增益值计算部87获取的增益值推断参数计算增益值(步骤s515)。之后，插值控制部79通过第2增益插值部83或周边像素插值部81对相位检测用像素的像素值进行插值(步骤s517)，使显示用图像生成部73生成显示用图像(步骤s511)。

＜其他例＞

接着，对本发明的其他例进行说明。上述说明中，对滚动快门方式的例子进行了说明，但本例中对全局快门方式的例子进行说明。

图19与图9同样地，是在从向成像元件16的曝光至图像的显示的时序图中追记增益值计算的时刻的时序图。图19的时序图与图9的时序图相比，不同点在于通过全局快门方式读出像素值。

在全局快门方式的传感器61中，与滚动快门方式的传感器61不同，所有行(所有像素)的曝光同时开始且同时结束(图19(b))。但是，曝光结束之后，所积蓄的信号的读出及向asic的传送从第1行依次传送，读出(图19(c))、传送及之后的处理序列与滚动快门方式的情况(图10)相同。

即，从结束读出的行的像素值依次进行相位差检测用像素的像素值的插值及其他处理，并且，第1张帧图像例如通过周边像素插值部81进行相位差检测用像素的像素值的插值(图19(d))。并且，通过增益值计算部67进行增益值的计算，但计算出的增益值在下一帧图像中使用(图19(e))。

另外，图19中，像素数据的读出时刻和下一曝光的时刻重叠。即，并列进行曝光和读出。全局快门方式的传感器61的情况下，所有像素中，除了在曝光中积存电荷的光电二极管，还具备积蓄积存在光电二极管的信号的积蓄部(未图示)。曝光结束之后，积存在所有光电二极管的信号转移至积蓄部。依次读出积蓄部的信号并向asic传输。因此，若信号转移至积蓄部，则光电二极管成为信号空的状态，因此能够开始下一曝光。

＜智能手机的例＞

图20是表示作为摄像装置10的一实施方式的智能手机的外观的图。

图20所示的智能手机100具有平板状框体102，在框体102的一侧的面设置作为显示部的显示面板121与作为输入部的操作面板122成为一体的显示输入部120。并且，该框体102具备扬声器131、麦克风132、操作部140及相机部141(摄像部)。另外，框体102的结构并不限定于此，例如还能够采用显示部与输入部独立设置的结构，或者采用具有折叠结构或滑动机构的结构。

图21是表示图20所示的智能手机100的内部结构的框图。如图21所示，作为智能手机100的主要构成要件，具备无线通信部110、显示输入部120、通话部130、操作部140、相机部141、存储部150、外部输入输出部160(输出部)、gps(全球定位系统，globalpositioningsystem)接收部170、动作传感器部180、电源部190及主控制部101。并且，作为智能手机100的主要功能，具备进行经由基站装置和移动通信网的移动无线通信的无线通信功能。

无线通信部110根据主控制部101的指示，在与连接于移动通信网的基站装置之间进行无线通信。使用该无线通信，进行语音数据及图像数据等各种文件数据或电子邮件数据等的收发及网络数据或流数据等的接收。

显示输入部120是具备配设于显示面板121的画面上的操作面板122的所谓的触摸面板，通过主控制部101的控制，显示图像(静态图像及动态图像)和文字信息等来视觉性地向用户传递信息，并且检测用户对所显示的信息的操作。另外，为了方便起见，操作面板122还称为触摸面板。

显示面板121将lcd(液晶显示器，liquidcrystaldisplay)、oeld(有机电致发光显示器，organicelectro-luminescencedisplay)等用作显示设备。操作面板122是以能够视觉辨认显示于显示面板121的显示面上的图像的状态设置，并检测通过用户的手指或尖笔来操作的一个或多个坐标的设备。若通过用户的手指或尖笔操作该设备，则操作面板122将因操作而产生的检测信号输出至主控制部101。接着，主控制部101根据所接收的检测信号检测显示面板121上的操作位置(坐标)。

图20中例示的智能手机100的显示面板121和操作面板122成为一体而构成显示输入部120，成为操作面板122完全覆盖显示面板121的配置。采用该配置时，操作面板122可以对除显示面板121以外的区域也具备检测用户操作的功能。换言之，操作面板122可具备针对与显示面板121重叠的重叠部分的检测区域(以下，称为“显示区域”)和针对除此以外的不与显示面板121重叠的外缘部分的检测区域(以下，称为“非显示区域”)。

另外，可使显示区域的大小与显示面板121的大小完全一致，但并非一定要使两者一致。并且，操作面板122可具备外缘部分和除此以外的内侧部分这两个感应区域。而且，该外缘部分的宽度根据框体102的大小等而适当设计。并且，作为在操作面板122中采用的位置检测方式，可举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式及静电电容方式等，也可采用任意方式。

通话部130具备扬声器131及麦克风132，所述通话部将通过麦克风132输入的用户的语音转换为能够在主控制部101中处理的语音数据来输出至主控制部101，或者对通过无线通信部110或外部输入输出部160接收的语音数据进行解码而从扬声器131输出。并且，如图20所示，例如能够将扬声器131及麦克风132搭载于与设置有显示输入部120的面相同的面。

操作部140为使用了键开关等的硬件键，接受来自用户的指示。例如，如图20所示，操作部140搭载于智能手机100的框体102的侧面，是若被手指等按下则开启，若手指离开则通过弹簧等的复原力而成为关闭状态的按钮式开关。

存储部150存储主控制部101的控制程序和控制数据、将通信对象的名称和电话号码等建立对应关联的地址数据、所收发的电子邮件的数据、通过网络浏览下载的网络数据及已下载的内容数据等，并且暂时存储流数据等。

并且，存储部150由内置于智能手机的内部存储部151和具有装卸自如的外部存储器插槽的外部存储部152构成。另外，构成存储部150的各个内部存储部151及外部存储部152通过使用闪存类型、硬盘类型、微型多介质卡类型、卡类型的存储器、ram(随机存取存储器，randomaccessmemory)或rom等存储介质来实现。

外部输入输出部160发挥与连结于智能手机100的所有外部设备的接口的作用，通过通信等(例如，usb(通用串行总线，universalserialbus)、ieee1394等)或网络(例如，无线lan(局域网，localareanetwork)、蓝牙(bluetooth)(注册商标)、rfid(射频识别，radiofrequencyidentification)、红外线通信(红外数据协会，infrareddataassociation：irda)、uwb(超宽频，ultrawideband)(注册商标)、紫峰(zigbee)(注册商标)等)直接或间接地与其他外部设备连接。

作为与智能手机100连结的外部设备，例如有：有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡插槽连接的存储卡(memorycard)或sim(订户识别模块卡，subscriberidentitymodulecard)/uim(用户识别模块卡，useridentitymodulecard)卡、经由音频视频i/o(输入/输出，input/output)端子连接的外部音频视频设备、有/无线连接的外部音频视频设备、智能手机、个人计算机、pda(个人数字助理，personaldigitalassistant)及耳机等。外部输入输出部160也可以构成为将从这种外部设备接收到传送的数据传递至智能手机100内部的各构成要件或将智能手机100内部的数据传送至外部设备。

gps接收部170根据主控制部101的指示，接收从gps卫星st1、st2～stn发送的gps信号，执行基于所接收的多个gps信号的测位运算处理，获取通过智能手机100的纬度、经度及高度确定的位置信息(gps信息)。gps接收部170在能够从无线通信部110和/或外部输入输出部160(例如，无线lan)获取位置信息时，还能够利用该位置信息检测位置。

动作传感器部180例如具备3轴加速度传感器等，根据主控制部101的指示，检测智能手机100的物理动作。通过检测智能手机100的物理动作，可检测智能手机100的移动方向或加速度。该检测结果被输出至主控制部101。

电源部190根据主控制部101的指示，向智能手机100的各部供给积蓄在电池(未图示)中的电力。

主控制部101具备微处理器，根据存储部150所存储的控制程序或控制数据进行动作，综合控制智能手机100的各部。并且，主控制部101为了通过无线通信部110进行语音通信及数据通信，具备控制通信系统的各部的移动通信控制功能及应用处理功能。

应用处理功能通过主控制部101根据存储部150所存储的应用软件进行动作来实现。作为应用处理功能，例如除了通过控制外部输入输出部160来与对象设备进行数据通信的红外线通信功能、或进行电子邮件的收发的电子邮件功能及浏览网页的网页浏览功能以外，还有本发明所涉及的图像处理功能等。

并且，主控制部101具备根据接收数据或所下载的流数据等图像数据(静态图像或动态图像的数据)，在显示输入部120显示影像等的图像处理功能。并且，图像处理功能中，包含通过图3等中示出的图像处理部24进行的图像处理。

而且，主控制部101执行对显示面板121的显示控制和检测通过操作部140或操作面板122进行的用户操作的操作检测控制。

通过执行显示控制，主控制部101显示用于启动应用软件的图标或滚动条等软件键，或者显示用于创建电子邮件的窗口。另外，滚动条是指用于对无法完全落入显示面板121的显示区域的较大图像等，接受移动图像的显示部分的指示的软件键。

并且，通过执行操作检测控制，主控制部101检测通过操作部140进行的用户操作，或者通过操作面板122接受对上述图标的操作或对上述窗口的输入栏输入字符串，或者接受通过滚动条进行的显示图像的滚动请求。

而且，通过执行操作检测控制，主控制部101具备判定对操作面板122的操作位置是与显示面板121重叠的重叠部分(显示区域)还是除此以外的不与显示面板121重叠的外缘部分(非显示区域)，并控制操作面板122的感应区域或软件键的显示位置的触控面板控制功能。

并且，主控制部101还能够检测对操作面板122的手势操作，并根据检测出的手势操作执行预先设定的功能。手势操作表示并非以往的简单的触控操作，而是通过手指等描绘轨迹、或者同时指定多个位置、或者组合这些来从多个位置对至少一个描绘轨迹的操作。

相机部141能够通过主控制部101的控制，将通过拍摄获得的图像数据转换为例如jpeg(联合图像专家组，jointphotographicexpertsgroup)等压缩的图像数据，并将该图像数据记录于存储部150，或通过外部输入输出部160和无线通信部110输出。如图20所示，智能手机100中，相机部141搭载于与显示输入部120相同的面，但相机部141的搭载位置并不限定于此，可以在框体102的背面搭载相机部141而不是设置有显示输入部120的框体102的表面，或者也可以在框体102搭载多个相机部141。另外，搭载有多个相机部141时，可以切换用于拍摄的相机部141来通过单独的相机部141进行拍摄，或者也可以同时使用多个相机部141进行拍摄。

并且，相机部141能够利用于智能手机100的各种功能。例如，能够在显示面板121显示用相机部141获取的图像，也可以作为操作面板122的操作输入方法之一利用用相机部141拍摄获取的图像。并且，gps接收部170检测位置时，也可以参考来自相机部141的图像来检测位置。而且，还能够参考来自相机部141的图像，不使用3轴加速度传感器或者与3轴加速度传感器同时使用来判断智能手机100的相机部141的光轴方向或判断当前的使用环境。当然，还能够在应用软件内利用来自相机部141的图像。

此外，能够把将通过gps接收部170获取的位置信息、通过麦克风132获取的语音信息(也可通过主控制部等进行语音文本转换而成为文本信息)及通过动作传感器部180获取的姿势信息等等附加于静态图像或动态图像的图像数据来获得的数据记录于存储部150，或通过外部输入输出部160和无线通信部110输出。

以上，对本发明的例进行了说明，但本发明并不限定于上述实施方式，能够在不脱离本发明精神的范围内进行各种变形是理所当然的。

符号说明

1-闪光灯，2-快门按钮，3-电源和/或模式开关，4-模式转盘，5-变焦按钮，6-十字按钮，7-菜单/确认(menu/ok)按钮，8-播放按钮，9-返回按钮，10-摄像装置，12-摄影透镜，14-光圈，15-机械快门，16-成像元件，16a-遮光部件，16b-遮光部件，22-图像输入控制器，24-图像处理部，26-压缩/扩展处理部，28-视频编码器，30-液晶显示器，32-传感器驱动部，33-快门驱动部，34-光圈驱动部，36-透镜驱动部，38-操作部，40-cpu，42-af处理部，44-ae检测部，47-rom，48-存储器，50-vram，52-介质控制器，54-存储卡，60-图像处理装置，61-传感器，63-接口，67-增益值计算部，69-相位差像素插值部，71-第1增益插值部，73-显示用图像生成部，75-显示部，77-周边像素值计算部，79-插值控制部，81-周边像素插值部，83-第2增益插值部，85-参数获取部，87-推断增益值计算部，89-摄像条件获取部，100-智能手机，101-主控制部，102-框体，110-无线通信部，120-显示输入部，121-显示面板，122-操作面板，130-通话部，131-扬声器，132-麦克风，140-操作部，141-相机部，150-存储部，151-内部存储部，152-外部存储部，160-外部输入输出部，170-gps接收部，180-动作传感器部，190-电源部，s101-s113-表示显示例1的图像处理工序，s201-s212-表示显示例2的图像处理工序，s301-s316-表示显示例3的图像处理工序，s401-s415-表示显示例4的图像处理工序，s501-s517-表示显示例5的图像处理工序。