摄像装置和摄像方法与流程

本发明涉及使用相位差像素输出进行测距运算的摄像装置和摄像方法。

背景技术：

公知有如下方法：使用配置在摄像面上的相位差像素的相位差像素输出进行测距运算，根据该测距运算的结果来检测焦点。在测距运算中，相对于传感器输出范围，在相位差像素输出较小的情况下，运算误差增大，由此，测距性能降低。因此，需要确保一定的相位差像素输出。

但是，一般情况下，与显示或记录用的记录像素输出相比，相位差像素输出是一半以下的程度。因此，为了以记录像素输出程度确保相位差像素输出而提出各种方法。

例如，在日本特许第5319347号公报中，在1帧内独立进行像素生成用的摄像行的电荷的蓄积控制和具有相位差像素的焦点检测行的电荷的蓄积控制。

并且，在日本特许第5565105号公报中，进行在由摄像元件生成的像素数据中的、最新的像素数据所包含的最新的焦点检测数据中加上至少一个焦点检测数据的相加处理，计算相加焦点检测数据。

在上述日本特许第5319347号公报中，针对相位差像素，能够确保充分的蓄积时间，但是，针对摄像面内的相位差像素，在相同的蓄积时间内蓄积电荷。因此，可能产生由于基于相位差像素的特性导致的输出电平之差而引起的泛白(饱和)或泛黑(输出不足)的区域。并且，在日本特许第5565105号公报中，在相加数据的最大值超过阈值之前反复进行相加处理，所以，针对取最大值的相位差像素以外的相位差像素，无法确保充分的输出电平，可能无法确保测距性能。

并且，还考虑在不同帧中提取相位差像素输出和记录像素输出的方法，但是，根据该方法，显示或记录用的帧离散，可能无法保证显示或记录用的数据品质。

技术实现要素：

本发明是鉴于上述情况而完成的，其目的在于，提供能够保证显示或记录用的数据品质、并且能够确保测距性能的摄像装置和摄像方法。

为了实现上述目的，本发明的第1方式的摄像装置具有：摄像元件，其具有多个记录像素和对各所述记录像素中的受光部的开口的一部分进行了遮蔽的多个相位差像素；相位差像素提取部，其按照所述摄像元件的摄像动作的每帧，读出针对各所述相位差像素在相同的蓄积时间内执行蓄积动作而得到的相位差像素数据；相位差像素运算部，其针对所读出的每帧的相位差像素数据，对当前帧和过去帧中的同一坐标的相位差像素数据进行相加；判定部，其根据各所述相位差像素的特性和与所述相位差像素对应的相位差像素数据，判定是否根据相加后的所述相位差像素数据来执行焦点检测动作；以及测距运算处理部，其在所述判定的结果为判定为根据相加后的所述相位差像素数据来执行焦点检测动作的情况下，应用由所述相加单元进行相加后的相位差像素数据来执行焦点检测动作，在所述判定的结果为不根据相加后的所述相位差像素数据来执行焦点检测动作的情况下，应用所述当前帧的相位差像素数据来执行焦点检测动作。

根据本发明，能够提供能够保证显示或记录用的数据品质、并且能够确保测距性能的摄像装置。

附图说明

图1是示出本发明的第1实施方式的摄像装置的功能结构的一例的框图。

图2是示出第1实施方式中的摄像元件的像素排列的一例的示意图。

图3是示出第1实施方式中的从正面观察的受光部的示意图。

图4是示出第1实施方式中的测距运算部的功能结构的一例的框图。

图5是示出第1实施方式中的像素数据加工部的功能结构的一例的框图。

图6是用于说明第1实施方式中的存储了像素数据的存储区域的一例的示意图。

图7是用于说明第1实施方式中的存储了像素数据的存储区域的一例的示意图。

图8是示出第1实施方式中的摄像装置的动作的一例的流程图。

图9是示出第1实施方式中的摄像装置的动作的一例的时序图。

图10是示出第1实施方式中的相加运算的一例的示意图。

图11是示出第1实施方式中的相加运算的一例的示意图。

图12是示出第1实施方式中的摄像装置的动作的一例的时序图。

图13是示出第1实施方式中的光学滤波器的分光特性的一例的示意图。

图14是示出本发明的第2实施方式的动作的一例的流程图。

图15是示出第2实施方式中的基于像高导致的输出电平的差异的示意图。

图16是示出第2实施方式中的相关运算的一例的示意图。

图17是示出第2实施方式中的光源的输出变动与测距区中的蓄积动作和输出扫描的时序图之间的关系的示意图。

图18是示出第2实施方式中的测距区中的T/B像素的输出电平的变化的一例的示意图。

图19是示出能够应用于本发明的各实施方式的读出方式的一例的示意图。

标号说明

1：照相机；11：镜头；12：镜头驱动部；13：摄像元件；14：摄像元件移位部；15：摄像元件驱动部；16：CPU；17：存储部；18：显示部；19记录部；20：操作部；21：测距运算部；22：曝光运算部；23：闪烁运算部；24：图像处理部；25：数据/控制总线；211：相位差像素提取部；212：像素数据加工部；213：测距运算处理部；214：相位差像素帧存储器；1001：记录像素；1002r、1002l、1002t、1002b：相位差像素；1003：微镜头；1004：受光区域；2011：水平同步信号；2012：垂直同步信号；2013、2014、2015：存储区域；2016、2017、2018：像素排列；2019、2020、2021：相位差像素排列的存储区域；2121：判定部；2122：相位差像素运算部；2123、2125、2127：SEL；2124：加减处理部；2126：乘除处理部；2141：R开口像素保持部；2142：L开口像素保持部；2143：T开口像素保持部；2144：B开口像素保持部；3001：G滤波器分光特性；3002：B滤波器分光特性；3003：R滤波器分光特性；4001：记录像素配置区域；4002：相位差像素配置区域；4003：记录像素数据输出；4004l：左开口相位差像素数据输出；4004r：右开口相位差像素数据输出；4005l：校正后左开口相位差像素数据输出；4005r：校正后右开口相位差像素数据输出；5001：光源输出；5002、5003：像素配置区域。

具体实施方式

下面，参照附图对与本发明有关的各实施方式进行说明。

[第1实施方式]

图1是示出作为本发明的各实施方式的摄像装置的一例的数字照相机(以下简称为照相机。)的结构的框图。图1所示的照相机1具有镜头11、镜头驱动部12、摄像元件13、摄像元件移位部14、摄像元件驱动部15、CPU(Central Processing Unit)16、存储部17、显示部18、记录部19、操作部20、测距运算部21、曝光运算部22、闪烁运算部23、图像处理部24、数据/控制总线25。另外，第1实施方式所使用的摄像装置1能够以硬件结构、或硬件资源与软件的组合结构的任意形式来实施。如图1所示，组合结构的软件预先从网络或非暂时的计算机可读取的存储介质(non-transitory computer-readable storage medium)M1安装在摄像装置1中。安装在该摄像装置1中的软件例如使用用于在测距运算部21中实现摄像装置1的功能的程序。

镜头11是用于使来自未图示的被摄体的像在摄像元件13的受光面上成像的光学系统。该镜头11具有对焦镜头和变焦镜头等多个镜头以及光圈。

镜头驱动部12根据来自CPU16的控制信号进行镜头11的焦点调节、光圈的开口直径控制等。

摄像元件13构成为二维配置构成像素的光电二极管(以下称为受光部。)。构成摄像元件13的受光部生成与由微镜头会聚的光的受光量对应的电荷。受光部中产生的电荷蓄积在与各受光部连接的电容器中。该电容器中蓄积的电荷通过摄像元件驱动部15而作为像素信号进行输出。像素信号在通过未图示的摄像电路进行了噪声降低处理和增益调整等处理后，作为数字形式的图像信号(以下称为像素数据。)进行输出。这里，优选摄像元件13具有电子快门功能。电子快门功能是指根据曝光运算部22的运算结果以电子的方式对摄像元件13的曝光时间进行控制的功能。作为电子快门，根据后述摄像元件13的驱动方式，可以应用滚动快门或全局快门等各种电子快门。

并且，在构成像素的受光部的前表面配置有拜耳排列的滤色器。拜耳排列具有在水平方向上交替配置R像素和G(Gr)像素的行以及交替配置G(Gb)像素和B像素的行。另外，滤色器的配置不限于拜耳排列，也可以适当应用基于补色滤波器(绿：G、黄：Y、品红：Mg、青：Cy)等其他光学滤波器的不同排列等。

这里，作为能够实施相位差AF(Auto Focus)的结构，本实施方式中的摄像元 件13具有用于取得记录或显示用的摄像图像的多个记录像素(通常像素或摄像用像素)以及用于进行焦点检测的多个相位差像素(焦点检测用像素)。图2是示出本实施方式中的摄像元件13的像素排列的图。如图2所示，相位差像素1002r、1002l、1002t、1002b相对于记录像素1001以离散的方式进行配置。相位差像素1002r、1002l、1002t、1002b和记录像素1001构成为，微镜头的聚光率以及从微镜头到受光部的距离相同。相位差像素1002r、1002l、1002t、1002b构成为，通过与记录像素1001相比错开受光部的开口的位置、或错开光轴中心和开口中心，在物理上对受光部的一部分进行遮蔽。相位差像素1002r、1002l、1002t、1002b的遮光区域的朝向根据是检测被摄体的纵线还是检测被摄体的横线而不同。根据该检测方向，相位差像素分别在左右方向(R/L)、上下方向(T/B)上开口。在图2中，向左方向开口的相位差像素1002l和向右方向开口的相位差像素1002r在相同颜色像素(图2中为Gr像素)上沿着垂直方向(图2中分开3个像素)配置。并且，向上方向开口的相位差像素1002t和向下方向开口的相位差像素1002b在相同颜色像素(图2中为B像素)上沿着水平方向(图2中分开3个像素)配置。

并且，如图3所示，相位差像素构成为，在散焦量较大的情况下和散焦量较小的情况下的任意状况下均能够进行测距。具体而言，针对各遮光朝向分别配置开口率不同的像素。图3是从正面观察受光部的情况下的示意图，圆形部表示微镜头1003，四方形部表示受光部的受光区域1004。另外，受光区域的阴影区域表示被遮光。这里，图3(A)示出小散焦用的遮光率较小的右侧开口像素，图3(B)示出大散焦用的遮光率较大的右侧开口像素。这样，由于相位差像素的入射光量被限制，所以，像素数据的输出电平衰减。例如，当设遮光面积比为50％时，相位差像素数据(焦点检测用像素数据)的输出电平衰减到饱和曝光时的记录像素数据(摄像用像素数据)的输出电平的1/14～1/20程度。

另外，在本实施方式中，对应用CMOS(Complementary Metal Oxide Semiconductor)方式作为摄像元件驱动部15的驱动方式的例子进行了说明，但是不限于CMOS方式，也可以适当应用CCD(Charge Coupled Device)方式。

摄像元件移位部14根据来自CPU16的控制信号，使摄像元件13在与其受光面平行的平面内物理移动，对手抖等进行校正。

摄像元件驱动部15根据来自CPU16的控制信号进行驱动，读出摄像元件13中 蓄积的电荷作为像素信号。读出的像素信号被转换为数字形式的像素数据，经由数据/控制总线25发送到存储部17并进行存储。

在本实施方式中的基于摄像元件驱动部15的电荷的读出方式中，按照摄像元件13的摄像动作的每帧，针对各相位差像素在相同的蓄积时间内执行蓄积动作，得到像素数据。

CPU16对基于镜头驱动部12的镜头11的驱动控制、以及基于摄像元件移位部14和摄像元件驱动部15的摄像元件13的驱动控制等照相机1的各种顺序(sequence)进行总括控制。CPU16经由数据/控制总线25而与存储部17、显示部18、存储部19、操作部20、测距运算部21、曝光运算部22、闪烁运算部23和图像处理部24相互连接，能够进行控制指令的发送和数据等的授受。

存储部17是能够从各部进行读取/写入的存储介质，作为用于暂时存储照相机1内部产生的各种数据的作业存储器进行动作。存储部17例如存储通过摄像元件驱动部15从摄像元件13中读出的像素数据。

显示部18例如是液晶显示器，显示基于通过图像处理部24进行处理后的图像数据的静态图像、动态图像和显示图像等各种图像。

记录部19例如是相对于照相机1拆装自如的存储卡，记录包含通过图像处理部24进行压缩后的图像数据的图像文件等。

操作部20例如是电源按钮、快门按钮、再现按钮、各种输入键等操作部件。并且，操作部20也可以包括用于设定供测距运算部21执行焦点检测动作的焦点检测区的操作部件。当由拍摄者进行了操作部20的操作后，CPU16执行与该操作对应的顺序。

如图4所示，测距运算部21具有相位差像素提取部211、像素数据加工部212、测距运算处理部213、相位差像素帧存储器214。测距运算部21具有如下功能：根据来自CPU16的控制信号读出每帧的相位差像素数据，根据该每帧的相位差像素数据来执行焦点检测动作。测距运算部21的功能结构在后面详细叙述。

曝光运算部22根据来自操作部20的输入等，计算摄像元件13的曝光量。曝光运算部22将该计算结果经由CPU16发送到摄像元件驱动部15。

闪烁运算部23读出存储部17中存储的记录像素数据，根据该记录像素数据来检测闪烁。闪烁运算部23检测到闪烁时，运算用于消除该闪烁的控制信息，将该运算 结果经由CPU16发送到摄像元件驱动部15。

图像处理部24读出存储部17中存储的记录像素数据，根据该记录像素数据实施各种图像处理而生成图像数据。例如，图像处理部24在静态图像记录时实施静态图像记录用的图像处理而生成静态图像数据。同样，图像处理部24在动态图像记录时实施动态图像记录用的图像处理而生成动态图像数据。进而，图像处理部24在实时取景显示时实施显示用的图像处理而生成显示用图像数据。

接着，参照图4对测距运算部21的功能结构进行说明。相位差像素提取部211按照摄像动作的每帧，读出针对各相位差像素在相同的蓄积时间内执行蓄积动作而得到的相位差像素数据。相位差像素提取部211通过按照开口方向等的每个条件以光栅顺序读出相位差像素数据，在帧间保持坐标的对应关系并抑制为最小限度的存储器尺寸来进行读出。因此，相位差像素提取部211还能够相关联地读出所读出的每帧的相位差像素数据的相位差像素特性。相位差像素提取部211将所读出的每帧的相位差像素数据发送到像素数据加工部212，写入相位差像素帧存储器214中。另外，相位差像素提取部211也可以直接接收由摄像元件驱动部15读出的像素数据，从该接收到的像素数据中读出相位差像素数据。

像素数据加工部212具有判定部2121和相位差像素运算部2122。像素数据加工部212以光栅顺序从相位差像素提取部211接收当前帧的相位差像素数据，从相位差像素帧存储器214接收对应的过去帧的相位差像素数据。像素数据加工部212通过对当前帧和过去帧的相位差像素数据进行加工，生成适用于焦点检测动作的相位差像素数据，将其发送到测距运算处理部213。

判定部2121以光栅顺序接收到当前帧的相位差像素数据后，根据各相位差像素的特性和与各相位差像素对应的相位差像素数据，判定是否根据相位差像素运算部2122的运算结果来执行焦点检测动作。这里的运算是当前帧和过去帧的相位差像素数据的相加。判定部2121在判定结果为判定为根据相加结果来执行焦点检测动作的情况下，例如，决定包含由相位差像素运算部2122进行相加后的过去帧的帧数在内的运算信息。判定部2121将运算信息和当前帧的相位差像素数据发送到相位差像素运算部2122。并且，判定部2121在判定为不根据相加结果来执行焦点检测动作的情况下，将当前帧的相位差像素数据发送到相位差像素帧存储器214。

相位差像素运算部2122以光栅顺序接收到运算信息和当前帧的相位差像素数据 后，根据该运算信息内的帧数，从相位差像素帧存储器214接收运算所使用的数量的过去帧的对应的相位差像素数据。相位差像素运算部2122针对由相位差像素提取部211读出的每帧的相位差像素数据，对当前帧和过去帧中的同一坐标的焦点检测数据进行相加。相位差像素运算部2122将相加后的相位差像素数据发送到相位差像素帧存储器214。

另外，相位差像素运算部2122也可以具有减法、乘法、除法的功能，也可以根据判定部2121的判定结果而复合地执行各种运算。该情况下，判定部2121生成的运算信息还包括相加运算以外的运算的有无、表示执行多个运算的顺序的运算式等。例如，设过去帧的帧数为“1”、运算式为“(当前帧+过去帧)/2”的运算信息表示当前帧与1帧的过去帧的相加平均。另外，乘法的功能例如用于对相位差像素数据进行增益放大的情况。并且，相减的功能例如用于通过对帧间的输出差进行评价来估计被摄体在帧间移动的程度的情况。

另外，如图5所示，像素数据加工部212内的具体结构也可以构成为具有SEL(选择器)2123、2125、2127、加减处理部2124、乘除处理部2126。这里，各SEL2123、2125、2127可以具有与上述判定部2121相同的功能，加减处理部2124和乘除处理部2126可以具有与上述相位差像素运算部2122相同的功能。例如，SEL2123在从相位差像素提取部211接收到各相位差像素数据后，判定是否执行相加运算和/或相减运算。SEL2123将判定为执行相加运算和/或相减运算的相位差像素数据发送到加减处理部2124，在否的情况下将其发送到SEL2125。加减处理部2124在从SEL2123接收到相位差像素数据后，读出过去帧中的同一坐标的相位差像素数据，执行相加运算和/或相减运算。加减处理部2124将执行运算后的相位差像素数据发送到SEL2125。SEL2125接收到相位差像素数据后，判定是否执行相乘运算和/或相除运算。SEL2125将判定为执行相乘运算和/或相除运算的相位差像素数据发送到乘除处理部2126，在否的情况下将其发送到SEL2127。乘除处理部2126从SEL2125接收到相位差像素数据后，读出过去帧中的同一坐标的相位差像素数据，执行相乘运算和/或相除运算。乘除处理部2126将执行运算后的相位差像素数据发送到SEL2127。SEL2127接收到相位差像素数据后，判定是否根据该相位差像素数据来执行焦点检测动作。SEL2127在判定为执行焦点检测动作的情况下，将该相位差像素数据发送到相位差像素帧存储器214。

这里，返回图4的说明。当基于像素数据加工部212的判定和运算结束后，测距运算处理部213读出从像素数据加工部212写入到相位差像素帧存储器214中的加工后的相位差像素数据。在判定部2121的判定结果为判定为根据相加后的相位差像素数据来执行焦点检测动作的情况下，测距运算处理部213应用由相位差像素运算部2122进行相加后的相位差像素数据来执行焦点检测动作。并且，在判定部2121的判定结果为判定为不根据相加后的相位差像素数据来执行焦点检测动作的情况下，测距运算处理部213应用该当前帧的相位差像素数据来执行焦点检测动作。测距运算处理部213将焦点检测动作的执行结果发送到CPU16。

这里，通过检测基于R/L开口像素和T/B开口像素的像素数据的对儿之间产生的相位差，执行本实施方式中的测距运算处理。但是，关于检测到的相位差，在R/L、T/B的任意情况下，均不仅使用各一个像素的对儿之间的相位差，还使用测距区内等规定范围内的多个像素的对儿之间的相位差的平均值。

相位差像素帧存储器214是能够从各部211、212、213进行读出/写入的存储器，具有R开口像素保持部2141、L开口像素保持部2142、T开口像素保持部2143、B开口像素保持部2144。各开口像素保持部2141-2144以帧单位，与坐标信息对应地存储按照开口方向等的每个条件以光栅顺序由相位差像素提取部211进行分类并读出的相位差像素数据。即，R开口像素保持部2141存储右开口像素，L开口像素保持部2142存储左开口像素，T开口像素保持部2143存储上开口像素，B开口像素保持部2144存储下开口像素的相位差像素数据。并且，各开口像素保持部2141-2144也可以存储由相位差像素提取部211根据遮光率的差异等其他相位差像素特性进一步进行分类后的相位差像素数据。相位差像素帧存储器214根据相位差像素运算部2122的请求而读出过去帧的相位差像素数据，将其发送到相位差像素运算部2122。相位差像素帧存储器214存储从像素数据加工部212发送的加工后的相位差像素数据，根据来自测距运算处理部213的请求将其发送到测距运算处理部213。另外，相位差像素帧存储器214不限于测距运算部21内，也可以一并设置在存储部17内。

这里，图6和图7示出存储本实施方式中读出的像素数据的存储器内的存储区域的例子。在图6的例子中，关于某帧的像素数据，不区分记录像素和相位差像素，以水平同步信号2011为触发，从配置在第1行的像素的像素数据起依次按照每1行从摄像元件13中读出并依次写入到存储区域中。并且，关于下一帧的像素数据，以垂 直同步信号2012为触发，再次从第1行起依次按照每1行从摄像元件13中读出并写入到存储区域中。在图6中，存储区域2013示出被分配了与像素排列的行和列对应的坐标的区域。这里，存储区域2013的左端和上端所示的编号分别对应于像素排列的行编号和列编号。示出存储区域2013内的空白的存储区域2013a是记录像素数据的存储区域。并且，示出标注了L、R、T、B等文字的存储区域2013b分别是在左右上下方向上开口的相位差像素数据的存储区域。在存储区域2013内，以垂直同步信号2012为触发开始进行1帧的像素数据的存储，以水平同步信号2011为触发按照每1行存储像素数据。相位差像素数据也可以还与各相位差像素被遮光的左右上下(L、R、T、B)的朝向、遮光率、光学滤波器的种类等相位差像素特性相关联而存储在存储区域2013b中。

在图7中，示出在存储区域2014、2015中分开存储记录像素数据和相位差像素数据的例子。在图7的例子中，关于某帧的像素数据，在水平期间的前半部分中，仅从记录像素的像素数据读出并依次写入到存储区域中。并且，在图7的例子中，关于某帧的像素数据，在水平期间的后半部分中，仅从相位差像素的像素数据读出并依次写入到存储区域中。在图7中，与图6同样，示出存储区域2014a是存储记录像素数据的区域。另一方面，示出存储区域2014b不是存储相位差像素数据的区域、而是存储通过周围相邻的相同颜色像素的记录像素数据进行插值后的值X(n)作为记录像素数据的区域。相位差像素数据在水平期间的前半部分中例如暂时保持在设于摄像元件13中的行存储器中。在同一行的记录像素数据存储在存储区域2014中之后，读出行存储器中保持的相位差像素数据，将其存储在存储区域2015b中。在存储相位差像素数据的区域以外的存储区域2015a中存储伪数据D。无论哪种情况下，本实施方式中读出的像素数据与像素排列的坐标对应地进行存储。并且，该像素排列的坐标还与相位差像素数据的遮光朝向、遮光率、光学滤波器的种类这样的相位差像素特性相关联地进行存储。

接着，如上所述对本实施方式的摄像装置的具体动作进行说明。图8是示出基于摄像装置的焦点检测动作的处理的流程图。图8中的各处理主要由测距运算部21和图像处理部24来执行。并且，图8例如在静态图像拍摄模式中使操作部20的快门按钮成为半按状态的情况下开始，但是，也可以在动态图像拍摄时或实时取景时开始。另外，伴随图8中的各处理，作为一例，照相机1按照图9所示的时序图进行动作。 即，下面设为照相机1按照CMOS传感器方式对摄像元件驱动部15进行驱动、通过滚动读出而从摄像元件13中蓄积的电荷中读出像素数据来进行说明。

首先，CPU16将图9(A)所示的垂直同步信号和图9(B)所示的水平同步信号发送到摄像元件驱动部15。

接着，如图9(C)所示，摄像元件驱动部15执行摄像元件13中的电荷的蓄积和像素数据的输出扫描。具体而言，摄像元件驱动部15从时刻T0起进行电子快门的控制。摄像元件13的受光部通过该控制，从配置在摄像元件13上的像素的上部到下部依次逐行错开时间并在一定时间内进行曝光。摄像元件驱动部15在曝光结束后的时刻T1开始进行像素数据的输出。这里，在图9中，相位差像素配置在配置有记录像素的范围中的、除了受光面的上下端以外的范围内。因此，如图9(D)所示，在时刻T1～时刻T4的期间内输出记录像素数据F1，如图9(E)所示，在时刻T2～时刻T3的期间内输出相位差像素数据Z1。照相机1按照每帧反复执行这种时刻T0～时刻T4中的一连串动作，依次输出帧编号n中的记录像素数据Fn和相位差像素数据Zn。

相位差像素提取部211按照摄像元件13的摄像动作的每帧，读出针对各相位差像素在相同的蓄积时间内执行蓄积动作而得到的相位差像素数据(ST110)。在图9中，相位差像素提取部211读出帧编号“1”中输出的相位差像素数据Z1，将其存储在相位差像素帧存储器214中，并且发送到像素数据加工部212。此时，在相位差像素帧存储器214中，至少存储有帧编号“0”的相位差像素数据Z0作为过去帧的像素数据。

判定部2121根据各相位差像素的特性和与各相位差像素对应的相位差像素数据，判定是否根据相加后的相位差像素数据来执行焦点检测动作(ST120)。

具体而言，判定部2121在判定为根据相加后的相位差像素数据来执行焦点检测动作的情况下(ST120；是)，将当前帧的相位差像素数据Z1发送到相位差像素运算部2122。相位差像素运算部2122从相位差像素帧存储器214接收过去帧的相位差像素数据，对各帧间的同一坐标的相位差像素数据进行相加(ST130)。相位差像素运算部2122将该相加后的相位差像素数据发送到相位差像素帧存储器214。另一方面，判定部2121在判定为不根据相加后的相位差像素数据来执行焦点检测动作的情况下(ST120；否)，将当前帧的相位差像素数据发送到相位差像素帧存储器214。像素数 据加工部212反复执行步骤ST120-ST130，直到针对全部相位差像素执行步骤ST120-130为止(ST140)。

另外，在图9的例子中，假设判定部2121针对全部相位差像素数据判定为进行相加的情况。因此，如图9(F)所示，相位差像素运算部2122对相位差像素数据Z1和1帧前的相位差像素数据Z0进行相加，生成相位差像素数据S1。

这里，关于图9所示的相加运算的例子，当在摄像元件13的像素排列上进行考虑时，如图10所示，针对配置在同一坐标上的相位差像素的像素数据彼此执行相加运算。这里，各像素排列2016-2018的相位差像素数据的数值分别表示帧编号“0”、帧编号“1”、以及对帧编号“0”和帧编号“1”进行相加运算的情况下的值。并且，示出各像素排列2016-2018上的空白的区域是记录像素，示出标注数值的区域是输出该数值的相位差像素数据的相位差像素。另外，在实际的相加运算时，如图11所示，相位差像素提取部211在以光栅顺序或开口朝向顺序等规定顺序重新排列的状态下，仅从存储区域中读出相位差像素数据。这里，各存储区域2019-2021的数值分别表示帧编号“0”、帧编号“1”、以及对帧编号“0”和帧编号“1”进行相加运算的情况下的值。并且，根据需要，所读出的相位差像素数据还与遮光朝向、遮光率、光学滤波器的种类这样的相位差像素特性进行关联。因此，相位差像素运算部2122能够保证与预定的相位差像素的坐标配置、开口朝向、遮光率、以及光学滤波器类别等相位差像素特性之间的对应关系，能够在最小限度的存储器区域内执行帧间的运算。

测距运算处理部213从相位差像素帧存储器214中读出加工后的相位差像素数据。测距运算处理部213根据该加工后的相位差像素数据，在判定为根据相加后的相位差像素数据来执行焦点检测动作的相位差像素中应用相加后的相位差像素数据。并且，测距运算处理部213在判定为不根据相加后的相位差像素数据来执行焦点检测动作的相位差像素中应用当前帧的相位差像素数据，最终执行焦点检测动作(ST150)。

图像处理部24接收执行焦点检测动作的帧中输出的记录像素数据，实施图像处理而生成图像数据。显示部18例如在液晶显示器中显示所生成的图像数据(ST160)。

并且，CPU16根据与由测距运算处理部213检测到的焦点有关的信息，对镜头驱动部12发送控制信号，在以后的帧中执行焦点调节控制。并且，CPU16对摄像元件驱动部15发送控制信号，进行控制以使得输出焦点调节后的记录像素数据。图像处理部24接收进行了焦点调节后的记录像素数据，实施图像处理而生成图像数据。 显示部18例如在液晶显示器中显示进行焦点调节后的图像数据。

接着，对上述步骤ST120-ST150中的与相位差像素的特性和对应于该相位差像素的相位差像素数据对应的判定动作和运算动作进行详细说明。

判定部2121也可以根据各相位差像素数据的大小来执行判定动作。具体而言，判定部2121在当前帧的相位差像素数据小于规定阈值的情况下，判定为根据与过去帧中的同一坐标的相位差像素数据进行相加后的相位差像素数据来执行焦点检测动作。并且，判定部2121也可以根据当前帧的相位差像素数据的大小来决定要相加的过去帧的帧数。例如，在当前帧的相位差像素数据的大小为期望值的1/3左右的情况下，作为运算信息，判定部2121将过去帧的帧数设定为“2”，将其发送到相位差像素运算部2122。图12是进行过去的2帧与当前帧的相加的情况下的时序图，图12(A)-(E)与图9(A)-(E)相同。该情况下，如图12(F)所示，在当前帧的帧编号为“2”时，相位差像素运算部2122将过去2帧中的相位差像素数据Z0、Z1与当前帧的相位差像素数据Z2进行相加，计算相位差像素数据S1。

并且，判定部2121也可以在当前帧的相位差像素数据为规定阈值以上的情况下，判定为不针对该相位差像素数据执行相加运算。并且，判定部2121也可以在相位差像素数据为饱和附近的情况下，判定为在预先进行相除后执行帧相加。

并且，作为各相位差像素的特性，判定部2121也可以根据各相位差像素的遮光率的特性来执行判定动作。一般而言，在相位差像素的遮光率较小的情况下，被遮蔽的光为少量，所以，得到能够确保测距精度的程度的相位差像素数据的输出。另一方面，在遮光率较大的情况下，到达受光部的光被大幅遮蔽，所以，有时无法得到充分的输出。因此，判定部2121在与判定对象的相位差像素数据对应的相位差像素的遮光率较大的情况下，判定为根据与过去帧中的同一坐标的相位差像素数据进行相加后的相位差像素数据来执行焦点检测动作。另一方面，在遮光率较小的情况下，判定部2121也可以判定为不对相位差像素数据进行相加，以噪声去除为目的，也可以判定为根据相加平均来执行焦点检测动作。

并且，判定部2121也可以根据配置在各相位差像素的受光部的前表面上的光学滤波器的特性来执行判定动作。如图13所示，各相位差像素配置有根据波段而具有不同分光特性的G、B、R滤波器。G滤波器分光特性3001透射比较宽的波段。因此，在配置有G滤波器的相位差像素中，即使来自被摄体的反射光为蓝、红成分，也得 到能够确保测距精度的程度的相位差像素数据。另一方面，B滤波器分光特性3002的红成分等长波段的透射率较低，所以，在配置有B滤波器的相位差像素中，在长波长区域的被摄体的情况下，有时无法得到充分的输出。同样，R滤波器分光特性3003的蓝成分等短波段的透射率较低，所以，在配置有R滤波器的相位差像素中，在短波长区域的被摄体的情况下，有时无法得到充分的输出。因此，判定部2121针对配置有G滤波器的相位差像素数据判定为不进行相加，针对配置有B、R滤波器的相位差像素数据判定为进行相加。并且，判定部2121也可以按照光学滤波器的每个种类计算相位差像素数据的平均值，在该平均值小于规定阈值的情况下，判定为使用相加帧的相位差数据进行测距运算。并且，判定部2121也可以从存储部17中读出当前帧的记录像素数据，根据该记录像素数据中的R、G、B的输出电平来判定是否进行相加运算。

如以上说明的那样，在第1实施方式中，相位差像素提取部211按照摄像动作的每帧，读出针对各相位差像素在相同的蓄积时间内执行蓄积动作而得到的相位差像素数据。判定部2121根据上述各相位差像素的特性和与上述各相位差像素对应的相位差像素数据，判断是否根据针对当前帧和过去帧中的同一坐标进行相加后的相位差像素数据来执行焦点检测动作。由此，能够提高测距运算的准确度，而不用对输出记录像素和相位差像素的像素数据的帧进行分离。因此，能够执行焦点检测动作而不损害记录像素输出的连续性。并且，在如动态图像模式那样需要连续输出基于记录像素的帧的情况下，也不需要延长相位差像素读出帧以在相位差像素的蓄积时间内进行工作，能够进行顺畅的显示。而且，不用设置仅相位差像素部独立的电子快门电路，就能够提高测距运算的准确度。因此，通过抑制由于摄像电路的复杂化、开口率的降低、追加电路的寄生电容增加等而导致的像素的读出响应降低，能够防止输出阶梯差或残像等相对于相邻像素的性能劣化。并且，由于能够针对帧内的相位差像素单独判断是否进行相加，所以，能够消除泛白或泛黑的相位差像素输出。并且，能够消除由于滤波器结构成为与记录像素不同的结构而导致的聚光率的恶化、由于感光度过高而导致的针对相邻记录像素的泄漏这样的副作用。

并且，判定部2121根据各相位差像素数据的输出，判定是否根据相加后的相位差像素数据来执行焦点检测动作。由此，即使是输出较低的相位差像素数据，也能够确保测距运算所需要的充分的输出。特别是如实时取景、动态图像时等那样进行伴随 传感器的高速化而降低传感器输出的灰度的运用的情况下，通过对多个过去帧的输出进行相加，也能够抑制测距运算误差。

并且，判定部2121根据各相位差像素的遮光率的特性，判定是否根据相加后的相位差像素数据来执行焦点检测动作。由此，在入射光量被大幅限制的相位差像素和入射光量不太被限制的相位差像素中，能够不使测距运算误差产生差异。

并且，判定部2121根据配置在各相位差像素的受光部的前表面上的光学特性滤波器的特性，判定是否根据相加后的相位差像素数据来执行焦点检测动作。由此，与根据被摄体的反射光的波段而产生的相位差像素数据的衰减无关，能够确保测距运算精度。并且，不用为了得到相位差像素数据的输出而配置滤色器，不用配置透明滤波器的结构，就能够确保测距运算精度。

并且，图像处理部24读出由测距运算部21执行焦点检测动作而得到的帧中的记录像素数据，生成图像数据。显示部18根据所生成的图像数据来执行显示动作。由此，能够提供能够保证显示或记录用的数据品质、并且能够确保测距性能的摄像装置。

[第2实施方式]

接着，对本发明的第2实施方式进行说明。在上述第1实施方式中，根据相位差像素数据的大小、相位差像素的遮光率、光学滤波器的特性等相位差像素特性的差异这样的能够在摄像元件整个区域内应用的条件，判定是否执行帧相加。但是，在实际执行焦点检测动作时，还考虑通过进一步限定执行焦点检测的区域来执行更加精确的焦点检测的情况。第2实施方式是如下的例子：在上述第1实施方式的基础上，在进一步设定执行焦点检测动作的测距区的情况下，针对该设定的测距区内的相位差像素判定是否执行帧相加。这里，除了测距区的设定动作和判定动作以外，第2实施方式与第1实施方式相同。因此，省略照相机的结构、与上述第1实施方式不同的动作以外的动作的说明。

图14是示出第2实施方式中的基于摄像装置的焦点检测动作的流程图。首先，操作部20接受来自用户的操作，设定执行焦点检测动作的测距区(ST210)。操作部20将与该设定的测距区有关的信息发送到CPU16。CPU16根据所设定的测距区来执行焦点检测动作的动作顺序。

CPU16将基于曝光运算部22的运算结果的控制信号发送到摄像元件驱动部15。摄像元件13和摄像元件驱动部15执行摄像元件13中的基于曝光的电荷的蓄积和像 素数据的输出扫描。

相位差像素提取部211按照摄像元件13的摄像动作的每帧，读出针对各相位差像素在相同的蓄积时间内执行蓄积动作而得到的相位差像素数据(ST220)。判定部2121根据各相位差像素的特性和与各相位差像素对应的相位差像素数据，判定是否根据相加后的相位差像素数据来执行焦点检测动作。并且，判定部2121根据包含相位差像素的焦点检测区，判定是否根据相加后的相位差像素数据来执行焦点检测动作(ST230)。

具体而言，判定部2121在判定为根据相加后的相位差像素数据来执行焦点检测动作的情况下(ST230；是)，将当前帧的相位差像素数据Z1发送到相位差像素运算部2122。相位差像素运算部2122从相位差像素帧存储器214接收过去帧的相位差像素数据，对各帧间的同一坐标的相位差像素数据进行相加(ST240)。相位差像素运算部2122将该相加后的相位差像素数据发送到相位差像素帧存储器214。另一方面，判定部2121在判定为不根据相加后的相位差像素数据来执行焦点检测动作的情况下(ST230；否)，将当前帧的相位差像素数据发送到相位差像素帧存储器214。像素数据加工部212反复执行步骤ST230-ST240，直到针对测距区内的全部相位差像素执行步骤ST230-240为止(ST250)。

测距运算处理部213从相位差像素帧存储器214中读出加工后的相位差像素数据。测距运算处理部213根据该加工后的相位差像素数据，在判定为根据相加后的相位差像素数据来执行焦点检测动作的相位差像素中应用相加后的相位差像素数据。并且，测距运算处理部213在判定为不根据相加后的相位差像素数据来执行焦点检测动作的相位差像素中应用当前帧的相位差像素数据，执行焦点检测动作(ST260)。

图像处理部24接收执行焦点检测动作的帧中输出的记录像素数据，实施图像处理而生成图像数据。显示部18例如在液晶显示器中显示所生成的图像数据(ST270)。

并且，CPU16根据与由测距运算处理部213检测到的焦点有关的信息，对镜头驱动部12发送控制信号，在以后的帧中执行焦点调节控制。并且，CPU16对摄像元件驱动部15发送控制信号，进行控制以使得输出焦点调节后的记录像素数据。图像处理部24接收进行焦点调节后的记录像素数据，实施图像处理而生成图像数据。显示部18在液晶显示器中显示进行焦点调节后的图像数据。

接着，对上述步骤ST230-ST260中的基于执行焦点检测动作的测距区的判定动 作和运算动作进行详细说明。

判定部2121也可以根据包含相位差像素的测距区(焦点检测区)来执行判定动作。具体而言，判定部2121可以根据测距区内的各相位差像素的像高来执行判定动作。

图15是示出摄像元件13与像高的相关关系的一例的图。图15(A)示出如下状况：设区域D为光轴中心相当区域，根据与光轴之间的距离(像高)，在水平方向上如区域A-G那样划分记录像素配置区域4001内的相位差像素配置区域4002。这里，在设像高为横轴的情况下，区域A-G中的记录像素数据和相位差像素数据的输出电平如图15(B)那样表示。即，关于记录像素数据输出4003，由于微镜头的入射角特性、光瞳位置等镜头特性参数，从光轴分开距离的区域A和G与接近光轴的区域D相比，输出电平降低。另一方面，关于相位差像素数据，输出电平的变化状况根据开口朝向而不同。即，关于右开口相位差像素数据输出4004r，在左侧的区域A中，输出电平降低，关于左开口相位差像素数据输出4004l，在右侧的区域G中，输出电平降低。这样，关于相同像高处的相位差像素，在其开口朝向中，输出电平的大小产生差异。在测距运算中，如图15(C)所示，在执行相关运算时，通过增益放大等对R/L、T/B的对儿中的相位差像素数据的输出差进行校正。在图15(C)的例子中，右开口相位差像素数据输出4004r和左开口相位差像素数据输出4004l的像素数据输出被均匀化，成为校正后右开口相位差像素数据输出4005r和校正后左开口相位差像素数据输出5005l。但是，如上所述在输出电平产生较大差异的情况下，根据增益放大，无法正确地执行输出差的校正，其结果，成为测距精度降低的要因。

因此，判定部2121根据包含执行焦点检测动作的对象的测距区的像高区域，根据与预先存储的各像高的输出相对比有关的信息，判定是否使R/L或T/B的输出电平均匀化。判定部2121在判定为使输出电平均匀化的情况下，判定为按照每帧对R/L或T/B的相位差像素中的输出较低的像素数据进行相加。并且，判定部2121也可以判定为针对输出较高的像素数据按照每帧进行相加后计算平均值。

并且，判定部2121也可以根据测距区内的垂直开始坐标和垂直结束坐标之间的扫描时间以及蓄积时间来执行判定动作。

图16是示出配置在受光面上的相位差像素的开口朝向与相关运算时取得相关的焦点检测像素数据之间的关系的一例的图。在图16中，将在左右上下配置开口相位 差像素的区域的像素数据分别表示为L、R、T、B。这里，在图16的例子中，针对在行方向(垂直方向)上计算出的相位差像素数据(T1，B1)、(T2，B2)、(T3，B3)、(T4，B4)执行基于T/B像素的相关运算。这样，在T/B像素中执行相关运算的情况下，在不同时间段内曝光的相位差像素彼此之间执行相关运算。因此，在光源的输出存在时间变动的情况下，各相位差像素数据间的输出产生差异。测距运算处理部213应用这种相位差像素数据来执行焦点检测动作时，可能将基于光源的时间变化的输出变动误识别为被摄体成分。

另一方面，针对在列方向(水平方向)上计算出的相位差像素数据(R1，L1)、(R2，L2)、(R3，L3)、(R4，L4)执行基于R/L像素的相关运算。因此，在R/L像素中执行相关运算的情况下，在相同时间内曝光的相位差像素彼此之间执行相关运算，所以，在光源的输出存在时间变动的情况下，各相位差像素数据间的输出的差异也较小。

这样，例如在由于以闪烁等为代表的光源的闪光而使光源的明暗变动的情况下，该闪烁成分可能主要影响T/B方向开口像素的测距运算。并且，例如，夜景或彩饰等LED(Light Emitting Diode)光源包含100Hz等的闪烁成分，而且局部地存在光源，所以，有时无法判断基于闪烁运算部23的闪烁检测本身。

这里，作为对由于闪烁成分而使测距区内的相位差像素输出变动的状况进行说明的一例，图17、18示出从测距区的垂直扫描开始到垂直扫描结束的扫描时间和蓄积时间的关系以及与时间变动的光源输出之间的关系。图17(A)、(B)是示出在行方向上分布的多个测距区(H1-H5或H’1-H’3)中的蓄积和输出扫描的时序图，是示出与光源输出5001的时间变动之间的关系的示意图。光源输出5001的时间变动示出亮度周期性地变化。并且，图18是示出图17(B)的测距区内的T/B方向开口像素中蓄积的光源输出5001变动的状况的示意图。另外，图18内的各像素配置区域5002、5003表示相邻的帧中的包含测距区H’1的行。另外，在图18中，用空白示出在光源输出5001较强的时间段内蓄积电荷的行，用阴影示出在光源输出5001较弱的时间段内蓄积电荷的行。

在图17(A)中的测距区H1中，在时刻T10-T30执行上部(垂直开始坐标)的行的蓄积，在时刻T20-T40执行下部(垂直结束坐标)的行的蓄积。这里，关于时刻T10-T30和时刻T20-T40中的光源输出5001的变动，大半部分的时间段重复，均持 续进行较高的输出。

另一方面，在图17(B)中的测距区H’1中，在时刻T’10-T’30执行垂直开始坐标的行的蓄积，在时刻T’20-T’40执行垂直结束坐标的行的蓄积。并且，在下一帧中，在时刻T’50-T’70执行垂直开始坐标的行的蓄积，在时刻T’60-T’80执行垂直结束坐标的行的蓄积。这里，关于时刻T’10-T’30中的光源输出5001的变动，持续进行比较弱的输出。因此，图18的像素配置区域5002中的垂直开始坐标的行在光源输出5001较弱的时间段内蓄积电荷。另一方面，关于时刻T’20-T’40中的光源输出5001的变动，持续进行比较强的输出。因此，图18的像素配置区域5002中的垂直结束坐标的行在光源输出5001较强的时间段内蓄积电荷。这种情况下，测距区H’1内的T/B像素输出受到闪烁成分的影响，相关运算时的精度劣化。这是因为，进行测距区H’1内的相位差像素配置行数的读出所需要的时间T’30-T’40与蓄积时间T’10-T’30相同或比其更长。

这种闪烁成分的影响表现为按照多个帧中的每个帧而变动。例如，在图18中，关于时刻T’50-T’70中的光源输出5001的变动，持续进行比较强的输出。因此，图18的下一帧的像素配置区域5003中的垂直开始坐标的行在光源输出5001较强的时间段内蓄积电荷。另一方面，关于时刻T’60-T’80中的光源输出5001的变动，持续进行比较弱的输出。因此，图18的下一帧的像素配置区域5003中的垂直结束坐标的行在光源输出5001较强的时间段内蓄积电荷。即，通过按照每帧进行相加或相加平均，能够使由于闪烁成分而产生的测距区内的每行的相位差像素数据的变动平滑。

因此，判定部2121在以下所示的条件式成立的情况下，判定为按照每帧对T/B的相位差像素的像素数据进行相加，由此使闪烁成分的影响平滑。

(进行测距区内的相位差像素配置行数的读出所需要的时间)≧蓄积时间

并且，判定部2121也可以在上述条件式成立的情况下，在按照每帧对T/B的相位差像素的像素数据进行相加后，通过除以相加后的帧数而计算相加平均来进行判定。

如以上说明的那样，在第2实施方式中，设定执行焦点检测动作的焦点检测区，根据包含各相位差像素的上述设定的焦点检测区进行判定。由此，由于根据所设定的焦点检测区的像高来判定是否进行相加处理，所以，除了第1实施方式的效果以外，还能够对根据像高而变动的输出电平进行校正。因此，能够提供能够保证显示或记录 用的数据品质、并且能够确保测距性能的摄像装置。

具体而言，在测距运算中，对R/L、T/B的成对儿的相位差像素数据的输出差进行校正，执行R/L、T/B间的相关运算。但是，在相位差像素中，根据所设定的测距区的像高以及该测距区内的相位差像素的开口朝向，R/L或T/B间的输出不均匀，所以，测距运算的精度劣化。在现有技术中，为了使输出均匀，对R/L或T/B间的相位差像素数据中的一方附加增益。因此，在现有技术中，在输出较低的像高区域中，由于附加增益而使数据变得离散，可能对测距运算精度造成影响。并且，在现有技术中，还存在数据内的噪声也由于增益而被放大这样的影响。与此相对，在第2实施方式中，针对由于开口朝向而导致的输出的不均匀，按照每个相位差像素来判定是否进行相加，由此，输出较低的像高区域按照每帧对输出进行相加，从而能够确保输出电平。并且，由于在帧间对输出进行相加，所以，能够减轻噪声的影响，并且能够使R/L或T/B间的输出均匀。

并且，根据上述设定的焦点检测区内的垂直开始坐标和垂直结束坐标之间的扫描时间以及蓄积时间进行判定。由此，在滚动快门控制中按照每1行执行复位处理、读出处理的情况下，能够减少T/B像素中产生的闪烁的影响。并且，在全局快门控制中，也能够减小由于帧间可能产生的闪烁的影响而导致的输出电平的变动。

以上根据各实施方式说明了本发明，但是，本发明不限于上述各实施方式，能够在本发明的主旨范围内进行各种变形和应用。

例如，本发明的各实施方式中的电荷的读出方式不限于上述例子，还可以适当应用如图19(A)所示对记录像素输出和相位差像素输出的帧进行分离的方式、如图19(B)所示设置仅相位差像素独立的电子快门的方式。

并且，本发明的各实施方式中的判定动作也可以预先决定要相加的帧数，以减少运算量的增加。具体而言，判定部2121也可以通过使要相加的帧数成为2的幂乘来减少运算量的增加。

并且，也可以考虑被摄体在帧间移动的情况来执行本发明的各实施方式中的判定动作。例如，在帧间对同一被摄体进行摄像而得到的相位差像素数据的坐标不同的情况下，像素数据加工部212也可以针对对同一被摄体进行摄像而得到的相位差像素数据彼此执行运算。具体而言，判定部2121在判定为执行焦点检测动作的情况下，也可以计算当前帧与过去帧之间的被摄体的偏移量。判定部2121也可以根据计算出的 帧间的被摄体的偏移量，决定在帧间具有相同特征的相位差像素的对应关系。相位差像素运算部2122也可以根据该决定的对应关系来执行相加运算。

并且，第1实施方式中示出的判定动作和第2实施方式中示出的判定动作不限于分别单独实施的情况，也可以任意组合实施。具体而言，判定部2121也可以复合地执行基于相位差像素数据的输出、遮光率的特性、光学滤波器的特性、测距区、垂直开始坐标和垂直结束坐标之间的扫描时间和蓄积时间的判定。相位差像素运算部2122也可以根据该复合执行的判定结果而执行至少包含相加的运算，测距运算处理部213也可以应用该运算结果，最终执行焦点检测动作。

并且，通过上述各实施方式所公开的多个结构要素的适当组合，能够形成各种发明。例如，可以从各实施方式所示的全部结构要素中删除若干个结构要素。进而，可以适当组合不同实施方式的结构要素。