1的方向上的成像面与预定成像面之间的偏差)O
[0087]另外，得到在整个画面上将各焦点检测像素311的光电转换部13、14的输出相加而得的输出信号，从而能够得到与使通常的摄像像素成为拜耳排列时相同的图像信号。
[0088]图9是详细地示出与本发明有关的部分的摄像元件212与机身驱动控制装置214之间的关系的框图。在机身驱动控制装置214内收纳有摄像元件控制部220、缓冲存储器221、CPUa (微型计算机)222、CPUb (微型计算机)223。摄像元件212根据摄像元件控制部220的控制进行焦点检测像素311的电荷蓄积控制(电荷蓄积时间和电荷蓄积时机)和信号的输出控制。摄像元件212如后所述地对焦点检测像素311的一对光电转换部13、14的输出信号进行AD转换并且从通道I作为数字数据(焦点检测用的数据)输出。与此同时，摄像元件212将对焦点检测像素311的一对光电转换部13、14的数字数据进行数字加法而得的数字数据(与通常的摄像像素的输出信号相同的信号)从通道2作为数字数据输出。从通道I和通道2输出的数字数据作为I帧量的数字数据暂时存储在缓冲存储器221中。CPUa222对存储在缓冲存储器221中的焦点检测区域的焦点检测像素311的一对光电转换部13、14的数字数据(焦点检测用的数据)进行后述的处理而进行焦点检测。CPUb223对存储在缓冲存储器221中的I帧量的数字数据(图像数据)进行公知的图像处理而进行图像显示、图像记录。
[0089]如上所述，焦点检测用的数字数据和图像用的数字数据从摄像元件212通过不同的通道在时间上交叠地输出。另外，焦点检测用的数字数据和图像用的数字数据分别在CPU222、223中被处理，因此不需要在时间上分离焦点检测处理和图像处理，能够同时独立地进行。
[0090]接着，使用图10对能够从两个通道同时输出焦点检测像素311的一对光电转换部13、14的数字数据和对焦点检测像素311的一对光电转换部13、14的数字数据进行数字加法而得的数字数据(与通常的摄像像素的输出信号相同的信号)的摄像元件212的结构进行说明。
[0091]图10是示出摄像元件212 (CMOS图像传感器)的结构的框图。摄像元件212构成为，除了具有由多个包含一对光电转换部13、14的焦点检测像素311 二维地配置成行列状(矩阵状)而成的像素阵列部40以外，还具有行扫描电路41、列AD转换装置42、第2行存储器44、第2列扫描电路51、第2水平输出电路45、列数字加法装置46、第I行存储器48、第I列扫描电路52、第I水平输出电路49以及时机控制电路50。
[0092]在该系统结构中，时机控制电路50根据从外部输入的主时钟和从摄像元件控制部220输入的控制信号，生成成为行扫描电路41、列AD转换装置42、列数字加法装置46、第I行存储器48、第2行存储器44、第I列扫描电路52、第2列扫描电路51等的动作基准的时钟信号、控制信号等。时机控制电路50将由此生成的时钟信号、控制信号等供给到行扫描电路41、列AD转换装置42、列数字加法装置46、第I行存储器48、第2行存储器44、第I列扫描电路52、第2列扫描电路51等。
[0093]另外，对像素阵列部40的各焦点检测像素311进行驱动控制的周边的驱动系统、信号处理系统，即行扫描电路41、列AD转换装置42、列数字加法装置46、第I行存储器48、第2行存储器44、第I列扫描电路52、第2列扫描电路51、第I水平输出电路49、第2水平输出电路45以及时机控制电路50等与像素阵列部40集成在同一芯片(半导体基板)上。集成有这些的芯片层叠在像素阵列部40的芯片上。
[0094]作为焦点检测像素311，虽然在此省略图示，但是除了一对光电转换部13、14(例如，光电二极管)以外，例如，能够使用具有将通过该光电转换部13、14进行光电转换而得到的电荷传输到FD(浮动传播)部的传输晶体管、对该FD部的电位进行控制的复位晶体管、输出与FD部的电位对应的信号的放大晶体管这3个晶体管结构的部件以及另外还具有用于进行像素选择的选择晶体管这4个晶体管结构的部件等。
[0095]在像素阵列部40上二维地配置有2N行X2M列量的焦点检测像素311。换言之，像素阵列部40在各行上具有在水平方向上排列2M个焦点检测像素311的焦点检测像素组，该焦点检测像素组在与水平方向交叉的垂直方向上配置有2N行。在图10中左上的焦点检测像素311为第一行且第一列的像素，在该像素上配置有拜耳排列的绿色的滤光片。在作为第一行的像素组排列的焦点检测像素上配置有绿色的滤光片和蓝色的滤光片。对于该2N行X 2M列的像素配置，对每行配线有I系统的行控制线21 (21 (I)?21 (2N))，对每列配线有 2 根列信号线(22(l)a、22(l)b ?22(2M)a、22(2M)b)。行控制线 21 (21 (I)?21(2N))的各一端与对应于行扫描电路41的各行的各输出端连接，向各行控制线21输出控制信号R(I)?R(2N)。行扫描电路41由移位寄存器等构成，通过行控制线21(21(1)?21(2N))进行像素阵列部40的行地址、行扫描的控制。
[0096]同一行的各焦点检测像素311的一对光电转换部13、14通过相同的行控制线21与行扫描电路41连接。根据控制信号R(I)、…、R(L)、
[0097]…、R(2N)同时进行电荷蓄积控制和信号读取控制。各焦点检测像素311的一对光电转换部13、14的一个光电转换部13与对每列设置的2根列信号线的一根列信号线22 (m)b连接。光电转换部13的输出信号(模拟信号)输出到列信号线22 (m)b。各焦点检测像素311的一对光电转换部13、14的另一个光电转换部14与对每列设置的2根列信号线的另一根列信号线22 (m) a连接。光电转换部14的输出信号(模拟信号)输出到列信号线22 (m)a。在例如通过从行扫描电路41供给的控制信号R(L)选择了构成像素阵列部40的第L行的焦点检测像素组的焦点检测像素311时，第L行的焦点检测像素311的一对光电转换部13、14的输出信号输出到列信号线(22⑴a、22⑴b?22 (2M) a,22 (2M) b)。
[0098]列AD转换装置42具有对与像素阵列部40的像素列对应地设置的信号线22 (I) a、
22(l)b?22(2M)a、22(2M)b的每列设置的ADC (模拟-数字转换电路)23 (I) a、23 (I) b?
23(2M) a,23 (2M) b。列AD转换装置42根据从时机控制电路50供给的控制信号TAl，将从像素阵列部40的各焦点检测像素311对每列输出的一对模拟信号转换成H比特的数字信号并输出。“H比特”表示比特数，例如10比特、12比特、14比特等。
[0099]第2行存储器44具有对构成列AD转换装置42的各ADC (23⑴a、23 (I) b?23 (2M)a、23(2M)b)的每个设置的存储器(25(l)a、25(l)b?25(2M)a、25(2M)b)。第2行存储器44根据从时机控制电路50供给的控制信号TM2，将对每个ADC(23(l)a、23(l)b?23(2M)a、23(2M)b)输出的数字信号存储为H比特的数字信号。在此，在第2行存储器44的各存储器(25 (I) a,25 (I) b?25 (2M) a,25 (2M) b)中，关于I行量的焦点检测像素，存储一对光电转换部13、14的输出信号来作为数字信号。
[0100]列数字加法装置46具有对构成列AD转换装置42的一对ADC ((23⑴a、23⑴b)?(23(2M)a、23(2M)b))的每个设置的数字加法电路(26(1)?26(2M))。列数字加法装置46根据从时机控制电路50供给的控制信号TDl，将从一对ADC ((23 (I) a,23 (I) b)?(23 (2M)a、23(2M)b))输出的数字信号相加，并输出为H比特的加法数字信号。
[0101]第I行存储器48具有对构成列数字加法装置46的各数字加法电路(26(1)?26 (2M))的每个设置的存储器(28(1)?28(2M))。第I行存储器48根据从时机控制电路50供给的控制信号TM1，将对每个数字加法电路(26(1)?26(2M))输出的加法数字信号存储为H比特的数字信号。在此，在第I行存储器48的各存储器(28(1)?28 (2M))中，关于I行量的焦点检测像素，存储将一对光电转换部13、14的输出信号相加而得的加法信号(相当于摄像像素的输出信号)来作为数字信号。
[0102]第2列扫描电路51由移位寄存器等构成，根据时机控制电路50的控制进行第2行存储器44中的存储器(25(l)a、25(l)b?25 (2M) a、25 (2M) b)的列地址、列扫描的控制。第2行存储器44根据从第2列扫描电路51供给的扫描信号TS2而动作。存储在各存储器(25 (I) a、25 (l)b?25 (2M) a、25 (2M)b)中的H比特的数字信号被依次读取到第2水平输出电路45，经由该第2水平输出电路45作为焦点检测用的一对光电转换部13、14的输出信号(数字信号)而被串行输出到外部。
[0103]第I列扫描电路52由移位寄存器等构成，根据时机控制电路50的控制进行第I行存储器48中的存储器(28(1)?28(2M))的列地址、列扫描的控制。第I行存储器48根据从第I列扫描电路52供给的扫描信号TSl而动作。存储在各存储器(28(1)?28 (2M))中的H比特的加法数字信号被依次读取到第I水平输出电路49，经由该第I水平输出电路49作为与摄像像素的输出信号相同的输出信号(数字信号)而被串行输出到外部。
[0104]接着，在图10所示的摄像元件的结构中，使用图11、图12的时序图，对在I帧期间内并行地进行焦点检测像素的一对光电转换部的输出信号的分别读取动作和将一对光电转换部的输出信号相加而得的加法信号的读取动作的情况进行说明。在图11、图12中，VS为表示I帧期间的垂直同步信号，HS是表示I水平扫描期间的水平同步信号。
[0105]在图11所示的动作中，将控制信号R(l)、R(2)、R(3)?R(2n+1)、R(2n+2)、R(2n+3)?R(N)与水平同步信号HS同步地从行扫描电路41依次发送到像素阵列部40。将与控制信号R(I)、R(2)、R(3)?R(2n+1)、R(2n+2)、R(2n+3)?R(N)对应的行的I行量的焦点检测像素311的一对光电转换部13、14的模拟信号依次输出到列信号线(22(l)a、22⑴b ?22(2M)a、22(2M)b)。
[0106]图12是放大了图11中的(2n+l)行、(2n+2)行、(2n+3)行的动作部分的图。当通过控制信号R(2n+1)选择了像素阵列部40的(2n+l)行时，将(2n+l)行的I行量的焦点检测像素311的一对光电转换部13、14的模拟信号输出到列信号线(22(l)a、22(l)b?22 (2M) a,22 (2M) b)。根据控制信号 TAl，通过与列信号线 22 (I) a,22 (I) b ?22 (2M) a,22 (2M)连接的列AD转换装置42的ADC (23 (I) a,23 (I) b?23 (2M) a,23 (2M) b)，将输出到列信号线(22(l)a、22(l)b?22(2M)a、22(2M)b)的(2n+l)行的I行量的焦点检测像素311的一对光电转换部13、14的模拟信号转换为数字信号。
[0107]根据控制信号TM2，将数字转换后的(2n+l)行的I行量的焦点检测像素311的一对光电转换部13、14的数字信号存储到与列AD转换装置42的ADC (23 (I) a、23 (I) b?23(2M)a、23(2M)b)连接的第 2 行存储器 44 的存储器(25 (I) a、25 (I) b ?25 (2M) a、25 (2M)
b) ο
[0108]与此同时，根据控制信号TD1，通过对构成列AD转换装置42的一对ADC((23(1)a、23(l)b)?(23(2M)a、23(2M)b))的每个设置的列数字加法装置46的数字加法电路(26(1)?26(2M))，将数字转换后的(2n+l)行的I行量的焦点检测像素311的一对光电转换部13、14的数字信号相加。
[0109]根据控制信号TM1，将对一对光电转换部13、14的输出信号进行相加而得的(2n+l)行的I行量的焦点检测像素311的加法数字信号存储到与列数字加法装置46的数字加法电路(26(1)?26 (2M))连接的第I行存储器48的存储器((28(1)?28(2M))?
[0110]根据扫描信号TS2，在到产生下一个水平同步信号HS为止的期间，存储到第2行存储器44的存储器(25(l)a、25(l)b?25 (2M) a、25 (2M) b)的(2n+l)行的I行量的焦点检测像素311的一对光电转换部13、14的数字信号从第2水平输出电路45被依次串行输出到外部。机身驱动控制装置214的焦点检测用的CPUa222根据从第2水平输出电路45输出的数字信号，如后述的图13所示地，对可换镜头202 (光学系统)的焦点状态进行检测，对其焦点状态进行调节。
[0111]同样地，根据扫描信号TS1，在到产生下一个水平同步信号HS为止的期间，将存储在第I行存储器48的存储器((28(1)?28 (2M))中的一对光电转换部13、14的输出信号相加而得的(2n+l)行的I行量的焦点检测像素311的加法数字信号从第I水平输出电路49被依次串行输出到外部。机身驱动控制装置214的图像处理用的CPUb223根据从第I水平输出电路49输出的加法数字信号，如后述的图14所示地，生成图像数据。
[0112]当与下一个水平同步信号HS同步地发送控制信号R(2n+2)并选择像素阵列部40的(2n+2)行时，对于(2n+2)行的I行量的焦点检测像素311的一对光电转换部13、14的模拟信号以同样的动作重复进行处理。而且，在与下一个水平同步信号HS同步的控制信号R(2n+3)下重复进行相同的处理。
[0113]图13、图14是表示第I实施方式的数码静态相机(摄像装置)201的动作的流程图。并行地进行根据这些流程图的处理。图13是机身驱动控制装置214的焦点检测用的CPUa222的动作流程图。当在步骤SlOO中数码静态相机201的电源被接通时，机身驱动控制装置214开始步骤SllO之后的焦点检测动作。在步骤SllO中，机身驱动控制装置214读取在帧同步地选择的焦点检测区域内排列的焦点检测像素的一对光电转换部的数据。该一对光电转换部的数据为从上述第2水平输出电路45输出的数字信号。接着，在步骤S120中，机身驱动控制装置214根据焦点检测像素的数据，进行后述的像偏移检测运算处理(相关运算处理、相位差检测处理)，运算像偏移量。另外，摄影者使用操作部件(未图示)预先选择焦点检测区域的位置。
[0114]在步骤S130中，机身驱动控制装置214将像偏移量转换为离焦量。
[0115]在步骤S140中，机身驱动控制装置214对可换镜头202 (光学系统)的焦点状态是否为对焦附近、即所计算出的离焦量的绝对值是否为预定值以内进行检测。在判定为不是对焦附近时，本处理进入到步骤S150，机身驱动控制装置214将离焦量发送到镜头驱动控制装置206，使可换镜头202的聚焦透镜210驱动到对焦位置，从而对可换镜头202 (光学系统)的焦点状态进行调节。
[0116]另外，在不能进行焦点检测时也分支到该步骤，机身驱动控制装置214向镜头驱动控制装置206发送扫描驱动命令，使可换镜头202的聚焦透镜210在从无限到至近的期间扫描驱动。之后，进入到步骤S160。
[0117]当在步骤S140中判定为是对焦附近时，本处理进入到步骤S160，机身驱动控制装置214判别是否通过快门按钮(未图示)的操作进行了快门释放。在判定为没有进行快门释放时，本处理回到步骤S110，重复进行上述动作。另一方面，在判断为进行了快门释放时，本处理进入到步骤S170，机身驱动控制装置214等待与快门释放对应的摄影动作结束，在摄影动作结束时，本处理回到步骤S110，重复进行上述动作。
[0118]以下对图13的步骤S120、步骤S130中的像偏移检测运算处理(相关运算处理、相位差检测处理)的详情进行说明。另外，焦点检测像素311的一对数据对拜耳排列中的相同颜色的每个颜色相区别。
[0119]焦点检测像素311检测的一对像中，测距光瞳93、94通过镜头的光圈开口被拉开而光量平衡有可能被破坏，因此机身驱动控制装置214对光量平衡实施能够维持像偏移检测精度的类型的相关运算。当将从焦点检测像素311的排列读取的一对数据列作为Α1η(Α10…、Alj, j为数据数)、A2n(A21、…、A2」)而不基于不同颜色加以区别地一般化地表示时，机身驱动控制装置214对一对数据列Aln、A2n进行在日本国特开2007-333720号公报中公开的下述的相关运算式(1)，对相关量C(k)进行运算。
[0120]C(k) = Σ |Α1η.A2n+1+k-A2n+k.Aln+11...(I)
[0121]在(I)式中，Σ运算对η进行累积。N所取的范围根据像移动量k而被限定在Aln、Aln+1、A2n+k、A2n+1+k的数据存在的范围。移动量k为整数，是以数据列的数据间隔为单位的相对移位量。如图15(a)所示，(I)式的运算结果为在一对数据的相关性高的移位量(在图15(a)中k = kj = 2)中相关量C(k)变得极小。相关量C(k)越小相关度越高。
[0122]接着，机身驱动控制装置214使用从⑵式到(5)式的3点内插的方法求出对连续的相关量赋予极小值C (X)的移位量X。
[0123]X = kj+D/SLOP...(2)
[0124]C(X) = C(kj)-|D…(3)
[0125]D = {C(kj-l)-C(kj+l)}/2...(4)
[0126]SLOP = MAX{C(kj+l)-C(kj), C(kj-1)-C(kj)}...(5)
[0127]如下所述判定在(2)式中计算出的移动量X是否具有可靠性。如图15(b)所示，在一对数据的相关度低时，被内插的相关量的极小值C(X)的值变大。因此，在C(X)为预定的阈值以上时，机身驱动控制装置214判定为所计算出的移动量的可靠性低，删除所计算出的移动量X。或者，为了通过数据的对比度将C(X)归一化，在C(X)除以成为与对比度成比例的值的SLOP而得的值为预定值以上时，机身驱动控制装置214判定为所计算出的移动量的可靠性低，删除所计算出的移动量X。或者，在成为与对比度成比例的值的SLOP为预定值以下时，被摄体为低对比度，机身驱动控制装置214判定为所计算出的移动量的可靠性低，删除所计算出的移动量X。
[0128]如图15(c)所示，在一对数据的相关度低且相关量C(k)没有落入到移位范围kmin?kmax之间时，不能求出极小值C (X)，在这种情况下，机身驱动控制装置214判定为不能进行焦点检测。
[0129]在判定为所计算出的移动量X具有可靠性时，通过(6)式换算为像