a-2中存储Gb、B行的各像素信号。
[0131]在该情况下，依次进行如下等处理:第I存储阵列31a_l和第2存储阵列31a_2分别首先存储第1、3行和第2、4行的像素信号，接着存储第5、7行和第6、8行的像素信号，进而存储第9、11行和第10、12行的像素信号。
[0132]图17是示出在动态图像模式下，按多个帧取I帧的比例进行相位差AF情况的时序图，图18是示出动态图像模式下的处理的流程图。
[0133]在开始了图18所示的处理后，由像素部24对被摄体像进行光电转换(步骤SI)。
[0134]在光电转换结束后，与设定的行间取率对应地，垂直扫描部23选择并扫描来自像素部24的作为读取对象的行(包含作为合成处理的对象的单位行)。这样，在通过模拟处理部25对以行为单位从像素部24读取的像素信号进行处理之后，通过ADC部26进行A/D转换，存储到存储器部31中(步骤S2)。
[0135]接下来，系统控制部22判定是否了设定为始终AF模式(连续AF模式)(步骤S3)。
[0136]此处，在判定为没有设定始终AF模式的情况下，像素合成部32从存储器部31中存储的像素信号中选择与设定的行列间取率对应的单位像素中包含的像素信号(如上所述，相同颜色的像素信号)，读取选择出的像素信号，进行合成处理，生成合成像素信号。进而，摄像元件13基于系统控制部22的控制，仅读取进行合成处理而得到的合成像素信号(步骤S4) ο
[0137]此外，当在步骤S3中判定为设定为始终AF模式的情况下，判定规定条件是否发生了变化(步骤S5)。在此，规定条件包含被摄体条件和摄影条件中的至少一方。
[0138]首先，作为判定为被摄体条件发生了变化的例子，可举出AF目标区域(设定区域、面部区域、画面中央区域等)的亮度和颜色信息中的至少一方发生了与亮度或颜色信息对应的各规定值以上的变化的情况。
[0139]此外，作为判定为摄影条件发生了变化的例子，可举出如下等情况:在灵敏度设定、快门速度设定、光圈设定、焦点距离设定中的至少I个发生了与各设定对应的规定值以上的变化；或者，用于检测手振动或摄像装置的姿态的陀螺仪传感器的输出值发生了规定值以上的变化。
[0140]当在该步骤S5中判定为规定条件没有变化的情况下，如图17所示，按多个帧取I帧的比例，从摄像元件13依次读取合成像素信号和相位差像素信号，其它帧进行从摄像元件13仅读取合成像素信号的连续AF时的处理(步骤S6)。在此，在读取相位差像素信号时，相位差像素提取部33仅从存储器部31中存储的像素信号中选择读取与设定的行列间取率对应的单位行中包含的相位差像素信号。
[0141]此外，当在步骤S5中判定为规定条件发生了变化的情况下，在判定为规定条件发生了变化的时机，立刻从摄像元件13依次读取合成像素信号和相位差像素信号(步骤S7)。
[0142]在步骤S6中，在对相位差像素信号也被读取的帧进行了处理的情况下、或者在进行了步骤S7的处理的情况下，水平扫描部34按列号顺序水平扫描由像素合成部32生成的合成像素信号并输出，然后，接着依次水平扫描由相位差像素提取部33提取出的相位差像素信号并输出(参照图7?图9)。
[0143]这样，当在步骤S6或步骤S7中读取了相位差像素信号的情况下，焦点检测部16的第I焦点检测部基于读取的相位差像素信号，进行基于相位差法的焦点检测(步骤S8)。
[0144]这样，系统控制部22判定被摄体条件和摄影条件中的至少一方是否发生变化，在判定为发生变化的情况下，进一步控制为，使图像信号读取部28读取相位差像素信号，使第I焦点检测部进行焦点检测。
[0145]此外，系统控制部22在第I焦点检测部没有进行焦点检测的情况下(参照图17)，将摄像元件13的图像信号读取部28控制为不输出相位差像素信号。
[0146]在进行了步骤S4或步骤S8后，通过图像处理部15，对读取的合成像素信号进行图像处理，在显示部18中显示处理后的图像(步骤S9)。
[0147]然后，判定是否进行了动态图像记录的操作(步骤S10)，在进行了操作的情况下，将得到的I帧的动态图像信号记录到记录部17中(步骤Sll)。
[0148]在该步骤Sll的处理结束或在步骤SlO中判定为没有进行动态图像记录的操作的情况下(例如实时取景的情况下等)，判定是否结束动态图像模式的处理(步骤S12)，在不结束的情况下，返回到上述步骤SI，对下一帧反复上述那样的动作，在结束的情况下，结束该处理。
[0149]此外，在上述说明中，根据由ADC部26转换为数字的像素信号，生成合成像素信号和相位差像素信号，但也可以根据由模拟处理部25处理后的模拟的像素信号，生成合成像素ig号和相位差像素ig号。
[0150]此外，在图2中，作为来自像素部24的输出系统，仅设置了从模拟处理部25起到图像信号读取部28为止这I个输出系统(例如，在像素部24的下侧)，但也可以通过多个输出系统，例如在像素部24的上侧进一步设置I个输出系统而设置共计2个输出系统，通过这两个输出系统，同时对像素部24的信号进行并行处理。具体而言，在该情况下，在一个输出系统中配置包含图15所示的第I存储阵列31a-l的第I存储器部，存储Gr、R行的像素信号，在另一个系统中配置包含图16所示的第2存储阵列31a-2的第2存储器部，来存储Gb、B行的像素信号等。本发明能够与上述同样地应用于这样的实现了高速化的摄像元件13。
[0151]根据这样的实施方式1，在来自摄像元件13的I行信号输出中包含将图像用像素合成而得到的合成像素信号和相位差像素信号这双方，因此，在进行相位差像素信号的读取的帧中，能够取得在图像显示中使用的合成像素信号，能够进行没有丢失帧、运动顺畅的动态图像显示。
[0152]此外，使仅排列有合成像素信号的像素信号组和仅排列有相位差像素信号的像素信号组串行排列，作为I行信号而进行读取，因此，能够容易地分离合成像素信号和相位差像素信号。
[0153]此外，为了使I行的合成像素信号的数量与相位差像素信号的数量的合计数量在全部行中为相同数，对像素信号的数量小于相同数的行附加虚设像素信号，因此能够进行与固定周期的同步信号同步的图像处理等。
[0154]进而，在对像素信号进行数字化而生成合成像素信号的情况下，能够简单地进行合成处理。另一方面，在以模拟信号方式直接对像素信号进行合成处理的情况下，不需要在摄像元件13内进行在处理中耗费时间的A/D转换，因此，能够使来自摄像元件13的像素信号的读取高速化。
[0155]此外，基于合成像素信号进行动态图像用的图像信号的生成，由此，能够减少来自摄像元件13的读取像素数，确保所需的帧速率，能够进行运动顺畅的动态图像显示。
[0156]此外，第I焦点检测部基于相位差像素信号进行相位差AF，第2焦点检测部基于合成像素信号进行对比度AF，因此，能够综合双方的AF方式的特长来利用。具体而言，例如通过仅I帧图像即可进行AF的相位差AF来进行高速AF处理，然后，使用对比度AF，进行高精度的AF处理等。
[0157]此外，在第I焦点检测部不进行焦点检测的情况下，不使摄像元件13的图像信号读取部28输出相位差像素信号，因此，能够减少在摄像元件13内进行处理的像素数，实现省电化、高速化。
[0158]进而，在被摄体条件和摄影条件中的至少一方发生变化的情况下，读取相位差像素信号，进行相位差AF，因此，能够在短时间内应对条件的变化，能够缩小AF时滞。
[0159][实施方式2]
[0160]图19?图24是示出本发明的实施方式2的图，图19是示出沿着光线方向的相位差像素的结构的图，图20是示出相位差像素的结构的俯视图。
[0161]在该实施方式2中，对与上述的实施方式I相同的部分，标注相同的标号等，适当省略说明，主要对不同点进行说明。
[0162]在上述实施方式I中，I个相位差像素为右开口像素R1、左开口像素Le、上开口像素To、下开口像素Bo中的任意一个，而在本实施方式中构成为，I个相位差像素能够作为右开口像素R1、左开口像素Le、上开口像素To、下开口像素Bo中的任意一个发挥作用。
[0163]S卩，如图19所示那样对具有I个微镜头ML的I个像素PX配置的光电二极管H)如图20所示那样由4个光电二极管PDl?PD4构成，这些光电二极管PDl?PD4为2X2的排列。因此，以下，将光电二极管PDl?PD4分别适当称作子像素等。此外，本实施方式的像素PX不进行布线层WL导致的开口的限制，来自被摄体的光线入射到全部光电二极管PDl?Η)4中，分别进行光电转换。此外，光电二极管PDl?Η)4中分别蓄积的子像素信号能够各自独立地读取。
[0164]此外，图19和图20所示的像素结构不仅针对相位差像素，针对图像用像素也相同。
[0165]进而，在读取像素信号时，将光电二极管PDl的子像素信号与光电二极管PD3的子像素信号相加而进行读取，由此，能够得到左开口像素Le的相位差像素信号，同样，将TO2与HM的子像素信号相加而进行读取，由此能够得到右开口像素Ri的相位差像素信号，将PDl与PD2的子像素信号相加而进行读取，由此能够得到上开口像素To的相位差像素信号，将PD3与PD4的子像素信号相加而进行读取，由此能够得到下开口像素Bo的相位差像素信号。
[0166]在此构成为，子像素信号的相加例如是通过像素合成部32和相位差像素提取部33分别进行的，由此，垂直扫描部23能够选择并扫描子像素单位的行(适当称作子行)、模拟处理部25、ADC部26和存储器部31能够处理子像素信号。
[0167]图21是示出像素部24中的基本像素配置的图。此外，在该图21和后述的图23中，将X子地址和Y子地址记作子像素单位的地址。
[0168]像素部24是通过将图21所示的水平方向8个像素(X子地址I?16) X垂直方向8个像素(Y子地址I?16)的基本像素配置布置成2维状而构成的。而且，通过选择X子地址和Y子地址，能够以子像素为单位从像素部24进行读取。
[0169]首先，除了将2X2的XY子地址设为I种颜色的单位这点以外，图像用像素为原色拜耳排列，这点与上述实施方式I相同。
[0170]进而，分别将2维子地址(X、Y)例如为如下地址的位置作为右开口像素R1、左开口像素Le、上开口像素To、下开口像素Bo来利用。
[0171]R1: (I ?2，I ?2)、(9 ?10，I ?2)
[0172]Le: (I ?2，9 ?10)、(9 ?10，9 ?10)
[0173]To: (5 ?6，3 ?4)、(5 ?6，11 ?12)
[0174]Bo: (13 ?14，3 ?4)、(13 ?1