摄像元件、摄像装置、记录介质、摄像方法与流程

本发明涉及摄像元件、摄像装置、记录介质、摄像方法，该摄像元件将多个像素对入射光进行光电转换而生成的多个像素数据进行排列来生成像素数据列。

背景技术：

近年来，实现了摄像元件的输出接口的高速化。在这样的摄像元件中，与例如静态图像模式那样需要最大的数据转发速率的摄影模式相比，在如进行像素的间疏或混合(mix)处理的实时取景(lv：liveview)模式那样不需要最大的数据转发速率的摄影模式中，通过限制输出接口来实现功耗的降低。

具体地，当在像素数据的发送中使用的通道(lane)数例如是4通道的情况下，在静态图像模式时使用全部4通道发送像素数据，而在lv模式时将使用的通道限制为两个，仅使用所许可的2通道来进行像素数据的发送等。

但是，即使限制了摄像元件的输出接口，有时对摄像装置整体的功耗的降低也没有太大帮助。

另外，在例如被称为pd分割传感器的摄像元件中，在一行中或在一列中混合存在有如图像用像素和焦点检测用像素那样的具有不同特性的两种以上的像素。在摄像装置中，接受来自这种摄像元件的像素数据输出并进行处理的数据处理部抽取焦点检测用像素进行af处理，或者进行根据焦点检测用像素生成图像用像素等处理，因而处理的负荷增大，功耗增大。因此，需要能够降低在将摄像装置作为整体看待时的功耗的技术、即可实现实体性的低功耗化的技术。

技术实现要素：

本发明的目的在于，提供能够以低功耗对特性不同的像素数据进行数据处理的摄像元件、摄像装置、记录介质、摄像方法。

简要而言，本发明的一个方式的摄像元件具有多个像素，所述多个像素对入射光进行光电转换而生成多个像素数据，所述摄像元件具有：像素数据列生成部，其按照所述像素数据的特性对多个所述像素数据进行排列，生成由所述特性相同的所述像素数据构成的像素数据列；以及信息附加部，其将表示所述像素数据列的所述特性的附加信息附加在所述像素数据列中。

本发明的另一个方式的摄像装置具有：所述摄像元件；数据处理部，其根据需要而被输入由所述摄像元件输出的所述像素数据，在被输入所述像素数据时对所述像素数据进行处理；以及控制部，其进行如下控制：根据所述附加信息判定是否向所述数据处理部输入有效的所述像素数据，在判定为输入时对所述数据处理部提供电源及时钟，在判定为不输入时至少停止对所述数据处理部的时钟供给。

本发明的又另一个方式的记录介质是计算机可读取的非易失性的记录介质，该记录介质记录使计算机执行以下步骤的摄像程序：摄像步骤，由多个像素对入射光进行光电转换而生成多个像素数据；像素数据列生成步骤，按照所述像素数据的特性对多个所述像素数据进行排列，生成由所述特性相同的所述像素数据构成的像素数据列；信息附加步骤，将表示所述像素数据列的所述特性的附加信息附加在所述像素数据列中；数据处理步骤，将由摄像元件输出的所述像素数据根据需要输入给数据处理部，在被输入了所述像素数据时，所述数据处理部对所述像素数据进行处理；以及控制步骤，进行如下控制：根据所述附加信息判定是否向所述数据处理部输入有效的所述像素数据，在判定为输入时对所述数据处理部提供电源及时钟，在判定为不输入时至少停止对所述数据处理部的时钟供给。

本发明的又另一个方式的摄像方法包括：摄像步骤，由多个像素对入射光进行光电转换而生成多个像素数据；像素数据列生成步骤，按照所述像素数据的特性对多个所述像素数据进行排列，生成由所述特性相同的所述像素数据构成的像素数据列；信息附加步骤，将表示所述像素数据列的所述特性的附加信息附加在所述像素数据列中；数据处理步骤，将由摄像元件输出的所述像素数据根据需要输入给数据处理部，在被输入了所述像素数据时，所述数据处理部对所述像素数据进行处理；以及控制步骤，进行如下控制：根据所述附加信息判定是否向所述数据处理部输入有效的所述像素数据，在判定为输入时对所述数据处理部提供电源及时钟，在判定为不输入时至少停止对所述数据处理部的时钟供给。

附图说明

图1是示出本发明的第1实施方式的摄像装置的结构的框图。

图2是示出所述第1实施方式的摄像元件的结构的框图。

图3是示出在所述第1实施方式中，在1个微透镜配置有2个或4个光电二极管的像素构造的例子的图表。

图4是示出所述第1实施方式的4pd像素构造的像素的结构例的电路图。

图5是示出通过所述第1实施方式的4pd像素构造的像素进行垂直2像素相加时的摄像元件的驱动例的时序图。

图6是示出通过所述第1实施方式的4pd像素构造的像素进行水平2像素相加时的摄像元件的驱动例的时序图。

图7是示出从所述第1实施方式的4pd像素构造的摄像元件中进行全像素读出的焦点检测用像素数据p0的配置的图。

图8是示出从所述第1实施方式的4pd像素构造的摄像元件中进行像素相加而读出的图像用像素数据p1的配置的图。

图9是示出从所述第1实施方式的4pd像素构造的摄像元件中进行像素相加而读出的、用于进行水平方向的相位差检测的焦点检测用像素数据p2的配置的图。

图10是示出从所述第1实施方式的4pd像素构造的摄像元件中进行像素相加而读出的、用于进行垂直方向的相位差检测的焦点检测用像素数据p3的配置的图。

图11是示出从所述第1实施方式的摄像元件中进行相加平均而读出的、v2/2h2/2混合读出像素数据p4的配置的图。

图12是示出从所述第1实施方式的摄像元件中进行相加平均而读出的、v2/3h3/3混合读出像素数据p5的配置的图。

图13是示出在所述第1实施方式的摄像元件的像素部设定p5读出区域和p2读出区域的例子的图。

图14是示出在所述第1实施方式中，对像素数据列附加表示特性的附加信息并从摄像元件输出的第1动作例的时序图。

图15是示出在所述第1实施方式中，对像素数据列附加表示特性的附加信息并从摄像元件输出的第2动作例的时序图。

图16是示出在所述第1实施方式中，对像素数据列附加表示特性的附加信息并从摄像元件输出的第3动作例的时序图。

图17是示出在所述第1实施方式中，图15的第2动作例中的附加信息的具体例的图。

图18是示出在所述第1实施方式中，图17的附加信息中包含的标志的具体例的图。

图19是示出所述第1实施方式中的摄像装置的作用的流程图。

图20是示出所述第1实施方式的图19中的步骤s6的图像用处理的内容的流程图。

图21是示出所述第1实施方式的图19中的步骤s7的焦点检测用处理的内容的流程图。

具体实施方式

下面，参照附图说明本发明的实施方式。

[第1实施方式]

图1～图21是示出本发明的第1实施方式的图，图1是示出摄像装置的结构的框图。

如图1所示，摄像装置具有镜头1、快门2、摄像元件3、信号接口(信号i/f)4、图像处理部5、记录部6、焦点检测部7、显示部8、存储部9、操作部10、系统控制部11。

镜头1是用于使被摄体的光学像在摄像元件3上成像的摄影光学系统。该镜头1具有用于调节聚焦位置的聚焦镜头、和控制在镜头1中通过的光束的范围的光学光圈，镜头1例如构成为可改变焦距的变焦镜头。

在此，通过后述的系统控制部11对镜头1进行驱动控制，由此变更镜头1的聚焦位置、光学光圈的开口直径(光圈值)、焦距。

快门2用于控制来自镜头1的光束到达摄像元件3的时间，例如构成为焦平面快门等使快门帘幕移动的结构的机械快门。

摄像元件3是具有多个像素，由多个像素对入射光进行光电转换而生成多个像素数据的摄像部。更具体地，摄像元件3具有将多个像素以规定的像素间距排列成二维状的摄像面，根据作为摄像控制部的系统控制部11的控制，对通过快门2后由镜头1成像的被摄体的光学像进行光电转换而生成像素数据。

该摄像元件3例如构成为具有原色拜耳排列的滤色器的单板式cmos摄像元件。在此，原色拜耳排列的结构如公知的那样以2×2像素作为基础色彩排列，在该基础色彩排列的对角位置配置g(绿色)滤色器，在剩余的对角位置分别配置r(红色)滤色器和b(蓝色)滤色器。另外，将与具有r滤色器的r像素配置在同一行的具有g滤色器的g像素称为gr像素，将与具有b滤色器的b像素配置在同一行的具有g滤色器的g像素称为gb像素。

该摄像元件3构成为1个像素被分割成多个而能够输出焦点检测用像素数据，关于更具体的结构，参照自图2起的附图在后文进行说明。

信号i/f4将由摄像元件3输出的像素数据(如后面所述，包含图像用像素数据和焦点检测用像素数据)按照像素数据的特性分配输出至图像处理部5和焦点检测部7。具体地，在像素数据是图像用像素数据的情况下信号i/f4仅向图像处理部5输出，在像素数据是焦点检测用像素数据的情况下信号i/f4向图像处理部5及焦点检测部7输出。另外，在图像生成中不使用焦点检测用像素数据的情况下，信号i/f4也可以仅向焦点检测部7输出焦点检测用像素数据。并且，信号i/f4抽取在由摄像元件3输出的像素数据列中附加的表示像素数据的特性的附加信息(参照后述的图14～图18等)，并向系统控制部11发送。

图像处理部5是对像素数据进行图像处理并生成图像(在显示部8进行显示用的图像或者在记录部6进行记录用的图像)的数据处理部。

例如，图像处理部5在从信号i/f4接收到的像素数据是焦点检测用像素数据的情况下，进行根据焦点检测用像素数据生成图像用像素数据的处理。

并且，图像处理部5对图像用像素数据例如进行ob相减、白平衡(wb)增益、去马赛克、降噪、颜色转换、伽玛转换、放大缩小等图像处理(包括所谓显影处理)。另外，关于将静态图像或动态图像记录于记录部6时或者从记录部6读出静态图像或动态图像时的数据压缩/数据解压缩，既可以由该图像处理部5进行，也可以设置专用的压缩解压缩部来进行。

记录部6是非易失性地存储由多个像素数据构成的图像数据(静态图像数据、动态图像数据等)的记录部，例如由内置于摄像装置主体中的闪存、或者由可在摄像装置主体上插拔的存储卡等构成。因此，记录部6不限于摄像装置所固有的结构。

焦点检测部7是根据由相对于微透镜l(参照图3)的位置不同的像素得到的焦点检测用像素数据进行焦点检测的数据处理部。即，焦点检测部7根据从信号i/f4接收到的焦点检测用像素数据进行像面相位差检测，由此检测被摄体像的相位差信息，计算用于使镜头1的聚焦位置向合焦位置移动的镜头控制参数。

图像处理部5及焦点检测部7构成为如下的数据处理部，该数据处理部根据需要而被输入由摄像元件3输出并被信号i/f4分配的像素数据，并且在被输入了像素数据时对像素数据进行处理。

显示部8是显示图像且显示与该摄像装置相关的各种信息的显示装置。该显示部8例如具有lcd面板或者有机电致发光(有机el)显示器等装置。作为显示部8的具体的配置或结构，可以举出电子取景器(evf)、摄像装置的背面面板、与摄像装置无线连接的便携式装置的显示装置等。因此，显示部8也不限于摄像装置所固有的结构。

存储部9是临时存储由摄像元件3生成的像素数据的存储部，例如由dram(动态随机存取存储器)等构成。该存储部9还可以用作在图像处理部5进行图像处理时或者焦点检测部7进行相位差检测时的工作存储器或图像的缓冲存储器。

操作部10用于进行针对该摄像装置的各种操作输入。操作部10例如包括用于接通/断开摄像装置的电源的电源按钮、用于指示图像的摄影开始的例如释放按钮、用于进行记录图像的再现的再现按钮、用于进行摄像装置的设定等的菜单按钮、以及在项目的选择操作中使用的十字按键和在选择项目的确定操作中使用的ok按钮等操作按钮等。

在此，可使用菜单按钮、十字按键和ok按钮等设定的项目例如包含摄影模式(静态图像摄影模式、动态图像摄影模式等)、记录模式(jpeg记录、raw+jpeg记录等)、再现模式等。若对该操作部10进行了操作，则会向系统控制部11输出与操作内容对应的信号。

另外，作为操作部10的具体的配置或结构，可以举出在照相机主体的外装上配设的按钮或开关类、或者在显示部8的背面面板的显示面设置的触摸面板、进行遥控操作用的遥控释放装置或便携式装置等。因此，操作部10也不限于摄像装置所固有的结构。

系统控制部11例如是构成为包括cpu，对摄像装置内的各部分进行全面控制的控制部。

系统控制部11按照规定的处理程序(包括摄像程序)执行与来自操作部10的操作输入对应的各种处理序列。在此，处理程序既可以构成为非易失性地存储在系统控制部11中，也可以构成为非易失性地存储在存储部9中并由系统控制部11进行读取。

例如，系统控制部11根据由焦点检测部7计算的镜头控制参数控制镜头1的聚焦镜头，根据在系统控制部11内进行的曝光运算的结果进行镜头1的光圈及快门2的控制，并控制摄像元件3使其进行摄像而输出像素数据。

另外，系统控制部11根据从信号i/f4取得的附加信息，进行变更图像处理部5及焦点检测部7的处理的控制。

并且，系统控制部11还进行在显示部8显示各种信息的控制、以及向记录部6记录数据或者从记录部6读出数据的控制等。

下面，图2是示出摄像元件3的结构的框图。

该摄像元件3具有垂直扫描部21、像素部22、模拟处理部23、adc处理部24、存储部25、水平扫描部26、输出部27。

这些要素中的垂直扫描部21、像素部22、存储部25、水平扫描部26等单独地或者协作地工作，作为元件内处理部发挥作用，能够对多个像素数据进行相加运算或相加平均运算等。

在此，由元件内处理部进行的处理包含这样的处理(例如参照图8～图10等)：对由与一个微透镜l对应的规定数量的像素分别生成的规定数量的像素数据中的多个像素数据进行像素合成而形成一个像素数据。

这样，通过在摄像元件3的元件内处理部进行像素相加等，由此使得摄像元件3输出的像素数减少，因而能够减轻通信负荷，还能够减轻图像处理部5和焦点检测部7的处理负荷。

像素部22是将对入射光进行光电转换而生成像素数据的像素排列成二维状(例如垂直方向(列方向)及水平方向(行方向))的像素阵列部，像素包含像面相位差检测用的焦点检测用像素。

在此，图3是示出在1个微透镜l配置有2个或4个光电二极管pd的像素构造的例子的图表。

在该图3中，举例示出了针对1个微透镜l配置有2个光电二极管pd的2pd像素构造、和针对1个微透镜l配置有4个光电二极管pd的4pd像素构造。

像素采用按照从物体侧朝向像侧的层叠方向的顺序而配设有微透镜l、滤色器f和光电二极管pd的结构。其中，在滤色器f例如是原色拜耳排列的滤色器的情况下，按照该像素位置而配设有r滤色器、g滤色器或者b滤色器中的任意一方。

在此，在图3所示的2pd像素构造的情况下，在1个微透镜l的成像范围内配设有2个光电二极管pd。2个光电二极管pd在用于检测水平方向的相位差的情况下被分开成左右两个，在用于检测垂直方向的相位差的情况下被分开成上下两个。由此，构成两个像素a、b。

另一方面，在图3所示的4pd像素构造的情况下，在1个微透镜l的成像范围内配设有4个光电二极管pd。4个光电二极管pd被分开成上下左右四个，以便能够检测水平方向及垂直方向的相位差(即，4个光电二极管pd分别配置在左上、左下、右上、右下的位置)。由此，构成四个像素a、b、c、d。

这样，摄像元件3具有构成为使在1个微透镜l中通过的入射光到达规定数量的多个的像素的多个微透镜l。

另外，在此采用针对1个微透镜l而具有被分割成规定数量的多个的光电二极管pd的像素构造，但不限于此，也可以采用针对1个微透镜l配置1个光电二极管pd，并在到达光电二极管pd的光线的光路上设置遮挡瞳孔的一部分的遮光部的结构。

并且，下面以像素部22的像素全部是4pd像素构造的情况为例进行说明。在此，在4pd像素构造的情况下，从各光电二极管pd输出的像素数据是焦点检测用像素数据。另外，在对光电二极管pd的输出进行垂直2像素相加、即计算图3中的(a+b)和(c+d)的情况下，该像素数据成为用于检测水平方向的相位差的焦点检测用像素数据。并且，在对光电二极管pd的输出进行水平2像素相加、即计算图3中的(a+c)和(b+d)的情况下，该像素数据成为用于检测垂直方向的相位差的焦点检测用像素数据。另外，在对光电二极管pd的输出进行4像素相加、即计算图3中的(a+b+c+d)的情况下，该像素数据成为不包含相位差信息的图像用像素数据。

垂直扫描部21是通过按顺序选择作为像素阵列部的像素部22的水平方向(行)而沿垂直方向进行扫描的电路。该垂直扫描部21选择特定的行，并进行位于所选择的行上的各像素的复位或转发，由此控制像素的蓄积时间。

模拟处理部23是对从像素部22读出的模拟的像素数据进行模拟信号处理的电路。该模拟处理部23例如包括将像素数据放大的前置放大器、从像素数据中减少复位噪声的相关双重采样(cds)电路等。

模拟数字转换处理部(adc处理部)24将从模拟处理部23输出的模拟图像信号转换成数字图像信号。该adc处理部24例如采用如以列adc为代表的、由每列的模拟数字转换器(adc)对从像素部22读出的像素数据进行ad转换的结构。

存储部25由临时保存由adc处理部24进行转换后的像素数据的易失性存储器电路等构成。

水平扫描部26按照列的顺序从存储部25中读出像素数据(图像用像素数据和焦点检测用像素数据)。

输出部27对由水平扫描部26读出的像素数据进行排列而生成像素数据列，并转换成串行信号或差分信号等输出信号形式进行输出。

在此，由上述的垂直扫描部21～输出部27(垂直扫描部21、像素部22、模拟处理部23、adc处理部24、存储部25、水平扫描部26及输出部27)构成为如下的像素数据列生成部，该像素数据列生成部按照像素数据的特性(像素数据是图像用像素数据还是焦点检测用像素数据的特性、或者焦点检测用像素数据是哪个方向的相位差检测用的特性、或者像素数据是通过何种像素混合(像素合成)而生成的特性等)，对多个像素数据进行排列，生成由特性相同的像素数据构成的像素数据列。

例如，垂直扫描部21～输出部27对多个图像用像素数据进行排列而生成某个像素数据列，并且对多个焦点检测用像素数据进行排列而生成另一像素数据列(因此，图像用像素数据列和焦点检测用像素数据列被分开输出)。

另外，输出部27作为如下的信息附加部发挥作用，该信息附加部向由像素数据列生成部生成的像素数据列(的一部分)附加表示像素数据列的特性的附加信息。此时，能够控制图像处理部5和焦点检测部7而实现功耗的降低等的时间是在检测出附加信息以后的时刻，因而优选对附加信息进行附加的位置在像素数据列的开头。

下面，图4是示出4pd像素构造的像素的结构例的电路图。

在4pd像素构造的像素中，在与1个微透镜l对应的位置配置有4个光电二极管pd1～pd4，具体地，在微透镜l的光学像成像的范围内的左上、左下、右上、右下的位置分别配置有4个光电二极管pd1～pd4。

4个光电二极管pd1～pd4分别与作为开关发挥作用的晶体管tr1～tr4连接，通过由垂直扫描部21分别施加控制信号tx1～tx4，由此来分别控制晶体管tr1～tr4的导通/截止。

各晶体管tr1～tr4与浮动扩散器(floatingdiffusion)fd连接，与已导通的晶体管tr对应的光电二极管pd的信号电荷被转发至浮动扩散器fd。

并且，作为开关发挥作用的晶体管tr5连接于各晶体管tr1～tr4和浮动扩散器fd之间，根据复位信号res的施加来控制导通/截止。该晶体管tr5与电源电压vdd连接，通过将晶体管tr5设为导通，从而进行浮动扩散器fd的复位。另外，通过在将晶体管tr1～tr4设为导通的状态下，进而将晶体管tr5设为导通，从而进行光电二极管pd1～pd4的复位。

浮动扩散器fd通过作为开关发挥作用的晶体管tr6、以及与电源电压vdd连接并作为放大部发挥作用的晶体管tr7而与输出端子out连接。

通过对晶体管tr6施加选择信号sel，浮动扩散器fd的电压值被晶体管tr7放大，并从输出端子out被读出。

图5是示出通过4pd像素构造的像素进行垂直2像素相加时的摄像元件3的驱动例的时序图。

在定时t0，在将复位信号res设为on(关于作为开关发挥作用的晶体管tr1～tr6，除明确表示导通以外均视作截止。以下相同。)时，浮动扩散器fd被复位。

然后在定时t1，在将控制信号tx1设为on时，将光电二极管pd1的信号电荷向浮动扩散器fd转发。

然后在定时t2，在将控制信号tx2设为on时，将光电二极管pd2的信号电荷向浮动扩散器fd转发，在浮动扩散器fd中蓄积pd1的信号电荷及pd2的信号电荷。

然后在定时t3，在将选择信号sel设为on时，在浮动扩散器fd中蓄积的信号电荷(pd1+pd2)的电压被晶体管tr7放大，并从输出端子out被读出。

然后在定时t4，在将复位信号res设为on时，浮动扩散器fd被复位。

然后在定时t5，在将控制信号tx3设为on时，将光电二极管pd3的信号电荷向浮动扩散器fd转发。

然后在定时t6，在将控制信号tx4设为on时，将光电二极管pd4的信号电荷向浮动扩散器fd转发，在浮动扩散器fd中蓄积pd3的信号电荷及pd4的信号电荷。

然后在定时t7，在将选择信号sel设为on时，在浮动扩散器fd中蓄积的信号电荷(pd3+pd4)的电压被晶体管tr7放大，并从输出端子out被读出。

然后在定时t8，各控制信号tx1～tx4、选择信号sel及复位信号res是off，因而相对于定时t7时的状态没有变化。

另外，图6是示出通过4pd像素构造的像素进行水平2像素相加时的摄像元件3的驱动例的时序图。

在定时t0，在将复位信号res设为on时，浮动扩散器fd被复位。

然后在定时t1，在将控制信号tx1设为on时，将光电二极管pd1的信号电荷向浮动扩散器fd转发。

然后在定时t2，在将控制信号tx3设为on时，将光电二极管pd3的信号电荷向浮动扩散器fd转发，在浮动扩散器fd中蓄积pd1的信号电荷及pd3的信号电荷。

然后在定时t3，在将选择信号sel设为on时，在浮动扩散器fd中蓄积的信号电荷(pd1+pd3)的电压被晶体管tr7放大，并从输出端子out被读出。

然后在定时t4，在将复位信号res设为on时，浮动扩散器fd被复位。

然后在定时t5，在将控制信号tx2设为on时，将光电二极管pd2的信号电荷向浮动扩散器fd转发。

然后在定时t6，在将控制信号tx4设为on时，将光电二极管pd4的信号电荷向浮动扩散器fd转发，在浮动扩散器fd中蓄积pd2的信号电荷及pd4的信号电荷。

然后在定时t7，在将选择信号sel设为on时，在浮动扩散器fd中蓄积的信号电荷(pd2+pd4)的电压被晶体管tr7放大，并从输出端子out被读出。

然后在定时t8，各控制信号tx1～tx4、选择信号sel及复位信号res是off，因而相对于定时t7时的状态没有变化。

另外，这里没有示出，基于同样的控制来进行4像素相加。

这样，能够在垂直扫描部21或像素部22的模拟阶段进行像素相加，还能够例如在模拟处理部23的模拟阶段进行像素相加平均，但不限于在模拟阶段进行，也可以在被adc处理部24转换成数字信号后，在存储部25～输出部27中进行。或者，当然也可以在模拟阶段和数字阶段进行处理的分担，例如在模拟阶段进行下述示出的p1～p3的像素数据生成，在数字阶段进行p4～p5的像素数据生成等。

图7是示出从4pd像素构造的摄像元件3中进行全像素读出的焦点检测用像素数据p0的配置的图。

按照以上所述，在4pd像素构造的情况下，在通常的1pd像素构造中配置有1个滤色器的1像素的位置被分割成上下左右四个部分，并配置有4个像素。例如，在用m表示行方向的像素地址、用n表示列方向的像素地址时，图7的像素地址(1,1)、(1,2)、(2,1)、(2,2)的gr像素与将1pd像素构造中的1个gr像素分割成四个而得的像素对应。

对上下左右分割的焦点检测用像素数据p0(m，n)进行全像素读出的方式有多种，在单纯读出方式中，例如按照下面所述从像素部22读出。

p0(1,1)、p0(1,2)、…

另外，在相减读出方式中，例如按照下面所述进行读出。

[p0(1,1)+p0(1,2)+p0(2,1)+p0(2,2)]，[p0(1,2)+p0(2,1)+p0(2,2)]，[p0(2,1)+p0(2,2)]，[p0(2,2)]，…

将以上述的相减读出方式读出的像素数据经由信号i/f4向焦点检测部7发送，在焦点检测部7进行如下所述的处理，使得被上下左右分割的焦点检测用像素数据复原。

即，将a～d设定如下。

a＝[p0(1,1)+p0(1,2)+p0(2,1)+p0(2,2)]

b＝[p0(1,2)+p0(2,1)+p0(2,2)]

c＝[p0(2,1)+p0(2,2)]

d＝[p0(2,2)]

此时，d是焦点检测用像素数据p0(2,2)。并且，p0(2,2)以外的各焦点检测用像素数据通过由焦点检测部7进行下面的各种相减运算而复原。

a－b＝p0(1,1)、b－c＝p0(1,2)、c－d＝p0(2,1)

另外，a是图像用像素数据，因而在采用上述的相减读出方式的情况下，信号i/f4向图像处理部5仅发送a即可。因此，减轻了图像处理部5计算a的运算负荷。

另外，相减读出方式有多种方式，在此仅列举了一种方式，但可以采用任意种类的相减读出方式。

下面，图8是示出从4pd像素构造的摄像元件3中进行像素相加而读出的图像用像素数据p1的配置的图。

当在p1(m，n)的括弧内示出图像用像素数据p1的配置的像素坐标地址时，在摄像元件3中进行如下所述的相加来计算图像用像素数据p1(m，n)。

p1(1,1)＝p0(1,1)+p0(1,2)+p0(2,1)+p0(2,2)

p2(1,2)＝p0(3,1)+p0(3,2)+p0(4,1)+p0(4,2)

…

这样，由在上述数式的右边示出的多个像素数据进行像素合成得到在左边示出的一个像素数据。

并且，计算出的结果如下所述被依次读出。

p1(1,1)、p1(1,2)…

下面，图9是示出从4pd像素构造的摄像元件3中进行像素相加而读出的、用于进行水平方向的相位差检测的焦点检测用像素数据p2的配置的图。

读出水平方向的相位差检测用的焦点检测用像素数据的方式有多种，当在p2(m，n)的括弧内示出焦点检测用像素数据p2的配置的像素地址时，在单纯读出方式(左、右分开读出)时，在摄像元件3中进行如下所述的相加来计算焦点检测用像素数据p2(m，n)。

p2(1,1)＝p0(1,1)+p0(1,2)

p2(2,1)＝p0(2,1)+p0(2,2)

…

这样，由在上述数式的右边示出的多个像素数据进行像素合成得到在左边示出的一个像素数据(以下相同)。

另外，在第1相减读出方式(左、左+右)中，在摄像元件3中进行如下所述的相加来计算焦点检测用像素数据p2(m，n)。

p2(1,1)＝p0(1,1)+p0(1,2)

p2(2,1)＝p0(1,1)+p0(1,2)+p0(2,1)+p0(2,2)

…

另外，在第2相减读出方式(左+右、右)中，在摄像元件3中进行如下所述的相加来计算焦点检测用像素数据p2(m，n)。

p2(1,1)＝p0(1,1)+p0(1,2)+p0(2,1)+p0(2,2)

p2(2,1)＝p0(2,1)+p0(2,2)

…

并且，以任意方式计算出的结果如下所述被依次读出。

p2(1,1)、p2(2,1)…

另外，在采用第1相减读出方式的情况下，信号i/f4向图像处理部5仅发送p2(2,1)＝p0(1,1)+p0(1,2)+p0(2,1)+p0(2,2)等的、将与1个微透镜l对应的4个光电二极管输出相加而得的图像用像素数据即可。

同样地，在采用第2相减读出方式的情况下，信号i/f4向图像处理部5仅发送p2(1,1)＝p0(1,1)+p0(1,2)+p0(2,1)+p0(2,2)等的、将与1个微透镜l对应的4个光电二极管输出相加而得的图像用像素数据即可。

无论采用哪种相减读出方式的情况下，都能够减轻图像处理部5计算[p0(1,1)+p0(1,2)+p0(2,1)+p0(2,2)]的运算负荷。

另一方面，焦点检测部7在采用第1相减读出方式(左、左+右)的情况下进行如下处理，即通过进行p2(2,1)－p2(1,1)＝p0(2,1)+p0(2,2)的运算，将右焦点检测用像素数据复原。

并且，焦点检测部7在采用第2相减读出方式(左+右、右)的情况下进行如下处理，即通过进行p2(1,1)－p2(2,1)＝p0(1,1)+p0(1,2)的运算，将左焦点检测用像素数据复原。

另外，图10是示出从4pd像素构造的摄像元件3中进行像素相加而读出的、用于进行垂直方向的相位差检测的焦点检测用像素数据p3的配置的图。

读出垂直方向的相位差检测用的焦点检测用像素数据的方式有多种，当在p3(m，n)的括弧内示出焦点检测用像素数据p3的配置的像素地址时，在单纯读出方式(上、下分开读出)中，在摄像元件3中进行如下所述的相加来计算焦点检测用像素数据p3(m，n)。

p3(1,1)＝p0(1,1)+p0(2,1)

p3(1,2)＝p0(1,2)+p0(2,2)

…

另外，在第1相减读出方式(上、上+下)中，在摄像元件3中进行如下所述的相加来计算焦点检测用像素数据p3(m，n)。

p3(1,1)＝p0(1,1)+p0(2,1)

p3(1,2)＝p0(1,1)+p0(2,1)+p0(1,2)+p0(2,2)

…

另外，在第2相减读出方式(上+下、下)中，在摄像元件3中进行如下所述的相加来计算焦点检测用像素数据p3(m，n)。

p3(1,1)＝p0(1,1)+p0(2,1)+p0(1,2)+p0(2,2)

p3(1,2)＝p0(1,2)+p0(2,2)

…

并且，以任意方式计算出的结果如下所述被依次读出。

p3(1,1)、p3(1,2)…

另外，在采用第1相减读出方式的情况下，信号i/f4向图像处理部5仅发送p3(1,2)＝p0(1,1)+p0(2,1)+p0(1,2)+p0(2,2)等的、将与1个微透镜l对应的4个光电二极管输出相加而得的图像用像素数据即可。

同样地，在采用第2相减读出方式的情况下，信号i/f4向图像处理部5仅发送p3(1,1)＝p0(1,1)+p0(2,1)+p0(1,2)+p0(2,2)等的、将与1个微透镜l对应的4个光电二极管输出相加而得的图像用像素数据即可。

无论采用哪种相减读出方式的情况下，都能够减轻图像处理部5计算[p0(1,1)+p0(1,2)+p0(2,1)+p0(2,2)]的运算负荷。

另一方面，焦点检测部7在采用第1相减读出方式(上、上+下)的情况下进行如下处理，即通过进行p3(1,2)－p3(1,1)＝p0(1,2)+p0(2,2)的运算，将下焦点检测用像素数据复原。

并且，焦点检测部7在采用第2相减读出方式(上+下、下)的情况下进行如下处理，即通过进行p3(1,1)－p3(1,2)＝p0(1,1)+p0(2,1)的运算，将上焦点检测用像素数据复原。

另外，图11是示出从摄像元件3中进行相加平均而读出的、v2/2h2/2混合读出像素数据p4的配置的图。

当在p4(m，n)的括弧内示出v2/2h2/2混合读出像素数据p4的配置的像素地址时，在摄像元件3中进行例如如下所述的相加平均来计算v2/2h2/2混合读出像素数据p4(m，n)。

p4(1,1)＝(p1(1,1)+p1(1,3)+p1(3,1)+p1(3,3))/4

其中，与p1相关的各像素地址(1,1)、(1,3)、(3,1)、(3,3)表示针对(1,1)～(4,4)的(4×4)p1像素区域内相同颜色的4个像素(其中，区分gr和gb)进行像素数据的相加平均。在此，示出了对gr像素的运算的例子，而对于其它颜色的像素也同样进行运算。

另外，图12是示出从摄像元件3中进行相加平均而读出的、v2/3h3/3混合读出像素数据p5的配置的图。

当在p5(m，n)的括弧内示出v2/3h3/3混合读出像素数据p5的配置的像素地址时，在摄像元件3中进行例如如下所述的相加平均来计算v2/3h3/3混合读出像素数据p5(m，n)。

p5(1,1)＝(p1(1,1)+p1(1,3)+p1(1,5)+p1(3,1)+p1(3,3)+p1(3,5))/6其中，与p1相关的各像素地址(1,1)、(1,3)、(1,5)、(3,1)、(3,3)、(3,5)表示针对(1,1)～(6,6)的(6×6)p1像素区域内除第5行以外的相同颜色的6个像素(其中，区分gr和gb)进行像素数据的相加平均。在此，示出了对gr像素的运算的例子，而对于其它颜色的像素也同样进行运算。

另外，在图11及图12中示出了混合读出的例子，但也可以进行间疏读出来替代混合读出。

在摄像装置中，例如按照下文所述与摄影模式相应地区分使用从摄像元件3读出如上所述的像素数据p0～p5的摄像元件读出模式p0～p5(对于摄像元件读出模式，也使用与像素数据相同的符号p0～p5进行表示)。

下面，图13是示出在摄像元件3的像素部22设定p5读出区域和p2读出区域的例子的图。

在该图13中示出了在进行实时取景时同时进行焦点检测的例子，将像素部22的一部分(在图13的例子中是左侧)设定为p5读出区域，将像素部22的另一部分(在图13的例子中是右侧)设定为p2读出区域(其中，图13所示的仅是一例，这里被设定为p2读出区域的所谓af区域可以是各种区域，如设定于画面中央部，或在画面内设定多个，或按照特定的被摄体进行设定)。

并且，在p5读出区域中，以第1行：a、b、c、…、第2行：a’、b’、c’、…的方式配置v2/3h3/3混合读出像素数据p5，在p2读出区域中，以第1行：a、b、c、…、第2行：a’、b’、c’、…的方式配置像素数据p2。

图14是示出对像素数据列附加表示特性的附加信息并从摄像元件3输出的第1动作例的时序图。

首先，在本实施方式中，以从摄像元件3输出像素数据的通道(lane)数是4(通道0～3)的情况为例进行说明。但是，通道数当然不限于4。

摄像元件3根据水平同步信号hd的定时，按照每行输出像素数据列。

此时，作为像素数据列生成部的垂直扫描部21～输出部27按照像素数据的特性对多个像素数据进行排列，生成由特性相同的所述像素数据构成的像素数据列。

具体地，在此，像素数据列生成部按照像素数据是p5还是p2的特性，分别生成仅排列有像素数据p5的像素数据列、和仅排列有像素数据p2的像素数据列。

如图14所示，像素数据列生成部对每个水平同步信号hd一边变更行一边陆续进行如下处理：即将由图13所示的p5读出区域的第1行中的第奇数个的像素数据构成的像素数据列构成为用于通道0，将由p5读出区域的第1行中的第偶数个的像素数据构成的像素数据列构成为用于通道1，将由p2读出区域的第1行中的第奇数个的像素数据构成的像素数据列构成为用于通道2，将由p2读出区域的第1行中的第偶数个的像素数据构成的像素数据列构成为用于通道3。

即，在图14所示的例子中，图像用像素数据(p5)和焦点检测用像素数据(p2)被分配到不同的通道而被输出。

并且，作为信息附加部的输出部27在由像素数据列生成部生成的像素数据列中(如图14所示，优选在像素数据列的开头)附加表示像素数据列的特性的附加信息(参照后述的图18等)。在像素数据列是无效的像素数据列的情况下，也按照图14所示来进行该附加信息的附加。

信号i/f4从摄像元件3的输出中抽取附加信息并向系统控制部11发送。

作为控制部的系统控制部11进行如下控制：即根据由信号i/f4输入的附加信息判定是否向数据处理部输入有效的像素数据，在判定为输入时对数据处理部提供电源及时钟，在判定为不输入时至少停止对数据处理部提供时钟。即，在此针对作为数据处理部的图像处理部5和焦点检测部7分别进行这样的判定及控制。

在此，在对提供给数据处理部(图像处理部5、焦点检测部7)的功耗进行控制的情况下，包括时钟供给的控制和电源供给的控制，即使是比较短的时间范围也能够实施时钟的供给/停止，但优选与时钟相比更为延长对于电源的供给/停止的控制期间(例如，难以按照诸如发送1个像素的像素数据的期间那样短的期间来停止电源供给)。

因此，系统控制部11在对图像处理部5和焦点检测部7都判定为不向数据处理部输入有效的像素数据时，控制为至少停止时钟的供给。

并且，系统控制部11在对图像处理部5和焦点检测部7都判定为不向数据处理部输入有效的像素数据、且能够进行电源供给的控制时，进行停止对数据处理部的电源供给的控制。

具体地，如图14所示，在通道0～3中发送有效的像素数据p5及p2的期间内，图像处理部5及焦点检测部7接通而被供给时钟及电源，而在均不发送有效的像素数据p5和p2的期间(无效期间)内，图像处理部5及焦点检测部7断开而停止时钟供给、或者停止时钟供给及电源供给双方。

下面，图15是示出对像素数据列附加表示特性的附加信息并从摄像元件3输出的第2动作例的时序图。

在上述的图14的例子中，按照水平同步信号hd的定时，同时开始利用通道0、1的像素数据p5的发送和利用通道2、3的像素数据p2的发送。与此相对，在该图15的例子中，在被水平同步信号hd隔开的1个水平同步期间，尽可能地使利用通道0、1的像素数据p5的发送定时和利用通道2、3的像素数据p2的发送定时不同。

具体地，例如以如下的方式进行像素数据的发送：即对于利用通道0、1的像素数据p5的发送，从1个水平同步期间的开始时刻起进行，并在1个水平同步期间的后半期产生无效期间，而对于利用通道2、3的像素数据p2的发送，在1个水平同步期间的前半期产生无效期间，在1个水平同步期间的结束时刻结束像素数据p2的发送。

然而，也可以将1个水平同步期间的像素数据p5和像素数据p2的发送顺序颠倒，在1个水平同步期间的前半期进行利用通道2、3的像素数据p2的发送，在1个水平同步期间的后半期进行利用通道0、1的像素数据p5的发送。

像素数据p5在图像处理部5生成图像时使用，但不被焦点检测部7使用。与此相对，像素数据p2不仅在焦点检测部7的相位差检测中使用，而且还在图像处理部5生成图像时使用。

因此，在图14所示的处理中，在1个水平同步期间的前半期内的图像处理部5的负荷增大。因此，该图15所示的处理能够避免图像处理部5的负荷集中，使负荷尽可能地在1水平同步期间内广泛分散。

为此，图像处理部5例如始终接通(但是，在所发送的像素数据较少的情况下(将像素数据p5的发送期间和像素数据p2的发送期间加起来也比1个水平同步期间短而产生无效期间的情况下)，当然有时也会将图像处理部5断开，这在下述的图16中也一样)，焦点检测部7仅在被输入像素数据p2的期间接通(即，在不输入像素数据p2的期间断开)。

图16是示出对像素数据列附加表示特性的附加信息并从摄像元件3输出的第3动作例的时序图。

在上述的图14及图15的例子中，对于在像素数据的发送中使用的通道未做限制。与此相对，在该图16所示的例子中，将使用的通道限制为两个，仅使用所许可的两个通道发送像素数据。

即，在图16所示的例子中，禁止将通道2、3用于像素数据的发送而设为关闭，在1个水平同步期间的前半期进行利用通道0、1的像素数据p5的发送，然后(例如在1个水平同步期间的后半期)进行利用通道0、1的像素数据p2的发送。

并且，在该图16所示的例子中，与图15所示的例子大致相同地，图像处理部5例如始终接通，焦点检测部7仅在被输入像素数据p2的期间接通。

另外，在图14及图15所示的例子中，图像用像素数据(p5)仅使用通道0、1进行发送，焦点检测用像素数据(p2)仅使用通道2、3进行发送，因此信号i/f4以如下方式进行分配、即仅向图像处理部5转发通道0、1的像素数据，并向图像处理部5及焦点检测部7转发通道2、3的像素数据。

另一方面，在图16所示的例子中，图像用像素数据(p5)及焦点检测用像素数据(p2)仅使用通道0、1进行发送，因此信号i/f4如下进行分配，即在通道0、1的1个水平同步期间中的像素数据p5的发送期间仅向图像处理部5转发，在像素数据p2的发送期间向图像处理部5及焦点检测部7转发。

下面，图17是示出图15的第2动作例中的附加信息的具体例的图，图18是示出图17的附加信息中包含的标志的具体例的图。

系统控制部11按照所设定的摄影模式，对摄像元件3指示摄像元件读出模式p0～p5。摄像元件3的输出部27生成如图18所示的附加信息并附加给按照该指示生成的像素数据列后将其输出。

在此，本实施方式的附加信息如图18所示构成为包括多个标志。

具体地，附加信息构成为4比特(或者构成为5比特以上，以便应对未来的扩展)的信息，在比特0存储有图像用像素标志，在比特1存储有焦点检测用像素标志，在比特2存储有图像用合成处理标志，在比特3存储有焦点检测用相减处理标志。

在此，图像用像素标志(比特0)表示在标志有效时应将图像处理部5接通。

因此，系统控制部11进行如下控制：即在图像用像素标志有效时，判定为向图像处理部5输入有效的像素数据，对图像处理部5提供电源及时钟，使图像处理部5进行图像处理，在图像用像素标志无效时，至少停止对图像处理部5的时钟供给。

焦点检测用像素标志(比特1)表示在标志有效时应将焦点检测部7接通。

因此，系统控制部11进行如下控制：即在焦点检测用像素标志有效时，判定为向焦点检测部7输入有效的像素数据，对焦点检测部7提供电源及时钟，使焦点检测部7进行焦点检测，在焦点检测用像素标志无效时，至少停止对焦点检测部7的时钟供给。

图像用合成处理标志(比特2)是在标志有效时，用于使图像处理部5进行由焦点检测用像素数据(p0、p2、p3)合成图像用像素数据(p1、p4、p5)的处理的标志。

系统控制部11在图像用像素标志有效且图像用合成处理标志也有效时(另外，在图像用像素标志无效时，图像用合成处理标志必然也无效)，使图像处理部5进行根据由相对于微透镜l的位置不同的像素得到的焦点检测用像素数据合成图像像素数据的处理。

焦点检测用相减处理标志(比特3)是在通过相减读出方式生成焦点检测用像素数据(p2或p3)时有效(以单纯读出方式生成时无效)的标志。

系统控制部11在焦点检测用像素标志有效且焦点检测用相减处理标志也有效时(另外，在焦点检测用像素标志无效时，焦点检测用相减处理标志必然也无效)，使焦点检测部7进行如上所述的焦点检测用相减处理，使焦点检测用像素数据复原。

另外，如上所述，相减读出方式具有多种方式，因而也可以追加用于判别使用了哪种相减读出方式的比特，由多个比特构成焦点检测用相减处理标志。

另外，以上关于附加信息示出了包括多个标志的例子，但不限于此，也可以将附加信息构成为仅包含一个标志(例如，表示是否是图像用像素数据列(即，是图像用像素数据列，还是除此以外的其它用途的像素数据列)的标志)。

并且，如图17所示，摄像元件3的输出部27在由像素数据p5构成的像素数据列的例如开头处附加图18中的(1)所示的附加信息、即附加图像用像素标志为有效“1”、焦点检测用像素标志为无效“0”、图像用合成处理标志为无效“0”、焦点检测用相减处理标志为无效“0”的附加信息。

系统控制部11根据附加信息中的图像用像素标志为有效“1”而将图像处理部5接通，根据焦点检测用像素标志为无效“0”而将焦点检测部7断开。

另外，系统控制部11根据附加信息中的图像用合成处理标志为无效“0”，进行将图像处理部5根据焦点检测用像素数据合成图像用像素数据的处理设为不要的控制，根据焦点检测用相减处理标志为无效“0”，进行将焦点检测部7的焦点检测用相减处理设为不要的控制。另外，在此由于焦点检测部7断开，因而不需要焦点检测部7的处理内容的控制。

另外，摄像元件3的输出部27在无效的像素数据列的例如开头处附加图18中的(2)所示的附加信息、即附加图像用像素标志为无效“0”、焦点检测用像素标志为无效“0”、图像用合成处理标志为无效“0”、焦点检测用相减处理标志为无效“0”的附加信息。即，该附加信息包括表示像素数据列是无效的像素数据列的信息。

系统控制部11根据附加信息中的图像用像素标志为无效“0”而将图像处理部5断开，根据焦点检测用像素标志为无效“0”而将焦点检测部7断开。这样，系统控制部11进行如下控制：即在附加信息中包含表示像素数据列是无效的像素数据列的信息时，至少停止对图像处理部5的时钟供给和对焦点检测部7的时钟供给这双方。

另外，系统控制部11根据附加信息中的图像用合成处理标志为无效“0”，进行将图像处理部5根据焦点检测用像素数据合成图像用像素数据的处理设为不要的控制，根据焦点检测用相减处理标志为无效“0”，进行将焦点检测部7的焦点检测用相减处理设为不要的控制。另外，在此由于图像处理部5及焦点检测部7双方断开，因而图像处理部5的处理内容的控制及焦点检测部7的处理内容的控制均无需进行。

然后，摄像元件3的输出部27在由像素数据p2构成的像素数据列的例如开头处附加图18中的(3)所示的附加信息、即附加图像用像素标志为有效“1”、焦点检测用像素标志为有效“1”、图像用合成处理标志为有效“1”、焦点检测用相减处理标志为无效“0”的附加信息。因此，在图18所示的例子中，假设焦点检测用像素数据p2通过单纯读出方式而生成。

系统控制部11根据附加信息中的图像用像素标志为有效“1”而将图像处理部5接通，根据焦点检测用像素标志为有效“1”而将焦点检测部7接通。

另外，系统控制部11根据附加信息中的图像用合成处理标志为有效“1”，进行控制以使图像处理部5执行根据焦点检测用像素数据合成图像用像素数据的处理，根据焦点检测用相减处理标志为无效“0”，进行将焦点检测部7的焦点检测用相减处理设为不要的控制。

这样，附加信息包含表示元件内处理部进行的像素合成的方式的信息(图像用合成处理标志、焦点检测用相减处理标志)，系统控制部11进行如下控制：即根据附加信息中包含的表示像素合成的方式的信息，变更数据处理部(图像处理部5、焦点检测部7)的处理。

图19是示出摄像装置的作用的流程图。

开始该处理后，摄像元件3的各像素对在摄像元件3成像的被摄体像进行曝光并进行光电转换，蓄积电荷而生成像素数据(步骤s1)。

然后，由模拟处理部23对通过与摄像元件读出模式对应的垂直扫描部21的扫描而从像素部22中依次读出的像素数据进行处理，再由adc处理部24进行ad转换，然后存储在存储部25中(步骤s2)。

将存储在存储部25中的像素数据以附加有附加信息的像素数据列的形式而从摄像元件3的输出部27中读出(步骤s3)。

信号i/f4从由摄像元件3输入的数据中抽取附加信息，将所抽取的附加信息向系统控制部11发送，系统控制部11根据附加信息的图像用像素标志，判定是否是应将图像处理部5接通的图像用像素数据期间(步骤s4)。

在此，在判定为是图像用像素数据期间的情况下，进而由系统控制部11根据附加信息的焦点检测用像素标志，判定是否是应将焦点检测部7接通的焦点检测用像素数据期间(步骤s5)。

在此，在判定为是焦点检测用像素数据期间的情况下，按照后述的图20所示进行图像处理部5的图像用处理(步骤s6)，并且与该步骤s6的处理同时地(即作为并行处理)，按照后述的图21所示进行焦点检测部7的焦点检测用处理(步骤s7)。

并且，当在步骤s5判定为不是焦点检测用像素数据期间的情况下，系统控制部11将焦点检测部7断开(至少停止时钟供给，优选还停止电源供给)(步骤s8)。并且，仅进行上述的步骤s6的图像用处理，不进行步骤s7的焦点检测用处理。

另一方面，当在步骤s4判定为不是图像用像素数据期间的情况下，系统控制部11将图像处理部5断开(至少停止时钟供给，优选还停止电源供给)(步骤s9)。

然后，系统控制部11根据附加信息的焦点检测用像素标志，判定是否是应将焦点检测部7接通的焦点检测用像素数据期间(步骤s10)。

在此，在判定为是焦点检测用像素数据期间的情况下，仅进行上述的步骤s7的焦点检测用处理，不进行步骤s6的图像用处理。

并且，当在步骤s10判定为不是焦点检测用像素数据期间的情况下，系统控制部11将焦点检测部7断开(至少停止时钟供给，优选还停止电源供给)(步骤s11)。

在进行了步骤s6及步骤s7、仅步骤s6、仅步骤s7、或者步骤s11的处理后，系统控制部11判定是否结束该处理(步骤s12)。在此，在判定为尚未结束的情况下，返回到步骤s4进行如上所述的处理，而在判定为结束的情况下结束该处理。

图20是示出图19中的步骤s6的图像用处理的内容的流程图。

在进入该图像用处理时，系统控制部11根据附加信息的图像用合成处理标志，判定是否需要图像用合成处理(步骤s21)。

并且，在判定为需要图像用合成处理的情况下，根据系统控制部11的控制，由被接通的图像处理部5进行根据所输入的焦点检测用像素数据合成图像用像素数据的图像用合成处理(步骤s22)。

在进行了该步骤s22的处理、或者在步骤s21判定为不需要图像用合成处理的情况下，被接通的图像处理部5进行所谓显影处理等图像处理(步骤s23)。

然后，根据系统控制部11的控制，将实施了图像处理的图像显示在显示部8或者记录在记录部6中(步骤s24)，然后返回到图19所示的处理。

图21是示出图19中的步骤s7的焦点检测用处理的内容的流程图。

在进入该焦点检测用处理时，系统控制部11根据附加信息的焦点检测用相减处理标志，判定是否需要焦点检测用相减处理(步骤s31)。

并且，在判定为需要焦点检测用相减处理的情况下，根据系统控制部11的控制，由被接通的焦点检测部7根据所输入的相减读出方式的焦点检测用像素数据进行焦点检测用相减处理，将必要的焦点检测用像素数据复原(步骤s32)。

在进行了该步骤s32的处理、或者在步骤s31判定为不需要焦点检测用相减处理的情况下，被接通的焦点检测部7进行相位差检测，计算镜头控制参数(步骤s33)。

然后，系统控制部11根据镜头控制参数进行镜头1的af控制(步骤s34)，然后返回到图19所示的处理。

另外，以上是将焦点检测用像素数据按照在像素部22中的像素排列的顺序进行输出，但也可以将相对于微透镜l的位置不同的焦点检测用像素数据分别生成为不同的数据列并单独输出。例如，将左焦点检测用像素数据和右焦点检测用像素数据生成为不同的数据列而单独输出等。

同样，在进行像素混合的情况下，也可以将变更了混合比的像素数据生成为各个不同的像素数据列进行输出。

另外，以上说明了将特性不同的像素数据按照各个通道进行分配并输出的例子、以及将特性不同的像素数据分配给同一通道的1个水平同步期间的前半期和后半期进行输出的例子，但不限于这些例子，例如也可以分配给不同的帧(或者字段)进行输出等。

另外，以上将由摄像元件3输出的焦点检测用像素数据作为相位差检测用的像素数据，但焦点检测用像素数据不限于相位差检测用像素数据，也可以在摄像元件3内转换成af运算信息或者深度数据(距离信息)等。

根据这样的第1实施方式，生成特性相同的像素数据列，将表示特性的附加信息附加在像素数据列中，因而能够预先得知是否向后段的数据处理部输入有效的像素数据，将不被输入有效的像素数据的数据处理部断开，能够实现低功耗化。这样，能够以低功耗对特性不同的像素数据进行数据处理。

并且，在根据附加信息判定为不被输入有效的像素数据时，至少停止对数据处理部的时钟供给，由此能够实现低功耗化。此时，通过还停止对数据处理部的电源供给，能够进一步实现低功耗化。

另外，将表示由与一个微透镜l对应的多个像素的焦点检测用像素数据进行像素合成得到像素数据的方式的信息包含在附加信息中，因而通过根据像素合成的方式变更数据处理部的处理，能够实现适当的低功耗化。

并且，在附加信息中包含图像用像素标志，在图像用像素标志无效时，至少停止对图像处理部5的时钟供给，因而在不被输入图像用像素数据时，能够适当使图像处理部5节省功耗。

此时，通过在附加信息中还包含图像用合成处理标志，能够适当控制是否使图像处理部5进行根据焦点检测用像素数据合成图像像素数据的处理。

并且，在附加信息中包含焦点检测用像素标志，在焦点检测用像素标志无效时，至少停止对焦点检测部7的时钟供给，因而在不被输入焦点检测用像素数据时，能够适当使焦点检测部7节省功耗。

此时，通过在附加信息中还包含焦点检测用相减处理标志，能够适当控制是否使焦点检测部7进行利用与相减读出方式对应的焦点检测用相减处理进行的焦点检测用像素数据的复原。

另外，在附加信息中包含表示像素数据列是无效的像素数据列的信息，当在附加信息中包含表示像素数据列是无效的像素数据列的信息时，至少停止对图像处理部5的时钟供给和对焦点检测部7的时钟供给双方，因而在不被输入有效的像素数据时，能够适当使图像处理部5及焦点检测部7节省功耗。

并且，通过向像素数据列的一部分附加附加信息，能够实现在从检测出附加信息起到输入像素数据列的期间内的节能。此时，通过在像素数据列的开头处附加附加信息，能够实现被输入像素数据列的整个期间的节能，达到进一步的节能。

另外，上述的各部分的处理也可以由构成为硬件的一个以上的处理器进行。

并且，以上主要对摄像元件及具有摄像元件的摄像装置进行了说明，但也可以构成为进行摄像元件的处理或者与摄像元件相同的处理的摄像方法，还可以是用于使计算机进行摄像元件的处理或者与摄像元件相同的处理的摄像程序、以及记录该摄像程序的计算机可读取的非易失性的记录介质等。