摄像元件、摄像设备和摄像元件的控制方法与流程

本发明涉及一种摄像元件、摄像设备、摄像元件的控制方法、程序以及存储介质。

背景技术：

为了实现具有高分辨率、高速连续拍摄、高运动图像帧频的能力的摄像设备，与现有技术相比需要以高速度来处理摄像设备中的大量数据。然而，在增加传输路径的带宽以传输大量数据的情况下，成本也会随着带宽的增加而增加。日本特开2014-103543公开了如下的摄像设备，该摄像设备包括具有用于对数据进行压缩的压缩单元的摄像元件，并且通过对压缩后的图像数据进行解压缩处理而能够在不增加传输路径的带宽的情况下传输大量数据。

可以考虑摄像元件中所设置的具有光电转换单元的像素单元，该像素单元包括用于输出摄像信号的摄像像素以及用于输出诸如焦点检测信号或者暗电流检测信号等的与摄像信号用途不同的信号的功能像素。在使用摄像元件对功能像素的输出信号进行与摄像信号相同的压缩处理的情况下，发生由压缩处理所引起的噪声或失真，从而发生信号的劣化。

技术实现要素：

本发明提供一种摄像元件，其中该摄像元件对来自像素单元中所包括的光电转换单元的输出进行压缩并输出，并且能够在使得无需增加传输路径的带宽而传输大量数据的同时，基于来自像素单元的输出信号的用途来防止信号由于压缩而造成劣化。

根据本发明的实施例，提供一种摄像元件，其包括：像素单元，用于接收入射光并且包括用以对所述入射光进行光电转换以生成摄像信号的光电转换单元；压缩单元，用于对作为从所述像素单元输出的摄像信号的第一信号进行压缩处理；以及控制单元，用于对第二信号进行与针对所述第一信号所进行的压缩处理不同的处理，以使得所述第二信号不发生劣化，其中所述第二信号与所述第一信号用途不同。

根据本发明的实施例，提供一种摄像元件，其包括：像素单元，用于接收入射光并且包括多个像素，其中所述多个像素具有用以对所述入射光进行光电转换以生成输出信号的光电转换单元；压缩单元，用于对第一信号进行压缩处理，其中所述第一信号是来自所述像素单元所包括的像素中的光学摄像系统的光瞳区域不同的像素的输出的相加信号；以及控制单元，用于对第二信号进行与针对所述第一信号所进行的压缩处理不同的处理，以使得所述第二信号不发生劣化，其中所述第二信号与所述第一信号用途不同。

根据本发明的实施例，提供一种摄像设备，其包括：根据本发明的实施例所述的摄像元件；图像处理单元，用于使用所述第一信号来进行图像处理；以及功能处理单元，用于使用所述第二信号来进行与所述图像处理不同的处理。

根据本发明的实施例，提供一种摄像设备，其包括：根据本发明的实施例所述的摄像元件；再聚焦处理单元，用于基于所述第一信号和所述第二信号，通过使聚焦面虚拟地移动来生成再聚焦信号；以及驱动单元，用于对调焦透镜进行驱动控制，以使得聚焦面相对于对象被摄体的聚焦面移动了预定距离以进行摄像。

根据本发明的实施例，提供一种摄像元件的控制方法，所述摄像元件包括像素单元，所述像素单元用于接收入射光并且包括用以对所述入射光进行光电转换以生成摄像信号的光电转换单元，所述控制方法包括以下步骤：对作为从所述像素单元输出的摄像信号的第一信号进行压缩处理；以及对第二信号进行与针对所述第一信号所进行的压缩处理不同的处理，以使得所述第二信号不发生劣化，其中所述第二信号与所述第一信号用途不同。

根据本发明的实施例，提供一种非瞬态存储介质，所述非瞬态存储介质用于存储使计算机执行摄像元件的控制方法的计算机程序，所述摄像元件包括像素单元，所述像素单元用于接收入射光并且包括用以对所述入射光进行光电转换以生成摄像信号的光电转换单元，所述控制方法包括：对作为从所述像素单元输出的摄像信号的第一信号进行压缩处理；以及对第二信号进行与针对所述第一信号所进行的压缩处理不同的处理，以使得所述第二信号不发生劣化，其中所述第二信号与所述第一信号用途不同。

根据本发明，摄像元件可以在使得无需增加传输路径的带宽而传输大量数据的同时，根据来自像素单元的输出信号的用途来防止信号由于压缩而造成劣化。

通过以下参考附图的典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出根据第一实施例的摄像设备的结构的图。

图2是示出摄像元件的像素的截面图的示例。

图3是示出摄像元件的光接收面的图。

图4是示出来自摄像元件的信号的读取时间的图。

图5是示出摄像元件中所包括的压缩单元的结构的示例的图。

图6是示出压缩单元所进行的处理的流程图。

图7是示出分离单元的内部电路以及输入信号和输出信号的图。

图8是示出根据第二实施例的摄像设备的结构的图。

图9是示出焦点调整处理的示例的图。

图10是示出焦点调整处理的示例的图。

图11是示出焦点调整处理的示例的图。

图12A和12B是示出在主被摄体处于聚焦和失焦的情况下的像素值的变化量的图。

图13是示出再聚焦的图。

图14是示出可再聚焦的范围的图。

具体实施方式

以下将参考附图来说明根据本发明的实施例的摄像设备。

第一实施例

图1是示出根据第一实施例的摄像设备的结构的图。图1所示的摄像设备包括摄像光学系统101～透镜驱动控制单元117。摄像光学系统101接收来自被摄体的光，并且将光束经由多个透镜组和光圈(均未示出)引导至摄像元件102。穿过摄像光学系统101的光束在摄像元件102上形成为光学图像。摄像光学系统101包括调焦透镜。通过来自透镜驱动控制单元117的驱动控制命令或者使用聚焦环(未示出)的手动调整，在光轴方向上驱动调焦透镜。

摄像元件102包括像素单元，其中这些像素单元用于接收入射光并且包括用于进行光电转换的光电转换单元103。摄像元件102还包括A/D转换单元104、数据切换单元105、第一压缩单元106、第二压缩单元107和输出单元108。输出单元108例如包括I/O单元或者I/O引脚，并且将从第一压缩单元106或者第二压缩单元107供给的编码后的数据输出至摄像元件102的外部。输出单元108所输出的编码后的数据经由总线109供给至图像处理单元110的输入单元111。随着像素数量(光电转换单元的数量)的增加，存在摄像元件102和图像处理单元110之间的接口的通信带宽不足的担忧。因此，在本实施例中，如上所述，摄像元件102包括用以进行压缩的压缩单元，以使得即使在包括具有较高像素数量的光电转换单元的情况下，也能够减少传输量。因而，可以传输与高数量的像素相对应的数据。

图像处理单元110包括输入单元111、解压缩单元112、分离单元113、图像处理电路组114、记录单元115和AF计算单元116。输入单元111经由总线109接收从摄像元件102的输出单元108传输来的编码后的数据。输入单元111将所获取到的编码后的数据供给到解压缩单元112。解压缩单元112根据与第一压缩单元106或第二压缩单元107的压缩方法相对应的方法来对从输入单元111所供给的编码后的数据进行解压缩以使数据恢复，然后输出信号。分离单元113进行用以将从解压缩单元112输出的信号分离的处理，并且将分离后的信号输入至图像处理电路组114和AF计算单元116。在本示例中，分离单元113将用于摄像、即观看用的图像信号(摄像信号)输入至图像处理电路组114。分离单元113将焦点检测信号输出到AF计算单元116。图像处理电路组114基于所输入的信号来进行图像处理。

记录单元115通过例如对经过各种图像处理的数据进行诸如JPEG等的压缩处理来生成记录用数字数据并且记录该记录用数字数据。AF计算单元116基于从分离单元113输入的焦点检测信号，来进行与焦点检测有关的计算，并且基于计算结果来输出透镜驱动命令。透镜驱动控制单元117基于从AF计算单元116输出的透镜驱动命令来驱动摄像光学系统101中所包括的调焦透镜。

接着，将详细说明摄像元件102。在摄像设备中，像素单元是以二维方式配置的。像素单元中所包括的像素通过光电转换单元103对所接收到的光进行光电转换，并且将通过光电转换所获得的模拟信号作为原始数据输出至A/D转换单元104。从A/D转换单元104输出的原始数据被输入至数据切换单元105。在本示例中，一个微透镜204被配置为与各像素单元相对应，以分割摄像光学系统的出射光瞳，因而像素单元包括用于对穿过彼此不同的光瞳区域的光束进行光电转换的第一光电转换单元201和第二光电转换单元202。例如，从光电转换单元201输出图像A，并且从光电转换单元202输出图像B。在本示例中，与光电转换单元201和202相对应的像素被设置成有效像素、即用于输出摄像信号的摄像像素。从有效像素输出摄像信号(图像A+B)。图像A+B与图像A和B的相加信号相对应。即，根据本实施例的摄像元件具有以非破坏性的方式仅读取图像A的功能以及将光电转换单元201和202的电荷相加并读取这些电荷作为图像A+B的功能。

数据切换单元105将作为第一信号的摄像信号输入至第一压缩单元106，并且将与第一信号用途不同的第二信号(图像A)输出至第二压缩单元107。数据切换单元105所切换的原始数据以编码块为预定单位进行输出，并且被输入至第一压缩单元106或者第二压缩单元107。编码块例如是指诸如一般的JPEG生成的压缩算法中所使用的8×8像素等的单位。在本实施例中，为了便于说明，将应用一维方向上的编码块来进行说明。即使在二维方向上展开编码块的情况下，也容易应用本发明。

代替图2所示的结构，摄像元件中所配置的像素单元可以具有如下的任意结构，其中该任意结构包括用于输出经过图像处理的摄像信号的有效像素以及用于输出经过诸如AF计算单元116等的功能处理单元所进行的与该图像处理不同的处理的信号的功能像素。例如，在像素单元包括有效像素和用于输出焦点检测信号的功能像素的情况下，数据切换单元105将有效像素的输出输出至第一压缩单元106并且将焦点检测像素的输出输出至第二压缩单元107。例如，在像素单元包括有效像素和用于输出暗电流检测信号的光学黑像素(OB像素)的情况下，数据切换单元105将有效像素的输出输出至第一压缩单元106并且将OB像素的输出输出至第二压缩单元107。

第一压缩单元106和第二压缩单元107接收从数据切换单元105输出的以编码块为单位的原始数据，并且通过进行预定的编码处理来生成编码后的数据。

图2是示出摄像元件的像素截面图的示例。针对包括光电转换单元201和202的像素单元设置一个微透镜204。附图标记203表示颜色滤波器，并且附图标记205表示布线层。通过针对一个微透镜设置两个光电转换单元，可以进行光瞳分割，并且使用从这两个光电转换单元所获得的图像之间的相位差来进行焦点检测。通过将光电转换单元201和202的输出相加，可以获得光瞳没有被分割的图像(图像A+B)。颜色滤波器203以拜尔阵列方式包括红色(R)、绿色(G)和蓝色(B)滤波器。因此，通过将光电转换单元201和202的输出相加，可以获得彩色图像。

图3是示出摄像元件的光接收面的图。宽度301与摄像元件整体的有效像素的区域相对应。该区域是图像A+B的读取区域。宽度302是可读取图像A的区域。为了缩短从摄像元件进行读取的时间，仅将焦点检测所使用的区域设计为读取图像A的区域。

图4是示出来自摄像元件的信号的读取定时的图。附图标记405表示来自摄像元件的一个水平时间段的读取信号。时间段401是水平空白时间段。时间段402是图像A的读取时间段。时间段403是图像A+B的读取时间段。通过这种方式，可以在比单独的读取时间段更短的水平时间段内仅读取图像A或者仅读取图像B。根据本实施例的摄像设备通过从图1所示的分离单元113所读取的图像A+B减去图像A来获得图像B。数据切换单元105在时间段402内将图像A输出至第二压缩单元107，并且在时间段403内将图像A+B输出至第一压缩单元106。

图5是示出摄像元件中所包括的压缩单元的结构的示例的图。第一压缩单元106和第二压缩单元107各自包括量化单元501、熵编码单元502、编码量测量单元503和编码量控制单元504。量化单元501是用于提取像素之间的原始数据的差值(以下称为差值)并生成该差值的量化数据的电路。熵编码单元502是用于基于所输入的数据(符号)的出现频率来向各量化数据分配符号并生成编码后的数据的电路。作为熵编码方案，已知有哥伦布(Golomb)编码和霍夫曼(Huffman)编码。本发明不限于这样的编码方案。编码量测量单元503是用于测量以编码块为单位的编码数据量的电路。编码量控制单元504是用于基于编码量测量单元503所测量到的编码数据量来控制编码量并且输出编码后的数据的电路。

图6是示出压缩单元所进行的处理的流程图。在压缩处理开始的情况下，将以编码块为单位的原始数据输入至量化单元501。在S601中，量化单元501计算编码块内的邻接像素之间的差值。随后，在S602中，量化单元501使用预定值来对S601中所计算出的差值进行量化。该预定值是用于决定量化步骤的参数并且由编码量控制单元504动态地决定。以下将该预定值描述为量化参数(QP)。在量化中，减去差值QP，并且将减去后的结果的小数部分进行四舍五入。

接着，在S603中，熵编码单元502向量化后的差值分配符号。在S604中，编码量测量单元503判断编码后的数据是否落入目标数据量(目标编码数据量)内。在本实施例中，将落入总线109的带宽内的编码数据量设置为目标编码数据量。

这里，数据量小于来自有效像素的输出数据的第二信号(来自图像A或OB像素的暗电流检测信号、或者来自焦点检测像素的焦点检测信号)输入至第二压缩单元107。在这种信号经过与第一压缩单元106所进行的压缩处理相同的压缩处理的情况下，信号可能劣化，因而存在焦点精度劣化或者有效像素区域整体的图像质量劣化的担忧。因此，在第二压缩单元107中，设置与第一压缩单元106中所设置的目标编码数据量相比更大的目标编码数据量，以防止图像质量劣化。可选地，为了消除压缩处理所引起的图像质量的劣化，可以选择并进行非压缩处理，而不进行步骤S601～S604的处理。即，第二压缩单元107用作用于进行与第一压缩单元106所进行的压缩处理不同的处理以使第二信号不发生劣化的控制单元。第二压缩单元107对第二信号进行非压缩处理、无损压缩处理、以及与第一压缩单元106所进行的压缩处理相比分配更多量化位的非无损压缩处理中的一个。

在步骤S604中判断为编码后的数据没有落入目标编码数据量内的情况下，处理进入S605。然后，编码量控制单元504通过根据编码数据量和目标编码数据量之间的差使QP增大或减小，来控制编码量以使得编码后的数据落入目标编码数据量内。

在步骤S604中判断为编码后的数据落入目标编码数据量内的情况下，处理进入S606以输出编码后的数据。在进行输出时，各编码块的量化所使用的QP或者编码时的符号分配信息(以下称为“编码参数”)与输出数据相关联地输出至输出单元108。

输出单元108顺次输出第一压缩单元106所压缩的编码后的数据和第二压缩单元107所压缩的编码后的数据。针对上述数据切换单元105的切换定时，可以在考虑到压缩单元进行的处理所花费的时间的情况下对输出单元108的输出数据进行切换。

接着，将详细说明解压缩单元112所进行的处理。在编码后的数据和编码参数从输入单元111输入至解压缩单元112的情况下，解压缩单元112从编码参数中读取QP的解压缩处理中所需的信息。解压缩单元112基于所读取到的解压缩处理中所需的信息来对编码后的数据进行解压缩处理。

图7是示出分离单元的内部电路以及输入信号和输出信号的图。将参考图7来详细说明分离单元113所进行的处理。在图7所示的示例中，分离单元113读取解压缩单元112解压缩得到的图像A+B以及图像A，并且通过从图像A+B减去图像A来生成图像B。在生成了图像A和B的左右信号的情况下，在水平方向上发生相位差。分离单元113将图像A和图像B的数据作为焦点检测数据输出至AF计算单元116。AF计算单元116通过获得图像A和B的偏差量来计算散焦量。

分离单元113将图像A+B的数据作为摄像数据输出至图像处理电路组114。图像处理电路组114通过例如对摄像数据进行诸如颜色转换、白平衡、或伽玛校正等的已知图像处理、分辨率转换处理、或者诸如JPEG等的图像压缩处理，来生成记录用视频信号。

根据本实施例的摄像设备对与从有效像素输出的进行了第一压缩处理的第一信号不同的第二信号(图像A、焦点检测信号、或者暗电流检测信号)进行不同于第一压缩处理的处理，以使该第二信号不发生劣化。因此，可以在使得无需增加传输路径的带宽而传输大量数据的同时，减少焦点检测或暗电流值的计算所使用的信号的劣化。

第二实施例

根据第二实施例的摄像设备使得与有效像素中的主被摄体有关的信号的劣化减少。因此，该摄像设备在相对于最佳聚焦位置的预定范围内驱动调焦透镜，并且通过在拍摄后进行再聚焦处理来调整聚焦位置。

图8是示出根据第二实施例的摄像设备的结构的图。摄像元件802与根据第一实施例的摄像设备中所包括的摄像元件102相同，因而将省略其说明。输出单元808所输出的图像A+B和图像A的编码后的数据经由总线809供给至图像处理单元810的输入单元811，以进行解压缩单元812的解压缩处理。分离单元813根据图像A+B和图像A来生成图像B的信号，并且将该信号作为焦点检测数据输出至AF计算单元817。以下将详细说明AF计算单元817。AF计算单元817是用于主要进行相关计算并且使用图像A和B根据相位差方式来进行焦点调整处理的块。

图9～11是示出使用从摄像元件读取到的两个图像的焦点调整处理的示例的图。将说明使用利用图像A和B所进行的相关计算(绝对差之和：SAD)的焦点调整处理的原理。在图9～11所示的摄像元件中，配置了包括分开地配置在一个微透镜下的像素a和b的多个单位像素单元P。该摄像元件与参考图2所说明的摄像元件相同。像素a和b是微透镜被光瞳分割成出射光瞳的像素。

AF计算单元817将像素a和b形成的图像A和B所用的像素输出在行方向或列方向上进行合成，以使得图像A和B作为同色单位像素单元组的输出而生成并进行数字化，并且通过SAD计算来获得各对应点的偏差。通过下式(1)可以获得SAD计算的结果。

C＝|YAn-YBn| 式(1)

这里，n是水平的微透镜的数量。绘制了使对应像素相对于YBn移动时的值，并且具有最小值的小偏差量是聚焦位置。

由于聚焦时摄像光学系统成像的位置是图中的微透镜P7下方的PD，因此图像A所用的像素组和图像B所用的像素组大致相同。此时，如图9所示，通过相关计算所获得的图像A所用的像素组和图像B所用的像素组之间的图像偏差量d(a)约为0。在后焦点调整(back focus)时，作为摄像光学系统成像的位置，图像A所用的像素变成微透镜P5下方的像素并且图像B所用的像素变成微透镜P9下方的像素。此时，如图10所示，在通过相关计算所获得的图像A所用的像素组和图像B所用的像素组之间发生图像偏差量d(b)。在前焦点调整(front focus)时，作为摄像光学系统成像的位置，图像A所用的像素变成微透镜P9下方的像素并且图像B所用的像素变成微透镜P5下方的像素。此时，如图11所示，通过相关计算所获得的图像A所用的像素组和图像B所用的像素组之间的图像偏差量是与后焦点调整时的图像偏差量方向相反的图像偏差量d(c)。这意味着，尽管聚焦时在图像A和B所用的像素组中看到同一被摄体，但在后焦点调整和前焦点调整时输出了图像偏差量d在图像A和B所用的像素组之间有所偏差的被摄体信号。将利用已知技术根据基线长度以及作为所获得的SAD值的相加值的最小值的图像偏差量d所获得的散焦量输出至AF计算单元817。通过经由透镜驱动控制单元818移动摄像光学系统801来进行焦点调整控制。

图12A和12B是示出主被摄体处于聚焦和失焦的情况下的像素值的变化量的图。为了便于说明，横轴表示像素位置，而纵轴表示像素值。假定被摄体是左侧暗并且右侧亮的被摄体。图12A示出主被摄体处于失焦的情况下的像素位置和像素值。图12B示出主被摄体处于聚焦的情况下的像素位置和像素值。在主被摄体处于失焦的情况下，像素值的变化量小。在主被摄体处于聚焦的情况下，像素值的变化量大。因此，在主被摄体处于聚焦的情况下，使量化单元501所进行的差值的量化中所使用的QP增大。结果，在向量化后的差值分配符号的情况下，编码后的数据未落入目标编码数据量内，并且可以分配QP，以使得编码后的数据落入目标编码数据量内。这意味着主被摄体处于聚焦的区域是图像显著劣化的区域。即，针对主被摄体，图像显著劣化，而针对主被摄体以外的部分，图像没有显著劣化。

接着，将详细说明再聚焦处理单元814的处理。再聚焦处理单元814生成再聚焦图像，该再聚焦图像是通过使所获得的图像A和B移动预定数量的像素并且将图像A和B相加来虚拟地移动聚焦面的图像。

图13是示出再聚焦处理的图。聚焦面800是利用摄像光学系统801来成像的摄像元件的上表面。在图13中，i是整数，并且Ai和Bi分别示意性地表示摄像面800上所配置的摄像元件的列方向的第i个像素的图像A所用的信号和图像B所用的信号。作为图像A所用的像素的Ai是以主光线角度θa入射到第i个像素上的光束的光接收信号。作为图像B所用的像素的Bi是以主光线角度θb入射到第i个像素上的光束的光接收信号。

Ai和Bi不仅包括光强度分布信息，而且还包括入射角度信息。因此，通过使Ai沿着角度θa平行移动到达虚拟聚焦面810、使Bi沿着角度θb平行移动到达虚拟聚焦面810、并且将Ai和Bi相加，可以生成虚拟聚焦面810上的再聚焦图像(再聚焦信号)。

使Ai沿着角度θa平行移动到达虚拟聚焦面810，这与列方向的+0.5像素移动相对应。使Bi沿着角度θb平行移动到达虚拟成像面810，这与列方向的-0.5像素移动相对应。因此，通过使Ai和Bi相对地移动+1个像素、使Ai与Bi+1彼此对应、并且将Ai和Bi+1相加，可以生成虚拟聚焦面810上的聚焦图像。此外，可以通过使Ai和Bi进行整数移动并且将Ai和Bi相加，与整数移动量相对应地生成各虚拟成像面上的作为移动相加图像的再聚焦图像。

图14是示出可再聚焦的范围的图。在δ是容许模糊圆并且F是成像光学系统的光圈值的情况下，光圈值F处的景深为±Fδ。另一方面，分割并且缩窄成两个区域的光瞳区域1201(1202)的水平方向的有效光圈值F01(F02)在分割区域的数量是2的情况下F01＝2F，则会变暗成。图像A和B所用的像素组的有效景深加深成2倍、即±2Fδ，并且聚焦范围变成2倍宽。在有效景深±2Fδ的范围内，获取图像A和B所用的像素组中所聚焦的被摄体图像。因此，通过用以使图像A和B所用的像素组沿着图13所示的主光线角度θa(θb)平行移动的再聚焦处理，可以在拍摄之后再调整聚焦位置(使聚焦位置再聚焦)。

相对于可在拍摄之后使聚焦位置再聚焦的摄像面的散焦量d受限制，因而散焦量d的可再聚焦范围通常是由式(2)所表示的范围。

|d|≤2Fδ 式(2)

容许模糊圆δ被定义为δ＝2ΔX(像素周期ΔX的奈奎斯特频率1/(2ΔX)的倒数)等。在使用针对一个微透镜分割成两个图像的图像A和B来进行再聚焦处理并且d等于或小于2Fδ的情况下，可以进行再聚焦。在d小于1Fδ的情况下，散焦量处于容许模糊圆内。

为了防止由于摄像元件中主被摄体的压缩而引起的图像质量劣化，摄像设备通过在满足式(3)的相对于最佳聚焦位置的范围内驱动调焦透镜来减小主被摄体中的像素值的差值，并且使编码后的数据落入目标编码数据量内。然后，再聚焦处理单元814通过在原本的最佳聚焦位置处进行再聚焦处理来减少图像质量的劣化。

1Fδ≤|d|≤2Fδ 式(3)

也就是说，透镜驱动控制单元818用作驱动单元，该驱动单元用于对调焦透镜进行驱动控制以使得聚焦面相对于对象被摄体的聚焦面移动了预定距离以进行摄像。

经过再聚焦处理单元814所进行的再聚焦处理的有效图像数据被输出至图像处理电路组815。然后，图像处理电路组815通过例如对该有效图像数据进行诸如颜色转换、白平衡、或伽玛校正等的已知图像处理、分辨率转换处理、或者诸如JPEG等的图像压缩处理来生成记录用视频信号。

在第一实施例和第二实施例中，在一个微透镜中配置两个光电转换单元。即使在存在四个以上的光电转换单元的情况下，也可以获得相同的优点。尽管已经说明了本发明的优选实施例，但本发明不限于这些实施例，并且可以在本发明的主旨的范围内进行各种形式的变形和改变。

尽管已经参考典型实施例说明了本发明，但应当理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类变形、等同结构和功能。

本申请要求2015年6月2日提交的日本专利申请2015-112013的优先权，在此通过引用将其全部内容包含于此。