成像设备和方法、图像处理设备和方法以及成像元件与流程

本发明涉及成像设备和方法、图像处理设备和方法以及成像元件，并且特别涉及使得能够更容易执行白平衡控制的成像设备和方法、图像处理设备和方法以及成像元件。

背景技术：

常规而言，成像元件一般与将光聚焦在成像元件上的成像透镜组合使用。成像透镜将光从被摄体平面引导到成像元件的每个像素，以便再现被摄体平面的光强度分布，从而成像元件可以获取与每个像素中的光强度分布对应的水平的检测信号，并可以完整地获取被摄体的捕获的图像。

但是，在这种情况下，物理尺寸增大。因而，已经考虑了不使用成像透镜的成像元件(例如，参见专利文献1、专利文献2和非专利文献1)。对其应用这种成像元件的成像设备通过对由成像元件生成的检测图像执行例如预定计算来恢复复原图像。

顺便提及，在成像设备中，为了校正捕获的图像的色调，在一些情况下，考虑到成像环境中光的影响，执行称为白平衡控制的处理以校正捕获的图像中的白色参考。通过使用例如通过在某个程度上对宽范围内的每种颜色的rgb像素值进行积分而获取的积分值的比率来执行白平衡控制。

引文列表

专利文献

专利文献1：wo2016/123529

专利文献2：pct国际申请公开no.第2016-510910的日语翻译

非专利献件

非专利文献1：m.salmanasif，其他四个人，“flatcam:replacinglenseswithmasksandcomputation”，“2015ieeeinternationalconferenceoncomputervisionworkshop(iccvw)”，2015年，第663至666页。

技术实现要素：

本发明要解决的问题

但是，如专利文献1、专利文献2和非专利文献1中所述，在对其应用不使用成像透镜的成像元件的成像设备中通过这种方法执行白平衡控制的情况下，从利用成像元件获取的检测图像恢复复原图像，并且通过使用通过在复原图像中在某个程度上对宽范围内的每种颜色的rgb像素值进行积分而获取的积分值的比率来控制白平衡，这要求复杂的处理。

鉴于这样的情形而做出了本公开，并且本公开将使得有可能更容易地执行白平衡控制。

问题的解决方案

根据本技术的一个方面的成像设备是这样的成像设备，包括：成像元件，该成像元件包括多个像素输出单位，这多个像素输出单位接收没有通过成像透镜和针孔中的任一个而入射的入射光，并且每个像素输出单位输出一个指示通过入射光的入射角度调制的输出像素值的检测信号；以及系数设置单元，其基于在成像元件的像素输出单位中获取的检测信号来设置白平衡系数，该白平衡系数被用于校正从检测信号恢复的复原图像的白平衡。

根据本技术的一个方面的成像方法是这样的成像方法，包括通过包括多个像素输出单位的成像元件来捕获被摄体的图像，这多个像素输出单位接收没有通过成像透镜和针孔中的任一个而入射的入射光，并且每个像素输出单位输出一个指示通过入射光的入射角度调制的输出像素值的检测信号，并基于通过图像捕获获取并在成像元件的像素输出单位中获取的检测信号来设置白平衡系数，该白平衡系数被用于校正从检测信号恢复的复原图像的白平衡。

根据本技术的另一方面的图像处理设备是这样的图像处理设备，包括系数设置单元，其基于通过由包括多个像素输出单位的成像元件捕获被摄体的图像而获取的检测信号来设置白平衡系数，这多个像素输出单位接收没有通过成像透镜和针孔中的任一个而入射的入射光，并且每个像素输出单位输出一个指示通过入射光的入射角度调制的输出像素值的检测信号，其中在像素输出单位中获取检测信号，并且白平衡系数被用于校正从检测信号恢复的复原图像的白平衡。

根据本技术的另一方面的图像处理方法是这样的图像处理方法，包括基于通过由包括多个像素输出单位的成像元件捕获被摄体的图像而获取的检测信号来设置白平衡系数，这多个像素输出单位接收没有通过成像透镜和针孔中的任一个而入射的入射光，并且每个像素输出单位输出一个指示通过入射光的入射角度调制的输出像素值的检测信号，其中在像素输出单位中获取检测信号，并且白平衡系数被用于校正从检测信号恢复的复原图像的白平衡。

根据本技术的又一方面的成像元件是这样的成像元件，包括：多个像素输出单位，这多个像素输出单位接收没有通过成像透镜和针孔中的任一个而入射的入射光，并且每个像素输出单位输出一个指示通过入射光的入射角度调制的输出像素值的检测信号；以及系数设置单元，其基于在成像元件的像素输出单位中获取的检测信号来设置白平衡系数，该白平衡系数被用于校正从检测信号恢复的复原图像的白平衡。

在根据本技术的一个方面的成像设备和方法中，通过包括多个像素输出单位的成像元件来捕获被摄体的图像，这多个像素输出单位接收没有通过成像透镜和针孔中的任一个而入射的入射光，并且每个像素输出单位输出一个指示通过入射光的入射角度调制的输出像素值的检测信号，并基于通过图像捕获获取并在成像元件的像素输出单位中获取的检测信号来设置白平衡系数，该白平衡系数被用于校正从检测信号恢复的复原图像的白平衡。

在根据本技术的另一方面的图像处理设备和方法中，基于通过由包括多个像素输出单位的成像元件捕获被摄体的图像而获取的检测信号来设置白平衡系数，这多个像素输出单位接收没有通过成像透镜和针孔中的任一个而入射的入射光，并且每个像素输出单位输出一个指示通过入射光的入射角度调制的输出像素值的检测信号，其中在像素输出单位中获取检测信号，并且白平衡系数被用于校正从检测信号恢复的复原图像的白平衡。

根据本技术的又一方面的成像元件包括：多个像素输出单位，其接收没有通过成像透镜和针孔中的任一个而入射的入射光，并且每个像素输出单位输出一个指示通过入射光的入射角度调制的输出像素值的检测信号；以及系数设置单元，其基于在成像元件的像素输出单位中获取的检测信号来设置白平衡系数，该白平衡系数被用于校正从检测信号恢复的复原图像的白平衡。

本发明的效果

根据本技术，有可能捕获被摄体的图像或处理图像。另外，根据本技术，可以更容易地执行白平衡控制。

附图说明

图1是描述直到白平衡控制的处理流程的示例的图。

图2是图示对其应用本公开的技术的成像元件的主要配置示例的框图。

图3是描述通过成像元件进行成像的原理的图。

图4是描述常规成像元件与本公开的成像元件之间的配置差异的图。

图5是描述成像元件的第一配置示例的图。

图6是描述成像元件的第一配置示例的图。

图7是描述入射角度方向性的生成原理的图。

图8是描述使用片上透镜的入射角度方向性的改变的图。

图9是描述入射角度方向性的设计的图。

图10是描述物距与表示入射角度方向性的系数之间的关系的图。

图11是描述窄视角像素与宽视角像素之间的关系的图。

图12是描述窄视角像素与宽视角像素之间的关系的图。

图13是描述窄视角像素与宽视角像素之间的关系的图。

图14是描述修改示例的图。

图15是描述修改示例的图。

图16是描述修改示例的图。

图17是描述通过应用修改示例来改变视角的示例的图。

图18是描述当通过应用修改示例来改变视角时组合多个视角的像素的示例的图。

图19是描述修改示例的图。

图20是描述修改示例的图。

图21是描述修改示例的图。

图22是图示用于白平衡控制的像素输出单位的布置示例的图。

图23是图示用于白平衡控制的像素输出单位的布置示例的图。

图24是图示输出数据的主要配置示例的图。

图25是描述成像处理的流程的示例的流程图。

图26是图示成像设备的主要配置示例的框图。

图27是图示图像处理设备的主要配置示例的框图。

图28是描述图像处理流程的示例的流程图。

图29是图示图像处理系统的主要配置示例的框图。

图30是描述图像处理流程的示例的流程图。

图31是图示成像元件的主要配置示例的图。

图32是图示使用黑白图案掩模的情况的图。

图33是图示使用光干涉掩模的情况的图。

图34是图示成像元件的变形例的图。

图35是图示计算机的主要配置示例的框图。

具体实施方式

在下文中，将描述用于执行本公开的模式(下文中称为实施例)。注意的是，将按照以下次序进行描述。

1.白平衡控制

2.第一实施例(成像元件)

3.第二实施例(成像设备)

4.第三实施例(图像处理设备)

5.第四实施例(图像处理系统)

6.第五实施例(成像元件或成像设备的另一种配置示例)

7.附录

<1.白平衡控制>

<白平衡控制>

常规而言，例如，如专利文献1、专利文献2和非专利文献1中所述，已经存在不使用成像透镜的成像元件(也称为无成像透镜的成像元件)。对其应用这种无成像透镜的成像元件的成像设备通过对由成像元件生成的检测图像执行例如预定计算来恢复复原图像。

顺便提及，在成像设备中，为了校正捕获的图像的色调，在一些情况下，考虑到成像环境中光的颜色的影响，执行称为白平衡控制(调整)的处理以校正捕获的图像中的白色参考。通过使用例如通过在某个程度上对宽范围内的每种颜色的rgb像素值进行积分而获取的积分值的比率来执行白平衡控制。

例如，在使用常规成像透镜的成像元件的情况下，如图1的a中所示，当通过成像元件获取原始图像时(原始获取11)，对原始图像执行处理，诸如积分范围设置12(这是设置用于积分像素值的范围的处理)、积分13(这是对设定范围内的每种颜色的像素值进行积分的处理)以及wb系数确定14(这为通过使用获取的积分值的比率来计算用于白平衡控制的白平衡系数(也称为wb系数)的处理)。使用这个wb系数控制捕获的图像(原始图像)的白平衡。

另一方面，在如专利文献1、专利文献2和非专利文献1中所述对其应用无成像透镜的成像元件的成像设备中通过这种方法执行白平衡控制的情况下，从利用成像元件获取的检测图像恢复复原图像，并且通过使用通过在复原图像中在某个程度上对宽范围内的每种颜色的rgb像素值进行积分而获取的积分值的比率来控制白平衡，这要求复杂的处理。

例如，如图1的b中所示，当通过成像元件获取检测图像(检测图像获取21)时，从检测图像恢复复原图像(原始图像)(原始恢复22)，并对这个原始图像执行处理，诸如积分范围设置23(这是与积分范围设置12相似的处理)、积分24(这是与积分13相似的处理)以及wb系数确定25(这是与wb系数确定14相似的处理)。使用这个wb系数控制复原图像(原始图像)的白平衡。即，在这种情况下，必需恢复复原图像。

<不使用成像透镜的成像元件中的白平衡控制>

因而，基于检测信号，设置用于校正从由检测信号形成的检测图像恢复的复原图像的白平衡的白平衡系数。

例如，成像设备包括成像元件，该成像元件包括多个像素输出单位，这多个像素输出单位接收没有通过成像透镜和针孔中的任一个而入射的入射光，并且每个像素输出单位输出一个指示通过入射光的入射角度调制的输出像素值的检测信号；以及系数设置单元，其基于在成像元件的像素输出单位中获取的检测信号来设置白平衡系数，该白平衡系数被用于校正从检测信号恢复的复原图像的白平衡。

为了计算wb系数，要求在视角内足够宽的范围内的被摄体的信息。在使用常规成像透镜的成像元件的情况下，在每个像素中检测来自窄范围内的被摄体的光，因此必需在足够宽的范围内对像素值进行积分。

例如，红色(r)像素(r像素)的像素值r、绿色(g)像素(g像素)的像素值g和蓝色(b)像素(b像素)的像素值b被用于计算像素值r的wb系数和像素值b的wb系数，如下面的公式(1)和(2)中所示。

像素值r的wb系数＝所有像素值g的积分值/所有像素值r的积分值...(1)

像素值b的wb系数＝所有像素值g的积分值/所有像素值b的积分值...(2)

然后，如下面的公式(3)和(4)中所示，通过将捕获的图像(像素值r和像素值b)乘以这些wb系数来执行白平衡控制。

白平衡控制之后的像素值r＝像素值r×像素值r的wb系数

...(3)

白平衡控制之后的像素值b＝像素值b×像素值b的wb系数

...(4)

另一方面，在无成像透镜的成像元件的情况下，在每个像素处检测来自视角内几乎所有被摄体的光。即，每个检测信号包括基本上与使用成像透镜的成像元件的所有像素值的积分值等同的信息。因此，在这个成像元件的情况下，可以从这个检测信号(检测图像的像素值)计算wb系数而无需恢复复原图像。

即，没有必要恢复复原图像。此外，由于有可能从每个检测信号获取基本上与使用成像透镜的成像元件的所有像素值的积分值等同的信息，因此没有必要对检测信号(像素值)进行积分，因此没有必要设置积分范围。换句话说，计算wb系数所需的处理仅仅是用于检测图像获取31和wb系数确定32的处理，如图1的c中所示。因此，可以更容易地计算wb系数。即，可以更容易地执行白平衡控制。

因此，有可能抑制与白平衡控制相关的处理负担的增加。因此，不仅可以抑制处理时间和功耗的增加，而且可以降低硬件资源的利用率。因此，有可能抑制硬件制造成本的增加。而且，可以期望促进对其应用白平衡控制的设备等的开发和设计。因此，有可能抑制开发周期和成本的增加。

此外，由于没有必要恢复复原图像，因此可以较早地计算wb系数并且可以较早地执行白平衡控制。例如，有可能以更高的速度响应(提供控制结果)来自用户等的白平衡控制指令。因此，有可能抑制由于从指令输入到响应的时间之后而引起的用户满意度的降低。

<2.第一实施例>

<成像元件>

图2是图示对其应用如上所述的本技术的成像元件的主要配置示例的框图。图2中所示的成像元件121被配置为执行与被摄体的成像相关的处理。例如，成像元件121捕获被摄体的图像并获取与捕获的图像相关的数据(电子数据)。此时，成像元件121可以在不穿过成像透镜、诸如衍射光栅或针孔等的光学滤波器等的情况下捕获被摄体的图像，并且可以获取关于捕获的图像的数据。例如，成像元件121捕获被摄体的图像，并获取通过预定计算可以从中获取捕获的图像的数据的数据(检测信号等)。

注意的是，在本描述中，捕获的图像是由像素值形成的图像，利用这些像素值形成被摄体的图像并且可以被用户可视地观察并识别为图像。另一方面，由作为成像元件121的像素单位输出中的入射光的检测结果的检测信号形成的图像(称为检测图像)是当用户在视觉上观察时不能被识别为图像(即，被摄体在视觉上无法识别)的图像，因为没有形成被摄体的图像。即，检测图像是与捕获的图像不同的图像。但是，如上所述，通过对检测图像的数据执行预定计算，有可能恢复捕获的图像，即，其中形成被摄体的图像并且可以被用户在视觉上观察并识别为图像(即，被摄体可以在视觉上识别)的图像。这个恢复的捕获图像被称为复原图像。即，检测图像与复原图像不同。

另外，在本描述中，构成复原图像并且是同步处理、颜色分离处理等(例如，去马赛克处理等)之前的图像的图像也被称为原始图像。与捕获的图像相似，这个原始图像也是用户可以在视觉上观察并识别为图像(即，被摄体可以在视觉上识别)的图像。换句话说，检测图像是根据滤色器阵列的图像，但是与原始图像不同。

但是，在例如成像元件121仅对诸如红外光或紫外光之类的不可见光敏感的情况下，复原图像(原始图像或捕获的图像)是不能被用户在视觉上观察并识别为图像(被摄体无法从视觉上识别)的图像。但是，由于这是由于检测到的光的波长范围引起的，因此通过将波长范围转换成可见光范围，可以将复原图像改变为可以在视觉上识别被摄体的图像。另一方面，在检测图像中，由于没有形成被摄体的图像，因此不可能通过简单地改变波长范围而变为在视觉上可识别被摄体的图像。因此，即使当成像元件121仅对不可见光敏感时，如上所述通过对检测图像执行预定操作而获取的图像也被称为复原图像。注意的是，在下文中，除非另有说明，否则将使用成像元件121基本上接收可见光的情况的示例来描述本技术。

即，成像元件121可以捕获被摄体的图像并且获取与检测图像相关的数据。

在这种成像元件121中，提供了多个像素输出单位，其接收没有通过成像透镜和针孔中的任一个而入射的入射光，并且每个像素输出单位输出一个指示通过入射光的入射角度调制的输出像素值的检测信号，并且提供了系数设置单元，其基于在像素输出单位中获取的检测信号来设置白平衡系数，该白平衡系数被用于校正从由检测信号形成的检测图像恢复的复原图像的白平衡。

以这种方式，如上所述，可以更容易地进行白平衡控制。

如图2中所示，成像元件121具有光接收单元111和另一个处理单元112。光接收单元111和另一个处理单元112可以在同一个半导体基板上形成，或者可以在彼此不同的半导体基板上形成。例如，可以堆叠其上形成有光接收单元111的半导体基板和其上形成有另一个处理单元112的半导体基板。

光接收单元111具有由多个像素(像素输出单位)形成的像素矩阵，并且在每个像素中，接收来自被摄体的光并对光进行光电转换、根据入射光累积电荷，并在预定定时将电荷输出为检测信号。多个像素包括三种类型的像素，例如，r像素、g像素和b像素。

如图2中所示，另一个处理单元112包括a-d转换单元101、wb系数设置单元102、恢复单元103、关联单元104和输出单元105。

a-d转换单元101对从光接收单元111输出的模拟信号的检测信号执行a-d转换并将其作为数字数据的检测信号供应给wb系数设置单元102。注意的是，这个a-d转换单元101的配置是任意的。例如，a-d转换单元101可以由一个a-d转换单元构成，并且可以通过这一个a-d转换单元对光接收单元111的所有像素的检测信号进行a-d转换。另外，例如，a-d转换单元101可以具有用于光接收单元111的像素矩阵的每一列或每一行的a-d转换单元，并且可以通过使用列或行的a-d转换单元对从每一列或每一行中的像素读取的检测信号执行a-d转换。另外，例如，a-d转换单元101可以具有用于光接收单元111的像素矩阵的每个区域的a-d转换单元，并且可以通过使用这个区域的a-d转换单元对从每个区域中的像素读取的检测信号进行a-d转换。另外，例如，a-d转换单元101可以具有用于光接收单元111的每个像素的a-d转换单元，并且可以通过使用这个像素的a-d转换单元对从每个像素读取的检测信号进行a-d转换。

wb系数设置单元102基于所供应的检测信号来设置wb系数。例如，使用r像素的检测信号r、绿色g像素的检测信号g和b像素的检测信号b，按照下面的公式(5)和(6)计算像素值r的wb系数wb_r和像素值b的wb系数wb_b。

wb_r＝检测信号g/检测信号r...(5)

wb_b＝检测信号g/检测信号b...(6)

例如，当g＝200、r＝160和b＝100时，wb_r＝1.25和wb_b＝2。以这种方式，可以通过简单的计算从检测信号计算wb系数。

另外，如公式(5)和(6)中所指示的，在这种情况下，检测信号的积分是不必要的。即，可以从每种颜色(rgb中的每一种)的每个像素的(单个)检测信号计算wb系数。

当然，可以将每种颜色的多个像素的检测信号(即，多个检测信号r、多个检测信号g和多个检测信号b)用于计算wb系数。在那种情况下，仅要求将这些检测信号的积分值应用于上述公式(5)和(6)的检测信号。

即，wb系数设置单元102可以基于在成像元件121(光接收单元111)中包括的多个像素(像素输出单位)的一部分中获取的检测信号来设置白平衡系数。这部分的像素(像素输出单位)可以包括用于每种颜色的至少一个像素输出单位。

另外，为了计算这个wb系数，不仅可以使用rgb像素的检测信号，而且还可以使用对其应用其它波长(例如，诸如青色和黄色)的滤光器的像素的检测信号。而且，在那种情况下，与上述rgb的情况相似，可以如公式(5)和公式(6)中那样使用每种颜色的检测信号的比率来获取每种颜色的wb系数。即，可以通过简单的计算来计算wb系数。注意的是，在将每种颜色的多个像素的检测信号用于计算wb系数的情况下，仅要求计算每种颜色的检测信号的积分值，与rgb的检测信号相似，并将每种颜色的积分值应用于公式(5)和公式(6)。即，可以使用每种颜色的积分值的比率通过简单的计算来计算wb系数。另外，在使用对其应用青色、品红色和黄色之类的互补色系统的滤光器的像素的检测信号的情况下，可以在将互补色系统的相应颜色的检测信号转换成rgb的检测信号之后使用公式(5)或(6)来计算wb系数。

wb系数设置单元102将如上所述计算出的值设置为wb系数，并将所设置的wb系数与检测信号(检测图像)一起供应给恢复单元103和关联单元104。

恢复单元103被配置为执行与复原图像的生成相关的处理。例如，恢复单元103使用预先包括的恢复矩阵通过对与所供应的检测图像相关的数据(检测信号等)执行预定计算来生成复原图像。

在那时，恢复单元103使用由wb系数设置单元102设置的wb系数来执行复原图像的白平衡控制。例如，恢复单元103可以使用由wb系数设置单元102设置的wb系数来校正恢复矩阵的系数(例如，将恢复矩阵的系数乘以wb系数)，并且可以通过使用具有校正系数的恢复矩阵从检测图像恢复具有经校正的白平衡的复原图像。

另外，例如，恢复单元103可以使用恢复矩阵从检测图像中恢复复原图像，并使用由wb系数设置单元102设置的wb系数来校正已经恢复的复原图像的像素值(例如，将复原图像的每个像素值乘以wb系数)，从而执行复原图像的白平衡控制。

恢复单元103将已经对其执行了白平衡控制的复原图像作为输出数据供应给输出单元105。注意的是，恢复单元103还可以对复原图像执行诸如伽马校正(γ校正)之类的任意图像处理。另外，恢复单元103可以转换复原图像的数据的格式，或者例如通过预定的压缩方法(例如，联合图像专家组(jpeg)、标记图像文件格式(tiff))或图形交换格式(gif))来压缩复原图像。

关联单元104被配置为执行与数据关联相关的处理。例如，关联单元104将从wb系数设置单元102供应的wb系数与和从wb系数设置单元102供应的检测图像相关的数据(检测信号等)关联。

在此，术语“关联”是指例如当处理一条信息(数据、命令、程序等)时，可以使用(链接)另一条信息。即，彼此相关联的信息可以被组合为一个文件等，或者可以各自是单独的信息。例如，可以在与信息a不同的传输路径上传输与信息a相关联的信息b。另外，例如，可以将与信息a相关联的信息b记录在与信息a不同的记录介质中(或同一记录介质的另一个记录区域)。注意的是，“关联”可以是针对信息的一部分而不是全部信息。例如，图像和与该图像对应的信息可以以诸如多个帧、一个帧或帧的一部分之类的任意单位彼此相关联。

关联单元104将相关联的数据作为输出数据供应给输出单元105。注意的是，关联单元104还可以例如将与检测图像相关的数据与在用于生成复原图像的预定计算中使用的信息(诸如恢复矩阵)相关联。

输出单元105将从恢复单元103供应的输出数据或从关联单元104供应的输出数据输出到成像元件121的外部。

以这种方式，成像元件121可以更容易地获取wb系数，并且可以更容易地执行检测图像的白平衡控制。

注意的是，可以省略恢复单元103和关联单元104中的任一个。即，可以在成像元件121中仅形成恢复单元103和关联单元104中的一个。

<关于成像元件>

接下来，将参考图3至21描述成像元件121。

<像素和像素输出单位>

在本描述中，将使用术语“像素”(或“像素输出单位”)来描述本技术。在本描述中，“像素”(或“像素输出单位”)是指区域(也称为像素区域)的划分单位，其中形成用于接收成像元件121的入射光的物理配置，该划分单位包括至少一种能够独立于其它像素接收光的物理配置。能够接收光的物理配置是例如光电转换元件并且是例如光电二极管(pd)。在一个像素中形成的物理配置(例如，光电二极管)的数量是任意的，并且可以是一个或多个。其类型、尺寸、形状等也是任意的。

另外，这个“像素”单元的物理配置不仅包括上面提到的“能够接收光的物理配置”，而且还包括例如与入射光的接收相关的所有物理配置，诸如片上透镜、遮光膜、滤色器、平坦化膜、抗反射膜等。而且，可以包括诸如读出电路之类的配置。即，像素单位的这个物理配置可以是任何配置。

另外，从“像素”(即，像素单位的物理配置)读取的检测信号也可以被称为“像素单位(或像素输出单位)的检测信号”等。而且，像素单位(或像素输出单位)的这个检测信号也将被称为“像素单位检测信号(或像素输出单位检测信号)”。另外，这个像素单位检测信号也将被称为“像素输出”。此外，该值也将被称为“输出像素值”。

成像元件121包括多个像素输出单位，这多个像素输出单位接收没有通过成像透镜和针孔中的任一个而入射的入射光，并且每个像素输出单位输出一个指示通过入射光的入射角度调制的输出像素值的检测信号。因此，成像元件121的像素单位的检测信号的值(输出像素值)可以具有入射角度方向性，该入射角度方向性指示独立于其它被摄体相对于来自一个被摄体的入射光的入射角度的方向性。例如，成像元件121的每个像素单位(像素输出单位)具有这样的配置：其中可独立地设置指示输出像素值相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性。换句话说，在成像元件121中，至少两个像素单位的输出像素值的入射角度方向性可以彼此不同。

注意的是，如上所述，由于包括在“像素(或像素输出单位)”中的“能够接收光的物理配置”的数量是任意的，因此像素单位检测信号可以是通过单个“能够接收光的物理配置”获取的检测信号或者可以是通过多个“能够接收光的物理配置”获取的检测信号。

另外，可以在任意阶段将多个像素单位检测信号(输出像素值)组合为一个。例如，可以在模拟信号的状态下将多个像素的输出像素值相加，或者可以将其转换成数字信号然后相加。

另外，在从成像元件121读取这个检测信号之后，即，在检测图像中，可以将多个检测信号组合成单个检测信号，或者可以将单个检测信号转换成多个检测信号。即，检测图像的分辨率(数据的数量)是可变的。

顺便提及，在下面的描述中，为了便于描述，除非另有说明，否则成像元件121将被描述为具有其中多个像素以矩阵形式布置(形成像素阵列)的像素区域(即，光接收单元111)。注意的是，成像元件121的像素(或像素输出单位)的布置图案是任意的，并且不限于这个示例。例如，像素(或像素输出单位)可以以蜂窝结构布置。另外，例如，像素(或像素输出单位)可以布置为一行(或一列)。即，成像元件121可以是线传感器。

注意的是，成像元件121(的像素)对其具有灵敏度的波长范围是任意的。例如，成像元件121(的像素)可以对可见光具有灵敏度，或者可以对诸如红外光或紫外光之类的不可见光具有灵敏度，或者可以对可见光和不可见光都具有灵敏度。例如，在成像元件检测作为不可见光的远红外光的情况下，可以使用由成像元件获取的捕获图像来生成热像图(表示热分布的图像)。但是，在具有成像透镜的成像元件的情况下，由于玻璃难以透射远红外光，因此要求包括特殊材料的昂贵的成像透镜，这会增加制造成本。由于成像元件121可以在不通过成像透镜等的情况下捕获被摄体的图像并且可以获取与捕获的图像相关的数据，因此通过具有能够检测远红外光的像素，可以抑制制造成本的增加。即，可以以较低的成本执行远红外成像(可以以较低的成本获取热像图)。注意的是，在成像元件121(的像素)对不可见光具有灵敏度的情况下，复原图像不成为用户可以在视觉上观察和识别被摄体的图像，而是成为用户不能在视觉上识别被摄体的图像。换句话说，复原图像可以是可见光的图像或不可见光(例如，(远)红外光、紫外光等)的图像。

<入射角度方向性>

如上所述，成像元件121可以获取多个像素输出单位的检测信号(多个像素输出单位检测信号)。然后，至少两个像素输出单位检测信号的入射角度方向性可以彼此不同。

在此，“入射角度方向性”是指根据入射光的入射角度的光接收灵敏度特性，即，对入射光的入射角度的检测灵敏度。例如，即使入射光具有相同的光强度，检测灵敏度也可以根据入射角度而改变。检测灵敏度的这种偏差(包括没有偏差的情况)被称为“入射角度方向性”。

例如，当具有相同光强度的入射光以彼此相同的入射角度入射在两个像素输出单位的物理配置上时，相应像素输出单位的检测信号的信号电平(检测信号电平)可以是根据相应的入射角度方向性而是彼此不同的值。成像元件121(其每个像素输出单位)具有带有这种特性的物理配置。

可以通过任何方法来实现这个入射角度方向性。例如，可以通过在具有与成像元件(诸如互补金属氧化物半导体(cmos)成像传感器等)相似的基本结构的成像元件的光电转换元件(光电二极管等)的前侧(光入射侧)上提供普通(例如，遮光)膜来实现入射角度方向性。

当仅由包括具有相同入射角度方向性的像素的普通成像元件捕获图像时，具有基本上相同的光强度的光入射在成像元件的所有像素上，并且不能获取被摄体的形成的图像。因此，一般而言，在成像元件的前侧(光入射侧)上提供有成像透镜或针孔。例如，通过提供成像透镜，来自被摄体平面的光可以在成像元件的成像平面上形成。因此，成像元件可以获取与在每个像素处的被摄体的形成的图像对应的电平的检测信号(即，成像元件可以获取其图像被形成的被摄体的捕获的图像)。但是，在这种情况下，尺寸在物理上变大，并且可能难以减小设备的尺寸。另外，在提供有针孔的情况下，与提供有成像透镜的情况相比，尺寸可以减小。但是，由于入射在成像元件上的光量减少，因此诸如延长曝光时间或增加增益之类的措施是必需的。因此，有可能在被摄体的高速成像中发生模糊，或者颜色表达变得不自然。

另一方面，成像元件121包括多个像素输出单位，其接收没有通过成像透镜和针孔中的任一个而入射的入射光，并且每个像素输出单位输出一个指示通过入射光的入射角度调制的输出像素值的检测信号。注意的是，相应像素输出单位的入射角度方向性可以彼此不同(根据入射光的入射角度的光接收灵敏度特性对于每个像素输出单位是不同的)，或者具有相同光接收灵敏度特性的像素输出单位可以包括在像素的一部分中，或者像素的一部分可以具有不同的光接收灵敏度特性。

例如，在图3中，假设形成被摄体平面131的光源是点光源，在成像元件121中，从相同点光源发射的具有相同光强度的光线入射在所有像素上，但它们在每个像素中以不同的入射角度入射。然后，由于成像元件121的相应像素具有不同的入射角度方向性，因此以不同的灵敏度检测具有相同光强度的光线。即，针对每个像素检测具有不同信号电平的检测信号。

更具体而言，由表示根据入射角度的光接收灵敏度的系数来表示根据在成像元件121的每个像素处接收的入射光的入射角度的灵敏度特性(即，根据每个像素处的入射角度的入射角度方向性)，并且通过乘以根据入射光的入射角度的光接收灵敏度设置的系数来获取根据每个像素处的入射光的检测信号的信号电平(也称为检测信号电平)。

更具体而言，如图3的左上部中所示，在位置pa、pb和pc处的检测信号电平da、db和dc分别由以下公式(7)至(9)表示。

[数学公式1]

da＝α1×a+β1×b+γ1×c…(7)

db＝α2×a+β2×b+γ2×c…(8)

dc＝α3×a+β3×b+γ3×c…(9)

在此，α1是系数，该系数是根据要在成像元件121上的位置pa处恢复的来自点光源pa的光线在被摄体平面131上的入射角度设置的。另外，β1是系数，该系数是根据要在成像元件121上的位置pa处恢复的来自点光源pb的光线在被摄体平面131上的入射角度设置的。另外，γ1是系数，该系数是根据要在成像元件121上的位置pa处恢复的来自点光源pc的光线在被摄体平面131上的入射角度设置的。

如公式(7)中所示，位置pa处的检测信号电平da由位置pa处的来自点光源pa的光线的光强度“a”与系数α1的乘积、位置pa处的来自点光源pb的光线的光强度“b”与系数β1的乘积和位置pa处的来自点光源pc的光线的光强度“c”与系数γ1的乘积之和(组合值)来表示。在下文中，将系数αx、βx和γx(x是自然数)统称为系数集。

类似地，公式(8)的系数集α2、β2和γ2是根据要在成像元件121上的位置pb处恢复的来自点光源pa、pb和pc的光线在被摄体平面131上的入射角度设置的系数集。即，如上面的公式(8)中那样，位置pb处的检测信号电平db由位置pb处的来自点光源pa的光线的光强度“a”与系数α2的乘积、位置pb处的来自点光源pb的光线的光强度“b”与系数β2的乘积和位置pb处的来自点光源pc的光线的光强度“c”与系数γ2的乘积之和(组合值)来表示。另外，公式(9)的系数α3、β3和γ3是根据要在成像元件121上的位置pc处恢复的来自点光源pa、pb和pc的光线在被摄体平面131上的入射角度设置的系数集。即，如上面的公式(9)中那样，位置pc处的检测信号电平dc由位置pc处的来自点光源pa的光线的光强度“a”与系数α3的乘积、位置pc处的来自点光源pb的光线的光强度“b”与系数β3的乘积和位置pc处的来自点光源pc的光线的光强度“c”与系数γ3的乘积之和(组合值)来表示。

如上所述，因为从相应点光源pa、pb和pc发射的光线的光强度混合，所以这些检测信号电平与其中形成被摄体的图像的图像的检测信号电平不同。即，图3的右上部中所示的检测信号电平不是与其中形成被摄体的图像的图像(捕获的图像)对应的检测信号电平，因此与图3的右下部分中所示的像素值不同(一般两者不匹配)。

但是，通过使用系数集α1、β1和γ1、系数集α2、β2和γ2和系数集α3、β3和γ3以及检测信号电平da、db和dc形成联立方程并且使用a、b和c作为变量求解上述公式(7)至(9)的联立方程，可以获取如图3的右下部分中所示的相应位置pa、pb和pc处的像素值。因此，恢复了作为像素值的集合的复原图像(其中形成有被摄体的图像的图像)。

利用这种配置，成像元件121可以在每个像素中输出一个指示通过入射光的入射角度调制的输出像素值的检测信号，而不要求成像透镜、包括衍射光栅等的滤光器、针孔等。因此，成像透镜、包括衍射光栅等的滤光器、针孔等不是必需的组件，因此有可能降低成像设备的高度，即，在用于实现成像功能的配置中减小光入射方向上的厚度。

<入射角度方向性的形成>

图4的左侧部分图示了普通成像元件的像素阵列单元的一部分的正视图，并且图4的右侧部分图示了成像元件121的像素阵列部分的一部分的正视图。注意的是，虽然图4图示了其中像素阵列单元具有水平方向×垂直方向上的像素数均为6像素×6像素的配置的示例，但是像素数的配置不限于此。

入射角度方向性例如可以由遮光膜形成。如图所示，在普通成像元件121中，具有相同入射角度方向性的像素121a被布置为阵列，如在图4的左侧部分上的示例中那样。另一方面，在图4的右侧上的示例中的成像元件121提供有遮光膜121b，该遮光膜121b是调制元件之一，以覆盖每个像素121a中的光电二极管的光接收区域的一部分。入射在每个像素121a上的入射光根据入射角度被光学调制。然后，例如，通过在每个像素121a中的不同范围内提供遮光膜121b，在每个像素121a中相对于入射光的入射角度的光接收灵敏度不同，并且每个像素121a具有不同的入射角度方向性。

例如，由于提供了遮光膜121b-1和121b-2，像素121a-1和像素121a-2具有不同的遮光范围(至少遮光区域(位置)或遮光面积是不同的)。即，在像素121a-1中，提供遮光膜121b-1以将光电二极管的光接收区域中的左侧的一部分遮蔽预定宽度，并且在像素121a-2中，提供遮光膜121b-2比将光接收区域中的右侧的一部分遮蔽在水平方向上比遮光膜121b-1更宽的宽度。在其它像素121a中，类似地，提供遮光膜121b以遮蔽每个像素中的光接收区域中的不同范围，并且随机地布置在像素阵列中。

注意的是，遮光膜121b的范围期望地具有可以确保期望的光量的程度的面积，这是因为随着覆盖每个像素的光接收区域的比例变大，其成为可以被接收的光量变小的状态，因此遮光膜121b的面积可以被限制为例如在整个可接收光范围的最大值处的大约3/4。以这种方式，有可能确保等于或大于期望量的光量。但是，如果为每个像素提供具有与要接收的光的波长对应的宽度的非遮蔽范围，那么可以接收最小量的光。即，例如，在b像素(蓝色像素)的情况下，波长大约为500nm，但是除非光被与这个波长对应的宽度或更大的宽度遮蔽，否则有可能接收最小量的光。

<成像元件的配置示例>

将参考图5描述在这种情况下的成像元件121的配置示例。图5的上部是成像元件121的侧视横截面图，并且图5的中间部分是成像元件121的顶视图。另外，图5的上部中的侧视横截面图是图5的中部中的ab横截面。而且，图5的下部是成像元件121的电路配置示例。

具有图5中所示的配置的成像元件121具有多个像素输出单位，这多个像素输出单位接收没有通过成像透镜和针孔中的任一个而入射的入射光，并且每个像素输出单位输出一个指示通过入射光的入射角度调制的输出像素值的检测信号。例如，成像元件121具有这样的配置：其中指示多个像素输出单位中的至少两个像素输出单位的输出像素值相对于来自被摄体的入射光的入射角度的方向性是彼此不同的特性。此外，在这种情况下，成像元件121具有这样的配置：使得在多个像素输出单位中，可以对于每个像素输出单位独立地设置指示相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性。

在图5的上部中的成像元件121中，入射光在视图中从上侧入射到下侧。相邻的像素121a-15和121a-16是所谓的背照式，在每个像素中，布线层z12在视图的最下层中提供，并且在其上提供光电转换层z11。

注意的是，当没有必要区分像素121a-15与121a-16时，它们被简单地称为像素121a，并且其它配置也以相似的方式被提到。另外，虽然图5图示了形成成像元件121的像素阵列的两个像素的侧视图和顶视图，但是不用说，布置了更多数量的像素121a但在视图中被省略了。

而且，像素121a-15和121a-16分别在光电转换层z11中包括光电二极管121e-15和121e-16。另外，在光电二极管121e-15和121e-16上，分别从上方形成片上透镜121c-15和121c-16以及滤色器121d-15和121d-16。

片上透镜121c-15和121c-16分别将入射光聚焦在光电二极管121e-15和121e-16上。

滤色器121d-15、121d-16是例如透射具有特定波长(诸如红色、绿色、蓝色、红外和白色)的光的滤光器。注意的是，在白色的情况下，滤色器121d-15和121d-16可以是透明滤色器或者可以被省略。

遮光膜121p-15至121p-17在像素121a-15和121a-16的光电转换层z11中的相应像素之间的边界上形成，并抑制相邻像素之间的串扰。

另外，如图5的上部和中间所示，作为调制元件之一的遮光膜121b-15和121b-16使光接收表面s的一部分遮光。由于光接收表面s的一部分被遮光膜121b遮光，因此入射在像素121a上的入射光根据入射角度被光学调制。由于像素121a检测光学调制的入射光，因此像素121a具有入射角度方向性。在像素121a-15和121a-16中的光电二极管121e-15和121e-16的光接收表面s上，通过遮光膜121b-15和121b-16将不同范围遮光，从而设置对于每个像素不同的入射角度方向性。但是，被遮光的范围不限于在成像元件121的所有像素121a中的每一个像素都不同的情况，并且可以部分地包括其中相同范围被遮光的像素121a。

利用图5的上部中所示的配置，遮光膜121p-15的右端和遮光膜121b-15的上端连接，并且遮光膜121b-16的左端与遮光膜121p-16的上端连接，从而从侧面查看时形成l形。

而且，遮光膜121b-15至121b-17和遮光膜121p-15至121p-17包括金属，例如钨(w)、铝(al)或al和铜(cu)的合金。另外，遮光膜121b-15至121b-17和遮光膜121p-15至121p-17可以在与在半导体工艺中形成布线的过程相同的过程中由与布线相同的金属同时形成。注意的是，取决于位置，遮光膜121b-15至121b-17和遮光膜121p-15至121p-17不需要具有相同的厚度。

另外，如图5的下部中所示，像素121a包括光电二极管161(其与光电二极管121e对应)、转移晶体管162、浮动扩散(fd)单元163、选择晶体管164、放大晶体管165和复位晶体管166，并且经由垂直信号线167连接到电流源168。

光电二极管161具有其中阳极电极均接地并且阴极电极经由传输晶体管162连接到放大晶体管165的栅极的配置。

转移晶体管162均根据转移信号tg被驱动。例如，当提供给转移晶体管162的栅极的转移信号tg变为高电平时，转移晶体管162接通。因此，光电二极管161中累积的电荷经由转移晶体管162被转移到fd单元163。

放大晶体管165用作源极跟随器的输入单元，该源极跟随器是读取电路，其读出通过光电二极管161中的光电转换获取的信号，并向垂直信号线167输出处于与fd单元163中累积的电荷对应的电平的像素信号。即，放大晶体管165具有连接到电源电压vdd的漏极端子和经由选择晶体管164连接到垂直信号线167的源极端子，从而形成源极跟随器，其中电流源168连接到垂直信号线167的一端。

fd(floatingdiffusion，浮动扩散)单元163是具有在转移晶体管162和放大晶体管165之间提供的电荷电容c1的浮动扩散区域，并且临时累积从光电二极管161经由转移晶体管162转移的电荷。fd单元163是将电荷转换成电压的电荷检测单元，并且在fd单元163中累积的电荷在放大晶体管165中被转换成电压。

选择晶体管164根据选择信号sel被驱动，并且在供应给栅极电极的选择信号sel变为高电平时接通，并且将放大晶体管165和垂直信号线167连接。

复位晶体管166根据复位信号rst被驱动。例如，当供应给栅极电极的复位信号rst变为高电平时，复位晶体管166接通，并且将fd单元163中累积的电荷放电至电源电压vdd以复位fd单元163。

利用如上所述的电路配置，图5的下部中所示的像素电路如下操作。

即，作为第一操作，复位晶体管166和转移晶体管162接通，并且将fd单元163中累积的电荷放电至电源电压vdd以复位fd单元163。

作为第二操作，复位晶体管166和转移晶体管162关断，曝光时段开始，并且光电二极管161根据入射光的量累积电荷。

作为第三操作，复位晶体管166接通，fd单元163复位，然后复位晶体管166关断。通过这个操作，fd单元163被复位并且被设置为参考电位。

作为第四操作，从放大晶体管165输出处于复位状态的fd单元163的电位作为参考电位。

作为第五操作，转移晶体管162接通，并且光电二极管161中累积的电荷被转移至fd单元163。

作为第六操作，光电二极管的电荷被转移到的fd单元163的电位从放大晶体管165输出作为信号电位。

通过以上处理，从信号电位中减去参考电位，并通过相关双采样(cds)将其作为检测信号输出。检测信号的值(输出像素值)根据来自被摄体的入射光的入射角度进行调制，并且根据入射角度(具有入射角度方向性)而具有不同的特性(方向性)。

如上所述，在图5的情况下的像素121a中，为每个像素提供一个光电二极管121e，在每个像素121a中被遮光膜121b遮蔽不同的范围，并且通过使用遮光膜121b的光学调制，可以通过一个像素121a来表达具有入射角度方向性的检测图像的一个像素的检测信号。

<成像元件的另一种配置示例>

另外，入射角度方向性可以由例如像素中的光接收元件(例如，光电二极管)的位置、尺寸、形状等形成。这些参数不同的像素对来自相同方向的具有相同光强度的入射光具有不同的灵敏度。即，通过针对每个像素设置这些参数，可以针对每个像素设置入射角度方向性。

例如，可以在像素中设置多个光接收元件(例如，光电二极管)，并且可以选择性地使用它们。以这种方式，可以通过选择光接收元件来设置每个像素的入射角度方向性。

图6是图示成像元件121的另一种配置示例的图。在图6的上部中图示了成像元件121的像素121a的侧视横截面图，并且在图6的中部图示了成像元件121的顶视图。另外，图6的上部的侧视横截面图是图6的中部的ab横截面。而且，图6的下部是成像元件121的电路配置示例。

具有图6中所示的配置的成像元件121具有多个像素输出单位，其接收没有通过成像透镜和针孔中的任一个而入射的入射光，并且每个像素输出单位输出一个指示通过入射光的入射角度调制的输出像素值的检测信号。例如，成像元件121具有这样的配置：其中指示多个像素输出单位中的至少两个像素输出单位的输出像素值相对于来自被摄体的入射光的入射角度的方向性是彼此不同的特性。另外，在这种情况下的成像元件121中，通过使多个像素输出单位具有彼此不同的对输出有贡献的光电二极管(pd)，可对于每个像素输出单位独立地设置指示输出像素值相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性。

如图6中所示，成像元件121在配置上与图6中的成像元件121的不同之处在于，在像素121a中形成四个光电二极管121f-1至121f-4，并且在将光电二极管121f-1至121f-4彼此分离的区域中形成遮光膜121p。即，在图6的成像元件121中，当从顶表面查看时，遮光膜121p形成为“+”形。注意的是，它们的共同组件由相同的附图标记表示，并且省略其详细描述。

在如图6中所示配置的成像元件121中，通过用遮光膜121p分离光电二极管121f-1至121f-4，可以防止光电二极管121f-1至121f-4之间的电和光串扰。即，与图5中的成像元件121的遮光膜121p一样，图6中的遮光膜121p用于防止串扰，而不是用于给出入射角度方向性。

虽然稍后将描述细节，但是光电二极管121f-1至121f-4具有不同的入射角度，在该入射角度处光接收灵敏度特性增加。即，取决于从光电二极管121f-1至121f-4中的哪一个读取电荷，可以赋予像素121a的输出像素值期望的入射角度方向性。即，有可能控制像素121a的输出像素值的入射角度方向性。

在图6的成像元件121的配置示例中，一个fd单元163被四个光电二极管121f-1至121f-4共享。图6的下部图示了电路配置示例，其中一个fd单元163被四个光电二极管121f-1至121f-4共享。注意的是，在图6的下部中，省略了与图5的下部中相同的配置的描述。

图6的下部与图5的电路配置的下部的不同之处在于，代替光电二极管161和转移晶体管162，提供了光电二极管161-1至161-4(与图6的上部中的光电二极管121f-1至121f-4对应)和转移晶体管162-1至162-4，并且共享fd单元163。

在图6的下部所示的电路中，当没有必要将光电二极管161-1至161-4彼此区分时，将它们称为光电二极管161。此外，当没有必要将转移晶体管162-1至162-4彼此区分时，将它们称为转移晶体管162。

在图6的下部所示的电路中，当转移晶体管162之一接通时，与转移晶体管162对应的光电二极管161的电荷被读出并转移到公共fd单元163。然后，读取与保持在fd单元163中的电荷的电平对应的信号作为像素输出单位的检测信号。即，可以彼此独立地读出每个光电二极管161的电荷，并且有可能根据哪个转移晶体管162接通来控制从哪个光电二极管161读出电荷。换句话说，可以根据哪个转移晶体管162接通来控制每个光电二极管161对输出像素值的贡献程度。例如，通过使读出电荷的光电二极管161在至少两个像素之间彼此不同，可以使对输出像素值有贡献的光电二极管161彼此不同。即，通过选择读出电荷的光电二极管161，可以赋予像素121a的输出像素值期望的入射角度方向性。即，从每个像素121a输出的检测信号可以具有根据来自被摄体的入射光的入射角度调制的值(输出像素值)。

例如，在图6中，通过将光电二极管121f-1和光电二极管121f-3的电荷转移到fd单元163并将通过读取相应电荷而获取的信号相加，可以赋予像素121a的输出像素值在视图中水平方向上的入射角度方向性。类似地，通过将光电二极管121f-1和光电二极管121f-2的电荷转移到fd单元163并将通过读取相应电荷而获取的信号相加，可以赋予像素121a的输出像素值在视图中垂直方向上的入射角度方向性。

注意的是，基于图6中的像素121a的相应光电二极管121f的相应电荷获取的信号可以在从像素读取之后被相加，或者可以在像素中被相加(例如，fd单元163)。

另外，用于将电荷(或与电荷对应的信号)相加的光电二极管121f的组合是任意的，并且不限于以上示例。例如，可以将三个或更多个光电二极管121f的电荷(或与电荷对应的信号)相加。此外，例如，可以在不执行相加的情况下读出一个光电二极管121f的电荷。

注意的是，通过在使用电子快门功能等将电荷读取到fd单元163之前复位在光电二极管161(光电二极管121f)中累积的检测值(电荷)，可以赋予像素121a(的检测灵敏度)期望的入射角度方向性。

例如，在使用电子快门功能的情况下，如果紧接在将光电二极管121f的电荷读出到fd单元163之前执行复位，那么可以使光电二极管121f进入对像素121a的检测信号电平没有贡献的状态，或者可以通过给fd单元163提供复位和读取之间的时间来部分地贡献。

如上所述，在图6的像素121a中，为一个像素提供了四个光电二极管121f，并且虽然在光接收表面上没有形成遮光膜121b，但是它被遮光膜121b划分为多个区域，以形成四个光电二极管121f-1至121f-4，以表示具有入射角度方向性的检测图像的一个像素的检测信号。换句话说，例如，在光电二极管121f-1至121f-4当中，对输出没有贡献的范围与遮光区域相似地起作用，并且表示具有入射角度方向性的检测图像的一个像素的检测信号。注意的是，在使用光电二极管121f-1至121f-4表示一个像素的检测信号的情况下，不使用遮光膜121b，因此检测信号不是通过光调制获取的信号。

虽然上面已经描述了在像素中布置四个光电二极管的示例，但是布置在像素中的光电二极管的数量是任意的并且不限于以上示例。即，在像素中布置有光电二极管的部分区域的数量也是任意的。

另外，以上将光电二极管描述为布置在通过将像素的内部划分为四个相等部分而获取的四个部分区域中，但是没有必要将部分区域均等地划分。即，没有必要统一相应部分区域的所有尺寸和形状(可以包括具有不同尺寸和形状的部分区域)。可替代地，对于每个光电二极管(每个部分区域)，布置在相应部分区域中的光电二极管的位置(部分区域中的位置)、尺寸、形状等可以不同。在那时，相应部分区域的尺寸和形状可以全部统一或者可以不统一。

而且，不必对于成像元件121的所有像素统一这些参数。即，在成像元件121的一个或多个像素中，这些参数中的一个或多个可以与其它像素的这些参数不同。

例如，在成像元件121的像素组中可以包括其中用于形成在像素中布置光电二极管的部分区域的划分位置与在另一个像素中的划分位置不同的像素。即，成像元件121可以具有一个或多个像素，其中部分区域的尺寸和形状与其它像素的尺寸和形状不同。例如，通过使划分位置对于每个像素不同，即使在多个像素中仅使用左上方光电二极管，在多个像素中的每个像素中检测到的检测信号的入射角度方向性也可以彼此不同。

另外，例如，成像元件121的像素组可以包括其中布置在该像素中的多个光电二极管的位置、尺寸、形状等与其它像素的那些不同的像素。即，成像元件121可以具有一个或多个像素，其中所布置的多个光电二极管的位置、尺寸或形状中的至少一个与其它像素不同。例如，通过使光电二极管的位置、尺寸、形状等对于每个像素不同，即使在多个像素中仅使用左上方光电二极管，在多个像素中分别检测到的检测信号的入射角度方向性也可以彼此不同。

而且，例如，可以包括一个或多个像素，其中部分区域的参数(尺寸、形状)和光电二极管的参数(位置、尺寸、形状)均不同于其它像素的那些参数。

另外，例如，在成像元件121的像素组中可以包括其中用于形成在像素中布置有光电二极管的部分区域的划分数量不同于另一个像素的像素。即，成像元件121可以具有一个或多个像素，其中所布置的光电二极管的数量不同于其它像素中布置的光电二极管的数量。例如，通过使每个像素的划分数量(光电二极管的数量)不同，可以更自由地设置入射角度方向性。

<关于生成入射角度方向性的原理>

例如，根据图7中所示的原理，生成成像元件121中的每个像素的入射角度方向性。注意的是，图7的左上部分和右上部分是用于描述图5中的成像元件121的入射角度方向性生成的原理的图，并且图7的左下部分和右下部分是用于描述图6中的成像元件121的入射角度方向性生成的原理的图。

另外，图7的左上部分和右上部分中的任一部分中的一个像素由一个光电二极管121e形成。另一方面，图7中的左下部分和右下部分中的任一部分中的一个像素由两个光电二极管121f形成。注意的是，虽然这里描述了一个像素由两个光电二极管121f形成的示例，但这是为了便于描述，并且形成一个像素的光电二极管121f的数量可以是另一个数量。

在图7的左上部分中，形成遮光膜121b-11，以便当在图中入射光从上侧入射到下侧时遮蔽光电二极管121e-11的光接收表面的右半部分。另外，在图7的右上部分中，形成遮光膜121b-12，以便遮蔽光电二极管121e-12的光接收表面的左半部分。注意的是，图中的长短交替的虚线表示在光电二极管121e的光接收表面的图中在水平方向上和垂直于光接收表面的方向上的中心位置。

例如，在图7的左上部分中的配置的情况下，来自图中的右上方向的由图中相对于长短交替的虚线形成入射角度θ1的箭头指示的入射光在未被光电二极管121e-11的遮光膜121b-11遮蔽的左半范围内被容易地接收，但是来自图中的左上方向的由图中相对于长短交替的虚线形成入射角度θ2的箭头指示的入射光难以在未被光电二极管121e-11的遮光膜121b-11遮蔽的左半范围内被接收。因此，在图7的左上部分所示的配置的情况下，提供入射角度方向性，使得对于来自图的右上方的入射光，光接收灵敏度特性高，而对于来自左上方的入射光，光接收灵敏度特性高。

另一方面，例如，在图7的右上部分中的配置的情况下，来自图中的右上方向的由图中相对于长短交替的虚线形成入射角度θ11的箭头指示的入射光难以在被光电二极管121e-12的遮光膜121b-12遮蔽的左半范围内被接收，但是来自图中的左上方向的由图中相对于长短交替的虚线形成入射角度θ12的箭头指示的入射光在被光电二极管121e-12的遮光膜121b-12遮蔽的右半范围内被容易地接收。因此，在图7的右上部分所示的配置的情况下，提供入射角度方向性，使得对于来自图的右上方的入射光，光接收灵敏度特性低，而对于来自左上方的入射光，光接收灵敏度特性高。

另外，在图7的左下部分的情况下，光电二极管121f-1和121f-2分别在该图的左右提供，并且具有入射角度方向性，而无需通过读取检测信号之一来提供遮光膜121b。

即，如图7的左下部分中所示，在像素121a中形成两个光电二极管121f-1和121f-2的情况下，通过使在图的左侧上提供的光电二极管121f-1的检测信号对这个像素121a的检测信号电平有贡献，有可能具有与图7的左上部分中的配置相似的入射角度方向性。即，来自图中的右上方向的由图中相对于长短交替的虚线形成入射角度θ21的箭头指示的入射光入射在光电二极管121f-1上并且被接收，读出其检测信号，并有助于像素121a的检测信号电平。另一方面，来自图中的左上方向的由图中相对于长短交替的虚线形成入射角度θ22的箭头指示的入射光入射在光电二极管121f-2上，但是未读出其检测信号，并且对像素121a的检测信号电平没有贡献。

类似地，如图7的右下部分中所示，在两个光电二极管121f-11和121f-12在像素121a中形成的情况下，通过使在像素121a的左侧上提供的光电二极管121f-12的检测信号对这个像素121a的检测信号电平有贡献，有可能具有与图7的右上部分的配置相似的入射角度方向性。即，来自图中的右上方向的由图中相对于长短交替的虚线形成入射角度θ31的箭头指示的入射光入射在光电二极管121f-11上，但是未读出其检测信号，并且对这个像素121a的检测信号电平没有贡献。另一方面，来自图中的左上方向的由图中相对于长短交替的虚线形成入射角度θ32的箭头指示的入射光入射在光电二极管121f-12上并且被接收，并读出其检测信号，并有助于这个像素121a的检测信号电平。

注意的是，在图7中，已经描述了其中在光电二极管121e的光接收表面的图中垂直方向上的长短虚线在水平方向上的中心位置的示例，但这是为了方便描述并且可以在其它位置。通过在垂直方向上用长短交替的虚线表示的遮光膜121b的水平位置不同，可以生成不同的入射角度方向性。

<包括片上透镜的配置中的入射角度方向性>

以上，已经描述了入射角度方向性的生成原理。在此，将描述包括片上透镜121c的配置中的入射角度方向性。

即，例如，通过除了上述具有遮光膜121b的透镜之外还使用片上透镜121c，如图8中所示设置成像元件121中的每个像素的入射角度方向性。即，在图8的左中部中，聚焦来自在该图的上部中的入射方向的入射光的片上透镜121c-11、透射预定波长的光的滤色器121d-11以及通过光电转换生成像素信号的光电二极管121e-11以这个次序堆叠，并且在图8的右中部中，片上透镜121c-12、滤色器121d-12和光电二极管121e-12从该图的上部中的入射方向以这个次序形成。

注意的是，如果没有必要区分片上透镜121c-11与121c-12、滤色器121d-11与121d-12以及光电二极管121e-11与121e-12，那么将它们简单地称为片上透镜121c、滤色器121d和光电二极管121e。

而且，在成像元件121中，如图8的左中部和右中部中所示，分别提供了部分遮蔽接收入射光的区域的遮光膜121b-11和121b-12。

如图8的左中部中所示，如图8的上部中的实线的波形所指示的，在提供了遮蔽图中的光电二极管121e-11的右半部分的遮光膜121b-11的情况下，光电二极管121e-11的检测信号电平根据入射光的入射角度θ而改变。

即，当入射角度θ(其是入射光相对于在光电二极管121e和片上透镜121c的中心位置处并且垂直于它们中的每一个的长短交替的虚线形成的角度)变大(入射角度θ在正方向上变大(在图中向右倾斜))，光聚焦在没有提供遮光膜121b-11的范围内，从而增加了光电二极管121e-11的检测信号电平。相反，入射角度θ越小(负方向上的入射角度θ越大(在图中向左倾斜))，在提供有遮光膜121b-11的范围内聚焦的光越多，从而降低了光电二极管121e-11的检测信号电平。

注意的是，当入射光的方向与长短交替的虚线重合时，此处的入射角度θ为零度，并且在图8的左中侧上来自图中的右上侧的入射光入射的入射角度θ21侧上的入射角度θ被设置为正值，而在图8的右中侧上的入射角度θ22侧上的入射角度θ被设置为负值。因此，在图8中，从右上侧入射在片上透镜121c上的入射光的入射角度大于从左上侧入射的入射光。即，在图8中，入射角度θ随着入射光的行进方向向右倾斜而增大(在正方向上增大)，并且随着入射光的行进方向向左倾斜而减小(在负方向上增大)。

另外，如图8的右中部中所示，当提供了遮蔽图中的光电二极管121e-12的左半部分的遮光膜121b-12时，如图8的上部中的点线的波形所指示的，光电二极管121e-12的检测信号电平根据入射光的入射角度θ而改变。

即，如图8的上部中的点线的波形所指示，入射角度θ(其是由入射光相对于位于光电二极管121e和片上透镜121c中的中心位置处并且垂直于它们当中的每一个的长短交替的虚线形成的角度)越大(入射角度θ在正方向上越大)，在提供有遮光膜121b-12的范围中光聚焦的越多，从而降低光电二极管121e-12的检测信号电平。相反，入射角度θ越小(入射角度θ负方向上越大)，在没有提供遮光膜121b-12的范围内入射的光越多，从而增加光电二极管121e-12的检测信号电平。

注意的是，在图8的上部中，水平轴表示入射角度θ，并且垂直轴表示光电二极管121e中的检测信号电平。

由于可以根据遮光膜121b的范围改变图8的上部中所示的根据入射角度θ由图示检测信号电平的实线和点线描绘的波形，因此有可能赋予(设置)以像素为单位彼此不同的不同入射角度方向性。注意的是，图8的上部中的实线波形与图示在改变入射角度θ的同时如何聚焦图8的中左部分和左下部分中的入射光的实线箭头对应。此外，图8的上部中的点线波形与图示在改变入射角度θ的同时如何聚焦图8的中右部分和右下部分中的入射光的点线箭对头对应。

这里所指的入射角度方向性是根据入射角度θ的每个像素的检测信号电平的特性(光接收灵敏度特性)，但是在图8中间的示例的情况下，可以说这是入射角度θ上的遮光值的特性。即，遮光膜121b以高水平遮蔽特定方向上的入射光，但是不能充分遮蔽除该特定方向以外的方向的入射光。如图8的上部中所示，可遮蔽水平的这种改变造成根据入射角度θ的不同检测信号电平。因此，如果将可以在每个像素中以最高水平遮蔽光的方向定义为每个像素的遮光方向，那么在像素单位中具有彼此不同的入射角度方向性意味着，换句话说，在像素单位中具有彼此不同的遮光方向。

而且，如图8的左下部中所示，通过为一个片上透镜121c-11提供两个光电二极管121f-1和121f-2(像素输出单位包括两个光电二极管121f-1和121f-2)，仅使用图的左部中的光电二极管121f-1的检测信号就使得有可能获取与图8的左中部中在光电二极管121e-11的右侧被遮光的状态下相同的检测信号电平。

换句话说，当入射角度θ(其是入射光相对于片上透镜121c的中心位置并且垂直于其每一个的长短交替的虚线所形成的角度)变大(入射角度θ在正方向上变大)时，光聚焦在从中读取检测信号的光电二极管121f-1的范围内，从而增加检测信号的电平。相反，入射角度θ越小(入射角度θ在负方向上越大)，光在未读取检测值的光电二极管121f-2的范围内聚焦越多，从而降低检测信号电平。

另外，类似地，如图8的右下部中所示，通过为一个片上透镜121c-12提供两个光电二极管121f-11和121f-12，仅使用右中部中的光电二极管121f-12的检测信号就使得有可能获取与在图8的右中部中在光电二极管121e-12的左侧被遮光的状态下相同的检测信号电平的输出像素单位的检测信号。

换句话说，当入射角度θ(其是入射光相对于片上透镜121c的中心位置并且垂直于其每一个的长短交替的虚线所形成的角度)变大(入射角度θ在正方向上变大)时，光聚焦在光电二极管121f-11的其中检测信号对输出像素单位的检测信号无贡献的范围内，从而降低输出像素单位中检测信号的检测信号电平。相反，入射角度θ越小(入射角度θ在负方向上越大)，光在光电二极管121f-12的其中检测信号对输出像素单位的检测信号有贡献的范围内聚焦越多，从而增加输出像素单位的检测信号的检测信号电平。

注意的是，关于入射角度方向性，期望随机高。这是因为，例如，如果相邻像素具有相同的入射角度方向性，那么后述的上述公式(7)至(9)或公式(10)至(12)可能变为相同的公式，并且可能无法满足作为联立方程的解的未知数与公式数量之间的关系，并且无法获取形成复原图像的像素值。另外，在图8中间所示的配置中，在像素121a中形成一个光电二极管121e-11和一个光电二极管121e-12。另一方面，在图8的下部中所示的配置中，在像素121a中形成两个光电二极管121f-1和121f-2以及光电二极管121f-11和121f-12。因此，例如，在图8的下部中，一个像素不仅仅由光电二极管121f构成。

另外，如图8的下部中所示，在一个像素输出单位由多个光电二极管121f构成的情况下，可以认为该像素输出单位的输出像素值是根据入射角度调制的。因此，有可能在像素输出单位中使输出像素值的特性(入射角度方向性)不同，并且在一个像素输出单位中设置入射角度方向性。而且，在一个像素输出单位由多个光电二极管121f形成的情况下，为了在一个像素输出单位中生成入射角度方向性，一个片上透镜121c对于一个像素输出单位是必要的组件。

另外，如图8的上部中所示，在一个光电二极管121e-11或光电二极管121e-12中的每一个形成一个像素输出单位的情况下，在形成一个像素输出单位的一个光电二极管121e-11或光电二极管121e-12上的入射光根据入射角度进行调制，因此，输出像素值被调制。因此，有可能使输出像素值的特性(入射角度方向性)不同，并设置一个像素输出单位中的入射角度方向性。而且，在一个光电二极管121e-11或光电二极管121e-12中的每一个构成一个像素输出单位的情况下，当由对于每个像素输出单位提供的遮光膜121b制造时，入射角度方向性被独立地设置。

另外，如图8的下部中所示，在一个像素输出单位由多个光电二极管121f形成的情况下，用于设置每一个像素输出单位的入射角度方向性的多个光电二极管121f的数量(构成一个像素输出单位的光电二极管121f的划分的数量)及其位置在制造时在一个像素输出单位中被独立地设置，而且，使用其中的哪个光电二极管121f来设置入射角度方向性可以在图像捕获时被切换。

<入射角度方向性的设置>

例如，如图9的上部中所示，遮光膜121b的设置范围是从左端到像素121a中水平方向上的位置a的范围，以及从上端到垂直方向上的位置b的范围。

在这种情况下，根据从每个像素的水平中心位置起的入射角度θx(度)来设置作为入射角度方向性的指标的水平方向上的权重wx为0至1。更具体而言，假设对于与位置a对应的入射角度θx＝θa，权重wx为0.5，那么设置权重wh，使得对于入射角度θx<θa-α，权重wx为1，对于θa-α≤入射角度θx≤θa+α，权重wx为(-(θx-θa)/2α+1/2)，并且对于入射角度θx>θa+α，权重wx为0。注意的是，这里将描述权重wh为0、0.5和1的示例，但是当满足理想条件时权重wh为0、0.5和1。

类似地，根据从每个像素的垂直中心位置开始的入射角度θy(度)来设置作为是入射角度方向性的指标的垂直方向上的权重wy为0至1。更具体而言，假设对于与位置b对应的入射角度θy＝θb，权重wv为0.5，那么设置权重wy，使得对于入射角度θy<θb-α，权重wy为0，对于θb-α≤入射角度θy≤θb+α，权重wy为((θy-θb)/2α+1/2)，并且对于入射角度θy>θb+α，权重wy为1。

然后，通过使用以这种方式获取的权重wx和wy，有可能获取与入射角度方向性对应的系数(系数集)，即，每个像素121a的光接收灵敏度特性。

另外，此时，通过使用具有不同焦距的片上透镜121c，设置指示水平权重wx和垂直权重wy在0.5附近的范围内的权重改变的倾斜度(1/2α)。

换句话说，通过使用具有不同曲率的片上透镜121c可以获取不同的焦距。

例如，通过使用具有不同曲率的片上透镜121c，如图9的下部中的实线所描绘的，当将光聚焦以使焦距在遮光膜121b上时，倾斜度(1/2α)变得陡峭。即，在图9的上部中，在水平入射角度θx＝θa与垂直入射角度θy＝θb(它们在0.5附近)之间的边界附近，水平权重wx和垂直权重wy突然变为0或1。

另外，例如，通过使用具有不同曲率的片上透镜121c，如图9的下部中的点线所描绘的，当将光聚焦以使焦距在光电二极管121e上时，倾斜度(1/2α)变得平缓。即，在图9的上部中，在水平入射角度θx＝θa与垂直入射角度θy＝θb(它们在0.5附近)之间的边界附近，水平权重wx和垂直权重wy逐渐变为0或1。

如上所述，通过使用具有不同曲率的片上透镜121c和使用不同的焦距，可以获取不同的入射角度方向性，即，可以获取不同的光接收灵敏度特性。

因此，通过使通过遮光膜121b使光电二极管121e被遮光的范围与片上透镜121c的曲率不同，可以将像素121a的入射角度方向性设置为不同的值。注意的是，片上透镜的曲率在成像元件121中的所有像素中可以相同，或者在像素的一部分中可以不同。

<片上透镜与成像透镜之间的差异>

如上所述，成像元件121不要求成像透镜。但是，至少在如参考图6所述通过在像素中使用多个光电二极管来实现入射角度方向性的情况下，片上透镜121c是必需的。片上透镜121c和成像透镜具有不同的物理操作。

成像透镜具有光聚焦功能，用于使从相同方向入射的入射光入射在彼此相邻的多个像素上。另一方面，穿过片上透镜121c的光仅入射在形成一个对应像素的光电二极管121e或121f的光接收表面上。换句话说，为每个像素输出单位提供片上透镜121c，并且仅将入射在其自身上的被摄体光聚焦在对应的像素输出单位上。即，片上透镜121c不具有使从虚拟点光源发射的漫射光入射在彼此相邻的多个像素上的光聚焦功能。

<被摄体平面与成像元件之间的距离的关系>

接下来，参考图10，将描述被摄体平面与成像元件121之间的距离的关系。

如图10的左上部中所示，例如，在将点光源pa、pb和pc设置在被摄体平面131上上时，在成像元件121与被摄体平面131之间的被摄体距离为距离d1的情况下，假设在成像元件121上的对应位置pa、pb和pc处的检测信号电平da、db和dc由与以上公式(7)至(9)相同的公式表示。

da＝α1xa+β1xb+γ1xc...(7)

db＝α2xa+β2xb+γ2xc...(8)

dc＝α3xa+β3xb+γ3xc...(9)

另一方面，如图10的左下部中所示，在到成像元件121的被摄体距离是比距离d1大的距离d2的被摄体平面131'的情况下，即，在从成像元件121观察比被摄体平面131深的被摄体平面131'的情况下，对于所有检测信号电平da、db和dc，检测信号电平相似，如图10的中上部和中下部中所示。

但是，在这种情况下，来自被摄体平面131'上的点光源pa'、pb'和pc'的光强度为a'、b'和c'的光线被成像元件121的相应像素接收。此时，由于在成像元件121上接收的光强度为a'、b'和c'的光线的入射角度不同(改变)，因此要求设置相应不同的系数，并且例如，相应位置pa、pb和pc处的检测信号电平da、db和dc如以下公式(10)至(12)中所示进行表达。

[数学公式2]

da＝α11×a′+β11×b′+γ11×c′…(10)

db＝α12×a′+β12×b′+γ13×c′…(11)

dc＝α13×a′+β13×b′+γ13×c′…(12)

在此，包括系数集α11、β11和γ11、系数集α12、β12和γ12以及系数集α13、β13和γ13的系数集组是分别与被摄体平面131中的系数集α1、β1和γ1、系数集α2、β2和γ2以及系数集α3、β3和γ3对应的被摄体平面131'的系数集组。

因此，通过使用预设系数集组α11、β11和γ11、α12、β12和γ12以及α13、β13和γ13求解公式(10)至(12)，通过与图10的右上部之所示在被摄体平面131的情况下获取点光源pa、pb和pc处的光线的光强度(a，b，c)的方法相似的方式，可以将其获取为来自点光源pa'、pb'和pc'的光线的光强度(a'，b'，c')，如图10的右下部中所示，并且因此，有可能获取在被摄体平面131'上的被摄体的复原图像。

即，预先存储从图2的成像元件121到被摄体平面的每个距离的系数集组，通过切换系数集组来形成的联立方程，并通过求解所形成的联立方程，有可能基于一个检测图像获取在各种被摄体距离下的被摄体平面的复原图像。

即，通过仅捕获一次检测图像，有可能在后续处理中通过根据到被摄体平面的距离切换系数集组来在任意距离处生成复原图像，以获取复原图像。

另外，当期望在图像识别中获取除可见图像以外的被摄体的特性时，有可能在成像元件的检测信号上应用诸如深度学习等机器学习并使用检测信号本身执行图像识别等，而无需在获取复原图像之后基于复原图像来执行图像识别。

另外，在可以指定被摄体距离和视角的情况下，可以使用由具有适于捕获与指定的被摄体距离和视角对应的被摄体平面的图像的入射角度方向性的像素的检测信号形成的检测图像来生成复原图像，而不使用所有像素。以这种方式，可以使用适于捕获与指定的被摄体距离和视角对应的被摄体平面的图像的像素的检测信号来获取复原图像。

例如，让我们考虑由遮光膜121b从四个侧面的相应端部以宽度d1遮光的像素121a，，如图11的上部中所示，以及由遮光膜121b从四个侧面的相应端部以宽度d2(＞d1)遮光的像素121a'，如图11的下部中所示。

如图12的上部中所示，像素121a被用于恢复与包括整个人h101作为被摄体的视角sq1对应的图11中的图像i1。另一方面，例如，像素121a'被用于恢复与视角sq2对应的图11中的图像i2，其中作为被摄体的人h101的脸部的外围被放大，如图12的上部中所示。

这是因为，如图13的左部中所示，图11中的像素121a具有入射光相对于成像元件121的入射可能角度范围a，因此可以在被摄体平面131上的水平方向上接收被摄体宽度w1的量的入射光。

另一方面，这是因为图11中的像素121a'比图11中的像素121a具有更宽的遮光范围，因此，如图13的左半部中所示，具有入射光相对于成像元件121的入射可能角度范围b(<a)，因此在被摄体平面131上的水平方向上接收被摄体宽度w2(<w1)的量的入射光。

即，图11中的具有窄遮光范围的像素121a是适于在被摄体平面131上捕获宽范围的图像的宽视角像素，而图11中的具有宽遮光范围的像素121a'是适于在被摄体平面131上捕获窄范围的图像的窄视角像素。注意的是，这里提到的宽视角像素和窄视角像素是用于比较图11中的像素121a与121a'的表达，并且当比较具有其它视角的像素时不限于此。

注意的是，图13图示了被摄体平面131上相对于成像元件121的中心位置c1的位置与来自相应位置的入射光的入射角度之间的关系。另外，在图13中，图示了在被摄体平面131上的位置与来自被摄体平面131上的相应位置的入射光相对于水平方向的入射角度之间的关系，但是相对于垂直方向，存在相似的关系。而且，在图13的右部中图示了图11中的像素121a和121a'。

通过这样的配置，如图12的下部中所示，当恢复与被摄体宽度w1对应的视角sq1的图像时，在成像元件121中由点线包围的范围za中收集预定数量的图11的像素121a并且在被长短交替的虚线包围的范围zb中收集预定数量的图11的像素121a'，在被摄体平面131上具有被摄体宽度w1的图像可以通过使用捕获视角sq1的图像的图11的像素121a适当地恢复。

类似地，当要恢复与被摄体宽度w2对应的视角sq2的图像时，可以通过使用捕获视场角sq2的图像的图11的像素121a'的检测信号电平来适当地恢复被摄体宽度w2的图像。

注意的是，在图12的下部中，图示了其中像素121a'在图中的左侧以预定数量的像素提供并且像素121a在右侧以预定数量的像素提供的配置，但这是作为用于简化描述的示例呈现的。期望像素121a和像素121a'被随机混合和布置。

如上所述，由于视角sq2比视角sq1窄，因此在以相同的预定数量的像素恢复视角sq2和视角sq1的图像的情况下，恢复视角sq2的图像(其比视角sq1的图像的视角窄)可以为复原图像提供更高的质量。

即，在考虑使用相同数量的像素获取复原图像的情况下，恢复具有较窄视角的图像可以为复原图像提供更高的质量。

注意的是，在获取具有宽视角的图像作为复原图像的情况下，可以使用所有宽视角像素，或者可以使用宽视角像素的一部分。另外，在获取具有窄视角的图像作为复原图像的情况下，可以使用所有窄视角像素，或者可以使用窄视角像素的一部分。

因此，通过使用如上所述的成像元件121，不要求成像透镜，包括衍射光栅等的光学元件、针孔等(其是无成像透镜的)。因此，有可能增加设计设备的自由度，有可能实现在入射光的入射方向上设备尺寸的减小，并且有可能降低制造成本。另外，也不要求与用于形成光学图像的成像透镜对应的透镜，诸如聚焦透镜。

而且，通过使用成像元件121，此后，获取检测图像使得仅通过经由求解通过根据被摄体距离和视角选择性地使用系数集组构成的联立方程获取复原图像来生成具有各种被摄体距离和视角的复原图像。

而且，由于成像元件121可以以像素为单位具有入射角度方向性，因此与包括衍射光栅和常规成像元件等的滤光器相比，有可能实现多像素配置，并且可以获取具有高分辨率以及高视角分辨率的复原图像。另一方面，在包括滤光器和常规成像元件的成像设备中，即使像素被小型化，也难以使滤光器小型化，因此难以实现复原图像的高分辨率等。

另外，由于成像元件121不要求包括衍射光栅等的滤光器，因此使用环境不会变热并且滤光器不会因热而变形。因此，通过使用这种成像元件121，有可能实现具有高耐环境性的设备。

<第一修改示例>

在图4的右部中，描述了示例，其中，作为成像元件121的每个像素121a中的遮光膜121b的配置，在垂直方向上提供整体遮光，并且改变水平方向上的遮光宽度和位置，从而赋予水平方向上的入射角度方向性的差异。但是，遮光膜121b的配置不限于这个示例。例如，可以在水平方向上提供整体遮光，并且可以改变垂直方向上的宽度(高度)和位置，从而赋予垂直方向上的入射角度方向性的差异。

注意的是，如在图4的右部所示的示例中，将在垂直方向上遮蔽整个像素121a并且在水平方向上以预定宽度遮蔽像素121a的遮光膜121b称为水平条型遮光膜121b。另一方面，将在水平方向上遮蔽整个像素121a并且在垂直方向上以预定高度遮蔽像素121a的遮光膜121b称为垂直条型遮光膜121b。

另外，如在图14的左部所示的示例中，垂直条型和水平条型遮光膜121b可以组合以便为像素121a提供l形遮光膜121b。在图14的左部中，用黑色示出的部分是遮光膜121b。即，遮光膜121b-21至121b-24分别是像素121a-21至121a-24的遮光膜。

这些像素(像素121a-21至121a-24)中的每一个具有如图14的右部中所示的入射角度方向性。图14的右部示出的曲线图图示了相应像素中的光接收灵敏度。水平轴表示水平方向(x方向)上的入射光的入射角度θx，并且垂直轴表示垂直方向(y方向)上的入射光的入射角度θy。然后，范围c4中的光接收灵敏度高于范围c4的外部，范围c3中的光接收灵敏度高于范围c3的外部，范围c2中的光接收灵敏度高于范围c2的外部，并且范围c1中的光接收灵敏度高于范围c1的外部。

因此，对于每个像素，图示了满足在范围c1中的水平方向(x方向)上的入射角度θx和垂直方向(y方向)上的入射角度θy变为最高的条件的入射光的检测信号电平，并且检测信号电平按照范围c2、范围c3、范围c4以及范围c4以外的范围内的条件的次序减小。光接收灵敏度的这种强度由被遮光膜121b遮光的范围确定。

另外，在图14的左部中，每个像素121a中的字母指示滤色器的颜色(为了便于描述而示出，实际上未描绘)。像素121a-21是其上布置有绿色滤色器的g像素，像素121a-22是其上布置有红色滤色器的r像素，像素121a-23是其上布置有蓝色滤色器的b像素，并且像素121a-24是其上布置有绿色滤色器的g像素。即，这些像素形成拜耳阵列。当然，这是示例，并且滤色器的布置图案是任意的。遮光膜121b和滤色器的布置无关紧要。例如，可以在一些或全部像素中提供除滤色器以外的过滤器，或者可以不提供过滤器。

在图14的左部中，图示了示例，其中“l形”遮光膜121b在图中遮蔽像素121a的左侧和下侧，但是“l形”遮光膜121b的朝向是任意的，并且不限于图14的示例。例如，“l形”遮光膜121b可以在图中将像素121a的下侧和右侧遮光，或者可以在图中将像素121a的右侧和上侧遮光，或者可以在图中将像素121a的上侧和左侧遮光。当然，可以针对每个像素独立地设置遮光膜121b的方向。注意的是，“l形”遮光膜121b也被称为“l型遮光膜121b”。

虽然上面已经描述了遮光膜，但是这个示例的描述也可以应用于通过选择性地使用布置在像素中的多个光电二极管来提供入射角度方向性的情况。即，例如，通过适当地设置每个光电二极管的划分位置(每个部分区域的尺寸和形状)、位置、尺寸、形状等，并且适当地选择光电二极管，可以实现与通过上述l型遮光膜121b的入射光方向性等同的入射光方向性。

<第二修改示例>

在上面，已经描述了其中水平条型垂直条型和l型遮光膜中的每一个布置在每个像素中以使遮光范围随机改变的示例。但是，例如，在如图15中的成像元件121'所示那样提供矩形孔的情况下，可以形成遮光膜121b，该遮光膜121b将除了光线在每个个体像素中被接收的位置附近的范围(图中黑色所示的范围)以外遮光。

即，在为每个像素提供矩形开口的情况下，在从形成被摄体平面的点光源以预定的被摄体距离发射的光线当中，可以提供遮光膜121b以具有入射角度方向性，以便仅接收透射通过矩形开口并被接收的光线。

注意的是，在图15中，例如，相对于水平像素阵列，遮光膜121b的水平宽度改变为宽度dx1，dx2，...和dxn，它们之间的关系为dx1<dx2<...<dxn。类似地，对于垂直像素阵列，遮光膜121b的垂直高度改变为高度dy1，dy2，...和dym，它们之间的关系为dy1<dy2<...<dxm。此外，遮光膜121b的水平宽度和垂直宽度的相应改变之间的间隔取决于要恢复的被摄体分辨率(角度分辨率)。

换句话说，可以说，图15的成像元件121'中的每个像素121a的配置被赋予了入射角度方向性，使得遮光范围被改变以与在水平方向和垂直方向上成像元件121'中的像素布置对应。

更具体而言，例如，图15中的每个像素121a的遮光范围是根据通过使用图16的左部中所示的像素121a所描述的规则来确定的。

注意的是，图16的右部图示了成像元件121'的与图15相同的配置。另外，图16的左部图示了图16的右部中的成像元件121'的像素121a的配置(与图15相同)。

如图16的左部中所示，遮光膜121b从像素121a的上侧和下侧的相应端朝着像素121a的内部以宽度dx1遮光，并且遮光膜121b从像素121a的左侧和右侧的相应端朝着像素121a的内部以高度dy1遮光。注意的是，在图16和17中，遮光膜121b在黑色所示的范围内。

在图16的左部中，通过以这种方式形成遮光膜121b而被遮光的范围在下文中被称为像素121a的主遮光部分z101(图16的左部的黑色部分)，并且将除此以外的正方形的范围称为范围z102。

假设在像素121a中的范围z102中提供未被遮光膜121b遮光的矩形开口z111。因此，在范围z102中，矩形开口z111以外的范围被遮光膜121b遮光。

在图15的成像元件121'中的像素阵列中，如图16的右部(与图15相同)中所示，在左端和上端的像素121a-1具有矩形开口z111，该矩形开口z111被布置为使其左侧距像素121a的左侧的宽度为dx1，并且其上侧距像素121a的上侧的距离为dy1。

类似地，在像素121a-1的右侧的像素121a-2具有矩形开口z111，该矩形开口z111被布置为使得其左侧在从像素121a的左侧起的宽度dx2处，并且其上侧在与像素121a的上侧相距高度dy1处，并且矩形开口z111以外的范围被遮光膜121b遮光。

此后，类似地，在水平方向上相邻的像素121a中，随着布置在图中向右前进，矩形开口z111的右侧从像素121a的右侧移动到宽度dx1，dx2，...和dxn。注意的是，在图16中的范围z102的右上部中的点线的矩形部分图示了这样的状态：矩形开口z111被布置为使得其左侧在从像素121a的左侧起的宽度dxn处，并且其上侧在与像素121a的上侧相距高度dy1处。另外，宽度dx1，dx2，...和dxn的每个间隔是通过将范围z102的水平宽度减去矩形开口z111的宽度而获得的宽度除以水平方向上的像素数n而获取的值。即，通过除以水平方向上的像素数n来确定水平方向上的改变之间的间隔。

另外，在成像元件121'中的水平位置相同的像素121a(同一列中的像素121a)中，成像元件121'中的像素121a中的矩形开口z111的水平位置相同。

而且，在像素121a-1的正下方的像素121a-3具有矩形开口z111，该矩形开口z111被布置为使得其左侧在从像素121a的左侧起的宽度dx1处，并且其上侧在与像素121a的上侧相距高度dy2处，并且除矩形开口z111以外的范围被遮光膜121b遮光。

此后，类似地，在垂直方向上相邻的像素121a中，随着布置在图中向下前进，矩形开口z111的上侧从像素121a的上侧移动到高度dy1，dy2，...和dyn。注意的是，图16中的范围z102的左下部中的点线的矩形部分图示了这样的状态：矩形开口z111被布置为使得其左侧在从像素121a的左侧起的宽度dx1处，并且其上侧在与像素121a的上侧相距高度dym处。另外，高度dy1，dy2，...和dym的每个间隔是通过将范围z102的垂直高度减去矩形开口z111的高度而获得的高度除以垂直方向上的像素数m而获取的值。即，通过除以垂直方向上的像素数m来确定垂直方向上的改变之间的间隔。

另外，在成像元件121'中的垂直位置相同的像素121a(同一行中的像素121a)中，成像元件121'中的像素121a中的矩形开口z111的垂直位置相同。

而且，通过改变形成图16(图15)中所示的成像元件121'的每个像素121a的主遮光部分z101和矩形开口z111，可以改变视角。

图17的右部图示了在视角大于图16的成像元件121'(图15)的情况下的成像元件121'的配置。另外，图17的左部图示了图17的右部中的成像元件121'的像素121a的配置。

即，如图17的左部中所示，例如，在像素121a中，设置具有比图16中的主遮光部分z101窄的遮光范围的主遮光部分z151(图17的左部上的黑色部分)，并且将除此以外的范围设置为范围z152。而且，将开口面积大于矩形开口z111的矩形开口z161设置在范围z152内。

更具体而言，如图17的左部中所示，遮光膜121b从像素121a的上侧和下侧的相应端朝着像素121a的内部以宽度dx1'(<dx1)遮光，并且遮光膜121b从像素121a的左侧和右侧的相应端朝着像素121a的内部以高度dy1'(<dy1)遮光，从而形成矩形开口z161。

在此，如图17的右部中所示，在左端和上端的像素121a-1具有矩形开口z161，矩形开口z161被布置为使得其左侧在从像素121a的左侧起的宽度dx1'处，并且其上侧在与像素121a的上侧相距高度dy1'处，并且矩形开口z161以外的范围被遮光膜121b遮光。

类似地，在像素121a-1的右侧的像素121a-2具有矩形开口z161，矩形开口z161被布置为使得其左侧在从像素121a的左侧起的宽度dx2'处，并且其上侧在与像素121a的上侧相距高度dy1'处，并且矩形开口z161以外的范围被遮光膜121b遮光。

此后，类似地，在水平方向上相邻的像素121a中，随着布置在图中向右前进，矩形开口z161的右侧从像素121a的右侧移动到宽度dx1'，dx2'，...和dxn'。在此，宽度dx1'，dx2'，...和dxn'的每个间隔是通过将范围z152的水平宽度减去矩形开口z161的水平宽度而获得的宽度除以水平方向上的像素数n而获取的值。即，通过除以水平方向上的像素数n来确定垂直方向上的改变之间的间隔。因此，宽度dx1'，dx2'，...和dxn'的改变之间的间隔大于宽度dx1，dx2，...和dxn的改变之间的间隔。

另外，在成像元件121'中的水平位置相同的像素121a(同一列的像素121a)中，图17的成像元件121'中的像素121a中的矩形开口z161的水平位置相同。

而且，在像素121a-1正下方的像素121a-3具有矩形开口z161，该矩形开口z161被布置为使得其左侧在从像素121a的左侧起的宽度dx1'处，并且其上侧在与像素121a的上侧相距高度dy2'处，并且矩形开口z161以外的范围被遮光膜121b遮光。

此后，类似地，在垂直方向上相邻的像素121a中，随着布置在图中向下前进，矩形开口z161的上侧从像素121a的上侧改变为高度dy1'，dy2'，...和dym'。在此，高度dy1'，dy2'，...和dym'的改变的间隔是通过将范围z152的垂直高度减去矩形开口z161的高度而获得的高度除以垂直方向上的像素数而获取的值。即，通过除以垂直方向上的像素数m来确定垂直方向上的改变之间的间隔。因此，高度dy1'，dy2'，...和dym'的改变之间的间隔大于宽度dy1，dy2，...和dym的改变之间的间隔。

另外，在成像元件121'中的垂直位置相同的像素121a(同一行中的像素121a)中，图17的成像元件121'中的像素121a中的矩形开口z161的垂直位置相同。

如上所述，通过改变主遮光部分的遮光范围和开口的开口范围的组合，可以实现包括具有各种视角(具有各种入射角度方向性)的像素121a的成像元件121'。

而且，不仅可以将具有相同视角的像素121a而且可以将具有各种视角的像素121a进行组合以实现成像元件121。

例如，如图18中所示，将用点线描绘的包括两个像素×两个像素的四个像素设置为一个单元u，并且每个单元u包括四个像素，具有宽视角的像素121a-w、具有中等视角的像素121a-m、具有窄视角的像素121a-n和具有非常窄视角的像素121a-an。

在这种情况下，例如，当所有像素121a的像素数为x时，有可能针对四种类型视角中的每一种使用x/4像素的检测图像来恢复复原图像。此时，针对每个视角使用四种不同类型的系数集，并且通过四种不同类型的联立方程分别恢复具有不同视角的复原图像。

为此，通过使用从适于捕获要恢复的视角的图像的像素获取的检测图像来恢复要恢复的视角的复原图像，可以恢复与四种类型的视角对应的适当的复原图像。

另外，可以通过从四个不同视角的图像进行插值来生成四个视角的中间视角的图像以及该中间视角之前和之后的图像，并且可以无缝地生成具有各种视角的图像，从而实现伪光学变焦。

虽然上面已经描述了遮光膜，但是这个示例的描述也可以应用于通过选择性地使用布置在像素中的多个光电二极管来提供入射角度方向性的情况。即，例如，通过适当地设置每个光电二极管的划分位置(每个部分区域的尺寸和形状)、位置、尺寸、形状等，并且适当地选择光电二极管，可以实现与通过具有上述矩形开口的遮光膜121b的入射光方向性等同的入射光方向性。当然，在这种情况下，也可以通过组合具有各种视角的像素121a来实现成像元件121。此外，可以通过从多种类型的视角的图像进行插值来生成中间视角的图像以及该中间视角之前和之后的图像，并且可以无缝地生成具有各种视角的图像，从而实现伪光学变焦。

<第三修改示例>

顺便提及，在成像元件121中的像素121a的遮光膜121b的遮光范围具有随机性的情况下，遮光膜121b的遮光区域之间的差异的随机性程度越大，恢复单元124等上的处理负担越大。因此，可以使像素121a的遮光膜121b的遮光范围的差异的一部分是规则的，并且可以通过减少这种差异的随机性来减轻处理负担。

例如，将具有相同宽度的水平条型遮光膜121b在预定的列方向上组合，并且将具有相同高度的垂直条型遮光膜121b在预定的行方向上组合，从而形成l-垂直条型和水平条型相结合的各种类型的遮光膜121b。以这种方式，虽然每个像素121a的遮光膜121b的遮光范围在列方向和行方向上具有规则性，但是它们以像素为单位被随机地设置为不同的值。因此，可以减小每个像素121a的遮光膜121b的遮光范围的差异，即，每个像素的入射角度方向性差异的随机性，并且可以减轻成像元件121外部(诸如恢复单元124)的处理负担。

例如，在图19的成像元件121”的情况下，具有相同宽度x0的水平条型遮光膜121b用于范围z130中所示的同一列中的所有像素，具有相同高度y0的垂直条型遮光膜121b用于范围z150中所示的同一行中的像素，并且将组合了它们的l型遮光膜121b设置到在每个矩阵中指定的像素121a。

类似地，具有相同宽度x1的水平条型遮光膜121b用于在与范围z130相邻的范围z131中示出的同一列中的所有像素，具有相同高度y1的垂直条型遮光膜121b用于在与范围z150相邻的范围z151中示出的同一行中的像素，并且将组合了它们的l型遮光膜121b设置到在每个矩阵中指定的像素121a。

而且，具有相同宽度x2的水平条型遮光膜用于在与范围z131相邻的范围z132中所示的同一列中的所有像素，具有相同高度y2的垂直条型遮光膜用于在与范围z151相邻的范围z152中所示的同一行中的像素，并且将组合了它们的l型遮光膜121b设置到在每个矩阵中指定的像素121a。

以这种方式，虽然遮光膜121b的水平宽度和位置以及垂直高度和位置具有规则性，但是可以以像素为单位将遮光膜的范围设置为不同的值。因此，可以抑制入射角度方向性的差异的随机性。因此，有可能减少系数集的模式，并且有可能减轻后续阶段(例如，恢复单元124等)中的算术处理的处理负担。

<第四修改示例>

遮光膜121b在像素单位中的形状的变化是任意的，并且不限于上述相应示例。例如，可以将遮光膜121b设置为具有不同范围的三角形，从而赋予(设置)不同的入射角度方向性，或者可以将遮光膜121b设置为具有不同范围的圆形，从而赋予(设置)不同的入射角度方向性。此外，例如，可以使用在倾斜方向上的线性遮光膜。

另外，可以针对构成包括预定数量的多个像素的单元的多个像素中的每个像素设置遮光膜121b的变化(图案)。这一个单元可以由任何像素构成。例如，成像元件121可以包括滤色器，并且可以包括形成滤色器的颜色阵列的单元的像素。另外，其中具有不同曝光时间的像素被组合的像素组可以是该单元。注意的是，期望遮光膜121b在形成单元的每个像素中遮光的范围的图案的随机性高，即，期望构成单元的像素具有不同的入射角度方向性。

另外，可以在单元之间设置遮光膜121b的布置图案。例如，可以针对每个单元改变遮光膜的宽度和位置。而且，可以在包括被分类为不同类别的多个像素的单元内或单元之间设置遮光膜121b遮光的范围的图案。

虽然上面已经描述了遮光膜，但是这个示例的描述也可以应用于通过选择性地使用布置在像素中的多个光电二极管来提供入射角度方向性的情况。即，例如，通过适当地设置每个光电二极管的划分位置(每个部分区域的尺寸和形状)、位置、尺寸、形状等，并且适当地选择光电二极管，可以实现与上述像素121a的遮光膜121b的遮光范围的改变的一部分的情况下的入射光方向性等同的入射光的方向性。利用这种配置，有可能减小相应像素的入射角度方向性的随机性并减轻成像元件121外部(诸如恢复单元124)的处理负担。

虽然上面已经描述了遮光膜，但是这个示例的描述也可以应用于通过选择性地使用布置在像素中的多个光电二极管来提供入射角度方向性的情况。即，通过适当地设置每个光电二极管的划分位置(各部分区域的尺寸和形状)、位置、尺寸、形状等，并适当地选择光电二极管，例如，可以实现与通过具有任意形状(诸如的三角形、圆形或倾斜方向上的直线)的遮光膜的入射光方向性等同的入射光方向性。

另外，例如，可以与上述遮光膜121b的情况类似地在每个单元中设置划分位置(每个局部区域的尺寸和形状)的设置、每个光电二极管的位置、尺寸、形状等的设置、选择光电二极管等。

<光电二极管的控制>

在如上参考图6描述的在选择性地使用布置在像素中的多个光电二极管的情况下，多个光电二极管121f中的每一个对像素输出单位的输出像素值的贡献的存在与否或程度可以被切换，从而以各种方式改变像素输出单位的输出像素值的入射角度方向性。

例如，如图20中所示，假设光电二极管121f-111至121f-119中的九个(三个垂直×三个水平)光电二极管121f布置在像素121a中。在这种情况下，这个像素121a可以被用作具有光电二极管121f-111至121f-119的像素121a-b，或者被用作具有光电二极管121f-111、121f-112、121f-114和121f-115的像素121a-s。

例如，在像素121a是像素121a-b的情况下，控制光电二极管121f-111至121f-119对像素121a的输出像素值的贡献的存在与否或程度，从而控制输出像素值的入射角度方向性。另一方面，在像素121a是像素121a-s的情况下，控制光电二极管121f-111、121f-112、121f-114和121f-115对像素121a的输出像素值的贡献的存在与否或程度，从而控制输出像素值的入射角度方向性。在这种情况下，其它光电二极管121f(光电二极管121f-113、121f-116和121f-117至121f-119)被控制为对输出像素值没有贡献。

即，例如，在多个像素121a-b之间的输出像素值的入射角度方向性彼此不同的情况下，光电二极管121f-111至121f-119中至少一个对输出像素值的贡献的存在与否或程度不同。另一方面，例如，在多个像素121a-s之间的输出像素值的入射角度方向性彼此不同的情况下，光电二极管121f-111、121f-112、121f-114和121f-115中的至少一个对输出像素值的贡献的存在与否或程度不同，并且其它光电二极管121f-113、121f-116和121f-117至121f-119对输出像素值没有贡献，在这些像素之间是共同的。

注意的是，可以在每个像素中设置像素121a是像素121a-b还是像素121a-s。此外，可以针对每个单元(多个像素)进行这个设置。

另外，如上所述，在成像元件121的每个像素(每个像素输出单位)上形成一个片上透镜。即，在像素121a具有与图20所示的示例相似的配置的情况下，如图21中所示，在光电二极管121f-111至121f-119上提供一个片上透镜121c。因此，如参考图20所述，或者在像素121a是像素121a-b的情况下或者在像素121a是像素121a-s的情况下，一个像素(一个像素输出单位)和一个片上透镜121c一一对应。

<wb像素>

在如上所述的成像元件121的情况下，每个像素的检测信号包括关于被摄体的宽范围的信息，并且包括基本上与使用成像透镜的成像元件的所有像素值之和等同的信息。因此，没有必要对检测信号进行积分来计算wb系数。即，用于获取用于计算wb系数的检测信号的像素(wb像素)的数量对于每种颜色应当至少为一个像素或更多。

即，仅需要wb像素是形成在光接收单元111中的像素矩阵的一部分。然后，像素矩阵中的任何像素都可以用作wb像素。例如，首先从中读取检测信号的像素(即，在其它像素之前从中读取检测信号的像素)可以是wb像素。

例如，在光接收单元111的像素矩阵中，假设如图22中的实际箭头和点线箭头所示，以光栅扫描次序读取每个像素的检测信号。在这种情况下，像素矩阵的最上面一行的最左边的r像素121a-201、g像素121a-202和b像素121a-203(即，首先要读取的r像素、g像素和b像素的三个像素)可以被用作wb像素。此外，例如，在以行为单位读取检测信号的情况下，首先读取的行中的像素可以是wb像素。

以这种方式，可以更早地获取检测信号。另外，由于可以与从另一个像素读取检测信号并行地计算wb系数，因此有可能抑制由于wb系数的计算而引起的延迟时间的增加。此外，由于没有必要从所有像素读取检测信号以计算wb系数，因此可以将计算出的wb系数立即(实时地)反映在之后读取的检测信号中(执行白平衡控制)。例如，即使在复原图像的一部分(诸如针对每个块恢复复原图像)时，也可以立即执行白平衡控制。

另外，wb像素的位置是任意的。例如，在像素矩阵中的预定位置处(例如，在中心附近等)的像素可以是wb像素。此外，例如，多个wb像素可以均匀地分布在像素矩阵中。

另外，wb像素还可以用作生成形成检测图像的检测信号的像素(也称为有效像素)，或者可以被划分(像素可以是不同的像素)。例如，如图23的a中所示，wb像素可以在其中形成有效像素的有效像素区域的外部形成。

在图23的a的情况下，光接收单元111的中心附近的区域(图中的白色区域)是有效像素区域301，并且周围区域(图中的灰色区域)是形成wb像素的wb像素区域302。

一般而言，像素区域的中心附近的像素的误差(个体差异)小于外围部分中的像素。因此，通过采用图23的a中所示的配置并且通过从从像素区域的中心附近的有效像素区域读取的检测信号恢复复原图像，抑制复原图像的图像质量的下降。

注意的是，wb像素的入射角度方向性是任意的。例如，可以使wb像素的入射角度方向性具有偏差。例如，具有在预定方向上具有峰值的入射角度方向性的像素(或像素组)可以被用作wb像素。

相反，可以使wb像素的入射角度方向性不具有偏差。例如，具有在各个方向上具有峰值的入射角度方向性的像素组可以被用作wb像素。在那种情况下，例如，通过使得有可能选择用于计算wb系数的wb像素，有可能着重于期望的方向来执行白平衡控制。

例如，如图23的b中所示的箭头那样，当用户等给出以捕获的图像的视角内的中心为重点执行白平衡控制的指令时，具有在朝着视角的中心的方向(朝着成像元件121(光接收单元111)的中心的方向)上具有峰值的入射角度方向性的wb像素可以被选择并用于计算wb系数。

当然，强调白平衡控制的方向是任意的，并且不限于视角的中心。例如，可以在朝着由用户指定的区域的方向上强调白平衡控制。在那种情况下，仅要求选择具有在朝着由用户指定的区域的方向上具有峰值的入射角度方向性的wb像素并将其用于计算wb系数。

以这种方式，可以执行更加多样化的白平衡控制。

<添加wb信息>

另外，例如，如图24中所示，关联单元104可以将wb系数添加到与检测图像相关的数据(检测信号等)中。图24图示了从输出单元105输出的输出数据310的主要配置示例。在图24的示例的情况下，作为与wb系数相关的信息的wb信息被添加到检测图像数据311，作为标题312。即，在这种情况下，在不执行检测图像的白平衡控制的情况下将其输出。即，在成像元件121的外部执行白平衡控制。此时，通过如图24的示例中那样将作为标题的wb信息添加到检测图像，执行白平衡控制的处理单元可以容易获取与要处理的检测图像对应的wb系数。

注意的是，如上所述，通过使用在其它像素之前从其读取了检测图像的像素作为wb像素，可以在根据检测信号的读取次序生成包括wb信息的标题之后生成检测图像。因此，wb信息可以更容易地添加到检测图像。换句话说，有可能抑制将wb信息添加到检测图像所需的缓冲器量的增加。

注意的是，以这种方式添加到检测图像的wb系数不限于整个图像的wb系数，并且可以添加任何区域的wb系数(包括在wb信息中)。即，如上所述，可以将用于重点为预定方向的白平衡控制的wb系数(作为具有在预定方向上具有峰值的入射角度方向性的wb像素计算出的wb系数)添加到(包括在wb信息中的)检测图像。

而且，可以将多种类型的wb系数添加到检测图像(包括在wb信息中)。例如，整个图像的wb系数和预定区域的wb系数都可以被添加到检测图像(包括在wb信息中)。例如，可以将整个图像的wb系数，图像的左上部分的wb系数和图像的右下部分的wb系数添加到(包括在wb信息中的)检测图像。以这种方式，有可能选择在执行白平衡控制时要使用的wb系数，因此有可能容易地实现更加多样化的白平衡控制。

注意的是，wb系数不限于检测图像，并且可以将其添加到已经被恢复的复原图像。

<成像处理的流程>

将参考图25中的流程图描述由如上所述的成像元件121执行的成像处理的流程的示例。

当开始成像处理时，在步骤s101中，成像元件121的光接收单元111捕获被摄体的图像并生成检测信号(检测图像)。a-d转换单元101对检测信号(检测图像)执行a-d转换。

在步骤s102中，wb系数设置单元102基于检测信号来计算wb系数。

在步骤s103中，恢复单元103和关联单元104生成输出数据。例如，恢复单元103从检测图像恢复复原图像，执行白平衡控制，并生成输出数据。另外，关联单元104例如将检测图像与wb系数相关联以生成输出数据。

在步骤s104中，输出单元105将通过步骤s103的处理生成的输出数据输出到成像元件121的外部。

当步骤s104的处理结束时，成像处理结束。通过以这种方式执行成像处理，成像元件121可以更容易地执行白平衡控制。

<3.第二实施例>

<成像设备>

本技术可以应用于除成像元件以外。例如，本技术可以应用于成像设备。

例如，成像设备可以包括成像元件，该成像元件包括多个像素输出单位，这多个像素输出单位接收没有通过成像透镜和针孔中的任一个而入射的入射光，并且每个像素输出单位输出一个指示通过入射光的入射角度调制的输出像素值的检测信号；以及系数设置单元，其基于在成像元件的像素输出单位中获取的检测信号来设置白平衡系数，该白平衡系数被用于校正从由检测信号形成的检测图像恢复的复原图像的白平衡。

即，被摄体的图像可以由包括多个像素输出单位的成像元件捕获，这多个像素输出单位接收没有通过成像透镜和针孔中的任一个而入射的入射光，并且每个像素输出单位输出一个指示通过入射光的入射角度调制的输出像素值的检测信号，并可以基于通过图像捕获获取并在成像元件的像素输出单位中获取的检测信号来设置白平衡系数，该白平衡系数被用于校正从检测信号恢复的复原图像的白平衡。

以这种方式，成像设备可以更容易地执行白平衡控制。

图26是图示对其应用本技术的成像设备的一个实施例的主要配置示例的图。图26中所示的成像设备400是捕获被摄体的图像并获取关于其捕获的图像的电子数据的设备。

如图26中所示，成像设备400具有控制单元401、输入单元411、输出单元412、存储单元413、通信单元414和记录-再现单元415。另外，成像设备400还具有成像元件421、wb系数设置单元422、恢复单元423、关联单元424和传感器单元425。处理单元等经由总线410彼此连接并且可以彼此交换信息和指令。

注意的是，可以将成像元件421和wb系数设置单元422集成到成像单元420中。可以通过任何物理配置来实现成像单元420。例如，成像单元420可以被实现为诸如系统大规模集成(lsi)之类的处理器。另外，成像单元420可以被实现为例如使用多个处理器等的模块、使用多个模块等的单元，或向单元添加其它功能的套件等(即，设备的配置的一部分)。此外，成像单元420可以被实现为设备。

控制单元401被配置为执行与成像设备400中的每个处理单元等的控制相关的处理。例如，控制单元401具有中央处理单元(cpu)、只读存储器(rom)、随机存取存储器(ram)等，并通过使用cpu等执行程序来执行上述处理。

输入单元411被配置为执行与信息的输入相关的处理。例如，输入单元411具有诸如操作按钮、拨盘、开关、触摸面板、遥控器和传感器之类的输入设备以及外部输入端子。例如，输入单元411通过使用那些输入设备从诸如用户之类的外部接收指令(与输入操作对应的信息)。另外，例如，输入单元411经由外部输入端子获取从外部设备供应的任意信息(程序、命令、数据等)。另外，例如，输入单元411经由总线410将接收到的信息(获取的信息)供应给另一个处理单元等。

注意的是，包括在输入单元411中的传感器可以是任何传感器，只要它可以接受例如来自诸如用户、诸如加速度传感器之类的外部的指令即可。另外，输入单元411中包括的输入设备是任意的，并且其数量也是任意的。输入单元411可以具有多种类型的输入设备。例如，输入单元411可以包括以上示例的一部分或全部。另外，输入单元411可以具有除以上示例以外的输入设备。而且，例如，输入单元411可以获取经由总线410供应的自身(输入设备等)的控制信息，并基于该控制信息进行驱动。

输出单元412被配置为执行与信息的输出相关的处理。例如，输出单元412具有诸如监视器之类的图像显示设备、诸如投影仪之类的图像投影设备、诸如扬声器之类的音频输出、外部输出端子等。例如，输出单元412通过使用这些输出设备等经由总线410输出从另一个处理单元等供应的信息。例如，输出单元412在监视器上显示捕获的图像(稍后描述的复原图像)、从投影仪投影捕获的图像(稍后描述的复原图像)、输出音频(例如，与输入操作、处理结果等对应的音频)，或将任意信息(程序、命令、数据等)输出到外部(其它设备)。

注意的是，包括在输出单元412中的输出设备等是任意的，并且其数量也是任意的。输出单元412可以具有多种类型的输出设备等。例如，输出单元412可以包括上述示例的一部分或全部。另外，除了上述示例以外，输出单元412可以具有输出设备等。额钳，例如，输出单元412可以获取经由总线410供应的其自身(输出设备等)的控制信息，并基于该控制信息进行驱动。

存储单元413被配置为执行与信息的存储相关的处理。例如，存储单元413具有诸如硬盘或半导体存储器之类的任意存储介质。例如，存储单元413将经由总线410从其它处理单元等供应的信息(程序、命令、数据等)存储在存储介质中。另外，存储单元413可以在出厂时存储任意信息(程序、命令、数据等)。此外，存储单元413在任何定时或响应于来自另一个处理单元等的请求来读取存储在存储介质中的信息，并且经由总线410将读取的信息供应给另一个处理单元等。

注意的是，包括在存储单元413中的存储介质是任意的，并且其数量也是任意的。存储单元413可以具有多种类型的存储介质。例如，存储单元413可以包括上述存储介质的示例的一部分或全部。另外，存储单元413可以具有除上述示例以外的存储介质等。此外外，例如，存储单元413可以获取经由总线410供应的其自身的控制信息，并基于该控制信息进行驱动。

通信单元414被配置为执行与与另一个设备的通信相关的处理。例如，通信单元414具有通信设备，该通信设备执行用于经由预定通信介质(例如，诸如互联网之类的任意网络)与外部设备交换诸如程序和数据之类的信息的通信。例如，通信单元414与另一个设备通信，并且经由总线410将从其它处理单元等供应的信息(程序、命令、数据等)供应给作为通信伙伴的另一个设备。另外，例如，通信单元414与另一个设备通信、获取从作为通信伙伴的另一个设备供应的信息，并且经由总线410将该信息供应给另一个处理单元等。

任何通信设备都可以被包括在通信单元414中。例如，它可以是网络接口。通信方法和通信标准是任意的。例如，通信单元414可以能够执行有线通信、可以能够执行无线通信，或者可以能够执行它们两者。另外，例如，通信单元414可以获取经由总线410供应的其自身(通信设备等)的控制信息，并基于该控制信息进行驱动。

记录-再现单元415被配置为使用安装在其中的记录介质416执行与信息的记录和再现相关的处理。例如，记录-再现单元415读取在附接到其自身的记录介质416中记录的信息(程序、命令、数据等)，并且经由总线410将信息供应给另一个处理单元等。另外，例如，记录-再现单元415经由总线140获取从另一个处理单元等供应的信息，并将该信息写入(记录)在附接到其自身的记录介质416中。注意的是，例如，记录-再现单元415可以获取经由总线410供应的其自身的控制信息，并且基于该控制信息进行驱动。

注意的是，记录介质416可以是任何类型。例如，它可以是磁盘、光盘、磁光盘、半导体存储器等。

成像元件421是与成像元件121相似的成像元件。即，成像元件121可以被用作成像元件421。但是，在成像元件421的情况下，wb系数设置单元102、恢复单元103和关联单元104可以被省略。

成像元件421捕获被摄体的图像、在每个像素中生成检测信号、输出由该检测信号形成的检测图像，并将该检测图像供应给wb系数设置单元422。

wb系数设置单元422是与上述wb系数设置单元102相似的处理单元，具有相似的配置，并且执行相似的处理。例如，wb系数设置单元422使用从成像元件421供应的检测图像(检测信号)来设置用于检测图像的白平衡控制的wb系数。wb系数设置单元422将所设置的wb系数与检测图像一起供应给恢复单元423和关联单元424。

恢复单元423是与上述恢复单元103相似的处理单元，具有相似的配置，并且执行相似的处理。例如，恢复单元423从由wb系数设置单元422供应的检测图像中恢复复原图像。在那时，恢复单元423使用从wb系数设置单元422供应的wb系数来执行复原图像的白平衡控制。恢复单元423将以这种方式生成的输出数据(经过白平衡控制的复原图像)供应给输出单元412至记录-再现单元415中的任何一个或多个。

关联单元424是与上述关联单元104相似的处理单元，具有相似的配置，并且执行相似的处理。例如，关联单元424将从wb系数设置单元422供应的wb系数与从wb系数设置单元422供应的检测图像进行关联。关联单元424将以这种方式生成的输出数据(与wb系数相关联的检测图像)供应给输出单元412至记录-再现单元415中的任何一个或多个。

传感器单元425被配置为执行与检测相关的处理。例如，传感器单元425具有任意传感器并且检测预定参数。例如，传感器单元425检测与成像设备400周围的状态相关的参数、与成像设备400的状态相关的参数等。例如，传感器单元425检测与成像元件421的状态相关的参数。另外，例如，传感器单元425经由总线410将检测到的信息供应给另一个处理单元等。

如上所述，与成像元件121的情况相似，成像设备400可以更容易地执行白平衡控制。注意的是，成像元件421至传感器单元426可以获取经由总线410供应的其自身的控制信息，并给予该控制信息进行驱动。

另外，如上所述，在成像设备400的情况下，在成像元件421的外部执行诸如wb系数设置和白平衡控制之类的处理。即，对其应用本技术的wb系数设置和白平衡控制可以在成像元件内部执行，或者可以在外部执行。

注意的是，由成像设备400执行的成像处理的流程与参考图25描述的由成像元件121进行的成像处理的情况相似，因此省略其描述。

<4.第三实施例>

<图像处理设备>

另外，可以从设备的外部供应与对其执行白平衡控制的复原图像对应的检测图像(检测信号)。即，成像元件421(成像元件121)可以在执行对其应用本技术的wb系数设置和白平衡控制的设备(其它设备)的外部提供。

换句话说，本技术也可以应用于图像处理设备。例如，图像处理设备可以包括系数设置单元，其基于通过由包括多个像素输出单位的成像元件捕获被摄体的图像而获取的检测信号来设置白平衡系数，这多个像素输出单位接收没有通过成像透镜和针孔中的任一个而入射的入射光，并且每个像素输出单位输出一个指示通过入射光的入射角度调制的输出像素值的检测信号，其中在像素输出单位中获取检测信号，并且白平衡系数被用于校正从由检测信号形成的检测图像恢复的复原图像的白平衡。

即，可以基于通过由包括多个像素输出单位的成像元件捕获被摄体的图像而获取的检测信号来设置白平衡系数，该成像元件包括多个像素输出单位，这多个像素输出单位接收没有通过成像透镜和针孔中的任一个而入射的入射光，并且每个像素输出单位输出一个指示通过入射光的入射角度调制的输出像素值的检测信号，其中在像素输出单位中获取检测信号，并且白平衡系数被用于校正从由检测信号形成的检测图像恢复的复原图像的白平衡。

以这种方式，图像处理设备可以更容易地执行白平衡控制。

图27是图示对其应用本技术的成像设备的一个实施例的主要配置示例的图。图27中所示的图像处理设备500是根据从外部供应的检测图像(检测信号)计算wb系数并执行诸如白平衡控制之类的图像处理的设备。

如图27中所示，图像处理设备500具有检测图像获取单元501、wb系数设置单元502、恢复单元503、关联单元504和输出单元505。

检测图像获取单元501执行与获取检测图像(检测信号)相关的处理。检测图像获取单元501获取从外部成像元件421(成像元件121)输出的检测图像(检测信号)。另外，检测图像获取单元501还将获取的检测图像(检测信号)供应给wb系数设置单元502。

wb系数设置单元502是与wb系数设置单元102相似的处理单元，具有相似的配置，并且执行相似的处理。即，wb系数设置单元502获取从检测图像获取单元501供应的检测图像(检测信号)、基于检测图像来设置wb系数，并将wb系数与检测图像一起设置在恢复单元503或关联单元504或两者中。

恢复单元503是与恢复单元103相似的处理单元，具有相似的配置，并且执行相似的处理。即，恢复单元503使用预定的恢复系数根据从wb系数设置单元502供应的检测图像来恢复复原图像。另外，在那时，恢复单元503使用从wb系数设置单元502供应的wb系数来执行复原图像的白平衡控制。恢复单元503将经过白平衡控制的复原图像作为输出数据供应给输出单元505。

关联单元504是与关联单元104相似的处理单元，具有相似的配置，并且执行相似的处理。即，关联单元504将从wb系数设置单元供应的wb系数与从wb系数设置单元502供应的检测图像进行关联。关联单元504将与wb系数关联的检测图像作为输出数据供应给输出单元505。

输出单元505是与输出单元105相似的处理单元，并且将从恢复单元503或关联单元504供应的输出数据输出到图像处理设备500的外部。

以这种方式，与成像元件121或成像设备400的情况相似，图像处理设备500可以更容易地执行白平衡控制。

<图像处理流程>

接下来，将参考图28的流程图描述由图像处理设备500执行的图像处理的流程的示例。

当开始图像处理时，在步骤s201中，图像处理设备500的检测图像获取单元501从设备外部获取检测图像(检测信号)。

在步骤s202中，wb系数设置单元502基于检测信号来计算wb系数。

在步骤s203中，恢复单元503和关联单元504生成输出数据。例如，恢复单元503从检测图像恢复复原图像、执行白平衡控制，并生成输出数据。另外，关联单元504例如将wb系数与检测图像相关联，以生成输出数据。

在步骤s204中，输出单元505将通过步骤s203的处理生成的输出数据输出到图像处理设备500的外部。

当步骤s204的处理结束时，图像处理结束。通过以这种方式执行图像处理，图像处理设备500可以更容易地执行白平衡控制。

<5.第四实施方式>

<图像处理系统>

本技术可以应用于包括多个设备的系统。例如，生成检测图像并计算wb系数的设备可以与生成复原图像并执行白平衡控制的设备不同。

图29是图示对其应用本技术的图像处理系统的一个实施例的主要配置示例的图。图29中所示的图像处理系统600是生成检测图像并从该检测图像生成复原图像的系统。如图29中所示，图像处理系统600具有成像元件601和图像处理设备602。

成像元件601是基本上与上述成像元件121相似的成像元件，并且执行与被摄体的成像、检测图像的生成等相关的处理。例如，成像元件601捕获被摄体的图像、在每个像素中生成检测信号，并输出由该检测信号形成的检测图像。

成像元件601和图像处理设备602经由电缆603可通信地彼此连接。由成像元件601生成的检测图像经由电缆603被供应给图像处理设备602。

图像处理设备602是基本上与上述图像处理设备500相似的设备，并且执行与复原图像的恢复相关的处理。例如，图像处理设备602经由电缆603获取从成像元件601供应的检测图像，并且从检测图像恢复复原图像。另外，图像处理设备602将生成的复原图像输出到图像处理设备602的外部(例如，下一级的处理单元)。

如图29中所示，成像元件601包括光接收单元111、a-d转换单元101、wb系数设置单元102、关联单元104和输出单元105。

如第一实施例中所述，光接收单元111具有由多个像素(像素输出单位)形成的像素矩阵，并且在每个像素中，接收来自被摄体的光并且对光进行光电转换、根据入射光来积累电荷，并在预定定时输出电荷作为检测信号。

a-d转换单元101对从光接收单元111输出的模拟信号的检测信号执行a-d转换，并将其作为数字数据的检测信号供应给wb系数设置单元102。

wb系数设置单元102基于所供应的检测信号来设置wb系数。即，wb系数设置单元102基于包括在光接收单元111中的多个像素(像素输出单位)的一部分中获取的检测信号来设置wb系数(白平衡系数)。wb系数设置单元102将如上所述计算出的值设置为wb系数，并将设定的wb系数与检测信号(检测图像)一起供应给关联单元104。

关联单元104被配置为执行与数据关联相关的处理。例如，关联单元104将从wb系数设置单元102供应的wb系数与和从wb系数设置单元102供应的检测图像相关的数据(检测信号等)相关联。

在此，术语“关联”与第一实施例的情况下的相似。

关联单元104将关联的数据作为输出数据供应给输出单元105。注意的是，例如，关联单元104还可以将与检测图像相关的数据与用于生成复原图像的预定计算中所使用的信息(诸如恢复矩阵)相关联。

输出单元105将从关联单元104供应的输出数据输出到成像元件601的外部。这个输出数据经由电缆603被供应给图像处理设备602。

另外，如图29中所示，图像处理设备602具有检测图像获取单元501、恢复单元503和输出单元505。

如第三实施例中所述，检测图像获取单元501执行与获取检测图像(检测信号)相关的处理。例如，检测图像获取单元501获取经由电缆603供应的检测图像(检测信号)。另外，检测图像获取单元501将获取的检测图像(检测信号)供应给恢复单元503。注意的是，wb系数与这个检测图像相关联。

恢复单元503使用预定恢复系数从检测图像获取单元501供应的检测图像中恢复复原图像。另外，在那时，恢复单元503可以提取与检测图像相关联的wb系数，并且使用wb系数对复原图像执行白平衡控制。用于这种白平衡控制的方法是任意的。

例如，恢复单元503可以使用与检测图像相关联的wb系数来校正恢复矩阵的系数(例如，将恢复矩阵的系数乘以wb系数)，并且可以通过使用具有校正系数的恢复矩阵用从检测图像校正的白平衡恢复复原图像。

另外，例如，恢复单元503可以使用恢复矩阵从检测图像中恢复复原图像，并使用与检测图像相关联的wb系数来校正已经恢复的复原图像的像素值(例如，将复原图像的每个像素值乘以wb系数)，从而执行复原图像的白平衡控制。

恢复单元503将生成的复原图像作为输出数据供应给输出单元505。

输出单元505是与输出单元105相似的处理单元，并且将从恢复单元503供应的输出数据输出到图像处理设备500的外部。

如上所述，成像元件601是生成检测图像并计算wb系数的设备，并且图像处理设备602是使用检测图像和wb系数来生成复原图像并执行白平衡控制的设备。即使在这种情况下，与上述其它实施例的情况相似，图像处理系统600也可以更容易地执行白平衡控制。

<图像处理的流程>

接下来，将参考图30中的流程图描述由图像处理系统600执行的图像处理的流程的示例。

当开始图像处理时，在步骤s301中，成像元件601的光接收单元111捕获被摄体的图像并生成检测信号(检测图像)。a-d转换单元101对检测信号(检测图像)执行a-d转换。

在步骤s302中，wb系数设置单元102基于检测信号来计算wb系数。

在步骤s303中，关联单元104生成输出数据。例如，关联单元104例如将wb系数与检测图像相关联以生成输出数据。

在步骤s304中，输出单元105将通过步骤s303的处理生成的输出数据输出到成像元件601的外部。

这个输出数据例如经由电缆603被供应给图像处理设备602。

在步骤s311中，图像处理设备602的检测图像获取单元501获取经由电缆603供应的检测图像(检测信号)。

在步骤s312中，恢复单元503从在步骤s311中获取的检测图像中恢复复原图像。另外，恢复单元503还使用与检测图像相关联的wb系数对复原图像执行白平衡控制。

在步骤s314中，输出单元505将在步骤s312中恢复的复原图像(输出数据)输出到图像处理设备500的外部。

当步骤s314的处理结束时，图像处理结束。通过以这种方式执行图像处理，图像处理系统600的每个设备可以更容易地执行白平衡控制。即，例如，即使当生成检测图像并计算wb系数的设备与生成复原图像并执行白平衡控制的设备不同时，图像处理系统600的每个设备也可以更容易地执行图白平衡控制。

注意的是，图像处理系统600的配置是任意的，并且不限于图29的示例。例如，图29中的成像元件601的配置还可以被配置为多个设备。例如，生成检测图像的设备与计算wb系数的设备可以彼此不同。

<6.第五实施例>

<成像元件的另一种配置示例>

虽然上面已经描述了成像元件121(图2)、成像元件421(图26)和成像元件601(图29)的示例，但是仅要求这些成像元件包括多个像素输出单位，这多个像素输出单位接收没有通过成像透镜和针孔中的任一个而入射的入射光，并且每个像素输出单位输出一个指示通过入射光的入射角度调制的输出像素值的检测信号，并且可以具有任何配置。

例如，成像元件121、成像元件421和成像元件601可以使用随机的黑白图案掩模或光干涉掩模作为调制元件，以根据黑白图案或光干涉来调制入射在成像平面上的光。

图31图示了成像元件的另一种配置。成像元件701被配置为使得作为调制元件的掩模703固定到成像元件702，从而与成像元件702的成像平面ip具有预定间隔，并且来自被摄体平面op的光被掩模703调制，然后入射在成像元件702的成像平面ip上。

图32图示了使用黑白图案掩模的情况。在图32的a中，图示了黑白图案掩模。黑白图案掩模703bw具有其中透射光的白色图案部分和遮蔽光的黑色图案部分被随机布置的配置，并且具有独立于成像元件702的像素尺寸而设置的图案尺寸。在图32的b中，关于从点光源pa发射的光和从点光源pb发射的光，示意性地图示了照射成像平面ip的状态。另外，在图32的b中，还相对于从点光源pa发射的光和从点光源pb发射的光分别示意性地图示了当使用黑白图案掩模703bw时成像元件的响应的示例。来自被摄体平面op的光在被黑白图案掩模703bw调制之后入射在成像元件702的成像平面ip上。因此，与从被摄体平面op上的点光源pa发射的光对应的成像元件的响应为sbwa。另外，与从被摄体平面op上的点光源pb发射的光对应的成像元件的响应为sbwb。因此，从成像元件702输出的像素输出信息是通过针对每个像素输出单位组合相应点光源的响应而获取的一个图像的信息。在这种配置的情况下，不能针对每个像素输出单位独立地设置入射角度方向性，并且处于靠近位置的像素输出单位具有彼此接近的入射角度方向性。

图33图示了使用光干涉掩模的情况。如图33的a中所示，从被摄体平面op上的点光源pa和pb发射的光经由光干涉掩模703lf被发射到成像元件702的成像平面ip。如图33的a中所示，例如，光干涉掩模703lf的光入射表面设有大约光的波长的不规则度。另外，光干涉掩模703lf使得从垂直方向发射的特定波长的光的透射最大化。当从被摄体平面op的点光源pa和pb发射到光干涉掩模703lf的特定波长的光的入射角度(相对于垂直方向的倾斜)的变化变大时，光路长度改变。在此，当光路长度是半波长的奇数倍时，光彼此减弱，而当光路长度是半波长的偶数倍时，光彼此增强。即，从点光源pa和pb发射并通过光干涉掩模703lf透射的特定波长的透射光的强度根据相对于光干涉掩模703lf的入射角度被调制，如图33的b中所示，并且入射在成像元件702的成像平面ip上。因此，从成像元件702的每个输出像素单位输出的像素输出信息是通过组合在透射通过光干涉掩模823lf的点光源之后的光强度而获取的信息。在这种配置的情况下，不能针对每个像素输出单位独立地设置入射角度方向性，并且处于靠近位置处的像素输出单位具有彼此接近的入射角度方向性。

注意的是，可以使用图34的滤光器703hw代替滤光器703bw。滤光器703hw包括：偏振方向彼此相等的线性偏振元件711a、线性偏振元件711b和半波长板712，并且半波长板712夹在线性偏振元件711a和线性偏振元件711b元件之间。代替滤光器703bw的黑色图案部分，半波长板712设有由阴影指示的偏振部分，并且白色图案部分和偏振部分被随机地布置。

线性偏振元件711a仅透射从点光源pa发射的基本上非偏振的光在预定偏振方向上的光分量。在下文中，假设线性偏振元件711a仅透射其偏振方向与该图平行的光分量。在透射通过线性偏振元件711a的偏振光当中，透射通过半波长板712的偏振部分的偏振光具有通过旋转偏振面而改变为垂直于该图平面的方向的偏振方向。另一方面，在透射通过线性偏振元件711a的偏振光当中，透射通过半波长板712的白色图案部分的偏振光在平行于该图平面的偏振方向上保持不变。然后，线性偏振元件711b透射透射通过白色图案部分的偏振光，并且几乎不透射透射通过偏振部分的偏振光。因此，透射通过偏振部分的偏振光的量小于透射通过白色图案部分的偏振光的量。因此，在成像元件702的光接收表面(成像平面)ip上生成与使用滤光器703bw的情况最相似的灰度图案。

可以应用具有这种配置的成像元件701。但是，在这些配置的情况下，由于必需向成像元件添加诸如掩模之类的另一个组件，因此上述成像元件121(图2)、成像元件421(图26)和成像元件601(图29)的尺寸可以进一步减小。

如上所述，仅要求成像元件121、成像元件421和成像元件601中的每一个具有如参考图5描述的配置、参考图6描述的配置、参考图31或图32描述的配置或参考图33描述的配置中的任何一种。即，本技术可以应用于具有这些配置中的任何一种的成像元件，或应用于具有成像元件的设备等。

另外，仅要求成像元件121、成像元件421和成像元件601中的每一个具有参考图5描述的配置或参考图6描述的配置。本技术可以应用于具有这些配置中的任何一种的成像元件，或者应用于具有成像元件的设备等。即，成像元件的多个像素输出单位可以具有如下配置：对于每个像素输出单位，可独立地设置入射角度方向性，该入射角度方向性指示输出像素值相对于来自被摄体的入射光的入射角度的方向性。

例如，仅要求成像元件121、成像元件421和成像元件601中的每一个具有参考图5描述的配置。即，本技术可以应用于具有这种配置的成像元件、具有成像元件的设备等。即，成像元件的多个像素输出单位可以具有这样的配置：其中对于每个像素输出单位可独立地设置入射角度方向性，该入射角度方向性指示相对于来自被摄体的入射光的入射角度的方向性。

另外，例如，仅要求成像元件121、成像元件421和成像元件601中的每一个具有参考图6描述的配置。即，本技术可以应用于具有这种配置的元件、具有成像元件的设备等。即，通过使成像元件的多个像素输出单位具有彼此不同的光电二极管(pd)对输出有贡献，指示输出像素值相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性可对于每个像素输出单位独立地设置。

<7.附录>

<计算机>

上述一系列处理可以由硬件执行或可以由软件执行。在通过软件执行一系列处理的情况下，构成软件的程序被安装在计算机中。在此，计算机包括结合在专用硬件中的计算机、例如可以通过安装各种程序来执行各种功能的通用个人计算机等。

图35是图示通过程序执行上述一系列处理的计算机的硬件的配置示例的框图。

在图35中所示的计算机800中，中央处理单元(cpu)801、只读存储器(rom)802和随机存取存储器(ram)803经由总线804互连。

输入-输出接口810也连接到总线804。输入单元811、输出单元812、存储单元813、通信单元814和驱动器815连接到输入-输出接口810。

输入单元811包括例如键盘、鼠标、麦克风、触摸面板、输入端子等。输出单元812包括例如显示器、扬声器、输出端子等。存储单元813包括例如硬盘、ram盘、非易失性存储器等。通信单元814包括例如网络接口。驱动器815访问(驱动)可移动记录介质821，诸如磁盘、光盘、磁光盘或半导体存储器。

在如上所述配置的计算机中，cpu801例如经由输入-输出接口810和总线804将存储在存储单元813中的程序加载到ram803中，并执行该程序，以便执行上述一系列处理。ram803还适当地存储cpu801执行各种处理所需的数据等。

由计算机(cpu801)执行的程序可以被记录到例如可移动记录介质821，作为用于应用的包装介质等。在那种情况下，通过将可移动记录介质821附接到驱动器815，可以经由输入-输出接口810将程序安装在存储单元813中。

此外，可以经由诸如局域网、互联网或数字卫星广播之类的有线或无线传输介质来提供这个程序。在那种情况下，程序可以被通信单元814接收并安装在存储单元813中。

此外，这个程序可以预先安装在rom802或存储单元813中。

<本技术的适用目标>

注意的是，对其应用本技术的系统、设备、处理单元等可以在任何领域中使用、例如交通、医疗、预防犯罪、农业、畜牧业、采矿、美容、工厂、家庭电器、天气、自然监测等。此外，它的使用是任意的。

例如，本技术可以应用于用于提供用于欣赏等的内容的系统和设备。另外，例如，本技术还可以应用于用于交通的系统和设备，诸如交通状况管理和自主驾驶控制。而且，例如，本技术还可以应用于用于安全性的系统和设备。另外，例如，本技术可以应用于用于机器等的自动控制的系统和设备。而且，例如，本技术还可以应用于提供用于农业和畜牧业的系统和设备。此外，本技术还可以应用于监视例如自然(诸如火山、森林和海洋、野生动植物等)的状态的系统和设备。而且，例如，本技术还可以应用于用于运动的系统和设备。

<其它>

注意的是，本技术的实施例不限于上述实施例，并且在不脱离本技术的要旨的情况下可以进行各种修改。

例如，本技术可以被实现为构成设备或系统的任何组件，例如，作为系统大规模集成(lsi)的处理器等、使用多个处理器的模块等、使用多个模块等的单元、通过向该单元进一步添加其它功能而获取的套件等(即，设备的一部分的配置)。

另外，可以通过任意配置来实现上述每个处理单元。例如，可以由电路、lsi、系统lsi、处理器、模块、单元、套件、设备、装置、系统等配置。另外，可以将它们中的多个组合起来。在那时，例如，可以组合相同类型的组件(诸如多个电路和多个处理器)，或者可以组合不同类型的组件(诸如电路和lsi)。

注意的是，在本描述中，系统是指多个组件(设备、模块(部分)等)的集合，并且是否所有组件都在同一壳体中并不重要。因此，容纳在单独壳体中并经由网络连接的多个设备以及其中多个模块容纳在一个壳体中的一个设备都是系统。

另外，例如，被描述为一个设备(或处理单元)的配置可以被划分并配置为多个设备(或处理单元)。相反，以上描述为多个设备(或处理单元)的配置可以被组合并配置为一个设备(或处理单元)。此外，当然可以将除上述配置以外的配置添加到每个设备(或每个处理单元)的配置中。而且，如果整个系统的配置和操作基本相同，那么特定设备(或处理单元)的配置的一部分可以包括在另一个设备(或另一个处理单元)的配置中。

此外，例如，本技术可以采用云计算配置，其中由多个设备经由网络以共享和协作的方式处理一个功能。例如，对于任何终端(诸如计算机、视听(av)设备、便携式信息处理终端、物联网(iot)设备等)，对提供与捕获的图像(移动图像)相关的附图的云服务的应用是可能的。

此外，例如，上述程序可以由任意设备执行。在那种情况下，只要设备具有必要的功能(功能块等)并且可以获取必要的信息就足够了。

此外，例如，在上述流程图中描述的相应步骤可以由一个设备执行，或者可以由多个设备以共享的方式执行。而且，在一个步骤中包括多个处理的情况下，除了由一个设备执行之外，一个步骤中包括的多个处理也可以由多个设备以共享的方式执行。换句话说，一个步骤中包括的多个处理可以作为多个步骤被执行。相反，描述为多个步骤的处理可以作为一个步骤被集中执行。

由计算机执行的程序可以被配置为使得用于描述程序的步骤中的处理根据本描述中描述的次序按时间次序执行，或者可以并行地或在必要的定时(诸如在进行调用时单独地执行。即，只要不发生矛盾，就可以以与上述次序不同的次序执行相应步骤中的处理。而且，用于描述这个程序的步骤中的处理可以与另一个程序中的处理并行地执行，或者可以与另一个程序中的处理组合执行。

只要不发生矛盾，在本说明书中已经描述的多种本技术就可以各自独立地实现为单个单元。当然，也可以组合使用并实现任何多种本技术。例如，在任何实施例中描述的本技术的部分或全部可以与在其它实施例中描述的本技术的部分或全部结合实现。此外，可以通过与以上未描述的另一种技术一起使用来实现任何上述本技术的一部分或全部。

本技术可以具有如下配置。

(1)一种成像设备，包括：

成像元件，其包括多个像素输出单位，所述多个像素输出单位接收没有通过成像透镜和针孔中的任一个而入射的入射光，并且每个像素输出单位输出一个指示通过入射光的入射角度调制的输出像素值的检测信号；以及

系数设置单元，其基于在成像元件的像素输出单位中获取的检测信号来设置白平衡系数，该白平衡系数被用于校正从检测信号恢复的复原图像的白平衡。

(2)根据(1)所述的成像设备，其中

所述多个像素输出单位具有如下配置：对于每个像素输出单位可独立地设置入射角度方向性，该入射角度方向性指示输出像素值相对于来自被摄体的入射光的入射角度的方向性。

(3)根据(1)或(2)所述的成像设备，其中

所述多个像素输出单位具有如下配置：对于每个像素输出单位可独立地设置入射角度方向性，该入射角度方向性指示相对于来自被摄体的入射光的入射角度的方向性。

(4)根据(1)至(3)中的任一项所述的成像设备，其中

系数设置单元基于在成像元件的部分像素输出单位中获取的检测信号来设置白平衡系数。

(5)根据(4)所述的成像设备，其中

所述部分像素输出单位包括每种颜色的至少一个像素输出单位。

(6)根据(4)所述的成像设备，其中

所述部分像素输出单位由每种颜色的单个像素输出单位构成。

(7)根据(4)至(6)中的任一项所述的成像设备，其中

所述部分像素输出单位由在所述多个像素输出单位中的其它像素输出单位之前被读出检测信号的单个或多个像素输出单位构成。

(8)根据(4)至(7)中的任一项所述的成像设备，其中

所述部分像素输出单位由多个像素输出单位构成，以及

系数设置单元基于从所述部分像素输出单位的每个像素输出单位读取的检测信号的值来设置白平衡系数。

(9)根据(4)至(8)中的任一项所述的成像设备，其中

所述部分像素输出单位在获取检测信号的有效像素区域之外形成。

(10)根据(9)所述的成像设备，其中

所述部分像素输出单位在有效像素区域周围的区域中形成。

(11)根据(4)至(10)中的任一项所述的成像设备，其中

所述部分像素输出单位由具有预定方向上的方向性的像素输出单位构成。

(12)根据(11)所述的成像设备，其中

所述部分像素输出单位由具有朝向成像元件的中央的前方的方向性的像素输出单位构成。

(13)根据(1)至(12)中的任一项所述的成像设备，还包括

关联单元，其将由系数设置单元设置的白平衡系数作为元数据与检测信号相关联。

(14)根据(1)至(13)中的任一项所述的成像设备，还包括

恢复单元，其使用恢复矩阵从检测信号恢复具有经校正的白平衡的复原图像。

(15)根据(14)所述的成像设备，其中

恢复单元通过使用具有由白平衡系数校正的系数的恢复矩阵从检测信号恢复具有经校正的白平衡的复原图像。

(16)根据(14)或(15)所述的成像设备，其中

恢复单元使用白平衡系数来校正使用恢复矩阵从检测信号恢复的复原图像的像素值，以生成具有经校正的白平衡的复原图像。

(17)一种成像方法，包括：

通过包括多个像素输出单位的成像元件来捕获被摄体的图像，所述多个像素输出单位接收没有通过成像透镜和针孔中的任一个而入射的入射光，并且每个像素输出单位输出一个指示通过入射光的入射角度调制的输出像素值的检测信号；以及

基于通过图像捕获获取并在成像元件的像素输出单位中获取的检测信号来设置白平衡系数，该白平衡系数被用于校正从检测信号恢复的复原图像的白平衡。

(18)一种图像处理设备，包括

系数设置单元，其基于通过由包括多个像素输出单位的成像元件捕获被摄体的图像而获取的检测信号来设置白平衡系数，所述多个像素输出单位接收没有通过成像透镜和针孔中的任一个而入射的入射光，并且每个像素输出单位输出一个指示通过入射光的入射角度调制的输出像素值的检测信号，其中在像素输出单位中获取检测信号，并且白平衡系数被用于校正从检测信号恢复的复原图像的白平衡。

(19)一种图像处理方法，其中

基于通过由包括多个像素输出单位的成像元件捕获被摄体的图像而获取的检测信号来设置白平衡系数，所述多个像素输出单位接收没有通过成像透镜和针孔中的任一个而入射的入射光，并且每个像素输出单位输出一个指示通过入射光的入射角度调制的输出像素值的检测信号，其中在像素输出单位中获取检测信号，并且白平衡系数被用于校正从检测信号恢复的复原图像的白平衡。

(20)一种成像元件，包括：

多个像素输出单位，所述多个像素输出单位接收没有通过成像透镜和针孔中的任一个而入射的入射光，并且每个像素输出单位输出一个指示通过入射光的入射角度调制的输出像素值的检测信号；以及

系数设置单元，其基于在成像元件的像素输出单位中获取的检测信号来设置白平衡系数，该白平衡系数被用于校正从检测信号恢复的复原图像的白平衡。

附图标记列表

102wb系数设置单元

103恢复单元

104关联单元

111光接收单元

121成像元件

400成像设备

421成像元件

422wb系数设置单元

423恢复单元

424关联单元

500图像处理设备

501检测图像获取单元

502wb系数设置单元

503恢复单元

504关联单元