成像设备和方法以及图像处理设备和方法与流程

本技术涉及成像设备和方法以及图像处理设备和方法，尤其涉及可以更容易地抑制图像的未授权使用和篡改的成像设备和方法以及图像处理设备和方法。

背景技术：

近年来，通过设计不具有成像透镜等的成像元件来实现成像元件的尺寸减小(例如，参见专利文献1、专利文献2和非专利文献1)，并且成像元件安装在各种各样的设备上。另外，各种各样的设备已经连接到诸如互联网之类的网络以执行通信。为此，由成像设备成像的图像也经由互联网等发送，并且更频繁地用于各种服务等。

引文列表

专利文献

专利文献1：国际公开no.2016/123529

专利文献2：pct国际申请公开no.2016-510910的日语翻译

非专利文献

非专利文献1：m.salmanasif和其他四个人的“flatcam:replacinglenseswithmasksandcomputation”，“2015ieeeinternationalconferenceoncomputervisionworkshop(iccvw)”，2015年，第663-666页

技术实现要素：

本发明要解决的问题

但是，在图像的这种发送中，存在泄漏给未授权用户的风险，并且存在图像的未授权使用和篡改的风险。因而，例如，可以想到在发送时先加密然后发送图像数据，但是存在由于加密等处理而导致负荷增加的风险，从而增加了功耗、处理时间、成本等。

鉴于这种情况做出了本公开，并且本公开使得有可能更容易地抑制图像的未授权使用和篡改。

问题的解决方案

根据本技术的一个方面的成像设备是这样的成像设备，其包括：包括多个像素输出单位的成像元件，所述多个像素输出单位接收不通过成像透镜或者针孔而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号；以及输出处理单元，其输出由在成像元件的像素输出单位中获得的检测信号形成的检测图像，而不与包括当从检测图像恢复复原图像时使用的系数的恢复矩阵相关联。

多个像素输出单位可以具有如下配置：对每个像素输出单位能够独立设置输出像素值的指示相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性。

多个像素输出单位可以具有如下配置：对每个像素输出单位能够独立设置指示相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性。

多个像素输出单位可以具有如下配置：通过使对输出有贡献的光电二极管pd互不相同，对每个像素输出单位能够独立设置输出像素值的指示相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性。

还可以包括读出控制单元，其控制从成像元件的每个像素输出单位读出检测信号，并且定期地或不定期地切换从中读出检测信号的像素输出单位。

还可以包括恢复矩阵设置单元，其在满足预定条件的情况下设置恢复矩阵，其中输出处理单元被配置为输出由恢复矩阵设置单元设置的恢复矩阵。

还可以包括加密单元，其对由恢复矩阵设置单元设置的恢复矩阵进行加密，其中输出处理单元被配置为输出由加密单元加密后的恢复矩阵。

检测图像可以是在视觉上无法识别被摄体的图像，并且复原图像可以是在视觉上能够识别被摄体的图像。

还可以包括恢复单元，其使用恢复矩阵从检测图像恢复复原图像，其中输出处理单元被配置为显示由恢复单元恢复的复原图像。

根据本技术的一个方面的成像方法包括：由包括多个像素输出单位的成像元件对被摄体进行成像，所述多个像素输出单位接收不通过成像透镜或者针孔而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号，以及输出通过成像获得并且由在成像元件的像素输出单位中获得的检测信号形成的检测图像，而不与包括当从检测图像恢复复原图像时使用的系数的恢复矩阵相关联。

根据本技术的另一方面的图像处理设备是这样的图像处理设备，其包括：恢复单元，其使用包括当从通过包括多个像素输出单位的成像元件对被摄体进行成像而获得并且由在像素输出单位中获得的检测信号形成的检测图像恢复复原图像时使用的系数的恢复矩阵来从由外部设备获得的检测图像恢复复原图像，所述多个像素输出单位接收不通过成像透镜或者针孔而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号。

还可以包括恢复矩阵设置单元，其设置用于由恢复单元恢复复原图像的恢复矩阵，其中恢复单元被配置为使用由恢复矩阵设置单元设置的恢复矩阵从检测图像恢复复原图像。

恢复矩阵设置单元可以定期地或不定期地切换用于恢复复原图像的恢复矩阵。

恢复矩阵设置单元可以生成用于恢复复原图像的恢复矩阵。

还可以包括恢复矩阵存储单元，其存储候选恢复矩阵，其中恢复矩阵设置单元被配置为从存储在恢复矩阵存储单元中的恢复矩阵中设置用于恢复复原图像的恢复矩阵。

还可以包括恢复矩阵通信单元，其通过通信从外部设备获得恢复矩阵，其中恢复矩阵存储单元被配置为存储由恢复矩阵通信单元获得的恢复矩阵。

还可以包括解密单元，其对由恢复矩阵通信单元获得的加密的恢复矩阵进行解密，其中恢复矩阵存储单元被配置为存储解密单元解密后的恢复矩阵。

恢复矩阵通信单元可以获得与检测图像相关联的加密后的恢复矩阵。

还可以包括认证单元，其针对外部设备执行自身的认证处理，其中恢复矩阵通信单元被配置为在通过认证单元进行的认证成功的情况下从外部设备获得恢复矩阵。

根据本技术的另一方面的图像处理方法包括：使用包括当从通过包括多个像素输出单位的成像元件对被摄体进行成像而获得并且由在像素输出单位中获得的检测信号形成的检测图像恢复复原图像时使用的系数的恢复矩阵来从由外部设备获得的检测图像恢复复原图像，所述多个像素输出单位接收不通过成像透镜或者针孔而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号。

在根据本技术的一个方面的成像设备和方法中，被摄体由包括多个像素输出单位的成像元件成像，所述多个像素输出单位接收不通过成像透镜或者针孔而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号，以及输出通过成像获得并由在成像元件的像素输出单位中获得的检测信号形成的检测图像，而不与包括当从检测图像恢复复原图像时使用的系数的恢复矩阵相关联。

在根据本技术的另一方面的图像处理设备和方法中，从检测图像恢复复原图像并且显示已经恢复的复原图像，该检测图像由外部设备使用恢复矩阵来获得，该恢复矩阵包括当从通过包括多个像素输出单位的成像元件对被摄体进行成像而获得并且由在像素输出单位中获得的检测信号形成的检测图像恢复复原图像时使用的系数，所述多个像素输出单位接收不通过成像透镜或者针孔而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号。

发明的效果

通过本技术，可以对被摄体成像或者可以对图像进行处理。另外，通过本技术，可以更容易地抑制图像的未授权使用和篡改。

附图说明

图1是用于描述检测图像发送的状态的示例的图。

图2是用于描述发送介质的示例的图。

图3是用于描述发送介质的示例的图。

图4是图示成像设备的主要配置示例的框图。

图5是描述对其应用本公开的技术的成像设备中的成像原理的图。

图6是描述常规成像元件与本公开的成像元件之间的构造差异的图。

图7是描述成像元件的第一构造示例的图。

图8是描述成像元件的第一构造示例的图。

图9是描述入射角度方向性的生成原理的图。

图10是描述使用片上透镜的入射角度方向性的改变的图。

图11是描述入射角度方向性的设计的图。

图12是描述被摄体距离与表述入射角度方向性的系数之间的关系的图。

图13是描述窄视角像素与宽视角像素之间的关系的图。

图14是描述窄视角像素与宽视角像素之间的关系的图。

图15是描述窄视角像素与宽视角像素之间的关系的图。

图16是描述修改示例的图。

图17是描述修改示例的图。

图18是描述修改示例的图。

图19是描述其中通过应用修改示例来改变视角的示例的图。

图20是描述当通过应用修改示例来改变视角时组合具有多个视角的像素的示例的图。

图21是描述修改示例的图。

图22是描述通过提供水平方向和垂直方向中每一个方向上的遮光范围的规则而减少计算量和存储器容量的原因的图。

图23是描述通过提供水平方向和垂直方向中每一个方向上的遮光范围的规则而减少计算量和存储器容量的原因的图。

图24是描述通过提供水平方向和垂直方向中每一个方向上的遮光范围的规则而减少计算量和存储器容量的原因的图。

图25是描述通过提供水平方向和垂直方向中每一个方向上的遮光范围的规则而减少计算量和存储器容量的原因的图。

图26是描述修改示例的图。

图27是描述修改示例的图。

图28是描述成像处理的流程的示例的流程图。

图29是图示图像输出设备的主要配置示例的框图。

图30是描述图像输出处理的流程的示例的流程图。

图31是用于描述检测图像的发送状态的示例的图。

图32是用于描述检测图像的发送状态的示例的图。

图33是图示成像设备的主要配置示例的框图。

图34是描述成像处理的流程的示例的流程图。

图35是图示图像输出设备的主要配置示例的框图。

图36是描述图像输出处理的流程的示例的流程图。

图37是图示成像设备的主要配置示例的框图。

图38是描述恢复矩阵提供处理的流程的示例的流程图。

图39是图示图像输出设备的主要配置示例的框图。

图40是描述恢复矩阵获得处理的流程的示例的流程图。

图41是图示成像设备的主要配置示例的框图。

图42是描述成像处理的流程的示例的流程图。

图43是图示图像输出设备的主要配置示例的框图。

图44是描述图像输出处理的流程的示例的流程图。

图45是用于描述经由服务器发送检测图像和恢复矩阵的状态的示例的图。

图46是图示服务器的主要配置示例的框图。

图47是描述检测图像发送处理的流程的示例的流程图。

图48是描述检测图像发送处理的流程的示例的流程图。

图49是描述恢复矩阵发送处理的流程的示例的流程图。

图50是描述恢复矩阵发送处理的流程的示例的流程图。

图51是图示成像设备的主要配置示例的框图。

图52是描述成像处理的流程的示例的流程图。

图53是描述图像显示处理的流程的示例的流程图。

图54是用于描述在彩色图像的情况下检测图像的发送状态的示例的图。

图55是用于描述系统的用例的图。

图56是用于描述系统的用例的图。

图57是用于描述系统的用例的图。

图58是用于描述系统的用例的图。

图59是图示成像元件的主要配置示例的图。

图60是图示使用黑白图案掩模的情况的图。

图61是图示使用光学干涉掩模的情况的图。

图62是图示成像元件的修改示例的图。

具体实施方式

在下文中，将描述用于执行本公开的模式(在下文中称为实施例)。注意的是，将按照以下次序进行描述。

1.第一实施例(图像显示系统：独特图案)

2.第二实施例(图像显示系统：可变图案)

3.第三实施例(图像显示系统：恢复矩阵提供)

4.第四实施例(图像显示系统：关联)

5.第五实施例(图像显示系统：经由服务器的发送)

6.第六实施例(成像设备：自我恢复)

7.第七实施例(图像显示系统：彩色图像)

8.第八实施例(图像显示系统：用例)

9.第九实施例(成像元件、成像设备和图像输出设备的另一个配置示例)

10.其它

<1.第一实施例>

<检测图像的发送>

近年来，例如，已经考虑了例如专利文献1中所述的不使用成像透镜的成像元件。这种成像元件的使用消除了对成像透镜的需要(使得设备无需成像透镜)，因此可以减小成像设备的尺寸并且可以将其安装在各种各样的设备上。

另外，近年来，更多种类的设备已经连接到诸如互联网之类的网络以进行通信。为此，由成像设备成像的图像也经由互联网等发送，并且更频繁地用于各种服务等。

但是，在这样的图像发送中，存在泄漏给未授权用户的风险，并且存在图像的未授权使用和篡改的风险。因而，例如，可以想到在发送中先加密然后发送图像数据，但是存在由于加密等处理引起的负荷增加的风险，从而增加了功耗、处理时间、成本等。例如，在由电池驱动的设备的情况下，由于功耗的增加，有可能减少连续的驱动时间。另外，例如，在低性能设备等中，存在负荷超过设备的处理能力并且不能实现加密的担忧。

因而，被摄体由包括多个像素输出单位的成像元件成像，该像素输出单位接收不通过成像透镜或者针孔而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号，并且发送通过成像获得并由在成像元件的像素输出单位中获得的检测信号形成的检测图像。特别地，在不与包括当从检测图像恢复复原图像时使用的系数的恢复矩阵相关联的情况下发送检测图像。

图1示出了其概述。虽然稍后将描述细节，但是掩模图案a的遮光膜在成像侧上的成像元件11-1的像素阵列上形成，因此每个像素输出单位具有“关于来自被摄体的入射光的入射角度的特性(也称为入射角度方向性)”。因此，成像元件11-1可以在没有成像透镜的情况下对被摄体进行成像。但是，通过成像获得的检测图像是其中在视觉上不能识别被摄体的图像。然后，发送其中在视觉上不能识别被摄体的这个检测图像。

通过执行预定计算，这个检测图像可以被转换成在视觉上可识别被摄体的成像图像(复原图像)。更具体而言，可以通过将检测图像乘以复原图像来恢复复原图像。

即，在接收侧的恢复单元12-1中，获得所发送的检测图像a，并且将检测图像a与恢复矩阵a相乘，从而获得复原图像a。复原图像是其中被摄体在视觉上可识别的图像，因此复原图像a显示在显示单元13上。因此，由成像元件11-1成像的被成像图像可以从成像侧发送到显示侧并显示在显示单元13上。

在发送中，发送了其中在视觉上不能识别被摄体的检测图像a，有可能抑制在发送期间被成像图像泄漏给未授权用户等。即，可以抑制图像的未授权使用和篡改。

此外，由于仅在成像侧原样发送通过成像获得的检测图像，因此不需要诸如加密之类的处理，并且可以抑制负载的增加。即，可以更容易地抑制图像的未授权使用和篡改。

另外，此外，由于检测图像a是在掩模图案a的影响下生成的图像，因此除非使用作为反映这个掩模图案a的影响的系数矩阵(与掩模图案a对应)的恢复矩阵a，否则检测图像a不能转换成视觉上可识别被摄体的复原图像a。即，除非使用正确的恢复矩阵，否则检测图像不能被转换成视觉上可识别被摄体的图像。因此，即使未授权用户具有恢复矩阵，也不能正确地恢复复原图像，除非恢复矩阵正确地与检测图像(成像元件的掩模图案)对应。

例如，假设在成像元件11-2上形成掩模图案b的遮光膜，该掩模图案b是与掩模图案a不同的图案。在成像元件11-2中，通过在掩模图案b的影响下成像来形成检测图像b。

接收侧的恢复单元12-2具有与掩模图案b对应的恢复矩阵b，并且可以通过获得所阐述的检测图像b并将检测图像b乘以恢复矩阵b来获得复原图像b。因此，这个复原图像b显示在显示单元13上。因此，类似于恢复单元12-1的情况，由成像元件11-2成像的成像图像可以从成像侧发送到显示侧并显示在显示单元13上。

但是，即使具有与恢复单元12-2类似的恢复矩阵b的恢复单元12-3获得检测图像a，恢复单元12-3也不能用这个恢复矩阵b执行正确的恢复，并且其中在视觉上可识别出被摄体的图像不能显示在显示单元13上。

以这种方式，可以抑制图像的未授权使用和篡改。

注意的是，成像元件的掩模图案对于每个个体可以是不同的。即，在制造中，可以通过针对每个个体改变掩模图案来制造成像元件。以这种方式，可以减少恢复矩阵泄漏的可能性。

<发送路径>

注意的是，用于检测图像的发送路径是任意的。例如，如图2的a中所示，可以经由网络发送检测图像。假设成像侧设备是成像设备101并且显示侧设备是图像输出设备102，那么成像设备101和图像输出设备102各自以可通信的方式连接到网络103，如图2的a中所示。

网络103是任意通信网络并且可以是有线通信网络或无线通信网络，或者可以由它们两者构成。另外，网络103可以由一个通信网络构成，或者可以由多个通信网络构成。例如，网络103可以包括通信网络和任意通信标准的通信路径，诸如互联网、公共电话线网络、用于无线移动终端的广域通信网络(诸如，被称为3g网络和4g网络)、广域网(wan)、局域网(lan)、用于执行符合蓝牙(注册商标)标准的通信的无线通信网络、短程无线通信的通信路径(诸如近场通信(nfc))、红外通信的通信路径、符合诸如高清晰度多媒体接口(hdmi)(注册商标)和通用串行总线(usb)之类的标准的有线通信的通信网络。

成像设备101和图像输出设备102可以经由这种网络103进行通信，并且可以通过该通信来发送检测图像。

另外，例如，如图2的b中所示，可以经由预定电缆来发送检测图像。在图2的b的情况下，成像设备101和图像输出设备102通过例如具有预定标准(例如，hdmi(注册商标)或usb)的电缆104连接。成像设备101和图像输出设备102可以经由这种电缆104发送检测图像。

另外，例如，如图2的c中所示，可以经由记录介质来发送检测图像。即，成像设备101可以在附接到其自身的记录介质105上记录检测图像，记录介质105可以附接到图像输出设备102，并且图像输出设备102可以从附接到其自身的记录介质105读出检测图像。

另外，例如，如图3中所示，可以经由服务器发送检测图像。在图3的示例的情况下，服务器106连接到网络103，并且成像设备101和图像输出设备102经由服务器106交换检测图像。即，成像设备101将通过成像获得的检测图像上传到服务器106。图像输出设备102从服务器106下载检测图像。

当然，用于检测图像的发送方法(发送路径)是任意的，并且不限于以上示例。

<成像设备>

接下来，将描述生成检测图像的成像设备。图4是图示作为对其应用本技术的成像设备的实施例的成像设备的主要配置示例的图。图4中所示的成像设备101是对被摄体进行成像并获得与所成像的图像相关的电子数据的设备。

如图4中所示，成像设备101具有控制单元110、输入单元111、输出单元112、存储单元113、通信单元114、记录-再现单元115、成像元件121、传感器单元122等。每个处理单元等经由总线120连接，并且可以彼此交换信息、指令等。

控制单元110被配置为执行与成像设备101中的每个处理单元等的控制相关的处理。例如，控制单元110具有中央处理单元(cpu)、只读存储器(rom)、随机存取存储器(ram)等，并且通过使用cpu等执行程序来执行上述处理。

输入单元111被配置为执行与信息的输入相关的处理。例如，输入单元111具有诸如操作按钮、拨号盘、开关、触摸面板、遥控器和传感器之类的输入设备，以及外部输入端子。例如，输入单元111用这些输入设备由用户等接收来自外部的指令(与输入操作对应的信息)。另外，例如，输入单元111经由外部输入端子获得从外部设备供应的任意信息(程序、命令、数据等)。另外，例如，输入单元111经由总线120将接收到的信息(获得的信息)供应给另一个处理单元等。

注意的是，包括在输入单元111中的传感器例如可以是诸如加速度传感器之类的任何传感器，只要它能够由用户等接收来自外部的指令即可。另外，输入单元111具有的输入设备是任意的，并且其数量也是任意的。输入单元111可以具有多种类型的输入设备。例如，输入单元111可以具有上述示例的一部分，或者可以具有所有示例。另外，输入单元111可以具有除上述示例以外的其它输入设备。而且，例如，输入单元111可以获得经由总线120供应的自身(输入设备等)的控制信息，并基于该控制信息进行驱动。

输出单元112被配置为执行与信息的输出相关的处理。例如，输出单元112具有诸如监视器之类的图像显示设备、诸如投影仪之类的图像投影设备、诸如扬声器之类的音频输出设备、外部输出端子等。例如，输出单元112使用这些输出设备等经由总线120输出从另一个处理单元等供应的信息。例如，输出单元112例如在监视器上显示图形用户界面(gui)等的任意图像、例如从投影仪投影gui等的任意图像、向外部(另一个设备)输出音频(例如，与输入操作、处理结果等对应的音频)或输出任意信息(程序、命令、数据等)。

注意的是，输出单元112具有的输出设备等是任意的，并且其数量也是任意的。输出单元112可以具有多种类型的输出设备等。例如，输出单元112可以具有上述示例的一部分，或者可以具有所有示例。另外，输出单元112可以具有除上述示例以外的其它输出设备等。此外，例如，输出单元112可以获得经由总线120供应的自身(输出设备等)的控制信息，并基于该控制信息进行驱动。

存储单元113被配置为执行与信息的存储相关的处理。例如，存储单元113具有诸如硬盘或半导体存储器之类的任意存储介质。例如，存储单元113将经由总线120从其它处理单元等供应的信息(程序、命令、数据等)存储在存储介质中。另外，存储单元113可以在发货时存储任意信息(程序、命令、数据等)。此外，存储单元113在任意定时或响应于来自另一个处理单元等的请求而读出存储在存储介质中的信息，并且经由总线120将读出的信息供应给另一个处理单元等。

注意的是，包括在存储单元113中的存储介质是任意的，并且其数量也是任意的。存储单元113可以具有多种类型的存储介质。例如，存储单元113可以具有上述存储介质的示例的一部分，或者可以具有全部示例。另外，存储单元113可以具有除上述示例以外的存储介质等。另外，例如，存储单元113可以获得经由总线120供应的自身的控制信息，并基于该控制信息进行驱动。

通信单元114被配置为执行与和其它设备的通信相关的处理。例如，通信单元114具有通信设备，该通信设备执行用于经由预定通信介质(例如，诸如互联网之类的任意网络)与外部设备交换诸如程序和数据之类的信息的通信。例如，通信单元114与其它设备通信，并且经由总线120将从另一个处理单元等供应的信息(程序、命令、数据等)供应给作为其通信伙伴的另一个设备。另外，例如，通信单元114与其它设备通信、获得从作为其通信伙伴的另一个设备供应的信息，并且经由总线120将该信息提供给另一个处理单元等。

通信单元114具有的通信设备可以是任何设备。例如，通信设备可以是网络接口。通信方法和通信标准是任意的。例如，通信单元114可以能够执行有线通信、无线通信或两者。另外，例如，通信单元114可以获得经由总线120提供的自身(通信设备等)的控制信息，并基于该控制信息进行驱动。

记录-再现单元115被配置为执行与使用附接到其自身的记录介质116的信息的记录和再现相关的处理。例如，记录-再现单元115读出记录在附接到其自身的记录介质116上的信息(程序、命令、数据等)，并且经由总线120将该信息供应给另一个处理单元等。另外，例如，记录-再现单元115获得经由总线120从另一个处理单元等供应的信息，并将该信息写(记录)在附于其自身的记录介质116中(上)。注意的是，例如，记录-再现单元115可以获得经由总线120供应的自身的控制信息，并基于该控制信息进行驱动。

注意的是，记录介质116可以是任何类型。例如，记录介质116可以是磁盘、光盘、磁光盘、半导体存储器等。

成像元件121被配置为执行与被摄体的成像相关的处理。例如，成像元件121对被摄体进行成像并且获得与所成像的图像相关的数据(电子数据)。此时，成像元件121可以在不使用成像透镜(诸如衍射光栅、针孔等)的光学滤波器等的情况下对被摄体进行成像，并且获得与被成像图像相关的数据。例如，成像元件121对被摄体进行成像并且获得允许通过预定计算获得被成像图像的数据的数据(检测信号等)。

注意的是，被成像图像是由像素值形成的图像，通过该像素值形成被摄体的图像，并且用户可以从视觉上将其识别为图像。另一方面，由作为成像元件121的像素单位输出中的入射光的检测结果的检测信号形成的图像(称为检测图像)是不能从视觉上被用户识别为图像的图像，因为未形成被摄体的图像(即，被摄体从视觉上无法识别)。即，检测图像是与被成像图像不同的图像。但是，如上所述，通过对检测图像的数据执行预定计算，可以恢复被成像图像(即，其中形成有被摄体的图像并且被用户从视觉上识别为图像的图像(即，可以从视觉上识别被摄体)。这个恢复的被成像图像被称为复原图像。即，检测图像是与复原图像不同的图像。

注意的是，构成复原图像并且尚未经历同步处理、颜色分离处理等(例如，去马赛克处理等)的图像被称为原始图像。与被成像图像相似，这个原始图像也是用户从视觉上可识别为图像的图像(即，被摄体从视觉上可识别)。换句话说，检测图像是根据滤色器的阵列的图像，但是是与原始图像不同的图像。

但是，在成像元件121仅对诸如红外光和紫外光之类的不可见光敏感的情况下，复原图像(原始图像或被成像图像)也变为用户无法从视觉上识别的图像(被摄体从视觉上无法识别)。但是，由于这是由于检测到的光的波长范围引起的，因此复原图像可以是通过将波长范围转换成可见光范围而从视觉上可识别被摄体的图像。另一方面，由于未形成被摄体的图像，因此仅通过转换波长范围，检测图像不能成为从视觉上可识别被摄体的图像。因此，即使在成像元件121仅对不可见光敏感的情况下，如上所述通过对检测图像执行预定计算而获得的图像也被称为复原图像。注意的是，在下文中，除非另有说明，否则将以成像元件121接收可见光的情况为例来基本上描述本技术。

即，成像元件121可以对被摄体成像并且获得与检测图像相关的数据。成像元件121经由总线120将与检测图像相关的数据供应给其它处理单元(例如，输出单元112、存储单元113、通信单元114、记录-再现单元115等)等。另外，例如，成像元件121可以获得经由总线120供应的自身的控制信息，并基于该控制信息进行驱动。

传感器单元122被配置为执行与检测相关的处理。例如，传感器单元122具有任意传感器并且执行对预定参数的检测。例如，传感器单元122检测与成像设备101周围的状态相关的参数、与成像设备101的状态相关的参数等。例如，传感器单元122对与成像元件121的状态相关的参数进行检测。另外，例如，传感器单元122经由总线120将检测到的信息提供给另一个处理单元等。注意的是，例如，传感器单元122可以获取经由总线120提供的自身的控制信息，并基于该控制信息进行驱动。

注意的是，输出单元112、存储单元113、通信单元114和记录-再现单元115的一部分或全部可以集成到输出处理单元123中。输出处理单元123被配置为执行与检测图像的输出相关的处理。输出处理单元123可以由任何物理部件实现。例如，输出处理单元123可以被实现为诸如系统大规模集成(lsi)之类的处理器。另外，输出处理单元123可以被实现为例如使用多个处理器等的模块、使用多个模块等的单元，或者通过向单元进一步添加其它功能而获得的设施等(即，设备的配置的一部分)。另外，输出处理单元123可以被实现为设备。

<关于成像元件>

接下来，将参考图5至27描述成像元件121。

<像素和像素输出单位>

在本描述中，术语“像素”(或“像素输出单位”)用于描述本技术。在本描述中，“像素”(或“像素输出单位”)是指其中形成用于接收成像元件121的入射光的物理部件的区块(也称为像素区块)的划分单元，其包括至少一个可以独立于其它像素而接收光的物理部件。能够接收光的物理部件例如是光电转换元件，或者例如是光电二极管(pd)。在一个像素中形成的物理部件(例如，光电二极管)的数量是任意的，并且可以是单数或复数。其类型、尺寸、形状等也是任意的。

另外，这个“像素”单元的物理部件不仅包括上述“能够接收光的物理部件”，而且还包括例如与入射光的接收相关的所有物理部件，诸如片上透镜、遮光膜、滤色器、平坦化膜和抗反射膜。此外，还可以包括诸如读出电路之类的部件。即，这个像素单位的物理部件可以是任何部件。

另外，从“像素”(即，像素单位的物理部件)读出的检测信号也可以被称为“像素单位(或像素输出单位)的检测信号”等。而且，这个像素单位(或像素输出单位)的检测信号也被称为“像素单位检测信号(或像素输出单位检测信号)”。另外，这个像素单位检测信号也被称为“像素输出”。而且，该值也被称为“输出像素值”。

成像元件121的像素单位中的检测信号的值(输出像素值)可以具有入射角度方向性，该入射角度方向性指示独立于其它像素单位相对于来自被摄体的入射光的入射角度的方向性。即，成像元件121的每个像素单位(像素输出单位)具有其中可以独立地设置指示输入像素值相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性。例如，在成像元件121中，至少两个像素单位的输出像素值可以具有不同的入射角度方向性，该入射角度方向性指示相对于来自被摄体的入射光的入射角度的方向性。

注意的是，由于如上所述“像素(或像素输出单位)”中包括的“能够接收光的物理部件”的数量是任意的，因此像素单位检测信号可以是由单个“能够接收光的物理部件”获得的检测信号或者可以是通过多个“能够接收光的物理部件”获得的检测信号。

另外，可以在任意阶段将多个像素单位检测信号(输出像素值)组合为一个。例如，可以在模拟信号的状态下添加多个像素的输出像素值，或者可以在将其转换成数字信号之后添加多个像素的输出像素值。

另外，在从成像元件121读出这个检测信号之后，即，在检测图像中，可以将多个检测信号组合成单个检测信号，或者可以将单个检测信号转换成多个检测信号。即，检测图像的分辨率(数据的数量)是可变的。

顺便提及，为了便于以下描述，除非另有说明，否则成像元件121将被描述为具有以矩阵部署多个像素(形成像素阵列)的像素区块。注意的是，成像元件121的像素(或像素输出单位)的布置图案是任意的，并且不限于这个示例。例如，像素(或像素输出单位)可以布置为蜂窝结构。另外，例如，像素(或像素输出单位)可以布置为一行(或一列)。即，成像元件121可以是行传感器。

注意的是，成像元件121(其像素)具有灵敏度的波长范围是任意的。例如，成像元件121(其像素)可以对可见光敏感、可以对诸如红外光和紫外光之类的不可见光敏感，或者可以对可见光和不可见光两者都敏感。例如，在成像元件检测到是不可见光的远红外光的情况下，可以使用在成像元件中获得的成像图像来生成热像图(表示热分布的图像)。但是，在具有成像透镜的成像元件的情况下，由于玻璃难以透射远红外光，因此需要包括昂贵的特殊材料的成像透镜，这会增加制造成本。由于成像元件121可以在不使用成像透镜等的情况下对被摄体进行成像并且获得与成像图像相关的数据，因此通过使其像素能够检测远红外光，可以抑制制造成本的增加。即，可以以较低的成本对远红外光进行成像(可以以较低的成本获得热成像图)。注意的是，在成像元件121(其像素)对不可见光敏感的情况下，复原图像不是用户可以从视觉上识别被摄体的图像，而是用户不能从视觉上识别被摄体的图像。换句话说，复原图像可以是可见光的图像或不可见光(例如，(远)红外光、紫外光等)的图像。

<入射角度方向性>

成像元件121具有多个像素输出单位，所述多个像素输出单位接收不通过成像透镜或者针孔而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号。例如，成像元件121具有使得多个像素输出单位中的至少两个像素输出单位的输出像素值的入射角度方向性(其指示相对于来自被摄体的入射光的入射角度的方向性)彼此有不同的配置。即，在这种情况下，成像元件121可以获得用于多个像素输出单位的检测信号(多个像素输出单位检测信号)以及检测信号彼此不同的至少两个像素输出单位的指示相对于入射光的入射角度的方向性的入射角度方向性。

在此，“入射角度方向性”是指与入射光的入射角度对应的光接收灵敏度特性，即，相对于入射光的入射角度的检测灵敏度。例如，即使入射光具有相同的光强度，检测灵敏度也可以根据其入射角度而改变。检测灵敏度的这种偏差(包括没有偏差的情况)将被称为“入射角度方向性”。

例如，在具有彼此相同的光强度的入射光以彼此相同的入射角度入射在其两个像素输出单位的物理部件上时，像素输出单位的检测信号的信号电平(检测信号电平)可以具有彼此不同的值。成像元件121(每个像素输出单位)具有带有这种特性的物理部件。

可以通过任何方法来实现这种入射角度方向性。例如，可以通过在成像元件的光电转换元件(光电二极管等)的正面(光入射侧)提供遮光膜等来实现入射角度方向性，该成像元件的基本结构类似于包括常见成像元件，诸如互补金属氧化物半导体(cmos)图像传感器。

如果仅用包括具有相同入射角度方向性的像素的一般成像元件执行成像，那么具有基本相同光强度的光入射在成像元件的所有像素上，并且不能获得形成了图像的被摄体的图像。因而，一般而言，在成像元件的前面(在光入射侧)提供有成像透镜或针孔。例如，通过提供成像透镜，可以将来自被摄体平面的光在成像元件的成像表面上形成图像。因此，成像元件可以获得在每个像素处具有与形成了图像的被摄体的图像对应的电平的检测信号(即，可以获得被成像被摄体的成被像图像)。但是，在这种情况下，尺寸在物理上增大，并且可能难以减小设备的尺寸。另外，在提供有针孔的情况下，虽然与提供成像透镜的情况相比可以减小尺寸，但是由于入射在成像元件上的光量减少，因此诸如增加曝光时间或增加增益之类的措施是必要的，并且有可能在被摄体的高速成像中容易出现模糊，或者颜色表现不自然。

另一方面，成像元件121具有入射角度方向性，其中像素的检测灵敏度彼此不同，如图5的左上部所示。即，对于每个像素，与入射光的入射角度对应的光接收灵敏度特性是不同的。但是，不必所有像素的光接收灵敏度特性都完全不同，并且一部分像素可以包括具有相同光接收灵敏度特性的像素，并且一部分像素可以具有不同的光接收灵敏度特性。

在假设构成被摄体平面131的光源是点光源的情况下，在成像元件121中，从相同点光源发射的具有相同光强度的光束入射在所有像素上，但以不同的入射角度入射到每个像素上。然后，由于成像元件121的相应像素具有彼此不同的入射角度方向性，因此以彼此不同的灵敏度来检测具有相同光强度的光束。即，针对每个像素检测具有不同信号电平的检测信号。

更具体而言，由表示根据入射角度的光接收灵敏度的系数表述根据在成像元件121的每个像素处接收的入射光的入射角度的灵敏度特性，即，根据在每个像素处的入射角度的入射角度方向性，并且可以通过乘以与根据入射光的入射角度设置的系数来获得每个像素中根据入射光的检测信号的信号电平(也称为检测信号电平)。

更具体而言，如图5的左上部所示，在位置pa、pb，pc处的检测信号电平da、db，dc分别由以下等式(1)至(3)表示。

da＝α1×a+β1×b+γ1×c…(1)

db＝α2×a+β2×b+γ2×c…(2)

dc＝α3×a+β3×b+γ3×c…(3)

在此，α1是系数，其根据要在成像元件121上的位置pa处恢复的来自点光源pa的光束在被摄体平面131上的入射角度来设置。β1是系数，其根据要在成像元件121上的位置pa处恢复的来自点光源pb的光束在被摄体平面131上的入射角度来设置。γ1是系数，其根据要在成像元件121上的位置pa处恢复的来自点光源pc的光束在被摄体平面131上的入射角度来设置。

如方程(1)中所描述的，位置pa处的检测信号电平da由来自位置pa处的点光源pa的光束的光强度“a”与系数α1的乘积、自在位置pa处的点光源pb的光束的光强度“b”与系数β1的乘积以及来自位置pa处的点光源pc的光束的光强度“c”与系数γ1的乘积之和(复合值)表述。在下文中，将系数αx、βx和γx(x是自然数)统称为系数集。

类似地，方程(2)的系数集α2、β2、γ2是根据要在成像元件121上的位置pb处恢复的来自点光源pa、pb、pc的光束在被摄体平面131上的入射角度而设置的系数集。即，如上述方程(2)中那样，位置pb处的检测信号电平db由来自位置pb处的点光源pa的光束的光强度“a”与系数α2的乘积、来自位置pb处的点光源pb的光束的光强度“b”与系数β2的乘积以及来自位置pb处的点光源pb的光束的光强度“c”与系数γ2的乘积之和(复合值)表述。另外，方程(3)的系数集α3、β3、γ3是根据要在成像元件121上的位置pc处恢复的来自点光源pa、pb、pc的光束入射到被摄体平面131上的光束的入射角度而设置的系数。即，如上述方程(3)中那样，位置pc处的检测信号电平dc由来自位置pc处的点光源pa的光束的光强度“a”与系数α3的乘积、来自位置pc处的点光源pb的光束的光强度“b”与系数β3的乘积以及来自位置pc处的点光源pc的光束的光强度“c”与系数γ3的乘积之和(复合值)表述。

如上所述，因为从点光源pa、pb、pc中的每一个发射的光束的光强度被混合，所以这些检测信号电平与其中形成被摄体的图像的检测信号电平不同。即，图5的右上部中所示的检测信号电平不是与其上形成有被摄体的图像的图像(被成像图像)对应的检测信号电平，因此与图5的右下部中所示的像素值不同(一般两者不匹配)。

但是，通过使用这些系数集α1、β1、γ1、系数集α2、β2、γ2和系数集α3、β3、γ3以及检测信号电平da、db、dc，并通过求解上述方程(1)至(3)的联立方程，其中a、b、c为变量，可以获得如图5的右下部所示的相应位置pa、pb、pc处的像素值。因此，恢复了作为像素值的集合的复原图像(其中形成有被摄体的图像的图像)。

利用这种配置，成像元件121在至少两个像素输出单位中具有彼此不同的入射角度方向性，而不需要成像透镜、包括衍射光栅等的滤光器、针孔等。因此，成像透镜、包括衍射光栅等的滤光器、针孔等不是必需的部件，因此变得有可能在实现成像功能的配置中减小成像设备的高度，即，光的入射方向上的厚度。

<入射角度方向性的形成>

图6的左部图示了一般成像元件的像素阵列单元的一部分的正视图，并且图6的右部图示了成像元件121的像素阵列单元的一部分的正视图。注意的是，图6图示了像素阵列单元的水平方向×垂直方向上的像素数的设置分别为6像素×6像素的情况的示例，但是像素数的设置不限于此。

入射角度方向性例如可以由遮光膜形成。示出在一般成像元件151中，如图6的左部的示例中，具有相同入射角度方向性的像素151a被布置为阵列。另一方面，在图6的右部的示例中的成像元件121设有作为调制元件之一的遮光膜121b，以覆盖每个像素121a中光电二极管的光接收区块的一部分，并且入射在每个像素121a上的入射光根据入射角度被光学调制。然后，例如，通过为每个像素121a提供在不同范围内的遮光膜121b，对于每个像素121a，相对于入射光的入射角度的光接收灵敏度不同，并且每个像素121a具有不同的入射角度方向性。

例如，在像素121a-1和像素121a-2中，通过设置的遮光膜121b-1和遮光膜121b-2对像素进行遮光的范围不同(遮光区域(位置)和遮光区块中的至少一个不同)。即，在像素121a-1中，提供有遮光膜121b-1，以使光电二极管的光接收区块中的左部预定宽度被遮光，并且在像素121a-2中，提供有遮光膜121b-2，以使光接收区块的右部一定宽度被遮光，该宽度在水平方向上比遮光膜121b-1宽。在另一个像素121a中，类似地，提供有遮光膜121b，以使每个像素中光接收区块中的不同范围被遮光，并且被随机地部署在像素阵列中。

注意的是，因为覆盖每个像素的光接收区块的比例越大，可以接收的光量越少，所以将遮光膜121b的范围期望地设置为可以确保期望光量的区块。例如，可以添加限制，使得遮光膜121b的面积最大为能够接收光的整个范围的大约3/4。利用这种配置，变得有可能确保等于或大于期望量的光量。但是，如果每个像素被提供有与要接收的光的波长对应的宽度的非遮蔽范围，那么有可能接收最小量的光。即，例如，在蓝色像素(b像素)的情况下，波长约为500nm，并且只要其遮光度不等于或大于与这个波长对应的宽度，就可以接收最小量的光。

<成像元件的配置示例>

将参考图7描述在这种情况下的成像元件121的配置示例。图7的上部是成像元件121的横截面侧视图，并且图7的中部是成像元件121的顶视图。另外，图7的上部的横截面侧视图是图7的中部的ab截面。此外，图7的下部是成像元件121的电路配置示例。

具有图7中所示配置的成像元件121包括多个像素输出单位，所述多个像素输出单位接收不通过成像透镜或者针孔而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号。例如，这个成像元件121具有使得多个像素输出单位中的至少两个像素输出单位的输出像素值的入射角度方向性(其指示相对于来自被摄体的入射光的入射角度的方向性)彼此有不同的特性。另外，在这种情况下的成像元件121中，其多个像素输出单位具有以下配置：在每个像素输出单位中可独立地设置指示相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性。

在图7的上部中的成像元件121中，入射光从图中的上侧进入下侧。相邻的像素121a-15、121a-16是所谓的背照式，其中在附图的最下层中提供有布线层z12，并且在其上提供有光电转换层z11。

注意的是，在没必要区分像素121a-15、121a-16的情况下，像素121a-15、121a-16被简单地称为像素121a，并且其它部件也被类似地提到。另外，在图7中，存在具有构成成像元件121的像素阵列的两个像素的侧视图和顶视图，但是不用说，布置了更多的像素121a，但是从图示中省略了。

而且，像素121a-15、121a-16在光电转换层z11中分别包括光电二极管121e-15、121e-16。另外，在光电二极管121e-15、121e-16上，分别从上方形成片上透镜121c-15、121c-16和滤色器121d-15、121d-16。

片上透镜121c-15、121c-16将入射光收集在光电二极管121e-15、121e-16上。

滤色器121d-15、121d-16例如是透射具有特定波长的光的滤光器，所述特定波长例如为红色、绿色、蓝色、红外和白色。注意的是，在白色的情况下，滤色器121d-15、121d-16可以是或可以不是透明滤色器。

在像素121a-15、121a-16的光电转换层z11中，在像素之间的边界处分别形成遮光膜121p-15至121p-17，以抑制相邻像素之间的串扰。

另外，如图7的上部和中部中所示，作为调制元件之一的遮光膜121b-15、121b-16使光接收表面s的一部分被遮光。由于光接收表面s的一部分被遮光膜121b遮蔽，因此入射在像素121a上的入射光根据入射角度而被光学调制。由于像素121a检测到经光学调制的入射光，因此像素121a具有入射角度方向性。在像素121a-15、121a-16中的光电二极管121e-15、121e-16的光接收表面s上，不同的范围分别被遮光膜121b-15、121b-16遮光，并且因此在每个像素中设置不同的入射角度方向性。但是，遮光范围不限于在成像元件121的所有像素121a的每一个中不同的情况，并且可以存在其中相同范围的一部分被遮光的像素121a。

利用图7的上部中所示的配置，遮光膜121p-15的右端部分和遮光膜121b-15的上端部分连接，并且遮光膜121b-16的左端部分和遮光膜121p-16的上端部分连接，从而从侧面看形成l形。

而且，遮光膜121b-15至121b-17和遮光膜121p-15至121p-17包括金属，并且包括例如钨(w)、铝(al)或al和铜(cu)的合金。另外，遮光膜121b-15至121b-17和遮光膜121p-15至121p-17可以使用与配线相同的金属通过在半导体工艺中形成配线的相同工艺来形成。注意的是，取决于位置，遮光膜121b-15至121b-17和遮光膜121p-15至121p-17的厚度不必相同。

另外，如图7的下部中所示，像素121a包括光电二极管161(与光电二极管121e对应)、转移晶体管162、浮动扩散(fd)单元163、选择晶体管164、放大晶体管165和复位晶体管166，并且经由垂直信号线167连接到电流源168。

在光电二极管161中，阳极电极分别接地，并且阴极电极经由转移晶体管162分别连接到放大晶体管165的栅极。

转移晶体管162均根据转移信号tg被驱动。例如，当供应给转移晶体管162的栅极电极的转移信号tg为高电平时，转移晶体管162导通。因此，光电二极管161中累积的电荷经由转移晶体管162转移到fd单元163。

放大晶体管165是源极跟随器的输入单元，该源极跟随器是读出电路，其读出通过光电二极管161中的光电转换获得的信号，并且将与fd单元163中累积的电荷对应的电平的像素信号输出到垂直信号线23。换句话说，放大晶体管165的漏极端子连接到电源电压vdd，并且源极端子连接到垂直信号线167，其间插入有选择晶体管164，从而形成源极跟随器，电流源168连接到垂直信号线167的一端。

浮动扩散(fd)单元163是具有在转移晶体管162和放大晶体管165之间提供的电荷电容c1的浮动扩散区域，并且临时累积从光电二极管161经由转移晶体管162转移的电荷。fd单元163是将电荷转换成电压的电荷检测单元，并且fd单元163中累积的电荷在放大晶体管165中被转换成电压。

选择晶体管164根据选择信号sel被驱动，并且在供应给栅极电极的选择信号sel变为高电平时导通，并且连接放大晶体管165和垂直信号线167。

根据复位信号rst来驱动复位晶体管166。例如，当供应给栅极电极的复位信号rst变为高电平时，复位晶体管166导通，将fd单元163中累积的电荷放电到电源电压vdd，并使fd单元163复位。

利用如上所述电路配置，图7的下部中所示的像素电路如下操作。

即，作为第一操作，复位晶体管166和转移晶体管162导通，在fd单元163中累积的电荷被放电到电源电压vdd，并且fd单元163被复位。

作为第二操作，复位晶体管166和转移晶体管162截止，曝光时段开始，并且与入射光量对应的电荷由光电二极管161累积。

作为第三操作，在复位晶体管166导通并且fd单元163复位之后，复位晶体管166截止。通过这个操作，fd单元163被复位并且被设置为参考电位。

作为第四操作，处于复位状态的fd单元163的电位作为参考电位从放大晶体管165输出。

作为第五操作，转移晶体管162导通，并且光电二极管161中累积的电荷被转移到fd单元163。

作为第六操作，光电二极管的电荷被转移到的fd单元163的电位作为信号电位从放大晶体管165输出。

通过上述处理，从信号电位减去参考电位，并通过相关双采样(cds)将其作为检测信号输出。这个检测信号的值(输出像素值)根据来自被摄体的入射光的入射角度进行调制，并且根据入射角度而特性(方向性)不同(具有入射角度方向性)。

如上所述，在图7的情况下，每个像素121a都设有一个光电二极管121e，在每个像素121a中不同范围被遮光膜121b遮光，并且针对具有入射角度方向性的检测图像的一个像素的检测信号可以使用遮光膜121b通过光学调制由一个像素121a来表述。

<成像元件的另一个配置示例>

另外，入射角度方向性例如可以由光接收元件(例如，光电二极管)的像素中的位置、尺寸、形状等形成。具有彼此不同参数的像素对来自相同方向的具有相同光强度的入射光具有不同的灵敏度。即，通过为每个像素设置这些参数，可以为每个像素设置入射角度方向性。

例如，可以在像素中提供并选择性地使用多个光接收元件(例如，光电二极管)。以这种方式，可以通过选择光接收元件来为每个像素设置入射角度方向性。

图8是图示成像元件121的另一个配置示例的图。图8的上部图示了成像元件121的像素121a的横截面侧视图，图8的中部图示了成像元件121的顶视图。另外，图8的上部的横截面侧视图是图8的中部的ab截面。此外，图8的下部是成像元件121的电路配置示例。

具有图8中所示配置的成像元件121包括多个像素输出单位，所述多个像素输出单位接收不通过成像透镜或者针孔而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号。例如，这个成像元件121具有使得多个像素输出单位中的至少两个像素输出单位的输出像素值的入射角度方向性(其指示相对于来自被摄体的入射光的入射角度的方向性)是彼此不同的特性的配置。另外，在这种情况下的成像元件121中，其多个像素输出单位具有彼此不同的光电二极管(pd)，它们有助于输出，因此入射角度方向性指示输出像素值相对于来自被摄体的入射光的入射角度的方向性可在每个像素输出单位中独立设置。

如图8中所示，成像元件121具有与图8的成像元件121不同的配置，在于在像素121a中形成四个光电二极管121f-1至121f-4，并且遮光膜121p在将光电二极管121f-1至121f-4彼此分离的区域中形成。具体而言，在图8的成像元件121中，当从上方观察时，遮光膜121p以“+”形形成。注意的是，其公共部件由相同的附图标记给出，并且将省略其详细描述。

在如图8所示配置的成像元件121中，通过由遮光膜121p分离成光电二极管121f-1至121f-4，可以防止光电二极管121f-1至121f-4之间的电和光串扰。即，类似于图4中的成像元件121的遮光膜121p，图5中的遮光膜121p用于防止串扰并且不用于提供入射角度方向性。

虽然稍后将描述细节，但是光电二极管121f-1至121f-4具有彼此不同的入射角度，在该入射角度处，光接收灵敏度特性高。即，取决于从光电二极管121f-1至121f-4中的哪个读出电荷，可以将期望的入射角度方向性赋予像素121a的输出像素值。即，可以控制像素121a的输出像素值的入射角度方向性。

在图8中的成像元件121的配置示例中，一个fd单元163被四个光电二极管121f-1至121f-4共享。图8的下部图示了电路配置示例，其中一个fd单元163由四个光电二极管121f-1至121f-4共享。注意的是，在图8的下部中，将省略对与图7的下部相同的配置的描述。

在图8的下部中，与图7的下部的电路配置的不同之处在于光电二极管161-1至161-4(与图8的上部中的光电二极管121f-1至121f-4对应)并且代替光电二极管161和转移晶体管162而设置有转移晶体管162-1至162-4，并且共享fd单元163。

在图8的下部所示的电路中，在不必将光电二极管161-1至161-4彼此区分开以描述它们的情况下，它们被称为光电二极管161。另外，在不必将转移晶体管162-1至162-4彼此区分开来描述它们的情况下，它们被称为转移晶体管162。

在图8的下部所示的电路中，如果转移晶体管162中的任何一个导通，那么与转移晶体管162对应的光电二极管161的电荷被读出并转移到公共fd单元163。然后，在像素输出单位中，读出与fd单元163中保持的电荷水平对应的信号作为检测信号。即，可以彼此独立地读出每个光电二极管161的电荷，并且可以控制从中读出电荷的光电二极管161，由此转移晶体管162导通。换句话说，可以控制每个光电二极管161对输出像素值的贡献程度，由此转移晶体管162导通。例如，通过使从其读取电荷的光电二极管161在至少两个像素之间彼此不同，可以使得对输出像素值有贡献的光电二极管161彼此不同。即，通过选择读出电荷的光电二极管161，可以将期望的入射角度方向性赋予像素121a的输出像素值。即，从每个像素121a输出的检测信号可以是根据来自被摄体的入射光的入射角度调制的值(输出像素值)。

例如，在图8中，通过将光电二极管121f-1和光电二极管121f-3的电荷转移到fd单元163并相加通过读出它们分别获得的信号，在图中的左右方向上的入射角度方向性可以赋予像素121a的输出像素值。类似地，通过将光电二极管121f-1和光电二极管121f-2的电荷转移到fd单元163并相加通过读出它们分别获得的信号，可以将图中的上下方向上的入射角度方向性赋予像素121a的输出像素值。

注意的是，基于图8中的像素121a的每个光电二极管121f的电荷获得的信号可以在从像素中读出之后被添加，或者可以在像素内被添加(例如，fd单元163)。

另外，用于添加电荷(或与电荷对应的信号)的光电二极管121f的组合是任意的，并且不限于以上示例。例如，可以添加三个或更多个光电二极管121f的电荷(或与电荷对应的信号)。另外，例如，可以在不执行相加的情况下读出一个光电二极管121f的电荷。

注意的是，在通过使用电子快门功能等将电荷读出到fd单元163之前，可以通过复位累积在光电二极管161(光电二极管121f)中的检测值(电荷)将期望的入射角度方向性赋予像素121a(的检测灵敏度)。

例如，在使用电子快门功能的情况下，如果紧接在将光电二极管121f的电荷读出到fd单元163之前执行复位，那么光电二极管121f可以处于对检测信号电平没有贡献的状态，并且如果在复位和读出到fd单元163之间给出时间，那么可以做出部分贡献。

如上所述，图8中的像素121a在每个像素上提供有四个光电二极管121f，并且遮光膜121b未在光接收表面上形成。但是，遮光膜121p将像素划分为多个区域以形成四个光电二极管121f-1至121f-4，从而表述具有入射角度方向性的检测图像的一个像素的检测信号。换句话说，例如，对输出无贡献的光电二极管121f-1至121f-4的范围具有类似于遮光范围的功能，并且表述具有入射角度方向性的检测图像的一个像素的检测信号。注意的是，在使用光电二极管121f-1至121f-4表述用于一个像素的检测信号的情况下，由于未使用遮光膜121b，因此该检测信号不是通过光学调制获得的信号。

上面已经描述了在像素中布置四个光电二极管的示例，但是布置在像素中的光电二极管的数量是任意的，并且不限于上述示例。即，在像素中布置光电二极管的部分区块的数量也是任意的。

另外，虽然在以上描述中将光电二极管描述为布置在通过将像素的内部均等地划分为四个部分而获得的四个部分区块中，但是不必将部分区块均等地划分。即，不必将相应部分区块的尺寸和形状全部统一(可以包括尺寸和形状彼此不同的部分区块)。可替代地，对于每个光电二极管(每个部分区块)，布置在每个部分区块中的光电二极管的位置(在局部区域中的位置)、尺寸、形状等可以不同。此时，相应部分区块的尺寸和形状可以全部统一或可以不统一。

而且，不必对于成像元件121的所有像素统一这些参数。即，在成像元件121的一个或多个像素中，这些参数中的一个或多个可以与其它像素的参数不同。

例如，在成像元件121的像素组中可以包括这样的像素，在该像素中用于形成像素中布置有光电二极管的部分区块的划分位置与其它像素不同。即，成像元件121可以包括一个或多个像素，其中部分区块具有与其它像素不同的尺寸和形状。例如，即使通过使每个像素的划分位置不同而在多个像素中仅使用左上方的光电二极管，也可以使在多个像素中分别检测出的检测信号的入射角度方向性彼此不同。

另外，例如，成像元件121的像素组可以包括这样的像素，在该像素中，布置在该像素中的多个光电二极管的位置、尺寸、形状等与其它像素不同。即，成像元件121可以包括一个或多个像素，其中布置的多个光电二极管的位置，尺寸和形状中的至少一个与其它像素的像素不同。例如，即使通过使每个像素的光电二极管的位置、尺寸、形状等不同而使得在多个像素中仅使用左上方的光电二极管，也可以使在多个像素中分别检测出的检测信号的入射角度方向性彼此不同。

此外，例如，可以提供一个或多个像素，其中部分区块的参数(尺寸、形状)和光电二极管的参数(位置、尺寸、形状)都不同于其它像素。

另外，例如，在成像元件121的像素组中可以包括这样的像素，在该像素中，用于形成像素中布置有光电二极管的部分区块的划分数量不同于其它像素。即，成像元件121可以包括一个或多个像素，其中布置的光电二极管的数量不同于其它像素。例如，通过使每个像素的划分的数量(光电二极管的数量)不同，可以更自由地设置入射角度方向性。

<生成入射角度方向性的原理>

例如，根据图9所示的原理来生成成像元件121中的每个像素的入射角度方向性。注意的是，图9的左上部和右上部是描述在图7的成像元件121中生成入射角度方向性的原理的图，并且图9的左下部和右下部是描述图8的成像元件121中的入射角度方向性的生成原理的图。

另外，图9中的左上部和右上部两者中的一个像素包括一个光电二极管121e。另一方面，图9中的左下部和右下部两者中的一个像素包括两个光电二极管121f。注意的是，在此，描述了一个像素包括两个光电二极管121f的示例，但这是为了便于描述，并且构成一个像素的光电二极管121f的数量可以是另一个数量。

在图9的左上部中，形成遮光膜121b-11，以便当入射光从图中的上侧进入到下侧时，使光电二极管121e-11的光接收表面的右半部分被遮光。另外，在图9的右上部中，形成遮光膜121b-12，以使光电二极管121e-12的光接收表面的左半部分被遮光。注意的是，图中的点划线指示图中的水平方向上的光电二极管121e的光接收表面的中心位置和垂直于光接收表面的方向。

例如，在图9的左上部所示配置的情况下，来自图中的右上方向的由相对于图中的点划线形成入射角度θ1的箭头指示的入射光容易在未被光电二极管121e-11的遮光膜121b-11遮光的左半范围中被接收，而来自图中的左上方向的由相对于图中的点划线形成入射角度θ2的箭头指示的入射光难以在未被光电二极管121e-11的遮光膜121b-11遮光的左半范围中被接收。因此，在图9的左上部中所示配置的情况下，提供了这样的入射角度方向性，即，对于来自图中右上方向的入射光，光接收灵敏度特性高，并且对于来自左上方向的入射光，光接收灵敏度特性低。

另一方面，例如，在图9的右上部所示配置的情况下，来自图中右上方向的由相对于图中的点划线形成入射角度θ11的箭头指示的入射光难以在被光电二极管121e-12的遮光膜121b-12遮光的左半范围中被接收，而来自图中左上方向的由相对于图中的点划线形成入射角度θ12的箭头指示的入射光容易在未被光电二极管121e-12的遮光膜121b-12遮光的左半范围中被接收。因此，在图9的右上部中所示配置的情况下，提供了这样的入射角度方向性，即，对于来自图中的右上方向的入射光，光接收灵敏度特性低，并且对于来自左上方向的入射光，光接收灵敏度特性高。

另外，在图9的左下部的情况下，在该图的左侧和右侧提供了光电二极管121f-1、121f-2，并且通过读出任一光电二极管的检测信号在不提供遮光膜121b的情况下提供入射角度方向性。

具体而言，如图9的左下部中所示，在两个光电二极管121f-1、121f-2在像素121a中形成的情况下，通过使在图中左侧提供的光电二极管121f-1的检测信号对这个像素121a的检测信号电平有贡献，有可能提供与图9的左上部中的配置相似的入射角度方向性。即，来自图中右上方向的由相对于图中的点划线形成入射角度θ21的箭头指示的入射光入射在光电二极管121f-1上并被接收，并且其检测信号被读出并对这个像素121a的检测信号电平有贡献。另一方面，来自图中左上方向的由相对于图中的点划线形成入射角度θ22的箭头指示的入射光入射在光电二极管121f-2上并被接收，并且其检测信号未被读出并对这个像素121a的检测信号电平没有贡献。

类似地，如图9的右下部中所示，在两个光电二极管121f-11、121f-12在像素121a中形成的情况下，通过使在像素121a左侧提供的光电二极管121f-12的检测信号对这个像素121a的检测信号电平有贡献，有可能提供与图9的右上部中的配置相似的入射角度方向性。即，来自图中右上方向的由相对于图中的点划线形成入射角度θ31的箭头指示的入射光入射在光电二极管121f-11上，但是未读出其检测信号并且对这个像素121a的检测信号电平没有贡献。另一方面，来自图中左上方向的由相对于图中的点划线形成入射角度θ32的箭头指示的入射光入射在光电二极管121f-12上并被接收，并且其检测信号被读出并且对这个像素121a的检测信号电平有贡献。

注意的是，在图9中，已经描述了图中在光电二极管121e的光接收表面的垂直方向上的点划线是水平方向上的中心位置的示例，但这是为了便于描述并且可以采用了一个位置。通过使遮光膜121b在水平方向上的不同位置在垂直方向上由点划线指示，可以生成不同的入射角度方向性。

<关于包括片上透镜的配置中的入射角度方向性>

上面已经描述了入射角度方向性的生成原理。在此，将描述在包括片上透镜121c的配置中的入射角度方向性。

即，除了上述遮光膜121b之外，例如还通过使用片上透镜121c，如图10中所示，设置成像元件121中的每个像素的入射角度方向性。即，在图10的左中部分，收集来自图的上部中的入射方向的入射光的片上透镜121c-11、使具有预定波长的光透射的滤色器121d-11以及通过光电转换生成像素信号的光电二极管121e-11按这个次序堆叠，并且在图10的右中部分，片上透镜121c-12、滤色器121d-12和光电二极管121e-12从图的上部中的入射方向按这个次序提供。

注意的是，在不必区分片上透镜121c-11、121c-12、滤色器121d-11、121d-12以及光电二极管121e-11、121e-12的情况下，它们将被简称为片上透镜121c、滤色器121d和光电二极管121e。

成像元件121还设有使接收入射光的区块的一部分遮光的遮光膜121b-11、121b-12，如图10的左中部和右中部所示。

如图10的左中部所示，在提供了使图中的光电二极管121e-11的右半部分被遮光的遮光膜121b-11的情况下，光电二极管121e-11的检测信号电平随入射光的入射角度θ而改变，如图10的上部中的实线波形所指示的。

具体而言，如果通过入射光形成的角度的入射角度θ相对于位于光电二极管121e和片上透镜121c的中心位置并且垂直于它们的点划线增大(如果入射角度θ在正方向上增加(如果在图中向右倾斜))，那么在没有提供遮光膜121b-11的范围内聚光，因此，检测信号电平光电二极管121e-11增加。相反，入射角度θ越小(负方向上的入射角度θ越大(如果在图中向左倾斜))，那么在提供遮光膜121b-11的范围内收集的光更多，因此光电二极管121e-11的检测信号电平减小。

注意的是，在入射光的方向与点划线匹配的情况下，在此提到的入射角度θ被假设为0度，在图10的左中侧来自该图中右上方的入射光入射的入射角度θ21侧上的入射角度θ被假设为正值，而图10的右中侧的入射角度θ22侧的入射角度θ被假设为负值。因此，在图10中，从右上方入射在片上透镜121c上的入射光具有比从左上方入射的入射光更大的入射角度。即，在图10中，入射角度θ随着入射光的行进方向向右倾斜而增加(正向增加)，并且随着入射光的向左倾斜而减小(负向增加)。

另外，如图10的右中部所示，在提供了使图中的光电二极管121e-12的左半部分被遮光的遮光膜121b-12的情况下，光电二极管121e-12的检测信号电平根据入射光的入射角度θ而改变，如图10的上部中的点线波形所指示的。

具体而言，如图10的上部中的点线波形所示，入射角度θ(该入射角度θ是由入射光相对于位于光电二极管121e和片上透镜121c的中心位置并且垂直于它们中的每一个的点划线所形成的角度)越大(正方向上的入射角度θ越大)，在提供有遮光膜121b-12的范围内收集的光越多，因此光电二极管121e-12的检测信号电平减小。相反，入射角度θ越小(负方向上的入射角度θ越大)，那么光进入没有提供遮光膜121b-12的范围越多，因此光电二极管121e-12的检测信号电平增加。

注意的是，在图10的上部，横轴表示入射角度θ，而纵轴表示光电二极管121e中的检测信号电平。

由于可以根据遮光膜121b的范围来改变由实线和点线指示的指示与图10的上部所示的入射角度θ对应的检测信号电平的波形，由此变得有可能以像素单位给出(设置)彼此不同的入射角度方向性。注意的是，图10的上部中的实线波形与指示在改变图10的左中部和左下部中的入射角度θ的同时收集入射光的实线箭头对应。另外，图10的上部中的点线波形与指示在改变图10的中右部和右下部中的入射角度θ的同时收集入射光的点线箭头对应。

这里提到的入射角度方向性是与入射角度θ对应的每个像素的检测信号电平的特性(光接收灵敏度特性)，但是在图10的中部的示例的情况下，可以说这是根据入射角度θ的遮光值的特性。即，遮光膜121b以高水平遮蔽特定方向上的入射光，但是不能充分遮蔽来自除该特定方向以外的其它方向的入射光。如图10的上部中所示，遮光能力水平的这种改变生成与入射角度θ对应的不同检测信号电平。因此，如果将能够在每个像素中以最高水平遮蔽光的方向定义为每个像素的遮光方向，那么在像素单位中具有彼此不同的入射角度方向性换句话说就意味着在像素单位中具有彼此不同的遮光方向。

此外，如图10的左下部中所示，通过为一个片上透镜121c-11提供两个光电二极管121f-1、121f-2(像素输出单位包括两个光电二极管121f-1、121f-2)从而仅使用图的左部中的光电二极管121f-1的检测信号，有可能获得与在图10的左中部的光电二极管121e-11的右侧被遮光的状态相同的检测信号电平。

具体而言，如果作为由入射光形成的角度的入射角度θ相对于位于片上透镜121c的中心位置并且垂直于它们中的每一个的点划线增加(如果入射角度θ在正方向上增加)，那么在读出检测信号的光电二极管121f-1的范围内收集光，因此检测信号电平增加。相反，入射角度θ越小(入射角度θ在负方向上越大)，在未读出检测值的光电二极管121f-2的范围内收集的光越多，因此检测信号电平减小。

另外，类似地，如图10的右下部中所示，通过为一个片上透镜121c-12提供两个光电二极管121f-11、121f-12以便仅使用在图的右部中的光电二极管121f-12的检测信号，有可能获得与在图10的右中部分的光电二极管121e-12的左侧被光的状态下相同的检测信号电平的输出像素单位的检测信号。

具体而言，如果作为由入射光形成的角度的入射角度θ相对于位于片上透镜121c的中心位置并且垂直于它们中的每一个的点划线增加(如果入射角度θ在正方向上增加)，那么在光电二极管121f-11的范围内收集光，在该范围中检测信号对输出像素单位的检测信号没有贡献，因此输出像素单位的检测信号的检测信号电平减少。相反，入射角度θ越小(入射角度θ在负方向上越大)，在检测信号对输出像素单位的检测信号有贡献的光电二极管121f-12的范围内光被收集的越多，因此输出像素单位的检测信号的检测信号电平增加。

注意的是，期望入射角度方向性具有高随机性。这是因为，例如，如果相邻像素具有相同的入射角度方向性，那么上述方程(1)至(3)或稍后描述的方程(4)至(6)可以变为彼此相同的方程，不能满足未知数的数量和要作为联立方程的解的方程的数量之间的关系，并且可能无法获得构成复原图像的像素值。另外，在图10的中部所示的配置中，在像素121a中形成一个光电二极管121e-11和一个光电二极管121e-12。另一方面，在图10的下部所示的配置中，在像素121a中形成两个光电二极管121f-1和121f-2以及光电二极管121f-11和121f-12。因此，例如，在图10的下部，单个光电二极管121f不构成一个像素。

另外，如图10的下部中所示，在一个像素输出单位包括多个光电二极管121f的情况下，可以认为根据入射角度调制了像素输出单位的输出像素值。因此，对于每个像素输出单位，可以使输出像素值的特性(入射角度方向性)不同，并且设置一个像素输出单位中的入射角度方向性。此外，在一个像素输出单位包括多个光电二极管121f的情况下，一个片上透镜121c对于一个像素输出单位是必要的部件，以便在一个像素输出单位中生成入射角度方向性。

另外，如图10的上部中所示，在一个光电二极管121e-11或光电二极管121e-12中的每一个构成一个像素输出单位的情况下，通过根据入射角度调制到构成一个像素输出单位的一个光电二极管121e-11或光电二极管121e-12的入射光，因此输出像素值被调制。因此，可以使输出像素值的特性(入射角度方向性)不同，并以一个像素输出单位设置入射角度方向性。此外，在一个光电二极管121e-11或光电二极管121e-12中的每一个构成一个像素输出单位的情况下，通过在制造中为每个像素输出单位提供的遮光膜121b，独立地设置入射角度方向性。

另外，如图10的下部中所示，在一个像素输出单位包括多个光电二极管121f的情况下，用于在每个一个像素输出单位中设置入射角度方向性的多个光电二极管121f的数量(构成一个像素输出单位的光电二极管121f的划分的数量)及其位置在制造中在一个像素输出单位中被独立地设置，并且在成像时可以切换其中的哪个光电二极管121f用于设置入射角度方向性。

<入射角度方向性的设置>

例如，如图11的上部所示，遮光膜121b的设置范围是从像素121a中的左端到水平方向上的位置a的范围以及垂直方向上从上端到位置b的范围。

在这种情况下，根据从每个像素的水平方向上的中心位置的入射角度θx(度)设置用作入射角度方向性的指标的水平方向上0至1的权重wx。更具体而言，假设针对入射角度θx＝与位置a对应的θa的权重wx为0.5，设置权重wh以使得权重wx对于入射角度θx<θa-α为1，并且权重wx对于在θa-α≤入射角度θx≤θa+α为(-(θx-θa)/2α+1/2)，并且权重wx对于入射角度θx>θa+α为0。注意的是，在此将描述其中权重wh为0、0.5、1的示例；但是，当满足理想条件时，权重wh变为0、0.5、1。

类似地，根据从每个像素的垂直方向上的中心位置的入射角度θy(度)设置在垂直方向上0至1的权重wy，该权重wy用作入射角度方向性的指标。更具体而言，假设权重wv对于与位置b对应的入射角度θy＝θb为0.5，权重wy被设置为使得权重wy对于入射角度θy<θb-α为0，权重wy对于θb-α≤入射角度θy≤θb+α为((θy-θb)/2α+1/2)，并且权重wy对于入射角度θy>θb+α为1。

然后，通过使用如此获得的权重wx、wy，可以获得每个像素121a的入射角度方向性，即，与光接收灵敏度特性对应的系数(设置的系数)。

另外，此时，可以通过使用具有不同焦距的片上121c来设置指示在水平方向上的权重wx和在垂直方向上的权重wy在0.5附近的范围内的权重改变的倾斜度(1/2α)。

换句话说，通过使用具有不同曲率的片上透镜121c可以提供不同的焦距。

例如，通过使用具有不同曲率的片上透镜121c，如图11的下部的实线所示，在光被收集以使焦距位于遮光膜121b上的情况下，倾斜度(1/2α)变得陡峭。即，在图11的上部中，水平方向上的权重wx和垂直方向上的权重wy在水平方向上的入射角度θx＝θa和垂直方向上的入射角度θy的＝θb处的边界附近突然变为0或1，其中它们接近0.5。

另外，例如，通过使用具有不同曲率的片上透镜121c，如图11的下部的点线所示，在光被收集以使焦距位于光电二极管121e上时，倾斜度(1/2α)变得柔和。即，水平方向上的权重wx和垂直方向上的权重wy在图11的上部中接近0.5，在水平方向上的入射角度θx＝θa和垂直方向上的入射角度θy＝θb处的边界附近柔和地变为0或1。

如上所述，通过使用具有不同曲率以具有不同焦距的片上透镜121c，可以获得不同的入射角度方向性，即，不同的光接收灵敏度特性。

因此，通过使光电二极管121e被遮光膜121b遮光的范围和芯片上透镜121c的曲率不同，可以将像素121a的入射角度方向性设置为不同的值。注意的是，片上透镜的曲率对于成像元件121中的所有像素可以是相同的，或者对于像素的一部分可以是不同的。

<片上透镜与成像透镜之间的差异>

如上所述，成像元件121不需要成像透镜。但是，至少在如参考图8所述通过在像素中使用多个光电二极管来实现入射角度方向性的情况下，片上透镜121c是必需的。片上透镜121c和成像透镜具有不同的物理操作。

成像透镜具有光收集功能，用于使从相同方向入射的入射光入射到彼此相邻的多个像素上。另一方面，通过片上透镜121c的光仅入射在构成一个对应像素的光电二极管121e或121f的光接收表面上。换句话说，为每个像素输出单位提供片上透镜121c，仅在对应的像素输出单位上收集入射在其自身上的被摄体光。即，片上透镜121c不具有用于使从虚拟点光源发射的漫射光入射到彼此相邻的多个像素上的光收集功能。

<被摄体平面与成像元件之间的距离的关系>

接下来，将参考图12描述被摄体平面与成像元件121之间的距离的关系。

如图12的左上部中所示，在成像元件121与被摄体平面131之间的被摄体距离为距离d1的情况下，例如，当被摄体平面131上的点光源pa、pb、pc被设置时，假设可以通过与上述方程(1)至(3)相同的方程来表述在对应成像元件121上的位置pa、pb、pc处的检测信号电平da、db、dc。

da＝α1×a+β1×b+γ1×c...(1)

db＝α2×a+β2×b+γ2×c...(2)

dc＝α3×a+β3×b+γ3×c...(3)

另一方面，如图12的左下部中所示，在距成像元件121的被摄体距离是具有比距离d1大d的距离d2的被摄体平面131'的情况下，即，当从成像元件121观看时，被摄体平面131'比被摄体平面131更深时，对于所有检测信号电平da、db、dc，检测信号电平都相似，如图12的中上部和中下部中所示。

但是，在这种情况下，来自被摄体平面131'上的点光源pa'、pb'、pc'的光强度a'、b'、c'的光束被成像元件121的每个像素接收。此时，在成像元件121上接收的具有光强度a'、b'、c'的光束的入射角度是不同的(改变)，因此需要分别设置不同的系数，并且相应位置pa、pb、pc处的检测信号电平da、db、dc被表述为例如由以下方程(4)至(6)描述。

da＝α11×a'+β11×b'+γ11×c'...(4)

db＝α12×a'+β12×b'+γ12×c'...(5)

dc＝α13×a'+β13×b'+γ13×c'...(6)

在此，包括与系数集α1、β1、γ1、系数集α2、β2、γ2和系数集α3、β3、γ3对应的系数集α11、β11、γ11、系数集α12、β12、γ12和系数集α13、β13、γ13的系数集组是被摄体平面131'的系数集组分别在被摄体平面131上。

因此，以与获得图12的右上部中所示在被摄体平面131的情况下的点光源pa、pb、pc处的光束的光强度(a、b、c)相同的方式，通过使用预设系数集组α11、β11、γ11、α12、β12、γ12、α13、β13、γ13求解方程(4)至(6)，可以获得它们作为如图12的右下部中所示来自点光源pa'、pb'、pc'的光束的光强度(a'、b'、c')，因此可以获得被摄体平面131'上的被摄体的复原图像。

即，在图4的成像设备101中，通过预先存储距成像元件121的相应距离的系数集组、通过切换系数集组来构成联立方程以及求解所组成的联立方程，有可能基于一个检测图像以各种被摄体距离获得被摄体平面的复原图像。

换句话说，通过仅对检测图像进行一次成像，还有可能在后续处理中通过根据与被摄体平面的距离切换系数集组并获得复原图像来在任意距离处生成复原图像。

另外，在期望获得图像识别或可见图像的被摄体或可见图像以外的被摄体的特性的情况下，还有可能将诸如深度学习之类的机器学习应用于成像元件检测信号并使用检测信号本身执行图像识别等，而无需在获得复原图像之后基于复原图像执行图像识别等。

另外，在可以指定被摄体距离和视角的情况下，可以使用由具有适于对与指定的被摄体距离和视角对应的被摄体平面进行成像的入射角度方向性的像素的检测信号形成的检测图像来生成复原图像，而不使用所有像素。以这种方式，可以使用适合于成像与指定的被摄体距离和视角对应的被摄体平面的像素的检测信号来获得复原图像。

例如，将考虑如图13的上部中所示从四个侧面的每个端部被遮光膜121b遮光宽度为d1的像素121a以及如图13的下部中所示从四个侧面的每个端部被遮光膜121b遮光宽度为d2(＞d1)的像素121a。

如图14的上部中所示，像素121a例如被用于恢复与包括整个人h101作为被摄体的视角sq1对应的图13中的图像i1。另一方面，像素121a'例如被用于恢复图13中与视角sq2对应的图像i2，其中作为被摄体的人h101的脸部的外围被放大了，如图14的上部中所示。

使用图13中的像素121a是因为它具有相对于成像元件121的入射光的入射可能入射角度范围a，如图15的左部中所示，因此可以在被摄体平面131上水平方向上接收量为被摄体宽度w1的入射光。

另一方面，使用图13中的像素121a'是因为它具有比图13中的像素121a更宽的遮光范围并且因此具有相对于成像元件121的入射光的入射可能角度范围b(<a)，如图15的左部中所示，因此，在被摄体平面131上水平方向上接收量为被摄体宽度w2(<w1)的入射光。

即，图13中具有窄遮光范围的像素121a是适于在被摄体平面131上对宽范围进行成像的宽视角像素，而图13中具有宽遮光范围的像素121a是适于在被摄体平面131上对窄范围进行成像的窄视角像素。注意的是，这里提到的宽视角像素和窄视角像素是用于比较图13中的像素121a、121a'的表述，并且对于比较具有其它视角的像素不限于此。

注意的是，图15图示了在被摄体平面131上的位置与来自每个位置的入射光相对于成像元件121的中心位置c1的入射角度之间的关系。另外，在图15中，图示了被摄体平面131上的位置与来自被摄体平面131上的每个位置的入射光相对于水平方向的入射角度之间的关系，但是类似的关系适用于垂直方向。而且，图15的右部图示了图13中的像素121、121a'。

利用这种配置，如图14的下部中所示，在通过在成像元件121中收集图13的像素121a(在由点划线包围的范围za中)和图13的每个像素121a'(在由点划线包围的范围zb中)中的每一个当中的预定数量的像素而进行配置的情况下，当尝试以与被摄体宽度w1对应的视角sq1恢复图像时，使用对视角sq1进行成像的图13的像素121a使得能够适当地恢复具有被摄体平面131的被摄体宽度w1的图像。

类似地，当尝试以与被摄体宽度w2对应的视角sq2恢复图像时，使用对视角sq2进行成像的图13的像素121a'的检测信号电平使得能够适当地恢复具有被摄体宽度w2的图像。

注意的是，在图14的下部中，虽然图示了在附图的左侧提供有预定数量的像素121a'并且在右侧提供有预定数量的像素121a'的配置，但是这是为了简化描述而作为示例示出的，并且期望像素121a和像素121a'以随机混合的方式布置。

以这种方式，由于视角sq2比视角sq1窄，因此在以相同的预定像素数恢复视角sq2和视角sq1的图像的情况下，具有更高图像质量的复原图像可以通过恢复比视角sq1的图像窄的视角sq2的图像来获得。

即，在考虑通过使用相同数量的像素来获得复原图像的情况下，可以通过恢复具有较窄视角的图像来获得具有较高图像质量的复原图像。

注意的是，在获得具有宽视角的图像作为复原图像的情况下，可以使用所有宽视角像素，或者可以使用宽视角像素的一部分。另外，在获得具有窄视角的图像作为复原图像的情况下，可以使用所有窄视角像素，或者可以使用窄视角像素的一部分。

因此，通过使用如上所述的成像元件121，不需要成像透镜、包括衍射光栅等的光学元件、针孔等。因此，可以增加设备设计的自由度，并且有可能实现相对于入射光的入射方向的设备尺寸的减小，并且降低制造成本。另外，变得不需要与用于形成光学图像的成像透镜对应的透镜，诸如聚焦透镜。

而且，通过使用成像元件121，有可能仅通过获得检测图像而以各种被摄体距离和视角生成复原图像，然后通过求解根据被摄体距离和视角使用系数集组选择性地组成的联立方程来获得复原图像。

而且，由于成像元件121可以在像素单位中具有入射角度方向性，因此与包括衍射光栅和常规成像元件的滤光器相比，可以实现像素相乘，并且可以获得具有高分辨率和高角度分辨率的复原图像。另一方面，在包括滤光器和常规成像元件的成像设备中，难以实现复原图像的高分辨率等，因为即使像素被小型化，光学滤光器也难以小型化。

另外，由于成像元件121不需要包括衍射光栅的滤光器等，因此不会发生由于使用环境的高温引起的热等造成的滤光器的变形。因此，通过使用这种成像元件121，有可能实现具有高耐环境性的装置。

<第一修改示例>

在图6的右部中，作为成像元件121的每个像素121a中的遮光膜121b的构造，提供了一个示例，其中在垂直方向上提供整体遮光，并且水平方向上的遮光宽度和位置改变，从而使水平方向上的入射角度方向性不同。但是，遮光膜121b的构造不限于这个示例。例如，可以在水平方向上设置总体遮光，并且垂直方向上的宽度(高度)和位置改变，从而在垂直方向上具有入射角度方向性上的差异。

注意的是，如在图6的右部所示的示例中，在垂直方向上将整个像素121a遮光并且在水平方向上将像素121a遮光预定宽度的遮光膜121b将被称为水平带型遮光膜121b。另一方面，在水平方向上将整个像素121a遮光并且在垂直方向上将像素121a遮光预定高度的遮光膜121b被称为垂直带型遮光膜121b。

另外，如在图16的左部所示的示例中，像素121a可以通过组合垂直带型和水平带型遮光膜121b而被提供有l形遮光膜121b。在图16的左部中，用黑色图示的部分是遮光膜121b。即，遮光膜121b-21至121b-24分别是像素121a-21至121a-24的遮光膜。

这些像素中的每一个(像素121a-21至121a-24)具有如图16的右部所示的入射角度方向性。图16右部中所示的曲线图图示了每个像素中的光接收灵敏度。横轴表示入射光的水平方向(x方向)上的入射角度θx，纵轴表示入射光的垂直方向(y方向)上的入射角度θy。然后，范围c4内的光接收灵敏度高于范围c4外的光接收灵敏度，范围c3内的光接收灵敏度高于范围c3外的光接收灵敏度，范围c2内的光接收灵敏度高于范围c2外的光接收灵敏度，并且范围c1内的光接收灵敏度高于范围c1外的光接收灵敏度。

因此，说明对于每个像素，在范围c1内的满足水平方向(x方向)上的入射角度θx和垂直方向(y方向)上的入射角度θy的条件的入射光具有最高的检测信号电平，并且检测信号电平按照范围c2、范围c3、范围c4和范围c4以外的范围中的条件的次序减小。这种光接收灵敏度的强度由被遮光膜121b遮光的范围确定。

另外，在图16的左部中，每个像素121a中的字母指示滤色器的颜色(为了便于描述而示出，并且未实际书写)。像素121a-21是其中部署有绿色滤色器的g像素，像素121a-22是其中部署有红色滤色器的r像素，像素121a-23是其中部署有蓝色滤色器的b像素，而像素121a-24是其中部署有绿色滤色器的g像素。即，这些像素形成拜耳阵列。当然，这是示例，并且滤色器的布置图案是任意的。遮光膜121b和滤色器的布置无关紧要。例如，在部分或全部像素中，可以提供除滤色器以外的过滤器，或者可以不提供过滤器。

在图16的左部中，虽然图示了“l形”遮光膜121b将图中的像素121a的左侧和下侧遮光的示例，但是这个“l形”遮光膜121b的方向是任意的，并且不限于图16中的示例。例如，“l形”遮光膜121b可以将图中的像素121a的下侧和右侧遮光，也可以将图中的像素121a的右侧和上侧遮光，或者可以将图中的像素121a的上侧和左侧遮光。当然，可以针对每个像素独立地设置遮光膜121b的方向。注意的是，“l形”遮光膜121b也将被统称为“l型遮光膜121b”。

虽然上面已经描述了遮光膜，但是这个示例的描述还可以应用于通过选择性地使用部署在像素中的多个光电二极管来给出入射角度方向性的情况。即，例如，通过适当地设置每个光电二极管的划分位置(每个部分区块的尺寸和形状)，位置、尺寸、形状等，或者适当地选择光电二极管，可以实现与上述通过l型遮光膜121b的入射光方向性等同的入射光方向性。

<第二修改示例>

在上文中，虽然已经关于其中遮光范围以随机改变的方式布置在每个像素中的示例描述了水平带型、垂直带型和l型遮光膜，但是例如，如图17中的成像元件121'所示，可以形成在提供矩形开口的情况下遮蔽除了在每个像素中从光接收光束的位置附近的范围之外的部分的遮光膜121b(图中的黑色所示的范围)。

即，遮光膜121b可以被提供为具有入射角度方向性，以在为每个像素提供矩形开口的情况下，在来自预定被摄体距离处形成预定平面的被摄体平面的点光源的光束中，仅透射通过矩形开口的光束被接收。

注意的是，在图17中，例如，相对于水平方向上的像素布置，遮光膜121b的水平方向上的宽度改变为宽度dx1，dx2，...dxn，并且这些宽度具有dx1<dx2<...<dxn的关系。类似地，相对于垂直方向上的像素布置，遮光膜121b的垂直方向上的高度变为高度dy1，dy2...dym，并且这些高度具有dy1<dy2<…<dxm的关系。另外，遮光膜121b在水平方向上的宽度和在垂直方向上的宽度的相应改变的间隔取决于要恢复的被摄体分辨率(角度分辨率)。

换句话说，可以说图17中的成像元件121'中的每个像素121a的配置具有入射角度方向性，使得遮光范围改变以与成像元件121'在水平方向和垂直方向上的像素布置对应。

更具体而言，例如，图17中的每个像素121a的遮光范围是根据使用在图18的左部示出的像素121a所描述的规则来确定的。

注意的是，图18的右部图示了成像元件121'的与图17相同的配置。另外，图18的左侧部分图示了图18的右部中的成像元件121'的像素121a的配置(与图17相同)。

如图18的左部中所示，遮光膜121b从像素121a的上下两侧中的每一侧朝着像素121a的内部以宽度dx1遮光，并且遮光膜121b从左右两侧中的每一侧朝着像素121a的内部以高度dy1遮光。注意的是，在图18和19中，遮光膜121b是黑色所示的范围。

通过以这种方式在图18的左部中形成的遮光膜121b遮光的范围在下文中将被称为像素121a的主遮光部分z101(图18的左侧部分中的黑色部分)，那么将其它范围之外的方形范围称为范围z102。

在像素121a中的范围z102中提供有未被遮光膜121b遮光的矩形开口z111。因此，在范围z102中，矩形开口z111以外的范围被遮光膜121b遮光。

图17中的成像元件121'中的像素布置使得在像素121a-1的左端部分和上端部分中，矩形开口z111被布置为使得其左侧距像素121a的左侧为宽度dx1的距离，并且其上侧距像素121a的上侧为dy1的距离，如图18的右部中所示(与图17相同)。

类似地，在像素121a-1的右侧的像素121a-2中，布置有矩形开口z111，使得其左侧与像素121a的左侧相距宽度dx2，并且其上侧与像素121a的上侧相距高度dy1，并且矩形开口z111以外的范围被遮光膜121b遮光。

此后，类似地，在水平方向上相邻的像素121a中，矩形开口z111的右侧随着其布置朝着该图的右侧移动而从像素121a的右侧移动宽度dx1，dx2...dxn。注意的是，在图18的范围z102中的右上部的点线的矩形部分图示了矩形开口z111被布置为使得其左侧与宽度左侧相距dxn的状态，并且其上侧与像素121a的上侧相距dy1。另外，宽度dx1，dx2...dxn的每个间隔是通过从范围z102的水平方向的宽度中减去矩形开口z111的宽度而获得的宽度除以水平方向上的像素数n而获得的值。即，通过除以水平方向上的像素数n来确定水平方向上的改变间隔。

另外，成像元件121'中的像素121a中的矩形开口z111在水平方向上的位置在成像元件121'中水平方向上的相同位置处的像素121a(同一列中的像素121a)中相同。

而且，在与像素121a-1的紧邻下侧相邻的像素121a-3中，布置矩形开口z111，使得其左侧与像素121a的左侧相距宽度dx1，并且其上侧与像素121a的上侧相距高度dy2，并且矩形开口z111以外的范围被遮光膜121b遮光。

之后，类似地，在垂直方向上相邻的像素121a中，随着其布置朝着该图的下侧移动，矩形开口z111的上侧从像素121a的上侧移动高度dy1，dy2...dyn。注意的是，在图18的范围z102中的左下部的点线的矩形部分图示了这样的状态，矩形开口z111被布置为使得其左侧与像素121a的左侧相距宽度dx1，并且其上侧与像素121a的上侧侧相距高度dym。另外，高度dy1，dy2...dym的每个间隔是通过从范围z102的垂直方向上的高度减去矩形开口z111的高度除以垂直方向上的像素数m而获得的值。即，通过除以垂直方向上的像素数m来确定垂直方向上的改变间隔。

另外，成像元件121'中的像素121a中的矩形开口z111在垂直方向上的位置在成像元件121'中在垂直方向上的相同位置处的像素121a(同一行中的像素121a)中相同。

而且，可以通过改变构成图18(图17)所示的成像元件121'的每个像素121a的主遮光部分z101和矩形开口z111来改变视角。

图19的右部图示了在视角大于图18的成像元件121'的情况下成像元件121'的配置(图17)。另外，图19的左部图示了图19的右部中的成像元件121'的像素121a的配置。

即，如图19的左部中所示，例如，遮光范围比图18中主遮光部分z101的遮光范围窄的主遮光部分z151(图19的左部中的黑色部分)在像素121a中设置，并且将除此以外的范围设置为范围z152。而且，具有比矩形开口z111更大的开口面积的矩形开口z161在范围z152中设置。

更具体而言，如图19的左部中所示，遮光膜121b从像素121a的上侧和下侧两端中的每一个朝着像素121a的内部屏蔽宽度为dx1'(<dx1)的光，并且遮光膜121b从左侧和右侧两端中的每一个朝着像素121a的内部遮光高度dy1'(<dy1)，从而形成矩形开口z161。

在此，如图19的右部中所示，在左端部和上端部处的像素121a-1中，矩形开口z161被布置为使得其左侧与像素121a的左侧相距宽度dx1'，并且其上侧与像素121a的上侧相距高度dy1'，从而通过遮光膜121b对矩形开口z161以外的范围进行遮光。

类似地，在像素121a-1的右侧上的像素121a-2中，布置矩形开口z161，使得其左侧与像素121a的左侧相距宽度dx2'，并且其上侧与像素121a的上侧相距高度dy1'，并且除矩形开口z161以外的范围被遮光膜121b遮光。

此后，类似地，在水平方向上相邻的像素121a中，随着其布置朝着该图的右侧移动，矩形开口z161的右侧从像素121a的右侧移动宽度dx1'，dx2'...dxn'。在此，宽度dx1'，dx2'...dxn'的每个间隔是通过从范围z152的水平方向上的宽度减去矩形开口z161的水平方向上的宽度除以水平方向上的像素数n而获得的值。即，通过除以水平方向上的像素数n来确定垂直方向上的改变间隔。因此，宽度dx1'，dx2'...dxn'的改变间隔大于宽度dx1，dx2…dxn的改变间隔。

另外，图19的成像元件121'中的像素121a中的矩形开口z161在水平方向上的位置在成像元件121'的像素121a(同一列的像素121a)中在水平方向上的相同位置处相同。

而且，在与像素121a-1的紧邻下侧相邻的像素121a-3中，布置矩形开口z161，使得其左侧与像素121a的左侧相距宽度dx1'，并且其上侧与像素121a的上侧相距高度dy2'，并且矩形开口z161以外的范围被遮光膜121b遮光。

此后，类似地，在垂直方向上相邻的像素121a中，随着其布置朝着该图的下侧移动，矩形开口z161的上侧从像素121a的上侧移动高度dy1'，dy2'...dym'。在此，高度dy1'，dy2'...dym'的改变间隔是通过从范围z152的垂直方向上的高度减去矩形开口z161的垂直方向上的高度过除以垂直方向上的像素数m而获得的值。即，通过除以垂直方向上的像素数m来确定垂直方向上的改变间隔。因此，高度dy1'，dy2'...dym'的改变间隔大于宽度高度dy1，dy2…dym的改变间隔。

另外，图19的成像元件121'中的像素121a中的矩形开口z161在垂直方向上的位置在成像元件121'中垂直方向上相同位置的像素121a(同一行中的像素121a)中相同。

以这种方式，通过改变主遮光部分的遮光范围和开口的开口范围的组合，可以实现包括具有各种视角(具有各种入射角度方向性)的像素121a的成像元件121'。

而且，成像元件121可以通过不仅组合具有相同视角的像素121a而且还组合具有各种视角的像素121a来实现。

例如，如图20中所示，将包括由点线指示的两个像素×两个像素的四个像素定义为一个单元u，并且每个单元u包括宽视角像素121a-w、中视角视角像素121a-m、窄视角像素121a-n和非常窄视角像素121a-an。

在这种情况下，例如，在全部像素121a的像素数为x的情况下，对于四种视角中的每种视角，有可能使用每x/4像素的检测图像来恢复复原图像。此时，针对每个视角使用四种不同类型的系数集，并且通过四个不同的联立方程分别恢复具有不同视角的复原图像。

因此，通过使用从适于以要恢复的视角进行成像的像素获得的检测图像来恢复要恢复的视角的复原图像，可以恢复与四种类型的视角对应的适当的复原图像。

另外，可以通过从四种类型的视角的图像进行插值来生成四种类型的视角之中的中间视角或之前或之后的视角的图像，并且可以通过无缝地生成具有各种视角的图像来实现伪光学变焦。

虽然上面已经描述了遮光膜，但是这个示例的描述还可以应用于通过选择性地使用部署在像素中的多个光电二极管来给出入射角度方向性的情况。即，例如，通过适当地设置每个光电二极管的划分位置(每个部分区块的尺寸和形状)、位置、尺寸、形状等，或者适当地选择光电二极管，可以实现与上述通过具有矩形开口的遮光膜121b的入射光方向性等同的入射光方向性。当然，在这种情况下，也可以通过组合具有各种视角的像素121a来实现成像元件121。另外，可以通过从具有多种类型的视角的图像插值来生成具有中间视角或之前或之后的视角的图像，并且可以通过无缝地生成各种视角的图像来实现伪光学变焦。

<第三修改示例>

顺便提及，在成像元件121中的像素121a被遮光膜121b遮光的范围具有随机性的情况下，被遮光膜121b遮光的范围的差的随机性越大，恢复单元321等的处理负荷越大。因而，可以使像素121a被遮光膜121b遮光的范围的差的一部分被规则化以减小差异的这种随机性，从而减少处理负荷。

例如，将具有相同宽度的水平带型遮光膜121b在预定的列方向上组合并将具有相同高度的垂直带型遮光膜121b在预定的行方向上组合，从而形成组合垂直带型和水平带型的l型遮光膜121b。以这种方式，相应像素121a的遮光膜121b的遮光范围在像素单位中被随机地设置为不同的值，同时在列方向和行方向上具有规则性。因此，可以减小相应像素121a的遮光膜121b的遮光范围的差(即，相应像素的入射角度方向性的差)的随机性，并且可以减小成像元件121外部的处理负荷，诸如与恢复单元321的处理负荷。

例如，在图21中的成像元件121”的情况下，具有相同宽度x0的水平带型遮光膜121b被用于由范围z130指示的同一列中的所有像素，具有相同高度y0的垂直带型遮光膜121b被用于由范围z150指示的同一行中的像素，并且组合它们的l型遮光膜121b被设置用于由相应行和列识别的像素121a。

类似地，对于由与范围z130相邻的范围z131指示的同一列中的所有像素，使用具有相同宽度x1的水平带型遮光膜121b，而对于由与范围z150相邻的范围z151指示的同一行中的像素，使用具有相同高度y1的垂直带型遮光膜121b，并且对于由相应行和列识别的像素121a，设置组合它们的l型遮光膜121b。

而且，对于由与范围z131相邻的范围z132指示的同一列中的所有像素，使用具有相同宽度x2的水平带型遮光膜，而对于由与范围z151相邻的范围z152指示的同一行中的像素，使用具有相同高度y2的垂直带型遮光膜，并且对于由相应行和列识别的像素121a，设置组合它们的l型遮光膜121b。

以这种方式，虽然遮光膜121b在水平方向上的宽度和位置以及在垂直方向上的高度和位置具有规则性，但是可以将遮光膜的范围在像素单位中设置为不同的值，因此有可能抑制入射角度方向性的差异的随机性。因此有可能减少系数集的模式，并且可以减小后续阶段(例如，恢复单元321等)中的算术处理的处理负荷。

更具体而言，在如图22的右上部中所示从具有n个像素×n个像素的检测图像pic获得具有n×n像素的复原图像的情况下，图22的左部中所示的关系是通过将具有n×n行和一列的检测图像的相应像素的像素值作为元素的向量x、将具有n×n行和一列的检测图像的相应像素的像素值作为元素的向量y以及包括系数集的具有n×n行和n×n列的矩阵a建立的。

即，图22图示了将包括系数集的n×n行和n×n列的矩阵a的每个元素与表示复原图像的n×n行和一列的向量x相乘的结果变为表示检测图像的具有n×n行和一列的向量y，并且从这个关系获得联立方程。

注意的是，图22图示了由矩阵a的范围z201指示的第一列的每个元素与向量x的第一行的元素对应，并且由矩阵a的范围z202指示的第n×n列的每个元素与向量x的第n×n行的元素对应。

换句话说，通过基于图22中所示的行列式求解联立方程来获得向量x的每个元素，从而获得复原图像。另外，在使用针孔的情况下以及在使用使得从相同方向入射的入射光入射到彼此相邻的两个像素输出单位(诸如成像透镜)上的光收集功能的情况下，唯一地确定每个像素的位置与光的入射角度之间的关系，因此矩阵a成为对角矩阵，该对角矩阵是其中所有对角分量((i，i)元素)由1组成并且除对角线以外的所有其它元素均由0组成的正方形矩阵。相反，在如图5中的成像元件121中既不使用针孔也不使用成像透镜的情况下，不能唯一地确定每个像素的位置与光的入射角度之间的关系，因此矩阵a不成为对角矩阵。

顺便提及，一般而言，图22的行列式通过从左侧乘以矩阵a的逆矩阵a^-1被变换，并且作为检测图像的向量x的每个元素通过将检测图像的向量y乘以从右起的逆矩阵a^-1来获得。

但是，有可能由于不能准确地求出实数矩阵a或不能准确测量实数矩阵a的任何原因而不能求解联立方程，有可能因为在矩阵a的基向量接近线性相关性而不能求解，以及有可能检测图像的每个元素都包含噪声，或其组合。

因此，考虑到针对各种误差的健壮配置，采用使用正则化最小二乘法的概念的以下方程(7)。

[方程1]

在此，在方程(7)中，在顶部加上“^”的x表示向量x，a表示矩阵a，y表示向量y，γ表示参数，并且||a||表示l2范数(平方根的平方和)。在此，第一项是当图22中的两侧之差被最小化时的范数，并且第二项是正则项。

当这个方程(7)对于x求解时，由以下方程(8)表述。

[方程2]

但是，由于矩阵a的尺寸很大，因此需要计算时间和大量的存储器用于计算。

因此，例如，如图24中所示，考虑将矩阵a分解成具有n行和n列的矩阵al和具有n行和n列的矩阵ar^t，并且来自每个表示复原图像的具有n行和n列的矩阵x的前一级和后一级的相乘的结果变为表示检测图像的具有n行和n列的矩阵y。因此，对于具有元素数(n×n)×(n×n)的矩阵a，它们变为具有元素数(n×n)的矩阵al、ar^t，因此可以将元素数减少至1/(n×n)。因此，仅需要使用具有元素数(n×n)的两个矩阵al、ar^t，因此可以减少计算量和存储器容量。

在此，a^t是矩阵a的转置矩阵，γ是参数，并且i是单位矩阵。在方程(8)中，括号中的矩阵是矩阵al，矩阵a的转置矩阵的逆矩阵是矩阵ar^t。实现了图24中所示的行列式。

以这种方式，作为如图24所示的计算，如图25中所示，通过将矩阵x中的感兴趣的元素xp乘以矩阵al的对应列的每个元素组z221而获得元素组z222。而且，通过将元素组z222和与矩阵art的感兴趣的元素xp对应的行中的元素相乘，可以获得与感兴趣的元素xp对应的二维响应z224。然后，通过对与矩阵x的所有元素电影的二维响应z224进行积分来获得矩阵y。

因而，与矩阵al的每一行对应的元素组z221被赋予与对于图21中所示的成像元件121的每一列被设置为具有相同宽度的水平带型像素121a的入射角度方向性对应的系数。

类似地，矩阵ar^t的每一行的元素组z223被赋予与对于图21中所示的成像元件121的每一行被设置为具有相同高度的垂直带型像素121a的入射角度方向性对应的系数。

因此，由于有可能减少基于检测图像来恢复复原图像时使用的矩阵，因此减少了计算量，从而变得有可能提高处理速度并减少与计算相关的功耗。另外，由于可以减小矩阵，因此变得有可能减小用于计算的存储器的容量，并且可以降低设备成本。

注意的是，在图21的示例中，虽然图示了在水平方向和垂直方向上具有预定规则性的同时改变像素单位中被遮光的范围(可以接收光的范围)的示例，但是在本公开的技术中，不是完全随机地设置而是以这种方式在某种程度上随机地设置的像素单位中被遮光的范围(可以接收光的范围)也被认为是随机设置。换句话说，在本公开中，不仅像素单位中完全随机地设置被遮光的范围(可以接收光的范围)的情况，而且在某种程度上是随机的(例如，其中所有像素的一部分包括具有规则性的范围，而其它范围是随机的)的情况，或在某种程度上似乎不规则的范围(无法在所有像素当中确认根据参考图21描述的规则的布置的情况)也被认为是随机的。

虽然上面已经描述了遮光膜，但是这个示例的描述还可以应用于通过选择性地使用部署在像素中的多个光电二极管来给出入射角度方向性的情况。即，例如，通过适当地设置每个光电二极管的划分位置(每个部分区块的尺寸和形状)、位置、尺寸、形状等，或者适当地选择光电二极管，可以实现与像素121a被遮光膜121b遮光的范围的改变的一部分变得规则的情况下的方向性入射光等同的方向性入射光。以这种方式，可以减小每个像素的入射角度方向性的随机性，并且可以减小成像元件121外部的处理负荷，例如恢复单元122的处理负荷。

<第四修改示例>

遮光膜121b在像素单位中的形状变化是任意的，并且不限于上述相应示例。例如，可以将遮光膜121b设置为具有三角形的形状，并且因此将其范围设置为不同从而具有(或设置为)不同的入射角度方向性，或者可以将遮光膜12b设置为具有圆形，因此使其范围不同，从而具有不同的入射角度方向性。另外，例如，可以使用在倾斜方向等上倾斜的直线状的遮光膜。

另外，可以在构成包括预定数量像素的单元的多个像素单位中设置遮光膜121b的变化(图案)。这一个单元可以包括任何像素。例如，成像元件121可以包括滤色器，并且可以包括构成滤色器的颜色阵列的单元的像素。另外，其中具有不同曝光时间的像素被组合的像素组可以被用作单元。注意的是，期望在构成单元的每个像素中被遮光膜121b遮光的范围的图案的随机性高，即，构成单元的像素具有各自不同的入射角度方向性。

另外，可以在单元之间设置遮光膜121b的布置图案。例如，可以在每个单元中改变遮光膜的宽度和位置。而且，可以将被遮光膜121b遮光的范围的图案设置在包括被分类为不同类别的多个像素的单元内或单元之间。

虽然上面已经描述了遮光膜，但是这个示例的描述也可以应用于通过选择性地使用部署在像素中的多个光电二极管来给出入射角度方向性的情况。即，例如，通过适当地设置每个光电二极管的划分位置(每个部分区块的尺寸和形状)、位置、尺寸、形状等，或者适当地选择光电二极管，可以实现与上述像素121a被遮光膜121b遮光的范围的改变的一部分变为规则情况下的入射光方向性等同的入射光方向性。以这种方式，可以减小每个像素的入射角度方向性的随机性，并且可以减小成像元件121外部的处理负荷，例如恢复单元122的处理负荷。

虽然上面已经描述了遮光膜，但是这个示例的描述还可以应用于通过选择性地使用部署在像素中的多个光电二极管来给出入射角度方向性的情况。即，通过适当地设置每个光电二极管的划分位置(每个部分区块的尺寸和形状)、位置、尺寸、形状等，或者适当地选择光电二极管，可以实现与通过任何形状(诸如三角形、圆形或斜线)的遮光膜的入射光方向性等同的入射光方向性。

另外，例如，可以在每个单元中设置划分位置的设置(每个部分区块的尺寸和形状)、每个光电二极管的位置、尺寸、形状等的设置、光电二极管的选择等，与上述遮光膜121b的情况相似。

<光电二极管的控制>

在选择性地使用如以上参考图5所述的布置在像素中的多个光电二极管的情况下，可以切换对多个光电二极管121f的每个像素输出单位的输出像素值的存在与否以及贡献度，从而可以改变像素输出单位的输出像素值的入射角度方向性。

例如，如图19中所示，假设在像素121a中布置有光电二极管121f-111至121f-119九个光电二极管121f(3垂直×3水平)。在这种情况下，这个像素121a可以被用作具有光电二极管121f-111至121f-119的像素121a-b，或者可以被用作具有光电二极管121f-111、121f-112、121f-114和121f-115的像素121a-s。

例如，在将像素121a用作像素121a-b的情况下，通过控制光电二极管121f-111至121f-119的存在与否和对像素121a的输出像素值的贡献度来控制输出像素值的入射角度方向性。另一方面，在将像素121a用作像素121a-s的情况下，通过控制光电二极管121f-111、121f-112、121f-114和121f-115的存在与否和对像素121a的输出像素值的贡献度来控制输出像素值的入射角度方向性。在这种情况下，控制其它光电二极管121f(光电二极管121f-113、121f-116、121f-117至121f-119)，以便不对输出像素值做出贡献。

即，例如，在多个像素121a-b当中输出像素值的入射角度方向性彼此不同的情况下，光电二极管121f-111至121f-119中的至少一个的存在与否以及对输出像素值的贡献度是不同的。另一方面，例如，在多个像素121a-s当中输出像素值的入射角度方向性不同的情况下，光电二极管121f-111、121f-112、121f-114和121f-115中的至少一个的存在与否以及对输出像素值的贡献度不同，并且其它光电二极管121f-113、121f-116和121f-117至121f-119对输出像素值无贡献，这在这些像素当中很常见。

注意的是，可以为每个像素设置使用像素121a作为像素121a-b还是像素121a-s。另外，可以针对每个单元(多个像素)执行这个设置。

另外，如上所述，在成像元件121的每个像素(每个像素输出单位)上形成一个片上透镜。即，在像素121a具有如图19中所示的示例中的配置的情况下，如图20中所示，为光电二极管121f-111至121f-119提供一个片上透镜121c。因此，如参考图19所述，在像素121a是像素121a-b的情况下和在像素121a是像素121a-s的情况下，一个像素(一个像素输出单位)和一个片上透镜都121c一一对应。

<成像设备的操作>

上面已经描述了成像元件121。在图4的成像设备101中，使用如上所述的成像元件121。接下来，将描述成像设备101的操作。

如参考图1所描述的，成像设备101输出通过在成像元件121中进行成像而获得的检测图像，而不将其与恢复矩阵相关联。

在此，术语“关联”是指，例如，当一方面处理信息(数据、命令、程序等)时，另一方面可以使用(可以链接)信息。即，彼此相关联的信息片段可以被组织为一个文件等，或者可以被假设为单独的信息片段。例如，与信息a相关联的信息b可以在与信息a不同的发送路径上被发送。另外，例如，与信息a相关联的信息b可以被记录在与信息a不同的记录介质上(或在同一记录介质的另一个记录区块中)。注意的是，“关联”可以是信息的一部分，而不是全部信息。例如，图像和与该图像对应的信息可以以任何单位彼此关联，诸如多个帧、一个帧或帧的一部分。

以这种方式，可以将从视觉上无法识别被摄体的检测图像发送到显示侧的图像输出设备102，从而可以更容易地抑制图像的未授权使用和篡改。

<成像处理的流程>

成像设备101执行成像处理以执行上述处理。将参考图28的流程图描述在这种情况下由成像设备101执行的成像处理的流程的示例。

当开始成像处理时，在步骤s101中，成像设备101的成像元件121对被摄体进行成像并获得检测图像。

在步骤s102中，输出处理单元123输出在步骤s101中获得的检测图像。这个输出包括任何方法。例如，这个输出可以包括图像显示、到另一个设备的数据输出以及打印、存储在存储介质上、发送到通信伙伴、记录在记录介质116上等。

例如，在输出是“数据输出”的情况下，成像元件121将检测图像的数据等供应给输出单元112。输出单元112从外部输出端子向另一个设备输出与其恢复矩阵不相关联的检测图像的数据等。另外，例如，在输出是“存储”的情况下，成像元件121将检测图像的数据等供应给存储单元113。存储单元113在存储单元113具有的存储介质上存储与检测图像的恢复矩阵不相关联的检测图像的数据等。另外，例如，在输出是“发送”的情况下，成像元件121将检测图像的数据等供应给通信单元114。通信单元114使用预定通信方法与其它设备通信，并且将与检测图像的恢复矩阵不相关联的检测图像的数据等发送到其通信伙伴。而且，例如，在输出是“记录”的情况下，成像元件121将检测图像的数据等供应给记录-再现单元115。记录-再现单元115在与其自身的记录介质116上记录与其恢复矩阵不相关的检测图像的数据等。

当步骤s102的处理结束时，成像处理结束。通过执行如上所述的成像处理，可以发送其中从视觉上不能识别被摄体的检测图像，因此可以更容易地抑制图像的未授权使用和篡改。

<图像输出设备>

接下来，将描述从检测图像恢复复原图像的图像输出设备。图29是图示图像输出设备的主要配置示例的图，该图像输出设备是对其应用本技术的图像处理设备的实施例。图29中所示的图像输出设备102是将从另一个设备发送的检测图像转换成复原图像并输出复原图像的设备。

如图29中所示，图像输出设备102具有控制单元301、输入单元311、输出单元312、存储单元313、通信单元314、记录-再现单元315、恢复单元321等。每个处理单元等经由总线320连接，并且可以彼此交换信息、指令等。

控制单元301被配置为执行与图像处理设备102中的每个处理单元等的控制相关的处理。例如，控制单元301具有cpu、rom、ram等，并且通过使用cpu等执行程序来执行上述处理。

输入单元311被配置为执行与信息的输入相关的处理。例如，输入单元311具有输入设备，诸如操作按钮、拨号盘、开关、触摸面板、遥控器和传感器，以及外部输入端子。例如，输入单元311用这些输入设备从用户等接收来自外部的指令(与输入操作对应的信息)。另外，例如，输入单元311获得经由外部输入端子从外部设备供应的任意信息(程序、命令、数据等)。另外，例如，输入单元311经由总线120将接收到的信息(获得的信息)供应给另一个处理单元等。

注意的是，包括在输入单元311中的传感器例如可以是诸如加速度传感器之类的任何传感器，只要它能够由用户等接收来自外部的指令即可。另外，输入单元311具有的输入设备是任意的，并且其数量也是任意的。输入单元311可以具有多种类型的输入设备。例如，输入单元311可以具有上述示例的一部分，或者可以具有所有示例。另外，输入单元311可以具有除上述示例以外的输入设备。而且，例如，输入单元311可以获得经由总线320供应的其自身(输入设备等)的控制信息，并基于该控制信息进行驱动。

输出单元312被配置为执行与信息的输出相关的处理。例如，输出单元312具有诸如监视器之类的图像显示设备、诸如投影仪之类的图像投影设备、诸如扬声器之类的音频输出设备、外部输出端子等。例如，输出单元312使用那些输出设备等经由总线320输出从另一个处理单元等提供的信息。例如，输出单元312在监视器上显示gui等的任意图像，例如从投影仪投影gui等的任意图像，向外部(另一个设备)输出音频(例如，与输入操作、处理结果等对应的音频)或输出任意信息(程序、命令、数据等)。

注意的是，输出单元312具有的输出设备等是任意的，并且其数量也是任意的。输出单元312可以具有多种类型的输出设备等。例如，输出单元312可以具有上述示例的一部分，或者可以具有所有示例。另外，输出单元312可以具有除上述示例以外的输出设备等。此外，例如，输出单元312可以获得经由总线320供应的其自身(输出设备等)的控制信息，并且基于该控制信息进行驱动。

存储单元313被配置为执行与信息的存储相关的处理。例如，存储单元313具有诸如硬盘或半导体存储器之类的任意存储介质。例如，存储单元313将经由总线320从其它处理单元等供应的信息(程序、命令、数据等)存储在存储介质中。另外，存储单元313可以在发货时存储任意信息(程序、命令、数据等)。此外，存储单元313在任意定时或响应于来自另一个处理单元等的请求而读出存储在存储介质中的信息，并且经由总线320将读出的信息供应给另一个处理单元等。

注意的是，包括在存储单元313中的存储介质是任意的，并且其数量也是任意的。存储单元313可以具有多种类型的存储介质。例如，存储单元313可以具有上述存储介质的示例的一部分，或者可以具有全部示例。另外，存储单元313可以具有除上述示例以外的存储介质等。另外，例如，存储单元313可以获得经由总线320供应的自身的控制信息，并基于该控制信息进行驱动。

通信单元314被配置为执行与和其它设备的通信相关的处理。例如，通信单元314具有通信设备，该通信设备执行通信以经由预定通信介质(例如，诸如互联网之类的任意网络)与外部设备交换诸如程序和数据之类的信息。例如，通信单元314与其它设备通信，并且经由总线320将从另一个处理单元等供应的信息(程序、命令、数据等)供应给作为其通信伙伴的另一个设备。另外，例如，通信单元314与其它设备通信、获得从作为其通信伙伴的另一个设备提供的信息，并且经由总线320将该信息供应给另一个处理单元等。

通信单元314具有的通信设备可以是任何设备。例如，通信设备可以是网络接口。通信方法和通信标准是任意的。例如，通信单元314可以能够执行有线通信、无线通信或两者。另外，例如，通信单元314可以获得经由总线320供应的自身(通信设备等)的控制信息，并且基于该控制信息进行驱动。

记录-再现单元315被配置为执行与使用附接到其自身的记录介质316的信息的记录和再现相关的处理。例如，记录-再现单元315读出记录在附接到其自身的记录介质316上的信息(程序、命令、数据等)，并且经由总线320将该信息供应给另一个处理单元等。另外，例如，记录-再现单元315经由总线320获得从另一个处理单元等供应的信息，并将该信息写(记录)在附接到其自身的记录介质316中(上)。注意的是，例如，记录-再现单元315可以获得经由总线320供应的自身的控制信息，并基于该控制信息进行驱动。

注意的是，记录介质316可以是任何类型。例如，记录介质316可以是磁盘、光盘、磁光盘、半导体存储器等。

恢复单元321被配置为执行与复原图像的生成(恢复)相关的处理。例如，恢复单元321经由总线320从另一个处理单元获得检测图像。另外，例如，恢复单元321使用恢复矩阵将检测图像转换成复原图像。此外，例如，恢复单元321经由总线320将与生成的复原图像相关的数据(像素值等)供应给另一个处理单元等。

注意的是，输出单元312、通信单元314和记录-再现单元315的一部分或全部可以集成到输出处理单元322中。输出处理单元322被配置为执行与检测图像的输出相关的处理。输出处理单元322可以由任何物理部件来实现。例如，输出处理单元322可以被实现为诸如系统lsi之类的处理器。另外，输出处理单元322可以被实现为例如使用多个处理器等的模块、使用多个模块等的单元，或者通过向单元进一步添加其它功能而获得的设施等(即，设备的配置的一部分)。另外，输出处理单元322可以被实现为设备。

<图像输出设备的操作>

接下来，将描述这个图像输出设备102的操作。如参考图1所描述的，图像输出设备102获得从成像侧发送的并且其中从视觉上不能识别被摄体的检测图像，并且将检测图像转换成其中通过使用有效恢复矩阵从视觉上可以识别被摄体的复原图像。

这个检测图像由以上参考图1至28描述的成像元件121获得，并且是具有特性的信息。即，检测图像是通过由包括多个像素输出单位的成像元件对被摄体进行成像并且由在像素输出单位中获得的检测信号形成的检测图像，所述多个像素输出单位接收不通过成像透镜或者针孔而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号(例如，成像元件具有以下配置：使得入射角度方向性指示相对于多个像素输出单位中的至少两个像素输出单位的输出像素值中，来自被摄体的入射光的入射角度彼此不同)。

然后，这个恢复矩阵也是以上参考图1至28描述的恢复矩阵，并且具有上述特性。即，这个恢复矩阵是包括当从检测图像恢复复原图像时使用的系数的矩阵。恢复单元321使用这种恢复矩阵从从外部设备获得的检测图像中恢复复原图像。

更具体而言，例如，图像输出设备102获得经由诸如网络、电缆或记录介质316之类的任意发送路径从诸如成像设备101或服务器106之类的外部设备发送的检测图像(的数据)。例如，图像输出设备102的输入单元311、通信单元314、记录-再现单元315等获得以这种方式供应的检测图像，并将获得的检测图像供应给恢复单元321。

图像输出设备102的恢复单元321使用有效恢复矩阵将以这种方式从另一个处理单元提供的检测图像转换成复原图像。

用于获得恢复矩阵(的数据)的方法是任意的。例如，可以将恢复矩阵预先存储在存储单元313等中(在发货时等)。在这种情况下，图像输出设备102是专用设备，其输出由成像设备101生成的具有与恢复矩阵对应的掩模图案的检测图像。

另外，例如，可以由有效用户等输入恢复矩阵。在那种情况下，例如，输入单元311的输入设备接收恢复矩阵的输入。另外，例如，有效用户等可以将其中记录有恢复矩阵的记录介质316附接到记录-再现单元315，使得记录-再现单元315从记录介质316读出恢复矩阵。而且，例如，可以从另一个设备供应恢复矩阵。在那种情况下，经由输入单元311的外部输入端子，通信单元314等接收恢复矩阵的数据。

在任何情况下，在任意定时或根据来自恢复单元321或控制单元301等的请求，通过总线320将恢复矩阵供应给恢复单元321。

图像输出设备102的恢复单元321将恢复的复原图像供应给输出处理单元322等，以便输出图像。例如，恢复单元321可以将复原图像(的数据)供应给输出单元312。在这种情况下，输出单元312将复原图像显示在监视器上、从投影仪投影该图像，或者经由外部输出端子将其供应给另一个设备(诸如外围设备)。另外，例如，恢复单元321可以将复原图像供应给通信单元314。在这种情况下，通信单元314将复原图像发送到另一个设备。另外，恢复单元321可以将复原图像供应给记录-再现单元315。在这种情况下，记录-再现单元315将复原图像记录在记录介质316上。

注意的是，恢复单元321可以将复原图像供应给存储单元313。在这种情况下，存储单元313将复原图像存储在其自己的存储介质中。

<图像输出处理的流程>

图像输出设备102通过执行图像输出处理来执行上述处理。将参考图30的流程图描述在这种情况下由图像输出设备102执行的图像输出处理的流程的示例。

当图像输出处理开始时，例如，图像输出设备102的通信单元314(可以是输入单元311、记录-再现单元315等)在步骤s121中获得所发送的检测图像，并且将其供应给恢复单元321。

在步骤s122中，存储单元313读出自身存储的恢复矩阵，并将其供应给恢复单元321。注意的是，如上所述，可以从除存储单元313以外的其它处理单元将恢复矩阵供应给恢复单元321。

在步骤s123中，恢复单元321使用在步骤s122中获得的恢复矩阵将在步骤s121中获得的检测图像转换(恢复)为复原矩阵。在所使用的恢复矩阵与作为处理目标的检测图像对应的情况下(在恢复矩阵是用于检测图像的有效恢复矩阵的情况下)，由此通过这个处理获得了视觉上可识别被摄体的复原图像。恢复单元321将所获得的复原图像(的数据)供应给输出处理单元322等。

在步骤s124中，输出处理单元322输出复原图像。这个输出包括任何方法。例如，这个输出可以包括图像显示、到另一个设备的数据输出以及打印、存储在存储介质上、发送到通信伙伴、记录在记录介质316上等。

当步骤s124的处理结束时，图像输出处理结束。通过执行如上所述的图像输出处理，可以从所发送的检测图像正确地恢复复原图像。因此，可以更容易地抑制图像的未授权使用和篡改。

<2.第二实施例>

<有效图案>

如上所述，由于成像元件的掩模图案由物理结构(遮光膜)形成，因此难以在发货后改变掩模图案。即，在从成像元件的所有像素读出检测信号以获得检测图像的情况下，固定用于检测图像的有效恢复矩阵。但是，可以通过控制从中读出检测信号的成像元件的哪个像素来改变检测图像。即，可以改变用于检测图像的有效恢复矩阵。

例如，如图31中所示，配置其上形成有掩模图案a的遮光膜的成像元件11，使得从像素的一部分读出检测信号(不从像素的部分读出检测信号)。假设从中读出这个检测信号的像素的图案是有效图案a，那么从成像元件11读出的检测图像aa受到掩模图案a和有效图案a的组合(掩模图案a×有效模式a)的影响。因此，除非使用作为反映掩模图案a和有效图案a的组合(掩模图案a×有效图案a)的影响的系数矩阵(与掩模图案a×有效图案a对应)的恢复矩阵aa，否则检测图像aa不能被转换成从视觉上可识别被摄体的复原图像aa。

例如，显示侧的恢复单元12-1具有这个恢复矩阵aa，并且可以通过获得所发送的检测图像aa并将检测图像aa乘以恢复矩阵aa来获得复原图像aa。因此，复原图像aa可以显示在显示单元13上。

另一方面，恢复单元12-2具有与掩模图案a对应的恢复矩阵a。因此，即使恢复单元12-2获得了所发送的检测图像aa，它也不能用这个恢复矩阵a来正确地恢复，并且不能在显示单元13上显示从视觉上可识别被摄体的图像。

另外，恢复单元12-3具有与掩模图案a和不同于有效图案a的有效图案b的组合(掩模图案a×有效图案b)对应的恢复矩阵ab。因此，即使恢复单元12-3获得了所发送的检测图像aa，它也不能用这个恢复矩阵ab来正确地恢复，并且不能在显示单元13上显示从视觉上可识别被摄体的图像。

以这种方式，通过选择(控制)从中读取成像元件的检测信号的像素，有可能设置(控制)要获得的检测图像。即，可以设置(控制)恢复所需的恢复矩阵。即，可以获得类似于在发货后更新掩模图案的效果。因此，本技术可以应用于更广泛的系统。

例如，通过为每个用户设置唯一的有效图案，可以为每个用户提供不同的恢复矩阵。即，即使在多个用户共享成像设备101的情况下，也可以通过恢复矩阵对每个用户管理浏览复原图像的权限(对复原图像的访问权限)。

另外，例如，由于可以从成像元件分析物理结构的掩模图案，因此即使当恢复矩阵本身没有泄漏时，也存在与物理结构的掩模图案对应的恢复矩阵从成像元件泄漏的风险。但是，由于如上所述的有效图案不取决于物理结构，因此可以抑制从成像元件泄漏。因此，通过选择(控制)从中读出成像元件的检测信号的像素，可以减小恢复矩阵泄漏的可能性。

<有效图案的控制>

此外，由于即使在发货后也可以容易地改变有效图案，因此例如通过如图32所示更新有效图案，可以更新恢复所需的恢复矩阵。

例如，假设掩模图案a的成像元件11的有效图案是有效图案t0。由成像元件11获得的检测图像at0受到掩模图案a和有效图案t0的组合(掩模图案a×有效图案t0)的影响。因此，除非使用作为反映掩模图案a和有效图案t0的组合(掩模图案a×有效图案a)的影响的系数矩阵(与掩模图案a×有效图案t0对应)的恢复矩阵at0，否则这个检测图像at0不能被转换成从视觉上可识别被摄体的复原图像at0。

例如，显示侧的恢复单元12-1具有这个恢复矩阵at0，并且可以通过获得所发送的检测图像at0并将检测图像at0乘以恢复矩阵at0来获得复原图像at0。因此，复原图像at0可以显示在显示单元13上。

假设将成像元件11的有效图案改变为有效图案t1。由成像元件11获得的检测图像at1受到掩模图案a和有效图案t1(掩模图案a×有效图案t1)的组合的影响。因此，除非使用与掩模图案a和有效图案t1(掩模图案a×有效图案t1)的组合对应的恢复矩阵at1，否则这个检测图像at1不能被转换成从视觉上可识别被摄体的复原图像at1。

因此，即使具有恢复矩阵at0的恢复单元12-1获得了所发送的检测图像at1，它也不能利用这个恢复矩阵at0正确地进行恢复，并且不能在显示单元上显示从视觉上可识别被摄体的图像13。

通过将恢复矩阵at0更新为恢复矩阵at1，恢复单元12-1变得能够正确地恢复检测图像at1。

即，如上所述，可以通过切换有效图案来更新恢复所需的恢复矩阵。因此，例如，即使恢复矩阵泄漏一次，也可以使泄漏的恢复矩阵无效。因此，有可能抑制图像的未经授权的使用和篡改。

另外，例如，本技术可以应用于对复原图像的访问权的时间限制管理等。即，其可以被应用于更广泛的系统。

<成像设备>

图33是图示在这种情况下的成像设备101的主要配置示例的框图。如图33中所示，在这种情况下，除了第一实施例(图4)的情况下的配置之外，成像设备101还具有读出控制单元351。

读出控制单元351被配置为执行与成像元件121的读出的控制相关的处理。例如，读出控制单元351控制从成像元件121的哪个像素读出控制信号。即，读出控制单元351设置(控制)成像元件121的有效图案。

成像元件121从被指定为由读出控制单元351从中读出检测信号的像素的像素读出检测信号，并将其用作检测图像。即，这个检测图像受到成像元件121的物理结构(诸如遮光膜)的掩模图案和由读出控制单元351设置的有效图案的组合的影响。即，这个检测图像可以被转换成复原图像，其中可以通过与成像元件121的物理结构(诸如遮光膜)的掩模图案和由读出控制单元351设置的有效图案的组合对应的恢复矩阵来从视觉上识别被摄体。

注意的是，读出控制单元351可以基于任意原因(触发器)来切换有效图案。例如，读出控制单元351可以基于时间信息定期地或不定期地切换有效图案。另外，例如，读出控制单元351可以使用成像作为触发器来切换有效图案。例如，读出控制单元351可以在每次执行成像时切换有效图案，或者可以每预定次数切换有效图案。另外，例如，读出控制单元351可以基于诸如用户输入之类的外部指令来切换有效图案。

有效图案的设置方法也是任意的。例如，读出控制单元351可以从预先准备的多个候选中选择期望的(最优的)有效图案。这种选择的方法也是任意的。例如，可以以预定次序选择每个候选。另外，例如，可以基于诸如时间信息、位置信息或密码之类的一些信息来确定要选择的候选。另外，例如，可以随机地选择每个候选。此外，读出控制单元351可以生成有效图案。

<成像处理的流程>

将参考图34的流程图描述在这种情况下由成像设备101执行的成像处理的流程的示例。

当开始成像处理时，在步骤s201中，成像设备101的读出控制单元351通过控制从成像元件121的哪个像素读出控制信号来设置(控制)成像元件121的有效图案。

在步骤s202中，成像设备101的成像元件121根据在步骤s101中设置的有效图案(用当通过有效图案读出检测信号时指定的像素)对被摄体进行成像，并且获得检测图像。

在步骤s203中，输出处理单元123输出在步骤s202中获得的检测图像。即，输出受成像元件121的掩模图案和由读出控制单元351设置的有效图案的组合影响的检测图像。

注意的是，这个输出包括任何方法。例如，这个输出可以包括图像显示、到另一个设备的数据输出以及打印、存储在存储介质上、发送到通信伙伴、记录在记录介质116上等。

当步骤s203的处理结束时，成像处理结束。通过执行如上所述的成像处理，可以发送其中从视觉上不能识别被摄体的检测图像，因此可以更容易地抑制图像的未授权使用和篡改。另外，在这种方法的情况下，由于可以使用有效图案，因此可以更加可靠地抑制图像的未授权使用和篡改。另外，它可以应用于更广泛的系统。

<图像输出设备>

图35是图示在这种情况下的图像输出设备102的主要配置示例的框图。如图35中所示，除了第一实施方式(图29)的情况以外，这种情况下的图像输出设备102还包括复原矩阵设置单元361。

恢复矩阵设置单元361执行与设置由恢复单元321用于恢复的恢复矩阵相关的处理。例如，恢复矩阵设置单元361设置由恢复单元321用于恢复的恢复矩阵，并将设定的恢复矩阵供应给恢复单元321。恢复单元321使用恢复矩阵来恢复复原图像。

注意的是，用于设置恢复矩阵的方法是任意的。例如，恢复矩阵设置单元361可以从多个候选中选择期望的(最优的)恢复矩阵。在那种情况下，候选的供应源是任意的。候选可以预先在图像输出设备102中注册，或者可以在发货后从外部获得。在那种情况下，候选的提供源是任意的。例如，它可以是图像输出设备102的用户、成像设备101的用户(其用户)、成像设备101的制造商，或诸如提供诸如以下内容的服务提供商之类的第三方：图像分发和许可证提供。另外，提供候选的方法也是任意的。例如，可以经由网络或电缆来提供，或者可以经由记录介质等来提供。

另外，选择准则是任意的。例如，恢复矩阵设置单元361可以选择由用户等指定的候选，或者可以基于诸如时间信息和位置信息之类的任意信息来选择候选。

另外，恢复矩阵设置单元361可以生成恢复矩阵。

<图像输出处理的流程>

将参考图36的流程图描述在这种情况下由图像输出设备102执行的图像输出处理的流程的示例。

当图像输出处理开始时，例如，图像输出设备102的通信单元314(可以是输入单元311、记录-再现单元315等)在步骤s251中获得所发送的检测图像，并且将其供应给恢复单元321。

在步骤s252中，恢复矩阵设置单元361通过预定方法将与检测图像对应的恢复矩阵设置为处理目标，并将设定的恢复矩阵供应给恢复单元321。

在步骤s253中，恢复单元321使用在步骤s252中设置的恢复矩阵将在步骤s251中获得的检测图像转换(恢复)为复原图像。在所使用的恢复矩阵与作为处理目标的检测图像对应的情况下(在恢复矩阵是用于检测图像的有效恢复矩阵的情况下)，通过这个处理获得从视觉上可识别被摄体的复原图像。恢复单元321将所获得的复原图像(的数据)供应给输出处理单元322等。

在步骤s254中，输出处理单元322输出复原图像。这个输出包括任何方法。这个输出可以包括图像显示、到另一个设备的数据输出以及打印、存储在存储介质上、发送到通信伙伴、记录在记录介质316上等。

当步骤s254的处理结束时，图像输出处理结束。通过执行如上所述的图像输出处理，可以从所发送的检测图像正确地恢复复原图像。因此，可以更容易地抑制图像的未授权使用和篡改。另外，在这种方法的情况下，由于可以使用有效图案，因此可以更加可靠地抑制图像的未授权使用和篡改。另外，它可以应用于更广泛的系统。

<3.第三实施例>

<恢复矩阵的提供>

注意的是，成像设备101可以在显示侧为图像输出设备102提供用于检测图像的正确恢复矩阵。通过由生成检测图像的成像设备101提供恢复矩阵，有可能更容易地向图像输出设备102提供正确恢复矩阵。例如，如果从第三方提供恢复矩阵，那么可以存在难以保证成像设备101(成像元件121的掩模图案)与要提供的恢复矩阵之间的对应关系的情况。特别地，在如第二实施例中那样设置有效图案的情况下，必须保证与有效图案的一致性，并且可能变得需要更复杂的控制。由于成像设备101可以容易地掌握掩模图案和有效图案，因此可以容易地指定与它们对应的恢复矩阵。即，可以更容易地提供正确的恢复矩阵。

注意的是，在这种情况下，对提供恢复矩阵的另一方执行认证处理，并且仅在认证成功的情况下，即，对于被确定为有效的设备(用户)，才可以提供恢复矩阵。以这种方式，可以抑制恢复矩阵的泄漏，并且可以抑制图像的未授权使用和篡改。

另外，所提供的恢复矩阵可以被加密。通过加密恢复矩阵，可以抑制恢复矩阵的泄漏，并且可以抑制图像的未授权使用和篡改。

<成像设备>

图37是图示这种情况下的成像设备101的主要配置示例的框图。如图37所示，在这种情况下，除了第二实施例(图33)中的配置之外，成像设备101还包括认证单元371、恢复矩阵设置单元372和加密单元373。

认证单元371被配置为执行与认证处理相关的处理。例如，认证单元371认证提供恢复矩阵的另一方。

恢复矩阵设置单元372被配置为执行与恢复矩阵的设置相关的处理。例如，恢复矩阵设置单元372在读出控制单元351的控制下设置与从成像元件121读出的检测图像对应的恢复矩阵。从成像元件121和读出控制单元351的设置知道掩模图案和有效图案，因此恢复矩阵设置单元372可以设置与要输出的检测图像对应的恢复矩阵。注意的是，恢复矩阵的这种设置方法是任意的，但是取决于有效图案的设置方法。设定的恢复矩阵例如被供应给加密单元373。

加密单元373被配置为执行与加密相关的处理。例如，加密单元373对由恢复矩阵设置单元372设置的恢复矩阵进行加密。这种加密方法可以是恢复矩阵的输出目的地已知的任何方法。加密的恢复矩阵被供应给输出处理单元123并输出。

<恢复矩阵提供处理的流程>

成像设备101通过执行恢复矩阵提供处理来提供恢复矩阵。将参考图38的流程图来描述在这种情况下由成像设备101执行的恢复矩阵提供处理的流程的示例。

当开始恢复矩阵提供处理时，在步骤s401中，成像设备101的认证单元371认证恢复矩阵的输出目的地(例如，图像输出设备102)。

在步骤s402中，认证单元371确定针对输出目的地的认证是否成功。在确定认证成功的情况下，处理前进到步骤s403。

在步骤s403中，恢复矩阵设置单元372基于读出控制单元351的有效图案设置等来设置恢复矩阵。

在步骤s404中，加密单元373对在步骤s403中设置的恢复矩阵进行加密。

在步骤s405中，输出处理单元123将在步骤s404中加密的恢复矩阵输出到认证成功的输出目的地。

注意的是，这个输出包括任何方法。例如，这个输出可以包括到另一个设备的数据输出、发送到通信伙伴、记录在记录介质116上等。

当步骤s405的处理结束时，恢复矩阵提供处理结束。另外，在步骤s402中确定认证失败的情况下，跳过步骤s403至s405中的各个处理，并且恢复矩阵提供处理结束。

通过执行如上所述的恢复矩阵提供处理，可以更容易地提供正确的恢复矩阵。另外，通过执行认证处理，可以抑制恢复矩阵的泄漏，并且可以抑制图像的未授权使用和篡改。另外，通过加密恢复矩阵，可以抑制恢复矩阵的泄漏，并且可以抑制图像的未授权使用和篡改。

<图像输出设备>

图39是图示在这种情况下的图像输出设备102的主要配置示例的框图。如图39中所示，除了第二实施方式(图29)的情况下的结构以外，在这种情况下的图像输出设备102还包括认证单元381和解密单元382。

认证单元381是与成像设备101的认证单元371对应的处理单元，并且被配置为执行与认证处理相关的处理。例如，认证单元381与成像设备101的认证单元371交换信息以执行认证处理，并且认证图像输出设备102本身。

解密单元382是与成像设备101的加密单元373对应的处理单元，并且被配置为执行与解密相关的处理。例如，解密单元382解密从成像设备101供应的加密的恢复矩阵，以获得明文恢复矩阵。这种解密方法是任意的，只要它与加密单元373的加密方法对应即可。解密单元382将通过解密获得的明文解密矩阵供应给例如存储单元313以进行存储。

恢复矩阵设置单元361在预定定时从存储单元313读出以这种方式获得的恢复矩阵，并将其设置为恢复单元321用于恢复的恢复矩阵。

<恢复矩阵获得处理的流程>

图像输出设备102通过执行恢复矩阵获得处理来获得恢复矩阵。将参考图40的流程图描述在这种情况下由图像输出设备102执行的恢复矩阵获得处理的流程的示例。

当开始恢复矩阵获得处理时，在步骤s451中，图像输出设备102的认证单元381对恢复矩阵的获得源(例如，成像设备101)执行认证处理。

在步骤s452中，认证单元381确定其自身的认证是否成功。在确定认证成功的情况下，处理前进到步骤s453。

在步骤s453中，例如，图像输出设备102的通信单元314(可以是输入单元311，记录-再现单元315等)获得通过通信从外部设备发送的加密恢复矩阵。

在步骤s454中，解密单元382对在步骤s453中获得的加密恢复矩阵进行解密。

在步骤s455中，存储单元313存储通过在步骤s404中解码而获得的明文恢复矩阵。

当步骤s455的处理结束时，恢复矩阵获得处理结束。另外，在步骤s452中确定认证失败的情况下，跳过步骤s453至s455中的相应处理，并且恢复矩阵获得处理结束。

通过执行如上所述的恢复矩阵获得处理，可以获得从成像设备101提供的恢复矩阵，因此可以更容易地获得正确的恢复矩阵。另外，通过执行认证处理，可以抑制恢复矩阵的泄漏，并且可以抑制图像的未授权使用和篡改。此外，有可能通过解密加密的恢复矩阵来实现加密的恢复矩阵的发送。因此，可以抑制恢复矩阵的泄漏，并且可以抑制图像的未授权使用和篡改。

<4.第四实施例>

<恢复矩阵的关联>

注意的是，成像设备101可以将检测图像与和检测图像对应的恢复矩阵相关联，并将它们提供给显示侧的图像输出设备102。通过彼此关联地提供检测图像和恢复矩阵，图像输出设备102可以更容易地掌握与检测图像对应的恢复矩阵。因此，可以提高便利性。

另一方面，通过如第三实施例中那样在不使检测图像和恢复矩阵相关联的情况下提供检测图像和恢复矩阵，可以抑制恢复矩阵与检测图像之间的对应性的泄漏，并且可以抑制图像的未授权使用和篡改。

<成像设备>

图41是图示在这种情况下成像设备101的主要配置示例的框图。如图41中所示，除了在第三实施例的情况下的配置(图37)之外，在这种情况下的成像设备101还包括关联单元391。注意的是，虽然这里省略了认证单元371，但是成像设备101还可以包括认证单元371。

关联单元391被配置为执行与信息的关联相关的处理。例如，关联单元391将从成像元件121读出的检测图像与由恢复矩阵设置单元372设置并与检测图像对应并且由加密单元373加密的的恢复矩阵相关联。关联单元391将相关联的检测图像和恢复矩阵供应给输出处理单元123，以输出它们。

<成像处理的流程>

将参考图42的流程图描述在这种情况下由成像设备101执行的成像处理的流程的示例。

当开始成像处理时，在步骤s501中，成像设备101的读出控制单元351通过控制从成像元件121的哪个像素读出控制信号来设置(控制)成像元件121的有效图案。

在步骤s502中，成像设备101的成像元件121根据在步骤s501中设置的有效图案对被摄体进行成像(对于当通过有效图案读出检测信号时指定的像素)，并且获得检测图像。

在步骤s503中，恢复矩阵设置单元372基于在步骤s501中设置的有效图案等来设置与在步骤s502中获得的检测图像对应的恢复矩阵。

在步骤s504中，加密单元373对在步骤s503中设置的恢复矩阵进行加密。

在步骤s505中，关联单元391将在步骤s504中获得的加密恢复矩阵与在步骤s502中获得的检测图像相关联。

在步骤s506中，输出处理单元123输出在步骤s505中彼此关联的检测图像和加密的恢复矩阵。

当步骤s506的处理结束时，成像处理结束。通过执行如上所述的成像处理，可以提高成像设备101的便利性。

<图像输出设备>

图43是图示在这种情况下的图像输出设备102的主要配置示例的框图。如图43中所示，在这种情况下的图像输出设备102中，在第三实施例的情况下(图39)省略了认证单元381和恢复矩阵设置单元361。注意的是，图像输出设备102还可以包括认证单元371。

<图像输出处理的流程>

将参考图44的流程图描述在这种情况下由图像输出设备102执行的图像输出处理的流程的示例。

当图像输出处理开始时，例如，图像输出设备102的通信单元314(其可以是输入单元311、记录-再现单元315等)在步骤s551中获得所发送的检测图像和恢复矩阵(彼此相关联的检测图像和恢复矩阵)。这个恢复矩阵被加密。

在步骤s552中，解密单元382解密加密的恢复矩阵。

在步骤s553中，恢复单元321使用与检测图像相关联的恢复矩阵作为处理目标来恢复复原图像。恢复单元321将所获得的复原图像(的数据)供应给输出处理单元322等。

在步骤s554中，输出处理单元322输出复原图像。这个输出包括任何方法。例如，这个输出可以包括图像显示、到另一个设备的数据输出以及打印、存储在存储介质上、发送到通信伙伴、记录在记录介质316上等。

当步骤s554的处理结束时，图像输出处理结束。通过执行如上所述的图像输出处理，恢复单元321可以根据关联更容易地识别与检测图像对应的恢复矩阵。即，恢复单元321可以使用与检测图像对应的恢复矩阵更容易地将检测图像转换成复原图像。即，可以提高便利性。

<5.第五实施例>

<经由服务器的发送>

注意的是，如上所述，可以经由服务器106发送检测图像和恢复矩阵。

例如，如图45所示，在从成像设备101向图像输出设备102发送检测图像的情况下，可以经由服务器106-1发送检测图像。另外，在那时，恢复矩阵可以经由服务器106-2被发送或者可以不通过服务器被发送。

另外，在从成像设备101向图像输出设备102发送恢复矩阵的情况下，可以经由服务器106-2发送恢复矩阵。另外，在那时，检测图像可以经由服务器106-1被发送，或者可以不通过服务器被发送。

注意的是，恢复矩阵可以从服务器106-3而不是从成像设备101供应给图像输出设备102。

注意的是，在图45中，服务器106-1至服务器106-3被分开描述，但是这些服务器的一部分或全部可以被实现为一个服务器106。

<服务器>

图46是图示服务器106的主要配置示例的框图。如图3中所示，服务器106包括cpu501、rom502、ram503、总线504、输入-输出接口510、输入单元511、输出单元512、存储单元513、通信单元514和驱动器515。

cpu501、rom502和ram503经由总线504彼此连接。输入-输出接口510也连接到总线504。输入单元511至驱动器515连接到输入-输出接口510。

输入单元511例如包括任意输入设备，诸如键盘、鼠标、触摸板、图像传感器、麦克风、开关和输入端子。输出单元512例如包括任意输出设备，诸如显示器、扬声器和输出端子。存储单元513包括例如任意存储介质，诸如硬盘、ram盘，以及诸如固态驱动器(ssd)或通用串行总线(usb)(注册商标)之类的非易失性存储器。通信单元514具有例如任何通信标准的通信接口，诸如以太网(注册商标)、蓝牙(注册商标)、usb、高清晰多媒体接口(hdmi)(注册商标)、有线或无线或两者兼而有之的irda。驱动器515访问(驱动)具有任意存储介质的可移动记录介质516，该存储介质诸如是磁盘、光盘、磁光盘或半导体存储器。

例如，cpu501将存储在rom502或存储单元513中的程序加载到ram503中并执行该程序。例如，ram503还适当地存储cpu501执行各种处理所需的数据。

<检测图像发送处理的流程>

接下来，将描述与成像设备101或图像输出设备102与服务器106之间的发送相关的处理。将参考图47的流程图描述成像设备101与服务器106之间的检测图像发送处理的流程的示例。

当开始检测图像发送处理时，在步骤s601中，成像设备101的成像元件121对被摄体进行成像。在步骤s602中，通信单元114将通过步骤s601的处理获得的检测图像供应给服务器106。

在步骤s611中，服务器106的通信单元514获得所供应的检测图像。在步骤s612中，存储单元513存储在步骤s611中获得的检测图像。

通过以这种方式执行每个处理，成像设备101可以将检测图像上传到服务器106。

<检测图像发送处理的流程>

接下来，将参考图48的流程图描述在服务器106和图像输出设备102之间的检测图像发送处理的流程的示例。

当开始检测图像发送处理时，在步骤s631中，图像输出设备102的通信单元314向服务器106请求检测图像。在步骤s621中，服务器106的通信单元514获得该请求。在步骤s622中，服务器106的存储单元513读出所请求的检测图像。在步骤s623中，通信单元514将在步骤s622中读出的检测图像供应给作为请求源的图像输出设备102。

在步骤s632中，图像输出设备102的通信单元314获得检测图像。在步骤s633中，恢复单元321使用与检测图像对应的恢复矩阵来恢复获得的检测图像。

在步骤s634中，输出处理单元322输出获得的复原图像。

通过以这种方式执行每个处理，图像输出设备102可以从服务器106下载检测图像。

另外，通过执行图47的处理和图48的处理，可以经由服务器106发送检测图像。

<恢复矩阵发送处理的流程>

接下来，将参考图49的流程图描述在成像设备101和服务器106之间的恢复矩阵发送处理的流程的示例。

当开始恢复矩阵发送处理时，成像设备101的认证单元371在步骤s641中执行认证处理。对应地，服务器106的cpu501也在步骤s651中执行认证处理。即，执行相互认证。

如果认证成功，那么在步骤s642中，成像设备101的通信单元114将恢复矩阵提供给服务器106。另一方面，服务器106的通信单元514在步骤s652中获得恢复矩阵。在步骤s653中，服务器106的存储单元513存储通过步骤s652的处理获得的恢复矩阵。

通过以这种方式执行每个处理，成像设备101可以将恢复矩阵上传到服务器106。

<恢复矩阵发送处理的流程>

接下来，将参考图50的流程图描述服务器106和图像输出设备102之间的恢复矩阵发送处理的流程的示例。

当开始恢复矩阵发送处理时，服务器106的cpu501在步骤s661中执行认证处理。对应地，图像输出设备102的认证单元381也在步骤s671中执行认证处理。即，执行相互认证。

如果认证成功，那么在步骤s672中，图像输出设备102的通信单元314向服务器106请求恢复矩阵。在步骤s662中，服务器106的通信单元514获得该请求。在步骤s663中，服务器106的存储单元513读出所请求的恢复矩阵。在步骤s664中，通信单元514将在步骤s663中读出的恢复矩阵供应给作为请求源的图像输出设备102。

在步骤s673中，图像输出设备102的通信单元314获得恢复矩阵。在步骤s674中，存储单元313存储所获得的恢复矩阵。当从检测图像中恢复出复原图像时，使用这个恢复矩阵。

通过以这种方式执行每个处理，图像输出设备102可以从服务器106下载恢复矩阵。

另外，通过执行图49的处理和图50的处理，可以经由服务器106发送恢复矩阵。

<6.第六实施例>

<自我恢复>

注意的是，在以上描述中，复原图像被恢复并显示在图像输出设备102中，但是复原图像可以被恢复并显示在成像设备101中。即，成像设备101可以执行从成像到显示的所有处理。例如，可以通过执行这样的处理来将捕获的图像显示在成像设备101上。

<成像设备>

图51是图示在这种情况下成像设备101的主要配置示例的框图。如图51中所示，除了第二实施例的情况中的配置(图33)以外，这种情况下的摄像装置101还具有恢复单元551。

恢复单元551被配置为执行与复原图像的生成(恢复)相关的处理。例如，恢复单元551经由总线120从另一个处理单元获得检测图像。另外，例如，恢复单元551使用恢复矩阵将检测图像转换成复原图像。另外，例如，恢复单元551经由总线120将与所生成的复原图像相关的数据(像素值等)供应给另一个处理单元等。

恢复单元551获得存储在存储单元113等中的恢复矩阵，并使用获得的恢复矩阵将由成像元件121获得的检测图像转换成复原图像。恢复单元551将已经恢复的复原图像供应给输出单元112，并且在监视器上显示复原图像。

<成像处理的流程>

将参考图52的流程图描述在这种情况下由成像设备101执行的成像处理的流程的示例。

当开始成像处理时，在步骤s701中，成像设备101的读出控制单元351通过控制从成像元件121的哪个像素读出控制信号来设置(控制)成像元件121的有效图案。

在步骤s702中，成像设备101的成像元件121根据在步骤s701中设置的有效图案(利用当通过有效图案读出检测信号时指定的像素)对被摄体进行成像，并获得检测图像。

在步骤s703中，存储单元113存储在步骤s702中获得的检测图像。

<图像输出处理的流程>

接下来，将参考图53的流程图描述由成像设备101执行的图像显示处理的流程的示例。

当开始图像显示处理时，例如，成像设备101的通信单元114(其可以是输入单元111、记录-再现单元115等)在步骤s721中读出存储在存储单元313中的检测图像，并将其供应给恢复单元551。

在步骤s722中，输入单元111接收例如由用户等输入的恢复矩阵的输入。输入单元111将接收到的恢复矩阵供应给恢复单元551。

在步骤s723中，恢复单元551使用在步骤s722中接收到的恢复矩阵将在步骤s721中从存储单元313读出的检测图像转换(恢复)成复原图像。在所使用的恢复矩阵与作为处理目标的检测图像对应的情况下(在恢复矩阵是用于检测图像的有效恢复矩阵的情况下)，通过这个处理获得了从视觉上可识别被摄体的复原图像。恢复单元321将获得的复原图像(的数据)供应给输出单元112。

在步骤s724中，输出单元112在监视器上显示复原图像。当步骤s724的处理结束时，图像显示处理结束。通过执行如上所述的图像显示处理，可以显示复原图像而不将其发送到外部。因此，可以抑制图像的未授权使用和篡改。

<7.第七实施例>

<彩色图像>

本技术也可以应用于彩色图像。在这种情况下，如图54中所示，对于每个颜色分量执行与上述情况类似的处理就足够了。例如，假设成像元件11具有被布置在拜耳阵列中的相应颜色(r、gr、gb、b)的像素601。在这样的成像元件11中，针对每个颜色分量(检测图像r、检测图像gr、检测图像gb、检测图像b)获得检测图像。

成像设备101将针对每种颜色分量的检测图像发送到图像输出设备102。在显示侧的恢复单元12为每个颜色分量的发送的检测图像准备每个颜色分量的恢复矩阵，并为每个颜色分量生成复原图像。

例如，rgb组合单元612组合相应颜色的复原图像以获得彩色图像。这个彩色图像显示在显示单元13上。

以这种方式，即使在彩色图像中，也可以抑制图像的未授权使用和篡改。

<8.第八实施例>

<用例1>

接下来，将描述对其应用本技术的系统的具体示例。例如，如图55中所示，本技术可以应用于安装在车辆内部或飞机内部的安全相机等。即，成像设备101安装在诸如汽车701或公共汽车702之类的车辆内部或飞机703内部，等等，并且用于记录驾驶或操纵的状态或在车辆中或在飞机中状态。那时，通过记录在成像设备101中获得的检测图像，可以抑制图像的未授权使用和篡改。例如，可以通过抑制不必要的浏览来保护乘客的隐私。

注意的是，例如，在发生事件或事故等并且需要浏览图像的情况下，将记录的检测图像提供给具有恢复矩阵的有效用户(例如，调查组织711等)。有效用户可以使用有效恢复矩阵将检测图像转换成复原图像，以便有效用户可以浏览复原图像(驾驶或操纵状态，在车辆中或在飞机中状态等)。

<用例2>

另外，例如，如图56中所示，本技术可以被应用于监视家的状态的家安全系统等。在图56的示例中，成像设备101被安装在家722中，并且远离家的用户使用诸如智能电话之类的终端设备723来监视家的状态，其中注册了有效的恢复矩阵，如图像输出设备102。例如，成像设备101或终端设备723(图像输出设备102)被注册在提供图像发送服务的预定云服务721中，并且云服务721被用于从家722处的成像设备101向终端设备723发送检测图像。以这种方式，可以抑制在传送等期间第三方等对图像的未授权访问。

<用例3>

此外，本技术可以应用于例如如图57所示安装在室外或室内的安全相机等。在图57的示例中，成像设备101被安装在室外场所731或室内场所732，并且在那里获得的检测图像被传送到监视中心733。具有有效恢复矩阵的监视中心733将检测图像转换成用于监视的复原图像。以这种方式，可以抑制在传送等期间第三方等对图像的未授权访问。

<用例4>

此外，例如，如图58中所示，本技术可以应用于用于安全性等的可穿戴式相机。在图58的示例中，成像设备101被安装在眼镜741上。然后，成像设备101总是成像并记录用户周围的情况。在那时，成像设备101生成并记录检测图像。因此，例如，即使未经授权的用户操作眼镜741，因为记录的是检测图像，所以也不可能从视觉上识别被摄体。即，可以保护被摄体的隐私。

注意的是，例如，在发生事件或事故等并且需要浏览图像的情况下，将记录的检测图像提供给具有恢复矩阵的有效用户(例如，调查机构743等)。有效用户可以使用有效恢复矩阵将检测图像转换成复原图像，使得有效用户可以浏览复原图像(诸如在眼镜741的用户周围的情况)。

如上所述，本技术可以应用于各种用途的系统和设备。

<9.第九实施例>

<成像元件的其它配置示例>

虽然已经在上面描述了成像元件121的示例，但是成像元件121足以具有多个像素输出单位，所述多个像素输出单位接收不通过成像透镜或者针孔而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号，并且其配置是任意的。

例如，通过使用随机的黑白图案掩模或光学干涉掩模作为调制元件，可以根据黑白图案或干涉来调制入射在成像元件121的成像表面上的光。

图59图示了成像元件的另一种配置。成像元件821被配置为使得作为调制元件的掩模823被固定到成像元件822，从而相对于成像元件822的成像表面ip具有预定间隔，并且来自被摄体平面op的光由掩模823调制，然后入射在成像元件822的成像表面ip上。

图60图示了使用黑白图案掩模的情况。在图60的a中，图示了黑白图案掩模。黑白图案掩模823bw具有其中透射光的白色图案部分和阻挡光的黑色图案部分被随机地布置的构造，并且具有独立于成像元件822的像素尺寸而设置的图案尺寸。在图60的b中，示意性地图示了从点光源pa发射的光和从点光源pb发射的光的成像表面ip的照射状态。另外，在图60的b中，还示意性地图示了对于从点光源pa和点光源pb发射的光的每一个在使用黑白图案掩模823bw的情况下成像元件的响应的示例。来自被摄体平面op的光由黑白图案掩模823bw调制，然后入射在成像元件822的成像表面ip上。因此，与从被摄体平面op上的点光源pa发射的光对应的成像元件的响应为sbwa。另外，与从被摄体平面op上的点光源pb发射的光对应的成像元件的响应为sbwb。因而，从成像元件822输出的像素输出信息是通过针对每个像素输出单位组合相应点光源的响应而获得的一个图像的信息。在这种配置的情况下，不能为每个像素输出单位独立地设置入射角度方向性，并且处于靠近位置的像素输出单位具有彼此靠近的入射角度方向性。

图61图示了使用光学干涉掩模的情况。如图61的a中所示，从被摄体平面op上的点光源pa、pb发射的光经由光学干涉掩模823lf被施加到成像元件822的成像表面ip。例如，如图61的a中所示，光学干涉掩模823lf的光入射表面设有大约光的波长的不规则性。另外，光学干涉掩模823lf使得从垂直方向施加的具有特定波长的光的透射最大化。当从被摄体平面op上的点光源pa、pb发射的具有特定波长的光相对于光学干涉掩模823lf的入射角度(相对于垂直方向的倾斜)增加时，光路长度改变。在此，如果光路长度是半波长的奇数倍，那么光彼此弱化，并且如果光路长度是半波长的偶数倍，那么光彼此加强。即，根据相对于光学干涉掩模823lf的入射角度来调制从点光源pa、pb发射并通过光学干涉掩模823lf透射的具有特定波长的透射光的强度，然后入射到成像元件822的表面ip上，如图61的b中所示。因此，从成像元件822的每个输出像素单位输出的像素输出信息是通过对已经穿过光学干涉掩模823lf的相应点光源的调制之后的光强度进行组合而获得的信息。在这种配置的情况下，不能为每个像素输出单位独立地设置入射角度方向性，并且处于靠近位置的像素输出单位具有彼此靠近的入射角度方向性。

注意的是，可以使用图62的滤光器823hw代替滤光器823bw。滤光器823hw包括具有彼此相同的偏振方向的线性偏振元件831a和线性偏振元件831b，以及半波片832，并且半波片832夹在线性偏振元件831a和线性偏振元件831b之间。在半波片832中，代替滤光器823bw的黑色图案部分，提供了由斜线指示的偏振部分，并且白色图案部分和偏振部分被随机地布置。

线性偏振元件831a仅使从点光源pa发射的基本上非偏振的光中的预定偏振方向的光分量透过。在下文中，假设线性偏振元件831a仅透射其偏振方向平行于图的平面的光分量。在透射通过线性偏振元件831a的偏振光中，透射通过半波片832的偏振部分的偏振光的偏振方向通过偏振平面的旋转在垂直于图平面的方向上改变。另一方面，在透射通过线性偏振元件831a的偏振光中，透射通过半波片832的白色图案部分的偏振光的偏振方向在平行于图平面的偏振方向上保持不变。然后，线性偏振元件831b透射透射通过白色图案部分的偏振光，并且几乎不透射透射通过偏振部分的偏振光。因此，与透射通过白色图案部分的偏振光相比，透射通过偏振部分的偏振光的光量减少。因此，在成像元件822的光接收表面(成像表面)ip上生成与使用光学滤波器823bw的情况基本相似的灰度图案。

但是，由于在这些配置的情况下有必要向成像元件添加诸如掩模之类的另一种配置，因此可以使在第一至第八实施例中描述的配置示例的成像元件121更小。

如上所述，在本技术中，成像元件121可以具有参考图7描述的配置、可以具有参考图8描述的配置、可以具有参考图59和60描述的配置，或者可以具有参考图61所述的配置。即，成像元件121足以具有多个像素输出单位，所述多个像素输出单位接收不通过成像透镜或者针孔而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号。

另外，本技术可以适用于具有参考图7描述的配置或参考图8描述的配置的成像元件121。即，成像元件121的多个像素输出单位可以具有这样的配置：其中，对每个像素输出单位能够独立设置输出像素值的指示相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性。

另外，本技术可以适用于具有参考图7描述的配置的成像元件。即，成像元件121的多个像素输出单位可以具有这样的配置：其中，对每个像素输出单位能够独立设置指示相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性。

另外，本技术可以适用于具有参考图8描述的配置的成像元件。即，在成像元件121的多个像素输出单位中，通过使对输出有贡献的光电二极管(pd)互不相同，对每个像素输出单位能够独立设置输出像素值的指示相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性。

<成像设备和图像输出设备的其它配置示例>

在以上描述中，成像设备101具有成像元件121，但是成像设备101中包括的成像元件121的数量是任意的。成像设备101可以具有单个成像元件121或多个成像元件121。另外，在成像设备101具有多个成像元件121的情况下，多个成像元件121的性能(例如，像素的数量、形状、像素结构、成像特性、成像方法等)可以全部统一，或可以包括不同的性能。另外，例如，成像设备101可以包括多个其它处理单元，诸如恢复单元551。

另外，在以上描述中，图像输出设备102具有恢复单元321，但是图像输出设备102具有的恢复单元321的数量是任意的，并且可以是单个或多个。另外，在图像输出设备102包括多个恢复单元321的情况下，多个恢复单元321的容量可以是统一的，或者可以包括不同的容量。另外，图像输出设备102可以具有除恢复单元321以外的多个处理单元。

<10.其它>

<应用示例>

本技术可以应用于任何设备，只要设备具有成像功能即可。另外，本技术可以应用于任何设备或系统，只要设备或系统处理通过成像功能获得的图像即可。另外，本技术可应用于例如任何领域中使用的设备或系统，诸如交通、医疗、预防犯罪、农业、畜牧业、采矿、美容、工厂、家用电器、天气、和自然监视。

例如，本技术可以应用于处理为观看而提供的图像的设备或系统，诸如数字相机或具有相机功能的便携式设备。另外，本技术还可以应用于例如处置用于诸如安全性、监视或观察之类的应用(诸如监视相机)的应用的图像的设备或系统。而且，本技术可以应用于例如处置用于诸如人认证、图像分析和距离测量之类的应用的图像的设备或系统。此外，本技术可以应用于例如处置用于控制机器等的图像的设备或系统，诸如汽车或机器人的自主驾驶。

<软件>

上述一系列处理可以由硬件执行或可以由软件执行。另外，一些处理可以由硬件执行，而其它处理可以由软件执行。在通过软件执行一系列处理的情况下，安装构成该软件的程序。

例如，可以从记录介质安装这个程序。例如，在图4、33、37、41、51等的成像设备101的情况下，这个记录介质由其中记录有程序并被分发以将程序递送给与设备主体分开的用户的记录介质116形成。在这种情况下，例如，通过将记录介质116安装在记录-再现单元115中，可以读出存储在记录介质116中的程序并将其安装在存储单元113中。另外，例如，在图29、35、39、43等的图像输出设备102的情况下，这个记录介质由其中记录有程序并且被分发以将程序递送给与设备主体分开的用户的记录介质316形成。在这种情况下，例如，通过将记录介质316安装在记录-再现单元315中，可以读出存储在记录介质316中的程序并将其安装在存储单元313中。

另外，这个程序也可以经由诸如局域网、互联网或数字卫星广播之类的有线或无线发送介质来提供。例如，在图4、33、37、41、51等的成像设备101的情况下，程序可以由通信单元114接收并安装在存储单元113中。另外，例如，在图29、35、39、43等的图像输出设备102的情况下，程序可以由通信单元314接收并安装在存储单元313中。

此外，这个程序可以预先安装在存储单元、rom等中。例如，在图4、33、37、41、51等所示的成像设备101的情况下，程序可以预先安装在控制单元110中的存储单元113中或rom(未示出)等中。另外，例如，在图29、35、39、43等的图像输出设备102的情况下，程序可以预先安装在存储单元313或控制单元301中的rom(未示出)中等。

<补充>

注意的是，本技术的实施例不限于上述实施例，并且在不脱离本技术的范围的情况下可以进行各种修改。

例如，本技术还可以被实现为构成设备或系统的任何部件，例如，作为系统大规模集成(lsi)的处理器等、使用多个处理器等的模块、使用多个模块等的单元、将其它功能进一步添加到单元的设施(即，设备的部件的一部分)等。

另外，可以通过任何配置来实现上述每个处理单元。例如，它可以包括电路、lsi、系统lsi、处理器、模块、单元、设施、设备、装置或系统等。另外，可以将它们中的多个进行组合。此时，例如，可以将诸如多个电路或多个处理器之类的相同类型的配置进行组合，或者可以将诸如电路和lsi之类的不同类型的配置进行组合。

注意的是，在本描述中，系统是指多个部件(设备、模块(部分)等)的集合，并且是否所有部件都在同一壳体中并不重要。因此，容纳在分开的壳体中并经由网络连接的多个设备和具有容纳在一个壳体中的多个模块的单个设备都是系统。

另外，例如，被描述为一个设备(或处理单元)的配置可以被划分并被配置为多个设备(或处理单元)。相反，上述作为多个设备(或处理单元)的配置可以被组合为单个设备(或处理单元)。另外，当然可以将除上述配置之外的配置添加到每个设备(或每个处理单元)的配置中。而且，如果整个系统的配置和操作基本相同，那么某个设备(或处理单元)的配置的一部分可以包括在另一个设备(或另一个处理单元)的配置中。

另外，例如，本技术可以采用云计算配置，其中一个功能由多个设备经由网络共享和处理。

另外，例如，上述程序可以在任何设备中执行。在这种情况下，设备足以具有必要的功能(功能块等)，从而可以获得必要的信息。

另外，例如，除了由一个设备执行之外，上述流程图中描述的每个步骤还可以由多个设备协作执行。此外，在一个步骤中包括多个处理的情况下，除了由一个设备执行之外，可以由多个设备协作地执行在一个步骤中包括的多个处理。换句话说，一个步骤中包括的多个处理可以作为多个步骤的处理被执行。相反，被描述为多个步骤的处理可以作为一个步骤集中执行。

由计算机执行的程序可以使得描述程序的步骤的处理以本说明书中描述的次序按时间序列执行，或者可以在所需定时(诸如进行调用时)并行或单独执行。即，只要不发生矛盾，就可以以与上述次序不同的次序执行相应步骤的处理。而且，描述这个程序的步骤的处理可以与其它程序的处理并行执行，或者可以与其它程序的处理组合执行。

只要不发生矛盾，本说明书中描述的多种当前技术就可以各自独立地实现为单个技术。当然，可以组合使用多种当前技术中的任何一种。例如，在任何实施例中描述的部分或全部当前技术可以与在其它实施例中描述的当前技术的部分或全部结合。而且，上述当前技术的任何部分的一部分或全部可以与以上未描述的其它技术结合实现。

本技术还可以具有以下配置。

(1)一种成像设备，包括：

成像元件，其包括多个像素输出单位，所述多个像素输出单位接收不通过成像透镜或者针孔而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号；以及

输出处理单元，其输出由在成像元件的像素输出单位中获得的检测信号形成的检测图像，而不与包括当从检测图像恢复复原图像时使用的系数的恢复矩阵相关联。

(2)根据(1)所述的成像设备，其中所述多个像素输出单位具有如下配置：对每个像素输出单位能够独立设置输出像素值的指示相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性。

(3)根据(1)或(2)所述的成像设备，其中所述多个像素输出单位具有如下配置：对每个像素输出单位能够独立设置指示相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性。

(4)根据(1)至(3)中的任一项所述的成像设备，其中所述多个像素输出单位具有如下配置：通过使对输出有贡献的光电二极管pd互不相同，对每个像素输出单位能够独立设置输出像素值的指示相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性。

(5)根据(1)至(4)中的任一项所述的成像设备，还包括读出控制单元，其控制从成像元件的每个像素输出单位读出检测信号，并且定期地或不定期地切换从中读出检测信号的像素输出单位。

(6)根据(1)至(5)中的任一项所述的成像设备，还包括恢复矩阵设置单元，其在满足预定条件的情况下设置恢复矩阵，其中输出处理单元被配置为输出由恢复矩阵设置单元设置的恢复矩阵。

(7)根据(6)所述的成像设备，还包括加密单元，其对由恢复矩阵设置单元设置的恢复矩阵进行加密，其中输出处理单元被配置为输出由加密单元加密后的恢复矩阵。

(8)根据(1)至(7)中的任一项所述的成像设备，其中检测图像是在视觉上无法识别被摄体的图像，并且复原图像是在视觉上能够识别被摄体的图像。

(9)根据(1)至(8)中的任一项所述的成像设备，还包括

恢复单元，其使用恢复矩阵从检测图像恢复复原图像，其中输出处理单元被配置为显示由恢复单元恢复的复原图像。

(10)一种成像方法，包括：

由包括多个像素输出单位的成像元件对被摄体进行成像，所述多个像素输出单位接收不通过成像透镜或者针孔而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号；以及

输出通过成像获得并且由在成像元件的像素输出单位中获得的检测信号形成的检测图像，而不与包括当从检测图像恢复复原图像时使用的系数的恢复矩阵相关联。

(11)一种图像处理设备，包括

恢复单元，其使用包括当从通过包括多个像素输出单位的成像元件对被摄体进行成像而获得并且由在像素输出单位中获得的检测信号形成的检测图像恢复复原图像时使用的系数的恢复矩阵来从由外部设备获得的检测图像恢复复原图像，所述多个像素输出单位接收不通过成像透镜或者针孔而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号。

(12)根据(11)所述的图像处理设备，还包括恢复矩阵设置单元，其设置用于由恢复单元恢复复原图像的恢复矩阵，其中恢复单元被配置为使用由恢复矩阵设置单元设置的恢复矩阵从检测图像恢复复原图像。

(13)根据(12)所述的图像处理设备，其中恢复矩阵设置单元定期地或不定期地切换用于恢复复原图像的恢复矩阵。

(14)根据(12)或(13)所述的图像处理设备，其中恢复矩阵设置单元生成用于恢复复原图像的恢复矩阵。

(15)根据(12)至(14)中的任一项所述的图像处理设备，还包括恢复矩阵存储单元，其存储候选恢复矩阵，其中恢复矩阵设置单元被配置为从存储在恢复矩阵存储单元中的恢复矩阵中设置用于恢复复原图像的恢复矩阵。

(16)根据(15)所述的图像处理设备，还包括恢复矩阵通信单元，其通过通信从外部设备获得恢复矩阵，其中恢复矩阵存储单元被配置为存储由恢复矩阵通信单元获得的恢复矩阵。

(17)根据(16)所述的图像处理设备，还包括解密单元，其对由恢复矩阵通信单元获得的加密的恢复矩阵进行解密，其中恢复矩阵存储单元被配置为存储解密单元解密后的恢复矩阵。

(18)根据(17)所述的图像处理设备，其中恢复矩阵通信单元获得与检测图像相关联的加密后的恢复矩阵。

(19)根据(16)至(18)中的任一项所述的图像处理设备，还包括认证单元，其针对外部设备执行自身的认证处理，其中恢复矩阵通信单元被配置为在通过认证单元进行的认证成功的情况下从外部设备获得恢复矩阵。

(20)一种图像处理方法，包括

使用包括当从通过包括多个像素输出单位的成像元件对被摄体进行成像而获得并且由在像素输出单位中获得的检测信号形成的检测图像恢复复原图像时使用的系数的恢复矩阵来从由外部设备获得的检测图像恢复复原图像，所述多个像素输出单位接收不通过成像透镜或者针孔而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号。

附图标记列表

101成像设备

102图像输出设备

106服务器

110控制单元

111输入单元

112输出单元

113存储单元

114通信单元

115记录-再现单元

121成像元件

122传感器单元

123输出处理单元

301控制单元

311输入单元

312输出单元

313存储单元

314通信单元

315记录-再现单元

321恢复单元

351读出控制单元

361恢复矩阵设置单元

371认证单元

372恢复矩阵设置单元

373加密单元

381认证单元

382解密单元

391关联单元

551恢复单元