成像装置、成像方法以及成像元件与流程

本技术涉及成像装置、成像方法以及成像元件，并且更具体地涉及能够控制检测图像的分辨率的成像装置、成像方法以及成像元件。

背景技术：

常规上，成像元件一般与将光聚焦在成像元件上的成像透镜组合使用。成像透镜通过将光从被摄体面引导到成像元件的每个像素，以便再现被摄体面上的光强度分布，成像元件可以获得具有与每个像素中的光强度分布对应的电平的检测信号，并可以获得整体被摄体的捕获图像。

但是，在这种情况下，物理大小变大。因此，已经考虑不使用成像透镜的成像元件(例如，参见专利文献1、专利文献2和非专利文献1)。

引文列表

专利文献

专利文献1：国际公开no.2016/123529

专利文献2：日本未经审查的专利公开no.2016-510910

非专利文献

非专利文献1：m.salmanasif和其他四个人的“flatcam:replacinglenseswithmasksandcomputation”，“2015ieeeinternationalconferenceoncomputervisionworkshop(iccvw)”，2015年，第663-666页

技术实现要素：

本发明要解决的问题

但是，根据这种方法，仅可以获得包括从成像元件的全部像素获得的信息的检测图像，并且不可能获得具有期望分辨率的检测图像。

鉴于这种情况而做出了本公开，并且其目的在于控制检测图像的分辨率。

对问题的解决方案

根据本技术的方面的成像装置是如下成像装置，该成像装置设置有：成像元件以及读取控制单元，其选择性地读取所述成像元件的各像素输出单位的输出像素值，所述成像元件设置有：多个像素输出单位，其接收不经由成像透镜或针孔中的任何一个入射的入射光，并且每个像素输出单位输出一个指示由入射光的入射角调制的输出像素值的检测信号；以及信号处理单元，被设置为与形成有所述多个像素输出单位中的至少两个像素输出单位的区域相关联，所述信号处理单元对从形成在所述区域中的像素输出单位读取的信号进行处理并获得输出像素值。

根据本技术的方面的成像方法是一种选择性地读取成像元件的各像素输出单位的输出像素值的成像方法，所述成像元件设置有：多个像素输出单位，其接收不经由成像透镜或针孔中的任何一个入射的入射光，并且每个像素输出单位输出一个指示由入射光的入射角调制的输出像素值的检测信号；以及信号处理单元，被设置为与形成有所述多个像素输出单位中的至少两个像素输出单位的区域相关联，所述信号处理单元对从形成在所述区域中的像素输出单位读取的信号进行处理并获得输出像素值。

根据本技术的相反的成像元件是如下成像元件，该成像元件设置有：多个像素输出单位，其接收不经由成像透镜或针孔中的任何一个入射的入射光，并且每个像素输出单位输出一个指示由入射光的入射角调制的输出像素值的检测信号；以及信号处理单元，被设置为与形成有所述多个像素输出单位中的至少两个像素输出单位的区域相关联，所述信号处理单元对从形成在所述区域中的像素输出单位读取的信号进行处理并获得输出像素值。

在根据本技术的方面的成像装置及成像方法中，成像元件的各像素输出单位的输出像素值被选择性地读取，所述成像元件设置有：多个像素输出单位，其接收不经由成像透镜或针孔中的任何一个入射的入射光，并且每个像素输出单位输出一个指示由入射光的入射角调制的输出像素值的检测信号；以及信号处理单元，被设置为与形成有所述多个像素输出单位中的至少两个像素输出单位的区域相关联，所述信号处理单元对从形成在所述区域中的像素输出单位读取的信号进行处理并获得输出像素值。

在根据本技术的相反的成像元件中，所述成像元件设置有：多个像素输出单位，其接收不经由成像透镜或针孔中的任何一个入射的入射光，并且每个像素输出单位输出一个指示由入射光的入射角调制的输出像素值的检测信号；以及信号处理单元，被设置为与形成有所述多个像素输出单位中的至少两个像素输出单位的区域相关联，所述信号处理单元对从形成在所述区域中的像素输出单位读取的信号进行处理并获得输出像素值。

发明的效果

根据本技术，可以对被摄体进行成像或者可以对图像进行处理。根据本技术，可以控制检测图像的分辨率。

附图说明

图1是示出成像装置的主要配置示例的框图。

图2是示出在对其应用根据本公开的技术的成像装置中的成像原理的图。

图3是示出常规成像元件与根据本公开的成像元件之间的配置差异的图。

图4是示出成像元件的第一配置示例的图。

图5是示出成像元件的第一配置示例的图。

图6是示出入射角指向性的生成原理的图。

图7是示出使用片上透镜的入射角指向性的改变的图。

图8是示出入射角指向性的设计的图。

图9是示出被摄体距离与表示入射角指向性的系数之间的关系的图。

图10是示出窄视场像素与宽视场像素之间的关系的图。

图11是示出窄视场像素与宽视场像素之间的关系的图。

图12是示出窄视场像素与宽视场像素之间的关系的图。

图13是示出变形例的图。

图14是示出变形例的图。

图15是示出变形例的图。

图16是示出其中通过应用变形例来改变视场的示例的图。

图17是示出当通过应用变形例来改变视场时组合多个视场的像素的示例的图。

图18是示出变形例的图。

图19是示出变形例的图。

图20是示出变形例的图。

图21是示出使用遮光膜的掩模图案的示例的图。

图22是示出成像元件的基板的配置示例的图。

图23是示出上基板的主要配置示例的图。

图24是示出下基板的主要配置示例的图。

图25是示出adc的主要配置示例的图。

图26是示出区域中像素的扫描顺序的示例的图。

图27是用于示出从全部像素进行读取的方法的概要的图。

图28是用于示出从一部分像素定期进行读取的方法的概要的图。

图29是示出从中读取信号的像素的位置的示例的图。

图30是用于示出从像素的任意部分进行读取的方法的概要的图。

图31是示出从中读取信号的像素的位置的示例的图。

图32是用于示出使指向性等同的方法的图。

图33是用于示出成像处理的流程的示例的流程图。

图34是用于示出全像素模式成像处理的流程的示例的流程图。

图35是用于示出稀疏模式成像处理的流程的示例的流程图。

图36是用于示出从预定区域的像素进行读取的方法的概要的图。

图37是示出从中读取信号的像素的位置的示例的图。

图38是示出开口的图案的示例的图。

图39是用于示出区域大小与被摄体深度之间的关系的图。

图40是用于示出成像处理的流程的示例的流程图。

图41是用于示出区域驱动模式成像处理的流程的示例的流程图。

图42是用于示出成像处理的流程的示例的流程图。

图43是用于示出区域的特性的示例的图。

图44是用于示出成像处理的流程的示例的流程图。

图45是用于示出区域选择的示例的图。

图46是用于示出监视系统的主要配置示例的图。

图47是用于示出监视处理的流程的示例的流程图。

图48是示出从中读取信号的像素的位置的示例的图。

图49是用于示出到被摄体的距离测量状态的图。

图50是用于示出成像处理的流程的示例的流程图。

图51是从图50连续用于示出成像处理的流程的示例的流程图。

图52是示出内窥镜手术系统的概略配置的示例的图。

图53是示出图52所示的相机头和ccu的功能配置的示例的框图。

图54是示出显微镜手术系统的概略配置的示例的图。

图55是示出使用图54所示的显微镜手术系统的手术状态的图。

图56是示出体内信息获得系统的概略配置的示例的框图。

图57是示出流式细胞仪系统的概略配置的示例的图。

图58是示出开口的图案的示例的图。

图59是示出车辆控制系统的概略配置的示例的框图。

图60是示出车外信息检测单元和成像单元的安装位置的示例的示意图。

图61是用于示出驾驶支持处理的流程的示例的流程图。

图62是示出成像元件的主要配置示例的图。

图63是示出使用黑白图案掩模的情况的图。

图64是示出使用光干涉掩模的情况的图。

图65是示出成像元件的变形例的图。

具体实施方式

以下描述用于执行本公开的模式(在下文中被称为实施例)的描述。注意，将按以下次序进行描述。

1、第一实施例(成像装置/稀疏模式)

2、第二实施例(成像装置/区域驱动模式)

3、第三实施例(成像装置/模式选择)

4、第四实施方式(监视系统)

5、第五实施例(被摄体距离测量)

6、第六实施方式(医疗系统等)

7、第七实施方式(车载系统等)

8、第八实施例(成像元件/成像装置的另一配置示例)

9、其他

<1、第一实施例>

<成像装置>

图1是示出作为对其应用本技术的成像装置或图像处理装置的实施例的成像装置的主要配置示例的图。图1中所示的成像装置100是对被摄体进行成像并且获得关于成像图像的电子数据的装置。

如图1中所示，成像装置100包括控制单元101、输入单元111、输出单元112、存储单元113、通信单元114和记录/再现单元115。此外，成像装置100包括成像元件121、读取控制单元122、复原矩阵设置单元123、复原单元124、关联单元125和传感器单元126。各个处理单元等经由总线110彼此连接，并且可以彼此交换信息、命令等。

注意，成像元件121和读取控制单元122可以集成为成像单元120。成像单元120可以通过任何物理配置来实现。例如，成像单元120可以被实现为处理器，诸如系统大规模集成(lsi)等。此外，例如，成像单元120可以被实现为使用多个处理器等的模块、使用多个模块等的单元、或通过将其他功能进一步添加到单元而获得的集合等(也就是说，装置的部分配置)。此外，成像单元120可以被实现为装置。

控制单元101被配置为执行与成像装置100中的各处理单元等的控制相关的处理。例如，控制单元101包括中央处理单元(cpu)、只读存储器(rom)、随机存取存储器(ram)等，并且通过使用cpu等执行程序来执行上述处理。

输入单元111被配置为执行与信息输入相关的处理。例如，输入单元111包括输入装置(诸如操作按钮、拨号盘、开关、触摸面板、遥控器和传感器等)以及外部输入端子。例如，输入单元111通过这些输入装置接收来自用户等外部的指令(与输入操作对应的信息)。此外，例如，输入单元111经由外部输入端子获得从外部装置提供的任意信息(程序、命令、数据等)。此外，例如，输入单元111经由总线110将接收的信息(获得的信息)供应给其他处理单元等。

注意，包括在输入单元111中的传感器可以是任何传感器，只要其可以接收来自用户等外部的指令即可，例如加速度传感器等。此外，输入单元111中包括的输入装置是任意的，并且他们的数量也是任意的。输入单元111可以包括多种类型的输入装置。例如，输入单元111可以包括上述示例中的一些或者全部。此外，输入单元111可以包括除上述示例以外的其他输入装置。此外，例如，输入单元111可以获得经由总线110供应的其自身的控制信息(输入装置等)，并且基于该控制信息进行驱动。

输出单元112被配置为执行与信息输出相关的处理。例如，输出单元112包括图像显示装置(诸如监视器等)、图像投影装置(诸如投影仪等)、音频输出装置(诸如扬声器等)、外部输出端子等。例如，输出单元112通过使用输出装置等输出经由总线110从其他处理单元等供应的信息。例如，输出单元112在监视器上显示成像图像(稍后描述的复原图像)、从投影仪投影成像图像(稍后描述的复原图像)、输出音频(例如，与输入操作、处理结果等对应的音频)或向外部(其他装置)输出任意信息(程序、命令、数据等)。

注意，输出单元112中包括的输出装置等是任意的，并且他们的数量也是任意的。输出单元112可以包括多种类型的输出装置等。例如，输出单元112可以包括上述示例中的一些或者全部。此外，输出单元112可以包括除上述示例以外的输出装置等。此外，例如，输出单元112可以获得经由总线110供应的其自身的控制信息(输出装置等)，并且基于该控制信息进行驱动。

存储单元113被配置为执行与信息存储相关的处理。例如，存储单元113包括任意存储介质，诸如硬盘、半导体存储器等。例如，存储单元113将经由总线110从其他处理单元等提供的信息(程序、命令、数据等)存储在存储介质中。此外，存储单元113可以在发货时存储任意信息(程序、命令、数据等)。此外，存储单元113在任意定时或响应于来自其他处理单元等的请求而读取存储在存储介质中的信息，并且经由总线110将读取的信息供应给其他处理单元等。

注意，包括在存储单元113中的存储介质是任意的，并且他们的数量也是任意的。存储单元113可以包括多种类型的存储介质。例如，存储单元113可以包括上述存储介质的示例中的部门或者全部。此外，存储单元113可以包括除上述示例以外的存储介质等。此外，例如，存储单元113可以获得经由总线110供应的其自身的控制信息，并且基于该控制信息进行驱动。

通信单元114被配置为执行与和其他装置的通信相关的处理。例如，通信单元114包括通信装置，该通信装置执行用于经由预定的通信介质(例如，诸如互联网之类的任意网络)与外部装置交换信息(诸如程序、数据等)的通信。例如，通信单元114与其他装置通信，并且经由总线110将从其他处理单元等供应的信息(程序、命令、数据等)供应给作为通信伙伴的其他装置。此外，例如，通信单元114与其他装置通信、获得从作为通信伙伴的其他装置供应的信息，并且经由总线110将该信息供应给其他处理单元等。

通信单元114中可以包括任何通信装置。例如，通信装置可以是网络接口。通信方法和通信标准是任意的。例如，通信单元114可以执行有线通信、无线通信或两者。此外，例如，通信单元114可以获得经由总线110供应的其自身的控制信息(通信装置等)，并且基于该控制信息进行驱动。

记录/再现单元115被配置为使用安装到记录/再现单元115的记录介质116执行与信息的记录和再现相关的处理。例如，记录/再现单元115读取记录在安装到记录/再现单元115的记录介质116上的信息(程序、命令、数据等)，并经由总线110将该信息供应给其他处理单元等。此外，例如，记录/再现单元115经由总线110获得从其他处理单元等供应的信息，并将该信息写入(记录)在安装到记录/再现单元115的记录介质116中。注意，例如，记录/再现单元115可以获得经由总线110供应的其自身的控制信息，并且基于该控制信息进行驱动。

注意，记录介质116可以是任何类型的记录介质。例如，记录介质可以是磁盘、光盘、磁光盘、半导体存储器等。

成像元件121被配置为执行与被摄体的成像相关的处理。例如，成像元件121对被摄体进行成像，并获得关于成像图像的数据(电子数据)。此时，成像元件121可以在不使用成像透镜、滤光器(诸如衍射光栅等)、针孔等的情况下对被摄体进行成像，并且获得关于成像图像的数据。例如，成像元件121对被摄体进行成像并且获得可以通过预定算术运算获得成像图像的数据的数据(检测信号等)。

注意，成像图像是利用其形成被摄体的图像的像素值构成的图像，该图像可以被用户从视觉上识别。相反，由作为成像元件121的像素单位输出中的入射光的检测结果的检测信号构成的图像(称为检测图像)是不能被用户识别为图像的图像(也就是说，不能从视觉上识别被摄体)，因为没有形成被摄体图像。也就是说，检测图像是与成像图像不同的图像。但是，如上所述，通过对检测图像的数据执行预定算术运算，有可能复原成像图像，也就是说，其中形成被摄体(也就是说，可以从视觉上识别出被摄体)的图像的被用户识别为图像的图像。这种复原的成像图像被称为复原图像。也就是说，检测图像是与复原图像不同的图像。

注意，构成复原图像，即在同步处理、颜色分离处理等(例如，去马赛克处理等)之前的图像，被称为原始图像。与成像图像情况相同，该原始图像也是可以被用户从视觉上识别为图像(也就是说，可以从视觉上识别出被摄体)的图像。换句话说，检测图像是根据滤色器的布置的图像，但是是与原始图像不同的图像。

但是，在成像元件121仅对诸如红外光、紫外光等不可见光敏感的情况下，例如，复原图像(原始图像和成像图像)也是不能被用户从视觉上识别为图像(不能从视觉上识别被摄体)的图像。但是，由于这根据检测到的光的波长范围，因此复原图像可以是通过将波长范围转换成可见光范围而可以从视觉上识别被摄体的图像。相反，由于在检测图像中未形成被摄体图像，因此，仅通过转换波长范围，检测图像不能成为可以从视觉上识别被摄体的图像。因此，即使在成像元件121仅对不可见光敏感的情况下，通过如上所述对检测图像执行预定算术运算而获得的图像也被称为复原图像。注意，在下文中，除非另有说明，否则基本上使用成像元件121接收可见光的情况作为示例来描述本技术。

也就是说，成像元件121可以对被摄体进行成像，并且获得关于检测图像的数据。例如，成像元件121可以经由读取控制单元122将关于检测图像的数据供应给复原单元124，并且生成复原图像。此外，例如，成像元件121可以经由读取控制单元122将与检测图像相关的数据供应给关联单元125等，并且使元数据等与其关联。当然，成像元件121可以将与检测图像相关的数据供应给任意处理单元等。此外，例如，成像元件121可以获得经由总线110供应的其自身的控制信息，并基于该控制信息进行驱动。

读取控制单元122被配置为执行与来自成像元件121的数据读取控制相关的处理，并控制检测图像的分辨率。例如，读取控制单元122控制从成像元件121的检测图像的读取，并且选择性地读取作为从成像元件121的每个像素输出单位的输出的检测信号。

例如，读取控制单元122可以从成像元件121的全部像素输出单位读取检测信号，并且选择所读取的全部像素输出单位的检测信号作为要包括在检测图像中的检测信号。

例如，读取控制单元122可以在成像元件121的多个像素输出单位当中选择部分像素单位输出，并且从所选择的像素输出单位读取检测信号。此外，例如，读取控制单元122可以从成像元件121的全部像素输出单位读取检测信号，并且选择各个像素输出单位的读取的检测信号中的部分作为要包括在检测图像中的检测信号。

例如，读取控制单元122可以在成像元件121的多个像素输出单位当中选择在任意位置处的部分像素输出单位。也就是说，例如，读取控制单元122可以在成像元件121的多个像素输出单位当中选择在任意位置处的部分像素单位输出，并且从所选择的像素输出单位读取检测信号。此外，例如，读取控制单元122可以从成像元件121的全部像素输出单位读取检测信号，并且选择从各个像素输出单位读取的检测信号当中在任意位置处的部分像素输出单位读取的检测信号作为要包括在检测图像中的检测信号。

例如，读取控制单元122可以在成像元件121的多个像素输出单位当中选择处于具有预定规则性的位置关系的部分像素输出单位。也就是说，例如，读取控制单元122可以在成像元件121的多个像素输出单位当中选择处于具有预定规则性的位置关系的部分像素单位输出，并且从所选择的像素输出单位读取检测信号。此外，例如，读取控制单元122可以从成像元件121的全部像素输出单位读取检测信号，并且从各个像素输出单位读取的检测信号当中选择从处于具有预定规则性的位置关系的部分像素输出单位读取的检测信号作为要包括在检测图像中的检测信号。

例如，读取控制单元122可以选择在其中形成成像元件121的多个像素输出单位的像素区域中的部分区域中形成的像素输出单位。也就是说，例如，读取控制单元122可以选择像素区域中的上述部分区域，并且从所选择的部分区域中的像素输出单位读取检测信号。此外，例如，读取控制单元122可以从成像元件121的全部像素输出单位读取检测信号，并且从各个像素输出单位读取的检测信号当中选择从在期望的部分区域中形成的像素输出单位读取的检测信号作为要包括在检测图像中的检测信号。

例如，读取控制单元122可以按照成像元件121的操作模式选择这些像素输出单位。

选择要用作检测图像的检测信号还意味着选择未采用的检测信号。也就是说，读取控制单元122通过选择检测信号(包括选择全部检测信号的情况)来控制(设置)检测图像的分辨率。例如，读取控制单元122从成像元件121读取全部像素的检测信号，稀疏化检测信号来从成像元件121读取检测信号，稀疏化从成像元件121读取的检测信号并按照预定数量将从成像元件121读取的检测信号相加在一起，从而控制(设置)检测图像的分辨率。

读取控制单元122经由总线110将读取的检测图像(设置了其分辨率)(在执行稀疏化、相加等的情况下，为处理之后的检测图像)供应给其他处理单元等(例如，复原矩阵设置单元123、复原单元124、关联单元125等)。

复原矩阵设置单元123被配置为执行与复原矩阵的设置相关的处理。通过执行预定算术运算，可以将检测图像转换成复原图像。虽然稍后将描述细节，但是预定算术运算是将检测图像中包括的各检测信号乘以预定系数并将他们相加在一起。也就是说，可以通过执行预定矩阵运算将检测图像转换成复原图像。在本说明书中，将包括用于矩阵运算的上述系数的矩阵称为复原矩阵。

例如，复原矩阵设置单元123设置与由读取控制单元122设置了其分辨率的检测图像对应的复原矩阵(当从由读取控制单元122选择性地读取的检测信号复原复原图像时使用的复原矩阵)。也就是说，复原矩阵与要处理的检测图像的分辨率对应。例如，复原矩阵设置单元123经由总线110将设置的复原矩阵供应给其他处理单元等(例如，复原单元124、关联单元125等)。

注意，在用于将检测图像转换成复原图像的预定矩阵运算中，可以将检测图像转换成具有任意分辨率的复原图像。在那种情况下，复原矩阵设置单元123根据检测图像的分辨率和复原图像的目标分辨率来设置具有行数和列数的复原矩阵。

注意，例如，复原矩阵设置单元123可以获得经由总线110供应的其自身的控制信息，并基于该控制信息进行操作。

复原单元124被配置为执行与复原图像的生成相关的处理。例如，复原单元124通过执行预定算术运算从关于从成像元件121供应的检测图像的数据(检测信号等)来生成复原图像。此外，复原单元124经由总线110将关于生成的复原图像的数据(像素值等)供应给其他处理单元等。

注意，在成像元件121中，可以通过使用滤色器等获得其中混合了多个颜色分量的检测图像，并且复原单元124对检测图像执行预定算术运算来获得其中混合了多个颜色分量的原始图像。然后，复原单元124可以将混合了多个颜色分量的原始图像作为复原图像供应给其他处理单元等，或者可以对原始图像执行同步处理、颜色分离处理等(例如，去马赛克处理等)，并将经过处理的图像作为复原图像供应给其他处理单元等。当然，在成像元件121中，可以获得单色检测图像或每种颜色的检测图像，并且不需要同步处理、颜色分离处理等(例如，去马赛克处理等)。

此外，复原单元124可以对复原图像执行任意图像处理(例如，伽马校正(γ校正)、白平衡调节等)，并且将关于图像处理之后的复原图像的数据供应给其他处理单元等。此外，复原单元124可以转换复原图像的数据的格式，或者用例如诸如联合摄影专家组(jpeg)、标记图像文件格式(tiff)、图形交换格式(gif)等预定压缩方法压缩数据，并将转换(压缩)之后的数据供应给其他处理单元等。

注意，例如，复原单元124可以获得经由总线110供应的其自身的控制信息，并基于该控制信息进行驱动。

关联单元125被配置为执行与数据关联相关的处理。例如，关联单元125将用于生成复原图像的预定算术运算的数据(例如，系数等)与关于从成像元件121等供应的检测图像的数据(检测信号等)相关联。

在此，术语“关联”是指例如当处理一个信息(数据、命令、程序等)时使其他信息可用(可链接)。也就是说，彼此相关联的信息可以被组合成一个文件等，或者可以是单独的信息片段。例如，可以在与用于信息a的传输路径不同的传输路径上传输与信息a相关联的信息b。此外，例如，可以将与信息a相关联的信息b记录在与用于信息a的记录介质不同的记录介质(或同一记录介质的其他记录区域)上。注意，这个“关联”可以是针对信息的一部分，而不是全部信息。例如，图像和与该图像对应的信息可以以任意单位(诸如多个帧、一个帧、帧内的一部分等)彼此关联。

此外，例如，关联单元125经由总线110将关联的数据供应给其他处理单元等。注意，例如，关联单元125可以获得经由总线110供应的其自身的控制信息，并且基于该控制信息进行驱动。

传感器单元126被配置为执行与检测相关的处理。例如，传感器单元126包括任意传感器，并且执行关于预定参数的检测。例如，传感器单元126执行关于与成像装置100周围的状态相关的参数、与成像装置100的状态相关的参数等的检测。例如，传感器单元126执行与成像元件121的状态相关的参数的检测。此外，例如，传感器单元126经由总线110将检测到的信息供应给其他处理单元等。注意，例如，传感器单元126可以获得经由总线110供应的其自身的控制信息，并且基于该控制信息进行驱动。

<关于成像元件>

接下来，将参考图2至20描述成像元件121。

<像素和像素输出单位>

在本说明书中，使用术语“像素”(或“像素输出单位”)来描述本技术。在本说明书中，“像素”(或“像素输出单位”)是指其中形成有用于接收成像元件121的入射光的物理配置的区域(也称为像素区域)中包括至少一个能够独立于其他像素接收光的物理配置的划分单位。能够接收光的物理配置是例如光电转换元件，并且是例如光电二极管(pd)。在一个像素中形成的物理配置(例如，光电二极管)的数量是任意的，并且可以是单数或复数。物理配置的类型、大小、形状等也是任意的。

此外，除了上述“能够接收光的物理配置”之外，“像素”单位的物理配置还包括与入射光的接收相关的全部物理配置，例如，片上透镜、遮光膜、滤色器、平坦化膜、抗反射膜等。此外，有时包括读取电路之类的配置。也就是说，像素单位的物理配置可以是任何配置。

此外，从“像素”读取的检测信号(也就是说，像素单位的物理配置)有时被称为“像素单位(或像素输出单位)的检测信号”等。此外，像素单位(或像素输出单位)的检测信号也被称为“像素单位检测信号(或像素输出单位检测信号)”。此外，该像素单位检测信号也被称为“像素输出”。此外，像素输出的值也被称为“输出像素值”。

成像元件121的像素单位的检测信号的值(输出像素值)可以独立于其他像素单位具有指示相对于来自被摄体的入射光的入射角的指向性的入射角指向性。也就是说，成像元件121的每个像素单位(像素输出单位)具有以下配置：可独立设置输出像素值的指示相对于来自被摄体的入射光的入射角的指向性的入射角指向性。例如，在成像元件121中，至少两个像素单位的输出像素值可以具有不同的指示相对于来自被摄体的入射光的入射角的指向性的入射角指向性。

注意，如上所述，由于包括在“像素(或像素输出单位)”中的“能够接收光的物理配置”的数量是任意的，因此像素单位检测信号可以是通过单个“能够接收光的物理配置”获得的检测信号，或者可以是通过多个“能够接收光的物理配置”获得的检测信号。

此外，还可以在任意阶段将多个像素单位检测信号(输出像素值)组合成一个。例如，多个像素的输出像素值可以在模拟信号状态下相加在一起，或者可以在被转换成数字信号之后相加在一起。

此外，在从成像元件121读取检测信号之后，也就是说，在检测图像中，可以将多个检测信号组合成单个信号，或者可以将单个检测信号转换成多个信号。也就是说，检测图像的分辨率(数据的数量)是可变的。

顺便提及，在下文中，为了便于描述，除非另有说明，否则将成像元件121描述为包括其中多个像素布置在矩阵中(形成像素阵列)的像素区域。注意，成像元件121的像素(或像素输出单位)的布置图案是任意的，并且不限于这个示例。例如，像素(或像素输出单位)可以布置在蜂窝结构中。此外，例如，像素(或像素输出单位)可以布置为形成一行(或一列)。也就是说，成像元件121可以是线传感器。

注意，其中成像元件121(的像素)具有灵敏度的波长范围是任意的。例如，成像元件121(的像素)可以对可见光具有灵敏度，可以对诸如红外光或紫外光的不可见光具有灵敏度，或者可以对可见光和不可见光均具有灵敏度。例如，在成像元件检测到是不可见光的远红外光的情况下，可以通过使用由成像元件获得的成像图像来生成热成像图(表示热分布的图像)。但是，在具有成像透镜的成像元件的情况下，玻璃难以透射远红外光，因此要求通过使用昂贵的特殊材料形成的成像透镜，这可能增加制造成本。由于成像元件121可以在不使用成像透镜等的情况下对被摄体进行成像并且获得关于成像图像的数据，因此当像素可以检测远红外光时，可以抑制制造成本的增加。也就是说，可以以较低的成本执行远红外光的成像(可以以较低的成本获得热成像图)。注意，在成像元件121(的像素)对不可见光具有灵敏度的情况下，复原图像不是用户可以在其中从视觉上识别被摄体的图像，而是用户在其中不能从视觉上识别被摄体的图像。换句话说，复原图像可以是可见光的图像，或者可以是不可见光(例如，(远)红外光、紫外光等)的图像。

<入射角指向性>

成像元件121包括多个像素输出单位，这多个像素输出单位接收不通过成像透镜或针孔中任何一个而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角调制的输出像素值的检测信号。例如，成像元件121具有如下配置：使得指示至少两个像素输出单位的输出像素值相对于来自被摄体的入射光的入射角的指向性的入射角指向性具有不同的特性。也就是说，在这种情况下，成像元件121可以获得多个像素输出单位的检测信号(多个像素输出单位检测信号)，以及指示至少两个像素输出单位检测信号相对于来自被摄体的入射光的入射角的指向性的入射角指向性彼此不同。

在此，“入射角指向性”是指与入射光的入射角对应的光接收灵敏度特性，换句话说，相对于入射光的入射角的检测灵敏度。例如，即使在入射光具有相同的光强度的情况下，检测灵敏度有时也根据入射角而改变。检测灵敏度的这种偏差(包括没有偏差的情况)被称为“入射角指向性”。

例如，当具有相同的光强度的入射光以相同的入射角入射在两个像素输出单位的物理配置上时，像素输出单位的检测信号的信号电平(检测信号电平)可以是彼此不同。成像元件121(的每个像素输出单位)具有具有这种特征的物理配置。

入射角指向性可以通过任何方法来实现。例如，可以通过例如在具有与例如一般互补金属氧化物半导体(cmos)图像传感器的基本结构相似的基本结构的成像元件的光电转换元件(光电二极管等)的前侧(光入射侧)设置遮光膜等来实现入射角指向性。

当仅利用包括具有相同入射角指向性的像素的一般成像元件执行成像时，具有基本上相同的光强度的光入射在成像元件的全部像素上，从而不能获得所形成的被摄体的图像。因此，一般而言，在成像元件的前侧(光入射侧)设置有成像透镜或针孔。例如，通过设置成像透镜，来自被摄体面的光可以作为图像在成像元件的成像面上形成。因此，成像元件可以获得具有与在每个像素处形成的被摄体的图像对应的电平的检测信号(也就是说，可以获得所形成的被摄体的成像图像)。但是，在这种情况下，可能物理上增加了大小，并且可能难以减小装置大小。此外，在设置针孔的情况下，与设置成像透镜的情况相比，大小可能减小；但是，由于入射在成像元件上的光量减少，因此必须采取诸如增加曝光时间、增加增益等的措施，并且在高速被摄体的成像中可能会出现模糊，或者自然色彩表现会丢失。

相反，例如，成像元件121具有使得多个像素输出单位当中的至少两个像素输出单位的输出像素值的入射角指向性具有不同的特性的配置。利用这种配置，例如，在成像元件121中，各个像素的检测灵敏度使入射角指向性彼此不同。也就是说，在像素之间，与入射光的入射角对应的光接收灵敏度特性是不同的。但是，不必全部像素的光接收灵敏度特性都彼此完全不同；部分像素可以具有相同的光接收灵敏度特性，并且部分像素可以具有不同的光接收灵敏度特性。

例如，在图2中，在假设构成被摄体面131的光源是点光源的情况下，在成像元件121中，从相同点光源发射的具有相同光强度的光束入射在全部像素上，但是以不同的入射角入射在像素上。然后，由于成像元件121的各个像素具有不同的入射角指向性，因此以不同的灵敏度来检测具有相同光强度的光束。也就是说，通过各个像素检测具有不同信号电平的检测信号。

更详细地，由表示根据入射角的光接收灵敏度的系数表示根据由成像元件121的每个像素接收的入射光的入射角(也就是说，根据每个像素处的入射角的入射角指向性)的灵敏度特性，并且通过乘以与根据入射光的入射角的光接收灵敏度对应地设置的系数来获得与每个像素中的入射光对应的检测信号的信号电平(也称为检测信号电平)。

更具体而言，如图2的左上部分所示，在位置pa、pb和pc处的检测信号电平da、db和dc分别由以下方程(1)至(3)表示。

[数学方程1]

da＝α1×a+β1×b+γ1×c……(1)

db＝α2×a+β2×b+γ2×c……(2)

dc＝α3×a+β3×b+γ3×c……(3)

在此，α1是根据要在成像元件121上的位置pa处复原的来自点光源pa的光束在被摄体面131上的入射角而设置的系数。此外，β1是根据要在成像元件121上的位置pa处复原的来自点光源pb的光束在被摄体面131上的入射角而设置的系数。此外，γ1是根据要在成像元件121上的位置pa处复原的来自点光源pc的光束在被摄体面131上的入射角而设置的系数。

如方程(1)中所指示的，位置pa处的检测信号电平da由来自位置pa处的点光源pa的光束的光强度“a”与系数α1的乘积、来自位置pa处的点光源pb的光束的光强度“b”与系数β1的乘积以及来自位置pa处的点光源pc的光束的光强度“c”与系数γ1的乘积之和(复合值)表示。在下文中，将系数αx、βx和γx(x是自然数)统称为系数集。

类似地，方程(2)的系数集α2、β2和γ2是根据要在成像元件121上的位置pb处复原的来自点光源pa、pb和pc的光束在被摄体面131上的入射角而设置的系数集。也就是说，如上述方程(2)中所表示的，位置pb处的检测信号电平db由来自位置pb处的点光源pa的光束的光强度“a”与系数α2的乘积、来自位置pb处的点光源pb的光束的光强度“b”与系数β2的乘积以及来自位置pb处的点光源pc的光束的光强度“c”与系数γ2的乘积之和(复合值)表示。此外，方程(3)中的系数α3、β3和γ3是根据要在成像元件121上的位置pc处复原的来自点光源pa、pb和pc的光束入射到被摄体面131上的入射角而设置的系数集。也就是说，如上述方程(3)中所表示的，位置pc处的检测信号电平dc由来自位置pc处的点光源pa的光束的光强度“a”与系数α3的乘积、来自位置pc处的点光源pb的光束的光强度“b”与系数β3的乘积以及来自位置pc处的点光源pc的光束的光强度“c”与系数γ3的乘积之和(复合值)表示。

如上所述，由于从点光源pa、pb和pc发射的光束的光强度被混合，因此这些检测信号电平与形成被摄体的图像的检测信号电平不同。也就是说，图2的右上部所示的检测信号电平不是与形成被摄体图像的图像(成像图像)对应的检测信号电平，因此，该检测信号电平不同于图2的右下部分所示的像素值(一般而言他们彼此不匹配)。

但是，通过使用系数集α1、β1和γ1，系数集α2、β2和γ2，系数集α3、β3和γ3以及检测信号电平da、db和dc构成联立方程，并且使用a、b和c作为变量来求解上述方程(1)至(3)的联立方程，有可能获得相应位置pa、pb和pc处的像素值，如图2的右下部分所示。因此，复原了作为像素值集合的复原图像(其中形成有被摄体图像的图像)。

利用这种配置，成像元件121可以在每个像素中输出指示由入射光的入射角调制的输出像素值的一个检测信号，而不需要成像透镜、包括衍射光栅等的滤光器、针孔等。因此，成像透镜、包括衍射光栅等的滤光器、针孔等不是必不可少的配置，从而有可能在实现成像功能的配置中减小成像装置的高度，也就是说，减小沿着光入射方向的厚度。

<入射角指向性的形成>

图3的左部分示出了一般成像元件的像素阵列单元的一部分的正视图，并且图3的右部分示出了成像元件121的像素阵列单元的一部分的正视图。注意，图3示出了其中像素阵列单元具有水平方向6像素×垂直方向像6像素的配置的示例；但是，像素数的配置不限于此。

例如，入射角指向性例如可以由遮光膜形成。如图3的左部分的示例中所示，在一般成像元件151中，具有相同入射角指向性的像素151a被布置在阵列中。相反，在图3的右部分的示例中的成像元件121中，每个像素121a设置有作为调制元件之一的遮光膜121b，以便覆盖每个像素121a的光电二极管的光接收区域的一部分，并且根据入射角对入射在每个像素121a上的入射光进行光学调制。然后，例如，通过为每个像素121a提供在不同范围内的遮光膜121b，相对于入射光的入射角的光接收灵敏度对于每个像素121a而不同，并且各个像素121a具有不同的入射角指向性。

例如，由于所设置的遮光膜121b-1和遮光膜121b-2导致像素的遮光范围在像素121a-1和像素121a-2之间不同(遮光区域(位置)或遮光面积中的至少一个不同)。也就是说，在像素121a-1中，设置遮光膜121b-1以便遮蔽光电二极管的光接收区域中左侧的一部分预定宽度，并且在像素121a-2中，设置遮光膜121b-2以遮蔽光接收区域中右侧的一部分预定宽度，该宽度在水平方向上比遮光膜121b-1的宽度宽。类似地，在其他像素121a中，设置遮光膜121b，以便对于随机地布置在像素阵列中的每个像素遮蔽光接收区域中的不同范围。

注意，由于每个像素的光接收区域的覆盖率越大，可以被接收的光量就越小，因此遮光膜121b的范围期望具有可以确保期望的光量的面积；例如，并且可以限制使得遮光膜121b的面积最大达能够接收光的整个范围的3/4。以这种方式，变得有可能确保不小于期望量的光量。但是，如果每个像素具有与要接收的光的波长对应的宽度的非遮蔽范围，则有可能接收最小量的光。也就是说，例如，在b像素(蓝色像素)的情况下，波长大约为500nm，并且如果该光没有被遮蔽超过与这个波长对应的宽度，那么有可能接收最小量的光。

<成像元件的配置示例>

参考图4，将描述在这种情况下的成像元件121的配置示例。图4的上部是成像元件121的侧视横截面视图，并且图4的中间部分是成像元件121的顶视图。此外，图4的上部中的侧视横截面视图是图4的中间部分中的ab横截面。此外，图4的下部是成像元件121的电路配置示例。

具有图4中所示的配置的成像元件121设置有多个像素输出单位，这多个像素输出单位接收不通过成像透镜或针孔中任何一个而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角调制的输出像素值的检测信号。例如，其具有如下配置：使得指示多个像素输出单位中的至少两个像素输出单位的输出像素值相对于来自被摄体的入射光的入射角的指向性的入射角指向性具有不同的特性。此外，在这种情况下的成像元件121具有如下配置：多个像素输出单位对于每个像素输出单位，可独立设置指示相对于来自被摄体的入射光的入射角的指向性的入射角指向性。

在图4的上部的成像元件121中，入射光从图中的上侧进入下侧。相邻像素121a-15和121a-16是所谓的背照式，其中在该图的最下层中设置了布线层z12，并且在其上设置了光电转换层z11。

注意，在不必彼此区分像素121a-15与121a-16的情况下，将像素121a-15和121a-16简称为像素121a，并且其他配置也类似地提到。此外，图4示出了构成成像元件121的像素阵列的两个像素的侧视图和顶视图；但是，不用说，布置的像素121a数等于或大于此，但未示出。

此外，像素121a-15和121a-16分别在光电转换层z11中设置有光电二极管121e-15和121e-16。此外，在光电二极管121e-15和121e-16上，分别从上方依次形成片上透镜121c-15和121c-16以及滤色器121d-15和121d-16。

片上透镜121c-15和121c-16将入射光聚焦在光电二极管121e-15和121e-16上。

滤色器121d-15和121d-16是例如透射特定波长(诸如红色、绿色、蓝色、红外、白色等)的光的滤光器。注意，在白色的情况下，滤色器121d-15和121d-16可以是透明滤光器，或者不必需要。

在像素121a-15和121a-16的光电转换层z11中，遮光膜121p-15至121p-17分别在像素之间的边界处形成，以抑制相邻像素之间的串扰。

此外，作为调制元件之一的遮光膜121b-15和121b-16遮蔽了光接收面s的一部分，如图4的上部和中间部分中所示。由于光接收面s的一部分被遮光膜121b遮蔽，因此入射在像素121a上的入射光根据入射角而被光学调制。由于像素121a检测到被光学调制的入射光，因此该像素121a具有入射角指向性。在像素121a-15和121a-16中的光电二极管121e-15和121e-16的光接收面s上，不同的范围分别被遮光膜121b-15和121b-16遮蔽，由此为各个像素设置不同的入射角指向性。但是，不限于遮光范围对于成像元件121的全部像素121a而不同的情况，可以存在其中相同范围被遮光的部分像素121a。

利用图4的上部中所示的配置，遮光膜121p-15的右端和遮光膜121b-15的上端彼此连接在一起，并且遮光膜121b-16的左端和遮光膜121p-16的上端彼此连接在一起，以形成从侧面看时的l形。

此外，使用金属(例如钨(w)、铝(al)或al和铜(cu)的合金)构成遮光膜121b-15至121b-17和遮光膜121p-15至121p-17。此外，在半导体工艺中与形成布线的工艺相同的工艺中，遮光膜121b-15至121b-17和遮光膜121p-15至121p-17可以同时用与布线相同的金属形成。注意，根据位置，遮光膜121b-15至121b-17和遮光膜121p-15至121p-17的膜厚度不必相同。

此外，如图4的下部中所示，像素121a设置有光电二极管161(与光电二极管121e对应)、转移晶体管162、浮动扩散(fd)单元163、选择晶体管164、放大晶体管165和复位晶体管166，并且经由垂直信号线167连接到电流源168。

光电二极管161被配置为使得阳极电极接地，并且阴极电极经由转移晶体管162连接到放大晶体管165的栅极电极。

转移晶体管162根据转移信号tg来驱动。例如，当供应给转移晶体管162的栅极电极的转移信号tg达到高电平时，转移晶体管162接通。因此，累积在光电二极管161中的电荷经由转移晶体管162被转到fd单元163。

放大晶体管165用作源极跟随器的输入单元，该源极跟随器是读取电路，其读取通过光电二极管161中的光电转换获得的信号，并将与fd单元163中累积的电荷对应的电平的像素信号输出到垂直信号线23。也就是说，通过漏极端子连接到电源电压vdd且源极端子经由选择晶体管164连接到垂直信号线167，放大晶体管165与连接到垂直信号线167的一端的电流源168一起构成源极跟随器。

浮动扩散(fd)单元163用作具有在转移晶体管162和放大晶体管165之间设置的电荷电容c1的浮动扩散区域，并且临时累积从光电二极管161经由转移晶体管162转移的电荷。fd单元163用作将电荷转换成电压的电荷检测单元，并在fd单元163中累积的电荷被转换成放大晶体管165中的电压。

选择晶体管164根据选择信号sel被驱动，当供应给栅极电极的选择信号sel达到高电平时接通，并且将放大晶体管165和垂直信号线167连接在一起。

复位晶体管166根据复位信号rst被驱动。例如，复位晶体管166在供应给栅极电极的复位信号rst达到高电平时被接通，将在fd单元163中累积的电荷放电到电源电压vdd，并且将fd单元163复位。

利用上述电路配置，图4的下部中所示的像素电路如下操作。

也就是说，作为第一操作，复位晶体管166和转移晶体管162接通，在fd单元163中累积的电荷被放电到电源电压vdd，并且fd单元163被复位。

作为第二操作，复位晶体管166和转移晶体管162截止，开始曝光时段，并且与入射光的光量对应的电荷由光电二极管161累积。

作为第三操作，在复位晶体管166接通并且fd单元163被复位后，复位晶体管166截止。通过这个操作，fd单元163被复位，并且被设置为基准电位。

作为第四操作，处于复位状态的fd单元163的电位从放大晶体管165输出作为基准电位。

作为第五操作，转移晶体管162接通，并且在光电二极管161中累积的电荷被转到fd单元163。

作为第六操作，光电二极管的电荷被转到的fd单元163的电位作为信号电位从放大晶体管165输出。

通过以上处理，从信号电位减去基准电位，并通过相关的双采样(cds)将其作为检测信号输出。根据来自被摄体的入射光的入射角来调制检测信号的值(输出像素值)，并且具有根据入射角而不同的特性(指向性)(具有入射角指向性)。

以这种方式，在图4的情况下的每个像素121a都设置有一个光电二极管121e，并且针对每个像素121a由遮光膜121b遮光不同的范围，从而可以通过使用遮光膜121b的光学调制来用一个像素121a来表述具有入射角指向性的检测图像的一个像素的检测信号。

<成像元件的其他配置示例>

此外，入射角指向性可以由例如光接收元件(例如，光电二极管)的像素中的位置、大小、形状等形成。具有不同参数的像素对在相同方向上具有相同光强度的入射光具有不同的灵敏度。也就是说，通过为每个像素设置这些参数，可以为每个像素设置入射角指向性。

例如，可以在像素中设置并选择性地使用多个光接收元件(例如，光电二极管)。以这种方式，可以通过选择光接收元件来为每个像素设置入射角指向性。

图5是示出成像元件121的其他配置示例的图。图5的上部示出了成像元件121的像素121a的侧视横截面视图，并且图5的中间部分示出了成像元件121的顶视图。此外，图5的上部的侧视横截面视图是图5的中间部分的ab横截面。此外，图5的下部示出了成像元件121的电路配置示例。

具有图5所示的配置的成像元件121设置有多个像素输出单位，这多个像素输出单位接收不通过成像透镜或针孔中的任何一个入射的入射光，并且每个像素输出单位输出一个指示由入射光的入射角调制的输出像素值的检测信号。例如，成像元件121具有如下配置：使得指示多个像素输出单位中的至少两个像素输出单位的输出像素值相对于来自被摄体的入射光的入射角的指向性的入射角指向性具有不同的特性。此外，在这种情况下的成像元件121可以通过使对多个像素输出单位的输出有贡献的光电二极管(pd)彼此不同来针对每个像素输出单位独立地设置输出像素值的指示相对于来自被摄体的入射光的入射角的指向性的入射角指向性。

如图5中所示，成像元件121具有与图5的成像元件121不同的配置，在于在像素121a中形成四个光电二极管121f-1至121f-4，并且在将光电二极管121f-1至121f-4彼此分离的区域中形成遮光膜121p。换句话说，在图5的成像元件121中，当从上部观察时，遮光膜121p形成为“+”形。注意，公共的配置分配有相同的附图标记，并且将省略其详细描述。

在如图5所示配置的成像元件121中，由于光电二极管121f-1至121f-4被遮光膜121p隔开，因此可以防止光电二极管121f-1至121f-4之间的电和光学串扰。也就是说，类似于图4的成像元件121的遮光膜121p的情况，图5的遮光膜121p用于防止串扰，而不用于提供入射角指向性。

虽然稍后将描述细节，但是光电二极管121f-1至121f-4具有不同的入射角，在该入射角处光接收灵敏度特性增加。也就是说，根据从光电二极管121f-1至121f-4中的哪个读取电荷，可以将期望的入射角指向性赋予(设置)给像素121a的输出像素值。也就是说，可以控制像素121a的输出像素值的入射角指向性。

在图5的成像元件121的配置示例中，一个fd单元163由四个光电二极管121f-1至121f-4共享。图5的下部示出了电路配置示例，其中一个fd单元163被四个光电二极管121f-1至121f-4共享。注意，在图5的下部中，将省略与图4的下部相同的配置的描述。

图5的下部与图4的下部的电路配置的不同之处在于分别提供光电二极管161-1至161-4(与图5的上部中的光电二极管121f-1至121f-4对应)和转移晶体管162-1至162-4代替光电二极管161和转移晶体管162，以共享fd单元163。

在图5的下部中所示的电路中，在不必将他们彼此区分的情况下，光电二极管161-1至161-4被称为光电二极管161。此外，在不必将他们彼此区分的情况下，转移晶体管162-1至162-4被称为转移晶体管162。

在图5的下部中所示的电路中，当转移晶体管162中的任何一个被接通时，与转移晶体管162对应的光电二极管161的电荷被读取，并且被转到公共fd单元163。然后，将与保持在fd单元163中的电荷的电平对应的信号读取为像素输出单位的检测信号。也就是说，可以彼此独立地读取每个光电二极管161的电荷，并且有可能根据哪个转移晶体管162接通来控制从中读取电荷的光电二极管161。换句话说，有可能根据哪个转移晶体管162接通来控制每个光电二极管161对输出像素值的贡献程度。例如，通过使读取电荷的光电二极管161彼此不同，可以使对输出像素值有贡献的光电二极管161在至少两个像素之间不同。也就是说，通过选择读取电荷的光电二极管161，可以将期望的入射角指向性赋予(设置)给像素121a的输出像素值。也就是说，从每个像素121a输出的检测信号可以是根据来自被摄体的入射光的入射角而被调制的值(输出像素值)。

例如，在图5中，通过将光电二极管121f-1和121f-3的电荷转到fd单元163，并且将通过读取他们而获得的信号相加在一起，可以给像素121a的输出像素值赋予图中水平方向上的入射角指向性。类似地，通过将光电二极管121f-1和光电二极管121f-2的电荷转到fd单元163，并且将通过读取他们而获得的信号相加在一起，可以给像素121a的输出像素值赋予图中垂直方向上的入射角指向性可以。

注意，基于图5的像素121a的各光电二极管121f的电荷获得的信号可以在从像素读取之后被相加在一起，或者可以在像素(例如，fd单元163)内被相加在一起。

此外，其电荷(或与电荷对应的信号)被相加在一起的光电二极管121f的组合是任意的，并且不限于以上示例。例如，可以将三个或更多个光电二极管121f的电荷(或与电荷对应的信号)相加在一起。此外，例如，可以在不执行相加的情况下读取一个光电二极管121f的电荷。

注意，通过在将电荷读取到fd单元163之前使用电子快门功能复位累积在光电二极管161(光电二极管121f)中的检测值(电荷)，可以给像素121a(其检测灵敏度)赋予(设置)期望的入射角指向性。

例如，在使用电子快门功能的情况下，通过紧接在将光电二极管121f的电荷读取到fd单元163之前进行复位，可以将光电二极管121f置于对像素121a的检测信号电平没有贡献的状态，并且通过在复位和到fd单元163的读取之间提供时间，可以允许光电二极管121f做出部分贡献。

如上所述，图5的每个像素121a包括四个光电二极管121f，并且，虽然未针对光接收面形成遮光膜121b，但是被遮光膜121p划分为多个区域，并且形成四个光电二极管121f-1至121f-4，以表示具有入射角指向性的检测图像的一个像素的检测信号。换句话说，例如，对光电二极管121f-1至121f-4的输出没有贡献的范围类似于被遮光的区域运作，从而表示具有入射角指向性的检测图像的一个像素的检测信号。注意，在使用光电二极管121f-1至121f-4表示一个像素的检测信号的情况下，由于不使用遮光膜121b，因此该检测信号不是通过光学调制获得的信号。

以上描述了在像素中布置有四个光电二极管的示例，但是布置在像素中的光电二极管的数量是任意的，并且不限于以上示例。也就是说，像素中布置有光电二极管的部分区域的数量也是任意的。

此外，在以上描述中，描述了光电二极管被布置在通过将像素划分为四个而获得的四个部分区域中；但是，部分区域不必相等地划分。也就是说，每个部分区域的大小和形状不必统一(可以包括具有不同大小和形状的部分区域)。可替代地，对于每个光电二极管(对于每个部分区域)，布置在每个部分区域中的光电二极管的位置(在部分区域中的位置)、大小、形状等可以不同。那时，部分区域的大小和形状可以全部统一或可以不统一。

此外，不必对于成像元件121的全部像素统一这些参数。也就是说，在成像元件121的一个或多个像素中，这些参数中的一个或多个可以与其他像素的参数不同。

例如，成像元件121的像素组可以包括其中用于形成像素中布置有光电二极管的部分区域的划分位置不同于其他像素的像素。也就是说，成像元件121可以包括其部分区域具有与其他像素不同的大小和形状的一个或多个像素。例如，通过使划分位置对于每个像素不同，即使在多个像素中仅使用左上光电二极管，也可以使在多个像素中检测到的检测信号的入射角指向性彼此不同。

此外，例如，成像元件121的像素组可以包括其中布置在该像素中的多个光电二极管的位置、大小、形状等与其他像素不同的像素。也就是说，成像元件121可以包括其中所布置的多个光电二极管的位置、大小或形状中的至少任一个与其他像素不同的一个或多个像素。例如，通过使光电二极管的位置、大小、形状等对于每个像素不同，即使在多个像素中仅使用左上光电二极管，也可以使在多个像素中检测到的检测信号的入射角指向性彼此不同。

此外，例如，可以包括其中部分区域的参数(大小和形状)和光电二极管的参数(位置、大小、形状)不同于其他像素的一个或多个像素。

此外，例如，成像元件121的像素组可以包括其中用于形成像素中布置有光电二极管的部分区域的划分的数量与其他像素不同的像素。也就是说，成像元件121可以包括其中所布置的光电二极管的数量不同于其他像素的一个或多个像素。例如，通过使划分数量(光电二极管的数量)针对每个像素而不同，可以更自由地设置入射角指向性。

<造成入射角指向性的原理>

例如，通过图6中所示的原理，成像元件121中的每个像素的入射角指向性产生。注意，图6的左上部分和右上部分是用于示出图4的成像元件121中的入射角指向性的产生原理的图，并且图6的左下部分和右下部分是用于示出图5的成像元件121中的入射角指向性的产生原理的图。

此外，图6的左上部分和右上部分中的每个像素包括一个光电二极管121e。相反，图6的左下部分和右下部分中的每个像素包括两个光电二极管121f。注意，在此，示出其中一个像素包括两个光电二极管121f的示例，但是，这是为了便于描述，并且形成一个像素的光电二极管121f的数量可以是其他数量。

在图6的左上部分中，形成遮光膜121b-11，以便在入射光从图中上侧向下侧入射时遮蔽光电二极管121e-11的光接收面的右半部分。此外，在图6的右上部分中，形成遮光膜121b-12，以便遮蔽光电二极管121e-12的光接收面的左半部分。注意，图中的单点划线指示在垂直于光接收面的方向上，光电二极管121e的光接收面在图中水平方向上的中心位置。

例如，在图6的左上部分中的配置的情况下，来自由相对于图中的单点划线形成入射角θ1的箭头指示的图中右上方向的入射光容易在未被光电二极管121e-11的遮光膜121b-11遮蔽的左半范围内被接收到；但是来自由相对于图中的单点划线形成入射角θ2的箭头指示的图中左上方向的入射光不容易在未被光电二极管121e-11的遮光膜121b-11遮蔽的左半范围内被接收到。因此，在图6的左上部分中的配置的情况下，入射角指向性对于从图中右上方的入射光，具有高光接收灵敏度特性，而对于来自左上方的入射光，具有低接收灵敏度特性。

相反，例如，在图6的右上部分中的配置的情况下，来自由相对于图中的单点划线形成入射角θ11的箭头指示的图中右上方向的入射光不容易在被光电二极管121e-12的遮光膜121b-12遮蔽的左半范围内被接收到；但是来自由相对于图中的单点划线形成入射角θ12的箭头指示的图中左上方向的入射光容易在未被光电二极管121e-12的遮光膜121b-12遮蔽的右半范围内被接收到。因此，在图6的右上部分中的配置的情况下，入射角指向性对于来自图中右上方的入射光，具有低光接收灵敏度特性，并且对于来自左上方的入射光，具有高光接收灵敏度特性。

此外，在图6的左下部分的情况下，光电二极管121f-1和121f-2设置在图的左侧和右侧，并且该配置具有入射角指向性，而无需通过读取检测信号之一来设置遮光膜121b。

也就是说，如图6的左下部分中所示，在像素121a中形成两个光电二极管121f-1和121f-2的情况下，设置在图中左侧的光电二极管121f-1的检测信号对像素121a的检测信号电平有贡献，从而可以设置有与图6的左上部分中的配置的入射角指向性相似的入射角指向性。也就是说，由相对于图中的单点划线形成入射角θ21的箭头指示的来自图中右上方向的入射光入射在光电二极管121f-1上以被接收，并且其检测信号被读取以对像素121a的检测信号电平作出贡献。相反，由相对于图中的单点划线形成入射角θ22的箭头指示的来自图中左上方向的入射光入射在光电二极管121f-2上，但是其检测信号未被读取并且对像素121a的检测信号电平没有贡献。

类似地，如图6的右下部分中所示，在像素121a中形成两个光电二极管121f-11和121f-12的情况下，设置在图中左侧的光电二极管121f-12的检测信号对像素121a的检测信号电平有贡献，从而可以设置有与图6的右上部分中的配置的入射角指向性相似的入射角指向性。也就是说，由相对于图中的单点划线形成入射角θ31的箭头指示的来自图中右上方向的入射光入射在光电二极管121f-11上，但是其检测信号未被读取并且对像素121a的检测信号电平没有贡献。相反，由相对于图中的单点划线形成入射角θ32的箭头指示的来自图中左上方向的入射光入射在光电二极管121f-12上以被接收，并且其检测信号被读取以对像素121a的检测信号电平作出贡献。

注意，在图6中，示出了其中垂直方向上的单点划线处于光电二极管121e的光接收面在图中的水平方向上的中心位置处的示例，但是，这是为了便于描述，并且单点划线的位置可以是其他位置。通过垂直方向上的由单点划线指示的遮光膜121b的水平方向上的不同位置，生成不同的入射角指向性。

<关于包括片上透镜的配置中的入射角指向性>

以上描述了入射角指向性的产生原理；并且在此，描述包括片上透镜121c的配置中的入射角指向性。

也就是说，如图7中所示，例如，通过除了上述遮光膜121b之外，还使用片上透镜121c来设置成像元件121中每个像素的入射角指向性。也就是说，在图7的左中部分，从该图的上部的入射方向开始，聚焦入射光的片上透镜121c-11、透射预定波长的光的滤色器121d-11和通过光电转换生成像素信号的光电二极管121e-11按这个次序层叠，并且在图7的中右部分，从该图的上部的入射方向开始，片上透镜121c-12、滤色器121d-12和光电二极管121e-12按这个次序布置。

注意，在不必区分片上透镜121c-11与121c-12、滤色器121d-11与121d-12以及光电二极管121e-11与121e-12的情况下，他们被简单地称为片上透镜121c、滤色器121d和光电二极管121e。

成像元件121还设置有图7的左中部分和右中部分中所示的遮蔽接收入射光的区域的一部分的遮光膜121b-11和121b-12。

如图7的中左部分中所示，在设置有遮蔽图中的光电二极管121e-11的右半部分的遮光膜121b-11的情况下，光电二极管121e-11的检测信号电平如图7的上部的实线波形所指示的那样根据入射光的入射角θ而改变。

也就是说，作为由入射光相对于在光电二极管121e和片上透镜121c的中心位置处并且垂直于光电二极管121e和片上透镜121c中的每一个的单点划线形成的角度的入射角θ越大(入射角θ在正方向越大(图中向右倾斜越多))，光聚焦在未设置遮光膜121b-11的范围内，由此光电二极管121e-11的检测信号电平增加。相反，入射角θ越小(入射角θ在负方向越大(图中向左倾斜越多))，光聚焦在设置了遮光膜121b-11的范围内，由此光电二极管121e-11的检测信号电平减小。

注意，在入射光的方向与单点划线一致的情况下，此处入射角θ被为0度，在图7的左中部处的入射角θ21侧的入射角θ(以该角度来自图的右上方的入射光入射)为正值，并且在图7的右中部处的入射角θ22侧的入射角θ为负值。因此，在图7中，从右上方入射在片上透镜121c上的入射光的入射角大于从左上方入射的入射光的入射角。也就是说，在图7中，入射角θ随着入射光的行进方向向右倾斜(在正方向上增加)而增加，并且随着行进方向向左倾斜(在负方向上增加)而减小。

此外，如图7的右中部分中所示，在设置有遮蔽图中的光电二极管121e-12的左半部分的遮光膜121b-12的情况下，光电二极管121e-12的检测信号电平如在图7的上部中的点线波形所指示的那样根据入射光的入射角θ而改变。

也就是说，如图7的上部中的点线波形所指示，作为由入射光相对于在光电二极管121e和片上透镜121c的中心位置处并且垂直于光电二极管121e和片上透镜121c中的每一个的单点划线形成的角度的入射角θ越大(入射角θ在正方向越大)，由于光聚焦在设置有遮光膜121b-12的范围上，因此光电二极管121e-12的检测信号电平越小。相反，入射角θ越小(入射角θ在负方向上越大)，由于光入射在未设置遮光膜121b-12的范围上，因此光电二极管121e-12的检测信号电平越大。

注意，在图7的上部，沿横轴绘制入射角θ，而沿纵轴绘制光电二极管121e中的检测信号电平。

由于可以根据遮光膜121b的范围来改变图7的上部中所示的指示根据入射角θ的检测信号电平的实线和虚线波形，因此变得可能赋予(设置)针对每个像素而不同的入射角指向性。注意，图7的上部中的实线波形与指示图7的中左部分和左下部分中的入射光随着入射角θ改变而聚焦的状态的实线箭头对应。此外，图7的上部中的点线波形与指示图7的中右部分和右下部分中的入射光随着入射角θ改变而聚焦的状态的点线箭头对应。

在此入射角指向性是每个像素根据入射角θ的检测信号电平的特性(光接收灵敏度特性)，但是在图7的中间部分的示例的情况下，也可以说这是根据入射角θ的遮光值的特性。也就是说，遮光膜121b以高级别遮挡特定方向上的入射光，但不能充分遮挡特定方向以外的其他方向上的入射光。如图7的上部中所示，这种可遮光级别的改变造成根据入射角θ的不同的检测信号电平。因此，当可以在每个像素中以最高级别进行遮光的方向被定义为每个像素的遮光方向时，在像素单位中具有不同的入射角指向性换句话说意味着在像素单位中具有不同的遮光方向。

此外，如图7左下部分中所示，通过配置使得对于一个片上透镜121c-11设置两个光电二极管121f-1和121f-2(两个光电二极管121f-1和121f-2构成像素输出单位)，可以通过仅使用图的左部分中的光电二极管121f-1的检测信号，获得与在图7的左中部分中光电二极管121e-11的右侧被遮光的状态下相同的检测信号电平。

也就是说，作为由入射光相对于片上透镜121c的中心位置处并且彼此垂直的单点划线形成的角度的入射角θ越大(入射角θ在正方向上越大)，由于光聚焦在光电二极管121f-1的从其读取检测信号的范围上，因此检测信号电平越大。相反，入射角θ越小(入射角θ在负方向上越大)，由于光聚焦在光电二极管121f-2的未从其读取检测值的范围上，因此检测信号电平越小。

此外，类似地，如图7的右下部分所示，通过配置使得对于一个片上透镜121c-12设置两个光电二极管121f-11和121f-12，可以通过仅使用图的右部分中的光电二极管121f-12的检测信号，获得与在图7的右中部分中光电二极管121e-12的左侧被遮光的状态下的相同检测信号电平的输出像素单位的检测信号。

也就是说，作为由入射光相对于位于片上透镜121c的中心位置处且彼此垂直的单点划线形成的角度的入射角θ越大(入射角θ在正方向上越大)，由于光被聚焦在光电二极管121f-11的其中检测信号对输出像素单位的检测信号没有贡献的范围上，因此输出像素单位的检测信号的检测信号电平越小。相反，入射角θ越小(入射角θ在负方向上越大)，由于光被聚焦在光电二极管121f-12的其中检测信号对输出像素单位的检测信号有贡献的范围上，因此输出像素单位的检测信号的检测信号电平越大。

注意，期望入射角指向性具有高随机性。这是因为例如如果相邻像素具有相同的入射角指向性，则上述方程(1)至(3)或稍后描述的方程(4)至(6)变为彼此相同的方程，并且作为联立方程的解的未知数的数量和方程的数量之间的关系不能满足，因此不能获得构成复原图像的像素值。此外，在图7的中间部分所示的配置中，在像素121a中形成一个光电二极管121e-11和一个光电二极管121e-12。相反，在图7的下部所示的配置中，在像素121a中形成两个光电二极管121f-1和121f-2以及两个光电二极管121f-11和121f-12。因此，例如，在图7的下部，单个光电二极管121f不构成一个像素。

此外，如图7的下部所示，在多个光电二极管121f构成一个像素输出单位的情况下，可以认为像素输出单位的输出像素值根据入射角而被调制。因此，可以使输出像素值的特性(入射角指向性)针对像素输出单位而不同，并且设置一个像素输出单位中的入射角指向性。此外，在多个光电二极管121f构成一个像素输出单位的情况下，为了在一个像素输出单位中生成入射角指向性，对于一个像素输出单位，一个片上透镜121c是必不可少的部件。

此外，如图7的上部所示，在一个光电二极管121e-11或一个光电二极管121e-12中每一个构成一个像素输出单位的情况下，到构成一个像素输出单位的一个光电二极管121e-11或一个光电二极管121e-12的入射光根据入射角而被调制，由此对输出像素值进行调制。因此，可以使输出像素值的特性(入射角指向性)不同，并且设置一个像素输出单位中的入射角指向性。此外，在一个光电二极管121e-11或一个光电二极管121e-12中的每个构成一个像素输出单位的情况下，在制造时，通过为每个像素输出单位设置的遮光膜121b独立地设置入射角指向性。

此外，如图7的下部所示，在多个光电二极管121f构成一个像素输出单位的情况下，用于为每一个像素输出单位设置入射角指向性的多个光电二极管121f的数量(构成一个像素输出单位的光电二极管121f的划分的数量)及其位置在制造时针对每一个像素输出单位被独立地设置，此外，关于使用多个光电二极管121f当中的哪个光电二极管121f来设置入射角指向性，有可能在成像时进行切换。

<入射角指向性的设置>

例如，如图8的上部所示，将遮光膜121b的设置范围设置为水平方向上的从像素121a中的左端到位置a的范围以及垂直方向上从上端到位置b的范围。

在这种情况下，在水平方向上设置从0至1的权重wx，该权重wx用作根据从每个像素的水平方向上的中心位置的入射角θx(度)的入射角指向性的指标。更详细地，在假设入射角θx＝与位置a对应的θa处权重wx为0.5的情况下，设置权重wh以使得权重wx在入射角θx＜θa-α处为1，并且权重wx在θa-α≤入射角θx≤θa+α处为(-(θx-θa)/2α+1/2)，并且权重wx在入射角θx>θa+α处为0。注意，尽管在此描述了权重wh为0、0.5和1的示例，但是，当满足理想条件时，权重wh为0、0.5和1。

类似地，垂直方向上设置从0至1的权重wy，该权重wy用作根据从每个像素的垂直方向上的中心位置的入射角θy(度)的入射角指向性的指标。更详细地，在假设入射角θy＝与位置b对应的θb处权重wx为0.5的情况下，设置权重wy以使得权重wy在入射角θy＜θb-α处为0，权重wy在θb-α≤入射角θy≤θb+α处为((θy-θb)/2α+1/2)，并且权重wy在入射角θy>θb+α处为1。

然后，通过使用这样获得的权重wx和wy，可以获得与每个像素121a的入射角指向性(即，光接收灵敏度特性)对应的系数(系数集)。

此外，此时，通过使用具有不同焦距的片上121c来设置指示在水平方向上的权重wx和在垂直方向上的权重wy在0.5附近的范围内的权重改变的倾斜度(1/2α)。

换句话说，通过使用具有不同曲率的片上透镜121c可以获得不同的焦距。

例如，通过使用具有不同曲率的片上透镜121c，如图8的下部中的实线所指示的，当将光聚焦以使焦距在遮光膜121b上时，倾斜度(1/2α)变陡。也就是说，在图8的上部中，在其中水平方向上的权重wx和垂直方向上的权重wy在0.5附近的水平方向上的入射角θx＝θa并且垂直方向的入射角θy＝θb的边界附近，水平方向上的权重wx和垂直方向上的权重wy急剧变为0或1。

此外，例如，通过使用具有不同曲率的片上透镜121c，当焦距如图8下部中的点线所指示的那样聚焦在光电二极管121e上时，倾斜度(1/2α)适度。也就是说，在图8的上部中，在其中水平方向上的wx和垂直方向上的权重wy在0.5附近的水平方向上入射角θx＝θa和垂直方向上入射角θy＝θb的边界附近，水平方向上的wx和垂直方向上的权重wy适度地变为0或1。

如上所述，通过使用具有不同曲率的片上透镜121c造成不同的焦距，可以获得不同的入射角指向性，也就是说，不同的光接收灵敏度特性。

因此，通过使光电二极管121e被遮光膜121b遮光的范围和片上透镜121c的曲率不同，可以将像素121a的入射角指向性设置为不同的值。注意，片上透镜的曲率对于成像元件121中的全部像素可以是相同的，或者对于部分像素可以是不同的。

<片上透镜与成像透镜之间的差异>

如上所述，成像元件121不要求成像透镜。但是，至少在如参考图5所述通过在像素中使用多个光电二极管来实现入射角指向性的情况下，片上透镜121c是必需的。片上透镜121c和成像透镜具有不同的物理功能。

成像透镜具有聚焦功能，用于使从相同方向入射的入射光入射在多个相邻像素上。相反，穿过片上透镜121c的光仅入射在构成一个对应像素的光电二极管121e或121f的光接收面上。换句话说，为每个像素输出单位设置片上透镜121c，并且将入射在片上透镜121c上的被摄体光仅聚焦在对应的像素输出单位上。也就是说，片上透镜121c不具有使从虚拟点光源发射的漫射光入射在多个相邻像素上的聚焦功能。

<被摄体面与成像元件之间的距离关系>

接下来，将参考图9描述被摄体面与成像元件121之间的距离关系。

如图9的左上部分中所示，在成像元件121与被摄体面131之间的被摄体距离是距离d1的情况下，例如，当在被摄体面131上的点光源pa、pb和pc被设置时，假设对应成像元件121上的位置pa、pb和pc处的检测信号电平da、db和dc可以由与上述方程(1)至(3)相同的方程表述。

da＝α1×a+β1×b+γ1×c……(1)

db＝α2×a+β2×b+γ2×c……(2)

dc＝α3×a+β3×b+γ3×c……(3)

相反，如图9的左下部分中所示，在其中距离成像元件121的被摄体距离是比距离d1大d的距离d2的被摄体面131'的情况下，也就是说，在当从成像元件121观看时位于被摄体面131的后面的被摄体面131'的情况下，对于检测信号电平da、db和dc而言，检测信号电平都是相似的，如图9的上中部分和下中部分中所示。

但是，在这种情况下，来自被摄体面131'上的点光源pa'、pb'和pc'的具有光强度a'、b'和c'的光束被成像元件121的各个像素接收。此时，由于在成像元件121上接收的具有光强度a'、b'和c'的光束的入射角不同(改变)，因此要求不同的系数集，并且位置pa、pb和pc中的检测信号电平da、db和dc例如分别由以下方程(4)至(6)中表示的那样表示。

[数学方程2]

da＝α11×a'+β11×b'+γ11×c'……(4)

db＝α12×a'+β12×b'+γ12×c'……(5)

dc＝α13×a'+β13×b'+γ13×c'……(6)

在此，包括系数集α11、β11和γ11、系数集α12、β12和γ12以及系数集α13、β13和γ13的系数集组是与被摄体面131的系数集α1、β1和γ1、系数集α2、β2和γ2以及系数集α3、β3和γ3对应的被摄体面131'的系数集组。

因此，通过使用预设的系数集组α11、β11、γ11、α12、β12、γ12、α13、β13和γ13求解方程(4)至(6)，变得有可能以与在如图9的右上部分中所示的被摄体面131的情况下获得来自点光源pa、pb和pc的光束的光强度(a，b，c)时的方式类似的方式，分别获得来自点光源pa'、pb'和pc'的光束的光强度(a'，b'，c')，如图9的右下部分中所示，由此，可以获得被摄体面131'的被摄体的复原图像。

也就是说，在图1的成像装置100中，通过预先存储从成像元件121到被摄体面的每个距离的系数集组，并且切换系数集组的同时创建联立方程，以求解所创建的联立方程，可以基于一个检测图像获得各种被摄体距离处的被摄体面的复原图像。

也就是说，仅通过对检测图像进行一次成像，就可以通过在后续处理中根据到被摄体面的距离切换系数集组来生成任意距离处的复原图像。

此外，在期望识别图像或者获得可见图像或除可见图像之外中的被摄体的特性的情况下，还有可能对成像元件的检测信号应用机器学习(诸如深度学习)以通过使用检测信号本身来执行图像识别，而无需在获得复原图像之后基于复原图像来执行图像识别。

此外，在可以指定被摄体距离和视场的情况下，可以在不使用全部像素的情况下，通过使用包括如下像素的检测信号的检测图像来生成复原图像，其中该像素的入射角指向性适于对与指定的被摄体距离和视场对应的被摄体面进行成像。以这种方式，可以通过使用适于对与指定的被摄体距离和视场对应的被摄体面进行成像的像素的检测信号来获得复原图像。

例如，考虑像素，如图10的上部中所示，被遮光膜121b从四个侧的每一端以宽度d1遮光的像素121a，以及如图10的下部中所示，被遮光膜121b从四个侧的每一端以宽度d2(＞d1)遮光的像素121a'。

如图11的上部中所示，像素121a例如被用于复原与包括作为被摄体的整个人h101的视场sq1对应的图10的图像i1。相反，如图11的上部中所示，像素121a'例如被用于复原与其中作为被摄体的人h101的脸部的外周被放大的视场sq2对应的图10的图像i2。

这是因为，如图12的左部分中所示，图10的像素121a对于成像元件121具有入射光的入射角度范围a，由此可以在被摄体面131上在水平方向上针对被摄体宽度w1接收入射光。

相反，由于与图10的像素121a相比，图10的像素121a'具有更宽的遮光范围，因此如图12的左侧部分中所示，其对于成像元件121具有入射光的入射角度范围为b(＜a)，使得在被摄体面131上在水平方向上针对被摄体宽度w2(＜w1)接收入射光。

也就是说，具有窄遮光范围的图10的像素121a是适于对被摄体面131上的宽范围进行成像的宽视场像素，而具有宽遮光范围的图10的像素121a'是适于对被摄体面131上的窄范围进行成像的窄视场像素。注意，此处的宽视场像素和窄视场像素是用于将图10的像素121a与121a'彼此进行比较的表述，并且当比较具有其他视场的像素时不限于这些。

注意，图12示出了相对于成像元件121的中心位置c1，被摄体面131上的位置与来自每个位置的入射光的入射角之间的关系。此外，图12示出了被摄体面131上的位置与从被摄体面131上的每个位置的入射光的入射角之间在水平方向上的关系，并且在垂直方向上存在相似的关系。此外，在图12的右部分上，示出了图10的像素121a和121a'。

利用这种配置，如图11的下部分中所示，在成像元件121中由点线包围的范围za中聚集了预定数量的图10的像素121a并且在由单点划线包围的范围zb中聚集了预定数量的图10的像素121a'的情况下，当复原具有与被摄体宽度w1对应的视场sq1的图像时，可以通过使用对视场sq1进行成像的图10的像素121a适当地复原被摄体面131的被摄体宽度w1的图像。

类似地，当复原具有与被摄体宽度w2对应的视场sq2的图像时，可以通过使用对视场sq2进行成像的图10的像素121a'的检测信号电平适当地复原被摄体宽度w2的图像。

注意，在图11的下部中，示出了其中预定数量的像素121a'在该图的左侧提供并且预定数量的像素121a在右侧提供的配置；但是，这是作为用于简化描述的示例而示出的，并且期望以混合的方式随机地布置像素121a和像素121a'。

以这种方式，由于视场sq2比视场sq1窄，因此在要以相同的预定数量的像素复原视场sq2和视场sq1的图像的情况下，与在复原视场sq1的图像时相比，在复原具有较窄视场的视场sq2的图像时，可以获得具有更高画质的复原图像。

也就是说，在考虑通过使用相同数量的像素来获得复原图像的情况下，在复原具有较窄视场的图像时，可以获得具有较高画质的复原图像。

注意，在获得具有宽视场的图像作为复原图像的情况下，可以使用全部宽视场像素，或者可以使用宽视场像素中的一部分。此外，在获得具有窄视场的图像作为复原图像的情况下，可以使用全部窄视场像素像素，或者可以使用窄视场像素中的一部分。

通过如上所述使用成像元件121，由此，成像透镜、诸如衍射光栅等的光学元件、针孔等是不必要的(无成像透镜的)，从而有可能增加装置设计的自由度，并且还有可能实现装置相对于入射光的入射方向的小型化，从而降低制造成本。此外，也不需要与用于形成光学图像的成像透镜对应的透镜，诸如聚焦透镜。

此外，通过使用成像元件121，仅获得检测图像，然后，通过求解通过选择性地使用与被摄体距离和视场对应的系数集组而配置的联立方程来获得复原图像，由此变得有可能生成各种被摄体距离和视场的复原图像。

此外，由于成像元件121可以在像素单位中具有入射角指向性，因此与包括衍射光栅、常规成像元件等的滤光器相比，有可能实现像素增加，并且还有可能获得具有高分辨率和高角度分辨率的复原图像。相反，在包括滤光器和常规成像元件的成像装置中，由于即使像素被小型化也难以使滤光器小型化，因此难以实现高分辨率的复原图像等。

此外，由于成像元件121不要求包括衍射光栅的滤光器等，因此使用环境的温度不会升高并且滤光器不会被热量扭曲。因此，通过使用这种成像元件121，变得有可能实现具有高耐环境性的装置。

<第一变形例>

在图3的右部分中，作为成像元件121的每个像素121a中的遮光膜121b的配置，示出了在垂直方向上整个遮光并且通过在水平方向上改变遮光宽度和位置允许入射角指向性在水平方向上不同的示例；但是，遮光膜121b的配置不限于这个示例。例如，能够在水平方向上整个遮光，并且改变垂直方向上的宽度(高度)和位置，由此使垂直方向上的入射角指向性不同。

注意，如在图3的右部分中所示的示例中，在垂直方向上对整个像素121a进行遮光并且在水平方向上以预定宽度对像素121a进行遮光的遮光膜121b被称为水平带型遮光膜121b。相反，在水平方向上对整个像素121a进行遮光并且在垂直方向上以预定高度对像素121a进行遮光的遮光膜121b被称为垂直带型遮光膜121b。

此外，如图13的左部分中所示的示例中所示，还可以组合垂直带型和水平带型遮光膜121b以在像素121a上设置l形遮光膜121b。在图13的左部分中，黑色的部分是遮光膜121b。也就是说，遮光膜121b-21至121b-24分别是像素121a-21至121a-24的遮光膜。

这些像素(像素121a-21至121a-24)中的每一个都具有入射角指向性，如图13的右部分中所示。图13的右部分中所示的曲线图示出了每个像素中的光接收灵敏度。沿横轴绘制入射光的水平方向(x方向)上的入射角θx，并且沿纵轴绘制入射光的垂直方向(y方向)上的入射角θy。然后，在范围c4内的光接收灵敏度高于在范围c4之外的光接收灵敏度，在范围c3内的光接收灵敏度高于在范围c3之外的光接收灵敏度，在范围c2内的光接收灵敏度高于在范围c2之外的光接收灵敏度，并且在范围c1内的光接收灵敏度高于在范围c1之外的光接收灵敏度。

因此，对于每个像素，示出了满足水平方向(x方向)上的入射角θx和垂直方向(y方向)上的入射角θy在范围c1内的条件的入射光的检测信号电平最高，并且检测信号电平按照在范围c2、范围c3、范围c4以及范围c4以外的范围内的条件的次序减小。这种光接收灵敏度强度由被遮光膜121b遮光的范围确定。

此外，在图13的左部分中，每个像素121a中的字母指示滤色器的颜色(为了便于描述而示出，并且实际上并未书写)。像素121a-21是其中布置有绿色滤色器的g像素，像素121a-22是其中布置有红色滤色器的r像素，像素121a-23是其中布置有蓝色滤色器的b像素，而像素121a-24是其中布置有绿色滤色器的g像素。也就是说，这些像素形成拜耳阵列。当然，这是示例，并且滤色器的布置图案是任意的。遮光膜121b和滤色器的布置没有关系。例如，在部分或全部像素中，可以设置除滤色器以外的过滤器，或者可以不设置过滤器。

在图13的左部分中，示出了其中“l形”遮光膜121b对像素121a在图中的左侧和下侧进行遮光的示例；但是，该“l形”遮光膜121b的方向是任意的，并且不限于图13中的示例。例如，“l形”遮光膜121b可以对像素121a在图中的下侧和右侧进行遮光，或者可以对像素121a在图中的右侧和上侧进行遮光，或者可以对像素121a在图中的上侧和左侧进行遮光。当然，可以针对每个像素独立地设置遮光膜121b的方向。注意，“l形”遮光膜121b也被统称为“l形类型遮光膜121b”。

虽然上面描述了遮光膜，但是这个示例的描述也可以应用于通过选择性地使用布置在像素中的多个光电二极管来给出入射角指向性的情况。也就是说，例如，通过适当地设置划分位置(每个部分区域的大小和形状)以及每个光电二极管的位置、大小、形状等，或者适当地选择光电二极管，可以实现与通过上述l形类型遮光膜121b的入射光指向性等同的入射光指向性。

<第二变形例>

在以上描述中，描述了其中在每个像素中布置水平带型、垂直带型和l形类型遮光膜以使得被遮光的范围随机改变的示例；但是，例如，如图14的成像元件121'所示，可在设置矩形开口的情况下，形成对除在每个像素中接收光束的位置附近的范围以外的范围进行遮光的遮光膜121b(图中黑色的范围)。

也就是说，可以在设置矩形开口的情况下为每个像素提供遮光膜121b，以便具有在预定被摄体距离处从构成被摄体面的点光源发射的光束中仅接收通过矩形开口的光束的入射角指向性。

注意，在图14中，例如，遮光膜121b的水平方向上的宽度在水平方向的像素布置中改变为宽度dx1，dx2，······和dxn，并且满足dx1＜dx2＜······＜dxn的关系。类似地，遮光膜121b的垂直高度上的高度在垂直方向的像素布置中改变为高度dy1，dy2，······和dym，并且满足dy1＜dy2＜······＜dxm的关系。此外，遮光膜121b的水平方向宽度和垂直方向宽度中的改变间隔依赖于要复原的被摄体分辨率(角分辨率)。

换句话说，图14中的成像元件121'中的每个像素121a的配置设置有入射角指向性，以便改变被遮光的范围以与成像元件121'在水平方向和垂直方向上中的像素布置对应。

更详细地，例如，根据通过使用在图15的左部分中所示的像素121a描述的规则来确定图14中的每个像素121a的遮光范围。

注意，图15的右部分示出了与图14相同的成像元件121'的配置。此外，图15的左部分示出了图15的右部分中的成像元件121'的像素121a的配置(与图14相同)。

如图15的左部分中所示，像素被遮光膜121b从像素121a的上侧和下侧的端部分别朝着像素121a的内部以宽度dx1进行遮光，并且被遮光膜121b从左侧和右侧的端部朝着像素121a的内部以高度dy1进行遮光。注意，在图15和16中，遮光膜121b为黑色的范围。

在图15的左部分中，以这种方式形成的被遮光膜121b遮光的范围在下文中被称为像素121a的主遮光部分z101(图15的左部分中的黑色部分)，并将除此以外的矩形范围被称为范围z102。

在像素121a中，在范围z102中设置有未被遮光膜121b遮光的矩形开口z111。因此，在范围z102中，除矩形开口z111以外的范围被遮光膜121b遮光。

如图15的右部分所示(与图14相同)，在图14的成像元件121'中的像素布置中，使得在左上端的像素121a-1中，布置有矩形开口z111，使得其左侧与像素121a的左侧相距宽度dx1，并且其上侧与像素121a的上侧相距dy1。

类似地，位于像素121a-1右侧的像素121a-2具有以下配置：矩形开口z111被布置为使得其左侧与像素121a的左侧相距宽度dx2，并且其上侧与像素121a的上侧相距高度dy1，并且除矩形开口z111以外的范围被遮光膜121b遮光。

在下文中，类似地，在水平方向上相邻的像素121a中，随着布置向图的右侧前进，矩形开口z111的右侧从像素121a的右侧移动宽度dx1，dx2······dxn。注意，在图15中的范围z102中的右上部分的点线矩形部分示出了这样一种状态，其中矩形开口z111被布置为使得其左侧与像素121a的左侧相距宽度dxn，并且其上侧与像素121a的上侧相距dy1。此外，宽度dx1，dx2······dxn之间的间隔是通过将从范围z102的水平方向的宽度减去矩形开口z111的宽度而获得的宽度除以水平方向上的像素数n而获得的值。换句话说，通过除以水平方向上的像素数n来确定水平方向上的改变间隔。

此外，成像元件121'中的像素121a中的矩形开口z111的水平方向位置在成像元件121'中的相同水平位置的像素121a(同一列中的像素121a)中相同。

此外，在像素121a-1的正下方的像素121a-3具有如下配置：矩形开口z111被布置为使得其左侧与像素121a的左侧相距宽度dx1，并且其上侧与像素121a的上侧相距高度dy2，并且除矩形开口z111以外的范围被遮光膜121b遮光。

在下文中，类似地，在垂直方向上相邻的像素121a中，随着布置向图中的下侧前进，矩形开口z111的上侧从像素121a的上侧移动高度dy1，dy2，······dyn。注意，在图15的范围z102中的左下部分的点线矩形部分示出了这样一种状态，其中矩形开口z111被布置为使得其左侧与像素121a的左侧相距宽度dx1，并且其上侧与像素121a的上侧相距高度dym。此外，高度dy1，dy2，······dym之间的间隔是通过将从范围z102的垂直方向高度减去矩形开口z111的高度而获得的高度除以垂直方向上的像素数m而获得的值。也就是说，通过除以垂直方向上的像素数m来确定垂直方向上的改变间隔。

此外，成像元件121'中的像素121a中的矩形开口z111的垂直方向上的位置在成像元件121'中具有相同垂直方向上的位置的像素121a(同一行中的像素121a)中相同。

此外，可以通过改变构成图15(图14)所示的成像元件121'的每个像素121a的主遮光部分z101和矩形开口z111来改变视场。

图16的右部分示出了在使视场宽于图15(图14)的成像元件121'的情况下成像元件121'的配置。此外，图16的左部分示出了图16的右部分中的成像元件121'的像素121a的配置。

也就是说，如图16的左部分中所示，例如，在像素121a中，主遮光部分z151(图16的左部分中的黑色部分)被设置为具有比图15中的主遮光部分z101窄的遮光范围，并且除此以外的范围被设置为范围z152。此外，在范围z152中，将矩形开口z161设置为具有比矩形开口z111更大的开口面积。

更详细地，如图16的左部分中所示，像素被遮光膜121b从像素121a的上侧和下侧的端部朝像素121a的内部遮光宽度dx1'(＜dx1)，并且被遮光膜121b从左侧和右侧的端部向像素121a的内部遮光高度dy1'(＜dy1)，从而形成矩形开口z161。

在此，如图16的右部分中所示，左上端的像素121a-1被配置为，使得矩形开口z161被布置为使得其左侧与像素121a的左侧相距宽度dx1'，并且其上侧与像素121a的上侧相距高度dy1'，并且除矩形开口z161以外的范围被遮光膜121b遮光。

类似地，像素121a-1的右侧的像素121a-2具有如下配置：矩形开口z161被布置为使得其左侧与像素121a的左侧相距宽度dx2'，并且其上侧与像素121a的上侧相距高度dy1'，并且除矩形开口z161以外的范围被遮光膜121b遮光。

在下文中，类似地，在水平方向上相邻的像素121a中，随着布置向图中的右侧进行，矩形开口z161的右侧从像素121a的右侧移动宽度dx1'，dx2'······dxn'。在此，宽度dx1'，dx2'······dxn'之间的间隔是通过从范围z152的水平方向宽度减去矩形开口z161的水平方向宽度而获得的宽度除以水平方向上的像素数n而获得的值。也就是说，通过除以水平方向上的像素数n来确定垂直方向上的改变间隔。因此，宽度dx'，dx2'······dxn'之间的改变间隔大于宽度dx1，dx2······dxn之间的改变间隔。

此外，图16的成像元件121'中的像素121a中的矩形开口z161的水平方向上的位置在成像元件121'中具有相同水平方向上的位置的像素121a(同一列中的像素121a)中相同。

此外，在像素121a-1的正下方的像素121a-3具有以下配置：矩形开口z161被布置为使得其左侧与像素121a的左侧相距宽度dx1'，并且其上侧与像素121a的上侧相距高度dy2'，并且除矩形开口z161以外的范围被遮光膜121b遮光。

在下文中，类似地，在垂直方向上相邻的像素121a中，随着布置向图中的下侧前进，矩形开口z161的上侧从像素121a的上侧改变高度dy1'，dy2'······dym'。在此，高度dy1'，dy2'······dym'之间的改变间隔是通过从范围z152的垂直高度减去矩形开口z161的高度而获得的高度除以垂直方向上的像素数m而得到的值。也就是说，通过除以垂直方向上的像素数m来确定垂直方向上的改变间隔。因此，高度dy1'，dy2'······dym'之间的改变间隔大于高度dy1，dy2······dym之间的改变间隔。

此外，图16的成像元件121'中的像素121a中的矩形开口z161的垂直方向上的位置在成像元件121'中具有相同垂直方向上的位置的像素121a(同一行中的像素121a)中相同。

以这种方式，通过改变主遮光部分的遮光范围和开口的开口范围的组合，变得有可能实现包括具有各种视场(具有各种入射角指向性)的像素121a的成像元件121'。

此外，成像元件121可以通过不仅组合具有相同视场的像素121a此外还通过组合具有各种视场的像素121a来实现。

例如，如图17中所示，将包括由点线指示的两个像素×两个像素的四个像素定义为一个单位u，并且每个单位u包括具有宽视场的像素121a-w、具有中等视场的像素121a-m、具有窄视场的像素121a-n和具有极窄视场的像素121a-an四个像素。

在这种情况下，例如，在全部像素121a的像素数为x的情况下，对于四种类型视场中的每一种，可以通过使用x/4像素的检测图像对复原图像进行复原。此时，针对每个视场使用不同的四种类型系数集，并且通过四种不同的联立方程来复原具有不同视场的复原图像。

因此，通过使用从适于对要复原的视场进行成像的像素获得的检测图像来复原具有要复原的视场的复原图像，变得有可能复原与四种类型的视场对应的适当的复原图像。

此外，可以通过从具有四种类型的视场的图像进行内插来生成具有四种类型的视场之间的视场或围绕该视场的视场的图像，并通过无缝地生成具有各种视场的图像来实现伪光学变焦。

虽然上面已经描述了遮光膜，但是这个示例的描述也可以应用于通过选择性地使用布置在像素中的多个光电二极管来赋予(设置)入射角指向性的情况。也就是说，例如，通过适当地设置划分位置(每个部分区域的大小和形状)以及每个光电二极管的位置、大小、形状等，或者适当地选择光电二极管，可以实现与通过包括上述矩形开口的遮光膜121b实现的入射光指向性等同的入射光指向性。当然，同样在这种情况下，可以通过组合具有各种视场的像素121a来实现成像元件121。此外，还可以通过从具有多种类型的视场的图像进行内插来生成具有中间视场或围绕该中间视场的视场的图像，并且可以通过无缝地生成具有各种视场的图像来实现伪光学变焦。

<第三变形例>

顺便提及，在成像元件121中的像素121a的由遮光膜121b遮蔽的范围具有随机性的情况下，随着遮光膜121b的遮光范围的差异的无序性越大，复原单元124等的处理负荷越大。因此，可以使像素121a的遮光膜121b的遮光范围的差异的一部分具有规则性并且减小差异的无序性，从而减小处理负荷。

例如，构造通过组合垂直带型和水平带型而获得的l形类型遮光膜121b，并且在预定列方向上组合具有相同宽度的水平带型遮光膜121b，并且在预定行方向上组合具有相同高度的垂直带型遮光膜121b。以这种方式，每个像素121a的遮光膜121b的遮光范围在像素单位中被设置为随机地不同的值，其中在列方向和行方向上具有规则性。因此，可以减小每个像素121a的遮光膜121b的遮光范围的差异(即，每个像素的入射角指向性的差异)的无序性，并且可以减小诸如复原单元124等的成像元件121外部的处理负荷。

例如，在图18的成像元件121”的情况下，具有相同宽度x0的水平带型遮光膜121b被用于由范围z130指示的同一列中的像素，具有相同高度y0的垂直带型遮光膜121b被用于由范围z150指示的同一行中的像素，并且为由每行和每列指定的像素121a设置组合他们获得的l形类型遮光膜121b。

类似地，具有相同宽度x1的水平带型遮光膜121b被用于由与范围z130相邻的范围z131指示的同一列中的像素，并且具有相同高度y1的垂直带型遮光膜121b被用于由与范围z150相邻的范围z151指示的同一行中的像素，并且为由每行和每列指定的像素121a设置组合他们获得的l形类型遮光膜121b。

此外，具有相同宽度x2的水平带型遮光膜被用于由与范围z131相邻的范围z132指示的同一列中的像素，并且具有相同高度y2的垂直带型遮光膜被用于由与范围z151相邻的范围z152指示的同一行中的像素，并且为由每行和每列指定的像素121a设置组合他们获得的l形类型遮光膜121b。

以这种方式，有可能在赋予遮光膜121b的水平方向上的宽度和位置以及垂直方向上的高度和位置具有规则性的同时，在像素单位中将遮光膜的范围设置为不同的值，从而有可能控制入射角指向性的改变的无序性。因此，变得有可能减少系数集的图案，并且变得有可能减小后续阶段(例如，复原单元124等)上的运算处理的处理负荷。

<第四变形例>

遮光膜121b在每个像素中的形状的变化是任意的，并且不限于以上示例。例如，可以将遮光膜121b设置为具有三角形并使其范围不同，从而赋予(设置)不同的入射角指向性，或者将遮光膜121b设置为具有圆形并使其范围不同，从而赋予不同的入射角指向性。此外，例如，可以使用倾斜方向上的线性遮光膜等。

此外，可以以构成包括预定数量的多个像素的单元的多个像素为单位来设置遮光膜121b的变化(图案)。这一个单元可以包括任何像素。例如，假设成像元件121设置有滤色器，并且该单元包括构成滤色器的颜色阵列的单位的像素。此外，可以使通过组合具有不同曝光时间的像素获得的像素组作为单元。注意，期望在构成单元的每个像素中被遮光膜121b遮光的范围的图案的随机性高，也就是说，期望构成单元的像素具有不同的入射角指向性。

此外，也可以在单元之间设置遮光膜121b的布置图案。例如，可以针对每个单元改变遮光膜的宽度和位置。此外，可以将被遮光膜121b遮蔽的范围内的图案设置在包括被分类为不同类别的多个像素的单元内或单元之间。

虽然上面已经描述了遮光膜，但是这个示例的描述也可以应用于通过选择性地使用布置在像素中的多个光电二极管来赋予(设置)入射角指向性的情况。也就是说，例如，通过适当地设置划分位置(每个部分区域的大小和形状)以及每个光电二极管的位置、大小、形状等，或者适当地选择光电二极管，可以实现与在使被上述像素121a的遮光膜121b遮蔽的范围的改变的一部分具有规则性的情况下的入射光指向性等同的入射光指向性。以这种方式，可以减小每个像素的入射角指向性的差异的无序性，并且可以减小诸如复原单元122等的成像元件121外部的处理负荷。

虽然上面已经描述了遮光膜，但是这个示例的描述也可以应用于通过选择性地使用布置在像素中的多个光电二极管来赋予(设置)入射角指向性的情况。也就是说，通过适当地设置划分位置(每个部分区域的大小和形状)、每个光电二极管的位置、大小、形状等，或者适当地选择光电二极管，可以实现与通过具有任意形状(诸如，三角形、圆形、倾斜方向上的线性形状等)的遮光膜的入射光指向性等同的入射光指向性。

此外，例如，与上述遮光膜121b的情况类似，可以为每个单元设置划分位置(每个部分区域的大小和形状)，设置每个光电二极管的位置、大小、形状等，以及选择光电二极管。

<光电二极管的控制>

在选择性地使用如上文参考图5所述布置在像素中的多个光电二极管的情况下，可以通过改变多个光电二极管121f对像素输出单位的输出像素值的贡献的存在/不存在及其程度来改变像素输出单位的输出像素值的入射角指向性。

例如，如图19中所示，假设在像素121a中布置作为光电二极管121f-111至121f-119的九个(垂直三个×水平三个)光电二极管121f。在这种情况下，可以使用像素121a作为包括光电二极管121f-111至121f-119的像素121a-b，或者作为包括光电二极管121f-111、121f-112、121f-114和121f-115的像素121a-s。

例如，在像素121a是像素121a-b的情况下，通过控制光电二极管121f-111至121f-119对像素121a的输出像素值的贡献的存在/不存在及其程度来控制输出像素值的入射角指向性。相反，在像素121a是像素121a-s的情况下，通过控制光电二极管121f-111、121f-112、121f-114和121f-115对像素121a的输出像素值的贡献的存在/不存在及其程度来控制输出像素值的入射角指向性。在这种情况下，控制其他光电二极管121f(光电二极管121f-113、121f-116、121f-117至121f-119)，以便对输出像素值无贡献。

也就是说，例如，在输出像素值的入射角指向性在多个像素121a-b之间彼此不同的情况下，光电二极管121f-111至121f-119中的至少任一个对输出像素值的贡献的存在/不存在及其程度是不同的。相反，例如，在输出像素值的入射角指向性在多个像素121a-s之间不同的情况下，光电二极管121f-111、121f-112、121f-114或121f-115中的至少任一个对输出像素值的贡献的存在/不存在及其程度是不同的，而其他光电二极管121f-113、121f-116和121f-117至121f-119对通常在这些像素之间的输出像素值无贡献。

注意，可以为每个像素设置像素121a是像素121a-b还是像素121a-s。此外，可以为每个单元(多个像素)执行这种设置。

此外，在成像元件121的每个像素(每个像素输出单位)上形成一个片上透镜。也就是说，在具有如图19所示的示例中那样的配置的像素121a的情况下，如图20中所示，为光电二极管121f-111至121f-119设置一个片上透镜121c。因此，如参考图19所述，在像素121a是像素121a-b的情况下，以及在像素121a是像素121a-s的情况下，一个像素(一个像素输出单位)和一个片上透镜121c彼此一一对应。

<检测图像的分辨率控制>

图1中的成像装置100使用具有如上所述的特性的成像元件121。如上所述，成像元件121对于每个像素(像素输出单位)具有入射角指向性。例如，如图21中所示，通过用遮光膜121b对像素121a(像素输出单位)的一部分进行遮光来形成入射角指向性。

在传统的成像元件中，不能控制检测图像的分辨率。也就是说，读取成像元件的全部像素(像素输出单位)的检测信号，并且使用全部读取的检测信号生成检测图像。于是，没有公开如何处理检测图像以转换分辨率。专利文献1等没有公开或暗示这一点。

因此，例如，为了降低成像图像的分辨率，需要将检测图像转换为成像图像，然后降低分辨率。也就是说，即使在分辨率降低的情况下，也需要从成像元件121读取检测图像并将检测图像转换成高分辨率状态下的成像图像(图像处理)。因此，存在负荷不必要地增加并且功耗不必要地增加的可能性。

相反，在成像装置100中，成像元件121具有如图21所示的每个像素(像素输出单位)的入射角指向性，从而可以选择每个像素(像素输出单位)的检测信号。也就是说，可以仅从像素输出单位的一部分读取检测信号，并且将其包括在检测图像中。也就是说，可以控制检测图像的分辨率。因此，例如，检测图像的分辨率可能比成像元件121的分辨率低。也就是说，可以根据期望的分辨率来驱动所需的像素输出单位、模数转换器(adc)等(抑制对不必要的像素输出单位、adc等的驱动)。因此，可以抑制功耗的不必要的增加。

<包括区域adc的成像元件>

注意，成像元件121设置有adc，该adc将从像素输出单位读取的模拟检测信号转换(a/d转换)为数字信号。该adc与形成有像素(像素输出单位)的像素区域的部分区域相关联地设置。也就是说，adc对从与其自身对应的部分区域的像素输出单位(形成在该部分区域中的像素输出单位)读取的检测信号(模拟信号)进行a/d转换。这种adc也称为区域adc。

<基板配置>

例如，如图22所示，在作为两个层叠基板的上基板301和下基板302上形成成像元件121的电路结构。上基板301和下基板302中的每一个可以具有任何尺寸(大小或厚度或两者)和形状，并且可以在尺寸或形状或两者上彼此不同。形成在上基板301上的电路和形成在下基板302上的电路通过例如通孔(via)等彼此连接。

注意，成像元件121的基板结构是任意的，并且不限于图22的示例。例如，成像元件121可以包括三个或以上个基板，或者可以形成在一个基板上。此外，在每个基板上形成的电路等的配置是任意的。

<上基板配置>

图23示出在上基板301上形成的主电路配置的示例。如图23所示，例如，在上基板301上形成像素区域311。像素区域311是形成一组像素121a(像素输出单位)(也就是说，多个像素121a)的区域。在图23中，像素区域311中的小矩形表示像素121a。也就是说，在图23的示例的情况下，在像素区域311中形成垂直16个×水平20个像素121a。注意，形成在像素区域311中的像素121a的数量是任意的，只要其是多个即可，并且不限于图23中的示例。

像素区域311中的多个像素121a的布置图案是任意的。例如，在图23的示例的情况下，在像素区域311中，多个像素121a形成为矩阵(阵列)。布置成矩阵的像素121a(像素输出单位)也被称为像素阵列(像素输出单位阵列)。但是，该示例仅是示例，并且多个像素121a的布置图案不限于该示例。例如，在像素区域311中，多个像素121a可以以蜂窝结构布置。此外，多个像素121a可以以线形(例如，一行或一列的直线形，或曲线形(例如，曲折线形、螺旋形等))布置。此外，像素可以彼此分开。

此外，像素区域311的部分区域被称为区域312。例如，在图23的示例的情况下，由像素区域311的粗线围绕的每个部分区域是区域312。也就是说，四个像素×四个像素的每个部分区域被设置为区域312。注意，在图23中，仅对一个区域进行编号，但是每个部分区域是如上所述的区域312。也就是说，在图23中的示例的情况下，在上基板301上设置垂直四个×水平五个区域312。

注意，区域312可以以任何布局设置在像素区域311中。也就是说，像素区域311中的区域312的形状、大小和数量都是任意的。例如，在像素区域311中设置多个区域312的情况下，可以在多个区域312之间统一全部这些参数，或者不统一全部这些参数。也就是说，例如，区域312可以在形状和/或大小上不同于其他区域312。此外，区域312可以彼此重叠。

此外，区域312中的配置也是任意的。也就是说，区域312中所包括的像素121a的数量、布局等是任意的。例如，在像素区域311中设置多个区域312的情况下，可以在多个区域312之间统一全部这些参数，或者不统一全部这些参数。也就是说，例如，区域312可以在所包括数量的像素和/或像素布置方面不同于其他区域312。

此外，形成在区域312中的像素(像素输出单位)的输出像素值相对于来自被摄体的入射光的入射角指向性是任意的。例如，形成在区域312中的整个像素(像素输出单位)组可以具有与形成在像素区域311中的整个像素(像素输出单位)组的入射角指向性等同的入射角指向性。此外，例如，形成在区域312中的整个像素(像素输出单位)组可以具有与形成在像素区域311中的整个像素(像素输出单位)组的入射角指向性不同的入射角指向性。

注意，例如，在像素区域311中设置有多个区域312的情况下，有可能入射角指向性在区域312之间是统一的或不统一的。也就是说，区域312在入射角指向性上可以不同于其他区域312。例如，预定区域312的整个像素输出单位组的视场的大小可以不同于其他区域312或像素区域311的整个像素输出单位组的视场的大小。例如，可以在像素区域311中设置具有宽视场的区域312和具有窄视场的区域312。此外，例如，预定区域312的整个像素输出单位组的视场的方向可以不同于其他区域312或像素区域311的整个像素输出单位组的视场的方向。例如，在两个区域312之间获得的图像之间的视差增加的方向上，视场的方向可以不同。此外，例如，可以存在其中各个像素(像素输出单位)的全部入射角指向性都垂直于像素区域311的区域312。

此外，例如，在像素区域311中设置多个区域312的情况下，每个区域312中的整组预定像素(像素输出单位)可以具有与形成在像素区域311中的整个像素(像素输出单位)组的入射角指向性等同的入射角指向性。例如，各个区域312的从其首先读取信号的整组像素(像素输出单位)可以具有与形成在像素区域311中的整个像素(像素输出单位)组的入射角指向性等同的入射角指向性。

注意，在下文中，除非另有说明，否则假设像素阵列如图23中的示例那样形成在整个像素区域311上，并且通过将像素区域311成包括预定数量的像素的多个部分而获得的每个部分区域被作为区域312。

垂直扫描单元313执行关于在列方向(图中的垂直方向)上扫描像素区域311的像素阵列的处理。水平扫描单元314执行关于在行方向(图中的水平方向)上扫描像素区域311的像素阵列的处理。也就是说，从像素区域311中的像素121a读取的信号由垂直扫描单元313和水平扫描单元314控制。换句话说，从由垂直扫描单元313和水平扫描单元314控制驱动的像素121a读取信号。

<下基板配置>

图24示出了形成在下基板302上的主电路配置的示例。如图24所示，在下基板302上，例如，形成与上基板301上的每个区域312相对应的区域adc321。在图24中，在下基板302的中心示出的矩形表示区域adc321。在图24中，仅对一个矩形进行编号，但每个矩形都表示区域adc321。也就是说，在图24的示例的情况下，在下基板302上形成垂直四个×水平五个区域adc321。这些区域adc321分别与上基板301的不同区域312相关联。

在下基板302上形成的区域adc321的数量是任意的。该数量可以与上基板301的区域312的数量相同，或者可以大于或小于区域312的数量。此外，多个区域adc321可以与一个区域312相关联，或者多个区域312可以与一个区域adc321相关联。在图23和24中的示例的情况下，不同的区域312分别与区域adc321相关联。

注意，术语"对应"在这里意味着其中两者经由信号线、元件等彼此连接的状态。例如，"将a与b相关联"意味着a(或准a)经由信号线等连接到b(或准b)。此外，例如，"区域312对应于区域adc321"意味着区域312的每个像素121a和区域adc321经由信号线等彼此连接。

区域adc321包括a/d转换器，对输入的模拟信号进行a/d转换，并将其输出为数字信号(输出像素值)。换句话说，区域adc321是对从与其自身(区域adc321)对应的区域312中的像素121a读取的信号进行处理(a/d转换)并获得输出像素值的信号处理单元。

注意，仅要求当信号从像素121a传输到区域adc321时建立该连接。例如，区域adc321可以经由开关等连接到区域312中的任何像素121a(区域adc321连接到的像素121a通过开关等切换)。

此外，如图24所示，在下基板302上，例如，形成数字信号处理单元322、定时生成单元323、数模转换器(dac)324等。数字信号处理单元322执行关于数字信号的信号处理的处理。尽管未示出，但是数字信号处理单元322通过信号线等连接到每个区域adc321。例如，数字信号处理单元322对通过区域adc321中的a/d转换获得的数字信号执行信号处理。该信号处理的内容是任意的。

定时生成单元323生成用作成像元件121中的每个配置的操作定时的基准的定时信号。尽管未示出，但是定时生成单元323经由信号线等连接到成像元件121中的其他配置，并且可以将生成的定时信号提供给期望的组件。例如，上基板301的像素区域311、垂直扫描单元313和水平扫描单元314以及下基板302的区域adc321、数字信号处理单元322和dac324等在基于从定时生成单元323提供的定时信号的定时处进行操作(执行预定处理)。这使得可以在配置之间同步处理定时。

dac324包括d/a转换器，对输入的数字信号执行d/a转换，并将其作为模拟信号输出。例如，dac324通过d/a转换生成在区域adc321中使用的斜坡信号(ramp)。尽管未示出，但dac324连接到每个区域adc321，并将生成的斜坡信号提供给每个区域adc321。

注意，仅要求当斜坡信号从dac324传输到区域adc321时建立该连接。例如，dac324可以经由开关等连接到任何区域adc321(dac324连接到的区域adc321通过开关等切换)。

<区域adc的配置>

图25是示出区域adc321的主要配置示例的图。如图25所示，区域adc321包括比较单元331和锁存单元332。比较单元331经由信号线等连接到与区域adc321对应的区域312中的每个像素121a。此外，比较单元331还经由未示出的信号线等连接到dac324。比较单元331比较从由垂直扫描单元313和水平扫描单元314在要提供的区域312中选择的像素121a读取的信号和从dac324提供的斜坡信号(ramp)的大小。此外，比较单元331还经由信号线等连接到锁存单元332，并且将比较结果(指示较大一个的值)提供给锁存单元332。

表示比较部331开始比较后经过的时间的长度的码值(codevalue)从未图示的计数器等被提供给锁存单元332。也就是说，码值的值随时间而改变。当从比较单元331提供的比较结果改变时，锁存单元332保持在该定时输入的码值。也就是说，锁存在比较单元331开始比较之后经过的时间的长度。如上所述，由于比较对象是从像素121a读取的信号和斜坡信号，因此时间的长度指示从像素121a读取的信号的大小。

锁存单元332经由未示出的信号线等连接到数字信号处理单元322。锁存单元332将表示从像素121a读取的信号的大小的码值(保持的码值)作为数字检测信号提供给数字信号处理单元322。

<读取扫描>

以预定顺序(扫描顺序)执行从区域312中的每个像素121a读取信号。也就是说，垂直扫描单元313和水平扫描单元314在要处理的区域312中根据预定扫描顺序一次一个像素地选择从其读取信号的像素121a。该扫描顺序是任意的。

图26是示出该扫描顺序的示例的图。在图26中，每个矩形示意性地示出了形成在一个区域312中的像素121a。也就是说，在图26中的示例的情况下，在一个区域312中形成四个像素×四个像素的像素阵列。此外，给出矩形外的每个数字用于说明指示像素阵列中的每个像素121a的坐标。例如，图中左上端的像素121a的坐标是(0，0)，图中右上端的像素121a的坐标是(3，0)，图中左下端的像素121a的坐标是(0，3)，并且图中右下端的像素121a的坐标是(3，3)。此外，图中的箭头表示扫描顺序。

也就是说，在图26的示例中的扫描顺序的情况下，从上一行开始依次选择像素121a。在每行中，从左到右选择一列(即，一个像素)。更具体而言，首先，从坐标(0，0)向坐标(0，3)逐个选择像素，然后，从坐标(1，0)向坐标(1，3)逐个选择像素，接着，从坐标(2，0)向坐标(2，3)逐个选择像素，并且从坐标(3，0)向坐标(3，3)逐个选择像素。

例如，以这样的扫描顺序一次从一个像素读取信号，以将其提供给与区域312相对应的区域adc321。

如上所述，区域312的扫描顺序是任意的，并不限于图26中的示例。例如，像素121a可以一次一列(各列内一行)地选择，可以在倾斜方向上顺序选择，或者可以以螺旋形状顺序选择。

此外，连续选择的像素可以彼此不相邻或相邻。例如，扫描顺序可以是不规则的，诸如坐标(0，0)、坐标(1，2)、坐标(3，1)、坐标(0，2)、坐标(3，3)等。此外，可以仅扫描区域312中的像素121a的一部分。此外，扫描顺序可以是可变的。例如，可以根据情况从多个候选中自适应地选择扫描顺序。此外，扫描顺序可以是随机的。

此外，在像素区域311中存在多个区域312的情况下，可以从各个区域312中的像素121a并行读取信号，或者可以一次从一个区域312读取信号。也就是说，要处理的区域312(从其读取信号)的数量是任意的。

此外，在像素区域311中存在多个区域312的情况下，每个区域312中的扫描顺序可以相同或者可以彼此不同。

<配置>

也就是说，仅需要成像元件121设置有多个像素输出单位和信号处理单元，其中所述多个像素输出单位接收不经由成像透镜或针孔中任何一个入射的入射光，并且每个像素输出单位输出一个指示由入射光的入射角调制的输出像素值的检测信号，所述信号处理单元被设置为与形成有多个像素输出单位中的至少两个像素输出单位的区域相关联，该信号处理单元处理从形成在该区域中的像素输出单位读取的信号，并且获得其输出像素值。

通过使用这样的成像元件121，与使用通过一个adc对从全部像素输出单位读取的信号进行a/d转换的成像元件、通过对应于该列的列adc对从像素阵列的每一列的像素输出单位读取的信号进行a/d转换的成像元件等的情况相比，可以更容易地并且以更多样的顺序从像素输出单位读取检测信号。因此，与使用通过一个adc对从全部像素输出单位读取的信号进行a/d转换的成像元件、通过与列相对应的列adc对从像素阵列的每一列的像素输出单位读取的信号进行a/d转换的成像元件等的情况相比，成像装置100可以更容易地获得更多的各种检测图像。

<读取控制(操作模式)>

<全像素模式>

接下来，描述读取控制单元122的控制。如图27所示，成像装置100可以读取成像元件121的全部像素的检测信号，使用全部检测信号来生成检测图像，并且将检测图像转换为复原图像。这种操作模式被称为全像素模式。

在图27中，成像元件121中的每个矩形表示像素121a(像素单位输出)，并且在成像元件121中示意性地示出了像素阵列的状态。注意，尽管在图27中示出了包括水平方向上的八个像素和垂直方向上的六个像素的像素阵列，但是成像元件121的像素的数量是任意的。在本说明书中，成像元件121包括像素阵列，该像素阵列包括水平方向上的w个像素和垂直方向上的h个像素。

在全像素模式的情况下，读取控制单元122将读取控制信号提供给成像元件121，以从成像元件121的全部像素读取检测信号。也就是说，从成像元件121读取分辨率(w×h)的检测图像。在图27中，画阴影线的像素121a表示从其读取检测信号的像素121a。也就是说，在全像素模式的情况下，从成像元件121的像素阵列中的全部像素读取检测信号。

此外，读取控制单元122也将读取控制信号提供给复原矩阵设置单元123。在生成分辨率(w×h)的复原图像的情况下，复原矩阵设置单元123根据读取控制信号设置包括与分辨率(w×h)的检测图像和分辨率(w×h)的复原图像相对应的包括垂直(w×h)×水平(w×h)系数的复原矩阵。

在通过复原单元124生成复原图像的情况下，复原单元124获得从成像元件121读取的分辨率(w×h)的检测图像，获得由复原矩阵设置单元123设置的包括垂直(w×h)×水平(w×h)系数的复原矩阵，并且通过使用他们生成分辨率(w×h)的复原图像。

该检测图像是由成像元件121获得的，具有参照图1至图26所述的特性的信息。也就是说，该检测图像是通过由成像元件对被摄体进行成像而获得的检测图像，其中，包括由像素输出单位获得的检测信号的被摄体不能被视觉识别，所述成像元件设置有多个像素输出单位和信号处理单元和信号处理单元，其中，所述多个像素输出单位接收不经由成像透镜或针孔中的任何一个入射的入射光，并且每个像素输出单位输出一个表示由入射光的入射角调制的输出像素值的检测信号，所述信号处理单元与作为其中形成有像素输出单位的像素区域的部分区域的区域相关联地设置，该信号处理单元处理从形成在该区域中的像素输出单位读取的信号，以获得其输出像素值。

那么，复原矩阵也是上面参考图1到26描述的复原矩阵，并且具有上述特性。也就是说，该复原矩阵是包括当从其中被摄体不能被视觉识别的检测图像对复原图像进行复原时使用的系数的矩阵。复原单元124通过使用这种复原矩阵从检测图像对复原图像进行复原。

<像素规则性稀疏模式>

此外，成像装置100可以读取成像元件121的一部分像素的检测信号，使用读取的一部分像素的检测信号来形成检测图像，并且将检测图像转换为复原图像。这种操作模式被称为稀疏模式。例如，如图28所示，成像装置100可以读取成像元件121的处于具有预定规律性的位置关系中的一部分像素的检测信号，使用所读取的处于具有预定规律性的位置关系中的一部分像素的检测信号来形成检测图像，并且将检测图像转换成复原图像。这种操作模式被称为像素规则间隔稀疏模式。

图28与图27同样地示出成像元件121中的像素阵列。在图中，画阴影线的像素121a表示从其读取检测信号的像素121a。

在像素规则间隔稀疏模式的情况下，读取控制单元122将读取控制信号提供给成像元件121，并且从成像元件121的像素阵列(多个像素输出单位)中选择处于具有预定规则性的位置关系的位置中的一部分像素121a(像素输出单位)，以从所选择的像素121a(图中的画阴影线的像素)读取检测信号。读取控制单元122可以选择任意数量的像素。例如，可以选择水平w2×垂直h2像素。也就是说，从成像元件121读取分辨率(w2×h2)的检测图像。

通过这样做，可以降低检测图像的分辨率。此外，可以减少像素121a和区域adc321的驱动，可以减少关于检测信号的读取的处理负荷(例如，功耗)。

在这种情况下，从中读取信号的像素可以是例如在像素区域311中形成的每个区域312中的预定位置处的像素。例如，假设在像素区域311中没有间隔地设置包括四个像素×四个像素的区域312，如图29所示。

以这种方式，在各个区域312具有相同形状和大小的情况下，当读取控制单元122从每个区域312的预定位置的像素(例如，左上端像素(画阴影线的像素))读取检测信号时，这可以容易地从处于具有预定规律性的位置关系的像素(每四个像素中一个)读取检测信号。

如上所述，在这种情况下，从中读取检测信号的像素的数量小于在全像素模式中的像素的数量。也就是说，在这种情况下，与在全像素模式中相比，可以减少要驱动的像素121a的数量。此外，在这种情况下，仅需要每个区域adc321对从与其自身对应的区域312中的一部分像素121a读取的信号进行a/d转换。也就是说，在这种情况下，与在全像素模式中的处理量相比，可以减少每个区域adc321的处理量。因此，可以减少关于检测信号的读取的处理负荷(例如，功耗)。

此外，每个区域312中的扫描顺序可以相同。例如，全部区域312中的扫描顺序可以是图26中的示例中的顺序。通过以这种方式统一每个区域312中的扫描顺序，每个区域312中的相同位置处的像素的读取定时变得基本相同。也就是说，从每个区域312读取的检测信号的生成定时(即，用于生成检测信号的来自被摄体的入射光的定时)基本上相同。因此，能够在基本相同的定时获得包括检测信号的检测图像，从而与检测信号的生成定时不同步(彼此不一致)的情况相比，能够获得能够生成失真等少的复原图像(主观上为高画质的复原图像)的检测图像。

例如，在对作为被摄体的运动物体、变形物体等进行成像的情况下，如果检测信号的生成定时(成像定时)在像素之间不同，则在每个像素中生成检测信号的同时，被摄体的状态可能改变。因此，在成像图像(复原图像)中，被摄体的状态在像素之间不同，并且主观画质可能降低。如上所述，由于每个区域312中的扫描顺序相同，因此从每个区域312读取的检测信号的生成定时变得基本相同，从而可以抑制由于这些因素导致的复原图像的主观画质的降低。

不言而喻，即使每个区域312中的扫描顺序不统一，只要区域312中的像素121a的读取顺序(当其被读取时)相同，也可以获得类似的效果。

注意，仅当近似每个区域312中的扫描顺序时，才近似每个像素中的检测信号的生成定时(成像定时)，从而与从各个区域312读取的检测信号的生成定时完全不同步的情况相比，可以抑制复原图像的主观画质的降低。

此外，可以使从其读取检测信号的像素121a成为区域312中的扫描顺序中的第一像素(即，区域312中的从其首先读取信号的像素)。通过这样做，可以比在从其他像素读取检测信号的情况下更早地读取检测信号。

注意，在图29中，为了简化描述，仅示出了包括四个像素×四个像素的六个区域312，但是区域312的形状、大小、数量等如上所述是任意的。此外，区域312中的从中读取检测信号的像素121a(像素输出单位)的位置也是任意的，并且不限于图29中的示例中的位置(左上端)(任何位置都是可用的)。

可以预先确定要选择的像素(的检测信号)(确定从其读取检测信号的像素，或者从其读取的检测信号要选择的像素)。此外，还可以预先准备要选择的像素的设置的多个候选(像素选择设置)，并且读取控制单元122从该多个候选中进行选择。在这种情况下，例如，读取控制单元122可以基于诸如成像的操作模式、帧速率、分辨率设置、被摄体距离、亮度、时间、位置、用户指令等的任意条件来进行选择。

注意，像素选择设置的候选可以存储在成像装置100的任意处理单元等中，诸如读取控制单元122中的存储器(未示出)和存储单元113中。在这种情况下，可以在成像装置100的工厂发货时存储候选，或者可以在工厂发货之后存储(或更新)候选。不言而喻，可以在成像装置100外部准备像素选择设置的候选，并且读取控制单元122可以从外部候选中进行选择。

此外，读取控制单元122可以任意设置要选择的像素(的检测信号)。在这种情况下，例如，可以准备像素选择设置的初始值(初始设置)，并且读取控制单元122基于任意条件(例如，成像的操作模式、帧速率、分辨率设置、被摄体距离、亮度、时间、位置、用户指令等)来更新初始设置。此外，例如，读取控制单元122可以基于任意信息设置要选择的像素。

注意，读取控制单元122可以将读取控制信号提供给成像元件121以从成像元件121的像素阵列的全部像素121a读取检测信号，并且从读取的检测信号中选择从处于具有预定规律性的位置关系的一部分像素读取的检测信号作为要包括在检测图像中的检测信号。但是，在这种情况下，驱动成像元件121的像素阵列的全部像素121a(如在全像素模式的情况下驱动全部区域adc321)，从而与这种方法的情况相比，在如上所述从部分像素121a读取检测信号的情况下，可以降低关于读取检测信号的处理负荷(例如，功耗)。

此外，读取控制单元122也向复原矩阵设置单元123提供要提供给成像元件121的读取控制信号。例如，在生成分辨率(w2×h2)的复原图像的情况下，复原矩阵设置单元123根据读取控制信号设置与分辨率(w2×h2)的检测图像和分辨率(w2×h2)的复原图像对应的包括垂直(w2×h2)×水平(w2×h2)系数的复原矩阵。

在通过复原单元124生成复原图像的情况下，复原单元124从成像元件121或读取控制单元122获得分辨率(w2×h2)的检测图像，获得由复原矩阵设置单元123设置的包括垂直(w2×h2)×水平(w2×h2)系数的复原矩阵，并通过使用他们生成分辨率(w2×h2)的复原图像。

<像素任意稀疏模式>

此外，成像装置100可以以稀疏模式如图30所示读取成像元件121的像素的任意部分的检测信号，使用所读取的像素的任意部分的检测信号作为检测图像，并且将检测图像转换为复原图像。这种操作模式被称为像素任意稀疏模式。

图30与图27同样地示出成像元件121的像素排列。在图中，画阴影线的像素121a表示从中读取检测信号的像素121a。

在像素任意稀疏模式的情况下，读取控制单元122将读取控制信号提供给成像元件121，并且选择成像元件121的像素阵列(多个像素输出单位)中的任意位置中的一部分像素121a(像素输出单位)，以从所选择的像素121a(图中画阴影线的像素)读取检测信号。读取控制单元122可以选择任意数量的像素。例如，可以选择t个像素。也就是说，从成像元件121读取包含t个检测信号的检测图像。

通过这样做，可以如像素规则间隔稀疏模式的情况那样降低检测图像的分辨率。此外，可以减少像素121a和区域adc321的驱动，可以减少关于检测信号的读取的处理负荷(例如，功耗)。

在这种情况下，从中读取信号的像素可以是例如在像素区域311中形成的每个区域312中的任意位置处的像素。例如，如图31所示，在像素区域311中无任何间隔地设置的包括四个像素×四个像素的区域312的每一个中的任意位置中的像素121a(图中画阴影的像素)可以是从其读取检测信号的像素121a。各区域312中从中读取检测信号的像素121a的数量是任意的，并且在全部区域312中这可以是统一的或者不是统一的。

如上所述，在这种情况下，与像素规则间隔稀疏模式的情况相同，从中读取检测信号的像素的数量小于在全像素模式中的像素的数量。也就是说，在这种情况下，与在全像素模式中相比，可以减少要驱动的像素121a的数量。此外，在这种情况下，仅需要每个区域adc321对从与其自身对应的区域312中的一部分像素121a读取的信号进行a/d转换。也就是说，在这种情况下，与在全像素模式中的处理量相比，可以减少各区域adc321的处理量。因此，可以减少关于检测信号的读取的处理负荷(例如，功耗)。

此外，有可能各区域312中的扫描顺序不是统一的。例如，可以设置各区域312中的扫描顺序，使得各区域312的从中读取检测信号(当读取时)的像素121a(图中画阴影线的像素)在区域312中的读取顺序相同。通过这样做，与像素规则间隔稀疏模式的情况一样，可以在基本相同的定时获得包括检测信号的检测图像，从而与检测信号的生成定时不同步(彼此不一致)的情况相比，可以获得能够生成失真更少等的复原图像(主观上高画质的复原图像)的检测图像。也就是说，可以抑制复原图像的主观画质的降低。

注意，仅当近似各区域312中的扫描顺序时，才近似每个像素中的检测信号的生成定时(成像定时)，从而与从各个区域312读取的检测信号的生成定时完全不同步的情况相比，可以抑制复原图像的主观画质的降低。

此外，可以使从其读取检测信号的像素121a成为区域312中的扫描顺序中的第一像素(即，区域312中的从其首先读取信号的像素)。通过这样做，与像素规则间隔稀疏模式的情况一样，与从其他像素读取检测信号的情况相比，可以更早地读取检测信号。

注意，在图31中，与图29的情况相同，为了简化描述，仅示出了包括四个像素×四个像素的六个区域312，但是区域312的形状、大小、数量等如上所述是任意的。此外，区域312中的从中读取检测信号的像素121a(像素输出单位)的位置也是任意的，并且不限于图31中的示例中的位置(任何位置都是可用的)。

此外，各区域312的从中读取检测信号的像素121a的数量是任意的，并且可以从各区域312读取多个像素。此外，各区域312中从中读取检测信号的像素121a的数量可以是统一的或不统一的。可以如像素规则间隔稀疏模式的情况那样预先确定要选择的像素，读取控制单元122可以从多个候选中选择该像素，或者读取控制单元122可以任意地设置该像素。

注意，读取控制单元122可以将读取控制信号提供给成像元件121以从成像元件121的像素阵列的全部像素121a读取检测信号，并且从读取的检测信号中选择从任意部分的像素读取的检测信号作为要包括在检测图像中的检测信号。但是，在这种情况下，驱动成像元件121的像素阵列的全部像素121a(如在全像素模式的情况下驱动全部区域adc321)，从而与这种方法的情况相比，在如上所述从部分像素121a读取检测信号的情况下，可以降低关于读取检测信号的处理负荷(例如，功耗)。

此外，读取控制单元122也向复原矩阵设置单元123提供要提供给成像元件121的读取控制信号。在生成分辨率(w1×h1)的复原图像的情况下，复原矩阵设置单元123根据读取控制信号设置与包括t个检测信号的检测图像和分辨率(w1×h1)的复原图像相对应的包括垂直(w1×h1)×水平t系数的复原矩阵。

在通过复原单元124生成复原图像的情况下，复原单元124从成像元件121或读取控制单元122获得包括t个检测信号的检测图像，获得由复原矩阵设置单元123设置的包括垂直(w1×h1)×水平t系数的复原矩阵，并且通过使用他们生成分辨率(w1×h1)的复原图像。

<稀疏模式>

如上所述，成像装置100可以在稀疏模式(像素规则稀疏模式或像素任意稀疏模式)下从成像元件121读取检测图像。也就是说，在成像元件121中，可以从形成在像素区域311中的多个区域312的预定像素121a(像素输出单位)读取信号，并且与多个区域312中的每一个相关联的每个区域adc321(信号处理单元)可以对从与其自身对应的区域312的像素读取的检测信号执行处理(a/d转换)。通过这样做，可以如上所述地降低检测图像的分辨率。此外，可以减少关于检测信号的读取的处理负荷(例如，功耗)。

<视场设置>

注意，在如上述稀疏模式(像素任意稀疏模式或像素规则稀疏模式)中那样降低检测图像的分辨率的情况下，分辨率降低之后的整个检测图像的入射角指向性可以等同于分辨率降低之前的整个检测图像(即，全像素模式中的整个检测图像)的入射角指向性。也就是说，各区域312中的从其读取检测信号的整组像素(像素输出单位)可以具有与像素区域311中的整个像素组的入射角指向性等同的入射角指向性。

入射角指向性等同的这一事实旨在表示可以对被摄体面的相同范围进行成像，即视场是等同的。例如，如图32的上部所示，假设当成像元件121以视场363对被摄体面361进行成像时，对范围362进行成像。在仅考虑图中的水平方向的情况下，成像元件121的每个像素121a的入射角指向性的重心分布在视场363的范围内。换句话说，成像元件121的每个像素121a的入射角指向性的重心的角度范围是视场363。也就是说，在选择像素使得入射角指向性等同的情况下，选择像素(的检测信号)使得在分辨率降低之前和之后每个像素的入射角指向性的重心的角度范围是等同的。

当确定范围362的目标分辨率时，确定视场的分辨率364的大小。换句话说，分辨率364是各个像素的入射角指向性的重心之间的角度差。也就是说，当分辨率降低时，需要增大各个像素的入射角指向性的重心之间的角度差。

这也可以从用于实现视场363的像素的数量减少的事实来说。例如，如图32的下部所示，假设通过具有在水平方向上的八个位置中形成的开口的像素(像素121a-1至121a-8)来实现视场363。在像素121a-1的光入射面上形成开口351-1。类似地，分别在像素121a-2至121a-8的光入射面上形成开口351-2至351-8。如图32所示，各个像素中的开口351-1至351-8的位置在水平方向上从左向右偏移，并且开口351-1形成在像素的最左侧，而开口351-8形成在像素的最右侧。当从中选择像素121a-1、121a-3、121a-5和121a-7时，例如，各个像素的入射角指向性的重心之间的角度差近似加倍，并且可以在视场363基本等同的情况下降低分辨率。

也就是说，通过增大由检测图像的各个像素输出单位表示的入射角指向性的重心之间的角度差来降低分辨率以便维持视场363，可以使分辨率降低前后检测图像的入射角指向性等同。

尽管上面描述了水平方向，但是其类似于垂直方向。也就是说，通过增大由检测图像的各个像素输出单位表示的入射角指向性的重心之间的角度差来降低分辨率以便维持视场，能够使分辨率降低前后检测图像的入射角指向性等同。

通过这样做，可以在不减小复原图像的视场(fov)的情况下减小分辨率。也就是说，可以在不改变复原图像的内容的情况下降低分辨率。

为了在像素规则稀疏模式中这样做，成像元件121的处于具有预定规则性的位置关系中的整个像素输出单位组被设计为具有与成像元件121的全部像素输出单位的入射角指向性等同的入射角指向性。读取控制单元122仅需要选择以这种方式设计的像素输出单位组。

为了在像素任意稀疏模式中这样做，读取控制单元122仅需要选择像素输出单位，使得全部选择的像素输出单位具有与成像元件121的全部像素输出单位的入射角指向性等同的入射角指向性。

不用说，在像素规则稀疏模式的情况下和在像素任意稀疏模式的情况下，使得被选择为从其读取检测信号的像素的整个像素(像素输出单位)组的入射角指向性与成像元件121的全部像素输出单位的入射角指向性不同。在任何模式中，仅需要使得被选择作为从其读取检测信号的像素的整个像素(像素输出单位)组的入射角指向性使得复原图像的画质更合适。也就是说，只需要设计被选择作为从其读取检测信号的像素的每个像素(像素输出单位)的指向性，使得可以获得这样的入射角指向性(改善了复原图像的画质)。

<成像处理流程>

参考图33中的流程图描述成像装置100以上述全像素模式或稀疏模式执行成像的成像处理的流程的示例。

当开始成像处理时，在步骤s101，控制单元101选择操作模式(全像素模式或稀疏模式)。在步骤s102，控制单元101确定在步骤s101选择的操作模式是否是全像素模式。在确定模式是全像素模式的情况下，过程转到步骤s103。

在步骤s103，成像装置100执行全像素模式成像处理，并且以全像素模式执行成像。当步骤s103的处理完成时，过程转到步骤s105。此外，在步骤s102中确定所选择的操作模式不是全像素模式(确定为稀疏模式)的情况下，过程转到步骤s104。

在步骤s104，成像装置100以稀疏模式执行成像。当步骤s104的处理结束时，程序转到步骤s105。

在步骤s105，控制单元101确定是否完成成像处理。在确定成像处理没有完成的情况下，过程返回到步骤s101。也就是说，在步骤s105，重复执行步骤s101到s105的每个处理，直到确定成像处理完成。

在步骤s105确定成像处理完成的情况下，成像处理完成。

<全像素模式成像处理的流程>

接下来，参考图34中的流程图描述在图33中的步骤s103执行的全像素模式成像处理的流程的示例。

当开始全像素模式成像处理时，在步骤s121，读取控制单元122将成像元件121的像素区域311中的全部像素121a设置为从其读取检测信号的对象。

在步骤s122，成像元件121对被摄体进行成像。在步骤s123，读取控制单元122从成像元件121的像素区域311中的全部像素读取通过步骤s122的处理获得的检测信号，并通过使用他们生成检测图像。

在步骤s124，复原矩阵设置单元123根据全部像素(全像素模式)和被摄体距离来设置复原矩阵。

在步骤s125，复原单元124通过使用在步骤s124设置的复原矩阵，从通过步骤s123的处理获得的检测图像生成输出数据(例如，复原图像)。

例如，复原单元124通过使用复原系数将检测图像转换为复原图像。复原单元124使复原图像的数据成为输出数据。此外，例如，关联单元125将复原系数的数据与检测图像的数据相关联，并且使输出数据相同。

在步骤s126，输出数据被输出。该输出包括任意方法。例如，该输出可以包括图像显示、数据输出到其他装置和打印的、存储在存储介质中、发送到通信伙伴、记录在记录介质116上等。

首先，描述输出raw图像(这可以是经过同步处理、颜色分离处理等(例如，去马赛克处理等)的复原图像)的情况。例如，在输出是"显示"的情况下，复原单元124将raw图像的数据等提供给输出单元112。输出单元112在图像显示装置(例如，液晶显示器(lcd)等)上显示原始图像，或者从投影仪投影原始图像。此外，例如，在输出是"输出"的情况下，复原单元124将raw图像的数据等提供给输出单元112。输出单元112将raw图像的数据等从外部输出端子输出到其他装置。此外，例如，在输出是"存储"的情况下，复原单元124将raw图像的数据等提供给存储单元113。存储单元113将raw图像的数据等存储在其自身的存储介质中。此外，例如，在输出是"发送"的情况下，复原单元124将raw图像的数据等提供给通信单元114。通信单元114使用预定通信方法与其他装置进行通信，并将raw图像的数据等发送给通信伙伴。此外，例如，在输出是"记录"的情况下，复原单元124将raw图像的数据等提供给记录/再现单元115。记录/再现单元115将raw图像的数据等记录在安装于其上的记录介质116上。

接下来，描述输出彼此相关联的检测图像的数据和图像复原系数等的情况。例如，在输出是"显示"的情况下，关联单元125将彼此关联的检测图像的数据和图像复原系数等提供给输出单元112。输出部112将与检测图像的数据和图像复原系数等有关的图像、文字等信息显示在图像显示装置(例如，液晶显示装置(lcd)等)上，或者从投影仪投影该信息。此外，例如，在输出是"输出"的情况下，关联单元125将彼此关联的检测图像的数据和图像复原系数等提供给输出单元112。输出单元112将彼此关联的检测图像的数据和图像复原系数等从外部输出端子输出到其他装置。此外，例如，在输出是"存储"的情况下，关联单元125将彼此关联的检测图像的数据和图像复原系数等提供给存储单元113。存储单元113将彼此关联的检测图像的数据和图像复原系数等存储到其自身的存储介质。此外，例如，在输出是"发送"的情况下，关联单元125将彼此关联的检测图像的数据和图像复原系数等提供给通信单元114。通信单元114使用预定通信方法与其他装置通信，并将彼此相关联的检测图像的数据和图像复原系数等发送给通信伙伴。此外，例如，在输出是"记录"的情况下，关联单元125将彼此关联的检测图像的数据和图像复原系数等提供给记录/再现单元115。记录/再现单元115将彼此相关联的检测图像的数据和图像复原系数等记录到安装在其上的记录介质116。

当输出数据被输出时，全像素模式成像处理结束，并且过程返回到图33。

<稀疏模式图像处理的流程>

接下来，参考图35中的流程图描述在图33中的步骤s104执行的稀疏模式成像处理的流程的示例。

当开始稀疏模式成像处理时，在步骤s141，读取控制单元122在成像元件121的像素区域311中的各区域312设置从其读取检测信号的像素(也称为读取像素)。

在步骤s142，成像元件121对被摄体进行成像。在步骤s143，读取控制单元122从在步骤s141设置的读取像素中读取通过步骤s142的处理获得的检测信号，并通过使用该检测信号生成检测图像。

在步骤s144，复原矩阵设置单元123根据读取的像素(稀疏模式)和被摄体距离来设置复原矩阵。

在步骤s145，复原单元124通过使用在步骤s144设置的复原矩阵，从通过步骤s143的处理获得的检测图像生成输出数据(例如，复原图像)。

例如，复原单元124通过使用复原系数将检测图像转换为复原图像。复原单元124使复原图像的数据成为输出数据。此外，例如，关联单元125将复原系数的数据与检测图像的数据相关联，并且使输出数据相同。

在步骤s146，输出数据被输出。该输出包括任意方法。例如，该输出可以包括图像显示、数据输出到其他装置和打印、存储在存储介质中、发送到通信伙伴、记录在记录介质116上等。

输出数据的输出类似于在全像素模式的情况下的输出，因此省略其描述。当输出数据被输出时，稀疏模式成像处理结束，并且过程返回到图33。

通过执行如上所述的每个处理，可以控制检测图像的分辨率。

注意，以上描述了可以在全像素模式和稀疏模式两者中执行成像的情况；但是，例如，也可以仅在稀疏模式中执行成像。在这种情况下，成像装置100可以执行稀疏模式成像处理。

<2.第二实施例>

<区域驱动模式>

此外，成像装置100可以如图36所示读取在成像元件121的像素区域311中形成的区域312中形成的像素121a(图中的画阴影线的像素)的检测信号，使用读取的检测信号来形成检测图像，并且将检测图像转换为复原图像。也就是说，可以以区域312为单位选择从其读取检测信号的像素121a(像素输出单位)(也称为读取像素)。这种操作模式被称为区域驱动模式。

图36如图22的情况示出成像元件121中的像素阵列。在图中，画阴影线的像素121a表示从中读取检测信号的像素121a。例如，在预定区域312包括水平w3像素×垂直h3像素，并且读取控制单元122选择该区域312中的像素作为读取像素的情况下，从成像元件121读取分辨率(w3×h3)的检测图像。

也就是说，通过以这种方式在区域驱动模式下进行成像，可以降低检测图像的分辨率。此外，可以减少像素121a和区域adc321的驱动，可以减少关于检测信号的读取的处理负荷(例如，功耗)。

如上所述，在区域驱动模式的情况下，针对各区域312(以区域312为单位)选择读取像素。例如，如图37所示，假设在像素区域311中没有间隔地设置各自包括四个像素×四个像素的区域312。在区域驱动模式的情况下，读取控制单元122选择区域312中的任何一个区域312中的像素121a作为从其读取检测信号的像素(读取像素)。在图37的示例的情况下，选择左上端区域312中的像素121a。

以这种方式，成像装置100可以通过区域驱动模式从成像元件121读取检测图像。也就是说，在成像元件121中，可以从形成在像素区域311中的多个区域312中的预定部分区域312的各个像素输出单位读取信号，并且与该部分区域312相关联的区域adc321(信号处理单元)可以对从与其自身对应的区域312的各个像素输出单位读取的检测信号执行处理(a/d转换)。

注意，在图37中，与图29的情况一样，为了简化描述，仅示出了各自包括四个像素×四个像素的六个区域312，但是区域312的形状、大小、数量等如上所述是任意的。

顺便提及，如上所述，区域adc321与每个区域312相关联。因此，从一个所选区域312中的各个像素121a读取的全部信号由相应的区域adc321进行a/d转换。例如，如果一个区域adc321与每个区域312相关联，则在如图37的示例中所示的一个区域312中的像素121a被选择作为读取像素的情况下，仅驱动与区域312相对应的一个区域adc321就足够了。也就是说，在区域驱动模式的情况下，当选择从中读取检测信号的区域312时，也选择要驱动的区域adc321。因此，在区域驱动模式的情况下，可以减少要驱动的区域adc321的数量(可以抑制不必要地驱动的区域adc321的数量)，从而可以减少与检测信号的读取有关的处理负荷(例如，功耗)。

再次参考图36，读取控制单元122也向复原矩阵设置单元123提供要提供给成像元件121的读取控制信号。在生成分辨率(w3×h3)的复原图像的情况下，复原矩阵设置单元123根据读取控制信号设置与分辨率(w3×h3)的检测图像和分辨率(w3×h3)的复原图像相对应的包括垂直(w3×h3)×水平(w3×h3)系数的复原矩阵。

在通过复原单元124生成复原图像的情况下，复原单元124从成像元件121或读取控制单元122获得分辨率(w3×h3)的检测图像，获得由复原矩阵设置单元123设置的包括垂直(w3×h3)×水平(w3×h3)系数的复原矩阵，并通过使用他们生成分辨率(w3×h3)的复原图像。

注意，可以针对每个区域312独立地设置每个像素121a的相对于来自被摄体的入射光的入射角指向性。如上所述，在区域驱动模式的情况下，以区域312为单位选择读取像素，使得复原图像的视场对应于所选区域312的整个像素输出单位组的视场。也就是说，通过对每个区域312设置入射角指向性(视场)，能够设置从在区域312中获得的检测图像生成的复原图像的入射角指向性(视场)。

例如，如图38所示，区域312中的每个像素121a的配置可以类似于图14所示的整个像素区域311中的每个像素121a的配置。例如，图38所示的区域312-1中的像素121a的遮光图案(遮光膜121b的分布和各个像素121a中的矩形开口的位置)可以类似于图14中的示例的遮光图案。也就是说，形成在区域312-1中的整个像素输出单位组可以被设计为具有与像素区域311中的全部像素输出单位的入射角指向性等同的入射角指向性。

注意，在图14的示例(整个像素区域311)和图38的示例(区域312-1)之间，要处理的区域中的像素数量是不同的。但是，可以如参考图32所述通过使像素稀疏来获得等同的入射角指向性。

以这种方式，通过使从其读取信号的区域312中的整个像素(像素输出单位)组具有等同于像素区域311中的整个像素(像素输出单位)组的入射角指向性，可以从区域312获得具有等效于从整个像素区域311获得的复原图像的视场的复原图像。也就是说，在区域驱动模式中，也可以获得具有与在全像素模式的情况下类似的视场的复原图像。因此，在这种情况下，通过以区域驱动模式进行成像，可以在抑制复原图像的视场变化的同时控制分辨率。

此外，图38中的诸如区域312-2、312-3等的其他区域312的入射角指向性可以被设置为与区域312-1的入射角指向性相似。在这种情况下，可以获得具有相似视场的复原图像，而不管选择的区域312。

由于区域312是像素区域311的部分区域，因此像素121a的分布范围在至少一个方向上较窄。例如，如图39所示，假设像素区域311中的像素121a的分布范围由某个方向上的双箭头381指示，则区域312中的像素121a的分布范围比这更窄，如双箭头382所指示的。也就是说，在区域驱动模式的情况下从其读取信号的像素121a的分布范围比在全像素模式的情况下更窄。注意，在稀疏模式的情况下，基本上，对像素121a的范围没有限制，使得像素121a的分布范围等同于全像素模式的情况(双箭头381)。

例如，假设来自被摄体383的入射光由虚线箭头384至387指示。在这种情况下，像素区域311的两端上的像素上的入射光如虚线箭头384和385所指示。此外，区域312的两端上的像素上的入射光如虚线箭头386和387所指示。

在每个像素121a中获得的检测信号的强度(输出像素值)取决于每个像素121a的入射角指向性和入射光的强度(即，强度和角度)。换句话说，为了正确地获得复原图像(正确地获得像素值的比率)，在各个像素121a上的入射光的入射角彼此不同的情况下，必须考虑入射角，但是在像素121a上的入射光的入射角是一致的情况下，不需要考虑入射角。

因此，来自被摄体的入射光在每个像素上越接近平行光，则越容易设置用于获得正确的复原图像的复原矩阵。例如，理论上，来自位于离成像元件121无限远的被摄体的光是平行光。

在图39中的示例的情况下，像素区域311的两端上的像素上的入射光(虚线箭头384和385)具有比区域312的两端上的像素上的入射光(虚线箭头386和387)的入射角差大的入射角差。也就是说，在从成像元件121到被摄体383的距离(双点划线双箭头388的长度)相同的情况下，在从区域312获得的检测图像中比在从整个像素区域311获得的检测图像中更容易设置用于获得正确的复原图像的复原矩阵。也就是说，与在全像素模式或稀疏模式的情况下相比，在区域驱动模式的情况下可以容易地获得正确的复原图像。

此外，换句话说，在区域驱动模式的情况下，可以将比在全像素模式或稀疏模式的情况下更近的被摄体383看作位于无限远。也就是说，与在全像素模式或稀疏模式的情况下相比，在区域驱动模式的情况下可以获得具有更深的被摄体深度的复原图像。以这种方式，通过在区域驱动模式下进行成像，可以控制复原图像的分辨率和被摄体深度。

不用说，从中读取信号的区域312中的整个像素(像素输出单位)组可以具有与像素区域311中的整个像素(像素输出单位)组的入射角指向性不同的入射角指向性。在这种情况下，通过设置区域驱动模式，可以获得具有与在全像素模式的情况下的视场不同的视场的复原图像。也就是说，在这种情况下，可以通过在区域驱动模式和全像素模式之间切换来控制复原图像的分辨率和视场。

例如，预定区域312中的全部像素121a(像素输出单位)中的每一个的入射角指向性可以垂直于像素区域311。也就是说，可以使区域312中的从其读取信号的每个像素121a的入射角指向性统一，并且不存在偏置(该方向垂直于像素区域311)。通过使成像元件121具有这种结构，区域驱动模式下的成像可以用于例如医疗治疗等的特定应用。

例如，预定区域312中的整个像素121a(像素输出单位)组的视场的大小可以与像素区域311中的整个像素121a(像素输出单位)组的视场的大小不同。例如，预定区域312中的整个像素121a组的视场可以大于或小于像素区域311中的整个像素121a组的视场。通过像这样形成成像元件121的结构，可以通过在区域驱动模式和全像素模式之间切换来控制复原图像的分辨率和视场大小。

此外，例如，预定区域312中的整个像素121a(像素输出单位)组的视场的方向可以与像素区域311中的整个像素121a(像素输出单位)组的视场的方向不同。通过像这样形成成像元件121的结构，可以通过在区域驱动模式和全像素模式之间切换来控制复原图像的分辨率和视场方向。

注意，读取控制单元122可以将读取控制信号提供给成像元件121以从成像元件121的像素区域311的全部像素121a(像素输出单位)读取检测信号，并且从读取的检测信号中选择从形成在预定区域312中的像素121a读取的检测信号作为要包括在检测图像中的检测信号。但是，在这种情况下，驱动成像元件121的像素区域311的全部像素121a(像素输出单位)(如在全像素模式的情况下驱动全部区域adc321)，使得与在这种方法的情况下相比，在如上所述从部分区域312中的像素121a读取检测信号的情况下，可以减少关于检测信号的读取的处理负荷(例如，功耗)。

<成像处理流程>

参考图40中的流程图描述成像装置100在上述全像素模式或区域驱动模式下进行成像的成像处理的流程的示例。

当开始成像处理时，在步骤s161，控制单元101选择操作模式(全像素模式或区域驱动模式)。在步骤s162，控制单元101确定在步骤s161选择的操作模式是否是全像素模式。在确定模式是全像素模式的情况下，过程转到步骤s163。

在步骤s163，成像装置100执行全像素模式成像处理并以全像素模式进行成像。在这种情况下的全像素模式成像处理与参考图34中的流程图描述的情况中的处理类似，因此省略其描述。

当步骤s163的处理完成时，过程转到步骤s165。此外，在步骤s162中确定所选择的操作模式不是全像素模式(确定为区域驱动模式)的情况下，过程转到步骤s164。

在步骤s164，成像装置100在区域驱动模式下进行成像。当步骤s164的处理完成时，程序转到步骤s165。

在步骤s165，控制单元101确定是否完成成像处理。在确定成像处理没有完成的情况下，过程返回到步骤s161。也就是说，在步骤s165中，重复执行步骤s161至s165中的每个处理，直到确定成像处理完成。

在步骤s165确定成像处理完成的情况下，成像处理完成。

<区域驱动模式成像处理的流程>

接下来，参考图41中的流程图描述在图40中的步骤s164执行的区域驱动模式成像处理的流程的示例。

当开始区域驱动模式成像处理时，在步骤s181，读取控制单元122在成像元件121的像素区域311中设置从各区域312读取检测信号的区域312(也称为读取区域)。

在步骤s182，成像元件121对被摄体进行成像。在步骤s183，读取控制单元122从在步骤s181设置的读取区域中的每个像素121a读取通过步骤s182的处理获得的检测信号，并通过使用该检测信号生成检测图像。

在步骤s184，复原矩阵设置单元123根据作为读取区域的区域312和被摄体距离来设置复原矩阵。

在步骤s185，复原单元124通过使用在步骤s184设置的复原矩阵，从通过步骤s183的处理获得的检测图像生成输出数据(例如，复原图像)。

例如，复原单元124通过使用复原系数将检测图像转换为复原图像。复原单元124使复原图像的数据成为输出数据。此外，例如，关联单元125将复原系数的数据与检测图像的数据相关联，并且使输出数据相同。

在步骤s186，输出数据被输出。该输出包括任意方法。例如，该输出可以包括图像显示、数据输出到其他装置和打印、存储在存储介质中、发送到通信伙伴、记录在记录介质116上等。

输出数据的输出类似于在全像素模式的情况下的输出，因此省略其描述。当输出数据被输出时，区域驱动模式成像处理完成，并且过程返回到图40。

通过执行如上所述的每个处理，可以控制检测图像的分辨率。

<区域驱动模式的应用示例>

例如，在由成像装置100对静止图像进行成像的情况下，可以在全像素模式下执行用于获得用以输出(显示、输出、传输、记录等)的成像图像的成像，并且可以在区域驱动模式下执行对要成像之前在显示在监视器等上的捕获图像的捕获(成像)。

用于显示的捕获图像通常是在相对小的监视器上显示的运动图像，并且主要用于在获得成像图像时检查构图等，从而使得所需的画质水平低于成像图像的画质水平。例如，显示捕获图像的监视器的尺寸通常较小，并且其显示分辨率通常低于成像图像的显示分辨率。此外，例如，对焦距的精度的要求水平也低，并且如果可以粗略地掌握整体，则通常是足够的。

通过在区域驱动模式下对捕获图像进行捕获，可以使被摄体深度比在全像素模式的情况下的被摄体深度深，从而使得可以获得其中看起来更多被摄体被聚焦的捕获图像。此外，通过在区域驱动模式中进行成像(捕获)，可以如上所述降低分辨率，从而使得可以抑制捕获图像的分辨率变得不必要地高。也就是说，可以获得适合于捕获图像的图像。此外，如上所述，可以抑制负荷的增加。

相反，通过在全像素模式中进行用于获得成像图像(静止图像)的成像，可以获得比在区域驱动模式下的成像更高分辨率的成像图像。此外，由于可以使被摄体深度比区域驱动模式的情况下的被摄体深度浅，因此可以进行更精确的焦距控制。

通过以这种方式根据应用选择性地使用全像素模式和区域驱动模式，可以在抑制成像图像(静止图像)的分辨率和画质降低并且抑制负荷增加的同时获得更适当的画质的捕获图像。也就是说，可以执行适合于更多各种应用的成像。

<成像处理流程>

参考图42中的流程图描述在执行这种成像的情况下的成像处理的流程的示例。

在这种情况下，当开始成像处理时，在步骤s201，控制单元101将操作模式设置为区域驱动模式。

在步骤s202，输入单元111开始接收静止图像成像的指令。

在步骤s203，诸如成像元件121、读取控制单元122、复原矩阵设置单元123、复原单元124、输出单元112等的处理单元执行区域驱动模式成像处理，在区域驱动模式下对被摄体进行成像以生成捕获图像，并且在监视器上显示生成的捕获图像。该区域驱动模式成像处理以基本上类似于参考图41中的流程图描述的情况的流程执行。因此，省略描述。

在步骤s204，输入单元111确定是否接收到静止图像成像的指令。在确定没有接收到静止图像成像的指令的情况下，过程返回到步骤s203。也就是说，重复执行区域驱动模式成像处理，直到接收到静止图像成像的指令。也就是说，捕获图像被生成为运动图像并被显示在监视器上。

然后，在步骤s204，在确定例如通过用户按下成像按钮(快门按钮)等而接收到静止图像成像的指令的情况下，过程转到步骤s205。

在步骤s205，控制单元101将操作模式设置为全像素模式(从区域驱动模式切换到全像素模式)。

在步骤s206，诸如成像元件121、读取控制单元122、复原矩阵设置单元123、复原单元124、关联单元125、输出单元112等的处理单元执行全像素模式成像处理，在全像素模式下对被摄体进行成像以生成输出数据，并输出输出数据。该全像素模式成像处理以基本上类似于参考图34中的流程图描述的情况的流程执行。因此，省略描述。

也就是说，在该成像中获得的输出数据被输出为与成像图像(静止图像)相对应的数据。

在步骤s207，控制单元101确定是否完成成像处理。在确定没有完成成像处理的情况下，过程返回到步骤s201，并且执行随后的处理。也就是说，重复执行步骤s201至s207的每个处理，直到成像处理完成。

然后，在步骤s207确定成像处理完成的情况下，成像处理完成。

通过使用如上所述的全像素模式和区域驱动模式执行成像，可以执行适合于更多各种应用的成像。

注意，在以上描述中，描述了选择性地使用全像素模式和区域驱动模式来对捕获图像进行捕获和获得成像图像；但是，两种模式的选择性使用不限于该示例。例如，两种模式都可以选择性地用于对运动图像进行成像和对静止图像进行成像。例如，可以以相对小的负荷在区域驱动模式下执行运动图像的成像，并且可以在其中可以获得更高画质的图像的全像素模式下执行静止图像的成像。通过这样做，与上述捕获图像和成像图像的情况一样，可以根据所获得的图像是运动图像还是静止图像来更适当地控制画质和负荷。

<区域选择>

例如，在区域驱动模式中可用的多个区域312可以被设置在像素区域311中，并且可以选择使用他们中的任何一个。

例如，在如图23中的像素区域311中那样设置多个区域312的情况下，可以在区域驱动模式中选择任何区域312。也就是说，在这种情况下，读取控制单元122从多个候选中选择要使用的区域312，并且从所选择的区域312中的像素121a读取检测信号。

选择该区域312的基础(选择该区域的标准)是任意的。例如，在区域312中存在不能从中正常读取检测信号的缺陷像素(例如，存在预定数量或更多的缺陷像素)的情况下，读取控制单元122可以切换到其他区域312(可以选择其他区域312)。例如，可以基于所获得的检测图像(的输出像素值)来检测缺陷像素。

通过这样做，可以抑制由于老化、制造故障等引起的复原图像的画质的降低。

此外，例如，可以在像素区域311中设置具有不同特性的多个区域312，并且读取控制单元122从区域312中选择具有期望特性的区域312。例如，可以设置区域312中的整个像素输出单位组的具有不同入射角指向性的多个区域312，并且读取控制单元122可以根据应用等从区域312中选择具有期望的入射角指向性的区域312。

例如，如图43所示，可以在像素区域311中设置其中包括的整个像素输出单位组的视场的大小不同的多个区域312。在图43的情况下，在像素区域311中，设置了区域312的整个像素输出单位组的具有相对宽视场(具有宽视场)的区域312-11和区域312的整个像素输出单位组的具有相对窄视场(具有窄视场)的区域312-12。读取控制单元122根据复原图像所需的视场的大小来选择他们中的任何一个。例如，在希望获得具有宽视场的复原图像的情况下，读取控制单元122选择区域312-11。此外，例如，在希望获得具有窄视场的复原图像的情况下，读取控制单元122选择区域312-12。

此外，例如，可以在像素区域311中提供其中包括的整个像素输出单位组的视场方向不同的多个区域312。

注意，以这种方式在多个区域312之间比较的参数是任意的，并且可以是除了入射角指向性(视场)之外的指向性。例如，这可以是区域312的大小和形状，以及所包括的像素121a的数量、大小、形状、布局等。此外，在多个区域312之间比较的参数的数量是任意的，这可以是单数或复数。

通过这样做，可以获得具有根据更多的各种应用等的适当特性的复原图像。

注意，要选择的区域312的数量可以是可变的。

<多区域选择>

例如，读取控制单元122可以选择多个区域312，并且从各区域312读取检测图像。也就是说，可以从多个区域312的每个像素121a(像素输出单位)读取信号，并且与多个区域中的每个区域相关联的信号处理单元可以对从与其对应的区域312的每个像素输出单位读取的信号进行处理。

例如，可以同时选择设置在像素区域311的左侧的区域312和设置在像素区域311的右侧的区域312，并且从这两个区域312读取检测图像。通过这样做，从各个检测图像获得的复原图像可以用作用于相互具有视差的立体观看的图像。此外，例如，可以通过使用两个复原图像(区域312)之间的视差来获得深度信息等。

<3.第三实施例>

<低分辨率操作模式的切换>

以上描述了稀疏模式和区域驱动模式。这些操作模式是分辨率低于全像素模式的操作模式。成像装置100可以具有稀疏模式和区域驱动模式两者作为这种低分辨率操作模式。也就是说，成像装置100可以包括全像素模式、稀疏模式和区域驱动模式作为操作模式。

<成像处理流程>

参考图44中的流程图描述在这种情况下的成像处理的流程的示例。当成像处理开始时，控制单元101在步骤s221选择操作模式(全像素模式、稀疏模式或区域驱动模式)。在步骤s222，控制单元101确定在步骤s221选择的操作模式是否是全像素模式。在确定模式是全像素模式的情况下，过程转到步骤s223。

在步骤s223，成像装置100执行全像素模式成像处理，并且以全像素模式执行成像。该全像素模式成像处理以与参考图34中的流程图描述的情况类似的流程执行。因此，省略描述。

当步骤s223的处理完成时，过程转到步骤s227。此外，在步骤s222中确定所选择的操作模式不是全像素模式(确定为稀疏模式或区域驱动模式)的情况下，过程转到步骤s224。

在步骤s224，控制单元101确定在步骤s221选择的操作模式是否是稀疏模式。在模式被确定为稀疏模式的情况下，过程转到步骤s225。

在步骤s225，成像装置100执行稀疏模式成像处理，并且以稀疏模式执行成像。该稀疏模式成像处理以与参照图35的流程图描述的情况类似的流程执行。因此，省略描述。

当步骤s225的处理完成时，处理转到步骤s227。此外，在步骤s224中确定所选择的操作模式不是稀疏模式(确定为区域驱动模式)的情况下，过程转到步骤s226。

在步骤s226，成像装置100执行区域驱动模式成像处理，并在区域驱动模式中执行成像。该区域驱动模式成像处理以与参考图41中的流程图描述的情况类似的流程执行。因此，省略描述。

在步骤s227，控制单元101确定是否完成成像处理。在确定成像处理没有完成的情况下，过程返回到步骤s221。也就是说，在步骤s227，重复执行步骤s221至s227的每个处理，直到确定成像处理完成。

在步骤s227确定成像处理完成的情况下，成像处理完成。

<根据应用等的模式选择>

通过以这种方式执行成像处理，可以在稀疏模式和区域驱动模式之间切换。这种切换(模式选择)的基础是任意的。

例如，可以根据应用等在稀疏模式和区域驱动模式之间切换。例如，读取控制单元122可以选择稀疏模式和区域驱动模式中的更适当的一个，以便向要生成的复原图像给出期望的特性(即，用于创建画面)。

例如，在使复原图像的被摄体深度相对浅的情况下，读取控制单元122可以选择稀疏模式。此外，在使复原图像的被摄体深度相对较深的情况下，读取控制单元122可以选择区域驱动模式。

通过这样做，成像装置100可以生成具有更多各种特性的复原图像。

<根据被摄体距离的模式选择>

此外，例如，可以根据到被摄体的距离(也称为被摄体距离)在稀疏模式和区域驱动模式之间切换。

例如，如参考图39所述，在区域驱动模式(双箭头382)的情况下像素分布范围比在稀疏模式(双箭头381)的情况下窄。因此，与在稀疏模式的情况下相比，在区域驱动模式的情况下入射光更接近平行光。也就是说，与在稀疏模式的情况下相比，在区域驱动模式的情况下，可以使被摄体深度更深。因此，在复原图像中，与在稀疏模式的情况下相比，在区域驱动模式的情况下，在比被摄体距离(双点线箭头388)短的距离处的被摄体可能看起来是聚焦的。

因此，读取控制单元122可以在被摄体距离比预定阈值短的情况下选择区域驱动模式，并且在被摄体距离比阈值长的情况下选择稀疏模式。

通过这样做，可以在更宽的被摄体距离范围内聚焦于被摄体。

<像素密度的控制>

此外，可以执行在稀疏模式和区域驱动模式之间的模式选择和第二实施例中描述的区域312的选择两者。由于区域312的布局(布置)是任意的，例如，如图45所示，因此可以在像素区域311中设置区域401至403，并且执行稀疏模式和区域驱动模式之间的模式选择以及在区域401至403间的选择。

也就是说，在这种情况下，当选择稀疏模式时，选择像素区域311。因此，可以说，操作模式和区域312的这种选择是选择从其读取检测信号的像素121a的范围。

这里，例如，可以基于可允许的功耗大小来设置从其读取检测信号的像素121a的数量。此外，例如，可以根据复原图像所需的视场来设置从中读取检测信号的整个像素121a组的入射角指向性(即，要选择的像素的入射角指向性的类型)。然后，可以基于上述应用等和到被摄体的距离来设置从其读取检测信号的像素121a的分布的范围。

通过这样做，成像装置100可以获得具有更多不同特性的复原图像。

注意，此外，在基于可允许的功耗大小等设置(固定)从其读取检测信号的像素121a的数量的情况下，可以说通过设置从其读取检测信号的像素121a的分布的范围来设置从其读取检测信号的像素121a的密度。也就是说，例如，可以基于诸如应用、被摄体距离等的一些因素来控制从其读取检测信号的像素121a的密度。

<成像装置和图像处理装置的其他配置示例>

在以上描述中，描述了成像装置100包括成像元件121；包括在成像装置100中的成像元件121的数量是任意的。成像装置100可以包括单个成像元件121或多个成像元件121。此外，在成像装置100包括多个成像元件121的情况下，多个成像元件121的性能(例如，像素的数量、形状、像素结构、成像特性、成像方法等)可以全部统一或者他们中的一些不同。

此外，成像装置100可以包括多个其他处理单元。例如，可以设置多个读取控制单元122，并且他们中的每一个可以设置要读取的检测图像的分辨率。通过这样做，例如，可以同时获得多个分辨率的检测图像。此外，可以相应地设置多个复原矩阵设置单元123。

<4.第四实施例>

<监视系统>

接下来，描述应用如上所述的本技术的成像装置100的应用示例。成像装置100可以应用于例如使用图像监视对象的监视系统。

图46是示出作为应用本技术的系统的实施例的监视系统的主要配置示例的图。图46所示的监视系统500是对监视对象进行成像并通过成像图像来对监视对象进行监视的系统。例如，监视系统500执行监视对象的可疑检测(异常检测)等。

如图46所示，监视系统500包括监视相机511和经由线缆512与监视相机511连接的服务器553以便能够彼此通信。

监视相机511例如对作为监视对象的预定区域521进行成像。然后，监视相机511经由线缆512将成像图像的数据提供给服务器513。

服务器513例如经由线缆512控制监视相机511的驱动。此外，服务器513对从监视相机511提供的成像图像执行图像处理。此外，服务器513分析成像图像，并且检测监视对象的可疑点(检测异常)。此外，服务器513根据需要根据检测结果执行诸如警告等的处理。

在这样的监视系统500中，上述成像装置100可以用作监视相机511。也就是说，监视相机511具有与在第一至第三实施例中描述的成像装置100的配置类似的配置，并且可以执行与成像装置100的处理类似的处理。因此，监视相机511可以获得与第一至第三实施例中描述的效果类似的效果。

例如，监视相机511可以根据可疑检测结果(监视对象的状态)来切换操作模式。例如，假设在作为监视对象的区域521中没有检测到运动物体的状态是正常的(不存在可疑点)。在这种情况下，正常状态下的区域521的成像图像(复原图像)的图片基本上不改变。此外，没有特别显著的点。因此，即使成像图像的分辨率低，也不存在问题。

相反，例如，当人541进入区域521时，作为运动物体的人541被服务器513检测为可疑点(异常)。在这种情况下，需要更准确地捕获人541的特性，从而使得人541成为关注对象。也就是说，期望提高人541的图像的分辨率。

因此，在监视对象处于正常状态的情况下，监视相机511以区域驱动模式操作，并且从虚线矩形531中的左侧所示的像素区域311的部分区域312读取检测图像。

然后，当如箭头542所示人541进入区域521并且服务器513将其检测为可疑地点时，监视相机511将操作模式改变为全像素模式，并且从虚线矩形531的右侧所示的整个像素区域311读取检测图像。

此外，当人物541如箭头543所示离开区域521时，不再检测到区域521的可疑。也就是说，区域521的状态返回到正常状态。因此，监视相机511将操作模式切换到区域驱动模式，并且从虚线矩形531中的左侧所示的像素区域311的部分区域312读取检测图像。

通过以这种方式切换操作模式，例如在不存在显著部位(可疑点)的正常时间中，监视相机511可以降低成像图像的分辨率，并且抑制的数据量的增加。此外，在监视对象中检测到可疑点并且存在显著部位的情况下，监视相机511可以提高成像图像的分辨率并且抑制画质的降低。也就是说，监视相机511可以根据情况获得适当数据量和画质的成像图像，并且可以基于成像图像执行监视(执行可疑检测)。也就是说，可以在抑制数据量增加的同时更精确地进行监视。

<监视处理的流程>

参照图47的流程图描述由这样的监视系统500执行的监视处理的流程的示例。

当开始监视处理时，在步骤s301，服务器513开始检测监视对象的可疑。

在步骤s302中，监视相机511将操作模式设置为区域驱动模式。

在步骤s303，监视相机511在区域驱动模式下对监视对象进行成像，并输出输出数据。也就是说，监视相机511执行区域驱动模式成像处理，在区域驱动模式下生成输出数据，并以与参照图41的流程图描述的情况类似的流程，将其输出到服务器513。

在步骤s304中，服务器513确定是否检测到可疑。在确定未检测到可疑的情况下，过程返回到步骤s303。也就是说，在监视对象处于未检测到可疑的正常状态的情况下，重复执行步骤s303和步骤s304的处理。也就是说，获得低分辨率成像图像。

此外，在步骤s304中确定检测到可疑的情况下，过程转到步骤s305。

在步骤s305，监视相机511将操作模式切换(设置)为全像素模式。

在步骤s306，监视相机511以全像素模式对监视对象进行成像，并输出输出数据。也就是说，监视相机511执行全像素模式成像处理，在全像素模式下生成输出数据，并以与参照图34的流程图描述的情况相同的流程将该输出数据输出至服务器513。

在步骤s307，服务器513确定是否不再检测到可疑。在确定连续检测到可疑的情况下，过程返回到步骤s306。也就是说，在监视对象处于检测到可疑的状态(异常状态)的情况下，重复执行步骤s306和步骤s307的处理。也就是说，可以获得高分辨率的成像图像。

此外，在步骤s307中确定不再检测到可疑的情况下，处理转到步骤s308。

在步骤s308，监视相机511确定是否完成监视处理。在确定监视处理没有完成的情况下，过程返回到步骤s302。也就是说，在步骤s308中，重复执行步骤s302到s308中的每个处理，直到确定监视处理完成。

在步骤s308确定监视处理完成的情况下，监视处理完成。

通过执行如上所述的监视处理，可以在抑制数据量增加的同时更精确地进行监视。

<5.第五实施例>

<测距>

例如，如图48所示，成像装置100可以从彼此分离的多个区域312读取检测图像。通过利用这一点，从检测图像获得的复原图像可以通过利用他们之间的视差而成为用于立体观看的图像。

在图48中的示例的情况下，像素区域311设置有总共九个区域312(垂直三个×水平三个)，每个区域包括四个像素×四个像素。然后，在区域驱动模式中，读取控制单元122选择像素区域311的左侧的区域312-21中的像素121a和右侧的区域312-22中的像素121a作为读取像素(图中的画阴影线的像素)。

由于区域312-21和312-22的位置彼此不同，因此从区域312获得的复原图像具有相互视差。也就是说，一组复原图像可以被认为是用于立体观看的图像。也就是说，可以从所述一组复原图像获得被摄体的深度信息。

注意，在成像元件121中，从各个像素121a读取的检测信号的a/d转换由区域adc321执行，从而使得各个复原图像的生成定时可以基本相同。因此，可以更精确地获得深度信息。

注意，区域312-21的视场的方向和区域312-22的视场的方向可以在视差被放大的方向上彼此不同。通过这样做，放大了复原图像之间的视差，从而可以获得更精确的深度信息。

通过使用这样的本技术，例如，如图49所示，当通过使用成像装置100对被摄体561成像时，可以获得从成像装置100到被摄体561的距离(范围)(虚线双箭头562)。

<成像处理流程>

参考图50和51中的流程图描述在这种情况下由成像装置100执行的成像处理的流程的示例。

当开始成像处理时，在步骤s401，成像装置100的控制单元101初始化被摄体距离。

在步骤s402，控制单元101将操作模式设置为区域驱动模式。

在步骤s403，输入单元111开始接收静止图像成像的指令。

在步骤s404，成像装置100执行区域驱动模式成像处理，在区域驱动模式下对被摄体进行成像，生成捕获图像，并在监视器上显示捕获图像。该区域驱动模式成像处理以基本上类似于参考图41中的流程图描述的情况的流程执行。因此，省略描述。

在步骤s405，控制单元101根据通过步骤s404的处理获得的分别与多个区域312相对应的多个复原图像来估计被摄体距离。

在步骤s406，控制单元101确定是否更新被摄体距离。在(估计的)被摄体距离改变并且确定被摄体距离被更新的情况下，过程转到步骤s407。

在步骤s407，控制单元101基于步骤s405的处理结果更新被摄体距离。当步骤s407的处理完成时，过程转到步骤s408。

此外，在步骤s406确定被摄体距离不改变并且不更新被摄体距离的情况下，过程转到步骤s408。

在步骤s408，输入单元111确定是否接收到静止图像成像的指令。在确定没有接收到静止图像成像的指令的情况下，过程返回到步骤s404，并且重复随后的处理。也就是说，捕获图像被捕获为运动图像并显示在监视器上。此外，针对捕获图像的各帧估计并更新被摄体距离。

重复步骤s404至s408的每个处理，直到在步骤s408确定接收到静止图像成像的指令为止。

然后，在步骤s408中确定例如通过用户按下成像按钮(快门按钮)等接收到静止图像成像的指令的情况下，过程转到图51。

在图51的步骤s411中，控制单元101将操作模式切换(设置)为全像素模式。

在步骤s412，控制单元101确定是否将图50中的步骤s405的被摄体距离估计结果作为测距结果用于成像(例如，用于焦距调节)。在确定不使用被摄体距离估计结果的情况下，过程转到步骤s413。

在步骤s413，成像装置100通过其他方法(任意方法)测量被摄体距离。当步骤s413的处理完成时，过程转到步骤s414。此外，在步骤s412确定使用被摄体距离估计结果的情况下，省略步骤s413的处理，并且过程转到步骤s414。

在步骤s414，成像装置100执行全像素模式成像处理，在全像素模式下对被摄体进行成像，生成输出数据，并输出输出数据。该全像素模式成像处理以基本上类似于参考图34中的流程图描述的情况的流程执行。因此，省略描述。

在步骤s415，控制单元101确定是否完成成像处理。在确定成像处理没有完成的情况下，过程返回到图50中的步骤s402，并且执行随后的处理。也就是说，重复执行图50中的步骤s402至图51中的步骤s415的每个处理，直到成像处理完成。

然后，在图51中的步骤s415确定成像处理完成的情况下，成像处理完成。

通过执行如上所述的成像处理，可以估计被摄体距离，并且可以基于被摄体距离估计结果执行成像。因此，焦距可以更精确地聚焦在被摄体上。

<6.第六实施例>

<内窥镜系统>

此外，根据本公开的技术可以应用于例如内窥镜手术系统。

图52是示出能够应用本公开的技术的内窥镜手术系统5000的概略结构示例的图。图52示出了手术医生(医生)5067通过使用内窥镜手术系统5000对患者床5069上的患者5071进行手术的状态。如图所示，内窥镜手术系统5000包括内窥镜5001、其他手术工具5017、支撑内窥镜5001的支撑臂装置5027、以及安装有用于内窥镜手术的各种装置的推车5037。

在内窥镜手术中，代替切开腹壁而将腹部打开，而将被称为套管针5025a至5025d的多个管状开孔工具穿入腹壁中。然后，内窥镜5001的镜筒5003和其他手术工具5017从套管针5025a至5025d插入到患者5071的体腔中。在所示的示例中，气腹管5019、能量治疗工具5021和钳子5023作为其他手术工具5017被插入患者5071的体腔中。此外，能量治疗工具5021是一种利用高频电流和超声波振动来进行组织的切开和剥离、血管的封闭等的治疗器具。但是，图示的手术工具5017仅仅是示例，并且通常在内窥镜手术中使用的各种手术工具(诸如镊子、牵开器等)例如可以用作手术工具5017。

由内窥镜5001成像的患者5071体腔内的手术部位的图像显示在显示装置5041上。手术操作者5067在实时地观察显示装置5041上显示的手术部位的图像的同时，例如使用能量治疗工具5021和钳子5023进行诸如患病部位的切除等的处置。注意，尽管未示出，但是在手术期间，气腹管5019、能量治疗工具5021和钳子5023由手术操作者5067、助手等支撑。

(支撑臂装置)

支撑臂装置5027包括从基部5029延伸的臂5031。在图示的示例中，臂5031包括接头5033a、5033b、5033c和连杆5035a、5035b，并且通过来自臂控制装置5045的控制而被驱动。内窥镜5001由臂5031支撑，并且其位置和姿态被控制。因此，可以实现内窥镜5001的稳定的位置固定。

(内窥镜)

内窥镜5001包括镜筒5003，从其远端起预定长度的区域被插入患者5071的体腔中，以及连接到镜筒5003的近端的相机头5005。在图示的示例中，示出了配置为具有硬性镜筒5003的所谓硬性镜的内窥镜5001，但也可以将内窥镜5001配置为具有柔性镜筒5003的所谓柔性镜。

在镜筒5003的远端，设置有用于嵌入物镜的开口部。光源装置5043连接到内窥镜5001，并且由光源装置5043生成的光通过在镜筒5003内部延伸的导光件被引导到镜筒的远端，并且经由物镜施加到患者5071的体腔内的观察对象。注意，内窥镜5001可以是前视内窥镜、斜视内窥镜或侧视内窥镜。

在相机头5005内部设置光学系统和成像元件，并且来自观察对象的反射光(观察光)通过光学系统被聚集在成像元件上。观察光由成像元件进行光电转换，并且生成与观察光对应的电信号、即与观察图像对应的图像信号。图像信号作为raw数据被发送到相机控制单元(ccu)5039。注意，相机头5005具有通过适当地驱动光学系统来调节倍率和焦距的功能。

注意，相机头5005可以设置有多个成像元件，以便支持例如立体观看(3d显示)等。在这种情况下，在镜筒5003内部设置多个中继光学系统，以将观察光引导到多个成像元件中的每一个。

(安装在推车上的各种装置)

ccu5039包括中央处理单元(cpu)、图形处理单元(gpu)等，并且综合控制内窥镜5001和显示装置5041的操作。具体而言，ccu5039对从相机头5005接收的图像信号应用各种类型的成像处理，以基于图像信号显示图像，例如，同步处理、颜色分离处理等(例如，去马赛克处理)。ccu5039将经过图像处理的图像信号提供给显示装置5041。此外，ccu5039将控制信号发送到相机头5005，并且控制其驱动。控制信号可以包括关于诸如倍率、焦距等的成像条件的信息。

显示装置5041在ccu5039的控制下，基于经过ccu5039的图像处理的图像信号来显示图像。例如，在内窥镜5001支持高分辨率成像(诸如4k(3840水平像素×2160垂直像素)、8k(7680水平像素×4320垂直像素)等)和/或3d显示的情况下，能够进行高分辨率显示的装置和/或能够进行3d显示的装置可用作显示装置5041以便支持这种情况。在支持4k、8k等的高分辨率成像的情况下，使用具有55英寸或更大尺寸的显示装置5041可以提供更沉浸的感觉。此外，可以根据应用提供具有不同分辨率和尺寸的多个显示装置5041。

光源装置5043例如包括诸如发光二极管(led)的光源，并且在对手术部位进行成像时，向内窥镜5001供给照射光。

臂控制装置5045例如包括诸如cpu等的处理器，并且根据预定程序操作以根据预定控制方法控制支撑臂装置5027的臂5031的驱动。

输入装置5047是内窥镜手术系统5000的输入接口。用户可以经由输入装置5047向内窥镜手术系统5000输入各种类型的信息和指示。例如，用户经由输入装置5047输入与手术有关的各种类型的信息，诸如患者的身体信息和与手术过程有关的信息等。此外，例如，用户经由输入装置5047输入驱动臂5031的指令、改变内窥镜5001的成像条件(照射光的类型、倍率、焦距等)的指令、驱动能量治疗工具5021的指令等。

输入装置5047的类型不受限制，并且输入装置5047可以是各种已知的输入装置。作为输入装置5047，例如，可以应用鼠标、键盘、触摸板、开关、脚踏开关5057和/或杆。在触摸面板用作输入装置5047的情况下，触摸面板可以设置在显示装置5041的显示面上。

或者，输入装置5047是用户佩戴的装置，诸如眼镜型可佩戴装置、头戴式显示器(hmd)等，并且根据这些装置检测到的用户的手势和视线来执行各种输入。此外，输入装置5047包括能够检测用户的移动的相机，并且根据从相机所成像的视频中检测到的用户的手势和视线来执行各种输入。此外，输入装置5047包括能够收集用户的语音的麦克风，并且经由麦克风通过音频执行各种输入。以这种方式，输入装置5047被配置为能够以非接触的方式输入各种类型的信息，从而使得特别是属于清洁区域的用户(例如手术操作者5067)能够以非接触的方式操作属于非清洁区域的装置。此外，由于用户可以在使用时在不将他/她的手从手术工具松开的情况下操作该装置，因此提高了用户的便利性。

治疗工具控制装置5049控制能量治疗工具5021的驱动，以进行组织的烧灼和切开、血管的封闭等。气腹装置5051经由气腹管5019将气体注入体腔以使患者5071的体腔膨胀，以便确保内窥镜5001的视场并确保手术操作者的工作空间。记录器5053是能够记录关于手术的各种类型的信息的装置。打印机5055是能够以诸如文本、图像、图形等的各种格式打印关于手术的各种类型的信息的装置。

在下文中，进一步详细说明内窥镜手术系统5000的特别的特性配置。

(支撑臂装置)

支撑臂装置5027包括作为基部的基部5029和从基部5029延伸的臂5031。在图示的示例中，臂5031包括多个接头5033a、5033b、5033c和通过接头5033b连接的多个连杆5035a、5035b，但在图52中，为了简化，以简化的方式示出了臂5031的配置。实际上，可适当地设置接头5033a至5033c以及连杆5035a和5035b的形状、数量和布置、接头5033a至5033c的旋转轴的方向等，使得臂5031具有期望的自由度。例如，臂5031可优选地配置有六个或更多个自由度。因此，由于可以在臂5031的可移动范围内自由地移动内窥镜5001，因此内窥镜5001的镜筒5003可以沿期望的方向插入患者5071的体腔中。

接头5033a至5033c分别具备致动器，并且接头5033a至5033c被配置为能够通过致动器的驱动而围绕预定的旋转轴旋转。通过臂控制装置5045控制致动器的驱动，从而控制各个接头5033a至5033c的旋转角度，并且控制臂5031的驱动。因此，可以实现对内窥镜5001的位置和姿态的控制。此时，臂控制装置5045可以通过诸如力控制、位置控制等的各种已知控制方法来控制臂5031的驱动。

例如，当手术操作者5067经由输入装置5047(包括脚踏开关5057)执行适当的操作输入时，臂控制装置5045根据该操作输入适当地控制臂5031的驱动，并且可以控制内窥镜5001的位置和姿态。通过该控制，能够使臂5031的远端处的内窥镜5001从任意位置移动到任意位置，并且将其固定地支撑在移动之后的位置。注意，臂5031可以通过所谓的主从方式来操作。在这种情况下，臂5031可由用户经由安装在远离手术室的位置的输入装置5047远程操作。

此外，在应用力控制的情况下，臂控制装置5045可执行所谓的动力辅助控制，即接收来自用户的外力以驱动各个接头5033a至5033c的致动器，从而使得臂5031根据外力平滑地移动。因此，当用户在直接触摸臂5031的同时移动臂5031时，可以用相对轻的力移动臂5031。因此，可以更直观地并且以更简单的操作移动内窥镜5001，并且可以提高用户便利性。

这里，通常在内窥镜手术中，内窥镜5001由被称为内窥镜师(scopist)的医生支撑。相反，通过使用支撑臂装置5027，可以更可靠地固定内窥镜5001的位置而无需手动操作，使得可以稳定地获得手术部位的图像并且可以顺利地进行手术。

注意，臂控制装置5045不一定设置在推车5037上。此外，臂控制装置5045不一定是一个装置。例如，臂控制装置5045可以设置在支撑臂装置5027的臂5031的接头5033a至5033c中的每一个上，并且多个臂控制装置5045可彼此协作以实现臂5031的驱动控制。

(光源装置)

光源装置5043在手术部位的成像时向内窥镜5001供给照射光。光源装置5043包括例如包括led的白光源、激光光源或其组合。此时，在通过使用rgb激光光源的组合形成白光源的情况下，可以以高精确度控制每个颜色(每个波长)的输出强度和输出定时，使得可以通过光源装置5043调节成像图像的白平衡。此外，在这种情况下，通过以时分方式用来自rgb激光光源中的每一个的激光照射观察对象，并且与照射定时同步地控制相机头5005的成像元件的驱动，可以以时分方式对与rgb对应的图像进行成像。根据该方法，可以在不在成像元件中设置滤色器的情况下获得彩色图像。

此外，也可以控制光源装置5043的驱动，以使输出的光的强度以预定的时间间隔变化。通过与光强度的改变的定时同步地控制相机头5005的成像元件的驱动以便以时分方式获得图像并且组合图像，可以生成没有黑色缺陷和光晕的高动态范围的图像。

此外，光源装置5043可以被配置为能够提供与特殊光观察对应的预定的波长频带的光。在特殊光观察中，例如，通过利用身体组织中的光的吸收的波长依赖性，通过施加比通常观察时的照射光(即，白色光)的频带窄的频带的光，进行以高对比度对诸如粘膜表层的血管等的预定组织进行成像的所谓的窄频带成像。或者，在特殊光观察中，可以进行用于通过由激发光的照射生成的荧光来获得图像的荧光观察。在荧光观察中，可以用激发光照射身体组织以观察来自身体组织的荧光(自主荧光观察)，或者可以将诸如吲哚菁绿(icg)等试剂局部注射到身体组织，并用对应于试剂的荧光波长的激发光照射身体组织，从而获得荧光图像。光源装置5043可以被配置为能够提供支持这样的特殊光观察的窄频带光和/或激发光。

(相机头和ccu)

参考图53，更详细地描述内窥镜5001的相机头5005和ccu5039的功能。图53是示出图52所示的相机头5005和ccu5039的功能配置的示例的框图。

参考图53，相机头5005包括作为其功能的透镜单元5007、成像单元5009、驱动单元5011、通信单元5013和相机头控制单元5015。此外，ccu5039包括作为其功能的通信单元5059、图像处理单元5061和控制单元5063。相机头5005和ccu5039通过传输线缆5065彼此连接，以便能够双向通信。

首先，描述相机头5005的功能配置。透镜单元5007是设置在与镜筒5003的连接处的光学系统。从镜筒5003的远端取入的观察光被引导到相机头5005，并且入射到透镜单元5007上。透镜单元5007通过组合包括变焦透镜和聚焦透镜的多个透镜而形成。透镜单元5007的光学特性被调节，使得观察光被聚集在成像单元5009的成像元件的光接收面上。此外，变焦透镜和聚焦透镜被配置为使得其在光轴上的位置是可移动的，以调节成像图像的倍率和焦点。

成像单元5009包括成像元件，并且被布置在透镜单元5007的后级上。通过透镜单元5007的观察光被聚集在成像元件的光接收面上，并且通过光电转换生成与观察图像对应的图像信号。由成像单元5009生成的图像信号被提供给通信单元5013。

作为形成成像单元5009的成像元件，例如，使用具有能够执行彩色成像的拜耳阵列的互补金属氧化物半导体(cmos)型图像传感器。注意，作为成像元件，可以使用能够支持例如4k或更大的高分辨率图像的成像元件。由于可以获得高分辨率的手术部位的图像，因此手术操作者5067可以更详细地掌握手术部位的状态，并且可以更平滑地进行手术。

此外，形成成像单元5009的成像元件包括用于获得与三维(3d)显示对应的右眼和左眼的图像信号的一对成像元件。通过3d显示，手术操作者5067可以更精确地掌握手术部位中的活体组织的深度。注意，在成像单元5009是多板型的情况下，多个透镜单元5007系统被设置以便对应于各个成像元件。

此外，成像单元5009不必设置在相机头5005上。例如，成像单元5009可以被设置在镜筒5003内紧接物镜之后。

驱动单元5011包括致动器，并且在相机头控制单元5015的控制下，使透镜单元5007的变焦透镜和聚焦透镜沿着光轴移动预定距离。因此，可以适当地调节由成像单元5009的成像图像的倍率和焦点。

通信单元5013包括用于向ccu5039发送各种类型的信息和从其接收各种类型的信息的通信装置。通信单元5013将从成像单元5009获得的图像信号作为raw数据经由传输线缆5065发送到ccu5039。此时，优选地，通过光通信来发送图像信号，以便以低延迟显示手术部位的成像图像。在手术时，手术操作者5067在利用成像图像观察患病部位的状态的同时进行手术，因此为了更加安全且可靠地进行手术，需要尽可能实时地显示手术部位的运动图像。在进行光通信的情况下，通信单元5013包括将电信号转换成光信号的光电转换模块。图像信号被光电转换模块转换成光信号，然后经由传输线缆5065发送到ccu5039。

此外，通信单元5013从ccu5039接收用于控制相机头5005的驱动的控制信号。控制信号包括例如关于成像条件的信息，诸如指定成像图像的帧速率的信息、指定成像时的曝光值的信息和/或指定成像图像的倍率和焦点的信息。通信单元5013将接收到的控制信号提供给相机头控制单元5015。注意，来自ccu5039的控制信号也可通过光通信来传送。在这种情况下，通信单元5013设置有将光信号转换成电信号的光电转换模块，并且通过光电转换模块将控制信号转换成电信号，然后将其提供给相机头控制单元5015。

注意，ccu5039的控制单元5063基于所获得的图像信号自动设置上述诸如帧速率、曝光值、倍率、焦点等的成像条件。也就是说，内窥镜5001装备有所谓的自动曝光(ae)功能、自动聚焦(af)功能、自动白平衡(awb)功能。

相机头控制单元5015基于经由通信单元5013从ccu5039接收的控制信号来控制相机头5005的驱动。例如，相机头控制单元5015基于指定成像图像的帧速率的信息和/或指定成像时的曝光的信息来控制成像单元5009的成像元件的驱动。此外，例如，相机头控制单元5015基于指定成像图像的倍率和焦点的信息，经由驱动单元5011适当地移动透镜单元5007的变焦透镜和聚焦透镜。相机头控制单元5015还可以具有存储用于识别镜筒5003和相机头5005的信息的功能。

注意，通过将诸如透镜单元5007、成像单元5009等的配置布置成具有高气密性和防水性的密封结构，相机头5005可以具有耐高压灭菌的性能。

接下来，描述ccu5039的功能配置。通信单元5059包括用于向和从相机头5005发送和接收各种类型的信息的通信装置。通信单元5059接收经由传输线缆5065从相机头5005发送的图像信号。此时，如上所述，图像信号可以优选地通过光通信来发送。在这种情况下，通信单元5059设置有光电转换模块，该光电转换模块将光信号转换成与光通信相对应的电信号。通信单元5059将转换为电信号的图像信号提供给图像处理单元5061。

此外，通信单元5059将用于控制相机头5005的驱动的控制信号发送到相机头5005。控制信号也可以通过光通信来发送。

图像处理单元5061对从相机头5005发送的作为raw数据的图像信号应用各种类型的图像处理。图像处理的示例包括例如各种类型的已知信号处理，诸如显影处理、高画质处理(诸如频带增强处理、超分辨率处理、降噪(nr)处理和/或相机抖动校正处理)和/或缩放处理(电子变焦处理)。此外，图像处理单元5061对图像信号执行波检测处理，以执行ae、af和awb。

图像处理单元5061包括诸如cpu、gpu等的处理器，并且上述图像处理和波检测处理可以由根据预定程序操作的处理器来执行。注意，在图像处理单元5061包括多个gpu的情况下，图像处理单元5061适当地划分关于图像信号的信息，并通过多个gpu并行地执行图像处理。

控制单元5063进行与内窥镜5001对手术部位的成像和成像图像的显示有关的各种控制。例如，控制单元5063生成用于控制相机头5005的驱动的控制信号。此时，在由用户输入成像条件的情况下，控制单元5063基于用户的输入生成控制信号。或者，在内窥镜5001具有ae功能、af功能和awb功能的情况下，控制单元5063根据图像处理单元5061的检波处理的结果，适当地计算最佳曝光值、焦距和白平衡，以生成控制信号。

此外，控制单元5063使显示装置5041基于经过图像处理单元5061的图像处理的图像信号来显示手术部位的图像。在这种情况下，控制单元5063通过使用各种图像识别技术来识别手术部位图像中的各种物体。例如，控制单元5063可以检测包括在手术图像中的物体的边缘的形状、颜色等，从而识别诸如钳子等的手术工具、特定活体部位、出血、使用能量治疗工具5021时的雾等。在显示装置5041显示手术部位的图像的情况下，控制单元5063使用识别结果，在手术部位的图像上重叠显示各种类型的手术辅助信息。重叠手术辅助信息并显示，并提示给手术操作者5067，从而能够更安全且可靠地进行手术。

连接相机头5005和ccu5039的传输线缆5065是支持电信号的通信的电信号线缆、支持光通信的光纤或其复合线缆。

这里，在所示的示例中，使用传输线缆5065有线地执行通信，但是可以无线地执行相机头5005和ccu5039之间的通信。在无线地执行两者之间的通信的情况下，不必将传输线缆5065铺设在手术室中，使得可以解决传输线缆5065阻碍医务人员在手术室中的移动的情况。

以上描述了可以应用根据本公开的技术的内窥镜手术系统5000的示例。另外，在此，以内窥镜手术系统5000为例进行描述，但本根据本公开的技术可以适用的系统并不限定于该例。例如，根据本公开的技术可以应用于检查用柔性内窥镜系统或显微镜手术系统。

根据本公开的技术可以优选地应用于上述配置中的成像单元5009。具体而言，成像装置100(图1)可以被应用为成像单元5009。以这种方式，通过将根据本公开的技术应用于成像单元5009，可以控制检测图像(复原图像)的分辨率。

因此，例如，在手术工作期间，可以在全像素模式等中以高分辨率执行成像，并且当不执行工作(手术)时，可以在稀疏模式或区域驱动模式中以低分辨率执行成像。此外，例如，在正常时间，在稀疏模式或区域驱动模式中以低分辨率执行成像，并且在例如在手术部位中检测到诸如出血等的可疑的情况下，可以切换到全像素模式并且可以以高分辨率执行成像。

以这种方式，通过根据状况、目的等以适当的操作模式进行成像，能够抑制成像负荷的增加，并且能够抑制复原图像的画质的降低。因此，可以更安全且更可靠地执行手术。

<显微镜手术系统>

此外，根据本公开的技术可以应用于例如显微镜手术系统。

图54是示出能够应用根据本公开的技术的显微镜手术系统5300的概略配置示例的图。参照图54，显微镜手术系统5300包括显微镜装置5301、控制装置5317和显示装置5319。注意，在显微镜手术系统5300的以下描述中，"用户"表示使用显微镜手术系统5300的任意医务人员，诸如手术操作者、助手等。

显微镜装置5301包括用于放大和观察对象(患者的手术部位)的显微镜单元5303、在其远端支撑显微镜单元5303的臂5309、以及支撑臂5309的近端的基部5315。

显微镜单元5303包括大致筒状的管状部5305、设置在管状部5305内部的成像单元(未示出)以及设置在管状部5305的外周的部分区域中的操作单元5307。显微镜单元5303是通过成像单元对图像进行电子成像的电子成像显微镜单元(所谓的视频显微镜单元)。

在管状部5305下端的开口表面上设置有用于保护内部成像单元的盖玻璃。来自观察对象的光(以下也称为观察光)穿过盖玻璃以入射在管状部5305内部的成像单元上。注意，例如发光二极管(led)等的光源可以设置在管状部5305内，并且在成像时，观察对象可以经由盖玻璃被来自光源的光照射。

成像单元包括聚集观察光的光学系统和接收由光学系统聚集的观察光的成像元件。光学系统通过组合包括变焦透镜和聚焦透镜的多个透镜而配置，并且其光学特性被调节为使得观察光的图像形成在成像元件的光接收面上。成像元件接收观察光并对其进行光电转换，以生成与观察光对应的信号，即与观察图像对应的图像信号。作为成像元件，例如，使用包括能够彩色成像的拜耳阵列的成像元件。成像元件可以是各种类型的已知成像元件，诸如互补金属氧化物半导体(cmos)图像传感器、电荷耦合器件(ccd)图像传感器等。由成像元件生成的图像信号作为raw数据被发送到控制装置5317。这里，图像信号的发送可以优选地通过光通信来执行。在手术部位，手术操作者在利用成像图像观察患病部位的状态的同时进行手术，因此为了更加安全且可靠地进行手术，需要尽可能实时地显示手术部位的运动图像。通过由光通信发送图像信号，可以以低延迟显示成像图像。

注意，成像单元可以包括驱动机构，该驱动机构沿着光轴移动光学系统的变焦透镜和聚焦透镜。通过由驱动机构适当地移动变焦透镜和聚焦透镜，可以调节成像图像的倍率和成像时的焦距。此外，成像单元可以装备有通常可以在电子成像显微镜单元上设置的各种功能，诸如自动曝光(ae)功能、自动聚焦(af)功能等。

此外，成像单元可以被配置为具有一个成像元件的所谓的单板成像单元，或者可以被配置为具有多个成像元件的所谓的多板成像单元。在成像单元是多板类型的情况下，例如，对应于rgb的图像信号可以由各个成像元件生成，并且可以通过组合他们来获得彩色图像。或者，成像单元可以包括一对用于获得与立体(3d)显示相对应的右眼和左眼的图像信号的成像元件。通过3d显示，手术操作者可以更精确地掌握手术部位中的活体组织的深度。注意，在成像单元是多板类型的情况下，可以设置多个光学系统以便对应于各个成像元件。

操作单元5307例如通过使用横杆、开关等构成，并且是接收用户操作输入的输入装置。例如，用户可以经由操作单元5307输入改变观察图像的倍率和到观察对象的焦距的指令。通过根据该指令由成像单元的驱动机构适当地移动变焦透镜和聚焦透镜，可以调节倍率和焦距。此外，例如，用户可以通过操作单元5307输入用于切换臂5309的操作模式(下面将描述的全自由模式和固定模式)的指令。注意，在用户想要移动显微镜单元5303的情况下，假设用户在握持管状部5305的状态下移动显微镜单元5303。因此，操作单元5307优选地设置在用户可以在保持管状部5305的同时容易地用手指操作该操作单元的位置，使得用户可以在移动管状部5305的同时操作该操作单元。

臂5309包括通过多个接头(第一接头5311a至第六接头5311f)可旋转地彼此连接的多个连杆(第一连杆5313a至第六连杆5313f)。

第一接头5311a具有基本圆筒形状，并且支撑显微镜单元5303的管状部5305的上端，以便在其远端(下端)可围绕与管状部5305的中心轴平行的旋转轴(第一轴o1)旋转。这里，第一接头5311a可以被配置为使得第一轴o1与显微镜单元5303的成像单元的光轴一致。因此，通过使显微镜单元5303围绕第一轴o1旋转，可以改变视场以便旋转成像图像。

第一连杆5313a在其远端固定地支撑第一接头5311a。具体而言，第一连杆5313a是具有基本l形的杆形构件，并且虽然其远端侧的一侧在正交于第一轴o1的方向上延伸，但是该一侧的端部连接到第一接头5311a，以便邻接第一接头5311a的外周的上端。第二接头5311b连接到第一连杆5313a的基本l形的近侧的另一侧的端部。

第二接头5311b具有基本圆柱形形状，并且支撑第一连杆5313a的近端，以便可围绕与第一轴o1正交的旋转轴(第二轴o2)旋转。第二连杆5313b的远端固定地连接到第二接头5311b的近端。

第二连杆5313b是具有大致l形的杆形构件，并且虽然其远端侧的一侧在正交于第二轴o2的方向上延伸，但是该一侧的端部固定地连接到第二接头5311b的近端。第三接头5311c连接到第二连杆5313b的基本l形的近端侧的另一侧。

第三接头5311c具有基本上圆柱形形状，并且支撑第二连杆5313b的近端，以便可在其远端处围绕正交于第一轴o1和第二轴o2的旋转轴(第三轴o3)旋转。第三连杆5313c的远端固定地连接到第三接头5311c的近端。通过使包括显微镜单元5303的远端侧的配置围绕第二轴o2和第三轴o3旋转，可以移动显微镜单元5303以改变显微镜单元5303在水平面中的位置。也就是说，通过控制围绕第二轴o2和第三轴o3的旋转，成像图像的视场可在平面中移动。

第三连杆5313c被配置成使得其远端侧具有基本上圆柱形形状，并且第三接头5311c的近端固定地连接到圆柱形形状的远端，使得他们两者的中心轴基本相同。第三连杆5313c的近端侧具有棱柱形形状，并且第四接头5311d连接到其端部。

第四接头5311d具有基本上圆柱形形状，并且在其远端处支撑第三连杆5313c的近端，以便可围绕与第三轴o3正交的旋转轴(第四轴线o4)旋转。第四连杆5313d的远端固定地连接到第四接头5311d的近端。

第四连杆5313d是基本线性地延伸的杆形构件，并且在延伸以便正交于第四轴o4的同时，其远端上的端部固定地连接到第四接头5311d，以便邻接第四接头5311d的基本上圆柱形侧表面。第五接头5311e连接到第四连杆5313d的近端。

第五接头5311e具有基本上圆柱形形状，并且在其远端侧处支撑第四连杆5313d的近端，以便可围绕平行于第四轴o4的旋转轴(第五轴o5)旋转。第五连杆5313e的远端固定地连接到第五接头5311e的近端。第四轴o4和第五轴o5是能够使显微镜单元5303在垂直方向上移动的旋转轴。通过使包括显微镜单元5303的远端侧的配置围绕第四轴o4和第五轴o5旋转，可以调节显微镜单元5303的高度，即显微镜单元5303和观察对象之间的距离。

第五连杆5313e由如下第一构件和杆形的第二构件的组合构成，其中第一构件具有一侧在垂直方向上延伸，而另一侧在水平方向上延伸的基本l形，第二构件从第一构件的水平延伸的部位垂直向下延伸。第五接头5311e的近端固定地连接在第五连杆5313e的第一构件的垂直延伸部位的上端附近。第六接头5311f连接到第五连杆5313e的第二构件的近端(下端)。

第六接头5311f具有基本上圆柱形形状并且在其远端侧处支撑第五连杆5313e的近端，以便可围绕平行于垂直方向的旋转轴(第六轴o6)旋转。第六连杆5313f的远端固定地连接到第六接头5311f的近端。

第六连杆5313f是在垂直方向上延伸的杆形构件，并且其近端固定地连接到基部5315的上表面。

第一接头5311a至第六接头5311f的可旋转范围被适当地设置，使得显微镜单元5303可理想地移动。因此，在具有上述配置的臂5309中，关于显微镜单元5303的移动，可以实现平移三自由度和旋转三自由度的总共六自由度的移动。以这种方式，通过配置臂5309使得对于显微镜单元5303的移动实现六自由度，能够在臂5309的可动范围内自由地控制显微镜单元5303的位置和姿态。因此，可以从任何角度观察手术部位，并且可以更平滑地进行手术。

注意，所示的臂5309的配置仅仅是示例，并且可以适当地设计构成臂5309的连接的数量和形状(长度)、接头的数量和布置位置、旋转轴的方向等，从而使得可以实现期望的自由度。例如，如上所述，为了使显微镜单元5303自由移动，臂5309优选地配置有六个自由度，但是臂5309也可以配置有更大的自由度(即，冗余自由度)。在存在冗余自由度的情况下，臂5309可以在显微镜单元5303的位置和姿态固定的状态下改变臂5309的姿态。因此，例如，可以实现对手术操作者更方便的控制(诸如臂部5309的姿态的控制)，使得臂5309不干扰例如看显示装置5319的手术操作者的视力等。

这里，第一接头5311a至第六接头5311f中的每一个可设置有致动器，该致动器装备有诸如马达等的驱动机构以及检测每个接头处的旋转角度的编码器等。然后，通过由控制装置5317适当地控制设置在第一接头5311a至第六接头5311f上的各致动器的驱动，能够控制臂5309的姿态，即显微镜单元5303的位置和姿态。具体而言，控制装置5317可以基于由编码器检测到的关于每个接头的旋转角度的信息来掌握臂5309的当前姿态以及显微镜单元5303的当前位置和姿态。控制装置5317根据用户通过使用所掌握的信息输入的操作，计算实现显微镜单元5303的移动的每个接头的控制值(例如，旋转角度、生成的扭矩等)，并根据该控制值驱动每个接头的驱动机构。注意，此时，通过控制装置5317对臂5309的控制方法不受限制，并且可以应用诸如力控制、位置控制等的各种已知控制方法。

例如，在手术操作者经由未图示的输入装置适当地进行操作输入时，能够根据该操作输入，通过控制装置5317适当地控制臂5309的驱动，并且可以控制显微镜单元5303的位置和姿势。通过该控制，可以将显微镜单元5303从任意位置移动到任意位置，并在移动之后将其固定地支撑在该位置。注意，对于输入装置，考虑到手术操作者的便利性，优选地应用即使手术操作者在他/她的手中具有诸如脚踏开关等的手术工具也可以操作的输入装置。此外，可以使用手术室中设置的可穿戴装置或相机基于手势检测或视线检测来执行无接触操作输入。因此，即使属于清洁区域的用户也可以以更高的自由度操作属于非清洁区域的装置。或者，臂5309可以以所谓的主从方式操作。在这种情况下，臂5309可以由用户经由安装在远离手术室的位置的输入装置远程操作。

此外，在应用力控制的情况下，可以执行所谓的动力辅助控制，该动力辅助控制接收来自用户的外力以驱动第一至第六接头5311a至5311f的致动器，使得臂5309根据外力平滑地移动。因此，当用户握住显微镜单元5303并直接移动其位置时，可以用相对轻的力移动显微镜单元5303。因此，可以更直观地且以更简单的操作移动显微镜单元5303，并且可以提高用户便利性。

此外，可以控制臂5309的驱动以便执行枢转操作。这里，枢转操作是移动显微镜单元5303，从而使得显微镜单元5303的光轴总是面对空间中的预定点(以下称为枢转点)的操作。根据枢转操作，可以在各个方向上观察相同的观察位置，使得有可能对患病部位进行更详细的观察。注意，在显微镜单元5303被配置成不能调节其焦距的情况下，优选的是在显微镜单元5303和枢转点之间的距离固定的状态下执行枢转操作。在这种情况下，显微镜单元5303和枢转点之间的距离可以被调节为显微镜单元5303的固定焦距。因此，显微镜单元5303在具有与以枢转点为中心的焦距相对应的半径的半球(如图54中示意性地所示)上移动，并且即使当改变观察方向时也可以获得清晰的成像图像。相反，在显微镜单元5303被配置成能够调节其焦距的情况下，可以在显微镜单元5303与枢转点之间的距离可变的状态下执行枢转操作。在这种情况下，例如，控制装置5317可以基于由编码器检测到的关于每个接头的旋转角度的信息来计算显微镜单元5303与枢转点之间的距离，并且基于计算结果自动地调节显微镜单元5303的焦距。或者，在显微镜单元5303具有af功能的情况下，每当通过枢转操作改变显微镜单元5303和枢转点之间的距离时，就可以通过af功能自动调节焦距。

此外，第一接头5311a至第六接头5311f可设置有限制其旋转的制动器。制动器的操作可以由控制装置5317控制。例如，在希望固定显微镜单元5303的位置和姿态的情况下，控制装置5317启动每个接头的制动器。因此，由于臂5309的姿态(即显微镜单元5303的位置和姿态)可以固定而无需驱动致动器，因此可以降低功耗。在希望移动显微镜单元5303的位置和姿态的情况下，控制装置5317可以根据预定控制方法释放每个接头的制动器并驱动致动器。

可以响应于用户经由上述操作单元5307输入的操作来进行这种制动操作。在用户想要移动显微镜单元5303的位置和姿态的情况下，用户操作操作单元5307以释放每个接头的制动器。因此，臂5309的操作模式转变为其中可以自由地执行在每个接头处的旋转的模式(全自由模式)。此外，在用户想要固定显微镜单元5303的位置和姿态的情况下，用户操作操作单元5307以启动每个接头的制动器。因此，臂5309的操作模式转变为其中每个接头处的旋转受到限制的模式(固定模式)。

控制装置5317通过控制显微镜装置5301和显示装置5319的操作，综合控制显微镜手术系统5300的操作。例如，控制装置5317通过根据预定控制方法操作第一接头5311a至第六接头5311f的致动器来控制臂5309的驱动。此外，例如，控制装置5317通过控制第一接头5311a至第六接头5311f的制动器的操作来改变臂5309的操作模式。此外，例如，控制装置5317通过对由显微镜装置5301的显微镜单元5303的成像单元获得的图像信号应用各种信号处理来生成显示用的图像数据，并将该图像数据显示在显示装置5319上。作为信号处理，例如，可以执行各种类型的已知信号处理，诸如同步处理和颜色分离处理(例如，去马赛克处理等)、高画质处理(诸如频带增强处理、超分辨率处理、降噪(nr)处理和/或相机抖动校正处理)和/或缩放处理(即，电子变焦处理)。

注意，控制装置5317与显微镜单元5303之间的通信以及控制装置5317与第一接头5311a至第六接头5311f之间的通信既可以是有线通信，也可以是无线通信。在有线通信的情况下，可以执行使用电信号的通信，或者可以执行光通信。在这种情况下，用于有线通信的传输线缆可以根据通信方法被配置为电信号线缆、光纤或其复合线缆。相反，在无线通信的情况下，不必在手术室中铺设传输线缆，从而可以解决其中医务人员在手术室中的移动被传输线缆阻碍的情况。

控制装置5317可以是微计算机、控制板等，其上安装有诸如中央处理单元(cpu)、图形处理单元(gpu)等的处理器，或者处理器和诸如存储器的存储元件混合地安装。上述各种功能可以通过根据预定程序操作的控制装置5317的处理器来实现。注意，在所示的示例中，控制装置5317被设置为与显微镜装置5301分离的装置；但是，控制装置5317可以安装在显微镜装置5301的基部5315内部以与显微镜装置5301集成。或者，控制装置5317可以包括多个装置。例如，可以在显微镜单元5303和臂5309的第一接头5311a至第六接头5311f的每一个上布置微计算机、控制板等，并且他们被连接以便能够彼此通信，从而实现与控制装置5317的功能类似的功能。

显示装置5319设置在手术室中，并且在控制装置5317的控制下显示与由控制装置5317生成的图像数据相对应的图像。也就是说，显示装置5319显示由显微镜单元5303成像的手术部位的图像。注意，显示装置5319可以代替手术部位的图像或与手术部位的图像一起显示关于手术的各种类型的信息，诸如患者的身体信息、关于手术过程的信息等。在这种情况下，显示装置5319的显示可以通过用户的操作来适当地切换。或者，可以设置多个显示装置5319，并且多个显示装置5319中的每一个可以显示手术部位的图像和关于手术的各种类型的信息。注意，作为显示装置5319，可以应用诸如液晶显示装置、电致发光(el)显示装置等的各种已知显示装置。

图55是示出使用图54所示的显微镜手术系统5300进行手术的状态的图。图55示意性地示出了手术操作者5321使用显微镜手术系统5300对病床5323上的患者5325进行手术的状态。注意，在图55中，为了简单起见，未示出显微镜手术系统5300的配置中的控制装置5317，并且以简化的方式示出显微镜装置5301。

如图55所示，在手术时，使用显微镜手术系统5300将由显微镜装置5301成像的手术部位的图像以放大的方式显示在安装在手术室的壁面上的显示装置5319上。显示装置5319被安装在面向手术操作者5321的位置中，并且手术操作者5321在通过显示在显示装置5319上的视频图像观察手术部位的状态的同时，对手术部位执行各种手术，例如患病部位的切除等。

以上描述了可以应用根据本公开的技术的显微镜手术系统5300的示例。注意，在此描述显微镜手术系统5300作为示例，但是可以应用根据本公开的技术的系统不限于这种示例。例如，显微镜装置5301也可以作为代替显微镜单元5303而在其远端支撑其他观察装置或其他手术工具的支撑臂装置。作为其他观察装置，例如可以应用内窥镜。此外，作为其他手术工具，可以应用镊子、用于吹气的气腹管、用于通过烧灼来切开组织或封闭血管的能量治疗工具等。通过利用支撑臂装置支撑这种观察装置和手术工具，与医务人员手动支撑观察装置和手术工具的情况相比，能够更稳定地固定位置并减轻医务人员的负担。根据本公开的技术也可以应用于支撑显微镜单元以外的配置的支撑臂装置。

根据本公开的技术可以优选地应用于上述配置中的显微镜单元5303的成像单元。具体而言，图1中的成像装置100可以被应用为显微镜单元5303的成像单元。以这种方式，通过将根据本公开的技术应用于显微镜单元5303的成像单元，可以控制检测图像(复原图像)的分辨率。

因此，例如，在手术工作期间，可以在全像素模式等中以高分辨率执行成像，并且当不执行工作(手术)时，可以在稀疏模式或区域驱动模式中以低分辨率执行成像。此外，例如，在正常时间，在稀疏模式或区域驱动模式中以低分辨率执行成像，并且在例如在手术部位中检测到诸如出血等的可疑的情况下，可以切换到全像素模式并且可以以高分辨率执行成像。

以这种方式，通过根据状况、目的等以适当的操作模式进行成像，能够抑制成像负荷的增加，并且能够抑制复原图像的画质的降低。因此，可以更安全且更可靠地执行手术。

<体内信息获取装置(胶囊型内窥镜)>

此外，根据本公开的技术例如可以应用于使用胶囊型内窥镜的患者的体内信息获取系统。

图56是示出可以应用根据本公开的技术的体内信息获取系统5400的示意性配置示例的图。参照图56，体内信息获取系统5400包括胶囊型内窥镜5401和综合控制体内信息获取系统5400的操作的外部控制装置5423。在检查时，患者吞服胶囊型内窥镜5401。胶囊型内窥镜5401具有成像功能和无线通信功能，并且在通过蠕动运动等在诸如胃、肠等脏器内移动的同时，以预定的间隔在脏器内依次进行成像(以下，也称为体内图像)直到从患者体内自然排出，并将与该体内图像有关的信息依次无线发送到体外的外部控制装置5423。外部控制装置5423基于接收到的与体内图像有关的信息，生成用于将体内图像显示在显示装置(未图示)上的图像数据。在体内信息获取系统5400中，可以根据需要以这种方式从吞服胶囊型内窥镜5401时直到排出为止获取患者体内的图像。

下面将更详细地描述胶囊型内窥镜5401和外部控制装置5423的配置和功能。如图所示，胶囊型内窥镜5401在胶囊形壳体5403中具有光源单元5405、成像单元5407、图像处理单元5409、无线通信单元5411、馈电单元5415、电源单元5417、状态检测单元5419和控制单元5421的功能。

光源单元5405包括诸如发光二极管(led)等的光源，并且用光照射成像单元5407的成像视场。

成像单元5407包括光学系统，该光学系统包括成像元件和设置在成像元件的前级上的多个透镜。施加到待观察的身体组织的光的反射光(以下称为观察光)通过光学系统聚集，并入射在成像元件上。成像元件接收观察光，并对其进行光电转换，以生成与观察光对应的电信号，即，与观察图像对应的图像信号。由成像单元5407生成的图像信号被提供给图像处理单元5409。注意，作为成像单元5407的成像元件，可以使用各种类型的已知成像元件，诸如互补金属氧化物半导体(cmos)图像传感器、电荷耦合器件(ccd)图像传感器等。

图像处理单元5409包括诸如中央处理单元(cpu)、图形处理单元(gpu)等的处理器，并且对由成像单元5407生成的图像信号执行各种类型的信号处理。信号处理可以是用于将图像信号发送到外部控制装置5423的最小处理(例如，图像数据压缩、帧速率转换、数据速率转换和/或格式转换)。由于图像处理单元5409被配置为仅执行必需的最少处理，因此可以以较小的尺寸和较低的功耗来实现图像处理单元5409，从而这优选作为胶囊型内窥镜5401。但是，在壳体5403中存在空间和额外功耗的情况下，可以在图像处理单元5409中执行进一步的信号处理(例如，噪声去除处理、其他高画质处理等)。图像处理单元5409将经过信号处理的图像信号作为raw数据提供给无线通信单元5411。注意，在由状态检测单元5419获得关于胶囊型内窥镜5401的状态(运动、姿态等)的信息的情况下，图像处理单元5409可以与该信息相关联地将图像信号提供给无线通信单元5411。因此，可以将身体中的图像被成像的位置、图像的成像方向等与成像图像相关联。

无线通信单元5411包括能够向外部控制装置5423发送各种类型的信息/从其接收各种类型的信息的通信装置。通信装置包括天线5413、用于执行调制处理的处理电路等，以用于发送和接收信号等。无线通信单元5411对经过由图像处理单元5409进行信号处理后的图像信号进行诸如调制处理的预定处理，并经由天线5413向外部控制装置5423发送图像信号。此外，无线通信单元5411经由天线5413从外部控制装置5423接收与胶囊型内窥镜5401的驱动控制有关的控制信号。无线通信单元5411将接收到的控制信号提供给控制单元5421。

馈电单元5415包括用于电力接收的天线线圈、用于从天线线圈中生成的电流再生电力的电力再生电路、升压电路等。在馈电单元5415中，使用所谓的非接触充电原理生成电力。具体而言，通过从外部对馈电单元5415的天线线圈施加预定频率的磁场(电磁波)，在天线线圈中生成感应电动势。电磁波例如可以是经由天线5425从外部控制装置5423发送的载波。通过电力再生电路从感应电动势再生电力，并且在升压电路中适当地调节其电势，使得生成用于存储的电力。由馈电单元5415生成的电力被存储在电源单元5417中。

电源单元5417包括二次电池并且存储由馈电单元5415生成的电力。在图56中，为了简化附图，未示出指示来自电源单元5417等的电力的供给目的地的箭头等；但是，在电源单元5417中累积的电力被提供给光源单元5405、成像单元5407、图像处理单元5409、无线通信单元5411、状态检测单元5419和控制单元5421，并且可以用于驱动他们。

状态检测单元5419包括用于检测胶囊型内窥镜5401的状态的传感器，诸如加速度传感器和/或陀螺仪传感器。状态检测单元5419可以从传感器的检测结果获得关于胶囊型内窥镜5401的状态的信息。状态检测单元5419将所获得的关于胶囊型内窥镜5401的状态的信息提供给图像处理单元5409。如上所述，在图像处理单元5409中，关于胶囊型内窥镜5401的状态的信息可以与图像信号相关联。

控制单元5421包括诸如cpu等的处理器，并且通过根据预定程序进行操作来综合控制胶囊型内窥镜5401的操作。控制单元5421根据从外部控制装置5423发送的控制信号适当地控制光源单元5405、成像单元5407、图像处理单元5409、无线通信单元5411、馈电单元5415、电源单元5417和状态检测单元5419的驱动，从而实现如上所述的每个单元中的功能。

外部控制装置5423可以是微计算机、控制板等，其上安装有诸如cpu、gpu等的处理器，或者处理器和诸如存储器等的存储元件混合安装。外部控制装置5423包括天线5425，并且被配置为能够经由天线5425向胶囊型内窥镜5401发送各种类型的信息和从其接收各种类型的信息。具体而言，外部控制装置5423通过将控制信号发送到胶囊型内窥镜5401的控制单元5421来控制胶囊型内窥镜5401的操作。例如，光源单元5405中的光对观察对象的照射条件可以由来自外部控制装置5423的控制信号改变。此外，成像条件(例如，成像单元5407中的帧速率、曝光值等)可以通过来自外部控制装置5423的控制信号而改变。此外，图像处理单元5409中的处理内容和无线通信单元5411发送图像信号的条件(例如，发送间隔、发送的图像的数量等)可以通过来自外部控制装置5423的控制信号而改变。

另外，外部控制装置5423对从胶囊型内窥镜5401发送的图像信号施加各种类型的图像处理，并生成用于将成像后的体内图像显示在显示装置上的图像数据。对于图像处理，例如，可以执行各种类型的已知信号处理，诸如同步处理和颜色分离处理(例如，去马赛克处理等)、高画质处理(诸如频带增强处理、超分辨率处理、降噪(nr)处理和/或相机抖动校正处理)和/或缩放处理(电子变焦处理)。外部控制装置5423控制显示装置(未图示)的驱动，以显示基于所生成的图像数据而成像的体内图像。或者，外部控制装置5423可以允许记录装置(未示出)记录所生成的图像数据或允许打印装置(未示出)打印出所生成的图像数据。

根据本公开的技术可以优选地应用于上述配置中的成像单元5407。具体而言，成像装置100(图1)可以被应用为成像单元5407。以这种方式，通过将根据本公开的技术应用于成像单元5407，可以控制检测图像(复原图像)的分辨率。

因此，例如，可以在患病部位附近在全像素模式等中以高分辨率执行成像，并且可以在其他部位中在稀疏模式或区域驱动模式中以低分辨率执行成像。

以这种方式，通过根据情况、目的等以适当的操作模式进行成像，能够抑制成像负荷的增加，并且能够抑制复原图像的画质的降低。因此，可以获得更清晰的手术部位图像，从而提高检查的精度。此外，可以降低电池的容量以抑制负荷(功耗)的增加。因此，胶囊型内窥镜5401可以被制造得更小，从而可以进一步减轻患者的负担。

<流式细胞术>

此外，根据本公开的技术可以应用于例如流式细胞术。

流式细胞术是一种将微细粒子分散在流体中、使流体精细流动并对各个粒子进行光学分析的方法。例如，如图57所示，允许流体流过通过使用细管等形成的流路6001，并且用激光照射包含在流体中的微细粒子6011(例如，细胞等)以被激发，同时，允许成像单元6002对其荧光进行成像以进行检测。通过这样做，可以检测流体中的微细粒子6011。

微细粒子也可以选择性地回收。用于流式细胞术的装置被称为流式细胞仪。用于分类的装置被称为分类器，而没有分类功能的装置被称为分析器。这主要在单独观察细胞时使用。

将一定波长的光束(通常是激光束)施加到流体上，并且通常检测在从光束稍微偏移的方向上的前向散射(fsc)(因为检测器被来自与光束同轴的光源的强光饱和)和在垂直于光束的方向上的侧向散射(ssc)。此外，许多装置设置有一个或多个荧光检测器，其用荧光物质标记微粒并检测由激光生成的荧光。这些检测器检测受流体中的粒子影响的光和荧光。可以从一组检测到的光来估计粒子的物理和化学性质。在细胞的情况下，可以从fsc分析细胞大小，并从ssc分析细胞中的复杂性(源自细胞核形状、亚细胞器、膜结构等)。通过检测器、荧光物质和免疫染色的组合，可以进行非常广泛的分析。

作为这样的成像单元6002，可以应用成像装置100(图1)。以这种方式，通过将根据本公开的技术应用于成像单元5009，可以控制检测图像(复原图像)的分辨率。

注意，在包括成像透镜的成像装置的情况下，由于透镜的像差等，可能难以在光波长水平下观察。也就是说，在被摄体如流式细胞术那样极其微细的情况下，可能难以进行正确的观察。

相反，由于成像装置100的成像元件121不具有成像透镜，因此这没有像差，并且可以充分地观察到微细粒子，这是优选的。

注意，在被摄体如在流式细胞术中那样极其微细的情况下，被摄体距离也变得非常短，因此即使不设置各像素的入射角指向性，像素间的检测信号的强度也不同，并且能够进行被摄体的成像。因此，有可能不改变各像素的入射角指向性。例如，如图58所示，在用于观察微细粒子的区域312-31中，全部像素中的每一个的入射角指向性可以垂直于像素区域311(即，入射角指向性没有偏差)。

注意，可以在像素区域311中单独地或多个地设置这种区域312。也就是说，可以使设置在像素区域311中的全部区域312成为这种没有入射角指向性的偏差的区域，或者可以使设置在像素区域311中的区域312的一部分成为这种没有入射角指向性的偏差的区域。例如，在图58中，可以3区域312-32和312-33与区域312-31相似或不相似。

<7.第七实施例>

<车载系统>

此外，例如，根据本公开的技术可以实现为安装在任何类型的移动体上的装置，所述移动体诸如汽车、电动汽车、混合电动汽车、摩托车、自行车、个人移动装置、飞机、无人机、船、机器人、建筑机械、农业机械(拖拉机)等。

图59是示出作为可以应用根据本公开的技术的移动体控制系统的示例的车辆控制系统7000的示意性配置示例的框图。车辆控制系统7000设置有经由通信网络7010彼此连接的多个电子控制单元。在图59所示的示例中，车辆控制系统7000设置有驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500以及集成控制单元7600。例如，连接多个控制单元的通信网络7010可以是符合控制器局域网(can)、局域互联网络(lin)、局域网(lan)或flexray(注册商标)等的任何标准的车载通信网络。

各控制单元设置有：微计算机，其根据各种程序进行运算处理；存储单元，其存储由微计算机执行的程序、用于各种运算操作的参数等；以及驱动电路，其驱动各种待控制的装置。各控制单元设置有用于经由通信网络7010与其他控制单元通信的网络i/f，以及用于通过有线通信或无线通信与车辆内部和外部的装置、传感器等通信的通信i/f。在图59中，作为集成控制单元7600的功能配置，示出了微计算机7610、通用通信i/f7620、专用通信i/f7630、定位单元7640、信标接收单元7650、车内装置i/f7660、音频图像输出单元7670、车载网络i/f7680和存储单元7690。其他控制单元类似地设置有微计算机、通信i/f、存储单元等。

驱动系统控制单元7100根据各种程序控制与车辆的驱动系统有关的装置的操作。例如，驱动系统控制单元7100用作用于生成车辆的驱动力生成装置(诸如内燃机、驱动马达等)、用于将驱动力传递到车轮的驱动力传递机构、用于调节车辆的转向角的转向机构、用于生成车辆的制动力的制动装置等的控制装置。驱动系统控制单元7100可以具有作为防抱死制动系统(abs)、电子稳定控制(esc)等的控制装置的功能。

车辆状态检测单元7110与驱动系统控制单元7100连接。车辆状态检测单元7110例如包括检测车身的轴向旋转运动的角速度的陀螺传感器、检测车辆的加速度的加速度传感器、或者用于检测加速踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机转速、车轮转速等的传感器中的至少一个。驱动系统控制单元7100使用从车辆状态检测单元7110输入的信号进行运算处理，以控制内燃机、驱动马达、电动助力转向装置、制动装置等。

车身系统控制单元7200根据各种程序控制安装在车身上的各种装置的操作。例如，车身系统控制单元7200用作无钥匙进入系统、智能钥匙系统、电动车窗装置或诸如头灯、尾灯、刹车灯、闪光信号灯、雾灯等的各种灯的控制装置。在这种情况下，从代替键的便携式装置发送的无线电波或各种开关的信号可以被输入到车身系统控制单元7200。车身系统控制单元7200接收无线电波或信号的输入，并且控制车辆的门锁装置、电动车窗装置、灯等。

电池控制单元7300根据各种程序控制作为驱动马达的电源的二次电池7310。例如，诸如电池温度、电池输出电压、剩余电池容量等的信息从包括二次电池7310的电池装置输入到电池控制单元7300。电池控制单元7300使用这些信号执行运算处理，并且控制设置在电池装置中的二次电池7310或冷却装置等的温度调节。

车外信息检测单元7400检测其上安装有车辆控制系统7000的车辆外部的信息。例如，车外信息检测单元7400与成像单元7410或车外信息检测单元7420中的至少一个连接。成像单元7410包括飞行时间(tof)相机、立体相机、单目相机、红外相机或其他相机中的至少一者。车外信息检测单元7420包括例如用于检测当前天气或气象现象的环境传感器或用于检测其上安装有车辆控制系统7000的车辆周围的其他车辆、障碍物、行人等的周围信息检测传感器中的至少一个。

环境传感器可以是例如检测下雨天气的雨滴传感器、检测雾的雾传感器、检测日照强度的日照传感器或检测降雪的雪传感器中的至少一个。周围信息检测传感器可以是超声波传感器、雷达装置、或光检测和测距、激光成像检测和测距(lidar)装置中的至少一个。成像单元7410和车外信息检测单元7420可以作为独立的传感器或装置来设置，或者可以作为集成了多个传感器或装置的装置来设置。

在此，图60示出成像单元7410和车外信息检测单元7420的安装位置的示例。成像单元7910、7912、7914、7916和7918中的每一个被设置在例如车辆7900的前鼻、侧视镜、后保险杠、后门或车辆内部的前挡风玻璃的上部中的至少一个位置。设置在前鼻的成像单元7910和设置在车辆内部的前挡风玻璃的上部的成像单元7918主要获得车辆7900前方的图像。设置在侧视镜的成像单元7912和7914主要获得车辆7900的侧面的图像。设置在后保险杠或后门的成像单元7916主要获得车辆7900后面的图像。设置在车辆内部的前挡风玻璃的上部的成像单元7918主要用于检测前方车辆、行人、障碍物、信号灯、交通标识、车道等。

注意，图60示出成像单元7910、7912、7914和7916的成像范围的示例。成像范围a表示设置在前鼻的成像单元7910的成像范围，成像范围b和c表示设置在侧视镜的成像单元7912和7914的成像范围，成像范围d表示设置在后保险杠或后门的成像单元7916的成像范围。例如，通过将由成像单元7910、7912、7914、7916成像的图像数据被重叠，从而得到从上方观察的车辆7900的俯视图像。

设置在车辆7900的车辆内部的挡风玻璃的前部、后部、侧部、角部和上部的车外信息检测单元7920、7922、7924、7926、7928和7930可以是例如超声波传感器或雷达装置。设置在车辆7900的前鼻、后保险杠、后门和车辆内部的前挡风玻璃的上部的车外信息检测单元7920、7926和7930可以是例如lidar装置。这些车外信息检测单元7920至7930主要用于检测前方车辆、行人、障碍物等。

返回到图59，继续描述。车外信息检测单元7400使成像单元7410对车外的图像进行成像，并接收成像的图像数据。此外，车外信息检测单元7400从与其连接的车外信息检测单元7420接收检测信息。在车外信息检测单元7420是超声波传感器、雷达装置、或lidar装置的情况下，车外信息检测单元7400发送超声波、电磁波等，并接收所接收的反射波的信息。车外信息检测单元7400可以基于接收到的图像，进行诸如人、车辆、障碍物、标志、路面上的文字等的物体的检测处理或距离检测处理。车外信息检测单元7400可以基于接收到的信息执行用于识别降雨、雾、路面状况等的环境识别处理。车外信息检测单元7400也可以基于接收到的信息，计算与车外的物体之间的距离。

此外，车外信息检测单元7400也可以基于接收到的图像，进行识别人、车辆、障碍物、标志、路面上的文字等的图像识别处理或距离检测处理。车外信息检测单元7400可以对所接收到的图像数据进行诸如失真校正、对齐等处理，并将由不同的成像单元7410成像的图像数据合成，以生成俯瞰图像或全景图像。车外信息检测单元7400也可以使用由不同的成像单元7410成像的图像数据来进行视点转换处理。

车内信息检测单元7500检测车辆内的信息。车内信息检测单元7500连接到例如用于检测驾驶员的状态的驾驶员状态检测单元7510。驾驶员状态检测单元7510可以包括对驾驶员进行成像的相机、检测驾驶员的生物测定信息的生物测定传感器、对车辆内部的声音进行收集的麦克风等。生物测定传感器例如被设置在座椅表面、方向盘等上，并且检测坐在座椅上的乘客或握住方向盘的驾驶员的生物测定信息。车内信息检测单元7500可以基于从驾驶员状态检测单元7510输入的检测信息，计算驾驶员的疲劳度或注意力，或者确定驾驶员是否未打瞌睡。车内信息检测单元7500也可以对收集到的声音信号进行诸如噪声消除处理等处理。

集成控制单元7600根据各种程序控制车辆控制系统7000中的整体操作。输入单元7800连接到集成控制单元7600。输入单元7800例如由可以由乘客操作以进行输入的装置(诸如触摸面板、按钮、麦克风、开关、杆等)实现。可以将通过对麦克风输入的音频的音频识别而获得的数据输入到集成控制单元7600。输入单元7800可以是例如使用红外线或其他无线电波的遥控装置，或者可以是支持车辆控制系统7000的操作的外部连接装置，例如移动电话、个人数字助理(pda)等。输入单元7800可以是例如相机，在这种情况下，乘客可以通过手势输入信息。或者，可以输入通过检测由乘客穿戴的可穿戴装置的移动而获得的数据。此外，输入单元7800可以包括例如基于乘客等使用上述输入单元7800输入的信息生成输入信号的输入控制电路等，并输出到集成控制单元7600。乘客等操作输入单元7800以将各种数据输入到车辆控制系统7000或指示处理操作。

存储单元7690可包括存储由微计算机执行的各种程序的只读存储器(rom)和存储各种参数、操作结果、传感器值等的随机存取存储器(ram)。此外，存储单元7690可由诸如硬盘驱动器(hdd)等的磁存储装置、半导体存储装置、光存储装置、磁光存储装置等实现。

通用通信i/f7620是作为与存在于外部环境7750中的各种装置进行通信的媒介的通用通信i/f。通用通信i/f7620可以实现蜂窝通信协议，例如全球移动通信系统(gsm(注册商标))、wimax(注册商标)、长期演进(lte(注册商标))、lte-高级(lte-a)等，或者其他无线通信协议，例如无线lan(也称为wi-fi(注册商标))、蓝牙(注册商标)等。通用通信i/f7620可以经由例如基站或接入点连接到存在于外部网络(例如，因特网、云网络或运营商专用网络)上的装置(例如，应用服务器或控制服务器)。此外，通用通信i/f7620可以使用例如对等(p2p)技术来连接到存在于车辆附近的终端(例如，驾驶员、行人或商店终端，或机器类型通信(mtc)终端)。

专用通信i/f7630是支持计划在车辆中使用的通信协议的通信i/f。例如，专用通信i/f7630可以实现标准协议，诸如车辆环境中的无线接入(wave)(其是下层ieee802.11p和上层ieee1609的组合)、专用短程通信(dsrc)或蜂窝通信协议。专用通信i/f7630通常执行v2x通信，其为包含车辆到车辆通信、车辆到基础设施通信、车辆到家庭通信和车辆到行人通信中的一个或多个的概念。

例如，定位单元7640接收来自全球导航卫星系统(gnss)卫星的gnss信号(例如，来自全球定位系统(gps)卫星的gps信号)以执行定位，并且生成包括车辆的纬度、经度和高度的位置信息。注意，定位单元7640既可以与无线接入点进行信号交换来指定当前位置，也可以从具有定位功能的诸如移动电话、phs或智能手机的终端获得位置信息。

例如，信标接收单元7650接收从安装在道路上的无线站等发送的无线电波或电磁波，并且获得诸如当前位置、交通堵塞、封闭道路、所需时间等的信息。注意，信标接收单元7650的功能可以包括在上述专用通信i/f7630中。

车内装置i/f7660是作为微计算机7610和车辆中存在的各种车内装置7760之间的连接的媒介的通信接口。车内装置i/f7660可以使用诸如无线lan、蓝牙(注册商标)、近场通信(nfc)或无线usb(wusb)的无线通信协议来建立无线连接。此外，车内装置i/f7660可以经由未示出的连接端子(以及必要时的线缆)建立诸如通用串行总线(usb)、高清晰多媒体接口(hdmi(注册商标))、移动高清晰链路(mhl)等的有线连接。车内装置7760可以包括例如乘客所具有的移动装置或可穿戴装置中的至少一个，或者携带在车辆中或附接到车辆的信息装置。此外，车内装置7760可以包括搜索到任意目的地的路线的导航装置。车内装置i/f7660与这些车内装置7760交换控制信号或数据信号。

车载网络i/f7680是作为微计算机7610和通信网络7010之间的通信媒介的接口。车载网络i/f7680根据通信网络7010所支持的预定协议来发送和接收信号等。

集成控制单元7600的微计算机7610基于经由通用通信i/f7620、专用通信i/f7630、定位单元7640、信标接收单元7650、车内装置i/f7660或车载网络i/f7680中的至少一个获得的信息，根据各种程序来控制车辆控制系统7000。例如，微计算机7610可以基于所获得的车辆内部和外部的信息来计算驱动力生成装置、转向机构或制动装置的控制目标值，并且将控制指令输出到驱动系统控制单元7100。例如，微计算机7610可以执行协作控制，以实现高级驾驶员辅助系统(adas)的功能，包括车辆的碰撞避免或冲击衰减、基于车辆之间的距离的跟随行驶、车辆速度保持行驶、车辆碰撞警告、车辆车道偏离警告等。此外，微计算机7610可以执行用于实现自动驾驶等的协作控制，以通过基于所获得的车辆周围的信息控制驱动力生成装置、转向机构、制动装置等来独立于驾驶员的操作自主地行驶。

微计算机7610可以基于经由通用通信i/f7620、专用通信i/f7630、定位单元7640、信标接收单元7650、车内装置i/f7660或车载网络i/f7680中的至少一个获得的信息来生成车辆与周围结构、人等之间的三维距离信息，以创建包括车辆的当前位置的周围信息的本地地图信息。此外，微计算机7610可以通过基于所获得的信息预测诸如车辆碰撞、行人等接近或者进入封闭道路等的危险来生成警告信号。警告信号可以是例如用于生成警告声音或点亮警告灯的信号。

音频图像输出单元7670将音频或图像输出信号中的至少一个发送到输出装置，该输出装置能够在视觉上或听觉上将该信息通知给车辆的乘客或车辆外部。在图59的示例中，作为输出装置，示出了音频扬声器7710、显示单元7720和仪表板7730。显示单元7720可以包括例如板上显示器或平视显示器中的至少一个。显示单元7720可以包括增强现实(ar)显示功能。除了这些装置之外，输出装置可以是其他装置，诸如头戴式耳机、乘客佩戴的诸如眼镜型显示器等的可佩戴装置、投影仪、灯等。在输出装置是显示装置的情况下，显示装置以诸如文本、图像、表格、图形等的各种格式可视地显示通过由微计算机7610执行的各种类型的处理获得的结果或者从其他控制单元接收到的信息。此外，在输出装置是音频输出装置的情况下，音频输出装置将包括再现的音频数据、声音数据等的音频信号转换为模拟信号，并可听地输出。

注意，在图59所示的示例中，经由通信网络7010连接的至少两个控制单元可以集成为一个控制单元。或者，每个控制单元可以包括多个控制单元。此外，车辆控制系统7000可以设置有未示出的其他控制单元。此外，在以上描述中，任何控制单元的部分或全部功能可以被分配给其他控制单元。也就是说，只要经由通信网络7010发送和接收信息，就可以由任何控制单元执行预定的运算处理。类似地，连接到任何控制单元的传感器或装置可以连接到其他控制单元，并且多个控制单元可以经由通信网络7010向/从彼此发送/接收检测信息。

在上述车辆控制系统7000中，参考图1描述的根据本实施例的成像装置100可以应用于图59中示出的应用示例的成像单元7410。以这种方式，通过将根据本公开的技术应用于成像单元7410，可以控制检测图像(复原图像)的分辨率。

因此，例如，在存在诸如人和物体的障碍物、前方车辆、后方车辆、迎面而来的车辆、交通灯和交通标志、道路上的白线和文字等的要关注的对象(关注对象)的情况下，例如，在全像素模式等中以高分辨率执行成像，并且在不存在这样的关注对象的情况下，可以在稀疏模式和区域驱动模式中以低分辨率执行成像。

以这种方式，通过根据情况、目的等以适当的操作模式进行成像，能够抑制成像负荷的增加，并且能够抑制复原图像的画质的降低。因此，可以实现更安全的驾驶支持。

<驾驶支持处理流程>

参照图61的流程图，对该驾驶支持处理的流程的示例进行描述。

当驾驶支持处理开始时，在步骤s501，车外信息检测单元7400开始检测车辆周围的关注对象。

在步骤s502，车外信息检测单元7400将操作模式设置为区域驱动模式。

在步骤s503，成像单元7410在区域驱动模式中对监视对象进行成像，并输出输出数据。也就是说，成像单元7410进行区域驱动模式成像处理，在区域驱动模式下生成输出数据，并以与参照图41的流程图进行描述的情况相同的流程，将其输出到车外信息检测单元7400等。

在步骤s504，车外信息检测单元7400确定是否检测到关注对象。在确定没有检测到关注对象的情况下，过程返回到步骤s503。也就是说，在未检测到关注对象的正常状态的情况下，重复执行步骤s503和步骤s504中的每个处理。也就是说，获得低分辨率的成像图像。

此外，在步骤s504确定检测到关注对象的情况下，过程转到步骤s505。

在步骤s505，车外信息检测单元7400将操作模式切换(设置)为全像素模式。

在步骤s506，成像单元7410在全像素驱动模式下对监视对象进行成像，并输出输出数据。也就是说，成像单元7410进行全像素模式成像处理，在全像素模式下生成输出数据，并以与参照图34的流程图进行描述的情况相同的流程，将其输出到车外信息检测单元7400。

在步骤s507，微计算机7610基于关注对象执行驾驶支持。

在步骤s508，车外信息检测单元7400判断是否不能再检测到关注对象。在确定连续检测到关注对象的情况下，过程返回到步骤s506。也就是说，在检测到关注目标的情况下，重复执行步骤s506和步骤s507的每个处理。也就是说，可以获得高分辨率的成像图像。

此外，在步骤s508中确定不再检测到关注对象的情况下，过程转到步骤s509。

在步骤s509，成像单元7410确定是否完成驾驶支持处理。在确定驾驶支持处理没有完成的情况下，过程返回到步骤s502。也就是说，在步骤s509，重复执行步骤s502至s509中的每个处理，直到确定驾驶支持处理完成。

在步骤s508中确定驾驶支持处理完成的情况下，驾驶支持处理完成。

通过执行如上所述的驾驶支持处理，可以在抑制数据量的增加的同时执行更安全的驾驶支持。

<8.第八实施例>

<成像元件的其他配置示例>

尽管以上已经描述了成像元件121的示例，但是成像元件121仅需要设置有多个像素输出单位，所述多个像素输出单位接收不经由成像透镜或针孔中的任何一个入射的入射光，并且每个像素输出单位输出一个指示由入射光的入射角调制的输出像素值的检测信号，并且配置是任意的。

例如，通过使用随机的黑白图案掩模或光干涉掩模作为调制元件，可以根据黑白图案或光干涉来调制入射到成像元件121的成像面上的光。

图62示出成像元件的其他配置。成像元件8001被配置成使得作为调制元件的掩模8003被固定到成像元件8002以便相对于成像元件8002的成像面ip具有预定间隔，并且来自被摄体面op的光被掩模8003调制，然后入射在成像元件8002的成像面ip上。

图63示出了使用黑白图案掩模的情况。图63的a示出了黑白图案掩模。黑白图案掩模8003bw具有随机布置透射光的白色图案部分和遮蔽光的黑色图案部分的配置，并且图案尺寸独立于成像元件8002的像素尺寸而设置。图63的b示意性地示出了从点光源pa发射的光和从点光源pb发射的光在成像面ip上的照射状态。此外，图63的b还示意性地示出了在使用黑白图案掩模8003bw的情况下，成像元件的响应的示例，该响应是针对从点光源pa发出的光和从点光源pb发出的光而单独地进行的。来自被摄体面op的光被黑白图案掩模8003bw调制，然后入射到成像元件8002的成像面ip上。因此，与从被摄体面op上的点光源pa发射的光相对应的成像元件在的响应为sbwa。此外，与从被摄体面op上的点光源pb发射的光相对应的成像元件的响应为sbwb。因此，从成像元件8002输出的像素输出信息是通过针对每个像素输出单位组合各点光源的响应而获得的一个图像的信息。在该配置的情况下，不能针对每个像素输出单位独立地设置入射角指向性，并且在接近的位置的像素输出单位具有彼此接近的入射角指向性。

图64示出了使用了光干涉掩模的情况。如图64的a所示，从被摄体面op上的点光源pa和pb发出的光经由光干涉掩模8003lf施加到成像元件8002的成像面ip。例如，光干涉掩模8003lf的光入射面设置有如图64的a所示的大约光波长的不规则性。此外，在光干涉掩模8003lf中，在垂直方向上发射的具有特定波长的光的透射最大。当从被摄体面op的点光源pa和pb发出的具有特定波长的光在光干涉掩模8003lf上的入射角(相对于垂直方向的倾斜)的变化变大时，光路长度改变。这里，当光路长度是半波长的奇数倍时，光束彼此削弱，而当光路长度是半波长的偶数倍时，光束彼此加强。也就是说，如图64的b所示，从点光源pa和pb发出并且透过光干涉掩模8003lf的具有特定波长的透射光的强度根据相对于光干涉掩模8003lf的入射角而被调制，以入射到成像元件8002的成像面ip上。因此，从成像元件8002的各输出像素单位输出的像素输出信息是将透过光干涉掩模lf823的各点光源的调制光强度进行合成而得到的信息。在该配置的情况下，不能针对每个像素输出单位独立地设置入射角指向性，并且在接近的位置的像素输出单位具有彼此接近的入射角指向性。

注意，图65中的滤光器8003hw可以用于代替滤光器8003bw。滤光器8003hw设置有具有相同偏振方向的线性偏振元件8011a和8011b以及半波片8012，并且半波片8012介于线性偏振元件8011a和8011b之间。半波片8012包括由斜线表示的偏振部来代替滤光器8003bw的黑色图案部分，并且白色图案部分和偏振部被随机布置。

线性偏振元件8011a仅透射从点光源pa发出的基本上非偏振光中的预定偏振方向的光分量。在下文中，假设线性偏振元件8011a仅透射偏振方向平行于纸面的光分量。在透过线性偏振元件8011a的偏振光中，透过半波片8012的偏振部的偏振光使得偏振面旋转并且偏振方向在垂直于纸面的方向上改变。相反，在透过线偏振元件8011a的偏振光中，透过半波片8012的白色图案部分的偏振光使得偏振方向从平行于纸面的方向保持不变。然后，线性偏振元件8011b透射透过白色图案部分的偏振光，而几乎不透射透过偏振部的偏振光。因此，与透过白色图案部分的偏振光相比，透过偏振部的偏振光的光量减少。因此，在成像元件8002的光接收面(成像面)ip上生成与使用滤光器8003bw情况下基本相似的阴影图案。

然而，在这些配置的情况下，由于需要将诸如掩模等的其他配置添加到成像元件，因此可以进一步缩小在第一实施例中描述的配置示例的成像元件121的尺寸。

如上所述，在本技术中，成像元件121可以具有参考图4描述的配置、参考图5描述的配置、参考图62和63描述的配置、或者参考图64描述的配置。也就是说，成像元件121仅需要设置有多个像素输出单位，其接收不经由成像透镜或针孔中的任何一个入射的入射光，并且每个像素输出单位输出一个指示由入射光的入射角调制的输出像素值的检测信号。

此外，本技术可以应用于具有参考图4描述的配置或参考图5描述的配置的成像元件121。也就是说，成像元件121的多个像素输出单位可以具有这样的配置，其中可以针对每个像素输出单位独立地设置指示输出像素值的相对于来自被摄体的入射光的入射角的指向性的入射角指向性。

此外，本技术可以应用于具有参照图4描述的配置的成像元件。也就是说，成像元件121的多个像素输出单位可以具有这样的配置，其中可以针对每个像素输出单位独立地设置指示相对于来自被摄体的入射光的入射角的指向性的入射角指向性。

此外，本技术可以应用于具有参照图5描述的配置的成像元件。也就是说，成像元件121的多个像素输出单位可以通过使对输出有贡献的光电二极管(pd)彼此不同，来针对每个像素输出单位独立地设置指示输出像素值的相对于来自被摄体的入射光的入射角的指向性的入射角指向性。

<9.其他>

<软件>

上述一系列处理可以由硬件执行或由软件执行。此外，可以由硬件执行一部分处理，而由软件执行其他处理。在通过软件执行一系列处理的情况下，在计算机上安装形成软件的程序。

例如，可以从记录介质安装该程序。例如，在图1中的成像装置100的情况下，该记录介质由与装置主体分离的其上记录有分发的程序的记录介质116构成，用于将程序分发给用户。在这种情况下，例如，通过将记录介质116加载到记录/再现单元115上，可以读取存储在记录介质116中的程序并将其安装在存储单元113中。

此外，还可以通过诸如局域网、因特网和数字卫星广播的有线或无线传输介质来提供程序。在图1中的成像装置100的情况下，例如，程序可以由通信单元114接收以安装在存储单元113上。

另外，程序可以预先安装在存储单元、rom等上。例如，在图1中的成像装置100的情况下，程序可以预先安装在存储单元113、控制单元101中的rom(未示出)等中。

<补充>

本技术的实施例不限于上述实施例，并且可以在不脱离本技术的要旨的情况下进行各种修改。

例如，本技术可以被实现为形成装置或系统的任何配置，例如，作为系统大规模集成(lsi)等的处理器、使用多个处理器等的模块、使用多个模块等的单元、通过向单元添加其他功能而获得的集合等(也就是说，装置的部分配置)。

此外，上述各处理单元可以通过任意配置来实现。例如，这可以包括电路、lsi、系统lsi、处理器、模块、单元、集合、装置、设备、系统等。此外，可以组合多个。此时，例如，可以组合诸如多个电路、多个处理器等的相同类型的配置，或者可以组合诸如电路、lsi等的不同类型的配置。

注意，在本说明书中，系统旨在表示多个组件(装置、模块(部件)等)的集合，并且全部组件是否在同一壳体中无关紧要。因此，通过网络连接的存储在不同壳体中的多个装置和通过在一个壳体中存储多个模块而获得的一个装置是系统。

此外，例如，还可以将描述为一个装置(或处理单元)的配置划分为多个装置(或处理单元)。相反，还可以将作为多个装置(或处理单元)的上述配置一起作为一个装置(或处理单元)。此外，不言而喻，可以将除了上述配置之外的配置添加到每个装置(或每个处理单元)的配置。此外，只要整个系统的配置和操作基本相同，则某个装置(或处理单元)的配置的一部分也可以包括在其他装置(或其他处理单元)的配置中。

此外，例如，本技术可以被配置为云计算，其中，多个装置通过网络共享一个功能以进行协作处理。

此外，例如，上述程序可以由任意装置执行。在这种情况下，只需要装置具有必要的功能(功能块等)，从而可以获得必要的信息。

此外，例如，上述流程图中描述的每个步骤可以由一个装置执行，或者由多个装置以共享的方式执行。此外，在一个步骤中包括多个处理的情况下，一个步骤中包括的多个处理可以由一个装置执行，或者由多个装置以共享的方式执行。换句话说，包括在一个步骤中的多个处理可以作为多个步骤的处理来执行。相反，描述为多个步骤的处理可以作为一个步骤被共同执行。

由计算机执行的程序可以是这样的，即，使得描述程序的步骤中的处理按照本说明书中描述的顺序按时间顺序执行，或者使得处理并行地或在诸如发出调用时的所需定时单独地执行。也就是说，只要不存在不一致性，则可以以与上述顺序不同的顺序执行各步骤的处理。此外，在描述程序的步骤处的处理可以与其他程序的处理并行地执行，或者可以与其他程序的处理组合地执行。

只要不存在不一致性，本说明书中描述的多个本技术中的每一个都可以单独独立地实现。不言而喻，还可以通过组合任意多个本技术来实现。例如，在任何实施例中描述的本技术的一部分或全部可以与在其他实施例中描述的本技术的一部分或全部组合地实现。此外，上述本技术的任意部分或全部可以与上述未描述的其他技术组合实现。

本技术还可以具有以下配置。

(1)一种成像装置，包括：

成像元件，设置有：

多个像素输出单位，其接收不经由成像透镜或针孔中的任何一个入射的入射光，并且每个像素输出单位输出一个指示由入射光的入射角调制的输出像素值的检测信号；以及

信号处理单元，被设置为与形成有所述多个像素输出单位中的至少两个像素输出单位的区域相关联，所述信号处理单元对从形成在所述区域中的像素输出单位读取的信号进行处理并获得输出像素值；以及

读取控制单元，其选择性地读取所述成像元件的各像素输出单位的输出像素值。

(2)一种选择性地读取成像元件的各像素输出单位的输出像素值的成像方法，所述成像元件设置有：

多个像素输出单位，其接收不经由成像透镜或针孔中的任何一个入射的入射光，并且每个像素输出单位输出一个指示由入射光的入射角调制的输出像素值的检测信号；以及

信号处理单元，被设置为与形成有所述多个像素输出单位中的至少两个像素输出单位的区域相关联，所述信号处理单元对从形成在所述区域中的像素输出单位读取的信号进行处理并获得输出像素值。

(3)一种成像元件，包括：

多个像素输出单位，其接收不经由成像透镜或针孔中的任何一个入射的入射光，并且每个像素输出单位输出一个指示由入射光的入射角调制的输出像素值的检测信号；以及

信号处理单元，被设置为与形成有所述多个像素输出单位中的至少两个像素输出单位的区域相关联，所述信号处理单元对从形成在所述区域中的像素输出单位读取的信号进行处理并获得输出像素值。

(4)根据(3)所述的成像元件，

其中，从多个区域各自的预定像素输出单位读取信号，以及

与所述多个区域中的每一个相关联的各信号处理单元对从与该信号处理单元相对应的区域的像素输出单位读取的信号进行处理。

(5)根据(4)所述的成像元件，

其中，各区域的像素输出单位是区域中读取信号首先被读取的像素输出单位。

(6)根据(4)或(5)所述的成像元件，

其中，各区域中的各像素输出单位的信号读取顺序相同。

(7)根据(4)至(6)中任一项所述的成像元件，

其中，各个区域的像素输出单位的整个集合具有与像素区的整个像素输出单位群的入射角指向性等同的入射角指向性，所述入射角指向性指示相对于来自被摄体的入射光的入射角的指向性。

(8)根据(3)至(7)中任一项所述的成像元件，

其中，从多个区域中的预定部分区域的每个像素输出单位读取信号，以及

与所述部分区域相关联的信号处理单元对从与该信号处理单元相对应的区域的各像素输出单位读取的信号进行处理。

(9)根据(8)所述的成像元件，

其中，从中读取信号的区域的整个像素输出单位群具有与像素区的整个像素输出单位群的入射角指向性等同的入射角指向性，所述入射角指向性指示相对于来自被摄体的入射光的入射角的指向性。

(10)根据(8)所述的成像元件，

其中，从中读取信号的区域的整个像素输出单位群具有与像素区的整个像素输出单位群的入射角指向性不同的入射角指向性，所述入射角指向性指示相对于来自被摄体的入射光的入射角的指向性。

(11)根据(10)所述的成像元件，

其中，从中读取信号的区域的各像素输出单位的入射角指向性都垂直于像素区。

(12)根据(10)或(11)所述的成像元件，

其中，预定区域的整个像素输出单位群的视场的大小与其他区域或像素区的整个像素输出单位群的视场的大小不同。

(13)根据(10)至(12)中任一项所述的成像元件，

其中，预定区域的整个像素输出单位群的视场的方向与其他区域或像素区的整个像素输出单位群的视场的方向不同。

(14)根据(3)至(13)中任一项所述的成像元件，

其中，从多个区域的每个像素输出单位读取信号，以及

与所述多个区域的每一个相关联的信号处理单元对从与该信号处理单元相对应的区域的各像素输出单位读取的信号进行处理。

(15)根据(3)至(14)中任一项所述的成像元件，

其中，所述信号处理单元通过对从与该信号处理单元相对应的区域的像素输出单位读取的信号进行a/d转换来获得输出像素值。

(16)根据(3)至(15)中任一项所述的成像元件，

其中，配置是能够针对每个像素输出单位独立地设置入射角指向性的配置，所述入射角指向性指示输出像素值的相对于来自被摄体的入射光的入射角的指向性。

(17)根据(3)至(16)中任一项所述的成像元件，

其中，配置是能够针对每个像素输出单位独立地设置入射角指向性的配置，所述入射角指向性指示相对于来自被摄体的入射光的入射角的指向性。

(18)根据(3)至(17)中任一项所述的成像元件，

其中，所述多个像素输出单位能够通过使对输出有贡献的光电二极管pd彼此不同，来针对每个像素输出单位独立地设置入射角指向性，所述入射角指向性指示输出像素值的相对于来自被摄体的入射光的入射角的指向性。

附图标记列表

100成像装置

120成像单元

121成像元件

122读取控制单元

123复原矩阵设置单元

124复原单元

125关联单元

126传感器单元

301上基板

302下基板

311像素区域

312区域

313垂直扫描单元

314水平扫描单元

321区域adc

322数字信号处理单元

323定时生成单元

324dac

331比较单元

332锁存单元

401-403区域

500监视系统

511监视相机

512线缆

513服务器