复眼摄像装置的制作方法
本发明涉及复眼摄像装置。具体地，本发明涉及生成图像数据的复眼摄像装置。
背景技术：
传统地，存在着对被摄对象进行摄像并生成图像数据的摄像装置。例如，拥有一个光学系统的诸如数码照相机和数码摄影机等摄像装置已经变得普及。
此外，例如，已经提出了拥有多个光学系统的复眼摄像装置(例如，参见专利文献1)。
引用列表
专利文献
专利文献1：日本专利申请特开第2001-61109A号公报
技术实现要素：
要解决的技术问题
在上述的传统技术中，图像信号(图像数据)是由与多个光学系统对应的多个小眼(facet)中的各个小眼生成的。而且，通过使用由所述多个小眼中的各个小眼生成的图像信号(图像数据)而生成了输出图像。
以这种方式，所述输出图像是通过使用由所述多个小眼中的各个小眼生成的图像信号(图像数据)而被生成的，因此，重要的是需要提高该输出图像的图像质量。
鉴于上述这一情形而创造出了本发明，并且本发明旨在提高图像质量。
解决技术问题的技术方案
本发明是为了解决上述问题而被做出的。根据本发明的第一方面，提供了一种复眼摄像装置，其包括：多个小眼光学系统，它们被配置成面对着被摄对象以二维状布置着；摄像元件，它被配置成包括以各个小眼为单位而设置的多个像素，所述多个像素接收由所述小眼光学系统聚集的光并且生成图像信号；以及信号处理部，它被配置成基于由所述摄像元件生成的所述图像信号而生成对应于所述被摄对象的图像。因此，产生了如下的效果：能够基于由具有以各个小眼为单位而设置的多个像素的摄像元件生成的图像信号，来生成对应于被摄对象的图像。
根据第一方面，可以通过使所述小眼光学系统的光轴的位置移位来执行空间像素移位。因此，产生了能够通过使小眼光学系统的光轴的位置移位来执行空间像素移位的效果。
根据第一方面，所述信号处理部可以校正由所述小眼光学系统的倍率色差(chromatic aberration of magnification)引起的在焦平面上的周边部中与颜色对应地发生的像偏移(image shift)。因此，产生了能够校正由小眼光学系统的倍率色差引起的在焦平面上的周边部中与颜色对应地发生的像偏移的效果。
根据第一方面，所述多个小眼光学系统之中的至少一个小眼光学系统可以具有与其它小眼光学系统不同的光学特性。因此，产生了能够使用其中多个小眼光学系统之中的至少一个小眼光学系统的光学特性与其它小眼光学系统的光学特性不同的复眼摄像装置的效果。
根据第一方面，位于所述摄像元件的周边部中的小眼光学系统的F值(f-number)可以小于其他小眼光学系统的F值。因此，产生了能够使用其中位于摄像元件的周边部中的小眼光学系统的F值小于其他小眼光学系统的F值的复眼摄像装置的效果。
根据第一方面，所述复眼摄像装置可以由晶圆级相机模块(WLCM：wafer level camera module)和堆叠型复眼摄像装置构成，并且所述小眼的数量可以增大得超过阈值。因此，产生了能够使用其中让小眼的数量在阈值的基础上变多的复眼摄像装置的效果。
根据第一方面，所述复眼摄像装置还可以包括控制部，所述控制部被配置成执行如下动作中的至少一者：停止所述多个小眼之中的没有使用的小眼的驱动；以及关闭被安装于所述没有使用的小眼中的模数转换器(ADC：analog to digital converter)。因此，产生了能够执行使小眼的驱动停止和使ADC关闭这两者中的至少一者的效果。
根据第一方面，所述多个小眼之中的至少一个小眼中可以设置有距离传感器。因此，产生了能够使用设置于多个小眼之中的至少一个小眼中的距离传感器的效果。
根据第一方面，所述多个小眼之中的至少一个小眼可以具有与其他小眼不同的偏光角度(polarization angle)。因此，产生了能够使用其中多个小眼之中的至少一个小眼的偏光角度与其他小眼的偏光角度不同的复眼摄像装置的效果。
根据第一方面，所述多个小眼之中的至少一个小眼可以具有与其他小眼不同的光谱感光度(spectral sensitivity)。因此，产生了能够使用其中多个小眼之中的至少一个小眼的光谱感光度与其他小眼的光谱感光度不同的复眼摄像装置的效果。
根据第一方面，所述多个小眼之中的至少一个小眼可以由与其他小眼不同的材料制成。因此，产生了能够使用其中多个小眼之中的至少一个小眼由与其他小眼不同的材料制成的复眼摄像装置的效果。
根据第一方面，所述摄像元件可以是通过将单片化(singulated)芯片并排地布置为一个伪芯片(pseudo-chip)、且添加多透镜阵列(MLA：multi lens array)而被制造的。因此，产生了能够使用通过将单片化芯片并排地布置为一个伪芯片、且通过添加MLA而被制造出来的摄像元件的效果。
根据第一方面，所述摄像元件可以是通过平铺(tiling)而被制造的。因此，产生了能够使用通过平铺而被制造出来的摄像元件的效果。
根据第一方面，所述摄像元件可以包括多个层，所述多个层用于获取沿着光的入射方向在同一像素处不同的颜色信息。因此，产生了如下的效果：能够通过使用由用于获取沿着光的入射方向在同一像素处不同的颜色信息的多个层组成的摄像元件，来生成图像。
根据第一方面，所述复眼摄像装置还可以包括像距调节部，所述像距调节部被配置成调节各个所述小眼的像距(从透镜到成像面的距离)。因此，产生了能够调节各个小眼的像距的效果。
根据第一方面，各个所述小眼的聚焦状态可以有所变化。因此，产生了能够改变各个小眼的聚焦状态的效果。
根据第一方面，可以针对各个所述小眼而分别设定不同的焦距。因此，产生了能够针对各个小眼而分别设定不同焦距的效果。
根据第一方面，所述复眼摄像装置还可以包括保持部，所述保持部被配置成保持与所述小眼光学系统的光学特性有关的光学特性信息。所述信号处理部可以通过利用所保持的所述光学特性信息来执行信号处理，由此生成对应于所述被摄对象的所述图像。因此，产生了能够通过利用所保持的光学特性信息来执行信号处理从而生成对应于被摄对象的图像的效果。
根据第一方面，所述信号处理部可以通过使用由所述摄像元件生成的所述图像信号之中的在执行时间响应校正处理之前的图像信号和在执行所述时间响应校正处理之后的图像信号这两者来生成图像。因此，产生了如下的效果：能够通过使用由摄像元件生成的图像信号之中的在执行时间响应校正处理之前的图像信号和在执行所述时间响应校正处理之后的图像信号这两者，来生成图像。
根据第一方面，针对由所述摄像元件生成的所述图像信号，所述信号处理部可以校正由所述摄像元件的光电转换的时间响应特性引起的差异。因此，产生了如下的效果：针对由摄像元件生成的图像信号，能够校正由所述摄像元件的光电转换的时间响应特性引起的差异。
本发明的有益效果
根据本发明，可以实现能够提高图像质量的显著效果。应当注意的是，这里所说明的效果并非必须是限制性的，而是可以表现出在本说明书中披露的任何效果。
附图说明
图1是示出了作为本发明基础的复眼摄像装置10的构造示例的图。
图2是示出了从由作为本发明基础的复眼摄像装置生成的复眼图像导出重构图像的示例的图。
图3是示出了从由作为本发明基础的复眼摄像装置生成的复眼图像提取距离信息的示例的图。
图4是简单示出了作为本发明基础的图像传感器的顶视图和截面图的图。
图5是简单示出了作为本发明基础的图像传感器的顶视图和截面图的图。
图6是简单示出了作为本发明基础的图像传感器的顶视图和截面图的图。
图7是简单示出了作为本发明基础的图像传感器的顶视图和截面图的图。
图8是简单示出了作为本发明基础的图像传感器的顶视图和截面图的图。
图9是示出了根据本发明第一实施例的复眼摄像装置100的功能构造示例的框图。
图10是简单示出了根据本发明第一实施例的复眼摄像部110中的图像传感器的图。
图11是简单示出了根据本发明第一实施例的复眼摄像部110中的图像传感器的图。
图12是简单示出了根据本发明第一实施例的复眼摄像部110中的图像传感器的图。
图13是简单示出了根据本发明第二实施例的复眼摄像装置中的图像传感器的图。
图14是简单示出了根据本发明第二实施例的复眼摄像装置中的图像传感器的图。
图15是简单示出了根据本发明第二实施例的复眼摄像装置中的图像传感器的图。
图16是简单示出了根据本发明第二实施例的复眼摄像装置中的图像传感器的图。
图17是简单示出了根据本发明第二实施例的复眼摄像装置中的图像传感器的图。
图18是示出了根据本发明第三实施例的复眼摄像部110的截面的图。
图19是示出了根据本发明第四实施例的复眼摄像部110的截面的图。
图20是示出了根据本发明第四实施例的复眼摄像部110的截面的图。
图21是示出了根据本发明第四实施例的复眼摄像部110的截面的图。
图22是示出了根据本发明第五实施例的复眼摄像部110的构造示例的图。
图23是示出了根据本发明第五实施例的复眼摄像部110的构造示例的图。
图24是示出了根据本发明第五实施例的复眼摄像部110的构造示例的图。
图25是示意性地示出了根据本发明第五实施例的由复眼摄像装置进行的图像处理的示例的图。
图26是示出了根据本发明第六实施例的复眼摄像部110的构造示例的图。
图27是示出了根据本发明第六实施例的复眼摄像部110的构造示例的图。
图28是示出了根据本发明第六实施例的复眼摄像部110的构造示例的图。
图29是示出了根据本发明第六实施例的复眼摄像部110的构造示例的图。
图30是示出了根据本发明第七实施例的复眼摄像部110的构造示例的图。
图31是示出了根据本发明第八实施例的复眼摄像部110的构造示例的图。
图32是示出了根据本发明第八实施例的复眼摄像部110的构造示例的图。
图33是示出了根据本发明第八实施例的复眼摄像部110的构造示例的图。
图34是示出了根据本发明第九实施例的复眼摄像装置的构造示例的图。
图35是示出了根据本发明第十实施例的复眼摄像部110的构造示例的图。
图36是示出了根据本发明第十实施例的复眼摄像部110的构造示例的图。
图37是示出了根据本发明第十实施例的复眼摄像部110的构造示例的图。
图38是示出了根据本发明第十实施例的复眼摄像部110的构造示例的图。
图39是示出了根据本发明第十实施例的复眼摄像部110的构造示例的图。
图40是示出了根据本发明第十一实施例的复眼摄像部110的构造示例的图。
图41是示出了根据本发明第十三实施例的在复眼摄像部110中使用的全局快门CMOS图像传感器400的构造示例的图。
图42是示出了根据本发明第十四实施例的在复眼摄像部110中使用的背面照射型CMOS图像传感器的构造示例的图。
图43是示出了根据本发明第十五实施例的在复眼摄像部110中使用的堆叠型图像传感器的构造示例的图。
图44是示出了根据本发明第十六实施例的包括距离传感器的图像传感器的示例的截面图。
图45是示出了根据本发明第十七实施例的包括偏光器阵列(polarizer array)451的图像传感器的示例的分解立体图。
图46示出了根据本发明第十八实施例的在复眼摄像部110中存在着具有不同的光谱感光度的小眼的情况的示例。
图47示出了根据本发明第十九实施例的复眼摄像部110中的传感器对可见光以外的光具有感光度的情况的示例。
图48是示出了根据本发明第十九实施例的用于构成复眼摄像部110的光电转换材料的示例的图。
图49是示出了根据本发明第二十实施例的复眼摄像部110的截面的图。
图50是示出了根据本发明第二十一实施例的复眼摄像部110的外观的顶视图。
图51是示出了根据本发明第二十二实施例的复眼摄像部110的外观的顶视图。
图52是示出了根据本发明第二十五实施例的复眼摄像装置600的外观的顶视图。
图53是示出了根据本发明第二十六实施例的复眼摄像装置610的截面的截面图。
图54是示出了根据本发明第二十七实施例的复眼摄像装置620的截面图。
图55是示出了根据本发明第二十八实施例的复眼摄像装置630的顶视图。
图56是示出了根据本发明第二十九实施例的复眼摄像部110的截面的截面图。
图57是示出了根据本发明第二十九实施例的复眼摄像部110的截面的截面图。
图58是示出了根据本发明第二十九实施例的复眼摄像部110的截面的截面图。
图59是示出了根据本发明第三十实施例的复眼摄像部110的截面的截面图。
图60是示出了根据本发明第三十实施例的复眼摄像部110的截面的截面图。
图61是示出了根据本发明第三十实施例的复眼摄像部110的截面的截面图。
图62是示出了根据本发明第三十实施例的复眼摄像部110的截面的截面图。
图63是示出了根据本发明第三十实施例的从复眼摄像部110输出的图像信号的输出波形的图。
图64是示出了根据本发明第三十实施例的从复眼摄像部110输出的图像信号的输出波形的图。
图65是示出了根据本发明第三十实施例的在复眼摄像部110中使用的堆叠型图像传感器的构造示例的图。
图66是示出了根据本发明第三十一实施例的复眼摄像部110的截面的截面图。
图67是示出了根据本发明第三十一实施例的复眼摄像部110的截面的截面图。
图68是示出了根据本发明第三十一实施例的复眼摄像部110的截面的截面图。
图69是示出了根据本发明第三十一实施例的复眼摄像部110的截面的截面图。
图70是示出了根据本发明第三十一实施例的复眼摄像部110的截面的截面图。
图71是示出了根据本发明第三十二实施例的复眼摄像部110的截面的截面图。
图72是示出了根据本发明第三十二实施例的复眼摄像部110的截面的截面图。
图73是示出了根据本发明第三十三实施例的复眼摄像部110的截面的截面图。
图74是示出了根据本发明第三十三实施例的复眼摄像部110的截面的截面图。
图75是示出了根据本发明第三十五实施例的从复眼摄像部110输出的图像信号的输出波形的图。
图76是示出了根据本发明第三十六实施例的从复眼摄像部110输出的图像信号的输出波形的图。
具体实施方式
在下文中，将会说明用于实施本发明的实施方式(在下文中，称为“实施例”)。将按照下列顺序提供说明。
1.第一实施例(改变各个彩色滤光片(光学滤波器)中的像素的有效开口的示例)
2.第二实施例(通过使小眼的光轴位置移位来执行空间像素移位的示例)
3.第三实施例(在信号处理中校正小眼透镜的倍率色差的示例)
4.第四实施例(根据由小眼透镜的轴向色差造成的焦距差异来对小眼进行光学设计的示例)
5.第五实施例(一个小眼配置有多个子小眼的示例)
6.第六实施例(将多个小眼透镜之中的至少一个小眼透镜配置成具有不同的光学特性和结构的示例)
7.第七实施例(针对各个小眼执行瞳孔校正的示例)
8.第八实施例(通过减小具有空余空间的周边光学系统的F值来改善阴影(shading)特性的示例)
9.第九实施例(通过增加晶圆级相机模块(WLCM)和堆叠型复眼摄像装置中的小眼的数量来提高感光度的示例)
10.第十实施例(通过在WLCM中设置具有不同感光度的小眼来增大感光度和动态范围的示例)
11.第十一实施例(用多种读出方法执行从复眼摄像部的读出的示例)
12.第十二实施例(通过关闭小眼的驱动或关闭模数转换器(ADC)来降低电力消耗的示例)
13.第十三实施例(使用全局快门CMOS(互补金属氧化物半导体：complementary metal oxide semiconductor)图像传感器的示例)
14.第十四实施例(使用背面照射型CMOS图像传感器的示例)
15.第十五实施例(使用堆叠型图像传感器的示例)
16.第十六实施例(在小眼中设置距离传感器的示例)
17.第十七实施例(提供具有不同偏光角度的小眼的示例)
18.第十八实施例(提供具有不同光谱感光度的小眼的示例)
19.第十九实施例(提供由对可见光以外的光具有感光度的传感器组成的小眼的示例)
20.第二十实施例(通过使用WLCM的视差(parallax)来计算距离信息的示例)
21.第二十一实施例(多个小眼之中的至少一个小眼由与其他小眼不同的材料制成的示例)
22.第二十二实施例(通过将单片化的图像传感器(摄像元件)的芯片并排地布置为一个伪芯片并且添加多透镜阵列(MLA)等来制造复眼摄像部的示例)
23.第二十三实施例(通过平铺(tiling)来制造复眼摄像部的示例)
24.第二十四实施例(通过平铺、减薄、重新布线和层间连接来制造复眼摄像部的示例)
25.第二十五实施例(有多个复眼摄像部并排布置着并且拍摄图像的摄像装置的示例)
26.第二十六实施例(通过改变各小眼或多个复眼摄像部并排布置的表面或角度来制造复眼摄像装置的示例)
27.第二十七实施例(通过使减薄后的复眼摄像装置贴合到基准面来使复眼摄像装置弯曲、或者改变小眼的基准面且改变小眼的光轴的示例)
28.第二十八实施例(当各小眼(或多个复眼摄像部)被连接时检测各小眼(或多个复眼摄像部)的相对位置之间的偏差、倾斜和变形的大小的示例)
29.第二十九实施例(摄像元件的光接收表面在各个小眼中都具有凹陷形状的示例)
30.第三十实施例(由多个层组成的摄像元件的示例，所述多个层用于获取沿光的入射方向在同一像素处有所变化而不同的颜色信息)
31.第三十一实施例(具有用于调节各个小眼的像距的像距调节部的复眼摄像装置的示例)
32.第三十二实施例(改变各个小眼的聚焦状态的复眼摄像装置的示例)
33.第三十三实施例(针对各个小眼设定不同焦距的复眼摄像装置的示例)
34.第三十四实施例(保持关于小眼光学系统的光学特性的信息(光学特性信息)并且在信号处理中使用该光学特性信息的复眼摄像装置的示例)
35.第三十五实施例(既使用在时间响应校正前的图像信号又使用在时间响应校正后的图像信号的复眼摄像装置的示例)
36.第三十六实施例(校正光电转换的时间响应特性中的差异的复眼摄像装置的示例)
1.第一实施例
[摄像装置的构造示例]
图1是示出了作为本发明基础的复眼摄像装置10的构造示例的图。而且，图1还示出了作为复眼摄像装置10的比较例的、单眼摄像装置20的构造示例。换言之，图1中的a示出了复眼摄像装置10的构造示例，并且图1中的b示出了单眼摄像装置20的构造示例。为了便于说明，各个构造在图1的a和b中是被简化地示出的。
图1中的a所示的复眼摄像装置10是包括多个小眼透镜11至14的一种照相机。由多个小眼透镜11至14中的各个小眼透镜聚集的光被图像传感器(摄像元件)15接收。然后，由图像传感器15进行光电转换而得到的图像信号通过信号处理部16而受到信号处理。由于该信号处理，基于由多个小眼透镜11至14中的各个小眼透镜聚集的光而生成了一个图像并且输出这一个图像。
图1中的b所示的单眼摄像装置20是包括一个透镜21的一种照相机。由透镜21聚集的光被图像传感器22接收。然后，由图像传感器22进行光电转换而得到的图像信号通过信号处理部23而受到信号处理。由于该信号处理，基于由透镜21聚集的光而生成了一个图像并且输出这一个图像。
在这里，复眼摄像装置10的主要优势是：与单眼摄像装置20相比，能够缩短从透镜(小眼透镜)的表面到图像传感器的距离。为此，例如，能够减薄照相机的厚度。另外，能够通过使用由多个小眼造成的视差等来提取从照相机到被摄对象的距离信息。而且，通过基于复眼摄像装置10的结构对由小眼获得的图像信息执行信号处理，能够获得比小眼的分辨率更高的分辨率。
在复眼摄像装置10的这些优势之中，将会参照图2详细说明通过基于复眼摄像装置10的结构对由小眼获得的图像信息执行信号处理来获得比小眼的分辨率更高的分辨率的方法。
[从复眼图像导出重构图像的示例]
图2是示出了从由作为本发明基础的复眼摄像装置生成的复眼图像导出重构图像的示例的图。图2示出了在垂直方向上安装有三个小眼透镜17至19的复眼摄像装置的示例。
例如，可以通过使用下面的公式来计算x0。
x0＝{(ix/r resolution)×r height}+(r bottom×xs)＝{(xc-x0)×fs/d}+xc
通过使用利用这个公式计算得出的x0，可以从复眼图像导出重构图像。
[从复眼图像提取距离信息的示例]
图3是示出了从由作为本发明基础的复眼摄像装置生成的复眼图像提取距离信息的示例的图。
例如，可以通过使用由多个小眼造成的视差等来提取从复眼摄像装置到被摄对象的距离信息。例如，使用了在模式A和模式B中的各个模式下生成的图像数据，在模式A中是通过使用九个小眼来执行摄像操作，在模式B中是通过使用两个小眼来执行摄像操作。
然后，针对在模式A中生成的图像数据和在模式B中生成的图像数据，设定多个虚拟距离(virtual distance)，并且生成重构图像。随后，对这个图像数据执行差分计算，并且提取最小的虚拟距离，因而能够基于该虚拟距离来计算距离信息。
[计算有效开口的示例]
接着，将参照附图来说明图像传感器的有效开口和有效开口率。
有效开口表示像素中的能够有效地接收入射光的面积。例如，在前侧型图像传感器中，即使当像素中的光电二极管的开口面积小时，也可以通过安装片上透镜(on-chip lens)来获得与像素面积相似的有效开口。另外，例如，关于背侧型图像传感器，即使当没有片上透镜时，也可以使有效开口与像素面积相似。
图4至图8是示出了作为本发明基础的图像传感器的简化的顶视图和截面图的图。图4至图8中的a示出了图像传感器的顶视图，并且图4至图8中的b示出了图像传感器的截面图。
在图4至图8的a中，以二维方式设置的多个矩形表示像素。另外，在图4至图8的b中，虚线的多个矩形表示像素。另外，在图5的b和图8的b中，着色为黑色的多个矩形表示遮光膜(例如，41和44)。而且，在图6至图8的b中，多个半圆形表示片上透镜(例如，42、43和45)。
另外，px表示像素在水平方向上的长度。而且，py表示像素在垂直方向上的长度。另外，W表示有效开口在水平方向上的长度。而且，H表示有效开口在垂直方向上的长度。在这种情况下，有效开口面积Sa能够被计算为Sa＝W×H，并且像素面积Sp能够被计算为Sp＝px×py。
另外，有效开口率表示有效开口面积与像素面积的比。如图4所示，当可以将像素和有效开口的形状图示为矩形时，有效开口率G能够利用下面的公式表达。
G＝Sa/Sp＝(W×H)/(Px×Py)
在这里，图4示出了如同背侧型图像传感器这样具有100％的像素开口率的图像传感器的示例。
另外，图5示出了通过为背侧型图像传感器设置有用于抑制混色的像素间遮光膜(遮光膜41)而使像素开口率变得小于100％的图像传感器的示例。
另外，图6示出了通过为背侧型图像传感器设置有用于抑制混色的片上透镜42而保持了100％的像素开口率的图像传感器的示例。
而且，图7示出了通过为背侧型图像传感器设置有用于抑制混色且小于像素面积的片上透镜43而使像素开口率变得小于100％的图像传感器的示例。
另外，图8示出了通过为背侧型图像传感器设置有用于抑制混色的像素间遮光膜(遮光膜44)并且进一步设置有小于像素面积的片上透镜45而使像素开口率变得小于100％的图像传感器的示例。
1.第一实施例
本发明的第一实施例示出了改变各个彩色滤光片(光学滤波器)中的像素的有效开口的示例。
[复眼摄像装置的构造示例]
图9是示出了根据本发明第一实施例的复眼摄像装置100的功能构造示例的框图。
复眼摄像装置100包括复眼摄像部110、信号处理部120、控制部130、显示部140、存储部150、操作接收部160以及无线通信部170。虽然图9示出了复眼摄像装置100包括显示部140、操作接收部160和无线通信部170的示例，但是复眼摄像装置100可以被配置成没有这些部件之中的至少一个部件。另外，例如，复眼摄像装置100中可以设置有与外部设备交换数据的接口。在这种情况下，例如，复眼摄像装置100能够致使通过所述接口而被连接的外部设备(例如，显示装置)输出信息(例如，图像显示)。而且，例如，复眼摄像装置100能够获取已经输入到通过所述接口而被连接的外部设备(例如，输入装置)的信息(例如，与用户的操作输入有关的信息)。另外，例如，由于具有通过所述接口而被连接的外部设备(例如，无线通信装置)，复眼摄像装置100能够通过使用无线通信而与另一个装置交换信息(例如，图像信息)。
复眼摄像部110基于控制部130的控制对被摄对象进行摄像从而生成图像信号(图像数据)，并且将所生成的图像信号输出至信号处理部120。例如，复眼摄像部110包括多个小眼光学系统(小眼透镜)、摄像元件(图像传感器)和彩色滤光片。在这里，小眼光学系统(小眼透镜)面对着被摄对象以二维状布置着。另外，摄像元件(图像传感器)包括以各个小眼为单位而设置的多个像素，该多个像素接收由小眼光学系统聚集的光并生成图像信号。而且，彩色滤光片被安装在各个小眼中。将在本发明的第一实施例和其他实施例中详细说明复眼摄像部110的构造。
信号处理部120基于控制部130的控制而对由复眼摄像部110生成的图像信号(图像数据)执行预定信号处理，并且将已经经受了信号处理的图像数据输出至显示部140或存储部150。换言之，信号处理部120基于由复眼摄像部110生成的图像信号(图像数据)而生成对应于被摄对象的图像。
控制部130基于控制程序来控制复眼摄像装置100中的各个部件。
显示部140基于已经受到由信号处理部120执行的信号处理的图像数据而显示出图像。
存储部150存储已经受到由信号处理部120执行的信号处理的图像数据。
操作接收部160是这样的操作接收部：其接收用户操作，并且将与所接收的用户操作对应的控制信号输出至控制部130。
无线通信部170基于控制部130的控制且通过使用无线通信向另一个装置发送各条信息(例如，图像数据)并且从另一个装置接收各条信息(例如，图像数据)。在这里，对于无线通信，例如可以使用无线局域网(LAN：local area network)。借助于该无线LAN，例如，能够采用Wi-Fi(无线保真：wireless fidelity)。另外，对于无线通信，例如可以使用蓝牙(Bluetooth，有注册商标)、近场通信(NFC：near field communication)、红外线、和蜂窝电话用的电波等。
[改变各个彩色滤光片中的像素的有效开口的示例]
图10至图12是简单示出了根据本发明第一实施例的复眼摄像部110中所包括的图像传感器的图。在图10至图12中，示出了复眼摄像部110中所包括的图像传感器的顶视图。
图10至图12示出了配置有多个(3×3)小眼的图像传感器的示例。另外，图10至图12示出了在该图像传感器的周围放置有用于指明所述多个小眼的行号1至3和列号1至3。
另外，在图10至图12中，各个像素由虚线矩形表示，并且有效开口由实线矩形表示。换言之，在表示各个像素的虚线矩形中示出了表示有效开口的实线矩形。而且，在图10至图12中，在各个小眼上示出了表示小眼透镜的圆圈。
在本发明的实施例中，为了便于说明，示出了在各个小眼(或子小眼(如图22至图24中所示))中仅设置一个小眼透镜的示例。然而，在各个小眼(或子小眼)中可以设置由多个透镜构成的光学系统。
[使用红色滤光片、绿色滤光片和蓝色滤光片的示例]
图10和图11示出了使用红色滤光片、绿色滤光片和蓝色滤光片的示例。
[使蓝色滤光片的有效开口最大并且使绿色滤光片的有效开口最小的示例]
图10示出了这样的示例：在该示例中，在由多个(3×3)小眼构成且具有矩形形状的图像传感器中设置有绿色滤光片201至205、红色滤光片206和207以及蓝色滤光片208和209。具体地，在该示例中，在具有矩形形状的该图像传感器中，绿色滤光片201至205被设置于对角线上，并且红色滤光片206和207所在的直线与蓝色滤光片208和209所在的直线垂直相交。在图10中，为了便于说明，在各个小眼上在白色矩形框中示出了各个滤光片的名字。
图10示出了这样的示例：在该示例中，蓝色滤光片208和209的有效开口最大，红色滤光片206和207的有效开口具有第二大的值，并且绿色滤光片201至205的有效开口最小。
另外，图10示出了各种颜色的彩色滤光片以位于芯片上(on-chip)的方式处于图像传感器中的情况或各种颜色的彩色滤光片与图像传感器邻近的情况的示例。另外，图10示出了各种颜色的彩色滤光片与小眼透镜或光阑(diaphragm)邻近的情况的示例。
[使红色滤光片的有效开口最大并且使蓝色滤光片的有效开口最小的示例]
图11示出了这样的示例：在该示例中，在配置有多个(3 3)小眼且具有矩形形状的图像传感器中，蓝色滤光片211至215被设置于对角线上，并且红色滤光片218和219所在的直线与绿色滤光片216和217所在的直线垂直相交。
图11示出了这样的示例：在该示例中，红色滤光片218和219的有效开口最大，绿色滤光片216和217的有效开口具有第二大的值，并且蓝色滤光片211至215的有效开口最小。
另外，图11示出了各种颜色的彩色滤光片以位于芯片上的方式处于图像传感器中的情况或各种颜色的彩色滤光片与图像传感器邻近的情况的示例。而且，图11示出了各种颜色的彩色滤光片与小眼透镜或光阑邻近的情况的示例。
[使用青色滤光片、品红色滤光片、黄色滤光片和绿色滤光片的示例]
图12示出了使用青色(cyan)滤光片、品红色(magenta)滤光片、黄色滤光片和绿色滤光片的示例。
[使品红色滤光片的有效开口最大并且使黄色滤光片的有效开口最小的示例]
图12示出了这样的示例：在该示例中，在配置有多个(3×3)小眼且具有矩形形状的图像传感器中，呈V形的品红色滤光片221至223和呈V形的绿色滤光片224至226以彼此相反的方式布置着。另外，在该示例中，黄色滤光片229被布置在中央处，并且青色滤光片227和228以及黄色滤光片229交替地被布置在同一直线上。
图12示出了这样的示例：在该示例中，品红色滤光片221至223的有效开口最大，绿色滤光片224至226的有效开口具有第二大的值，青色滤光片227和228的有效开口具有第三大的值，并且黄色滤光片229的有效开口最小。
另外，图12示出了各种颜色的彩色滤光片以位于芯片上的方式处于图像传感器中的情况或各种颜色的彩色滤光片与图像传感器邻近的情况的示例。而且，图12示出了各种颜色的彩色滤光片与小眼透镜或光阑邻近的情况的示例。
[用于校正视差的图像处理的示例]
在这里，将会说明当图像传感器中的各个彩色滤光片中的像素的有效开口发生变化时用于校正视差的图像处理方法的示例。
如上所述，因为复眼摄像装置100是由多个小眼组成的结构，所以在某些情况下，根据被摄对象的距离而在小眼之间会发生视差。于是，当小眼之间发生视差时，如果在没有校正视差的情况下将图像作为复眼摄像装置的输出信号而输出，那么该图像就会变得好像是把与具有视差的小眼的数量对应的数量的图像重叠起来，并且该图像变成不自然的图像。
因此，通过对从这些小眼获得的具有视差的原始数据(raw data)执行信号处理并且校正该视差，能够获得自然的图像信息。另外，该自然的图像信息能够成为由复眼摄像装置获得的图像。
首先，将会描述像素输出的差的计算示例。例如，在下面的公式1中描述了第i行第j列的小眼中的第k行第l列的像素输出与第I行第J列的小眼中的第k行第l列的像素输出之间的差δijkl。换言之，δijkl表示第i行第j列的小眼中的第k行第l列的像素输出与另一个小眼(第I行第J列的小眼)中的第k行第l列的像素输出之间的差。
δijkl＝Sijkl–SIJkl 公式1
在这里，Sijkl表示各个小眼的输出信号。而且，i表示图像传感器中的小眼的行号。另外，j表示图像传感器中的小眼的列号。而且，k表示小眼中的像素的行号。另外，l表示小眼中的像素的列号。而且，I表示输出图像中的小眼的行号。另外，J表示输出图像中的小眼的列号。
例如，当不存在视差时或当视差的大小能够被忽略时，δijkl是零或非常接近于零的数值。另一方面，当存在视差时，δijkl不是零，而是一个有限数值。
接下来，将会描述视差的校正示例。
在下面的公式2中描述了第i行第j列的小眼中的与第k行第l列的像素相距ε行ζ列的像素的输出信号Sij(k+ε)(l+ζ)与第I行第J列的小眼中的第k行第l列的像素输出SIJkl之间的差δijkl。
δijkl＝Sij(k+ε)(l+ζ)–SIJkl 公式2
计算出用于使通过使用公式2而计算得出的δijkl最小的ε和ζ。然后，用第i行第j列的小眼中的第k行第l列的像素输出取代第i行第j列的小眼中的第(k+ε)行第(l+ζ)列的像素输出。另外，用第I行第J列的小眼中的第(k+ε)行第(l+ζ)列的像素输出取代第i行第j列的小眼中的第(k+ε)行第(l+ζ)列的像素输出。换言之，ε表示小眼中的像素行号的校正数。另外，ζ表示小眼中的像素列号的校正数。
通过执行这样的视差校正，能够使由复眼摄像装置执行了信号处理之后的图像变为不发生图像重叠的自然图像。
在本发明的第一实施例中，已经示出了使用R、G和B等可见光原色滤光片以及使用黄色(Ye)、青色(Cy)和品红色(Mg)等可见光互补色滤光片作为彩色滤光片(光学滤波器)的示例。然而，本发明的第一实施例也能够应用到使用其他彩色滤光片(光学滤波器)的情况。例如，本发明的第一实施例也能够应用到：整个可见光区域滤光片，例如白色(W)滤光片和透明(C)滤光片等；以及可见光以外的彩色滤光片(光学滤波器)，例如红外(Ir)滤光片等。
在这里，假设将复眼摄像装置的有效像素开口率设计成对于所有的光学滤波器是同样的。于是，当复眼摄像装置的有效像素开口率对于所有的光学滤波器都是一样时，像素的开口效果的空间频率特性(MTF：spatial frequency characteristic)变得在所有光学滤波器中都是一样。因此，由空间像素移位造成的MTF的高通特性(high-pass characteristics)的改善程度受到都是一样的这些MTF特性的限制。具体地，因为由开口效果造成的MTF的空指针(null point)在所有的光学滤波器中都是一样，所以存在着将会难以改善在空指针附近的空间频率的风险。
另外，当复眼摄像装置的有效像素开口率在所有的光学滤波器中都是一样时，存在着整个摄像元件的饱和电荷量将会由具有最高感光度的光学滤波器的像素的信号电荷设定的风险。因此，存在着动态范围(其是摄像元件特性)将会变窄的风险。
因此，在本发明的第一实施例中，各个彩色滤光片中的像素的有效开口发生变化。以这种方式，能够提高分辨率。另外，能够扩大作为摄像元件特性的动态范围。
2.第二实施例
本发明的第二实施例示出了通过使小眼的光轴的位置移位来执行空间像素移位的示例。
[通过使小眼的光轴的位置移位来执行空间像素移位的示例]
图13至图17是简单示出了根据本发明第二实施例的复眼摄像装置的图像传感器的图。在图13至图17中，像在图10至图12中一样，各个像素被简单示出为矩形，并且小眼透镜被简单示出为圆圈。另外，在图13至图17中，像在图10至图12中一样，示出了配置有多个(3×3)小眼且具有矩形形状的图像传感器的示例。
[使用红色滤光片、绿色滤光片和蓝色滤光片的示例]
图13至图17示出了使用红色滤光片、绿色滤光片和蓝色滤光片的示例。另外，图13至图17示出了其中红色滤光片、绿色滤光片和蓝色滤光片像图10中那样设置着的示例。
[使所有颜色沿对角线方向(同一方向)移位半个像素的示例]
图13示出了使所有颜色的彩色滤光片沿对角线方向(同一方向)移位半个像素的示例。
另外，图13示出了各种颜色的彩色滤光片以位于芯片上的方式处于图像传感器中的情况或各种颜色的彩色滤光片与图像传感器邻近的情况的示例。而且，图13示出了各种颜色的彩色滤光片与小眼透镜或光阑邻近的情况的示例。
例如，彩色滤光片之中的一部分彩色滤光片的小眼的光轴被沿对角线方向移位半个像素。在这种情况下，移位方向对于各种颜色都是同一方向。例如，图13示出了沿由箭头231至234表示的方向使四个小眼的光轴移位的示例。
[使所有颜色沿对角线方向(不同方向)移位半个像素的示例]
图14示出了使所有颜色的彩色滤光片沿对角线方向(不同方向)移位半个像素的示例。
另外，图14示出了各种颜色的彩色滤光片以位于芯片上的方式处于图像传感器中的情况或各种颜色的彩色滤光片与图像传感器邻近的情况的示例。而且，图14示出了各种颜色的彩色滤光片与小眼透镜或光阑邻近的情况的示例。
例如，彩色滤光片之中的一部分彩色滤光片的小眼的光轴沿对角线方向移位半个像素。在这种情况下，绿色滤光片的小眼的光轴沿相反的方向移位，并且红色滤光片和蓝色滤光片的小眼的光轴沿同一方向移位。例如，在图14中，绿色滤光片之中的一部分绿色滤光片、红色滤光片和蓝色滤光片的小眼的光轴沿由箭头241至244表示的方向(相同的方向)移位。另外，在图14中，绿色滤光片之中的一部分绿色滤光片的小眼的光轴沿由箭头245和246表示的方向(相反的方向)移位。
[使所有颜色沿对角线方向(同一方向)移位的示例]
图15示出了使所有颜色的彩色滤光片沿对角线方向(同一方向)移位的示例。
另外，图15示出了各种颜色的彩色滤光片以位于芯片上的方式处于图像传感器中的情况或各种颜色的彩色滤光片与图像传感器邻近的情况的示例。而且，图15示出了各种颜色的彩色滤光片与小眼透镜或光阑邻近的情况的示例。
例如，彩色滤光片之中的一部分彩色滤光片的小眼的光轴沿对角线方向移位半个像素。另外，彩色滤光片之中的一部分彩色滤光片的小眼的光轴沿对角线方向移位1/3像素或2/3像素。例如，绿色滤光片的小眼的光轴沿对角线方向移位1/3像素和2/3像素，并且红色滤光片和蓝色滤光片的小眼的光轴沿对角线方向移位半个像素。例如，在图15中，绿色滤光片之中的一部分绿色滤光片的小眼的光轴沿由箭头251和252表示的方向移位1/3像素。另外，绿色滤光片之中的一部分绿色滤光片的小眼的光轴沿由箭头253和254表示的方向移位2/3像素。而且，红色滤光片和蓝色滤光片的小眼的光轴沿由箭头255和256表示的方向移位半个像素。
[使所有颜色沿对角线方向(同一方向)移位的示例]
图16示出了使所有颜色的彩色滤光片沿对角线方向(同一方向)移位的示例。
另外，图16示出了各种颜色的彩色滤光片以位于芯片上的方式处于图像传感器中的情况或各种颜色的彩色滤光片与图像传感器邻近的情况的示例。而且，图16示出了各种颜色的彩色滤光片与小眼透镜或光阑邻近的情况的示例。
例如，彩色滤光片之中的一部分彩色滤光片的小眼的光轴沿对角线方向移位半个像素。另外，彩色滤光片之中的一部分彩色滤光片的小眼的光轴沿对角线方向移位1/5像素、2/5像素、3/5像素和4/5像素。例如，绿色滤光片的小眼的光轴沿对角线方向移位1/5像素、2/5像素、3/5像素和4/5像素，并且红色滤光片和蓝色滤光片的小眼的光轴沿对角线方向移位半个像素。例如，在图16中，绿色滤光片之中的一部分绿色滤光片的小眼的光轴沿由箭头261表示的方向移位1/5像素。另外，绿色滤光片之中的一部分绿色滤光片的小眼的光轴沿由箭头262表示的方向移位2/5像素。而且，绿色滤光片之中的一部分绿色滤光片的小眼的光轴沿由箭头263表示的方向移位3/5像素。另外，绿色滤光片之中的一部分绿色滤光片的小眼的光轴沿由箭头264表示的方向移位4/5像素。而且，红色滤光片和蓝色滤光片的小眼的光轴沿由箭头265和266表示的对角线方向移位半个像素。
[使所有颜色沿各个方向移位的示例]
图17示出了使所有颜色的彩色滤光片沿水平方向、垂直方向和对角线方向移位半个像素的示例。
另外，图17示出了各种颜色的彩色滤光片以位于芯片上的方式处于图像传感器中的情况或各种颜色的彩色滤光片与图像传感器邻近的情况的示例。而且，图17示出了各种颜色的彩色滤光片与小眼透镜或光阑邻近的情况的示例。
例如，绿色滤光片之中的一部分绿色滤光片的小眼的光轴沿相反的垂直方向移位半个像素，绿色滤光片之中的一部分绿色滤光片的小眼的光轴沿相反的水平方向移位半个像素，并且红色滤光片和蓝色滤光片的小眼的光轴沿对角线方向移位半个像素。例如，在图17中，绿色滤光片之中的一部分绿色滤光片的小眼的光轴沿由箭头271表示的方向(垂直方向)移位半个像素。另外，绿色滤光片之中的一部分绿色滤光片的小眼的光轴沿由箭头272表示的方向(与由箭头271表示的方向相反的方向)移位半个像素。而且，绿色滤光片之中的一部分绿色滤光片的小眼的光轴沿由箭头273表示的方向(水平方向)移位半个像素。另外，绿色滤光片之中的一部分绿色滤光片的小眼的光轴沿由箭头274表示的方向(与由箭头273表示的方向相反的方向)移位半个像素。而且，红色滤光片和蓝色滤光片的小眼的光轴沿由箭头275和276表示的方向移位半个像素。
以这种方式，在本发明的第二实施例中，通过使小眼的光轴的位置移位来执行空间像素移位。因此，能够提高分辨率。
3.第三实施例
本发明的第三实施例示出了通过信号处理来校正小眼透镜的倍率色差的示例。
[通过信号处理来校正倍率色差的示例]
首先，将会说明通过信号处理来校正倍率色差的方法。
图18是示出了根据本发明第三实施例的复眼摄像部110的截面的图。图18简单示出了小眼透镜、彩色滤光片和图像传感器之间的关系。
在这里，由小眼透镜284至286的倍率色差引起的在摄像面上的各种颜色的倍率被定义如下。
NR：红色的像面倍率
NG：绿色的像面倍率
NB：蓝色的像面倍率
在图18中，被摄对象的点A(280)在红色滤光片281的小眼中的成像位置是XR。另外，被摄对象的点A(280)在绿色滤光片282的小眼中的成像位置是XG。而且，被摄对象的点A(280)在蓝色滤光片283的小眼中的成像位置是XB。
如图18所示，成像位置XR、XG和XB是这样的位置：这些位置由于小眼透镜284至286的倍率色差而全部不同。
在这里，因为能够事先通过设计值或测量值找出小眼透镜284至286的倍率色差，所以NR、NG、NB是已知的。因此，如下面的公式所示，成像位置XR和XB能够被校正。
X'R＝(NG/NR)XR
X'B＝(NG/NB)XB
信号处理部120能够采用上述公式通过信号处理来执行校正，由此抑制或消除倍率色差。换言之，信号处理部120校正图像的模糊，所述图像的模糊是由小眼透镜的倍率色差引起的在焦平面上的周边部中与颜色对应地发生的。
例如，假设这样的情况：在该情况中，将小眼透镜设计成使得小眼透镜的色差特性就像色差(诸如小眼透镜的倍率色差和轴向色差等)被减小一样得到改善。在这种情况下，小眼透镜的结构是复杂的，并且小眼透镜的成本是高的。
因此，在本发明的第三实施例中，小眼透镜被设计且被配置成：由小眼透镜的倍率色差引起的在焦平面上的周边部中因颜色而发生偏移的像被保留成原样，并且由颜色的差异造成的像偏移通过信号处理而被校正。因此，能够简化小眼透镜的结构，并且能够降低小眼透镜的成本。
4.第四实施例
本发明的第四实施例示出了根据由小眼透镜的轴向色差造成的焦距差异来对小眼进行光学设计的示例。
[小眼的光学设计的示例]
图19至图21是示出了根据本发明第四实施例的复眼摄像部110的截面的图。图19至图21简单示出了小眼透镜、彩色滤光片和图像传感器之间的关系。在图19至图21中，构成图像传感器的像素由虚线矩形表示。
图19示出了当小眼透镜中存在轴向色差但是该轴向色差没有被校正时的小眼透镜294至296与图像传感器之间的关系。
如图19所示，由于小眼透镜294至296的轴向色差，焦距就根据颜色(换言之，光的波长)而发生变化。为此，在图19所示的复眼摄像装置中，不可能同时聚焦所有的颜色。因此，在图20和图21中示出了能够同时聚焦所有颜色的光学设计的示例。
图20示出了在小眼透镜294至296与图像传感器之间安装有用于改变光路长度的材料301和302的示例。
例如，用于改变光路长度的材料301和302被插入在小眼透镜294至296与图像传感器之间并且针对各种颜色而具有不同的厚度。因此，无需针对单体的小眼透镜对轴向色差做出很大的校正，就能够针对整体的复眼摄像装置使小眼透镜294至296的轴向色差改善。例如，使安装在蓝色滤光片293的小眼中的材料302的厚度比安装在绿色滤光片292的小眼中的材料301的厚度大。
图21示出了改变小眼透镜294至296与图像传感器之间的距离的示例。
例如，小眼透镜294至296与图像传感器之间的距离针对各种颜色而发生改变。例如，使绿色滤光片292的小眼中的小眼透镜295与图像传感器之间的距离比红色滤光片291的小眼中的小眼透镜294与图像传感器之间的距离短。另外，例如，使蓝色滤光片293的小眼中的小眼透镜296与图像传感器之间的距离比绿色滤光片292的小眼中的小眼透镜295与图像传感器之间的距离短。
因此，无需针对单体的小眼透镜对轴向色差做出很大的校正，就能够针对整体的复眼摄像装置使小眼透镜的轴向色差改善。
在这里，普通单眼摄像装置的小眼透镜被制造成使得倍率色差和轴向色差被尽可能地减小。为此，必须把由作为小眼透镜的材料的例如冕玻璃(crown glass)和火石玻璃(flint glass)制成的两个小眼透镜接合在一起并且将这两个小眼透镜构成为一个小眼透镜，并且必须增加小眼透镜的数量。为此，小眼透镜的成本高，并且整体的小眼透镜厚。
相比之下，根据本发明第三实施例的复眼摄像装置不会过度地校正小眼透镜的倍率色差和轴向色差并且能够通过信号处理来校正倍率色差。另外，在根据本发明第四实施例的复眼摄像装置中，能够根据轴向色差来光学地设计小眼。因此，能够降低小眼透镜的成本，并且能够减小小眼透镜的厚度。
5.第五实施例
本发明的第五实施例示出了一个小眼配置有多个子小眼的示例。
[一个小眼包括多个子小眼的复眼摄像部的构造示例]
图22至图24是示出了根据本发明第五实施例的复眼摄像部110的构造示例的图。另外，图22至图24示出了各种颜色的彩色滤光片与小眼透镜或光阑邻近的情况的示例。
图22示出了一个小眼配置有四个子小眼的示例。在图22至图24中，彩色滤光片的类型通过小眼透镜的形式来表达。具体地，设置于绿色滤光片的小眼中的小眼透镜由着色为白色的圆圈表示，设置于红色滤光片的小眼中的小眼透镜由着色为黑色的圆圈表示，并且设置于蓝色滤光片的小眼中的小眼透镜由内部添加有斜线的圆圈表示。
如图22所示，各个小眼配置有四个子小眼。彩色滤光片的部署(disposition)与图10等中所示的示例相同。另外，子小眼例如是由一个小眼透镜和图像传感器构成的单位。
图23示出了一个小眼配置有九个子小眼的示例。彩色滤光片的部署与图22中所示的示例相同。另外，除了一个小眼由九个子小眼配置而成的这一事实以外，图23的示例与图22所示的示例几乎相同。
图24示出了一个小眼配置有九个子小眼并且改变各个小眼中的彩色滤光片的示例。以这种方式，能够改变一个小眼中的子小眼的彩色滤光片。在这种情况下，能够使小眼中的彩色滤光片的部署与图22所示的复眼摄像部110的整体部署相同。
另外，即使在一个小眼配置有四个或其他数量(例如，16个)子小眼的情况下，也可以改变各个小眼中的彩色滤光片。
[当小眼配置有子小眼时的图像处理的示例]
在这里，如上所述，将会说明用于其中小眼配置有子小眼的情况的图像处理方法的示例。
如上所述，小眼可以不是由一个小眼透镜构成，而是由多个小眼透镜(换言之，子小眼)构成。特别地，通过使子小眼的视角小于用整个小眼所要实现的视角，能够减轻在设计和制造子小眼的光学系统时的负担。
图25是示意性地示出了根据本发明第五实施例的由复眼摄像装置执行的图像处理的示例的图。具体地，图25示出了根据夫琅和费(Fraunhofer)的图像处理的示例。换言之，示出了如下图像处理的示例：该图像处理使小眼的视角变窄、使各个小眼的摄像区域移位以拍摄图像、且将从这些小眼获得的原始数据结合在一起以获得输出图像。
根据夫琅和费的拼接处理(stitching process)不是子小眼的概念，而是使全部小眼的摄像区域逐渐地发生变化的处理。
图25所示的复眼摄像装置包括开口部181、微透镜阵列182、遮光部183、图像传感器184和摄像区域185。来自被摄对象180的光入射到摄像区域185上。以这种方式，入射到摄像区域185上的光被光电转换，并且生成图像信号(图像数据)186。通过将这些图像信号(图像数据)186结合在一起，可以获得输出图像187。
相比之下，如上所述，当安装有子小眼时，可以通过把由子小眼组成的小眼用作一个单位而把该小眼的光学系统适用到其他小眼。换言之，在一个复眼摄像装置中存在有多个具有同一(或近似同一)摄像区域的子小眼。在这个子小眼结构中，光学系统能够以各个小眼为单位而进行重复，且因此，复眼摄像装置的光学系统的设计和制造变得容易。
另外，如上所述，用于其中小眼配置有子小眼的情况的图像处理方法能够与根据夫琅和费的图像处理基本相同。换言之，如图25所示，图像处理以如下方式而被执行：针对于是相邻的子小眼的同一输出的像素，将各个相邻的子小眼的输出结合在一起。通过以这种方式执行图像处理，可以使来自复眼摄像装置的在信号处理之后的输出图像变为像被摄对象一样具有宽摄像区域的一个图像。
为此，例如，即使当视角被扩大时，也可以减少在设计和制造小眼的光学系统的结构时的负担，并且可以降低成本。
6.第六实施例
本发明的第六实施例示出了将多个小眼透镜之中的至少一个小眼透镜配置成具有不同的光学特性和结构的示例。
[多个小眼透镜之中的至少一个小眼透镜具有不同的光学特性和结构的构造示例]
图26至图29是示出了根据本发明第六实施例的复眼摄像部110的构造示例的图。
图26示出了将设置于复眼摄像部110的图像传感器300的周边部中的小眼的光学特性和中央部中的小眼的光学特性配置成不同的示例。
具体地，关于中央部中的小眼，做出这样的优化设计：在该优化设计中，小眼透镜302的主光束的入射角被设定为0度(或大约0度)。另一方面，关于设置于图像传感器300的周边部中的小眼，做出这样的优化设计：在该优化设计中，小眼透镜301和303的主光束的入射角被设定为0度以外的角(或与第一小眼光学系统的入射角不同的角)。
以这种方式，图26示出了具有把采用了不同优化设计的小眼光学系统混合在一起的多透镜阵列(MLA)的复眼摄像部110的示例。
图27示出了将设置于复眼摄像部110的图像传感器300的周边部中的小眼的光学特性和中央部中的小眼的光学特性配置成不同的示例。
具体地，像图26一样，关于中央部中的小眼，做出这样的优化设计：在该优化设计中，小眼透镜302的主光束的入射角被设定为0度。另一方面，关于设置于图像传感器300的周边部中的小眼，做出这样的优化设计：在该优化设计中，小眼透镜301和303的主光束的入射角被设定为0度以外的角。而且，在图27中，为了各个小眼的颜色特性而优化多透镜阵列的光学特性。
以这种方式，图27示出了具有把采用了不同优化设计的小眼光学系统混合在一起的多透镜阵列(MLA)的复眼摄像部110的示例。
另外，图27示出了各种颜色的彩色滤光片304至306以位于芯片上的方式处于图像传感器300中的情况或各种颜色的彩色滤光片304至306与图像传感器300邻近的情况的示例。
图28和图29分别示出了将设置于复眼摄像部110的图像传感器300的周边部中的小眼的光学特性和中央部中的小眼的光学特性配置成不同的示例。图28示出了截面图，并且图29示出了顶视图。
具体地，像图26一样，关于在小眼中央处的子小眼，做出这样的优化设计：在该优化设计中，小眼透镜312、315和318的主光束的入射角被设定为0度。另一方面，关于设置于小眼的周边部中的子小眼，做出这样的优化设计：在该优化设计中，小眼透镜311、313、314、316、317和319的主光束的入射角被设定为0度以外的角。以这种方式，在图28和图29中，子小眼的光学特性和小眼透镜的位置被配置成与普通小眼的光学特性不同。
以这种方式，图28和图29分别示出了具有把采用了不同优化设计的小眼光学系统混合在一起的多透镜阵列(MLA)的复眼摄像部110的示例。
另外，图28和图29示出了各种颜色的彩色滤光片与小眼透镜或光阑邻近的情况。
在这里，假设使小眼透镜的光学特性在所有摄像区域上都相同的情况。在这种情况下，小眼透镜的成本增加，并且小眼透镜变厚且尺寸变大。
因此，在本发明的第六实施例中，将采用了如下两种优化设计的小眼光学系统混合在一起：一种优化设计是主光束的入射角被设定为0度，另一种优化设计(特别地，诸如视角的周边部等区域中的优化设计)是主光束的入射角被设定为0度以外的角。因此，小眼的小眼透镜的制造变得容易，并且能够降低小眼透镜的成本且能够使小眼透镜变薄。
而且，由于采用了诸如视角的周边部等区域中的优化设计的小眼光学系统，所以能够提高视角的周边部的颜色再现性和分辨率特性。另外，能够提高周边分辨率。
7.第七实施例
本发明的第七实施例示出了针对各个小眼执行瞳孔校正的示例。
[针对各个小眼执行瞳孔校正的示例]
图30是示出了根据本发明第七实施例的复眼摄像部110的构造示例的图。图30示出了针对各个小眼执行瞳孔校正的复眼摄像部110的截面图。
例如，在用于构成各个小眼的图像传感器320的像素上设置有用于执行瞳孔校正的片上透镜324至326。
以这种方式，通过在用于构成各个小眼的图像传感器320的像素上设置片上透镜324至326，能够针对各个小眼执行所谓的瞳孔校正。为此，能够改善小眼的阴影特性，并且可以改善整体图像的阴影特性。另外，能够使整体图像的周边部的信噪比(S/N：signal to noise ratio)良好。
8.第八实施例
本发明的第八实施例示出了通过减小具有空余空间的周边光学系统的F值来改善阴影特性的示例。
[减小具有空余空间的周边光学系统的F值的示例]
图31至图33是示出了根据本发明第八实施例的复眼摄像部110的构造示例的图。图31示出了复眼摄像部110的顶视图，并且图32和图33示出了复眼摄像部110的截面图。
图31至图33示出了图像传感器330和小眼透镜331至339以3×3阵列的方式布置的情况的示例。在复眼摄像部110的周围存在着空余空间。为此，为了减小复眼摄像部110周围的光学系统的F值，小眼透镜331至339被形成为图31至图33中所示的形状(好像从复眼摄像部110突出的形状)。相应地，就能够改善阴影特性。
图32示出了使设置于复眼摄像部110的周边部中的小眼的光轴相对于小眼摄像区域的位置关系和设置于中央部中的小眼的光轴相对于小眼摄像区域的位置关系近似相同的示例。
图33示出了使设置于复眼摄像装置的周边部中的小眼的光轴相对于小眼摄像区域的位置关系和设置于中央部中的小眼的光轴相对于小眼摄像区域的位置关系明显不同的示例。
以这种方式，无需把多透镜阵列(MLA)中所包括的小眼光学系统设计或制造成具有相同特性，就减小了具有空余空间的周边光学系统的F值。因此，能够改善在一个小眼光学系统中发生的阴影特性。
9.第九实施例
本发明的第九实施例示出了通过增加晶圆级相机模块(WLCM)和堆叠型复眼摄像装置中的小眼的数量来提高感光度的示例。
[增加小眼的数量的情况的构造示例]
图34是示出了根据本发明第九实施例的复眼摄像装置的构造示例的图。图34示出了小眼的数量是81(9×9)的情况的示例。
例如，在某些大学的研究层面，曾经有过把多台的单体照相机以阵列的方式设置着并且提高所述多台单眼照相机中的全部照相机的功能和图像质量的尝试。另外，曾经有过把多个相机模块以阵列的方式设置着并且提高所述多个相机模块中的全部相机模块的功能和图像质量的尝试。
据推测，利用这些方法将会难以把多个单眼照相机或多个相机模块的相对位置的精度提高到图像传感器的像素尺寸程度。
为此，可以推测出：将会难以实现由空间像素移位引起的分辨率的改善和由以像素为单位的同步加法引起的信噪比(S/N)的改善。
相比之下，因为WLCM能够实现与半导体制造业的对准精度对应的小眼位置精度，所以就能够获得与像素尺寸程度相当的相对位置精度。为此，能够实现由空间像素移位引起的分辨率的改善和由以像素为单位的同步加法引起的信噪比(S/N)的改善。
10.第十实施例
本发明的第十实施例示出了在WLCM中设置具有不同感光度的小眼并且提高感光度和动态范围的示例。
[在WLCM中设置具有不同感光度的小眼的情况的构造示例]
图35至图39是示出了根据本发明第十实施例的复眼摄像部110的构造示例的图。
图35至图38示出了配置有多个(9×9)小眼的图像传感器的示例。另外，图39示出了配置有多个(3×3)小眼的图像传感器的示例。
图35示出了高感光度的小眼和低感光度的小眼交替地设置于列中的情况的示例。图36示出了在高感光度的小眼和低感光度的小眼交替地设置于列中的图像传感器中设置彩色滤光片的情况的示例。
在图36至图39中，小眼的感光度由圆圈的大小表示。具体地，高感光度的小眼由大圆圈表示，并且低感光度的小眼由小圆圈表示。另外，在图36和图38中，彩色滤光片的类型由像素的形式来表达。具体地，与绿色滤光片的小眼对应的矩形被着色为白色，与红色滤光片的小眼对应的矩形被着色为黑色，并且与蓝色滤光片的小眼对应的矩形由添加于该矩形内部的斜线表示。
图37示出了高感光度的小眼和低感光度的小眼以棋盘状图案设置着的情况的示例。图38示出了在高感光度的小眼和低感光度的小眼以棋盘状图案设置着的图像传感器中设置彩色滤光片的情况的示例。
图39示出了与图35至图38所示的部署不同的部署示例。在图39中，彩色滤光片的类型由小眼透镜的形式来表达。具体地，设置于绿色滤光片的小眼中的小眼透镜由着色为白色的圆圈表示，设置于红色滤光片的小眼中的小眼透镜由着色为黑色的圆圈表示，并且设置于蓝色滤光片的小眼中的小眼透镜由内部添加有斜线的圆圈表示。
例如，对于传统的晶圆级相机模块，一个相机模块的感光度特性被确定为摄像装置的感光度。相比之下，在本发明的第十实施例中，通过在WLCM中设置具有不同感光度的小眼，能够提高感光度和动态范围。
另外，据推测，传统复眼摄像装置能够通过对多个小眼输出信号进行相加或进行信号处理来提高与小眼的感光度相比的最终输出信号的感光度。然而，因为图像传感器(摄像元件)和MLA等的组装过程是在与半导体工艺分开的过程中被执行的，所以推测出：将会难以使整个复眼摄像装置小型化(特别地，难以减小整个复眼摄像装置的厚度)。
而且，已经提出了这样的传统复眼摄像装置：其通过准备小眼的多个尺寸的光阑来设定小眼的多个感光度特性，并且能够通过对具有这些不同感光度的多个小眼的输出信号进行信号处理来扩大最终输出信号的动态范围。然而，因为图像传感器(摄像元件)和MLA等的组装过程是在与半导体工艺分开的过程中被执行的，所以推测出：将会难以使整个复眼摄像装置小型化(特别地，难以减小整个复眼摄像装置的厚度)。
因此，在本发明的第十实施例中，能够通过在WLCM中设置具有不同感光度的小眼而使整个复眼摄像装置小型化，并且能够提高感光度和动态范围。
11.第十一实施例
本发明的第十一实施例示出了用多种读出方法执行从复眼摄像部的读出的示例。
[执行实时取景模式和高图像质量模式的多种读出的构造示例]
图40是示出了根据本发明第十一实施例的复眼摄像部110的构造示例的图。图40示出了配置有多个(3×3)小眼的图像传感器的示例。
例如，在实时取景(live view)的显示期间内，控制部130(如图9中示出)仅读出并输出来自图40所示的九个小眼之中的三个小眼(2,1)、(2,2)和(3,2)的图像数据。
在这里，(x,y)是表明用于构成复眼摄像部110的小眼的位置的信息。x表示行号，并且y表示列号。
另外，当设定了高图像质量模式时，控制部130读出并输出来自图40所示的全部九个小眼的图像数据。
以这种方式，根据摄像模式，控制部130执行控制以改变从用于构成复眼摄像部110的图像传感器读出的读出方法。
在这里，当通过使用复眼摄像装置来执行视频拍摄时，有必要在监视器上播放所拍摄的图像并且确认正在拍摄的图像。
如果尝试对所有小眼进行信号处理并且输出高图像质量的图像，则会由于该信号处理而发生延时(latency)。因此，当拍摄运动的被摄对象或用运动的照相机执行拍摄时，在被摄对象的运动与显现在监视器上的图像之间会发生时滞(time lag)，并且在拍摄中就存在问题。
为了避免这样的情形，将实时取景模式和高图像质量模式的多种读出方法引入到复眼摄像装置中。这些方法是通过如下途径而成为可能的：以使得各个小眼的输出信号能够被选择的方式预先设计图像传感器和系统。
输出至监视器(例如，如图9中所示的显示部140)的图像是尽可能少的小眼的图像，以便减小信号处理的负担且使延时最小化。另外，当需要以高图像质量进行记录时，并行地执行高图像质量模式的记录。然而，当不需要以高图像质量进行记录时，就记录最小数量的必要小眼的图像。
以这种方式，通过根据时间的情形来执行多个小眼之中的读出和记录，能够使延时最小化并且能够降低电力消耗。换言之，能够实现实时特性的提高(延时的改善)。
另外，因为传统复眼摄像装置需要耗费时间来获得最终输出信号，所以当尝试获取视频时，在电子取景器中输出的图像会被延迟。为此，拍摄运动中的被摄对象是极其困难的。因此，在本发明的第十一实施例中，通过根据时间的情形来执行多个小眼之中的读出和记录，能够使延时最小化并且能够适当地拍摄运动中的被摄对象。
在这里，例如，假设复眼摄像装置不具有显示部的情况。在这种情况下，可以想到通过使用另一个信息处理装置(例如，便携式信息处理装置(例如，智能手机、平板终端或蜂窝电话))的显示器来确认正在拍摄的图像。
例如，在复眼摄像装置中设置有用于与另一个装置进行无线通信的无线通信部(例如，如图9中所示的无线通信部170)。于是，当复眼摄像装置正在进行拍摄时，该无线通信部将最小限度的必要信息(图像数据)发送至另一个装置并且致使该另一个装置的显示部显示正在拍摄的图像。因此，即使当复眼摄像装置中没有监视器时或即使当复眼摄像装置具有监视器但是该监视器不在手边时，可以通过使用另一个装置的显示部来确认正在拍摄的图像。
以这种方式，当最小限度的必要信息(图像数据)通过无线通信部被发送至另一个装置时，由于上述的在实时取景的显示期间内的读出方法，所以用于发送所读出图像的发送方法是有效的。
12.第十二实施例
本发明的第十二实施例示出了通过关闭小眼的驱动或关闭模数转换器(ADC)来降低电力消耗的示例。将参照图40来说明本发明的第十二实施例。
例如，在实时取景的显示期间内，控制部130(如图9中示出)仅驱动图40所示的九个小眼之中的三个小眼(2,1)、(2,2)和(3,2)。在这种情况下，其他小眼被置于这样的待机模式：在该待机模式中，所述其他小眼被关闭，或者所述其他小眼中的ADC被关闭等。
于是，控制部130能够以执行如下动作中的至少一者的方式进行控制：停止多个小眼之中的没有使用的小眼的驱动；和关闭被安装在所述没有使用的小眼中的ADC。
在这里，存在着如下的风险：传统复眼摄像装置将会驱动小眼，为了获得最终输出信号而需要的电力消耗将会变大，并且作为便携式设备的传统复眼摄像装置的电池持续时间将会缩短。因此，在本发明的第十二实施例中，能够通过关闭没有使用的小眼的驱动或所述没有使用的小眼内的ADC来实现低电力消耗。
13.第十三实施例
本发明的第十三实施例示出了使用全局快门互补金属氧化物半导体(CMOS)图像传感器的示例。
图41是示出了根据本发明第十三实施例的在复眼摄像部110中使用的全局快门CMOS图像传感器400的构造示例的图。
例如，假设使用形成于同一芯片上的滚动快门式图像传感器的情况。在这种情况下，多个小眼的从摄像信号的累积的开始到结束的时间发生变化。为此，当拍摄运动中的被摄对象时，在各个小眼的输出信号中发生了像偏移，并且据推测将会难以获得最终输出信号。同样地，当复眼摄像装置发生抖动等时，在各个小眼的输出信号中发生像偏移，并且据推测将会难以获得最终输出信号。
因此，在本发明的第十三实施例中，使用全局快门CMOS图像传感器400。因此，即使当拍摄运动中的被摄对象或复眼摄像装置发生抖动等时，也能够防止各个小眼的输出信号的像偏移并且能够获得适当的最终输出信号。换言之，能够改善(或除去)运动的被摄对象的伪影(artifact)。
14.第十四实施例
本发明的第十四实施例示出了使用背面照射型CMOS图像传感器的示例。
图42是示出了根据本发明第十四实施例的在复眼摄像部110中使用的背面照射型CMOS图像传感器的构造示例的图。另外，图42还示出了作为比较例的前面照射型CMOS图像传感器的构造示例。换言之，图42中的a示出了背面照射型CMOS图像传感器，并且图42中的b示出了前面照射型CMOS图像传感器。
图42中的a所示的背面照射型CMOS图像传感器包括片上透镜411、彩色滤光片412、光接收表面413、基板414以及光电二极管415。另外，图42中的b所示的前面照射型CMOS图像传感器包括片上透镜421、彩色滤光片422、布线423、光接收表面424、基板425以及光电二极管426。而且，在图42的a和b中，箭头表示入射光。
如图42中的b所示，在采用前面照射型摄像元件的复眼摄像装置中，布线423的层位于像素的上部，因此，存在着这样的风险：向像素上入射的光的一部分将会被遮挡，并且感光度将会下降。另外，关于焦平面的周边部的图像，相对于像素的入射角变大了，并且与中央部相比被遮挡的光的比例增大了。因此，存在着图像的阴影将会劣化的风险。换言之，在斜入射光的区域中被遮挡的光的比例与中央部相比增大了，并且存在着图像的阴影将会劣化的风险。
另外，采用前面照射型CMOS图像传感器的复眼摄像装置难以同时(或以减小时间差的方式)产生各个小眼的输出。
因此，通过使用图42中的a所示的背面照射型CMOS图像传感器，能够提高感光度。另外，能够改善阴影。另外，能够同时(或以减小时间差的方式)产生各个小眼的输出。
15.第十五实施例
本发明的第十五实施例示出了使用堆叠型图像传感器的示例。另外，本发明的第十五实施例示出了通过使用堆叠型图像传感器来产生小眼的并行输出的示例。
图43是示出了根据本发明第十五实施例的在复眼摄像部110中使用的堆叠型图像传感器的构造示例的图。另外，图43中的a示出了堆叠型图像传感器(背面照射型CMOS图像传感器)的斜视立体图，并且图43中的b示出了堆叠型图像传感器(背面照射型CMOS图像传感器)的侧视图。
图43所示的堆叠型图像传感器(背面照射型CMOS图像传感器)是把像素和电路堆叠起来的图像传感器。
在这里，假设复眼摄像装置由单层的图像传感器(摄像元件)的芯片构成。据推测，这种复眼摄像装置将会难以同时(或以减小时间差的方式)产生各个小眼的输出。
另外，当各个小眼的输出是同时产生(或尝试减小时间差)时，输出电路对于各个小眼而言是必要的，并且在小眼之间必须具有不作为摄像区域的电路区域。因此，图像传感器(摄像元件)的芯片尺寸变大。
另外，因为难以在设置于图像传感器(摄像元件)的芯片中的电路区域中使用最先进的微细晶体管，所以该电路区域的面积变大，并且该图像传感器(摄像元件)的芯片尺寸变得更大。
因此，通过使用图43所示的背面照射型CMOS图像传感器，能够同时(或以减小时间差的方式)产生各个小眼的输出。另外，能够减小图像传感器(摄像元件)的芯片尺寸。
16.第十六实施例
本发明的第十六实施例示出了在小眼中设置距离传感器的示例。
图44是示出了根据本发明第十六实施例的包括距离传感器的图像传感器的示例的截面图。
图44所示的图像传感器被配置有凸透镜(lenticular lens)(分束器(beam splitter))431、DML(聚焦增强器；focus enhancer)432、金属433和光电二极管434。另外，光电二极管434被配置有右瞳孔436和438以及左瞳孔435和437。而且，一个右瞳孔和一个左瞳孔(例如，右瞳孔436和左瞳孔437)构成一对。
于是，构成一对的右瞳孔436和左瞳孔437接收来自左瞳孔区域的光439和来自右瞳孔区域的光440，并且执行光电转换。基于该结果，控制部130(如图9中示出)计算出到被摄对象的距离。
因此，例如，当通过使用视差来执行距离计算时，能够高精度地获取距离信息。
17.第十七实施例
本发明的第十七实施例示出了布置有具有不同的偏光角度的小眼的示例。
图45是示出了根据本发明第十七实施例的包括偏光器阵列451的图像传感器的示例的分解立体图。与各个小眼对应的偏光器中的箭头表示偏光角度的方向。
如图45所示，该图像传感器中包括偏光器阵列451，在偏光器阵列451中，各个小眼452具有不同的偏光角度。
因此，能够同时获得被摄对象的偏光信息和图像信息这两者。
18.第十八实施例
本发明的第十八实施例示出了布置有具有不同的光谱感光度的小眼的示例。
图46示出了根据本发明第十八实施例的复眼摄像部110包括具有不同的光谱感光度的小眼的情况的示例。图46中的a示出了复眼摄像部110的顶视图，并且图46中的b示出了波长特性。
例如，图46中的a所示的那些小眼之中的沿斜线方向的小眼所在的直线461至477可以具有相同的光谱感光度。另外，例如，沿斜线方向的小眼所在的直线461和沿斜线方向的小眼所在的直线470可以具有相同的光谱感光度。同样地，沿斜线方向的小眼所在的直线462至468中的各者和沿斜线方向的小眼所在的直线471至477中的各者能够具有相同的光谱感光度。在图46的a中，以相同的显示状态示出了相同光谱感光度的小眼。
另外，图46中的b所示的波长特性能够按照波长增大的顺序被分配给沿斜线方向的小眼所在的直线461至477。
因此，能够获得被摄对象的许多光谱特性，并且能够既获得光谱特性又获得图像信息。换言之，能够获得多光谱(multispectral)信息和图像信息这两者。
19.第十九实施例
本发明的第十九实施例示出了布置有由对可见光以外的光具有感光度的传感器组成的小眼的示例。
图47示出了根据本发明第十九实施例的复眼摄像部110中的对可见光以外的光具有感光度的传感器的情况的示例。
在图47的a中，光的类型在水平轴上被指出。图47中的b示出了包括对可见光以外的光具有感光度的传感器的复眼摄像部110的顶视图。在图47的b中，以相同的显示状态示出了具有相同感光度的小眼。
图48是示出了根据本发明第十九实施例的用于构成复眼摄像部110的光电转换材料的示例的图。图48示出了与对可见光以外的光具有感光度的传感器相关的光电转换材料的示例。
通过使用图48所示的光电转换材料，能够实现包括对可见光以外的光具有感光度的传感器的复眼摄像部110。
因此，能够获得被摄对象的与可见光以外的光有关的信息，并且能够既获得与可见光以外的光有关的信息又获得图像信息。
另外，通过组合本发明的第十六实施例至第十九实施例，可以同时获得距离信息、偏光信息、多光谱信息和与可见光以外的光有关的信息。
20.第二十实施例
本发明的第二十实施例示出了通过使用WLCM的视差来计算距离信息的示例。
[计算距离信息的示例]
图49是示出了根据本发明第二十实施例的复眼摄像部110的截面的图。
首先，通过使用下面的公式3来计算在复眼摄像部110的最左边小眼和最右边小眼的同一地址处的像素的输出信号之间的差分值Dikl。
Dikl＝Si1kl–SiNkl 公式3
在这里，Sijkl是表示各个小眼的输出信号的值。
另外，i是表示小眼的行号的值。而且，j是表示小眼的列号的值。另外，k是表示小眼中的像素的行号的值。而且，l是表示小眼中的像素的列号的值。
在公式3中，Si1kl例如是表示被摄对象A的在复眼摄像装置的最左边小眼处的成像信息(输出信号)的值。另外，SiNkl是表示被摄对象A的在复眼摄像装置的最右边小眼处的成像信息(输出信号)的值。
当被摄对象与视差相比处于充分远时，差分值Dikl为0。另外，当被摄对象的位置足够近以致于发生了复眼摄像部110的视差时，差分值Dikl是0以外的值。
因此，如下面的公式4所给出的，采取通过使小眼的像素位置移位a而获得的像素的信息的差分，并且计算使该差分值最小时的a。
Dikl＝Si1k(l–a)–SiNkl(l+a) 公式4
通过使用以这种方式计算得出的a，可以根据下面的公式5、基于三角测量的原理来计算从复眼摄像部110(图像传感器)到被摄对象的距离Do。
Do＝L{(Ws/aWp)+1} 公式5
在这里，Wp是表示像素间距的值。另外，Ws是表示小眼间距的值。而且，L是表示复眼摄像部110中的小眼透镜501至503与摄像面504之间的距离的值。
传统地，例如，图像传感器(摄像元件)和MLA等的组装过程是在与半导体工艺分开的过程中被执行的，且因此，在通过使用视差来计算距离信息时的精度会下降。另外，当想要提高精度时，整体复眼摄像装置将会变大，并且特别地，将会难以减小厚度。相比之下，在本发明的第二十实施例中，能够提高在通过使用视差来计算距离信息时的精度，并且能够减小整体复眼摄像装置的厚度。
21.第二十一实施例
本发明的第二十一实施例示出了多个小眼之中的至少一个小眼由与其他小眼不同的材料制成的示例。
[复眼摄像部的构造示例]
图50是示出了根据本发明第二十一实施例的复眼摄像部110的外观的顶视图。
例如，图50所示的复眼摄像部110中的(2,2)小眼(在图50中被示出为灰色)可以是用InGaAs制造的图像传感(摄像元件)。另外，其他小眼(8个小眼)可以是使用硅的图像传感器(摄像元件)。
在这里，传统复眼摄像装置被配置有由同一材料制成的图像传感器(摄像元件)。为此，存在着这样的风险：将无法获得利用图像传感器(摄像元件)的特性不能获取的信息。例如，无法利用复眼摄像装置来获取可见光和远红外线的信息。
因此，在本发明的第二十一实施例中，能够通过用不同材料制成多个小眼之中的至少一个小眼，来减少不能获取的信息。
22.第二十二实施例
本发明的第二十二实施例示出了通过将单片化的图像传感器(摄像元件)的芯片并排布置为一个伪芯片并且添加多透镜阵列(MLA)等来制造复眼摄像部的示例。
[复眼摄像部的构造示例]
图51是示出了根据本发明第二十二实施例的复眼摄像部110的外观的顶视图。
如图51所示，可以通过将单片化的图像传感器的芯片并排地布置为一个伪芯片并且添加多透镜阵列(MLA)等来制造复眼摄像部110。
23.第二十三实施例
本发明的第二十三实施例示出了通过平铺来制造复眼摄像部的示例。通过平铺而被制造出来的复眼摄像部的外观构造与图51相同，因此这里将省略说明。
可以通过采用了例如玻璃、树脂、硅或它们中的多种材料的平铺技术的方式来制造复眼摄像装置。
在这里，平铺技术是一种用于将例如不同类型的芯片或同一类型的多个芯片制作成伪晶圆的技术。
24.第二十四实施例
本发明的第二十四实施例示出了通过平铺、减薄、重新布线和层间连接来制造复眼摄像部的示例。通过平铺、减薄、重新布线和层间连接而被制造出来的复眼摄像部的外观构造与图51相同，因此这里将省略说明。
在这里，作为传统复眼摄像装置，存在着：采用了多个独立的照相机或相机模块的复眼摄像装置、或通过将一个图像传感器(摄像元件)和MLA组合在一起而构成的复眼摄像装置。
关于采用了多个独立的照相机或相机模块的复眼摄像装置，由于照相机或相机模块之间的特性差异，所以难以获得与所使用的照相机数量相称的复眼摄像装置的对象特性。
另外，通过将一个图像传感器(摄像元件)和MLA组合在一起而构成的复眼摄像装置通过为了抑制小眼之间的遮蔽侧壁或遮蔽盾侧壁(covering shield sidewall)等的耀斑(flare)而确保小眼之间的芯片空间，因而具有面积很大的摄像元件芯片。为此，当尝试提高摄像特性时，成本增加了。
因此，通过制造如本发明的第二十二实施例至第二十四实施例所示的复眼摄像部110，能够制造出适当的复眼摄像装置。以这种方式，能够降低复眼摄像装置的成本，并且能够制造出更薄更小的复眼摄像装置。
25.第二十五实施例
本发明的第二十五实施例示出了多个复眼摄像部被并排布置着并且拍摄图像的摄像装置的示例。
[摄像装置的构造示例]
图52是示出了根据本发明第二十五实施例的复眼摄像装置600的外观的顶视图。
复眼摄像装置600是通过平铺多个复眼摄像部601至603而被制造的摄像装置。另外，复眼摄像装置600是多个复眼摄像部601至603被并排布置着并且拍摄图像的摄像装置。
图52示出了三个复眼摄像部601至603被设置成并排布置着的示例，但是也可以将两个、四个或更多个复眼摄像部设置成并排布置着。
在这里，进行这样的假设：当为了提高复眼摄像装置的感光度而存在大量的小眼时，复眼摄像装置的面积变大并且难以制造出一个复眼摄像装置。因此，如本发明的第二十五实施例所示，可以通过平铺来制造多个复眼摄像部601至603从而制造出适当的复眼摄像装置。
26.第二十六实施例
本发明的第二十六实施例示出了通过改变各小眼或多个复眼摄像部并排布置的表面或角度来制造复眼摄像装置的示例。
[摄像装置的构造示例]
图53是示出了根据本发明第二十六实施例的复眼摄像装置610的截面的截面图。
复眼摄像装置610是通过改变各小眼或多个复眼摄像部611至613并排布置的表面或角度而被制造出来的复眼摄像装置。例如，如图53所示，可以通过改变基准面614上的角度来设置多个复眼摄像部611至613。
换言之，可以不是通过使上面并排布置有多个复眼摄像部的基准面位于同一平面或处于同一角度来制造摄像装置，而是通过根据多个复眼摄像部来改变所述多个复眼摄像部并排布置的表面或角度，由此制造出摄像装置。
图53示出了将三个复眼摄像部611至613设置成并排布置着的示例，但是这也能够适用于将多个小眼设置成并排布置着的情况。另外，两个、四个或更多个复眼摄像部(或小眼)可以被设置成并排布置着。
在这里，布置表面也包括弯曲表面的含义。另外，这也同样适用于通过平铺来制造复眼摄像装置的情况。
在传统复眼摄像装置中，上面并排布置有各小眼的基准面是同一平面并且处于同一角度，因此，据推测，将会难以通过使用以小眼的光轴为中心的区域的图像来扩大复眼摄像装置的视角。因此，在本发明的第二十六实施例中，复眼摄像装置是通过改变各小眼或多个复眼摄像部并排布置的表面或角度制造而成的。因此，能够扩大复眼摄像装置的视角。换言之，能够实现视角的增大和各条信息的取得范围的增大。
27.第二十七实施例
本发明的第二十七实施例示出了通过使减薄后的复眼摄像装置贴合到基准面而使复眼摄像装置弯曲、或通过改变小眼的基准面来改变小眼的光轴的示例。
[摄像装置的构造示例]
图54是示出了根据本发明第二十七实施例的复眼摄像装置620的截面图。
复眼摄像装置620是通过将多个减薄后的复眼摄像部621至623贴合到基准面624从而被弯曲的复眼摄像装置，或是各小眼的基准面有所改变且各小眼的光轴有所改变的复眼摄像装置。
28.第二十八实施例
本发明的第二十八实施例示出了当各小眼(或多个复眼摄像部)被连接时检测各小眼(或多个复眼摄像部)的相对位置之间的偏差、倾斜和变形的大小的示例。例如，各小眼(或多个复眼摄像部)利用柔性材料而被连接的，并且各小眼(或多个复眼摄像部)之间安装有传感器(例如，压力传感器)。于是，基于这些传感器的输出信号，就能够确定各小眼(或多个复眼摄像部)的相对位置之间的偏差、倾斜和变形的大小。
[摄像装置的构造示例]
图55是示出了根据本发明第二十八实施例的复眼摄像装置630的顶视图。
复眼摄像装置630包括多个复眼摄像部631至633以及传感器634和635。传感器634和635是权利要求中所述的检测部的示例。
传感器634和635是检测各小眼(或多个复眼摄像部)的相对位置之间的偏差、倾斜和变形的大小的传感器。例如，可以使用压力传感器(例如，采用了有机材料的压力传感器)作为传感器634和635。例如，所述采用了有机材料的压力传感器是这样的传感器：在该传感器中，传感器部的电阻由于压力而发生改变并且所使用的场效应晶体管(FET：field effect transistor)的电流发生改变。
当这种采用了有机材料的压力传感器被使用时，可以通过检测上述FET的电流变化来检测各小眼(或多个复眼摄像部)的相对位置之间的偏差、倾斜和变形的大小。
另外，当可以检测出各小眼(或多个复眼摄像部)的相对位置之间的偏差、倾斜和变形的大小时，就能够通过计算各个小眼的输出图像之间的相关性并且将这些图像拼接在一起来获得宽视角的连续图像。
在这里，在传统复眼摄像装置中，各小眼(或多个复眼摄像部)的位置是固定的，并且不可能改变各小眼的相对位置之间的偏差、倾斜和变形的状态。相比之下，在本发明的第二十八实施例中，在各小眼(或多个复眼摄像部)之间安装有传感器(例如，压力传感器)。因此，可以检测各小眼(或多个复眼摄像部)的相对位置之间的偏差、倾斜和变形的大小，并且可以使用这些值。另外，能够提高复眼摄像装置的可用性。
29.第二十九实施例
本发明的第二十九实施例示出了摄像元件的光接收表面在各个小眼中都具有凹陷形状的示例。换言之，示出了各小眼的摄像面不是平坦表面而是具有弯曲形状的示例。
[复眼摄像部的构造示例]
图56至图58是示出了根据本发明第二十九实施例的复眼摄像部110的截面的截面图。图56简单示出了各小眼的弯曲表面的面积最大的情况的示例。图57简单示出了各个小眼的边界附近是平坦表面形状的情况的示例。图58简单示出了各个小眼的边界附近是光滑弯曲表面的情况的示例。
图56示出了小眼透镜641至643与小眼的摄像面644至646之间的关系。如图56所示，小眼的几乎整个摄像面能够具有弯曲形状。例如，直到相邻小眼的摄像面之间的边界(例如，小眼的摄像面644与小眼的摄像面645之间的边界)的几乎整个摄像面能够具有弯曲形状。小眼的摄像面644至646中的虚线矩形表示像素。然而，为了便于说明，图56简单示出了少量的像素。另外，这也适用于图57和图58。
在这里，例如，所述弯曲形状是与光的入射侧相反的一侧的凹陷形状。作为最简单的示例，通过用与球体相交的平面切割该球体而获得的该球体的一部分(换言之，球冠)可以是凹陷形状(弯曲形状)。另外，作为通过凹陷形状的方式获得最佳效果的示例，可以使光接收表面具有与各个小眼中的透镜的像面弯曲特性相配的形状。例如，作为用于让摄像特性最佳的形状，可以基于由透镜的像面弯曲特性引起的透镜的焦平面来决定所述弯曲形状。另外，例如，对于用于改善比较靠近透镜的被摄对象的摄像特性的情况及类似情况，能够基于从小眼透镜到成像面的距离(换言之，像距)来决定所述弯曲形状。而且，例如，使用回转抛物面的碗形形状(例如，抛物线(抛物线或抛物线型)形状)可以是所述弯曲形状。
图57示出了小眼透镜647至649与小眼的摄像面650至652之间的关系。如图57所示，在小眼的摄像面中在小眼的摄像面之间的边界附近可以具有平面形状(与光轴方向近似垂直的平坦表面)，并且其他区域可以具有弯曲形状。例如，相邻小眼的摄像面之间的边界附近(例如，小眼的摄像面650与小眼的摄像面651之间的边界附近)能够具有平面形状。
图58示出了小眼透镜653至655与小眼的摄像面656至658之间的关系。如图58所示，在小眼的摄像面中在小眼的摄像面之间的边界附近可以具有光滑弯曲表面的形状，并且其他区域可以具有弯曲形状。例如，相邻小眼的摄像面之间的边界附近(例如，小眼的摄像面656与小眼的摄像面657之间的边界附近)可以具有弯曲表面形状。
在这里，用于构成本发明第一实施例至第二十八实施例所示的复眼摄像装置的小眼的摄像面是平坦表面。以这种方式，当小眼的摄像面是平坦表面时，为了执行像差校正，透镜就会变厚或透镜数量将会增加，并因此复眼摄像装置的厚度就会增大。特别地，在广角的情况下，透镜的厚度或数量进一步增加，并且复眼摄像装置的厚度可能进一步增大。为此，由于透镜的厚度或数量的增加，所以复眼摄像装置的成本增加。
因此，在本发明的第二十九实施例中，小眼的摄像面不是平坦表面而是呈弯曲形状。因此，能够削减透镜的数量。另外，能够减薄透镜的厚度。而且，能够减薄复眼摄像装置的厚度。另外，能够降低透镜的成本。而且，难以发生亮暗变化，并因此能够改善阴影特性。
图56至图58示出了边界附近具有三种不同类型的形状的示例，但是边界附近可以具有其他形状。
30.第三十实施例
本发明的第三十实施例示出了由用于获取沿着光的入射方向在同一像素处不同的颜色信息的多个层组成的摄像元件的示例。换言之，示出了采用垂直光谱摄像元件的复眼摄像装置的示例。
在这里，当光穿过硅时，硅的特性根据波长而变化。例如，短波长(例如，蓝色(B))的光在硅的光接收表面侧被硅吸收，长波长(例如，红色(R))的光在硅的最深侧被硅吸收，依此类推。因此，本发明的第三十实施例示出了这样的示例：在该示例中，通过使用上述这个特性，各个光电二极管将光按照蓝色(B)、绿色(G)和红色(R)的顺序分离并且获取光学信号。换言之，垂直光谱能够被描述为例如沿光轴方向的光谱、沿摄像元件的深度方向的光谱、沿摄像元件的厚度方向的光谱和沿光的入射方向的光谱等。
[复眼摄像部的构造示例]
图59至图62是示出了根据本发明第三十实施例的复眼摄像部110的截面的截面图。
图59示出了从光的入射侧开始按照B、G和R的顺序将光分离的情况的示例。图60示出了从光的入射侧开始按照G、B和R的顺序将光分离的情况的示例。
图61示出了从光的入射侧开始按照B、G和R的顺序将光分离并且摄像面是弯曲的情况的示例。图61示出了各个小眼的边界表面是光滑弯曲表面的情况的示例(与图58对应的示例)。
图62示出了从光的入射侧开始按照G、B和R的顺序将光分离并且摄像面是弯曲的情况的示例。图62示出了各个小眼的边界表面是光滑弯曲表面的情况的示例(与图58对应的示例)。
图59示出了小眼透镜661至663与第一层(B层)664、第二层(G层)665和第三层(R层)666之间的关系。
如上所述，当光穿过硅时，硅的特性根据波长而变化。因此，通过使用这个特性，沿垂直方向设置第一层(B层)664、第二层(G层)665和第三层(R层)666，并且分离出同一位置(同一像素)的不同的颜色信息。换言之，使用了具有三层(第一层(B层)664、第二层(G层)665和第三层(R层)666)的传感器。另外，第一层(B层)664、第二层(G层)665和第三层(R层)666被设置于各个小眼中。
在这里，作为最上层的第一层(B层)664是对所有的RGB光的强度作出反应的层，该第一层(B层)664吸收具有短波长的B光并且致使RG光穿过第一层(B层)664。为此，具有短波长的B光不会到达作为中间层的第二层(G层)665。在图59中，第一层(B层)664由内部被着色为灰色的矩形表示。
另外，作为中间层的第二层(G层)665是对把具有短波长的B光排除之后的RG光的强度作出反应的层，该第二层(G层)665吸收G光并且致使R光穿过第二层(G层)665。为此，GB光不会到达作为最下层的第三层(R层)666。在图59中，第二层(G层)665由内部被着色为白色的矩形表示。
而且，作为最下层的第三层(R层)666是对把被第一层(B层)664和第二层(G层)665吸收的GB光排除之后的R光的强度作出反应的层。在图59中，第三层(R层)666由内部被添加有斜线的矩形表示。
以这种方式，通过使用所获得的RGB光的各个值来执行信号处理。例如，信号处理部120(图9)能够通过从由第二层(G层)665(其是中间层)获取的RG光的值减去由第三层(R层)666(其是最下层)获取的R光的值与基于硅的光吸收特性和器件结构特性的系数的乘积来计算G光的值。另外，例如，信号处理部120(图9)能够通过从由第一层(B层)664(其是最上层)获取的RGB光的值减去由第二层(G层)665(其是中间层)获取的RG光的值与基于硅的光吸收特性和器件结构特性的系数的乘积来计算B光的值。以这种方式，可以使用由各个像素接收的光的能量的大约100％，并因此能够进一步提高图像质量。
所述三层(第一层(B层)664、第二层(G层)665和第三层(R层)666)中的虚线矩形表示像素。然而，为了便于说明，图59简单示出了少量的像素。另外，这也适用于图60至图62。
图60示出了小眼透镜667至669与第一层(G层)670、第二层(B层)671和第三层(R层)672之间的关系。除了G层的位置和B层的位置在图59所示的示例中被交换以外，图60与图59近似相同。以这种方式，能够通过使用例如光电转换膜中的硅以外的材料来实现颜色分离的顺序的改变等。
图61示出了小眼透镜673至675与第一层(B层)676、第二层(G层)677和第三层(R层)678之间的关系。图61示出了所述三层(第一层(B层)676、第二层(G层)677和第三层(R层)678)的摄像面在各个小眼中是弯曲的示例。换言之，示出了所述三层的部署对应于图59所示的示例并且弯曲形状对应于图58所示的示例的情况的示例。
图62示出了小眼透镜679至681与第一层(G层)682、第二层(B层)683和第三层(R层)684之间的关系。图62示出了所述三层(第一层(G层)682、第二层(B层)683和第三层(R层)684)的摄像面在各个小眼中是弯曲的示例。换言之，示出了所述三层的部署对应于图60所示的示例并且弯曲形状对应于图58所示的示例的情况的示例。
图61和图62示出了各个小眼的边界表面是光滑弯曲表面的示例(与图58对应的示例)，但是可以运用其他示例(例如，图56和图57所示的示例)。
图63和图64是示出了根据本发明第三十实施例的从复眼摄像部110输出的图像信号的输出波形的图。在图63和图64所示的图形中，垂直轴表示光学信号的输入值和图像信号的输出值，并且水平轴是时间轴。
图63示出了输入波形和输出波形的示例。换言之，示出了光学信号的输入波形与图像信号的输出波形之间的关系。具体地，示出了在图像信号的输出的一部分中相对于光的输入发生了延迟的情况的示例。
图63中的a示出了当没有执行通过信号处理进行的校正时，光学信号的输入波形与图像信号的输出波形之间的关系。
例如，如图59至图62所示，当三层被设置成沿光轴方向堆叠时，光电转换层的特性之间会存在差异。于是，当光电转换层的特性之间存在差异时，据推测，图像信号对光学信号的输入的响应将会被延迟。例如，作出这样的假设：光的输入值是Vin，并且相对于光的这个输入值Vin，G、B和R各自的图像信号的输出值分别是VG、VB和VR。在这种情况下，例如，如图63中的a所示，图像信号的输出值VB和VR同时地(或近似同时地)响应于光的输入值Vin，但是图像信号的输出值VG的响应可能被延迟。在这种情况下，图像信号的输出值VG的延迟时间是D1。
在这样的情况下，通过执行适当的信号处理，如图63中的b所示，能够使图像信号的输出值VB、VR和VG的响应时间统一。例如，以使图像信号的输出值VB和VR与图像信号的发生了延迟的输出值VG相配的方式，执行用于改变图像信号的输出值VB和VR的时序(延迟一个延迟时间D1)的信号处理。
图64示出了输入波形和输出波形的示例。换言之，示出了光学信号的输入波形与图像信号的输出波形之间的关系。具体地，示出了如下情况的示例：在该情况中，在图像信号的输出的一部分中相对于光的输入发生了延迟，此外，高频发生了衰减。
例如，如图64中的a所示，图像信号的输出值VB和VR同时地(或近似同时地)响应于光的输入值Vin，但是图像信号的输出值VG的响应可能被延迟，此外，高频可能发生衰减。在这种情况下，图像信号的输出值VG的延迟时间是D2。
即使在这样的情况下，通过执行适当的信号处理，如图64中的b所示，也能够使图像信号的输出值的波形统一。例如，校正图像信号的发生了延迟的输出值VG的波形，并且基于发生了延迟的图像处理的输出值VG来校正图像处理的输出值VB和VR。例如，以使图像信号的输出值VB和VR与发生了延迟的图像处理的输出值VG相配的方式使图像信号的输出值VB和VR的时序延迟一个延迟时间D3。换言之，执行用于改变图像处理的输出值VG、VB和VR的波形和时序的信号处理。
以这种方式，当光电转换层的特性之间存在差异时，信号处理部120通过信号处理进行校正，并因此可以输出适当的图像。因此，能够提高图像质量。
在这里，当光电转换层的特性之间存在差异时，据推测，将会预先获取用于校正光电转换层的特性之间的差异的信息(校正信息)并且将会使用该校正信息。例如，复眼摄像装置100保持该校正信息，并且信号处理部120基于所保持的该校正信息而通过信号处理进行校正，以使得能够输出与目的对应的信号。因此，图65示出了校正信息被保持且被使用的示例。
图65是示出了根据本发明第三十实施例的在复眼摄像部110中使用的堆叠型图像传感器的构造示例的图。另外，图65中的a示出了堆叠型图像传感器(背面照射型CMOS图像传感器)的斜视立体图，并且图65中的b示出了堆叠型图像传感器(背面照射型CMOS图像传感器)的侧视图。
图65所示的堆叠型图像传感器(背面照射型CMOS图像传感器)是通过在图43所示的堆叠型图像传感器(背面照射型CMOS图像传感器)的电路691中设置非易失性存储器692而获得的。另外，除了设置有非易失性存储器692以外，图65所示的堆叠型图像传感器与图43所示的示例相同。
以这种方式，可以新提供有并且使用用于保持校正信息的非易失性存储器692。图65示出了设置非易失性存储器692的示例，但是校正信息可以被保持在另一个保持部中以供使用。另外，校正信息可以被保持在外部存储器中以供使用。
以这种方式，能够将校正信息保持在具有堆叠构造或多芯片构造的复眼摄像部中，能够基于该校正信息来执行适当的信号处理，并且能够输出与目的对应的信号。
在这里，本发明的第一实施例至第二十九实施例示出了采用水平光谱摄像元件的复眼摄像装置100的示例。例如，当使用水平光谱摄像元件时，用于沿水平方向将入射光分离的彩色滤光片是必要的。存在着这样的风险：光将会无法穿过这个彩色滤光片，无法穿过这个彩色滤光片的该光的能量将不会有助于光电转换，并且复眼摄像装置的感光度将会下降。为此，重要的是需要提高感光度。
因此，在本发明的第三十实施例中，使用了垂直光谱摄像元件。因此，能够在不浪费能量的前提下在光电转换中使用入射光的能量。另外，复眼摄像装置能够具有高的感光度。而且，能够改善运动中的被摄对象的颜色偏移。另外，在复眼摄像装置中执行信号处理，并因此能够极大地减小个体之间的差别。而且，用户能够在不会由于光电转换材料之间的特性差异而感到不适的前提下使用复眼摄像装置。
31.第三十一实施例
本发明的第三十一实施例示出了包括用于调节各个小眼的像距(image distance)的像距调节部的复眼摄像装置的示例。具体地，示出了具有致动器功能的复眼摄像装置的示例。像距是从透镜到成像面的距离。
[复眼摄像部的构造示例]
图66至图70是示出了根据本发明第三十一实施例的复眼摄像部110的截面的截面图。
图66示出了包括致动器的复眼摄像装置的示例。图67示出了包括致动器并且摄像面是弯曲的情况的示例。另外，图67示出了各个小眼的边界表面是光滑弯曲表面的情况的示例(与图58对应的示例)。
图68示出了从光的入射侧开始按照G、B和R的顺序将光分离的情况的示例(与图60对应的示例)。图69示出了从光的入射侧开始按照G、B和R的顺序将光分离并且摄像面是弯曲的情况的示例。另外，图69示出了各个小眼的边界表面是光滑弯曲表面的情况的示例(与图62对应的示例)。
图66示出了致动器700、可移动构件701至704、小眼透镜705至707与各个小眼的摄像元件708之间的关系。
致动器700是设置于基板上的像距调节元件，该基板包括各个小眼的摄像元件708。另外，致动器700由控制部130(如图9中示出)控制。而且，可移动构件701至704是这样的构件：它们能够支撑着小眼透镜705至707，并且能够根据致动器700的移动而使小眼透镜705至707沿光轴方向移动。
以这种方式，致动器700使小眼透镜705至707移动并且调节各个小眼的聚焦位置。
作为致动器700，例如，可以使用如下的压电元件：其能够通过在高速和低速下重复伸缩而使小眼透镜705至707移动。作为这个压电元件，例如，可以使用当被施加了电压时就发生位移的元件(压电元件)。
各个小眼的摄像元件708中的虚线矩形表示像素。然而，为了便于说明，图66简单示出了少量的像素。另外，这也适用于图67至图69。
图67示出了致动器709、可移动构件710至713、小眼透镜714至716与各个小眼的摄像元件717之间的关系。除了各个小眼的边界表面是光滑弯曲表面以外，图67所示的示例与图66所示的示例近似相同。
图68示出了致动器718、可移动构件719至722、小眼透镜723至725与各个小眼的摄像元件726之间的关系。除了使用了从光的入射侧开始在垂直方向上按照G、B和R的顺序将光分离的摄像元件以外，图68所示的示例与图66所示的示例近似相同。
图69示出了致动器727、可移动构件728至731、小眼透镜732至734与各个小眼的摄像元件735之间的关系。除了使用了从光的入射侧开始在垂直方向上按照G、B和R的顺序将光分离的摄像元件并且摄像面是弯曲的以外，图69所示的示例与图66所示的示例近似相同。
在这里，也可以推测出：将会预先获取用于通过使用致动器来调节各个小眼的聚焦位置的信息(聚焦位置信息)，并且将会使用该聚焦位置信息。例如，复眼摄像装置100保持该聚焦位置信息，并且控制部130(如图9中示出)能够基于所保持的该聚焦位置信息来控制致动器。
例如，可以将聚焦位置信息保持在图65所示的非易失性存储器692中以供使用该聚焦位置信息。
以这种方式，通过保持并使用聚焦位置信息，可以实现能够向个体之间的位置精度给予冗余性的摄像元件。因此，能够提高复眼摄像装置的性能。另外，可以削减在实现该性能的这种提高时所用的成本。而且，可以减少与被摄对象对应的聚焦时间。另外，可以防止复眼摄像装置的固有信息(聚焦位置信息)的丢失。
在这个示例中，聚焦位置信息被保持在图65所示的非易失性存储器692中，但是聚焦位置信息可以被保持在另一个保持部中以供使用。另外，聚焦位置信息可以被保持在外部存储器中以供使用。
图70示出了包括多个致动器的复眼摄像装置的示例。换言之，示出了在各个小眼中设置有致动器的示例。具体地，图70示出了致动器736至738、可移动构件739至744、小眼透镜745至747与各个小眼的摄像元件748之间的关系。
以这种方式，通过向各个小眼提供相应的致动器736至738，即使当制造各个小眼时存在着位置精度的差别，也可以对该位置精度的差别给予冗余性。另外，关于各个小眼，可以改变与聚焦位置相配的对象。换言之，可以调节各个小眼的聚焦位置。
在这里，拥有固定焦点的复眼摄像装置具有包括从近距离到无限远距离的窄聚焦范围。特别地，当具有长焦距和小F值的透镜被使用时，包括从近距离到无限远距离的聚焦范围变得更窄。
因此，本发明的第三十一实施例具有用于调节像距的致动器功能。
因此，能够扩大包括从近距离到无限远距离的聚焦范围。特别地，即使当具有长焦距和小F值的透镜被使用时，也能够扩大包括从近距离到无限远距离的聚焦范围。
致动器700、709、718、727以及736至738是权利要求中所述的像距调节部的示例。
32.第三十二实施例
本发明的第三十二实施例示出了改变各个小眼的聚焦状态的复眼摄像装置的示例。
[复眼摄像部的构造示例]
图71和图72是示出了根据本发明第三十二实施例的复眼摄像部110的截面的截面图。
图71示出了各个小眼的聚焦状态有所改变的复眼摄像装置的示例。具体地，图71示出了致动器750、可移动构件751至754、小眼透镜755至757与各个小眼的摄像元件758之间的关系。除了各个小眼的聚焦状态发生变化以外，图71所示的示例与图66所示的示例近似相同。
换言之，在图71中，使用了如下的小眼透镜755至757：它们各自的小眼具有不同的聚焦状态。因此，通过小眼透镜755至757入射到各个小眼的摄像元件758上的光(在图71中，由虚线表示)的聚焦位置是不同的。
图72示出了这样的复眼摄像装置的示例：该复眼摄像装置在各个小眼中都包括致动器并且各个小眼的聚焦状态发生变化。换言之，示出了包括多个致动器的示例。具体地，图72示出了致动器759至761、可移动构件762至767、小眼透镜768至770与各个小眼的摄像元件771之间的关系。除了各个小眼的聚焦状态有所改变以外，图72所示的示例与图70所示的示例近似相同。
在这里，当通过使用其中各小眼具有统一的聚焦状态的复眼摄像装置来执行拍摄时，在从近距离到无限远距离的范围内，存在于未设定焦点的距离处的被摄对象会被拍摄成完全模糊的图像。
相比之下，在本发明的第三十二实施例中，各个小眼的聚焦状态发生变化，因此，在从近距离到无限远距离的范围内，存在有位于与小眼对应的最佳焦点中的图像的概率是很高的。因此，可以避免未设定焦点的状态。
另外，通过向各个小眼提供多个致动器，可以根据情形为各个小眼设定最佳焦点。因此，能够增加关于聚焦的自由度。
33.第三十三实施例
本发明的第三十三实施例示出了针对各个小眼设定不同焦距的复眼摄像装置的示例。
[复眼摄像部的构造示例]
图73和图74是示出了根据本发明第三十三实施例的复眼摄像部110的截面的截面图。
图73示出了各个小眼的聚焦距离发生变化的复眼摄像装置的示例。具体地，图73示出了小眼透镜775至777与各个小眼的摄像元件778之间的关系。
换言之，在图73中，小眼透镜775至777被安装在与相应的聚焦位置对应的高度(沿光轴方向的长度)处，这些小眼透镜775至777各自的小眼具有不同的聚集距离。
图74示出了这样的复眼摄像装置的示例：在该复眼摄像装置中，各个小眼中设置有致动器，并且各个小眼的聚焦距离发生变化。换言之，示出了包括多个致动器的示例。具体地，图74示出了致动器780至782、可移动构件783至788、小眼透镜789至791与各个小眼的摄像元件792之间的关系。除了各个小眼的聚焦距离发生变化以外，图74所示的示例与图70所示的示例近似相同。
在这里，当通过使用其中各小眼具有统一的聚焦距离的复眼摄像装置来执行拍摄时，据推测，将会难以获得具有包括从广角(wide angle)到望远(telescopy)的宽视角的图像。
相比之下，在本发明的第三十三实施例中，各个小眼的聚焦距离发生变化，并因此可以获得具有宽视角(其包括从广角到远射)的图像。
另外，通过向各个小眼提供多个致动器，可以根据情形为各个小眼设定最佳焦点。因此，能够增加关于聚焦的自由度。
因此，可以生成这样的图像：该图像在中央部中具有高分辨率，在周边部中具有低分辨率，并且具有宽视角，等等。
34.第三十四实施例
本发明的第三十四实施例示出了保持与小眼光学系统的光学特性有关的信息(光学特性信息)并且在信号处理中使用该光学特性信息的复眼摄像装置的示例。
在公式6至公式11中示出了各个小眼的输出信号Sijkl与被摄对象信息Bijqr之间的关系。换言之，公式6至公式11示出了在由复眼摄像装置100执行的信号处理中使用的光学特性的示例和使用该光学特性的情况的计算示例。
[数学式1]
Sijkl＝f(aijqr)Bijqr 公式6
Bijqr＝f(aijqr)-1Sijkl 公式7
g(bijqr)＝f(aijqr)-1 公式8
Bijqr＝g(bijqr)Sijkl公式9
这里，函数f是表示光学特性的函数。函数f是已经已知的或能够获取到的信息。另外，函数f的逆函数是g。
另外，i表示小眼的行号，并且j表示小眼的列号。此外，k表示小眼中的像素的行号，并且l表示小眼中的像素的列号。
而且，q表示被摄对象的垂直方向序号，并且r表示被摄对象的水平方向序号。
另外，aijklqr是表示光学特性的系数。而且，M表示垂直像素的数量，并且N表示水平像素的数量。
如上所述，因为函数f(表示光学特性的函数)是已经已知的(或能够获取到的信息)，所以可以通过计算函数f的逆函数g并且对图像传感器的原始数据进行处理来精确地计算被摄对象信息。
具体地，例如，计算具有系数a(其表示光学特性)的矩阵的逆矩阵。然后，如公式11所示，可以通过该逆矩阵的要素b与图像传感器的原始数据之间的演算来精确地计算被摄对象信息。
与这些光学特性(或光学特性的逆特性)有关的信息(光学特性信息)被保持在具有堆叠构造或多芯片构造的复眼摄像装置中。然后，信号处理部120基于所保持的光学特性信息对从图像传感器输出的原始数据执行信号处理，并且能够输出与目的对应的信号。因此，能够提高图像质量。
例如，光学特性信息能够被保持在图65所示的非易失性存储器692中以供使用。另外，该光学特性信息可以被保持在另一个保持部中以供使用，或者可以被保持在外部存储器中以供使用。非易失性存储器692是权利要求中所述的保持部的示例。
以这种方式，通过在制造过程中应用不均匀性，可以减小个体之间的图像质量的差别。换言之，因为能够减小个体之间的图像质量的差别，所以能够使制造过程中的管理值稳健化，并且能够降低制造成本。另外，能够使由复眼摄像装置生成的图像以高图像质量稳定化。
另外，因为在复眼摄像装置中执行信号处理，所以用户能够在不会由于特性差异而感到不适的前提下使用复眼摄像装置。
35.第三十五实施例
本发明的第三十五实施例示出了既使用在时间响应校正前的信号又使用在时间响应校正后的信号的复眼摄像装置的示例。
图75是示出了根据本发明第三十五实施例的从复眼摄像部110输出的图像信号的输出波形的图。在图75所示的图形中，垂直轴表示光学信号的输入值和图像信号的输出值，并且水平轴是时间轴。
图75中的a示出了在利用信号处理部120执行时间响应校正之前的输入波形和输出波形的示例。图75中的b示出了在利用信号处理部120执行时间响应校正之后的输入波形和输出波形的示例。
例如，图75中的a所示的在时间响应校正之前的VG、VB和VR被用作去往显示部140(如图9中示出)的输出以便使延时(延迟)最小化。另一方面，图75中的b所示的在时间响应校正之后的VG、VB和VR被用来记录到存储部150(如图9中示出)，这样高图像质量的信号就被记录。
以这种方式，信号处理部120(如图9中示出)通过使用由摄像元件生成的图像信号之中的在执行时间响应校正处理之前的图像信号和在执行时间响应校正处理之后的图像信号这两者来生成图像。具体地，信号处理部120基于在执行时间响应校正处理之前的图像信号来生成作为显示对象的图像，并且基于在执行时间响应校正处理之后的图像信号来生成作为记录对象的图像。
例如，当与光的波长带域对应地使用不同的光电转换材料时，存在着光电转换材料对光的输入具有不同响应速度的可能性。当执行用于减小这个差别的信号处理(时间响应校正处理)时，在复眼摄像装置的输出信号中发生延时。为此，当在监视器上显示已发生了延时的图像时，存在这样的风险：相机追踪将会晚于被摄对象的运动，并且将会难以对运动中的被摄对象进行摄像。
因此，在本发明的第三十五实施例中，使用了两种信号(在时间响应校正之前的信号和在时间响应校正之后的信号)。因此，即使当在复眼摄像装置的输出信号中发生延时时，也可以在监视器上显示出适当的图像。因此，可以针对被摄对象的运动适当地实施相机追踪。另外，可以使运动中的被摄对象的摄像更容易。而且，可以在监视器上显示适当的图像并且将高图像质量的图像信息记录为数据。
36.第三十六实施例
本发明的第三十六实施例示出了校正光电转换的时间响应特性中的差异的复眼摄像装置的示例。
图76是示出了根据本发明第三十六实施例的从复眼摄像部110输出的图像信号的输出波形的图。在图76所示的图形中，垂直轴表示光学信号的输入值和图像信号的输出值，并且水平轴是时间轴。
图76中的a示出了在利用信号处理部120执行的信号处理之前的输入波形和输出波形的示例。图76中的b示出了在利用信号处理部120执行的信号处理之后的输入波形和输出波形的示例。
例如，如图76中的a所示，作出如下这样的假设：图像信号的输出值VB和VR几乎同时对光学信号的输入值Vin作出响应，但是图像信号的输出值VG的响应发生延迟，而且，高频发生衰减。在这样的情况下，如图76中的b所示，能够执行适当的信号处理，能够使波形统一，并且能够提高图像质量。
以这种方式，信号处理部120(如图9中示出)校正由摄像元件的光电转换的时间响应特性引起的差异。
例如，当与光的波长带域对应地使用不同的光电转换材料时，存在着光电转换材料对光的输入具有不同响应速度的可能性。由于响应速度的这个差异，就存在着从复眼摄像装置输出的图像信号的图像质量被劣化的风险。
因此，在本发明的第三十六实施例中，校正光电转换的时间响应特性的差异。例如，在与光的波长带域对应地使用不同的光电转换材料的情况等情况下，据推测，光电转换材料对光的输入具有不同的响应速度。即使在这样的情况下，通过信号处理来执行校正，也能够提高从复眼摄像装置输出的图像信号的图像质量。
以这种方式，根据本发明的各实施例，能够提高复眼摄像装置的分辨率。另外，能够减薄复眼摄像装置的光学系统。而且，能够降低复眼摄像装置的光学系统的成本。另外，能够减薄复眼摄像装置。
上述各实施例示出了用于实施本发明的示例，并且各实施例的细节分别对应于权利要求中的特定发明细节。同样地，权利要求中的特定发明细节分别对应于本发明实施例中的具有与这些特定发明细节的名称相同的名称的细节。然而，本发明不局限于上述各实施例，并且能够在不脱离本发明的主旨的范围内，通过对这些实施例进行各种修改来实施本发明。
本说明书中所描述的效果仅是示例并且不是限制性的，而且可能存在着其他效果。
此外，本发明也可以被实施为如下技术方案。
(1)一种复眼摄像装置，其包括：
多个小眼光学系统，所述多个小眼光学系统被配置成以面对被摄对象的方式以二维状布置着；
摄像元件，所述摄像元件被配置成包括以各个小眼为单位而设置的多个像素，所述多个像素接收由所述小眼光学系统聚集的光并且生成图像信号；以及
信号处理部，所述信号处理部被配置成基于由所述摄像元件生成的所述图像信号来生成对应于所述被摄对象的图像。
(2)根据(1)所述的复眼摄像装置，其中，
通过使所述小眼光学系统的光轴的位置移位来执行空间像素移位。
(3)根据(1)或(2)所述的复眼摄像装置，其中，
所述信号处理部校正由所述小眼光学系统的倍率色差引起的在焦平面上的周边部中与颜色对应地发生的像偏移。
(4)根据(1)至(3)中任一项所述的复眼摄像装置，其中，
所述多个小眼光学系统之中的至少一个小眼光学系统具有与其它小眼光学系统不同的光学特性。
(5)根据(1)至(4)中任一项所述的复眼摄像装置，其中，
位于所述摄像元件的周边部中的小眼光学系统的F值小于其他小眼光学系统的F值。
(6)根据(1)至(5)中任一项所述的复眼摄像装置，其中，
所述复眼摄像装置由晶圆级相机模块(WLCM)和堆叠型复眼摄像装置构成，并且
所述小眼的数量超过阈值。
(7)根据(1)至(6)中任一项所述的复眼摄像装置，其还包括控制部，所述控制部被配置成执行下列动作中的至少一者：
停止所述多个小眼之中的没有使用的小眼的驱动；和
关闭被安装于所述没有使用的小眼中的模数转换器(ADC)。
(8)根据(1)至(7)中任一项所述的复眼摄像装置，其中，
所述多个小眼之中的至少一个小眼中设置有距离传感器。
(9)根据(1)至(8)中任一项所述的复眼摄像装置，其中，
所述多个小眼之中的至少一个小眼具有与其他小眼不同的偏光角度。
(10)根据(1)至(9)中任一项所述的复眼摄像装置，其中，
所述多个小眼之中的至少一个小眼具有与其他小眼不同的光谱感光度。
(11)根据(1)至(10)中任一项所述的复眼摄像装置，其中，
所述多个小眼之中的至少一个小眼由与其他小眼不同的材料制成。
(12)根据(1)至(11)中任一项所述的复眼摄像装置，其中，
所述摄像元件是通过将单片化芯片并排地布置为一个伪芯片、且添加多透镜阵列(MLA)而被制造的。
(13)根据(1)至(11)中任一项所述的复眼摄像装置，其中，
所述摄像元件是通过平铺而被制造的。
(14)根据(1)至(13)中任一项所述的复眼摄像装置，其中，
所述摄像元件包括多个层，所述多个层用于获取沿着光的入射方向在同一像素处不同的颜色信息。
(15)根据(1)至(14)中任一项所述的复眼摄像装置，其还包括：
像距调节部，所述像距调节部被配置成调节各个所述小眼的像距。
(16)根据(1)至(15)中任一项所述的复眼摄像装置，其中，
各个所述小眼的聚焦状态发生变化。
(17)根据(1)至(16)中任一项所述的复眼摄像装置，其中，
针对各个所述小眼设定不同的焦距。
(18)根据(1)至(17)中任一项所述的复眼摄像装置，其还包括：
保持部，所述保持部被配置成保持与所述小眼光学系统的光学特性有关的光学特性信息，
其中，所述信号处理部通过利用所保持的所述光学特性信息来执行信号处理，由此生成对应于所述被摄对象的所述图像。
(19)根据(1)至(18)中任一项所述的复眼摄像装置，其中，
所述信号处理部通过使用由所述摄像元件生成的所述图像信号之中的在执行时间响应校正处理之前的图像信号和在执行所述时间响应校正处理之后的图像信号，来生成所述图像。
(20)根据(1)至(19)中任一项所述的复眼摄像装置，其中，
针对由所述摄像元件生成的所述图像信号，所述信号处理部校正由所述摄像元件的光电转换的时间响应特性引起的差异。
(21)一种复眼摄像装置，其包括：
多个小眼光学系统，所述多个小眼光学系统面对着被摄对象以二维状布置着；
摄像元件，所述摄像元件被配置成包括以各个小眼为单位而设置的多个像素，所述多个像素接收由所述小眼光学系统聚集的光并且生成图像信号；
彩色滤光片，各所述彩色滤光片被配置成安装在相应的所述小眼中；以及
信号处理部，所述信号处理部被配置成基于由所述摄像元件生成的所述图像信号来生成对应于所述被摄对象的图像，
其中，所述像素的有效开口在各个所述彩色滤光片中发生改变。
(22)一种复眼摄像装置，在该复眼摄像装置中，设置有并排布置的多个复眼摄像部，各个所述复眼摄像部包括：多个小眼光学系统，所述多个小眼光学系统面对着被摄对象以二维状布置着；摄像元件，所述摄像元件被配置成包括以各个小眼为单位而设置的多个像素，所述多个像素接收由所述小眼光学系统聚集的光并且生成图像信号；以及信号处理部，所述信号处理部基于由所述摄像元件生成的所述图像信号来生成对应于所述被摄对象的图像。
(23)根据(22)所述的复眼摄像装置，
其中，所述多个复眼摄像部是通过平铺而被制造的。
(24)根据(22)或(23)所述的复眼摄像装置，
其中，安装有所述多个复眼摄像部的安装表面的角度在各个所述复眼摄像部中发生改变。
(25)根据(22)至(24)中任一项所述的复眼摄像装置，
其中，所述多个复眼摄像部被安装成是弯曲的并且是并排布置的。
(26)根据(22)至(25)中任一项所述的复眼摄像装置，
其中，所述多个复眼摄像部被安装成是并排布置的，并且
其中，所述复眼摄像装置还包括检测部，所述检测部被配置成检测所述多个复眼摄像部之中的相邻复眼摄像部的相对位置之间的偏差、倾斜和变形中的至少一者。
(27)根据(1)至(26)中任一项所述的复眼摄像装置，
其中，针对各个所述小眼执行瞳孔校正。
(28)根据(1)至(27)中任一项所述的复眼摄像装置，
其中，根据由所述小眼光学系统的色差造成的焦距差异来光学地设计所述小眼。
(29)根据(1)至(28)中任一项所述的复眼摄像装置，
其中，所述小眼配置有多个子小眼。
(30)根据(1)至(29)中任一项所述的复眼摄像装置，
其中，所述多个小眼光学系统之中的至少一个小眼光学系统具有与其它小眼光学系统不同的结构。
(31)根据(1)至(30)中任一项所述的复眼摄像装置，
其中，所述小眼光学系统包括：
第一小眼光学系统，所述第一小眼光学系统被配置成将主光束的入射角设定为大约0度；以及
第二小眼光学系统，所述第二小眼光学系统被配置成将主光束的入射角设定为0度以外的、且与所述第一小眼光学系统的所述入射角不同的角度。
(32)根据(31)所述的复眼摄像装置，
其中，所述第二小眼光学系统是设置于所述摄像元件的周边部的区域中的小眼光学系统。
(33)根据(1)至(32)中任一项所述的复眼摄像装置，
其中，所述复眼摄像装置被配置有WLCM，并且
其中，具有不同感光度的所述多个小眼被设置于所述WLCM中。
(34)根据(1)至(33)中任一项所述的复眼摄像装置，其还包括：
控制部，所述控制部被配置成根据摄像模式来执行用于改变从所述摄像元件读出的读出方法的控制。
(35)根据(1)至(34)中任一项所述的复眼摄像装置，
其中，所述摄像元件是全局快门互补金属氧化物半导体(CMOS)图像传感器。
(36)根据(1)至(34)中任一项所述的复眼摄像装置，
其中，所述摄像元件是背面照射型CMOS图像传感器。
(37)根据(1)至(34)中任一项所述的复眼摄像装置，
其中，所述摄像元件是堆叠型图像传感器。
(38)根据(37)所述的复眼摄像装置，
其中，所述堆叠型图像传感器产生所述多个小眼的并行输出。
(39)根据(1)至(38)中任一项所述的复眼摄像装置，
其中，所述多个小眼之中的至少一个小眼包括对可见光以外的光具有感光度的传感器。
(40)根据(1)至(39)中任一项所述的复眼摄像装置，
其中，所述复眼摄像装置被配置有WLCM，并且
其中，通过使用所述WLCM的视差来计算距离信息。
(41)根据(1)至(40)中任一项所述的复眼摄像装置，
其中，所述摄像元件是通过平铺、减薄、重新布线和层间连接而被制造的。
(42)根据(1)至(41)中任一项所述的复眼摄像装置，
其中，所述摄像元件的光接收表面在各个所述小眼中具有凹陷形状。
(43)根据(19)所述的复眼摄像装置，
其中，所述信号处理部基于在执行所述时间响应校正处理之前的所述图像信号来生成作为显示对象的图像，并且基于在执行所述时间响应校正处理之后的所述图像信号来生成作为记录对象的图像。
附图标记列表
100：复眼摄像装置
110：复眼摄像部
120：信号处理部
130：控制部
140：显示部
150：存储部
160：操作接收部
170：无线通信部
- 还没有人留言评论。精彩留言会获得点赞！