光场摄像装置以及摄像元件的制作方法

本申请涉及同时获得图像和纵深信息的单眼三维摄像技术。

背景技术：
近年来，利用了CCD或CMOS等固体摄像元件(以下称为“摄像元件”)的数码相机或数字电影的高功能化、高性能化备受瞩目。尤其是，通过半导体制造技术的进步，摄像元件中的像素构造的微细化也在发展。其结果，实现了摄像元件的像素及驱动电路的高集成化。因此，仅仅数年，摄像元件的像素数就从100万像素左右显著地增加到1000万像素以上。进而，通过摄像得到的图像的质量也得到了飞跃的提高。另一方面，对于显示装置而言，借助薄型的由液晶或等离子构成的显示器，不占地方且分辨率高，因此能够显示高对比度，实现了高性能。这种影像的高品质化的趋势正从二维图像向三维图像扩展。最近，正在开始开发一种虽需要偏振眼镜但画质高的三维显示装置。对于三维摄像技术而言，作为具有简单构成的代表性的方式，有如下方式：利用由2台照相机构成的摄像系统来分别获取右眼用的图像以及左眼用的图像。在这种所谓的双眼摄像方式中，由于利用2台照相机，故摄像装置变得大型，成本也会升高。因而，正在研究利用一台照相机来获取具有视差的多个图像(以下有时称作“多视点图像”)的方式(单眼摄像方式)。例如，在专利文献1、2中公开了利用透过轴的方向相互正交的2片偏振板和旋转的偏振滤光器来获取多视点图像的方式。此外，在专利文献3～5中公开了利用设有多个滤色器的光圈(光束限制板)来获取多视点图像的方式。上述的专利文献1～5所公开的方式在主要通过单眼照相机生成多视点图像之际被利用。另一方面，也存在利用具备多个显微透镜(microlens)的单眼照相机来获取纵深信息，并基于该信息自由地改变获取后的图像的焦点位置的技术。这种技术被称作光场摄影(lightfieldphotography)，利用该光场摄影的单眼照相机被称作光场照相机。在光场照相机中，在摄像元件上配置多个显微透镜。各显微透镜被配置成覆盖多个像素。在摄像之后，根据获取到的图像信息来计算出与入射光的方向相关的信息，由此能够推测被摄体的纵深。这种照相机已被公开在例如非专利文献1中。在专利文献6中公开了利用两个摄像系统来提高分辨率的技术。在该技术中，利用具有将入射光分割为两部分并将分割后的各入射光在空间上各错开1/2间距来排列的显微透镜组的摄像系统来进行摄像，然后合成获取到的图像，从而提高分辨率。此外，在专利文献7中公开了利用一个摄像系统来切换通常摄像模式和基于光场摄影的模式的技术。根据该技术，利用焦点距离随着施加电压而变化的显微透镜，显微透镜的焦点距离在前者模式下被设定成无限大，在后者模式下被设定成规定的距离。根据这种机构，能够获得分辨率高的图像和纵深信息。在先技术文献专利文献专利文献1：日本特开昭62-291292号公报专利文献2：日本特开昭62-217790号公报专利文献3：日本特开2002-344999号公报专利文献4：日本特开2009-276294号公报专利文献5：日本特开2003-134533号公报专利文献6：日本特开平11-98532号公报专利文献7：日本特开2008-167395号公报非专利文献非专利文献1：RenNg，etal，“LightFieldPhotographywithaHand-heldPlenopticCamera”，StanfordTechReportCTSR2005-02

技术实现要素：
(发明要解决的课题)在光场照相机中，虽然能够获得纵深信息，但是却存在图像的分辨率会降低的问题。为了解决该问题，如上述的专利文献6、7的技术那样需要改良光学系统，但是即使在改良后，也需要两个摄像系统，因而存在无法同时获得无分辨率降低的图像和纵深信息的问题。本发明的实施方式提供一种利用不同于现有技术的光学系统以及信号处理，能够同时获取无分辨率降低的图像和纵深信息的摄像技术。(用于解决课题的技术方案)为了解决上述课题，本发明的一方式的光场照相机具备：光学系统；摄像元件，被配置成接受通过所述光学系统形成的像；图像处理部，基于从所述摄像元件输出的信号，生成图像信息；和控制部，对所述摄像元件的动作进行控制。所述摄像元件具有：光电变换层，具有多个感光单元；反射层，反射透过了所述光电变换层的光；显微镜头层，具有配置在所述光电变换层与所述反射层之间的多个显微透镜；和透过光控制层，被配置在所述光电变换层与所述反射层之间，基于来自所述控制部的指示，改变光透过率。所述显微镜头层构成为：透过所述多个感光单元所包含的一个感光单元后被所述反射层反射的光，再次入射到所述感光单元。所述控制部控制所述摄像元件，以使在将所述透过光控制层的光透过率设为第1值的状态下进行第1摄像，在将所述透过光控制层的光透过率设为与所述第1值不同的第2值的状态下进行第2摄像。所述图像处理部进行包括所述摄像元件通过所述第1摄像而生成的第1信号、与所述摄像元件通过所述第2摄像而生成的第2信号之间的差分在内的运算，由此生成所述图像信息。本发明的其他方式的摄像元件具有：光电变换层，具有多个感光单元；反射层，反射透过了所述光电变换层的光；显微镜头层，具有配置在所述光电变换层与所述反射层之间的多个显微透镜；和透过光控制层，被配置在所述光电变换层与所述反射层之间，能够改变光透过率。所述显微镜头层被配置成：透过所述多个感光单元所包含的一个感光单元后被所述反射层反射的光，再次入射到所述感光单元。上述的一般且特定的方式可利用系统、方法以及计算机程序来实现，或者可利用系统、方法以及计算机程序的组合来实现。(发明效果)根据本发明的一方式，能够同时获取无分辨率降低的通常图像和纵深信息。附图说明图1是表示例示性实施方式1中的摄像装置的示意结构的图。图2是表示例示性实施方式1中的光学镜头、透光板、以及摄像元件的配置关系的示意图。图3是例示性实施方式1中的摄像元件的剖视图。图4是表示例示性实施方式1中的感光单元的排列例的图。图5是表示例示性实施方式1中的摄像以及信号处理的流程的图。具体实施方式本发明的例示性实施方式的概要如下所述。(1)本发明的一方式的光场照相机，具备：光学系统；摄像元件，被配置成接受通过所述光学系统形成的像；图像处理部，基于从所述摄像元件输出的信号，生成图像信息；和控制部，对所述摄像元件的动作进行控制。所述摄像元件具有：光电变换层，具有多个感光单元；反射层，反射透过了所述光电变换层的光；显微镜头层，具有配置在所述光电变换层与所述反射层之间的多个显微透镜；和透过光控制层，被配置在所述光电变换层与所述反射层之间，基于来自所述控制部的指示来改变光透过率。所述显微镜头层构成为：透过所述多个感光单元所包含的一个感光单元后被所述反射层反射的光，再次入射到所述感光单元。所述控制部控制所述摄像元件，以使在将所述透过光控制层的光透过率设为第1值的状态下进行第1摄像，在将所述透过光控制层的光透过率设为与所述第1值不同的第2值的状态下进行第2摄像。所述图像处理部进行包括所述摄像元件通过所述第1摄像而生成的第1信号、与所述摄像元件通过所述第2摄像而生成的第2信号之间的差分在内的运算，由此生成所述图像信息。(2)在某一实施方式中，所述图像处理部基于所述第1信号与所述第2信号之间的差分信号，计算出被摄体的纵深信息。(3)在某一实施方式中，所述图像处理部使用通过所述显微镜头层而形成在所述光电变换层上的多个部分图像的信号，生成所述纵深信息。(4)在某一实施方式中，所述图像处理部基于所述第1信号和所述第2信号，生成通常图像。(5)在某实施方式中，所述摄像元件在所述光电变换层与所述显微镜头层之间具有布线层。(6)本发明的其他方式的摄像元件，具有：光电变换层，具有多个感光单元；反射层，反射透过了所述光电变换层的光；显微镜头层，具有配置在所述光电变换层与所述反射层之间的多个显微透镜；和透过光控制层，被配置在所述光电变换层与所述反射层之间，能够改变光透过率。所述显微镜头层被配置成：透过所述多个感光单元所包含的一个感光单元后被所述反射层反射的光，再次入射到所述感光单元。以下，参照附图，对本发明的实施方式进行说明。在以下的说明中，对于在多个图中相同或者对应的要素赋予同一符号。在以下的说明中，有时将表示图像的信号或者信息仅称作“图像”。(实施方式1)首先，对本发明的第1实施方式的摄像装置进行说明。图1是表示本实施方式中的光场型摄像装置(以下简称为“摄像装置”)的示意结构的框图。本实施方式的摄像装置是数字式的电子照相机，具备摄像部100、和基于由摄像部100生成的信号来生成表示图像的信号(图像信号)的信号处理部200。摄像部100具备：固体摄像元件2(以下简称为“摄像元件”)，包括光电变换部1，所述光电变换部1具备排列在摄像面上的多个感光单元；光学镜头3(成像部)，用于在摄像元件2的光电变换部1上形成像；和红外截止滤光器(infraredcut-offfilter)4。摄像部100还具备：信号产生/接收部5，产生用于驱动摄像元件2的基本信号，并且接收来自摄像元件2的输出信号后送出至信号处理部200；和元件驱动部6，基于由信号产生/接收部5生成的基本信号来驱动摄像元件2。摄像元件2典型的是CMOS传感器，通过公知的半导体制造技术来制造。信号产生/接收部5以及元件驱动部6例如由CMOS驱动器等LSI构成。在本实施方式中，信号产生/接收部5以及元件驱动部6具有控制部的功能。各感光单元典型的是光电二极管，输出与通过光电变换所接受的光相应的光电变换信号。信号处理部200具备：图像处理部7，对从摄像部100输出的信号进行处理，生成无分辨率降低的图像和纵深信息；存储器30，保存在图像信号的生成中所利用的各种数据；和图像接口(IF)部8，将所生成的无分辨率降低的图像以及纵深信息送出至外部。图像处理部7可通过公知的数字信号处理器(DSP)等硬件、与执行包括图像信号生成处理在内的图像处理的软件的组合来适当地实现。或者，图像处理部7也可由专用的硬件构成。存储器30可由DRAM或SRAM等公知的半导体存储器来构成。存储器30记录从摄像部100获得的信号，并且暂时记录由图像处理部7所生成的图像数据或被压缩的图像数据。这些图像数据经由图像接口部8而被送出至未图示的记录介质或显示部等。另外，虽然本实施方式的摄像装置可具备电子快门、取景器、电源(电池)、闪光灯等公知的构成要素，但它们的说明对于本实施方式的理解来说并不是特别需要的，因此省略。此外，上述的构成只是一例，在本实施方式中，除摄像元件2、图像处理部7以外的构成要素可以适当地组合公知的要素来加以利用。根据以上的构成，入射光通过光学镜头3、红外截止滤光器4后在摄像元件2的光电变换部1中被成像、以及被进行光电变换。通过光电变换生成的光电变换信号经由信号产生/接收部5而被发送至存储器30，并被蓄积在存储器30中。图像处理部7利用蓄积在存储器30中的光电变换信号来生成无分辨率降低的图像和纵深信息。所生成的无分辨率降低的图像和纵深信息经由图像接口部8而被送出至外部。图2是示意性表示摄像部100中的光学镜头3、摄像元件2及其内部的光电变换部1的配置关系的图。在图2中，省略了除光学镜头3、摄像元件2以及光电变换部1以外的构成要素。此外，在图2中，各要素被简单描绘，这些要素的尺寸、形状、以及要素之间的距离不一定反映实际的情况。例如，虽然光学镜头3可以是由多个透镜组构成的透镜单元，但是在图2中为了便于说明，描绘成了单一透镜。在以下的说明中，使用图中所示的xy坐标。图3是表示本实施方式中的摄像元件2的剖面的一部分的图。在本实施方式中，作为摄像元件2，利用所谓的背面照射型的CMOS图像传感器。包括光学系统(显微透镜阵列)的光电变换部1通过粘结层2b而被粘结在固定基板2a上。如图3所示，光电变换部1具有：光电变换层，具有多个感光单元1d；显微镜头层，具有规则地排列的多个显微透镜1a；透过光控制层1b，包括用于控制透过光量的液晶；和反射层1c，是反射光的部件。光电变换部1还具有：使光透过的半导体层1e、1g、和布线层1f。透过光控制层1b基于从元件驱动部6输出的控制信号，改变液晶分子的取向，从而能够实现至少两种不同的光透过率的状态。如后述，在透过光控制层1b的光透过率的值为第1值时进行第一次摄像，在透过光控制层1b的光透过率的值为第2值时进行第二次摄像。这些摄像的控制是由元件驱动部6进行的。图像处理部7基于通过两次摄像而获取到的光电变换信号，生成表示图像的信号。图4是表示多个感光单元1d的排列例的俯视图。如图所示，多个感光单元1d在摄像面上被排列成二维状。在图示的例子中，虽然多个感光单元1d被排列成正方形栅格状，但是也可以是其他排列。例如，也可以是以图4的纸面垂直方向作为旋转轴旋转了45度后的斜交型排列。根据以上的构成，入射光透过镜头3以及红外截止滤光器4后入射到摄像元件2的光电变换部1，由多个感光单元1d对其进行光电变换。其中，在本实施方式中，并非所有入射光均被进行光电变换。根据构成半导体层1e以及感光单元1d的一般材料、即硅的波长选择性，蓝色系统(短波长)的光被较好地吸收，越是红色系统(长波长)的光，则光吸收率越低。因而，红色系统的光的一部分透过感光单元1d。透过了感光单元1d的光通过显微透镜1a以及透过光控制层1b，被反射层1c反射。被反射层1c反射后的光透过透过光控制层1b以及显微透镜1a后再次被感光单元1d进行光电变换。这样，在本实施方式中，入射光的一部分首先被感光单元1d进行光电变换。然后，没有被进行光电变换而透过了感光单元1d的光，透过显微透镜1a以及透过光控制层1b后被反射层1c反射，再次返回感光单元1d，被进行光电变换。其结果，感光单元1d在一次摄像中进行两次光电变换。这样，在本实施方式中，调整显微镜头层的特性以及配置，以使在摄像时透过了一个感光单元1d的光被反射层1c反射后再次入射到感光单元1d。根据该构成，通过后述的处理可以同时获得高分辨率的通常图像和纵深信息。另外，对于摄像元件2所包含的所有感光单元1d而言，虽然理想的是实现上述构成，但是由于设计误差等其他问题，也存在无法实现上述构成的感光单元1d。以下，对本实施方式中的摄像以及图像处理进行更详细地说明。来自被摄体的光通过光学镜头3、红外截止滤光器4后在摄像元件2的光电变换部1上被成像。在本实施方式中，元件驱动部6对透过光控制层1b进行控制，由此改变透过光控制层1b的透过光量而进行两次摄像。在此，将通过镜头3以及红外截止滤光器4而入射的光的光量设为La，将在透过光控制层1b中使透过光反复透过时的透过率设为k，将反射层1c中的光的反射率设为100％，将透过感光单元1d的光的量设为Lb。此外，假设仅对来自镜头3侧的入射光以及来自显微透镜1a侧的反射光进行感光单元1d所进行的光电变换。首先，在第一次摄像中，将透过光控制层1b中的透过率k设为小于50％的值k1，来进行摄像。于是，在感光单元1d中，由(La+k1·Lb)表示的量的光被进行光电变换。接下来，将透过光控制层1b中的透过率k设为大于50％的值k2，来进行第二次摄像。于是，在感光单元中，由(La+k2·Lb)表示的量的光被进行光电变换。即，若分别将通过第一次摄像获得的光电变换信号表示为G(1)，将通过第二次摄像获得的光电变换信号表示为G(2)，将与光量La、Lb对应的信号量表示为Las、Lbs，则能够分别用以下的式1以及式2表示G(1)以及G(2)。(式1)G(1)＝Las+k1·Lbs(式2)G(2)＝Las+k2·Lbs另外，在本实施方式中，虽然假定了拍摄静止图像的情况，但是也可适用于运动图像的摄像。在拍摄运动图像的情况下，只要以将被摄体看成静止状态的方式高速地进行两次摄像即可。上述的两次摄像的结果，第一次摄像与第二次摄像之间的光量差可由Lb(k2-k1)表示。即，通过第一次摄像获得的光电变换信号G(1)与通过第二次摄像获得的光电变换信号G(2)之间的差分信号G(2)-G(1)，如以下的式3所述那样与Lbs成正比。(式3)G(2)-G(1)＝(k2-k1)Lbs由于信号Lbs与光量Lb成比例，因此根据式3所示的差分信号，可获得表示来自显微透镜1a侧的光量的信号Lb、即图像信息。如果获得了来自显微透镜1a侧的图像信息，则因为透过率k1、k2已知，所以也能获得来自镜头3以及红外截止滤光器4侧的图像信息。例如，通过k2·G(1)-k1·G(2)除以(k2-k1)，从而可获得Las。由于该信号Las表示光量La，因此可知通过该构成可获得来自红外截止滤光器4侧的图像信息。关于来自镜头3以及红外截止滤光器4侧的光信息而言，特别是由于没有分辨率的劣化，因此摄像元件2的像素数(感光单元数)越多，则可获得分辨率越高的高分辨率图像。另一方面，来自显微透镜1a侧的图像信息相当于从所谓的光场照相机获得的图像信息。即，由于是分辨率相对低，但却是由显微透镜阵列获得的图像信息，因此能够计算出纵深。如以上所述，根据本实施方式，能够同时获得通常的无分辨率降低的图像、和分辨率低但能计算出纵深的图像。接着，参照图5，关于摄像以及信号处理说明具体处理流程的例子。作为第1步骤，将透过光控制层1b的透过率k设定为小于50％的值k1，进行第一次摄像(S10)。在此，通过拍摄获得的光电变换信号G(1)从摄像元件2经由信号产生/接收部5而被传送至存储器30。作为第2步骤，将透过光控制层1b的透过率k设定为大于50％的值k2，进行第二次摄像(S12)。通过拍摄获得的光电变换信号G(2)也从摄像元件2经由信号产生/接收部5而被传送至存储器30。作为第3步骤，图像处理部7进行差分信号(G(2)-G(1))除以(k2-k1)的除法运算，并将其结果设为G(3)(S14)。即，图像处理部7进行以下的式4所示的运算。(式4)G(3)＝(G(2)-G(1))/(k2-k1)＝Lbs作为第4步骤，图像处理部7如以下的式5所示那样进行(G(1)-k1G(3))的运算，生成信号G(4)(S16)。或者，也可如以下的式6所示那样进行(G(2)-k2G(3))的运算，生成信号G(5)。(式5)G(4)＝G(1)-k1·G(3)＝(Las+k1Lbs)-k1Lbs＝Las(式6)G(5)＝G(2)-k2G(3)＝(Las+k2Lbs)-k2Lbs＝Las作为第5步骤，图像处理部7利用图像G(3)，进行与公知的光场照相机所执行的处理相同的处理，从而计算出纵深信息(S18)。即，利用由各显微透镜而形成在光电变换层上的多个部分图像来进行三角测量，计算出纵深。另外，省略说明公知的光场照相机所执行的处理的详细内容。作为最后的步骤，经由图像接口部8输出计算出的信号G(4)或信号G(5)、和纵深信息(S20)。如以上所述，根据本实施方式，在摄像元件2中，在入射光入射的方向上依次形成感光单元组1d、显微透镜阵列1a、透过光控制层以及反射层。来自镜头3的入射光直接入射到摄像元件2的感光单元组，并且透过了感光单元组1d的光经由显微透镜阵列1a以及透过光控制层1b而被反射层1c反射之后再次入射到感光单元组。通过改变透过光控制层1b的透过率来进行两次拍摄，从而具有如下效果：通过包括像素信号间的差分在内的简单运算处理能够计算出无分辨率劣化的图像和纵深信息。另外，在本实施方式中，在摄像元件2中，在入射光入射的方向上依次形成有感光单元组1d、显微透镜阵列1a、透过光控制层1b以及反射层1c，但是并不限于该构成。只要透过光控制层1b被配置在感光单元组1d与反射层1c之间即可。此外，在上述的说明中，假设了透过光控制层1b包括液晶，但是并不限于这种构成，只要是能控制透过光量的介质或构造即可。此外，关于两次摄像，虽然假设了在由透过光控制层1b调整透过光量时将光透过率设为小于50％的k1和大于50％的k2，但是并不限于此，只要两者不是相同的透过率即可。除此之外，在本实施方式中，对没有实施彩色化的摄像元件2进行了说明，但是本申请的技术也能适用于在感光单元组1d的上部配置了分色滤光器的彩色摄像元件。此时，虽然只能利用透过了红色系统的分色滤光器的光，但是通过来自显微透镜侧的反射光可获得纵深信息，进而也可获得无分辨率降低的彩色图像。对于显微透镜阵列1a而言，也无需是孔径或焦点距离等光学特性完全相同的透镜。例如，也可由光学特性不同的多种透镜构成，也可利用可改变光学特性的液体透镜。在以上的实施方式中，假设了内置于摄像装置中的图像处理部7进行图像处理，但是也可使独立于摄像装置的其他装置执行该图像处理。例如，将通过具有上述的各实施方式中的摄像部100的摄像装置而获取到的信号输入至其他装置(图像处理装置)，使内置于该图像处理装置中的计算机执行规定上述信号运算处理的程序，也能获得同样的效果。(产业上的可利用性)本申请的技术对于利用了固体摄像元件的所有照相机来说都是有效的。例如，能够利用于数码相机或数码摄像机等民用照相机、或工业用固体监视照相机等中。符号说明1摄像元件的包括光学系统的光电变换部1a显微透镜1b透过光控制层1c反射层1d感光单元1e半导体层1f布线层2固体摄像元件2a固定基板2b粘结层3镜头4红外截止滤光器5信号产生/接收部6元件驱动部7图像处理部8接口部10感光单元30存储器100摄像部200信号处理部