进深推定摄像装置制造方法
【专利摘要】本发明的摄像装置具备：光透过部(1)，其由分别具有使入射光发生衍射的衍射区域(1D1、1D2)、使入射光不发生衍射地透过的透明区域(1CLR)、以及被配置为与衍射区域(1D1、1D2)的至少一部分重叠的偏振区域(1P1、1P2)的多个部分(1AB)构成；摄像元件，其将分别具有第1感光单元、第2感光单元、以及配置于与所述第1感光单元对置的位置的偏振滤波器的多个单位要素二维排列在摄像面上；成像部，其构成为在所述摄像面上形成透过所述透明区域的光所形成的像、以及由透过所述衍射区域的光所形成的像。
【专利说明】进深推定摄像装置
【技术领域】
[0001]本申请涉及一种用于利用I组光学系统和I个摄像元件取得被摄体的进深信息的单眼的三维摄像技术。
【背景技术】
[0002]近年来，关于采用了 CXD或CMOS等固体摄像元件(以下称为“摄像元件”。)的数码相机或数字电影的高功能化、高性能化备受瞩目。尤其随着半导体制造技术的进步，摄像元件中的像素构造的微细化得到发展。其结果，实现了摄像元件的像素以及驱动电路的高集成化。因此，在仅仅数年中摄像元件的像素数便从100万像素程度显著地增加到1000万像素以上。进而，通过摄像所得到的图像的质量也飞跃地提高。另一方面，关于显示装置，由薄型的液晶或等离子制成的显示器不占地方、能够以高分辨率进行高对比度的显示，从而实现高的性能。这种影像的高品质化的潮流正在从二维图像向三维图像扩展。在最近，虽然需要偏振眼镜，但高画质的三维显示装置也开始开发。
[0003]关于三维摄像技术，作为具有单纯构成的代表性的方式，存在使用由2个照相机构成的摄像系统，分别取得右眼用的图像以及左眼用的图像的方式。在这样的所谓双眼摄像方式中，由于使用2个照相机，因此摄像装置变得大型，成本也会变为很高。因此，对使用I个照相机取得具有视差的多个图像(以下有时称为“多视点图像”)的方式(单眼摄像方式)进行了研究。
[0004]例如，在专利文献1、2中，已经公开了使用透过轴的方向相互正交的2枚偏振板和旋转的偏振滤波器来取得多个视点图像的方式。此外，在专利文献3?5中，已经公开了使用设置了多个滤色器的光阑(光束限制板)来取得多个视点图像的方式。
[0005]在上述的专利文献I?5中公开的方式，在通过单眼的照相机主要生成多个视点图像时而被利用。另一方面，也存在如下技术:能够利用具备多个微透镜的单眼的照相机取得进深信息，并基于该信息自由改变取得后的图像的焦点位置的技术。这种技术被称为光场摄影术(light-field photography),使用了该技术的单眼照相机被称为光场照相机。在光场相机中，在摄像元件上配置有多个微透镜。各微透镜被配置成覆盖多个像素。摄像后，根据所取得的图像信息算出与入射光的方向相关的信息，由此能够推定被摄体的进深。这种相机例如已经在非专利文献I中被公开。
[0006]在光场相机中，虽然能够算出进深信息，但是由于分辨率由微透镜的数目来决定，因此存在着分辨率比由摄像元件的像素数决定的分辨率有所下降的课题。针对该课题，在专利文献6中已公开了利用2个摄像系统来提高分辨率的技术。在该技术中，将入射光进行2分割，由具有在空间上各错开I / 2间距(pitch)地排列的微透镜组的摄像系统对所分割后的各个入射光进行摄像，然后将所取得的图像进行合成，由此使分辨率提高。但是，在该技术中，需要2个摄像系统，在尺寸以及成本方面存在课题。
[0007]针对上述课题，在专利文献7中已公开了下述技术:即，利用I个摄像系统来切换通常摄像模式和基于光场摄影术的模式。根据该技术，用到了焦点距离会根据施加电压发生变化的微透镜，微透镜的焦点距离在前者的模式下被设定成无限大，在后者的模式下被设定成规定的距离。根据这种机构，能够获得高分辨率的图像和进深信息。但是，在这种手法中，需要对微透镜的焦点距离进行控制这种高度的控制技术。
[0008]另一方面，在专利文献8、9中也介绍了将重点置于进深信息的取得的技术。在这些技术中，通过在照相机的前面配置的衍射光栅进行摄像，基于透过衍射光栅的O次衍射光所形成的图像(O次光图像)和高次的衍射光所形成的图像(高次光图像)之间的位置偏离量，来测量从被摄体到衍射光栅的距离 。
[0009]【在先技术文献】
[0010]【专利文献】
[0011]专利文献I JP特开昭62-291292号公报
[0012]专利文献2 JP特开昭62-217790号公报
[0013]专利文献3 JP特开2002-344999号公报
[0014]专利文献4 JP特开2009-276294号公报
[0015]专利文献5 JP特开2003-134533号公报
[0016]专利文献6 JP特开平11-98532号公报
[0017]专利文献7 JP特开2008-167395号公报
[0018]专利文献8 JP特表平2-502398号公报
[0019]专利文献9 JP特开2011-2387号公报
[0020]【非专利文献】
[0021]非专利文献1:Ren Ng, et al, “Light Field Photography with a Hand-heldPlenoptic Camera”，Stanford Tech Report CTSR2005-02
【发明内容】
[0022]【发明要解决的课题】
[0023]在现有的光场照相机中，虽然能够获得进深信息，但存在图像的分辨率有所下降的课题。为了解决该课题，需要按照上述的专利文献6、7的技术进行光学系统的改良，但为了进行改良，存在使用2个摄像系统或者必须控制微透镜的焦点距离的课题。
[0024]此外，在利用了在专利文献8、9中公开的那样的衍射光栅的进深测量的方法中，由于难以分离O次光图像和高次光图像，因此存在如下课题，即可能发生不能正确地测量到被摄体的距离的情况。例如，根据在专利文献9中所公开的方法，基于衍射图像的亮度梯度，来识别O次光图像和I次光图像并测量他们的偏离量。然后，基于该偏离量，求出被摄体的进深。但是，实际上，正确地进行O次光图像以及I次光图像之类的亮度程度不同的2个图像的匹配非常困难。
[0025]本发明的I个实施方式提供一种使用与现有技术不同的光学系统以及信号处理，能够取得抑制了分辨率的下降的图像和进深信息的摄像技术。此外，本发明的其他的实施方式提供一种虽然包含了同一被摄体，但能够容易地进行亮度程度不同的多个图像的匹配的图像处理技术。
[0026]【解决课题的手段】
[0027]为了解决上述课题，本发明的一个实施方式所涉及的进深推定摄像装置具备:光透过部，其由分别具有使入射光发生衍射的衍射区域、使入射光不发生衍射地透过的透明区域、以及被配置为与所述衍射区域的至少一部分重叠的偏振区域的多个部分构成；摄像元件，其将分别具有第I感光单元、第2感光单元、以及配置于与所述第I感光单元对置的位置的偏振滤波器的多个单位要素二维排列在摄像面上；成像部，其构成为在所述摄像面，形成透过所述透明区域的光所形成的像以及透过所述衍射区域的光所形成的像；和信号处理部，其处理从所述摄像元件输出的信号。
[0028]上述的一般且特定的方式，能够利用系统、方法以及计算机程序来实现，或者利用系统、方法以及计算机程序的组合来实现。
[0029]【发明效果】
[0030]根据本发明的一个实施方式，由于能够将衍射光所形成的图像和直进光所形成的图像分离，因此基于这些图像，能够算出到被摄体的进深。此外，根据其他的实施方式，能够容易地进行包含同一被摄体的多个图像的匹配。
【专利附图】
【附图说明】
[0031]图1是例示的实施方式中的摄像装置的构成图。
[0032]图2是例示的实施方式中的摄像部的示意图。
[0033]图3A是例示的实施方式I中的透光板的俯视图。
[0034]图3B是图3A中的A-A，线剖面图。
[0035]图3C是图3A中的B-B，线剖面图。
[0036]图4是例示的实施方式中的摄像元件的基本像素构成图。
[0037]图5是例示的实施方式中的摄像元件的俯视图。
[0038]图6A是示出通过例示的实施方式中的摄像取得的图像的示例的示意图。
[0039]图6B是示出使2个衍射光图像接近了直接光图像的状态的示意图。
[0040]图6C是示出使2个衍射光图像进一步接近直接光图像而几乎重叠在一起的状态的图。
[0041]图7A是示出例示的实施方式I中的进深信息的生成处理的流程图。
[0042]图7B是示出例示的实施方式I中的进深信息的生成处理的其他的示例的流程图。
[0043]图8是示出例示的实施方式I中的像素移动数和R / B着色量的关系的图表。
[0044]图9A是示出例示的实施方式中的透光板的变形例的俯视图。
[0045]图9B是示出例示的实施方式中的透光板的其他的变形例的俯视图。
[0046]图1OA是例示的实施方式2中的透光板的俯视图。
[0047]图1OB是图1OA中的C-C’线剖面图。
【具体实施方式】
[0048]本发明的例示的实施方式的概要如下所述。
[0049](I)本发明的一个实施方式所涉及的进深推定摄像装置具备:光透过部，其由分别具有使入射光发生衍射的衍射区域、使入射光不发生衍射地透过的透明区域、以及按照与所述衍射区域的至少一部分重叠的方式配置的偏振区域的多个部分构成；摄像元件，其将分别具有第I感光单元、第2感光单元、以及配置于与所述第I感光单元对置的位置的偏振滤波器的多个单位要素二维排列在摄像面上；成像部，其构成为在所述摄像面，形成透过所述透明区域的光所形成的像以及透过所述衍射区域的光所形成的像；和信号处理部，其处理从所述摄像元件输出的信号。
[0050](2)在某方式中构成为，将所述摄像面上的所述单位要素的排列方向作为X方向以及y方向时，所述衍射区域被构成为:主要使η次衍射光(η是I以上的整数)产生，且所述η次衍射光入射在所述摄像面上与透过所述透明区域的光所入射的位置相比朝X方向或y方向进行了移动的位置。
[0051](3)在项目(2)所记载的进深推定摄像装置的某方式中，在将所述衍射区域称为第I衍射区域、将所述偏振区域称为第I偏振区域、将所述偏振滤波器称为第I偏振滤波器时，所述光透过部的所述多个部分还具有主要产生η次衍射光的第2衍射区域、以及被配置为与所述第2衍射区域的至少一部分重叠、且偏光透过轴的方向不同于所述第I偏振区域的第2偏振区域，所述摄像元件的所述单位要素还具有第3感光单元、以及与所述第3感光单元对置地配置、且偏光透过轴的方向不同于所述第I偏振滤波器的第2偏振滤波器。
[0052](4)在项目(3)所记载的进深推定摄像装置的某方式中构成为，所述第I以及第2衍射区域，从所述第I衍射区域出射的所述η次衍射光、以及从所述第2衍射区域出射的所述η次衍射光，入射在所述摄像面上相对于透过所述透明区域的光入射的位置对称的位置。
[0053](5)在项目(I)所记载的进深推定摄像装置的某方式中，所述衍射区域构成为使O次衍射光以及±η次衍射光(η是I以上的整数)产生，所述偏振区域具有配置在所述+η次衍射光的路径上的第I偏振区域、和配置在所述_η次衍射光的路径上、且偏光透过轴的方向不同于所述第I偏振区域的第2偏振区域，所述摄像元件的所述单位要素还具有第3感光单元、以及被配置为与所述第3感光单元对置、且偏光透过轴的方向不同于所述第I偏振滤波器的第3偏振滤波器。
[0054](6)在项目(3)至(5)的任意一项所记载的进深推定摄像装置的某方式中，所述第I偏振区域以及所述第2偏振区域中的一方的偏光透过轴的方向，与所述第I偏振滤波器以及所述第2偏振滤波器中的一方的偏光透过轴的方向相同。
[0055](7)在项目(3)至(6)的任意一项所记载的进深推定摄像装置的某方式中，所述第I偏振区域的偏光透过轴的方向，与所述第2偏振区域的偏光透过轴的方向正交，所述第I偏振滤波器的偏光透过轴的方向，与所述第2偏振滤波器的偏光透过轴的方向正交。
[0056](8)在项目(I)或(2)所记载的进深推定摄像装置的某方式中，所述信号处理部具有图像处理部，所述图像处理部基于从所述第I感光单元输出的信号、以及从所述第2感光单元输出的信号，生成透过所述衍射区域的光所形成的第I图像和透过所述透明区域的光所形成的第2图像。
[0057](9)在项目(6)所记载的进深推定摄像装置的某方式中，所述图像处理部基于所述第I图像中的被摄体的位置和所述第2图像中的所述被摄体的位置之间的偏离，生成表示所述被摄体的进深的信息。
[0058](10)在项目(3)至(5)的任意一项所记载的进深推定摄像装置的某方式中，所述信号处理部具有图像处理部，所述图像处理部基于从所述第I感光单元输出的第I信号、从所述第2感光单元输出的第2信号、以及从所述第3感光单元输出的第3信号，生成透过所述第I衍射区域的光所形成的第I图像、透过所述第2衍射区域的光所形成的第2图像、和透过所述透明区域的光所形成的第3图像。
[0059](11)在项目(8)所记载的进深推定摄像装置的某方式中，所述图像处理部基于所述第I图像中的被摄体的位置和所述第3图像中的所述被摄体的位置的偏离、以及所述第2图像中的所述被摄体的位置和所述第3图像中的所述被摄体的位置的偏离，生成表示所述被摄体的进深的信息。
[0060]以下，参照附图对本发明的更具体的实施方式进行说明。在以下的说明中，对多个图中共通或相对应的要素附上同一符号。
[0061](实施方式I)
[0062]首先，对本发明的第I实施方式的进深推定摄像装置进行说明。图1是示出本实施方式中的摄像装置的整体构成的框图。本实施方式的摄像装置是数字式电子照相机，具备摄像部100、和基于由摄像部100生成的信号来生成表示图像的信号(图像信号)的信号处理部200。摄像装置也可以具备不仅生成静止图像还生成运动图像的功能。
[0063]摄像部100具备:固体摄像元件2(以下简单称为“摄像元件”)，其具备在摄像面上排列的多个感光单元(以下有时称为“像素”)；透光板(光透过部)1，其一部分具有衍射光栅区域以及偏振区域；光学透镜(成像部)3，其用于在摄像元件2的摄像面上形成像；和红外截止滤波器4。另外，透光板I配置在光学透镜3的前面，但也可以配置在光学透镜3的后部。摄像元件2具有在其上面配置了偏振滤波器的像素和此外的其他像素。摄像部100还具备:信号产生/接收部5，其产生用于驱动摄像元件2的基本信号，并且接收来自摄像元件2的输出信号并向信号处理部200送出；和元件驱动部6，其基于由信号产生/接收部5生成的基本信号来驱动摄像元件2。摄像元件2典型的是CXD或CMOS传感器，能够利用公知的半导体制造技术来制造。信号产生/接收部5以及元件驱动部6例如能够由CXD驱动器等的LSI构成。
[0064]信号处理部200具备:图像处理部7，其处理从摄像部100输出的信号并生成多个图像；存储器30，其保存用于图像信号的生成的各种数据；和接口(IF)部8，其将所生成的图像信号以及进深信息向外部送出。图像处理部7具有:图像生成部7a，其基于从摄像部100输出的信号生成图像信息；和进深信息生成部7b，其生成进深信息。图像处理部7能够通过公知的数字信号处理处理器(DSP)等的硬件和执行包含图像信号生成处理在内的图像处理的软件的组合适当地实现。存储器30由DRAM等构成。存储器30记录从摄像部100得到的信号，并且暂时性地记录由图像处理部7生成的图像数据、压缩后的图像数据。这些图像数据通过接口部8向未图示的记录介质、显示部等送出。
[0065]另外，本实施方式的进深推定摄像装置会具备电子快门、取景器、电源(电池)、闪光灯等的公知的构成要素，但由于这些要素的说明对于本实施方式的理解不是特另需要，因而省略。此外，上述的构成为一个示例，在本实施方式中，除了透光板1、摄像元件2、图像处理部7以外的构成要素，能够适当地组合公知的要素进行适当组合来加以利用。
[0066]以下，对摄像部100的构成详细地进行说明。在以下的说明中，在说明摄像区域的位置、方向的情况下，使用图中所示的xy坐标。
[0067]图2是示意性地示出摄像部100中的光学透镜3、红外截止滤波器4、透光板1、以及摄像元件2的配置关系的图。光学透镜3并不只限于一个透镜，可以是由多个透镜组构成的透镜单元，但在图2为了简便，被描绘成一个透镜。光学透镜3是公知的透镜，对入射光进行聚光，并使其成像在摄像元件2的摄像部。另外，图2所示的各构成要素的配置关系终究是一个示例，本发明并不限于这样的示例。例如，即使调换光学透镜3和红外截止滤波器4的配置关系也没有问题，光学透镜3和透光板I也可以构成为一体。此外，由于在本实施方式中以取得可见光的图像为前提，因此虽然设置了红外截止滤波器4，但在取得红外光图像的用途(例如，夜间用监视照相机)上，不需要红外截止滤波器4。
[0068]图3A是透光板I的俯视图。在透光板I上，衍射光栅区域被配置为方格状(check形状)。如图3A所示，透光板I的衍射光栅区域具有二维排列的多个基本构成1AB。基本构成IAB由配置为2行2列的4个区域构成。在基本构成IAB中，由衍射光栅构成的衍射区域IDl被配置在第I行第I列，由透明构件构成的透明区域ICLR被配置在第I行第2列以及第2行第I列，由衍射光栅构成的衍射区域1D2被配置在第2行第2列。
[0069]该透光板I的尺寸例如直径为IOmm?30mm，基本构成IAB的尺寸例如为100 μ mX 100 μ m?1000 μ mX 1000 μ m。但是，这些尺寸为例示，只要能够实现后述的功能，则并不限于这些尺寸。
[0070]衍射区域IDl是闪耀(blaze)型(也称为炫耀型)的衍射光栅(blazed grating,闪耀光栅)，被设计成使入射光沿水平方向(X方向)倾斜Y度。衍射区域1D2也是闪耀型的衍射光栅，被设计成使入射光沿水平方向倾斜-Y度。此外，在这些衍射区域1D1、1D2，分别重叠配置偏振滤波器(偏振区域)。透明区域ICLR能够由透光性的构件，例如玻璃、塑料、玻璃纸(cellophane)等形成。
[0071]图3B是图3A的A-A’线剖面图，图3C是图3A的B-B’线剖面图。如图3B所示，偏振滤波器IPl被叠合在衍射区域IDl的背部(摄像元件2侧)，此外，如图3C所示，偏振滤波器1P2被叠合在衍射区域1D2的背部。这些偏振滤波器1P1、1P2的偏光透过轴的方向(偏振方向)相差90度。在图3B、3C中，为了简便，描绘成衍射区域1D1、1D2具有长方形的剖面形状，但实际的闪耀型衍射光栅具有锯齿波状的剖面形状。通过适当地设计该形状，能够使衍射光沿特定的方向出射。另外，也可以和图3B、3C所示的构成相反，将衍射区域1D1、1D2分别配置于偏振滤波器1P1、1P2的背部。
[0072]在图3B、3C中，记载了垂直地入射至衍射区域1D1、1D2而被衍射的例示的光线。在本实施方式中，衍射区域1D1、1D2被设计成主要使I次衍射光产生、且几乎不会使其他次数的衍射光产生。因此，在图3B、3C中I次衍射光沿箭头所示的方向射出。另外，衍射区域1D1UD2的特性并不限于这样的示例，也可以产生其他次数的衍射光。此外，也可从衍射区域1D1、1D2不是主要出射I次衍射光，而是主要出射2次衍射光之类的其他次数的衍射光。
[0073]图4是示出摄像元件2的基本像素构成的俯视图。如图所示，本实施方式中的摄像元件2具有基本像素构成,该基本像素构成具有配置为2行2列的4个感光单元2a、2b、2c、2d。在与第I行第I列的感光单元2a对置的位置配置了偏振滤波器2P1，在与第2行第2列的感光单元2d对置的位置配置了偏振滤波器2P2。在第I行第2列和第2行第I列的感光单元2b、2c上没有配置偏振滤波器。这些偏振滤波器2P1、2P2的偏振方向彼此相差90度。此外，偏振滤波器2P1、2P2分别相对于偏振滤波器1P1、1P2的偏振方向相差角度Θ。
[0074]图5是示意性地示出由在摄像元件2的摄像面上排列成矩阵状的多个感光单元构成的感光单元阵列20的一部分和在这些感光单元上配置的偏振滤波器阵列的俯视图。各感光单兀，典型包含光电二极管，通过光电变换输出与各自的受光量相应的光电变换信号。在本实施方式中，2行2列的感光单元2a?2d以及与其对置的偏振滤波器2P1、2P2构成I个单位要素，多个单位要素在摄像面被二维排列。
[0075]根据以上的构成，在曝光中入射到摄像装置的光，通过透光板1、透镜3、红外截止滤波器4而成像于摄像元件2的摄像面上，并由感光单元2a?2d进行光电变换。基于这些光电变换信号，图像处理部7的图像生成部7a生成图像。
[0076]图6A是示出通过摄像得到的图像的示意图。图6A示出对锁进行了摄像的情况的示例，实线表示来自被摄体的直接光所形成的图像，虚线表示衍射光所形成的图像。可以说该图像是将直接光所形成的图像和衍射光所形成的2个图像合成后的图像。在此，“直接光所形成的图像”是指由透过透光板I的透明区域ICLR的光形成的图像。此外，“衍射光所形成的图像”是指由从透光板I的衍射区域1D1、1D2分别出射的I次衍射光形成的图像。在以下的说明中，有时将直接光所形成的图像称为“直接光图像”，将衍射光所形成的2个图像称为“衍射光图像”。
[0077]在图6A所示的示意图中，衍射光所形成的图像相对于直接光所形成的图像在水平方向(图中的左右方向)发生了偏离。该偏离起因于，从衍射区域IDl出射的衍射光的行进方向朝+X方向倾斜，从衍射区域1D2出射的衍射光的行进方向朝-X方向倾斜。此外，由于2个衍射区域1D1、1D2被构成为，这些衍射光入射在摄像面上相对于透过透明区域ICLR的光所入射的位置对称的位置，因而2个衍射光图像相对于直接光图像出现在对称的位置。衍射光图像相对于直接光图像的偏离，依赖于从透光板I到被摄体的距离，该距离越长，则该偏离越大。因此，只要检测衍射光所形成的图像相对于直接光所形成的图像在水平方向的偏离的大小，就能够求出被摄体的距离。
[0078]在本实施方式中，表示衍射光所形成的图像在水平方向的偏离的大小和被摄体的距离之间的相关关系的信息(例如表、函数)被预先记录在存储器30等的记录介质中。基于该相关关系，图像处理部7中的进深信息生成部7b能够根据偏离的大小算出被摄体距离。该相关关系也可通过改变被摄体的距离的同时进行几次测试拍摄来求出。
[0079]接着，将通过感光单元2a、2b、2c、2d中的光电变换输出的信号分别作为S2a、S2b、S2c、S2d，来说明本实施方式中的信号处理。在此，为了简便，假定入射光为非偏振光，并假定衍射区域1D1、1D2使入射光100%产生衍射。然后，在假定为偏振滤波器1P1、1P2、2P1、2P2不存在的情况下，将通过透明区域1CLR、衍射区域1D1、衍射区域1D2入射到I个感光单元的光的量(强度)分别用D0、D1、D2来表示。但是，假定D0、D1、D2为透光板I的平均每单位面积的量。并且，将非偏振光的光入射到偏振滤波器1P1、1P2、2P1、2P2时的透过率作为T1、将向和偏振滤波器的偏振方向同一方向发生偏振的光入射到该偏振滤波器时的透过率作为T2。即，以Tl XT2来表不非偏振的光入射到偏振方向一致的2个偏振滤波器时的透过率。Tl以及T2为满足O < Tl < 1、0 < T2 < I的实数。
[0080]在曝光过程中，来自被摄体的光将首先透过透光板I。透明区域ICLR占透光板I的全面积的I / 2，衍射区域1D1、1D2占透光板I的全面积的I / 4。由于偏振滤波器1P1、1P2分别与衍射区域IDl、1D2叠合在一起，因而衍射区域IDl、1D2的透过率取决于偏振滤波器1P1、1P2的透过率，用Tl来表示。因此，在上部未设置偏振滤波器的感光单元2b、2c，入射与DO / 2+T1 (D1+D2) / 4成比例的量的光，且与该量成比例的大小的光电变换信号将被输出。
[0081]另一方面，关于配置了偏振滤波器2P1的感光单元2a，由于偏振滤波器2P1的影响，假设在非偏振的光入射的情况下，其透过光被限制为入射光的Tl倍。但是，实际上在偏振滤波器2P1，从被摄体入射透过了透明区域ICLR的与DO / 2成比例的量的光、透过了衍射区域IDl以及偏振滤波器IPl的与(DlXTlXcos2Q) / 4成比例的量的光、以及透过了衍射区域1D2以及偏振滤波器1P2的与(D2XTlXsin20) /4成比例的量的光。因此，感光单元 2a 产生与(DOXTl) / 2+(D1 XTl X cos2 θ XTl) / 4+(D2XTl X sin2 θ XT2) / 4成比例的信号。
[0082]同样地，关于偏振滤波器2P2在上部配置的感光单元2d，由于偏振滤波器2P2的影响，假设在非偏振的光入射的情况下，其透过光被限制为入射光的Tl倍。但是，实际上在偏振滤波器2P2，从被摄体入射透过了透明区域ICLR的与DO / 2成比例的量的光、透过了衍射区域IDl以及偏振滤波器IPl的与(DlXTlXsin2Q) / 4成比例的量的光、以及透过了衍射区域1D2以及偏振滤波器1P2的与(D2XT1XcOS20) /4成比例的量的光。因此，感光单元 2d 产生与(DOXTl) / 2+(D1 XTl X sin2 θ XTl) / 4+(D2XTl X cos2 θ XT2) /4成比例的信号。
[0083]若是将向摄像元件2的各像素入射的入射光量和产生的信号之间的比例常数设为1，则S2a、S2b(=S2c)、S2d分别用以下的算式I~3表示。并且，利用矩阵以算式4来表不算式I~3。其中,在算式4中，只将式I~3的右边设为4倍。
[0084]【算式I】
【权利要求】
1.一种进深推定摄像装置，具备: 光透过部，其由分别具有使入射光发生衍射的衍射区域、使入射光不发生衍射地透过的透明区域、以及被配置为与所述衍射区域的至少一部分重叠的偏振区域的多个部分构成； 摄像元件，其将分别具有第I感光单元、第2感光单元、以及配置于与所述第I感光单元对置的位置的偏振滤波器的多个单位要素二维排列在摄像面上； 成像部，其被构成为在所述摄像面，形成透过所述透明区域的光所形成的像以及透过所述衍射区域的光所形成 的像；和 信号处理部，其处理被从所述摄像元件输出的信号。
2.根据权利要求1所述的进深推定摄像装置，其中， 所述进深推定摄像装置被构成为: 在将所述摄像面上的所述单位要素的排列方向作为X方向以及y方向时， 所述衍射区域主要使η次衍射光产生，所述η次衍射光入射在所述摄像面上、与透过了所述透明区域的光所入射的位置相比在X方向或y方向上进行了移动的位置，其中η是I以上的整数。
3.根据权利要求2所述的进深推定摄像装置，其中， 在将所述衍射区域称为第I衍射区域、将所述偏振区域称为第I偏振区域、将所述偏振滤波器称为第I偏振滤波器时， 所述光透过部的所述多个部分还具有:主要使η次衍射光产生的第2衍射区域；以及被配置为与所述第2衍射区域的至少一部分重叠、且偏光透过轴的方向不同于所述第I偏振区域的第2偏振区域， 所述摄像元件的所述单位要素还具有:第3感光单元；以及与所述第3感光单元对置地配置、且偏光透过轴的方向不同于所述第I偏振滤波器的第2偏振滤波器。
4.根据权利要求3所述的进深推定摄像装置，其中， 所述第I衍射区域以及所述第2衍射区域被构成为:从所述第I衍射区域射出的所述η次衍射光、以及从所述第2衍射区域射出的所述η次衍射光，入射在所述摄像面上相对于透过了所述透明区域的光所入射的位置对称的位置。
5.根据权利要求1所述的进深推定摄像装置，其中，所述衍射区域被构成为使O次衍射光以及±η次衍射光产生，其中η是I以上的整数，所述偏振区域具有:配置在所述+η次衍射光的路径上的第I偏振区域；和配置在所述-η次衍射光的路径上、且偏光透过轴的方向不同于所述第I偏振区域的第2偏振区域，所述摄像元件的所述单位要素还具有--第3感光单元；以及被配置为与所述第3感光单元对置、且偏光透过轴的方向不同于所述第I偏振滤波器的第3偏振滤波器。
6.根据权利要求3至5中任意一项所述的进深推定摄像装置，其中， 所述第I偏振区域以及所述第2偏振区域中的一方的偏光透过轴的方向，与所述第I偏振滤波器以及所述第2偏振滤波器中的一方的偏光透过轴的方向相同。
7.根据权利要求3至6中任意一项所述的进深推定摄像装置，其中， 所述第I偏振区域的偏光透过轴的方向，与所述第2偏振区域的偏光透过轴的方向正交，所述第I偏振滤波器的偏光透过轴的方向，与所述第2偏振滤波器的偏光透过轴的方向正交。
8.根据权利要求1或2所述的进深推定摄像装置，其中， 所述信号处理部具有图像处理部，所述图像处理部基于从所述第I感光单元输出的信号、以及从所述第2感光单元输出的信号，生成透过了所述衍射区域的光所形成的第I图像和透过了所述透明区域的光所形成的第2图像。
9.根据权利要求6所述的进深推定摄像装置，其中 所述图像处理部基于所述第I图像中的被摄体的位置和所述第2图像中的所述被摄体的位置之间的偏离，生成表示所述被摄体的进深的信息。
10.根据权利要求3至5中任意一项所述的进深推定摄像装置，其中， 所述信号处理部具有图像处理部，所述图像处理部基于从所述第I感光单元输出的第I信号、从所述第2感光单元输出的第2信号、以及从所述第3感光单元输出的第3信号，生成透过了所述第I衍射区域的光所形成的第I图像、透过了所述第2衍射区域的光所形成的第2图像、和透过了所述透明区域的光所形成的第3图像。
11.根据权利要求8所述的进深推定摄像装置，其中， 所述图像处理部，基于所述第I图像中的被摄体的位置和所述第3图像中的所述被摄体的位置之间的偏离、以及所述第2图像中的所述被摄体的位置和所述第3图像中的所述被摄体的位置之间的偏离，生成表示所述被摄体的进深的信息。
【文档编号】H04N5/232GK103582846SQ201380001268
【公开日】2014年2月12日 申请日期:2013年3月14日 优先权日:2012年5月28日
【发明者】平本政夫, 石井育规, 物部祐亮 申请人:松下电器产业株式会社