专利名称：三维摄像装置的制作方法
技术领域：
本发明涉及使用一个光学系统和一个摄像元件来取得具有视差的多个图像的单镜头的三维摄像技术。
背景技术：
近年来，采用CXD或CMOS等的摄像元件的数码照相机或数码摄像机在高功能化、 高性能化方面令人吃惊。特别是随着半导体制造技术的进步，高度的精细化得到发展，实现了高集成化。摄像元件也从100万像素向1000万像素迈进实现高像素化，拍摄得到的图像也飞跃性地实现了高画质化。另外，显示装置也因为薄型的液晶或等离子显示器，而实现了空间节约，并实现了高分辨率、高对比度的性能。这样的影像的高品质化的流行趋势，作为对象图像正从二维图像向三维图像迈进，虽然迄今为止还需要偏光眼镜，但是已开始开发高画质的三维显示装置。关于三维摄像技术，作为结构简单的代表的是采用由两个照相机构成的摄像系统，分别拍摄右眼用的图像以及左眼用的图像。这样的所谓双镜头摄像方式的技术由于使用两个照相机，所以会导致摄像装置的大型化和高成本。为此，研究了利用一个照相机的方法。例如，在专利文献1中介绍了以下方式采用偏振方向相互正交的两片偏振板和旋转的偏振滤光器。图12表示该方式的摄像系统的结构。在图12中，11是0度偏振的偏振板，12是90度偏振的偏振板，13是反射镜，14是使透过偏振板12的光与通过偏振板11并被反射镜13反射的光透过以及反射的半反射镜 (half mirror)，15是圆形的偏振滤光器，16是使圆形的偏振滤光器旋转的驱动装置，3是光学透镜，9是对由光学透镜成像而得到的像进行拍摄的摄像装置。在以上的结构中，入射光通过在不同的地方配置的偏振板11与12，其后，由反射镜13与半反射镜14使它们的光轴一致，通过圆形的偏振滤光器15与光学透镜3由一个摄像装置9拍摄。该方式的拍摄原理是通过使圆形的偏振滤光器15旋转，在各自的时刻对入射到两片偏振板11、12的光进行捕捉，来拍摄具有视差的两个图像。然而，在上述方式中，由于使圆形的偏振滤光器15旋转的同时，以时间分解对在不同位置的图像进行拍摄，所以存在不能同时摄取具有视差的图像的课题。另外，由于采用机械式的驱动，所以会出现耐用性方面的问题。另外，由于通过偏振板以及偏振滤光器接受全入射光，所以也存在受光量降低50%以上的课题。针对上述方式，在专利文献2中介绍了不采用机械式的驱动来同时拍摄具有视差的图像的方式。在该专利文献的方式中，制作两个入射区域，对从这些区域入射的光进行聚光，由一个摄像元件进行拍摄，但不具有机械式的驱动部。在图13中表示该方式的摄像系统的构成，以下说明摄像原理。在图13中，配置了偏振方向相互正交的偏振板11与12、反射镜13、光学透镜3、摄像元件1，10是摄像元件的像素，17,18是对摄像元件的像素1对1 地配置的偏振滤光器，偏振滤光器17与偏振板11具有相同特性，偏振滤光器18与偏振板 12具有相同特性。偏振滤光器17、18交替排列配置在所有像素上。
以上的构成中，入射光透过偏振板11、12，通过反射镜13、光学透镜3，在摄像元件 1上成像。关于成像的光电变换，透过偏振板11而入射的光通过偏振滤光器17，由在其正下的像素进行光电变换，透过偏振板12而入射的光通过偏振滤光器18，由在其正下的像素进行光电变换。在此，若将来自偏振板11的入射光的图像设为右眼用图像，将来自偏振板 12的入射光的图像设为左眼用图像，则通过偏振滤光器17，由在其正下的像素群得到的图像是右眼用图像，通过偏振滤光器18，由在其正下的像素群得到的图像是左眼用图像。作为其结果，专利文献2所示的方式是代替使用专利文献1中所示的旋转的圆形偏振滤光器，通过在摄像元件的像素上交替配置特性不同的偏振滤光器，从而分辨率成为 1/2，但同时得到了右眼用图像与左眼用图像。然而，虽然上述的技术能利用一个摄像元件得到具有视差的两个图像，但由于入射光透过偏振板，所以光量降低，在进一步透过偏振滤光器的情况下光量也降低，所以图像灵敏度会大幅降低。针对图像的灵敏度降低的问题，作为其他的研究，在专利文献3中示出了机械式地切换具有视差的两个图像的拍摄与通常的图像的拍摄的方法。图14表示了该方法的摄像系统的构成，对其摄像基本原理进行说明。在图14中，19是具有两个偏振透过部20、21、 并仅通过这些透过部使来自光学透镜3的入射光透过的光通过部，22是受光部光学滤光器托架，其中将来自偏振透过部20以及21的光分离的特定成分透过滤光器23与彩色滤光器 24成为1组，25是滤光器驱动部，其使光通过部19与特定成分透过滤光器23从光路上离开，将彩色滤光器M插入到光路中，或进行与此相反的动作。在该方法中，使滤光器驱动部25动作，在拍摄具有视差的图像时使用光通过部19 与特定成分透过滤光器23，在通常的拍摄时采用彩色滤光器24。在拍摄具有视差的图像的过程中，情况基本与专利文献2所示的情况相同，图像的灵敏度大幅降低。在通常的拍摄时，通过使光通过部19从光路离开，另外取代特定成分透过滤光器23而插入彩色滤光器 24，从而能得到灵敏度不会降低的彩色图像。在先技术文献专利文献专利文献1 特开昭62-291四2号公报专利文献2 特开昭62-217790号公报专利文献3 特开2001-016611号公报
发明内容
发明所要解决的课题在现有技术中，通过采用偏振板(偏振透过部)以及偏振滤光器，能够用单镜头照相机拍摄具有视差的两个图像。关于这些技术，偏振板以及偏振滤光器都由具有0°、90° 的透过轴的两种偏振器构成。本发明提供一种摄像技术，其能够以与这些现有技术不同的新的方法来得到具有视差的多个图像。此外，在以下的说明中，将具有视差的多个图像称作 “多视点图像(multi-viewpoint images)”。用于解决课题的手段本发明的三维摄像装置具有至少具有两个偏振器的光透过部；接受透过了上述光透过部的光的固体摄像元件和在上述固体摄像元件的摄像面形成像的成像部。上述光透过部具有第1偏振器；和具有相对于上述第1偏振器的透过轴成θ (0° < θ < 90° )角度的透过轴的第2偏振器。上述固体摄像元件具有多个像素块，各像素块包括第1像素以及第2像素；第1偏振滤光器，其在各像素块中与上述第1像素对置地配置，具有相对于上述第1偏振器的透过轴成α (0° < α <90° )角度的透过轴；和第2偏振滤光器，其在各像素块中与上述第2像素对置地配置，具有相对于上述第1偏振器的透过轴成β (0° < β <90°，β兴α )角度的透过轴。上述第1偏振滤光器被配置成接受透过上述第1偏振器以及上述第2偏振器的光，上述第2偏振滤光器被配置成接受透过上述第1偏振器以及上述第2偏振器的光。在优选的实施方式中，上述光透过部具有不管偏振方向如何都使入射光透过的透明区域，各像素块包括第3像素，上述第3像素接受透过了上述第1偏振器、上述第2偏振器以及上述透明区域的光，输出与接受的光相应的光电变换信号。在优选的实施方式中，满足I θ-(α+β) I彡20°。在优选的实施方式中，满足I θ-(α+β) I彡10°。在优选的实施方式中，满足80°彡θ <90°。在优选的实施方式中，通过上述第1像素的中心和上述第2像素的中心的直线的方向、与通过上述第1偏振器的中心和上述第2偏振器的中心的直线的方向与相互正交。在优选的实施方式中，各像素块还包括第4像素，上述固体摄像元件包括第1滤色器，其与各像素块中包括的上述第3像素对置地配置，并使第1颜色成分的光透过；和第 2滤色器，其与各像素块中包括的上述第4像素对置地配置，并使第2颜色成分的光透过。在优选的实施方式中，在各像素块中，上述第1像素、上述第2像素、上述第3像素以及上述第4像素被配置成矩阵状，上述第1像素被配置在第1行1列，上述第2像素被配置在第2行2列，上述第3像素被配置在第1行2列，上述第4像素被配置在第2行1列。在优选的实施方式中，上述第1滤色器以及上述第2滤色器的一方至少使红色成分的光透过，上述第1滤色器以及上述第2滤色器的另一方至少使蓝色成分的光透过。在优选的实施方式中，上述第1滤色器以及上述第2滤色器的一方使黄色成分的光透过，上述第1滤色器以及上述第2滤色器的另一方使蓝绿色成分的光透过。在优选的实施方式中，摄像装置还具备图像处理部，上述图像处理部使用从上述第1像素以及上述第2像素输出的光电变换信号，形成表示具有视差的两个图像的差分的图像。在优选的实施方式中，上述图像处理部从上述第1像素以及上述第2像素多次读出光电变换信号，基于读出的多个光电变换信号，形成信号电平增加了的表示上述差分的图像。本发明的图像取得方法用于本发明的三维摄像装置，包括从上述第1像素取得第1光电变换信号的步骤；从上述第2像素取得第2光电变换信号的步骤；和基于上述第1 光电变换信号以及上述第2光电变换信号，形成表示具有视差的两个图像的差分的图像的步骤。发明效果本发明的三维摄像装置在光的入射区域至少具有两个偏振区域。另外，摄像元件具有配置了偏振滤光器的至少两种像素群。两个偏振区域中的透过轴的方向相互不同。另夕卜，与两种像素群分别对置配置的两种偏振滤光器的透过轴的方向也相互不同。因此，能利用两种像素群取得由通过了两个偏振区域的光形成的像。这与利用特性不同的两个传感器捕捉不同的入射光信息的情况相同，能用特定的数学式表示两个输出与两个输入的关系。 因此，能够相反地根据两个输出结果计算出两个输入信息。在得到来自两个偏振区域的图像信息的基础上实施它们的差分处理，从而能得到差分图像。另外，在构成为除了上述的构成，在光的入射区域设置透明区域，使透过透明区域的光入射到第3像素群的情况下，能与差分图像同时得到通常的二维图像。根据该构成，具有不需要机械式的动作部分，仅利用图像间的运算就能同时得到差分图像和灵敏度上没有问题的图像的效果。
图1是本发明的第1实施方式中的摄像装置的整体构成图；图2是表示本发明的第1实施方式中的光入射到固体摄像元件的状态的示意图；图3是本发明的第1实施方式中的固体摄像元件的基本像素构成图；图4是本发明的第1实施方式中的透光板的主视图；图5是表示本发明的第1实施方式中的式14的分母的计算值的图；图6是表示本发明的第1实施方式中的式15的分母的计算值的图；图7是表示本发明中的具有视差的两个图像的一个例子的概念图；图8是本发明的第1实施方式中的其他固体摄像元件的基本像素构成图；图9是本发明的第1实施方式中的其他透光板的主视图；图10是本发明的第2实施方式中的固体摄像元件的摄像部的基本色构成图；图11是本发明的第2实施方式中的透光板的主视图；图12是专利文献1中的摄像系统的构成图；图13是专利文献2中的摄像系统的构成图；图14是专利文献3中的摄像系统的构成图。
具体实施例方式以下，参照附图对本发明的实施方式进行说明。在所有的图中对共用的要素赋予相同的附图标记。(实施方式1)图1是本发明的第1实施方式中的摄像装置的构成图。1是进行光电变换的固体摄像元件，2是在一部分具有偏振区域的透光板，3是用于对入射光进行成像的圆形的光学透镜，4是红外截止滤光器，5是产生用于固体摄像元件的驱动的原信号并且接收来自固体摄像元件的信号的信号产生以及图像信号接收部，6是做出用于驱动固体摄像元件的信号的摄像元件驱动部，7是处理图像信号而生成多视点图像、表示多视点图像的差分的差分图像、以及无视差并且灵敏度上没有问题的通常图像的图像处理部，8是将表示所生成的多视点图像、差分图像以及通常图像的图像信号送出到外部的图像接口部。透光板2具有配置了两个偏振器的偏振区域和不管偏振方向如何都使光透过的透明区域。固体摄像元件1(以下，有时称之为“摄像元件”)典型的是CCD或者CMOS传感器，通过公知的半导体技术来制造。在固体摄像元件1的摄像面以二维状排列多个像素(光感知单元)。各像素典型的是光电二极管，通过光电变换而输出与入射光量对应的电信号 (光电变换信号)。图像处理部7具有存储图像处理所使用的各种信息的存储器、和基于从存储器读出的数据而生成每个像素的图像信号的图像信号生成部。通过上述结构，入射光透过透光板2、光学透镜3、红外截止滤光器4，在固体摄像元件1的摄像面成像，由固体摄像元件1进行光电变换。通过光电变换而生成的图像信号通过图像信号接收部5被送到图像处理部7，在此生成多视点图像、差分图像以及无视差且灵敏度上没有问题的通常图像。图2是示意性表示入射光透过透光板2以及光学透镜3而入射到固体摄像元件1 的摄像面的状态。在图2中，省略了透光板2、光学透镜3、固体摄像元件1以外的构成要素。 另外，关于固体摄像元件1，只图示了摄像面的一部分。如图所示，透光板2具有偏振区域 P(1)、P(2)以及透明区域P(3)。在此，偏振区域P(l)、P(2)的透过轴的朝向相互不同。另夕卜，在固体摄像元件1的摄像面排列的多个像素构成以3个像素为1个单位的多个像素块。 将一个像素块中包含的3个像素称作W1、W2、W3。在本实施方式中，分别与像素W1、W2对置地配置了偏振滤光器50a、50b。偏振滤光器50a、50b的透过轴的朝向相互不同。在像素W3 没有配置对应的偏振滤光器。此外，图示的各构成要素的配置关系只不过是一个例子，本发明并不限定于该配置关系。例如，只要能在摄像面形成像，光学透镜3也可以比透光板2更远离摄像元件1来配置，也可以配置多个。另外，光学透镜3与透光板2不需要是独立的构成要素，两者也可以构成为一体化的一个光学元件。另外，在图2中，像素W1、W2、W3被描绘成沿着与连接透光板2的偏振区域P(I)以及P(2)的线段平行的方向(X方向)按顺序排列，但不一定需要像这样排列。此外，在摄像元件1的摄像面，在与图2的纸面垂直的方向(Y方向)也排列了多个像素。以下，对固体摄像元件1的像素构成以及透光板2的构成详细地进行说明。在以下的说明中，采用与图2共用的坐标系X、Y。图3表示摄像元件1的摄像面上的一个像素块。以3行1列为基本构成的多个像素排列在摄像面上。如上述那样，像素的基本构成(像素块)包括分别配置有偏振方向相互不同的两个偏振滤光器50a、50b的像素Wl、W2、以及什么都没配置的像素W3。在一个像素块中，W1、W2、W3沿着Y轴配置。关于偏振滤光器的透过轴的方向，相对于X方向，第1行 1列的偏振滤光器50a的透过轴倾斜角度α (0° < α <90° )，第2行1列的偏振滤光器 50b的透过轴倾斜角度β(0°彡β<90°，β乒α)。图4是本实施方式中的透光板2的主视图。透光板2的形状是与光学透镜3相同的圆形。在透光板2中，由透过轴的方向相互不同的2个偏振器构成的偏振区域P(I)、PQ) 在X方向上分开配置。透光板2中偏振区域以外的区域是透明区域Ρ(3)。偏振区域P(I) 的透过轴的方向与X方向一致。偏振区域Ρ(2)的透过轴的方向相对于X方向倾斜了角度 θ (0° < θ 彡 90° )。此外，虽然在图4中透光板2的形状为圆形，但不需要一定是圆形。另外，偏振区域 ρ(ι)、ρ(2)的形状不需要一定是长方形，什么样的形状都可以。但是，优选偏振区域ρ(1)、P (2)的面积以及形状相同。在本实施方式中，如图3以及图4所示，通过像素Wl的中心以及像素W2的中心的直线的方向、和通过偏振区域P(I)的中心与偏振区域p(2)的中心的直线的方向相互正交。通过以上结构，摄像元件1的摄像面上的各像素接受透过偏振区域P(l)、P (2)以及透明区域P(3)并由光学透镜3汇聚的光。以下，对各像素中的光电变换信号进行说明。首先，对没有配置偏振滤光器的像素W3的光电变换信号进行说明。像素W3接受通过透光板2、光学透镜3、红外截止滤光器4而入射的光，输出与所接受的光相应的光电变换信号。在此，将入射光通过透光板2的偏振区域P(I)、PQ)时的透过率设为Tl。若将假设入射到偏振区域P(l)、PO)与透明区域PC3)的光没有减少地完全由摄像元件1进行光电变换的情况下的信号量，附上下标s而表现为Ps(I)、Ps (2)、1^(3)，则像素W3中的光电变换信号S3由下面的式1表示。(式 1) S3 = Tl (Ps (1) +Ps (2)) +Ps (3)接下来，对配置有偏振滤光器的像素Wl以及W2的光电变换信号进行说明。由于分别与像素wi、W2对置地配置了偏振滤光器50a、50b，入射到像素Wl、W2的光的量基本上少于入射到像素W3的光的量。在此，将非偏振光透过偏振滤光器50a或者50b时的透过率设为Tl，与偏振区域P(1)、P(2)的透过率相同。另外，将在与各偏振滤光器的透过轴的方向相同的方向上振动的偏振光透过该偏振滤光器时的透过率设为T2。于是，像素Wl以及W2 中的光电变换量Si、S2分别由以下的式2、3表示。(式 2) Sl = Tl (T2 (Ps (1) cos α +Ps (2)cos(a - θ )) +Ps (3))(式 3) S2 = Tl (T2 (Ps (1) cos β +Ps (2) cos ( β - θ )) +Ps (3))若从上述的式1 式3消去I^s (3)，来计算Ps(I)与1^2) JjPs(I)以及I3S O) 分别由以下的式4以及式5表示。[数1](式4)
权利要求
1.一种三维摄像装置，具备 光透过部，其至少具有两个偏振器；固体摄像元件，其接受透过了上述光透过部的光；和成像部，其在上述固体摄像元件的摄像面形成像， 其中，上述光透过部具有 第1偏振器；和第2偏振器，其具有相对于上述第1偏振器的透过轴成θ角度的透过轴，其中，0° < θ ≤ 90°，上述固体摄像元件具有多个像素块，各像素块包括第1像素以及第2像素；第1偏振滤光器，其在各像素块中与上述第1像素对置地配置，具有相对于上述第1偏振器的透过轴成α角度的透过轴，其中0° < α <90° ；和第2偏振滤光器，其在各像素块中与上述第2像素对置地配置，具有相对于上述第1偏振器的透过轴成β角度的透过轴，其中0°≤β <90°，β≠α，上述第1偏振滤光器被配置成接受透过了上述第1偏振器以及上述第2偏振器的光， 上述第2偏振滤光器被配置成接受透过了上述第1偏振器以及上述第2偏振器的光。
2.根据权利要求1所述的三维摄像装置，其特征在于，上述光透过部具有不管偏振方向如何都使入射光透过的透明区域， 各像素块包括第3像素，上述第3像素接受透过了上述第1偏振器、上述第2偏振器以及上述透明区域的光，输出与接受的光相应的光电变换信号。
3.根据权利要求2所述的三维摄像装置，其特征在于， 满足 I θ-(α+β) I ≤ 20°。
4.根据权利要求2或3所述的三维摄像装置，其特征在于， 满足 I θ-(α+β) I ≤ 10°。
5.根据权利要求2至4的任一项所述的三维摄像装置，其特征在于， 满足80°≤θ≤90°。
6.根据权利要求1至5的任一项所述的三维摄像装置，其特征在于，通过上述第1像素的中心和上述第2像素的中心的直线的方向、与通过上述第1偏振器的中心和上述第2偏振器的中心的直线的方向相互正交。
7.根据权利要求2至6的任一项所述的三维摄像装置，其特征在于， 各像素块还包括第4像素，上述固体摄像元件包括第1滤色器，其与各像素块中包括的上述第3像素对置地配置，并使第1颜色成分的光透过；和第2滤色器，其与各像素块中包括的上述第4像素对置地配置，并使第2颜色成分的光透过。
8.根据权利要求7所述的三维摄像装置，其特征在于，在各像素块中，上述第1像素、上述第2像素、上述第3像素以及上述第4像素被配置成矩阵状，上述第1像素被配置在第1行1列， 上述第2像素被配置在第2行2列， 上述第3像素被配置在第1行2列， 上述第4像素被配置在第2行1列。
9.根据权利要求7或8所述的三维摄像装置，其特征在于，上述第1滤色器以及上述第2滤色器的一方至少使红色成分的光透过， 上述第1滤色器以及上述第2滤色器的另一方至少使蓝色成分的光透过。
10.根据权利要求7至9的任一项所述的三维摄像装置，其特征在于， 上述第1滤色器以及上述第2滤色器的一方使黄色成分的光透过， 上述第1滤色器以及上述第2滤色器的另一方使蓝绿色成分的光透过。
11.根据权利要求1至10的任一项所述的三维摄像装置，其特征在于， 还具备图像处理部，上述图像处理部利用从上述第1像素以及上述第2像素输出的光电变换信号，生成表示具有视差的两个图像的差分的图像。
12.根据权利要求11所述的三维摄像装置，其特征在于，上述图像处理部从上述第1像素以及上述第2像素多次读出光电变换信号，基于读出的多个光电变换信号，形成信号电平增加了的表示上述差分的图像。
13.一种图像形成方法，其用于三维摄像装置，该三维摄像装置具备 光透过部，其具有第1偏振器和第2偏振器；和固体摄像元件，其接受透过了上述光透过部的光， 上述固体摄像元件具有 第1像素以及第2像素；第1偏振滤光器，其与上述第1像素对置地配置，具有相对于上述第1偏振器的透过轴成α角度的透过轴，其中0°彡α <90° ；和第2偏振滤光器，其与上述第2像素对置地配置，具有相对于上述第1偏振器的透过轴成β角度的透过轴，其中0°彡β < 90°，β乒α， 该图像形成方法包括从上述第1像素取得第1光电变换信号的步骤； 从上述第2像素取得第2光电变换信号的步骤；和基于上述第1光电变换信号以及上述第2光电变换信号，形成表示具有视差的两个图像的差分的图像的步骤。
全文摘要
本发明的摄像装置具备成像透镜(3)、具有两个偏振器的光透过部(2)和固体摄像元件(1)。固体摄像元件(1)具有多个像素和与像素对应的偏振滤光器。与第1像素群(W1)对应地配置第1偏振滤光器(50a)，与第2像素群(W2)对应地配置第2偏振滤光器(50b)。光透过部(2)中的偏振区域(P(1)、P(2))的透过轴的方向相互差角度θ。另外，第1偏振滤光器(50a)的透过轴的朝向相对于偏振区域(P(1))的透过轴的朝向成角度α，第2偏振滤光器(50b)的透过轴的朝向相对于偏振区域(P(2))的透过轴的朝向成角度β。通过以上结构，本发明的摄像装置能高效地取得表现出视差的图像。
文档编号H04N13/02GK102474646SQ20118000275
公开日2012年5月23日 申请日期2011年2月10日 优先权日2010年5月11日
发明者三崎正之, 平本政夫, 泷泽辉之, 铃木正明 申请人:松下电器产业株式会社