摄像元件、摄像设备和图像处理方法
【技术领域】
[0001]本发明涉及一种摄像元件和摄像设备，尤其涉及一种能够获得多个视差图像信号的摄像元件以及包括该摄像元件的摄像设备。
【背景技术】
[0002]在现有技术中，提出了这样一种摄像设备，其中，在该摄像设备中，摄像镜头的出射光瞳被分成多个区域，从而使得同时拍摄与通过分割所获得的光瞳区域相对应的多个视差图像。
[0003]美国专利4410804公开了一种使用二维摄像元件的摄像设备，其中，针对一个像素，形成一个微透镜和多个分割光电转换部。分割光电转换部被配置成通过一个微透镜接收来自摄像镜头的出射光瞳的不同光瞳子区域的光来分割光瞳。通过分割光电转换部接收光所获得的各个信号，生成与光瞳子区域相对应的多个视差图像。日本特开2001-083407说明了对通过像素中的分割光电转换部接收光所获得的所有信号进行相加，来生成被摄体的摄像图像。
[0004]多个所拍摄的视差图像相当于作为与光强度的空间分布和角度分布有关的信息的光场(LF)数据。斯坦福技术报告CTSR 2005-2, I (2005)公开了一种再调焦技术，在该技术中，通过使用所获得的LF数据绘制与摄像平面不同的虚拟成像平面处的合成图像，以在摄像之后改变摄像图像的聚焦位置。
[0005]日本特开2008-299184公开了一种使用摄像元件的摄像设备。该摄像元件包括用于遮挡除受光面的一部分以外的大部分(一半以上)区域的光的遮光层，其中，遮光层包括在各像素的微透镜和光电转换部的受光面之间所形成的开口部。日本特开2008-299184公开了一种摄像元件，其被配置成针对一组像素中所包括的各像素以预定图案使得遮光层的开口部偏心，以接收来自摄像镜头的出射光瞳的不同光瞳子区域的光。这样，分割摄像镜头的出射光瞳以拍摄与通过分割所获得的光瞳子区域相对应的多个视差图像。可以通过利用配线层在正常摄像像素中形成包括开口部的遮光层，来形成这种像素结构。这样制造出利用简单结构获得多个视差图像的摄像元件。
【发明内容】
[0006]根据本发明的一个实施例，提供一种摄像元件，包括:像素矩阵，其中在所述像素矩阵中，以预定数量的像素的矩阵为单位配置多个像素，其中各个像素包括用于对成像光学系统所形成的被摄体的光学图像进行光电转换的光电转换部；光瞳分割部，其被配置在各个像素的所述光电转换部的受光面侧，以分割所述成像光学系统的光瞳区域；以及遮光部，其被配置在各个像素的所述光瞳分割部和所述光电转换部之间，以遮挡所述光电转换部的受光面的预定区域，其特征在于，所述预定数量的像素的矩阵中所包括的各个像素的所述预定区域，对应于在所述光瞳分割部分割所述光瞳区域时所获得的所述预定数量的分割光瞳区域中的任一个，并且所述预定区域在所述受光面中的比例小于所述遮光部未遮挡的区域在所述受光面中的比例。
[0007]本发明还提供一种摄像设备，其特征在于，包括:上述的摄像元件；图像处理单元，用于对从所述摄像元件的各个像素所输出的像素信号进行处理；以及控制单元，用于控制所述图像处理单元，以生成与对应于所述预定区域的分割光瞳区域相对应的视差图像的像素信号，其中，用于生成所述视差图像的像素信号的控制包括如下控制:针对各个所述预定数量的像素的矩阵，对从所述多个像素所输出的像素信号进行相加，以生成所述被摄体的拍摄图像的像素信号；针对各个所述预定数量的像素的矩阵，获得从预定像素所输出的像素信号，以生成原始视差图像的像素信号；以及从所述拍摄图像的像素信号减去乘以预定系数后的原始视差图像的像素信号，以生成所述视差图像的像素信号。
[0008]本发明还提供一种图像处理方法，用于处理从摄像元件的各个像素所输出的像素信号，其中，所述摄像元件包括:像素矩阵，其中在所述像素矩阵中，以预定数量的像素的矩阵为单位配置多个像素，其中各个像素包括用于对成像光学系统所形成的被摄体的光学图像进行光电转换的光电转换部；光瞳分割部，其被配置在各个像素的所述光电转换部的受光面侧，以分割所述成像光学系统的光瞳区域；以及遮光部，其被配置在各个像素的所述光瞳分割部和所述光电转换部之间，以遮挡所述光电转换部的受光面的预定区域，所述预定数量的像素的矩阵中所包括的各个像素的所述预定区域，对应于在所述光瞳分割部分割所述光瞳区域时所获得的所述预定数量的分割光瞳区域中的任一个，其特征在于，所述图像处理方法包括以下步骤:针对各个所述预定数量的像素的矩阵，对从所述多个像素所输出的像素信号进行相加，以生成所述被摄体的拍摄图像的像素信号；针对各个所述预定数量的像素的矩阵，获得从预定像素所输出的像素信号，以生成原始视差图像的像素信号；以及从所述拍摄图像的像素信号减去乘以预定系数后的原始视差图像的像素信号，以生成所述视差图像的像素信号。
[0009]通过以下参考附图对典型实施例的说明，本发明的其它特征将显而易见。
【附图说明】
[0010]图1是应用根据本发明第一实施例的摄像元件的摄像设备的示意性结构图。
[0011]图2是根据本发明第一实施例的摄像元件的像素矩阵的示意性平面图。
[0012]图3A和3B分别是根据本发明第一实施例的摄像元件的子区域的示意性平面图和示意性横断面图。
[0013]图4是根据本发明第一实施例的形成单位像素的子像素的示意性平面图。
[0014]图5是根据现有技术的形成单位像素的子像素的示意性平面图。
[0015]图6是示出根据本发明第一实施例的摄像元件的子像素与受光光瞳子区域和非受光光瞳子区域的对应关系的图。
[0016]图7是示出根据本发明第一实施例的形成单位像素的多个子像素与受光光瞳子区域和非受光光瞳子区域的对应关系的图。
[0017]图8是示出根据本发明第一实施例的摄像元件获得视差图像信号的概念的图。
[0018]图9是示出根据本发明第一实施例的摄像元件的子像素的光瞳强度分布的例子的图。
[0019]图10是根据本发明第一实施例的形成摄像元件的单位像素的子像素的光瞳分割的示意性平面图。
[0020]图11是应用了根据本发明第一实施例的摄像元件的摄像设备的视差图像生成操作的流程图。
[0021]图12是根据本发明第一实施例的变形例的摄像元件中的像素矩阵的示意性平面图。
[0022]图13是根据本发明第二实施例的摄像元件中的像素矩阵的示意性平面图。
[0023]图14A和14B分别是根据本发明第二实施例的摄像元件中所包括的子像素的示意性平面图和示意性横断面图。
【具体实施方式】
[0024]现参考附图详细说明本发明的优选实施例。
[0025]现有技术的摄像元件遮挡各像素的光电转换部的、除受光面的一部分以外的大部分(一半以上)区域中的光来分割光瞳。因此，存在的问题是摄像元件的受光感光度显著降低。因此，考虑到上述问题做出本发明，并且本发明目的是提供一种摄像元件和一种摄像设备，其中，该摄像元件在各像素中的光电转换部的受光面中形成遮光层以分割光瞳，并且能够在抑制受光感光度降低的情况下获得多个视差图像。参考附图详细说明本发明的实施例。
[0026]第一实施例
[0027]参考图1?12说明本发明的第一实施例。
[0028]图1是示出作为应用根据本实施例的摄像元件的摄像设备的照相机的结构的图。摄像设备可以是如图1所示与镜头一体化的摄像设备，或者可以由镜头设备和摄像设备主体构成，其中，镜头设备包括用于形成被摄体的光学图像的成像光学系统，摄像设备主体包括摄像元件并且可拆卸地装配镜头设备。
[0029]在图1中，第一透镜单元101被配置在成像光学系统的前端，并且被保持成可在光轴方向上进退。光圈快门102调整其开口直径来调整摄像期间的光量，并且具有用于在拍摄静止图像时按照秒来调整曝光时间的快门功能。附图标记103表示第二透镜单元。光圈快门102和第二透镜单元103在光轴方向上整体地进退，并且与第一透镜单元101的进退操作连动地进行变焦动作(变焦功能)。
[0030]第三透镜单元105在光轴方向上进退以调节焦点。光学低通滤波器106是用于降低拍摄图像中的伪色和摩尔纹的光学元件。摄像元件107包括二维互补金属氧化物半导体(CMOS)及其周边部，并且具有如下所述的根据本实施例的结构。
[0031]变焦致动器111转动凸轮筒(未示出)以驱动第一透镜单元101或者第二透镜单元103在光轴方向上进退，从而进行变焦操作。光圈快门致动器112控制光圈快门102的开口直径以调节摄像期间的光量，并且在拍摄静止图像时进行曝光时间控制。调焦致动器114驱动第三透镜单元105在光轴方向上进退，从而调节焦点。
[0032]摄像期间所使用的照明单元115是用于照明被摄体的电子闪光灯，并且优选使用氙气管的闪光灯装置，但是还可以使用包括连续发射光的发光二极管(LED)的照明装置。自动调焦(AF)辅助光单元116通过投射透镜将具有预定开口图案的掩模的图像投射在视场上，以提高用于暗被摄体或者具有低对比度的被摄体的焦点检测能力。
[0033]中央处理单元(CPU) 121是设置在照相机中的、用于控制照相机的各方面的CPU，并且包括运算部、只读存储器(ROM)、随机存取存储器(RAM)、模数(A/D)转换器、数模(D/A)转换器和通信接口部等。CPU基于存储在ROM中的预定程序，驱动照相机中所包括的各种单元，并且执行诸如AF、摄像以及图像处理和存储等的一系列操作。
[0034]电子闪光灯控制单元122进行控制以与摄像操作同步启动照明单元115。辅助光驱动单元123进行控制以与焦点检测操作同步启动AF辅助光单元116。摄像元件驱动单元124控制摄像元件107的摄像操作，并且对所获得