摄像元件、摄像装置以及摄像系统的制作方法
【专利摘要】在想要根据从单片摄像元件输出的图像数据同时生成2D图像数据和彩色的视差图像数据的情况下，有时会给2D图像数据和视差图像数据的每一个的分辨率带来不良影响。摄像元件将由无视差像素和至少4种视差像素构成的像素组作为基本格子，所述无视差像素比所述视差像素多，所述至少4种视差像素中，两种开口掩模和两种彩色滤色器的组合的任一种与光电转换元件相对应，所述无视差像素不受到限制地将入射光束引导向光电转换元件。
【专利说明】摄像元件、摄像装置以及摄像系统
【技术领域】
[0001]本发明涉及摄像元件、摄像装置以及摄像系统。
【背景技术】
[0002]已知有使用两个摄像光学系统取得由右眼用图像和左眼用图像构成的立体图像的立体摄像装置。这种立体摄像装置通过以一定的间隔配置两个摄像光学系统，使拍摄同一被拍摄体而得到的两个图像产生视差。
[0003]在先技术文献
[0004]专利文献
[0005]专利文献1:日本特开平8-47001号公报
【发明内容】
[0006]发明要解决的问题
[0007]在想要根据从单片摄像元件输出的图像数据，同时生成2D图像数据和彩色的视差图像数据的情况下，有时会给2D图像数据和视差图像数据的每一个的分辨率带来不良影响。
[0008]用于解决问题的手段
[0009]本发明的第I实施方式中的摄像元件将由无视差像素和至少4种视差像素构成的像素组作为基本格子，所述无视差像素比所述视差像素多，所述至少4种视差像素中，使分别具有定位成相对于入射光束使相互不同的部分光束通过的开口的第I开口掩模和第2开口掩模的任一个、和使相互不同的波段通过的第I彩色滤色器和第2彩色滤色器的任一个与光电转换元件相对应，所述无视差像素不受开口限制地将入射光束引导向光电转换元件。
[0010]本发明的第2实施方式中的摄像装置包括上述摄像元件、根据上述摄像元件的输出生成相互具有视差的多个视差图像数据和2D图像数据的图像处理部。
[0011]本发明的第3实施方式中的摄像元件包含:视差像素，使具有多种开口的开口掩模的任一种与光电转换元件相对应，所述开口定位成相对于入射光束使相互不同的部分光束通过；以及无视差像素，不受开口限制地将入射光束引导向光电转换元件，视差像素按随对应的开口掩模的种类由无视差像素和于其他开口掩模相对应的视差像素夹持，在二维方向的任意方向上都以等间隔配置，并且与不同种类的所述开口掩模相对应的所述视差像素彼此之间的距离配置成相互最远离。
[0012]本发明的第4实施方式中的摄像装置包括上述摄像元件、根据上述摄像元件的输出生成相互具有视差的多个视差图像数据和2D图像数据的图像处理部。
[0013]此外，上述
【发明内容】
并未列举本发明的全部必要特征。另外，这些特征组的子组合也可以成为发明。
【专利附图】
【附图说明】
[0014]图1是说明本发明的实施方式涉及的数码相机的结构的图。
[0015]图2是说明本发明的实施方式涉及的摄像元件的剖面结构的图。
[0016]图3是表示放大摄像元件的一部分后的情形的示意图。
[0017]图4是说明视差像素与被拍摄体的关系的概念图。
[0018]图5是说明生成视差图像的处理的概念图。
[0019]图6是说明拜耳排列的图。
[0020]图7是说明第I实施例中的重复图案110的排列的图。
[0021]图8是说明第I实施例中的视差像素的像素间隔的关系的图。
[0022]图9是说明第2实施例中的重复图案110的排列的图。
[0023]图10是说明第3实施例中的重复图案110的排列的图。
[0024]图11是说明第4实施例中的重复图案110的排列的图。
[0025]图12是说明作为2D图像数据的RGB层数据(plain data)的生成处理的例子的图。
[0026]图13是说明作为视差图像数据的两个G层数据的生成处理的例子的图。
[0027]图14是说明作为视差图像数据的两个B层数据的生成处理的例子的图。
[0028]图15是说明作为视差图像数据的两个R层数据的生成处理的例子的图。
[0029]图16是表示各层数据的分辨率的关系的概念图。
[0030]图17是说明散焦的概念的图。
[0031]图18是说明视差像素散焦的概念的图。
[0032]图19是表示作为一例的实际空间的排列与k空间的图。
[0033]图20是表示作为一例的实际空间的排列与k空间的图。
[0034]图21是表示作为一例的实际空间的排列与k空间的图。
[0035]图22是表示作为一例的实际空间的排列与k空间的图。
[0036]图23是表示作为一例的实际空间的排列与k空间的图。
[0037]图24是表示作为一例的实际空间的排列与k空间的图。
[0038]图25是表示作为一例的实际空间的排列与k空间的图。
[0039]图26是表示作为一例的实际空间的排列与k空间的图。
[0040]图27是表示作为一例的实际空间的排列与k空间的图。
[0041]图28是表示作为一例的实际空间的排列与k空间的图。
[0042]图29是表示作为一例的实际空间的排列与k空间的图。
[0043]图30是表示作为一例的实际空间的排列与k空间的图。
[0044]图31是表示作为一例的实际空间的排列与k空间的图。
[0045]图32是表示作为一例的实际空间的排列与k空间的图。
[0046]图33是表示全开口的无视差像素与半开口的无视差像素的图。
[0047]图34是表示作为一例的实际空间的排列与k空间的图。
[0048]图35是表示作为一例的实际空间的排列与k空间的图。
[0049]图36是表示作为一例的实际空间的排列与k空间的图。
[0050]图37是说明动画读出的图。
【具体实施方式】
[0051]以下通过【具体实施方式】说明本发明，但以下的实施方式并不限定权利要求书涉及的发明。另外，在发明的解决手段中，在实施方式中说明的特征的组合并不一定全部都是必需的。
[0052]作为图像处理装置和摄像装置的一种方式的本实施方式的数码相机构成为:针对一个场景，能够通过一次拍摄生成多个视点数的图像。将视点相互不同的各个图像称为视差图像。
[0053]图1是说明本发明的实施方式涉及的数码相机10的结构的图。数码相机10包括作为摄像光学系统的拍摄透镜20，将沿着光轴21入射的被拍摄体光束引导至摄像元件100。拍摄透镜20也可以是能够相对于数码相机10装卸的更换式透镜。数码相机10包括摄像元件100、控制部201、A/D转换电路202、存储器203、驱动部204、图像处理部205、存储卡IF207、操作部208、显示部209、LCD驱动电路210以及AF传感器211。
[0054]此外，如图所示，将朝向摄像元件100的与光轴21平行的方向定为Z轴正方向，在与Z轴正交的平面中，将朝向纸面外侧的方向定为X轴正方向，将纸面上方向定为Y轴正方向。在以后的几个图中，以图1的坐标轴为基准表示坐标轴以理解各个图的方向。
[0055]拍摄透镜20由多个光学透镜组构成，并使来自场景的被拍摄体光束成像在其焦平面附近。此外，在图1中，为了方便说明拍摄透镜20，以配置于光瞳附近的一片假想透镜作为代表来表示。摄像元件100配置在拍摄透镜20的焦平面附近。摄像元件100是二维地排列多个光电转换元件而成的例如CO)(Charge-coupled Device:电荷稱合元件)、CMOS (Complementary Metal Oxide Semiconductor:互补金属氧化物半导体)传感器等图像传感器。摄像元件100由驱动部204定时控制，将成像于受光面上的被拍摄体像转换成图像信号，并向A/D转换电路202输出。
[0056]A/D转换电路202将摄像元件100输出的图像信号转换成数字图像信号并向存储器203输出。图像处理部205将存储器203作为工作区进行各种图像处理，并生成图像数据。
[0057]图像处理部205还承担按照选择的图像格式调整图像数据等一般的图像处理功能。生成的图像数据由IXD驱动电路210转换成显示信号，并显示在显示部209上。另外，记录到安装在存储卡IF207中的存储卡220中。
[0058]AF传感器211是针对被拍摄体空间设定了多个测距点的相位差传感器，在各个测距点检测出被拍摄体像的散焦量。通过操作部208接受用户的操作并向控制部201输出操作信号而开始一连串的拍摄步骤。附属于拍摄步骤的AF (Auto Focus:自动对焦)、AE (AutoExpose:自动曝光)等各种动作由控制部201控制而执行。例如，控制部201解析AF传感器211的检测信号，执行使构成拍摄透镜20的一部分的聚焦透镜移动的对焦控制。
[0059]接着，详细说明摄像元件100的结构。图2是表示本发明的实施方式涉及的摄像元件100的剖面的示意图。
[0060]从被拍摄体一侧按顺序排列微型透镜101、彩色滤色器102、开口掩模103、布线层105以及光电转换元件108而构成摄像元件100。光电转换元件108由光电导二极管构成，所述光电导二极管将入射的光转换成电信号。多个光电转换元件108 二维地排列在衬底109的表面上。
[0061]由光电转换元件108转换的图像信号、控制光电转换元件108的控制信号等经由设置在布线层105中的布线106收发。另外，具有开口部104的开口掩模103与布线层相接触地设置，所述开口部104与各光电转换元件108 —对一对应地设置。如后所述，开口部104按对应的光电转换元件108移位而严格确定相对位置。详细情况将在后面叙述，由于包括该开口部104的开口掩模103的作用，在光电转换元件108接受的被拍摄体光束中产生视差。
[0062]另一方面，在不产生视差的光电转换元件108上方，不存在开口掩模103。换句话说，可以说设置具有如下开口部104的开口掩模103，所述开口部104不限制入射到对应的光电转换元件108的被拍摄体光束，即，使入射光束整体通过。虽然没有产生视差，但由于实质上由布线106形成的开口 107限定入射的被拍摄体光束，所以也能够将布线106理解为不产生视差的、使入射光束整体通过的开口掩模。开口掩模103既可以与各光电转换元件108对应地分别独立地排列，也可以与彩色滤色器102的制造工艺同样地，与多个光电转换元件108 —起形成。
[0063]彩色滤色器102设置在开口掩模103上。彩色滤色器102是着色成相对于各光电转换元件108使特定波段透射的、与光电转换元件108的每一个一对一对应地设置的滤色器。为了输出彩色图像，可排列至少两种相互不同的彩色滤色器，为了取得更高画质的彩色图像，可排列3种以上彩色滤色器。例如可将使红色波段透射的红滤色器(R滤色器)、使绿色波段透射的绿滤色器(G滤色器)以及使蓝色波段透射的蓝滤色器(B滤色器)排列成格子状。在后面将叙述具体的排列。
[0064]微型透镜101设置在彩色滤色器102上。微型透镜101是用于将更多入射的被拍摄体光束引导至光电转换元件108的聚光透镜。微型透镜101与光电转换元件108的每一个一对一对应地设置。微型透镜101优选为考虑拍摄透镜20的光瞳中心与光电转换兀件108的相对位置关系，而将其光轴移位成使得更多被拍摄体光束被引导至光电转换元件108。进一步地，也可以与开口掩模103的开口部104的位置一起调整配置位置，以使更多后述特定的被拍摄体光束入射。
[0065]这样，将与各个光电转换元件108对应地一对一设置的开口掩模103、彩色滤色器102以及微型透镜101这一个单位称为像素。特别是，将设置有产生视差的开口掩模103的像素称为视差像素，将未设置产生视差的开口掩模103的像素称为无视差像素。例如,在摄像元件100的有效像素区域为24_X 16mm左右的情况下，像素数达到1200万左右。
[0066]此外，在聚光效率、光电转换效率良好的图像传感器的情况下，也可以不设置微型透镜101。另外，在背面照射型图像传感器的情况下，布线层105设置在与光电转换元件108相反一侧。另外，如果使开口掩模103的开口部104具有色彩成分，也能够一体地形成彩色滤色器102和开口掩模103。
[0067]另外，在本实施方式中，将开口掩模103与布线106分离设置，但布线106也可以承担视差像素中的开口掩模103的功能。S卩，由布线106形成限定的开口形状，并通过该开口形状限制入射光束而仅将特定的部分光束引导至光电转换元件108。在该情况下，形成开口形状的布线106优选位于布线层105中的、最靠光电转换元件108 —侧。
[0068]另外，开口掩模103也可以由重叠设置在光电转换元件108上的透射阻止膜形成。在该情况下，例如依次层叠SiN膜和S12膜而作为透射阻止膜，并通过蚀刻除去相当于开口部104的区域而形成开口掩模103。
[0069]接着，说明开口掩模103的开口部104与产生的视差的关系。图3是表示放大摄像元件100的一部分后的情形的示意图。在这里，为了简化说明，在之后再次提及之前不考虑彩色滤色器102的配色。在不提及彩色滤色器102的配色的以下说明中，能够理解为是仅拼合了具有同色彩色滤色器102的视差像素的图像传感器。因此，以下说明的重复图案也可以考虑为同色彩色滤色器102中的相邻像素。
[0070]如图3所示，开口掩模103的开口部104相对于各个像素相对移位地设置。而且，在相邻的像素之间，各自的开口部104也设置在相互位移了的位置。
[0071]在图中的例子中，作为开口部104相对于各自像素的位置，准备了在左右方向上相互移位了的6种开口掩模103。而且，摄像元件100的整体二维且周期性地排列有光电转换元件组，所述光电转换元件组将分别具有从纸面左侧向右侧逐渐移位的开口掩模103的6个视差像素作为一组。
[0072]图4是说明视差像素与被拍摄体的关系的概念图。特别是，图4的(a)表示摄像元件100中的、在与拍摄光轴21正交的中心排列的重复图案IlOt的光电转换元件组，图4的(b)示意性地示出了排列在周边部分的重复图案IlOu的光电转换元件组。图4的(a)、
(b)中的被拍摄体30相对于拍摄透镜20存在于对焦位置。与图4的(a)对应地，图4的
(c)示意性示出了捕捉到相对于拍摄透镜20存在于非对焦位置的被拍摄体31的情况下的关系。
[0073]首先，说明拍摄透镜20捕捉到存在于对焦状态的被拍摄体30的情况下的视差像素与被拍摄体的关系。被拍摄体光束通过拍摄透镜20的光瞳而被引导至摄像元件100，在被拍摄体光束通过的整个剖面区域中限定了 6个部分区域Pa?Pf。而且，从放大图也可知，例如构成重复图案IlOtUlOu的光电转换元件组的纸面左端的像素中，以仅使从部分区域Pf射出的被拍摄体光束到达光电转换元件108的方式确定了开口掩模103的开口部104f的位置。同样地，朝向右端的像素，与部分区域Pe对应地确定开口部104e的位置，与部分区域Pd对应地确定开口部104d的位置，与部分区域Pc对应地确定开口部104c的位置，与部分区域Pb对应地确定开口部104b的位置，与部分区域Pa对应地确定开口部104a的位置。
[0074]换句话说，也可以说，根据例如由部分区域Pf与左端像素的相对位置关系定义的、从部分区域Pf射出的被拍摄体光束(部分光束)的主光线Rf的斜率，来确定开口部104f的位置。而且，在光电转换元件108经由开口部104f接受来自存在于对焦位置的被拍摄体30的被拍摄体光束的情况下，如以虚线图示地，该被拍摄体光束成像在光电转换元件108上。同样地，可以说，朝向右端的像素，分别根据主光线Re的斜率确定开口部104e的位置，根据主光线Rd的斜率确定开口部104d的位置，根据主光线Re的斜率确定开口部104c的位置，根据主光线Rb的斜率确定开口部104b的位置，根据主光线Ra的斜率确定开口部104a的位置。
[0075]如图4的(a)所示，从存在于对焦位置的被拍摄体30中的、与光轴21交叉的被拍摄体30上的微小区域Ot放射的光束通过拍摄透镜20的光瞳，到达构成重复图案I1t的光电转换元件组的各像素。S卩，构成重复图案IlOt的光电转换元件组的各像素分别经由6个部分区域Pa?Pf接受从一个微小区域Ot放射的光束。微小区域Ot具有与构成重复图案IlOt的光电转换元件组的各像素的位置偏移对应的量的展宽，但实质上能够近似为大致相同的物点。同样地，如图4的(b)所示，从存在于对焦位置的被拍摄体30中的、与光轴21分离的被拍摄体30上的微小区域Ou放射的光束通过拍摄透镜20的光瞳，到达构成重复图案IlOu的光电转换元件组的各像素。即，构成重复图案IlOu的光电转换元件组的各像素分别经由6个部分区域Pa?Pf接受从一个微小区域Ou放射的光束。与微小区域Ot同样地，微小区域Ou也具有与构成重复图案IlOu的光电转换元件组的各像素的位置偏移对应的量的展宽，但实质上能够近似为大致相同的物点。
[0076]也就是说，只要被拍摄体30存在于对焦位置，根据摄像元件100上的重复图案110的位置，光电转换元件组捕捉的微小区域不同，且构成光电转换元件组的各像素经由相互不同的部分区域捕捉同一微小区域。而且，在各个重复图案110中，对应的像素之间接受来自相同部分区域的被拍摄体光束。也就是说，在图中，例如重复图案IlOtUlOu的每一个的左端的像素接受来自相同部分区域Pf的部分光束。
[0077]在排列于与拍摄光轴21正交的中心的重复图案IlOt中左端像素接受来自部分区域Pf的被拍摄体光束的开口部104f的位置、在排列于周边部分的重复图案IlOu中左端像素接受来自部分区域Pf的被拍摄体光束的开口部104f的位置准确地说是不同的。然而，从功能性观点来看，在用于接受来自部分区域Pf的被拍摄体光束的开口掩模这一点，能够将它们作为同一种类的开口掩模来处理。因此，在图4的例子中，可以说，排列在摄像元件100上的视差像素的每一个包括6种开口掩模之一。
[0078]接着，说明拍摄透镜20捕捉到存在于非对焦状态的被拍摄体31的情况下的视差像素与被拍摄体的关系。在该情况下，来自存在于非对焦位置的被拍摄体31的被拍摄体光束也通过拍摄透镜20的光瞳的6个部分区域Pa?Pf，并到达摄像元件100。但是，来自存在于非对焦位置的被拍摄体31的被拍摄体光束不在光电转换元件108上成像，而是在其他位置成像。例如，如图4的(c)所示，当被拍摄体31与被拍摄体30相比存在于更远离摄像元件100的位置时，被拍摄体光束在光电转换元件108的被拍摄体31 —侧成像。相反地，当被拍摄体31与被拍摄体30相比存在于更接近摄像元件100的位置时，被拍摄体光束在光电转换元件108的与被拍摄体31相反的一侧成像。
[0079]因此，从存在于非对焦位置的被拍摄体31中的微小区域0t’放射的被拍摄体光束根据通过6个部分区域Pa?Pf中的哪一个而到达不同组的重复图案110中的对应像素。例如，如图4的(c)的放大图所示，作为主光线Rd’，通过部分区域Pd的被拍摄体光束入射至重复图案110t’所包含的具有开口部104d的光电转换元件108。而且，即使是从微小区域0t’放射的被拍摄体光束，通过其他部分区域的被拍摄体光束不入射至重复图案110t’所包含的光电转换元件108，而入射其他重复图案中的具有对应的开口部的光电转换元件108。换句话说，到达构成重复图案110t’的各光电转换元件108的被拍摄体光束是从被拍摄体31的相互不同的微小区域放射的被拍摄体光束。即，向与开口部104d对应的光电转换元件108入射将主光线设为Rd’的被拍摄体光束，向与其他开口部对应的光电转换元件108入射将主光线设为Ra+、Rb+、Re+、Re+、Rf+的被拍摄体光束，这些被拍摄体光束是从被拍摄体31的相互不同的微小区域放射的被拍摄体光束。这种关系在图4的(b)中的排列于周边部分的重复图案IlOu中也相同。
[0080]于是，在以摄像元件100的整体来观察的情况下，例如由与开口部104a对应的光电转换元件108捕捉到的被拍摄体像A、由与开口部104d对应的光电转换元件108捕捉到的被拍摄体像D，若是存在于对焦位置的被拍摄体的像，则相互没有偏移，若上述被拍摄体像是存在于非对焦位置的被拍摄体的像，则所述被拍摄体像A和所述被拍摄体像D产生偏移。而且，该偏移根据存在于非对焦位置的被拍摄体相对于对焦位置向哪一侧偏移了多少，并根据部分区域Pa与部分区域Pd的距离，从而确定方向和量。也就是说，被拍摄体像A和被拍摄体像D相互成为视差像。由于该关系对于其他开口部也同样如此，所以与开口部104a至104f对应地形成6个视差像。
[0081]因此，在按这种方式构成的各个重复图案110中，当拼合相互对应的像素的输出时，能够得到视差图像。也就是说，接受了从6个部分区域Pa?Pf中的特定部分区域射出的被拍摄体光束的像素的输出形成视差图像。
[0082]图5是说明生成视差图像的处理的概念图。图中从左列开始依次表示:将与开口部104f对应的视差像素的输出集合而生成的视差图像数据Im_f的生成的情形、开口部104e的输出导致的视差图像数据Im_e的生成的情形、开口部104d的输出导致的视差图像数据Im_d的生成的情形、开口部104c的输出导致的视差图像数据Im_c的生成的情形、开口部104b的输出导致的视差图像数据Im_b的生成的情形、开口部104a的输出导致的视差图像数据Im_a的生成的情形。首先，说明开口部104f的输出导致的视差图像数据Im_f的生成的情形。
[0083]由将6个视差像素作为一组的光电转换元件组构成的重复图案110排列成横向一列。因此，在除去了无视差像素的假想摄像元件100上，具有开口部104f的视差像素以在左右方向上间隔6个像素且在上下方向上连续的方式存在。如上所述，这些各像素接受来自分别不同的微小区域的被拍摄体光束。因此，当将这些视差像素的输出拼合排列时，能够得到视差图像。
[0084]但是，由于本实施方式中的摄像元件100的各像素为正方形像素，如果仅仅简单地拼合的话，成为横向的像素数被间除成1/6，结果生成了纵长的图像数据。因此，通过实施插补处理而在横向上设为6倍的像素数，生成视差图像数据Im_f作为原本长径比的图像。但是，由于本来插补处理前的视差图像数据为在横向上被间除为1/6的图像，所以横向上的分辨率低于纵向的分辨率。也就是说，可以说，生成的视差图像数据的数量与分辨率的提高处于相反关系。此外，将在后面叙述应用于本实施方式的具体插补处理。
[0085]同样地，能够得到视差图像数据Im_e?视差图像数据Im_a。S卩，数码相机10能够生成在横向上具有视差的6视点视差图像。
[0086]如上所述，说明了如下例子:在具有6种相对于开口部的像素中心的偏移时，各个视差像素作为光瞳分割光学系统工作，并产生了 6个视点的视差像素。在这里，主要描述了各个视差像素将视点分别不同的被拍摄体像成像，并在不同种类的视差像素之间，产生视点不同的像之间的视差。
[0087]不仅存在视差像素导致的光瞳分割光学系统仅产生视差这一事实，还存在如下重要的事实:产生视差的是仅在相对于对焦位置偏移了的非对焦位置处的模糊的被拍摄体像，根据其非对焦度产生视差。在图17、图18中示出通常的无视差像素和双视差(左视差、右视差)的情况下其情形的说明图。通过一个光学系统的光对右视差像素来说是在光学系统的左侧成像具有假想光瞳那样的光学像，对左视差像素来说是在光学系统的右侧成像具有假想光瞳那样的光学像。因此，焦点位置处的被拍摄体像的点扩散函数尖锐地成像，不管通过哪个假想光瞳都同样地使具有尖锐的点扩散的、无视差的被拍摄体像成像。另一方面，在焦点位置的前后，模糊的被拍摄体位置处的点扩散函数随着远离焦点位置而示出模糊幅度大的展宽，并且成像的中心位置向左右逐渐分离而产生视差。将分离为两个的点扩散函数进行加法合成获得的一个点扩散函数，与成像为无视差像素的点扩散函数一致，其峰值位置位于根据假想光瞳分离为两个的光学像的点扩散函数的正中央。
[0088]着眼于仅在该模糊的像中存在视差，且模糊情况越大视差量越增大这一重要的事实，在本实施方式中，提出了用于同时取得高分辨率的2D图像和3D图像的颜色视差排列。
[0089]接着，说明彩色滤色器102与视差图像。图6是说明拜耳排列的图。如图所示，拜耳排列是如下排列:在G滤色器分配在左上(Gb)和右下(Gr)这两个像素的基础上，R滤色器分配在左下的一个像素上，B滤色器分配在右上的一个像素上。
[0090]针对这种彩色滤色器102的排列，根据将视差像素和无视差像素分配至何种颜色的像素、以怎样的周期来分配，可设定庞大数量的重复图案110。如果集合无视差像素的输出，则能够生成与通常的拍摄图像相同的没有视差的拍摄图像数据。因此，如果相对地增加无视差像素的比例，则能够输出分辨率高的2D图像。在该情况下，由于视差像素成为相对小的比例，作为由多个视差图像构成的3D图像，画质降低。相反地，如果增加视差像素的比例，作为3D图像，画质提高，但由于无视差像素相对地减少，所以输出了分辨率低的2D图像。如果对RGB的每一种像素均分配视差像素，则成为3D图像且颜色再现性良好的高质量彩色图像数据。
[0091]理想地，不管是2D图像还是3D图像，都期望输出高分辨率、高质量的彩色图像数据。此外，从使用图4、图17、图18说明的视差的产生原理也可以理解，在3D图像中观察者感觉到视差的图像区域是同一被拍摄体像相互偏移的非对焦区域。因此，可以说，相对于已实现对焦的主要被拍摄体，观察者感觉到视差的图像区域的高频成分少。于是，在生成3D图像时，在产生视差的区域中，只要存在高分辨率不那么高的图像数据就足够了。
[0092]针对已实现对焦的图像区域提取2D图像数据，并针对未实现对焦的图像区域提取3D图像数据，能够通过合成来生成各个视差图像数据。或者，以作为高分辨率数据的2D图像数据为基础，乘以3D图像数据的各像素中的相对的比，能够生成高分辨率的各个视差图像数据。如果以采用这种图像处理为前提，在摄像元件100中，视差像素的数量可以少于无视差像素的数量。换句话说，可以说，即使视差像素相对较少，也能够生成分辨率比较高的3D图像。
[0093]在该情况下，为了将3D图像生成作为彩色图像，可以排列相互不同的至少两种彩色滤色器，在本实施方式中，如使用图6说明的拜耳排列那样，为了进一步高画质化，采用RGB这3种彩色滤色器。特别是在视差像素的数量相对较少的本实施方式中，视差像素包含相对于各种开口部104设置了 RGB这3种彩色滤色器的任一种而成的全部组合。例如，但假设开口部104向中心的左侧偏心的视差Lt像素和相同地向右侧偏心的视差Rt像素时，视差Lt像素包含:包括R滤色器的像素、包括G滤色器的像素以及包括B滤色器的像素，视差Rt像素包含:包括R滤色器的像素、包括G滤色器的像素以及包括B滤色器的像素。SP，摄像元件100具有6种视差像素。从这种摄像元件100输出的图像数据成为实现所谓的立体观察的鲜明的彩色视差图像数据的基础。此外，在相对于两种开口部组合两种彩色滤色器的情况下，摄像元件100具有4种视差像素。
[0094]以下说明像素排列的变化。图7是说明第I实施例中的重复图案110的排列的图。第I实施例中的重复图案I1在作为Y轴方向的纵向上包含4个拜耳排列，在作为X轴方向的横向上包含4个拜耳排列，所述拜耳排列以4个像素为基本单位，所述重复图案110由64个像素构成。将由64个像素构成的像素组作为一组，在摄像元件100的有效像素区域中，在上下左右周期性地排列该重复图案110。S卩，摄像元件100将图中以粗线表示的重复图案110作为基本格子。此外，以Pu表示重复图案110内的像素。例如，左上像素为P11,右上像素为P81。
[0095]第I实施例中的视差像素具有开口部104向中心的左侧偏心的视差Lt像素和同样地向右侧偏心的视差Rt像素这两种开口掩模103中的任一种。如图所示，视差像素按以下方式排列。
[0096]P11…视差Lt像素+G滤色器(=G(Lt))
[0097]P51…视差Rt像素+G滤色器(=G(Rt))
[0098]P32…视差Lt像素+B滤色器(=B (Lt))
[0099]P63…视差Rt像素+R滤色器(=R(Rt))
[0100]P15…视差Rt像素+G滤色器(=G(Rt))
[0101]P55…视差Lt像素+G滤色器( = G(Lt))
[0102]P76…视差Rt像素+B滤色器(=B (Rt))
[0103]P27…视差Lt像素+R滤色器(=R(Lt))
[0104]其他像素为无视差像素，是无视差像素+R滤色器(=R(N))、无视差像素+G滤色器(=G(N))、无视差像素+B滤色器(=B(N))中的任一种。
[0105]这样，优选如下排列:在基本格子中包含由开口部与彩色滤色器的全部组合形成的视差像素，且在多于视差像素的无视差像素中配置成具有随机性。特别是在不对各彩色滤色器另外计数的情况下，也优选无视差像素比视差像素多。在第I实施例的情况下，相对于 G (N) = 28 个，G (Lt)+G (Rt) = 2+2 = 4 个，相对于 R(N) = 14 个，R(Lt)+R(Rt) = 2 个，相对于B(N) = 14个，B(Lt)+B(Rt) = 2个。另外，如上所述，考虑到人的视觉特性，与具有其他彩色滤色器的各种像素相比，排列较多具有G滤色器的视差像素和无视差像素。
[0106]换句话说，通过使视差像素也包括R、G、B全部彩色信息，能够捕捉更复杂且正确的立体用颜色分布结构。
[0107]不管是右视差像素，还是左视差像素，还是无视差像素，该RGB比率均与拜耳排列相同，采用R: G: B= I: 2: I的结构。进一步，使视差像素以稀疏的密度尽可能相互分离地分布，使得无视差像素能够尽可能保持通常的拜耳排列的空间分辨率。即，在某种颜色成分的相同的右视差像素彼此之间、相同的左视差像素彼此之间，等间隔地保持各向同性而排列，并且以使得某种颜色成分的右视差像素与左视差像素之间的距离最远离的方式等间隔地排列。而且，配置成忽视颜色成分的情况下的右视差像素彼此之间的距离、忽视颜色成分的情况下的左视差像素彼此之间的距离尽可能远离，从而均匀地取得视差信息。
[0108]此外，在实施例1中，无视差像素、左视差像素以及右视差像素的像素数比为N: Lt: Rt= 14:1: 1，无视差像素的空间分辨率保持为极接近拜耳排列的状态。进一步，通过最远离地配置视差像素，变得不用担心与无视差像素相邻而同时失去信息，并保持分辨包含乃奎斯特频率在内的高频率成分的性能。
[0109]图8是说明第I实施例中的视差像素的像素间隔的关系的图。在图中，排列示出9个(=3X3)图7所示的重复图案110。
[0110]如图所示，G (Lt)像素的X方向上的间隔、Y方向上的间隔均为以GLtp表示的等间隔。另外，关于成对的G(Rt)像素，其X方向上的间隔、Y方向上的间隔均为以GRtp表示的等间隔，且GRtp与GLtp相等。进一步地，在从G(Lt)像素的位置向X、Y的一个方向上前进了 GLtp的距离的位置存在G(Rt)像素。
[0111]同样地，R(Lt)像素的X方向上的间隔、Y方向上的间隔均为以RLtp表示的等间隔。另外，关于成对的R(Rt)像素，其X方向上的间隔、Y方向上的间隔均为以RRtp表示的等间隔，且RRtp与RLtp相等。进一步地，在从R(Lt)像素的位置向X、Y这两个方向上前进了 RLtp的一半的距离的位置存在R(Rt)像素。
[0112]进一步，B(Lt)像素的X方向上的间隔、Y方向上的间隔均为以BLtp表示的等间隔。另外，关于成对的B(Rt)像素，其X方向上的间隔、Y方向上的间隔均为以BRtp表示的等间隔，且BRtp与BLtp相等。进一步地，在从B (Lt)像素的位置向X、Y这两个方向上前进了 BLtp的一半的距离的位置存在B(Rt)像素。
[0113]即，按彩色滤色器的种类观察的情况下，按开口掩模的种类，被与其他开口掩模相对应的视差像素和无视差像素夹持，在二维方向上的每一个上也以等间隔配置。换句话说，在二维方向上，配置成各向同性且均匀。通过按这种方式配置视差像素，在输出视差图像时，在纵向与横向上分辨率无差异，且也能够减轻对2D图像的分辨率的不良影响。
[0114]在图19中汇总如此得到的颜色视差像素排列的情形，并且与该实际空间排列对应的频率空间中的分辨区域即分辨率也作为k空间图示出。波数k通过k = 2 π f的关系与频率f关联。当将实际空间的格子间距设为a时，表示该倒格子空间的是k空间，分辨率由倒格子空间的第I布里渊区表示(例如参照与本 申请人:相同发明人的US2010/021853或日本专利第4239483号)。
[0115]参见图，拍摄阶段中的稀疏的左视差像素与稀疏的右视差像素的分辨能力比密集的无视差像素低。相应地，密集的无视差像素具有比得上拜耳排列的分辨能力。
[0116]因此，如后所述，暂时插补无视差像素而生成2D彩色图像R (N)、G (N)、B (N)，并进一步预先生成稀疏的左视差图像R(Lt)、G(Lt)、B(Lt)和稀疏的右视差图像R(Rt)、G(Rt)、B(Rt)。于是，之后中途利用无视差图像，并能够通过按以下方式用稀疏的视差图像来施加视差调制而最终地得到密集的左视差图像R’(Lt)、G’(Lt)、B’ (Lt)和密集的右视差图像R’ (Rt)、G’ (Rt)、B’ (Rt)。
[0118]_Ci觀
[0119]Jtil)- M(M)J JΙ—ζΜ--
I Jffil I # ΛI ?I J f v\iJ I +\ } + MiiMf I
【权利要求】
1.一种摄像元件，将由无视差像素和至少4种视差像素构成、且所述无视差像素比所述视差像素多的像素组作为基本格子， 所述至少4种视差像素中，使第I开口掩模和第2开口掩模的任一个、和使相互不同的波段通过的第I彩色滤色器和第2彩色滤色器的任一个与光电转换元件相对应，所述第I开口掩模和第2开口掩模分别具有被定位成相对于入射光束使相互不同的部分光束通过的开口， 所述无视差像素不受所述开口限制地将所述入射光束引导向所述光电转换元件。
2.根据权利要求1所述的摄像元件，其中， 所述无视差像素也与包含所述第I彩色滤色器和所述第2彩色滤色器的彩色滤色器组中的任一个彩色滤色器相对应。
3.根据权利要求2所述的摄像元件，其中， 在所述像素组中，与所述第I彩色滤色器相对应的所述无视差像素比与所述第I彩色滤色器相对应的所述视差像素多，与所述第2彩色滤色器相对应的所述无视差像素比与所述第2彩色滤色器相对应的所述视差像素多。
4.权利要求1至3中任一项所述的摄像元件，其中， 所述像素组包括进一步追加了两种视差像素而成的至少6种视差像素，所述两种视差像素中，所述第I开口掩模和所述第2开口掩模中的任一个以及第3彩色滤色器与所述光电转换元件相对应，所述第3彩色滤色器使与通过所述第I彩色滤色器和所述第2彩色滤色器的波段不同的波段通过。
5.根据权利要求4所述的摄像元件，其中， 在所述像素组中，在所述第I彩色滤色器、所述第2彩色滤色器以及所述第3彩色滤色器分别为R滤色器、G滤色器以及B滤色器的情况下，与所述G滤色器相对应的所述视差像素和所述无视差像素分别比与所述R滤色器和所述B滤色器中的任一个相对应的所述视差像素和所述无视差像素的每一个多。
6.根据权利要求4或5所述的摄像元件，其中， 在所述像素组中以将具有所述第I开口掩模的视差像素的所述第I彩色滤色器、所述第2彩色滤色器以及所述第3彩色滤色器的分配比率、具有所述第2开口掩模的视差像素的所述第I彩色滤色器、所述第2彩色滤色器以及所述第3彩色滤色器的分配比率、所述无视差像素的所述第I彩色滤色器、所述第2彩色滤色器以及所述第3彩色滤色器的分配比率设定为相同的方式配置。
7.一种摄像装置，包括: 权利要求1至6中任一项所述的摄像元件；以及 图像处理部，根据所述摄像元件的输出生成相互具有视差的多个视差图像数据和无视差的2D图像数据。
8.一种摄像兀件， 由光电转换元件构成的像素在χ-y平面上周期性地配置，所述光电转换元件将入射光光电转换成电信号， 与所述像素的每一个一对一对应地设置基准方向以及与基准方向不同的第I视差方向、第2视差方向上的至少3种开口掩模， 所述摄像元件由像素排列构成，所述像素排列以如下像素密度周期性地配置而成:包括所述第I视差方向的开口掩模的像素的密度、包括所述第2视差方向的开口掩模的像素的密度中的每一个低于包括所述基准方向的开口掩模的像素的密度。
9.根据权利要求8所述的摄像元件，其中， 与所述像素的每一个一对一对应地设置由两种以上的颜色成分构成的彩色滤色器，针对配置有至少一种颜色成分的彩色滤色器的像素，配置有包括所述基准方向的开口掩模的像素、包括所述第I视差方向的开口掩模的像素以及包括所述第2视差方向的开口掩模的像素的每一个时， 所述摄像元件由如下的像素排列构成，在配置有所述一种颜色成分的彩色滤色器的像素之间，所述像素排列按满足以下关系的方式配置像素:成为以下像素密度，包括所述第I视差方向的开口掩模的像素的密度、和包括所述第2视差方向的开口掩模的像素的密度的每一个低于包括所述基准方向的开口掩模的像素的密度。
10.根据权利要求9所述的摄像元件，其特征在于， 按如下方式配置像素:成为以下密度，包括所述第I视差方向的开口掩模的像素的密度、和包括所述第2视差方向的开口掩模的像素的密度的每一个成为包括所述基准方向的开口掩模的像素的密度的一半以下。
11.根据权利要求9所述的摄像元件，其特征在于， 针对所述两种以上的颜色成分的彩色滤色器的每一种分配包括所述基准方向的开口掩模的像素、包括所述第I视差方向的开口掩模的像素以及包括所述第2视差方向的开口掩模的像素的每一种。
12.根据权利要求11所述的摄像元件，其特征在于， 在所述两种以上的颜色成分由R、G、B这三种颜色成分构成时， 针对包括所述第I视差方向的开口掩模的像素和包括所述第2视差方向的开口掩模的像素的每一种，将G成分的密度配置成比R、B成分的密度高。
13.根据权利要求8所述的摄像元件，其特征在于， 在所述摄像元件的全部像素由具有相同光谱灵敏度特性的单色像素构成时， 按如下方式配置像素:成为以下密度，包括所述第I视差方向的开口掩模的像素的密度、和包括所述第2视差方向的开口掩模的像素的密度的每一个，成为包括所述基准方向的开口掩模的像素的密度的1/8以下。
14.权利要求8至13中任一项所述的摄像元件，其中， 所述摄像元件由如下的像素排列构成，将包括所述第I视差方向的开口掩模的像素在X方向和Y方向这两个方向上等间隔地排列并各向同性地配置，并且将包括所述第2视差方向的开口掩模的像素在X方向和Y方向这两个方向上等间隔地排列并各向同性地配置。
15.根据权利要求8所述的摄像系统，其中， 还包括图像生成装置，所述图像生成装置使用由所述摄像元件摄像得到的基准方向的像素信号、第I视差方向的像素信号以及第2视差方向的像素信号的每一个，分别生成第I视差方向的图像和第2视差方向的图像，所述第I视差方向的图像和第2视差方向的图像由与摄像元件所具有的像素数相同的像素数构成。
16.—种摄像元件,包含: 视差像素，使具有多种开口的开口掩模的任一种与光电转换元件相对应，所述开口被定位成相对于入射光束使相互不同的部分光束通过；以及 所述无视差像素，其不受所述开口限制地将所述入射光束引导向所述光电转换元件。 所述视差像素按所对应的所述开口掩模的种类由所述无视差像素和与其他所述开口掩模相对应的所述视差像素夹持，在二维方向的任意方向上都以等间隔配置，并且与不同种类的所述开口掩模相对应的所述视差像素彼此之间的距离配置成相互最远离。
17.根据权利要求16所述的摄像元件，其中， 所述视差像素和所述无视差像素与使相互不同的波段通过的多种彩色滤色器的任一种相对应， 所述视差像素按所对应的所述彩色滤色器的种类，在所述二维方向的任意方向上都以等间隔配置，并且按所述彩色滤色器的种类与不同种类的所述开口掩模相对应的所述视差像素彼此之间的距离配置成相互最远离。
18.根据权利要求16或17所述的摄像元件， 所述视差像素按所对应的所述开口掩模的种类，相对于所述二维方向的行方向和列方向的任意方向均偏移地配置所述视差像素。
19.一种摄像装置，包括: 权利要求16至18中任一项所述的摄像元件；以及 图像处理部，根据所述摄像元件的输出生成相互具有视差的多个视差图像数据和无视差的2D图像数据。
20.一种摄像兀件， 由光电转换元件构成的像素在χ-y平面上周期性地配置，所述光电转换元件将入射光光电转换成电信号， 与所述像素的每一个一对一对应地设置基准方向以及与基准方向不同的第I视差方向、第2视差方向上的至少3种开口掩模， 所述摄像元件由如下的像素排列构成，将包括所述第I视差方向的开口掩模的像素在X方向和Y方向这两个方向上等间隔地排列并各向同性地配置，并且将包括所述第2视差方向的开口掩模的像素在X方向和Y方向这两个方向上等间隔地排列并各向同性地配置。
21.根据权利要求20所述的摄像元件，其中， 与所述像素的每一个一对一对应地设置由两种以上的颜色成分构成的彩色滤色器，针对配置有至少一种颜色成分的彩色滤色器的像素，分别配置有包括所述基准方向的开口掩模的像素、包括所述第I视差方向的开口掩模的像素以及包括所述第2视差方向的开口掩模的像素的每一个时， 所述摄像元件由如下的像素排列构成，在配置有所述一种颜色成分的彩色滤色器的像素之间，将包括所述第I视差方向的开口掩模的像素在X方向和Y方向这两个方向上等间隔地排列并各向同性地配置，并且将包括所述第2视差方向的开口掩模的像素在X方向和Y方向这两个方向上等间隔地排列并各向同性地配置。
22.根据权利要求21所述的摄像元件，其特征在于， 针对所述两种以上的颜色成分的彩色滤色器的每一种分配包括所述基准方向的开口掩模的像素、包括所述第I视差方向的开口掩模的像素以及包括所述第2视差方向的开口掩模的像素的每一种。
23.根据权利要求20或22所述的摄像元件，其特征在于， 在所述周期性地配置而成的基本格子的像素中，将包括所述第I视差方向的开口掩模的像素配置成位于不同的行和列。
24.根据权利要求8至14、20至23中的任一项所述的摄像元件， 在读出所述像素排列中的全部像素的情况、和将在所述像素排列中所述X方向上的多个所述像素的像素值相加并且间除所述Y方向上的多个行而读出的情况下，包括所述基准方向的开口掩模的像素、包括所述第I视差方向的开口掩模的像素以及包括所述第2视差方向的开口掩模的像素的密度比变得相同。
25.根据权利要求24所述的摄像元件，其中， 包括所述基准方向的开口掩模的像素、包括所述第I视差方向的开口掩模的像素以及包括所述第2视差方向的开口掩模的像素的密度比为6:1:1。
【文档编号】H04N9/07GK104185983SQ201380014390
【公开日】2014年12月3日 申请日期:2013年3月15日 优先权日:2012年3月16日
【发明者】石贺健一, 芝崎清茂, 浜岛宗树, 森晋 申请人:株式会社尼康