摄像元件的制作方法
【专利摘要】由暗角造成通过光瞳周围部的光束无法到达摄像元件周围部的问题。此处提供一种摄像元件，二维且周期性排列有以将入射光光电转换为电信号的多个光电转换元件为一组的光电转换元件组；与构成光电转换元件组的多个光电转换元件的每一个对应设置的开口掩模的开口被定位为，使来自于入射光的截面区域中包含的互不相同的部分区域的光束通过；关于构成光电转换元件组的多个光电转换元件的数量，相对于所排列光电转换元件组的整体而言，排列于周围部的光电转换元件组比排列于中心部的光电转换元件组更少。
【专利说明】摄像元件
【技术领域】
[0001 ] 本发明涉及一种摄像元件。
【背景技术】
[0002]已知的立体摄像装置使用两个摄影光学系统拍摄由右眼用图像和左眼用图像构成的立体图像。这种立体摄像装置通过以一定间隔设置两个摄像光学系统，在对同一被拍对象进行拍摄而得到的两个图像上产生视差。
[0003]专利文献1:日本特开平8-47001号公报
【发明内容】
[0004]发明要解决的问题:
[0005]当通过各自独立的摄像系统来取得多个视差图像时，有可能在事实上忽略暗角(Vignetting)的影响。然而，在从一个摄像系统通过一次曝光动作输出用于生成多个视差图像的图像信号的摄像元件的情形下，会存在由暗角造成通过光瞳周围部的光束无法到达摄像元件周围部的问题。
[0006]解决问题的方案:
[0007]本发明具体方式中的摄像元件二维且周期性排列有以将入射光光电转换为电信号的多个光电转换元件为一组的光电转换元件组；与构成光电转换元件组的多个光电转换元件的每一个对应设置的开口掩模的开口被定位为，使来自于入射光的截面区域中包含的互不相同的部分区域的光束通过；关于构成光电转换元件组的多个光电转换元件的数量，相对于所排列光电转换元件组的整体而言，排列于周围部的光电转换元件组比排列于中心部的光电转换元件组更少。
[0008]另外，上述
【发明内容】
并未列举出本发明的全部可能特征，所述特征组的子组合也有可能构成发明。
【专利附图】
【附图说明】
[0009]图1为本发明实施形态所述数码相机的结构说明图。
[0010]图2为显示本发明实施形态所述摄像元件的截面示意图。
[0011]图3为将摄像元件的一部分放大显示后的样子的示意图。
[0012]图4为说明位于摄像元件中心部的视差像素与被拍对象的关系的示意图。
[0013]图5为说明位于摄像元件周围部的视差像素与被拍对象的关系的示意图。
[0014]图6为说明位于摄像元件各区域的重复图案的图。
[0015]图7为说明生成视差图像的处理的示意图。
[0016]图8为表不重复图案的另一例的图。
[0017]图9为表示重复图案的又一例的图。
[0018]图10为说明位于输出垂直视差图像的摄像元件的各区域的重复图案的图。[0019]图11为说明彩色滤光片阵列的图。
[0020]图12为表示彩色滤光片阵列与视差像素的关系的图。
[0021]图13为表示视差图像与2D图像的生成过程的示意图。
【具体实施方式】
[0022]以下通过发明实施方式对本发明进行说明，但以下实施方式并非对权利要求书所涉及的发明进行限定。并且，实施方式中说明的特征组合也并非全部为本发明的必要特征。
[0023]本实施形态所述数码相机作为一种摄像装置形态，通过对一个场景进行一次拍摄便能生成多个视点数的图像。将视点各不相同的各个图像称为视差图像。
[0024]图1为本发明实施形态所述数码相机10的结构说明图。数码相机10包括作为摄影光学系统的摄影透镜20，将沿光轴21入射的被拍对象光束引导至摄像元件100。摄影透镜20也可以是相对于数码相机10可装卸的交换式镜头。数码相机10包括:摄像元件100、控制部201、A/D转换电路202、存储器203、驱动部204、存储卡接口(IF，InterFace) 207、操作部208、显示部209及IXD驱动电路210。
[0025]另外，如图所示，将朝向摄像元件100的、与光轴21相平行的方向定为+Z轴方向，将在与Z轴相垂直的平面中朝向纸面前方的方向定为+X轴方向，将纸面上方向定为+Y轴方向。与摄影中的构图的关系为，X轴为水平方向、Y轴为垂直方向。在此后的几个图中，以图1的座标轴为基准来显示座标轴，以表明各图的朝向。
[0026]摄影透镜20由多个光学透镜组构成，使来自于场景的被拍对象光束在其焦点面附近成像。另外，在图1中，为了便于说明摄影透镜20，以设置在光瞳附近的一个假想透镜为代表进行表示。摄像元件100设置于摄影透镜20的焦点面附近。摄像元件100为二维地排列有多个光电转换元件的例如CCD (电荷藕合器件，Charge Coupled Device)、CM0S (互补金属氧化物半导体，Complementary Metal Oxide Semiconductor)传感器等图像传感器。摄像元件100由驱动部204进行定时控制，将受光面上成像的被拍对象像转换成图像信号并输出给Α/D转换电路202。
[0027]Α/D转换电路202将由摄像元件100输出的图像信号转换成数字图像信号并输出给存储器203。作为控制部201的一部分的图像处理部205将存储器203作为工作空间来进行各种图像处理，生成图像数据。例如当生成JPEG(联合图像专家组,Joint PhotographicExperts Group)文件格式的图像数据时，在施加白平衡处理、灰度处理等处理后执行压缩处理。生成的图像数据由IXD驱动电路210转换成显示信号，由显示部209进行显示。并且记录在装设于存储卡IF207上的存储卡220中。
[0028]操作部208收到用户的操作后向控制部201输出操作信号，从而开始一连串的摄影过程。摄影过程所附带的AF (自动调焦，Auto Focus)、AE (自动曝光,Auto Exposure)等各种动作对应于运算部206的运算结果执行。
[0029]数码相机10除了通常的摄影模式以外还具有视差图像摄影模式。用户能够通过在观看显示有菜单画面的显示部的同时对操作部208进行操作，来选择这些模式中任意一种。
[0030]以下，对摄像元件100的结构进行详细说明。图2为表示本实施方式所述摄像元件的截面示意图。图2(a)为彩色滤光片102与开口掩模103分体构成的摄像元件100的截面示意图。并且，图2(b)为作为摄像元件100的变形例，具有彩色滤光片部122与开口掩模部123 —体构成的屏幕滤波器121的摄像元件120的截面示意图。
[0031]如图2(a)所示，从被拍对象侧开始依次排列有微型透镜101、彩色滤光片102、开口掩模103、布线层105及光电转换元件108，从而构成摄像元件100。光电转换元件108由将入射的光转换成电信号的光电二极管构成。多个光电转换元件108在基板109的表面上二维排列。
[0032]由光电转换元件108转换的图像信号以及控制光电转换元件108的控制信号等通过布线层105上设置的布线106进行收发。而且,具有与各个光电转换兀件108 对应设置的开口部104的开口掩模103与布线层相接触。如后所述，使开口部104相对于各个相应的光电转换元件108偏移，并严格地确定了相对位置。通过具有该开口部104的开口掩模103的作用，在光电转换元件108受光的被拍对象光束上产生视差，详细内容将在后续内容进行说明。
[0033]另一方面，在不产生视差的光电转换元件108上不存在开口掩模103。换言之，设置的开口掩模103所具有的开口部104并不限制向相应的光电转换元件108入射的被拍对象光束，而是使全部有效光束均穿过。虽然没有产生视差，但由于通过布线106所形成的开口 107实质上规定了入射的被拍对象光束，因此可以将布线106看做是使不产生视差的全部有效光束穿过的开口掩模。开口掩模103可以分别对应于各个光电转换元件108独立排列，也可以与彩色滤光片102的制造过程相同，对应于多个光电转换元件108统一形成。
[0034]彩色滤光片102设置于开口掩模103上。彩色滤光片102是分别与各个光电转换元件108 —一对应设置、通过对各个光电转换元件108进行着色而使特定波段透过的滤光片。要输出彩色图像，只要排列彼此各异的至少三种彩色滤光片即可。这些彩色滤光片可以认为是用于生成彩色图像的原色滤光片。原色滤光片的组合例如为:使红色波段透过的红色滤光片、使绿色波段透过的绿色滤光片、以及使蓝色波段透过的蓝色滤光片。这些彩色滤光片如后所述对应于光电转换元件108排列成网格状。彩色滤光片不仅为原色RGB的组合，也可以为YeCyMg的补色滤光片的组合。
[0035]微型透镜101设置于彩色滤光片102上。微型透镜101是用于将入射的被拍对象光束更多地引导至光电转换元件108的聚光透镜。微型透镜101分别与光电转换元件108一一对应设置。优选是微型透镜101考虑摄影透镜20的光瞳中心与光电转换元件108的相对位置关系来移动其光轴，以使更多的被拍对象光束被引导至光电转换元件108。进一步地，可以与开口掩模103的开口部104的位置共同调整设置位置，以使后述特定的被拍对象光束更多地入射。
[0036]如此，将与各个光电转换元件108——对应设置的开口掩模103、彩色滤光片102及微型透镜101的一个单位称为像素。具体地，将设置有产生视差的开口掩模103的像素称为视差像素，将没有设置产生视差的开口掩模103的像素称为无视差像素。例如，当摄像元件100的有效像素区域为24_X16mm左右时，像素数达到1200万个左右。
[0037]另外，在聚光效率、光电转换效率优良的图像传感器的情形中，也可以不设置微型透镜101。而且，在背面照射型图像传感器的情形中，布线层105设置于光电转换元件108的相对侧。
[0038]在彩色滤光片102与开口掩模103的组合中存在各种变化。在图2(a)中，如果使开口掩模103的开口部104具有色彩成分，则可以将彩色滤光片102与开口掩模103 —体形成。而且，在将特定像素作为取得被拍对象亮度信息的像素时，也可以不在该像素中设置相应的彩色滤光片102。或者也可以排列未施加着色的透明滤光片，以便使可见光的几乎整个波段均透过。
[0039]以将取得亮度信息的像素作为视差像素时,也就是说,一旦将视差图像作为单色图像输出，便有可能采用图2(b)所示的摄像元件120的结构。即，可以在微型透镜101与布线层105之间设置由发挥彩色滤光片功能的彩色滤光片部122与具有开口部104的开口掩模部123 —体构成的屏幕滤光片121。
[0040]例如将彩色滤光片部122着色成蓝色、绿色、红色，将开口掩模部123除开口部104以外的掩模部分着色成黑色，从而形成屏幕滤光片121。采用屏幕滤光片121的摄像元件120与摄像元件100相比，由于从微型透镜101到光电转换元件108的距离较短，因此被拍对象光束的聚光效率较高。
[0041]以下对开口掩模103的开口部104与生成视差的关系进行说明。图3为表示将摄像元件100的中央部附近的一部分放大的样子的示意图。此处，为简化说明，暂未考虑彩色滤光片102的配色，将在后述内容再提及。当不具备彩色滤光片102时，摄像元件100可以作为单色图像传感器生成单色视差图像。另外，在未提及彩色滤光片102的配色的以下说明中，可以认为是仅集成了具有同色的彩色滤光片102的视差像素的图像传感器。因此，以下所说明的重复图案也可以被认为是同色的彩色滤光片102中的相邻像素。
[0042]如图3所示，开口掩模103的开口部104相对于各个像素相对偏移设置。而且，在相邻像素的彼此之间，各个开口部104设置于彼此错位的位置。
[0043]在图中的例子中，根据开口部104相对于各个像素的位置的不同，预先准备有沿X轴彼此偏移的六种开口掩模103。而且，在整个摄像元件100中二维地且周期性地排列有光电转换元件组，该光电转换元件组以分别具有从-X侧往+X侧逐渐偏移的开口部104的六个视差像素为一组。即，可以说摄像元件100是包含一组光电转换元件组的重复图案110周期性且连续地铺设而构成。另外，在图中的例子中，虽然使开口部104的形状为纵长的长方形，但不限于此。只要是相对于像素中心偏移并能朝向光瞳上特定部分区域的开口，便可以采用各种形状。
[0044]图4为说明摄像元件100中心部的视差像素与被拍对象的关系的示意图。尤其是，图4(a)示意性地表示当摄像元件100中排列在与摄影光轴21相垂直的中心的重复图案IlOt的光电转换元件组捕捉位于相对于摄影透镜20聚焦位置的被拍对象30时的样子。图4(b)对应于图4(a)示意性地表示捕捉相对于摄影透镜20位于非聚焦位置的被拍对象31时的关系。
[0045]首先说明当摄像元件100捕捉处于聚焦状态的被拍对象30时的视差像素与被拍对象的关系。被拍对象光束通过摄影透镜20的光瞳被引导向摄像元件100，对被拍对象光束所通过的整个截面区域规定了六个部分区域Pa?Pf。而且，从放大图可以看到，例如构成重复图案IlOt的光电转换元件组的-X侧端的像素中确定开口掩模103的开口部104f的位置，使得仅有从部分区域Pf射出的被拍对象光束到达光电转换元件108。同样地，朝向+X侧端的像素中分别确定:开口部104e对应于部分区域Pe的位置、开口部104d对应于部分区域Pd的位置、开口部104c对应于部分区域Pc的位置、开口部104b对应于部分区域Pb的位置、开口部104a对应于部分区域Pa的位置。
[0046]换言之，例如也可以说根据由部分区域Pf与-X侧端的像素的相对位置关系所定义的从部分区域Pf射出的被拍对象光束的主光线Rf的斜率来确定开口部104f的位置。而且，当来自于位于聚焦位置的被拍对象30的被拍对象光束经过开口部104f而被光电转换元件108接收时，该被拍对象光束如虚线所示在光电转换元件108上成像。同样地，可以说朝向+X侧端的像素分别根据主光线Re的斜率来确定开口部104e的位置、根据主光线Rd的斜率来确定开口部104d的位置、根据主光线Re的斜率来确定开口部104c的位置、根据主光线Rb的斜率来确定开口部104b的位置、根据主光线Ra的斜率确定开口部104a的位置。
[0047]如图4(a)所示，在位于聚焦位置的被拍对象30中，从与光轴21相交叉的被拍对象30上的微小区域Ot放射的光束穿过摄影透镜20的光瞳到达构成重复图案IlOt的光电转换元件组的各个像素。即，构成重复图案IlOt的光电转换元件组的各个像素分别透过六个部分区域Pa?Pf接收到从一个微小区域Ot放射的光束。微小区域Ot具有与构成重复图案IlOt的光电转换元件组的各个像素的错位相对应程度的扩散，但也可以实质上近似于大致同一物点。
[0048]以下说明由摄影透镜20捕捉处于非聚焦状态的被拍对象31时的、视差像素与被拍对象的关系。在此情形中，来自于位于非聚焦位置的被拍对象31的被拍对象光束也透过摄影透镜20的光瞳的六个部分区域Pa?Pf到达摄像元件100。然而，来自于处于非聚焦位置的被拍对象31的被拍对象光束并不在光电转换元件108上成像，而是在其他位置成像。例如，如图4(b)所示，当被拍对象31位于比被拍对象30更加远离摄像元件100的位置时，被拍对象光束与光电转换元件108相比在更靠近被拍对象31侧成像。相反，当被拍对象31位于比被拍对象30更接近摄像元件100的位置时，被拍对象光束与光电转换元件108相比在被拍对象31的相对侧成像。
[0049]因此，在位于非聚焦位置的被拍对象31中，从微小区域0t’放射的被拍对象光束，根据透过六个部分区域Pa?Pf中的哪一个部分区域，而到达不同组的重复图案110中的相应像素。例如，如图4(b)的放大图所示，透过部分区域Pd的被拍对象光束作为主光线Rd’入射到重复图案110t’中包含的具有开口部104d的光电转换元件108。而且，即使是从微小区域0t’放射的被拍对象光束，透过其他部分区域的被拍对象光束也不会入射到重复图案110t’中包含的光电转换元件108，而是入射到另一重复图案中具有相应开口部的光电转换元件108。换言之，到达构成重复图案110t’的各光电转换元件108的被拍对象光束是从被拍对象31中互不相同的微小区域放射的被拍对象光束。也就是说，以Rd’为主光线的被拍对象光束入射到与开口部104d对应的108，以Ra+、Rb+、Re+、Re+、Rf+为主光线的被拍对象光束入射到与其他开口部对应的光电转换元件108，这些被拍对象光束都是从被拍对象31中互不相同的微小区域放射的被拍对象光束。
[0050]图5为说明摄像元件100的周围部中的视差像素与被拍对象的关系的示意图。与图4(a)相同，图5中的被拍对象30相对于摄影透镜20位于聚焦位置。此处，如果认为没有后述暗角的影响，从位于聚焦位置的被拍对象30中的、离开光轴21的被拍对象30上的微小区域Ou放射的光束通过摄影透镜20的光瞳到达构成重复图案110U的光电转换元件组的各像素。S卩，构成重复图案110U的光电转换元件组的各像素接收从一个微小区域Ou放射出并经过各个六个部分区域Pa?Pf的光束。微小区域Ou也与微小区域Ot相同，具有与构成重复图案IlOu的光电转换元件组的各个像素的错位相对应程度的扩散，但也可以实质上近似于大致同一物点。
[0051]也就是说，只要被拍对象30位于聚焦位置，对应于摄像元件100上的重复图案110的位置，光电转换元件组所捕捉到的微小区域各不相同，且构成光电转换元件组的各像素透过彼此不同的部分区域捕捉同一微小区域。而且，在各个重复图案110中，相应像素彼此之间接收来自于同一部分区域的被拍对象光束。例如，重复图案IlOtUlOU的各个-X侧端的像素(具有开口部104f的视差像素)接收来自相同部分区域Pf的被拍对象光束。
[0052]在排列于与摄影光轴21相垂直的中心的重复图案IlOt中-X侧端的像素接收来自于部分区域Pf的被拍对象光束的开口部104f的位置与排列于周围部分的重复图案IlOu中-X侧端的像素接收来自于部分区域Pf的被拍对象光束的开口部104f的位置严格不同。然而，从功能的观点来看，在用于接收来自于部分区域Pf的被拍对象光束的开口掩模这点上，可以将它们作为同种开口掩模进行处理。因此可以说重复图案IlOt及IlOU中的各个视差像素具有6种开口掩模中的一种。
[0053]当把摄像元件100作为一个整体时，例如，由与开口部104a对应的光电转换元件108捕捉到的被拍对象像A和由与开口部104d对应的光电转换元件108捕捉到的被拍对象像D，如果是针对位于聚焦位置的被拍对象的像，就不会彼此错位，而如果是针对位于非聚焦位置的被拍对象的像，则会产生错位。而且，该错位根据位于非聚焦位置的被拍对象相对于聚焦位置朝哪一侧以何种程度错位，或者根据部分区域Pa与部分区域Pd的距离来确定方向和量。也就是说，被拍对象像A与被拍对象像D彼此成为视差像。该关系对于其他开口部也是相同的，因此对应于开口部104a?104f形成六个视差像。
[0054]因此，在如此构成的各个重复图案110中，汇集彼此对应的像素的输出便得到视差图像。也就是说，接收到从六个部分区域Pa?Pf中的特定部分区域射出的被拍对象光束的像素所进行的输出形成了视差图像。
[0055]另外，当在摄影透镜20的光瞳上设定的特定部分区域位于远离摄影透镜20的光轴的位置时，原本会到达摄像元件100的周围部的一部分光束被支撑摄影透镜20的镜筒框等阻断。也就是说，在光瞳周围区域设定的部分区域受到了所谓暗角的影响。在图5中，当微小区域Ou位于X轴负侧时，在网点所示的光瞳周围区域V中，从微小区域Ou放射的被拍对象光束被暗角阻断。
[0056]因此，本来要经过包含在周围区域V中的部分区域Pa的以主光线为Ra的被拍对象光束实际未到达具有开口部104a的视差像素。这种关系与图中微小区域Ou位于相对于光轴21对称位置的情形相同。即，当微小区域Ou位于X轴正侧时，周围区域V包含部分区域Pf。这样一来，原本应当经过部分区域Pf的以主光线为Rf的被拍对象光束未到达位于作为摄像元件100的X轴负侧的周围部的具有开口部104f的视差像素。
[0057]也就是说，从景深的周围部入射到摄影透镜20的光束未到达在摄像元件100的周围部具有开口部104a或开口部104f的视差像素。因此，在本实施形态中，如图所示，使摄像元件100的周围部的重复图案110成为由分别具有开口部104b?104e的视差像素构成的重复图案110u。换言之，相对于在中央部以六个视差像素为一组的重复图案110t，采用在周围部以除两端的视差像素以外的四个视差像素为一组的重复图案110u。这样一来，如图5的下图所示，在摄像元件100的周围部中，重复图案IlOu呈周期性排列。
[0058]受到多大程度的暗角影响依赖于在摄影透镜20的光瞳中设定的部分区域的位置以及具有使来自于该部分区域的光束通过的开口部的视差像素相对于摄像元件100所在的位置等。具体地，在摄像元件100中，离中心部越远，成为暗角阴影的区域就越大，因此，视差像素越靠近周围部，被拍对象光束就越不会到达开口部偏移量小的视差像素。
[0059]因此，在本实施形态的摄像元件100中，将构成排列于周围部的重复图案110的视差像素数设定为少于构成排列于中心部的重复图案110的视差像素数。即，越靠近摄像元件100的中心部排列的重复图案110会包含朝向设定于光瞳周围区域的部分区域的、开口部104的偏移量大的视差像素，越靠近周围部排列的重复图案110仅包含朝向设定于光瞳中心附近的部分区域的、开口部104的偏移量小的视差像素。由于排列于中心部的重复图案110也包含朝向设定于光瞳中心附近的部分区域的开口部104的偏移量小的视差像素，因此，该视差像素数比周围部更多。例如，如果排列于中心部区域的重复图案110所包含的视差像素数为六个，则在与中心部区域相邻的周围部区域逐渐减为4个，进一步地在与外侧相邻的周围部区域逐渐减为2个。另外，此时，将摄像元件100的中心部区域和周围部区域相结合的方向与开口掩模103的开口部104的偏移方向(图中为X轴方向)相平行。即，摄像元件100在与开口部104的偏移方向相垂直的方向上被划分成多个区域。以下借助附图进行具体说明。
[0060]图6为说明本实施形态所述摄像元件100的各区域中的重复图案110的图。如图所示，摄像元件100中包含中心部的纵条纹状区域A中，由分别具有开口部104a?104f的六个视差像素构成的重复图案IlOt周期性且连续性排列。
[0061]而且，在与区域A的两侧分别相邻的纵条纹状的两个区域B中，由分别具有开口部104b?104e的四个视差像素构成的重复图案IlOu周期性且连续性排列。进一步地，相对于区域B与周围部侧分别相邻的纵条纹状的两个区域C中，由分别具有开口部104c及104d的两个视差像素构成的重复图案IlOv周期性且连续性排列。
[0062]作为整体进行比较时，与排列于周围部的重复图案IlOu的开口部104相比，排列于中心部的重复图案IlOt中的开口部104使来自于设定在光瞳中更宽的区域中的部分区域的光束通过。进一步地，与排列于更靠近周围部的重复图案IlOv的开口部104相比，重复图案IlOu的开口部104使来自于设定在光瞳中更宽的区域中的部分区域的光束通过。
[0063]图7为说明生成视差图像的处理的示意图。图中从纸面左列开始依次表示:对开口部104f对应的视差像素的输出进行汇集而生成的视差图像数据Im_f的生成样子、由开口部104e的输出形成的视差图像数据Im_e的生成样子、由开口部104d的输出形成的视差图像数据Im_d的生成样子、由开口部104c的输出形成的视差图像数据Im_c的生成样子、由开口部104b的输出形成的视差图像数据Im_b的生成样子、由开口部104a的输出形成的视差图像数据Im_a的生成样子。
[0064]首先，对开口部104f的输出形成的视差图像数据Im_f的生成样子进行说明。排列有包含开口部104f对应的视差像素的重复图案IlOt的是区域A。排列于区域B、C的重复图案110u、110v不包含开口部104f对应的视差像素。
[0065]由以六个视差像素为一组的光电转换元件组构成的重复图案IlOt在区域A中排列于X轴方向。因此，具有开口部104f的视差像素在摄像元件100的区域A上沿X轴方向每隔六个像素且沿Y轴方向连续存在。如上所述，各个这些像素接收来自于各个不相同微小区域的被拍对象光束。对这些视差像素的输出进行汇集并排列便得到区域A对应的视差图像。
[0066]然而，由于本实施形态中的摄像元件100的各像素为正方像素，仅进行单纯的汇集会造成X轴方向的像素数缩减到1/6，从而相对于实际被拍对象像生成纵长的图像数据。因此，通过实施插值处理在X轴方向变为六倍的像素数，从而生成视差图像数据Im_f作为原始长宽比的图像。然而，由于当初在插值处理前的视差图像数据是在X轴方向上缩减到1/6的图像，因此，X轴方向上的分辨率比Y轴方向上的分辨率低。也就是说，所生成的视差图像数据的数量与分辨率的提高呈相反关系。
[0067]由开口部104a的输出形成的视差图像数据Im_a的生成与由开口部104f的输出形成的视差图像数据Im_f的生成相同。此时，与视差图像数据Im_f相同，视差图像数据Im_a不可能具有区域B及C对应的图像数据。
[0068]以下就开口部104e的输出形成的视差图像数据Im_e的生成样子进行说明。排列有包含开口部104e对应的视差像素的重复图案IlOt及IlOu分别为区域A和区域B。排列于区域C的重复图案IlOv不包含开口部104e对应的视差像素。
[0069]由以六个视差像素为一组的光电转换元件组构成的重复图案IlOt在区域A中沿X轴方向排列。因此，具有开口部104e的视差像素在摄像元件100的区域A上沿X轴方向相隔6个像素且沿Y轴方向连续存在。这些像素如上所述分别接收来自于各个不同微小区域的被拍对象光束。对这些视差像素的输出进行汇集排列后便得到视差图像。
[0070]进一步地，由以四个视差像素为一组的光电转换元件组构成的重复图案IlOu在区域B中沿X轴方向排列。因此，具有开口部104e的视差像素在摄像元件100的区域B上沿X轴方向相隔4个像素且沿Y轴方向连续存在。这些像素如上所述分别接收来自于各个不同微小区域的被拍对象光束。对这些视差像素的输出进行汇集排列后便得到区域B对应的视差图像。
[0071]将这些区域A对应的视差图像与区域B对应的视差图像以保持各个区域的相对位置关系的方式相接合，从而能够生成来自于开口部104e对应的视差像素的视差图像。然而，如上所述，由于本实施形态中的摄像元件100的各像素为正方像素，仅进行单纯的汇集会造成X轴方向的像素数在区域A对应的视差图像区域缩减到1/6、在区域B对应的视差图像区域缩减到1/4，从而导致相对于实际被拍对象像生成纵长的图像数据。因此，通过相对于X轴方向在区域A对应的视差图像区域施加6倍的插值处理、在区域B对应的视差图像区域施加4倍的插值处理，从而生成视差图像数据Im_e作为原始长宽比的图像。
[0072]开口部104b的输出形成的视差图像数据Im_b的生成与开口部104e的输出形成的视差图像数据Im_e的生成相同。此时，与视差图像数据Im_e相同，视差图像数据Im_b不可能具有区域C对应的图像数据。
[0073]以下说明开口部104d的输出形成的视差图像数据Im_d的生成样子。排列有包含开口部104d对应的视差像素的重复图案IlOtUlOu及IlOv分别是区域A、区域B及区域C。即，在任一重复图案中均包含开口部104d对应的视差像素。
[0074]由以六个视差像素为一组的光电转换元件组构成的重复图案IIOt在区域A中沿X轴方向排列。因此，具有开口部104d的视差像素在摄像元件100的区域A上沿X轴方向相隔6个像素且沿Y轴方向连续存在。这些像素如上所述分别接收来自于各个不同微小区域的被拍对象光束。对这些视差像素的输出进行汇集排列后便得到区域A对应的视差图像。
[0075]进一步地，由以四个视差像素为一组的光电转换元件组构成的重复图案IlOu在区域B中沿X轴方向排列。因此，具有开口部104d的视差像素在摄像元件100的区域B上沿X轴方向相隔4个像素且沿Y轴方向连续存在。这些像素如上所述分别接收来自于各个不同微小区域的被拍对象光束。对这些视差像素的输出进行汇集排列后便得到区域B对应的视差图像。
[0076]进一步地，由以两个视差像素为一组的光电转换元件组构成的重复图案IlOv在区域C中沿X轴方向排列。因此，具有开口部104d的视差像素在摄像元件100的区域C上沿X轴方向相隔2个像素且沿Y轴方向连续存在。这些像素如上所述分别接收来自于各个不同微小区域的被拍对象光束。对这些视差像素的输出进行汇集排列后便得到区域C对应的视差图像。
[0077]在将这些区域A、B、C对应的各个视差图像以保持相对位置关系的方式相接合时，能够生成来自于开口部104d对应的视差像素的视差图像。然而，如上所述，由于本实施形态中的摄像元件100的各像素为正方像素，仅进行单纯的汇集会造成X轴方向的像素数在区域A对应的视差图像区域中缩减到1/6、在区域B对应的视差图像区域中缩减到1/4、在区域C对应的视差图像区域中缩减到1/2，从而生成相对于实际被拍对象像为纵长的图像数据。因此，通过相对于X轴方向在区域A对应的视差图像区域中施加6倍的插值处理、在区域B对应的视差图像区域中施加4倍的插值处理、在区域C对应的视差图像区域中施加2倍的插值处理，从而生成视差图像数据Im_d作为原始长宽比的图像。
[0078]开口部104c的输出形成的视差图像数据Im_c的生成与开口部104d的输出形成的视差图像数据Im_d的生成相同。此时，与视差图像数据Im_d相同，视差图像数据Im_c有可能具有区域A?C对应的图像数据。
[0079]如上所述，通过图像处理部205的图像处理能够生成在X轴方向(水平方向)上赋予视差的六个视差图像数据。如上所述，有可能会由汇集了输出的视差像素的摄像元件100上的排列造成各个视差图像的视角互不相同。因此，当通过3D显示装置显示这些视差图像数据时，观察者在被拍对象的中心附近看到6个视点的3D图像，在其两侧附近看到4个视点、进一步地在周围部看到2个视点的3D图像。
[0080]在上述例子中说明了以X轴方向为重复图案110进行周期性排列的例子，但重复图案110并不限于此。图8为表示重复图案的另一例的图。在该另一例中，以Y轴方向作为重复图案110进行周期性排列。
[0081]在摄像元件100中，与图6所示摄像元件100的区域划分相同，在区域A中，如图8(a)所示，由分别具有开口部104a?104f的六个视差像素构成的重复图案IlOt周期性且连续性排列。在此情形中的重复图案IlOt中，各个开口部104被定位为从+Y侧端的视差像素往-Y方向，从-X侧往+X侧逐渐偏移。即使根据如此排列的重复图案110也能够生成在X轴方向赋予视差的视差图像。
[0082]而且，在区域B中，如图8(b)所示，由分别具有开口部104b?104e的四个视差像素构成的重复图案IlOu周期性且连续性排列。进一步地，在区域C中，如图8(c)所示，由分别具有开口部104c及104d这两个视差像素构成的重复图案IlOv周期性且连续性排列。[0083]即使根据这种重复图案110，通过图像处理部205的图像处理便能够生成在水平方向赋予视差的六个视差图像数据。此时，与图6的重复图案110相比，可以认为是牺牲Y轴方向的分辨率而维持了 X轴方向分辨率的重复图案。
[0084]图9为表示重复图案又一例的图。在此又一例中，将在倾斜方向上相邻的像素作为重复图案110进行周期性排列。
[0085]在摄像元件100中，与图6所示的摄像元件100的区域划分相同，在区域A中，如图9(a)所示，由分别具有开口部104a?104f的六个视差像素构成的重复图案IlOt周期性且连续性排列。在此情形中的重复图案IlOt中，从-X侧且+Y侧端(纸面左上端)的视差像素往+X侧且-Y侧端(纸面右下端)进行定位，从而从-X侧往+X侧逐渐偏移。即使根据这样排列的重复图案110也能够生成在X轴方向赋予视差的视差图像。
[0086]而且，在区域B中，如图9(b)所示，由分别具有开口部104b?104e的四个视差像素构成的重复图案IlOu周期性且连续性排列。进一步地，在区域C中，如图9(c)所示，由分别具有开口部104c及104d这两个视差像素构成的重复图案IlOv周期性且连续性排列。
[0087]即便是这样的重复图案110，通过图像处理部205的图像处理也能够生成在X轴方向赋予视差的六个视差图像数据。此时，与图6的重复图案110相比，可以认为是在某种程度上保持了Y轴方向的分辨率及X轴方向的分辨率并且增加了视差图像数量的重复图案。
[0088]分别比较图6、图8、图9的重复图案110时，可以认为区别在于，在均生成6个视点的视差图像时，相对于从整个非视差图像输出一幅图像时的分辨率是否牺牲了 Y轴方向、X轴方向的哪一方向的分辨率。用区域A中的重复图案IlOt的排列进行比较时，在图6所示排列的情形中，是使X轴方向的分辨率成为1/6的结构，在图8所示排列的情形中，是使Y轴方向的分辨率成为1/6的结构，而且在图9所示排列的情形中，是使Y轴方向成为1/3、使X轴方向成为1/2的结构。在任一,清形中均被构成为,在一个图案内，对应于各个像素逐一设置开口部104a?104f，从各个所对应的部分区域Pa?Pf的任意一个接收到被拍对象光束，从而使任意重复图案110都能有同等的视差量。
[0089]在上述例子中说明了生成在水平方向(X轴方向)赋予视差的视差图像情形，但毋庸置疑也可以生成在垂直方向(Y轴方向)赋予视差的视差图像，并且也可以生成在水平垂直的二维方向赋予视差的视差图像。图10是说明输出在垂直方向赋予视差的垂直视差图像的摄像元件的各区域中的重复图案Iio的图。
[0090]如图所示，在摄像元件100中，包含中心部的横条纹状的区域A中，由分别具有开口部104a?104f的六个视差像素构成的重复图案IlOt周期性且连续性排列。在图中所示例子中准备有作为开口部104相对于各个像素的位置互相朝Y轴方向偏移的6种类型的开口掩模103。而且，在整个摄像元件100中二维且周期性地排列有光电转换元件组，该光电转换元件组以分别具有从+Y侧(纸面上侧)往-Y侧(纸面下侧)逐渐偏移的开口部104a?104f的六个视差像素为一组。也就是说，摄像元件100是由包含一组光电转换元件组的重复图案110周期且连续地铺设而成。另外，虽然在图中所示例子中使开口部104的形状为横长的长方形，但并不限于此。只要是相对于像素中心偏移并朝向光瞳上的特定部分区域的开口，可以采用各种各样的形状。
[0091]而且，在区域A两侧分别相邻的横条纹状的两个区域B中，由分别具有开口部104b?104e的四个视差像素构成的重复图案IlOu周期性且连续性排列。[0092]当作为整体进行比较时，与排列于周围部的重复图案IlOu的开口部104相比，排列于中心部的重复图案IlOt中的开口部104使来自于在光瞳中更宽的区域中设定的部分区域的光束通过。
[0093]如果对从这种摄像元件100输出的图像数据施加与图7所说明的图像处理相同的图像处理，则能够生成在垂直方向赋予视差的六个视差图像数据。如上所述，有可能会由汇集了输出的视差像素的摄像元件100上的排列引起各个视差图像的视角彼此各不相同。因此，当采用3D显示装置再现这些视差图像数据时，观察者在被拍对象的中心附近看到6个视点的3D图像，在其两侧附近看到4个视点的3D图像。
[0094]以下说明彩色滤光片102与视差图像。图11为说明彩色滤光片阵列的图。图示所示彩色滤光片阵列的排列为，将绿色滤光片分配给所谓的拜耳阵列的4个像素中的右下像素并作为G像素加以保持,另一方面,将未分配有彩色滤光片的左上像素变更为W像素。将蓝色滤光片分配给右上像素作为B像素并将红色滤光片分配给左下像素作为R像素，这样的排列与拜耳阵列相同。另外，如上所述，W像素上可以排列有未施加着色的透明滤光片，以使可见光的几乎整个波段透过。
[0095]即便采用拜耳阵列及图11所示这种彩色滤光片阵列等任一彩色滤光片阵列，根据将视差像素和无视差像素以何种周期分配给何种颜色的像素，便能设定出庞大数量的组合图案。通过汇集无视差像素的输出便可以生成与通常的摄影图像相同的无视差的摄影图像数据。因此，只要相对地增加无视差像素的比例，便能够输出分辨率较高的2D图像。此时，由于视差像素的比例相对变小，因此使得由多个视差图像构成的3D图像的画质下降。相反，如果增加视差像素的比例，虽然能提高3D图像的画质，但由于无视差像素相对减少，因此会输出分辨率较低的2D图像。
[0096]在这种权衡关系中，根据将哪个像素作为视差像素或者作为无视差像素而设定出具有各种各样特征的组合图案。例如，如果分配很多无视差像素，就会成为高分辨率的2D图像数据，如果针对任意的RGB像素都进行平均分配，则会成为色差较小的高画质的2D图像数据。当也利用视差像素的输出来生成2D图像数据时，参照周围像素的输出对发生了错位的被拍对象的像进行修正。因此，即使例如将全部R像素都作为视差像素，也能够生成2D图像，但其画质自然会降低。
[0097]另一方面，如果分配很多视差像素，就会成为高分辨率的3D图像数据，如果针对任意RGB像素都进行平均分配，则在成为3D图像的同时，会得到色彩再现性良好的高品质的彩色图像数据。当也利用无视差像素的输出来生成3D图像数据时，参照周围视差像素的输出从无视差的被拍对象的像生成发生了错位的被拍对象的像。因此，即使认为全部R像素都为无视差像素，虽然也能够生成彩色的3D图像，但其品质自然很低。
[0098]另外，如果采用包含W像素的彩色滤光片阵列，摄像元件输出的色彩信息的精度多少会有所下降，但由于W像素所接收到的光量与设置了彩色滤光片的情形相比较多，因此能够得到高精度的亮度信息。对W像素的输出进行汇集便能够形成单色图像。
[0099]当采用包含W像素的彩色滤光片阵列时，视差像素与无视差像素的组合图案存在进一步的变形。例如，即使是在较暗的环境下拍摄到的图像与从彩色像素输出的图像相比，从W像素输出的图像使被拍对象像的对比度更高。因此，如果向W像素分配视差像素，则在多个视差图像之间进行匹配处理时，可望得到高精度的运算结果。执行匹配处理作为取得写入到图像数据中的被拍对象像的距离信息的处理的一环。因此，在对2D图像的分辨率及视差图像画质的影响的基础上，进一步考虑对所提取的其他信息带来的利弊，来设定视差像素与无视差像素的组合图案。
[0100]图12为表示彩色滤光片阵列与视差像素的关系的图。尤其表示当采用图11所示彩色滤光片阵列时，W像素与视差像素的排列的一例。在图中所示例子中，将沿X轴方向连续的6组图11所示彩色滤光片阵列的4个像素共计24个像素作为组合图案。在构成组合图案的各个W像素中，从位于左端的W像素往位于右端的W像素依次分配具有开口部104f、104e、…104a的视差像素。在这种排列中，摄像元件100将视差图像作为单色图像进行输出，将2D图像作为彩色图像进行输出。
[0101]另外，当在例如图6中的区域A中采用图12所示组合图案时，在区域B中采用的组合图案将沿X轴方向连续的4组图11所示彩色滤光片阵列的4个像素共计16个像素作为组合图案。此时，在构成组合图案的各个W像素中，从位于左端的W像素往位于右端的W像素依次分配具有开口部104e、…104b的视差像素。同样地，区域C中采用的组合图案将沿X轴方向连续的两组图11所示彩色滤光片阵列的4个像素共计8个像素作为组合图案。此时，在构成组合图案的各个W像素中，在位于左侧的W像素中分配具有开口部104d的视差像素，在位于右侧的W像素中分配具有开口部104c的视差像素。
[0102]此处说明生成作为单色图像的视差图像以及生成作为彩色图像的2D图像。 [0103]图13为表示视差图像和2D图像的生成过程的示意图。如图所示，具有开口部104f的视差像素的输出在保持摄像元件100上的相对位置关系的同时被汇集，生成Im_f图像数据。具有一个重复图案110中包含的开口部104f的视差像素为一个，因此可以认为具有形成Im_f图像数据的各个开口部104f的视差像素分别从互不相同的重复图案110被进行汇集。即，由于被汇集的各个输出是对从被拍对象的互不相同微小区域放射的光进行了光电转换的结果，因此，Im_f图像数据成为了从特定视点(f视点)捕捉到的被拍对象的一个视差图像数据。而且，由于该视差像素被分配给了 W像素，因此Im_f图像数据不具有色彩信息，从而被生成为单色图像。
[0104]同样地，具有开口部104e~104a的视差像素的输出在保持摄像元件100上的相对位置关系的同时被汇集，从而生成Im_e图像数据~Im_a图像数据。
[0105]而且，无视差像素的输出在保持摄像元件100上的相对位置关系的同时被汇集，从而生成2D图像数据。此时，由于W像素是视差像素，因此，相对于仅仅由无视差像素构成的拜耳阵列的输出，缺少了相当于左上像素的输出的输出。此时，例如代入G像素的输出值，作为所缺少的该输出值。也就是说，由G像素的输出进行插值处理。这样一来，通过实施插值处理，便能够采用针对拜耳阵列输出的图像处理以生成2D图像数据。
[0106]另外，以上的图像处理由图像处理部205执行。图像处理部205通过控制部201接收从摄像元件100输出的图像信号，如上所述基于各个像素的每个输出进行分配，从而生成视差图像数据及2D图像数据。
[0107]在以上的实施形态中说明了摄像元件100由包含一组光电转换元件组的重复图案110进行周期性且连续地铺设而构成。然而，只要各个视差像素捕捉被拍对象的离散微小区域以输出视差图像即可，因此，也可以例如在周期性的重复图案110之间使无视差像素相连续。也就是说，包含视差像素的重复图案110即使不连续，只要是具有周期性，也有可能输出视差图像。
[0108]在以上实施形态中，例如在图6中将摄像元件100分成了区域A、B、C这三种类型的区域，但毋庸置疑，并不是要限定该数量。而且，各区域中的开口部104的种类也并不限定于6种、4种、2种。如何区域划分摄像元件100，如何构成排列于该区域的重复图案，基于由摄影透镜20以及对其进行支撑的镜筒引起的暗角来确定。
[0109]也就是说，确定区域划分及重复图案，以避免产生由暗角引起的无法接收来自于光瞳上设定的部分区域的被拍对象光束的视差像素。因此，各区域的交界可以不是图6及图10所示与摄像元件的长边或短边相平行的直线，而可以是与暗角相符合的曲线。
[0110]而且，由于暗角在相对于焦点距离的宽侧、在相对于光圈的开放侧很明显地显现，因此优选在暗角明显显现的条件下确定区域划分和重复图案。尤其是，当数码相机10为可更换镜头的相机时，优选是整体考虑可能装设的摄影镜头来确定。
[0111]而且，在以上实施形态中，例如在图6所示重复图案中，将区域A的视差像素为6个像素，使相邻的区域B的视差像素为区域A的6个像素中除去两端像素后的4个像素。然而，根据与图5的关系也可以理解为，与区域A的右侧相邻的区域B (区域Br)中，被拍对象光束不会到达具有开口部104a的视差像素，被拍对象光束会达到具有开口部104f的视差像素。因此，在区域Br中，可以将分别具有开口部104b?104f的五个视差像素作为重复图案。此时，同样地，与区域A的左侧相邻的区域B(区域BI)中，也可以将分别各有开口部104a?104e的五个视差像素作为重复图案。
[0112]以上，使用本发明的实施方式进行了说明，但本发明的技术范围不限于上述实施方式所记载的范围。另外，本领域技术人员应当清楚，在上述实施方式的基础上可加以增加各种变更或改进。此外，由权利要求的记载可知，这种加以变更或改进的实施方式也包含在本发明的技术范围内。
[0113]附图标记说明
[0114]10数码相机、20摄影透镜、21光轴、30、31被拍对象、100摄像元件、101微型透镜、102彩色滤光片、103开口掩模、104开口部、105布线层、106布线、107开口、108光电转换元件、109基板、110重复图案、120摄像元件、121屏幕滤波器、122彩色滤光片部、123开口掩模部、201控制部、202A/D转换电路、203存储器、204驱动部、205图像处理部、206运算部、207存储卡IF、208操作部、209显示部、210LCD驱动电路、220存储卡
【权利要求】
1.一种摄像元件，其中: 二维且周期性排列有以将入射光光电转换为电信号的多个光电转换元件为一组的光电转换元件组； 与构成所述光电转换元件组的所述多个光电转换元件的每一个对应设置的开口掩模的开口被定位为，使来自于所述入射光的截面区域中包含的互不相同的部分区域的光束通过； 关于构成所述光电转换元件组的所述多个光电转换元件的数量，相对于所排列所述光电转换元件组的整体而言，排列于周围部的所述光电转换元件组比排列于中心部的所述光电转换元件组更少。
2.根据权利要求1所述的摄像元件，其中: 在作为所述光电转换元件组的整体进行比较时，与构成排列于所述周围部的所述光电转换元件组的所述多个光电转换元件上设置的开口掩模的开口相比，构成排列于所述中心部的所述光电转换元件组的所述多个光电转换元件上设置的开口掩模的开口使得针对更宽的所述截面区域设定的所述部分区域的光束通过。
3.根据权利要求2所述的摄像元件，其中，所述截面区域是基于具有使所述入射光透过的光学系统的摄影透镜的暗角确定的。
4.根据权利要求1?3中任一项所述的摄像元件，其中，连结所述中心部与所述周围部的方向与所述开口掩模的开口的偏移方向相平行。
5.根据权利要求1?4中任一项所述的摄像元件，其中，当被拍对象位于聚焦位置时，构成一组所述光电转换元件组的所述多个光电转换元件接收从所述被拍对象的一个微小区域放射的光束。
6.根据权利要求1?5中任一项所述的摄像元件，其中，未设置有所述开口掩模的或者设置有使所述入射光的全部有效光束通过的开口掩模的光电转换兀件与构成所述光电转换元件组的所述多个光电转换元件相邻，二维且周期性排列。
【文档编号】G03B15/00GK103999449SQ201280062683
【公开日】2014年8月20日 申请日期:2012年8月17日 优先权日:2011年10月21日
【发明者】芝崎清茂, 浜岛宗树, 森晋 申请人:株式会社尼康