图像处理装置和图像处理程序的制作方法

图像处理装置和图像处理程序的制作方法
【专利摘要】为获得均为彩色图像的视差图像，需要准备用于拍摄各视差图像的复杂的摄影光学系统和摄像元件。对此，本发明提供一种图像处理装置，具有：图像获取部，其获取对同一场景进行拍摄而生成的图像数据组，图像数据组是基准图像数据和相对于基准图像数据的被摄物体像具有视差的视差图像数据的组，基准图像数据和视差图像数据的至少任一方是用于生成彩色图像的原色信息的至少一部分欠缺的非彩色图像数据；视差量运算部，其运算与基准图像数据和视差图像数据的同一被摄物体像之间的视差对应的视差量；图像转换部，其基于视差量将基准图像数据和视差图像数据的某一方的原色信息的至少一部分移植到另一方，将非彩色图像数据转换成彩色图像数据。
【专利说明】图像处理装置和图像处理程序
【技术领域】
[0001 ] 本发明涉及图像处理装置和图像处理程序。
【背景技术】
[0002]公知有使用2个摄影光学系统来拍摄由右眼用图像和左眼用图像构成的立体图像的立体摄像装置。这样的立体摄像装置通过以一定间隔配置2个摄影光学系统，在对同一被摄物体进行拍摄而得到的2个图像上产生视差。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1:日本特开平8-47001号公报
【发明内容】

[0006]为了获得每个都是彩色图像的视差图像，需要准备用于拍摄各个视差图像的复杂的摄影光学系统和摄像元件。
[0007]本发明的第I方案的图像处理装置具有:图像获取部，其获取对同一场景进行拍摄而生成的图像数据组，所述图像数据组是基准图像数据和相对于基准图像数据的被摄物体像具有视差的视差图像数据的组，基准图像数据和视差图像数据的至少任一方是用于生成彩色图像的原色信息的至少一部分欠缺的非彩色图像数据；视差量运算部，其运算与基准图像数据和视差图像数据的同一被摄物体像之间的视差对应的视差量；和图像转换部，其基于视差量将基准图像数据和视差图像数据的某一方的原色信息的至少一部分移植到另一方，将非彩色图像数据转换成彩色图像数据。
[0008]本发明的第2方案的图像处理程序，使计算机执行如下步骤:图像获取步骤，获取对同一场景进行拍摄而生成的图像数据组，图像数据组是基准图像数据和相对于基准图像数据的被摄物体像具有视差的视差图像数据的组，基准图像数据和视差图像数据的至少任一方是用于生成彩色图像的原色信息的至少一部分欠缺的非彩色图像数据；视差量运算步骤，运算与基准图像数据和视差图像数据的同一被摄物体像之间的视差对应的视差量；和图像转换步骤，基于视差量将基准图像数据和视差图像数据的某一方的原色信息的至少一部分移植到另一方，将非彩色图像数据转换成彩色图像数据。
[0009]此外，上述的
【发明内容】
并不是列举本发明的全部必要特征而得到的。另外，这些特征组的子组合也能构成发明。
【专利附图】

【附图说明】
[0010]图1是说明本发明的实施方式所涉及的数码相机的构成的图。
[0011]图2是表示本发明的实施方式所涉及的摄像元件的截面示意图。
[0012]图3是表示将摄像元件的一部分放大示出后的状态的示意图。
[0013]图4是说明视差像素与被摄物体的关系的概念图。[0014]图5是说明用于生成视差图像的处理的概念图。
[0015]图6是表不重复图案的另一例的图。
[0016]图7是表示二维的重复图案的例子的图。
[0017]图8是说明开口部的另一形状的图。
[0018]图9是说明拜耳阵列的图。
[0019]图10是说明关于对拜耳阵列分配视差像素，有2种视差像素时的变例的图。
[0020]图11是表示变例的一例的图。
[0021]图12是表示另一变例的一例的图。
[0022]图13是表示又一变例的一例的图。
[0023]图14是说明另一彩色滤光片阵列的图。
[0024]图15是表不W像素和视差像素的阵列的一例的图。
[0025]图16是说明根据A-1阵列的摄像元件的输出而生成的图像数据组的图。
[0026]图17是说明根据B' -1阵列的摄像元件的输出而生成的图像数据组的图。
[0027]图18是说明根据D-1阵列的摄像元件的输出而生成的图像数据组的图。
[0028]图19是说明被摄物体位置与视差像素量的关系的说明图。
[0029]图20是说明视差图的生成处理的说明图。
[0030]图21是表示参照视差图来移植原色信息的处理的概念图。
[0031]图22是表示在视差图像数据与2D图像数据之间相互移植原色信息的处理的概念图。
【具体实施方式】
[0032]以下，通过发明的实施方式来说明本发明，但以下的实施方式并不限定权利要求书所涉及的发明。另外，实施方式中所说明的特征的组合也并非全部为发明的必要技术特征。
[0033]作为摄像装置的一个方式的本实施方式所涉及的数码相机构成为，能够对一个场景通过一次拍摄来生成多个视点数的图像。将视点互不相同的各个图像称为视差图像。
[0034]图1是说明本发明的实施方式所涉及的数码相机10的构成的图。数码相机10具有作为摄影光学系统的摄影透镜20，将沿着光轴21入射的被摄物体光束导向摄像元件100。摄影透镜20也可以是相对于数码相机10可装卸的交换式透镜。数码相机10具有摄像元件100、控制部201、A / D转换电路202、存储器203、驱动部204、图像处理部205、存储卡IF(InterFace:接口)207、操作部208、显示部209、LCD驱动电路210以及AF(自动调焦，Auto Focus)传感器 211。
[0035]此外，如图所示，将朝向摄像元件100的平行于光轴21的方向定为z轴正方向，将在垂直于Z轴的平面中朝向纸面近前的方向定为X轴正方向，将纸面上方定为y轴正方向。在以后的几幅图中，以图1的坐标轴为基准表示坐标轴以使各个图的方向清楚。
[0036]摄影透镜20由多个光学透镜组构成，使来自场景的被摄物体光束成像在该摄影透镜20的焦点面附近。此外，图1中为了便于说明摄影透镜20而以配置在光瞳附近的假想的I片透镜为代表来表示。摄像元件100配置在摄影透镜20的焦点面附近。摄像元件100是二维排列有多个光电转换元件的例如(XD(电荷藕合器件,Charge Coupled Device)、CMOS(互补金属氧化物半导体，Complementary Metal Oxide Semiconductor)传感器等图形传感器。摄像元件100由驱动部204进行定时(timing)控制，将成像在受光面上的被摄物体像转换成图像信号并输出到A / D转换电路202。
[0037]A / D转换电路202将摄像元件100输出的图像信号转换成数字图像信号并输出到存储器203。图像处理部205将存储器203作为工作空间来实施各种图像处理，生成图像数据。尤其是，图像处理部205具有:根据摄像元件100输出的信号来生成并获得图像数据组的数据获取部231 ;在所获取的图像数据组所包含的视差图像数据之间运算视差量的视差量运算部232 ;转换成彩色图像数据的图像转换部233。在后面对各个处理进行详细说明。
[0038]图像处理部205另外也承担依照所选择出的图像格式来调整图像数据等图像处理的通常功能。所生成的图像数据通过LCD驱动电路210被转换成显示信号并显示在显示部209上。另外，被记录在安装于存储卡IF207的存储卡220中。
[0039]AF传感器211是对被摄物体空间设置有多个测距点的相位差传感器，在各个测距点检测被摄物体像的散焦量。通过操作部208受理用户的操作并向控制部201输出操作信号来开始一连串的摄影过程。在控制部201中控制并执行摄影过程所附带的AF、AE等各种动作。例如，控制部201分析AF传感器211的检测信号，执行使构成摄影透镜20的一部分的聚焦透镜移动的对焦控制。
[0040]接着，对摄像元件100的构成进行详细说明。图2是表示本发明的实施方式所涉及的摄像元件的截面示意图。图2的(a)是彩色滤光片102和开口掩模103分体构成的摄像元件100的截面示意图。另外，作为摄像元件100的变形例，图2的(b)是具有彩色滤光片部122和开口掩模部123 —体构成的屏幕滤光片121的摄像元件120的截面示意图。
[0041]如图2的(a)所示，摄像元件100构成为从被摄物体侧依次排列有微透镜101、彩色滤光片102、开口掩模103、布线层105以及光电转换元件108。光电转换元件108由将入射的光转换成电信号的光电二极管构成。光电转换元件108在基板109的表面二维地排列有多个。
[0042]由光电转换元件108转换后的图像信号、控制光电转换元件108的控制信号等经由设置于布线层105的布线106进行收发。另外，具有与各光电转换元件108 —一对应地设置的开口部104的开口掩模103，与布线层接触地设置。开口部104如后述那样相对于各个对应的光电转换元件108偏移，其相对位置被严格地确定。通过具有该开口部104的开口掩模103的作用而在光电转换元件108受光的被摄物体光束中产生视差，这将在后详细说明。
[0043]另一方面，在不产生视差的光电转换元件108上，不存在开口掩模103。换言之，也可以说成是，设置有具有不限制向对应的光电转换元件108入射的被摄物体光束、即使有效光束全部穿过的开口部104的开口掩模103。虽然不产生视差，但实质上由布线106形成的开口 107规定入射的被摄物体光束，所以也可以将布线106看做是不产生视差的使有效光束全部穿过的开口掩模。开口掩模103可以与各光电转换元件108对应地分别独立地排列，也可以与彩色滤光片102的制造工序同样地相对于多个光电转换兀件108统一形成。
[0044]彩色滤光片102设置在开口掩模103上。彩色滤光片102是以使特定的波段透过各光电转换元件108的方式被着色、并与光电转换元件108分别一一对应地设置的滤光片。要输出彩色图像，只要排列互不相同的至少3种彩色滤光片即可。这些彩色滤光片可以说是用于生成彩色图像的原色滤光片。原色滤光片的组合例如为使红色波段透过的红色滤光片、使绿色波段透过的绿色滤光片以及使蓝色波段透过的蓝色滤光片。这些彩色滤光片如后述那样与光电转换元件108对应地呈格子状排列。
[0045]微透镜101设置在彩色滤光片102上。微透镜101是用于将入射的被摄物体光束更多地导向光电转换元件108的聚光透镜。微透镜101与光电转换元件108分别——对应地设置。微透镜101优选的是，考虑摄影透镜20的光瞳中心与光电转换元件108的相对位置关系来移动其光轴，以使更多的被摄物体光束被导向光电转换元件108。进而，可以与开口掩模103的开口部104的位置一起来调整配置位置以使后述的特定的被摄物体光束更多地入射。
[0046]如此，将与各个光电转换元件108——对应地设置的开口掩模103、彩色滤光片102以及微透镜101的一个单位称为像素。尤其是，将设有产生视差的开口掩模103的像素称为视差像素，将没有设置产生视差的开口掩模103的像素称为无视差像素。例如,在摄像元件100的有效像素区域为24_X 16mm左右的情况下，像素数达到1200万左右。
[0047]此外，在聚光效率、光电转换效率良好的图形传感器的情况下，也可以不设置微透镜101。另外，在背面照射型图形传感器的情况下，将布线层105设置于光电转换元件108的相反侧。
[0048]彩色滤光片102和开口掩模103的组合存在各种变形。在图2的(a)中，只要使开口掩模103的开口部104具有彩色成分，就能够一体地形成彩色滤光片102和开口掩模103。另外，在将特定的像素设为获取被摄物体的亮度信息的像素的情况下，也可以不在该像素设置对应的彩色滤光片102。或者，也可以以使可见光的大约全部波段透过的方式排列没有着色的透明滤光片。
[0049]在将获得亮度信息的像素设为视差像素的情况下，S卩如果至少一次将视差图像作为单色图像来输出，则能够采用作为图2的(b)所示的摄像元件120的构成。也就是说，可以将由作为彩色滤光片发挥作用的彩色滤光片部122和具有开口部104的开口掩模部123一体构成的屏幕滤光片121配设在微透镜101与布线层105之间。
[0050]在彩色滤光片部122中实施例如蓝绿红色的着色并在开口掩模部123中对开口部104以外的掩模部分实施黑色的着色，从而形成屏幕滤光片121。采用屏幕滤光片121的摄像元件120与摄像元件100相比，因为从微透镜101到光电转换元件108的距离短，所以被摄物体光束的聚光效率高。
[0051]接着，对开口掩模103的开口部104和所产生的视差的关系进行说明。图3是表示将摄像元件100的一部分放大后的状态的示意图。在此，为了简单地说明，对于彩色滤光片102的配色在后面再次提及之前不考虑。在不提及彩色滤光片102的配色的以下说明中，能够看做是仅将具有同色(包含透明的情况)的彩色滤光片102的视差像素汇集的图形传感器。因此，以下说明的重复图案也可以被认为是同色的彩色滤光片102中的相邻像素。
[0052]如图3所示，开口掩模103的开口部104相对于各个像素相对偏移地设置。而且，在相邻像素的彼此之间，各个开口部104也被设置于彼此错位的位置。
[0053]在图示的例子中，作为开口部104相对于各个像素的位置，准备相互在左右方向上偏移的6种开口掩模103。而且，在整个摄像元件100中，二维且周期性地排列有光电转换元件组，该光电转换元件组以分别具有从纸面左侧向右侧逐渐偏移的开口掩模103的6个视差像素为一组的。即，可以说摄像元件100通过包含一组光电转换元件组的重复图案110周期性地铺满而构成。
[0054]图4是说明视差像素与被摄物体的关系的概念图。尤其是图4的(a)示出在摄像元件100的与摄影光轴21垂直的中心处排列的重复图案IlOt的光电转换元件组，图4的(b)示意性地示出排列在周边部分的重复图案IlOu的光电转换元件组。图4的(a)、(b)中的被摄物体30相对于摄影透镜20位于聚焦位置。图4的(c)与图4的(a)对应，示意性地示出在捕捉到相对于摄影透镜20位于非聚焦位置的被摄物体31时的关系。
[0055]首先，说明在摄影透镜20捕捉位于聚焦状态的被摄物体30的情况下的视差像素与被摄物体的关系。被摄物体光束穿过摄影透镜20的光瞳而被导向摄像元件100，但对被摄物体光束穿过的整个截面区域规定了 6个部分区域Pa?Pf。而且，从放大图也可以看出，构成例如重复图案IlOtUlOu的光电转换元件组的纸面左端的像素的开口掩模103的开口部104f的位置被确定成，仅使从部分区域Pf射出的被摄物体光束到达光电转换元件108。同样，关于朝向右端的像素，分别与部分区域Pe对应地确定开口部104e的位置、与部分区域Pd对应地确定开口部104d的位置、与部分区域Pc对应地确定开口部104c的位置、与部分区域Pb对应地确定开口部104b的位置、与部分区域Pa对应地确定开口部104a的位置。
[0056]换言之，也可以说是，通过由例如部分区域Pf与左端像素的相对位置关系定义的从部分区域Pf射出的被摄物体光束的主光线Rf的倾斜来确定开口部104f的位置。而且，当光电转换元件108经由开口部104f接收来自位于聚焦位置的被摄物体30的被摄物体光束时，该被摄物体光束如虚线所图示的那样成像在光电转换元件108上。同样，关于朝向右端的像素，可以说是根据主光线Re的倾斜来设定开口部104e的位置，根据主光线Rd的倾斜来设定开口部104d的位置，根据主光线Re的倾斜来设定开口部104c的位置，根据主光线Rb的倾斜来设定开口部104b的位置，根据主光线Ra的倾斜来设定开口部104a的位置。
[0057]如图4的(a)所示，从位于聚焦位置的被摄物体30的、与光轴21交叉的被摄物体30上的微小区域Ot放射的光束，穿过摄影透镜20的光瞳而到达构成重复图案IlOt的光电转换元件组的各像素。也就是说，构成重复图案Iiot的光电转换元件组的各像素分别经由6个部分区域Pa?Pf而接收从一个微小区域Ot放射的光束。微小区域Ot具有与构成重复图案IlOt的光电转换元件组的各像素的位置偏离相对应程度的扩散，但实质上能够大致近似于同一物点。同样，如图4的(b)所示，从位于聚焦位置的被摄物体30的离开光轴21的被摄物体30上的微小区域Ou放射的光束，穿过摄影透镜20的光瞳而到达构成重复图案IlOu的光电转换元件组的各像素。也就是说，构成重复图案IlOu的光电转换元件组的各像素分别经由6个部分区域Pa?Pf而接收从一个微小区域Ou放射的光束。微小区域Ou与微小区域Ot同样地，也具有与构成重复图案IlOu的光电转换元件组的各像素的位置偏离相对应程度的扩散，但实质上能够大致近似于同一物点。
[0058]即，只要被摄物体30位于聚焦位置，与摄像元件100上的重复图案110的位置相应地，光电转换元件组所捕捉的微小区域就不同，并且构成光电转换元件组的各像素经由互不相同的部分区域而捕捉同一微小区域。而且，在各个重复图案110中，对应的像素彼此接收来自相同部分区域的被摄物体光束。即，图中，例如重复图案IlOtUlOu各自的左端的像素接收来自相同部分区域Pf的被摄物体光束。
[0059]排列在与摄影光轴21垂直的中心处的重复图案IlOt中左端像素接受来自部分区域Pf的被摄物体光束的开口部104f的位置，和排列在周边部分的重复图案IlOu中左端像素接受来自部分区域Pf的被摄物体光束的开口部104f的位置严格来说是不同的。然而，从功能性的观点出发，在用于接受来自部分区域Pf的被摄物体光束的开口掩模这一点上，能够将它们作为同一种开口掩模来处理。因此，在图4的例子中，可以说排列在摄像元件100上的视差像素分别具有6种开口掩模中的一种。
[0060]接着，说明在摄影透镜20捕捉处于非聚焦状态的被摄物体31的情况下的视差像素与被摄物体的关系。在该情况下，来自位于非聚焦位置的被摄物体31的被摄物体光束也穿过摄影透镜20的光瞳的6个部分区域Pa?Pf而到达摄像元件100。但是，来自位于非聚焦位置的被摄物体31的被摄物体光束不是成像在光电转换元件108上而是成像在其他位置。例如，如图4的(c)所示，若被摄物体31与被摄物体30相比位于更远离摄像元件100的位置，则被摄物体光束成像在比光电转换元件108更靠被摄物体31侧。相反，若被摄物体31与被摄物体30相比位于更接近摄像元件100的位置，则被摄物体光束与光电转换元件108相比在被摄物体31的相反侧成像。
[0061]因此，从位于非聚焦位置的被摄物体31的微小区域OC放射的被摄物体光束，穿过6个部分区域Pa?Pf中的某一个而到达不同组的重复图案110中的对应像素。例如，如图4的(c)的放大图所示，穿过了部分区域Pd的被摄物体光束作为主光线Rd'而入射到包含在重复图案IlOt'中的具有开口部104d的光电转换元件108。而且，从微小区域Ot'放射且穿过了其他部分区域的被摄物体光束，没有入射到包含在重复图案IlOt'中的光电转换元件108，而入射到其他重复图案中具有对应开口部的光电转换元件108。换言之，到达构成重复图案IlOC的各光电转换元件108的被摄物体光束是从被摄物体31的互不相同的微小区域放射的被摄物体光束。也就是说，向与开口部104d对应的108入射主光线为RcT的被摄物体光束，向与其他开口部对应的光电转换元件108入射主光线为Ra+、Rb+、Re+、Re+、Rf+的被摄物体光束，但这些被摄物体光束是从被摄物体31的互不相同的微小区域放射的被摄物体光束。这样的关系在图4的(b)的排列在周边部分的重复图案IlOu中也是同样的。
[0062]于是，在观察摄像元件100整体的情况下，例如，由与开口部104a对应的光电转换元件108捕捉到的被摄物体像A和由与开口部104d对应的光电转换元件108捕捉到的被摄物体像D，若是针对位于聚焦位置的被摄物体的像则相互没有偏离，若是针对位于非聚焦位置的被摄物体的像则会产生偏离。而且，通过位于非聚焦位置的被摄物体相对于聚焦位置向哪一侧偏离了多少、及部分区域Pa与部分区域Pd的距离，确定该偏离的方向和量。SP，被摄物体像A和被摄物体像D相互成为视差像。该关系对于其他开口部而言也是同样的，因此与开口部104a?104f对应地形成6个视差像。
[0063]因此，在如此构成的各个重复图案110中，当将互相对应的像素的输出汇集时，获得视差图像。即，接受了从6个部分区域Pa?Pf中的特定部分区域射出的被摄物体光束的像素的输出形成视差图像。
[0064]图5是说明用于生成视差图像的处理的概念图。图中从左列依次表示将与开口部104f对应的视差像素的输出集中而生成的视差图像数据Im_f的生成的状态、由开口部104e的输出实现的视差图像数据Im_e的生成的状态、由开口部104d的输出实现的视差图像数据Im_d的生成的状态、由开口部104c的输出实现的视差图像数据Im_c的生成的状态、由开口部104b的输出实现的视差图像数据Im_b的生成的状态、由开口部104a的输出实现的视差图像数据Im_a的生成的状态。首先对由开口部104f的输出实现的视差图像数据Im_f的生成的状态进行说明。
[0065]由以6个视差像素为一组的光电转换元件组构成的重复图案110排列成一横排。因此，具有开口部104f的视差像素在摄像元件100上沿左右方向每隔6个像素且在上下方向上连续地存在。这些各像素如上述那样接受来自分别不同的微小区域的被摄物体光束。因此，当将这些视差像素的输出汇集排列时，获得视差图像。
[0066]但是，因为本实施方式中的摄像元件100的各像素是正方像素，仅进行单纯的汇集会造成横向的像素数缩减到I / 6的结果，从而生成纵长的图像数据。于是，通过实施插值处理在横向上变为6倍的像素数，从而生成视差图像数据Im_f作为原始长宽比的图像。但是，因为原本插值处理前的视差图像数据为横向上缩减到I / 6的图像，所以横向的分辨率比纵向的分辨率低。即，可以说所生成的视差图像数据的数量与分辨率的提高为相反关系O
[0067]同样地获得视差图像数据Im_e?视差图像数据Im_a。也就是说，数码相机10能够生成在横向上具有视差的6个视点的视差图像。
[0068]在上述的例子中，说明了将一横排作为重复图案110而周期性地排列的例子，但重复图案110并不限于此。图6是表示重复图案110的另一例的图。
[0069]图6的(a)是将纵向6个像素作为重复图案110的例子。但是，各个开口部104以从纸面上端的视差像素往下而从纸面左侧向右侧逐渐偏移的方式定位。通过如此排列的重复图案110，也能够生成在横向上产生视差的6个视点的视差图像。与图3的重复图案110相比，该情况可以说是牺牲纵向的分辨率而相应地维持横向的分辨率的重复图案。
[0070]图6的(b)是将斜向相邻的6个像素作为重复图案110的例子。各个开口部104以从纸面左上端的视差像素往右下而从纸面左侧向右侧逐渐偏移的方式定位。通过如此排列的重复图案110，也能够生成在横向上产生视差的6个视点的视差图像。与图3的重复图案110相比，该情况可以说是在一定程度上维持纵向的分辨率及横向的分辨率并且增加视差图像的数量的重复图案。
[0071]分别比较图3的重复图案110和图6的(a)、(b)的重复图案110，在都生成6个视点的视差图像的情况下，可以说不同之处在于相对于从不是视差图像的整体输出一张图像的情况下的分辨率牺牲纵向、横向某一方向的分辨率。图3的重复图案110的情况为使横向的分辨率为I / 6的构成。图6的(a)的重复图案110的情况为使纵向的分辨率为I /6的构成。另外，图6的(b)的重复图案110的情况为使纵向为I / 3并使横向为I / 2的构成。无论哪种情况，都在一个图案内与各像素对应地逐一设置有开口部104a?104f，构成为分别从对应的部分区域Pa?Pf的任一方接受被摄物体光束。因此，无论哪个重复图案110，视差量都是同等的。
[0072]在上述的例子中，说明了生成在左右方向上产生视差的视差图像的情况，但当然也可以生成在上下方向上产生视差的视差图像，也可以生成在上下左右的二维方向上产生视差的视差图像。图7是表示二维的重复图案110的例子的图。[0073]根据图7的例子，以纵向6个像素横向6个像素这36个像素为一个光电转换元件组来形成重复图案110。作为开口部104相对于各个像素的位置，准备在上下左右方向上相互偏移的36种开口掩模103。具体而言，各开口部104以从重复图案110的上端像素往下端像素而从上侧向下侧逐渐偏移、同时从左端像素往右端像素而从左侧向右侧逐渐偏移的方式定位。
[0074]具有这样的重复图案110的摄像元件100能够输出在上下方向和左右方向上产生视差的36个视点的视差图像。当然不限于图7的例子，也可以以输出各种视点数的视差图像的方式设定重复图案110。
[0075]在以上的说明中，作为开口部104的形状采用了矩形。特别是，在横向上赋予视差的排列中，通过使没有偏移的上下方向的宽度比作为偏移方向的左右方向的宽度大，确保了导向光电转换元件108的光量。但是，开口部104的形状不限定于矩形。
[0076]图8是说明开口部104的另一形状的图。图中，将开口部104的形状设为圆形。在圆形的情况下，根据与半球形状的微透镜101的相对关系，能够防止预定光束以外的被摄物体光束成为杂散光而入射到光电转换元件108。
[0077]接着说明彩色滤光片102和视差图像。图9是说明拜耳阵列的图。如图9所示，拜耳阵列是如下阵列:将绿色滤光片分配给左上和右下这2个像素，将红色滤光片分配给左下这I个像素，将蓝色滤光片分配给右上这I个像素。在此，将分配了绿色滤光片的左上的像素设为Gb像素，将同样被分配了绿色滤光片的右下的像素设为Gr像素。另外，将分配了红色滤光片的像素设为R像素，将分配了蓝色滤光片的像素设为B像素。而且，将Gb像素和B像素排列的横向设为Gb行，将R像素和Gr像素排列的横向设为Gr行。另外，将Gb像素和R像素排列的纵向设为Gb列，将B像素和Gr像素排列的纵向设为Gr列。
[0078]对于这样的彩色滤光片102的排列，通过将视差像素和无视差像素以怎样的周期分配给哪种颜色的像素，能够设定庞大数量的重复图案110。如果将无视差像素的输出汇集，能够与通常的摄影图像同样地生成无视差的摄影图像数据。因此，如果相对地增加无视差像素的比例，则能够输出分辨率高的2D图像。在该情况下，因为视差像素的比例相对变小，所以作为由多个视差图像构成的3D图像，画质降低。相反，如果增加视差像素的比例，虽然能够提高作为3D图像的画质，但因为无视差像素相对减少，所以会输出分辨率低的2D图像。
[0079]在这种权衡关系中，通过将哪个像素设为视差像素或设为无视差像素，能够设定具有各种特征的重复图案HO。图10是说明关于对拜耳阵列分配视差像素，有2种视差像素的情况下的变形的图。该情况的视差像素假设为开口部104相比于中心偏向左侧的视差L像素和相比于中心偏向右侧的视差R像素。即，从这样的视差像素输出的2个视点的视差图像实现所谓的立体视图。
[0080]对各个重复图案的特征性说明如图所示那样。例如，如果无视差像素分配得较多则成为高分辨率的2D图像数据，如果针对任意RGB像素都进行平均分配，则成为颜色失真小的高画质的2D图像数据。另一方面，若视差像素分配得较多则成为高分辨率的3D图像数据，如果针对任意RGB像素都进行平均分配，则在为3D图像的同时还成为色彩再现性好的高品质的彩色图像数据。
[0081]以下对几个变例进行说明。图11是表示变例的一例的图。图11的变例与图10中的重复图案分类A-1相当。
[0082]在图示例子中，将与拜耳阵列相同的4个像素设为重复图案110。R像素和B像素为无视差像素，将Gb像素分配给视差L像素，将Gr像素分配给视差R像素。该情况下，同一重复图案110所包含的视差L像素和视差R像素的开口部104设定成，在被摄物体位于聚焦位置时接受从相同微小区域放射的光束。
[0083]在图示的例子中，因为使用光敏度高的绿色像素的Gb像素和Gr像素来作为视差像素，所以能够期待获得对比度高的视差图像。另外，因为使用相同绿色像素的Gb像素和Gr像素作为视差像素，所以容易将这2个像素的输出换算成无视差的输出，能够与无视差像素的R像素和B像素的输出一起生成高画质的2D图像数据。
[0084]图12是表示另一变例的一例的图。图12的变形与图10中的重复图案分类B_1相当。
[0085]在图示的例子中，将拜耳阵列的4个像素左右连续2组得到的8个像素设为重复图案110。8个像素中，对左侧的Gb像素分配视差L像素，对右侧的Gb像素分配视差R像素。在这样的排列中，通过将Gr像素设为无视差像素，与图10的例子相比，更加实现2D图像的高画质化。
[0086]图13是表示又一变例的一例的图。图13的变例与图10中的重复图案分类D_1相当。
[0087]在图示的例子中，将拜耳阵列的4个像素左右连续2组得到的8个像素设为重复图案110。8个像素中，对左侧的Gb像素分配视差L像素，对右侧的Gb像素分配视差R像素。进而，对左侧的R像素分配视差L像素，对右侧的R像素分配视差R像素。进而，对左侧的B像素分配视差L像素，对右侧的B像素分配视差R像素。对2个Gr像素分配无视差像素。
[0088]被分配给2个Gb像素的视差L像素和视差R像素，在被摄物体位于聚焦位置时接受从一个微小区域放射的光束。另外，被分配给2个R像素的视差L像素和视差R像素接受从与Gb像素时不同的一个微小区域放射的光束，被分配给2个B像素的视差L像素和视差R像素接受从与Gb像素及R像素时不同的一个微小区域放射的光束。因此，与图12的例子相比，作为3D图像的分辨率在纵向上变为3倍。而且，因为获得了 RGB3色的输出，所以获得高品质的作为彩色图像的3D图像。
[0089]此外，如果如上述那样将视差像素的种类设为2种，则能获得2个视点的视差图像，但视差像素的种类当然也可以根据想要输出的视差图像数来采用图3、图7、图8等所说明的各种数量。即使视点数增加，也能够形成各种重复图案110。因此，能够选择与规格、目的等相应的重复图案110。
[0090]在上述的例子中，对作为彩色滤光片阵列而采用了拜耳阵列的情况进行了说明，但当然也可以为其他的彩色滤光片阵列。此时，只要使构成一个光电转换元件组的视差像素分别包括具有面向互不相同的部分区域的开口部104的开口掩模103即可。
[0091]因此，摄像元件100只要如下即可:具有:将入射光光电转换成电信号的二维排列的光电转换元件108、与光电转换元件108的至少一部分分别一一对应地设置的开口掩模103、和与光电转换元件108的至少一部分分别——对应地设置的彩色滤光片102，相邻的η个(η为3以上的整数)光电转换元件108中，与至少2个(也可以是3个以上)的光电转换元件108对应设置的各个开口掩模103的开口部104，包含在由使互不相同的波段透过的至少3种彩色滤光片102构成的彩色滤光片图案的一个图案内，并且以使来自入射光的截面区域内的互不相同的部分区域的光束分别穿过的方式定位，以η个光电转换元件108为一组的光电转换元件组周期性地排列。
[0092]图14是说明另一彩色滤光片阵列的图。如图所示，另一彩色滤光片阵列为如下阵列:将图9所示的拜耳阵列的Gr像素维持为分配绿色滤光片的G像素，另一方面，将Gb像素变更为没有分配彩色滤光片的W像素。此外，W像素也可以如上述那样以使可见光的大约全部的波段透过的方式排列有没有实施着色的透明滤光片。
[0093]如果采用包含这样的W像素的彩色滤光片阵列，则虽然摄像元件输出的色彩信息的精度稍微降低，但W像素受光的光量比设有彩色滤光片的情况多，所以能够获得高精度的亮度信息。如果将W像素的输出汇集，也能够形成单色图像。
[0094]在包含W像素的彩色滤光片阵列的情况下，视差像素和无视差像素的重复图案110存在进一步的变例。例如，即使在比较暗的环境下拍摄的图像，与从彩色像素输出的图像相比，若是从W像素输出的图像，则被摄物体像的对比度高。因此，如果对W像素分配视差像素，则在多个视差图像之间进行的匹配处理中，能够期待高精度的运算结果。如后述那样，匹配处理作为获得视差像素量的处理的一环而执行。因此，在对2D图像的分辨率及视差图像画质的影响的基础上，进一步考虑对所提取的其他信息带来的利弊，来设定视差像素与无视差像素的重复图案110。
[0095]图15是表示在采用图14的另一彩色滤光片阵列的情况下的W像素和视差像素的排列的一例的图。图15的变例与拜耳阵列中的图12的重复图案分类B-1类似，因此在此设为B' -1。在图示的例子中，将另一彩色滤光片阵列的4个像素左右连续2组得到的8个像素设为重复图案110。8个像素中，对左侧的W像素分配视差L像素，对右侧的W像素分配视差R像素。在这样的排列中，摄像元件100输出视差图像作为单色图像，输出2D图像作为彩色图像。
[0096]在该情况下，摄像元件100只要如下即可:具有:将入射光光电转换成电信号的二维排列的光电转换元件108、与光电转换元件108的至少一部分分别一一对应地设置的开口掩模103、和与光电转换元件108的至少一部分分别——对应地设置的彩色滤光片102，相邻的η个(η为4以上的整数)光电转换元件108中，与至少2个光电转换元件108对应设置的各个开口掩模103的开口部104，不包含在由使互不相同的波段透过的至少3种彩色滤光片102构成的彩色滤光片图案的一个图案内，并且以使来自入射光的截面区域内的互不相同的部分区域的光束分别穿过的方式定位，以η个光电转换元件108为一组的光电转换元件组周期性地排列。
[0097]在以上说明的各变例的阵列中，无论哪种情况，仅通过将各像素的输出值汇集都无法获得全部的作为彩色图像数据的2D图像数据和作为彩色图像数据的视差图像数据。在此，所谓彩色图像数据是指用于生成彩色图像的原色信息没有欠缺而齐全的图像数据，例如为具有与原色滤光片的组合的例子的RGB滤光片分别对应的像素值作为原色信息的图像数据。相反，所谓非彩色图像数据是指用于生成彩色图像的原色信息的至少一部分欠缺的图像数据。例如，在仅对G像素分配了视差L像素的情况下，将视差L像素的输出汇集的左视差图像数据，虽然作为原色信息具有与G滤光片对应的像素值，但却没有与为生成彩色图像所需要的R滤光片和B滤光片对应的像素值。因此，首先，以上述几个变例的阵列为例对所生成的图像数据组各自的性质进行说明。此外，数据获取部231接受摄像元件100的输出信号来生成以下说明的图像数据组的各图像数据。
[0098]图16是说明根据使用图11说明的A-1阵列的摄像元件100的输出而生成的图像数据组的图。如上述那样，A-1阵列中，将与拜耳阵列相同的4个像素设为重复图案110。而且，R像素和B像素为无视差像素，Gb像素为视差L像素，Gr像素为视差R像素。
[0099]当从摄像元件100的像素输出中仅将视差L像素的输出保持其相对位置关系地抽出时，生成了图示的左视差图像数据。左视差图像数据仅具有Gb像素的像素值，图中作为空格表示的R、Gr、B像素的像素值欠缺。因此，单独通过该左视差图像数据无法生成作为左视差图像的彩色图像。即，左视差图像数据作为非彩色图像数据而生成。
[0100]同样，当从摄像元件100的像素输出中仅将视差R像素的输出保持其相对位置关系地抽出时，生成图示的右视差图像数据。右视差图像数据仅具有Gr像素的像素值，图中作为空格表示的R、Gb、B像素的像素值欠缺。因此，单独通过该右视差图像数据无法生成作为右视差图像的彩色图像。即，右视差图像数据作为非彩色图像数据而生成。
[0101]而且，当从摄像元件100的像素输出中仅将无视差像素的输出保持其相对位置关系地抽出时，生成图示的2D图像数据。此外，在以下的说明中，将2D图像数据设为基准图像数据。2D图像数据具有R像素和B像素的像素值，图中作为空格表示的Gb、Gr像素的像素值欠缺。因此，单独通过该2D图像数据无法生成作为2D图像的彩色图像。即，2D图像数据作为非彩色图像数据而生成。
[0102]如上所述，根据A-1阵列的摄像元件100的输出而生成的图像数据组的2D图像数据、左视差图像数据以及右视差图像数据都是非彩色图像数据。因此，仅通过任一个图像数据本身的数据，都无法生成彩色图像。
[0103]图17是说明根据使用图15说明的B' -1阵列的摄像元件100的输出而生成的图像数据组的图。如上所述，B' -1阵列中，将图14所示的彩色滤光片阵列的4个像素左右连续2组得到的8个像素设为重复图案110。而且，8个像素中，左侧的W像素为视差L像素，右侧的W像素为视差R像素，剩余的R像素、G像素、B像素各自都是无视差像素。
[0104]当从摄像元件100的像素输出中仅将视差L像素的输出保持其相对位置关系地抽出时，生成图示的左视差图像数据。左视差图像数据仅具有左侧的W像素的像素值，不具有与R像素、G像素、B像素对应的任一像素值。因此，单独通过该左视差图像数据无法生成作为左视差图像的彩色图像。即，该左视差图像数据作为非彩色图像数据而生成。
[0105]同样，当从摄像元件100的像素输出中仅将视差R像素的输出保持其相对位置关系地抽出时，生成了图示的右视差图像数据。右视差图像数据仅具有右侧的W像素的像素值，不具有与R像素、G像素、B像素对应的任一像素值。因此，单独通过该右视差图像数据无法生成作为右视差图像的彩色图像。即，该右视差图像数据作为非彩色图像数据而生成。
[0106]而且，当从摄像元件100的像素输出中仅将无视差像素的输出保持其相对位置关系地抽出时，生成了图示的2D图像数据。2D图像数据具有R像素、G像素以及B像素的像素值，若插补右下的G像素的像素值来作为图中空格表示的W像素的像素值，则变为具有与拜耳阵列对应的像素值的彩色图像数据。因此，能够仅根据该2D图像数据使用公知的图像处理技术来生成作为2D图像的彩色图像。此外，在插值处理中，不仅可以利用右下的G像素的像素值，还可以利用其他的G像素的像素值。
[0107]如上所述，在根据B' -1阵列的摄像元件100的输出而生成的图像数据组中，2D图像数据为彩色图像数据，左视差图像数据和右视差图像数据为非彩色图像数据。
[0108]图18是说明根据使用图13说明的D-1阵列的摄像元件100的输出而生成的图像数据组的图。如上所述，D-1阵列中，将拜耳阵列的4个像素左右连续2组得到的8个像素设为重复图案110。而且，8个像素中，左侧的R像素、Gb像素、B像素为视差L像素，右侧的R像素、Gb像素、B像素为视差R像素,2个Gr像素为无视差像素。
[0109]当从摄像元件100的像素输出中仅将视差L像素的输出保持其相对位置关系地抽出时，生成了图示的左视差图像数据。左视差图像数据在重复图案Iio的左半部分具有R像素、Gb像素以及B像素的像素值。而且，若插补Gb像素的像素值来作为Gr像素的像素值，进而，例如将重复图案110中像素值齐全的左半部分也直接应用于右半部分，则变为具有与拜耳阵列对应的像素值的彩色图像数据。因此，能够仅根据该左视差图像数据生成作为左视差图像的彩色图像。
[0110]同样，当从摄像元件100的像素输出中仅将视差R像素的输出保持其相对位置关系地抽出时，生成图示的右视差图像数据。右视差图像数据在重复图案110的右半部分中具有R像素、Gb像素以及B像素的像素值。而且,若插补Gb像素的像素值来作为Gr像素的像素值，进而，例如将重复图案110中像素值齐全的右半部分也直接应用于左半部分，则变为具有与拜耳阵列对应的像素值的彩色图像数据。因此，能够仅根据该右视差图像数据生成作为右视差图像的彩色图像。
[0111]而且，当从摄像元件100的像素输出中仅将无视差像素的输出保持其相对位置关系地抽出时，生成图示的2D图像数据。2D图像数据仅具有Gr像素的像素值，图中作为空格表示的R、Gb、B像素的像素值欠缺。因此，单独通过该2D图像数据无法生成作为2D图像的彩色图像。即，2D图像数据作为非彩色图像数据而生成。
[0112]如上所述，在根据D-1阵列的摄像元件100的输出而生成的图像数据组中，2D图像数据为非彩色图像数据，左视差图像数据和右视差图像数据为彩色图像数据。
[0113]如此，在根据摄像元件100的输出而生成的图像数据组中，至少某一方为非彩色图像数据。于是，以下对将所生成的非彩色图像数据转换成彩色图像数据的处理进行说明。
[0114]首先，说明假设根据摄像元件100的输出而生成的图像数据组的2D图像数据、左视差图像数据以及右视差图像数据全部为彩色图像数据的情况下的、图像数据间所产生的视差像素量。图19是说明被摄物体位置与视差像素量的关系的说明图。
[0115]图19的(a)是概念性地表示从被摄物体的同一微小区域放射的被摄物体光束相对于被摄物体位置的不同而出现在与各图像数据对应的2D图像、左视差图像和右视差图像的哪个区域中的图。在此，所谓被摄物体位置是指沿着z轴方向的纵深方向上的位置。图中示出被摄物体相对于摄影透镜20位于聚焦位置(Focus)、非聚焦位置的+焦点位置(OutFocus)和-焦点位置(In Focus)的情况。+焦点位置是比聚焦位置远的位置，-焦点位置是比聚焦位置近的位置。另外，在以下的说明中，适当地使用将作为拜耳阵列的一个图案的纵向2个像素横向2个像素的4个像素作为I个像素块的像素块单位。
[0116]无论被摄物体位于聚焦位置、+焦点位置、-焦点位置的哪一个位置，从同一微小区域放射的被摄物体光束对于2D图像而言都出现在同一像素块(图中为块2)中。对于左视差图像而言，如果被摄物体位于聚焦位置，则从相同微小区域放射的被摄物体光束穿过光瞳的部分区域1\而与2D图像相同地出现在块2中。另一方面，如果被摄物体位于-焦点位置，则从相同微小区域放射的被摄物体光束穿过光瞳的部分区域而出现在块I中，如果被摄物体位于+焦点位置则出现在块3中。对于右视差图像而言，如果被摄物体位于聚焦位置，则从相同微小区域放射的被摄物体光束穿过光瞳的部分区域Pk而与2D图像相同地出现在块2中。另一方面，如果被摄物体位于-焦点位置，则从相同微小区域放射的被摄物体光束穿过光瞳的部分区域Pk而出现在块3中，如果被摄物体位于+焦点位置则出现在块I中。
[0117]也就是说，只要被摄物体位于聚焦位置，从同一微小区域放射的被摄物体光束，无论对于哪一图像而言都出现在互相对应的同一块中。另一方面，如果被摄物体位于非聚焦位置，则在图像之间出现在互相偏离的块中。而且，在被摄物体位于+焦点位置的情况和位于-焦点位置的情况下，偏离的方向相反。另外，从图中的被摄物体位置的相对关系也可以理解，非聚焦位置越远离聚焦位置，偏离量就越大。
[0118]图19的(b)是表示图19的(a)所示的图像间的视差像素量的关系的图。如上所述，在右视差图像和左视差图像中，在被摄物体位于非聚焦位置的情况下，记载了与块2不同的块编号。此时，图的右端列所示的视差像素量表示左视差图像相对于作为基准图像的2D图像偏离了几块。
[0119]在本实施方式中，因为光瞳的部分区域Plj和Pk被设定为相对于光轴21对称,所以同一被摄物体的右图像相对于2D图像的视差像素量与左图像相对于2D图像的视差像素量为大小相同方向相反。因此，只要将图的右端列所示的视差像素量的符号取反就表示右视差图像相对于作为基准图像的2D图像偏离了几块。
[0120]此外，在以下的说明中，将作为彩色滤光片的一个图案的拜耳阵列图案作为I个像素块而设为视差像素量的基准单位，但视差像素量的基准单位也可以是I个像素单位，还可以是重复图案110的一个图案。视差像素量的基准单位只要根据图像数据组的各个图像数据以何种程度解析像、需要何种程度的精度、整体的运算负载量是否适当等各种原因来决定即可。
[0121 ] 在上述的说明中，对从被摄物体的同一微小区域放射的被摄物体光束出现在哪个像素块中进行了说明。相反，只要在视差图像间进行像的匹配处理，就能够算出各个视差块中的视差像素量，因此能明确一方的视差图像的哪个像素块与另一方的视差图像的哪个像素块对应。也就是说，在两个视差图像间，能够掌握捕捉被摄物体的同一微小区域的像素块的相对位置关系。另外，如上所述，与基准图像的视差像素量为视差图像间的视差像素量的一半。因此，能够在全部块的范围内分别罗列左视差图像相对于基准图像偏离了几块，所罗列的数列形成所谓的视差图。
[0122]图20是说明视差图的生成处理的说明图。视差量运算部232受理数据获取部231生成的左视差图像数据和右视差图像数据，执行以下的视差图生成处理。
[0123]视差量运算部232决定对象块所包含的像素中具有像素值的对象像素311，针对该对象像素311决定局部窗口 312。然后，以局部窗口 312为基准在2个图像间进行匹配处理，决定包含对象像素311的对象块中的视差像素量。具体而言，视差量运算部232与左视差图像上的局部窗口 312对应地在右视差图像上设定局部窗口 314，一边使局部窗口 314相对于局部窗口 312相对地偏离一边搜索互相匹配良好的图像区域。然后，确定判断为匹配良好的局部窗口 314的位置，算出作为其中心坐标的搜索像素313的坐标值。视差像素量是将对象像素311的坐标值与搜索像素313的坐标值之差换算成视差块单位而决定的。然后，视差量运算部232在左视差图像上一边从左上到右下依次扫描对象像素311 —边逐次执行上述的匹配处理，算出左视差图像和右视差图像的视差像素量。
[0124]而且，为了使2D图像为基准图像，视差量运算部232用所算出的视差像素量的各自一半的值来完成视差图。作为上述的算出结果，例如在图示的例子中，视差图表现为与作为各被摄物体的少年301、少女302、女性303以及背景304的各被摄物体区域对应的视差像素量。在图示的例子中，对焦在少年301处，在少年301的区域中视差像素量为0，在比少年301靠前的少女302的区域中示出-1的值,在位于里侧的女性303的区域中示出+1的值，更远方的背景示出+4的值。
[0125]图21是表示参照视差图来移植原色信息的处理的概念图。如上所述，当使用视差图像数据生成视差图时，图像转换部233参照视差图将非彩色图像数据转换成彩色图像数据。在此，作为例子，对作为图像数据组而生成的图像数据中2D图像数据为彩色图像数据、视差图像数据为非彩色图像数据的情况进行说明。
[0126]作为基准图像的2D图像数据，在各像素块中具有作为原色信息的、与RGB滤光片分别对应的像素值。在将n、m设为自然数时，将针对像素块(n，m)的原色信息表示为C?。然后，图像转换部233参照视差图来移植2D图像数据的像素块(n'，m')的原色信息Cn, ffl,作为视差图像数据中的像素块(n，m)的原色信息。图像转换部233对全部块重复该作业，将非彩色图像数据的视差图像数据转换成彩色图像数据。
[0127]使用图示的例子进行具体说明。在要获取左视差图像数据的像素块(1，I)的原色信息的情况下，参照视差图的像素块(1，1)。由于此时视差图的像素块(1，1)示出视差像素量0，所以图像转换部233直接检索作为对应的像素块的、2D图像数据的像素块(1，1)。然后，图像转换部233通过将2D图像数据的像素块(1，I)的原色信息C11移植到左视差图像数据的像素块(1，1)来获取原色信息。由于视差像素量为0，所以图像转换部233针对右视差图像数据的像素块(1，1)也同样地移植2D图像数据的像素块(1，1)的原色信息Cn。
[0128]接着，在要获取左视差图像数据的像素块(1，2)的原色信息的情况下，参照视差图的像素块(1，2)。由于此时视差图的像素块(1，2)示出视差像素量1，所以图像转换部233检索2D图像数据的对应的像素块(1，2)的向右侧偏移一块后的像素块(1，3)。然后，图像转换部233通过将2D图像数据的像素块(1，3)的原色信息C13移植到左视差图像数据的像素块(1，2)来获取原色信息。
[0129]接着，图像转换部233获取右视差图像数据的像素块(1，2)的原色信息。虽然所参照的视差图的像素块(1，2)的视差像素量示出1，但因为在向右视差像素数据移植原色信息时将符号取反，所以在此视差像素量为-1。因此，图像转换部233检索2D图像数据的对应的像素块(1，2)的向左侧偏移一块后的像素块(1，1)。然后，图像转换部233通过将2D图像数据的像素块(1，1)的原色信息C11移植到右视差图像数据的像素块(1，2)来获得原色信息。
[0130]即，在视差像素量为k时，图像转换部233向左视差图像数据的像素块(n，m)移植2D图像数据的原色信息Cnrt,向右视差图像数据的像素块(n，m)移植2D图像数据的原色信息Cmrit，获得各视差图像数据原色信息。像这样将原色信息移植到左视差图像数据的全部块、右视差图像数据的全部块而完成彩色图像数据。
[0131]在图21的例子中，对在视差图像数据都为非彩色图像数据、2D图像数据为彩色图像数据的情况下的原色信息的移植进行了说明。在由数据获取部231获取的图像数据组中视差图像数据都为非彩色图像数据、2D图像数据为彩色图像数据的情况是摄像元件100采用例如B-1阵列、B' -1阵列的情况。但是，在这些阵列中，重复图案110为纵向2个像素横向4个像素的8个像素。因此，在将图21那样的纵向2个像素横向2个像素的4个像素设为I个块的情况下，视差量运算部232只要实施利用相邻的像素值插补视差图像数据中缺失的像素值等的处理来算出与各块对应的视差像素量即可。
[0132]与图21的例子相反，在视差图像数据都为彩色图像数据、2D图像数据为非彩色图像数据的情况下，图像转换部233参照视差图将例如左视差图像数据的原色信息移植到2D图像数据。当然，原色信息的移植源也可以是右视差图像数据，还可以实施取两个图像数据的原色信息的平均等处理。这意味着，本实施方式中的所谓移植不限于单纯地将移植源的像素值设为移植目标的像素值的情况，也包含对移植源的像素值进行加工来作为移植目标的像素值的情况。此时，作为加工源的像素值，并不限于对象像素值所属的图像数据的像素值，也可以参照移植目标的图像数据的像素值。作为加工的例子，并不限于均化处理，也可以实施各种数字滤波器处理。进而，也可以根据视差像素量来变更处理，还可以根据被摄物体像的特征例如与边缘对应的部位等来变更处理。
[0133]由数据获取部231获取的图像数据组中视差图像数据都为彩色图像数据、2D图像数据为非彩色图像数据的情况是摄像元件100例如采用D-1阵列的情况。数据获取部231根据采用D-1阵列的摄像元件100的像素输出而生成的2D图像数据具有Gr像素的像素值。因此，在从视差图像数据移植原色信息的情况下，图像转换部233可以将移植的G像素的像素值与2D图像数据的Gr像素的像素值进行比较来调整整体的亮度值。
[0134]在不是视差图像数据和2D图像数据的一方为彩色图像数据且另一方为非彩色图像数据的关系，而是两方都为非彩色图像数据的情况下，也能够执行由移植处理实现的彩色图像化。图22是表示在视差图像数据与2D图像数据之间互相移植原色信息的处理的概念图。由数据获取部231获取的图像数据组中视差图像数据和2D图像数据都为非彩色图像数据的情况，是摄像元件100例如采用A-1阵列的情况。
[0135]该情况下，与图21的例子同样地，图像转换部233将作为2D图像数据的原色信息的B像素和R像素的像素值移植到左视差图像数据和右视差图像数据。另外，图像转换部233参照视差图，从左视差图像数据中移植2D图像数据中的Gb像素的像素值，从右视差图像数据中移植2D图像数据中的Gr像素的像素值。如此，通过相互移植空格来使各个图像数据成为彩色图像数据。但是，在执行这样的处理的情况下，从光量、离焦量的观点出发，优选使视差像素的开口部104和无视差像素的开口部的面积相等。
[0136]在以上的与原色信息的移植处理相关的说明中，以左视差图像数据和右视差图像数据这2个视差图像数据为前提，但对于例如使用图5说明的6个视差图像数据等大量视差图像数据也可以实施同样的处理。在该情况下，视差量运算部232考虑对应的左右视差图像数据的组合来生成多个视差图。
[0137]另外，在上述中，以对全部像素块运算视差像素量的情况为前提进行了说明，但有时也存在由于被摄物体的空间频率、遮挡等而通过匹配处理无法运算视差像素量的像素块。在这样的情况下，视差量运算部232也可以考虑与相邻的像素块的视差像素量的连续性来进行插补。或者，视差量运算部232也可以将无法运算的像素块的视差像素量假设为O，由图像处理部205对所生成的彩色图像数据实施修正处理等。
[0138]另外，在以上的说明中，以视差像素量为整数值的情况进行了说明，但根据匹配处理而算出的视差像素量也可以包含小数值。在包含小数值时，例如算出像素块的中心坐标的原色信息的情况下，图像转换部233算出对具有夹着该中心坐标的2个视差像素量的各个原色信息根据与中心坐标的距离来进行加权平均而得到的值。另外，原色信息的移植也可以不以像素块为单位。图像转换部233例如也可以考虑像素块的中心坐标和实际移植的像素位置的差异来进行图像转换。
[0139]另外，在以上的说明中，视差量运算部232基于所获得的图像数据对同一被摄物体像之间的视差像素量进行了运算。但是，运算结果所采用的量并不限于视差像素量，只要是与同一被摄物体像之间的视差对应的量即可。例如，也可以与像素间距对应地由距离来表现，也可以应用符合其他规格的量(scale)。
[0140]另外，在以上的说明中，将2D图像数据作为基准图像数据进行了说明，但例如在图像数据组不包含2D图像数据的情况等下，也可以将视差图像数据的任一方作为基准图像数据。
[0141]另外，在以上的说明中，例如作为图像处理部205包含的数据获取部231、视差量运算部232以及图像转换部233等构成数码相机10的各构成要素的功能说明了各自的处理。另一方面，使控制部201工作的控制程序，能够作为使构成数码相机10的各硬件执行上述处理的构成要素而发挥功能。
[0142]另外，在以上的说明中，作为具有摄像元件100的数码相机10进行了说明，但非彩色图像数据的彩色图像数据化处理也可以不由数码相机10来进行，而由外部的个人计算机等设备来进行。在该情况下，外部的个人计算机等设备作为图像处理装置而发挥功能。图像处理装置获取包含任一方为非彩色图像数据的、针对同一场景的基准图像数据和视差图像数据的图像数据组，将非彩色图像数据转换成彩色图像数据。
[0143]以上，使用实施方式说明了本发明，但本发明的技术范围并不限定于上述实施方式所记载的范围。能够对上述实施方式进行各种变更或改进，这对本领域技术人员来说是清楚的。进行了这样的变更或改进的方式也能够包含在本发明的技术范围内，从权利要求书的记载来看是明确的。
[0144]关于在权利要求书、说明书以及附图中示出的装置、系统、程序以及方法中的动作、顺序、步骤以及阶段等各处理的执行顺序，需要注意的是，只要没有特别明示“比?前”、“先于”等也没有在后一处理中使用前一处理的输出，就能够以任意的顺序来实现。关于专利要求书、说明书以及附图中的动作流程，即使为了方便而使用“首先，’ ’、“接着，’ ’等进行了说明，也并不意味着必须按照该顺序来实施。
[0145]附图标记说明
[0146]10数码相机，20摄影透镜，21光轴，30被摄物体，100摄像元件，101微透镜，102彩色滤光片，103开口掩模，104开口部，105布线层，106布线，107开口，108光电转换元件，109基板，110重复图案，120摄像元件，121屏幕滤光片，122彩色滤光片部，123开口掩模部，201控制部，202A / D转换电路，203存储器，204驱动部，205图像处理部，207存储卡IF, 208操作部，209显示部，210IXD驱动电路，21IAF传感器，220存储卡，231数据获取部，232视差量运算部，233图像转换部，301少年，302少女，303女性，304背景，311对象像素，312,314局部窗口，313搜索像素
【权利要求】
1.一种图像处理装置，具有: 图像获取部，其获取对同一场景进行拍摄而生成的图像数据组，所述图像数据组是基准图像数据和相对于所述基准图像数据的被摄物体像具有视差的视差图像数据的组，所述基准图像数据和所述视差图像数据的至少任一方是原色信息的至少一部分欠缺的非彩色图像数据，其中，所述原色信息用于生成彩色图像； 视差量运算部，其运算与所述基准图像数据和所述视差图像数据的同一被摄物体像之间的视差对应的视差量；和 图像转换部，其基于所述视差量将所述基准图像数据和所述视差图像数据中的某一方的所述原色信息的至少一部分移植到另一方，将所述非彩色图像数据转换成彩色图像数据。
2.根据权利要求1所述的图像处理装置，其中， 所述图像数据组包括所述基准图像数据、第I视差图像数据和第2视差图像数据至少三个图像数据，所述第I视差图像数据相对于所述基准图像数据在一个方向上具有所述视差，所述第2视差图像数据相对于所述基准图像数据在与所述一个方向相反的另一个方向上具有所述视差。
3.根据权利要求2所述的图像处理装置，其中， 所述第I视差图像数据和所述第2视差图像数据是所述非彩色图像数据， 所述图像转换部将所述基准图像数据的所述原色信息的至少一部分移植到所述第I视差图像数据及所述第2视差图像数据，将所述第I视差图像数据及所述第2视差图像数据转换成所述彩色图像数据。
4.根据权利要求3所述的图像处理装置，其中， 所述第1视差图像数据和所述第2视差图像数据是不具有所述原色信息的亮度图像数据。
5.根据权利要求2所述的图像处理装置，其中， 所述基准图像数据是所述非彩色图像数据， 所述图像转换部将所述第I视差图像数据和所述第2视差图像数据的至少某一方的所述原色信息的至少一部分移植到所述基准图像数据，将所述基准图像数据转换成所述彩色图像数据。
6.根据权利要求2所述的图像处理装置，其中， 所述基准图像数据、所述第I视差图像数据和所述第2视差图像数据均为所述非彩色图像数据， 所述图像转换部将所述第I视差图像数据和所述第2视差图像数据的至少某一方的所述原色信息的至少一部分移植到所述基准图像数据，将所述基准图像数据的所述原色信息的至少一部分移植到所述第I视差图像数据和所述第2视差图像数据，将所述基准图像数据、所述第I视差图像数据和所述第2视差图像数据转换成所述彩色图像数据。
7.根据权利要求2~6中任一项所述的图像处理装置，其中， 所述视差量运算部运算所述第I视差图像数据与所述第2视差图像数据的所述视差量，之后，运算所述基准图像数据与所述第I视差图像数据的所述视差量及所述基准图像数据与所述第2视差图像数据的所述视差量。
8.根据权利要求2~6中任一项所述的图像处理装置，其中， 所述视差量运算部生成表示所述第I视差图像数据及所述第2视差图像数据相对于所述基准图像数据的所述视差量的视差图， 所述图像转换部参照所述视差图来移植所述原色信息。
9.一种摄像装置，具有: 对所述同一场景进行拍摄的摄像元件；和 权利要求1~8中任一项所述的图像处理装置， 所述图像获取部根据所述摄像元件的输出信号生成并获取所述图像数据组。
10.根据权利要求9所述的摄像装置，其中， 所述摄像元件具有: 二维排列的光电转换元件，其将入射光光电转换成电信号； 开口掩模，其与所述光电转换元件的至少一部分分别一一对应地设置；和 彩色滤光片，其与所述光电转换元件的至少一部分分别一一对应地设置， 对与相邻的η个所述光电转换元件中的至少2个所述光电转换元件对应设置的各所述开口掩模的开口进行定位，以使该开口包含在彩色滤光片图案的一个图案内，并且使来自所述入射光的截面区域内的互不相同的部分区域的光束分别穿过，以所述η个所述光电转换元件为一组的光电转换元件组周期性地排列，其中，所述彩色滤光片图案包含使互不相同的波段透过的至少3种所述彩色滤光片，η为3以上的整数。
11.一种图像处理程序，使计算机执行如下步骤: 图像获取步骤，获取对同一场景进行拍摄而生成的图像数据组，所述图像数据组是基准图像数据和相对于所述基准图像数据的被摄物体像具有视差的视差图像数据的组，所述基准图像数据和所述视差图像数据的至少任一方是原色信息的至少一部分欠缺的非彩色图像数据，其中，所述原色信息用于生成彩色图像； 视差量运算步骤，运算与所述基准图像数据和所述视差图像数据的同一被摄物体像之间的视差对应的视差量；和 图像转换步骤，基于所述视差量将所述基准图像数据和所述视差图像数据的某一方的所述原色信息的至少一部分移植到另一方 ，将所述非彩色图像数据转换成彩色图像数据。
【文档编号】G09G5/00GK103621078SQ201280012963
【公开日】2014年3月5日 申请日期:2012年4月13日 优先权日:2011年4月14日
【发明者】芝崎清茂, 浜岛宗树, 森晋, 铃木由美 申请人:株式会社尼康