率的牺牲。并且，相位差检测用像素成为像素缺陷这样的状态，成为画质劣化的因素，所以，需要进行高度的校正处理。
[0055]并且，在专利文献1的彩色相位差方式、未直接涉及AF的专利文献2的彩色相位差方式中，能够消除图像内相位差方式的课题。但是，在使用通常的三原色彩色摄像元件的情况下，例如对右光瞳通过光束用途分配R(红色)滤镜，对左光瞳通过光束用途分配B (蓝色)滤镜等，必须能够通过三原色中的任意一方明确地分离相位差图像。因此，在仅红色成分R的图像或仅蓝色成分B的图像等单一颜色图像的情况下，只能取得通过了左右光瞳中的一个光瞳的图像，无法检测相位差。并且，在R和B的图像的相关性较低的情况下，即使通过颜色分离而取得相位差图像，检测相位差的精度也劣化。这样，在彩色相位差方式中，可能产生无法检测相位差的状况或检测精度显著劣化的状况。进而，由于使用仅使RGB中的一部分颜色的光束通过的滤镜，所以，产生光量降低。并且，由于散焦位置的摄像图像必定由于相位差而引起色偏，所以，需要进行高精度校正该色偏的处理。因此，在校正图像的品质、处理的实时性、低成本化的观点中存在课题。
[0056]为了解决这些彩色相位差方式的课题，考虑使用多波段滤镜的方法(例如日本特开2005-286649号公报)。在该方法中，例如，对右光瞳光束用途分配波长分离后的两个颜色的滤镜R1、B1，对左光瞳光束用途也分配波长分离后的两个颜色的滤镜R2、B2等，得到左右相位差图像。该情况下，在摄像元件中需要用于分离各颜色的多波段(多分割波段)的滤色镜，并且，针对各个波段的滤色镜需要分配像素。因此，一个一个的波段图像(分离波段图像)的取样必定变粗糙，使相位差检测用的相关精度降低。并且，残留有如下课题:根据取样的粗糙度，单一波段图像的分辨率也降低，作为摄像图像的分辨率也劣化。
[0057]这样，在现有的相位差AF中存在各种课题，例如色偏产生、分辨率降低、需要进行像素缺陷的高度校正、相位差的检测精度降低、可能存在无法检测相位差的状况、需要具有多波段滤色镜的摄像元件等。
[0058]因此，如图1所示，本实施方式的摄像装置包括光学滤镜12，摄像元件20、多波段估计部30。光学滤镜12将摄像光学系统10的光瞳分割成第1光瞳和透射波段与第1光瞳不同的第2光瞳。摄像元件20包括具有第1透射率特性的第1颜色(例如红色)滤镜、具有第2透射率特性的第2颜色(绿色)滤镜、具有第3透射率特性的第3颜色(蓝色)滤镜。而且，多波段估计部30根据构成通过摄像元件20进行摄像而得到的图像的第1颜色?第3颜色的像素值R、G、B，估计根据第1光瞳和第2光瞳的透射波段以及第1?第3透射率特性设定的第1?第4波段的成分值Rl、R2、Bl、B2。
[0059]根据本实施方式，能够根据第1光瞳和第2光瞳的透射波段以及通过具有第1颜色?第3颜色的滤色镜的摄像元件20得到的第1颜色?第3颜色的像素值R、G、B来设定第1?第4波段，能够根据构成通过摄像元件20进行摄像而得到的图像的第1?第3颜色的像素值来估计该第1?第4波段的成分值Rl、R2、Bl、B2。由此，能够实现多波段的摄像系统而不大幅变更现有摄像系统。
[0060]以后述实施方式为例具体进行说明。摄像元件20是原色RGB的单板摄像元件。即，是针对每一个像素设置一个颜色的滤镜、且该像素以规定配置(例如拜耳排列)排列的元件。如图3所示，RGB的波段(Fb、Fg, Fr)叠加。叠加特性例如与现有的摄像传感器的滤色镜相同，特别是能够以不伴有大幅变更的方式进行使用。
[0061]并且，如图2、图3所示，例如对右光瞳(FL1)分配两个颜色Rl、B1的频带(BD3、BD2)，对左光瞳(FL2)分配两个颜色R2、B2的频带(BD4、BD1)。这样，根据第1光瞳和第2光瞳的透射波段以及第1颜色?第3颜色滤镜的第1?第3透射率特性来设定第1?第4波段。由于摄像元件20的R和G的波段以及G和B的波段叠加，所以，能够取得R = R1+R2、G = R2+B2、B = B1+B2作为像素值。在本实施方式中，利用该叠加进行估计处理，确定4波段的成分值 Rl、R2、Bl、B2 (rRR、rLR、bRB、bLB)。
[0062]该情况下，能够根据与右光瞳对应的成分值Rl、B1构成右光瞳图像(IR (X))，能够根据与左光瞳对应的成分值R2、B2构成左光瞳图像(lL(x))。通过使用这两个图像，能够求出相位差。由于能够使用通常的RGB摄像元件作为摄像元件20，所以，摄像图像得到以往那样的分辨率的RGB图像。S卩，由于不需要现有技术这样的用于分离四个颜色的分配像素，所以，得到RGB图像而不会降低摄像图像的分辨率。并且，通过RGB拜耳图像的去马赛克，相位差图像的分辨率也不会降低，所以，能够提高相位差的检测精度。并且，由于对第1光瞳和第2光瞳双方分配了红色和蓝色的频带，所以，还能够抑制散焦位置的图像的色偏。
[0063]如上所述，本实施方式能够以单眼方式进行视差拍摄(立体信息取得拍摄)，不用大幅改变现有摄像光学系统的结构和摄像传感器的构造，能够通过后处理而得到全部像素的相位差信息。并且，其结果，由于得到四个颜色Rl、R2、B2、B1的图像，所以，左右光瞳图像能够进行这些分光的各种组合，针对被摄体的各种分光特性的检测范围也变宽。作为本实施方式的应用，例如可以假设高速相位差AF、基于单眼的立体观察、被摄体测距等。
[0064]2.基本结构
[0065]接着，对本实施方式的详细情况进行说明。另外，下面，适当将摄像元件称为摄像传感器。并且，以下使用的透射率特性{Fr，Fg, Fb}、{rR，rL, bR，bL}均为波长λ的函数，但是，为了简化表记而省略波长λ。波段的成分值M bRB，込，rRR}不是函数而是值。
[0066]图2示出本实施方式中的摄像光学系统10的基本结构例。摄像光学系统10包括使被摄体在摄像元件20的传感器面上成像的成像透镜14、以及利用第1光瞳和第2光瞳对频带进行分离的光学滤镜12。下面，设第1光瞳为右光瞳、第2光瞳为左光瞳来进行说明，但是，在本实施方式中不限于此。即，光瞳的分离方向不限于左右，在与摄像光学系统的光轴垂直的任意方向上分离第1光瞳和第2光瞳即可。
[0067]光学滤镜12具备具有透射率特性{bR，rR}的右光瞳滤镜FL1 (第1滤镜)以及具有透射率特性IbS rL}的左光瞳滤镜FL2(第2滤镜)。如后所述，透射率特性{rR，rL, bR，bL}设定为梳齿状。光学滤镜12设置在摄像光学系统10的光瞳位置(例如光圈的设置位置)，滤镜FL1、FL2分别相当于右光瞳、左光瞳。
[0068]3.波段分割方法
[0069]图3示出与波段分割有关的说明图。另外，表示各成分值的符号0Λ等)的上角标表示穿过右光瞳“R”和左光瞳“L”中的某一方，下角标表示穿过摄像元件20的红色滤镜“R”、绿色滤镜“G”、蓝色滤镜“B”中的某一方。
[0070]如图3所示，第1?第4波段BD1?BD4对应于光学滤镜12的透射率特性{ΛrR，bR，bL}。S卩，对右光瞳分配内侧2个波段BD2、BD3，对左光瞳分配外侧2个波段BD1、BD4。这些波段BD1?BD4的成分值{b、，bRB，rLR, rRJ是根据摄像系统的分光特性而确定的成分值。
[0071]图3示出摄像传感器的滤色镜的透射率特性{Fr，Fg,Fb}作为摄像系统的分光特性，但是，严格地讲，摄像系统的分光特性例如还包含除了滤色镜以外的摄像传感器所具有的分光特性、光学系统所具有的分光特性等。下面，为了简化说明，设摄像传感器等的分光特性包含在图3所示的滤色镜的透射率特性{Fr，Fg, Fb}中。
[0072]滤色镜的透射率特性{Fr，Fg, Fb}相互叠加，对应于该叠加来设定波段。S卩，波段BD2对应于蓝色、绿色滤镜的透射率特性{Fb，FJ的重合部分，波段BD3对应于绿色、红色滤镜的透射率特性{Fp Fr}的重合部分。并且，波段BD1对应于蓝色滤镜的透射率特性匕的非重合部分，波段BD4对应于红色滤镜的透射率特性匕的非重合部分。这里，非重合部分是不与其他滤色镜的透射率特性重合的部分。
[0073]考虑光学滤镜12的分光特性、成像光学系统的分光特性、摄像传感器的RGB滤镜特性、像素的感光度特性来设定波段BD1?BD4的带宽，以使得例如在对理想的白色被摄体(平面分光特性的像)进行摄像时，4个分光成分{r\，rRR，bRB，bV}成为同一像素值。S卩，波段BD1?BD4的带宽不需要是透射率特性的带宽或重合部分的带宽本身。例如，透射率特性{Fg，Fb}的重合部分的频带大约为450nm?550nm，但是，波段BD2对应于重合部分即可，不需要是450nm?550nmo
[0074]如图2所示，4波段的成分值{Λ，rRR, bRB，bLB}构成左图像?\χ)和右图像IR(x)。例如，能够如下式(1)或下式(2)或下式(3)那样构成。这里，X是光瞳分割方向(例如摄像元件20的水平扫描方向)上的位置(坐标)。
[0075][IL(x), IR(x)] = [rLR (x), rRR (x) ] (1)
[0076][IL(x), IR(x)] = [bLB (x), bRB (x) ] (2)
[0077][IL (x), IR (x) ] = [rLR (x) +bLB (x), rRR (x) +bRB (x) ] (3)
[0078]4.多波段估计处理
[0079]接着，对根据3个颜色的像素值{R，G，B}来估计4波段的成分值{匕，rRR, bRB，bLB}的处理进行说明。另外，下面，以进行光瞳分割的情况为例进行说明，但是，在不进行光瞳分割的情况下也能够应用本实施方式的多波段估计处理。即，还可以不设置光学滤镜12，而根据进行摄像而得到的图像，通过同样的估计方法得到4波段的图像。
[0080]如图2所示，利用具有拜耳排列的滤色镜的摄像传感器对透射过光学滤镜12的左右光瞳的成像光进行摄像。对拜耳图像进行去马赛克处理，生成每个RGB的3个图像(在全部像素中存在R像素值、G像素值、B像素值的图像)。另外，摄像元件20也可以是原色RGB的三板摄像元件。S卩，摄像元件20能够对第1颜色?第3颜色的图像进行拍摄即可。
[0081]如图3中说明的那样，对应于滤色镜的分光特性{Fr，Fg, Fb}的叠加来分配左右光瞳的分光特性lrR，rL, bR，bL}。因此，在摄像传感器的各像素中取得的RGB值与4波段的成分值之间，下式(4)的关系成立。
[0082]R = rRR+rLR,
[0083]G = rRG+bRG,
[0084]B = bRB+bLB (4)
[0085]这里，在叠加部分中，分光特性{Fb，Fg, Fr}的感光度不同。即，针对右光瞳的蓝色透射光(bR)的蓝、绿像素(Fb、F(；)的感光度不同，针对右光瞳的红色透射光(rR)的绿、红像素(Fe、Fr)的感光度不同。当设绿、红的像素的感光度比(增益比)为系数α、设蓝、绿像素的感光度比(增益比)为系数β时，成为下式(5)。
[0086]rRG= α.r RR，
[0087]bRG= β.b rb (5)
[0088]系数α、β是根据成像光学系统、光学滤镜12、摄像传感器的滤色镜、摄像传感器的像素的分光特性而决定的值。为了简化说明，当设a = β = 1时，根据上式(5)，成分值irRG，bRG}可以视为下式(6)0
[0089]rRG= r RR，
[0090]bRG= b rb (6)
[0091]根据上式(6)，可以如下式(7)那样改写上式⑷。
[0092]R = rRR+rLR,
[0093]G = rRR+bRB,
[0094]Β = bRB+bLB (7)
[0095]当对上式(7)进行变形时，得到下式⑶。
[0096]G-R = bRB-rLR,
[0097]rRR= R-r LR,
[0098]bLB= B-b rb (8)
[0099]在上式⑶中，当设成分值A为未知数(未知变量)时，如下式(9)那样，能够求出4波段的成分值{r^，rRR，bRB，b^}的关系式。另外，未知数不限于成分值，也可以将4波段的成分值中的任意一方作为未知数。
[0100]rLR=(未知数)，
[0101]rRR= R-r LR,