据解压缩部210、多波段估计部220、监视器图像生成部230、图像处理部240、监视器显示部250、分光特性存储部260、相位差检测部270、完整4波段相位差图像生成部280、测距运算部290。作为该图像处理装置，例如假设PC等信息处理装置。
[0165]数据记录部200例如由外部存储装置(例如存储卡)构成，存储由摄像装置记录的RGB图像数据和透射率特性数据。数据解压缩部210进行对由摄像装置压缩后的RGB图像数据进行解压缩的处理。分光特性存储部260从数据记录部200取得透射率特性数据并进行存储。
[0166]多波段估计部220、监视器图像生成部230、图像处理部240、监视器显示部250、相位差检测部270、完整4波段相位差图像生成部280、测距运算部290的结构和动作与图11的摄像装置中说明的同名结构要素相同。
[0167]根据以上的实施方式，如图3等中说明的那样，第1、第2波段BD1、BD2对应于第1透射率特性FB的频带，第2、第3波段BD2、BD3对应于第2透射率特性F s的频带，第3、第4波段BD3、BD4对应于第3透射率特性匕的频带。而且，如图2等中说明的那样，第1光瞳(滤镜FL1)透射第2、第3波段BD2、BD3 (透射率特性bR、rR)，第2光瞳(滤镜FL2)透射第1、第4波段BD1、BD4(透射率特性bL、rL)。
[0168]这样，由于第1?第4波段BD1?BD4被分配给第1光瞳和第2光瞳，所以，根据估计出的成分值1)^，^4，4}，能够构成穿过第1光瞳、第2光瞳的图像1\11(上式⑴?
(3))。由此，能够根据两个光瞳的图像IR、f求出相位差I能够根据该相位差δ进行测距、三维计测、相位差AF等。并且，通过将4波段中的中央的2波段分配给第1光瞳，如图6等中说明的那样，能够使{B，G，R}的图案和M bRB，rRR，fR}的图案成为相似形。由此，能够提高4波段成分值的估计精度。
[0169]并且，在本实施方式中，如图3等中说明的那样，第2波段BD2对应于第1透射率特性FB与第2透射率特性F 的重合部分，第3波段BD3对应于第2透射率特性F 与第3透射率特性匕的重合部分。
[0170]这样，如上式(4)、(5)所示，像素值{B，G}共用第2波段BD2的成分值bRB(bRs)，像素值{G，R}共用第3波段BD3的成分值Λ(Λ)。由此，如上式(9)所示，能够利用未知数汽和像素值{B，G，R}的关系式来表示4波段的成分值{b lb, bRB，rRR, ，通过估计未知数rLR,能够决定4波段的成分值0Λ，bRB，rRR，rLR}。
[0171]具体而言，多波段估计部30 (220)根据对第1、第2波段BD1、BD2的成分值{b、，bRB}进行加法运算而得到的值即第1颜色的像素值B、对第2、第3波段BD2、BD3的成分值{bRB，rRR}进行加法运算而得到的值即第2颜色的像素值G、对第3、第4波段BD3、BD4的成分值进行加法运算而得到的值即第3颜色的像素值R，求出第1?第4波段BD1?BD4的成分值之间的关系式(上式(9))，根据该关系式估计第1?第4波段的成分值。
[0172]这样，根据第1?第4波段BD1?BD4与第1颜色?第3颜色的对应，各颜色的像素值能够利用与该颜色对应的波段的成分值的相加值来表示(上式出))。由于各颜色的像素值具有共用的成分值，所以，通过减法运算等删除该共用的成分值(上式(5)?(9))，由此，能够利用一个未知数来表示4波段的成分值{b lb, bRB，rRR, rLR}。
[0173]然后，多波段估计部30(220)将第1?第4波段BD1?BD4的成分值中的任意一方作为未知数ΟΛ)求出关系式，求出表不由该关系式表不的第1?第4波段BD1?BD4的成分值M bRB，rRR, rLJ与第1?第3颜色的像素值{B，G，R}之间的误差的误差评价值E (rLR)(上式(10)?(15))。然后，决定使误差评价值ECr^)最小的未知数土，根据该决定的未知数^^和关系式(上式(9))决定第1?第4波段BD1?BD4的成分值{b LB, bRB，rRR,Λ}。
[0174]这样，能够根据误差评价值Ε(Α)对成分值M bRB，rRR, rLJ与像素值{B，G，R}的相似度进行评价，能够决定该相似度最高的情况下的未知数fR。
[0175]并且，在本实施方式中，多波段估计部30 (220)取得根据第1光瞳和第2光瞳的透射率特性{bR，rR，bL, rL}以及第1?第3透射率特性{Fb，Fg, Fr}设定的参数(上式(5)的系数α、β )，根据该参数估计第1?第4波段BD1?BD4的成分值M bRB，rRR, rLJ。
[0176]具体而言，参数是第2波段BD2中的第1、第2透射率特性{FB，Fj的增益比(系数β )以及第3波段BD3中的第2、第3透射率特性{Fs，FR}的增益比(系数α )。
[0177]这样，通过使用基于分光特性(透射率特性)的参数(系数α、β)，能够对像素值{B，G}共用的成分值bRB(bRe)和像素值{G，R}共用的成分值rRR(rRe)的增益比进行调整。由此，能够通过减法运算而高精度地删除共用的成分值，能够提高4波段成分值的估计精度。
[0178]另外，在本实施方式中，多波段估计部30(220)也可以取得预先以统计方式将第1?第3颜色的像素值{B，G，R}和第1?第4波段BD1?BD4的成分值{b、，bRB，rRR，rLR}对应起来的已知信息(例如查找表)。然后，多波段估计部30 (220)也可以根据已知信息求出与第1颜色?第3颜色的像素值{B，G，R}对应的第1?第4波段BD1?BD4的成分值M bRB，rRR，rV}，所述第1颜色?第3颜色的像素值{B，G，R}构成通过摄像元件20进行摄像而得到的图像。
[0179]这样，根据通过已知图像以统计方式生成的已知信息，能够估计4波段成分值。例如，在如显微镜等那样决定了用途(摄像对象)的情况下，如果仅限于该摄像对象，则认为在针对RGB像素值的4波段成分值的产生频度中存在失衡。这种情况下，通过以统计方式针对各RGB像素值求出产生频度较高的4波段成分值，能够进行高精度的多波段估计。
[0180]12.监视器图像的生成处理
[0181]接着，对监视器图像生成部110、230进行的处理的详细情况进行说明。
[0182]如图13所示，仅使用呈相同相位的基于右光瞳通过光的图像或基于左光瞳通过光的图像生成监视器用的实时图像。即，如下式(16)所示，仅使用构成G图像的成分值{rRR，bRB}生成监视器显示用的RGB图像{R’G’B’}。或者，如下式(17)所示，仅使用成分值{r、，bLB}生成监视器显示用的RGB图像{R’ G’ B’ }。另外，图13对应于下式(18)。
[0183]R’ = rRR, G’ = rRG+bRG, Β’ = bRB (16)
[0184]R’ = rLR, G’ = rLR+bLB，B’ = bLB (17)
[0185]图13示出通过摄像传感器取得边缘图像的情况下的监视器用图像的原色轮廓。例如，在基于右光瞳通过光的图像的情况下，由于仅利用右光瞳图像生成R’ G’ B’，所以，不容易产生原色彼此的色偏(相位偏移)。并且，由于能够表现的颜色的波段被限定，所以表现色域较窄，但是，均能够用作不要求高品质图像的监视器用途。
[0186]例如可以如下所述选择是显示基于上式(16)的监视器图像还是显示基于上式
(17)的监视器图像。即，可以按照要取得的每个图像帧，在成分值{rRR，bRB}平均较大的情况下选择上式(16)，在成分值{r^bV}平均较大的情况下使用上式(17)。
[0187]根据以上的实施方式，显示图像生成部(监视器图像生成部110)根据第1?第4波段BD1?BD4中的透射过第1光瞳(滤镜FL1)或第2光瞳(滤镜FL2)的波段的成分值，生成显示图像(上式(16)或(17))。
[0188]这样，能够利用仅穿过第1光瞳和第2光瞳中的一个光瞳的波段的成分值生成显示图像。即，由于成为在RGB的颜色之间不具有相位差的显示图像，所以，能够显示没有色偏的显示图像。并且，由于仅取出一个光瞳图像，所以能够利用简单的处理来实现，即使是处理能力比较低的摄像装置，也能够以轻负荷生成监视器图像。
[0189]13.完整4波段相位差图像的生成处理
[0190]接着，对完整4波段相位差图像生成部170、280进行的处理的详细情况进行说明。
[0191]由摄像传感器取得的分光光瞳分割的图像在分割后的分光中只能取得左光瞳图像或右光瞳图像中的一个图像。即，为了在四个分光中得到全部左右光瞳合成图像而生成完整的彩色图像，需要对欠缺的成对的光瞳图像进行复原。
[0192]如图14所示，设与构成R图像的右光瞳的成分值rRR成对的左光瞳的成分值为 、与构成R图像的左光瞳的成分值成对的右光瞳的成分值为r rr’。设与构成G图像的右光瞳的成分值r^+?Λ成对的左光瞳的成分值为r \’ +ΙΛ’。设与构成B图像的右光瞳的成分值bRB成对的左光瞳的成分值为b \’、与构成B图像的左光瞳的成分值1^成对的右光瞳的成分值为b、’。
[0193]在关注像素p(x，y)中，通过rRR与的图像的相关运算而得到相位差(偏移量)SR，通过bRB与b、的图像的相关运算而得到相位差δ Β。由于相位差δ#Ρ δ Β是穿过左右分别相同的光瞳的结果，所以应该是大致相同的相位差。因此，如下式(18)所示，求出RGB共通的相位差δ作为3,与δ Β的平均值。
[0194]δ = ( δ R+ δ β)/2(18)
[0195]当使用相位差δ时，下式(19)的关系成立。根据下式(19)，针对全部4波段得到左右光瞳的完整图像。
[0196]rLR，(X) = rRR (χ- δ ),
[0197]rRR，(χ) = rLR (x+ δ ),
[0198](x)+bL(；’ (x) = rRG(x- δ )+bRG(x- δ ),
[0199]bLB，(x) = bRB (χ- δ ),
[0200]bRB，(x) = bLB (x+ δ )(19)
[0201]使用上式(19)的成分值，如下式(20)所示，生成完整地复原后的图像的像素值{Rh，Gh，Bh}。如图15所示，该完整地复原后的图像没有颜色之间的相位差(色偏)，也没有相对于边缘的相位差。
[0202]Rh= (r RR+rLR，)+ (rRR，+rLR)，
[0203]Gh= (r RG+bRG) + (rRG，+bRG，)，
[0204]Bh= (b RB+bLB，)+ (bRB，+bLB) (20)
[0205]另外，上述相位差δ R、δ B、δ均是按照摄像传感器上的任意位置(x，y)求出的值，但是，这里省略χ和y的坐标的表记。
[0206]根据以上的实施方式，相位差检测部160(270)根据由第1?第4波段BD1?BD4中的透射过第1光瞳(右光瞳)的波段的成分值lrRR，bRJ构成的第1图像、以及由第1?第4波段BD1?BD4中的透射过第2光瞳(左光瞳)的波段的成分值{汽，1^}构成的第2图像，检测第1图像与第2图像的相位差δ。
[0207]这样，能够利用基于光学滤镜12的光瞳分割来检测相位差δ，例如能够在相位差AF、三维计测等各种应用中使用该相位差δ。
[0208]并且，在本实施方式中，生成根据相位差δ对第1图像(成分值{rRR，bRB})进行移位而得到的第3图像(成分值{rWb、’ })以及根据相位差δ对第2图像(成分值{r、，bLB})进行移位而得到的第4图像(成分值|rRR’，bRB’})。由此，针对第1?第4波段BD1?BD4的各波段，生成相当于透射过第1光瞳的情况的图像和相当于透射过第2光瞳的情况的图像。
[0209]这样，能够根据分别穿过一个光瞳的4波段的图像，针对全部4波段生成两个光瞳的图像。由此，能够生成上式(20)那样的没有色偏的复原图像。并且，不限于此，例如还能够应用于3D显示、多波段图像显示、立体形状解析等各种应用。
[0210]14.根据相位差求出距离的方法
[0211 ] 接着，对根据相位差求出与被摄体之间的距离的方法进行说明。该测距方法例如用于测距运算部1