80、290的处理。或者，也可以使用所求出的散焦量进行相位差AF控制。
[0212]如图16所示，当设打开光圈时的开口径为A、以开口径A为基准的的左右光瞳的重心之间的距离为qXA、光轴上的从成像透镜14的中心到摄像元件的传感器面PS的距离为s、传感器面PS中的右光瞳图像IR(x)与左光瞳图像POO的相位差为δ时，根据三角测量法，下式(21)成立。
[0213]qXA: δ = b:d，
[0214]b = s+d(21)
[0215]这里，q是满足0〈q ^ 1的系数，qXA是根据光圈量而变化的值。S是由透镜位置检测传感器检测到的值。B表示光轴上的从成像透镜14的中心到对焦位置PF的距离。Δ是通过相关运算而求出的。根据上式(21)，散焦量d由下式(22)给出。
[0216]d = ( δ Xs)/{(qXA)- δ } (22)
[0217]距离a是与对焦位置PF对应的距离，是光轴上的从成像透镜14到被摄体的距离。一般情况下，在成像光学系统中，当设由多个透镜构成的成像光学系统的合成焦距为f时，下式(23)成立。
[0218](l/a) + (l/b) = 1/f (23)
[0219]根据上式(22)中求出的散焦量d和可检测的值s，通过上式(21)求出b，将该b和由成像光学结构决定的合成焦距f代入上式(23)中，计算距离a。由于能够计算与任意像素位置对应的距离a，所以，能够进行与被摄体之间的距离计测、被摄体的三维形状计测。
[0220]在进行AF控制的情况下，如下所述。在图16例如是从摄像装置的上部(与光瞳分割方向垂直的方向)观察的图的情况下，X是水平方向(光瞳分割方向)的坐标轴。以右光瞳图像IR(X)和左光瞳图像lL(x)中的任意一方为基准利用正负符号进行表示来定义坐标轴χ上的相位差S，根据该相位差S的正负，识别传感器面PS是位于对焦位置PF的前方还是位于后方。如果得知传感器面PS与对焦位置PF的前后关系，则简单地得知在使传感器面PS与对焦位置PF —致时，使对焦透镜向哪个方向移动即可。
[0221]在求出散焦量d和相位差δ的符号后，根据它们驱动对焦透镜以使散焦量d成为零，进行对焦。在本实施方式中，由于通过左右光瞳在水平方向上进行颜色分割，所以，选择摄像图像中的希望对焦的水平方向的区域进行相关运算即可。另外，由于光瞳颜色分割的方向不限于水平方向，所以，根据左右频带分离光学滤镜的设定条件(分割方向)适当设定进行相关运算的方向即可。并且，求出散焦量d的对象区域不限于摄像图像的一部分区域，也可以将摄像图像的全部区域作为对象。该情况下，由于求出多个散焦量d，所以，需要针对这些多个散焦量d通过规定的评价函数决定最终散焦量的过程。
[0222]以上对应用了本发明的实施方式及其变形例进行了说明，但是，本发明不限于各实施方式及其变形例原样，能够在实施阶段在不脱离发明主旨的范围内对结构要素进行变形而具体化。并且，通过适当组合上述各实施方式和变形例所公开的多个结构要素，能够形成各种发明。例如，可以从各实施方式和变形例所记载的全部结构要素中删除若干个结构要素。进而，可以适当组合不同实施方式和变形例中说明的结构要素。并且，摄像装置、图像处理装置的结构和动作以及它们的工作方法(摄像方法、图像处理方法)也不限于本实施方式中说明的那样，能够进行各种变形实施。这样，能够在不脱离发明主旨的范围内进行各种变形和应用。并且，在说明书或附图中，至少一次与更加广义或同义的不同术语一起记载的术语能够在说明书或附图的任意部位置换为该不同的术语。
[0223]标号说明
[0224]10:摄像光学系统；12:光学滤镜；14:成像透镜；20:摄像元件；30:多波段估计部；40:摄像部；50:图像处理部；50:监视器显示部；100:图像处理装置；110:监视器图像生成部；120:图像处理部；130:分光特性存储部；140:数据压缩部；150:数据记录部；160:相位差检测部；170:完整4波段相位差图像生成部；180:测距运算部；200:数据记录部；210:数据解压缩部；220:多波段估计部；230:监视器图像生成部；240:图像处理部；250:监视器显示部；260:分光特性存储部；270:相位差检测部；280:完整4波段相位差图像生成部；290:测距运算部；B，G，R:第1颜色?第3颜色的像素值；BD1?BD4:第1?第4波段A’FpFf第1?第3透射率特性；FL1:右光瞳滤镜；FL2:左光瞳滤镜；I S左光瞳图像；IR:右光瞳图像；PSFL:左光瞳的点扩散函数；PSFR:右光瞳的点扩散函数；1^，rS左光瞳的透射率特性；bR，rR:右光瞳的透射率特性山、，ιΛ，Λ，Λ:第1?第4波段的成分值；δ:相位差。
【主权项】
1.一种摄像装置，其特征在于，该摄像装置包括: 光学滤镜，其将摄像光学系统的光瞳分割成第1光瞳和透射波段与所述第1光瞳不同的第2光瞳； 摄像元件，其包括具有第1透射率特性的第1滤色镜、具有第2透射率特性的第2滤色镜、具有第3透射率特性的第3滤色镜；以及 多波段估计部，其根据构成通过所述摄像元件进行摄像而得到的图像的第1颜色、第2颜色和第3颜色的像素值，估计根据所述第1光瞳和所述第2光瞳的所述透射波段以及所述第1透射率特性?第3透射率特性设定的第1波段?第4波段的成分值。2.根据权利要求1所述的摄像装置，其特征在于， 所述第1波段、第2波段对应于所述第1透射率特性的频带，所述第2波段、第3波段对应于所述第2透射率特性的频带，所述第3波段、第4波段对应于所述第3透射率特性的频带， 所述第1光瞳透射所述第2波段、第3波段，所述第2光瞳透射所述第1波段、第4波段。3.根据权利要求2所述的摄像装置，其特征在于， 所述第2波段对应于所述第1透射率特性和所述第2透射率特性的重合部分，所述第3波段对应于所述第2透射率特性和所述第3透射率特性的重合部分。4.根据权利要求2或3所述的摄像装置，其特征在于， 所述多波段估计部根据对所述第1波段、第2波段的成分值进行加法运算而得到的值即所述第1颜色的像素值、对所述第2波段、第3波段的成分值进行加法运算而得到的值即所述第2颜色的像素值、对所述第3波段、第4波段的成分值进行加法运算而得到的值即所述第3颜色的像素值，求出所述第1波段?第4波段的成分值之间的关系式， 根据所述关系式估计所述第1波段?第4波段的成分值。5.根据权利要求4所述的摄像装置，其特征在于， 所述多波段估计部将所述第1波段?第4波段的成分值中的任意一方作为未知数来求出所述关系式， 求出表示由所述关系式所表示的所述第1波段?第4波段的成分值与所述第1颜色?第3颜色的像素值之间的误差的误差评价值， 决定使所述误差评价值最小的所述未知数， 根据所决定的所述未知数和所述关系式决定所述第1波段?第4波段的成分值。6.根据权利要求2?5中的任意一项所述的摄像装置，其特征在于， 所述多波段估计部取得根据所述第1光瞳和所述第2光瞳的透射率特性以及所述第1透射率特性?第3透射率特性设定的参数， 根据所述参数估计所述第1波段?第4波段的成分值。7.根据权利要求6所述的摄像装置，其特征在于， 所述参数是所述第2波段中的所述第1透射率特性、第2透射率特性的增益比以及所述第3波段中的所述第2透射率特性、第3透射率特性的增益比。8.根据权利要求1?3中的任意一项所述的摄像装置，其特征在于， 所述多波段估计部取得预先以统计的方式将所述第1颜色?第3颜色的像素值和所述第1波段?第4波段的成分值对应起来而成的已知信息， 根据所述已知信息求出与所述第1颜色?第3颜色的像素值对应的所述第1波段?第4波段的成分值，所述第1颜色?第3颜色的像素值构成通过所述摄像元件进行摄像而得到的所述图像。9.根据权利要求1?8中的任意一项所述的摄像装置，其特征在于， 所述摄像装置包括相位差检测部，该相位差检测部根据由所述第1波段?第4波段中的透射过所述第1光瞳的波段的成分值构成的第1图像以及由所述第1波段?第4波段中的透射过所述第2光瞳的波段的成分值构成的第2图像，检测所述第1图像与所述第2图像的相位差。10.根据权利要求9所述的摄像装置，其特征在于， 所述摄像装置包括相位差图像生成部，该相位差图像生成部通过生成根据所述相位差对所述第1图像进行移位而得到的第3图像和根据所述相位差对所述第2图像进行移位而得到的第4图像，针对所述第1波段?第4波段的各波段，生成相当于透射过所述第1光瞳的情况的图像和相当于透射过所述第2光瞳的情况的图像。11.根据权利要求1?8中的任意一项所述的摄像装置，其特征在于， 所述摄像装置包括显示图像生成部，该显示图像生成部根据所述第1波段?第4波段中的透射过所述第1光瞳或所述第2光瞳的波段的成分值，生成显示图像。12.—种摄像装置，其特征在于，该摄像装置包括: 光学滤镜，其将摄像光学系统的光瞳分割成第1光瞳和透射波段与所述第1光瞳不同的第2光瞳；以及 摄像元件，其包括具有第1透射率特性的第1滤色镜、具有第2透射率特性的第2滤色镜、具有第3透射率特性的第3滤色镜， 所述第1波段、第2波段对应于所述第1透射率特性的频带，所述第2波段、第3波段对应于所述第2透射率特性的频带，所述第3波段、第4波段对应于所述第3透射率特性的频带， 所述第1光瞳透射所述第1波段、第4波段，所述第2光瞳透射所述第2波段、第3波段。13.一种图像处理装置，其特征在于，该图像处理装置包括: 图像取得部，其取得通过摄像元件进行摄像而得到的图像，该摄像元件包括具有第1透射率特性的第1滤色镜、具有第2透射率特性的第2滤色镜、具有第3透射率特性的第3滤色镜；以及 多波段估计部，其根据构成所述图像的第1颜色?第3颜色的像素值估计第1波段?第4波段的成分值， 所述第1波段、第2波段对应于所述第1透射率特性的频带，所述第2波段、第3波段对应于所述第2透射率特性的频带，所述第3波段、第4波段对应于所述第3透射率特性的频带。14.根据权利要求13所述的图像处理装置，其特征在于， 所述图像取得部取得通过所述摄像元件对光学滤镜的透射光进行摄像而得到的所述图像，该光学滤镜将摄像光学系统的光瞳分割成第1光瞳和透射波段与所述第1光瞳不同的第2光瞳， 所述第1光瞳透射所述第1波段、第4波段，所述第2光瞳透射所述第2波段、第3波段。15.一种摄像方法，其特征在于，该摄像方法进行以下处理: 通过摄像元件对光学滤镜的透射光进行摄像，所述光学滤镜将摄像光学系统的光瞳分割成第1光瞳和透射波段与所述第1光瞳不同的第2光瞳，所述摄像元件包括具有第1透射率特性的第1滤色镜、具有第2透射率特性的第2滤色镜、具有第3透射率特性的第3滤色镜， 根据构成通过所述摄像元件进行摄像而得到的图像的第1颜色?第3颜色的像素值，估计根据所述第1光瞳和所述第2光瞳的所述透射波段以及所述第1透射率特性?第3透射率特性设定的第1波段?第4波段的成分值。16.一种图像处理方法，其特征在于， 在第1波段和第2波段对应于第1透射率特性的频带、所述第2波段和第3波段对应于第2透射率特性的频带、所述第3波段和第4波段对应于第3透射率特性的频带的情况下，进行以下处理: 取得通过摄像元件进行摄像而得到的图像，所述摄像元件包括具有所述第1透射率特性的第1滤色镜、具有所述第2透射率特性的第2滤色镜、具有所述第3透射率特性的第3滤色镜， 根据构成所述图像的第1颜色?第3颜色的像素值估计第1波段?第4波段的成分值。
【专利摘要】摄像装置包括光学滤镜(12)、摄像元件(20)、多波段估计部(30)。光学滤镜(12)将摄像光学系统(10)的光瞳分割成第1光瞳和透射波段与第1光瞳不同的第2光瞳。摄像元件(20)包括具有第1透射率特性的第1滤色镜、具有第2透射率特性的第2滤色镜、具有第3透射率特性的第3滤色镜。而且，多波段估计部(30)根据构成通过摄像元件(20)进行摄像而得到的图像的第1颜色～第3颜色的像素值R、G、B，估计根据第1光瞳和第2光瞳的透射波段以及第1～第3透射率特性设定的第1～第4波段的成分值R1、R2、B1、B2。
【IPC分类】H04N5/232, H04N9/07
【公开号】CN105324991
【申请号】CN201480034481
【发明人】今出慎一
【申请人】奥林巴斯株式会社
【公开日】2016年2月10日
【申请日】2014年5月8日
【公告号】US20160094822, WO2014203639A1