摄像装置、图像处理装置、摄像方法和图像处理方法
【技术领域】
[0001]本发明涉及摄像装置、图像处理装置、摄像方法和图像处理方法等。
【背景技术】
[0002]此前提出了根据图像信息求出距离信息并计测三维形状的多种方法。例如，存在如下方法:在光瞳位置插入滤色镜，根据颜色成分对左右的光瞳图像进行分离，由此求出相位差信息，通过三角测量的原理进行立体计测。在该方法中，为了对左右光瞳图像进行分离而需要进行摄像彩色图像的分光分离，但是，多数情况下，针对摄像传感器的像素，设置仅使希望分离的波长区域通过的光学滤镜，以光学方式进行分光分离。作为这种方法，例如存在下述文献所记载的方法。
[0003]在专利文献1中公开了配置分光透射率特性的平均波长不同的5种以上(包含该值)的滤色镜的摄像装置。在专利文献1中，对应于摄像传感器的像素而设置6种滤镜、SP第1蓝色滤镜、第2蓝色滤镜、第1绿色滤镜、第2绿色滤镜、第1红色滤镜和第2红色滤镜，能够同时对多波段的图像进行摄像。
[0004]在专利文献2中公开了如下方法:在成像光学系统与摄像传感器之间设置分支光学系统，使用该分支光学系统分离为4波段以上(包含该值)的波段。在该方法中，分支后的各颜色的图像在摄像传感器上的分离后的区域内成像。各颜色的图像在汇总的区域内生成像，所以，能够同时对多波段的图像进行摄像。
[0005]在非专利文献1中公开了如下方法:使用旋转式的多波段滤镜，依次更换要摄像的图像的通过波段来进行摄像，由此取得多波段的图像。在该方法中，进行使用自然界的被摄体的分光反射率平滑这样的预见信息估计无法取得的波段的信息的处理。
[0006]现有技术文献
[0007]专利文献
[0008]专利文献1:日本特开2005-286649号公报
[0009]专利文献2:日本特开2005-260480号公报
[0010]非专利文献
[0011]非专利文献1:电子信息通信协会志Vol.88，N0.6，2005,东京工业大学
【发明内容】
[0012]发明要解决的课题
[0013]在上述三维计测方法中，不使用通常的RGB拍摄，而使用多波段拍摄。在该多波段拍摄中，存在期望实现摄像系统而不大幅变更现有摄像系统的课题。
[0014]例如，在上述专利文献1中，使用6种滤色镜作为摄像元件的滤色镜。因此，与使用通常的RGB三原色的滤色镜的情况相比，只能对一种滤色镜分配一半像素。通过插值处理求出未分配而作为信息丢失的像素值，所以，不可避免分辨率的降低。
[0015]并且，在专利文献2中，通过分支光学系统使各颜色的图像在摄像传感器上的分离后的区域内成像。因此，与通常的RGB三原色拍摄相比，分配给各颜色的图像的像素数较少，分辨率降低。
[0016]并且，在非专利文献1中，使用旋转式的多波段滤镜。在运动的被摄体的情况下，需要进行滤镜的高速旋转和与其同步的高速拍摄，所以，需要追加特殊的机构。并且，在不拍摄自然界的被摄体而拍摄人工的被摄体的情况下，基于预见信息的估计处理可能不成立。
[0017]根据本发明的若干个方式，能够提供能够实现多波段的摄像系统而不大幅变更现有摄像系统的摄像装置、图像处理装置、摄像方法和图像处理方法等。
[0018]用于解决课题的手段
[0019]本发明的一个方式涉及一种摄像装置，该摄像装置包括:光学滤镜，其将摄像光学系统的光瞳分割成第1光瞳和透射波段与所述第1光瞳不同的第2光瞳；摄像元件，其包括具有第1透射率特性的第1滤色镜、具有第2透射率特性的第2滤色镜、具有第3透射率特性的第3滤色镜；以及多波段估计部，其根据构成通过所述摄像元件进行摄像而得到的图像的第1颜色、第2颜色和第3颜色的像素值，估计根据所述第1光瞳和所述第2光瞳的所述透射波段以及所述第1透射率特性?第3透射率特性设定的第1波段?第4波段的成分值。
[0020]并且，在本发明的一个方式中，也可以是，所述第1波段、第2波段对应于所述第1透射率特性的频带，所述第2波段、第3波段对应于所述第2透射率特性的频带，所述第3波段、第4波段对应于所述第3透射率特性的频带，所述第1光瞳透射所述第2波段、第3波段，所述第2光瞳透射所述第1波段、第4波段。
[0021]并且，在本发明的一个方式中，也可以是，所述第2波段对应于所述第1透射率特性和所述第2透射率特性的重合部分，所述第3波段对应于所述第2透射率特性和所述第3透射率特性的重合部分。
[0022]并且，在本发明的一个方式中，也可以是，所述多波段估计部根据对所述第1波段、第2波段的成分值进行加法运算而得到的值即所述第1颜色的像素值、对所述第2波段、第3波段的成分值进行加法运算而得到的值即所述第2颜色的像素值、对所述第3波段、第4波段的成分值进行加法运算而得到的值即所述第3颜色的像素值，求出所述第1波段?第4波段的成分值之间的关系式，根据所述关系式估计所述第1波段?第4波段的成分值。
[0023]并且，在本发明的一个方式中，也可以是，所述多波段估计部将所述第1波段?第4波段的成分值中的任意一方作为未知数来求出所述关系式，求出表示由所述关系式所表示的所述第1波段?第4波段的成分值与所述第1颜色?第3颜色的像素值之间的误差的误差评价值，决定使所述误差评价值最小的所述未知数，根据所决定的所述未知数和所述关系式决定所述第1波段?第4波段的成分值。
[0024]并且，在本发明的一个方式中，也可以是，所述多波段估计部取得根据所述第1光瞳和所述第2光瞳的透射率特性以及所述第1透射率特性?第3透射率特性设定的参数，根据所述参数估计所述第1波段?第4波段的成分值。
[0025]并且，在本发明的一个方式中，也可以是，所述参数是所述第2波段中的所述第1透射率特性、第2透射率特性的增益比以及所述第3波段中的所述第2透射率特性、第3透射率特性的增益比。
[0026]并且，在本发明的一个方式中，也可以是，所述多波段估计部取得预先以统计的方式将所述第1颜色?第3颜色的像素值和所述第1波段?第4波段的成分值对应起来而成的已知信息，根据所述已知信息求出与所述第1颜色?第3颜色的像素值对应的所述第1波段?第4波段的成分值，所述第1颜色?第3颜色的像素值构成通过所述摄像元件进行摄像而得到的所述图像。
[0027]并且，在本发明的一个方式中，也可以是，所述摄像装置包括相位差检测部，该相位差检测部根据由所述第1波段?第4波段中的透射过所述第1光瞳的波段的成分值构成的第1图像以及由所述第1波段?第4波段中的透射过所述第2光瞳的波段的成分值构成的第2图像，检测所述第1图像与所述第2图像的相位差。
[0028]并且，在本发明的一个方式中，也可以是，所述摄像装置包括相位差图像生成部，该相位差图像生成部通过生成根据所述相位差对所述第1图像进行移位而得到的第3图像和根据所述相位差对所述第2图像进行移位而得到的第4图像，针对所述第1波段?第4波段的各波段，生成相当于透射过所述第1光瞳的情况的图像和相当于透射过所述第2光瞳的情况的图像。
[0029]并且，在本发明的一个方式中，也可以是，所述摄像装置包括显示图像生成部，该显示图像生成部根据所述第1波段?第4波段中的透射过所述第1光瞳或所述第2光瞳的波段的成分值，生成显示图像。
[0030]并且，本发明的另一个方式涉及一种摄像装置，该摄像装置包括:光学滤镜，其将摄像光学系统的光瞳分割成第1光瞳和透射波段与所述第1光瞳不同的第2光瞳；以及摄像元件，其包括具有第1透射率特性的第1滤色镜、具有第2透射率特性的第2滤色镜、具有第3透射率特性的第3滤色镜，所述第1波段、第2波段对应于所述第1透射率特性的频带，所述第2波段、第3波段对应于所述第2透射率特性的频带，所述第3波段、第4波段对应于所述第3透射率特性的频带，所述第1光瞳透射所述第1波段、第4波段，所述第2光瞳透射所述第2波段、第3波段。
[0031 ] 并且，本发明的又一个方式涉及一种图像处理装置，该图像处理装置包括:图像取得部，其取得通过摄像元件进行摄像而得到的图像，该摄像元件包括具有第1透射率特性的第1滤色镜、具有第2透射率特性的第2滤色镜、具有第3透射率特性的第3滤色镜；以及多波段估计部，其根据构成所述图像的第1颜色?第3颜色的像素值估计第1波段?第4波段的成分值，所述第1波段、第2波段对应于所述第1透射率特性的频带，所述第2波段、第3波段对应于所述第2透射率特性的频带，所述第3波段、第4波段对应于所述第3透射率特性的频带。
[0032]并且，在本发明的又一个方式中，也可以是，所述图像取得部取得通过所述摄像元件对光学滤镜的透射光进行摄像而得到的所述图像，该光学滤镜将摄像光学系统的光瞳分割成第1光瞳和透射波段与所述第1光瞳不同的第2光瞳，所述第1光瞳透射所述第1波段、第4波段，所述第2光瞳透射所述第2波段、第3波段。
[0033]并且，本发明的又一个方式涉及一种摄像方法，该摄像方法进行以下处理:通过摄像元件对光学滤镜的透射光进行摄像，所述光学滤镜将摄像光学系统的光瞳分割成第1光瞳和透射波段与所述第1光瞳不同的第2光瞳，所述摄像元件包括具有第1透射率特性的第1滤色镜、具有第2透射率特性的第2滤色镜、具有第3透射率特性的第3滤色镜，根据构成通过所述摄像元件进行摄像而得到的图像的第1颜色?第3颜色的像素值，估计根据所述第1光瞳和所述第2光瞳的所述透射波段以及所述第1透射率特性?第3透射率特性设定的第1波段?第4波段的成分值。
[0034]并且，本发明的又一个方式涉及一种图像处理方法，在第1波段和第2波段对应于第1透射率特性的频带、所述第2波段和第3波段对应于第2透射率特性的频带、所述第3波段和第4波段对应于第3透射率特性的频带的情况下，进行以下处理:取得通过摄像元件进行摄像而得到的图像，所述摄像元件包括具有所述第1透射率特性的第1滤色镜、具有所述第2透射率特性的第2滤色镜、具有所述第3透射率特性的第3滤色镜，根据构成所述图像的第1颜色?第3颜色的像素值估计第1波段?第4波段的成分值。
【附图说明】
[0035]图1是摄像装置的结构例。
[0036]图2是摄像装置的基本结构例。
[0037]图3是与波段分割方法有关的说明图。
[0038]图4是示出边缘部分中的4波段成分值的变化的示意图。
[0039]图5是示出边缘部分中的RGB像素值的变化的示意图。
[0040]图6是与4波段成分值的估计方法有关的说明图。
[0041]图7是与4波段成分值的估计方法有关的说明图。
[0042]图8是与第1估计方法有关的说明图。
[0043]图9是示出4波段成分值与RGB像素值的关系的图。
[0044]图10是与第3估计方法有关的说明图。
[0045]图11是摄像装置的详细结构例。
[0046]图12是与摄像装置分开构成的情况下的图像处理装置的详细结构例。
[0047]图13是与监视器图像的生成处理有关的说明图。
[0048]图14是与完整4波段相位差图像的生成处理有关的说明图。
[0049]图15是与完整4波段相位差图像的生成处理有关的说明图。
[0050]图16是与根据相位差求出距离的方法有关的说明图。
【具体实施方式】
[0051]下面，对本发明的优选实施方式进行详细说明。另外，以下说明的本实施方式并非不当地限定权利要求书所记载的本发明的内容，本实施方式中说明的全部结构不一定必须作为本发明的解决手段。
[0052]1.本实施方式的概要
[0053]作为高速AF (AF:自动对焦)的代表方法，存在相位差AF方式。在相位差AF方式中，以前对摄像光学路径进行分支，通过相位差检测用的专用摄像元件来检测相位差信息，但是，最近提出了不设置专用摄像元件而仅利用摄像元件来检测相位差的各种方法。例如，存在在摄像元件自身中搭载相位差检测功能的方式(图像内相位差方式)；以及在成像光学系统的左右光瞳位置配置不同波段的滤镜、根据颜色差异来取得左右相位差图像(复用图像)并通过运算来求出相位差的方式(彩色相位差方式)等。
[0054]但是，在图像内相位差方式中，需要分别接收来自左右光瞳位置的光束的独立的像素(相位差检测用像素)，所以，能够作为成像图像使用的像素成为一半，伴有分辨