摄像装置和摄像方法

专利名称：摄像装置和摄像方法
技术领域：
本发明涉及摄像装置和摄像方法。本申请基于2009年3月30日在日本申请的特愿2009-083276号主张优先权，并将其内容援引与此。
背景技术：
近年来，高画质的数字照相机和数字摄像机(以下，称为数字相机)得到急速普及。此外，伴随着数字相机的小型化、薄型化，在便携电话终端等中搭载了小型的高画质数字相机。代表数字相机的摄像装置由摄像元件、成像光学系统(镜头光学系统)、图像处理器、缓冲存储器、闪存(卡型存储器)、图像监视器以及控制这些部件的电路和机械机构等构成。摄像元件中通常使用CMOS (Complementary Metal Oxide Semiconductor)传感器或 (XD(Charge Coupled Device)传感器等的固体电子器件。对在摄像元件上成像的光量分布进行光电变换，所得到的电信号由图像处理器和缓冲存储器进行信号处理。作为图像处理器使用DSP (Digital Signal I^rocessor)等。此外，作为缓冲存储器使用DRAM (Dynamic Random Access Memory)等。所拍摄的图像记录存储在卡型闪存等中，记录存储的图像能够显示在监视器上。使得在摄像元件上成像的光学系统，通常为了除去像差而由几个非球面透镜构成。此外，在具备光学变焦功能的情况下，则需要改变组合透镜的焦距、透镜与摄像元件之间间隔的驱动机构(促动器)。随着摄像装置的高画质化、高功能化的要求，摄像元件进行着多像素化、高清晰化，成像光学系统进行着更低像差、高精度化，并且进行着变焦功能、自动聚焦功能、手抖修正功能等的高功能化。伴随于此，出现了摄像装置变大难以小型化、薄型化的问题。为了解决这种问题，提出了如下方案，通过在成像光学系统中采用复眼构造、或者组装液晶透镜或液体透镜等非固体透镜，由此使摄像装置小型化、薄型化。例如，提出了如下的摄像透镜装置，由配置成平面状的固体透镜阵列、液晶透镜阵列、一个摄像元件构成 (例如专利文献1)。该摄像透镜装置如图36所示那样，由透镜系统和一个摄像元件2003 构成，该透镜系统具有固定焦距的透镜阵列2001、相同数目的可变焦型的液晶透镜阵列 2002，该摄像元件2003对通过该透镜系统成像的光学像进行摄像。通过该结构将与透镜阵列2001的数目相同的图像分割在单一的摄像元件2003上进行成像。对由该摄像元件2003 得到的多个图像，在运算装置2004中进行图像处理，重新构成整个图像。此外，从该运算装置2004检测聚焦信息，经由液晶驱动装置2005驱动液晶透镜阵列2002的各液晶透镜，来进行自动聚焦。这样，在专利文献1的摄像透镜装置中，通过组合液晶透镜和固体透镜，实现了自动聚焦功能和变焦功能，且实现了小型化。此外，还已知一种由一个非固体透镜(液体透镜、液晶透镜)、固体透镜阵列、一个摄像元件构成的摄像装置(例如专利文献幻。该摄像装置如图37所示那样，由液晶透镜 2131、复眼光学系统2120、图像合成器2115、驱动电压运算部2142构成。与专利文献1相同，该摄像装置在单一的摄像元件2105上形成与透镜阵列的数目相同的图像，然后通过图像处理重新构成图像。这样，在专利文献2的摄像装置中，通过组合一个非固体透镜(液体透镜、液晶透镜)和固体透镜阵列，以小型、薄型的方式实现了调焦功能。此外，已知一种方法，在由作为摄像元件的检测器阵列和摄像透镜阵列构成的具有子像素分辨率的薄型相机中，改变二个副相机上的图像的相对的位置偏差，从而增大合成图像的分辨率(例如专利文献幻。在该方法中，在一个的副相机中设置光圈，由该光圈遮挡一半像素的光，从而解决了无法基于被摄体距离改善分辨率的问题。此外，在专利文献 3中，组合了能够从外部提供电压来控制焦距的液体透镜，改变焦距的同时图像的成像位置和像素的相位也改变，从而增大了合成图像的分辨率。这样，在专利文献3的薄型相机中， 通过组合摄像透镜阵列和具有遮光部件的摄像元件，实现了合成图像的高清晰化。此外，通过在摄像透镜阵列和摄像元件中组合液体透镜，从而实现了合成图像的高清晰化。此外，已知一种图像生成方法和装置，基于多个摄像单元的图像信息，针对其立体图像的视差小的特定区域进行超清晰插值处理，将图像映射至空间模型(例如专利文献 4)。在该装置中解决了如下问题，即基于由多个摄像单元所拍摄的图像，在生成视点变换图像的过程中进行的空间模型生成中，贴附在远处的空间模型的图像数据欠缺清晰度。先行技术文献专利文献专利文献1 JP特开2006-251613号公报专利文献2 JP特开2006-217131号公报专利文献3 JP特表2007-520166号公报专利文献4 JP特表2006-119843号公报
发明概要发明要解决的问题但是，在专利文献1 3的摄像透镜装置中，由于光学系统与摄像元件相对位置的调整精度影响到画质，因此存在在组装时需要正确地调整光学系统与摄像元件的相对位置的问题。此外，在仅以机械精度调整相对位置的情况下，需要高精度的非固体透镜等，由此存在成本变高的问题。此外，即便在装置组装时正确地调整了光学系统和摄像元件的相对位置，但由于使用时间的变化等光学系统与摄像元件的相对位置发生变化，有时出现画质劣化。虽然再次进行位置调整的话画质会变好，但存在必需进行与组装时同样的调整的问题。再有，在具备多个光学系统和摄像元件的装置中，由于调整的位置较多，因此还存在需要很长的作业时间的问题。此外，在专利文献4的图像生成方法及其装置中，为了生成视点变换图像，需要生成正确的空间模型，但存在难以按照立体图像高精度地取得空间模型这种的立体的信息的问题。特别在立体图像的视差小的远处的图像中，受到图像的亮度变化或噪声的影响等，难以按照立体图像高精度地取得空间模型这种的立体信息。因此，即便生成了在立体图像的视差小的特定区域中进行过超清晰处理的图像，也难以高精度地向空间模型映射
发明内容
本发明是鉴于这种情况提出的，其目的在于提供一种摄像装置和摄像方法，为了实现高画质的摄像装置，容易进行光学系统与摄像元件的相对位置的调整，而无需人工对其操作。此外，本发明的目的在于提供一种能够与立体图像的视差无关也就是与摄影距离无关地生成高画质且高清晰的二维图像的摄像装置和摄像方法。解决问题的手段(1)基于本发明的一个方面的摄像装置具备多个摄像元件；多个固体透镜，在所述多个摄像元件的各个摄像元件上成像；多个光轴控制部，对分别入射至所述多个摄像元件的光的光轴方向进行控制；多个影像处理部，将所述多个摄像元件各自输出的光电变换信号变换为影像信号；立体图像处理部，基于所述多个影像处理部变换之后的多个影像信号，进行立体匹配处理，由此求出每个像素的偏移量，并生成将超过所述多个摄像元件的像素间距的偏移量以所述像素间距标准化之后的合成参量；和影像合成处理部，基于所述立体图像处理部所生成的所述合成参量，对所述多个影像处理部各自变换的所述影像信号进行合成，由此生成高清晰影像。(2)此外，基于本发明的一个方面的摄像装置还可以具备立体图像噪声降低处理部，该立体图像噪声降低处理部基于由所述立体图像处理部生成的所述合成参量，降低所述立体匹配处理中使用的视差图像的噪声。(3)此外，在基于本发明的一个方面的摄像装置中，所述影像合成处理部，可以基于由所述立体图像处理部生成的所述视差图像，仅对规定区域进行高清晰化。(4)此外，基于本发明的一个方面的摄像方法，其包括对分别入射至多个摄像元件的光的光轴方向进行控制，将所述多个摄像元件各自输出的光电变换信号变换为影像信号，基于变换之后的多个影像信号，进行立体匹配处理，由此求出每个像素的偏移量，并生成将超过所述多个摄像元件的像素间距的偏移量以所述像素间距标准化之后的合成参量， 基于所述合成参量对所述影像信号进行合成，由此生成高清晰影像。发明的效果根据本发明，由于具备多个摄像元件、在所述多个摄像元件的各个摄像元件上成像的多个固体透镜、对分别入射至所述多个摄像元件的光的光轴方向进行控制的多个光轴控制部，因此其效果在于，容易进行光学系统和摄像元件相对位置的调整，而不需要人工作业，能够实现高画质的摄像装置。特别是由于能够进行控制将入射的光的光轴设定在摄像元件面上的任意位置，因此能够简单地进行光学系统和摄像元件之间的位置调整，能够实现高画质的摄像装置。此外，由于基于摄像对象和多个光轴控制部的相对位置控制光轴的方向，因此能够在摄像元件面的任意位置进行光轴设定，能够实现焦点调整范围广的摄像装置。由于摄像装置具备多个摄像元件；多个固体透镜，在多个摄像元件的各个摄像元件上成像；多个光轴控制部，对分别入射至多个摄像元件的光的光轴方向进行控制；多个影像处理部，将多个摄像元件各自输出的光电变换信号变换为影像信号；立体图像处理部，基于多个影像处理部变换之后的多个影像信号，进行立体匹配处理，由此求出每个像素的偏移量，并生成将超过多个摄像元件的像素间距的偏移量以像素间距标准化之后的合成参量；和影像合成处理部，基于立体图像处理部所生成的合成参量，对多个影像处理部各自变换的影像信号进行合成，由此生成高清晰影像，因此，能够与立体图像的视差无关地、也就是与摄影距离无关地生成高画质且高清晰的二维图像。此外，根据本发明，由于还具备立体图像噪声降低处理部，该立体图像噪声降低处理部基于由立体图像处理部生成的合成参量，降低立体匹配处理中使用的视差图像的噪声，因此能够除去立体匹配处理中的噪声。此外，根据本发明，由于影像合成处理部可基于由立体图像处理部生成的视差图像，仅对规定区域进行高清晰化，因此能实现高清晰化处理的高速化。


图1是表示本发明的第1实施方式所涉及的摄像装置的结构框图。图2是图1所示的第1实施方式所涉及的摄像装置的单位摄像部的详细结构图。图3A是第1实施方式所涉及的液体透镜的正面图。图IBB是第1实施方式所涉及的液体透镜的剖面图。图4是说明第1实施方式所涉及的摄像装置中使用的液晶透镜的功能的示意图。图5是说明第1实施方式所涉及的摄像装置的液晶透镜的示意图。图6是说明图1所示的第1实施方式所涉及的摄像装置的摄像元件的示意图。图7是摄像元件的详细结构图。图8是表示图1所示的摄像装置的整体结构的框图。图9是第1实施方式所涉及的摄像装置的影像处理部的详细框图。图10是第1实施方式所涉及的摄像装置的影像处理的影像合成处理部的详细框图。图11是第1实施方式所涉及的摄像装置的影像处理的控制部的详细框图。图12是说明控制部的动作的一例的流程图。图13是表示图12所示的子像素影像合成高清晰化处理的动作的说明图。图14是说明高清晰判定的一例的流程图。图15是说明控制电压变换处理的一例的流程图。图16是说明相机校准的一例的流程。图17是说明单位摄像部的相机校准的示意图。图18是说明多个单位摄像部的相机校准的示意图。图19是说明多个单位摄像部的相机校准的其他的示意图。图20是表示摄像装置的摄像的情况的示意图。图21是说明高清晰的子像素的示意图。图22是说明高清晰的子像素的其他的示意图。图23A是表示摄像对象(被摄体)和成像的关系的说明图。图2 是表示摄像对象(被摄体)和成像的关系的说明图。图23C是表示摄像对象(被摄体)和成像的关系的说明图。图24A是说明摄像装置的动作的示意图。图24B是说明摄像装置的动作的示意图。图25A是由于安装误差摄像元件偏离安装时的示意图。
图25B是由于安装误差摄像元件偏离安装时的示意图。图2队是表示光轴偏移控制的动作的示意图。图26B是表示光轴偏移控制的动作的示意图。图27A是表示摄像距离和光轴偏移的关系的说明图。图27B是表示摄像距离和光轴偏移的关系的说明图。图28A是表示摄像距离和光轴偏移的关系的说明图。图^B是表示摄像距离和光轴偏移的关系的说明图。图29A是表示基于纵深和光轴偏移的像偏移的效果的说明图。图29B是表示基于纵深和光轴偏移的像偏移的效果的说明图。图30是说明生成每个像素的并进参量的一例的流程图。图31是表示平行立体结构的情况下的极线的一例的说明图。图32是表示平行立体结构的情况下的基于区域匹配的一例的说明图。图33是表示视差图像的一例的说明图。图34是其他实施方式所涉及的摄像装置的影像处理的影像合成处理部的详细框图。图35是说明噪声除去的一例的流程图。图36是表示现有的摄像装置的结构框图。图37是表示其他现有的摄像装置的结构框图。
具体实施例方式以下，参照图像对本发明的实施方式进行详细说明。图1是表示本发明的第1实施方式所涉及的摄像装置的整体结构的功能框图。图ι所示的摄像装置1具备6个系统的单位摄像部2 7。单位摄像部2由摄像透镜8和摄像元件14构成。同样，单位摄像部3 由摄像透镜9和摄像元件15构成。单位摄像部4由摄像透镜10和摄像元件16构成。单位摄像部5由摄像透镜11和摄像元件17构成。单位摄像部6由摄像透镜12和摄像元件 18构成。单位摄像部7由摄像透镜13和摄像元件19构成。各摄像透镜8 13使来自摄影对象的光分别在对应的各摄像元件14 19上成像。图1所示的符号20 25表示入射至各摄像元件14 19的光的光轴。以下，以单位摄像部3为例说明信号的流程。由摄像透镜9所成的像，通过摄像元件15进行光电变换，将光信号变换为电信号。由摄像元件15变换之后的电信号，通过影像处理部27基于预先设定的参量变换至影像信号。影像处理部27将变换之后的影像信号输出至影像合成处理部38。影像合成处理部38中，输入将从其他的单位摄像部2、4 7输出的电信号由所对应的各影像处理部26、27 31进行变换处理之后的影像信号。在影像合成处理部38中，将各单位摄像部2 7中拍摄的6个影像信号取得同步的同时合成为一个影像信号，作为高清晰影像输出。在此，影像合成处理部38基于后述的立体图像处理的结果合成高清晰影像。此外，影像合成处理部38在所合成的高分辨率影像低于预先设定的判定值的情况下，基于其判定结果生成控制信号，输出至6个控制部32 37。各控制部32 37基于所输入的控制信号，进行所对应的各摄像透镜8 13的光轴控制。然后，影像合成处理部38再次进行高清晰影像的判定。如果该判定结果良好，则影像合成处理部38输出高清晰影像，如果判定结果不佳则反复进行控制摄像透镜8 13的动作。接下来，参照图2对图1所示的单位摄像部3的摄像透镜9以及控制该摄像透镜9 的控制部33的详细结构进行说明。单位摄像部3由液晶透镜(非固体透镜)301和光学透镜(固体透镜)302构成。此外，控制部33由控制施加于液晶透镜301的电压的4个电压控制部33a、33b、33c、33d构成。电压控制部33a、33b、33c、33d基于影像合成处理部38生成的控制信号决定施加于液晶透镜301的电压，以控制液晶透镜301。图1所示的其他的单位摄像部2、4 7摄像透镜8、10 13以及控制部32、34 37，也是与摄像透镜9和控制部33相同的结构，因此在此省略其详细说明。接下来，参照图3A和图;3B，说明图2所示的液晶透镜301的结构。图3A是第1实施方式中的液晶透镜301的正面图。图:3B是第1实施方式中的液晶透镜301的剖面图。本实施方式中的液晶透镜301由透明的第1电极303、第2电极304、透明的第3 电极305、液晶层306、第1绝缘层307、第2绝缘层308、第3绝缘层311、第4绝缘层312构成。液晶层306配置在第2电极304与第3电极305之间。第1绝缘层307配置在第 1电极303与第2电极304之间。第2绝缘层308配置在第2电极304与第3电极305之间。第3绝缘层311配置在第1电极303的外侧。第4绝缘层312配置在第3电极305的外侧。在此，第2电极304具有圆形的孔，如图3A的俯视图所示，由纵横分割出的4个电极304a、304b、304c、304d构成。各个电极304a、304b、304c、304d能够独立地施加电压。此外，液晶层306按照与第3电极305对置的方式使液晶分子向一个方向定向，通过在夹着液晶层306的电极303、304、305之间施加电压，以进行液晶分子的定向控制。此外，在绝缘层 308中，为了大口径化例如采用几百ym左右厚度的透明的玻璃(状物)等。作为一例以下示出液晶透镜301的尺寸。第2电极304的圆形孔的尺寸约为 Φ 2mm。第2电极304与第1电极303的间隔为70 μ m。第2绝缘层308的厚度为700 μ m。 液晶层306的厚度为60 μ m。在本实施方式中，第1电极303与第2电极304设定为不同的层，但也可以形成在同一面上。在这种情况下，第1电极303的形状设定为尺寸小于第2电极304的圆形孔的圆形，配置在第2电极304的孔位置，在第2电极304的分割部分设置电极取出部。此时，第1电极303和构成第2电极的电极3(Ma、304b、3(Mc、304d，能够分别独立地进行电压控制。通过采用这种构成，能够减少整体的厚度。接下来，说明图3A和图;3B所示的液晶透镜301的动作。在图3A和图所示的液晶透镜301中，在透明的第3电极305与由铝薄膜等构成的第2电极304之间施加电压。 与此同时，也在第1电极303与第2电极304之间施加电压。由此，能够在具有圆形孔的第 2电极304的中心轴309形成轴对象的电场梯度。由于这样形成的圆形电极的边沿周围的轴对象的电场梯度，使得液晶层306的液晶分子在电场梯度的方向定向。其结果因液晶层 306的定向分布的变化，异常光的折射率分布从圆形电极的中心至周边发生变化，由此能够使其发挥透镜的作用。通过向第1电极303、第2电极304施加电压，从而能够自由地改变该液晶层306的折射率，能够自由地进行凸透镜或凹透镜等光学特性的控制。在本实施方式中，在第1电极303与第2电极304之间施加20Vrms的有效电压， 在第2电极304与第3电极305之间施加70Vrms的有效电压，在第1电极305与第3电极305之间施加90Vrms的有效电压，从而使其作为凸透镜发挥作用。在此，液晶驱动电压 (各电极间施加的电压)是正弦波或者占空比为50%的矩形波的交流波形。所施加的电压值由有效电压(rms :root mean square value)表示。例如，IOOVrms的交流正弦波是具有士 144V的峰值的电压波形。此外，作为交流电压的频率例如使用1kHz。再有，在构成第2 电极304的电极3(Ma、304b、3(Mc、304d与第3电极305之间分别施加不同的电压。由此， 施加同一电压时成为轴对称的折射率分布，相对于具有圆形孔的第2电极中心轴309成为轴偏移的非对称的分布，可得到从入射光前进的方向偏离的效果。在这种情况下，通过适当改变在分割出的第2电极304与第3电极305之间施加的电压，能够改变入射光的偏离方向。例如，在电极30 与电极305之间、电极304c与电极305之间分别施加70Vrms，在电极304b与电极305之间、电极304d与电极305之间分别施加7IVrms，从而符号309示出的光轴位置偏移至符号310示出的位置。其偏移量例如为3 μ m。图4是说明液晶透镜301的光轴偏移功能的示意图。如前所述，对电极3(Ma、304b、 3(Mc、304d的每一个，控制在构成第2电极的电极3(Ma、304b、3(Mc、304d与第3电极305之间施加的电压。由此，能够使摄像元件的中心轴和液晶透镜的折射率分布的中心轴偏移。这相当于相对摄像元件面AOl透镜在其xy面内偏移。因此，能够使入射至摄像元件的光线在其u、v面内偏向。图5表示图2所示的单位摄像部3的详细结构。单位摄像部3中的光学透镜302 由2个光学透镜3(^a、302b构成。液晶透镜301配置在光学透镜30 与302b之间。光学透镜30h、302b分别由一个或多个的透镜构成。从物体面A02(参照图4)入射的光线由配置在液晶透镜301的物体面A02侧的光学透镜30 聚光，以光点变小之后的状态入射至液晶透镜301。此时，入射至液晶透镜301的光线的入射角度相对于光轴处于近乎平行的状态。从液晶透镜301射出的光线由配置在液晶透镜301的摄像元件15侧的光学透镜302b 在摄像元件15面上成像。通过采用这种结构，能够减小液晶透镜301的直径，能够减小施加于液晶透镜301的电压、增大透镜效果，通过使第2绝缘层308的厚度变薄由此减小透镜的厚度。在图1所示的摄像装置1中，采用针对一个摄像元件配置一个摄像透镜的结构。但是，也可以构成为在液晶透镜301中在同一基板上构成多个第2电极304，使多个液晶透镜一体化。也就是说，液晶透镜301中的第2电极304的孔部分相当于透镜。因此，在一个基板上配置多个第2电极304的图案，从而各第2电极304的孔部分具有透镜效果。因此，配合多个摄像元件的配置，在同一基板上配置多个第2电极304，从而能够以一个液晶透镜单元对应所有的摄像元件。此外，在上述的说明中，液晶层的层数为1层。但是，通过使一层的厚度变薄从而以多层构成液晶层，能够确保相同程度的聚光性的同时还能改善响应性。这是基于液晶层越厚则响应速度越差的特征。此外，在由多层构成液晶层的情况下，通过改变各液晶层之间的偏振光的方向，针对入射至液晶透镜的光线能够在所有的偏振光方向获得透镜效果。再有，尽管作为一例例示了电极分割数为4分割的类型，但也可以根据打算移动的方向改变电极的分割数。接下来，参照图6和图7对图1所示的摄像元件15的结构进行说明。本实施方式中的摄像装置1的摄像元件，作为一例使用CMOS摄像元件。在图6中，摄像元件15由二维排列的像素501构成。本实施方式的CMOS摄像元件的像素尺寸为5. 6 μ mX 5.6 μ m，像素间距为6 μ mX 6 μ m，有效像素数为640 (水平)X 480 (垂直)。在此，像素是摄像元件进行的摄像动作的最小单位。通常，一个像素对应一个光电变换元件(例如，光电二极管)。在 5.6μπι角的像素尺寸之中，存在具有一定面积(空间上的宽度)的受光部，像素将入射至受光部的光进行平均化和积分求出光的强度，并变换为电信号。进行平均化的时间由电子式或机械式的快门等控制，其动作周期一般与摄像装置1输出的视频信号的帧频率一致，例如 60Hz。图7表示摄像元件15的详细结构。CMOS摄像元件15的像素501中，由放大器516 对光电二极管515进行光电变换之后的信号电荷进行放大。各像素的信号通过由垂直扫描电路511和水平扫描电路512控制开关517，从而按照垂直水平地址方式被选择，作为电压或电流经由CDS518 (Correlated Double Sampling)、开关519、放大器520作为信号SOl被取出。开关517与水平扫描线513以及垂直扫描线514连接。⑶S518是进行相关二重采样的电路，能够抑制由放大器516等产生的随机噪声之中的Ι/f噪声。对于像素501以外的像素也具有相同的结构和功能。此外，由于CMOS逻辑LSI制造工艺的应用能够进行大量生产，为此较之于具有高电压逻辑电路的CCD图像传感器是更为廉价，并且因为元件小所以耗电少，在原理上不会发生污点(smear)和发白(blooming)，以上便是CMOS摄像元件的优点。本实施方式中，尽管使用了黑白的CMOS摄像元件15，但也可以使用分别在各像素安装了 R、G、B滤色器的彩色的CMOS摄像元件。使用按照方格花纹反复配置R、G、G、B的拜尔构造，能够简单地以一个摄像元件实现彩色化。接下来，参照图8对摄像元件1的整体构造进行说明。在图8中，对于图1所示的相同的部分附于相同的符号，并省略其说明。在图8中，符号P001是对摄像装置1的处理动作进行总控制的CPU (Central Processing Unit)，有时也称为微型控制器(微型计算机)。符号P002是由非易失性存储器构成的ROM (Read Only Memory)，存储CPU · POOl的程序和各处理部所需的设定值。符号P003是RAM (Random Access Memory)，存储CPU的暂时的数据。符号P004是VideoRAM，主要用于存储运算过程中的影像信号、图像信号，由 SDRAM (Synchronous Dynamic RAM)等构成。图8中作为CPU· P001的程序保存用具有RAM · P003，作为图像保存用具有 VideoRAM ·Ρ004，但也可以采用将例如2个RAM模块统一于VideoRAM · P004的结构。符号 P005 是系统总线，连接着 CPU · P00UR0M · P002.RAM · P003、VideoRAM · P004、影像处理部 27、影像合成处理部38、控制部33。此外，系统总线P005还连接于后述影像处理部27、影像合成处理部38、控制部33的各模块的内部模块。CPU · P001作为主机控制系统总线P005， 双向流动影像处理、图像处理和光轴控制中所需的设定数据。例如，在将影像合成处理部38的运算过程中的图像保存在VideoRAM-P004中时， 使用该系统总线P005。也可以将需要高速传输速度的图像信号用的总线、和低速的数据总线设定为不同的总线。在系统总线P005连接与未图示的USB或闪存卡这种的外部设备的接口、作为取景器的液晶显示器的显示驱动控制器。影像合成处理部38针对从其他影像处理部输入的信号S02进行影像合成处理，作为信号S03输出至其他控制部，或作为视频信号S04输出至外部。接下来，参照图9和图10说明影像处理部27和影像合成处理部38的处理动作。图9是表示影像处理部27的结构框图。在图9中，影像处理部27具有影像输入处理部601、 修正处理部602、校正参量存储部603。影像输入处理部601从单位摄像部3取入影像信号，实施例如拐点(knee)处理和伽马处理等信号处理，还实施白平衡控制。影像输入处理部601的输出被输出至修正处理部602，基于后述的校准步骤得到的校正参量实施失真的修正处理。例如，修正处理部602对因摄像元件15的安装误差引起的失真进行校正。校正参量存储部603是RAM (Random Access Memory)，存储着校准值(校正值)。从修正处理部 602输出的完成修正的影像信号输出至影像合成处理部38。校正参量存储部603中所存储的数据例如在摄像装置1的电源接通时，由CPU ·Ρ001 (图8)进行更新。或者，也可以使校正参量存储部603为ROM (Read Only Memory)，在工场出货时通过校准步骤确定保存数据， 并将其存储在ROM中。影像输入处理部601、修正处理部602以及校正参量存储部603分别连接于系统总线P005。例如，影像输入处理部601的上述的伽马处理的特性保存在ROM · P002中。影像输入处理部601基于CPU · P001的程序，经由系统总线P005接收ROM · P002 (图8)所保存的数据。此外，修正处理部602将运算过程中的图像数据经由系统总线P005写入 VideoRAM · P004,或者从VideoRAM · P004中读出。在本实施方式中，使用了黑白的CMOS摄像元件15，但也可以使用彩色的CMOS摄像元件。在使用彩色的CMOS摄像元件的情况下，例如在摄像元件1是拜尔构造时，由影像处理部61实施拜尔插值处理。图10是表示影像合成处理部38的结构框图。影像合成处理部38具有合成处理部701、合成参量存储部702、判定部703、立体图像处理部704。合成处理部701对多个单位摄像部2 7 (图1)的摄像结果(从影像处理部输入的信号进行合成处理。通过合成处理部701的合成处理，如后面所述那样能够改善图像的分辨率。合成参量存储部702例如保存着基于通过后述校准导出的单位摄像部间的三维坐标而求出的图像偏移量的数据。判定部703基于影像合成结果生成输出至控制部的信号S03。立体图像处理部704基于多个的单位摄像部2 7的各摄像图像求出每个像素的偏移量(每个像素的偏移参量)。此外，立体图像处理部704基于摄像条件(距离)，求出按照摄像元件的像素间距标准化之后的数据。合成处理部701，以该偏移量为基准使图像偏移然后进行合成。判定部703通过对合成处理的结果例如进行傅里叶变换，检测影像信号的高频分量的功率。在此，例如假设合成处理部701进行4个单位摄像部的合成处理的情况。假定摄像元件为宽VGA(8M 像素X480像素)。此外，假定作为影像合成处理部38的输出的视频信号S04是高清信号(1920像素X 1080像素)。在该情况下，由判定部703进行判定的频带大致从20MHz至 30MHz。宽VGA的影像信号能够再现的影像频率的频带上限，大致为IOMHz至15MHz。使用该宽VGA信号，通过由合成处理部701进行合成处理，可复原出20MHz至30MHz的成分。在此，摄像元件是宽VGA。主要由摄像透镜8 13 (图1)构成的摄像光学系统，需要具备不会使高清信号的频带劣化的特性。影像合成处理部38对控制部32 控制部37进行控制，使得该合成后的视频信号 S04的频带(在上述例子中为20MHz至30MHz的成分)的功率为最大。为了进行频率轴下的判定，判定部703进行傅里叶变换处理，判定其结果的特定频率以上(例如20MHz)的能量大小。超过摄像元件的频带的影像信号频带的复原效果，因在像素的大小决定的范围内对摄像元件上所成的像进行取样时的相位而变化。为了将该相位设定为最佳状态，使用控制部32 37对摄像透镜8 13进行控制。具体而言，控制部33对摄像透镜9具备的液晶透镜301进行控制。通过控制施加于液晶透镜301的分割出的电极3(Ma、304b、3(Mc、304d 的电压的平衡，如图4所示那样摄像元件面上的图像移动。控制结果的理想状态是各个单位摄像部的摄像结果的取样相位在水平、垂直、倾斜方向彼此偏移像素尺寸的1/2。在处于这种理想状态的情况下，作为傅里叶变换的结果的高频带成分的能量最大。也就是说，控制部33通过进行液晶透镜的控制、以及其结果的合成处理的判定的反馈环，使得傅里叶变换的结果的能量最大。在该控制方法中，以来自影像处理部27的影像信号为基准，经由控制部33以外的控制部32、34 37 (图1)来控制摄像透镜2、摄像透镜4 7 (图1)。该情况下，摄像透镜 2由控制部32控制光轴相位。对于其他的摄像透镜4 7也同样地控制光轴相位。通过进行比各摄像元件的像素小的尺寸下的相位的控制，可使由摄像元件平均化的相位的偏移最佳化。也就是说，将由像素对摄像元件上所成的像进行取样时的取样相位，控制在对于通过光轴相位的控制进行高清晰化而言理想的状态。其结果能够合成高清晰且高画质的影像信号。判定部703对合成处理结果进行判定，如果能够合成高清晰且高画质的影像信号，则维持其控制值，合成处理部701将高清晰且高画质的影像信号作为信号S04进行视频输出。 另一方面，如果不能合成出高清晰且高画质的影像信号，则再次进行摄像透镜的控制。这里，为了使摄像元件1的像素和摄像对象的成像的相位为像素的尺寸以下，而命名并定义了子像素，但分割像素的子像素的构造在摄像元件上实际是不存在的。此外，影像合成处理部38的输出例如是视频信号S04，向未图示的显示器输出，或者输出至未图示的图像记录部并记录在磁带或IC卡中。合成处理部701、合成参量存储部702、判定部703、 立体图像处理部704，分别连接于系统总线P005。合成参量存储部702由RAM构成。例如， 存储部702在摄像装置1的电源接通时，由CPU · POOl经由系统总线P005进行更新。此外，合成处理部701将运算过程中的图像数据经由系统总线P005写入VideoRAM · P004，或者从VideoRAM · P004中读出。立体图像处理部704，求出按照每个像素的偏移量(每个像素的偏移参量)和每个像素的像素间距进行标准化之后的数据。这在拍摄的影像的一个画面之中以多个图像偏移量(每个像素的偏移量)来合成影像的情况下、具体而言在打算拍摄交点位于从摄影距离近的被摄体至远的被摄体的影像的情况下是有效的。也就是说，能够拍摄景深较深的影像。 相反在一个画面中应用一个图像偏移量而不是每个像素的偏移量的情况下，能够拍摄景深较浅的影像。接下来，参照图11说明控制部33的结构。在图11中，控制部33具有电压控制部 801、液晶透镜参量存储部802。电压控制部801按照从影像合成处理部38的判定部703输入的控制信号，对摄像透镜9具备的液晶透镜301的各电极的电压进行控制。被控制的电压是以从液晶透镜参量存储部802输出的参量值为基准，由电压控制部801决定的。通过这种处理，液晶透镜301的电场分布可被理想地控制，如图4所示那样控制光轴。其结果在取入相位被修正的状态下在摄像元件15中进行光电变换。通过这种控制，像素的相位被理想地进行控制。其结果，可改善视频输出信号的分辨率。如果控制部33的控制结果为理想的状态，则作为判定部703的处理的傅里叶变换的结果的能量检测为最大。为了达到这种状态，控制部33构成基于摄像透镜9、影像处理部27、影像合成处理部38的反馈环，按照使得高频的能量最大的方式控制液晶透镜。电压控制部801、液晶透镜参量存储部802分别连接于系统总线P005。液晶透镜参量存储部802例如由RAM构成，在摄像装置1的电源接通时，由CPU · POOl经由系统总线P005进行更新。此外，图9 图11所示的校正参量存储部63、合成参量存储部702以及液晶透镜参量存储部802，也可以使用相同的RAM或ROM，形成按照存储的地址进行区分使用的结构。 此外，也可以是使用ROM · P002或RAM · P003的一部分地址的结构。接下来，说明摄像装置1的控制动作。图12是表示摄像装置1的动作的流程图。 在此，表示在影像合成处理中使用影像的空间频率信息的一例。首先，当CPU .pool指示控制处理开始时，修正处理部602从校正参量存储部603读取校正参量(步骤S901)。修正处理部602基于所读取的校正参量，进行各个单位摄像部2 7的修正(步骤S902)。该修正是后述的除去每个单位摄像部2 7的失真。接下来，合成处理部701从合成参量存储部702读取合成参量(步骤S90;3)。此外，立体图像处理部704求出按照每个像素的偏移量(每个像素的偏移参量)以及摄像元件的像素间距标准化之后的数据。然后，合成处理部701基于读取的合成参量、和按照每个像素的偏移量(每个像素的偏移参量)以及摄像元件的像素间距标准化之后的数据，执行子像素影像合成高清晰化处理(步骤S904)。如后面所述，合成处理部701基于以子像素为单位的相位不同的信息构筑高清晰图像。接下来，判定部703实行高清晰判定(步骤S905)，判定是否为高清晰(步骤 S906)。判定部703在内部保持着判定用的阈值，判定高清晰的程度，并将该判定结果的信息分别输出至控制部32 37。各控制部32 37在实现了高清晰的情况下不改变控制电压，作为液晶透镜参量保持同一值(步骤S907)。另一方面，在步骤S906中，判定为不是高清晰的情况下，控制部32 37改变液晶透镜301的控制电压(步骤S908)。CPU -P001管理控制结束条件，例如判定摄像装置1的电源关断的条件是否成立(步骤S909)。在步骤 S909中如果控制结束条件不满足，则CPU -P001返回至步骤S903反复上述的处理。另一方面，在步骤S909中，如果满足了控制结束条件，CPU · POOl结束图12所示的流程图的处理。 此外，控制结束条件也可以设定为在摄像装置1的电源关断时预先使高清晰判定次数为10 次，反复进行指定次数的步骤S903 S909的处理。接下来，参照图13对图12所示的子像素影像合成高清晰化处理(步骤S904)的动作进行说明。图像尺寸、倍率、转动量和偏移量是合成参量B01，在合成参量读取处理(步骤S903)中从合成参量存储部702读出。基于合成参量BOl的图像尺寸和倍率，决定坐标 B02。此外，基于坐标B02、合成参量BOl的转动量和偏移量来进行变换运算B03。在此，假设从4个单位摄像部得到一个高清晰图像的情况。基于由各个单位摄像部拍摄的4个图像Bll B14，使用转动量和偏移量的参量在一个坐标系B20重叠。然后， 根据4个图像Bll B14、和基于距离的权重系数进行滤波运算。例如，作为滤波器使用三次方(近似三次)滤波器。根据处于距离d的像素所取得的权重w如下式。w = l-2Xd2+d3 (0 彡 d < 1)= 4-8 X d+5 X d2_d3 (1 彡 d < 2)= 0 (2 ^ d)
接下来，参照图14对图12所示的判定部703进行的高清晰判定处理(步骤S905) 的详细动作进行说明。首先，判定部703提取定义范围的信号(步骤S1001)。例如在将以帧为单位的一个画面设定为定义范围的情况下，由未图示的帧存储器模块预先存储一画面的信号。例如，如果是VGA分辨率，则一个画面是由640X480像素组成的二维的信息。针对该二维信息，判定部703执行傅里叶变换，将时间轴的信息变换为频率轴的信息(步骤 S1002)。接下来，通过HPF (High pass filter 高通滤波器)提取高频信号(步骤S1003)。 例如，假设摄像元件9是纵横比为4 3、60fgs (Frame Per Second)(逐行)的VGA信号 (640像素X480像素)、作为影像合成处理部的输出的视频输出信号为Quad-VGA的情况。 假设VGA信号的界限分辨率约为8MHz、在合成处理中再现IOMHz 16MHz的信号的情况。在该情况下，HPF例如具有使IOMHz以上的成分通过的特性。判定部703将该IOMHz以上的信号与阈值进行比较来进行判定(步骤S1004)。例如，在将傅里叶变换之后的结果的DC(直流)成分设为1的情况下，将IOMHz以上的能量阈值设定为0. 5，与该阈值进行比较。在上述的说明中，说明了以某分辨率的摄像结果的1帧的图像为基准进行傅里叶变换的情况。但是，在以行为单位(水平同步反复的单位，如果是高清信号，则为有效像素数1920像素单位)对定义范围进行定义的情况下，不需要帧存储器模块，能够减小电路规模。在这种情况下，例如如果是高清信号，则可以例如按照行数的1080次反复实行傅里叶变换，综合以行为单位的1080次的阈值比较判定，来判定一个画面的高清晰度。此外，也可以使用几帧的以画面为单位的阈值比较判定结果来判定。这样，以多个判定结果为基础进行综合判定，从而能够除去突发的噪声的影响等。此外，在阈值判定中，既可以使用固定的阈值，也可以适当变更阈值。也可以另行提取要判定的图像的特征，以其结果为基础来切换阈值。例如，可以通过直方图检测来提取图像的特征。此外，也可以与过去的判定结果相关联地变更当前的阈值。接下来，参照图15对图12所示的控制部32 37执行的控制电压变更处理(步骤S908)的详细动作进行说明。在此，虽然以控制部33的处理动作为例进行说明，但控制部 32,34 37的处理动作也同样。首先，电压控制部801 (图11)，从液晶透镜参量存储部802 读出当前的液晶透镜的参量值(步骤S1101)。然后，电压控制部801更新液晶透镜的参量值(步骤S1102)。作为液晶透镜参量事先掌握过去的历史记录。例如，针对当前的4个电压控制部33a、33b、33c、33d，将电压控制部33a的电压按照过去的历史记录每间隔5V提高至40V、45V、50V的情况下，判定为历史记录和本次都不是高清晰，因此判定为应该进一步提高电压。并且，一边保持电压控制部33b、电压控制部33c、电压控制部33d的电压值，一边将电压控制部33a的电压更新至55V。这样，依次更新提供给4个液晶透镜的电极304a、 304b、304c、304d的电压值。此外，作为历史记录更新液晶透镜参量的值。通过以上的处理动作，以子像素为单位对多个单位摄像部2 7的摄像图像进行合成，进而判定其高清晰的程度，并按照维持高清晰性能的方式变更控制电压。由此，能够实现高画质的摄像装置1。通过对分割出的电极30 、电极304b、电极3(Mc、电极304d施加不同的电压，可改变以摄像元件的像素对通过摄像透镜8 13在摄像元件上所成的像进行取样时的取样相位。该控制的理想状态是各个单位摄像部的摄像结果的采样相位彼此在水平、垂直、倾斜方向偏移像素尺寸的1/2。由判定部703进行是否是理想状态的判定。接下来，参照图16说明相机校准的处理动作。该处理动作例如是在摄像装置1的工场生产时进行的处理，在摄像装置的电源接通时通过同时按下多个操作按键等特定操作来执行。该相机校准处理由CPU ·Ρ001执行。首先，调整摄像装置1的作业者准备图案间距已知的格子图案或方格花纹的测试图，一边改变姿势和角度一边以格子图案的30种姿势进行摄像以取得图像(步骤S1201)。接下来，CPU · POOl按照每个单位摄像部2 7对该摄像图像进行解析，导出每个单位摄像部2 7的外部参量值、内部参量值(步骤S1202)。 例如，如果是被称为针孔相机模型的一般的相机模型，则外部参量值中，相机的姿势在三维下的转动信息和平移信息的6个为外部参量。同样，内部参量是5个。导出这种的参量的处理是校正(校准)处理。在一般的相机模型中，外部参量是相对于世界坐标表示相机姿势的横摇、纵摇、滚动的三轴向量和表示平行移动成分的平移向量的三轴成分的合计6个参量。此外，内部参量为5个，分别是相机的光轴与摄像元件相交的图像中心(uO、vO)、在摄像元件上假设的坐标的角度和纵横比、焦距。接下来，CPU -P001将所得到的参量存储在校正参量存储部603中(步骤S1203)。 如前所述，通过在单位摄像部2 7的修正处理(图12所示的步骤S902)中使用该参量， 单位摄像部2 7各自的相机失真得到修正。也就是说，有时本来是直线的格子图案因相机失真而变为曲线被摄像到，这种情况下通过该相机校准处理导出用于将其复原至直线的参量，以进行单位摄像部2 7的修正。接下来，CPU -P001将单位摄像部2 7间的参量作为单位摄像部2 7间的外部参量导出(步骤S1204)。然后，更新在合成参量存储部702以及液晶透镜参量存储部802 中存储的参量(步骤S1205、S1206)。该值在子像素影像合成高清晰化处理S904、和控制电压变更S908中使用。此外，这里示出了摄像装置1内的CPU · POOl或微型计算机具备相机校准功能的情况。但是，也可以例如另行准备个人计算机，并在该个人计算机上执行同样的处理，仅将所得到的参量下载至摄像装置1中。接下来，参照图17对单位摄像部2 7的相机校准的原理进行说明。在此，针对相机的投影的情况使用图17所示的针孔相机模型。在针孔相机模型中，到达图像平面的光通过作为所有透镜的中心的一点的针孔C01，在与图像平面C02交叉的位置成像。此外，将以下坐标系称为图像坐标系，在该坐标系中，将光轴与图像平面C02的交点设为原点，配合相机元件的配置轴取得X轴和Y轴的。此外，将如下的坐标系称为相机坐标系，在该坐标系中，将相机的透镜中心设为原点，将光轴设为Z轴，平行于X轴和Y轴取得X轴和Y轴。在此，对于表示空间的坐标系的世界坐标系(XW，YW，ZW)下的三维坐标M= [X，Y，Z]T*作为其投影的图像坐标系(x，y)上的点m= [u，v]T，按照(1)式那样将其关联起来。
权利要求
1.一种摄像装置，其具备 多个摄像元件；多个固体透镜，在所述多个摄像元件的各个摄像元件上成像； 多个光轴控制部，对分别入射至所述多个摄像元件的光的光轴方向进行控制； 多个影像处理部，将所述多个摄像元件各自输出的光电变换信号变换为影像信号； 立体图像处理部，基于所述多个影像处理部变换之后的多个影像信号，进行立体匹配处理，由此求出每个像素的偏移量，并生成将超过所述多个摄像元件的像素间距的偏移量以所述像素间距标准化之后的合成参量；和影像合成处理部，基于所述立体图像处理部所生成的所述合成参量，对所述多个影像处理部各自变换的所述影像信号进行合成，由此生成高清晰影像。
2.根据权利要求1所述的摄像装置，其中，还具备立体图像噪声降低处理部，该立体图像噪声降低处理部基于由所述立体图像处理部生成的所述合成参量，降低所述立体匹配处理中使用的视差图像的噪声。
3.根据权利要求1或2所述的摄像装置，其中，所述影像合成处理部，基于由所述立体图像处理部生成的所述视差图像，仅对规定区域进行高清晰化。
4.一种摄像方法，其包括对分别入射至多个摄像元件的光的光轴方向进行控制， 将所述多个摄像元件各自输出的光电变换信号变换为影像信号， 基于变换之后的多个影像信号，进行立体匹配处理，由此求出每个像素的偏移量，并生成将超过所述多个摄像元件的像素间距的偏移量以所述像素间距标准化之后的合成参量， 基于所述合成参量对所述影像信号进行合成，由此生成高清晰影像。
全文摘要
本发明提供一种摄像装置和摄像方法，该摄像装置具备多个摄像元件；多个固体透镜，分别在多个摄像元件上成像；多个光轴控制部，对分别入射至多个摄像元件的光的光轴方向进行控制；多个影像处理部，将多个摄像元件各自输出的光电变换信号转换为影像信号；立体图像处理部，基于多个影像处理部转换之后的多个影像信号进行立体匹配处理，由此求出每个像素的偏移量，生成以像素间距对超过多个摄像元件的像素间距的偏移量进行标准化之后的合成参量；和影像合成处理部，基于立体图像处理部生成的合成参量对多个影像处理部各自转换的影像信号进行合成，由此生成高清晰影像。
文档编号H04N5/225GK102365859SQ20108001401
公开日2012年2月29日 申请日期2010年3月30日 优先权日2009年3月30日
发明者佐藤俊一 申请人:夏普株式会社