摄像装置和光轴控制方法

专利名称：摄像装置和光轴控制方法
技术领域：
本发明涉及摄像装置和光轴控制方法。本申请是基于2008年4月2日在日本申请的专利申请2008-95851号主张优先权， 并在此处引用其内容。
背景技术：
近年，高画质的数字静像摄像机和数字摄影机(以下称为数码摄像机)正在迅速 普及。而且，与此同时数码摄像机的小型化、薄型化的开发也被推进，小型且高画质的数码 摄像机开始被搭载于便携式电话等中。数码摄像机所代表的摄像装置基本上由摄像元件和透镜光学系统构成。使 用 CMOS (Complementary Metal Oxide Semiconductor)传感器或 CCD (Charge Coupled Device)传感器等电子器件作为摄像元件。这些摄像元件对成像于摄像面的光量分布进行 光电变换并记录为摄影图像。作为透镜光学系统，为了消除象差，由多数枚非球面透镜构 成。并且在具有变焦功能的情况下，需要改变多个透镜和摄像元件的间隔的驱动机构(执 行元件)。另一方面，响应摄像装置的高画质化、高功能化的要求，摄像元件向着多像素化、 高精细化发展，成像光学系统向着低象差、高精度化发展。与此同时，存在摄像装置变大，小 型化、薄型化变得困难的课题。针对这样的课题，提出了在透镜光学系统中采用复眼构造的 技术，以及由多个摄像元件与透镜光学系统构成的摄像装置。例如，提出了由配置为平面状的固体透镜阵列和液晶透镜阵列以及摄像元件构成 的摄像透镜装置(例如，参照专利文献1)。该摄像透镜装置，如图24所示，由如下部分构 成透镜系统，其具有透镜阵列2001和相同数目的可变焦型的液晶透镜阵列2002 ；摄像 元件2003，其对通过该透镜系统成像的光学像进行摄像；运算装置2004，其对由摄像元件 2003得到的多个图像进行图像处理而重构全体的图像；和液晶驱动装置2005，其从运算装 置2004检测聚焦信息并驱动液晶透镜阵列2002。通过该结构可以实现缩短了焦点距离的 小型薄型的摄像透镜装置。另外，还提出了对由摄像透镜、彩色滤波器、检测器阵列构成的4个子摄像机进行 组合，具有子像素分辨率的薄型彩色摄像机(例如参照专利文献2)。该薄型彩色摄像机，如 图25所示，由4个透镜22a 22d、彩色滤波器25、和检测器阵列24构成。彩色滤波器25 由透过红色光(R)的滤波器25a、透过绿色光(G)的滤波器25b和25c、透过蓝色光(B)的 滤波器25d构成，检测器阵列对红色、绿色、蓝色的图像进行摄影。根据该结构，可以从在人 的视觉系统中具有高灵敏度的绿色的两个图像形成高分辨率的合成图像，并与红色和蓝色 组合得到全彩色图像。专利文献1 JP特开2006-251613号公报专利文献2 JP特表2007-520166号公报另外，在多眼摄像装置中生成全彩色图像的情况下，需要解决颜色偏差的问题。在专利文献2 (图25)中公开的薄型彩色摄像机因为由4个子摄像机构成，并且彩色滤波器25 成为拜耳排列，所以颜色偏差的问题较少，但在具备更多的子摄像机来高分辨率化的情况 下，各色子摄像机的摄影位置偏离，因此会产生红、绿、蓝的图像间的偏差(视差)。例如，即 使在产品组装时严密地进行了调整，但经过时间变化等光学透镜系统和摄像元件的相对位 置也会变化，因此会发生该偏差。并且，存在如下问题因为红、绿、蓝的图像间的偏差量根 据到摄影对象为止的距离(摄影距离)而变化，所以很难用唯一的调整来对应。在可以拍 摄高分辨率的细致图案的多眼摄像装置中，解决全彩色合成时的颜色偏差问题的必要性很 大。

发明内容
本发明鉴于这种情况而作，目的在于提供一种即使在为了提高分辨率而具备多个 摄像装置的情况下，也可以生成无颜色偏差的高精细的全彩色图像的摄像装置和光轴控制 方法。本发明的特征在于，具备多个绿色摄像部，各绿色摄像部由对绿色分量的图像进 行摄像的第1摄像元件和使像成像于所述第1摄像元件上的第1光学系统构成；红色摄像 部，其由对红色分量的图像进行摄像的第2摄像元件和使像成像于所述第2摄像元件上的 第2光学系统构成；蓝色摄像部，其由对蓝色分量的图像进行摄像的第3摄像元件和使像成 像于所述第3摄像元件上的第3光学系统构成；高画质合成处理部，其以合成在所述多个绿 色摄像部中拍摄的多个图像而得到的绿色图像的分辨率成为规定的分辨率的方式，通过调 整入射到所述绿色摄像部的光的光轴并合成所述多个图像来得到高分辨率的绿色图像；和 颜色合成处理部，其以由所述高画质合成处理部得到的所述高分辨率的绿色图像和由所述 红色摄像部拍摄的红色图像的相关值、以及所述高分辨率的绿色图像和由所述蓝色摄像部 拍摄的蓝色图像的相关值分别都成为规定的相关值的方式，通过调整分别入射到所述红色 摄像部和所述蓝色摄像部的光的光轴并合成所述绿色图像、所述红色图像和所述蓝色图像 来得到彩色图像。本发明的特征在于，所述第1、第2以及第3光学系统具备可以使折射率分布变化 的非固体透镜，通过使所述非固体透镜的折射率分布变化，来进行入射到所述摄像元件的 光的光轴的调整。本发明的特征在于，所述非固体透镜为液晶透镜。本发明的特征在于，所述高画质合成处理部进行合成在所述多个绿色摄像部中拍 摄的多个图像而得到的绿色图像的空间频率分析，对高空间频段分量的功率是否为预先决 定的高分辨率判定阈值以上进行判定，并根据该判定结果进行光轴的调整。本发明的特征在于，所述红色摄像部和所述蓝色摄像部以夹在所述多个绿色摄像 部中的方式配置。本发明的特征在于，将所述多个绿色摄像部、所述红色摄像部以及所述蓝色摄像 部排列为一列。本发明的特征在于，具备多个绿色摄像部，各绿色摄像部由对绿色分量的图像进 行摄像的第1摄像元件和使像成像于所述第1摄像元件上的第1光学系统构成；红色摄像 部，其由对红色分量的图像进行摄像的第2摄像元件和使像成像于所述第2摄像元件上的
6第2光学系统构成；蓝色摄像部，其由对蓝色分量的图像进行摄像的第3摄像元件和使像成 像于所述第3摄像元件上的第3光学系统构成；高画质合成处理部，其以合成在所述多个绿 色摄像部中拍摄的多个图像而得到的绿色图像的分辨率成为规定的分辨率的方式，通过调 整入射到所述绿色摄像部的光的光轴并合成所述多个图像来得到高分辨率的绿色图像；和 颜色合成处理部，其以由配置于所述红色摄像部和所述蓝色摄像部之间的所述绿色摄像部 得到的绿色图像和由所述红色摄像部拍摄的红色图像的相关值、以及所述绿色图像和由所 述蓝色摄像部拍摄的蓝色图像的相关值分别都成为规定的相关值的方式，通过调整分别入 射到所述红色摄像部和所述蓝色摄像部的光的光轴并合成所述绿色图像、所述红色图像和 所述蓝色图像来得到彩色图像。本发明的特征在于，具备多个绿色摄像部，各绿色摄像部由对绿色分量的图像进 行摄像的第1摄像元件和使像成像于所述第1摄像元件上的第1光学系统构成；红色和蓝 色摄像部，其由对红色分量的图像和蓝色分量的图像进行摄像的第2摄像元件和使像成像 于所述第2摄像元件上的第2光学系统构成；高画质合成处理部，其以合成在所述多个绿色 摄像部中拍摄的多个图像而得到的绿色图像的分辨率成为规定的分辨率的方式，通过调整 入射到所述绿色摄像部的光的光轴并合成所述多个图像来得到高分辨率的绿色图像；和颜 色合成处理部，其以由所述高画质合成处理部得到的所述高分辨率的绿色图像和由所述红 色和蓝色摄像部拍摄的红色图像的相关值和蓝色图像的相关值分别都成为规定的相关值 的方式，通过调整入射到所述红色和蓝色摄像部的光的光轴并合成所述绿色图像、所述红 色图像和所述蓝色图像来得到彩色图像。本发明是一种摄像装置中的光轴控制方法，该摄像装置具备多个绿色摄像部，各 绿色摄像部由对绿色分量的图像进行摄像的第1摄像元件和使像成像于所述第1摄像元件 上的第1光学系统构成；红色摄像部，其由对红色分量的图像进行摄像的第2摄像元件和使 像成像于所述第2摄像元件上的第2光学系统构成；和蓝色摄像部，其由对蓝色分量的图像 进行摄像的第3摄像元件和使像成像于所述第3摄像元件上的第3光学系统构成，该光轴 控制方法的特征在于，具有高画质合成处理步骤，其以合成在所述多个绿色摄像部中拍摄 的多个图像而得到的绿色图像的分辨率成为规定的分辨率的方式，通过调整入射到所述绿 色摄像部的光的光轴并合成所述多个图像来得到高分辨率的绿色图像；和颜色合成处理步 骤，其以由所述高画质合成处理步骤得到的所述高分辨率的绿色图像和由所述红色摄像部 拍摄的红色图像的相关值、以及所述高分辨率的绿色图像和由所述蓝色摄像部拍摄的蓝色 图像的相关值分别都成为规定的相关值的方式，通过调整分别入射到所述红色摄像部和所 述蓝色摄像部的光的光轴并合成所述绿色图像、所述红色图像和所述蓝色图像来得到彩色 图像。本发明是一种摄像装置中的光轴控制方法，该摄像装置具备多个绿色摄像部，各 绿色摄像部由对绿色分量的图像进行摄像的第1摄像元件和使像成像于所述第1摄像元件 上的第1光学系统构成；红色摄像部，其由对红色分量的图像进行摄像的第2摄像元件和使 像成像于所述第2摄像元件上的第2光学系统构成；和蓝色摄像部，其由对蓝色分量的图像 进行摄像的第3摄像元件和使像成像于所述第3摄像元件上的第3光学系统构成，该光轴 控制方法的特征在于，具有高画质合成处理步骤，其以合成在所述多个绿色摄像部中拍摄 的多个图像而得到的绿色图像的分辨率成为规定的分辨率的方式，通过调整入射到所述绿色摄像部的光的光轴并合成所述多个图像来得到高分辨率的绿色图像；和颜色合成处理步 骤，其以由配置于所述红色摄像部和所述蓝色摄像部之间的所述绿色摄像部得到的绿色图 像和由所述红色摄像部拍摄的红色图像的相关值、以及所述绿色图像和由所述蓝色摄像部 拍摄的蓝色图像的相关值分别都成为规定的相关值的方式，通过调整分别入射到所述红色 摄像部和所述蓝色摄像部的光的光轴并合成所述高分辨率的绿色图像、所述红色图像和所 述蓝色图像来得到彩色图像。本发明是一种摄像装置中的光轴控制方法，该摄像装置具备多个绿色摄像部，各 绿色摄像部由对绿色分量的图像进行摄像的第1摄像元件和使像成像于所述第1摄像元件 上的第1光学系统构成；和红色和蓝色摄像部，其由对红色分量的图像和蓝色分量的图像 进行摄像的第2摄像元件和使像成像于所述第2摄像元件上的第2光学系统构成，该光轴 控制方法的特征在于，具有高画质合成处理步骤，其以合成在所述多个绿色摄像部中拍摄 的多个图像而得到的绿色图像的分辨率成为规定的分辨率的方式，通过调整入射到所述绿 色摄像部的光的光轴并合成所述多个图像来得到高分辨率的绿色图像；和颜色合成处理步 骤，其以由所述高画质合成处理步骤得到的所述高分辨率的绿色图像和由所述红色和蓝色 摄像部拍摄的红色图像的相关值和蓝色图像的相关值分别都成为规定的相关值的方式，通 过调整入射到所述红色和蓝色摄像部的光的光轴并合成所述绿色图像、所述红色图像和所 述蓝色图像来得到彩色图像。发明效果根据本发明可以得到如下效果可以生成无颜色偏差的高精细的全彩色图像。


图1是表示本发明的第1实施方式中的摄像装置的外观的立体图。图2是表示图1所示的摄像装置的结构的模块图。图3是表示图2所示的摄像装置的动作的流程图。图4是表示图2所示的影像处理部13R的结构的模块图。图5是表示图2所示的分辨率变换部14R的处理动作的说明图。图6是表示图2所示的高分辨率合成处理部15的处理动作的说明图。图7是表示图2所示的高分辨率合成处理部15的处理动作的说明图。图8是表示图2所示的高分辨率合成处理部15的结构的模块图。图9是表示图8所示的分辨率判定控制部52的结构的模块图。图IOA是表示图9所示的分辨率判定图像生成部92的处理动作的说明图。图IOB是表示图9所示的分辨率判定图像生成部92的处理动作的另一说明图。图IOC是表示图9所示的分辨率判定图像生成部92的处理动作的另一说明图。图IlA是表示图9所示的高频分量比较部95在内部所具有的移动标志(shift flag)的图。图IlB是表示图9所示的高频分量比较部95的动作的流程图。图12是表示图2所示的颜色合成处理部17的结构的模块图。图13A是表示图12所示的相关检测控制部71R、71B在内部所具有的移动标志的 图。
8
图13B是表示图12所示的相关检测控制部71R、71B的动作的流程图。图14是表示图2所示的摄像部10G2的结构的模块图。图15是表示图14所示的液晶透镜900的结构的说明图。图16A是表示图2所示的摄像部的配置实例的立体图。图16B是表示图2所示的摄像部的另一个配置实例的立体图。图16C是表示图2所示的摄像部的另一个配置实例的立体图。图17是表示本发明的第2实施方式中的摄像装置的外观的立体图。图18是表示图17所示的摄像装置的结构的模块图。图19是表示图18所示的摄像装置的动作的流程图。图20是表示图18所示的摄像部10G2的结构的模块图。图2IA是表示本发明的第3实施方式中的摄像装置的外观的立体图。图21B是表示该实施方式中的摄像装置的另一外观的立体图。图22是表示图21A、图21B所示的摄像装置的结构的模块图。图23是表示图22所示的摄像装置的动作的流程图。图24是表示以往的摄像装置的结构的模块图。图25是表示另一以往的摄像装置的结构的模块图。符号说明10G1、10G2、10G3、10G4…绿色摄像部、IOR…红色摄像部、IOB…蓝色摄像部、11... 摄像透镜、12…摄像元件、13R、13B、13G1、13G2、13G3、13G4…影像处理部、14R、14B…分辨率 变换部、15···高分辨率合成处理部、160、161…光轴控制部、17···颜色合成处理部。
具体实施例方式<第一实施方式>以下，参照附图对本发明的第1实施方式的摄像装置进行说明。图1是表示本实 施方式中的摄像装置的外观的图。如图1所示，本发明的摄像装置的摄像部是将如下6个 系统的摄像部固定于基板10，即具备透过绿色光的彩色滤波器的4个系统的绿色摄像部 10G1、10G2、10G3、10G4 ；具备透过红色光的彩色滤波器的1个系统的红色摄像部IOR ；和具 备透过蓝色光的彩色滤波器的1个系统的蓝色摄像部10B。图2是表示图1所示的摄像装置的详细结构的模块图。各摄像部10G1、10G2、10G3、 10G4、10RU0B各自具备摄像透镜11和摄像元件12。摄像透镜11将来自摄像对象的光成 像于摄像元件12上，成像的图像由摄像元件12进行光电变换，并作为电信号的影像信号 而输出。摄像元件12通过应用CMOS逻辑LSl制造工序可以大量生产，使用具有低耗电量 的优点的CMOS摄像元件。虽不做特别限定，但本实施方式的CMOS摄像元件的规格为像 素尺寸5.6 4!1^5.6 4 111、像素间距6 4 11^6 4 111、有效像素数640(水平)\480(垂直)。在 6个系统的摄像部IOGl、10G2、10G3、10G4、10RU0B中拍摄的图像的影像信号分别输入到影 像处理部 13G1、13G2、13G3、13G4、13R、13B。6 个系统的影像处理部 13G1、13G2、13G3、13G4、 13R、13B分别对输入的图像施加补正处理并输出。2个系统的分辨率变换部14R、14B分别根据输入的图像的影像信号进行分辨率的 变换。高分辨率合成处理部15输入4个系统的绿色图像的影像信号，并合成该4个系统的影像信号，输出高分辨率的图像的影像信号。颜色合成处理部17输入2个系统的分辨率变 换部14R、14B所输出的红色、蓝色的影像信号，和高分辨率合成处理部15所输出的绿色的 影像信号，并合成这些影像信号，输出高分辨率的彩色影像信号。光轴控制部160进行调整 3个系统的摄像部10G2、10G3、10G4的入射光轴的控制，以对合成了 4个系统的绿色图像的 影像信号的结果影像信号进行解析，根据该解析结果得到高分辨率的影像信号。光轴控制 部161进行调整2个系统的摄像部10RU0B的入射光轴的控制，以对合成了 3个系统(红 色、蓝色、绿色)的图像的影像信号的结果影像信号进行解析，根据该解析结果得到高分辨 率的影像信号。接着，参照图3，对图2所示的摄像装置的动作进行说明。图3是表示图2所示的 摄像装置的动作的流程图。首先，6个系统的摄像部10G1、10G2、10G3、10G4、10R、IOB分别对 摄像对象进行摄像，并将得到的影像信号(VGA640X480像素)输出(步骤Si)。该6个系 统的影像信号输入到6个系统的影像处理部13G1、13G2、13G3、13G4、13R、13B。6个系统的 影像处理部13G1、13G2、13G3、13G4、13R、13B分别对输入的影像信号施加影像补正处理即 变形补正处理并输出(步骤S2)。接着，2个系统的分辨率变换部14R、14B分别施加用于对输入的变形补正后的影 像信号(VGA640X480像素)的分辨率进行变换的处理(步骤S3)。通过该处理，2个系 统的影像信号被变换为Qimd-VGA1280X960像素的影像信号。另一方面，高分辨率合成 处理部15施加用于合成输入的4个系统的变形补正后的影像信号(VGA640X480像素) 并进行高分辨率化的处理(步骤S4)。通过该合成处理，4个系统的影像信号被合成为 Quad-VGA1280X960像素的影像信号并输出。此时，高分辨率合成处理部15对光轴控制部 160输出控制信号，以进行调整3个系统的摄像部10G2、10G3、10G4的入射光轴的控制，来对 合成了 4个系统的绿色图像的影像信号的结果影像信号进行解析，并根据该解析结果得到 高分辨率的影像信号。接着，颜色合成处理部17输入3个系统(红色、蓝色、绿色)的影像信号 (Quad-VGA1280X960像素)，并合成该3个系统的影像信号，输出RGB彩色的影像信号 (Quad-VGA1280X960像素)(步骤S5)。此时，颜色合成处理部17向光轴控制部161输出 控制信号，以进行调整2个系统的摄像部10RU0B的入射光轴的控制，来对合成了 3个系统 (红色、蓝色、绿色)的图像的影像信号的结果影像信号进行解析，并根据该解析结果得到 高分辨率的影像信号。然后，颜色合成处理部17对是否得到了希望的RGB彩色影像信号进 行判定，并反复处理直到得到希望的RGB彩色影像信号(步骤S6)，在得到了希望的RGB彩 色影像信号的时点处理结束。接着，参照图4，对图2所示的影像处理部13R的详细结构进行说明。因为图2所 示的6个系统的影像处理部13G1、13G2、13G3、13G4、13R、13B具备同样的结构，所以在此对 影像处理部13R的详细结构进行说明，而省略5个影像处理部13G1、13G2、13G3、13G4、13B 的详细结构的说明。影像处理部13R由以下部分构成影像输入处理部301，其输入影像信 号；变形补正处理部302，其对输入的影像信号施加变形补正处理；和校正参数存储部303， 其预先存储用于进行变形补正的校正参数。从摄像部IOR输出的影像信号输入到影像输入 处理部301，并施加例如拐点(knee)处理、伽马(gamma)处理、白平衡处理等。接下来，变形补正处理部302根据保存在校正参数存储部303的校正参数，对影像输入处理部301所输出的影像信号施加图像变形的补正处理。存储于校正参数存储部303 的校正参数被称为针孔摄像机模型的内部参数，其由图像中心位置信息、由像素尺寸和光 学透镜的焦距的积得到的比例系数、和图像的坐标轴的变形信息构成。通过按照该校正参 数进行几何学的补正处理，来补正例如摄像透镜的歪曲象差等变形。另外，校正参数可以在 工厂发货时进行测定并预先保存于校正参数存储部303，也可以对图案形状为已知的方格 花纹的西洋跳棋图案一边改变姿势和角度一边进行数次摄像，从其拍摄图像来算出。由该 6个系统的影像处理部13G1、13G2、13G3、13G4、13R、13B分别对各摄像部10G1、10G2、10G3、 10G4、10RU0B进行固有的影像变形的补正。接着，参照图5，对图2所示的分辨率变换部14R的详细动作进行说明。因为图 2所示的分辨率变换部14R、14B为同样的处理动作，所以在此对分辨率变换部14R的动作 进行说明，而省略分辨率变换部14B的动作的说明。分辨率变换部14R将输入的红色影像 信号从VGA图像的分辨率变换为Quad-VGA图像的分辨率。从VGA图像(640X480像素) 向Quad-VGA图像(1280X960像素)变换的处理可以使用公知的处理方法。例如可以使 用如图5的(A)所示的单纯地将原来的1个像素复制为4个像素的近邻取样法(Nearest Neighbor)、或如图5(B)所示的用线性插值从周围的4个像素生成四周的像素的双线 性(bi-linear)法、或使用三元函数从未作图示的周围的16个像素进行插值的双三次 (bi-cubic)法(未作图示)等。由该分辨率变换部14R，被施加了变形补正后的红色影像 信号从VGA图像的分辨率变换为Quad-VGA图像的分辨率。同样地，由分辨率变换部14B，被 施加了变形补正后的蓝色影信号从VGA图像的分辨率变换为Quad-VGA图像的分辨率。接着，参照图6、图7，对图2所示的高分辨率合成处理部15的处理动作进行说明。 高分辨率合成处理部15进行将由摄像部10G1、10G2、10G3、10G4拍摄的4个系统的影像信 号合成为一个高分辨率图像的处理。对于该合成方法，使用图6、图7所示的示意图进行说 明。在图6中，横轴表示空间的范围(大小)，纵轴表示光的强度。为了说明的简单化，在此 对由两个摄像部10G1、10G2拍摄的两个图像的高分辨率合成处理进行说明。图6中的箭头 40b和40c分别为摄像部IOGl和摄像部10G2的像素，假设相对位置关系只偏离了偏移量 40d。因为摄像元件12是以像素为单位对光强度进行积分的，所以对曲线图Gl所示的(a) 拍照对象的轮廓若用摄像元件IOGl进行摄像则可以得到曲线图G2所示的光强度分布的影 像信号、若用摄像元件10G2进行摄像则可以得到曲线图G3所示的光强度分布的影像信号。 通过合成这两个影像可以再现曲线图G4所示的接近于实际轮廓的高分辨率的图像。在图6中说明了两个图像的高分辨率合成处理，参照图7对使用由图2所示的4个 摄像部10G1、10G2、10G3、10G4得到的VGA (640 X 480像素)图像进行高分辨率合成处理的 动作进行说明。高分辨率合成处理部15为了将其变换为VGA(640X480像素)的4倍的像 素数的Quad-VGA的像素(1280 X 960像素)，对相邻的4个像素分配由不同的摄像部拍摄的 像素并进行合成。像这样，通过使用4个可以得到VGA(640X480像素)图像的摄像元件， 可以得到高分辨率的图像。例如，将由摄像部IOGl拍摄的图像的像素G15、由摄像部10G2、 10G3U0G4分别拍摄的对应的像素G25、G35、G45这4个像素作为高分辨率合成处理后的相 邻的周围的图像。该高分辨率合成处理的效果很大程度地依赖于图6所示的偏移量40d。如图6的 示意图所示，将偏移量40d设定为1/2像素尺寸较为理想。然而，由于摄像距离的变化、装配精度、长年劣化产生的松散等，总是维持1/2像素尺寸的偏移量是很困难的。因此，在本 发明中，通过将合成的高分辨率影像的分辨率与规定的阈值比较，并根据其结果移动各摄 像部的光轴，来维持理想的偏移。接着，参照图8，对高分辨率合成处理部15进行的光轴移动控制进行说明。图8是 表示图2所示的高分辨率合成处理部15的详细结构的模块图。影像合成处理部15由以下部分构成合成处理部51，其将在摄像部10G1、10G2、 10G3U0G4中拍摄的4个影像信号合成为1个高精细图像(图7的处理动作)，并输出到颜 色合成处理部17 ；和分辨率判定控制部52，其将用于对摄像部10G2、10G3、10G4的光轴进行 移动控制的控制信号输出到光轴控制部160，使得从合成处理部51输出的合成图像成为良 好的分辨率。接着，参照图9，对图8所示的分辨率判定控制部52的详细结构进行说明。如图 9所示，分辨率判定控制部52具备用于3个摄像部10G2、10G3、10G4的3个分辨率比较控 制部912、913、914。各个分辨率比较控制部912、913、914分别由以下部分构成分辨率判 定图像生成部92，其生成用于从输入的两个图像判定分辨率的图像；FFT(Fast Fourier Transform 高速傅里叶变换)部93，其用FFT处理将生成的分辨率判定图像变换为空间频 率分量；HPF部94(High Pass Filter 高通滤波器)，其从变换后的空间频率分量检测高空 间频段的功率(电力值)；和高频分量比较部95，其将检测出的高空间频段分量的功率与阈 值相比较，控制光轴移动方向以成为最佳分辨率。由3个分辨率判定图像生成部92所生成的图像在图10A、图10B、图IOC中表示。 分辨率判定图像是以使用了在图7的高分辨率合成处理中的合成方法的配置，将成为基本 图像的由摄像部IOGl拍摄的图像，和由各摄像部10G2、10G3、10G4分别拍摄的图像组合生 成的。然后，通过由FFT部93和HPF部94检测生成的各自的分辨率判定图像的高空间频 段分量的功率，并根据此检测结果将用于对摄像部10G2、10G3、10G4的各自的光轴进行移 动控制的控制信号输出到光轴控制部160，来控制各摄像部的摄像图像维持理想的偏移。在此，参照图IlB对高频分量比较部95进行的光轴移动控制的处理动作进行说 明。在高频分量比较部95内部具有表示图IlA所示的移动方向的移动标志。S卩，在从当前 时点的位置向上方移动的情况下将移动标志设为0，在向下方移动的情况下将移动标志设 为3，在向左方移动的情况下将移动标志设为1，在向右方移动的情况下将移动标志设为2。首先，高频分量比较部95将移动标志初期化为0 (步骤Sl 100)。接下来，在图像被 输入或被更新时生成图10A、图10B、图IOC所示的分辨率判定图像，并检测高空间频段分量 的功率(步骤S1101)。然后，判定高空间频段分量的功率是否为规定的阈值以上，即是否为 高分辨率(步骤S1103)，在为高分辨率的情况下不进行光轴移动，而是将移动标志初期化 (步骤S1110)，并反复处理。另一方面，在高空间频段分量的功率比阈值小，为低分辨率的情况下，将光轴向移 动标志的方向移动规定量(步骤Sl 104 Sl 107、步骤Sllll S1114)，并对移动标志+1， 即加上1 (步骤S1109)。在由于移动0 3的任意光轴移动而高空间频段分量的功率成为 阈值以上的情况下，以该光轴移动的状态将移动标志初期化并反复循环，而在即使0 3的 光轴移动也为阈值以下的情况下，向在0 3的光轴移动中分辨率最高的方向进行规定量 的移动(步骤Sl 108)，接着将移动标志初期化(步骤Sl 115)，并反复处理直到判定为控制
12结束为止(步骤S1102)。通过以上的处理，用于进行光轴移动的控制的控制信号被输出到 光轴控制部160，以使合成图像成为阈值以上的分辨率，或者成为最高分辨率。另外，阈值判定(步骤S1103)可以使用固定的阈值，但也可以例如与过去的判定 结果联动等，相应地变更阈值。接着，参照图12，对图2所示的颜色合成处理部17的详细结构和处理动作进行说 明。颜色合成处理部17合成由2个系统的分辨率变换部14R、14B扩大为Quad-VGA的分 辨率的红色影像信号和蓝色影像信号，和由高分辨率合成处理部15高分辨率合成处理为 Quad-VGA的绿色影像信号，并输出全彩色的Quad-VGA图像。颜色合成处理部17具备两个 相关检测控制部71R、71B，其算出输入的两个图像的相关值，并进行控制以使得两个图像成 为较高的相关值。因为在同一时刻对同一拍照对象进行摄像，所以输入的红色影像信号和 蓝色影像信号和绿色影像信号具有很大的相关关系。通过监视该相关关系来补正红、绿、蓝 的图像的相对的偏差。在此以高分辨率处理合成后的绿色图像的影像信号为基准，补正红 色图像和蓝色图像的位置。对图像的相关值计算方法的具体实例进行说明。假设绿色图像的函数为G(x，y)， 红色图像的函数为R(x，y)，对这些函数进行傅里叶变换，得到函数G( ξ，η)、函数R( ξ， n)。根据该函数，绿色图像和红色图像的相关值Cor表示为以下式子。
权利要求
一种摄像装置，其特征在于，具备多个绿色摄像部，各绿色摄像部由对绿色分量的图像进行摄像的第1摄像元件和使像成像于所述第1摄像元件上的第1光学系统构成；红色摄像部，其由对红色分量的图像进行摄像的第2摄像元件和使像成像于所述第2摄像元件上的第2光学系统构成；蓝色摄像部，其由对蓝色分量的图像进行摄像的第3摄像元件和使像成像于所述第3摄像元件上的第3光学系统构成；高画质合成处理部，其以合成在所述多个绿色摄像部中拍摄的多个图像而得到的绿色图像的分辨率成为规定的分辨率的方式，通过调整入射到所述绿色摄像部的光的光轴并合成所述多个图像来得到高分辨率的绿色图像；和颜色合成处理部，其以由所述高画质合成处理部得到的所述高分辨率的绿色图像和由所述红色摄像部拍摄的红色图像的相关值、以及所述高分辨率的绿色图像和由所述蓝色摄像部拍摄的蓝色图像的相关值分别都成为规定的相关值的方式，通过调整分别入射到所述红色摄像部和所述蓝色摄像部的光的光轴并合成所述绿色图像、所述红色图像和所述蓝色图像来得到彩色图像。
2.根据权利要求1所述的摄像装置，其特征在于，所述第1、第2以及第3光学系统具备能够使折射率分布变化的非固体透镜，通过使所 述非固体透镜的折射率分布变化，来进行入射到所述摄像元件的光的光轴的调整。
3.根据权利要求2所述的摄像装置，其特征在于， 所述非固体透镜为液晶透镜。
4.根据权利要求1所述的摄像装置，其特征在于，所述高画质合成处理部进行合成在所述多个绿色摄像部中拍摄的多个图像而得到的 绿色图像的空间频率分析，对高空间频段分量的功率是否为预先决定的高分辨率判定阈值 以上进行判定，并根据该判定结果进行光轴的调整。
5.根据权利要求1所述的摄像装置，其特征在于，所述红色摄像部和所述蓝色摄像部以夹在所述多个绿色摄像部中的方式配置。
6.根据权利要求1所述的摄像装置，其特征在于，将所述多个绿色摄像部、所述红色摄像部以及所述蓝色摄像部排列为一列。
7.一种摄像装置，其特征在于，具备多个绿色摄像部，各绿色摄像部由对绿色分量的图像进行摄像的第1摄像元件和使像 成像于所述第1摄像元件上的第1光学系统构成；红色摄像部，其由对红色分量的图像进行摄像的第2摄像元件和使像成像于所述第2 摄像元件上的第2光学系统构成；蓝色摄像部，其由对蓝色分量的图像进行摄像的第3摄像元件和使像成像于所述第3 摄像元件上的第3光学系统构成；高画质合成处理部，其以合成在所述多个绿色摄像部中拍摄的多个图像而得到的绿色 图像的分辨率成为规定的分辨率的方式，通过调整入射到所述绿色摄像部的光的光轴并合 成所述多个图像来得到高分辨率的绿色图像；和颜色合成处理部，其以由配置于所述红色摄像部和所述蓝色摄像部之间的所述绿色摄像部得到的绿色图像和由所述红色摄像部拍摄的红色图像的相关值、以及所述绿色图像和 由所述蓝色摄像部拍摄的蓝色图像的相关值分别都成为规定的相关值的方式，通过调整分 别入射到所述红色摄像部和所述蓝色摄像部的光的光轴并合成所述绿色图像、所述红色图 像和所述蓝色图像来得到彩色图像。
8.一种摄像装置，其特征在于，具备多个绿色摄像部，各绿色摄像部由对绿色分量的图像进行摄像的第1摄像元件和使像 成像于所述第1摄像元件上的第1光学系统构成；红色和蓝色摄像部，其由对红色分量的图像和蓝色分量的图像进行摄像的第2摄像元 件和使像成像于所述第2摄像元件上的第2光学系统构成；高画质合成处理部，其以合成在所述多个绿色摄像部中拍摄的多个图像而得到的绿色 图像的分辨率成为规定的分辨率的方式，通过调整入射到所述绿色摄像部的光的光轴并合 成所述多个图像来得到高分辨率的绿色图像；和颜色合成处理部，其以由所述高画质合成处理部得到的所述高分辨率的绿色图像和由 所述红色和蓝色摄像部拍摄的红色图像的相关值及蓝色图像的相关值分别都成为规定的 相关值的方式，通过调整入射到所述红色和蓝色摄像部的光的光轴并合成所述绿色图像、 所述红色图像和所述蓝色图像来得到彩色图像。
9.一种摄像装置中的光轴控制方法，该摄像装置具备多个绿色摄像部，各绿色摄像部由对绿色分量的图像进行摄像的第1摄像元件和使像 成像于所述第1摄像元件上的第1光学系统构成；红色摄像部，其由对红色分量的图像进行摄像的第2摄像元件和使像成像于所述第2 摄像元件上的第2光学系统构成；和蓝色摄像部，其由对蓝色分量的图像进行摄像的第3摄像元件和使像成像于所述第3 摄像元件上的第3光学系统构成，该光轴控制方法的特征在于，具有高画质合成处理步骤，其以合成在所述多个绿色摄像部中拍摄的多个图像而得到的绿 色图像的分辨率成为规定的分辨率的方式，通过调整入射到所述绿色摄像部的光的光轴并 合成所述多个图像来得到高分辨率的绿色图像；和颜色合成处理步骤，其以由所述高画质合成处理步骤得到的所述高分辨率的绿色图像 和由所述红色摄像部拍摄的红色图像的相关值、以及所述高分辨率的绿色图像和由所述蓝 色摄像部拍摄的蓝色图像的相关值分别都成为规定的相关值的方式，通过调整分别入射到 所述红色摄像部和所述蓝色摄像部的光的光轴并合成所述绿色图像、所述红色图像和所述 蓝色图像来得到彩色图像。
10.一种摄像装置中的光轴控制方法，该摄像装置具备多个绿色摄像部，各绿色摄像部由对绿色分量的图像进行摄像的第1摄像元件和使像 成像于所述第1摄像元件上的第1光学系统构成；红色摄像部，其由对红色分量的图像进行摄像的第2摄像元件和使像成像于所述第2 摄像元件上的第2光学系统构成；和蓝色摄像部，其由对蓝色分量的图像进行摄像的第3摄像元件和使像成像于所述第3 摄像元件上的第3光学系统构成，该光轴控制方法的特征在于，具有高画质合成处理步骤，其以合成在所述多个绿色摄像部中拍摄的多个图像而得到的绿 色图像的分辨率成为规定的分辨率的方式，通过调整入射到所述绿色摄像部的光的光轴并 合成所述多个图像来得到高分辨率的绿色图像；和颜色合成处理步骤，其以由配置于所述红色摄像部和所述蓝色摄像部之间的所述绿色 摄像部得到的绿色图像和由所述红色摄像部拍摄的红色图像的相关值、以及所述绿色图像 和由所述蓝色摄像部拍摄的蓝色图像的相关值分别都成为规定的相关值的方式，通过调整 分别入射到所述红色摄像部和所述蓝色摄像部的光的光轴并合成所述高分辨率的绿色图 像、所述红色图像和所述蓝色图像来得到彩色图像。
11. 一种摄像装置中的光轴控制方法，该摄像装置具备多个绿色摄像部，各绿色摄像部由对绿色分量的图像进行摄像的第1摄像元件和使像 成像于所述第1摄像元件上的第1光学系统构成；和红色和蓝色摄像部，其由对红色分量的图像和蓝色分量的图像进行摄像的第2摄像元 件和使像成像于所述第2摄像元件上的第2光学系统构成， 该光轴控制方法的特征在于，具有高画质合成处理步骤，其以合成在所述多个绿色摄像部中拍摄的多个图像而得到的绿 色图像的分辨率成为规定的分辨率的方式，通过调整入射到所述绿色摄像部的光的光轴并 合成所述多个图像来得到高分辨率的绿色图像；和颜色合成处理步骤，其以由所述高画质合成处理步骤得到的所述高分辨率的绿色图像 和由所述红色和蓝色摄像部拍摄的红色图像的相关值及蓝色图像的相关值分别都成为规 定的相关值的方式，通过调整入射到所述红色和蓝色摄像部的光的光轴并合成所述绿色图 像、所述红色图像和所述蓝色图像来得到彩色图像。
全文摘要
本发明的摄像装置，通过具备如下部件来生成高分辨率的彩色图像多个绿色摄像部，其对绿色分量的图像进行摄像；红色摄像部，其对红色分量的图像进行摄像；蓝色摄像部，其对蓝色分量的图像进行摄像；高画质合成处理部，其以合成在多个绿色摄像部中拍摄的多个图像而得到的绿色图像的分辨率成为规定的分辨率的方式，通过调整入射到绿色摄像部的光的光轴并合成多个图像来得到高分辨率的绿色图像；和颜色合成处理部，其通过调整分别入射到红色摄像部和蓝色摄像部的光的光轴并合成绿色图像、红色图像、以及蓝色图像来得到彩色图像。
文档编号G02F1/1343GK101981938SQ20098011142
公开日2011年2月23日 申请日期2009年4月2日 优先权日2008年4月2日
发明者田中诚一 申请人:夏普株式会社