摄像装置的制作方法

专利名称：摄像装置的制作方法
技术领域：
本发明涉及摄像装置，通过对使用多个摄像光学系统获得的多个图像进行视差修 正合成为一个高精度图像，以及根据求得的视差量计算到被摄体的距离。
背景技术：
近年来，随着薄型数码相机需求的增加，提出了以使用多个透镜和图像传感器拍 摄单个被摄体，将它们各自获得的图像合成获得单一的高画质的二维图像为目的的摄像装置。参照图17说明这样的现有技术的摄像装置的一个例子。图17(a)所示的现有技 术的摄像装置中，101为用模具等制作成一个整体的摄像透镜。摄像透镜101具有R波长用 透镜101a、G波长用透镜IOlb和B波长用透镜101c，用来将被摄体像成像在分开成后述的 C-MOS传感器103的3色像素中的每一种色彩的传感器部103a、103b、103c上。102为每个透镜IOla IOlc的光圈，为整体结构。光圈102中，R波长透过滤波 器102a、G波长透过滤波器102b、B波长透过滤波器102c构成一个整体。103为未图示的图像处理电路等一体地构成的C-MOS传感器，如图17(b)所示，各 R、G、B用传感器103a、103b、103c在平面上独立地构成。因此，与现有技术的拜耳阵列的传
感器相比，相同像素大小和像素数量只要的透镜的焦距就可以，能够使光轴方向上
的厚度很薄地构成(参照日本特许第3397758号公报)。但是，这种现有技术的薄型化摄像装置需要将成像在3个不同的传感器上的图像 合成为一个图像。像图17所示那样，一般情况下存在多个光轴的光学系统即使拍摄相同的 被摄体，各传感器部103a、103b和103c也偏离传感器的光轴中心一个相对值而成像。该偏 差为视差。视差依存于被摄体的距离，作为基准的摄像透镜和传感器与被摄体之间的位置 关系决定视差产生的方向。在此，图18表示了成像在传感器部103a、103b和103c上的图像的一例。如果以 摄像透镜IOlb和传感器部103b为基准的话，则成像在传感器部103a上的像104a为将成 像在传感器部103b上的像104b向y方向移动视差量的距离的像。并且，成像在传感器部 103c上的像104c为将传感器部103b的像104b沿y的负方向移动视差量的距离的像。将成像在传感器部103a、103b、103c上的图像合成为一个图像时，需要检测视差， 修正该视差将图像组合。但是，如从图18能够明白的那样，与成像在G用传感器部103b上 的像104b相比，成像在R用传感器部103a上的像104a缺失了 y的正方向的图像。并且另一方面，成像在B用传感器部103c上的像104c缺失了 y的负方向的图像。因此，即使将像104a、104b和104c合成，也只能作出具有全部色彩信息的区域的图像(被摄体的一部分)。换 言之，存在图像的周边部分产生假色彩(用与本来的颜色不同的颜色表现的地方)的问题。即使在附加了利用视差测量距离的功能的情况下，也存在不能测量位于图像周边 部分的被摄体的距离的问题。

发明内容
本发明就是为了解决这样的问题，目的是要提供一种消除了每个色彩信息具有视 差的复眼光学系统中的现有的问题——即消除了图像周边部分的图像由于视差而缺失的 问题的摄像装置。更具体为，提供一种通过考虑视差修正有效像素区域，能够再现图像周边 部分没有假色的图像、并且图像周边部分也能够测距的薄型摄像装置。为了达到上述目的，本发明第1方案的摄像装置具有以下部多个透镜部，分别包 含至少一枚透镜；多个摄像区域，与上述多个透镜部一一对应，分别具备与对应的上述透镜 部的光轴方向大致垂直的受光面，分别输出摄像信号；视差计算部，以分别从上述多个摄像 区域输出的摄像信号中的某一个为基准摄像信号，计算其他的摄像信号相对于该基准摄像 信号的视差量；以及有效像素区域修正部，输出从上述基准摄像信号中删除下述像素信号 而获得的有效像素信号，该像素信号是在上述基准摄像信号以外的摄像信号中从有可能包 含因视差引起缺失的图像的区域的像素获得的像素信号。如果采用上述结构，有效像素区域修正部输出从上述基准摄像信号中删除从上述 基准摄像信号以外的摄像信号中有可能包含因视差引起缺失的图像的区域的像素获得的 像素信号而获得的有效像素信号。由此，如果使用该有效像素信号的话，能够消除每个色彩 信息具有视差的复眼光学系统中的现有的问题——即消除了图像周边部分的图像由于视 差而缺失引起的后阶段处理过程中产生的问题。作为后阶段的处理，有例如(1)根据上述有效像素区域修正部输出的有效像素信 号和上述视差计算部计算出的视差量修正上述多个摄像信号，通过合成生成合成图像并输 出的图像合成处理；或者(2)根据上述有效像素区域修正部输出的有效像素信号和上述视 差计算部计算出的视差量计算出到被摄体的距离的距离计算处理等。S卩，如果采用还具有进行上述(1)的图像合成处理的图像合成部的结构的话，则 由于根据上述有效像素区域修正部输出的有效像素信号和上述视差计算部计算出的视差 量修正上述多个摄像信号并加以合成，因此能够再现图像周边部分没有假色的图像。并且，如果采用还具有进行上述(2)的距离计算处理的距离计算部的结构的话， 则由于根据上述有效像素区域修正部输出的有效像素信号和上述视差计算部计算出的视 差量计算出到被摄体的距离，因此即使在图像的周边部位也能够测距。在上述第1方案的摄像装置中，上述有效像素区域修正部最好根据与位于最短被 摄体距离上的被摄体之间的视差量求出有可能包含因视差引起缺失的图像的区域的范围。在上述第1方案的摄像装置中，上述多个摄像区域最好是被设置成纵2列、横2行 的第1 第4摄像区域；上述视差计算部将从上述第1摄像区域输出的摄像信号作为基准 摄像信号；上述有效像素区域修正部从上述基准摄像信号中删除从下述像素得到的像素信 号，该像素是从在横方向上与上述第1摄像区域相邻的第2摄像区域输出的第2摄像信号相对于上述基准摄像信号所具有的视差方向的正方向上的边的像素、以及在纵方向上与上 述第1摄像区域相邻的第3摄像区域输出的第3摄像信号相对于上述基准摄像信号所具有 的视差方向的正方向上的边的像素。而且，上述第1方案的摄像装置优选配置在上述第1 第4摄像区域中配置在对 角线方向上的第1摄像区域和第4摄像区域对相同的波长区域具有灵敏度，第2摄像区域 和第3摄像区域与上述第1和第4摄像区域不同，对互不相同的波长区域具有灵敏度；上述 视差计算部以从上述第1摄像区域输出的摄像信号作为基准摄像信号，求出从上述第4摄 像区域输出的第4摄像信号相对于上述基准摄像信号所具有的视差量，通过矢量分解该视 差量分别求出上述第2摄像信号相对于上述基准摄像信号所具有的视差量和上述第3摄像 信号相对于上述基准摄 像信号所具有的视差量。上述第1方案的摄像装置还优选上述第1和第2摄像区域对绿光波长频带具有灵 敏度，上述第2和第3摄像区域分别对红光和蓝光波长频带具有灵敏度。而且，上述第1方案的摄像装置优选还具备将上述基准摄像信号中的上述基准摄 像信号以外的摄像信号中有可能包含因视差引起缺失的图像的区域分割成块，对各块求出 视差量，根据求得的视差量判断该块中上述基准摄像信号以外的摄像信号实际上是否缺失 的缺失判断部；上述有效像素区域修正部将上述缺失判断部判定为没有缺失的块的像素包 含到上述有效像素信号中。为了达到上述目的，本发明第2方案的摄像装置具有以下部多个透镜部，分别包 含至少一枚透镜；多个摄像区域，与上述多个透镜部一一对应，分别具备与对应的上述透镜 部的光轴方向大致垂直的受光面，分别输出摄像信号；以及视差计算部，以分别从上述多个 摄像区域输出的摄像信号中的某一个为基准摄像信号，计算其他的摄像信号相对于该基准 摄像信号的视差量；上述多个摄像区域中输出上述基准摄像信号的基准摄像区域以外的摄 像区域具有比基准摄像区域的受光面大的受光面。上述第2方案的摄像装置如果采用还具备根据上述视差量修正上述多个摄像信 号，通过合成生成合成图像并输出的图像合成部的结构的话，则由于能够再现图像的周边 部分没有假色的图像，因此比较理想。或者，如果上述第2方案的摄像装置采用还具备根据上述基准摄像信号和上述视 差计算部计算出的视差量计算出到被摄体的距离的距离计算部的结构的话，则由于即使图 像的周边部位也能够测距，因此比较理想。上述第2方案的摄像装置优选上述基准摄像区域以外的摄像区域中，邻接于上述 基准摄像区域相邻的摄像区域与上述基准摄像区域相比较，在与邻接于上述基准摄像区域 的边相对的边侧受光面扩大；与上述基准摄像区域对角配置的摄像区域与上述基准摄像区 域相比较，在远离上述基准摄像区域的两边侧受光面扩大。如上所述，本发明能够提供改善了现有技术问题——即改善了每个色彩信息具有 视差的复眼光学系统中的图像周边部分的假色问题和图像周边部位不能测距的问题的摄
像装置。


图1为表示本发明第1实施方式的摄像装置的大致结构的方框图。
图2为视差产生例的概略图。图3为不产生色彩信息缺失的结构的概略图。图4为表示视差修正算法的基本流程的图。图5为表示检测块的图。图6为表示视差量评价值与第2检测块的视差量之间的关系的图。图7为表示本发明第1实施方式的摄像装置的变形例的大致结构的方框图。图8为表示本发明第2实施方式的摄像装置的大致结构的方框图。图9为表示第2实施方式的摄像装置中将偏移区域分割成适当大小的块的状态的 图。图10为表示色彩信息缺失判断算法的流程的图。图11为说明色彩信息缺失判断方法的图。图12为说明第2实施方式的摄像装置中输出像素区域的扩大处理的图。图13为表示本发明第3实施方式的摄像装置中从摄像光学系统一侧看到的各图 像传感器的大小的平面图。图14为表示第3实施方式的效果的图。图15为表示第1 第3实施方式的摄像装置的变形例的斜视图。图16为表示第1 第3实施方式的摄像装置的其他变形例的说明图。图17为表示现有技术的摄像装置的结构的图。图18为说明现有技术的摄像装置产生的视差的图。图19为本发明的摄像装置的剖视图。图20为表示本发明的摄像装置的实施例的图。图21为表示本发明的摄像装置的其他实施例的图。图22为表示本发明第3实施方式的摄像装置的变形例的大致结构的框图。图23为表示本发明第3实施方式的摄像装置的变形例的从摄像光学系统一侧看 各图像传感器的大小的平面图。图24为表示本发明第3实施方式的摄像装置的变形例的效果的图。
具体实施例方式(第1实施方式)下面参照

本发明的第1实施方式。图1为表示本发明第1实施方式的摄像装置的大致结构的图。图1中，1 4为分 别包含至少一个透镜的拍摄光学系统。分别与摄像光学系统1 4相对应设置了图像传感 器5 8。同一被摄体分别通过摄像光学系统1 4成像在各图像传感器5 8上。在本实施方式中，为了拍摄彩色图像，图像传感器5 8中配置在对角线上的图像 传感器5、7拍摄绿色波长频带，图像传感器6拍摄红色波长频带，图像传感器8拍摄蓝色波 长频带。该波长选择性既可以通过使图像传感器具有波长依存性来实现，也可以通过插入 具有波长选择性的滤波器(彩色滤波器)等来实现。各图像传感器5 8拍摄的信号分别通过R信号处理电路12、G信号处理电路10 和11、B信号处理电路9进行图像处理，然后输送给视差计算电路14。视差计算电路14将从R信号处理电路12、G信号处理电路10和11、以及从B信号处理电路9中获取的信号中 的某一个作为基准信号，求出其他信号相对于该基准信息的视差量。视差计算电路14求出 的视差量与R信号、G信号和B信号一起输送给图像合成电路16。有效像素区域修正电路 13从上述基准摄像信号中删除掉上述基准摄像信号以外的摄像信号中从有可能包含因视 差而缺失的图像的区域内的像素中获得的像素信号，将作为该结果获得的有效像素信号输 出给图像合成电路16。图像合成电路16根据上述有效像素信号和视差量修正R信号、G信 号和B信号并将它们合成。由此，输出彩色图像。另外，虽然图1中仅表示了主要是与本发 明的特征有关的构成要素，但在实施本发明的摄像装置时，除了图1所示的构成要素以外， 还可以设置进行各种修正处理或预处理等任意的进行图像处理的电路。这里首先简单地说明图像合成的流程。如图1所示，本实施方式的摄像装置中，绿 色波长频带的摄像光学系统1、3和图像传感器5、7配置在对角线上。本实施方式的视差计 算电路14为将输出绿色图像信号的图像传感器5、7中的图像传感器5输出的图像信号作 为基准图像(记为GO)，将该基准图像GO与从图像传感器7输出的图像(记为Gl)进行比 较，计算出视差量的电路。但是，将多个摄像光学系统成像的图像中的哪个图像作为基准图 像是任意的设计事项。为了将各种距离上的被摄体同时写入图像中，本实施方式的摄像装置的视差计算 电路14将比较对象的每个图像分割成小块，通过在各块单位中计算视差量掌握整个图像 的视差量。即，视差计算电路14通过以块为单位比较图像传感器5输出的基准图像GO和 图像传感器7输出的图像Gl求出基准图像GO与图像Gl的视差量。而且，视差计算电路14通过矢量分解图像Gl的视差量(与基准图像GO的视差 量)计算出图像传感器6输出的图像(R)所具有的视差量和图像传感器8输出的图像(B) 所具有的视差量。即，通过将图像Gl与基准图像GO的视差量矢量分解成从基准图像GO到 图像传感器6的图像R的方向和从基准图像GO到图像传感器8的图像B的方向，获得图像 R与基准图像GO的视差量和图像B与基准图像GO的视差量。将这样求得的视差量与基准图像GO、图像G1、图像R和图像B各自的信号一起输 送给图像合成电路13。图像合成电路13通过修正图像Gl、图像R和图像B的视差量，与基 准图像GO重合，再现彩色图像。图2概略地表示图像传感器5输出的图像GO与图像传感器7输出的图像Gl之间 产生视差的例子。图2中GOc表示由摄像光学系统1和图像传感器5决定的光轴与图像传 感器5交叉的图像上的点——图像传感器5的图像GO的中心。Glc也同样表示由摄像光学 系统3和图像传感器7决定的光轴与图像传感器7交叉的图像上的点——即图像传感器7 的图像Gl的中心。17aU8a为拍摄分别设置在与图像传感器5的距离不同的位置上的被摄体时的被 摄体图像。17a为远距离物体的图像，18a为近距离物体的图像。并且，17b、18b为图像传 感器7输出的被摄体图像，17b为远距离物体的图像，18b为近距离物体的图像。另外，17a、 17b为同一物体的图像，18a、18b也为相同物体的图像。如从图2能够明白的那样，远距离物体图像17a和远距离物体图像17b基本没有视差，分别作为图像再现在图像传感器5、7的图像G0、G1中几乎相同的位置上。另一方面， 近距离物体图像18a和近距离物体图像18b具有大的视差。因此，如图2所示，近距离物体图像18b具有再现图像信息的一部分缺失了的图像的可能性。另外，图像传感器7的图像 Gl内的近距离物体图像18b与图像传感器5的基准图像GO内的近距离物体图像18a之间 产生的视差方向为，从图像传感器一侧看被摄体方向时从摄像光学系统3的光轴与图像传 感器7交叉的点到摄像光学系统1的光轴与图像传感器5交叉的点的矢量方向。本实施方 式的摄像装置中，即使使用从具有视差的图像传感器5 8各自获得的图像中提取的色彩 信息，也能够像以下说明的那样获得没有假色的合成图像。参照图3说明使本实施方式的摄像装置不产生色彩信息缺失的原理。图3为图像 传感器5输出的被摄体图像。图3中添加了斜线的区域为在以图像传感器5输出的图像为 基准图像的情况下，当将位于最短被摄体距离上的物体写入基准图像中该斜线区域内时由 视差引起的图像传感器7中该物体的图像缺失的区域(以下成为“偏移区域”)。因此，当 将位于最短被摄体距离上的物体写入图3的 偏移区域时，该偏移区域的色彩信息有可能缺 失。并且，图像传感器6输出的图像和图像传感器8输出的图像，由于与图像传感器5输出 的图像之间的视差，同样存在偏移区域。因此，本实施方式的摄像装置中，图像合成电路16 仅在有效像素区域修正电路13中将该偏移区域的像素信息从基准图像中删除而获得的有 效像素区域内，将图像传感器5 8各自获得的图像合成为一个图像。需要删除图像信息的偏移区域的位置和范围由摄像光学系统1 4和图像传感器 5 8之间的位置关系决定。本实施方式如图3所示将基准图像GO两边的像素删除成L字 形状然后作成合成图像。另外，图3所示的V5_6为图像传感器6输出的图像相对于图像传 感器5输出的基准图像GO的视差的方向，V5_8为图像传感器8输出的图像相对于图像传感 器5输出的基准图像GO的视差的方向。并且，本实施方式中有效像素区域修正电路13中删除像素的区域(偏移区域)的 大小由最短被摄体距离决定。最短被摄体距离表示摄像装置设计上能够对应的到最近的被 摄体的距离。偏移区域的大小能够例如如下所述地求出。当假设最短被摄体距离为Amin、 摄像光学系统1 4的焦距为f、摄像光学系统1与摄像光学系统3的光轴之间的距离为 D、图像传感器5 8的像素间距为ρ时，图像传感器7输出的图像Gl相对于图像传感器5 输出的位于最短被摄体距离Amin上的被摄体的图像GO的视差量dmin能够由下述公式(2) 求得。另外，公式(2)为满足公式(1)的条件时成立的近似式，但由于最短被摄体距离Amin 一般为焦距f的10倍以上，因此利用近似式完全没有问题。公式(1)Amin >> f公式(2)
dmin 与 D* f/ (Amin · ρ)其中，当假设视差量dmin在χ方向上的成分为dminx、在y方向上的成分为dminy 时，它们用下述公式(3)和公式(4)表示。公式(3)dminx = dmin · cos θ公式(4)dminy = dmin · sin θ
并且，虽然本发明实施方式的摄像装置的型号并不局限于这些具体的数值，但当 具体的数值为例如 D = 5mm、f = 4. 5mm、Amin = 10cm、ρ = 3 μ m、cos θ = 4/5、sin θ = 3/5时，拍摄位于最短被摄体距离上的被摄体时的视差量dmirudmiruudminy为75像素、60 像素和45像素(参照图3)。因此，此时，图像合成电路13在基准图像GO中沿V5_6的正方 向一侧的边删除60像素、沿V5_8的正方向一侧的边删除45像素成L字形状，通过这样作成 水平方向的像素数为(H-60)像素、垂直方向的像素数为(V-45)像素的矩形合成图像。如上所述，本实施方式的摄像装置在有效像素区域修正电路13中废弃色 彩信息 有可能缺失的区域(偏移区域)的图像信息，图像合成电路16仅用具有全部色彩信息的区 域(图3所示的区域GOs)的图像信息合成彩色图像。以下将该区域GOs称为输出像素区 域。下面用图4、图5说明提取图3中的输出像素区域GOs的视差量。图4为表示视差 修正算法的基本流程的图。图5为表示图像传感器5、7上的检测块的图。在视差修正算法的步骤SlOl中，进行提取块的处理。这里，最初将图像传感器5 的输出像素区域GOs分割成均等的块。虽然对其中的一个块(第1检测块204)说明以下 的处理，但对分割成的所有的块实施同样的处理。第1检测块204合适的大小为8X8像素 到64X64像素。另外，在使摄像光学系统的倍率很大的情况下，最好减小检测块204的像 素的大小。而且，对于图像Gl也设定与第1检测块204相同大小的第2检测块205。接着，在步骤S103中，为了从图像Gl中找出具有与基准图像GO中的第1检测块 204相同的图像信息的块，计算视差量的评价值。下面说明视差量评价值计算处理的一个 具体例。图5中，如果将步骤SlOl中设定在图像Gl上的第2检测块205向χ轴方向移动 k像素、向y轴方向移动j像素，则第2检测块205移动到206的位置。然后对第1检测块 204和移动后的第2检测块206计算出各检测块中对应的像素的输出值的差，将检测块内所 有像素的上述差的合计值作为第2检测块206位置上的视差量评价值。另外，视差量评价 值的计算方法并不局限于此。如果假设从第1检测块204内像素(a，b)输出的值为GGl (a, b)、从第2检测块206 内像素(a，b)输出的值为GG2(a，b)的话，则视差量评价值R(k，j)可以用下述公式(5)求
出ο公式(5)R (k, j)b) -GG2(a+k, b+j)\
a b该视差量评价值R(k，j)表示移动了视差量(k，j)的第2检测块206与第1检测 块204具有怎样的相关关系，值越小表示两个检测块越相似。图6表示视差量评价值与第2检测块的视差量之间的关系。图6绘制了横轴为χ 方向移动的像素数(k)、纵轴为视差量评价值(R)的关系曲线。视差量评价值与k值连动变 化，相似度变高其值显著变小。图6中k = Iq时为最小值。另外，虽然图6中表示的是将j 值固定在j =丄，只改变k的值时的情况，但改变j值时也产生同样的变化。因此，对规定 范围内能够取的所有的k值和j值反复进行步骤S103的视差量评价值的计算处理。一般 情况下，产生视差的方向由图像传感器5 8相互之间的位置关系唯一决定。因此，通过在 视差量评价值计算时提取第2检测块也按这个法则提取，能够大幅度地提高计算效率。
接着，在步骤S104中，从步骤S103求出的各视差量评价值中提取最小的值。这里， 将上述算法获得的视差量评价值的计算结果进行比较，求出其最小值。然后在步骤S105中 提取获得最小值时的视差量(k，j)，决定视差量。如果假定k = k^j = J1时能够获得最小 值，则判断基准图像GO上第1检测块204的图像信息与图像Gl上沿χ方向移动了 Ic1像素、 沿y方向移动了 J1像素时的第2检测块206的图像信息一致，提取视差量(k1; J1)，将该视 差量作为第1检测块204的视差量(dx = ki; dy = J1)。对设定在图像传感器5的基准图 像GO内的输出像素区域GO5内所有的检测块进行该一系列的处理，决定视差量。视差计算 电路14通过进行以上的处理求出图像Gl相对于基准图像GO的视差量。然后，根据从图像传感器7输出的图像Gl获得的视差量计算出图像传感器6输出 的图像R和图像传感器8输出的图像B的视差量，在图像合成电路16中修正每个图像，将这 些图像重合到基准图像GO上，通过这样合成彩色图像。另外，在本实施方式的摄像装置中， 基准图像GO上相当于偏移区域的像素信息在作成合成图像之前全部被有效像素区域修正 电路13废弃。通过采用本实施方式的结构，能够改善每个色彩信息具有视差的复眼光学系统中 成为问题的周边部位假色的问题。
另外，虽然本实施方式说明了使用了 4个图像传感器的结构，但本发明并不局限 于这种结构，在将一个图像传感器分割成4个摄像区域使用的情况下或分别将2个图像传 感器分割成2个摄像区域使用的情况下，当然具有相同的效果。而且，即使对于从多组相同波长频带的图像中提取视差，根据提取的视差计算出 到被摄体的距离的摄像装置，通过像本实施方式这样废弃相当于偏移区域的像素的信息， 也能够解决图像周边部位产生不能够测距的部分这样的现有技术的问题。本实施方式中以 上说明过那样的通过合成多个摄像区域获得的图像作出彩色图像的处理和使用多个摄像 区域获得的图像测量到被摄体的距离的处理(测距处理)在根据从图像中提取的视差量进 行处理这一点上是共同的。因此，对于测距处理，通过使用本实施方式也能够解决在图像的 周边部位产生不能够测距的部分这样的现有技术的问题。例如，通过像图7所示那样设置 根据从图像传感器5、7的图像中提取的视差计算出到被摄体的距离的距离计算电路19取 代图1的结构中的图像合成电路16，能够容易地构成进行测距处理的摄像装置。另外，通过 同时具有图像合成电路16和距离计算电路19使彩色图像输出处理和测距处理都能够进行 的摄像装置也是本发明的一个实施方式。在将本实施方式的摄像装置作为测距装置使用的情况下，如果能够用视差计算电 路14获得2个光学系统的视差量d的话，则距离计算电路19能够根据公式(6)获得到被 摄体的距离ζ。另外，在公式(6)中，D为2个光学系统的光轴之间的距离，f为光学系统的 焦距，d为视差量，ζ为被摄体的距离。公式(6)
Z^D'f/d另外，测量距离的摄像装置中不需要4个摄像区域，只要至少有2个摄像区域，当 然就能够充分地测量距离。(第2实施方式)
下面参照

本发明的第2实施方式。在上述第1实施方式中根据最短被摄体距离决定图像色彩信息有可能缺失的区 域(偏移区域)，在生成合成图像时将偏移区域的像素信息全部废弃。与此相对，在下面说 明的第2实施方式中，判断偏移区域中合成图像时实际色彩信息缺失的部分和没有缺失的 部分，将色彩信息没有缺失的部分的像素作为图像输出。即，在第1实施方式中，作为图像 输出的像素数(输出像素区域的像素数)少，但在第2实施方式中，能够抑制像素的数量减 少。为此，如图8所示，第2实施方式的摄像装置除了第1实施方式中说明过的构成要 素外，还具备色彩信息缺失判断电路15。图9为表示图像传感器5输出的基准图像GO中偏移区域被分割成适当大小的块 的状态的图。图10为表示色彩信息缺失判断算法的流程的图。在图10的步骤S201中，例如像图9所示那样将偏移区域分割成适当大小的矩形 块B(x，y)。另外，(x，y)表示各块的代表点(例如中心点)的坐标。块的大小一般为8像 素X 8像素 64像素X 64像素左右合适。接着，在步骤S202中，通过执行图4所示的视差修正算法S103 S105提取视差， 提取在步骤S201分割的所有的块B的视差量。而且，在步骤S203中，合成图像时对每一个块B进行实际上色彩信息是否缺失的 判断。下面用图11说明该判断的具体例。图11中，从图像传感器5、7获得的图像GO、Gl 的大小为χ方向H像素、y方向V像素。图像GO上的偏移区域中块B(xl，yl)的大小为a 像素Xb像素，在步骤S201提取视差量的结果判定为相当于图像Gl上的块Bl的块，视差 量为(k，j)。因此，如果块Bl满足存在于图像Gl内的条件的话，则块B被判定为合成图像 时色彩信息没有缺失。当用公式描述上述情况时，为下述公式(7)、公式(8)。公式⑵xl+k-a/2 彡 0(公式8)yl+j+b/2 ^ V在步骤S203中，色彩信息缺失判断电路15对每个块确认该条件满足还是不满足。 当条件满足时(步骤S203的结果为Y)，则通过将块B追加到输出像素区域GOs中扩大由有 效像素区域修正电路13获得的输出像素区域(步骤S204)。然后移动一块成为条件判断对 象的块(步骤S205)，返回步骤S203。
这样一来，只要步骤S203的结果为Y，在步骤S204中就将输出像素区域扩大1个 块的量，再在步骤S205中像例如图12中附加了① ⑥的标记的箭头所示那样，从与输出像 素区域GOs的外周相连的块依次向其外侧的块移动成为条件判断对象的块，反复进行步骤 S203 S205的处理。即，从图12所示的块B(xl，yl)开始处理，在步骤S203的结果为y期 间，沿①箭头(即沿输出像素区域GOs的外周)向y坐标增加的方向依次移动作为条件判 断对象的块，当到达块B(xl，y2)时，接着沿②箭头向χ坐标增加的方向依次移动作为条件 判断对象的块。并且，当到达图12所示的块(x4，y2)时，将作为条件判断对象的块移动到 B(x2，yl)。以后，沿③箭头从块B(x2，yl)向块B(x2，y3)依次移动，再沿④箭头从块B(x2， y3)向块B(x4，y3)依次移动，沿⑤箭头从块B (x3，yl)向块B(x3，y4)依次移动，再沿⑥箭头从块B (x3, y4)向块B (x4, y4)依次移动。但是，当步骤S203的结果为N时，转移到步骤S207进行处理。例如，在沿图12所 示的③箭头的块处理中，当块组19a满足上述条件、但块19b不满足条件时，步骤S203的判 定结果为N。此时，在步骤S207中返回图12所示③箭头的起始块，将该箭头内的块组分割 成更细的块，对细分割后的块再次实施S202和S203的处理。当步骤S207中反复再细分割 到块大小为2 X 2像素左右，步骤S203的判断结果还为N时，输出像素区域GOs不能再扩大， 结束处理。另外，虽然图12中表示的是从块B (xl，yl)开始处理的例子，但也可以从B (x4，y2) 开始处理，沿与②箭头向相反的方向移动块。如果采用本实施方式的摄像装置，通过以上的处理除了能够改善每个色彩信息都 有视差的复眼光学系统中周边部分的假色问题外，还能够使输出像素区域比第1实施方式 的大的优点。另外，虽然本实施方式说明了使用了 4个图像传感器的结构，但本发明并不局限 于这种结构，在将一个图像传感器分割成4个摄像区域使用的情况下或分别将2个图像传 感器分割成2个摄像区域使用的情况下，当然具有相同的 效果。而且，即使对于从多组相同波长频带的图像中提取视差，根据提取的视差计算出 到被摄体的距离的摄像装置，通过像本实施方式这样废弃相当于偏移区域的像素的信息， 也能够解决图像周边部位产生不能够测距的部分这样的现有技术的问题。本实施方式中以 上说明过那样的通过合成在多个摄像区域获得的图像作出彩色图像的处理和使用在多个 摄像区域获得的图像测量到被摄体的距离的处理(测距处理)在根据从图像中提取的视差 量进行处理这一点上是共同的。因此，对于测距处理，通过使用本实施方式也能够解决在图 像的周边部位产生不能够测距的部分这样的现有技术的问题。例如，通过像图7所示那样 设置根据从图像传感器5、7的图像中提取的视差计算出到被摄体的距离的距离计算电路 19取代图1的结构中的图像合成电路16，能够容易地构成进行测距处理的摄像装置。另外， 通过同时具有图像合成电路16和距离计算电路19使彩色图像输出处理和测距处理都能够 进行的摄像装置也是本发明的一个实施方式。另外，当能够获得2个光学系统中的视差量d时，能够用上述公式(6)获得到被摄 体的距离ζ。并且，与第1实施方式一样，测量距离的摄像装置不需要4个摄像区域，只要具 有至少2个摄像区域当然就可以测量距离。(第3实施方式)下面参照

本发明的第3实施方式。本实施方式的摄像装置与第1实施方式的不同点在于，通过设置不同大小的各图 像传感器的摄像区域，不用进行像第2实施方式那样复杂的图像处理就能够尽可能地增加 输出像素区域的像素数量。图13为表示从摄像光学系统1 4 一侧看各图像传感器5 8时各图像传感器 的摄像区域的大小的平面图。其中，对于具有与第1实施方式或第2实施方式具有相同功 能的部分，添加相同的附图标记。与第1实施方式一样，图像传感器5输出基准图像G0，图 像传感器6输出图像R，图像传感器7输出图像Gl，图像传感器8输出图像B。并且，在图13中，5c为摄像光学系统1和图像传感器5决定的光轴与图像传感器5的受光面交叉的点，6c为摄像光学系统2和图像传感器6决定的光轴与图像传感器6的 受光面交叉的点，7c为摄像光学系统3和图像传感器7决定的光轴与图像传感器7的受光 面交叉的点，8c为摄像光学系统4和图像传感器8决定的光轴与图像传感器8的受光面交 叉的点。而且，图像传感器6、7、8内描绘的虚线表示与图像传感器5的摄像区域大小相同 的摄像区域。点5c与点6c之间的距离设为D1，点5c与点8c之间的距离设为D2。如从图13能够明白的那样，本实施方式的摄像装置中图像传感器5 8的大小各 不相同。具体为，输出基准图像GO的图像传感器5最小，与图像传感器5相比，图像传感器 6的像素数在χ的负方向上扩大了 dl。并且，图像传感器8的像素数比图像传感器5在y 的负方向上扩大了 d2。而且，图像传感器7的像素数比图像传感器5在χ的负方向上扩大 了 dl，并且在y的负方向上扩大了 d2。当假设最短被摄体距离为Amin、摄像光学系统1 4的焦距为f、图像传感器5 8的像素间距为ρ时，在上述公式(1)的假定下，χ方向上的像素扩大量dl和y方向上的像 素扩大量d2能够用公式(9)、公式(10)描述。公式(9)<formula>formula see original document page 13</formula>因此，当图像传感器5的大小为H像素XV像素时，图像传感器6的大小为(H+dl) 像素XV像素，图像传感器7为(H+dl)像素X (V+d2)像素，图像传感器8为H像素X (V+d2)像素。如果采用本结构，由于图像传感器7比图像传感器5大，因此即使考虑在最短被摄 体距离上产生的视差，也能够从图像传感器7提取与图像传感器5的像素信息匹配的所有 的信息。具体为，如图14所示，由于图像传感器7的摄像区域足够大，因此成像在图像传感 器5周边部位的近距离物体18a能够没有信息缺失地成像在图像传感器7内。由此，不用进 行第2实施方式那样复杂的计算处理就能够改善现有技术中成为问题的每个色彩信息具 有视差的复眼光学系统中周边部分的假色问题，而且能够使输出像素区域比第1实施方式 的大。另外，由于图13为从摄像光学系统1 4 一侧看图像传感器5 8的受光面的图， 图14为表示图像传感器5 8各自输出的摄像信号的图，因此图13和图14为上下、左右 相反的关系。而且，Gl内描绘的虚线表示与GO大小相同的摄像区域。虽然本实施方式说明了使用了 4个图像传感器的结构，但本发明并不局限于这种 结构，在将一个图像传感器分割成4个摄像区域使用的情况下或分别将2个图像传感器分 割成2个摄像区域使用的情况下，当然具有相同的效果。下面再说明实现上述实施方式的具体结构例。对于上述说明过的结构，添加与上 述说明相同的参照符号。图19为本发明的一个结构例的摄像装置100的剖视图。图19的剖面与摄像光学 系统1 4的光轴平行。图20为沿图19所示的A-A剖面剖切摄像装置100的剖视图。在图19和图20中，101为第1镜筒，102为保持摄像光学系统1 4的第2镜筒。第1镜筒 101如图20所示具有互相正交的内壁IOla和101b。该内壁IOlaUOlb通过将1个图像传 感器分成4个摄像区域，实现上述图像传感器5 8的功能的图像区域5' 8'(参照图 20)。图20所示的结构中，第1镜筒101的内壁101a、IOlb互相在大致中央的位置交叉， 将镜筒内壁分割成容积大致相等的4个区域。S卩，第1镜筒101在第2镜筒102 —侧的4 个开口部的面积大致相等。于是，通过使图像传感器的中央位置偏离内壁IOlaUOlb交叉 的位置IOlc地配置一个图像传感器，实现摄像区域的大小互不相同的图像区域5' 8'。 该图像区域5' 8'起上述图像传感器5 8的作用。另外，虽然在图20的例中第1镜 筒101为四棱柱形状，但镜筒的形状并不局限于四棱柱。另外的结构例表示在图21中。在图21中，第1镜筒201具有互相正交的内 壁201a、 201b。但是，图21所示第1镜筒201的4个侧壁中其他2个侧壁202f、202g比相邻的2个 侧壁202d、202e厚。S卩，图21的例中，第1镜筒201在第2镜筒102 —侧的4个开口部的 面积互不相同。于是，通过使图像传感器的中央位置与内壁201a、201b交叉的位置201c — 致地配置一个图像传感器，实现摄像区域的大小互不相同的图像区域5' 8'。该图像区 域5' 8'起上述图像传感器5 8的作用。S卩，上述图19和图20所示的结构例和图21所示的结构例都是实现摄像区域的大 小互不相同的图像区域5' 8'，具备该图像区域5' 8'的摄像装置发挥上述本发明 的效果。而且，即使对于从多组相同波长频带的图像中提取视差，根据提取的视差测量出 到被摄体的距离的摄像装置(例如图1的结构中从图像传感器5、7的图像中提取视差，根 据提取的视差测量到被摄体的距离)，通过像本实施方式这样使图像传感器的受光面的大 小互不相同，也能够解决图像周边部位产生不能够测距的部分这样的现有技术的问题。本 实施方式中以上说明过那样的通过合成多个摄像区域获得的图像作出彩色图像的处理和 使用多个摄像区域获得的图像测量到被摄体的距离的处理(测距处理)在根据从图像中 提取的视差量进行处理这一点上是共同的。因此，对于测距处理，通过使用本实施方式也能 够解决在图像的周边部位产生不能够测距的部分这样的现有技术的问题。例如，通过像图 7所示那样设置根据从图像传感器5、7的图像中提取的视差计算出到被摄体的距离的距离 计算电路19取代图1的结构中的图像合成电路16，能够容易地构成进行测距处理的摄像装 置。另外，通过同时具有图像合成电路16和距离计算电路19使彩色图像输出处理和测距 处理都能够进行的摄像装置也是本发明的一个实施方式。另外，如果获得2个光学系统的视差量d的话，则能够用上述公式(6)获得到被摄 体的距离ζ。并且，与第1实施方式一样，测量距离的摄像装置中不需要4个摄像区域，只要至 少有2个摄像区域，当然就足以能够测量距离。具体为，图22所示的摄像装置通过设置根据从图像传感器5、7的图像中提取的视 差计算出到被摄体的距离的距离计算电路19能够容易地构成进行测距处理的摄像装置。 另外，在将本实施方式的摄像装置作为测距装置使用的情况下，如果通过视差计算电路14 获得2个光学系统1、3的视差量d的话，则距离计算电路19能够用上述公式(6)获得到被摄体的距离ζ。另外，公式(6)中D为2个摄像光学系统1、3的光轴之间的距离(图23中 的Dl)，f为摄像光学系统1、3的焦点，d为视差量，ζ为被摄体距离。图23为表示从摄像光学系统1、3 —侧看各图像传感器5、7时各图像传感器的摄 像区域的大小的平面图。其中，对于与第1实施方式或第2实施方式具有相同功能的部分， 添加相同的附图标记。与第1实施方式一样，图像传感器5输出基准图像G0，图像传感器7 输出图像G1。并且，在图23中，5c表示摄像光学系统1和图像传感器5决定的光轴与图像传感 器5的受光面交叉的点，7c表示摄像光学系统3和图像传感器7决定的光轴与图像传感器 7的受光面交叉的点。而且，图像传感器7内描绘的虚线表示与图像传感器5的摄像区域大 小相同的摄像区域。点5c与点7c之间的距离设为D1。如从图23能够明白的那样，本实施方式的摄像装置中图像传感器5、7的大小各不 相同。具体为，输出基准图像GO的图像传感器5比图像传感器7小。与图像传感器5相比， 图像传感器7的像素数在χ的负方向上扩大了 dl。当假设最短被摄体距离为Amin、摄像光学系统1、3的焦距为f、图像传感器5、7的 像素间距为P时，在上述公式(1)的假定下，X方向上的像素扩大量dl能够用公式(9)描 述。因此，当图像传感器5的大小为H像素XV像素时，图像传感器7的大小为(H+dl)像 素XV像素。如果采用本结构，由于图像传感器7比图像传感器5大，因此即使考虑在最短被摄 体距离上产生的视差，也能够从图像传感器7提取与图像传感器5的像素信息匹配的所有 的信息。具体为，如图24所示，由于图像传感器7的摄像区域足够大，因此成像在图像传感 器5周边部位的近距离物体18a能够没有信息缺失地成像在图像传感器7内。由此，不用 进行第2实施方式那样复杂的计算处理就能够改善现有技术中成为问题的每个色彩信息 具有视差的复眼光学系统中周边部分的假色问题，而且能够使输出像素区域比第1实施方 式的大。另外，由于图23为从摄像光学系统1、3 —侧看图像传感器5、7的受光面的图，图 24为表示图像传感器5、7各自输出的摄像信号的图，因此图23和图24为上下、左右相反的 关系。而且，Gl内描绘的虚线表示与GO大小相同的摄像区域。虽然本实施方式说明了 2个图像传感器拍摄绿色波长频带的结构，但用检测近红 外线等波长彼此相近的光线的结构也能够获得同样的效果。并且，也可以分别在每个图像 传感器上形成拜耳阵列的彩色过滤器，使检测彩色图像成为可能，也能够获得同样的效果。并且，虽然本实施方式在图像传感器的横方向(图22的χ方向)上配置了多个摄 像光学系统和图像传感器的组合，但在垂直方向上配置多个光学系统和图像传感器的组合 当然也能够获得同样的效果。并且，为了防止透过摄像光学系统1 4的光线入射到各自对应的图像传感器以 外的图像传感器中，上述第1 第3摄像装置优选像图15所示那样分别在图像传感器5 8的边界部位设置遮光壁22。并且，该遮光壁22的高度最好在从设置图像传感器5 8的 面到设置摄像光学系统1 4的面左右的高度。并且，由于上述各实施方式以具备4个摄像光学系统和4个图像传感器的摄像装 置为例，因此为沿基准图像的2边删除图像使其为L字形状的例子(例如图3、图9等)或者像图13所示那样沿2个方向扩大图像传感器的受光面的大小的例子。但是，也可以是例 如具有5个摄像光学系统和5个图像传感器，与1个图像传感器的4条边相邻地配置4个 图像传感器的结构。在采用这种结构的情况下，像图16所示那样以中央的图像传感器输出 的图像PO作为基准图像，分别求出其他的图像传感器输出的图像Pl P4相对于该基准图 像PO所具有的视差，通过修正图像Pl P4的视差将这些图像合成到基准图像PO中作成 彩色图像。此时，如图16中附加斜线所示的那样沿基准图像PO的4条边适当删除像素。
产业上的可利用性本发明能够作为薄型并且解决了图像的周边部位产生假色或图像的周边部分不 能测距的问题的摄像装置使用，例如能够作为移动设备或车载用等各种用途的摄像装置使用。
权利要求
一种摄像装置，其特征在于，具有多个透镜部，分别包含至少一枚透镜；多个摄像区域，与上述多个透镜部一一对应，分别具备与对应的上述透镜部的光轴方向大致垂直的受光面，分别输出摄像信号；以及视差计算部，以分别从上述多个摄像区域输出的摄像信号中的某一个为基准摄像信号，计算其他的摄像信号相对于该基准摄像信号的视差量；上述多个摄像区域中输出上述基准摄像信号的基准摄像区域以外的摄像区域具有比基准摄像区域的受光面大的受光面。
2.如权利要求1所述的摄像装置，还具备图像合成部，该图像合成部通过根据上述视 差量对上述多个摄像信号进行修正并合成，生成并输出合成图像。
3.如权利要求1所述的摄像装置，还具备距离计算部，该距离计算部根据上述基准摄 像信号和上述视差计算部计算出的视差量，计算到被摄体的距离。
4.如权利要求1 3中的任一项所述的摄像装置，上述基准摄像区域以外的摄像区域 中，邻接于上述基准摄像区域的摄像区域与上述基准摄像区域相比较，在与邻接于上述基 准摄像区域的边相对的边侧受光面扩大。
5.如权利要求4所述的摄像装置，上述多个摄像区域还包括与上述基准摄像区域对角 配置的摄像区域，与上述基准摄像区域对角配置的上述摄像区域与上述基准摄像区域相比 较，在远离上述基准摄像区域的两边侧受光面扩大。
全文摘要
防止具备复眼光学系统的摄像装置在周边部位产生假色，所述复眼光学系统为对每个色彩信息具有视差的光学系统。摄像装置具有多个透镜部，分别包含至少一枚透镜；多个摄像区域，与上述多个透镜部一一对应，分别具备与对应的上述透镜部的光轴方向大致垂直的受光面，分别输出摄像信号；以及视差计算部，以分别从上述多个摄像区域输出的摄像信号中的某一个为基准摄像信号，计算其他的摄像信号相对于该基准摄像信号的视差量；上述多个摄像区域中输出上述基准摄像信号的基准摄像区域以外的摄像区域具有比基准摄像区域的受光面大的受光面。
文档编号H04N5/225GK101834988SQ20101016191
公开日2010年9月15日 申请日期2007年3月22日 优先权日2006年3月22日
发明者今田胜巳 申请人:松下电器产业株式会社