摄像装置的制作方法

专利名称：摄像装置的制作方法
技术领域：
本发明涉及摄像装置，通过对使用多个摄像光学系统获得的多个图像 进行视差修正合成为一个高精度图像，以及根据求得的视差量计算到被摄 体的距离。
背景技术：
近年来，随着薄型数码相机需求的增加，提出了以使用多个透镜和图 像传感器拍摄单个被摄体，将它们各自获得的图像合成获得单一的高画质 的二维图像为目的的摄像装置。
参照图17说明这样的现有技术的摄像装置的一个例子。图17 (a)所 示的现有技术的摄像装置中，101为用模具等制作成一个整体的摄像透镜。 摄像透镜101具有R波长用透镜101a、 G波长用透镜101b和B波长用透 镜101c，用来将被摄体像成像在分开成后述的C-MOS传感器103的3色 像素中的每一种色彩的传感器部103a、 103b、 103c上。
102为每个透镜101a 101c的光圈，为整体结构。光圈102中，R波
长透过滤波器102a、 G波长透过滤波器102b、 B波长透过滤波器102c构 成一个整体。
103为未图示的图像处理电路等一体地构成的C-MOS传感器，如图17 (b)所示，各R、 G、 B用传感器103a、 103b、 103c在平面上独立地构成。 因此，，现有技术的拜耳阵列的传感器相比，相同像素大小和像素数量只 要(l/3)5的透镜的焦距就可以，能够使光轴方向上的厚度很薄地构成(参 照曰本特许第3397758号公报)。
但是，这种现有技术的薄型化摄像装置需要将成像在3个不同的传感 器上的图像合成为一个图像。像图17所示那样， 一般情况下存在多个光轴 的光学系统即使拍摄相同的被摄体，各传感器部103a、 103b和103c也偏 离传感器的光轴中心一个相对值而成像。该偏差为视差。视差依存于被摄
体的距离，作为基准的摄像透镜和传感器与被摄体之间的位置关系决定视 差产生的方向。
在此，图18表示了成像在传感器部103a、 103b和103c上的图像的一 例。如果以摄像透镜101b和传感器部103b为基准的话，则成像在传感器 部103a上的像104a为将成像在传感器部103b上的像104b向y方向移动 视差量的距离的像。并且，成像在传感器部103c上的像104c为将传感器 部103b的像104b沿y的负方向移动视差量的距离的像。
将成像在传感器部103a、 103b、 103c上的图像合成为一个图像时，需 要检测视差，修正该视差将图像组合。但是，如从图18能够明白的那样， 与成像在G用传感器部103b上的像104b相比，成像在R用传感器部103a 上的像104a缺失了y的正方向的图像。并且另一方面，成像在B用传感器 部103c上的像104c缺失了 y的负方向的图像。因此，即使将像104a、 104b 和104c合成，也只能作出具有全部色彩信息的区域的图像(被摄体的一部 分)。换言之，存在图像的周边部分产生假色彩(用与本来的颜色不同的颜 色表现的地方)的问题。
即使在附加了利用视差测量距离的功能的情况下，也存在不能测量位 于图像周边部分的被摄体的距离的问题。

发明内容
本发明就是为了解决这样的问题，目的是要提供一种消除了每个色彩 信息具有视差的复眼光学系统中的现有的问题——即消除了图像周边部分 的图像由于视差而缺失的问题的摄像装置。更具体为，提供一种通过考虑 视差修正有效像素区域，能够再现图像周边部分没有假色的图像、并且图 像周边部分也能够测距的薄型摄像装置。
为了达到上述目的，本发明第1方案的摄像装置具有以下部多个透 镜部，分别包含至少一枚透镜；多个摄像区域，与上述多个透镜部一一对 应，分别具备与对应的上述透镜部的光轴方向大致垂直的受光面，分别输 出摄像信号；视差计算部，以分别从上述多个摄像区域输出的摄像信号中 的某一个为基准摄像信号，计算其他的摄像信号相对于该基准摄像信号的 视差量；以及有效像素区域修正部，输出从上述基准摄像信号中删除下述
像素信号而获得的有效像素信号，该像素信号是在上述基准摄像信号以外 的摄像信号中从有可能包含因视差引起缺失的图像的区域的像素获得的像 素信号。
如果采用上述结构，有效像素区域修正部输出从上述基准摄像信号中 删除从上述基准摄像信号以外的摄像信号中有可能包含因视差引起缺失的 图像的区域的像素获得的像素信号而获得的有效像素信号。由此，如果使 用该有效像素信号的话，能够消除每个色彩信息具有视差的复眼光学系统 中的现有的问题——即消除了图像周边部分的图像由于视差而缺失引起的 后阶段处理过程中产生的问题。
作为后阶段的处理，有例如(1)根据上述有效像素区域修正部输出的 有效像素信号和上述视差计算部计算出的视差量修正上述多个摄像信号，
通过合成生成合成图像并输出的图像合成处理；或者(2)根据上述有效像 素区域修正部输出的有效像素信号和上述视差计算部计算出的视差量计算 出到被摄体的距离的距离计算处理等。
艮P，如果采用还具有进行上述(1)的图像合成处理的图像合成部的结 构的话，则由于根据上述有效像素区域修正部输出的有效像素信号和上述 视差计算部计算出的视差量修正上述多个摄像信号并加以合成，因此能够 再现图像周边部分没有假色的图像。
并且，如果采用还具有进行上述(2)的距离计算处理的距离计算部的 结构的话，则由于根据上述有效像素区域修正部输出的有效像素信号和上 述视差计算部计算出的视差量计算出到被摄体的距离，因此即使在图像的 周边部位也能够测距。
在上述第1方案的摄像装置中，上述有效像素区域修正部最好根据与 位于最短被摄体距离上的被摄体之间的视差量求出有可能包含因视差引起 缺失的图像的区域的范围。
在上述第1方案的摄像装置中，上述多个摄像区域最好是被设置成纵2 歹lj、横2行的第1 第4摄像区域；上述视差计算部将从上述第1摄像区域 输出的摄像信号作为基准摄像信号；上述有效像素区域修正部从上述基准 摄像信号中删除从下述像素得到的像素信号，该像素是从在横方向上与上 述第1摄像区域相邻的第2摄像区域输出的第2摄像信号相对于上述基准
摄像信号所具有的视差方向的正方向上的边的像素、以及在纵方向上与上
述第1摄像区域相邻的第3摄像区域输出的第3摄像信号相对于上述基准 摄像信号所具有的视差方向的正方向上的边的像素。
而且，上述第1方案的摄像装置优选配置在上述第1 第4摄像区域中 配置在对角线方向上的第1摄像区域和第4摄像区域对相同的波长区域具 有灵敏度，第2摄像区域和第3摄像区域与上述第1和第4摄像区域不同， 对互不相同的波长区域具有灵敏度；上述视差计算部以从上述第1摄像区 域输出的摄像信号作为基准摄像信号，求出从上述第4摄像区域输出的第4
摄像信号相对于上述基准摄像信号所具有的视差量，通过矢量分解该视差 量分别求出上述第2摄像信号相对于上述基准摄像信号所具有的视差量和 上述第3摄像信号相对于上述基准摄像信号所具有的视差量。
上述第1方案的摄像装置还优选上述第1和第2摄像区域对绿光波长 频带具有灵敏度，上述第2和第3摄像区域分别对红光和蓝光波长频带具 有灵敏度。
而且，上述第1方案的摄像装置优选还具备将上述基准摄像信号中的 上述基准摄像信号以外的摄像信号中有可能包含因视差引起缺失的图像的 区域分割成块，对各块求出视差量，根据求得的视差量判断该块中上述基
准摄像信号以外的摄像信号实际上是否缺失的缺失判断部；上述有效像素
区域修正部将上述缺失判断部判定为没有缺失的块的像素包含到上述有效 像素信号中。
为了达到上述目的，本发明第2方案的摄像装置具有以下部多个透 镜部，分别包含至少一枚透镜；多个摄像区^t与上述多个透镜部一一对 应，分别具备与对应的上述透镜部的光轴方向大致垂直的受光面，分别输 出摄像信号；以及视差计算部，以分别从上述多个摄像区域输出的摄像信 号中的某一个为基准摄像信号，计算其他的摄像信号相对于该基准摄像信 号的视差量；上述多个摄像区域中输出上述基准摄像信号的基准摄像区域 以外的摄像区域具有比基准摄像区域的受光面大的受光面。
上述第2方案的摄像装置如果采用还具备根据上述视差量修正上述多 个摄像信号，通过合成生成合成图像并输出的图像合成部的结构的话，则 由于能够再现图像的周边部分没有假色的图像，因此比较理想。
或者，如果上述第2方案的摄像装置采用还具备根据上述基准摄像信 号和上述视差计算部计算出的视差量计算出到被摄体的距离的距离计算部 的结构的话，则由于即使图像的周边部位也能够测距，因此比较理想。
上述第2方案的摄像装置优选上述基准摄像区域以外的摄像区域中， 邻接于上述基准摄像区域相邻的摄像区域与上述基准摄像区域相比较，在 与邻接于上述基准摄像区域的边相对的边侧受光面扩大；与上述基准摄像 区域对角配置的摄像区域与上述基准摄像区域相比较，在远离上述基准摄 像区域的两边侧受光面扩大。
如上所述，本发明能够提供改善了现有技术问题——即改善了每个色 彩信息具有视差的复眼光学系统中的图像周边部分的假色问题和图像周边 部位不能测距的问题的摄像装置。


图1为表示本发明第1实施方式的摄像装置的大致结构的方框图。
图2为视差产生例的概略图。
图3为不产生色彩信息缺失的结构的概略图。
图4为表示视差修正算法的基本流程的图。
图5为表示检测块的图。
图6为表示视差量评价值与第2检测块的视差量之间的关系的图。 图7为表示本发明第1实施方式的摄像装置的变形例的大致结构的方 框图。
图8为表示本发明第2实施方式的摄像装置的大致结构的方框图。 图9为表示第2实施方式的摄像装置中将偏移区域分割成适当大小的 块的状态的图。
图IO为表示色彩信息缺失判断算法的流程的图。 图11为说明色彩信息缺失判断方法的图。
图12为说明第2实施方式的摄像装置中输出像素区域的扩大处理的图。
图13为表示本发明第3实施方式的摄像装置中从摄像光学系统一侧看 到的各图像传感器的大小的平面图。
图14为表示第3实施方式的效果的图。
图15为表示第1 第3实施方式的摄像装置的变形例的斜视图。
图16为表示第1 第3实施方式的摄像装置的其他变形例的说明图。
图17为表示现有技术的摄像装置的结构的图。
图18为说明现有技术的摄像装置产生的视差的图。
图19为本发明的摄像装置的剖视图。
图20为表示本发明的摄像装置的实施例的图。
图21为表示本发明的摄像装置的其他实施例的图。
图22为表示本发明第3实施方式的摄像装置的变形例的大致结构的框图。
图23为表示本发明第3实施方式的摄像装置的变形例的从摄像光学系 统一侧看各图像传感器的大小的平面图。
图24为表示本发明第3实施方式的摄像装置的变形例的效果的图。
具体实施例方式
(第1实施方式) 下面参照

本发明的第1实施方式。
图1为表示本发明第1实施方式的摄像装置的大致结构的图。图1中， 1 4为分别包含至少一个透镜的拍摄光学系统。分别与摄像光学系统1 4 相对应设置了图像传感器5 8。同一被摄体分别通过摄像光学系统1 4 成像在各图像传感器5 8上。
在本实施方式中，为了拍摄彩色图像，图像传感器5 8中配置在对角 线上的图像传感器5、 7拍摄绿色波长频带，图像传感器6拍摄红色波长频 带，图像传感器8拍摄蓝色波长频带。该波长选择性既可以通过使图像传 感器具有波长依存性来实现，也可以通过插入具有波长选择性的滤波器(彩 色滤波器)等来实现。
各图像传感器5 8拍摄的信号分别通过R信号处理电路12、 G信号 处理电路10和11、 B信号处理电路9进行图像处理，然后输送给视差计算 电路14。视差计算电路14将从R信号处理电路12、 G信号处理电路10 和11、以及从B信号处理电路9中获取的信号中的某一个作为基准信号，
求出其他信号相对于该基准信息的视差量。视差计算电路14求出的视差量 与R信号、G信号和B信号一起输送给图像合成电路16。有效像素区域修 正电路13从上述基准摄像信号中删除掉上述基准摄像信号以外的摄像信号 中从有可能包含因视差而缺失的图像的区域内的像素中获得的像素信号， 将作为该结果获得的有效像素信号输出给图像合成电路16。图像合成电路 16根据上述有效像素信号和视差量修正R信号、G信号和B信号并将它们 合成。由此，输出彩色图像。另外，虽然图1中仅表示了主要是与本发明 的特征有关的构成要素，但在实施本发明的摄像装置时，除了图1所示的 构成要素以外，还可以设置进行各种修正处理或预处理等任意的进行图像 处理的电路。
这里首先简单地说明图像合成的流程。如图1所示，本实施方式的摄 像装置中，绿色波长频带的摄像光学系统1、 3和图像传感器5、 7配置在 对角线上。本实施方式的视差计算电路14为将输出绿色图像信号的图像传 感器5、 7中的图像传感器5输出的图像信号作为基准图像(记为GO)，将 该基准图像G0与从图像传感器7输出的图像(记为G1)进行比较，计算 出视差量的电路。但是，将多个摄像光学系统成像的图像中的哪个图像作 为基准图像是任意的设计事项。
为了将各种距离上的被摄体同时写入图像中，本实施方式的摄像装置 的视差计算电路14将比较对象的每个图像分割成小块，通过在各块单位中 计算视差量掌握整个图像的视差量。即，视差计算电路14通过以块为单位 比较图像传感器5输出的基准图像GO和图像传感器7输出的图像Gl求出 基准图像GO与图像Gl的视差量。
而且，视差计算电路14通过矢量分解图像G1的视差量(与基准图像 GO的视差量)计算出图像传感器6输出的图像(R)所具有的视差量和图 像传感器8输出的图像(B)所具有的视差量。g卩，通过将图像G1与基准 图像GO的视差量矢量分解成从基准图像GO到图像传感器6的图像R的方 向和从基准图像GO到图像传感器8的图像B的方向，获得图像R与基准 图像GO的视差量和图像B与基准图像GO的视差量。
将这样求得的视差量与基准图像GO、图像G1、图像R和图像B各自 的信号一起输送给图像合成电路13。图像合成电路13通过修正图像G1、
图像R和图像B的视差量，与基准图像GO重合，再现彩色图像。
图2概略地表示图像传感器5输出的图像GO与图像传感器7输出的图 像Gl之间产生视差的例子。图2中GOc表示由摄像光学系统1和图像传 感器5决定的光轴与图像传感器5交叉的图像上的点——图像传感器5的 图像GO的中心。Glc也同样表示由摄像光学系统3和图像传感器7决定的 光轴与图像传感器7交叉的图像上的点——即图像传感器7的图像G1的中
17a、 18a为拍摄分别设置在与图像传感器5的距离不同的位置上的被 摄体时的被摄体图像。17a为远距离物体的图像，18a为近距离物体的图像。 并且，17b、 18b为图像传感器7输出的被摄体图像，17b为远距离物体的 图像，18b为近距离物体的图像。另夕卜，17a、 17b为同一物体的图像，18a、 18b也为相同物体的图像。
如从图2能够明白的那样，远距离物体图像17a和远距离物体图像17b 基本没有视差，分别作为图像再现在图像传感器5、 7的图像G0、 Gl中几 乎相同的位置上。另一方面，近距离物体图像18a和近距离物体图像18b 具有大的视差。因此，如图2所示，近距离物体图像18b具有再现图像信 息的一部分缺失了的图像的可能性。另外，图像传感器7的图像G1内的近 距离物体图像18b与图像传感器5的基准图像G0内的近距离物体图像18a 之间产生的视差方向为，从图像传感器一侧看被摄体方向时从摄像光学系 统3的光轴与图像传感器7交叉的点到摄像光学系统1的光轴与图像传感 器5交叉的点的矢量方向。本实施方式的摄像装置中，即使使用从具有视 差的图像传感器5 8各自获得的图像中提取的色彩信息，也能够像以下说 明的那样获得没有假色的合成图像。
参照图3说明使本实施方式的摄像装置不产生色彩信息缺失的原理。 图3为图像传感器5输出的被摄体图像。图3中添加了斜线的区域为在以 图像传感器5输出的图像为基准图像的情况下，当将位于最短被摄体距离 上的物体写入基准图像中该斜线区域内时由视差引起的图像传感器7中该 物体的图像缺失的区域(以下成为"偏移区域")。因此，当将位于最短被 摄体距离上的物体写入图3的偏移区域时，该偏移区域的色彩信息有可能 缺失。并且，图像传感器6输出的图像和图像传感器8输出的图像，由于
与图像传感器5输出的图像之间的视差，同样存在偏移区域。因此，本实 施方式的摄像装置中，图像合成电路16仅在有效像素区域修正电路13中 将该偏移区域的像素信息从基准图像中删除而获得的有效像素区域内，将 图像传感器5 8各自获得的图像合成为一个图像。
需要删除图像信息的偏移区域的位置和范围由摄像光学系统1 4和图 像传感器5 8之间的位置关系决定。本实施方式如图3所示将基准图像 GO两边的像素删除成L字形状然后作成合成图像。另夕卜，图3所示的V5.6 为图像传感器6输出的图像相对于图像传感器5输出的基准图像GO的视差 的方向，V^为图像传感器8输出的图像相对于图像传感器5输出的基准图 像GO的视差的方向。
并且，本实施方式中有效像素区域修正电路13中删除像素的区域(偏 移区域)的大小由最短被摄体距离决定。最短被摄体距离表示摄像装置设 计上能够对应的到最近的被摄体的距离。偏移区域的大小能够例如如下所 述地求出。当假设最短被摄体距离为Amin、摄像光学系统1 4的焦距为 f、摄像光学系统1与摄像光学系统3的光轴之间的距离为D、图像传感器 5 8的像素间距为p时，图像传感器7输出的图像Gl相对于图像传感器5 输出的位于最短被摄体距离Amin上的被摄体的图像GO的视差量dmin能 够由下述公式(2)求得。另外，公式(2)为满足公式(1)的条件时成立 的近似式，但由于最短被摄体距离Amin—般为焦距f的IO倍以上，因此 利用近似式完全没有问题。
公式(1)
Amin〉〉f
公式(2)
dmin^D'i"/ (Amin,p)
其中，当假设视差量dmin在x方向上的成分为dminx、在y方向上的 成分为dminy时，它们用下述公式(3)和公式(4)表示。 公式(3)
dminx=dmin'cos0 公式(4)
dminy=dmin'sin0
并且，虽然本发明实施方式的摄像装置的型号并不局限于这些具体的
数值，但当具体的数值为例如D=5mm、 f=4.5mm、 Amin=10cm、 p = 3 um、 cos9 =4/5、 sine =3/5时，拍摄位于最短被摄体距离上的被摄体时 的视差量dmin、 dminx、 dminy为75像素、60像素和45像素(参照图3)。 因此，此时，图像合成电路13在基准图像G0中沿V5-6的正方向一侧的边删 除60像素、沿V^的正方向一侧的边删除45像素成L字形状，通过这样作 成水平方向的像素数为(H — 60)像素、垂直方向的像素数为(V—45)像 素的矩形合成图像。
如上所述，本实施方式的摄像装置在有效像素区域修正电路13中废弃 色彩信息有可能缺失的区域(偏移区域)的图像信息，图像合成电路16仅 用具有全部色彩信息的区域(图3所示的区域G0s)的图像信息合成彩色图 像。以下将该区域G0s称为输出像素区域。
下面用图4、图5说明提取图3中的输出像素区域G0s的视差量。图4 为表示视差修正算法的基本流程的图。图5为表示图像传感器5、 7上的检 测块的图。
在视差修正算法的步骤S101中，进行提取块的处理。这里，最初将图 像传感器5的输出像素区域G0s分割成均等的块。虽然对其中的一个块(第 l检测块204)说明以下的处理，但对分割成的所有的块实施同样的处理。 第1检测块204合适的大小为8X8像素到64X64像素。另夕卜，在使摄像 光学系统的倍率很大的情况下，最好减小检测块204的像素的大小。而且， 对于图像Gl也设定与第1检测块204相同大小的第2检测块205。
接着，在步骤S103中，为了从图像G1中找出具有与基准图像G0中 的第1检测块204相同的图像信息的块，计算视差量的评价值。下面说明 视差量评价值计算处理的一个具体例。图5中，如果将步骤S101中设定在 图像G1上的第2检测块205向x轴方向移动k像素、向y轴方向移动j像 素，则第2检测块205移动到206的位置。然后对第1检测块204和移动 后的第2检测块206计算出各检测块中对应的像素的输出值的差，将检测 块内所有像素的上述差的合计值作为第2检测块206位置上的视差量评价
值。另外，视差量评价值的计算方法并不局限于此。
如果假设从第1检测块204内像素(a， b)输出的值为GG1 (a， b)、 从第2检测块206内像素(a， b)输出的值为GG2 (a， b)的话，则视差 量评价值R (k， j)可以用下述公式(5)求出。
公式(5)
<formula>formula see original document page 15</formula>
该视差量评价值R (k， j)表示移动了视差量(k， j)的第2检测块206 与第1检测块204具有怎样的相关关系，值越小表示两个检测块越相似。
图6表示视差量评价值与第2检测块的视差量之间的关系。图6绘制 了横轴为x方向移动的像素数(k)、纵轴为视差量评价值(R)的关系曲线。 视差量评价值与k值连动变化，相似度变高其值显著变小。图6中k=k, 时为最小值。另外，虽然图6中表示的是将j值固定在j-jp只改变k的 值时的情况，但改变j值时也产生同样的变化。因此，对规定范围内能够 取的所有的k值和j值反复进行步骤S103的视差量评价值的计算处理。一 般情况下，产生视差的方向由图像传感器5 8相互之间的位置关系唯一决 定。因此，通过在视差量评价值计算时提取第2检测块也按这个法则提取， 能够大幅度地提高计算效率。
接着，在步骤S104中，从步骤S103求出的各视差量评价值中提取最 小的值。这里，将上述算法获得的视差量评价值的计算结果进行比较，求 出其最小值。然后在步骤S105中提取获得最小值时的视差量(k， j)，决 定视差量。如果假定k-ld、 j-j，时能够获得最小值，则判断基准图像GO 上第l检测块204的图像信息与图像Gl上沿x方向移动了k,像素、沿y 方向移动了ji像素时的第2检测块206的图像信息一致，提取视差量(k,， j》，将该视差量作为第1检测块204的视差量(dx二kp dy=h)。对设定 在图像传感器5的基准图像GO内的输出像素区域G05内所有的检测块进行 该一系列的处理，决定视差量。视差计算电路14通过进行以上的处理求出 图像Gl相对于基准图像GO的视差量。
然后，根据从图像传感器7输出的图像Gl获得的视差量计算出图像传 感器6输出的图像R和图像传感器8输出的图像B的视差量，在图像合成 电路16中修正每个图像，将这些图像重合到基准图像GO上，通过这样合
成彩色图像。另外，在本实施方式的摄像装置中，基准图像GO上相当于偏 移区域的像素信息在作成合成图像之前全部被有效像素区域修正电路13废 弃。
通过釆用本实施方式的结构，能够改善每个色彩信息具有视差的复眼 光学系统中成为问题的周边部位假色的问题。
另外，虽然本实施方式说明了使用了 4个图像传感器的结构，但本发 明并不局限于这种结构，在将一个图像传感器分割成4个摄像区域使用的 情况下或分别将2个图像传感器分割成2个摄像区域使用的情况下，当然 具有相同的效果。
而且，即使对于从多组相同波长频带的图像中提取视差，根据提取的 视差计算出到被摄体的距离的摄像装置，通过像本实施方式这样废弃相当 于偏移区域的像素的信息，也能够解决图像周边部位产生不能够测距的部 分这样的现有技术的问题。本实施方式中以上说明过那样的通过合成多个 摄像区域获得的图像作出彩色图像的处理和使用多个摄像区域获得的图像 测量到被摄体的距离的处理(测距处理)在根据从图像中提取的视差量进 行处理这一点上是共同的。因此，对于测距处理，通过使用本实施方式也 能够解决在图像的周边部位产生不能够测距的部分这样的现有技术的问 题。例如，通过像图7所示那样设置根据从图像传感器5、 7的图像中提取 的视差计算出到被摄体的距离的距离计算电路19取代图1的结构中的图像 合成电路16，能够容易地构成进行测距处理的摄像装置。另外，通过同时 具有图像合成电路16和距离计算电路19使彩色图像输出处理和测距处理 都能够进行的摄像装置也是本发明的一个实施方式。
在将本实施方式的摄像装置作为测距装置使用的情况下，如果能够用 视差计算电路14获得2个光学系统的视差量d的话，则距离计算电路19 能够根据公式(6)获得到被摄体的距离z。另外，在公式(6)中，D为2 个光学系统的光轴之间的距离，f为光学系统的焦距，d为视差量，z为被 摄体的距离。
公式(6)
z~D*f/d
另外，测量距离的摄像装说明书第13/置中不需要4个摄像区域，只要至少有2个 摄像区域，当然就能够充分地测量距离。 (第2实施方式) 下面参照

本发明的第2实施方式。
在上述第1实施方式中根据最短被摄体距离决定图像色彩信息有可能 缺失的区域(偏移区域)，在生成合成图像时将偏移区域的像素信息全部废 弃。与此相对，在下面说明的第2实施方式中，判断偏移区域中合成图像 时实际色彩信息缺失的部分和没有缺失的部分，将色彩信息没有缺失的部 分的像素作为图像输出。即，在第1实施方式中，作为图像输出的像素数 (输出像素区域的像素数)少，但在第2实施方式中，能够抑制像素的数 量减少。
为此，如图8所示，第2实施方式的摄像装置除了第1实施方式中说 明过的构成要素外，还具备色彩信息缺失判断电路15。
图9为表示图像传感器5输出的基准图像GO中偏移区域被分割成适当 大小的块的状态的图。图IO为表示色彩信息缺失判断算法的流程的图。
在图10的步骤S201中，例如像图9所示那样将偏移区域分割成适当 大小的矩形块B (x, y)。另外，(x， y)表示各块的代表点(例如中心点) 的坐标。块的大小一般为8像素X8像素 64像素X64像素左右合适。
接着，在步骤S202中，通过执行图4所示的视差修正算法S103 S105 提取视差，提取在步骤S201分割的所有的块B的视差量。
而且，在步骤S203中，合成图像时对每一个块B进行实际上色彩信息 是否缺失的判断。下面用图11说明该判断的具体例。图11中，从图像传 感器5、 7获得的图像G0、 Gl的大小为x方向H像素、y方向V像素。图 像GO上的偏移区域中块B(xl， yl)的大小为a像素Xb像素，在步骤S201 提取视差量的结果判定为相当于图像G1上的块B1的块，视差量为(k，j)。 因此，如果块B1满足存在于图像G1内的条件的话，则块B被判定为合成 图像时色彩信息没有缺失。当用公式描述上述情况时，为下述公式(7)、 公式(8)。
公式(7)
xl+k—a/2SO
(公式8)
<formula>formula see original document page 18</formula>
在步骤S203中，色彩信息缺失判断电路15对每个块确认该条件满足 还是不满足。当条件满足时(步骤S203的结果为Y)，则通过将块B追加 到输出像素区域G0s中扩大由有效像素区域修正电路13获得的输出像素区 域(步骤S204)。然后移动一块成为条件判断对象的块(步骤S205)，返回 步骤S203。
这样一来，只要步骤S203的结果为Y，在步骤S204中就将输出像素 区域扩大1个块的量，再在步骤S205中像例如图12中附加了① ⑥的标 记的箭头所示那样，从与输出像素区域GOs的外周相连的块依次向其外侧 的块移动成为条件判断对象的块，反复进行步骤S203 S205的处理。艮P， 从图12所示的块B (xl， yl)开始处理，在步骤S203的结果为y期间， 沿①箭头(即沿输出像素区域GOs的外周)向y坐标增加的方向依次移动 作为条件判断对象的块，当到达块B (xl， y2)时，接着沿②箭头向x坐 标增加的方向依次移动作为条件判断对象的块。并且，当到达图12所示的 块(x4， y2)时，将作为条件判断对象的块移动到B (x2， yl)。以后，沿 ③箭头从块B (x2， yl)向块B (x2， y3)依次移动，再沿④箭头从块B (x2， y3)向块B (x4， y3)依次移动，沿⑤箭头从块B (x3， yl)向块B (x3， y4)依次移动，再沿⑥箭头从块B (x3， y4)向块B (x4， y4)依 次移动。
但是，当步骤S203的结果为N时，转移到步骤S207进行处理。例如， 在沿图12所示的③箭头的块处理中，当块组19a满足上述条件、但块19b 不满足条件时，步骤S203的判定结果为N。此时，在步骤S207中返回图 12所示③箭头的起始块，将该箭头内的块组分割成更细的块，对细分割后 的块再次实施S202和S203的处理。当步骤S207中反复再细分割到块大小 为2X2像素左右，步骤S203的判断结果还为N时，输出像素区域GOs不 能再扩大，结束处理。
另外，虽然图12中表示的是从块B (xl， yl)开始处理的例子，但也 可以从B (x4， y2)开始处理，沿与②箭头向相反的方向移动块。
如果采用本实施方式的摄像装置，通过以上的处理除了能够改善每个 色彩信息都有视差的复眼光学系统中周边部分的假色问题外，还能够使输 出像素区域比第1实施方式的大的优点。
另外，虽然本实施方式说明了使用了 4个图像传感器的结构，但本发 明并不局限于这种结构，在将一个图像传感器分割成4个摄像区域使用的 情况下或分别将2个图像传感器分割成2个摄像区域使用的情况下，当然 具有相同的效果。
而且，即使对于从多组相同波长频带的图像中提取视差，根据提取的 视差计算出到被摄体的距离的摄像装置，通过像本实施方式这样废弃相当 于偏移区域的像素的信息，也能够解决图像周边部位产生不能够测距的部 分这样的现有技术的问题。本实施方式中以上说明过那样的通过合成在多 个摄像区域获得的图像作出彩色图像的处理和使用在多个摄像区域获得的 图像测量到被摄体的距离的处理(测距处理)在根据从图像中提取的视差 量进行处理这一点上是共同的。因此，对于测距处理，通过使用本实施方 式也能够解决在图像的周边部位产生不能够测距的部分这样的现有技术的 问题。例如，通过像图7所示那样设置根据从图像传感器5、 7的图像中提 取的视差计算出到被摄体的距离的距离计算电路19取代图1的结构中的图 像合成电路16，能够容易地构成进行测距处理的摄像装置。另外，通过同 时具有图像合成电路16和距离计算电路19使彩色图像输出处理和测距处 理都能够进行的摄像装置也是本发明的一个实施方式。
另外，当能够获得2个光学系^S中的视差量d时，能够用上述公式(6) 获得到被摄体的距离z。并且，与第1实施方式一样，测量距离的摄像装置 不需要4个摄像区域，只要具有至少2个摄像区域当然就可以测量距离。 (第3实施方式)
下面参照

本发明的第3实施方式。
本实施方式的摄像装置与第1实施方式的不同点在于，通过设置不同 大小的各图像传感器的摄像区域，不用进行像第2实施方式那样复杂的图 像处理就能够尽可能地增加输出像素区域的像素数量。
图13为表示从摄像光学系统1 4一侧看各图像传感器5 8时各图像 传感器的摄像区域的大小的平面图。其中，对于具有与第1实施方式或第2实施方式具有相同功能的部分，添加相同的附图标记。与第1实施方式一
样，图像传感器5输出基准图像G0，图像传感器6输出图像R，图像传感 器7输出图像G1，图像传感器8输出图像B。
并且，在图13中，5c为摄像光学系统1和图像传感器5决定的光轴与 图像传感器5的受光面交叉的点，6c为摄像光学系统2和图像传感器6决 定的光轴与图像传感器6的受光面交叉的点，7c为摄像光学系统3和图像 传感器7决定的光轴与图像传感器7的受光面交叉的点，8c为摄像光学系 统4和图像传感器8决定的光轴与图像传感器8的受光面交叉的点。而且， 图像传感器6、 7、 8内描绘的虚线表示与图像传感器5的摄像区域大小相 同的摄像区域。点5c与点6c之间的距离设为Dl，点5c与点8c之间的距 离设为D2。
如从图13能够明白的那样，本实施方式的摄像装置中图像传感器5 8 的大小各不相同。具体为，输出基准图像G0的图像传感器5最小，与图像 传感器5相比，图像传感器6的像素数在x的负方向上扩大了dl。并且， 图像传感器8的像素数比图像传感器5在y的负方向上扩大了 d2。而且， 图像传感器7的像素数比图像传感器5在x的负方向上扩大了 dl，并且在 y的负方向上扩大了d2。
当假设最短被摄体距离为Amin、摄像光学系统1 4的焦距为f、图像 传感器5 8的像素间距为p时，在上述公式(l)的假定下，x方向上的像 素扩大量dl和y方向上的像素扩大量d2能够用公式(9)、公式(10)描 述。
公式(9)
<formula>formula see original document page 20</formula> 公式(10)
<formula>formula see original document page 20</formula>
因此，当图像传感器5的大小为H像素XV像素时，图像传感器6的 大小为(H+dl)像素XV像素，图像传感器7为(H+dl)像素X (V+ d2)像素，图像传感器8为H像素X (V+d2)像素。
如果采用本结构，由于图像传感器7比图像传感器5大，因此即使考 虑在最短被摄体距离上产生的视差，也能够从图像传感器7提取与图像传
感器5的像素信息匹配的所有的信息。
具体为，如图14所示，由于图像传感器7的摄像区域足够大，因此成 像在图像传感器5周边部位的近距离物体18a能够没有信息缺失地成像在 图像传感器7内。由此，不用进行第2实施方式那样复杂的计算处理就能 够改善现有技术中成为问题的每个色彩信息具有视差的复眼光学系统中周 边部分的假色问题，而且能够使输出像素区域比第1实施方式的大。另外， 由于图13为从摄像光学系统1 4 一侧看图像传感器5 8的受光面的图， 图14为表示图像传感器5 8各自输出的摄像信号的图，因此图13和图14 为上下、左右相反的关系。而且，Gl内描绘的虚线表示与GO大小相同的 摄像区域。
虽然本实施方式说明了使用了 4个图像传感器的结构，但本发明并不 局限于这种结构，在将一个图像传感器分割成4个摄像区域使用的情况下 或分别将2个图像传感器分割成2个摄像区域使用的情况下，当然具有相 同的效果。
下面再说明实现上述实施方式的具体结构例。对于上述说明过的结构， 添加与上述说明相同的参照符号。
图19为本发明的一个结构例的摄像装置100的剖视图。图19的剖面 与摄像光学系统1 4的光轴平行。图20为沿图19所示的A-A剖面剖切 摄像装置100的剖视图。在图19和图20中，101为第1镜筒，102为保持 摄像光学系统1 4的第2镜筒。第1镜筒101如图20所示具有互相正交 的内壁101a和101b。该内壁101a、 101b通过将1个图像传感器分成4个 摄像区域，实现上述图像传感器5 8的功能的图像区域5' 8'(参照图 20)。
图20所示的结构中，第1镜筒101的内壁101a、 101b互相在大致中 央的位置交叉，将镜筒内壁分割成容积大致相等的4个区域。g卩，第l镜 筒101在第2镜筒102 —侧的4个开口部的面积大致相等。于是，通过使 图像传感器的中央位置偏离内壁101a、 101b交叉的位置101c地配置一个 图像传感器，实现摄像区域的大小互不相同的图像区域5' 8'。该图像区 域5' 8'起上述图像传感器5 8的作用。另外，虽然在图20的例中第 1镜筒101为四棱柱形状，但镜筒的形状并不局限于四棱柱。
另外的结构例表示在图21中。在图21中，第1镜筒201具有互相正 交的内壁201a、 201b。但是，图21所示第1镜筒201的4个侧壁中其他2 个侧壁202f、 202g比相邻的2个侧壁202d、 202e厚。即，图21的例中， 第1镜筒201在第2镜筒102 —侧的4个开口部的面积互不相同。于是， 通过使图像传感器的中央位置与内壁201a、 201b交叉的位置201c —致地 配置一个图像传感器，实现摄像区域的大小互不相同的图像区域5' 8'。 该图像区域5' 8'起上述图像传感器5 8的作用。
艮P，上述图19和图20所示的结构例和图21所示的结构例都是实现摄 像区域的大小互不相同的图像区域5' 8'，具备该图像区域5' 8'的 摄像装置发挥上述本发明的效果。
而且，即使对于从多组相同波长频带的图像中提取视差，根据提取的 视差测量出到被摄体的距离的摄像装置(例如图1的结构中从图像传感器 5、 7的图像中提取视差，根据提取的视差测量到被摄体的距离)，通过像本 实施方式这样使图像传感器的受光面的大小互不相同，也能够解决图像周 边部位产生不能够测距的部分这样的现有技术的问题。本实施方式中以上 说明过那样的通过合成多个摄像区域获得的图像作出彩色图像的处理和使 用多个摄像区域获得的图像测量到被摄体的距离的处理(测距处理)在根 据从图像中提取的视差量进行处理这一点上是共同的。因此，对于测距处 理，通过使用本实施方式也能够解决在图像的周边部位产生不能够测距的 部分这样的现有技术的问题。例如，通过像图7所示那样设置根据从图像 传感器5、7的图像中提取的视差计算出到被摄体的距离的距离计算电路19 取代图1的结构中的图像合成电路16，能够容易地构成进行测距处理的摄 像装置。另外，通过同时具有图像合成电路16和距离计算电路19使彩色 图像输出处理和测距处理都能够进行的摄像装置也是本发明的一个实施方 式。
另外，如果获得2个光学系统的视差量d的话，则能够用上述公式(6) 获得到被摄体的距离z。
并且，与第l实施方式一样，测量距离的摄像装置中不需要4个摄像 区域，只要至少有2个摄像区域，当然就足以能够测量距离。
具体为，图22所示的摄像装置通过设置根据从图像传感器5、 7的图
像中提取的视差计算出到被摄体的距离的距离计算电路19能够容易地构成 进行测距处理的摄像装置。另外，在将本实施方式的摄像装置作为测距装 置使用的情况下，如果通过视差计算电路14获得2个光学系统1、 3的视 差量d的话，则距离计算电路19能够用上述公式(6)获得到被摄体的距 离z。另外，公式(6)中D为2个摄像光学系统1、 3的光轴之间的距离 (图23中的D1)， f为摄像光学系统l、 3的焦点，d为视差量，z为被摄 体距离。
图23为表示从摄像光学系统1、 3 —侧看各图像传感器5、 7时各图像 传感器的摄像区域的大小的平面图。其中，对于与第1实施方式或第2实 施方式具有相同功能的部分，添加相同的附图标记。与第1实施方式一样， 图像传感器5输出基准图像G0，图像传感器7输出图像G1。
并且，在图23中，5c表示摄像光学系统l和图像传感器5决定的光轴 与图像传感器5的受光面交叉的点，7c表示摄像光学系统3和图像传感器 7决定的光轴与图像传感器7的受光面交叉的点。而且，图像传感器7内描 绘的虚线表示与图像传感器5的摄像区域大小相同的摄像区域。点5c与点 7c之间的距离设为Dl。
如从图23能够明白的那样，本实施方式的摄像装置中图像传感器5、 7 的大小各不相同。具体为，输出基准图像GO的图像传感器5比图像传感器 7小。与图像传感器5相比，图像传感器7的像素数在x的负方向上扩大了 dl。
当假设最短被摄体距离为Amin、摄像光学系统1、 3的焦距为f、图像 传感器5、 7的像素间距为p时，在上述公式(1)的假定下，x方向上的像 素扩大量dl能够用公式(9)描述。因此，当图像传感器5的大小为H像 素XV像素时，图像传感器7的大小为(H+dl)像素XV像素。
如果采用本结构，由于图像传感器7比图像传感器5大，因此即使考 虑在最短被摄体距离上产生的视差，也能够从图像传感器7提取与图像传 感器5的像素信息匹配的所有的信息。
具体为，如图24所示，由于图像传感器7的摄像区域足够大，因此成 像在图像传感器5周边部位的近距离物体18a能够没有信息缺失地成像在 图像传感器7内。由此，不用进行第2实施方式那样复杂的计算处理就能 够改善现有技术中成为问题的每个色彩信息具有视差的复眼光学系统中周 边部分的假色问题，而且能够使输出像素区域比第1实施方式的大。另外，
由于图23为从摄像光学系统1、 3—侧看图像传感器5、 7的受光面的图， 图24为表示图像传感器5、 7各自输出的摄像信号的图，因此图23和图24 为上下、左右相反的关系。而且，Gl内描绘的虚线表示与GO大小相同的 摄像区域。
虽然本实施方式说明了 2个图像传感器拍摄绿色波长频带的结构，但 用检测近红外线等波长彼此相近的光线的结构也能够获得同样的效果。并 且，也可以分别在每个图像传感器上形成拜耳阵列的彩色过滤器，使检测 彩色图像成为可能，也能够获得同样的效果。
并且，虽然本实施方式在图像传感器的横方向(图22的x方向)上配 置了多个摄像光学系统和图像传感器的组合，但在垂直方向上配置多个光 学系统和图像传感器的组合当然也能够获得同样的效果。
并且，为了防止透过摄像光学系统1 4的光线入射到各自对应的图像 传感器以外的图像传感器中，上述第1 第3摄像装置优选像图15所示那 样分别在图像传感器5 8的边界部位设置遮光壁22。并且，该遮光壁22 的高度最好在从设置图像传感器5 8的面到设置摄像光学系统1 4的面 左右的高度。
并且，由于上述各实施方式以具备4个摄像光学系统和4个图像传感 器的摄像装置为例，因此为沿基准图像的2边删除图像使其为L字形状的 例子(例如图3、图9等)或者像图13所示那样沿2个方向扩大图像传感 器的受光面的大小的例子。但是，也可以是例如具有5个摄像光学系统和5 个图像传感器，与1个图像传感器的4条边相邻地配置4个图像传感器的 结构。在采用这种结构的情况下，像图16所示那样以中央的图像传感器输 出的图像P0作为基准图像，分别求出其他的图像传感器输出的图像Pl P4相对于该基准图像P0所具有的视差，通过修正图像P1 P4的视差将这 些图像合成到基准图像PO中作成彩色图像。此时，如图16中附加斜线所 示的那样沿基准图像P0的4条边适当删除像素。
产业上的可利用性
本发明能够作为薄型并且解决了图像的周边部位产生假色或图像的周 边部分不能测距的问题的摄像装置使用，例如能够作为移动设备或车载用 等各种用途的摄像装置使用。
权利要求
1. 一种摄像装置，其特征在于，具有多个透镜部，分别包含至少一枚透镜；多个摄像区域，与上述多个透镜部一一对应，分别具备与对应的上述透镜部的光轴方向大致垂直的受光面，分别输出摄像信号；视差计算部，以分别从上述多个摄像区域输出的摄像信号中的某一个为基准摄像信号，计算其他的摄像信号相对于该基准摄像信号的视差量；以及有效像素区域修正部，输出从上述基准摄像信号中删除下述像素信号而获得的有效像素信号，该像素信号是在上述基准摄像信号以外的摄像信号中从有可能包含因视差引起缺失的图像的区域的像素获得的像素信号。
2. 如权利要求1所述的摄像装置，还具备图像合成部，该图像合成部 根据上述有效像素区域修正部输出的有效像素信号和上述视差计算部计算 出的视差量，通过对上述多个摄像信号进行修正并合成，而生成并输出合 成图像。
3. 如权利要求1所述的摄像装置，还具备距离计算部，该距离计算部 根据从上述有效像素区域修正部输出的有效像素信号和上述视差计算部计 算出的视差量，计算出到被摄体的距离。
4. 如权利要求1 3中的任一项所述的摄像装置，上述有效像素区域 修正部根据对位于最短被摄体距离上的被摄体的视差量，求出有可能包含 因视差引起缺失的图像的区域的范围。
5. 如权利要求1 4中的任一项所述的摄像装置，上述多个摄像区域 是被设置成纵2列、横2行的第1 第4摄像区域；上述视差计算部将从上述第1摄像区域输出的摄像信号作为基准摄像 信号； 上述有效像素区域修正部从上述基准摄像信号中删除从下述像素得到的像素信号，该像素是从在横方向上与上述第1摄像区域相邻的第2摄像 区域输出的第2摄像信号相对于上述基准摄像信号所具有的视差方向的正 方向上的边的像素、以及在纵方向上与上述第1摄像区域相邻的第3摄像 区域输出的第3摄像信号相对于上述基准摄像信号所具有的视差方向的正 方向上的边的像素。
6. 如权利要求5所述的摄像装置，在上述第1 第4摄像区域中配置 在对角线方向上的第1摄像区域和第4摄像区域对相同的波长区域具有灵 敏度，第2摄像区域和第3摄像区域与上述第1和第4摄像区域不同，对 互不相同的波长区域具有灵敏度；上述视差计算部以从上述第1摄像区域输出的摄像信号作为基准摄像 信号，求出从上述第4摄像区域输出的第4摄像信号相对于上述基准摄像 信号所具有的视差量，通过矢量分解该视差量分别求出上述第2摄像信号 相对于上述基准摄像信号所具有的视差量和上述第3摄像信号相对于上述 基准摄像信号所具有的视差量。
7. 如权利要求6所述的摄像装置，上述第1和第2摄像区域对绿光波 长区域具有灵敏度，上述第2和第3摄像区域分别对红光和蓝光波长区域 具有灵敏度。
8. 如权利要求1 7中的任一项所述的摄像装置，还具备缺失判断部， 上述缺失判断部在上述基准摄像信号中，将上述基准摄像信号以外的摄像 信号中有可能包含因视差引起缺失的图像的区域分割成块，对各块求出视 差量，根据求得的视差量判断该块在上述基准摄像信号以外的摄像信号中 实际上是否缺失；上述有效像素区域修正部将上述缺失判断部判定为没有缺失的块的像 素包含到上述有效像素信号中。
9. 一种摄像装置，其特征在于，具有 多个透镜部，分别包含至少一枚透镜；多个摄像区域，与上述多个透镜部一一对应，分别具备与对应的上述 透镜部的光轴方向大致垂直的受光面，分别输出摄像信号；以及视差计算部，以分别从上述多个摄像区域输出的摄像信号中的某一个 为基准摄像信号，计算其他的摄像信号相对于该基准摄像信号的视差量；上述多个摄像区域中输出上述基准摄像信号的基准摄像区域以外的摄 像区域具有比基准摄像区域的受光面大的受光面。
10. 如权利要求9所述的摄像装置，还具备图像合成部，该图像合成 部通过根据上述视差量对上述多个摄像信号进行修正并合成，生成并输出 合成图像。
11. 如权利要求9所述的摄像装置，还具备距离计算部，该距离计算 部根据上述基准摄像信号和上述视差计算部计算出的视差量，计算到被摄 体的距离。
12. 如权利要求9 11中的任一项所述的摄像装置，上述基准摄像区 域以外的摄像区域中，邻接于上述基准摄像区域相邻的摄像区域与上述基 准摄像区域相比较，在与邻接于上述基准摄像区域的边相对的边侧受光面 扩大；与上述基准摄像区域对角配置的摄像区域与上述基准摄像区域相比 较，在远离上述基准摄像区域的两边侧受光面扩大。
全文摘要
防止具备复眼光学系统的摄像装置在周边部位产生假色，所述复眼光学系统为对每个色彩信息具有视差的光学系统。摄像装置具有多个透镜部；分别具备与上述各透镜部的光轴方向近似垂直的受光面，输出摄像信号的多个摄像区域；以上述多个摄像信号中的某一个为基准摄像信号(G0)，计算其他的摄像信号相对于基准摄像信号(G0)所具有的视差量的视差计算部；删除基准摄像信号(G0)以外的摄像信号中从有可能包含因视差引起缺失的图像的区域(在x方向为dminx，在y方向为dminy)的像素中获得的像素信号来获得有效像素信号的有效像素区域修正部；根据上述有效像素信号和上述视差量修正上述多个摄像信号，通过合成生成合成图像的图像合成部。
文档编号H04N5/225GK101385332SQ20078000579
公开日2009年3月11日 申请日期2007年3月22日 优先权日2006年3月22日
发明者今田胜巳 申请人:松下电器产业株式会社