专利名称：摄像装置的制作方法
技术领域：
本发明涉及由使用多个摄像光学系统得到的多个图像通过进行视差校正来合成1个高精细图像的摄像装置。
背景技术：
作为通过对使用多个摄像光学系统(复眼摄像系统)得到的多个图像进行合成来得到1个高精细的图像的原理方式，已知有例如在《用于超高精细图像取得的基础研究》(相泽清晴及另两人，图像电子学会预稿90-03-04，p.23～28)中公开的方式。在该方式中，通过将使用两个摄像光学系统得到的两个图像叠合为在一个图像的像素间插入另一个图像的像素，来得到1个高精细的图像。
将该原理应用到彩色图像中也同样。即，作为得到高精细的彩色图像的方法有使用以贝叶排列或条纹排列等配置的具备彩色滤光片的多个摄像光学系统的方法；和使用色灵敏度特性相互不同的多个摄像光学系统的方法。
利用图15说明一般的复眼摄像装置。在图15中，多个摄像光学系统101、102、103使被摄体图像分别成像在多个图像传感器104、105、106上。多个图像传感器104、105、106的摄像受光特性相互不同，图像传感器104拍摄红(R)波长区域，图像传感器105拍摄绿(G)波长区域，图像传感器106拍摄蓝(B)波长区域。多个图像传感器104、105、106分别拍摄的多个图像在分别由R信号处理电路107、G信号处理电路108、以及B信号处理电路109进行图像处理之后，由图像合成处理电路110合成，作为彩色图像输出。
在该复眼摄像装置中，多个摄像光学系统101、102、103的各光轴相互不同，相对于处于某个位置的被摄体的法线对称地仅倾斜角度θ(辐射角)而配置。例如，在将辐射角θ相对于图15的被摄体位置b设定为最合适并固定的情况下，如果对处于位置a或位置c的被摄体进行摄像，则上述辐射角θ与相对于被摄体位置a、c最合适的辐射角不同，所以在图像传感器104、105、106分别拍摄的图像间会发生偏差。
利用图16A、图16B、图16C说明该情况。图16A、图16B、图16C都是表示由图15所示的复眼摄像装置得到的合成图像的图，图16A表示拍摄处于图15的位置a的被摄体的情况，图16B是表示拍摄了处于位置b的被摄体的情况，图16C表示拍摄了处于位置c的被摄体的情况。在本例中，假设在黑色的背景中拍摄圆的白色被摄体。
在被摄体处于位置a的情况下，如图16A所示，由于多个摄像光学系统101、102、103的辐射角不合适，所以成为红图像(R)与蓝图像(B)相对于绿图像分别向左右偏差的图像，合成后的图像将其偏差的量作为色偏差输出。即，缺少了蓝图像的部分由绿图像与红图像成为黄色(Ye)，缺少了红图像的部分由绿图像与蓝图像成为青绿色(Cy)，缺少了蓝图像与红图像的部分成为绿图像(G)。在本例中，由于多个摄像光学系统101、102、103的光轴一维地配置，所以在合成图像中在其配置方向上发生一维偏差，但在二维配置的情况下发生二维偏差。在合成图像中发生了二维偏差的情况下，缺少了绿图像的部分由红图像与蓝图像成为洋红色(Mg)。
在被摄体处于位置b的情况下，如图16B所示，由于多个摄像光学系统101、102、103的辐射角合适，所以输出没有色偏差的高精细的图像。
在被摄体处于位置c的情况下，如图16C所示，成为红图像和蓝图像相对于在被摄体处于位置a的情况下得到的合成图像(参照图16A)分别向反方向偏移的合成图像。
进而，如果在由各个图像传感器104、105、106得到的多个图像间有微小的差异(例如倍率、倾斜、畸变等的偏差)，则难以准确地校正视差，会使合成图像的画质、特别是分辨率显著地变差。
相对于此，在日本特许第3397758号公报中，公开了如下技术为了消除倍率的偏差，将对应于第1波长的第1摄像光学系统的焦距与对应于第2波长的第2摄像光学系统的焦距相同地进行设定。但是，如果从实际实现的观点考虑，使焦距完全相同是很困难的，特别是，在每个光学系统中作为对象的波长频带不同的情况下大体上认为是不可能的。
如上所述，在将由复眼摄像系统得到的多个图像进行合成而合成为1个图像的摄像装置中，如果在由各个光学系统得到的多个图像之间，倍率、倾斜、畸变等有微小的偏差，则难以利用这些图像正确地校正视差，使合成后的图像的画质、特别是分辨率显著地变差。
发明内容
本发明鉴于上述以往的问题，目的是提供一种摄像装置，在具有复眼摄像系统的摄像装置中，能够由具有视差的多个图像合成高品质的图像。
本发明的摄像装置的特征在于，具备多个摄像光学系统；多个摄像区域，与上述多个摄像光学系统一对一地对应，经由上述多个摄像光学系统分别拍摄多个图像；图像合成单元，具有使上述多个图像间的偏差一致的功能、以及由上述多个图像合成1个图像的功能。
发明效果根据本发明的摄像装置，在合成多个图像之前，使多个图像之间的视差以外的偏差一致，所以可以高精度地合成多个图像，能够得到高画质的合成图像。
图1是表示有关本发明的一实施方式的摄像装置的概略结构的框图。
图2是表示在有关本发明的一实施方式的摄像装置中拍摄的流程的流程图。
图3是表示有关本发明的一实施方式的摄像装置的被摄体与图像的关系的图。
图4是在表示有关本发明的一实施方式的摄像装置中测量摄像光学系统的焦距的装置的概况的图。
图5A是表示在图4的装置中被检测透镜的主点与旋转中心轴一致的情况下的焦距测量方法的图。
图5B是表示在图4的装置中被检测透镜的主点与旋转中心轴不一致的情况下的焦距测量方法的图。
图6是表示有关本发明的一实施方式的摄像装置的倍率校正处理的算法的流程图。
图7是用来说明有关本发明的一实施方式的摄像装置的内插处理的图。
图8是表示在有关本发明的一实施方式的摄像装置中各图像传感器与被摄体像的位置关系的一例的图。
图9是表示在有关本发明的一实施方式的摄像装置中经由各图像传感器得到的图像的一例的图。
图10A是用来说明在有关本发明的一实施方式的摄像装置中检测图像传感器的旋转角的方法的图。
图10B是用来说明在有关本发明的一实施方式的摄像装置中检测图像传感器的旋转角的方法的图。
图11是表示有关本发明的一实施方式的摄像装置的旋转校正处理的算法的流程图。
图12A是表示栅格状的被摄体的图。
图12B是表示在有关本发明的一实施方式的摄像装置中通过第1摄像光学系统摄像的栅格状的被摄体像的一例的图。
图12C是表示在有关本发明的一实施方式的摄像装置中通过第2摄像光学系统摄像的栅格状的被摄体像的一例的图。
图12D是表示在有关本发明的一实施方式的摄像装置中通过第3摄像光学系统摄像的栅格状的被摄体像的一例的图。
图13是用来说明在有关本发明的一实施方式的摄像装置中检测摄像光学系统的畸变量的方法的图。
图14是表示有关本发明的一实施方式的摄像装置的畸变校正处理的算法的流程图。
图15是表示以往的复眼摄像装置的概略结构的框图。
图16A是表示通过图15的复眼摄像装置拍摄处于位置a的白色圆的被摄体的情况下的合成图像的图。
图16B是表示通过图15的复眼摄像装置拍摄处于位置b的白色圆的被摄体的情况下的合成图像的图。
图16C是表示通过图15的复眼摄像装置拍摄处于位置c的白色圆的被摄体的情况下的合成图像的图。
具体实施例方式
在本发明的上述摄像装置中，优选的是，使上述多个图像间的偏差一致的功能是使上述多个图像的倍率一致的功能。
在此情况下，上述摄像装置优选为，还具备记录上述多个摄像光学系统的倍率信息的记录部；上述图像合成单元利用上述多个摄像光学系统的上述倍率信息使上述多个图像的倍率一致。
或者，上述摄像装置优选为，还具备记录了上述多个摄像光学系统的焦距信息的记录部；上述图像合成单元利用上述多个摄像光学系统的上述焦距信息使上述多个图像的倍率一致。
此外，在本发明的上述摄像装置中，优选的是，使上述多个图像间的偏差一致的功能是使上述多个图像的倾斜一致的功能。
在此情况下，上述摄像装置优选为，还具备记录了上述多个摄像区域的倾斜信息的记录部；上述图像合成单元利用上述多个摄像区域的上述倾斜信息使上述多个图像的倾斜一致。
此外，在本发明的上述摄像装置中，优选的是，使上述多个图像间的偏差一致的功能是使上述多个图像的畸变一致的功能。
在此情况下，上述摄像装置优选为，还具备记录了上述多个摄像光学系统的畸变量信息的记录部；上述图像合成单元利用上述多个摄像光学系统的上述畸变量信息使上述多个图像的畸变一致。
以下，参照
本发明的实施方式。
图1是表示有关本发明的一实施方式的摄像装置的概略结构的框图，对于与表示以往的摄像装置的图15相同的部分赋予相同的标号。
在图1中，多个摄像光学系统101、102、103在与其一对一地对应的多个图像传感器104、105、106上分别使被摄体像成像。多个图像传感器104、105、106的摄像受光特性相互不同，图像传感器104拍摄红(R)波长区域，图像传感器105拍摄绿(G)波长区域，图像传感器106拍摄蓝(B)波长区域。作为使摄像受光特性不同的方法，既可以使图像传感器具备波长依存性，也可以通过插入滤光片等来实现波长选择性。
多个图像传感器104、105、106分别拍摄的多个图像在分别由R信号处理电路107、G信号处理电路108、以及B信号处理电路109进行图像处理后，由图像前处理电路111使除了视差以外的多个图像间的偏差一致，接着由图像合成处理电路110合成作为彩色图像输出。
在本实施方式中，为了使说明变得容易，将输入由多个图像传感器104、105、106得到的多个图像信号而输出合成图像信号的图像合成单元115，分为具有使多个图像间的偏差一致的功能的图像前处理电路111、和具有合成由图像前处理电路111处理后的多个图像而制成1个图像(合成图像)的功能的图像合成处理电路110进行说明，但在实际的摄像装置中，并不需要明确地区别图像前处理电路111与图像合成处理电路110。
图2是表示本实施方式的摄像装置的拍摄的流程的流程图。
在步骤S10中，通过按下摄像按钮等开始摄像。
在步骤S20中，进行从多个图像传感器104、105、106取入多个图像的图像取得处理。该处理由信号处理电路107、108、109进行。
在步骤S30中，对多个图像实施进行多个图像传感器104、105、106间的偏差及灵敏度调节的强度校正处理。该处理由信号处理电路107、108、109进行。
在步骤S40中，对多个图像进行以校正多个摄像光学系统101、102、103及多个图像传感器104、105、106的安装偏差为主要目的的原点校正处理。该处理由信号处理电路107、108、109进行。
在步骤S50中，对多个图像进行使多个图像的倍率一致的倍率校正处理。该处理由图像前处理电路111进行。
在步骤S60中，对多个图像进行使多个图像的倾斜一致的旋转校正处理。该处理由图像前处理电路111进行。
在步骤S70中，对多个图像进行使多个图像的畸变一致的畸变校正处理。该处理由图像前处理电路111进行。
在步骤S80中，进行计算多个图像间的视差量、校正该视差量并合成多个图像而制成1个图像(合成图像)的视差校正合成处理。该处理由图像合成处理电路110进行。
在步骤S90中，进行向与摄像装置一体化的液晶显示器等的显示装置、或者经由布线线缆向CRT、TV、PC(个人计算机)、打印机等的可输出图像的装置输出合成图像的图像输出处理。
在本实施方式中，在视差校正合成处理(步骤S80)的前段中，使多个图像的倍率、倾斜及畸变一致(步骤S50、S60、S70)。由此，使视差校正合成处理变得容易，能够得到高精细的合成图像。
另外，图2是以最终输出合成图像为目的的流程图，但也可以根据通过步骤S80得到的视差量、多个摄像光学系统101、102、103的焦距、和在视差量运算中使用的多个摄像光学系统101、102、103的光轴间距离，利用三角测量的原理来计算到被摄体的距离。因而，在本实施方式的摄像装置中，能够同时取得合成图像与到被摄体的距离信息。或者，也可以不进行多个图像的合成处理而仅取得到被摄体的距离信息。在此情况下，通过在步骤S50、S60、S70中进行使多个图像间的偏差一致的处理，能够提高距离信息的精度。
以下，依次说明上述的倍率校正处理(步骤S50)、旋转校正处理(步骤S60)、畸变校正处理(步骤S70)。
(实施方式1)在实施方式1中，说明使多个图像的倍率一致的倍率校正处理(图2的步骤S50)。
首先利用图3说明在多个图像间发生倍率的偏差的理由。图3是简单地表示透镜1、被摄体2、被摄体像3的关系的图。4、5是来自被摄体2的代表性的第1光线、第2光线，z是光轴，F是前侧焦点，F′是后侧焦点，H是前侧主点，H′是后侧主点，y是被摄体2的高度，y′是被摄体像3的高度，f′是后侧的焦距。这里，如果设倍率为β，则倍率β用下述的式(1)定义。
β＝y′/y……(1)如果设从后侧焦点F′到被摄体像3的距离为z′，则将式(1)如下述式(2)那样变形。
β＝-z′/f′……(2)
由式(2)可知，如果透镜1的焦距f′变化，则被摄体像3的倍率β也变化。
一般，在具有多个光学系统的摄像装置中，难以使各个透镜的焦距完全相同。在各个光学系统对应于各自的波长带的情况下，使焦距相同是更困难的。由此，在图15所示的以往的摄像装置中，经由多个摄像光学系统101、102、103分别得到的多个图像的倍率稍稍不同。因而，不论怎样严密地进行视差校正来合成，如果合成之前的多个图像的大小相互稍稍不同，则在合成后的图像中不能再现高频成分，难以再现确保了充分的分辨率、品质的图像。
因此，优选地在视差校正及图像合成之前进行使多个图像的倍率一致的倍率校正处理(图2的步骤50)。
以下，对图像前处理电路111使多个图像间的倍率一致的处理示出两个例子。
在第1例中，在摄像装置的组装时，拍摄基准被摄体，根据被摄体与被摄体像的尺寸比来测量各摄像光学系统的倍率，将该信息作为初始值记录在图像前处理电路111内的记录部112(参照图1)中。在摄像时，利用该倍率信息对多个图像进行倍率校正处理(图2的步骤50)。
作为第2例，在摄像装置的组装时，测量各摄像光学系统的焦距，通过将该信息代入到上述式(2)中得到倍率，将该信息作为初始值记录到图像前处理电路111内的记录部112(参照图1)中。在摄像时，利用该倍率信息对多个图像进行倍率校正处理(图2的步骤50)。或者，也可以预先在记录部112中记录各摄像光学系统的焦距信息，在摄像时利用焦距信息对多个图像进行倍率校正处理(图2的步骤50)。
表示在摄像装置的组装时准确地测量各摄像光学系统的焦距的方法的一例。图4是表示测量作为摄像光学系统的透镜11的焦距的装置的图。6是准直仪，7是移动载物台，8是旋转载物台，9是透镜支架，10是平行光，11是被检测透镜，12是摄像照相机。被检测透镜11经由透镜支架9由移动载物台7及旋转载物台8保持。移动载物台7能够使被检测透镜11沿光轴方向移动，旋转载物台8能够使被检测透镜11以旋转中心轴8a为中心在垂直于包含光轴的纸面的面内旋转。相对于被检测透镜11，在一侧配置有准直仪6，在另一侧配置有摄像照相机12。由准直仪6形成的平行光10通过被检测透镜11入射到摄像照相机12中。
如图5A所示，在被检测透镜11的主点11a与旋转载物台8的旋转中心轴8a一致的情况下，即使由旋转载物台8使被检测透镜11旋转，在摄像照相机12中拍摄的像的位置也不变化，从旋转中心轴8a(或者主点11a)到摄像照相机12的摄像面12a的距离成为焦距f。
但是，如图5B所示，在被检测透镜11的主点11a与旋转载物台8的旋转中心轴8a不一致的情况下，如果通过旋转载物台8使被检测透镜11旋转，则在摄像照相机12中拍摄的像的位置会偏移(偏移量S)。在此情况下，一边使被检测透镜11倾斜，一边通过移动载物台7使被检测透镜11沿与光轴平行的方向移动，使主点11a与旋转中心轴8a一致。由此，能够测量被检测透镜11的焦距f。
测量各摄像光学系统的倍率或焦距的工序只要在摄像装置或搭载它的商品的组装时的初始化工序内进行一次就够了。
作为使用了多个摄像光学系统的倍率或焦距信息的倍率校正处理，有如下两种方式，一种方式是通过图像前处理电路111再构建新的图像，将该图像信号与原来的图像信号替换，并传递给下一级图像合成处理电路110；另一种方式是图像前处理电路111仅管理倍率或焦距信息，向下一级图像合成处理电路110传递图像信号和倍率或焦距信息；但是，由于两种方式对图像的倍率校正都能够得到同样的效果，所以选择哪种方式都没有问题。以下，以前者的方式为中心进行说明。
利用图6说明每次摄影时进行的倍率校正处理(图2的步骤50)的一例。
在步骤S51中，将经由多个摄像光学系统摄像的多个图像(光敏二极管(以下记作PD)的输出)暂时记录到图像前处理电路111内的二维空间信息记录部(未图示)内，对构成各图像的像素附加以通过步骤S40(参照图2)的原点校正处理提取的原点为原点的坐标(x，y)。
在步骤S52中，将(x，y)坐标系变换为以原点为中心的(r，θ)极坐标系。该变换可以通过利用下述的式(3)及式(4)的坐标变换方法容易地进行。
r＝(x2+y2)1/2……(3)θ＝cos-1(x/(x2+y2)1/2) ……(4)在步骤S53中，进行倍率校正。这里，对摄像光学系统101、102、103的各倍率为已知的情况进行说明。根据记录在记录部112中的摄像光学系统101、102、103的倍率βi(i＝1、2、3)，利用下述的式(5)及式(6)将坐标(r，θ)变换为(R，θ′)。
R＝r/βi ……(5)θ′＝θ ……(6)这里，作为摄像光学系统101、102、103的倍率βi(i＝1、2、3)，也可以使用对应于多个图像中的作为基准的图像的倍率。例如，如果设对应于作为基准的图像的摄像光学系统的倍率为β1，则在上述式(5)中，也可以设为β1＝β1/β1、β2＝β2/β1、β3＝β3/β1。但是，在β2/1＞1或β3/β1＞1的情况下，由式(5)，R＜r，倍率校正后的图像变得比倍率校正前的从图像传感器提取的图像的尺寸小，倍率校正后的图像的周边部的数据会缺失，在合成图像中会在周边部发生显著的分辨率劣化。因而，需要选择对应于作为基准的图像的摄像光学系统的倍率(β1)，以使β2/β1≤1、β3/β1≤1。
通过将上述的式(5)及式(6)对构成图像的所有的像素进行，能够得到校正了倍率的图像。
接着，在步骤S54中，将极坐标系(R，θ′)变换为(X，Y)坐标系。该变换可以通过利用下述的式(7)及式(8)进行。
X＝Rcos θ′……(7)Y＝Rsin θ′……(8)在步骤S55中，进行数据的内插处理。步骤S54中的坐标变换后的图像数据的大部分是与栅格点状的像素位置不同的位置(像素与像素之间)的数据。所以，需要通过利用像素的周边的图像数据进行内插处理，来制成像素的位置处的图像数据。
利用图7说明内插处理的一例。假设通过步骤S54中的坐标变换，得到了像素P的周边的4点处的数据V(i，j)、V(i+1，j)、V(i，j+1)、V(i+1， j+1)。可以利用对应于具有数据V(i，j)的点的像素P的位置信息px、py(0≤px≤1，0≤py≤1)，通过下述式(9)求出像素P处的图像数据。
px·py(V(i，j)-V(i+1，j)-V(i，j+1)+V(i+1，j+1))+px(V(i+1，j)-V(i，j))+py(V(i，j+1)-V(i，j))+V(i，j)……(9)另外，上述是内插处理的一例，本发明并不限于此，也可以进行与上述不同的内插处理，在此情况下也能够得到同样的效果。
通过以上，结束倍率校正处理(图2的步骤S50)。
在上述的倍率校正处理中，使用实际组装的摄像装置直接测量多个摄像光学系统的各自的倍率或焦距，利用该信息使多个图像的倍率一致，但本发明并不限于此。例如，在将各摄像光学系统的倍率或焦距视为与其设计值大致相等的情况下，也可以利用其设计值进行倍率校正处理，在此情况下也能够得到与上述同样的效果。
(实施方式2)
在实施方式2中，说明使多个图像的倾斜一致的旋转校正处理(图2的步骤S60)。
首先，利用图8说明在多个图像间发生倾斜(旋转角)的偏差的理由。图8是从被摄体侧观察图1所示的摄像装置的多个图像传感器104、105、106与被摄体像的位置关系的图。对于与图1相同的部分赋予相同的标号。考虑拍摄十字形的被摄体的情况。如图所示，在各个图像传感器104、105、106上，形成有十字形的被摄体像120。这里，作为一例，假设图像传感器105相对于其他图像传感器104、106仅倾斜角度φ设置。这是假设在将图像传感器104、105、106安装到同一基板上时的偏差。
图9是表示将图像传感器104、105、106摄像的被摄体的图像经由R信号处理电路107、G信号处理电路108、B信号处理电路109显示在另外的显示装置(例如显示器)上的结果。画面显示104′、105′、106′依次对应于图像传感器104、105、106。根据图9可知，图像传感器105摄像的被摄体的图像120′与其他图像传感器104、106摄像的被摄体的图像120′相比，仅旋转了φ。即使对该3个图像仅进行视差校正(即，使图像仅平行移动多个摄像光学系统101、102、103的视差量的校正)而重合，也不能将图像传感器105的图像120′重合在其它图像传感器104、106的图像120′上。
所以，优选地在视差校正及图像合成之前进行使多个图像的倾斜一致的旋转校正处理(图2的步骤S60)。
以下，表示图像前处理电路111使多个图像间的倾斜的偏差一致的旋转校正处理。
首先，在摄像装置的组装时，将对比度差很大的调节用影像作为被摄体摄像。例如是在白色的背景上的黑色的十字线。该十字线的线宽考虑到光学系统的倍率而优选为图像传感器104、105、106的像素间距的2倍以上。此外，还需要使十字线的交点与摄像光学系统101、102、103的中心一致。
在安装图像传感器104、105、106及摄像光学系统101、102、103时，假设摄像光学系统101、102、103的中心与图像传感器104、105、106的中心已经通过机械调节或软件调节而对准位置。图像传感器104、105、106的各自的安装时的倾斜(旋转角)的偏差作为从各图像传感器104、105、106输出的图像被显示。
利用图10A及图10B说明使用十字线作为被摄体的情况下的输出图像的旋转角检测法的一例。如图10A所示，十字线131在横向的像素数H、纵向的像素数V的显示装置130上，以原点Pc为中心仅旋转旋转角φ而显示。在该图像中，以从原点Pc沿水平方向移动了H/2像素后的像素A为基准，一边使对象像素从这里沿垂直方向移动一边检测来自各像素的输出值。将来自像素的输出值的检测结果的概略在图10B中表示。在图10B中，横轴是以像素A为基准的垂直方向的像素数，纵轴是来自像素的输出值(像素输出)。如图所示，如果在像素B(从像素A沿垂直方向第n个像素)中检测到较大的输出值的变化，则通过以下的式(10)求出相对于该图像传感器的水平方向的十字线的水平线的旋转角φ。
φ＝tan-1(2n/H)……(10)式(10)是水平方向及垂直方向的各像素间距相同的情况，在两者不同的情况下，需要乘以它的比。
对所有的图像传感器104、105、106进行该测量，将各图像传感器的倾斜信息作为初始值(φ1、φ2、φ3)，记录在图像前处理电路111内的记录部112(参照图1)中。在摄像时，利用该倾斜信息对多个图像进行旋转校正处理(图2的步骤S60)。
测量各图像传感器的倾斜的工序只要在摄像装置或搭载它的商品的组装时的初始化工序内进行一次就够了。
作为使用多个图像传感器的倾斜信息的旋转校正处理，有如下两种方式一种方式是通过图像前处理电路111再构建新的图像，将该图像信号与原来的图像信号替换，传递给下一级图像合成处理电路110；另一种方式是图像前处理电路111仅管理倾斜信息，将图像信号与倾斜信息传递给下一级图像合成处理电路110；但是，由于两种方式关于图像的倾斜校正都能够得到同样的效果，所以选择哪种方式都没有问题。以下，以前者的方式为中心进行说明。
利用图11说明每次摄影进行的旋转校正处理(图2的步骤S60)的一例。
在步骤S61中，经由多个摄像光学系统摄像的多个图像(PD的输出)被暂时记录在图像前处理电路111内的二维空间信息记录部(未图示)中，对构成各图像的像素附加以通过步骤S40(参照图2)的原点校正处理)提取出的原点为原点的坐标(x，y)。
在步骤S62中，将(x，y)坐标系变换为以原点为中心的(r，θ)极坐标系。该变换可以通过利用下述的式(3)及式(4)的坐标变换方法容易地进行。
r＝(x2+y2)1/2……(3)θ＝cos-1(x/(x2+y2)1/2)……(4)在步骤S63中进行旋转校正。根据记录在记录部112中的图像传感器104、105、106的倾斜角φi(i＝1、2、3)，利用下述的式(11)及式(12)将坐标(r，θ)变换为(R，θ′)。
R＝r……(11)θ′＝θ-φi……(12)对构成图像的所有的像素进行利用上述的式(11)及式(12)的坐标变换，由此能够得到进行了旋转校正的图像。
接着，在步骤S64中，将极坐标系(R，θ′)变换为(X，Y)坐标系。该变换可以通过利用下述的式(7)及式(8)进行。
X＝Rcos θ′……(7)
Y＝Rsin θ′ ……(8)在步骤S65中进行数据的内插处理。步骤S64中的坐标变换后的图像数据的大部分是与栅格点状的像素位置不同的位置(像素与像素之间)处的数据。所以，需要通过利用像素的周边的图像数据进行内插处理，来制成像素的位置处的图像数据。
利用图7说明内插处理的一例。假设通过步骤S64中的坐标变换，得到了像素P的周边的4点处的数据V(i，j)、V(i+1，j)、V(i，j+1)、V(i+1， j+1)。可以利用对应于具有数据V(i，j)的点的像素P的位置信息px、py(0≤px≤1，0≤py≤1)，通过下述式(9)求出像素P处的图像数据。
px·py(V(i，j)-V(i+1，j)-V(i，j+1)+V(i+1，j+1))+px(V(i+1，j)-V(i，j))+py(V(i，j+1)-V(i，j))+V(i，j)……(9)另外，上述是内插处理的一例，本发明并不限于此，也可以进行与上述不同的内插处理，在此情况下也能够得到同样的效果。
通过以上，旋转校正处理(图2的步骤S60)结束。
在上述的旋转校正处理中，使用实际组装的摄像装置检测从多个图像传感器分别输出的多个图像的旋转角，利用该信息使多个图像的倾斜一致，但本发明并不限于此。例如，也可以在组装时分别实测多个图像传感器的旋转角，利用该实测值进行旋转校正处理，在此情况下也能够得到与上述同样的效果。
(实施方式3)在实施方式3中，说明使多个图像的畸变一致的畸变校正处理(图2的步骤S70)。
通常的光学透镜存在这样的现像，即，在摄像区域的周边部，直线状的被摄体变形为曲线而成像(将其称作畸变)。利用图12A～图12D说明本发明的摄像装置的摄像光学系统的畸变的例子。
图12A表示栅格状的被摄体。图12B是图像传感器104经由摄像光学系统101拍摄图12A的栅格状的被摄体的图像，图12C是图像传感器105经由摄像光学系统102拍摄图12A的栅格状的被摄体的图像，图12D是图像传感器106经由摄像光学系统103拍摄图12A的栅格状的被摄体的图像。相对于图12A所示的被摄体，图12B～图12D的所有的图像都变形为桶状。进而，图12B的图像与图12D的图像大致相同，但它们与图12C的图像形状有稍许不同，图12C的图像的畸变比图12B及图12D的图像大。
如果将这样畸变的程度不同的3个图像合成，则畸变程度的不同状况越大，合成后的图像的分辨率越显著降低。因而，多个图像间的畸变的不均匀也在具有多个光学系统的摄像装置中成为较大的课题。
所以，优选地在视差校正及图像合成之前进行使多个图像的畸变一致的畸变校正处理(图2的步骤S70)。
以下，表示图像前处理电路111使多个图像间的畸变的偏差一致的畸变校正处理的一例。
首先，在摄像装置的组装时测量各摄像光学系统的畸变量，将该信息作为初始值记录在图像前处理电路111的记录部112(参照图1)中。在认为实际的各摄像光学系统的畸变量与设计值大致相同的情况下，也可以将设计值记录在记录部112(参照图1)中。
表示在摄像装置的组装时测量各摄像光学系统的畸变量的方法的一例。
对图12A所示的由相互正交的多个直线构成的栅格状的被摄体进行摄像，能够根据从各图像传感器得到的图像来测量摄像光学系统的畸变量。例如，假设来自图像传感器的输出图像是图13的实线142那样的。在图13中，考虑摄像光学系统的倍率而用虚线141一起表示放大(或缩小)的栅格状的被摄体的一部分。被摄体141上的点P1对应于输出图像142上的点P2。点P0表示光轴的位置。从光轴P0到被摄体141上的点P1的距离，通过摄像光学系统的畸变像差，变化为从光轴P0到输出图像142上的点P2的距离y0。此情况下的摄像光学系统的畸变量D可以用下述式(13)求出。
D(y)＝(y0-y)/y……(13)对所有的摄像光学系统101、102、103进行该测量，将各摄像光学系统101、102、103的畸变量信息作为初始值(D1(y)、D2(y)、D3(y))记录在图像前处理电路111内的记录部112(参照图1)中。在摄像时，利用该畸变量信息对多个图像进行畸变校正处理(图2的步骤S70)。
测量各摄像光学系统的畸变量的工序，只要在摄像装置或搭载它的商品的组装时的初始化工序内进行一次就够了。
作为利用多个摄像光学系统的畸变量信息的畸变校正处理，有如下两种方式一种方式是通过图像前处理电路111再构建新的图像，将该图像信号与原来的图像信号替换，并传递给下一级图像合成处理电路110；另一种方式是图像前处理电路111仅管理畸变量信息；将图像信号与畸变量信息传递给下一级图像合成处理电路110；但是，由于两种方式关于图像的畸变校正都能够得到同样的效果，所以选择哪种方式都没有问题。以下，以前者的方式为中心进行说明。
利用图14说明每次摄影进行的畸变校正处理(图2的步骤S70)的一例。
在步骤S71中，经由多个摄像光学系统摄像的多个图像(PD的输出)被暂时记录到图像前处理电路111内的二维空间信息记录部(未图示)中，对构成各图像的像素附加以通过步骤S40(参照图2)的原点校正处理)提取同的原点为原点的坐标(x，y)。
在步骤S72中，将(x，y)坐标系变换为以原点为中心的(r，θ)极坐标系。该变换可以通过利用下述的式(3)及式(4)的坐标变换方法容易地进行。
r＝(x2+y2)1/2……(3)
θ＝cos-1(x/(x2+y2)1/2)……(4)在步骤S73中，进行畸变校正。根据记录在记录部112中的摄像光学系统的畸变量Di(r)(i＝1、2、3)，利用下述的式(14)及式(6)将坐标(r，θ)变换为(R，θ′)。
R＝(Di(r)+1)·r……(14)θ′＝θ……(6)对构成图像的所有的像素进行利用上述的式(14)及式(6)的坐标变换，能够得到畸变校正后的图像。
接着，在步骤S74中，将极坐标系(R，θ′)变换为(X，Y)坐标系。该变换可以通过利用下述的式(7)及式(8)进行。
X＝Rcos θ′……(7)Y＝Rsin θ′ ……(8)在步骤S75中，进行数据的内插处理。步骤S74中的坐标变换后的图像数据的大部分是与栅格点状的像素位置不同的位置(像素与像素之间)处的数据。所以，需要通过利用像素的周边的图像数据进行内插处理，来制成像素的位置处的图像数据。
利用图7说明内插处理的一例。假设通过步骤S74中的坐标变换，得到了像素P的周边的4点处的数据V(i，j)、V(i+1，j)、V(i，j+1)、V(i+1， j+1)。可以利用对应于具有数据V(i，j)的点的像素P的位置信息px、py(0≤px≤1，0≤py≤1)，通过下述式(9)求出像素P处的图像数据。
px·py(V(i，j)-V(i+1，j)-V(i，j+1)+V(i+1，j+1))+px(V(i+1，j)-V(i，j))+py(V(i，j+1)-V(i，j))+V(i，j)……(9)另外，上述是内插处理的一例，本发明并不限于此，也可以进行与上述不同的内插处理，在此情况下也能够得到同样的效果。
通过以上，畸变校正处理(图2的步骤S70)结束。
在上述的畸变校正处理中，使用实际组装的摄像装置直接检测多个摄像光学系统的各自的畸变量，利用该信息使多个图像的畸变一致，但本发明并不限于此。例如，在将各摄像光学系统的畸变量看作与其设计值大体一致的情况下，也可以利用该设计值进行畸变校正处理，在此情况下也能够得到与上述同样的效果。
在上述的畸变校正处理中，优选地使多个图像的畸变一致，以使多个摄像光学系统的畸变量与非常小的基准畸变值一致。这里，基准畸变量既可以是多个摄像光学系统中的畸变量最小的摄像光学系统的畸变量，也可以是比多个摄像光学系统的畸变量更小的畸变量。由此，作为附加的效果，能够得到充分地校正了畸变的合成图像。进而，由于不需要对摄像光学系统求出所需的畸变性能，所以摄像光学系统的设计变得容易，也能够实现以往没有的薄型的摄像光学系统。
进而，如上所述，在不进行多个图像的合成处理而仅取得到被摄体的距离信息的情况下，优选地利用没有进行畸变校正处理的多个图像求出视差量，利用畸变量校正所得到的视差量，根据该校正后的视差量运算并求出到被摄体的距离信息。在此情况下，由于只要仅考虑在求出视差量时使用的特定的像素中的畸变量即可，所以能够缩短运算时间。相对于此，在将多个图像进行畸变校正处理，根据该校正后的多个图像求出视差的情况下，由于在图像的畸变校正处理中需要对所有的图像数据进行用于畸变校正的运算，所以需要较长的运算时间。但是，在不进行畸变校正处理而求出视差量的情况下，多个摄像光学系统间的畸变量的偏差优选为±5％左右以下。如果该畸变量的偏差比±5％大，则根据多个图像求出视差量的运算不能正常地发挥功能，不能求出正确的视差量的可能性增大。
本发明的摄像装置每次摄像时，为了进行图2所示的倍率校正处理(步骤S50)、旋转校正处理(步骤S60)、畸变校正处理(步骤S70)，优选地在摄像装置的制造或组装的过程中，进行如下的工序测量多个摄像光学系统的各自的倍率或焦距并将其作为初始值记录在记录部112中的工序(倍率初始值设定工序)；测量多个图像传感器的各自的倾斜并将其作为初始值记录在记录部112中的工序(倾斜初始值设定工序)；以及测量多个摄像光学系统的各自的畸变并将其作为初始值记录在记录部112中的工序(畸变初始值设定工序)。
以下，说明这3个初始值设定工序的优选的实施顺序。
在倾斜初始值设定工序中，例如在实施方式2中说明的十字形的被摄体那样使用适当的被摄体，则在摄像的多个图像间，即使倍率及畸变不均匀，也能够与它们无关地准确地进行倾斜测量。因而，优选最初进行倾斜初始值设定工序。
在畸变初始值设定工序中，如在实施方式3中说明那样，将摄像的图像142与被摄体141进行比较(参照图13)。在该比较时，需要摄像光学系统的倍率或焦距信息。因而，优选地在畸变初始值设定工序之前进行倍率初始值设定工序。
由此，优选地按照倾斜初始值设定工序、倍率初始值设定工序、畸变初始值设定工序的顺序进行。
但是，通过对被摄体进行设计，也能够使倾斜初始值设定工序与倍率初始值设定工序的顺序与上述相反，或者同时进行它们。
以下表示能够同时进行倾斜初始值设定工序与倍率初始值设定工序的被摄体的一例。
该被摄体由相互正交的第1直线及第2直线构成。第1直线优选为与水平方向平行、其长度足够长到延伸到摄像光学系统的视野外的程度。该第1直线用于图像传感器的倾斜测量(参照图10A)。第2直线优选为与竖直方向平行。第2直线的长度优选为包括在摄像光学系统的视野内的程度，具体而言，优选地设定为使成像在图像传感器上的其像的长度为该图像传感器的有效摄像区域的垂直方向的边(短边)的长度的约8成左右。第1及第2直线的线宽优选地设定为，使成像在图像传感器上的其像的线宽为图像传感器的像素间距的2倍以上。第1及第2直线的颜色为了显著增大对比度而做成黑色，其背景优选为白色。在测量时，需要调节被摄体与摄像装置的相对位置，以使第1直线与第2直线的交点成像在进行摄像装置的图像合成时的基准点(原点)上。通常，原点是设在无限远的被摄体成像的点。
在上述的实施方式中，说明了3眼的摄像装置(具有3个摄像光学系统及3个图像传感器的摄像装置)，但本发明并不限于此。例如，也可以是2眼或4眼以上的摄像装置，在此情况下也能够得到与上述同样的效果。
特别是，在4眼以上的摄像装置中，能够通过2眼取得同色的两个图像，并且，还能够取得为了得到彩色合成图像所需的红、蓝、绿各颜色的图像。在此情况下，如果比较同颜色的两个图像(通常优选为绿色的图像)，求出这些图像间的视差量，则视差量的运算处理变得更加简单。进而，合成多个图像的精度、以及运算到被摄体的距离的精度显著地提高。
在3眼的摄像装置中，为了进行与上述4眼的摄像装置同样的处理，需要从所取得的红、蓝、绿的各颜色的图像中的任一个(例如红或蓝的图像)的信息中内插提取其他颜色的图像(例如绿色的图像)的信息的处理。
在上述的实施方式中，说明了一对一地对应于多个摄像光学系统而使用多个图像传感器的例子，但本发明的摄像装置并不限于此。例如，也可以使用对多个摄像光学系统共用的1个图像传感器，而将该图像传感器与多个摄像光学系统一对一地对应地分割为多个摄像区域。
在上述的实施方式中，说明了每次摄像时一次进行图2所示的倍率校正处理(步骤S50)、旋转校正处理(步骤S60)、畸变校正处理(步骤S70)，但这3个校正处理的顺序并不限于此。此外，也可以省略这3个校正处理中的1个或两个。例如，在如上述那样使用对多个摄像光学系统共用的1个图像传感器的情况下，也可以省略旋转校正处理(步骤S60)。
以上说明的实施方式都只不过是为了使本发明的技术内容变得清楚，本发明不能仅限定于这样的具体例而进行解释，在本发明的主旨和记载于权利要求书中的范围内能够进行各种变更来实施，应该广义地解释本发明。
工业实用性有关本发明的摄像装置的利用领域没有限制，但是，即使光轴方向的尺寸较小，也能够拍摄高品质的图像，所以作为例如便携设备用的照相机模块等有实用性。
权利要求
1.一种摄像装置，其特征在于，具备多个摄像光学系统；多个摄像区域，与上述多个摄像光学系统一对一地对应，经由上述多个摄像光学系统分别拍摄多个图像；图像合成单元，具有使上述多个图像间的偏差一致的功能、以及由上述多个图像合成1个图像的功能。
2.如权利要求1所述的摄像装置，其特征在于，使上述多个图像间的偏差一致的功能是使上述多个图像的倍率一致的功能。
3.如权利要求2所述的摄像装置，其特征在于，还具备记录了上述多个摄像光学系统的倍率信息的记录部；上述图像合成单元利用上述多个摄像光学系统的上述倍率信息使上述多个图像的倍率一致。
4.如权利要求2所述的摄像装置，其特征在于，还具备记录了上述多个摄像光学系统的焦距信息的记录部；上述图像合成单元利用上述多个摄像光学系统的上述焦距信息使上述多个图像的倍率一致。
5.如权利要求1所述的图像处理装置，其特征在于，使上述多个图像间的偏差一致的功能是使上述多个图像的倾斜一致的功能。
6.如权利要求5所述的摄像装置，其特征在于，还具备记录了上述多个摄像区域的倾斜信息的记录部；上述图像合成单元利用上述多个摄像区域的上述倾斜信息使上述多个图像的倾斜一致。
7.如权利要求1所述的图像处理装置，其特征在于，使上述多个图像间的偏差一致的功能是使上述多个图像的畸变一致的功能。
8.如权利要求7所述的摄像装置，其特征在于，还具备记录了上述多个摄像光学系统的畸变量信息的记录部；上述图像合成单元利用上述多个摄像光学系统的上述畸变量信息使上述多个图像的畸变一致。
全文摘要
本发明涉及摄像装置，其中，多个摄像区域(104、105、106)经由与它们一对一地对应的多个摄像光学系统(101、102、103)分别拍摄多个图像。图像合成单元(115)使多个图像间的偏差一致，并且，由多个图像合成1个图像。由此，能够得到高品质的合成图像。
文档编号H04N5/232GK101080921SQ200580043230
公开日2007年11月28日 申请日期2005年12月12日 优先权日2004年12月16日
发明者今田胜巳, 是永继博 申请人:松下电器产业株式会社