具有测距功能的复眼式摄像装置的制作方法

专利名称：具有测距功能的复眼式摄像装置的制作方法
技术领域：
本发明涉及具有小型、薄型的测距功能的复眼式摄像装置。特别 涉及，通过多个摄像光学透镜拍摄图像、测量到被摄体的距离的复眼 式摄像装置。
背景技术：
通过光轴不同的多个透镜拍摄被摄体后，在拍摄的多个图像间， 被摄体像的成像位置对应于被摄体距离而产生偏移。该偏移被称为视 差。若可以利用拍摄的多个图像求得该视差，则可以测量到被摄体的 距离。现在进行着将具有基于该原理的测距功能的摄像装置利用于车 辆和机器人等的周边监视、前方监视、成员监视等，在自动控制和安 全技术中应用的尝试。
目前，将光轴不同的两个摄像机固定在框架等上拍摄两个图像、 测量从这两个图像到被摄体的距离的立体摄像机正在被开发。作为从 拍摄的两个图像求得视差的方法， 一般地，将拍摄的两个图像中的一 个分割为多个块，对对应于各块的块位于另一图像内的什么位置进行 搜索，求得两图像间针对各块的偏移量，将该偏移量作为视差量。在 该方法中，若在两图像间由于视差以外的原因而产生不同，则会产生 测量距离的误差。
作为由于视差以外的因素产生两图像间的不同的原因，存在有两 摄像机的安装误差。例如，由于两摄像机的光轴的相对关系，得到的 视差变化而在被摄体距离上产生误差。所以，将两个摄像机高精度地 固定在框架等上是非常重要的。
为了减轻这样的摄像机的安装精度的问题，知晓有将多个透镜和 摄像元件一体化、可以更小型化的具有测距功能的复眼式摄像装置
(例如，参照专利文献l以及专利文献2)。图10中，表示了现有的具有测距功能的复眼式摄像装置的结构
以及图像处理流程的概要。该摄像装置具有透镜阵列ioo和两个摄像
区域101a、 101b，该透镜阵列100具有两个透镜100a、 100b，这两 个透镜大致配置在同一平面上并且光轴彼此平行，两个摄像区域 101a、 101b分别对应于两个透镜100a、 100b。两个摄像区域101a、 101b通过分割共用的一个摄像元件的受光区域而得到。镜筒102从 外界遮蔽透镜100a、 100b与摄像区域101a、 101b之间的两个光路， 从而使没有通过两个透镜100a、 100b的光线不入射到摄像区域101a、 101b。另外，两个光路间配置有遮光壁150，以使通过透镜100a、 100b 中的一个透镜的光线不会入射到摄像区域101a、 101b中的与上述一 个透镜不对应的摄像区域。
通过这样的摄像装置，将两个透镜100a、 100b —体地成形在透 镜阵列100上，分割一个摄像元件的受光区域而得到两个摄像区域 101a、 101b，因此如现有的立体摄像机那样，可以降低两光学系统的 安装误差导致的测距精度的恶化。另外，通过在透镜100a、 100b之 间设置遮光壁150，可以将透镜100a、 100b接近配置而使得各自的成 像区域重合，因此可以利用小型且便宜的摄像元件。
在这样的复眼式摄像装置中，摄像区域101a、 101b拍摄两个图 像，视差量导出机构106从两个图像求得视差量。视差量导出机构 106具有块分割部107和对应位置搜索部108，该块分割部107将两 个图像中的一个图像分割为多个块，该对应位置搜索部108对对应于 各块的块位于另一图像内的什么位置进行搜索。
利用图11详细说明通过该视差量导出机构106进行的视差量的 计算方法。
在图11中，400a是摄像区域101a拍摄的图像，400b是摄像区 域101b拍摄的图像。图像400a、400b是矩阵状地配置在X轴方向(水 平方向)以及Y轴方向(垂直方向)的多个像素各自具有的两度信息 的集合。将图像400a作为基准图像，将该图像400a分割为多个块。 各块含有规定数量的像素。401a表示分割的多个块中的一个。将图像 400b作为被比较图像，在该图像400b内，设定有与上述块401a相同尺寸的块401b。双点划线401b'表示X轴坐标值以及Y轴坐标值与 块401a相同的块的位置，是块401b对块401a的基准位置。在被比 较图像401b内，相对于基准位置401b，将块401b的位置在X轴方向 以及Y轴方向上分别移动，在块401b的各位置，求得块401a内的图 像和块401b内的图像的差(即，相关)。差最小时(即，相关最大 时)的块401b相对于基准位置401b'的X轴方向的移动量m以及Y 轴方向的移动量n成为各方向的视差量。通过利用该视差量，可以求 得块401a内拍摄的到被摄体的距离。
专利文献1:日本特开2003—143459号公报
专利文献2:日本特开平7—154663号公报
专利文献3:日本特开平2—280102号公报
图11所示的测距方法中，其前提是通过光轴彼此平行的两个光 学系统拍摄的两个图像，由于视差导致被摄体像的成像位置不同，但 是被摄体像自身没有改变。但是，在图10表示的现有摄像装置中不 成立上述前提，其结果是，存在有不能高精度地测量被摄体距离的问 题。下面进行说明。
图12表示了图10所示的摄像装置拍摄被摄体200的情况。120a 是有透镜100a以及摄像区域101a构成的光学系统的视场角(视野)， 120b是通过透镜100b以及摄像区域101b构成的光学系统的视场角 (视野)。视场角120a、 120b主要通过摄像区域101a、 101b决定。 决定摄像装置的姿势从而使被摄体200包含于两个光学系统的视场 角120a、 120b的双方。
210是照明、太阳、高反射率物体等高亮度被摄体。高亮度被摄 体210不包含在视场角120a、 120b的任一个中。但是，在高亮度被 摄体210位于接近视场角120a的位置的情况下，来自高亮度被摄体 210的光线211入射到透镜100a,在遮光壁150反射入射到摄像区域 101a。
在图13中，410a、 410b是图12的摄像区域101a、 101b拍摄的 图像。从摄像区域101a得到的图像410a中，在被摄体200的像202 上，重叠有由来自高亮度被摄体210的光线211产生的炫光像(写D込^f象)212。另外，在从摄像区域101b得到的图像410b中，只拍 摄到被摄体200的像202，不存在炫光像212。
这样地，即使是位于视场角120a、 120b外的被摄体，在其产生 强光线的情况下，该光线在遮光壁150反射而只入射到两个摄像区域 101a、101b中的一个上，所得到的两个图像中的被摄体像有可能不同。 特别地，在高亮度被摄体210位于摄像装置的视场角的非常近的位置 时，即，来自高亮度被摄体210的光线211在接近遮光壁150的摄像 区域的位置入射并反射的情况下，入射到摄像区域的反射光被透镜较 小地聚焦，因此炫光像212容易变得鲜明且明亮。
在图11说明的视差量的计算中，两个图像400a、 400b中的只一 方产生了图13说明的炫光像212后，不能正确地求得块401a内的图 像和块401b内的图像的差(相关)，因此不能正确地计算被摄体距 离。另外，在炫光像212比较鲜明的情况下，炫光像212和被摄体像 202的空间频率接近，因此，很难通过信号处理只选择去除炫光像 212。
在图12中，对遮光壁150的表面进行了处理使得入射的光线211 被吸收，可以降低被遮光壁150反射的光量，但是，不能完全地去除 反射。若不能完全地去除遮光壁150的反射，例如，在高亮度被摄体 210产生比被摄体200强的光线的情况下，很可能由于遮光壁150的 很小的反射光导致产生炫光像212而引起测距精度恶化。
另外，在图12中，若去除遮光壁150，通过透镜100a的光线211 不会被遮光壁150反射，因此，在从摄像区域101a得到的图像400a 上不会产生炫光像212。但是，光线211入射到相邻的摄像区域101b， 从摄像区域101b得到的图像400b产生类似于炫光像212的有害的 像。若去除遮光壁150并且扩大透镜100a、 100b间隔(即，摄像区 域101a、 101b的间隔)，可以去除导致上述的测距精度恶化的原因， 但是由于需要利用大的摄像元件，产生了成本上升的新问题。
上述测距精度的恶化，也会同样由于来自高亮度被摄体210的光 线211没有入射到遮光壁150而是入射到镜筒102的内面并反射后入 射到摄像区域而产生。但是，该问题可以通过将镜筒102配置为从摄像区域101a、 101b离开而得到解决。

发明内容
本发明的目的在于，提供一种摄像装置，解决了上述复眼式摄像 装置存在的问题，不会因为来自存在于视场角外的高亮度被摄体的光 线引起测距精度的恶化。
本发明的摄像装置具有大致配置在同一平面的多个光学透镜； 与上述多个光学透镜一对一地对应的多个摄像区域；防止通过上述多 个光学透镜中的一个光学透镜的光线入射到与上述一个光学透镜不 对应的摄像区域的遮光壁；以及对在上述多个摄像区域拍摄的多个图 像进行比较而求得视差量的机构。上述遮光壁具有使入射的光线漫反 射的机构。上述摄像装置还具有去除在上述多个摄像区域拍摄的多个 图像的空间频率的低频成分的机构。上述求得上述视差量的机构，对 通过去除上述低频成分的机构去除了低频成分的上述多个图像进行 比较而求得视差量。
发明的效果
通过本发明，入射到遮光壁的光线被漫反射，因此由该反射光产 生的炫光像的高频成分被平滑化，变换为低频成分。通过信号处理去 除该低频成分，由此，可以切实地去除遮光壁反射的光线对测距精度 造成的影响。
这样，来自照明、太阳、反射率高的物体等高亮度被摄体的光线 不会直接入射到摄像区域，但是在遮光壁上入射并反射而入射到摄像 区域的情况下，可以防止来自该高亮度被摄体的光线引起的被摄体距 离的测量精度恶化。因此，可以实现高精度测距的摄像装置。


图1是表示本发明的一实施方式的具有测距功能的复眼式摄像 装置的概略结构的图2A表示本发明的一实施方式的摄像装置中两摄像区域拍摄的 图像；图2B表示图2A的点划线上的各像素的亮度信息； 图2C表示去除低频率成分后的图2A的点划线上的各像素的两 度信息；
图3是表示本发明的摄像装置中评价遮光壁的散射特性的方法
的图4是说明本发明的摄像装置中遮光壁的散射特性的定义的图5是说明在本发明的摄像装置中有害的炫光像产生条件的图6是说明本发明的摄像装置中图像的合成方法的图7是说明本发明的摄像装置中由于遮光壁以及镜筒在不同位
置产生炫光像的情况的截面图8是本发明的实施例2的摄像装置使用的遮光壁的截面图9A是本发明的实施例4的摄像装置使用的遮光壁的截面图9B是图9A的部分9B的放大截面图IO是表示现有的复眼式摄像装置的概略结构的图11是说明现有的复眼式摄像装置中视差量的计算方法的图12是说明现有的复眼式摄像装置中由于遮光壁产生炫光像的
现象的图。
图13是表示现有的复眼式摄像装置中只在一方产生炫光像的两 个图像的图。
具体实施例方式
本发明的上述摄像装置中，漫反射上述光线的机构优选在上述遮 光壁的表面所设置的凹凸。由此，可以简单且廉价地使遮光壁具有漫 反射特性。
在该情况下，优选上述凹凸不规则地配置。由此，可以防止由于 反射光的干涉导致的在炫光像中产生高频成分。所以，通过去除低频 成分的机构可以切实地去除炫光像，因此可以进行误差少的测距。
也就是说，漫反射上述光线的机构可以为至少在上述遮光壁的表 面附近含有的透明微粒子。由此，可以简单且廉价地使遮光壁具有漫 反射特性。在该情况下，优选上述透明微粒子的形状是不规则的。由此，可 以防止反射光的干涉导致的在炫光像中产生高频成分。所以，可以通 过去除低频成分的机构切实地去除炫光像，因此，可以进行误差少的 测距。
在本发明的上述摄像装置中，去除上述低频成分的机构优选去除 视差产生方向的空间频率的低频成分。由此，可以縮短计算时间。
优选上述遮光壁相对于上述遮光壁所成的角度为摄像装置的半
视场角的光线的漫射角度为5度以上。由此，可以将炫光像的高频成 分切实地变换为低频成分，因此可以进行误差少的测距。
通过上述光学透镜的中心并入射到上述遮光壁的光线、即由上述 遮光壁漫反射的反射光的中心光线，相对于入射到上述摄像区域的外 周端中的最靠近上述遮光壁的位置的光线的上述遮光壁的漫射倍率 设为a，上述光学透镜的极限分辨频率设为e时，去除上述低频成分 的机构优选去除拍摄的上述多个图像的P/ci以下的空间频率成分。 这样地对应于摄像装置的构成而设定去除低频成分时的阈值，由此， 不会损害相关于测距需要的被摄体像的信息，可以只去除炫光像的影 响，因此可以进行误差少的测距。
本发明的摄像装置优选还具有照明被摄体的照明装置，根据被摄 体的亮度分布改变照明的亮度。由此，即使在配置在视场角外的高亮 度被摄体的亮度极高的情况下也可以进行高精度的测距。
本发明的摄像装置优选还具有将在上述多个摄像区域拍摄的上 述多个图像中的一个图像分割为多个块的机构；在上述多个图像中的 其他图像内搜索对应于各个上述多个块的块的机构；从上述多个图像 得到一个合成图像的机构。该情况下，得到上述合成图像的机构优选 对上述多个图像中含有的彼此对应的多个块的对比度进行比较，选择 对比度更大的块而得到上述合成图像。由此，除了测距之外还可以得 到能够输出优良的被摄体像的摄像装置。
该情况下，本发明的摄像装置优选还具有防止没有通过上述多个 光学透镜的任何一个的光线入射到上述多个摄像区域的任何一个的 镜筒。该情况下，优选来自视场角外的共用的被摄体的光线在上述遮光壁或上述镜筒的内面反射而入射到上述多个摄像区域的位置，在上 述多个摄像区域间彼此不同。由此，可以使从多个摄像区域得到的多 个图像中的炫光像的位置彼此不同，因此可以得到高对比度的合成图
下面，表示了本发明的一实施方式。但是，不言而喻，本发明不 限于该实施方式。
.图1表示了本发明的一实施方式中的具有测距功能的复眼式摄 像装置的构成以及图像处理流程的概要。该摄像装置具有具备两透镜
100a、 100b的透镜阵列100和分别对应于两透镜100a、 100b的两个 摄像区域101a、 101b，两透镜100a、 100b在大致同一平面上光轴彼 此平行地配置。两摄像区域101a、 101b通过分割共用的一个摄像元 件的受光区域而得到。镜筒102从外界遮蔽透镜100a、 100b和摄像 区域101a、 101b之间的两个光路，从而使没有通过两透镜100a、 100b 的光线不会入射到摄像区域101a、 101b。另外，在两光路之间配置遮 光壁IIO，从而使通过透镜100a、 100b中的一个透镜的光线，不会入 射到与摄像区域101a、 101b中的上述一个透镜不对应的摄像区域。 遮光壁110具有对入射的光线进行散射并反射(即漫反射)的散射机 构。
220表示了从配置在摄像装置的视场角外的高亮度被摄体(未图 示)产生，通过透镜100a、入射到遮光壁U0上的点221的光线的一 例。光线220在点221反射时通过遮光壁110具有的散射特性进行漫 反射，扩散并入射到摄像区域101a。这样光线220通过漫反射，摄像 区域101a拍摄的图像中通过光线220得到的炫光像被平滑化。由此， 炫光像的对比度降低，该图像信息的高频成分变换为低频成分。摄像 区域101a对该变换为低频成分的炫光像和通过透镜100a直接入射到 摄像区域101a并成像的被摄体像重合的图像进行拍摄，变换为图像 信息而输出。
在图2A中，420a、 420b为摄像区域101a、 101b拍摄的图像。 202为通过透镜100a、 100b而直接入射到摄像区域101a、 101b并成 像的被摄体像，222为通过透镜100a的光线220被遮光壁110漫反射后入射到摄像区域101a而产生的炫光像。图2B表示图2A的点划线 421上的各像素的亮度信息。通过遮光壁110具有的散射特性将炫光 像222的图像信息的高频成分变换为低频成分，因此，炫光像222的 亮度与被摄体像202的亮度相比变得缓和。在从摄像区域101a得到 的图像信息中，在被摄体像202的亮度信息上重叠有炫光像222的变 化为缓和的亮度信息。
如图1所示，从摄像区域101a、 lOlb输出的图像信息输入到低 频成分去除机构105a、 105b，通过信号处理去除空间频率的低频率成 分。例如，进行微分滤波器或利用FFT的频率截止滤波器(周波数 力:y卜7^》夕一)等的数字信号处理，可以容易地分离低频成分。 去除的低频成分的频率(阈值)的设定需要考虑以下因素等遮光壁 110的散射特性或是高亮度被摄体距离摄像装置的视场角多近会产生 对测距精度造成影响的有害的炫光像等。
利用图3对遮光壁110的散射特性的评价方法进行说明。使激光 801从激光光源800斜着入射到遮光壁110。将激光801和遮光壁110 的表面成的角度设为4> 。激光801在遮光壁110上的点803进行漫反 射。通过其受光面相对于正反射方向垂直配置的摄像元件810检测该 反射光805，通过形成在摄像元件810上的激光的光点尺寸，对遮光 壁110的散射特性进行评价。
图4表示在遮光壁110的点803的激光的反射光在摄像元件810 上形成的光点的、沿与反射光的中心光线806交叉的直线的亮度分布 807。亮度分布807描绘着在中心光线806入射的光点的中心P0的亮 度最大、随着离开而逐渐降低的平缓曲线。亮度成为最大的光点的中 心P0与亮度为最大值的十分之一的点Pl的距离称为光点半径。光点 的中心PO以及点Pl相对于反射激光的遮光壁110上的点803所成的 角度称为漫射角度R。激光801与遮光壁110的表面成的角度d)(参 照图3)变化则漫射角度R变化。所以，漫射角度R作为角度4)的函 数R(4)被表示。将该函数R(40称为遮光壁110的散射特性。散射特 性R(d))可以通过下述方法求得，即，改变激光801相对于遮光壁110 的入射角度，改变摄像元件810的位置以及角度使其正对随着前述动作而变化的正反射方向，测量反射光。
在遮光壁110反射的光线在摄像区域810上形成的光点的大小 (光点半径)依赖于反射位置803和摄像元件810的距离。如图5所 示，考虑了以入射角度4通过透镜100a的中心的光线220入射到具 有散射特性R(小)的遮光壁110并漫反射而入射到摄像区域101a的情 况。将透镜100a的焦点距离设为f，将从透镜100a的光轴103到遮 光壁110的距离设为s，在遮光壁IIO相对于摄像区域101a垂直的情 况下，从光线220的遮光壁110上的反射点221到摄像区域101a的 沿着反射光的中心光线的距离L1为 (式l)
"一 (/xtan--" sin0
所以，光线220的直径，在距离遮光壁110上的反射点221离开 Ll的地点，放大通过 (式2)
求得的a (4>)倍。将该a (4>)称为遮光壁110相对于光线 220的漫射倍率。
在图5中，通过透镜100a的中心的光线的相对于透镜100a的入 射角度4)越接近摄像装置的半视场角6 ，该光线在遮光壁110的入射 位置越接近摄像区域101a，产生对比度强的有害的炫光像并且测距精 度恶化。从这样的观点来看，本发明中，利用入射光线相对于遮光壁 110所成的角度d)为半视场角e时的遮光壁110的漫射角度(即散射
特性R (e))评价遮光壁iio的散射特性。优选遮光壁iio的漫射
角度较大，可以切实地将炫光像的高频成分变换为低频成分。 产生对比度最强的炫光像的可能性高的情况为如下情况，即如图
5的光线224，以入射角9 1 ( 9 1〉 0 )通过透镜100a的中心，入射 到遮光壁110上的点225而漫反射，漫反射的光的中心光线入射到摄 像区域101a的外周端中的最靠近遮光壁110的位置。该情况下，相对于光线224的遮光壁110的漫射倍率为a ( 9 1)。设透镜100a的 极限分辨频率为P [cycle/像素]，产生最有害的炫光像的光线224以漫 射倍率a ( 6 1)散射，因此由遮光壁110漫反射的光线224的极限 分辨频率降低为P/a ( 0 1) [cycle/像素]。即，通过光线224由遮光 壁110漫反射，光线224中的P/a (ei) [cycle/像素]以上的高频成 分被平滑化，变换为低频成分。所以，通过从摄像区域101a输出的 图像去除e/a ( 9 1) [cycle准素]以下的低频成分，可以切实地去除
构成炫光像的成分。另外，去除低频成分时的阈值不需要为上述的P /a (ei) [cycle/像素]，如果不会失去被摄体像的特征则可以为比其
高的频率。
图2C中，表示了从摄像区域101a、 101b拍摄的图像(参照图 2A)去除该空间频率的低频率成分后得到的图像的、图2A的点划线 421上的各像素的亮度信息。从图2B所示的亮度信息通过信号处理 去除低频成分后，如图2C所示，可以只提取被摄体像202的轮廓等 亮度变化大的部分。这样，通过去除低频成分，选择地去除在遮光壁 110的反射光引起的炫光像222，不会失去被摄体像202的特征。
视差量导出机构106 (参照图1)，如上所述地从去除了低频成 分的两个图像与现有的摄像装置的测距计算(参照图11)同样地求 得视差量。在本实施方式中，在图11中，利用下式中求得的差分绝 对值总和(SAD)求得关于块401a内的图像和块401b内的图像的差 (相关)的评价值R (m， n) (式3)
"(附,")-2》琴")-12(*+加，'+")i
在此，II (k， /)是基准图像400a的块401a内的像素的亮度， 12 (k+m， An)是被比较图像400b的块401b内的像素的亮度。k， / 是像素的X轴方向以及Y轴方向上的地址(整数)。块401b的X轴 方向以及Y轴方向的移动量m， n不限于整数。例如，通过基于周边 像素的亮度来进行内插从而可以求得像素间的亮度，由此可以利用像 素间距以下的分辨率求得视差量。作为用于求得像素间的亮度的插入方法，可以利用双线性内插法、双立方内插法、立方巻积内插法等公知的方法。
块401a内的图像和块401b内的图像越相近则评价值R (m， n)越小，相反越不同则评价值R (m， n)越大。评价值R (m， n)最小时的m， n为X轴方向以及Y轴方向的视差量。
将块401b在X轴方向以及Y轴方向上移动(即，使m， n双方变化)，若每次求得评价值R (m， n)则需要很多的计算时间。为了縮短计算时间，例如，可以将连接透镜100a、 100b的中心的基线的方向与X轴方向一致。由此，可以无视Y轴方向的视差成分。该情况下，使块401b只在X轴方向上移动(即，总是n-0，只变化m)，只要求得评价值R (m， 0)就足以。评价值R (m， 0)最小时的m为视差量。
该视差量m为将摄像元件的像素间距作为基准的值。所以，将摄像元件的像素间距设为p，将透镜100a、 100b的焦点距离设为f，将透镜100a、 100b间的间隔设为D，通过三角测量的原理可以求得到被摄体的距离A。(式4)
如上所述，通过本实施方式，即使视场角的附近存在有亮度高的被摄体等，也可以防止由此产生的测距精度的恶化，可以正确地测量到被摄体的距离。
从来自高亮度被摄体的光线入射到遮光壁并漫反射的位置到摄像区域的距离小，则反射光不会充分漫射而入射到摄像区域，通过低频成分去除机构可能不会完全去除炫光像。该情况下，如图5所示，优选在摄像区域和遮光壁110之间设置不进行图像取得的无效区域301。在图5中，作为缝隙(空白)而描绘了无效区域301，但是在分割共用的一个摄像元件的受光区域而取得摄像区域101a、 101b的情况下，通过不利用来自无效区域301内的像素的信息等方法，可以实质地设置无效区域301。另外，在高亮度被摄体位于视场角的附近并且其亮度非常高的情况下，由于该高亮度被摄体的炫光像使得摄像元件饱和，不能得到被摄体像的图像信息。因此，存在有即使去除图像信息的空间频率的低频成分也不能得到被摄体像的图像信息的情况。该情况下，优选设置对被摄体照明的照明装置，对应于被摄体像的亮度分布改变照明的亮度。由此，可以防止被摄体像的图像信息的缺损，对于视场角附近的高亮度被摄体的亮度的允许范围增加。
遮光壁110无需将入射的全部光线漫反射，可以吸收部分光线。一般地，优选遮光壁110具有光吸收特性，因为可以减少炫光像的影
响。该情况下由于没有被吸收而被反射的光线被漫反射，因此也可以得到上述效果。
本发明的摄像装置具有测量到被摄体的距离的功能，也可以同时拍摄被摄体像。但是，从上述说明可以了解，不管遮光壁怎样对来自配置在视场角外的高亮度被摄体的光线进行漫反射，由于高频成分变换为低频成分的炫光像与被摄体像重叠，这样的话不能得到良好的被摄体像。另外，从通过摄像区域得到的图像信息中去除空间频率的低频成分后，由于同时也会去除一部分的被摄体像的浓淡信息，还是不能得到良好的被摄体像。
因此，在本实施方式中，通过从求得视差量时使用的、自摄像区
域101a、 101b得到的图像(去除低频成分之前的图像)中选择并合成炫光像的影响少的部分而得到良好的图像。利用图6进行说明。在图6中，600a、 600b是从各摄像区域101a、 101b得到的、去除了低频成分前的图像，202是被摄体像，604a、 604b是由于配置在视场角外的共用的高亮度被摄体产生的炫光像。在本实施方式中，合成这样的两个图像600a、 600b，得到一张良好的图像600c。下面对该方法进行说明。
在本实施方式中，如图6所示，相对于被摄体像202，需要使炫光像604a、 604b重叠的位置在图像600a、 600b间不同。图7表示了实现上述情况的构成。在图7中，240a、 240b是从配置在视场角外的高亮度被摄体(未图示)的同一位置发出的光线。与两透镜100a、 100b间的距离相比，到高亮度被摄体的距离大，因此光线240a、 240b可以认为是平行的。光线240a透过透镜100a并入射到遮光壁IIO进行漫反射，其中心光线入射到摄像区域101a上的点241a。另外，光线240b通过透镜100b并入射到镜筒102的内面进行漫反射，其中心光线入射到摄像区域101b上的点241b。由于在摄像区域101b和镜筒102之间设置了缝隙302，摄像区域101a以及遮光壁110之间的距离与摄像区域101b以及镜筒102之间的距离不同。所以，相对于摄像区域101a的光线240a的入射位置241a与相对于摄像区域101b的光线240b的入射位置241b不同。所以，如同6所示，能够使形成炫光像604a、 604b的位置在图像600a、 600b间不同。
另外，使通过从高亮度被摄体的同一位置发出的光线形成的炫光像604a、 604b的位置在图像600a、 600b间不同的构成，不限于图7。可以在摄像区域101a、 101间使部件(例如遮光壁110、镜筒102)相对于摄像区域101a、 101b的相对关系不同，其中上述部件可以将来自高亮度被摄体的光线反射而入射到摄像区域101a、 101b，并且配置在摄像区域101a、 101b的周边。例如，在摄像区域101a、 101b间使遮光壁110以及镜筒102相对于摄像区域101a、 101b的角度不同。
如上所述，在本实施方式的摄像装置中，在测量到被摄体的距离时，在两个图像600a、 600b上搜索对应于被摄体上的某场所的块(图像)，从该块间的偏移量求得视差量。对该计算过程中得到的两个图像600a、 600b含有的彼此对应的两个块进行比较，选择具有更好的图像的块。在构成被摄体像的全部的块上进行这样的计算，合成选择的块，由此可以得到整体上良好的图像的被摄体像。
在图6中，601a、 602a、 603a是求得上述视差量的计算中使用的图像6O0a内的代表性块。601b、 602b、 603b是被判断为相对于各块601a、 602a、 603a的差最小的图像600b内的块。所以，块601a和块601b含有被摄体上的同一位置的图像信息。同样地，块602a和块602b、块603a和块603b也分别含有被摄体上的同一位置的图像信息。
在被摄体像202中炫光像604a、 604b重叠的部分中，图像的对比度降低。所以，对两图像600a、 600b含有的彼此对应的两个块内的图像的对比度进行比较，若选择对比度大的块，则可以选择炫光像少的块。例如，对块601a以及块601b的对比度进行比较，两者大致相同，因此，将对块601a内的图像和块601b内的图像进行平均化而得到的图像作为合成图像600c的块601c的图像而使用。对块602a以及块602b的对比度进行比较，由于块602b内的图像的对比度大，因此将块602内的图像作为合成图像600c的块602c的图像而使用。对块603a以及块603b的对比度进行比较，由于块603a内的图像的对比度大，因此将块603a内的图像作为合成图像600c的块603c的图像而使用。这样地，利用从构成去除了低频成分前的图像600a、600b的块选择的块，生成合成图像600c，由此可以得到没有炫光像604a、604b的良好的图像。
在上述的说明中，将图像600a、 600b分割为多个块以使块彼此不重叠，但本发明不限于此，也可以使块彼此重叠地进行分割。由此，构成合成图像600c的块也彼此不重叠，因此可以顺畅地连接块间的图像，其结果，可以得到更良好的合成图像600c。
在上述的实施方式中，摄像区域101a、 101b通过分割共用的一个摄像元件的受光区域而形成，但是本发明不限于此，也可以利用两个独立的摄像元件。
在本发明的摄像装置中，包括光学透镜和摄像区域的光学系统的数量不限于上述实施方式那样的两个，也可以为三个以上。
在上述实施方式中，与遮光壁110的摄像区域101a、 101b相对的面为平面，但是本发明不限于此，例如也可以为凸面、凹面等曲面。
实施例
下面，利用实施例更具体地说明本发明。(实施例l)
图1表示了本实施例1的摄像装置的构成。利用聚碳酸酯， 一体成型具有两个透镜100a、 100b的透镜阵列100，其中两个透镜100a、100b相对于绿色波长的焦点距离为3.75mm，沿透镜100a、 100b的基线的中心间隔为2.6mm。在该透镜阵列100的成像面上，配置有像素间距2.2"111， 2048像素X 1530像素的一个黑白CCD。该CCD的受光区域上，设置了对应于透镜100a、 100b的两个摄像区域101a、101b。各摄像区域为800像素X600像素。在透镜100a、 100b和摄像区域101a、 101b之间，插入用于选择波长的绿色滤波器(未图示)，防止透镜100a、 100b的色差造成的被摄体像的析像度降低。为了对透镜100a、 100b和CCD定位，并且，防止没有透过透镜100a、 100b的光线入射到摄像区域101a、 101b,制作由于含有碳而成为黑色的聚碳酸酯构成的镜筒102。制作同样地由于含有碳而成为黑色的聚碳酸酯构成的遮光壁110。为了设置在遮光壁110的表面漫反射光线的机构，对遮光壁UO的表面进行oi砂处理，以使中心线表面粗糙度(Ra)为15um。通过上述的方法对该遮光壁110的散射特性进行测量，与遮光壁110的表面成的角度相对于以摄像装置的半视场角入射的激光的漫射角度为5度。另外，遮光壁110相对于通过透镜的中心并入射到遮光壁110的光线的漫射倍率大致为30倍，其中该光线为由遮光壁110漫反射的反射光的中心光线入射到摄像区域的外周端中距离遮光壁110最近的位置的光线。透镜100a、 100b的极限分辨频率设计得比CCD的极限分辨频率高，为2cycle/像素。由此，由遮光壁110漫反射的光引起的炫光像的空间频率中的、2/30 —0.067cycle/像素以上的高的频率成分变换为比其低的频率成分。
另外，在本实施例1中，通过对遮光壁110的表面进行喷砂处理，形成对光线漫反射的机构，但是本发明不限于此。例如，利用设置了用于对光线漫反射的凹凸的金属模对遮光壁110成型，由此可以形成在遮光壁110的表面对光线进行漫反射的机构。
遮光壁IIO的表面的凹凸为规则的，则由该凹凸反射的光干涉，炫光像的亮度中可能产生不匀，炫光像中可能产生高频成分，因此优选遮光比110的表面的凹凸为不规则的。
通过低频成分去除机构105a、 105b去除从摄像区域101a、 101b输出的两个图像的空间频率的低频成分。具体地，对图像进行二维傅立叶变换将图像信息变换为空间频率后，去除0.067cycle/像素以下的低频成分，接着利用反傅立叶变换复原图像。另外，在本实施方式中，去除了空间频率为0.067cycle/像素以下的低频区域，但是去除的频率的阈值不限于此。例如，如上所述，将比该频率大的频率设定为阈值，由此可以确实地去除炫光像成分。
另外，在本实施例中，从图像信息的二维空间频率去除了低频成分，但是也可以从产生视差的透镜100a、 100b的基线方向(即，产生视差的方向)的一维空间频率去除低频成分，该情况下，与本实施例1相同地，可以去除遮光壁110引起的炫光像的影响。
另外，作为去除低频成分的方法，不限于利用傅立叶变换的方法，也可以通过对图像信息作用微分滤波器、Sobel滤波器、LoG滤波器等，去除低频成分。
这样地去除了低频成分后，为了去除由于透镜100a、 100b的像差、焦点偏移产生的图像的歪曲的影响，基于预先测量的校准数据调整两个图像的歪斜或大小。
然后，比较两个图像求得视差量。具体地，将两个图像中的、从摄像区域101a得到的图像(基准图像)分割为8像素X8像素的块，在从摄像区域101b得到的图像(被比较图像)内搜索对应于各块的块。从对应的块的位置偏移量求得视差量。此时，以0.1像素的单位对被比较图形的像素间的亮度进行补全。
利用本实施例1的摄像装置对位于距离lm的位置的被摄体进行拍摄，视差量为4.4像素。由此，基于上述(式4)，求得被摄体距离为3.75mmX2.6mm/ (4.4X2.2ixm) -l.Olm。在视场角外、视场角附近设置高亮度的被摄体，同样地迸行了被摄体距离的测量，还是测量为l.Olm，没有产生测量距离的误差。
另外，对从摄像区域101a、 101b输出的、去除低频成分之前的两个图像含有的彼此对应的两个块内的图像的对比度进行了比较，通过选择并合成对比度高的图像，可以得到没有炫光像的良好的一个图
(实施例2)
本实施例2与实施例1不同之处在于，使光线漫反射的机构，如图8所示，在遮光壁110上含有透明微粒子500。 g卩，金属模成型15%含有直径为1 U m到10u m的玻璃粉末的聚碳酸酯，形成遮光壁110。由此在遮光壁110的表面不均匀地配置透明微粒子500。光线入射到这样的遮光壁110后，光在透明微粒子500的表面以及内部漫反射。由此，与设置了实施例1的凹凸的遮光壁110相同地，光线漫反射，因此反射光引起的炫光像的高频成分变换为低频成分。
若透明微粒子500的形状是规则的，则散射的光线干涉，可能在炫光像上产生具有高频率成分的规则的图案，因此，优选透明微粒子500的形状为不规则的。
另外，在本实施例2中，使聚碳酸酯具有透明玻璃粉末而进行成型，但是遮光壁的制造方法不限于此，例如，可以在成型的实质上不透明的板状部件的表面喷镀玻璃粉末，或层叠含有玻璃粉末的部件而进行制造。由此，可以只在遮光壁的表面附近设置散射机构，因此可以切实地遮光。
除了遮光壁的构成之外与实施例1相同，去除从摄像区域101a、101b (参照图1)输出的两个图像的空间频率的低频成分，求得视差量，求得到被摄体的距离。其结果，即使在视场角外、视场角附近配置高亮度的被摄体，在到被摄体的距离上也不会产生误差。
另外，对从摄像区域101a、 101b输出的、去除低频成分之前的两个图像中含有的彼此对应的两个块内的图像的对比度进行了比较，通过选择并合成对比度高的图像，可以得到没有炫光像的良好的一个图像。
(实施例3)
本实施例3与实施例1、 2不同之处在于，利用设置了凹凸的金属模而成型遮光壁IIO，由此，作为在遮光壁110的表面反射光线的机构形成了转印上述凹凸的凹凸。在本实施例3中，利用了通过蚀刻产生凹凸图形而形成的金属模，成型聚碳酸酯和碳构成的混合材料而得到遮光壁IIO。之后，相对于与实施例l相同构成的摄像装置安装该遮光壁110。通过上述方法对该遮光壁110的散射特性进行了测量，与遮光壁110的表面成的角度相对于以摄像装置的半视场角入射的激光的漫射角度为6.37度。另外，遮光壁110相对于通过透镜中心入射到遮光壁110的光线的漫射倍率大致为39倍，其中该光线为由遮光壁110漫反射的反射光的中心光线入射到摄像区域的外周端中距离遮光壁110最近的位置的光线。将透镜100a、 100b的极限分辨频率设计得比CCD的极限分辨频率高，为2cycle/像素。由此，由于遮光壁110漫反射的光引起的炫光像的空间频率中、2/39 —0.051cycle/像素以上的高的频率成分变换为比其低的频率成分。
另外，在本实施例3中，通过在金属模表面实施蚀刻处理，形成了在遮光壁110的表面使光线漫反射的机构，但是本发明不限于此，例如，利用实施了喷砂加工的金属模而成型遮光壁110，由此，可以形成在遮光壁110的表面使光线漫反射的机构。
若遮光壁110的表面的凹凸是规则的，则由该凹凸反射的光干涉，可能在炫光像的亮度中产生不匀，在炫光像产生高频成分，因此优选遮光壁110的表面的凹凸是不规则的。
通过低频成分去除机构105a、 105b去除从摄像区域101a、 101b输出的两个图像的空间频率的低频成分。具体地，对图像进行二维傅立叶变换，将图像信息变换为空间频率后，去除0.051cycle/像素以下的低频成分，接着利用反傅立叶变换复原图像。
另外，本实施例中，去除了空间频率为0.051cycle/像素以下的低频成分，但是去除的频率的阈值不限于此。例如，如上所述，将比该频率大的频率设定为阈值，因此可以切实地去除炫光像的成分。
另外,本实施例中，从图像信息的二维空间频率去除了低频成分，但是也可以从产生了视差的透镜100a、 100b的基线方向(即，产生视差的方向)的一维空间频率去除低频成分，该情况下，也和本实施例3同样地可以去除由于遮光壁110引起的炫光像的影响。
另外，作为去除低频成分的方法，不限于利用傅立叶变换的方法，也可以通过对图像信息作用微分滤波器、Sobel滤波器、LoG滤波器等，去除低频成分。
这样地去除了低频成分后，为了去除由于透镜100a、 100b的像差、焦点偏移产生的图像的歪曲的影响，基于预先测量的校准数据调整两个图像的歪斜或大小。然后，比较两个图像求得视差量。具体地，将两个图像中从摄像
区域105a得到的图像(基准图像)分割为8像素X8像素的i央，在从摄像区域105b得到的图像(被比较图像)内搜索对应于各块的块，从对应的块的位置偏移量求得视差量。此时，以0.1像素的单位对被比较图形的像素间的亮度进行补全。
利用本实施例3的摄像装置对处于距离lm的位置的被摄体进行拍摄，视差量为4.4像素。由此，基于上述(式4)，求得被摄体距离为3.75mmX2.6mm/ (4.4X2.2um) =1.01m。在视场角外、视场角附近设置高亮度的被摄体，同样地进行了被摄体距离的测量，还是测量为l.Olm,没有产生测量距离的误差。
另外，对从摄像区域101a、 101b输出的、去除低频成分之前的两个图像中含有的彼此对应的两个块内的图像的对比度进行了比较，通过选择并合成对比度高的图像，可以得到没有炫光像的良好的一个图像。.
(实施例4)
图9A是本实施例4中的遮光壁110的截面图，图9B是图9A的部分9B的放大截面图。本实施例4与实施例1~3不同之处在于，作为使光线漫反射的机构，如图9A所示，在遮光壁110的表面上设置了朝向透镜阵列100侧(图9A的纸面上侧)的多个倾斜面550，并且，设置曲率使得在倾斜面550的前端551成为大致圆筒面状。多个倾斜面550的上下方向的配置间距D为大致100 u m，倾斜面550相对于水平方向的倾斜角度V大致为30度，倾斜面550的前端551的曲率半径C大致为5 u m。这样的遮光壁110通过射出成型由聚碳酸酯和炭系填料构成的混合材料而得到。通过透镜100a、 100b而入射到倾斜面550的光线的大部分朝向图9A的纸面上侧而反射。另外，入射到倾斜面550的前端551的光线通过前端551的曲面而漫反射。所以，与实施例1的在表面设置凹凸的遮光板相比，本实施例4的遮光板可以抑制朝向CCD侧反射的光线的量。
在与实施例1相同的构成的摄像装置上安装上述本实施例4的遮光壁IIO。通过上述的方法对该遮光壁110的散射特性进行测量，与遮光壁110的表面成的角度相对于以摄像装置的半视场角入射的激光的漫射角度为37.35度。另外，遮光壁110相对于通过透镜的中心并入射到遮光壁110的光线的漫射倍率大致为264倍，其中该光线为由遮光壁110漫反射的反射光的中心光线入射到摄像区域的外周端中距离遮光壁110最近的位置的光线。透镜100a、 100b的极限分辨频率设计得比CCD的极限分辨频率高，为2cyde/像素。由此，由遮光壁110漫反射的光引起的炫光像的空间频率中的、2/264 —0.0076cycle/像素以上的高的频率成分变换为比其低的频率成分。
通过低频成分去除机构105a、 105b去除从摄像区域101a、 101b输出的两个图像的空间频率的低频成分。具体地，对图像进行二维傅立叶变换，将图像信息变换为空间频率后，去除0.0076cycle/像素以下的低频成分，接着利用反傅立叶变换复原图像。
另外，本实施例中，去除了空间频率为0.0076cycle/像素以下的低频区域，但是去除的频率的阈值不限于此。例如，如上所述，将比该频率大的频率设定为阈值，因此可以切实地去除炫光像的成分。
另外，本实施例中，从图像信息的二维空间频率去除了低频成分，但是也可以从视差产生的透镜100a、 100b的基线方向(即，视差产生的方向)的一维空间频率去除低频成分，该情况下，也和本实施例4同样地可以去除由于遮光壁110引起的炫光像的影响。
另外，作为去除低频成分的方法，不限于利用傅立叶变换的方法，也可以通过对图像信息作用微分滤波器、Sobel滤波器、LoG滤波器等，去除低频成分。
这样地去除了低频成分后，为了去除由于透镜100a、 100b的像差、焦点偏移产生的图像的歪曲的影响，基于预先测量的校准数据调整两个图像的歪斜或大小。
然后，比较两个图像求得视差量。具体地，将两个图像中从摄像区域105a得到的图像(基准图像)分割为8像素X8像素的块，在从摄像区域105b得到的图像(被比较图像)内搜索对应于各块的块，从对应的块的位置偏移量求得视差量。此时，以0.1像素的单位对被比较图形的像素间的亮度进行补全。利用本实施例4的摄像装置对处于距离lm的位置的被摄体进行 拍摄，视差量为4.4像素。由此，基于上述(式4),求得被摄体距 离为3.75mmX2.6mm/ (4.4X2.2 um) =1.01m。在视场角外、视场角 附近设置高亮度的被摄体，同样地进行了被摄体距离的测量，还是测 量为1.01m，没有产生测量距离的误差。
另外，对从摄像区域101a、 101b输出的、去除低频成分之前的 两个图像中含有的彼此对应的两个块内的图像的对比度进行了比较， 通过选择并合成对比度高的图像，可以得到没有炫光像的良好的一个 图像。
另外，作为使光线漫反射的机构，可以使用实施例1~4中说明的 机构以外的机构。例如，如专利文献3公幵的内容，将选择性地散射 入射角为特定角度范围内的入射光的光散射板(例如"Lumisty"(住 友化学株式会社的注册商标))等贴在遮光壁的表面。该光散射板具 有在厚度方向分布了折射率的构造，具有使入射角为特定角度范围内 的入射光进行散射的功能。利用该散射板的情况下，优选将光散射板 设计为，入射光与光散射板的面所成的角度为摄像装置的半视场角时 进行光散射。另外，贴有光散射板的遮光壁优选分散了碳等而进行了 黑色化从而可以降低反射光。
以上说明的实施方式以及实施例只是为了明确地表现本发明的 技术内容，本发明并不仅限于通过这样的具体例而解释，可以在权利 要求的记载范围内进行各种变更，本发明应该进行广义的解释。
产业上的可利用性
通过本发明，可以实现即使视场角外存在有高亮度被摄体也可以 正确地测量到被摄体的距离的、小型、薄型的摄像机模块。所以，可 以适用于例如搭载在手机上的摄像机或数码相机而取入立体信息，或 适用于监视用摄像机、车载摄像机、机器人搭载摄像机而增加从被摄 体得到的信息量，在认证、监视、控制等的精度提高上是有用的。
权利要求
1、一种具有测距功能的复眼式摄像装置，具有大致配置在同一平面上的多个光学透镜；与上述多个光学透镜一对一地对应的多个摄像区域；防止通过上述多个光学透镜中的一个光学透镜的光线入射到与上述一个光学透镜不对应的摄像区域的遮光壁；以及对在上述多个摄像区域拍摄的多个图像进行比较而求得视差量的机构，其特征在于上述遮光壁具有使入射的光线漫反射的机构，上述摄像装置还具有去除在上述多个摄像区域拍摄的多个图像的空间频率的低频成分的机构，求得上述视差量的机构，对通过去除上述低频成分的机构去除了低频成分的上述多个图像进行比较而求得视差量。
2、 如权利要求1所述的具有测距功能的复眼式摄像装置，其特 征在于，使上述光线漫反射的机构为在上述遮光壁的表面所设置的凹 凸。
3、 如权利要求2所述的具有测距功能的复眼式摄像装置，其特 征在于，上述凹凸被不规则地配置。
4、 如权利要求1所述的具有测距功能的复眼式摄像装置，其特 征在于，使上述光线漫反射的机构是至少在上述遮光壁的表面附近含 有的透明微粒子。
5、 如权利要求4所述的具有测距功能的复眼式摄像装置，其特 征在于，上述透明微粒子的形状是不规则的。
6、 如权利要求1~5任一项所述的具有测距功能的复眼式摄像装 置，其特征在于，去除上述低频成分的机构去除视差产生的方向的空 间频率的低频成分。
7、 如权利要求1 6任一项所述的具有测距功能的复眼式摄像装 置，其特征在于，上述遮光壁相对于与上述遮光壁所成的角度为上述 摄像装置的半视场角的光线的漫射角度为5度以上。
8、 如权利要求l-7任一项所述的具有测距功能的复眼式摄像装置，其特征在于上述遮光壁相对于通过上述光学透镜的中心入射到上述遮光壁 的光线的漫射倍率为a ，其中上述光线为在上述遮光壁漫反射的反射 光的中心光线入射到上述摄像区域的外周端中的距离上述遮光壁最 近的位置的光线，上述光学透镜的极限分辨频率为P时，去除上述低 频成分的机构去除所拍摄的上述多个图像的P/a以下的空间频率成 分。
9、 如权利要求1~8任一项所述的具有测距功能的复眼式摄像装 置，其特征在于还具有照明被摄体的照明装置，对应于被摄体像的亮度分布改变 照明的亮度。
10、 如权利要求1~9任一项所述的具有测距功能的复眼式摄像装 置，其特征在于还具有将在上述多个摄像区域拍摄的上述多个图像中的一个图 像分割为多个块的机构；在上述多个图像中的其他图像内搜索对应于 各个上述多个块的块的机构；以及，从上述多个图像得到一个合成图 像的机构，得到上述合成图像的机构，对上述多个图像所含有的彼此对应的 多个块的对比度进行比较，选择对比度大的块而得到上述合成图像。
11、 如权利要求10任一项所述的具有测距功能的复眼式摄像装 置，其特征在于还具有防止不通过上述多个光学透镜的任一个的光线入射到上 述多个摄像区域的某一个的镜筒，来自处于视场角外的共用的被摄体 的光线在上述遮光壁或上述镜筒的内面反射而入射到上述多个摄像 区域的位置，在上述多个摄像区域间彼此不同。
全文摘要
本发明提供一种具有测距功能的复眼式摄像装置。配置有与大致配置在一平面上的多个光学透镜(100a、100b)一对一对应的多个摄像区域(101a、101b)。设置有使入射到配置在多个摄像区域间的遮光壁(110)的光线漫反射的机构。去除在多个摄像区域拍摄的多个图像的空间频率的低频成分，然后，对该多个图像进行比较求得视差量，测量到被摄体的距离。由此，可以防止来自存在于视场角外的高亮度被摄体的光线由于遮光壁反射而入射到摄像区域导致的测距精度的恶化。
文档编号G01C3/06GK101548154SQ200880000780
公开日2009年9月30日 申请日期2008年7月10日 优先权日2007年7月23日
发明者平泽拓, 松崎纯平 申请人:松下电器产业株式会社