复眼摄像装置、测距装置、视差算出方法以及测距方法

专利名称：复眼摄像装置、测距装置、视差算出方法以及测距方法
技术领域：
本发明涉及具有多个摄像光学系统的、算出摄像光学系统之间产生的 视差的复眼摄像装置等。
背景技术：
近些年，对测定从规定的位置到对象物为止的距离、或对象物的三维 位置(形状)的需求越来越提高。例如，对于汽车的视角补助提出了以下的方 法，即，不仅显示利用安装在汽车的小型照相机而拍摄的周围的物体的影 像，而同时显示利用测距装置而测定的物体与汽车之间的正确的距离信息， 从而准确地避免与周围的物体碰撞。并且，在移动电话或电视机等中，为 了更忠实地再现影像的临场感而需要立体影像的输出入装置。需要这些用 途的测距装置的高精度化以及小型化。
自从以前采用了利用三角测定原理的立体测距方法，以作为测定到对 象物为止的距离、或对象物的三维位置的方法。在立体测距方法中，根据 多个照相机之间产生的视差算出到对象物为止的距离。
图30是利用照相机a和照相机b这两个照相机时的、通过立体测距方 法算出到对象物为止的距离的例子的说明图。对象物100的光线101a、 101b，经由照相机a的透镜102a以及照相机b的透镜102b的各个光学中 心105a、 105b成像在摄像区域104a、 104b。光轴103a以及光轴103b 表示各个照相机的光轴。此时，例如，在对象物100针对照相机a成像在 从摄像区域104a和光轴103a的交点106a远离了 Pa的位置107a、且对 象物100针对照相机b成像在从摄像区域104b上的摄像区域104b和光轴 103b的交点106b远离了 Pb的位置107b的情况下，在照相机a与照相机 b之间产生视差P(二Pb—Pa)。该视差P按照测距装置与对象物距离之间 的距离D发生变化。若照相机a的光轴103a和照相机b的光轴103b为平 行、其间隔为基线长度B、照相机a以及照相机b的焦距为f，则以(式l)来表示到对象物为止的距离D。因此，若因预先进行校准(calibration)处理 等而已经知道基线长度B以及焦距f，则通过求出视差P能够算出到对象 物100为止的距离D。公式1
<formula>formula see original document page 8</formula>
而且，在实际环境下，照相机a和照相机b的光轴不是平行的情况多。 于是，进行例如非专利文献1所示的平行化处理。周知的是，其结果为制 作光轴为平行的图像，从而能够使用利用了所述(式l)的运算来算出距离D。
通常，摄像区域104a以及摄像区域104b由CCD(Charge Coupled Device :电荷耦合器件)或CMOS (Complementary Metal Oxide Semiconductor :互补金属氧化半导体)等的摄像元件构成。据此，由于利 用在二维平面上被离散化的对象物像的亮度信号算出视差P，因此，通常 其视差检测分辨率为1像素。通过(式l)的关系，根据视差检测分辨率决定 测距分辨率(以后，记载为测距精度)。
并且，通过利用例如图31 图33而以下说明的方法，能够算出对象 物的三维位置。
图31是表示测距装置与对象物之间的位置关系的图。在图31中将世 界坐标的原点Mw(O、 0、 0)作为照相机a的光学中心105a。如图示出，若 将对象物110的一点111的三维位置坐标作为Mw(Xwl、 Ywl、 Zwl)，则 求出Zwl为利用图30说明的(式l)而算出的距离D。
图32是从Yw轴的负的一侧看图31的照相机a和对象物110的一点 lll时的图。如图示出，若将交点106a作为摄像区域104a的二维坐标系 的原点ms(O、 0)，则利用成像位置107a的坐标ms(xsl、 ysl)、且以(式 2)来表示Xwl。公式2
<formula>formula see original document page 8</formula>…(式2)
图33是从Xw轴的正的一侧看图31的照相机a和对象物110的一点 111时的图。与图32相同，若将交点106a作为摄像区域104a的二维坐标系的原点ms(O、 0)，则利用成像位置107a的坐标ms(xsl、 ysl)、且以(式 3)来表示Ywl。 <formula>formula see original document page 9</formula>与所述的测距精度相同，三维位置的测定精度也是根据视差检测分辨 率决定的。
其次，说明视差P的检测方法的具体例子。对于视差P，算出在照相 机a的摄像区域104a取得的图像a、和在照相机b的摄像区域104b取得 的图像b这各个图像的每个小区域的相关值，即算出SAD(Sum of Absolute Difference::绝对差总和)，并利用算出的相关值，从而算出图像a与图像 b之间的每个小区域的偏移，即算出视差P。而且，SAD是相关值的一个 例子，也可以利用一般所周知的SSD(Sum of Squared Difference :平方 差总和)或NCC(Normalized Cross—Correlation :归一化互相关)等以作 为相关值。
以下，参照图34 图36说明利用代表性的相关值即SAD的、视差的 算出。
图34是图像中的各个像素的亮度的表达方法的说明图。如图示出，0 为黑，15为白，并以线的密度来表达各个亮度的阶度。亮度有时成为小数 点以下的值。
图35A是示出从对象物的一侧看映射的对象物的纹理(texture)时的、 图像a的一部分的图。图35B是示出从对象物的一侧看映射的对象物的纹 理时的、图像b的一部分的图。
在对象物位于无穷远时，在图35B中的用粗线包围的图像块b映射与 图35A中的用粗线包围的图像块a相同的图像。在对象物位于有限的距离 的情况下，由于产生图35A以及图35B所示的视差，因此，针对图35A 的图像，图35B的图像被映射在右边。在此，说明图35A和图35B具有 3.6像素的实际视差的情况。为了搜索与图像块a相关度最高的图像区域， 而按每一个像素，将图像块b从图35B的粗线的位置向右方向逐渐偏移， 从而按每个偏移量、且根据(式4)算出SAD。公式4
SAD = Z|la(i,j) —Ib(i，j〗 …(式4)
在此，Ia、 Ib表示各个图像块内的亮度值，i、 j表示各个图像块内的 局部地址。图像块a和图像块b的图像尺寸相同，按每个偏移量算出图像 块两者的相同地址的亮度差分的绝对值的块内总和。对于图像块的形状， 虽然可以是长方形或对应于纹理的特征的形状，但是，在此，以正方形的 图像块来进行说明。
图36是示出按每一个像素将图像块b移动时的SAD的推移的图。在 偏移量为4像素的情况下，由于SAD为最小，因此可以认为图像块a和图 像块b的相关度最高。因此，算出图像块a中的照相机a与照相机b之间 的视差为4像素，算出的视差乘以像素间距尺寸来求出(式1)的视差P，从 而能够算出到对象物为止的距离D。在此情况下，能够求出接近实际的视 差3.6像素的视差，但是，由于视差的检测精度为1像素，因此，不能以 小数点以下的像素的精度来求出视差(以后，称为子像素视差)。
对于测距精度即视差检测分辨率不是1像素单位而是更高的精度的求 出方法，提出了子像素级视差的推测方法(例如专利文献l)。例如，对于所 谓等角直线拟合的子像素视差推测方法，通过假定如图37示出以实际视差 为基准而SAD的推移的左右的倾斜度e相同，从而通过一次线性插值能够 推测子像素级的实际视差。以(式5)来示出等角直线拟合的子像素视差算出 式即插值式。公式5
P二尸min+d …(式5) '在<辨-l)的情况下
"O (l)卡l) 卿-A(-l)
-在其它的情况下
卿-i (l)
在此假设，P为子像素视差，Pmin为SAD成为最小的偏移量(整数视差)，R(O)为SAD成为最小的偏移量中的相关值(SAD)，其相邻的偏移量中 的SAD为R(—1)、 R(l)。
并且，除此以外，还提出了以下的方法，即，假定SAD等的相关值的 每个偏移量的推移以实际视差为基准成为对称的推移，从而通过二次函数 等高次的线性函数或非线性函数对实际视差进行插值运算。在如图35A以 及图35B示出发生亮度的一次函数性变化的对象物的情况下，如图36示 出SAD的推移以实际视差为基准成为对称，并且，SAD —次直线性地推 移。因此，若利用等角直线拟合进行子像素视差推测，则能够正确地求出 视差3.6像素。
专利文献1 :日本特开2000-283753号公报
非专利文献1 :徐刚，辻三郎著 "3次元匕'- s ^(三维视觉)"共立 出版pp96—99 2002年9月25日出版
如上所述，在图35A、图35B以及图36中，以亮度的分布在视差的 搜索方向一次函数性且同样地发生变化的对象物为例子进行了说明。在这 些情况下，相关值的推移以实际视差为基准成为对称，因此通过等角直线 拟合能够正确地进行子像素视差推测。但是，对于实际的对象物，表面的 花样(纹理)同样地发生变化的情况少，而例如图38A以及图38B示出亮度 的分布不同样地发生变化的情况多。
图38A是示出从对象物的一侧看的图像a的一部分的图。图38B是示 出从对象物的一侧看的图像b的一部分的图。在对象物位于无穷远时，在 图38B中的用粗线包围的图像块b映射与图38A中的用粗线包围的图像块 a相同的图像。在对象物位于有限的距离的情况下，由于产生图30所示的 视差，因此，针对图38A的图像，图38B的图像向右边移动。在此，与图 35A以及图35B相同，说明图38A和图38B具有3.6像素的实际视差的 情况。
图39是在图38A以及图38B的图像的情况下的SAD的推移、和此 时的通过所述等角直线拟合的子像素视差推测的说明图。如图示出，由于 SAD的推移以实际视差为基准不成为对称，因此子像素视差推测结果偏离 实际视差。具体而言，推测子像素视差为3.2像素左右。其结果为，在推测 视差与实际视差之间产生0.4像素左右的误差。如此，以往的立体测距方法中使用的进行子像素视差推测的插值式， 假定相关值的推移以实际视差为基准成为对称的情况。因此，存在的问题 是，对于相关值的推移以实际视差为基准不成为对称的对象物，产生视差
的推测误差。并且，例如图40A以及图40B示出的利用三个以上的光学系 统的多眼立体相机也同样，存在的问题是，对于相关值的推移以实际视差 为基准不成为对称的对象物，产生视差的推测误差。

发明内容
为了解决所述问题，本发明的目的在于提供一种复眼摄像装置或测距 装置，相关值的推移与对象物的亮度的分布无关而以实际视差为基准成为 对称，并且，即使利用如上所述的通过以往的插值的子像素视差推测方法， 也能够高精度地推测子像素视差。
为了实现所述目的本发明涉及的的复眼摄像装置，算出拍摄同一对象
物的多个摄像光学系统中产生的视差，其中，至少包括基准摄像光学系
统，通过拍摄所述对象物，从而生成包含基准图像的图像；两个以上的偶
数的参考摄像光学系统，通过拍摄所述对象物，从而生成包含参考图像的 图像，所述两个以上的偶数的参考摄像光学系统的各个光学中心被配置为，
对所述基准摄像光学系统的光学中心大致成为点对称；相关值算出单元， 针对所述两个以上的偶数的参考摄像光学系统的每一个，按每个偏移量算 出表示所述基准图像和所述参考图像的相似度的相关值，所述偏移量是在 将搜索位置沿着与基线平行的方向逐渐偏移的情况下的偏移量，所述搜索 位置是为了搜索与所述基准图像相似的所述参考图像的图像位置而由所述 参考摄像光学系统生成的图像中的所述参考图像的位置，所述基线是连接 所述基准摄像光学系统的光学中心和所述参考摄像光学系统的光学中心的 直线；相关值加法单元，通过按每个对应的偏移量，对针对所述两个以上 的偶数的参考摄像光学系统的每一个算出的相关值进行加法运算，从而算 出合成相关值；以及视差算出单元，根据所述合成相关值，以子像素级来 算出作为所述基准图像和所述参考图像的相似度成为最大的偏移量的视 差。
据此，按每个对应的偏移量，对针对被配置为对基准摄像光学系统的大致成为点对称的两个以上的参考摄像光学系统的每一个算出的相关值进 行加法运算，因此，相关值的推移与被摄体无关而以实际视差为基准成为 对称，从而能够高精度地推测子像素视差。
在此，大致成为点对称是指，在由两个参考摄像光学系统构成的情况 下，两个参考摄像光学系统的光学中心和基准摄像光学系统的光学中心大 致被配置在一条直线上，两个参考摄像光学系统和基准摄像光学系统的基 线长度大致相同。并且，在由四个参考摄像光学系统构成的情况下，增加 的两个参考摄像光学系统的光学中心和基准摄像光学系统的光学中心大致 被配置在一条直线上，增加的两个参考摄像光学系统和基准摄像光学系统 的基线长度大致相同。进而，在由多数参考摄像光学系统构成的情况下， 增加的两个参考摄像光学系统的光学中心为一组的各个组和基准摄像光学 系统的光学中心大致被配置在一条直线上，增加的两个参考摄像光学系统 为一组的各个组和基准摄像光学系统的基线长度大致相同。
并且，优选的是，所述视差算出单元，通过使用利用了对称性的插值 式，对由所述相关值加法单元进行加法运算后的每个偏移量的相关值进行 插值，从而算出子像素级的视差。
据此，即使利用通过以对称性为前提的以往的插值的子像素视差推测 方法，也能够高精度地推测子像素视差。
并且，优选的是，所述复眼摄像装置包括四个以上的参考摄像光学系 统，所述四个以上的参考摄像光学系统被配置为， 一对第一参考摄像光学 系统涉及的基线的方向、和一对第二参考摄像光学系统涉及的基线的方向 以规定的角度倾斜，所述一对第一参考摄像光学系统被配置为对所述基准 摄像光学系统的光学中心大致成为点对称，所述一对第二参考摄像光学系 统也被配置为对所述基准摄像光学系统的光学中心大致成为点对称，且所 述一对第二参考摄像光学系统的光学中心与第一参考摄像光学系统的光学 中心不同。
据此，与利用两个参考摄像光学系统的情况相比，参考摄像光学系统 即参考图像增加，因此，信息量增加，且相关值的推移的直线性提高。并 且，作为连接被配置为对基准摄像光学系统大致成为点对称的一对参考摄 像光学系统和基准摄像光学系统的光学中心的直线的基线的方向、和另一对参考摄像光学系统和基准摄像光学系统的基线的方向以规定的角度倾 斜，从而被拍摄的对象物的信息量更增加，且相关值的推移的直线性提高。 其结果为，子像素视差的推测精度更提高。
并且，优选的是，所述四个以上的参考摄像光学系统被配置为，第一 基线长度和第二基线长度不同，所述第一基线长度是所述第一参考摄像光 学系统和所述基准摄像光学系统的基线的长度，所述第二基线长度是所述
第二参考摄像光学系统和所述基准摄像光学系统的基线的长度；所述相关 值算出单元，在算出所述第二参考摄像光学系统所生成的参考图像的相关
值时，按每个第二偏移量算出所述相关值，所述第二偏移量是所述第二基 线长度除以所述第一基线长度而得到的值再乘以第一偏移量而得到的值， 所述第一偏移量是在算出由所述第一参考摄像光学系统生成的参考图像的 相关值时利用了的偏移量。
据此，在被配置为对基准摄像光学系统的光学中心大致成为点对称的 一对参考摄像光学系统和基准摄像光学系统的基线的长度、另一对参考摄 像光学系统和基准摄像光学系统的基线的长度不同的情况下，也能够提高 相关值的推移的对称性。其结果为，参考摄像光学系统的配置的自由度增 大，并且，能够提高子像素视差的推测精度。
并且，优选的是，基准摄像光学系统以及所述四个以上的参考摄像光 学系统被配置为，与所述基准摄像光学系统具有的构成摄像装置的像素的 位置关系相同。
据此，在进行块匹配运算时，对应于偏移量的块的边界和像素的边界 一致，因此不需要由双线性插值等的图像处理。其结果为，能够縮短块匹 配运算的运算时间。
并且，优选的是，对于被配置为对所述基准摄像光学系统的光学中心 大致成为点对称的成对的每一对参考摄像光学系统，在D为到对象物为止 的距离、pitch为像素间距、f为焦距的情况下，满足光学中心位置误差《 D pitch 0.15 / f，所述光学中心位置误差是连接一对参考摄像光学系统 中的一方的参考摄像光学系统的光学中心和所述基准摄像光学系统的光学 中心的直线、和一对参考摄像光学系统中的另一方的参考摄像光学系统的 光学中心之间的距离。据此，相关值的推移与被摄体无关而以实际视差为基准十分成为点对 称，因此，比以前更能够高精度地推测子像素视差。
并且，优选的是，对于被配置为对所述基准摄像光学系统的光学中心
大致成为点对称的成对的每一对参考摄像光学系统，在D为到对象物为止 的距离、pitch为像素间距、f为焦距的情况下，满足基线长度误差《 D pitch 0.2 / f，所述基线长度误差是第一基线长度和第二基线长度的长 度的差，所述第一基线长度是一对参考摄像光学系统中的一方的参考摄像 光学系统的光学中心和所述基准摄像光学系统的光学中心之间的间隔，所 述第二基线长度是一对参考摄像光学系统中的另一方的参考摄像光学系统 的光学中心和所述基准摄像光学系统的光学中心之间的间隔。
据此，相关值的推移与被摄体无关而以实际视差为基准十分成为点对 称，因此，比以前更能够高精度地推测子像素视差。
并且，优选的是，所述复眼摄像装置还包括预处理单元，对所述基准 图像以及所述参考图像执行平滑滤波处理；所述相关值算出单元，根据执 行所述平滑滤波处理后的基准图像以及参考图像算出所述相关值。
据此，与对象物的亮度分布无关而能够减少因噪声的影响而引起的精 度降低，且能够使对象物的亮度的变动更平滑，因此，在例如利用所述SAD 和等角直线拟合的情况下，在保持相关值的推移的对称性的状态下，SAD 的推移的直线性提高，子像素视差测定精度更提高。
并且，为了实现所述目的本发明涉及的的测距像装置，通过算出拍摄 同一对象物的多个摄像光学系统中产生的视差，从而算出到所述对象物为 止的距离或所述对象物的三维位置，其中，包括基准摄像光学系统，通 过拍摄所述对象物，从而生成包含基准图像的图像；两个以上的偶数的参 考摄像光学系统，通过拍摄所述对象物，从而生成包含参考图像的图像， 所述两个以上的偶数的参考摄像光学系统的各个光学中心被配置为，对所 述基准摄像光学系统的光学中心大致成为点对称；相关值算出单元，针对 所述两个以上的偶数的参考摄像光学系统的每一个，按每个偏移量算出表 示所述基准图像和所述参考图像的相似度的相关值，所述偏移量是在将搜 索位置沿着与基线平行的方向逐渐偏移的情况下的偏移量，所述搜索位置 是为了搜索与所述基准图像相似的所述参考图像的图像位置而由所述参考摄像光学系统生成的图像中的所述参考图像的位置，所述基线是连接所述 基准摄像光学系统的光学中心和所述参考摄像光学系统的光学中心的直
线；相关值加法单元，通过按每个对应的偏移量，对针对所述两个以上的 偶数的参考摄像光学系统的每一个算出的相关值进行加法运算，从而算出 合成相关值；视差算出单元，根据所述合成相关值，以子像素级来算出作 为所述基准图像和所述参考图像的相似度成为最大的偏移量的视差；以及 距离算出单元，根据被算出的视差、所述基准摄像光学系统的焦距和所述 基线的长度，算出从所述测距装置到所述对象物为止的距离或所述对象物 的三维位置。
据此，按每个对应的偏移量，对针对两个以上的参考摄像光学系统的 每一个算出的相关值进行加法运算，从而相关值的推移与被摄体无关而以 实际视差为基准成为对称，能够高精度地推测子像素视差。其结果为，能 够高精度地推测到成为被摄体的对象物为止的距离。
并且，本发明涉及的视差算出方法，算出拍摄同一对象物的多个摄像 光学系统中产生的视差，其中，所述多个摄像光学系统包括基准摄像光 学系统，通过拍摄所述对象物，从而生成包含基准图像的图像；两个以上 的偶数的参考摄像光学系统，通过拍摄所述对象物，从而生成包含参考图 像的图像，所述两个以上的偶数的参考摄像光学系统的各个光学中心被配 置为，对所述基准摄像光学系统的光学中心大致成为点对称；所述视差算 出方法包括相关值算出步骤，针对所述两个以上的偶数的参考摄像光学 系统的每一个，按每个偏移量算出表示所述基准图像和所述参考图像的相 似度的相关值，所述偏移量是在将搜索位置沿着与基线平行的方向逐渐偏 移的情况下的偏移量，所述搜索位置是为了搜索与所述基准图像相似的所 述参考图像的图像位置而由所述参考摄像光学系统生成的图像中的所述参 考图像的位置，所述基线是连接所述基准摄像光学系统的光学中心和所述 参考摄像光学系统的光学中心的直线；相关值加法步骤，通过按每个对应 的偏移量，对针对所述两个以上的偶数的参考摄像光学系统的每一个算出 的相关值进行加法运算，从而算出合成相关值；以及视差算出步骤，根据 所述合成相关值，以子像素级来算出作为所述基准图像和所述参考图像的 相似度成为最大的偏移量的视差。据此，能够得到与所述复眼摄像装置相同的效果。
并且，本发明涉及的测距方法，通过算出拍摄同一对象物的多个摄像 光学系统中产生的视差，从而算出到所述对象物为止的距离或所述对象物
的三维位置，其中，所述多个摄像光学系统包括基准摄像光学系统，通
过拍摄所述对象物，从而生成包含基准图像的图像；两个以上的偶数的参
考摄像光学系统，通过拍摄所述对象物，从而生成包含参考图像的图像， 所述两个以上的偶数的参考摄像光学系统的各个光学中心被配置为，对所
述基准摄像光学系统的光学中心大致成为点对称，所述测距方法包括相
关值算出步骤，针对所述两个以上的偶数的参考摄像光学系统的每一个，
按每个偏移量算出表示所述基准图像和所述参考图像的相似度的相关值，
所述偏移量是在将搜索位置沿着与基线平行的方向逐渐偏移的情况下的偏
移量，所述搜索位置是为了搜索与所述基准图像相似的所述参考图像的图
像位置而由所述参考摄像光学系统生成的图像中的所述参考图像的位置，
所述基线是连接所述基准摄像光学系统的光学中心和所述参考摄像光学系
统的光学中心的直线；相关值加法步骤，通过按每个对应的偏移量，对针
对所述两个以上的偶数的参考摄像光学系统的每一个算出的相关值进行加
法运算，从而算出合成相关值；视差算出步骤，根据所述合成相关值，以 子像素级来算出作为所述基准图像和所述参考图像的相似度成为最大的偏 移量的视差；以及距离算出步骤，根据被算出的视差、所述基准摄像光学 系统的焦距和所述基线的长度，算出从所述测距装置到所述对象物为止的 距离或所述对象物的三维位置。
据此，能够得到与所述测距装置相同的效果。
而且，也可以以使计算机执行这些视差算出方法或测距方法包括的步 骤的程序来实现本发明。并且，也可以通过CD—ROM(Compact Disc— Read Only Memory :光盘只读存储器)等的记录介质或互联网等的通信网 络分发这些程序。
根据本发明能够提供一种复眼摄像装置或测距装置，相关值的推移与 对象物的亮度的分布无关而以实际视差为基准成为对称，并且，即使利用 如上所述的通过以往的插值的子像素视差推测方法，也能够高精度地推测 子像素视差。


图1是示出本发明的实施例1涉及的测距装置的结构的图。
图2是示出本发明的实施例1涉及的测距装置和对象物的位置关系的图。
图3是示出本发明的实施例1涉及的与测距装置的对象物的三维位置 或距离的算出有关的处理的过程的流程图。
图4是示出本发明的实施例1涉及的通过基准摄像光学系统拍摄对象 物的表面上的点13的周边的纹理时从对象物的一侧看的图像的一部分的 图。
图5A是示出本发明的实施例1涉及的通过摄像光学系统拍摄的图像的 一部分的图。
图5B是示出本发明的实施例1涉及的通过摄像光学系统拍摄的图像的 一部分的图。
图5C是示出本发明的实施例l涉及的通过摄像光学系统拍摄的图像的 一部分的图。
图6A是示出本发明的实施例1涉及的SAD的推移的图。 图6B是示出本发明的实施例1涉及的SAD的推移的图。 图7是示出本发明的实施例1涉及的合成SAD的推移的图。 图8是示出在本发明的实施例1涉及的被映射图像的对象物的一点的 周边的纹理的图。
图9A是示出本发明的实施例1涉及的SAD的推移的图。 图9B是示出本发明的实施例1涉及的SAD的推移的图。 图10是示出本发明的实施例2涉及的测距装置的结构的图。 图IIA是示出本发明的实施例2涉及的SAD的推移的图。 图11B是示出本发明的实施例2涉及的SAD的推移的图。 图12是示出本发明的实施例2涉及的SAD的推移的图。 图13是示出本发明的实施例3涉及的测距装置的结构的图。 图14是本发明的实施例3涉及的测距装置的工作的说明图。 图15是本发明的实施例3涉及的测距装置的工作的说明图。图16是本发明的实施例3涉及的测距装置的性能的说明图。
图17是本发明的实施例3涉及的测距装置的工作的说明图。
图18A是示出本发明的实施例3涉及的SAD的推移的图。
图18B是示出本发明的实施例3涉及的SAD的推移的图。
图19是示出本发明的实施例3涉及的合成SAD的推移的图。
图20是本发明的实施例3涉及的测距装置的性能的说明图。
图21是示出本发明的实施例4涉及的测距装置的结构的图。
图22是示出本发明的实施例4涉及的测距装置和对象物的位置关系的图。
图23是示出本发明的实施例4涉及的与测距装置的对象物的三维位置
或距离的算出有关的处理的过程的流程图。
图24A是示出本发明的实施方式涉及的测距装置的结构的图。 图24B是示出本发明的实施方式涉及的测距装置的结构的图。 图24C是示出本发明的实施方式涉及的测距装置的结构的图。 图24D是示出本发明的实施方式涉及的测距装置的结构的图。 图24E是示出本发明的实施方式涉及的测距装置的结构的图。 图24F是示出本发明的实施方式涉及的测距装置的结构的图。 图25A是示出本发明的实施方式涉及的用于测距装置进行性能评价的
图像的图。
图25B是示出通过本发明的实施方式涉及的用于测距装置进行性能评 价的图像的图。
图25C是示出本发明的实施方式涉及的用于测距装置进行性能评价的 图像的图。
图25D是示出本发明的实施方式涉及的用于测距装置进行性能评价的 图像的图。
图26A是示出本发明的实施方式涉及的测距装置的性能评价的图。 图26B是示出本发明的实施方式涉及的测距装置的性能评价的图。 图26C是示出本发明的实施方式涉及的测距装置的性能评价的图。 图26D是示出本发明的实施方式涉及的测距装置的性能评价的图。 图27A是示出本发明的变形例涉及的摄像光学系统的配置的图。图27B是示出本发明的变形例涉及的摄像光学系统的配置的图。 图28A是示出本发明涉及的摄像光学系统的配置的说明图。 图28B是示出本发明涉及的摄像光学系统的配置的说明图。 图28C是示出本发明涉及的摄像光学系统的配置的说明图。 图29A是示出本发明涉及的摄像光学系统的配置的说明图。 图29B是示出本发明涉及的摄像光学系统的配置的说明图。 图30是通过立体测距方法算出到对象物为止的距离的例子的说明图。 图31是表示以往的技术的说明中的测距装置与对象物之间的位置关系 的图。
图32是以往的技术的说明中的从Yw轴的负的一侧看的照相机和对象 物的一点时的图。
图33是以往的技术的说明中的从Xw轴的正的一侧看的照相机和对象
物的一点时的图。
图34是图像中的各个像素的亮度的表达方法的说明图。
图35A是示出以往的技术的说明中的从对象物的一侧看的映射的对象
物的纹理时的图像的一部分的图。
图35B是示出以往的技术的说明中的从对象物的一侧看的映射的对象
物的纹理时的图像的一部分的图。
图36是示出以往的技术的说明中的SAD的推移的图。 图37是示出以往的技术的说明中的SAD的推移的图。 图38A是示出以往的技术的说明中的从对象物的一侧看的图像的一部
分的图。
图38B是示出以往的技术的说明中的从对象物的一侧看的图像的一部 分的图。
图39是通过以往的技术的说明中的等角直线拟合的子像素视差推测的 说明图。
图40A是示出以往的技术的说明中的其它的结构的测距装置的图。 图40B是示出以往的技术的说明中的其它的结构的测距装置的图。
符号说明说明书第15/43页
ls、 la、 lb照相机
2s、 2a、 2b、 21a、 21b、 21c、 21d、 21e、 21f、 21g、 21h透镜
3s、 3a、 3b、 22a、 22b、 22c、 22d、 22e、 22f、 22g、 22h摄像区域
4模数转换部
5预处理部
6相关值算出部
7相关值加法部
8视差算出部
9后处理部
10s、 10a、 10b光学中心 lls、 lla、 lib光轴 12对象物
13对象物的表面上的点
14s、 14a、 14b、 15s、 15a、 15b块
16a、 16b、 17a、 17b箭头线
20复眼照相机
23平滑滤波部
24视差换算部
25s光学中心
50、 60、 70、 80测距装置
具体实施例方式
以下，参照

本发明的实施例。 (实施例1)
图1是示出本实施例涉及的测距装置50的结构的图。该测距装置50
包括三个照相机1S、 la、 lb;模数转换部4;预处理部5;相关值算出 部6;相关值加法部7;视差算出部8;以及后处理部9。
三个照相机ls、 la、 lb分别具有同样的结构。也就是，照相机ls包 括透镜2s以及摄像区域3s，照相机la包括透镜2a以及摄像区域3a，照 相机lb包括透镜2b以及摄像区域3b。在此，将照相机ls称为基准摄像光学系统s，将照相机la称为参考摄像光学系统a，将照相机lb称为参考 摄像光学系统b。
摄像区域3s、 3a、 3b，例如被构成在CCD或CMOS等的固体摄像元 件上，根据通过透镜2s、 2a、 2b的对象物的光生成图像。
在此，本实施例涉及的基准摄像光学系统s、参考摄像光学系统a以及 参考摄像光学系统b具有以下示出的特征。首先，各个摄像光学系统的光 轴为平行。而且，各个摄像光学系统的光学中心的光轴被配置在一条直线 上，且该直线与光轴垂直。并且，各个摄像光学系统的摄像区域(二维平面) 与光轴被配置为垂直，所有的摄像光学系统的焦距(从摄像区域到光学中心 为止的距离)相同。进而，连接各个摄像光学系统的光学中心的线、即核线 (epipolarline)，与各个摄像区域的水平方向的像素排列平行，在各个摄像 区域的像素排列的水平方向产生各个摄像光学系统之间的视差。
而且，在本发明中，不需要严格满足与所述的本实施例涉及的基准摄 像光学系统s、参考摄像光学系统a、参考摄像光学系统b、光学中心、摄 像区域以及焦距等有关的特征。例如，若通过校准处理等能够校正，则也 可以不需要严格使光轴相互平行。并且，若可以忽视与光轴、光学中心、 摄像区域以及焦距等有关的特征的误差程度，则没有问题。
并且，基准摄像光学系统s被配置在三个摄像光学系统的正中间，基 准摄像光学系统s的光学中心与参考摄像光学系统a的光学中心之间的距 离(以后，称为基线长度)Ba、和基准摄像光学系统s的光学中心与参考摄 像光学系统b的光学中心之间的距离(基线长度)Bb相同。也就是，参考摄 像光学系统a以及参考摄像光学系统b被配置为，对基准摄像光学系统s 成为点对称。
模数转换部4，将从构成摄像区域3s、 3a、 3b的摄像元件传输的亮度 信息，从模拟值转换为数字值(量化)。在此假设，由模数转换部4将摄像区 域3s的像量化而得到的图像作为图像s，由模数转换部4将摄像区域3a 的像量化而得到的图像作为图像a，由模数转换部4将摄像区域3b的像量 化而得到的图像作为图像b。可以针对照相机ls、 la、 lb的各自个别构成 模数转换部4，也可以针对照相机ls、 la、 lb共同地构成模数转换部4， 还可以只针对任一个照相机个别构成模数转换部4。预处理部5，针对转换为数字值的各个摄像区域的亮度信息，进行校准、 亮度的明暗校正、光学系统之间的光度的差的降低校正等的、用于高精度 地进行图像的相关运算的图像的校正处理。例如，进行一般所周知的透镜 变形校正或立体图像的平行化等的校准处理。通过进行该校准处理，从而 能够得到校正安装误差后的图像。而且，在本实施例中说明预处理部5进 行校准处理等的图像校正的情况，但是，适用本发明的测距装置不仅限于 这些测距装置。例如，也可以是没有校准处理的测距装置。
虽然在后面进行详细说明，不过，相关值算出部6，针对参考摄像光学 系统a以及参考摄像光学系统b的每一个，按每个偏移量算出表示基准图 像和参考图像的相似度的相关值，该偏移量为沿着作为连接基准摄像光学 系统s的光学中心和参考摄像光学系统a或b的光学中心的直线的基线的 方向，针对图像s中包含的基准图像将图像a或b中包含的参考图像的图 像位置(图像坐标)逐渐偏移来对图像进行比较的情况下的偏移量(块匹配运 算)。在此，针对基准图像将参考图像的一方的图像位置逐渐偏移是指，选 择基准摄像光学系统以及参考摄像光学系统生成的图像的一部分的区域， 以分别作为基准图像以及参考图像，针对基准图像将参考图像的选择位置 (搜索位置)逐渐偏移。
虽然在后面进行详细说明，不过，相关值加法部7，按每个对应的偏移 量，对在相关值算出部6按每个摄像光学系统的组合算出的相关值进行加 法运算，从而算出以实际视差为基准成为对称的分布的合成相关值。
视差算出部8，使用利用了对称性的插值式，对在相关值加法部7进行 加法运算后的、以实际视差为基准成为对称的分布的合成相关值进行插值， 从而推测基准图像以及参考图像中的子像素级的视差。在此，子像素级是 指，小数点以下的像素的精度。
后处理部9，通过进行根据在视差算出部8算出的子像素级的视差算出 对象物的三维位置(或，从测距装置到对象物为止的距离)的处理、推测的三 维形状的滤波处理、或制作推测的对象物的纹理的处理等，从而制作对应 于每个应用程序的输出的数据。而且，在本实施例中说明后处理部9算出 对象物的三维位置或距离的情况，但是，适用本发明的测距装置不仅限于 这些测距装置。例如，也可以是后处理部9将在视差算出部8算出的视差输出到其它的装置的装置。在此情况下，由于不测定到对象物为止的距离， 因此将算出视差的装置称为复眼摄像装置。
图2是示出图1示出的测距装置50和对象物12的位置关系的图。光 学中心10s是基准摄像光学系统s的光学中心，光学中心10a是参考摄像 光学系统a的光学中心，光学中心10b是参考摄像光学系统b的光学中心。 在此，将基准摄像光学系统s的光学中心10s作为三维的世界坐标系的原 点Mw(O、 0、 0)。
光轴lis是基准摄像光学系统s的光轴，光轴lla是参考摄像光学系 统a的光轴，光轴lib是参考摄像光学系统b的光轴。
对象物12是测定三维位置或距离的对象物。
对象物的表面上的点13是对象物12的表面上的一点，在此，点13 的周边的区域被设置为与摄像区域平行。并且，点13的世界坐标为 Mw(Xwl、 Ywl、 Zwl)。
其次，说明如上构成的本实施例中的测距装置50的基本工作。
图3是示出与测距装置50的对象物12的三维位置或距离的算出有关 的处理的过程的流程图。
首先，模数转换部4，将从构成摄像区域3s、 3a、 3b的摄像元件传输 的亮度信息，从模拟值转换为数字值(SIOI)。
其次，预处理部5，针对转换为数字值的各个摄像区域的亮度信息，进 行校准、亮度的明暗校正、光学系统之间的光度的差的降低校正等的、用 于高精度地进行图像的相关运算的图像的校正处理(S102)。
接着，相关值算出部6，将在S102进行校正处理后的图像分割为规定 的小区域(以下，称为块)(S103)。而且，相关值算出部6，选择与成为算出 三维位置或距离的对象的对象物12的表面上的点13相对应的图像s的块， 以作为基准图像。(S104)。而且，相关值算出部6，若能够取得还没有进行 以下所述的步骤S106 S109的处理的、参考摄像光学系统所生成的图像a 或图像b，则开始循环1(S105)。进而，相关值算出部6，若能够取得偏移 量，则开始循环2(S106)。
而且，相关值算出部6，从在步骤Sl05取得的图像a或图像b中选择 与在步骤S106取得的偏移量相对应的块，以作为参考图像(S107)。接着，算出表示作为在步骤S104选择的图像s的块的基准图像、和作为在步骤 S107选择的图像a或图像b的块的参考图像的相似度的相关值，例如算出 SAD(S108)。
如此，相关值算出部6，从预先规定的最小偏移量开始依次使偏移量变 大，从而算出每个偏移量的相关值(S106 S109)。在此，在偏移量达到预 先规定的最大偏移量的情况下，相关值算出部6，结束循环2(S106 S109)。
并且，若结束循环2(S106 S109)，即结束算出每个偏移量的相关值， 相关值算出部6，则取得还没有进行关于相关值的算出的处理的、参考摄像 光学系统所生成的图像，反复进行循环2(S106 S109)的处理(S105 SllO)。在此，在没有还没有进行关于相关值的算出的处理的、参考摄像光 学系统所生成的图像的情况下，即在结束图像a以及图像b这两者的处理 的情况下，相关值算出部6，结束循环1(S105 S110)。
接着，相关值加法部7，按每个对应的偏移量，对通过所述处理算出的 基准图像和各个参考图像的相关值进行加法运算，从而算出合成相关值 (Slll)。通过该处理得到的合成相关值，以实际视差为基准形成对称的分布。
而且，视差算出部8，使用利用了对称性的插值式，对在步骤S111进 行加法运算后的、每个偏移量的相关值进行插值(S112)。在此使用的插值 式是，例如以等角直线拟合或抛物线拟合(由二次函数的拟合)等的、在相关 值以实际视差为基准形成对称的分布的前提下的子像素视差推测方法来利 用的插值式。而且，视差算出部8，利用插值后的相关值，算出相关值为最 大或最小(类似度最高)的偏移量即子像素视差(S113)。具体而言，在利用作 为相关值的SAD的情况下，视差算出部8，算出SAD为最小的偏移量， 以作为子像素视差。
利用如此得到的视差，后处理部9，算出对象物的三维位置或距离 (S114)。
而且，在所述处理中，测距装置50，针对图像s的选择的一个块，求 出子像素视差来算出对象物的三维位置或距离，但也可以是，反复选择图 像s的块，针对图像s的所有的块，求出子像素视差来算出对象物的三维 位置或距离。
其次，参照图4 图7说明测距装置50的对象物12的三维位置的算出，以作为图3中说明了的处理的具体例子。
图4是示出通过基准摄像光学系统s拍摄图2的对象物12的表面上的 点13的周边的纹理时从对象物的一侧看的图像的一部分的图。与背景技术 的说明相同，各个四角形表示像素，各个像素中的线的密度表示亮度值。 如图示出假设，在图像s上，点13与以黑圈点示出的位置相对应。
在此情况下，如图3的步骤S103示出，相关值算出部6，将从各个摄 像光学系统得到的图像分割为规定的小区域(块)，按每个块算出三维位置。
在基准摄像光学系统s的块尺寸为水平方向4像素、垂直方向4像素 的4X4像素的情况下，如图3的步骤S104示出，对于图像s，选择包含 成为测定对象的对象物12的表面上的点13的、块14s的位置的块，以作 为基准图像。而且，对于图像s中的基准图像的选择，只要包含成为测定 对象的对象物12的表面上的点13，就可以进行任何选择，例如，也可以 选择从图4示出的位置向左偏移1像素的位置的块，以作为基准图像。
而且，由于基准摄像光学系统s与参考摄像光学系统a之间的基线长 度Ba、和基准摄像光学系统s与参考摄像光学系统b之间的基线长度Bb 相同，因此，针对图像s在图像a以及图像b产生反方向、且大小相同的 视差。在此，在图像a以及图像b产生的实际视差，均为3.6像素。
如此，在实际视差为3.6像素的情况下，在与图像s的块14s相同的 图像a的图像坐标，映出图4示出的块14a的位置的图像。并且，在与图 像s的块14s相同的图像b的图像坐标，映出图4示出的块14b的位置的 图像。也就是，在图像s、图像a、图像b的同一图像坐标的对象物12的 图像成为像图5A 图5C那样。在此，图像坐标是指，表示以各个摄像光 学系统的光轴和摄像面的交点为原点时的像素的位置的坐标。而且，在对 象物位于相当于无穷远的位置情况下，对于图像s、图像a、图像b，对象 物的像成像在同一图像坐标。
图5A是示出通过基准摄像光学系统s拍摄的图像s的一部分的图。图 5B是示出通过参考摄像光学系统a拍摄的图像a的一部分的图。图5C是 示出通过参考摄像光学系统b拍摄的图像b的一部分的图。
在图5A 图5c中，各个图像中的用粗线包围的块4X4像素的块，与 图4示出的块14s、 14a、 14b相对应，且表示同一图像坐标。以下，示出利用作为图像s、和图像a或图像b的相关值的通过(式4)求出的SAD时 的相关值的算出方法。
首先，如图2的步骤S105 S110示出，相关值算出部6，取得参考 摄像光学系统拍摄的图像中的图像a，即取得图5B的图像。而且，相关值 算出部6，将已经选择的作为基准图像的图像s的块、和作为图像a的块的 参考图像作为对象，即将图5A的用粗线包围的块、和作为图像a的块的参 考图像作为对象，从而算出SAD。此时，相关值算出部6，从与作为最小 偏移量的0像素相对应的图5B的用粗线包围的块、到与作为最大偏移量的 7像素相对应的块为止，向产生视差的方向，即向图5B示出的作为箭头线 的方向的图像水平方向的右边，按每一个像素将块偏移，从而选择作为参 考图像的±央。其结果为，算出按每个偏移量的SAD。在图6A示出如此算 出的SAD。
其次，相关值算出部6，选择还没有算出相关值的图像b，即选择图 5C的图像。而且，相关值算出部6，与图像a的情况相同，算出基准图像 和参考图像的SAD。此时，相关值算出部6，从与作为最小偏移量的0像 素相对应的图5C的用粗线包围的块、与作为最大偏移量的7像素相对应的 块为止，向产生视差的方向，即向图5C示出的作为箭头线的方向的图像水 平方向的左边，按每一个像素将块偏移，从而选择作为参考图像的块。其 结果为，算出按每个偏移量的SAD。在图6B示出如此算出的SAD。
图6A是表示图像s和图像a的SAD的推移的图，图6B是表示图像 s和图像b的SAD的推移的图。由于图示出的SAD的推移，都以实际视 差为基准成为左右非对称，因此，在通过等角直线拟合测定子像素视差的 情况下，针对作为实际视差的3.6像素，对于图像a在负的一侧产生0.4 像素左右的误差(图6A)，对于图像b在正的一侧产生0.5像素左右的误差(图 6B)。
于是，如图2的步骤S111示出，相关值加法部7，按每个对应的偏移 量对SAD进行加法运算，来算出合成相关值，以使SAD的推移以实际视 差为基准成为左右对称。
图7是示出合成SAD的推移的图，该合成SAD是按每个偏移量对图 6A和图6B示出的SAD进行加法运算时的合成相关值。如图示出，进行加法运算后的SAD的推移，以实际视差为基准成为对称。在此，若图6A 的SAD的推移为Sa(i)、图6B的SAD的推移为Sb(i)，则通过(式6)能够 算出相关值加法部7算出的合成SAD的推移S一sum(i)。<formula>formula see original document page 28</formula>(i =最小偏移量,最小偏移量+1 ，最小偏移量+ 2，…最大偏移量)
如此，由于合成SAD的推移以实际视差为基准成为对称，因此，在如 图2的步骤S112示出、通过使用利用了对称性的插值式的所述等角直线拟 合来测定子像素视差的情况下，如图7示出，视差算出部8，能够以不足 0.1像素的误差算出视差。因此，与SAD的推移成为左右非对称的情况相 比，能够大幅度地提高子像素视差测定精度。也就是，对于等角直线拟合， 在SAD的推移以实际视差为基准成为对称、且SAD的推移成直线的情况 下，能够进行没有误差的子像素视差测定。特别是，如图7示出，由于SAD 的推移不是直线，因此虽然产生视差的测定误差，但是，通过相关值(SAD) 的加法运算能够使SAD的推移以实际视差为基准成为对称，从而能够使视 差的测定误差变得非常小。
根据视差算出部8如此算出的子像素级的视差，如图3的步骤S114 示出，后处理部9，将视差转换为对应于输出的形式，从而输出数据。例如， 在输出对象物的三维位置的情况下，将m(usl、 vsl)转换为ms(xsl、 ysl)， 与背景技术的说明相同，利用(式l)、(式2)、(式3)能够求出对应于图像s 的各个块的三维位置，所述m(usl、 vsl)是图像s的二维图像坐标系，所 述ms(xsl、 ysl)是将图2的光轴10s和摄像区域3s的交点作为原点的二 维图像坐标系。在此，通过算出的子像素视差乘以像素间距，从而能够求 出(式1)的视差P。并且，在只算出从测距装置到对象物为止的距离的情况 下，与背景技术的说明相同，利用(式l)能够求出距离。
其次，利用图8、图9A以及图9B，说明在本实施例中如图7示出、 合成相关值(在此，合成SAD)的推移对实际视差成为对称的原理。
图8是示出从对象物12的一侧看的、被映射在图像s的对象物12的 表面上的点13的周边的纹理的图。并且，用粗线包围的块15s与图5A示 出的用粗线包围的块相同。用虚线包围的块15a是，被映射在与图像s的块15s相同的图像坐标 的图像a的图像区域。并且，用虚线包围的块15b是，被映射在与图像s 的块15s相同的图像坐标的图像b的图像区域。在此，图6A示出的SAD 的推移相当于，针对图8的黑箭头线16a以及白箭头线17a的区域，将作 为参考图像的图像a的块逐渐偏移来算出的SAD的推移。另一方面，图 6B示出的SAD的推移相当于，针对图8的白箭头线16b以及黑箭头线17b 的区域，将作为参考图像的图像b的块逐渐偏移来算出的SAD的推移。
而且，通过运算只能以离散的点来算出SAD。于是，图9A以及图9B 示出，在假定算出SAD的间隔、即取样间隔为无限小的情况下的SAD的 推移。
图9A是示出与在取样间隔为无限小的情况下的图6A以及图6B相对 应的SAD的推移的图。并且，图9B是示出在取样间隔为无限小的情况下 的合成SAD的推移的图。
在图9A中，用实线示出的SAD的推移示出，与图6A相对应的图像 a的SAD的推移。在用实线示出的SAD的推移中，从偏移量0到实际视 差的偏移量为止的SAD的推移(实线18a)相当于，图8示出的黑箭头线16a 的区域中的SAD，从实际视差的偏移量到其以上的偏移量的SAD的推移 (实线19a)相当于，图8示出的白箭头线17a的区域中的SAD。而且，图 9A的黑圈点是实际上的取样点。
另一方面，用虚线示出的SAD的推移示出，与图6B相对应的图像b 的SAD的推移。在用虚线示出的SAD的推移中，从偏移量0到实际视差 的偏移量为止的SAD的推移(虚线18b)相当于，图8示出的白箭头线16b 的区域中的SAD，从实际视差的偏移量到其以上的偏移量的SAD(虚线19b) 相当于，图8示出的黑箭头线17b的区域中的SAD。而且，图9A的白圈 点是实际上的取样点。
在图8中，在取样间隔为无限小的情况下，对于黑箭头线16a的SAD 的推移、即图像a中的从偏移量0到实际视差为止的推移、和黑箭头线17b 的SAD的推移、即图像b中的从实际视差到其以上的偏移量的推移，以实 际视差的偏移量为基准算出SAD的基准图像和参考图像的组合相同。因此， 图9A的以实线18a所示的SAD的推移和以虚线19b所示的SAD的推移，以实际视差的偏移量为基准成为对称。
同样，在图8中，在取样间隔为无限小的情况下，对于白箭头线17a 的SAD的推移、即图像a中的从实际视差到其以上的偏移量的推移、和白 箭头线16b的SAD的推移、即图像b中的从偏移量0到实际视差的推移， 以实际视差的偏移量为基准算出SAD的基准图像和参考图像的组合相同。 因此，图9A的以实线16b所示的SAD的推移和以虚线17a所示的SAD 的推移，以实际视差的偏移量为基准成为对称。
根据这些理由，对以各个偏移量的图像s以及图像a的块之间的SAD、 和图像s以及图像b的块之间的SAD进行加法运算的情况下，如图9B示 出，合成SAD的推移以实际视差为基准成为对称。而且，当然，即使取样 间隔变大，所述的对称性也不会被损失。因此，在本实施例中，如图7示 出、合成相关值(在此，合成SAD)的推移以实际视差为基准成为对称。
而且，在算出相关值时，即使不利用SAD而利用例如SSD或NCC 等其它的相关值，也起因于如上所述的不同摄像光学系统的基准图像和参 考图像的组合的同一性，合成相关值以实际视差为基准成为对称。
并且，在本实施例中说明了图像s中的一个块，但是，通过对图像s 中的所有的块进行同样的运算，从而能够求出在图像s映出的对象物的所 有的三维位置。
并且，在本实施例中，后处理部9，算出对象物12的三维位置或距离， 但也可以利用视差算出部8算出的视差合成多个图像。
如上所述，根据本实施例，相关值的推移与对象物的亮度的分布无关 而以实际视差为基准成为对称，因此，能够提供与对象物无关而可以测定 子像素视差的复眼摄像装置以及测距装置。 (实施例2)
其次，说明本发明的实施例2涉及的测距装置。
本实施例涉及的测距装置60，与实施例1的测距装置50不同，预处 理部5包括使图像的高频成分降低的平滑滤波部，但是，其它的构成部以 及功能等与实施例1的测距装置50相同。因此，以本实施例的测距装置的 特征部分为中心进行说明。
图10是示出本实施例涉及的测距装置60的结构的图。而且，对于与实施例l相同的构成部，以相同符号来示出，且省略说明。
如图示出，本实施例涉及的测距装置60包括的预处理部5具有平滑滤 波部23，该平滑滤波部23，除了进行用于高精度地进行与实施例l相同的 图像的相关运算的图像的校正处理以外，还进行例如像高斯(Gaussian)滤 波、平均滤波或加权平均滤波那样的使图像的高频成分降低的处理。
相关值算出部6，若利用如此使高频成分降低后的图像，通过与实施例 1示出的处理相同的处理来算出相关值的推移，相关值的推移的直线性则若 干被改进。
图IIA以及图IIB是在对图4示出的图像s、图像a、图像b执行o =1的高斯滤波的情况下得到的SAD的推移的图。
在图11A以及图11B中，由于图像的高频成分的亮度分布被降低，因 此，与实施例1的图6A以及图6B示出的SAD的推移相比，SAD的推移 的直线性若干被改进。然而，以实际视差为基准的SAD的推移的对称性几 乎不被改进。因此，即使对图11A以及图11B示出的各个SAD的推移， 进行所述的等角直线拟合的子像素视差推测，也不能期待视差推测精度大 幅度地被改进。于是，与实施例l相同需要，相关值加法部7，通过按每个 偏移量对SAD进行加法运算，从而提高SAD的推移的对称性。
图12是示出图IIA以及图IIB示出的按每个偏移量对SAD进行加法 运算时的合成SAD的推移的图。
视差算出部8，若对合成SAD的推移进行等角直线拟合的子像素视差 推测，则比实施例1的情况更能够降低误差。这是因为，除了如上所述合 成SAD的推移以实际视差为基准成为对称的缘故以外，还通过平滑滤波部 23降低亮度分布的高频成分，从而SAD的推移的直线性提高了的缘故。 也就是，在SAD的推移以实际视差为基准不成为对称的被摄体的情况下， 平滑滤波部23只除去图像的高频成分，就不能使等角直线拟合的子像素视 差推测的精度大幅度地提高。然而，像本实施例那样，在相关值加法部7 对SAD进行加法运算来合成SAD的推移以实际视差为基准成为对称的情 况下，能够与被摄体无关而使等角直线拟合的子像素视差推测的精度大幅 度地提高。
如上所述，根据本实施例，通过平滑滤波部23除去图像的高频成分，从而使相关值(在此，SAD)的推移的直线性提高。其结果为，在使用低次的 插值式对相关值的推移进行插值的情况下，测距装置能够更高精度地测定 子像素视差。 (实施例3)
其次，说明本发明的实施例3涉及的测距装置。
图13是示出本实施例涉及的测距装置70的结构的图。如图13示出， 参考摄像光学系统b的光学中心19b，针对连接基准摄像光学系统s的光 学中心19s、和参考摄像光学系统a的光学中心19a的直线(图13的虚线 18)，在虚线18的垂直方向以距离Error—v隔离。也就是，测距装置70具 有光学中心位置误差(以下称为，基线垂直方向误差)Error—v。并且，作为 光学中心19s和光学中心19a的距离的基线长度Ba、与光学中心19s和光 学中心19b的距离的基线长度Bb(与虚线18平行方向的距离)，具有 Error一h的差异。也就是，测距装置70具有基线长度误差(以下称为，基线 方向误差)ErrorJi。其它的构成部以及功能等与图10的实施例2的测距装 置60相同。因此，以本实施例的测距装置的特征部分为中心进行说明。
通过如图10的实施例2、将参考摄像光学系统的光学中心配置为对基 准摄像光学系统的光学中心成为点对称，从而能够实现具有高精度的视差 检测精度的测距装置，但是，实际上存在以下的情况，gP，因照相机的安 装误差或透镜成型误差等的原因，而产生如图13示出的基线垂直方向误差 Error一v或基线方向误差Error—h。这些误差越大，实施例2的图12示出 的相关值的推移以实际视差为基准就越不成为左右对称。因此，在本实施 例中说明这些误差带给相关值的推移的影响、和其允许范围。而且，在此 假定，基准摄像光学系统s、和参考摄像光学系统a以及参考摄像光学系统 b的光轴为平行，基准摄像光学系统的光轴位于摄像区域3s的区域中心， 并且，参考摄像光学系统a以及参考摄像光学系统b的光轴位于摄像区域 3a以及摄像区域3b的区域中心。进而假定，在摄像区域3s、摄像区域3a 和摄像区域3b中，纵横的像素排列分别为平行。而且，可以实现为，即使 不满足所述假定，也通过依据预处理部5的校准处理等的校正来成立所述 假定。
首先，说明有基线垂直方向误差Error—v的情况。在此假设，没有基线方向误差ErrorJi。在有基线垂直方向误差Error一v的情况下，如图14 示出，在图像a中，搜索相似于基准图像的参考图像的图像坐标的搜索方 向、和视差的产生方向一致。然而，在图像b中，基线垂直方向误差Error_v 越大，搜索相似于基准图像的参考图像的图像坐标的搜索方向、和视差的 产生方向就越不同。在图14中，以虚线来示出视差的产生方向，以实线来 示出搜索方向。在图14中，为了更直感地示出说明，而与实际相比使视差 的产生方向与搜索方向大不同。根据图14可知，由于被摄体距离越近，视 差就越大，因此，视差的产生位置和搜索位置的垂直方向的隔离越大，从 而不成立图12示出的以实际视差为基准成为左右对称的相关值的推移。例 如，对于照相机ls、照相机la和照相机lb假设，焦距f二5mm，基线长 度Ba二20mm，基线长度Bb-20mm，像素间距pitch=0.002mm，基线 垂直方向误差Error—v=0.5mm。在被摄体距离D = 2000mm的情况下， 若根据(式l)计算视差P，则产生图15示出的25像素的视差。此时，对于 图像a中包含的被摄体，如图14说明，在视差的搜索方向产生25像素的 视差，即在与基线水平的方向产生25像素的视差，另一方面，对于图像b 中包含的被摄体，在图14的虚线方向产生25像素的视差。此时，图像b 中包含的被摄体，根据基线垂直方向误差ErroLv的影响，与图像s相比， 在视差搜索方向的垂直方向偏移0.62像素左右而被映射。在视差搜索方向 的平行方向的视差为24.99像素左右，对25像素的差异为0.01像素以下， 因此可以忽视的该视差。据此，在此情况下，在图像s和图像a中的SAD 的推移、和在图像s和图像b中的SAD的推移，在视差搜索方向的垂直方 向偏移0.62像素左右，因此，严格而言，以实际视差为基准不成为左右对 称。在被摄体距离更近的情况下，由于图像b在视差搜索方向的垂直方向 的映射的偏移变大，因此SAD的推移的左右对称性更降低。
图16示出在使用图13示出的具有基线垂直方向误差Error—v的测距 装置来拍摄某个被摄体的情况下的测距精度的降低(视差检测误差的增加) 的模拟验证结果的图表。由于测距精度的降低起因于视差搜索方向的垂直 方向的映射的偏移量，因此，将图16的横轴作为对视差搜索方向的垂直方 向的映射的偏移量。若图16的横轴的图像偏移量为P一v，则能够以(式7) 来换算Error一v。公式7
Error 一 v = D P廿，P — v …(式7)
在此，D为被摄体距离，pitch为像素间距，f为焦距。在图16中可知， 图像偏移P一v越大，视差检测误差就越大。图16的虚线的基准测距精度是 指，以模拟来求出在利用同一被摄体的情况下的图40A的以往的立体相机 (3目艮)的测距精度(视差检测误差)的结果。将以往的立体相机的焦距、像素 间距、被摄体距离设定为相同，图40A的基准摄像光学系统s和参考摄像 光学系统a的基线长度、以及基准摄像光学系统s和参考摄像光学系统b 的基线长度，都与图13的本实施例的基线长度Ba相同。由于对该以往的 立体相机(3眼)的模拟结果没有给予相当于基线垂直方向误差Error—v的安 装误差(因为，通过以往的校准方法等能够校正)，因此基准测距精度为一定 值。根据图16可知，若图像偏移P一v在0.15像素以内，则比以往的立体 相机更能够进行高精度的测距(视差检测)。因此，对于本实施例的测距装置 70，构成测距装置70，使得(式7)中P_v=0.15，来将基线垂直方向误差 Erroi^v为(式8)，据此，测距装置70，比以往的立体相机更能够进行高精 度的测距(视差检测)。公式8
E證—WD"'0.15 …(式8)
例如，在(最小)被摄体距离D-500mm、像素间距pitch=0.002mm、 焦距5mm的情况下，通过将垂直方向误差Error一v制作为0.03mm以内， 从而比以往的立体相机更能够进行高精度的测距(视差检测)。因此，高精度 地安装图13的各个照相机的光学中心的相对位置，以使安装时满足(式8) 即可。例如，通过以一体成型来制作透镜2s、 2a、 2b，从而能够较容易地 实现。并且，当然，也可以以晶圆级相机(Wafer Level Camera)(参照，日 经MICRODEVICES 2008年7月号)等的采用了照相机的大量生产技术的 立体相机来实现，该晶圆级相机是以MEMS(Micro Electro Mechanical Systems :微电子机械系统)技术等来实现的。并且，本实施例中对3眼进 行了说明，但是，当然5眼、7眼、9眼等多数光学系统也能够适用。而且，从图16示出的图表中得到的P_v=0.15不是，只在拍摄特定的被摄体的情 况下得到的值。即使变更被摄体，也能够得到同样的倾向，P_v=0.15为 不依赖于被摄体的值。
其次，说明有基线方向误差ErrorJi的情况。在此假设，没有基线垂 直方向误差Error一v。在有基线方向误差Error—h的情况下，由于如图13 示出基线长度Ba和基线长度Bb不同，因此如图17示出对同一被摄体的 图像a产生的视差Pa、和图像b产生的视差Pb不同。因此，如图18A以 及图18B示出，图像s和图像a的SAD的推移(图18A)、和图像s和图像 b的SAD的推移(图18B的黑圆点)的对实际视差的对称性变坏。在此，实 际视差是指，图像s和图像a的实际视差。基线方向误差ErrorJi越大， 对实际视差的对称性就越坏。这是因为，例如，在基线方向误差ErrorJi 为正的情况下，如图18B示出，图像s和图像b的SAD的推移在偏移量 变大的方向平行移动的缘故。基线方向误差Error—h越大，所述平行移动 的量就越多，从而对称性变坏。在图18B中白圈点的SAD的推移是，在 图10的实施例2中的图像s和图像b的SAD的推移(g卩，Error_h=0)。 图19示出按每个偏移量对图18A和图18B的SAD进行加法运算而得到 的合成SAD的推移的图。根据图19可知，由于以实际视差为基准的SAD 的推移的对称性变坏，因此可知测定视差从实际视差偏移了。
图20示出在使用图13示出的具有基线方向误差ErrorJi的测距装置 来拍摄某个被摄体的情况下的测距精度的降低(视差检测误差的增加)的模 拟验证结果的图表。由于视差检测误差起因于视差搜索方向的映射的偏移 量，因此，将图20的横轴作为对视差搜索方向的映射的偏移量。若图20 的横轴的图像偏移量为P一h，则能够以(式9)来换算Error一h。公式9
E丽一h:D'PitCfh'P-h …(式9)
在此，D为被摄体距离，pitch为像素间距，f为焦距。在图20中可知， 图像偏移P一h越大，视差检测误差就越大。图20的实线的基准测距精度是 指，以模拟来求出在利用同一被摄体的情况下的图40A的以往的立体相机 (3目艮)的测距精度(视差检测误差)的结果。将以往的立体相机的焦距、像素间距、被摄体距离设定为相同，图40A的基准摄像光学系统s和参考摄像 光学系统a的基线长度、以及基准摄像光学系统s和参考摄像光学系统b 的基线长度，都与图13的本实施例的基线长度Ba相同。由于对该以往的 立体相机(3眼)的模拟结果没有给予相当于基线方向误差ErrorJi的安装误 差(因为，通过以往的校准方法等能够校正)，因此基准测距精度为一定值。 根据图20可知，若图像偏移PJi在0.2像素以内，则比以往的立体相机更 能够进行高精度的测距(视差检测)。因此，对于本实施例的测距装置70， 构成测距装置70，使得(式9)中PJi-0.2，来将基线方向误差EirorJi为 (式10)，据此，测距装置70，比以往的立体相机更能够进行高精度的测距(视 差检测)。
<formula>formula see original document page 36</formula>
例如，在(最小)被摄体距离D二500mm、像素间距pitch=0.002mm、 焦距5mm的情况下，通过将垂直方向误差Error—v制作为0.04mm以内， 从而比以往的立体相机更能够进行高精度的测距(视差检测)。因此，高精度 地安装图13的各个照相机的光学中心的相对位置，以使安装时满足(式10) 即可。例如，通过以一体成型来制作透镜2s、 2a、 2b，从而能够较容易地 实现所述内容。并且，当然，也可以以晶圆级相机(参照，日经 MICRODEVICES 2008年7月号)等的采用了照相机的大量生产技术的立 体相机来实现，该晶圆级相机是以MEMS技术等来实现的。并且，本实施 例中对3眼进行了说明，但是，当然5眼、7眼、9眼等多数光学系统也能 够适用。而且，与P—v-0.15相同，从图20示出的图表中得到的P—h=0.2 不是，只在拍摄特定的被摄体的情况下得到的值。即使变更被摄体，也能 够得到同样的倾向，P—h=0.2为不依赖于被摄体的值。
根据上述，本实施例涉及的测距装置70，若构成为满足(式8)、(式10)， 则比以往的立体相机更能够进行高精度的测距(视差检测)。 (实施例4)
其次，说明本发明的实施例4涉及的测距装置。
本实施例涉及的测距装置80，与实施例2的测距装置60不同，包括八个参考摄像光学系统，并且，相关值算出部6包括换算参考摄像光学系 统之间的视差的差异的视差换算部，但是，其它的构成部以及功能等与实 施例2的测距装置60相同。因此，以本实施例的测距装置的特征部分为中 心进行说明。
图21是示出本实施例涉及的测距装置80的结构的图。而且，对于与 实施例2相同的构成部，以相同符号来示出，且省略说明。
如图21示出，测距装置80包括复眼照相机20。复眼照相机20由一 体成型的九个透镜矩阵(Lens array)、和具有九个不同相同的摄像区域的单 一的CCD或CMOS等的的固体摄像元件构成。在此，光波段分离滤波或 光圈等，由于不是本发明的主要部分，因此图中没有示出。复眼照相机20， 由于透镜直径比普通的照相机小，因此能够设计为透镜的焦距短，且能够 构成为光学系统整体的厚度非常薄。并且，通过由透镜阵列一体成型，从 而也能够高精度地制作阵列中包含的各个光学系统的光轴之间的相对位置 关系(例如，误差不足5um)。
而且，在本实施例中说明各个摄像光学系统为透镜阵列的情况，但是， 适用本发明的测距装置，不仅限于这些测距装置。例如，也可以由个别的 摄像光学系统构成测距装置。也可以利用多个摄像元件。
基准摄像光学系统s，在结构上包括透镜21s以及摄像区域22s，且被 配置在固体摄像元件的中心附近。参考摄像光学系统a h，在结构上分别 包括透镜21a h以及摄像区域22a h。
在此，与实施例2的测距装置60相同，基准摄像光学系统s、参考摄 像光学系统a h具有以下示出的特征。首先，各个摄像光学系统的光轴为 平行。而且，各个摄像光学系统的光学中心被配置在同一平面上，且该平 面与光轴垂直。并且，各个摄像光学系统的摄像区域(二维平面)被配置为与 光轴垂直，所有的摄像光学系统的焦距(从摄像区域到光学中心为止的距离) 相同。
并且，基准摄像光学系统s、参考摄像光学系统a和参考摄像光学系统 b的光学中心，被配置在同一条直线上。而且，参考摄像光学系统a的光学 中心和参考摄像光学系统b的光学中心，被配置在以基准摄像光学系统s 为基准的点对称的位置。并且，基准摄像光学系统s、参考摄像光学系统c和参考摄像光学系统d的光学中心，被配置在同一条直线上。而且，参考 摄像光学系统c的光学中心和参考摄像光学系统d的光学中心，被配置在 以基准摄像光学系统s为基准的点对称的位置。并且，基准摄像光学系统s、 参考摄像光学系统e和参考摄像光学系统f的光学中心，被配置在同一条直 线上。而且，参考摄像光学系统e的光学中心和参考摄像光学系统f的光学 中心，被配置在以基准摄像光学系统s为基准的点对称的位置。并且，基 准摄像光学系统s、参考摄像光学系统g和参考摄像光学系统h的光学中心， 被配置在同一条直线上。而且，参考摄像光学系统g的光学中心和参考摄 像光学系统h的光学中心，被配置在以基准摄像光学系统s为基准的点对 称的位置。
并且，为了便于说明而假定，连接基准摄像光学系统s、参考摄像光学 系统a和参考摄像光学系统b的光学中心的所述直线，平行于摄像区域22s 的水平方向像素排列。因此，在各个摄像区域的像素排列的水平方向产生， 基准摄像光学系统s与参考摄像光学系统a之间产生的视差、以及基准摄 像光学系统s与参考摄像光学系统b之间产生的视差。
根据上述，基准摄像光学系统s和参考摄像光学系统a的基线长度Ba、 与基准摄像光学系统s和参考摄像光学系统b的基线长度Bb相同。并且， 基准摄像光学系统s和参考摄像光学系统c的基线长度Bc、与基准摄像光 学系统s和参考摄像光学系统d的基线长度Bd相同。并且，基准摄像光学 系统s和参考摄像光学系统e的基线长度Be、与基准摄像光学系统s和参 考摄像光学系统f的基线长度Bf相同。并且，基准摄像光学系统s和参考 摄像光学系统g的基线长度Bg、与基准摄像光学系统s和参考摄像光学系 统h的基线长度Bh相同。
相关值算出部6，进行实施例1中说明的算出相关值的处理，另外具有 进行视差的换算处理的视差换算部24。虽然在后面进行详细说明，不过， 视差换算部24，在算出被配置为基线长度不同的、参考摄像光学系统的相 关值时，将块的偏移量变换为相关值加法部7能够进行加法运算的偏移量。 例如，视差换算部24，在算出被配置为基线长度和参考摄像光学系统a不 同的参考摄像光学系统e的相关值时，通过在算出参考摄像光学系统a所 生成的参考图像的相关值时利用了的块的偏移量乘以Le *Me(=Ke)，从而变换为相关值加法部7能够进行加法运算的偏移量，该Le .Me(二Ke)为值 Le和值Me的乘积，该值Le是基线长度Be除以基线长度Ba而得到的值， 该值Me是与基线长度Ba平行的方向的像素间距pitch_a除以与基线长度 Be平行的方向的像素间距pitch一e而得到的值。在此，与基线长度平行的 方向的像素间距是指，在摄像光学系统所拍摄的图像中，在与基线平行的 同一条直线上出现与像素的中心相对应的点的最短周期。
而且，在本实施例中，偏移量的单位是表示基线方向的像素间距的"像 素"。因此，在对因基线方向而像素间距不同的摄像光学系统之间的相关值 进行加法运算时，视差换算部24需要进行单位的变换。也就是，需要对成 为基准的偏移量，除了乘以基线长度的比率以外，还乘以作为像素间距的 比率的Me，从而进行视差的换算。但是，在偏移量的单位是不依赖于基线 方向的单位的情况下，例如，在偏移量的单位是亳米等的单位的情况下， 不需进行单位的变换。也就是，视差换算部24，不利用作为像素间距的比 率的Me,而作为基线长度的比率的Le乘以成为基准的偏移量，从而能够 换算偏移量。
相关值加法部7，与实施例2相同，对于在相关值计算部6按每个光 学系统的组合算出的相关值，根据视差换算部24所变换的偏移量，对每个 对应的偏移量的所有的相关值进行加法运算。其结果为，相关值加法部7， 算出以实际视差为基准成为对称的推移的合成相关值。
图22是示出图21示出的测距装置80和对象物12的位置关系的图。
如图示出，与实施例2相同，将基准摄像光学系统s的光学中心25s 作为世界坐标的原点Mw(O、 0、 0)，将作为对象物12的表面上的1点的 点13的世界坐标作为Mw(Xwl、 Ywl、 Zwl)。
而且，如上所述，对于参考摄像光学系统c和参考摄像光学系统d，与 参考摄像光学系统a和参考摄像光学系统b相同，摄像光学系统的光学中 心被配置为对基准摄像光学系统s的光学中心成为点对称，且各个光学中 心被配置在同一条直线上。因此，若对基准摄像光学系统s和参考摄像光 学系统c、以及基准摄像光学系统s和参考摄像光学系统d的通过块匹配运 算得到的每个偏移量的SAD进行加法运算，则得到以实际视差为基准成为 对称的SAD的推移。但是，在基准摄像光学系统s和参考摄像光学系统a系统S和参考摄像 光学系统C以及参考摄像光学系统d的基线长度不同的情况下，实际视差
不同。因此，相关值加法部7，即使按每个相同的偏移量将SAD的推移合 成(进行加法运算)，也不能得到以实际视差为基准成为对称的SAD的推移。 于是，视差换算部24需要，按照基线长度的长度和像素间距来变更算出 SAD时的偏移量。
其次，说明如上构成的实施例中的测距装置80的基本工作。
图23是示出与测距装置80的对象物12的三维位置或距离的算出有关 的处理的过程的流程图。
步骤S201 S204的处理，由于与实施例1的图3中示出的步骤S101 S104的处理相同，因此省略说明。
在步骤S204的处理结束的情况下，相关值算出部6，若能够取得还没 有进行以下所述的步骤S206 S212的处理的、参考摄像光学系统所生成 的图像a h中的任一个，则开始循环1(S205)。
其次，相关值算出部6包括的视差换算部24，例如，若以基准摄像光 学系统s和参考摄像光学系统a以及参考摄像光学系统b为基准，则取得 参考摄像光学系统a和基准摄像光学系统s的基线长度(成为基准的基线长 度)、和像素间距(S206)。而且，视差换算部24，取得生成了在步骤S205 所选择的图像的参考摄像光学系统和基准摄像光学系统s的基线长度、和 像素间距(S207)。接着，视差换算部24，根据在步骤S206取得的成为基 准的基线长度、和在步骤S207取得的基线长度以及像素间距，算出新的偏 移量(S208)。
而且，相关值算出部6，若能取得如上算出的新的偏移量，则幵始循环 2(S209)。
进而，相关值算出部6，从在步骤S205取得的图像a h中的任一个 图像中选择与在步骤S209取得的偏移量相对应的块，以作为参考图像 (S210)。接着，算出表示作为在步骤S204选择的图像s的块的基准图像、 和作为在步骤S209选择的图像a h中的任一个图像的块的参考图像的相 似度的相关值，例如算出SAD(S211)。
如此，相关值算出部6，算出按每个在步骤S208算出的新的偏移量的相关值(S212、 S209)。在此，在偏移量达到预先规定的最大偏移量的情况 下，相关值算出部6，结束循环2(S209、 S212)。
并且，若结束循环2(S209、 S212)，即结束算出每个偏移量的相关值， 相关值算出部6，则取得还没有进行关于相关值的算出的处理的、参考摄像 光学系统所生成的图像，反复进行循环2(S209、S212)的处理(S213、S205)。 在此，在没有还没有进行关于相关值的算出的处理的、参考摄像光学系统 所生成的图像的情况下，即在结束图像a以及图像b这两者的处理的情况 下，相关值算出部6，结束循环1(S205、 S213)。
接着，相关值加法部7，按每个对应的偏移量，对通过所述处理算出的 基准图像和各个参考图像的相关值进行加法运算(S214)。在此，不仅对配 置为对称的参考摄像光学系统的相关值进行加法运算，而对所有的参考摄 像光学系统的相关值进行加法运算。通过该处理得到的合成相关值，以实 际视差为基准形成对称的分布。在此，所谓实际视差是指，作为基准的基 线长度和像素间距中的视差量。
以下的步骤S215 S217的处理，由于与实施例1的图3中示出的步 骤S112 S114的处理相同，因此省略说明。
其次，进行图23说明的处理的详细说明。在图23的步骤S208中， 视差换算部24，根据基线长度以及像素间距的比率来算出新的偏移量。具 体而言，在相关值计算部6算出参考摄像光学系统c生成的图像c的相关 值的情况下，若将成为基准的基线长度作为参考摄像光学系统a的基线长 度、将成为基准的像素间距作为与基线长度Ba平行的方向的像素间距 pitch_a，视差换算部24，则通过(式ll)，根据基线长度的比率，能够算出 在算出SAD的推移时的偏移量的增加量Kc(单位像素)。而且，算出图像 a的相关值时的偏移量的增加量为1像素。公式11
<formula>formula see original document page 41</formula>
在此，Bc为基准准摄像光学系统s和参考摄像光学系统c之间的基线 长度，pitch—c为与基线长度Bc平行的方向的像素间距。而且，如上所述， 基线长度Ba和基线长度Bb相同，基线长度Bc和基线长度Bd也相 同。因此，视差换算部24，根据所述增加量Kc能够算出在算出基准摄像光学 系统s和参考摄像光学系统c、以及基准摄像光学系统s和参考摄像光学系 统d的SAD的推移时的偏移量。也就是，在最小偏移量为0像素的情况下， 新的偏移量为0像素、Kc像素、2.Kc像素、3.Kc像素、 。假如，在 最小偏移量为一2像素素的情况下，偏移量为一2'Kc像素、一Kc像素、0 像素、Kc像素、2'Kc像素、3'Kc像素、 。而且，根据所述的增加量 Kc的值，有可能成为子像素单位的偏移量。在此情况下，在相关值算出部 6选择参考图像时，通过双线性插值等的处理来抽出参考图像，从而能够算 出相关值。
同样，在基准摄像光学系统s、参考摄像光学系统e和参考摄像光学系 统f的组合的情况下，视差换算部24，也算出在算出SAD时的新的偏移量。 通过(式12)，能够求出在视差换算部24算出新的偏移量时利用的增加量。公式12
Ke = g^ pitch —a (式12) Ba pitch — e
在此，Be为基准准摄像光学系统s和参考摄像光学系统e之间的基线 长度，pitch—e为与基线长度Be平行的方向的像素间距。而且，如上所述， 基线长度Be和基线长度Bf相同。因此，视差换算部24，根据所述增加量 Kc能够算出在算出基准摄像光学系统s和参考摄像光学系统e、以及基准 摄像光学系统s和参考摄像光学系统f的SAD的推移时的偏移量。也就是， 在最小偏移量为0像素的情况下，新的偏移量为0像素、Ke像素、2 Ke 像素、3'Ke像素、 。
同样，在基准摄像光学系统s、参考摄像光学系统g和参考摄像光学系 统h的组合的情况下，视差换算部24，也算出在算出SAD时的新的偏移 量。通过(式13)，能够求出在视差换算部24算出新的偏移量时利用的增加
公式13
(式13)
Ba pitch —g长度，pitch—g为与基线长度Bg平行的方向的像素间距。而且，如上所述， 基线长度Bg和基线长度Bh相同。因此，视差换算部24，根据所述增加 量Kc能够算出在算出基准摄像光学系统s和参考摄像光学系统g、以及基 准摄像光学系统s和参考摄像光学系统h的SAD的推移时的偏移量。也就 是，成为O像素、Kg像素、2'Kg像素、3'Kg像素、""的偏移方法。
在此，存储基准摄像光学系统s和参考摄像光学系统a h的SAD的 推移的变量分别作为Sa(i)、 Sb(i)、 Sc(i)、 Sd(i)、 Se(i)、 Sf(i)、 Sg(i)、 Sh(i)。 在此情况下，如图23的步骤S214示出，相关值加法部7，通过(式14)将 SAD的推移合成(进行加法运算)。用于该SAD的推移的合成的偏移量是， 视差换算部24算出的新的偏移量。公式14
S一麵(/) = + ,) + &(,) + ,) + Se(/) +柳+ Sg(O +幼(,).. (式14) (i =最小偏移量,最小偏移量+1 ，最小偏移量+ 2,…最大偏移量)
如此，与实施例l相同，相关值加法部7合成的SAD的推移也，以实 际视差为基准成为对称。并且，与实施例1相比，由于对基准摄像光学系 统s成为对称的两个参考摄像光学系统的组合的数量增加，因此，因平滑 效果而SAD的推移的变动变小，且SAD的推移的直线性更提高。
与实施例2相同，根据相关值加法部7合成的相关值8_811111，视差算 出部8，如图23的步骤S215以及S216示出，算出子像素级的视差。此 时，由于SAD的推移的直线性提高了，因此，在使用低次的插值式的情况 下，与对象物的亮度分布无关而能够高精度地测定子像素视差。
并且，根据视差算出部8算出的子像素级的视差，如图23的步骤S217 示出，将视差变换为对应于后处理部9的输出的形态，从而输出数据。例 如，在输出对象物的三维位置的情况下，将m(usl、 vsl)转换为ms(xsl、 ysl)，与背景技术的说明相同，利用(式l)、(式2)、(式3)能够求出对应于 图像s的各个块的三维位置，所述m(usl、 vsl)是图像s的二维图像坐标 系，所述ms(xsl、 ysl)是将图22的摄像光学系统s的光轴和摄像区域22s 的交点作为原点的二维图像坐标系。使用基线长度Ba(基准摄像光学系统s 和参考摄像光学系统a之间的基线长度)，以作为此时使用的基线长度的参数。而且，通过由所述处理算出的子像素视差乘以像素间距，从而能够求 出(式l)的视差P。
如上所述，根据本实施例，由于与对象物的亮度分布无关而相关值的 推移以实际视差为基准成为对称，因此，能够提供与对象物无关而能够高 精度地测定子像素视差的测距装置。而且，通过使对基准摄像光学系统S 成为对称的两个参考摄像光学系统的组合的数量增加，从而因平滑效果而
SAD的推移的变动变小，并且，使用低次的插值式来能够提供可以更高精 度地测定子像素视差的测距装置。 (实施方式)
本实施方式中示出，以往的立体相机和本发明涉及的测距装置的测距 精度(视差检测精度)的比较模拟结果的例子。图24A 图24C示出以往的 立体相机的结构。图24D 图24F示出本发明涉及的测距装置的结构，即， 将两个参考光学系统的光学中心配置为对基准摄像光学系统的光学中心成 为点对称，并构成一个以上的该两个参考光学系统的对，从而与对象物的 亮度分布无关而合成相关值以实际视差为基准成为左右对称。在图24A 图24F中，对于所有的光学系统，焦距、水平以及垂直方向像素间距、被 摄体距离都相同。假设，对于与各个参考图像的基准摄像光学系统相对应 的基线长度，在水平以及垂直方向产生基线的情况下均为相同，在斜方向 产生基线的情况下为水平方向的基线长度的sqrt(2)倍。在此，不包含实施 例3中说明的基线垂直方向误差或基线方向误差。图25A 图25D是示出 用于测距精度的比较的被摄体的图。对于图25A 图25D的各个被摄体， 按照各个光学系统，适当且理想地、且按每个0.1像素来制作10.0 11.0 像素的偏移图像(视差图像)，从而用于比较模拟。对图像施加实际上像素元 件中观测到的程度的白噪声。图26A 图26D是示出与图25A 图25D 的各个被摄体相对应的比较模拟结果的图表。图26A 图26D的各个图的 横轴示出进行视差运算时的运算块尺寸(正方形运算块的一边的像素)，纵轴 示出与各自相对应的视差检测误差。各个运算块的视差检测误差的算出方
法示出以下的值，即，以该运算块尺寸来对图25A 图25D的各个被摄体 进行区域分割，并以被摄体区域整体来将各个运算块的视差检测误差平均 化的值。并且，对于各个运算块的视差检测误差，对按每个O.l像素制作的10.0 11.0像素的偏移图像(视差图像)的所有的偏移量(视差图像)，算出视 差检测误差的平均值(g卩，验证了小数点以下为按每个0.1像素0.0 0.9的 所有的视差量)。
根据图26A 图26D的比较模拟结果可知，对于任何被摄体，本发明 涉及的测距装置与以往的立体相机相比，视差检测误差大幅度地降低了(视 差检测精度提高了)。 (变形例1)
所述各个实施例中的测距装置是用于说明本发明的一个例子，例如， 也可以构成为如图27A示出的测距装置。
图27A是示出本变形例涉及的测距装置的摄像光学系统的结构的图。 如图示出，本变形例涉及的测距装置包括两个纹理摄像光学系统，该纹理 摄像光学系统用于将高分辨率的彩色的纹理映射到基准摄像光学系统s以 及参考摄像光学系统a f、和由基准摄像光学系统s以及参考摄像光学系 统a f所算出的对象物的三维位置(形状)。也可以在任意的位置配置纹理 用摄像光学系统，以及，也可以配置任意的数量的纹理用摄像光学系统。 另外，为了追加附加性功能，而可以向变形例涉及的测距装置追加新的摄 像光学系统。
(变形例2)
所述各个实施例中的测距装置包括了四个或八个参考摄像光学系统， 但是，当然可以包括六个参考摄像光学系统。
图27B是示出本变形例涉及的测距装置的摄像光学系统的结构的图。 如图示出，本变形例涉及的测距装置包括七个摄像光学系统。并且，在本 变形例涉及的测距装置中参考摄像光学系统a的光学中心和参考摄像光 学系统b的光学中心，大致被配置在一条直线上，且以基准摄像光学系统s 的光学中心为基准成为点对称；参考摄像光学系统c的光学中心和参考摄 像光学系统d的光学中心，大致被配置在一条直线上，且以基准摄像光学 系统s的光学中心为基准成为点对称；参考摄像光学系统e的光学中心和 参考摄像光学系统f的光学中心，大致被配置在一条直线上，且以基准摄像 光学系统s的光学中心为基准成为点对称。
如本变形例涉及的测距装置，本发明涉及的测距装置的结构为，具有大致被配置在一条直线上的、以基准摄像光学系统为基准大致成为对称的
参考摄像光学系统的多个对即可。进而，包括多个(例如，10个、12个等) 参考摄像光学系统的测距装置，也可以得到本发明的效果。
而且，像所述的实施例4、变形例1以及变形例2涉及的测距装置那 样，在包括四个以上的参考摄像光学系统的情况下，根据参考摄像光学系 统的配置，有可能块匹配运算时的偏移量成为子像素单位，从而块匹配运 算的时间增大。于是，对于块匹配运算时的偏移量不成为子像素单位的摄 像光学系统的配置，即对于块匹配运算的运算时间变短的摄像光学系统的 配置，利用图28A 图28C进行说明。
图28A 图28C是表示摄像光学系统的配置的图。在图28A 图28C 示出的各个摄像光学系统中，构成所有的摄像光学系统的摄像区域的像素 的水平方向的排列为平行，并且，构成所有的摄像光学系统的摄像区域的 像素的垂直方向的排列为平行。在此，将两个参考摄像光学系统作为摄像 光学系统群1,该两个参考摄像光学系大致被配置在与像素的排列方向(水 平或垂直)平行的一条直线上，且光学中心以基准摄像光学系统为基准大致 成为点对称。并且，将其它的两个参考摄像光学系统作为摄像光学系统群2， 该其它的两个参考摄像光学系大致被配置在与像素的排列方向(水平或垂直) 平行的一条直线上，且光学中心以基准摄像光学系统为基准大致成为点对 称。此时，在摄像光学系统群1以及2中，基准摄像光学系统s和两个各 参考摄像光学系统的基线长度，分别为B1以及B2。并且，摄像光学系统 群1以及2的块匹配运算时的块的偏移方向、即与各个基线长度平行的方 向的像素间距，分别为pl以及p2。
在此，在Bl / pl和B2 / p2处于整数倍的关系的情况下，在选择与块 匹配运算时的偏移量相对应的块以作为参考图像时，块的边界和像素的边 界一致(总是参考图像的剪取坐标成为整数)。其结果为，在相关值算出部6 选择参考图像时，不需要进行双线性插值等的插值运算，因此，能够大幅 度地减少运算时间。
在图28A示出的摄像光学系统中，摄像光学系统群1为参考摄像光学 系统a以及参考摄像光学系统b，摄像光学系统群2为参考摄像光学系统c 以及参考摄像光学系统d。在此，垂直方向的像素间距和水平方向的像素间距为相同的pl(pl=p2)。基准摄像光学系统s和参考摄像光学系统a的基 线长度Ba、基准摄像光学系统s和参考摄像光学系统c的基线长度Be的 基线长度B为相同。据此，由于成立Ba/pl二Bc/p2，因此，块匹配运 算时的每个偏移量的块的边界和像素的边界一致。其结果为，能够大幅度 地减少块匹配运算的运算时间。
在图28B示出的摄像光学系统中，除了图28A的摄像光学系统的配置 以外，还参考摄像光学系统e、 f、 g、 h分别被配置在对象素排列斜45度 方向的、sqrt(2)倍的基线长度的长度的位置。此时，与基准摄像光学系统s 和参考摄像光学系统e、 f、 g、 h的基线长度平行的方向的像素间距p2，都 成为水平(垂直)方向的像素间距的sqrt(2)倍(p2二sqrt(2) pl)。因此，若 假定参考摄像光学系统e为摄像光学系统群2来说明以代表，还考虑Be = sqrt(2) Ba，则成立Ba / pl = Be / p2。 Be为基准摄像光学系统s和参考 摄像光学系统e的基线长度。在此情况下，在选择与块匹配运算时的偏移 量相对应的块以作为参考图像时，块的边界和像素的边界一致(总是参考图 像的剪取坐标成为整数)。其结果为，能够大幅度地减少块匹配运算的运算 时间。
在图28C示出的摄像光学系统中，与图28A以及图28B不同，作为 水平方向的像素间距的pl比作为垂直方向的像素间距的p2长。于是，为 了对应于水平方向以及垂直方向的像素间距的比率，而基准摄像光学系统s 和参考摄像光学系统a以及b的基线长度Ba、比基准摄像光学系统s和参 考摄像光学系统c以及d的基线长度Bc长。也就是，为了成立Ba/pl二 Bc/p2,而配置各个摄像光学系统。其结果为，与图28A以及图28B相 同，能够大幅度地减少块匹配运算的运算时间。
如上所述，按照构成作为各个摄像光学系统的摄像装置的摄像区域的 像素的位置关系配置各个摄像光学系统，从而能够大幅度地减少块匹配运 算的运算时间。也就是，各个摄像光学系统被配置为，构成各个摄像光学 系统的摄像区域的像素的排列方向以及距离、和各个摄像光学系统的基线 的方向以及长度相似，从而能够大幅度地减少运算时间。 (变形例3)
所述的各个实施例涉及的测距装置，如图29A以及图29B示出，各个参考图像的光学中心对基准摄像光学系统S的光学中心大致成为点对称即
可。图29A以及图29B是本发明涉及的从测距装置的上面看测距装置的、 装置的其它的例子的图。省略了透镜以及摄像元件以外的结构。如图29A 示出，也可以连接各个光学系统的光学中心的基线与各个光学系统的光轴 不垂直。在此情况下，利用视差搜索时按每个偏移量使块尺寸可变的、以 往的视差搜索方法，导出对各个参考摄像光学系统的相关值即可，由于合 成的相关值的推移的、对实际视差的对称特性不被损坏，因此能够得到本 发明的效果。或者，也可以通过利用仿射变换的校准(视点变换)使光轴与基 线方向垂直，从而进行演算。并且，如图29B示出，不一定需要各个光学 系统的光轴为平行。这是因为，通过利用仿射变换的校准(视点变换)能够校 正光轴的方向的缘故。
以上，说明了本发明的实施例以及变形例涉及的测距装置，但是，本 发明的具体结构不仅限于所述的各个实施例以及各个变形例。并且，也可 以组合相互不同的实施例以及变形例中的构成部。若不脱离发明目的的范 围，则能够进行各种变更以及修正。
例如，也可以是所述的各个实施例以及各个变形例涉及的摄像光学系
统，包括拜尔(Bayer)排列等的彩色摄像元件的情况。在此情况下，禾拥通
过一般周知的去马赛克(demosaic)处理等而高分辨率化后的彩色图像，与
所述的各个实施例以及各个变形例相同，能够高精度地算出视差。
并且，在所述的各个实施例以及各个变形例中，基准摄像光学系统的 光学中心和其它的两个参考摄像光学系统的光学中心被配置在一条直线
上，且以基准摄像光学系统的光学中心为基准成为点对称，但也可以，基 准摄像光学系统的光学中心和其它的两个参考摄像光学系统的光学中心大 致被配置在一条直线上，且以基准摄像光学系统的光学中心为基准大致成 为点对称。
在此所述的大致被配置在一条直线上、以及大致成为点对称是指，满 足在实施例3说明的(式8)、(式10)的条件的范围。
并且，在所述的各个实施例中利用了 SAD以作为算出相关值的函数， 但也可以利用例如ZNCC(互相关系数)。在利用ZNCC的情况下，相关最 高时相关值为l，相关低时相关值不足l。如此，在相关值的推移成为最大的偏移量作为视差、且以子像素级来求出的情况下，也可以适用本发明。 也就是，根据本发明，由于相关值的推移以实际视差为基准成为对称，因 此，与相关值的推移的极值的最大、最小无关，而能够高精度地求出子像 素视差。
并且，所述的各个实施例以及变形例涉及的测距装置中，可以不算出 对象物的三维位置或距离。在此情况下，测距装置被称为复眼摄像装置。 复眼摄像装置与测距装置相同，成为例如图1示出的结构。但是，与测距 装置不同，复眼摄像装置不包括算出对象物的三维位置或距离的后处理部9。
并且，本发明，除了可以作为如上所述的测距装置来实现以外，也可 以作为将这些测距装置具有的特征构成部作为步骤的测距方法或视差算出 方法来实现，还可以作为使计算机执行这些步骤的程序来实现。并且，当 然也可以通过CD—ROM等存储介质或互联网等传输介质分发这些程序。
并且，本发明，也可以作为实现所述的测距装置的构成部具有的功能 的一部分的、半导体集成电路(LSI)来实现。
本发明涉及能够算出在拍摄同一对象物的多个摄像光学系统产生的视 差的复眼摄像装置，以及涉及能够求出从装置到对象物为止的距离、或对 象物的三维位置或形状的测距装置，并且有用于车载、监视、医疗、机器 人、电子游戏、CG(计算机图形)图像制作、立体图像输入、数字照相机或 数字摄像机的自动变焦等的用途。
权利要求
1、一种复眼摄像装置，算出拍摄同一对象物的多个摄像光学系统中产生的视差，其特征在于，至少包括基准摄像光学系统，通过拍摄所述对象物，从而生成包含基准图像的图像；两个以上的偶数的参考摄像光学系统，通过拍摄所述对象物，从而生成包含参考图像的图像，所述两个以上的偶数的参考摄像光学系统的各个光学中心被配置为，对所述基准摄像光学系统的光学中心大致成为点对称；相关值算出单元，针对所述两个以上的偶数的参考摄像光学系统的每一个，按每个偏移量算出表示所述基准图像和所述参考图像的相似度的相关值，所述偏移量是在将搜索位置沿着与基线平行的方向逐渐偏移的情况下的偏移量，所述搜索位置是为了搜索与所述基准图像相似的所述参考图像的图像位置而由所述参考摄像光学系统生成的图像中的所述参考图像的位置，所述基线是连接所述基准摄像光学系统的光学中心和所述参考摄像光学系统的光学中心的直线；相关值加法单元，通过按每个对应的偏移量，对针对所述两个以上的偶数的参考摄像光学系统的每一个算出的相关值进行加法运算，从而算出合成相关值；以及视差算出单元，根据所述合成相关值，以子像素级来算出作为所述基准图像和所述参考图像的相似度成为最大的偏移量的视差。
2、 如权利要求1所述的复眼摄像装置，其特征在于， 所述视差算出单元，通过使用利用了对称性的插值式，对由所述相关值加法单元进行加法运算后的每个偏移量的相关值进行插值，从而算出子 像素级的视差。
3、 如权利要求l所述的复眼摄像装置，其特征在于， 所述复眼摄像装置包括四个以上的参考摄像光学系统， 所述四个以上的参考摄像光学系统的光学中心被配置为， 一对第一参考摄像光学系统涉及的基线的方向、和一对第二参考摄像光学系统涉及的 基线的方向以规定的角度倾斜，所述一对第一参考摄像光学系统的光学中心被配置为对所述基准摄像光学系统的光学中心大致成为点对称，所述一 对第二参考摄像光学系统的光学中心也被配置为对所述基准摄像光学系统 的光学中心大致成为点对称，且所述一对第二参考摄像光学系统的光学中 心与第一参考摄像光学系统的光学中心不同。
4、 如权利要求3所述的复眼摄像装置，其特征在于， 所述四个以上的参考摄像光学系统被配置为，第一基线长度和第二基线长度不同，所述第一基线长度是所述第一参考摄像光学系统和所述基准 摄像光学系统的基线的长度，所述第二基线长度是所述第二参考摄像光学 系统和所述基准摄像光学系统的基线的长度，所述相关值算出单元，在算出所述第二参考摄像光学系统所生成的参 考图像的相关值时，按每个第二偏移量算出所述相关值，所述第二偏移量 是所述第二基线长度除以所述第一基线长度而得到的值再乘以第一偏移量 而得到的值，所述第一偏移量是在算出由所述第一参考摄像光学系统生成 的参考图像的相关值时利用了的偏移量。
5、 如权利要求3所述的复眼摄像装置，其特征在于， 基准摄像光学系统以及所述四个以上的参考摄像光学系统被配置为，与所述基准摄像光学系统具有的构成摄像装置的像素的位置关系相同。
6、 如权利要求l所述的复眼摄像装置，其特征在于， 对于被配置为对所述基准摄像光学系统的光学中心大致成为点对称的成对的每一对参考摄像光学系统，在D为到对象物为止的距离、pitch为像 素间距、f为焦距的情况下，满足光学中心位置误差《D'pitch'0.15/f, 所述光学中心位置误差是连接一对参考摄像光学系统中的一方的参考摄像 光学系统的光学中心和所述基准摄像光学系统的光学中心的直线、和一对 参考摄像光学系统中的另一方的参考摄像光学系统的光学中心之间的距 离。
7、 如权利要求1所述的复眼摄像装置，其特征在于， 对于被配置为对所述基准摄像光学系统的光学中心大致成为点对称的成对的每一对参考摄像光学系统，在D为到对象物为止的距离、pitch为像 素间距、f为焦距的情况下，满足基线长度误差《D pitch 0.2 / f，所述基线长度误差是第一基线长度和第二基线长度的长度的差，所述第一基线长度是一对参考摄像光学系统中的一方的参考摄像光学系统的光学中心 和所述基准摄像光学系统的光学中心之间的间隔，所述第二基线长度是一 对参考摄像光学系统中的另一方的参考摄像光学系统的光学中心和所述基 准摄像光学系统的光学中心之间的间隔。
8、 如权利要求l所述的复眼摄像装置，其特征在于， 所述复眼摄像装置还包括预处理单元，对所述基准图像以及所述参考图像执行平滑滤波处理，所述相关值算出单元，根据执行所述平滑滤波处理后的基准图像以及 参考图像算出所述相关值。
9、 一种测距装置，通过算出拍摄同一对象物的多个摄像光学系统中产 生的视差，从而算出到所述对象物为止的距离或所述对象物的三维位置，其特征在于，包括基准摄像光学系统，通过拍摄所述对象物，从而生成包含基准图像的图像；两个以上的偶数的参考摄像光学系统，通过拍摄所述对象物，从而生 成包含参考图像的图像，所述两个以上的偶数的参考摄像光学系统的各个 光学中心被配置为，对所述基准摄像光学系统的光学中心大致成为点对称；相关值算出单元，针对所述两个以上的偶数的参考摄像光学系统的每 一个，按每个偏移量算出表示所述基准图像和所述参考图像的相似度的相 关值，所述偏移量是在将搜索位置沿着与基线平行的方向逐渐偏移的情况 下的偏移量，所述搜索位置是为了搜索与所述基准图像相似的所述参考图 像的图像位置而由所述参考摄像光学系统生成的图像中的所述参考图像的 位置，所述基线是连接所述基准摄像光学系统的光学中心和所述参考摄像 光学系统的光学中心的直线；相关值加法单元，通过按每个对应的偏移量，对针对所述两个以上的 偶数的参考摄像光学系统的每一个算出的相关值进行加法运算，从而算出 合成相关值；视差算出单元，根据所述合成相关值，以子像素级来算出作为所述基 准图像和所述参考图像的相似度成为最大的偏移量的视差；以及距离算出单元，根据被算出的视差、所述基准摄像光学系统的焦距和所述基线的长度，算出从所述测距装置到所述对象物为止的距离或所述对 象物的三维位置。
10、 一种视差算出方法，算出拍摄同一对象物的多个摄像光学系统中产生的视差，其特征在于，所述多个摄像光学系统包括基准摄像光学系统，通过拍摄所述对象物，从而生成包含基准图像的图像；以及两个以上的偶数的参考摄像光学系统，通过拍摄所述对象物，从而生 成包含参考图像的图像，所述两个以上的偶数的参考摄像光学系统的各个 光学中心被配置为，对所述基准摄像光学系统的光学中心大致成为点对称，所述视差算出方法包括相关值算出步骤，针对所述两个以上的偶数的参考摄像光学系统的每 一个，按每个偏移量算出表示所述基准图像和所述参考图像的相似度的相 关值，所述偏移量是在将搜索位置沿着与基线平行的方向逐渐偏移的情况 下的偏移量，所述搜索位置是为了搜索与所述基准图像相似的所述参考图 像的图像位置而由所述参考摄像光学系统生成的图像中的所述参考图像的 位置，所述基线是连接所述基准摄像光学系统的光学中心和所述参考摄像光学系统的光学中心的直线；相关值加法步骤，通过按每个对应的偏移量，对针对所述两个以上的 偶数的参考摄像光学系统的每一个算出的相关值进行加法运算，从而算出合成相关值；以及视差算出步骤，根据所述合成相关值，以子像素级来算出作为所述基 准图像和所述参考图像的相似度成为最大的偏移量的视差。
11、 一种测距方法，通过算出拍摄同一对象物的多个摄像光学系统中 产生的视差，从而算出到所述对象物为止的距离或所述对象物的三维位置， 其特征在于，所述多个摄像光学系统包括基准摄像光学系统，通过拍摄所述对象物，从而生成包含基准图像的图像；以及两个以上的偶数的参考摄像光学系统，通过拍摄所述对象物，从而生成包含参考图像的图像，所述两个以上的偶数的参考摄像光学系统的各个 光学中心被配置为，对所述基准摄像光学系统的光学中心大致成为点对称，所述测距方法包括相关值算出步骤，针对所述两个以上的偶数的参考摄像光学系统的每 一个，按每个偏移量算出表示所述基准图像和所述参考图像的相似度的相 关值，所述偏移量是在将搜索位置沿着与基线平行的方向逐渐偏移的情况 下的偏移量，所述搜索位置是为了搜索与所述基准图像相似的所述参考图 像的图像位置而由所述参考摄像光学系统生成的图像中的所述参考图像的 位置，所述基线是连接所述基准摄像光学系统的光学中心和所述参考摄像光学系统的光学中心的直线；相关值加法步骤，通过按每个对应的偏移量，对针对所述两个以上的 偶数的参考摄像光学系统的每一个算出的相关值进行加法运算，从而算出合成相关值；视差算出步骤，根据所述合成相关值，以子像素级来算出作为所述基 准图像和所述参考图像的相似度成为最大的偏移量的视差；以及距离算出步骤，根据被算出的视差、所述基准摄像光学系统的焦距和 所述基线的长度，算出从所述测距装置到所述对象物为止的距离或所述对 象物的三维位置。
全文摘要
提供与对象物表面的亮度的分布无关而能够高精度地测定子像素视差的复眼摄像装置。包括基准摄像光学系统，生成包含基准图像的图像；两个以上的偶数的参考摄像光学系统，生成包含参考图像的图像，所述两个以上的偶数的参考摄像光学系统被配置为，对基准摄像光学系统大致成为点对称；相关值算出部(6)，针对两个以上的偶数的参考摄像光学系统的每一个，按每个偏移量算出相关值，所述偏移量是针对基准图像将参考图像的一方沿着与基线平行的方向逐渐偏移时的偏移量；相关值加法部(7)，通过按每个对应的偏移量，对针对两个以上的偶数的参考摄像光学系统的每一个算出的相关值进行加法运算，从而算出合成相关值；以及视差算出部(8)，根据合成相关值，以子像素级来算出作为基准图像和参考图像的相似度成为最大的偏移量的视差。
文档编号G06T1/00GK101680756SQ200980000225
公开日2010年3月24日 申请日期2009年2月10日 优先权日2008年2月12日
发明者大山一朗 申请人:松下电器产业株式会社