专利名称：视差检测装置、测距装置及视差检测方法
技术领域：
本发明涉及计算多个光学系统间产生的视差的视差检测装置等。
背景技术：
近年来，希望高精度地测量从规定的位置到对象物的距离、或对象物的三维位置， 这种要求日益提高。例如，在汽车的视野支援中提出了以下方法，即通过不仅显示由安 装在汽车上的照相机(camera)拍摄的周围的物体的影像，而且还同时显示由测距装置测 量的物体与汽车之间的正确的距离信息，从而更加可靠地避免汽车与周围的物体之间的碰 撞。另外，在便携式电话或电视机等中，为了更加忠实地再现影像的身临其境的感觉，希望 有立体影像的输入输出装置。在这些用途中，希望使测距装置的测距精度高精度化。作为测量到对象物的距离、或测量对象物的三维位置的方式，以往利用立体测距 方式，该立体测距方式利用了三角测量的原理。在立体测距方式中，根据多个照相机间产生 的视差来计算到对象物的距离。
图1是说明利用照相机a及照相机b这两个照相机的情况下的、基于立体测距方 式来计算到对象物的距离的例子的图。对象物100的光线IOla或IOlb经由照相机a的透 镜102a的光学中心105a、或照相机b的透镜102b的光学中心105b，成像于摄像区域104a 或104b。光轴103a及103b表示各照相机的光轴。此时，例如对象物100通过照相机a在 从摄像区域104a与光轴103a的交点106a离开Pa的成像位置107a处成像，通过照相机b 在从摄像区域104b上的摄像区域104b与光轴103b的交点106b离开Pb的成像位置107b 处成像，在这种情况下，在照相机a与照相机b之间产生视差P ( = Pb-Pa)。该视差P按照 测距装置与对象物距离的距离D变化。如果照相机a的光轴103a与照相机b的光轴103b 平行，且其间隔为基线长度B，且设照相机a及照相机b的焦距都为焦距f，则到对象物的距 离D由(式1)表示。因此，如果通过事先的校准处理等已知基线长度B及焦距f，则通过求 出视差P，能够计算到对象物100的距离D。[数学式1]其中，在实际的环境中照相机a与照相机b的光轴不相互平行的情况很多。因此， 例如进行如非专利文献1所示的平行化处理。结果，已知能够制作光轴平行的图像，并利用 上述运算来计算距离D。摄像区域104a及104b通常由CCD (Charge Coupled Device 电荷耦合器件)或 CMOS (Complementary Metal Oxide Semiconductor 互补金属氧化物半导体)等的摄像元 件构成。因此，由于利用在二维平面上被离散化的对象物像的亮度信号来计算视差P，因此 通常其视差检测分辨率为一个像素。按照(式1)的关系，根据视差检测分辨率来决定测距分辨率(以下记做测距精度)。说明以往的视差检测装置中视差P的具体检测方法的例子。视差检测装置为， 对于在照相机a的摄像区域104a中取入的图像a和在照相机b的摄像区域104b中取入 的图像b，计算各图像的每个小区域的相关值即SAD (Sum of Absolute Difference 差分 绝对值总和)。然后，视差检测装置利用计算出的相关值来计算图像a与图像b之间的 每个小区域的图像的偏差、即视差P。其中，SAD是相关值的一个例子，视差检测装置也 可以利用公知的SSD(Sum of Squared Difference 差分平方总和)或NCC(Normalized Cross-Correlation 归一化互相关)等作为相关值。以下，参照图2至图5来说明利用作为代表性相关值的SAD的视差计算。图2是说明图像中的各像素的亮度的表现方法的图。如图2所示，“0”表示黑， “15”表示白，各像素的亮度的等级由线的密度来表现。其中，亮度也可以成为小数点以下的值。图3A是表示从对象物侧观察所成像的对象物的纹理的图像a的一部分的图。图 3B是表示从对象物侧观察所成像的对象物的纹理的图像b的一部分的图。图3B的由粗线包围的图像块201b在对象物位于无限远时，成像出与图3A的由粗 线包围的图像块201a相同的图像。在对象物位于有限的距离的情况下，如图3A及图3B所 示，由于产生视差，所以图3B的图像相对于图3A的图像在右侧成像。在此，说明图3A与图 3B具有3. 6个像素的实际视差的情况。视差检测装置为了搜索与图像块201a相关最高的 图像区域，预先将图像块201b从图3B的粗线的位置向右方向依次偏移1个像素，按照每个 偏移量来根据(式2)计算SAD。[数学式2]
权利要求
1.一种视差检测装置，计算多个光学系统间产生的视差，具备点像分布相同化部，对从上述多个光学系统中的各个光学系统得到的多个图像中的至 少一个图像进行校正，以使上述多个光学系统的点像分布与规定的光学系统的点像分布相 同；以及视差计算部，利用由上述点像分布相同化部进行了校正的图像，计算上述多个光学系 统间产生的视差。
2.如权利要求1记载的视差检测装置，上述点像分布相同化部具有频域变换部，将上述多个图像中的至少一个图像从空间域变换至频域；点像分布变换部，通过使校正数据作用于由上述频域变换部变换至频域的图像，从而 校正该图像以使上述多个光学系统的点像分布与上述规定的光学系统的点像分布相同；以 及空间域变换部，将由上述点像分布变换部进行了校正的图像从频域逆变换至空间域；上述视差计算部利用由上述空间域变换部进行了逆变换的图像，计算上述视差；上述校正数据是用第一光学传递函数除以第二光学传递函数所得到的数据或与其相 当的数据，该第二光学传递函数是得到由该校正数据作用的图像的光学系统的光学传递函 数。
3.如权利要求2记载的视差检测装置，上述点像分布变换部通过在由上述频域变换部变换至频域的图像上乘以上述校正数 据，从而对图像进行校正。
4.如权利要求2记载的视差检测装置，上述第一光学传递函数是上述多个光学系统之中作为基准的一个光学系统的光学传 递函数。
5.如权利要求2记载的视差检测装置，上述第一光学传递函数是下述比率比得到由上述点像分布相同化部进行校正的图像 的光学系统的光学传递系数中的该比率大的光学传递函数，上述比率为第二空间频率上的 值的大小与第一空间频率上的值的大小的比率，该第二空间频率比上述第一空间频率高。
6.如权利要求2记载的视差检测装置，上述第一光学传递函数的各空间频率上的值的大小大致相同。
7.如权利要求2记载的视差检测装置，还具备校正数据生成部，该校正数据生成部生成用第一光学传递函数除以第二光学传 递函数所得到的数据或与其相当的数据，来作为校正数据，该第二光学传递函数是得到由 上述点像分布相同化部进行校正的图像的光学系统的光学传递函数；上述点像分布变换部使由上述校正数据生成部生成的校正数据作用于由上述频域变 换部变换至频域的图像。
8.如权利要求1记载的视差检测装置，上述规定的光学系统的点像分布为上述多个光学系统之中作为基准的一个光学系统 的点像分布。
9.一种测距装置，具备权利要求1记载的视差检测装置；以及距离计算部，利用由上述视差检测装置检测出的视差，计算到对象物的距离。
10.一种视差检测方法，计算多个光学系统间产生的视差，包括点像分布相同化步骤，对从上述多个光学系统中的各个光学系统得到的多个图像中的 至少一个图像进行校正，以使上述多个光学系统的点像分布与规定的光学系统的点像分布 相同；以及视差计算步骤，利用在上述点像分布相同化步骤中进行了校正的图像，计算上述多个 光学系统间产生的视差。
11.一种程序，用于使计算机执行权利要求10记载的视差检测方法。
全文摘要
目的在于，提供视差检测装置(3)等，即使在使用透镜的解析度比摄像元件的像素间距低的照相机的情况下，也能够抑制视差检测误差。一种视差检测装置(3)，计算多个光学系统间产生的视差，该视差检测装置具备PSF相同化部(5)，对从多个光学系统的各个光学系统得到的多个图像中的至少一个图像进行校正，以使多个光学系统的点像分布与规定的光学系统的点像分布相同；以及视差计算部(9)，利用由PSF相同化部(5)进行了校正的图像，计算多个光学系统间产生的视差。
文档编号G01C3/06GK102113013SQ201080002259
公开日2011年6月29日 申请日期2010年7月13日 优先权日2009年7月22日
发明者大山一朗 申请人:松下电器产业株式会社