专利名称：立体测距装置及立体测距方法
技术领域：
本发明涉及立体测距装置及立体测距方法。
背景技术：
目前，已知有使用由立体照相机拍摄的两个图像测量与目标(B卩，拍摄对象)之间的距离的立体测距装置。在立体照相机中，首先，有将第一照相机和第二照相机使彼此的光轴平行而配置的第一方式。
另外，以相比上述的第一方式扩大立体照相机整体的拍摄范围为目的，还提出了非平行地(即，使两照相机的光轴朝向彼此远离的方向)配置的第二方式(例如，参照专利文献I)。
专利文献I中公开的立体测距装置使用与在两照相机的视野中重叠的区域相对应的两个图像内的图像区域(即，重叠区域)，计算图像间的视差，基于该视差值计算与目标之间的距离。与之相对，非重叠区域被用于基于光流等一般物体的运动信息的物体检测。
但是，在上述的第二方式中，频繁发生被映出在重叠区域的目标图像的像高(即， 距离与透镜主点对应的图像中心的距离)在两图像中大不相同的情况。如果图像区域的像高小，那么其图像区域比较清晰，而当像高大时，受透镜的球面像差的影响，其图像区域会发生模糊。因此，在上述的第二方式中，要使用包含在用互不相同的照相机所拍摄的图像中且“模糊(blur)”互不相同的两个图像区域来测距。而且，当使用“模糊(blur)”互不相同的两个图像区域来测距时，存在测距精度劣化的问题。
在此，所谓“模糊(blur) ”表示从物体等的一点反射的光线不通过透镜向一点会聚而向某空间区域扩展的程度，在为图像的情况下，表示从一点反射的光线在比CCD等摄像元件的尺寸更扩展地被摄的情况下被不清晰地摄像的状态的程度。
然而，通常对多个透镜的相对关系或构成立体照相机的多个照相机的相对关系进行校正的处理是公知的。前者是校正透镜畸变的畸变校正处理，后者是将两照相机的光轴平行化的平行化校正处理(参照专利文献2)。但是，这些处理不是校正球面像差引起的模糊的处理。
与此相对，在专利文献3中公开了一种利用透镜的焦距调整机构的模糊校正方法。
现有技术文献
专利文献
专利文献1:日本特开2005-24463号公报
专利文献2 :日本特开平11-3258 89号公报
专利文献3 :日本特开2008-241491号公报发明内容
发明要解决的问题
但是，在将以往的模糊校正方法适用于立体测距装置的情况下，需要搭载透镜的 焦距调整机构，因此，存在装置复杂化的问题。另外，根据以往的模糊校正方法，由于是对照 相机图像整体一律地进行模糊校正，所以，每次因照相机图像中的目标图像的位置改变而 使模糊变化时，都需要物理性地控制透镜的焦距调整机构。因此，要频繁地进行测距处理的 前处理，其结果存在测距处理花费的时间变长的问题。
本发明是鉴于这样的问题点而提出的，目的在于，提供一种立体测距装置及立体 测距方法，其通过调整照相机图像本身来对模糊进行校正，由此能够防止测距处理时间变 长的同时，提闻视差检测精度。
用于解决问题的方案
本发明的一形态的立体测距装置具备视差测量单元，其使用包括第一图像及第 二图像的立体图像测量视差；计算单元，其基于测量到的所述视差，计算与目标之间的距 离；以及调整单元，其使用模糊调整滤波器，使在由所述视差测量单元使用的所述第一图像 及所述第二图像中的、模糊弱的一方的图像的模糊与模糊强的一方的图像的模糊一致。
本发明的一形态的立体测距方法，使用包括第一图像及第二图像的立体图像测量 视差，基于测量到的所述视差，计算与目标之间的距离，该立体测距方法包括使用模糊调 整滤波器，使在所述视差的测量中使用的所述第一图像及所述第二图像中的、模糊弱的一 方的图像的模糊与模糊强的一方的图像的模糊一致的步骤。
根据本发明，提供一种立体测距装置及立体测距方法，即使在由于球面像差引起 的模糊的影响而在立体图像的构成图像间产生模糊之差的情况下，也可以通过调整照相机 图像本身而对模糊进行校正，由此能够防止测距处理时间变长的同时，提高视差检测精度。
图1是表示本发明的实施方式I的立体测距装置的结构的框图2是表示模糊调整单元的结构的框图3是用于立体测距装置的动作说明的流程图4是用于说明模糊调整滤波器系数的图5是用于说明模糊一致处理的流程图6是用于说明模糊一致处理的图7是用于说明视差的图8是用于说明像素视差测量处理的图9是表示本发明的实施方式2中的立体测距装置的结构的框图10是用于立体测距装置的动作说明的流程图11是表示本发明的实施方式3中的立体测距装置的结构的框图12是用于立体测距装置的动作说明的流程图13是表示本发明的实施方式4中的立体测距装置的结构的框图14是用于立体测距装置的动作说明的流程图15是用于说明模糊调整滤波器系数的计算处理的流程图。
符号说明
100、400、600、800 立体测距装置
101滤波器存储单元
102,402,601模糊调整单元
103、401、602视差测量单元
104距离计算单元
111模糊调整滤波器获取单元
112滤波器适用图像判定单元
113滤波器适用单元
801模糊计算单元具体实施方式
下面，参照附图对本发明的实施方式进行详细说明。另外，在实施方式中，对同一 构成要素标以同一标记，并省略其重复说明。
实施方式I
[立体测距装置100的结构]
图1是表示本发明的实施方式I中的立体测距装置100的结构的框图。立体测距 装置100使用由第一摄像系统(下称第一照相机)拍摄到的第一图像中包含的部分图像且 是拍下了测距对象(下称目标)的第一目标图像、及由第二摄像系统(下称第二照相机) 拍摄到的第二图像中包含的部分图像且是拍下了目标的第二目标图像，计算立体测距装置 100和目标之间的目标距离。
下面，设第一照相机为右照相机、第一图像为基准图像、而第二照相机为左照相 机、第二图像为参照图像来进行说明。另外，包括第一照相机及第二照相机的撮像单元获取 第一图像及第二图像，对立体测距装置100输出。
在图1中，立体测距装置100具有滤波器存储单元101、模糊调整单元102、视差 测量单元103、距离计算单元104。
滤波器存储单元101存储基准图像内的像高和参照图像内的像高的组合候选与 模糊调整滤波器系数之间的对应关系。关于该对应关系，后面将进行详细说明。
模糊调整单元102对被视差测量单元103用于视差测量的基准图像及参照图像的 部分图像，进行使用模糊调整滤波器使模糊弱的一方(高质量)的图像的模糊与模糊强的 一方(低质量)的图像的模糊一致的调整处理。
详细地说，模糊调整单元102将包括基准图像及参照图像的立体图像数据作为输 入。模糊调整单元102获取基准图像中的第一目标图像的像高和参照图像中的目标与第一 目标图像相同的第二目标图像的像高的组合及根据对应表赋予了对应关系的模糊调整滤 波器系数。该模糊调整滤波器系数被用于模糊调整处理。
具体地说，如图2所示，模糊调整单元102具有模糊调整滤波器获取单元111、滤波 器适用图像判定单元112和滤波器适用单元113。
模糊调整滤波器获取单元111获取基准图像中的像高和参照图像中的像高的组 合及根据对应表赋予了对应关系的模糊调整滤波器系数。
滤波器适用图像判定单元112判定将由模糊调整滤波器获取单元111获取的模糊 调整滤波器系数，适用于基准图像(的亮度信号)及参照图像(的亮度信号)中的哪一个。
滤波器适用单元113将由模糊调整滤波器获取单元111获取的模糊调整滤波器系 数，适用于由滤波器适用图像判定单元112选择出的图像。
视差测量单元103使用基准图像及参照图像测量视差。所谓视差是基准图像中的 视差基准点的位置和参照图像中的对应点的位置之间的、图像X轴方向的差。另外，在本实 施方式中，对将立体照相机的两照相机沿横向设置的情况进行了说明，因此，视差是X轴方 向的差，但在将立体照相机的两照相机沿纵向设定的情况下，视差是Y轴方向的差。
具体地说，视差测量单元103以像素视差测量处理和子像素视差测量处理这两个 阶段进行视差测量。像素视差测量处理是像素精度(整数精度)的视差测量，子像素视差 测量处理是子像素精度(小数精度)的视差测量。在像素视差测量处理中，视差测量单元 103首先设定基准图像内的视差基准点和与该视差基准点对应的参照图像内的搜索区域。 而且，视差测量单元103对视差基准点和搜索区域内的多个搜索点的图像亮度依次进行比 较，选择相异度最低的搜索点作为对应点(参照点)。而且，在子像素视差测量处理中，使用 图像亮度计算关于视差基准点和在像素视差测量处理中选择的参照点的小数点以下的视 差。
距离计算单元104基于由视差测量单元103测量到的视差，计算与目标之间的距离。
[立体测距装置100的动作]
对具有以上的结构的立体测距装置100的动作进行说明。图3是用于立体测距装 置100的动作说明的流程图。
模糊调整单元102从未图示的摄像单元获取立体图像数据。立体图像数据是由搭 载有左右排列的两个透镜的立体照相机同时拍摄到的一对图像数据(即，基准图像数据及 参照图像数据)。在立体图像数据中，使基准图像的水平方向和参照图像的水平方向与立体 照相机的基线长度方向平行化。所谓平行化后的状态，是指参照图像中的核线(将一个照 相机的光轴投影到用另一个照相机拍摄的图像上的线)与图像X轴平行的状态。
在步骤S201中，模糊调整单元102进行使用模糊调整滤波器系数使视差测量单元 103进行的视差测量中所使用的基准图像及参照图像的模糊一致的调整处理。即，模糊调整 单元102使基准图像的基准点的模糊和参照图像的搜索点的模糊一致。在此，按像素单位 进行模糊的调整处理。
在此，模糊调整滤波器系数存储于滤波器存储单元101。图4是用于说明模糊调整 滤波器系数的图。如图4所示，基准图像的模糊依存于基于进行立体测距的基准图像的像 高(距图像主点的距离)而确定的MTF特性(光学传递函数(OTF)的绝对值、Modulation Transfer Function)(参照图4B)。参照图像的模糊也一样(参照图4A)。因此,只要指定 了进行立体测距的基准图像的像高及参照图像的像高就可以唯一地确定用于使基准图像 的模糊和参照图像的模糊一致的滤波器系数。
而且，如图4C所示，基准图像内的像高和参照图像内的像高的组合候选与模糊调 整滤波器系数的对应表，被存储在滤波器存储单元101。例如，与图4A的像高=2和图4B 的像高=3的组合相对应的滤波器系数，保持在图4C的矩阵的区域(3，2)内。
图5是用于说明模糊一致处理的流程图。
首先，模糊调整滤波器获取单元111设定基准图像的基准点和与该基准点对应的参照图像内的搜索区域及初始搜索点。另外，每次从步骤S203返回到步骤S201时，搜索点就在搜索区域内依次变更。另外，每次从步骤S205返回到步骤S201时，基准点就在基准图像内依次变更。
而且，在步骤S301中，模糊调整滤波器获取单元111获取基准点的像高和参照点的像高的组合，以及根据对应表建立了对应关系的模糊调整滤波器系数。
具体地说，模糊调整滤波器获取单元111根据视差基准点的位置计算像高(即，基准图像中的从图像中心到视差基准点的长度)，并且，根据搜索点的位置计算像高(即，参照图像中的从图像中心到搜索点的长度)。而且，模糊调整滤波器获取单元111将视差基准点的像高及搜索点的像高作为索引，从对应表获取模糊调整滤波器系数。
在步骤S302中，滤波器适用图像判定单元112判定将由模糊调整滤波器获取单元 111获取的模糊调整滤波器系数适用于基准点(的亮度信号)及搜索点(的亮度信号)中的哪一个。该判定基准中使用视差基准点的位置及搜索点的位置。
具体地说，滤波器适用图像判定单元112对视差基准点的像高和搜索点的像高进行比较，选择像高值小的图像作为滤波器系数的适用图像
在步骤S303中，滤波器适用单元113将在模糊调整滤波器获取单元111中获取的模糊调整滤波器系数，适用于在滤波器适用图像判定单元112中选择的图像。该适用处理可以用式⑴表示。 M
= XI(X + II) ■ 其中(O < X < N-1)…(I), .,H=-M ,,
在此，在式⑴中，J(X)为模糊被校正后的亮度信号；I(X)为亮度信号叫,」(11)为亮度系数。另外，N表示提取出的图像区域的像素数；u表示模糊调整滤波器系数的维数；i 表示视差基准点的像高值；j表示参照点的像高值。而且，X为对于所提取的图像区域的图像X轴(水平轴)的可取的值(O < X < N-1)，M为规定u的可取范围的值。而且，M和N 满足2M+1彡N的关系。
另外，在此，记载了模糊调整滤波器系数为图像X轴方向的一维排列的情况，但可以是图像X轴方向(水平方向)和图像Y轴方向(铅直方向)的二维排列。由此，也可以调整Y轴方向的模糊。
返回图3，在步骤S202中，视差测量单元103使用调整了模糊的基准点及搜索点进行像素视差测量处理。具体地说，视差测量单元103计算基准点的亮度信号和搜索点的亮度信号的相异度，保持有关本次之前计算出的多个搜索点的相异度中最小的相异度和获得该相异度的搜索点。关于像素视差测量处理，将在后面使用图进行说明。
在步骤S203中，视差测量单元103判定是否对搜索范围内的所有搜索点进行了步骤S201及步骤S202的处理。而且，在还残留有搜索点的情况下(步骤S203 否”)，处理返回到步骤S201，在未残留搜索点的情况下(步骤S203 是”)，处理转到步骤S204。这时，在步骤S202中最后被保持的搜索点、即相异最小的搜索点作为参照点被选择。
在步骤S204中，视差测量单元103使用图像亮度计算关于视差基准点和在像素视差测量处理中被选择的参照点的小数点以下的视差。
在步骤S205中，视差测量单元103判定是否对基准图像内的所有基准点进行了步骤S201 步骤S204的处理(步骤S205)。
在对基准图像内的所有基准点完成了步骤S201 步骤S204的处理的情况下(步骤S205 是”)，距离计算单元104基于由视差测量单元103测量到的视差，计算与目标之间的距离。具体地说，距离计算单元104通过下述式(2)计算距离
式2
(距离)=(基线长度)X(焦点距离)/ (像素间距)/ (视差)…(2)
在此，基线长度是立体照相机中的透镜焦点间的距离，焦点距离是由透镜的规格决定的参数，像素间距是摄像元件的大小。
如上所述，通过对搜索区域整体扫描搜索点而反复进行模糊一致处理及像素视差测量处理，通过对基准图像整体扫描视差基准点而反复进行子像素视差测量处理。由此，推定基准图像整体的视差，推定图像范围整体的视差的二维排列。另外，视差基准点的扫描不一定是对图像整体来进行，也可以仅对道路内的区域进行扫描。即，扫描视差基准点的区域可以是任意的。
〈模糊一致处理的说明〉
接着，参照图6对模糊一致处理进行说明。
模糊调整单元102将包括基准图像(参照图6B)及参照图像(参照图6A)的立体图像作为输入。
图6C及图6D分别表示参照区域(参照图像内的立体匹配处理对象的区域)的亮度信号及基准区域(基准图像内的立体匹配处理对象的区域)的亮度信号的一个例子。另外，图6E及图6F分别表示有关参照区域的亮度信号的振幅特性及有关基准区域的亮度信号的振幅特性。另外，图6G表示有关模糊调整后的参照信号的亮度信号的振幅特性。在图 6C、图6D、图6G中，横轴表示图像X轴(水平轴)，纵轴表示亮度值。
图6C所示的参照图像的亮度信号与图6D所示的基准图像的亮度信号相比，更加鲜明。即，在图6E的振幅特性中，与图6F相比，出现了高频分量。
S卩，该情况表示基准区域的模糊和参照区域的模糊不同。在使用这种基准区域及参照区域检测视差的情况下，视差的标准偏差增加，精度劣化。这是因为在模糊不同的信号间进行立体匹配时，是对某空间频率中无振幅分量的信号和在该空间频率中有振幅分量的信号进行匹配，成为视差检测精度劣化的主要原因。
与此相对，通过在使用滤波器系数将模糊弱的参照区域的模糊调整为模糊强的基准区域的模糊后对视差进行检测，提高了视差检测的精度。这是因为模糊相一致，因此视差的标准偏差不会劣化。
〈视差的说明〉
在此，对视差进行说明。图7是用于视差的说明的图。在图7中显示了在照相机前方存在物体时的立体图像，图7A表示参照图像，图7B表示基准图像。
与基准图像中的物体图像的位置相比较，参照图像中的物体图像的位置为向右错开的位置。该错位就是视差，根据照相机和物体之间的距离不同而变化。
具体地说，设基准图像中的测距对象物的左端的坐标为xb、参照图像中的测距对象物的左端的坐标为xr时，物体的左端的视差d可以通过xr-xb而求得。
〈视差测量处理的说明〉
图8是用于说明像素视差测量处理的图。在图8A中显示了示出搜索区域及对应 点的参照图像，在图8b中显示了示出基准点的基准图像。图8A的搜索区域是对应图SB的 基准点而设定的区域。
在像素视差测量处理中，对于搜索区域内的所有搜索点计算了与基准点的亮度之 间的相异度，且选择相异度最小的搜索点作为对应点。对于搜索区域内的所有搜索点的与 基准点的亮度之间的相异度，如图8A的下图所示，为以横轴为视差、以纵轴为亮度的相异 度的一维分布。
亮度的相异度例如使用以视差基准点为中心的8X8像素的小区域和以搜索区域 内的各点为中心的8X8像素的小区域的、图像亮度的绝对差值和(SAD Sum ofAbsolute Differences)。而且，相异度最小的对应点的位置表示视差基准点的视差。
另外，在此将用于计算相异度的小区域设定为8X8像素进行了说明，但不限定于 此。即，可以使用任意大小的矩形。另外，在此对相异度使用图像亮度而进行了说明，但本发 明不限定于此。另外，作为图像的前处理也可以适用拉普拉斯滤波器或LoG滤波器等图像 滤波器。此外，相异度也可以使用差值平方和(SSD)等。即，作为相异度，可以使用在完全 一致时值为最小那样的任意的相异度。另外，作为相异度，也可以使用归一化互相关(NCC) 等。即，也可以正负相反地利用在完全一致时值为最大的类似度的指标。
在子像素视差测量处理中，使用以视差基准点为中心的图像X轴31像素的小区域 的图像亮度和以对应点为中心的图像X轴31像素的小区域的图像亮度，根据频率特性的相 位差计算子像素的差。
另外，将计算子像素视差的小区域设为图像X轴31像素进行了说明，但不限定于 此。即，可以使用任意大小的矩形。另外，在此，对相异度使用图像亮度而进行了说明，但本 发明不限定于此。另外，作为图像的前处理也可以适用拉普拉斯滤波器或LoG滤波器等图 像滤波器。另外，子像素视差可以使用基于相位相关(POC Phase Only Correlation)等频 率特性的所有匹配装置。另外，子像素视差的计算可以使用等角线性拟合或抛物线拟合等 推定最小值的所有的方式。在该情况下，使用在像素视差测量处理中使用的图像亮度的相 异度。
另外，在以上的说明中，对立体照相机为搭载了左右排列的两个透镜的照相机进 行了说明，但本发明不限定于此，也可以用两个照相机代替。另外，对立体照相机为搭载有 左右排列的两个透镜的照相机的情况进行了说明，但本发明不限定于此，在上下排列等任 意的位置关系中也可以实现。
如上所述，根据本实施方式，在立体测距装置100中，模糊调整单元102对被视差 测量单元103用于视差测量的基准图像及参照图像的部分图像，使用模糊调整滤波器使模 糊弱的一方的图像的模糊与模糊强的一方的图像的模糊一致。
通过这样做，能够通过调整照相机图像本身来校正模糊。而且，通过使模糊弱的 一方的图像的模糊与模糊强的一方的图像的模糊一致，能够通过适用滤波器这种简单的处 理，使用于视差检测的图像间的模糊相一致。因此，能够提高视差检测的精度，并且能够高 速地进行测距处理。
而且，视差测量单元103以像素视差测量处理和子像素视差测量处理这两个阶段 测量视差，模糊调整单元102在像素视差测量处理之前，按像素单位进行模糊的调整处理。
另外，在上述说明中，对视差测量单元103以像素视差测量处理和子像素视差测 量处理这两个阶段测量视差的情况进行了说明，但本发明不限定于此，也可以仅以像素视 差测量处理这一个阶段测量视差。这样，即使省去了视差测量处理，在本实施方式中，由于 在像素视差测量处理之前进行了模糊的调整处理，所以也可保持子像素视差检测精度。
[实施方式2]
在实施方式2中，在像素视差测量处理之后且子像素视差测量处理之前，按子像 素单位进行模糊一致处理。
[立体测距装置400的结构]
图9是表示本发明的实施方式2的立体测距装置400的结构的框图。在图9中， 立体测距装置400具有视差测量单元401和模糊调整单元402。
视差测量单元401具有和实施方式I的视差测量单元103基本相同的功能。另外， 模糊调整单元402具有和实施方式I的模糊调整单元102相同的功能。但是，如上所述，进 行模糊一致处理的时机和实施方式I不同。
[立体测距装置400的动作]
图10是用于立体测距装置400的动作说明的流程图。
如图10所示，在立体测距装置400中，与模糊一致处理无关地进行像素视差测量 处理(步骤S202、步骤S203)。即，在该阶段，选择了基准点和对应的对应点。
而且，在步骤S501中，模糊调整单元402使基准图像的基准点的模糊和参照图像 的对应点的模糊一致。即，在实施方式2中，由于进行模糊一致处理的对象被遴选为基准点 和对应点的一个，与对搜索范围内的所有搜索点进行模糊一致处理的实施方式I相比，能 够削减处理量。其结果是，能够更加高速地进行测距处理。
而且，在步骤S204中，视差测量单元401使用模糊被调整后的基准点及对应点进 行像素视差测量处理。
如上所述，根据本实施方式，在立体测距装置400中，模糊调整单元402在像素视 差测量处理之后且子像素视差测量处理之前，按子像素单位进行模糊的调整处理。通过这 样做，能够更加高速地进行测距处理。
[实施方式3]
在实施方式3中，在视差的测量处理开始前进行模糊一致处理。
[立体测距装置600的结构]
图11是表示本发明的实施方式3的立体测距装置600的结构的框图。在图11中， 立体测距装置600具有模糊调整单元601和视差测量单元602。
模糊调整单元601具有和实施方式I的视差测量单元103基本相同的功能。但 是，模糊调整单元601使与包含基准图像及参照图像中模糊最强的部位的图像不同的另一 图像整体的模糊与该基准图像及参照图像中模糊最强的部位的模糊一致。因此，在滤波器 存储单元101保持有用于对整体的振幅特性只进行一次校正的滤波器。
视差测量单元602具有和实施方式I的模糊调整单元102相同的功能。但是，如 上所述，进行模糊一致处理的时机和实施方式I不同。
[立体测距装置600的动作]
图12是用于立体测距装置600的动作说明的流程图。
首先，模糊调整单元601确定基准图像及参照图像中模糊最强的部位。
而且，在步骤S701中，模糊调整单元601从滤波器存储单元101获取与模糊最强 的部位对应的模糊调整滤波器系数，并且，使用该获取的模糊调整滤波器系数，调整与包含 该部位的图像不同的另一处理对象图像内的处理对象点的模糊。
在步骤S702中，模糊调整单元601判定是否对处理对象图像内的所有处理对象点 候选完成了模糊一致处理。
这样，根据本实施方式，在立体测距装置600中，模糊调整单元601在视差测量单 元602进行的视差的测量处理开始前，一并处理对基准图像或参照图像的整体的模糊调 整。通过这样做，能够更加高速地进行测距处理。
[实施方式4]
在实施方式4中，随时计算模糊调整滤波器系数。
[立体测距装置800的结构]
图13是表示本发明的实施方式4的立体测距装置800的结构的框图。在图13中， 立体测距装置800具有模糊计算单元801。
模糊计算单元801计算模糊调整滤波器系数。计算出的模糊调整滤波器系数被输 出到模糊调整单元102。
[立体测距装置800的动作]
图14是用于立体测距装置800的动作说明的流程图。
在步骤S901中，模糊计算单元801将立体图像数据作为输入，使用该立体图像数 据计算模糊调整滤波器系数。
图15是用于说明模糊调整滤波器系数的计算处理的流程图。
首先，模糊计算单元801对基准图像及参照图像，分别进行步骤S1001 步骤 S1004的处理。
具体地说，关于基准图像，模糊计算单元801将以视差基准点为中心的小区域的 图像亮度信号进行零平均化(步骤S1001)，对零平均化后的信号进行汉宁窗处理(步骤 S1002)，将汉宁窗处理后的信号进行傅里叶变换(步骤S1003)，对傅里叶变换后的信号进 行零相位化处理(步骤S1004)。由此，计算出关于以视差基准点为中心的小区域的模糊。
另外，关于参照图像，模糊计算单元801将以搜索点为中心的小区域的图像亮度 信号进行零平均化(步骤S1001)，对零平均化后的信号进行汉宁窗处理(步骤S1002)，将 汉宁窗处理后的信号进行傅里叶变换(步骤S1003)，对傅里叶变换后的信号进行零相位化 处理(步骤S1004)。由此，计算出关于以搜索点为中心的小区域的模糊。
而且，模糊计算单元801基于视差基准点的模糊和搜索点的模糊，进行频率特性 计算处理(步骤S1005)，进行傅里叶逆变换处理(步骤S1006)，进行汉宁窗处理(步骤 S1007)，进行归一化处理(步骤S1008)。由此，计算出模糊一致滤波器系数。
接着对上述各处理具体地进行说明。
<零平均化处理步骤S1001〉
模糊计算单元801对图像亮度信号进行变换，以使整体的平均为零。
〈汉宁窗处理步骤S1002〉
模糊计算单元801基于下述式(3)计算窗函数w(X)，使计算出的窗函数与亮度信号重合。
w(x) = O. 5—0. 5 X cos (2 π χ/Ν)…(3)
其中，N为亮度信号的采样数。
另外，零平均化处理(步骤S1001)及汉宁窗处理(步骤S1002)，是为了可靠地导出在下面的傅里叶变换处理(步骤S1003)中计算的频率特性而需要的前处理，可与其他通常的窗处理等前处理替换。
<傅里叶变换处理步骤S1003〉
模糊计算单元801对在汉宁窗处理中计算出的亮度信号进行傅里叶变换。
<零相位化处理步骤S1004〉
模糊计算单元801使在傅里叶变换处理中导出的频率特性的相位分量为零，计算振幅分量和相位分量的平方和的平方根作为振幅特性。该零相位化处理是用于可靠地计算振幅特性的后处理。
<频率特性计算处理步骤S1005〉
模糊计算单元801计算振幅特性的差。具体地说，将振幅特性差作为各空间频率下的振幅特性间的商来计算。例如，在某空间频率U，设视差基准点的振幅特性为F(U)、搜索点的振幅特性为G (U)，在视差基准点的像高比搜索点的像高小的情况下，将振幅特性差 H(u)作为G(u)/F(U)来计算。而在视差基准点的像高比搜索点的像高大的情况下，将振幅特性差H(U)作为F (u)/G (U)来计算。
另外，在此，对根据像高的大小决定商的关系的情况进行了记载，但不限于此，也可以根据振幅特性的值的大小决定商的关系。
<傅里叶逆变换处理步骤S1006〉
模糊计算单元801对振幅特性差H(U)进行傅里叶逆变换。
<汉宁窗处理步骤S1007〉
模糊计算单元801使和步骤S1002同样计算出的汉宁窗与傅里叶逆变换后的振幅特性差H(U)重合。即，作为傅里叶逆变换处理的后处理进行了汉宁窗处理。由此，能够消除通过傅里叶逆变换处理(步骤S1006)而计算出的振幅特性差h (U)的高频分量。
<归一化处理步骤S 1008〉
模糊计算单元801将在汉宁窗处理(步骤S1007)中计算出的振幅特性差h (X)，以加起来为I的方式进行归一化。这是为了在作为空间滤波器适用时，不使图像亮度值发生变化。
如以上那样计算出的模糊调整滤波器系数，被输出到模糊调整单元102，用于模糊调整单元102中的模糊一致处理。
另外，在以上的说明中，将在实施方式I的立体测距装置100的结构中替代滤波器存储单元101而适用了模糊计算单元801的结构设为立体测距装置800的结构。同样地，也可以在实施方式2的立体测距装置400的结构中，替代滤波器存储单元101而适用模糊计算单元801，还可以在实施方式3的立体测距装置600的结构中，替代滤波器存储单元101 而适用模糊计算单元801。
[其他实施方式]
(I)在实施方式I 实施方式4中，没有特别提及立体照相机的构成照相机(或透镜)是平行配置还是非平行配置，但本发明不受立体照相机的设置方式限定。即，只要是由 于球面像差造成的模糊的影响而在构成立体图像的图像间关于模糊产生差的情况下，即可 适用本发明。但是，在非平行配置的情况下，由于模糊的差增大，所以可获得明显的效果。
(2)在实施方式I及实施方式2中，说明了对在基准图像内依次变更的视差基准点 组的全部进行模糊调整处理的情况。但是，本发明不限定于此，也可以仅对特定的视差基准 点候选进行模糊调整处理。具体地说，也可以在立体测距装置100(400)中设置处理需要与 否判定单元，模糊调整单元102(402)仅在处理需要与否判定单元判定为作为当前的处理 对象的基准点是特定的视差基准点候选的情况下，进行模糊一致处理。由此，能够仅在需要 高精度的测距的区域进行模糊一致处理，所以，可以减少处理时间。例如，特定的视差基准 点候选根据应用而决定，并被事先定义。例如，如果是有关监视前方的车载照相机的应用， 特定的视差基准点候选则为需要高精度的测距的车辆前方中心区域等需要高精度的测距 的区域。
(3)在上述各实施方式中，以用硬件构成本发明的情况为例进行了说明，本发明也 可以通过与硬件配合而由软件来实现。
另外，用于上述实施方式的说明中的各功能块通常被作为集成电路的LSI来实 现。这些功能块既可以被单独地集成为单芯片，也可以包含一部分或全部地被集成为单芯 片。
虽然此处称为LSI，但根据集成程度，可以被称为1C、系统LS1、超大LSI (Super LSI)、或特大 LSI (Ultra LSI)。
另外，实现集成电路化的方法不仅限于LSI，也可使用专用电路或通用处理器来实 现。也可以使用可在LSI制造后编程的FPGA(Field ProgrammableGate Array :现场可编 程门阵列)，或者可重构LSI内部的电路单元的连接和设定的可重构处理器。
再者，随着半导体的技术进步或随之派生的其它技术的出现，如果出现能够替代 LSI的集成电路化的新技术，当然可利用该新技术进行功能块的集成化。还存在着适用生物 技术等的可能性。
2010年7月22日提出的日本专利申请的特愿2010-165008号中包含的说明书、附 图及摘要的公开内容全部被本申请引用。
工业上的实用性
本发明的立体测距装置及立体测距方法通过调整照相机图像本身而对模糊进行 校正，由此，作为可以防止测距处理时间变长的同时提高视差检测精度的装置和方法是有 用的。
权利要求
1.立体测距装置，具备 视差测量单元，其使用包括第一图像及第二图像的立体图像测量视差； 计算单元，其基于测量到的所述视差，计算与目标之间的距离；以及 调整单元，其使用模糊调整滤波器，使在由所述视差测量单元使用的所述第一图像及所述第二图像中的、模糊弱的一方的图像的模糊与模糊强的一方的图像的模糊一致。
2.如权利要求1所述的立体测距装置， 所述模糊包括图像的亮度信号的振幅特性。
3.如权利要求1所述的立体测距装置， 所述视差测量单元仅以像素视差测量处理这一个阶段、或者以所述像素视差测量处理和子像素视差测量处理这两个阶段，测量所述视差， 所述调整单元在所述像素视差测量处理之前，进行模糊调整处理。
4.如权利要求1所述的立体测距装置， 所述调整单元在所述视差测量单元进行的所述视差的测量处理开始前，对所述第一图像或所述第二图像整体进行模糊调整处理。
5.如权利要求1所述的立体测距装置， 还具备存储单元，所述存储单元存储所述第一图像内的像高和所述第二图像内的像高的组合候选与模糊调整滤波器系数之间的对应关系， 所述调整单元使用根据所述对应关系与下述组合建立了对应关系的模糊调整滤波器系数调整模糊，该组合是所述第一图像中的第一目标图像的像高和所述第二图像中的、目标与所述第一目标图像相同的第二目标图像的像高的组合。
6.立体测距方法，使用包括第一图像及第二图像的立体图像测量视差，基于测量到的所述视差，计算与目标之间的距离，该立体测距方法包括 使用模糊调整滤波器，使在所述视差的测量中使用的所述第一图像及所述第二图像中的、模糊弱的一方的图像的模糊与模糊强的一方的图像的模糊一致的步骤。
全文摘要
本发明提供一种立体测距装置及立体测距方法，其通过调整照相机图像本身来校正模糊，由此能够在防止测距处理时间变长的同时提高视差检测精度。在立体测距装置(100)中，模糊调整单元(102)使用模糊调整滤波器，使由视差测量单元(103)使用的基准图像及参照图像中的、模糊强的一方的图像的模糊与模糊弱的一方的图像的模糊一致。这样，能够通过调整照相机图像本身来对模糊进行校正。而且，通过使模糊强的一方的图像的模糊与模糊弱的一方的图像的模糊一致，就能够通过适用滤波器这种简单的处理，使视差检测所使用的图像间的模糊相一致。因此，可以提高视差检测的精度，并且可以高速地进行测距处理。
文档编号G01C3/06GK103003665SQ20118003532
公开日2013年3月27日 申请日期2011年6月28日 优先权日2010年7月22日
发明者南里卓也, 西村洋文, 黑河久 申请人:松下电器产业株式会社