本发明涉及立体相机装置。
背景技术：
为了提高车辆的行驶安全性，正在研究如下的系统：在通过搭载在车辆上的相机来检测横穿前方的行人，并在有与行人碰撞的可能性的情况下，进行向驾驶员的警报、自动刹车。
作为监视车辆的前方的传感器，有毫米波雷达、激光雷达、相机等。作为相机的种类，有单眼相机和使用多个相机的立体相机。立体相机可以利用由规定间隔的两个相机拍摄的重复区域的视差来测量到拍摄物体的距离。因此，可以准确地掌握至前方物体的碰撞危险度。
但是，由于立体相机仅能够利用由多个相机共同拍摄的重复区域来测量距离，对于由各个相机单独拍摄的非重复区域(以下，称为单眼区域)，存在未被使用的情况。因此，如文献1那样，提出了通过光流处理来检测单眼区域的行人的方法。但是，由于无法仅通过在单眼区域检测行人来掌握到该行人的距离，因此难以掌握碰撞的危险度。
因此，作为推断与在单眼区域中检测到的移动体的距离的方法，提出了文献2的方法。在该方法中，将在重复区域中测量出的路面的高度信息也应用于单眼区域的路面。
现有技术文献
专利文献
专利文献1：日本专利特开2005-24463号公报
专利文献2：日本专利特开2010-79582号公报
技术实现要素：
发明要解决的问题
在专利文献2中，为了将重复区域的路面高度直接应用于单眼区域，以重复区域和单眼区域的路面高度是相等的状态，即平坦路面为前提。因此，当单眼区域的路面有倾斜、台阶时，难以推断准确的距离。
本发明的目的在于，即使在重复区域和单眼区域的路面的高度不同的情况下，也能够高精度地算出在单眼区域中被检测的移动体的距离。
解决问题的技术手段
本发明具备：视差信息获取部，其获取由搭载在车辆上的多个相机拍摄到的多个图像的重复区域的视差信息；以及物体距离算出部，其基于过去在所述重复区域中获取到的视差信息，算出在所述各图像中的所述重复区域以外的非重复区域中被检测的物体与所述车辆的距离。
发明效果
根据本发明，即使在重复区域和单眼区域的路面的高度不同的情况下，也能够高精度地算出在单眼区域中被检测的移动体的距离。
附图说明
图1是立体相机装置的功能框图。
图2是立体区域和单眼区域的说明。
图3是单眼区域的路面高度推断方法的原理说明。
图4是视差信息的存储方式。
图5是系统整体的流程图。
图6是单眼区域的移动体的检测方式的流程图。
图7是单眼区域的移动体的检测方式的概要。
图8是利用了激光雷达和单眼相机的前方监视系统的框图。
图9是激光雷达和单眼相机的测量范围的差异。
具体实施方式
以下，使用附图等对于本发明的实施方式进行说明。以下的说明表示本发明的内容的具体示例，本发明并不限定于这些说明，本领域技术人员可以在本说明书中所公开的技术思想的范围内进行各种变更及修改。此外，在用于说明本发明的所有附图中，存在对于具有相同功能的部件附上相同的符号，并且省略该重复说明的情况。
实施例1
图1表示立体相机装置10的框图。具有右相机22和左相机21这两个相机作为拍摄部20。两个相机拍摄到的图像被分配给视差信息获取部30和物体检测部40两者。在视差信息获取部30是使用右相机22和左相机21拍摄到的图像的重复区域来生成视差信息的部分。此外，具有用于存储视差信息的视差信息存储部310。物体检测部40检测右相机22和左相机21的各自的单眼区域的图像中的行人等移动体。在图2中对于重复区域和单眼区域进行说明。
物体距离算出部50使用根据视差信息算出的路面高度信息，算出物体检测部40检测到的单眼区域的移动体的距离。为了算出该距离，具有用于推断车辆的移动方向和移动量的车辆行为推断部510和非重复区域路面信息推断部520。危险度判定部60根据物体距离算出部50算出的行人等移动体的距离，输出向驾驶员的警告、用于使车辆停止的刹车控制信号。
在图2中，对立体相机装置10生成视差数据的动作概要进行说明。在这里，将右相机22的图像和左相机21的图像的重复区域称为立体区域。在从搭载有立体相机装置10的车辆的前窗观察到的实际风景230中包括前方车辆200、行驶路面203、白线204、人行道路面205、行人202。
当存在由右相机22拍摄到的右图像的立体区域220和单眼区域222以及由左相机21拍摄到的左图像的立体区域210和单眼区域212时，前方车辆200的一部分201在右图像的立体区域220中被拍摄到位置221的位置，并且在左图像的立体区域210中被拍摄到位置211的位置。其结果是，在地点221和地点211产生视差d。该视差d在靠近立体相机装置10的情况下为较大的值，在远的情况下为较小的值。这样求出的视差是在图像整体中求出的。使用该视差d，可以根据三角测量的原理来测量到立体相机装置10的距离。
根据视差d并利用下式求出距离z。
z＝(f×b)/d
但是，f是右相机及左相机的焦距，b是右相机22和左相机21的距离(基线长度)。此外，为了三维地转换视差数据，通过下式来表示求出上述z的地点的三维上的x、y方向的距离。
x＝(z×xr)/f、
y＝(z×yr)/f
但是，xr是右图像220上的x坐标，yr是右图像220上的y坐标。
如上所述，可以利用由立体相机装置10拍摄到的图像，并根据与立体相机装置10的距离来获得被摄体的三维空间中的位置(x、y、z)。但是，在图2中，行人202仅在左图像的单眼区域212中被拍摄。这样的话就无法算出视差数据，并且无法推断距离。
接下来，在图3中示出了推断单眼区域的行人的距离的方法。图3的(a)的场景示出了从车辆的前窗观察到的实际风景250和通过立体相机装置10来拍摄该风景250而得的图像。在风景250中，存在前方车辆200、路面203、白线204、人行道上的台阶206以及行人a207。在由立体相机装置10拍摄这些的情况下，被分类为立体区域240、左侧的单眼区域212、右侧的单眼区域222这三类。
在图3的(a)的场景中，由于在立体区域240中拍摄了台阶206，所以可以算出台阶206的视差，并且可以根据该视差来测量台阶206离路面203的高度h(米)。此外，通过将行人a207的图像上的纵向的高度延长至立体区域240的路面(例如，点p)，读取该点的路面的视差数据并转换为距离，由此可以求出单眼区域212中的行人207的距离。在该情况下，点p在白线204的内侧。此外，与点p为1点的视差数据的情况相比，若取该高度的多个点的视差数据的直方图并采用最多的值，则更能抵抗噪声。
另一方面，在图3的(b)的场景中，由于自身车辆的行驶而导致风景250中的台阶206成为比(a)的场景更近的状态。随着台阶206和自身车辆的距离变近，台阶206正在移动至左侧的单眼区域212。在该(b)中，示出了在台阶206上有行人b202的情况。在该左侧的单眼区域212的图像中，由于阶台阶206比路面203高，所以无法准确地推断位于其上的行人b202的画面上的距离。
因此，在图3的(a)的场景时，利用台阶206和路面203的视差信息将离路面的高度作为信息h(米)并与测量时的距离一起保存至视差信息存储部310。之后，若成为图3的(b)的场景的话，则基于自身车辆行进的距离进而读取存储了的路面高度信息，并计算台阶206的离路面203的铅垂方向的像素vh，从而算出该台阶206上的行人202的距离。
在图3的(b)的场景中，在行人b202位于台阶206之上的情况下，成为比路面203的图像上的位置v1高出台阶的高度h的位置。若直接获取行人的脚部的图像上的垂直坐标v2，并且根据该v2坐标的立体区域的路面的视差信息来求出距离的话，则会变为比实际远的距离。在此获得从所述v2坐标减去(降低)了台阶206离路面203的高度的v1坐标。将该v1坐标延伸到立体区域，并且根据该位置的路面的视差信息来求出行人b202的距离。
根据高度h算出图像上的坐标幅度(vh)的方法如下所述。
vh＝h/(zv×wv/f)
但是，zv是从在立体区域240中测量台阶206时的距离减去自身车辆行进了的距离而获得的，wv是相机的1像素的纵向的尺寸，f是焦距。
图4表示推断单眼区域的行人的距离的流程图。首先，通过拍摄部20的右相机22和左相机21拍摄车辆前方的图像(s110)。接下来，根据图2所示的方法，通过视差信息获取部30来根据上述拍摄到的图像生成视差信息(s120)。
接下来，判定自身车辆的移动量是否大于设定值1(s130)。由车辆行为推断部510来推断自身车辆的移动量，基于车速脉冲的车辆的移动距离和方向盘的转角的方向来推断移动量。该设定值1确定因自身车辆前进而导致的立体区域的图像移动到单眼区域的范围，并且相当于图4的纵向的划分区域231的划分宽度。如果在移动范围大于设定值1的情况下，计算划分区域的路面高度(s140)，并将结果存储到视差信息存储部310中(s150)。接下来，通过物体检测部40进行单眼区域的行人检测处理(s180)。
检测行人202的方法没有特别限定，但是在这里使用光流处理作为适用于利用移动中的相机的移动体的检测的方法。在光流处理中，将图像划分成小区域，并且针对每个该小区域求出伴随时间的流逝的移动矢量。图5和图6说明了本实施例中的行人检测方式。
图5表示在单眼区域检测行人的方式的流程图。首先，判定是否已经在单眼区域检测到移动体(即行人)(s300)。如果未检测到，则对于单眼区域进行光流处理(s310)。接下来，判定是否检测到了移动体(s320)。如果通过光流检测到了移动体，则将由光流检测到的移动体的一部分的图像存储为用于在以后的处理使用的检索图像(s330)。
如图6所示，使用该存储的图像来进行来自下一帧的处理负荷较少的基于图案匹配方式的移动体的追踪。将由光流检索到的行人202的一部分的图像存储为检索图像410。从下一帧开始，将检索图像410的图像和单眼区域212的图像进行图案匹配，从而代替光流。根据该方法，在检索图像410中对于1帧检索一次单眼区域的图像212即可，与在所有的帧中进行光流处理的情况相比，可以进行高速处理。此外，由于从作为被检索对象的单眼区域212提取检索图像，所以具有匹配判定变得容易的效果。
返回到图5，当通过s310的光流检测到移动体时，算出该移动体的图像上的位置，即二维位置(s360)。如果未检测到移动体，则作为没有检测到移动体而结束(s380)。如果经过一段时间而获得下一帧的图像，则判断为在s300中已经检测到移动体，并且使用检索图像410通过图案匹配来检索单眼区域(s340)。如果可以检测到图案一致的位置(s350)，则作为有检测到移动体而进入s360。另一方面，如果无法通过图案匹配而检测到移动体，则作为未检测到移动体而结束(s370)。
接下来，返回到图4，判定在s180中是否检测到行人(s200)。在检测到的情况下，根据由非重复区域路面信息推断部520算出的路面高度信息、即包括人行道部分的台阶206的高度信息，算出行人202的距离(s210)。
接下来，作为危险度判定部60的处理，在行人的距离比设定值2更近的情况下，对驾驶员输出注意/警告信号(s230)。该信号被输出到声音、光线或者画面等。进一步地，在行人比设定值3更近的情况下，输出用于使自身车辆的刹车动作的刹车信号(s250)。设定值2和设定值3根据车辆的速度、车辆的能够停止距离来设定。
图7示出了将视差信息存储至视差信息存储部310中的方法。如果对图像全部的视差信息进行存储的话存储数据量会增加，因此在图7中，在纵向上以规定的距离划分立体区域240，并且将每个该划分区域231中的最近部分的路面203和包含台阶206的人行道205的视差存储在视差信息存储部310中。通过这样做，可以减少存储的数据量。另外，也有所存储的信息不是视差信息，而是将人行道部分的高度转换为离路面的高度信息并存储的方法。在该情况下，可以减少从检测行人开始算出该距离为止的计算量，从而可以谋求缩短行人的碰撞危险度的判定时间。
实施例2
接下来，作为第2实施例，对于组合了激光雷达和单眼相机的前向监视系统进行说明。
图8示出了使用了激光雷达70和单目相机80的前方监视系统的例子。激光雷达70在使一个或多个红外激光器上下左右地扫描的同时，测量该反射时间并对前方的路面、物体进行测距。单眼相机80对前方进行拍摄，并根据该拍摄到的图像识别行人、车辆。
如果激光雷达70的测定范围和单眼相机80的拍摄范围相等，则可以根据激光雷达70的测距数据算出由单眼相机80识别出的行人的距离，但如图9中所示，存在单眼相机80的拍摄范围是广角并且超出激光雷达70的测定范围260的情况。在这样的情况下，即使识别从画面的端部区域212、222跳出的行人，也无法直接测量到该行人的距离。因此，应用基于实施例1中所示的立体相机的跳出行人的测距方式。
由激光雷达70测量的数据被距离信息获取部90处理为三维数据。在图1的视差信息取获取30中，从视差信息转换为距离信息，但在该距离信息获取部90中，获取激光器的各扫描坐标(x、y)的距离(z)。如同视差信息存储部310一样，距离信息存储部910存储该距离信息。
对于单眼相机80的图像如同图1那样，在物体检测部40中进行行人的检测。以后进行和实施例1相同的处理。
根据以上的实施例，由于能够准确地测量单眼区域的人行道路面的高度，所以能够准确地推断该人行道路面上的行人的距离，并且能够准确地判定碰撞危险度。此外，在本实施例中，由于能够以与立体区域相同的方式推定单眼区域中的行人的距离，所以与以重复区域作为视角的现有技术相比，可以扩展立体相机装置及前方监视系统的有效视角。
符号说明
10立体相机装置
20拍摄部
21左相机
21右相机
30视差信息获取部
40物体检测部
50物体距离算出部
60危险度判定部
70激光雷达
80单眼相机
90距离信息获取部
202行人
203行驶路面
206台阶
210左图像的立体区域
212左图像的单眼区域
220右图像的立体区域
222右图像的单眼区域
240实际风景的立体区域
310视差信息存储部
510车辆行为推断部
520非重复区域路面信息推断部。