对象物推断装置以及对象物推断方法
【技术领域】
[0001] 本发明涉及根据对对象物进行拍摄而得到的图像来推断该对象物的位置以及速 度的对象物推断装置以及对象物推断方法。
【背景技术】
[0002] 例如，提出了各种利用搭载于汽车等车辆的照相机对车辆的前方进行拍摄，并根 据拍摄到的图像来检测行人、其它车辆等对象物的检测装置(参照专利文献1、非专利文献 1)。在这样的检测装置中，对对象物进行检测来测定(推断）从车辆(照相机)到对象物的距 离以及对象物的移动(速度）。
[0003] 通过掌握这样的对象物的位置以及速度，能够判定该对象物对于车辆而言是否危 险。而且，在对象物对于车辆而言可能构成危险的情况下，能够对驾驶员警告该情况或自动 控制制动器，来辅助驾驶员的驾驶。
[0004] 在非专利文献1中公开了一种根据利用两个照相机拍摄到的图像来推断对象物在 三维上的位置以及速度的方法。具体而言，在非专利文献1的方法中，根据利用两个照相机 拍摄到的两个图像按每个像素求出视差。另外，根据利用一个照相机获取到的连续的帧图 像来计算每个像素的推移(光流场）。而且，将上述视差以及光流场作为输入，通过卡尔曼滤 波来推断对象物的当前的位置以及速度。
[0005] 专利文献1:国际公开第2006/081906号公报
[0006] 非专利文献· y- (Clemens Rabe)、々工· Franke)、妇上7 7 ?年l^、（Stefan Gehrig)著、「複雑女背景丨二糾寸§移動体<Z) 高速検出」（Fast detection of moving objects in complex scenarios)、Y 工 >"卜自動車シレ求シ:ク么，2007IEEE(Intelligent Vehicles Symposium，2007IEEE)、（^f' 夕^文一少）、2007年6 月 13 日、ρ·398 -403
[0007] 然而，根据利用照相机拍摄到的映像获取的视差、光流场不可避免地会产生因照 相机的分辨率引起的误差、因错误地追踪对象物而引起的误差(跟踪错误)等。而且，若被输 入包含这样的误差(异常值)的视差、光流场，则计算出的对象物的推断值也包含误差。
[0008] 即，没有提供在视差、光流场的输入值是异常值的情况下，能够适当地对通过滤波 计算出的推断值进行修正，并以较高的精度推断对象物的状态(位置/速度)的装置。
【发明内容】
[0009] -个实施方式提供一种在视差信息以及推移信息中检测出异常值的情况下能够 适当地对推断值进行修正，高精度地推断对象物的位置以及速度的对象物推断装置以及对 象物推断方法。
[0010] -个实施方式的对象物推断装置基于图像获取单元从不同的位置拍摄到的多个 图像，来推断该图像中的对象物的位置以及速度。上述对象物推断装置具备:推移信息获取 单元，在上述多个图像中的成为基准的基准图像中，从在时间上位于前后的帧获取对应的 像素的位置在时间上的推移信息;视差信息获取单元，从上述多个图像中以上述基准图像 为基准来获取对应的各像素的视差信息;推断值获取单元，基于上述推移信息获取单元获 取的推移信息以及上述视差信息获取单元获取的视差信息，使用滤波来推断上述对象物在 三维空间上的位置以及速度的推断值;判定单元，判定上述推移信息获取单元获取的推移 信息以及上述视差信息获取单元获取的视差信息分别是否是异常值；以及修正单元，基于 上述判定单元的判定结果，来对上述推断值获取单元获取的上述推断值进行修正。上述修 正单元在上述判定单元判定为上述推移信息获取单元获取的上述推移信息是异常值的情 况下、以及在上述判定单元判定为上述视差信息获取单元获取的上述视差信息是异常值的 情况下，利用不同的方法对上述推断值获取单元获取的推断值进行修正。
【附图说明】
[0011]图1是表示搭载有实施方式所涉及的对象物推断装置的汽车的系统结构的框图。
[0012] 图2是表示实施方式所涉及的对象物推断装置推断对象物的状态的概念图。
[0013] 图3(a)是表示对作为对象物的其他车辆进行拍摄而得到的图像的图，（b)是表示 视差信息的图，（c)是表示推移信息的图。
[0014] 图4是对在推移信息中产生异常值并对推断值进行修正的情况加以说明的图。
[0015] 图5是对在视差信息中产生异常值并对推断值进行修正的情况加以说明的图。
[0016] 图6是表示通过实施方式所涉及的对象物推断方法来进行对象物的状态推断时的 控制流程的流程图。
[0017] 图7是表示实验例的实验条件的图。
[0018] 图8是表不实验例的实验结果的图表。
【具体实施方式】
[0019] 接下来，对实施方式所涉及的对象物推断装置以及对象物推断方法进行说明。在 实施方式中，对将对象物推断装置搭载于作为车辆的汽车(普通乘用车)的情况进行说明。
[0020] [实施方式]
[0021]图1是表示搭载有本实施方式所涉及的对象物推断装置10的汽车的系统结构的框 图。对象物推断装置10与图像获取部12(图像获取单元）以及车辆信息获取部14电连接。而 且，对象物推断装置10基于来自图像获取部12以及车辆信息获取部14的输入，来推断由图 像获取部12拍摄到的对象物(例如其它车辆、行人)的状态(位置以及速度）。
[0022]其中，对象物推断装置10与未图示的驾驶辅助装置电连接，将由对象物推断装置 10获得的对象物的推断值输出至驾驶辅助装置。在驾驶辅助装置中，使用被输入的推断值， 例如对驾驶员警告对象物的存在或自动控制制动器，来辅助驾驶员的驾驶。
[0023](关于图像获取部）
[0024]图像获取部12例如被安装于汽车的挡风玻璃(前窗玻璃）（未图示）的车辆室侧，对 汽车的行进方向的前方进行拍摄。本实施方式的图像获取部12是具备分离在左右(与汽车 的行进方向垂直的水平方向）的一对照相机16、18的立体照相机。其中，在以下的说明中，将 左侧的照相机称为第一照相机16(第一拍摄单元），将右侧的照相机称为第二照相机18(第 二拍摄单元）。
[0025]第一照相机16以及第二照相机18实现拍摄时机的同步以便在同一时刻拍摄帧。第 一照相机16以及第二照相机18从相互不同的位置对汽车的行驶方向的前方进行拍摄，分别 获取第一图像(基准图像)以及第二图像。
[0026](关于车辆信息获取部）
[0027]车辆信息获取部14用于检测汽车的行驶状态，具备检测汽车的横摆率的横摆率传 感器20以及检测汽车的车速(行驶速度)的车速传感器22。由车辆信息获取部14获取到的横 摆率以及车速被输出至对象物推断装置10的后述的推断值获取部26。
[0028](关于对象物推断装置）
[0029]如图1所示，对象物推断装置10将输入值获取部24以及推断值获取部26作为基本 结构。
[0030] (关于输入值获取部）
[0031] 输入值获取部24具备推移信息计算部28(推移信息获取单元）以及视差信息计算 部30(视差信息获取单元）。输入值获取部24基于图像获取部12获取的第一图像以及第二图 像，来获取输入至推断值获取部26的输入值(后述的视差信息以及推移信息）。
[0032]推移信息计算部28与第一照相机16电连接，被输入由第一照相机16获取到的第一 图像。另外，推移信息计算部28具备RAM等可改写的存储部(未图示），将前1帧的第一图像随 时存储以及更新至存储部。
[0033] 推移信息计算部28根据当前的帧的第一图像和存储部所存储的前1帧的第一图像 (在时间上位于前后的帧)来获取对应的像素的位置在时间上的推移信息(光流场）。
[0034] 在实施方式中，推移信息以第一照相机16的光轴中心为原点，有关像素的横向（X 方向）的位置分量被定义为u、有关像素的纵向(y方向）的位置分量被定义为V。
[0035]其中，推移信息计算部28在计算推移信息(u，v)时，例如使用浓度梯度法、Horn-Schunck的方法（B.K.P.Horn and B.G. Schunck,Determining Optical Flow,AI(17), No. 1-3,1981，pp. 185-203)等公知的方法。
[0036] 视差信息计算部30与第一照相机16以及第二照相机18双方电连接，分别被输入由 两个照相机16、18获取到的第一图像以及第二图像。视差信息计算部30基于被输入的第一 图像以及第二图像，按每个像素来计算视差(视差信息d)。
[0037] 具体而言，对于第一图像的各像素以及第二图像所对应的各像素，例如通过基于 Semi-Global Matching的图像处理来计算视差信息d。在本实施方式中，视差信息计算部30 被设定为以第一图像为基准来计算视差信息d。即，视差信息d与以第一照相机16的光轴中 心为原点的有关像素的纵深位置(从第一照相机16到对象物的距离)唯一建立对应关系。其 中，各像素的帧间的跟踪基于推移信息计算部28计算的推移信息(u，v)(即，光流场)来进 行。
[0038]由推移信息计算部28计算出的推移信息(u，v)以及由视差信息计算部30计算出的 视差信息d被输出至推断值获取部26。
[0039] 如图1所示，推断值获取部26具备计算部32(推断值获取单元）、判定部34(判定单 元）、以及修正部36(修正单元）。
[0040] 计算部32通过将