车辆判定装置、车辆判定方法和车辆判定程序与流程

文档序号:15307938发布日期:2018-08-31 21:18阅读:166来源:国知局

本发明涉及根据由摄像头拍摄的图像信息识别道路上的车辆的技术。



背景技术:

一般在市场上销售自动制动和acc(adaptivecruisecontrol:自适应巡航控制)这样的先进驾驶辅助系统(adas:advanceddriverassistancesystem)。并且,自动驾驶系统的研究开发也在发展,实施自动驾驶车辆的公路试验。

在搭载了先进驾驶辅助系统的车辆和自动驾驶车辆中,根据由车载摄像头拍摄车辆周围而得到的拍摄图像对车辆周围存在的周围车辆进行图像识别,从而进行检测。

作为基于图像识别处理的周围车辆的检测方法,存在如下方法:预先在数据库中大量蓄积各种车辆的图像信息作为参照图像,进行该参照图像和拍摄图像的图案匹配处理。

作为图案匹配处理,存在如下方法:根据参照图像和拍摄图像计算hog(histogramsoforientedgradients)特征量,使用svm(supportvectormachine)判定拍摄图像中是否拍摄到车辆。并且,作为图案匹配处理,除此以外,还存在如下方法:通过cnn(convolutionalneuralnetwork)来检测与表示车辆特征的特征量图相似的拍摄图像区域。

另外,作为数据库的参照图像,使用拍摄到车辆的图像信息即正确图像和未拍摄车辆的图像信息即不正确图像。

通过图像识别处理,检测所拍摄的图像信息中包含的车辆的图像区域,由此,还能够检测车辆周围存在的周围车辆的位置。通过使用该检测结果,能够实现自动制动和acc这样的先进驾驶辅助系统以及自动驾驶车辆的行进路线的决定这样的处理。

图像识别处理的计算量较多。因此,当使用廉价的图像处理装置时,图像处理速度降低,很难应用于先进驾驶辅助系统和自动驾驶系统这样的要求实时性的系统。

并且,根据行驶环境,存在即使在拍摄图像中拍摄到周围车辆也未检测到周围车辆的情况、以及相反即使未拍摄到周围车辆也误检测为周围车辆的情况。特别地,根据车辆的车载摄像头与周围车辆的相对位置,拍摄周围车辆的方向产生差异。因此,拍摄图像中映出的周围车辆的图像信息大幅变化,周围车辆的图像识别处理的检测率降低。

这样,根据行驶环境和拍摄环境的不同,周围车辆的检测精度降低,因此,作为驾驶员失误时的辅助的自动制动以及减轻拥堵时的驾驶员负担的acc等被产品化,但是,还未达到自动驾驶车辆的产品化。除了期望自动驾驶车辆的产品化以外,还期望周围车辆的检测精度比以往进一步提高、计算量较少的图像识别技术,以提高汽车的安全性。

在专利文献1中记载了,判定车辆与周围车辆的相对角度即斜行程度,根据斜行度的高低来切换周围车辆的图像识别算法,根据拍摄图像检测周围车辆。具体而言,在专利文献1中,在斜行程度较低的情况下,通过图案匹配处理检测周围车辆,在斜行程度较高的情况下,通过光流处理检测周围车辆。即,在专利文献1中,在车辆与周围车辆的斜行程度较高、从前方拍摄的参照图像和所拍摄的拍摄图像中产生较大差异的情况下,不使用参照图像,而通过光流处理来检测周围车辆。

现有技术文献

专利文献

专利文献1:日本特开2013-161202号公报



技术实现要素:

发明要解决的课题

在光流处理中,很难进行周围车辆的车型的识别以及车辆与车辆以外的移动物体的识别。因此,在专利文献1所记载的技术中,在斜行程度较高的情况下,无法识别周围车辆的车型等。

本发明的目的在于,能够根据由摄像头拍摄的图像信息高速且高精度地检测周围车辆。

用于解决课题的手段

本发明的车辆判定装置具有:方向确定部,其针对由摄像头拍摄的图像信息所表示的区域的部分区域,确定周围车辆在所述部分区域中行驶的行驶方向;特征量取得部,其取得图像特征量,该图像特征量是根据与所述方向确定部确定出的行驶方向对应的参照图像而计算出的;以及车辆判定部,其计算与所述部分区域有关的所述图像信息的图像特征量,对计算出的图像特征量和所述特征量取得部取得的图像特征量进行比较,由此判定所述部分区域中是否存在周围车辆。

发明效果

在本发明中,使用与周围车辆在作为处理对象的部分区域中行驶的行驶方向对应的参照图像,判定部分区域中是否存在周围车辆。由此,通过减少要使用的参照图像的数量,能够高速进行处理。并且,使用适当的参照图像,因此,能够高精度地检测周围车辆。

附图说明

图1是实施方式1的车辆判定装置10的结构图。

图2是示出实施方式1的周围车辆200的行驶状态的图。

图3是示出实施方式1的图2所示的状况下得到的图像信息42的图。

图4是实施方式1的参照特征量41的说明图。

图5是实施方式1的存储器122中存储的参照特征量41的说明图。

图6是示出实施方式1的车辆判定装置10的动作的流程图。

图7是实施方式1的部分区域61的选择方法的说明图。

图8是实施方式1的部分区域61的区域的判定方法的说明图。

图9是缩窄实施方式1的重复区域的方法的说明图。

图10是实施方式1的特征量的相似判定的说明图。

图11是变形例1的车辆判定装置10的结构图。

图12是实施方式2的车辆判定装置10的结构图。

图13是示出实施方式2的周围车辆200的行驶状态的图。

图14是示出实施方式2的周围车辆200的行驶状态的图。

图15是示出实施方式2的图13所示的状况下得到的图像信息42的图。

图16是示出实施方式2的图14所示的状况下得到的图像信息42的图。

图17是示出实施方式2的车辆判定装置10的动作的流程图。

图18是实施方式2的车辆100的行驶车道的确定方法的说明图。

图19是实施方式2的部分区域61的选择方法的说明图。

图20是实施方式2的部分区域61的选择方法的说明图。

图21是实施方式2的特征量的相似判定的说明图。

图22是变形例3的车辆判定装置10的结构图。

图23是示出变形例3的车辆判定装置10的动作的流程图。

图24是变形例3的车辆100的行驶车道的确定方法的说明图。

图25是变形例3的车辆100的行驶车道的确定方法的说明图。

图26是实施方式3的车辆判定装置10的结构图。

图27是示出实施方式3的周围车辆200的行驶状态的图。

图28是实施方式3的存储器122中存储的参照特征量41的说明图。

图29是示出实施方式3的车辆判定装置10的动作的流程图。

图30是示出变形例5的周围车辆200的行驶状态的图。

图31是实施方式4的车辆判定装置10的结构图。

图32是示出实施方式4的周围车辆200的行驶状态的图。

图33是示出实施方式4的图32所示的状况下得到的图像信息42的图。

图34是实施方式4的参照特征量41的说明图。

图35是实施方式4的存储器122中存储的参照特征量41的说明图。

图36是示出实施方式4的车辆判定装置10的动作的流程图。

图37是实施方式4的有无遮蔽区域47的判定方法的说明图。

具体实施方式

实施方式1.

***结构的说明***

参照图1对实施方式1的车辆判定装置10的结构进行说明。

车辆判定装置10是搭载在车辆100上的计算机。车辆判定装置10经由车辆控制接口321而与搭载在车辆100上的车辆控制单元32连接。

车辆判定装置10具有处理器11、存储装置12、摄像头接口13。处理器11经由信号线而与其他硬件连接,对这些其他硬件进行控制。

处理器11是进行处理的ic(integratedcircuit)。作为具体例,处理器11是cpu(centralprocessingunit)、dsp(digitalsignalprocessor)、gpu(graphicsprocessingunit)。

存储装置12具有内存(memory)121和存储器(storage)122。作为具体例,内存121是ram(randomaccessmemory)。作为具体例,存储器122是rom(readonlymemory)。存储器122也可以是hdd(harddiskdrive)。并且,存储器122也可以是sd(securedigital)存储卡、cf(compactflash)、nand闪存、软盘、光盘、高密度盘、蓝光(注册商标)盘、dvd这样的移动存储介质。

摄像头接口13是搭载在车辆100上的、连接对车辆100的周围进行拍摄的摄像头31的装置。作为具体例,摄像头接口13是连接摄像头31的接口基板。通过与输出连接器对应地变更摄像头接口13,能够使各个种类的摄像头31与车辆判定装置10连接。

车辆判定装置10具有方向确定部21、特征取得部22、车辆判定部23作为功能结构要素。方向确定部21、特征取得部22、车辆判定部23的各部的功能通过软件实现。

在存储装置12的存储器122中存储有实现车辆判定装置10的各部的功能的程序。该程序通过处理器11读入到内存121中,通过处理器11来执行。由此,实现车辆判定装置10的各部的功能。并且,在存储装置12的存储器122中存储有由特征取得部22使用的参照特征量41。另外,参照特征量41也可以存储在外部的服务器中。

表示由处理器11实现的各部的功能的处理结果的信息、数据、信号值、变量值存储在内存121或处理器11内的寄存器或高速缓冲存储器中。在以下的说明中,表示由处理器11实现的各部的功能的处理结果的信息、数据、信号值、变量值存储在内存121中。

实现由处理器11实现的各功能的程序存储在存储装置12中。但是,该程序也可以存储在磁盘、软盘、光盘、高密度盘、蓝光(注册商标)盘、dvd这样的移动存储介质中。

在图1中,仅示出一个处理器11。但是,处理器11也可以是多个,多个处理器11也可以协作执行实现各功能的程序。

车辆控制单元32是搭载在车辆100上的计算机。

车辆控制单元32具有车辆控制接口321、传感器ecu(electroniccontrolunit)322、车辆ecu323。

车辆控制接口321是用于与车辆判定装置10这样的其他装置连接的接口。

传感器ecu322是连接有速度传感器、加速度传感器、陀螺仪传感器、激光传感器、毫米波传感器这样的各种传感器、并从各种传感器取得信息的装置。

车辆ecu323与车辆100的致动器、油门、方向盘这样的控制车辆100的各种控制设备连接。车辆ecu323根据传感器ecu322从各种传感器取得的信息和从经由车辆控制接口321连接的外部装置发送的信息,对各种控制设备进行控制,对车辆100的动作进行控制。

***动作的说明***

参照图2~图10对实施方式1的车辆判定装置10的动作进行说明。

实施方式1的车辆判定装置10的动作相当于实施方式1的车辆判定方法。并且,实施方式1的车辆判定装置10的动作相当于实施方式1的车辆判定程序的处理。

在以下的说明中,以左侧通行的情况为例进行说明。在右侧通行的情况下,左右相反考虑即可。

参照图2和图3对实施方式1的车辆判定装置10的动作的概要进行说明。

在图2中,作为在车辆100的周围的道路50中行驶的周围车辆200,存在在与车辆100行驶的车道相同的行进方向的并行车道51中行驶的周围车辆200a、和在与车辆100行驶的车道对向的行进方向的对向车道52中行驶的周围车辆200b。在图2所示的状况下,在利用搭载在车辆100上的摄像头31拍摄了车辆100的前方的情况下,得到图3所示的图像信息42。即,得到从后方拍摄在并行车道51中行驶的周围车辆200a、从前方拍摄在对向车道52中行驶的周围车辆200b的图像信息42。

在从前方拍摄周围车辆200的情况下和从后方拍摄周围车辆200的情况下,图像大大不同。即,根据周围车辆200的行驶方向,利用摄像头31拍摄的情况下得到的周围车辆200的图像不同。当图像不同时,根据该图像计算的特征量也不同。

因此,车辆判定装置10按照拍摄周围车辆200的每个拍摄方向存储参照特征量41。然后,车辆判定装置10针对图像信息42所表示的区域的各部分区域61,确定处理对象的部分区域61中的周围车辆200的行驶方向,使用与所确定的行驶方向对应的参照特征量41,判定处理对象的部分区域61中是否存在周围车辆200。

参照图4和图5对实施方式1的参照特征量41进行说明。

使用与作为对象的拍摄方向对应的参照图像来计算参照特征量41。在图4中,使用从车辆后方拍摄的参照图像计算车辆后方的参照特征量41a,使用从车辆前方拍摄的参照图像计算车辆前方的参照特征量41b。当然,从车辆后方拍摄的参照图像是车辆后部的图像信息,从车辆前方拍摄的参照图像是车辆前部的图像信息。使用根据拍摄方向进行分类后的参照图像计算特征量,由此,计算专用于车辆后部的图像的参照特征量41a和专用于车辆前部的图像的参照特征量41b。

如图5所示,与各个拍摄方向对应的参照特征量41与各个拍摄方向对应起来存储在存储器122中。

这里,计算专用于车辆后部的图像的参照特征量41a和专用于车辆前部的图像的参照特征量41b。

在计算参照特征量41a的情况下,不仅包含车辆正后方的图像,还可以包含左斜后部的图像、右斜后部的图像、左侧部的图像、右侧部的图像。并且,在计算参照特征量41b的情况下,不仅包含车辆正面的图像,还可以包含右斜前部的图像、右侧部的图像。另外,这里,假设左侧通行,因此,对向车道成为车辆100的右侧。因此,在计算参照特征量41b的情况下,不使用车辆左侧的图像。

参照图6对实施方式1的车辆判定装置10的动作进行详细说明。

在实施方式1中,每隔一定时间反复执行图6所示的处理。另外,也可以根据事件的产生来执行图6所示的处理。

在步骤s101的拍摄图像取得处理中,方向确定部21经由摄像头接口13取得由摄像头31拍摄车辆100的前方得到的的图像信息42。方向确定部21将所取得的图像信息42写入内存121中。

在步骤s102的区域选择处理中,方向确定部21选择步骤s101中取得的图像信息42所表示的区域的部分区域61。

参照图7进行具体说明。方向确定部21从内存121中读出图像信息42,从所读出的图像信息42的左上到右下依次选择任意尺寸的部分区域61。在实施方式1中,方向确定部21将横30像素×纵30像素的正方形区域设为部分区域61,将横5像素×纵5像素设为一个单元格(cell)62。然后,方向确定部21从图像信息42的左上到右下,一个单元格一个单元格地依次选择部分区域61。例如,如果参照特征量41的图像分辨率为横1980×纵1200,则5像素5像素地偏移来提取部分区域61,因此,依次选择391(=(1980-30)/5+1)×235(=(1200-30)/5+1)个部分区域61。方向确定部21将选择出的部分区域61写入内存121中。

在步骤s103的方向确定处理中,方向确定部21确定周围车辆200在步骤s102中选择出的部分区域61中行驶的行驶方向。

具体而言,方向确定部21从内存121中读出部分区域61,判定所读出的部分区域61是并行车道51的区域还是对向车道52的区域。然后,如果部分区域61是并行车道51的区域,则方向确定部21确定为周围车辆200的行驶方向是与车辆100相同的方向。并且,如果部分区域61是对向车道52的区域,则方向确定部21确定为周围车辆200的行驶方向是与车辆100对向的方向。方向确定部21将表示所确定的行驶方向的方向信息43写入内存121中。

参照图8对判定部分区域61是并行车道51的区域还是对向车道52的区域的方法进行说明。

在拍摄车辆100的前方的摄像头31中,在左侧通行的情况下,并行车道51成为图像信息42的左侧,对向车道52成为图像信息42的右侧。因此,方向确定部21将从图像信息42的左端到中央位置或比中央位置稍微靠右侧的位置设为并行车道51,将从图像信息42的右端到中央位置或比中央位置稍微靠左侧的位置设为对向车道52。

在图8中,方向确定部21将从图像信息42的左端到比中央位置稍微靠右侧的位置设为并行车道51,将从图像信息42的右端到比中央位置稍微靠左侧的位置设为对向车道52。因此,在图8中,在图像信息42的中央部分存在包含在并行车道51和对向车道52双方中的重复区域。这样,设置重复区域是因为,根据车辆100的行驶位置,有时图像信息42内的并行车道51的区域和对向车道52的区域的位置变化。

方向确定部21根据部分区域61包含并行车道51的区域和对向车道52的区域中的哪个区域,判定部分区域61是并行车道51的区域还是对向车道52的区域。另外,在部分区域61包含并行车道51的区域和对向车道52的区域双方的情况下,判定为部分区域61是并行车道51和对向车道52双方的区域。

即,在参照图8说明的方法中,方向确定部21根据图像信息42所表示的区域中的部分区域61的位置,确定行驶方向。

参照图9对缩窄重复区域的方法进行说明。

在后述处理中,设为通过车辆判定部23检测到在并行车道51中行驶的周围车辆200。该情况下,估计为检测到周围车辆200的区域是并行车道51,而不是对向车道52。因此,方向确定部21在检测到在并行车道51中行驶的周围车辆200的情况下,将从图像信息42的右端到检测到周围车辆200的区域的右端设为对向车道52。由此,对向车道52的区域缩小,重复区域缩窄。

同样,方向确定部21在检测到在对向车道52中行驶的周围车辆200的情况下,将从图像信息42的左端到检测到周围车辆200的区域的左端设为并行车道51。由此,并行车道51的区域缩小,重复区域缩窄。

即,在参照图9说明的方法中,方向确定部21根据图像信息42所表示的区域中的部分区域61的位置和过去由车辆判定部23判定为存在周围车辆200的部分区域61的位置,确定行驶方向。

在步骤s104的特征量取得处理中,特征取得部22取得与步骤s103中确定的周围车辆200的行驶方向对应的参照特征量41。

具体而言,特征取得部22在确定为周围车辆200的行驶方向是与车辆100相同的方向的情况下,取得与跟车辆100相同的方向对应的参照特征量41。即,特征取得部22从存储器122中读出车辆后部的参照特征量41a。另一方面,特征取得部22在确定为周围车辆200的行驶方向是与车辆100对向的方向的情况下,取得与跟车辆100对向的方向对应的参照特征量41。即,特征取得部22从存储器122中读出车辆前部的参照特征量41b。然后,特征取得部22将所读出的参照特征量41写入内存121中。

在步骤s105的特征量计算处理中,车辆判定部23计算步骤s102中选择出的部分区域61的特征量即图像特征量。

具体而言,在实施方式1中,车辆判定部23计算部分区域61的hog特征量作为图像特征量。首先,车辆判定部23针对构成部分区域61的各单元格62,计算亮度梯度强度值和亮度梯度方向。接着,车辆判定部23将计算出的亮度梯度方向分割成9个方向,生成针对各方向的亮度梯度强度值的直方图。最后,车辆判定部23将各单元格62的全部直方图设为部分区域61的图像特征量。车辆判定部23将计算出的图像特征量写入内存121中。

这里,部分区域61的图像特征量在一个单元格62中具有9个方向的亮度梯度强度值,构成一个部分区域61的单元格62为36个,因此,成为合计324(=9×36)维的图像特征量。

另外,存储器122中存储的参照特征量41是使用根据车辆方向进行分类后的参照图像,与图像特征量同样地计算出的。可以存储预先计算出的参照特征量41,也可以构成为根据图像信息42进行更新。

这里,计算hog特征量作为图像特征量和参照特征量41。但是,也可以计算其他特征量作为图像特征量和参照特征量41。

在步骤s106的车辆判定处理中,车辆判定部23对步骤s104中取得的参照特征量41和步骤s105中计算出的图像特征量进行比较,判定是否相似。

具体而言,车辆判定部23在步骤s104中从存储器122中读出参照特征量41,从内存121中读出步骤s105中计算出的图像特征量。在实施方式1中,车辆判定部23通过svm对所读出的参照特征量41和图像特征量进行比较,计算相似度。然后,车辆判定部23根据相似度是否高于阈值,判定是否相似。

车辆判定部23在判定为相似的情况下,使处理进入步骤s107。另一方面,车辆判定部23在判定为不相似的情况下,使处理进入步骤s108。

这里,在特征量的相似判定中使用svm。但是,也可以在特征量的相似判定中使用其他方法。

即,如图10所示,在部分区域61是并行车道51的图像区域的情况下,使用车辆后部的参照特征量41a进行判定。在部分区域61是对向车道52的图像区域的情况下,使用车辆前部的参照特征量41b进行判定。在部分区域61是重复区域的情况下,使用车辆后部的参照特征量41a和车辆前部的参照特征量41b双方进行判定。

在步骤s107的车辆判定处理中,车辆判定部23判定为在步骤s102中选择出的部分区域61中拍摄到周围车辆200。即,车辆判定部23判定为在部分区域61中存在周围车辆200。然后,车辆判定部23根据图像信息42中的部分区域61的位置,确定周围车辆200的位置。

车辆判定部23向车辆控制单元32发送表示所确定的周围车辆200的位置的确定信息44。然后,车辆判定部23使处理返回步骤s102。

车辆控制单元32使用所发送的确定信息44对车辆100的行驶进行控制。例如,车辆控制单元32在车辆100的行进方向附近检测到周围车辆200的情况下,进行车辆100的制动控制,避免与周围车辆200发生碰撞。

在步骤s108的非车辆判定处理中,车辆判定部23判定为在步骤s102中选择出的部分区域61中未拍摄到车辆。即,车辆判定部23判定为在部分区域61中不存在周围车辆200。然后,车辆判定部23使处理返回步骤s102。

另外,方向确定部21在步骤s102中选择了图像信息42所表示的全部区域作为部分区域61的情况下,结束处理。

***实施方式1的效果***

如上所述,实施方式1的车辆判定装置10使用与部分区域61中的周围车辆200的行驶方向对应的参照特征量41,判定部分区域61中是否拍摄到周围车辆200。由此,能够根据图像信息42高速且高精度地检测周围车辆200。

***其他结构***

<变形例1>

在实施方式1中,车辆判定装置10的各部的功能通过软件实现。但是,作为变形例1,车辆判定装置10的各部的功能可以通过硬件实现。关于该变形例1,对与实施方式1的不同之处进行说明。

参照图11对变形例1的车辆判定装置10的结构进行说明。

在各部的功能通过硬件实现的情况下,车辆判定装置10代替处理器11和存储装置12而具有处理电路14。处理电路14是实现车辆判定装置10的各部的功能和存储装置12的功能的专用电子电路。

处理电路14假设为单一电路、复合电路、程序化的处理器、并行程序化的处理器、逻辑ic、ga(gatearray)、asic(applicationspecificintegratedcircuit)、fpga(field-programmablegatearray)。

可以利用一个处理电路14实现各部的功能,也可以使多个处理电路14分散实现各部的功能。

<变形例2>

作为变形例2,也可以是一部分功能通过硬件实现,另一部分功能通过软件实现。即,也可以是车辆判定装置10的各部中的一部分功能通过硬件实现,另一部分功能通过软件实现。

将处理器11、存储装置12、处理电路14统称为“处理电路系统(processingcircuitry)”。即,各部的功能通过处理电路系统实现。

实施方式2.

实施方式2与实施方式1的不同之处在于,在单侧存在多个车道的情况下确定并行车道51的区域和对向车道52的区域。在实施方式2中,对该不同之处进行说明。

在实施方式2中,对单侧2车道的情况进行说明。但是,在单侧3车道以上的情况下,也能够通过同样的思路进行应对。

***结构的说明***

参照图12对实施方式2的车辆判定装置10的结构进行说明。

车辆判定装置10在图1所示的车辆判定装置10的硬件结构的基础上具有通信接口15和测位传感器16。

通信接口15是包含接收数据的接收机和发送数据的发送机的装置。作为具体例,通信接口15是通信芯片或nic(networkinterfacecard)。

测位传感器16是接收由gps卫星这样的测位卫星发送的能够确定车辆100的位置的测位信号的装置。作为测位卫星,可以使用采取长时间停留在确定地域上空的轨道的准天顶卫星。通过使用准天顶卫星,能够计算高精度的位置信息。

车辆判定装置10在图1所示的车辆判定装置10的功能结构要素的基础上具有车道确定部24。车道确定部24的功能与车辆判定装置10的其他功能同样,通过软件实现。

***动作的说明***

参照图13~图20对实施方式2的车辆判定装置10的动作进行说明。

实施方式2的车辆判定装置10的动作相当于实施方式2的车辆判定方法。并且,实施方式2的车辆判定装置10的动作相当于实施方式2的车辆判定程序的处理。

参照图13~图16对实施方式2的车辆判定装置10的动作的概要进行说明。

在图13和图14中,示出单侧2车道的道路,周围车辆200在各车道中行驶。在图13和图14中,车辆100行驶的车道不同。具体而言,在图13中,车辆100在与对向车道52相邻的车道中行驶,与此相对,在图14中,车辆100在与路肩53相邻的车道中行驶。在图13所示的状况下,在利用搭载在车辆100上的摄像头31拍摄了车辆100的前方的情况下,得到图15所示的图像信息42。在图14所示的状况下,在利用搭载在车辆100上的摄像头31拍摄了车辆100的前方的情况下,得到图16所示的图像信息42。

如图15和图16所示,根据车辆100行驶的车道,所拍摄的区域不同。因此,车辆判定装置10考虑车辆100行驶的行驶车道,确定周围车辆200的行驶方向。具体而言,不是单纯地将图像信息42的左侧一半左右设为并行车道51的区域、将右侧一半左右设为对向车道52的区域,而是根据行驶车道,确定将图像信息42的哪个范围设为并行车道51的区域和对向车道52的区域。

参照图17对实施方式2的车辆判定装置10的动作进行详细说明。

在实施方式2中,每隔一定时间反复执行图17所示的处理。另外,也可以根据事件的产生来执行图17所示的处理。

在步骤s201的拍摄图像取得处理中,与图7的步骤s101同样,方向确定部21取得图像信息42。

在步骤s202的位置检测处理中,车道确定部24经由测位传感器16取得测位信号,由此确定车辆100的位置。确定车辆100的位置相当于确定摄像头31的位置。

具体而言,车道确定部24经由测位传感器16从gps这样的测位卫星接收测位信号,并且,经由测位传感器16从采取长时间停留在确定地域上空的轨道的准天顶卫星接收测位卫星用的测位校正信息。车道确定部24使用测位校正信息对根据接收到的测位信号计算出的位置进行校正,确定位置。车道确定部24将所确定的位置写入内存121中。

测位校正信息由设置在地表的电子基准点的观测数据、卫星轨道信息、对流层延迟模型、电离层延迟模型构成。对流层延迟模型示出如下效果:在靠近地表的对流层,测位信号的电波在大气中通过,由此,与真空中相比,进行减速;传播路径稍微弯曲,因此,与直线相比,距离延长。电离层延迟模型示出如下效果:由于太阳辐射,从地表起高度250km~400km附近的电离层的电子密度变化,依赖于该电子密度,gps测位信号的电波速度变化。通过使用测位校正信息,如果是没有隧道等上空遮蔽物的道路,则能够以数厘米单位的精度确定车辆100的位置。

这里,使用测位信号确定了拍摄位置。但是,也可以使用lidar(lightdetectionandranging、laserimagingdetectionandranging)这样的传感器检测道路上的白线位置,根据该白线位置确定车辆100的位置。

在步骤s203的地图取得处理中,车道确定部24取得步骤s202中确定的车辆100的位置周边的地图信息。

具体而言,车道确定部24从内存121中读出步骤s202中确定的位置。然后,车道确定部24经由通信接口15从外部服务器接收步骤s202中确定的位置周边的地图信息。地图信息是能够确定道路的各车道的位置的精度的信息。在地图信息中,可以包含道路的三维形状信息。车道确定部24将接收到的地图信息写入内存121中。

这里,车道确定部24从外部服务器接收到地图信息。但是,也可以在存储器122中存储地图信息,车道确定部24从存储器122中读出地图信息。

在步骤s204的行驶车道确定处理中,车道确定部24确定车辆100行驶的行驶车道。

参照图18进行具体说明。车道确定部24从内存121中读出步骤s202中确定的车辆100的位置和步骤s203中取得的地图信息。车道确定部24对车辆100的位置和地图信息所表示的车道的位置进行比较,确定行驶车道

例如,如图18所示,地图信息设为表示划分车道的线的数学式。在图18中,假设各线是直线,各线用x=az+b表示。这里,a、b是常数,按照每条线设定不同的值。车道确定部24根据地图信息所表示的数学式和车辆100的位置(xc,zc),确定车辆100的行驶车道。车道确定部24将表示所确定的行驶车道的行驶车道信息45写入内存121中。

在步骤s205的区域选择处理中,与图6的步骤s102同样,方向确定部21选择步骤s201中取得的图像信息42所表示的区域的部分区域61。

在步骤s206的方向确定处理中,方向确定部21确定周围车辆200在步骤s205中选择出的部分区域61中行驶的行驶方向。

具体而言,方向确定部21从内存121中读出步骤s205中选择出的部分区域61和表示步骤s204中确定的行驶车道的行驶车道信息45。方向确定部21考虑所读出的行驶车道信息45所表示的行驶车道,判定部分区域61是并行车道51的区域还是对向车道52的区域,或者不是任意一种区域。

方向确定部21在判定为部分区域61是并行车道51的区域或对向车道52的区域的情况下,使处理进入步骤s207。方向确定部21在判定为部分区域61是既不是并行车道51的区域也不是对向车道52的区域的情况下,使处理返回步骤s205,选择新的部分区域61。

参照图19和图20对判定部分区域61是并行车道51的区域还是对向车道52的区域、或者既不是并行车道51的区域也不是对向车道52的区域的方法进行说明。

与车辆100在与对向车道52相邻的车道中行驶的情况相比,在车辆100在与路肩53相邻的车道中行驶的情况下,如图19和图20所示,拍摄到道路50的区域向右偏移1个车道。

因此,方向确定部21按照车辆100的每个行驶车道,确定并行车道51的区域和对向车道52的区域。例如,方向确定部21在车辆100在与对向车道52相邻的车道中行驶的情况下,将从图像信息42的左端到中央位置或比中央位置稍微靠右侧的位置设为并行车道51,将从图像信息42的右端到中央位置或比中央位置稍微靠左侧的位置设为对向车道52。并且,方向确定部21在车辆100在与路肩53相邻的车道中行驶的情况下,将从图像信息42的左端向右移动1个车道的位置到从中央位置向右移动1个车道的位置或从比中央位置稍微靠右侧向右移动1个车道的位置设为并行车道51,将比并行车道51更靠右侧的范围设为对向车道52。

方向确定部21根据部分区域61包含并行车道51的区域还是包含对向车道52的区域、或者不包含任意一种区域,判定部分区域61是并行车道51的区域还是对向车道52的区域,或者未包含在任意一种区域中。

步骤s207~步骤s211的处理与图6所示的步骤s104~步骤s108的处理相同。

即,如图21所示,仅在部分区域61包含并行车道51的区域或对向车道52的区域的情况下,执行步骤s207以后的处理。换言之,如部分区域61是路肩的情况那样,在并行车道51的区域和对向车道52的区域中都未包含部分区域61的情况下,省略步骤s207以后的处理,不进行特征量的计算等。

***实施方式2的效果***

如上所述,实施方式2的车辆判定装置10确定车辆100的行驶车道,由此,高精度地确定并行车道51和对向车道52。

由此,针对路肩53这样的周围车辆200不会行驶的区域,省略步骤s207以后的处理。因此,能够根据图像信息42高速检测周围车辆200。并且,使用适当的参照特征量41,进行特征量的相似判定。因此,能够根据图像信息42高精度地检测周围车辆200。

***其他结构***

<变形例3>

在实施方式2中,在步骤s204中确定车辆100的行驶车道,在步骤s206中考虑行驶车道而确定了并行车道51的区域和对向车道52的区域。作为变形例3,也可以根据车辆100的位置和地图信息,确定图像信息42所表示的区域中的并行车道51的区域和对向车道52的区域。

参照图22对变形例3的车辆判定装置10的结构进行说明。

车辆判定装置10与图12所示的车辆判定装置10的不同之处在于,不具有车道确定部24作为功能结构要素。

参照图23对变形例3的车辆判定装置10的动作进行说明。

在变形例3中,每隔一定时间反复执行图23所示的处理。另外,也可以根据事件的产生来执行图23所示的处理。

步骤s301~步骤s303的处理与图17的步骤s201~步骤s203的处理相同。但是,在步骤s202中,车道确定部24确定车辆100的位置,在步骤s203中,车道确定部24取得地图信息。但是,在步骤s302中,方向确定部21确定车辆100的位置,在步骤s303中,方向确定部21取得地图信息。

并且,步骤s304的处理与图17的步骤s205的处理相同。并且,步骤s306~步骤s310的处理与图17的步骤s207~步骤s211的处理相同。

在步骤s305的方向确定处理中,方向确定部21根据步骤s302中确定的车辆100的位置和步骤s303中取得的地图信息,确定周围车辆200在部分区域61中行驶的行驶方向。

参照图24和图25进行具体说明。

方向确定部21确定拍摄时的摄像头31的焦点位置(x0,y0,z0)。根据车辆100的位置和像素单位的焦距这样的摄像头31的设定参数,确定摄像头31的焦点位置(x0,y0,z0)。

方向确定部21根据地图信息取得并行车道51的若干个边界部分的位置(x1,y1,z1)和对向车道52的若干个边界部分的位置(x2,y2,z2),计算与摄像头31的焦点位置(x0,y0,z0)之间的相对位置。假设如果摄像头31的焦点位置为原点(0,0,0),则并行车道51的相对位置成为(x1,y1,z1),对向车道52的相对位置成为(x2,y2,z2)。方向确定部21计算通过透视投影转换处理将并行车道51的相对位置(x1,y1,z1)投影到摄像头31的摄像面上的像素位置(u1,v1)。同样,方向确定部21计算通过透视投影转换处理将对向车道52的相对位置(x2,y2,z2)投影到摄像头31的摄像面上的像素位置(u2,v2)。

方向确定部21针对多个边界部分的位置(x1,y1,z1)计算像素位置(u1,v1),并且,针对多个边界部分的位置(x2,y2,z2)计算像素位置(u2,v2)。然后,方向确定部21将根据各位置(u1,v1)确定的范围设为并行车道51的区域,将根据各位置(u2,v2)确定的范围设为对向车道52的区域。作为具体例,方向确定部21利用直线连接相邻的位置(u1,v1),将所包围的范围设为并行车道51的区域,利用直线连接相邻的位置(u2,v2),将所包围的范围设为对向车道52的区域。

这里,透视投影转换式如数学式1所示,fx和fy表示摄像头31的设定参数即像素单位的焦距。并且,像素位置(u1,v1)表示将摄像头设备的摄像面中心(拍摄图像的中心位置)作为原点位置(0,0)时的像素位置。

【数学式1】

由此,能够更加准确地确定并行车道51的区域和对向车道52的区域。其结果,能够根据图像信息42高速且高精度地检测周围车辆200。

实施方式3.

实施方式3与实施方式1、2的不同之处在于,使用与作为部分区域61的车道的对应车道的位置对应的参照特征量41,进行特征量的相似判定。

***结构的说明***

参照图26对实施方式3的车辆判定装置10的结构进行说明。

车辆判定装置10与图12所示的车辆判定装置10的不同之处在于,车道确定部24向特征取得部22交接对应车道信息46。

***动作的说明***

参照图27~图29对实施方式3的车辆判定装置10的动作进行说明。

实施方式3的车辆判定装置10的动作相当于实施方式3的车辆判定方法。并且,实施方式3的车辆判定装置10的动作相当于实施方式3的车辆判定程序的处理。

参照图27对实施方式3的车辆判定装置10的动作的概要进行说明。

在图27中,车道x1、x2是并行车道51,车道x3、x4是对向车道52。并且,在图27中,设车辆100的行驶车道是车道x2。

该情况下,在车道x1中行驶的周围车辆200a被拍摄到周围车辆200a的右斜后部。在车道x2中行驶的周围车辆200b被拍摄到周围车辆200b的正后方。在车道x3中行驶的周围车辆200c被拍摄到周围车辆200c的右斜前部。在车道x4中行驶的周围车辆200d被拍摄到比在车道x3中行驶的周围车辆200c更接近侧部的、周围车辆200d的右斜前部。

即,根据周围车辆200相对于车辆100的行驶的相对位置,被拍摄的角度不同。因此,车辆判定装置10按照与部分区域61对应的对应车道相对于车辆100的行驶车道的每个相对位置,存储参照特征量41。然后,车辆判定装置10使用基于与部分区域61对应的对应车道相对于车辆100的行驶车道的相对位置的参照特征量41,判定处理对象的部分区域61中是否存在周围车辆200。

参照图28对实施方式3的参照特征量41进行说明。

使用作为对象的拍摄方向和与对应车道相对于行驶车道的相对位置对应的参照图像,计算参照特征量41。在图28中,计算基于车辆后方及车辆前方这2个拍摄方向与相同车道、左相邻车道、右相邻车道、第2右相邻车道这4个相对位置的组合的8个分类的参照特征量41。第2右相邻车道是行驶车道的右侧第2个车道。

如图28所示,与各个分类对应的参照特征量41与各个分类对应起来存储在存储器122中。

另外,在左侧通行的情况下,原则上在对向车道52中行驶的周围车辆200不在相同车道和左相邻车道中行驶。因此,也可以不存储车辆前方的相同车道和左相邻车道的参照特征量41。并且,在单侧2车道的情况下,原则上在并行车道51中行驶的周围车辆200不在第2右相邻车道中行驶。因此,也可以不存储车辆后方的第2右相邻车道的参照特征量41。

参照图29对实施方式3的车辆判定装置10的动作进行详细说明。

在实施方式3中,每隔一定时间反复执行图29所示的处理。另外,也可以根据事件的产生来执行图29所示的处理。

步骤s401~步骤s406的处理与图17所示的步骤s201~步骤s206的处理相同。并且,步骤s409~步骤s412的处理与图17所示的步骤s208~步骤s211的处理相同。

在步骤s407的对应车道确定处理中,车道确定部24确定与步骤s405中选择出的部分区域61对应的车道即对应车道。

具体而言,车道确定部24通过变形例3中参照图24和图25说明的方法,确定摄像头31的摄像面中的各车道的范围。即,在变形例3中,确定摄像头31的摄像面中的并行车道51的区域和对向车道52的区域,但是,这里,确定摄像头31的摄像面中的各车道的范围。作为具体例,在并行车道51存在2车道的情况下,确定构成并行车道51的2个车道各自的区域。然后,车道确定部24根据部分区域61包含哪个车道的区域,确定对应车道。车道确定部24将所确定的对应车道写入内存121中。

另外,在部分区域61包含2个车道的区域的情况下,确定2个车道双方作为对应车道。

在步骤s408的特征量取得处理中,特征取得部22取得与步骤s406中确定的周围车辆200的行驶方向和步骤s407中确定的对应车道对应的参照特征量41。即,特征取得部22取得与周围车辆200的行驶方向和对应车道相对于行驶车道的相对位置对应的参照特征量41。特征取得部22将所读出的参照特征量41写入内存121中。

作为具体例,在周围车辆200的行驶方向是与车辆100相同的方向、对应车道是行驶车道的左相邻车道的情况下,特征取得部22取得与和车辆100相同的方向对应、且与左相邻车道对应的参照特征量41。即,特征取得部22从存储器122中读出图28的参照特征量41c。

另外,在部分区域61包含2个车道的区域的情况下,特征取得部22取得与2个对应车道双方对应的参照特征量41。

***实施方式3的效果***

如上所述,实施方式3的车辆判定装置10使用与部分区域61中的周围车辆200的行驶方向和对应车道相对于行驶车道的相对位置对应的参照特征量41,判定部分区域61中是否拍摄到周围车辆200。由此,能够根据图像信息42高速且高精度地检测周围车辆200。

***其他结构***

<变形例4>

在实施方式3中,根据对应车道相对于行驶车道的相对位置对参照特征量41进行分类。作为变形例4,可以不仅根据对应车道相对于行驶车道的相对位置,还根据车辆100与周围车辆200之间的行进方向的距离对参照特征量41进行分类。

例如,即使是在左相邻车道中行驶的周围车辆200,在位于远离车辆100的位置的情况下和位于接近车辆100的位置的情况下,被拍摄的角度也不同。

因此,车辆判定装置10不仅根据对应车道相对于行驶车道的相对位置,还根据车辆100与周围车辆200之间的行进方向的距离对参照特征量41进行分类,将其存储在存储器122中。然后,特征取得部22取得与车辆100与周围车辆200之间的行进方向的距离对应的参照特征量41。

这里,在图像信息42的上部区域中拍摄到位于远离车辆100的位置的周围车辆200,在下部区域中拍摄到位于接近车辆100的位置的周围车辆200。因此,特征取得部22取得与图像信息42所表示的区域的上下方向上的部分区域61的位置对应的参照特征量41,由此,能够取得与车辆100与周围车辆200之间的行进方向的距离对应的参照特征量41。

由此,使用更加适当的参照特征量41进行特征量的相似判定。因此,因此,能够根据图像信息42高精度地检测周围车辆200。

<变形例5>

在实施方式3中,假设周围车辆200在与车辆100相同的方向上行驶或者在与车辆100对向的方向上行驶。作为变形例5,对车辆100的前方存在交叉路口的情况进行说明。

如图30所示,在交叉路口,有时存在右转的周围车辆200m和左转的周围车辆200n这样的周围车辆200。右转的周围车辆200m和左转的周围车辆200n相对于车辆100朝向倾斜横向或横向。

因此,车辆100将交叉路口用的参照特征量41存储在存储器122中。使用从车辆的左右的侧部拍摄的参照图像和从车辆的左右的斜前部和后部拍摄的参照图像,计算交叉路口用的参照特征量41。然后,在图29的步骤s407中,车道确定部24通过变形例3中参照图24和图25说明的方法,确定摄像头31的摄像面中的交叉路口的范围,确定部分区域61包含哪个车道和交叉路口的区域。在步骤s408中,在步骤s407中确定为部分区域61包含交叉路口的情况下,与周围车辆200的行驶方向无关,特征取得部22取得与交叉路口对应的参照特征量41。

由此,能够高速且高精度地检测位于交叉路口的周围车辆200。

实施方式4.

实施方式4与实施方式1~3的不同之处在于,使用一部分被遮挡而拍摄的周围车辆200用的参照特征量41,进行特征量的相似判定。

在实施方式4中,对在实施方式3中追加功能的情况进行说明。但是,也可以在实施方式1、2中追加功能。

***结构的说明***

参照图31对实施方式4的车辆判定装置10的结构进行说明。

车辆判定装置10在图26所示的车辆判定装置10的功能结构要素的基础上具有遮蔽判定部25。与车辆判定装置10的其他功能同样,遮蔽判定部25的功能通过软件实现。

***动作的说明***

参照图32~图36对实施方式4的车辆判定装置10的动作进行说明。

实施方式4的车辆判定装置10的动作相当于实施方式4的车辆判定方法。并且,实施方式4的车辆判定装置10的动作相当于实施方式4的车辆判定程序的处理。

参照图32和图33对实施方式4的车辆判定装置10的动作的概要进行说明。

在图32中,周围车辆200d行驶于在对向车道52中行驶的周围车辆200c的紧后方。在图32所示的状况下,在利用搭载在车辆100上的摄像头31拍摄了车辆100的前方的情况下,得到图33所示的图像信息42。

如图33所示,在周围车辆200c的紧后方行驶的周围车辆200d被周围车辆200c遮挡,仅拍摄到一部分。因此,车辆判定装置10按照有无被其他周围车辆200等遮挡的遮蔽区域47,存储参照特征量41。然后,车辆判定装置10使用与有无遮蔽区域47对应的参照特征量41,判定处理对象的部分区域61中是否存在周围车辆200。

参照图34和图35对实施方式4的参照特征量41进行说明。

使用与作为对象的拍摄方向、对应车道相对于行驶车道的相对位置、有无遮蔽区域47对应的参照图像,计算参照特征量41。在图35中,计算基于车辆后方和车辆前方这2个拍摄方向、相同车道、左相邻车道、右相邻车道、第2右相邻车道这4个相对位置、以及有无遮蔽区域47的组合的16个分类的参照特征量41。如图34所示,根据没有遮蔽区域47的参照图像计算没有遮蔽区域47时的参照特征量41,根据具有遮蔽区域47的参照图像计算具有遮蔽区域47时的参照特征量41。

如图35所示,与各个分类对应的参照特征量41与各个分类对应起来存储在存储器122中。

参照图36对实施方式4的车辆判定装置10的动作进行详细说明。

在实施方式4中,每隔一定时间反复执行图36所示的处理。另外,也可以根据事件的产生来执行图36所示的处理。

步骤s501~步骤s507的处理与图29所示的步骤s401~步骤s407的处理相同。步骤s510~步骤s513的处理与图29所示的步骤s409~步骤s412的处理相同。

在步骤s508的遮蔽判定处理中,遮蔽判定部25判定步骤s505中选择出的部分区域61是否具有遮蔽区域47。

参照图37进行具体说明。在部分区域61包含由车辆判定部23判定为拍摄到周围车辆200的其他部分区域61的情况下,部分区域61包含遮蔽区域47的可能性较高。因此,遮蔽判定部25从内存121中读出表示所确定的周围车辆200的位置的确定信息44。然后,在部分区域61包含步骤s501中取得的图像信息42中的被判定为拍摄到周围车辆200的其他部分区域61的情况下,遮蔽判定部25判定为具有遮蔽区域47。另一方面,在部分区域61不包含被判定为拍摄到周围车辆200的其他部分区域61的情况下,遮蔽判定部25判定为没有遮蔽区域47。遮蔽判定部25将判定出的结果写入内存121中。

在步骤s509的特征量取得处理中,特征取得部22取得与步骤s506中确定的周围车辆200的行驶方向、步骤s507中确定的对应车道、步骤s508中判定出的有无遮蔽区域47对应的参照特征量41。

作为具体例,在周围车辆200的行驶方向是与车辆100相同的方向、对应车道是行驶车道的左相邻车道、且具有遮蔽区域47的情况下,特征取得部22取得与和车辆100相同的方向对应、并且与左相邻车道对应、并且与有遮蔽区域47对应的参照特征量41。即,特征取得部22从存储器122中读出图35的参照特征量41c2。特征取得部22将所读出的参照特征量41写入内存121中。

***实施方式4的效果***

如上所述,实施方式4的车辆判定装置10使用与部分区域61是否具有遮蔽区域47对应的参照特征量41,判定部分区域61中是否拍摄到周围车辆200。由此,能够根据图像信息42高速且高精度地检测周围车辆200。

***其他结构***

<变形例6>

在实施方式2~4中,与实施方式1相同,车辆判定装置10的各部的功能通过软件实现。但是,与变形例1相同,车辆判定装置10的各部的功能也可以通过硬件实现。并且,与变形例2相同,车辆判定装置10也可以一部分功能通过硬件实现,另一部分功能通过软件实现。

以上说明了本发明的实施方式。可以组合实施这些实施方式和变形例中的若干个实施方式和变形例。并且,可以部分地实施任意一个或若干个。另外,本发明不限于以上实施方式和变形例,能够根据需要进行各种变更。

标号说明

10:车辆判定装置;11:处理器;12:存储装置;13:摄像头接口;14:处理电路;15:通信接口;16:测位传感器;21:方向确定部;22:特征取得部;23:车辆判定部;24:车道确定部;25:遮蔽判定部;31:摄像头;32:车辆控制单元;321:车辆控制接口;322:传感器ecu;323:车辆ecu;41:参照特征量;42:图像信息;43:方向信息;44:确定信息;45:行驶车道信息;46:对应车道信息;47:遮蔽区域;50:道路;51:并行车道;52:对向车道;53:路肩;61:部分区域;62:单元格;100:车辆;200:周围车辆。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1