三维物体检测装置和三维物体检测方法

三维物体检测装置和三维物体检测方法
【专利摘要】具备：摄像机(10)，其拍摄车辆后方；三维物体检测部(33、37)，其基于图像信息检测存在于左右侧检测区域(A1、A2)的三维物体；三维物体判断部(34)，其在所检测出的三维物体的移动速度属于预先设定的设定范围的情况下，将该三维物体判断为是其它车辆VX；降雨状态检测部(41)，其检测包含降雨或由于降雨而在路面上形成有水膜的情况在内的降雨状态；以及控制部(39)，其在检测出降雨状态的情况下，输出将用于判断是否为其它车辆VX的移动速度的设定范围变窄的控制命令。
【专利说明】三维物体检测装置和三维物体检测方法

【技术领域】
[0001]本发明涉及一种三维物体检测装置和三维物体检测方法。
[0002]本申请要求2012年7月27日申请的日本专利申请的特愿2012-166496的优先权，针对文献参照中引用的指定国，上述申请记载的内容作为参照引用入本申请中，并作为本申请的记载的一部分。

【背景技术】
[0003]已知有如下一种车辆用监视装置(参照专利文献1):基于通过一台摄像机进行车辆周边的监视和雨滴的检测的观点，根据摄像机所拍摄到的图像对车辆的周边进行监视，该摄像机具备能够取得用于拍摄附着于车辆的雨滴的近距离用的第一焦距和用于拍摄车辆周围的远距离用的第二焦距的镜头。
[0004]专利文献1:日本特开2005-225250号公报


【发明内容】

_5] 发明要解决的问题
[0006]现有技术基于降低成本的观点，通过一台摄像机进行车辆周边的监视和雨滴的检测，但是存在如下问题:在使焦距变短来检测雨滴时，无法进行关于存在于车辆周边的其它车辆的检测，因此对其它车辆检测的精度下降。
[0007]本发明要解决的课题在于提供如下一种三维物体检测装置:在根据差分波形信息或边缘信息检测行驶于与本车辆的行驶车道相邻的邻近车道的其它车辆时，即使在雨天时本车辆溅起的雨水的水花附着于镜头的情况下、在路面上所形成的水洼反射光的情况下，通过不使三维物体的检测中断而继续进行与环境相应的控制，不会产生不检测的时间，从而高精度地检测行驶于邻近车道的其它车辆。
_8] 用于解决问题的方案
[0009]本发明通过以下技术解决上述课题:在检测出包含降雨或由于降雨而在路面上形成有水膜的情况的降雨状态在内的情况下，将在判断三维物体是否为其它车辆时应用的移动速度的阈值即设定范围变窄。
_0] 发明的效果
[0011]本发明在产生本车辆溅起的雨水的水花附着于镜头、或者路面上所形成的水洼反射光之类的状态的雨天时，将判断三维物体是否为其它车辆时应用的移动速度的阈值即设定范围变窄，因此能够防止将附着于镜头的雨水、水洼反射所形成的像错误检测为行驶于与本车辆的行驶车道相邻的邻近车道的其它车辆的像。其结果，能够提供一种高精度地检测行驶于与本车辆的行驶车道相邻的邻近车道的其它车辆的三维物体检测装置。

【专利附图】

【附图说明】
[0012]图1是应用了本发明的三维物体检测装置的一个实施方式所涉及的车辆的概要结构图。
[0013]图2是表示图1的车辆的行驶状态的俯视图(基于差分波形信息的三维物体检测
[0014]图3是表示图1的计算机的详细内容的框图。
[0015]图4是用于说明图3的对位部的处理概要的图，(a)是表示车辆的移动状态的俯视图，(b)是表示对位的概要的图像。
[0016]图5是表示图3的三维物体检测部生成差分波形的情形的概要图。
[0017]图6是表示通过图3的三维物体检测部分割出的小区域的图。
[0018]图7是表示由图3的三维物体检测部得到的直方图的一例的图。
[0019]图8是表示图3的三维物体检测部的加权的图。
[0020]图9是表示图3的拖影检测部的处理以及基于该处理计算差分波形的处理的图。
[0021]图10是表示由图3的三维物体检测部得到的直方图的另一例的图。
[0022]图11是表示由图3的视点变换部、对位部、拖影检测部以及三维物体检测部执行的利用差分波形信息的三维物体检测方法的流程图(之一)。
[0023]图12是表示由图3的视点变换部、对位部、拖影检测部以及三维物体检测部执行的利用差分波形信息的三维物体检测方法的流程图(之二)。
[0024]图13是表示图1的车辆的行驶状态的图(基于边缘信息的三维物体检测)，(a)是表示检测区域等的位置关系的俯视图，(b)是表示实际空间中的检测区域等的位置关系的立体图。
[0025]图14是用于说明图3的亮度差计算部的动作的图，(a)是表示鸟瞰视点图像中的关注线、参照线、关注点以及参照点的位置关系的图，(b)是表示实际空间中的关注线、参照线、关注点以及参照点的位置关系的图。
[0026]图15是用于说明图3的亮度差计算部的详细动作的图，(a)是表示鸟瞰视点图像中的检测区域的图，(b)是表示鸟瞰视点图像中的关注线、参照线、关注点以及参照点的位置关系的图。
[0027]图16是表示边缘线和边缘线上的亮度分布的图，(a)是表示在检测区域存在三维物体(车辆)时的亮度分布的图，(b)是表示在检测区域不存在三维物体时的亮度分布的图。
[0028]图17是表示由图3的视点变换部、亮度差计算部、边缘线检测部以及三维物体检测部执行的利用边缘信息的三维物体检测方法的流程图(之一)。
[0029]图18是表示由图3的视点变换部、亮度差计算部、边缘线检测部以及三维物体检测部执行的利用边缘信息的三维物体检测方法的流程图(之二)。
[0030]图19是表示用于说明边缘检测动作的图像例的图。
[0031]图20是表示在降雨时拍摄得到的图像信息的一例的图。
[0032]图21A是表示与降雨状态的检测结果相应的三维物体判断的控制过程的第一流程图。
[0033]图21B是用于说明“移动速度的阈值”的设定方法的图。
[0034]图21C是表示与降雨状态的检测结果相应的三维物体判断的控制过程的第二流程图。
[0035]图21D是用于说明“规定时间内的检测次数”的设定方法的图。
[0036]图22是表示与降雨状态的检测结果相应的三维物体判断的控制过程的第三流程图。
[0037]图23是表示与降雨状态的检测结果相应的三维物体判断的控制过程的第四流程图。
[0038]图24是用于说明缩小检测区域的处理的图。
[0039]图25是表示镜头上附着有脏污的情况下的检测区域的状态的一例的图。
[0040]图26是用于说明在检测区域存在车辆的情况下的边缘信息的一例的图。
[0041]图27是用于说明镜头上附着有脏污的情况下的边缘信息的一例的图。
[0042]图28是表示判断镜头上是否附着有脏污时的控制过程的第一流程图。
[0043]图29A是用于说明根据边缘的长度判断镜头上是否附着有脏污的方法的第一图。
[0044]图29B是用于说明根据边缘的长度判断镜头上是否附着有脏污的方法的第二图。
[0045]图30A是用于说明根据边缘的反转次数判断镜头上是否附着有脏污的方法的第一图。
[0046]图30B是用于说明根据边缘的反转次数判断镜头上是否附着有脏污的方法的第二图。
[0047]图31是表示判断镜头上是否附着有脏污时的控制过程的第二流程图。
[0048]图32A是用于说明“移动速度的阈值”的设定方法的图。
[0049]图32B是用于说明“规定时间内的检测次数”的设定方法的图。
[0050]图33是表示在镜头上存在固着物的情况下的三维物体判断的控制过程的第一流程图。

【具体实施方式】
[0051]图1是应用了本发明的三维物体检测装置1的一个实施方式所涉及的车辆的概要结构图。本例的三维物体检测装置1是将本车辆的驾驶员在驾驶过程中应予以注意的其它车辆、例如本车辆V在车道变更时有可能接触的其它车辆检测为障碍物的装置。特别地，本例的三维物体检测装置1检测行驶于与本车辆所行驶的车道相邻的邻近车道(以下还简称为邻近车道)的其它车辆。另外，本例的三维物体检测装置1能够计算所检测出的其它车辆的移动距离、移动速度。因此，以下说明的一例表示将三维物体检测装置1搭载于本车辆V并检测在本车辆周围检测的三维物体中的行驶于与本车辆V所行驶的车道相邻的邻近车道的其它车辆的例子。如该图所示，本例的三维物体检测装置1具备摄像机10、车速传感器20、计算机30、雨滴传感器50、雨刷60以及具备通信装置71和GPS装置72的导航装置70 ο
[0052]摄像机10如图1所示那样在本车辆V后方的高度h的地方以光轴相对于水平向下形成角度Θ的方式安装于本车辆V。摄像机10从该位置拍摄本车辆V的周围环境中的规定区域。摄像机10具备形成像的镜头11。在本实施方式中，为了检测本车辆V后方的三维物体而设置的摄像机1是一个，但是也能够为了其它的用途而设置例如用于获取车辆周围的图像的其它的摄像机。车速传感器20用于检测本车辆V的行驶速度，并根据例如由检测车轮转速的车轮速度传感器检测出的车轮速度来计算车速。计算机30检测车辆后方的三维物体，并且在本例中关于该三维物体计算移动距离和移动速度。雨滴传感器50、雨刷60、导航装置70检测与降雨有关的信息，将其检测结果发送至后述的降雨状态检测部41。
[0053]降雨状态检测部41检测包含降雨的有无、降雨量或者由于降雨而在路面上形成有水膜的情况在内的降雨状态。降雨状态检测部41基于由雨滴传感器50检测出的附着于本车辆V的雨滴的有无或雨滴的量、雨刷60的驱动信息、或者通过导航装置70获取到的行驶地点的天气信息等检测“降雨的有无”。降雨状态检测部41基于由雨滴传感器50检测的雨滴量、雨刷60的驱动速度、驱动周期等驱动信息、通过导航装置70获取到的行驶地点的降雨量等检测本车辆V的行驶地点的降雨量。另外，降雨状态检测部41能够基于降雨的有无和降雨量以及从降雨开始起的时间来检测“是否由于降雨而在路面上形成有水膜”。如果降雨量为规定量以上并在从雨停止起的规定时间内，则基于在路面上形成有水膜的可能性高这样的判断进行本检测。例如在由雨滴传感器50检测的雨滴的量为规定值以上并在从雨滴传感器50检测出不存在雨滴起的规定时间以内的情况下、在雨刷60以规定值以上的频度(小于规定值的周期)被驱动、在从停止雨刷60的驱动起的规定时间以内的情况下、在从导航装置70获取到行驶地点的降雨结束起的规定时间以内的情况下，能够检测出由于降雨而在路面上形成有水膜的降雨状态。这些雨滴传感器50、雨刷60以及导航装置70能够构成降雨状态检测部41的一部分。关于各装置，在后面详细记述。
[0054]图2是表示图1的本车辆V的行驶状态的俯视图。如该图所示，摄像机10以规定的视角a拍摄车辆后方。此时，摄像机10的视角a被设定为除了能够拍摄到本车辆V所行驶的车道以外还能够拍摄到该车道左右的车道的视角。能够拍摄的区域包括在本车辆V的后方与本车辆V的行驶车道左右相邻的邻近车道上的检测对象区域Al、A2。此外，本实施方式中的车辆后方不只包含车辆的正后方，还包含车辆的正后方侧的侧方。所拍摄的车辆后方的区域与摄像机10的视角相应地设定。虽然是一例，但是设定成在将沿着车长方向的车辆的正后方设为零度的情况下，所拍摄的车辆后方的区域包含从正后方向起左右0度?90度、优选0度?70度等的区域。
[0055]图3是表示图1的计算机30的详细内容的框图。此外，在图3中，为了明确连接关系，还图示了摄像机10、车速传感器20、雨滴传感器50、雨刷60、导航装置70。车速传感器20、雨滴传感器50、雨刷60、导航装置70搭载于车辆中，能够通过CAN (Controller AreaNetwork:控制器区域网)等车载通信网络与计算机30进行信息的发送和接收。
[0056]如图3所示，计算机30具备视点变换部31、对位部32、三维物体检测部33、三维物体判断部34、异物检测部38、降雨状态检测部41、控制部39以及拖影检测部40。本实施方式的计算部30是与利用差分波形信息检测三维物体的检测模块有关的结构。本实施方式的计算部30也能够设为与利用边缘信息检测三维物体的检测模块有关的结构。该情况能够将图3所示的结构中的由对位部32以及三维物体检测部33构成的模块结构A替换为用虚线包围的由亮度差计算部35、边缘线检测部36以及三维物体检测部37构成的模块结构B来构成。当然也能够具备模块结构A和模块结构B两方，能够利用差分波形信息进行三维物体的检测，并且利用边缘信息进行三维物体的检测。在具备模块结构A和模块结构B的情况下，例如能够与明亮度等环境因素相应地使模块结构A和模块结构B中的某一个进行动作。以下，关于各结构进行说明。
[0057]<利用差分波形信息检测三维物体>
[0058]本实施方式的三维物体检测装置1根据由拍摄车辆后方的单眼的摄像机1获得的图像信息来检测存在于车辆后方的右侧检测区域或左侧检测区域的三维物体。
[0059]视点变换部31输入由摄像机10拍摄得到的规定区域的摄像图像数据，将所输入的摄像图像数据视点变换为鸟瞰视点状态的鸟瞰视点图像数据。鸟瞰视点状态是指从上空、例如从铅垂向下俯视的虚拟摄像机的视点观看的状态。能够例如日本特开2008-219063号公报所记载的那样执行该视点变换。将摄像图像数据视点变换为鸟瞰视点图像数据是因为基于如下原理能够识别平面物体和三维物体，该原理为三维物体所特有的铅垂边缘通过视点变换为鸟瞰视点图像数据而被变换为通过特定的定点的直线群。此外，在后述的利用边缘信息检测三维物体过程中也使用视点变换部31的图像变换处理的结果。
[0060]对位部32依次输入由视点变换部31的视点变换得到的鸟瞰视点图像数据，并对所输入的不同时刻的鸟瞰视点图像数据的位置进行对位。图4是用于说明对位部32的处理概要的图，(a)是表示本车辆V的移动状态的俯视图，(b)是表示对位的概要的图像。
[0061]如图4的(a)所示，设为当前时刻的本车辆V位于VI，前一时刻的本车辆V位于V2o另外，设为其它车辆VX位于本车辆V的后侧方向并与本车辆V处于并列行驶状态，当前时刻的其它车辆VX位于V3，前一时刻的其它车辆VX位于V4。并且，设为本车辆V在一时刻移动了距离d。此外，前一时刻可以是从当前时刻起相隔预先决定时间(例如一个控制周期)的过去时刻，也可以是相隔任意时间的过去时刻。
[0062]在这样的状态中，当前时刻的鸟瞰视点图像PBt如图4的(b)所示那样。在该鸟瞰视点图像PBt中，描绘在路面上的白线为矩形状，是比较准确地以俯视观察的状态，但是处于位置V3的其它车辆VX的位置发生倾倒。另外，前一时刻的鸟瞰视点图像PBt-Ι也同样地，描绘在路面上的白线为矩形状，是比较准确地以俯视观察的状态，但是处于位置V4的其它车辆VX发生了倾倒。如已经记述的那样，是因为三维物体的铅垂边缘(除了严格意义上的铅垂边缘以外还包括在三维空间中从路面立起的边缘)通过变换为鸟瞰视点图像数据的视点变换处理而表现为沿着倾倒方向的直线群，与此相对地路面上的平面图像不包含铅垂边缘，因此即使进行视点变换也不会产生那样的倾倒。
[0063]对位部32在数据上执行如上所述的鸟瞰视点图像PBt、PBt_l的对位。此时，对位部32使前一时刻的鸟瞰视点图像PBt-Ι偏移来使位置与当前时刻的鸟瞰视点图像PBt相一致。图4的(b)的左侧的图像和中央的图像表示偏移了移动距离d’后的状态。该偏移量d’是与图4的(a)所示的本车辆V的实际的移动距离d对应的鸟瞰视点图像数据上的移动量，是根据来自车速传感器20的信号和从前一时刻至当前时刻的时间而决定的。
[0064]另外，在对位之后，对位部32取鸟瞰视点图像PBt、PBt-Ι的差分，生成差分图像PDt的数据。在此，差分图像PDt的像素值可以是将鸟瞰视点图像PBt、PBt-l的像素值之差绝对值化得到的像素值，也可以为了对应照度环境的变化而在该绝对值超过规定的阈值P时设为“1”，在不超过规定的阈值P时设为“0”。图4的(b)的右侧的图像是差分图像rot。该阈值P可以预先设定，也可以按照后述的控制部39所生成的控制命令进行变更。
[0065]返回图3，三维物体检测部33根据图4的(b)所示的差分图像的数据来检测三维物体。此时，本例的三维物体检测部33还计算在实际空间中的三维物体的移动距离。在三维物体的检测以及移动距离的计算时，三维物体检测部33首先生成差分波形。此外，在三维物体的移动速度的计算中使用三维物体的每单位时间的移动距离。而且，三维物体的移动速度能够在判断三维物体是否为车辆时使用。
[0066]在生成差分波形时，本实施方式的三维物体检测部33在差分图像PDt中设定检测区域。本例的三维物体检测装置1将本车辆V的驾驶员予以注意的其它车辆、特别是在本车辆V进行车道变更时有可能接触的行驶于与本车辆V所行驶的车道相邻的车道的其它车辆作为检测对象物进行检测。因此，在根据图像信息检测三维物体的本例中，在由摄像机1得到的图像中的本车辆V的右侧和左侧设定两个检测区域。具体地说，在本实施方式中，如图2所示那样在本车辆V后方的左侧和右侧设定矩形状的检测区域A1、A2。在该检测区域A1、A2中检测出的其它车辆被检测为行驶于与本车辆V所行驶的车道相邻的邻近车道的障碍物。此外，这样的检测区域Al、A2可以根据相对于本车辆V的相对位置进行设定，也可以将白线的位置作为基准进行设定。在以白线的位置为基准进行设定的情况下，移动距离检测装置1例如优选利用已有的白线识别技术等。
[0067]另外，三维物体检测部33将所设定的检测区域A1、A2的在本车辆V侧的边(沿着行驶方向的边)识别为触地线L1、L2(图2)。通常，触地线是指三维物体接触地面的线，但是在本实施方式中不是接触地面的线而是如上述那样进行设定。此外，在这种情况下，从经验上看本实施方式所涉及的触地线与本来基于其它车辆VX的位置求出的触地线之差也不会过大，从而在实际使用上没有问题。
[0068]图5是表示图3所示的三维物体检测部33生成差分波形的情形的概要图。如图5所示，三维物体检测部33根据由对位部32计算出的差分图像(图4的(b)的右图)中的相当于检测区域A1、A2的部分来生成差分波形DWt。此时，三维物体检测部33沿着通过视点变换而三维物体倾倒的方向生成差分波形DWt。此外，在图5所示的例子中，为了方便仅使用检测区域A1进行说明，但是关于检测区域A2，也以相同的过程生成差分波形DWt。
[0069]具体地说，三维物体检测部33在差分图像DWt的数据上定义三维物体倾倒的方向上的线La。然后，三维物体检测部33对线La上示出规定的差分的差分像素DP的个数进行计数。在此，在差分图像DWt的像素值是将鸟瞰视点图像PBt、PBt-Ι的像素值之差绝对值化得到的像素值的情况下，示出规定的差分的差分像素DP是超过规定的阈值的像素，在差分图像DWt的像素值用“0”、“ 1 ”表现的情况下，示出规定的差分的差分像素DP是表示“ 1 ”的像素。
[0070]三维物体检测部33在对差分像素DP的个数进行计数之后，求出线La与触地线L1的交点CP。然后，三维物体检测部33将交点CP与计数数进行对应，根据交点CP的位置来决定横轴位置、即在图5的右图的上下方向轴的位置，并且根据计数数决定纵轴位置、即在图5的右图的左右方向轴的位置，绘制出交点CP的计数数。
[0071]以下同样地，三维物体检测部33对三维物体倾倒的方向上的线Lb、Lc..?进行定义，来对差分像素DP的个数进行计数，根据各交点CP的位置决定横轴位置、基于计数数(差分像素DP的个数)决定纵轴位置进行绘制。三维物体检测部33依次重复上述内容进行频数分布化来如图5右图所示那样生成差分波形DWt。
[0072]此外，如图5左图所示，三维物体倾倒的方向上的线La和线Lb与检测区域A1相重叠的距离不同。因此，当假设检测区域A1被差分像素DP填满时，线La上的差分像素DP的个数多于线Lb上的差分像素DP的个数。因此，三维物体检测部33在基于差分像素DP的计数数决定纵轴位置的情况下，根据三维物体倾倒的方向上的线La、Lb与检测区域Al相重叠的距离来进行标准化。当列举具体例时，在图5左图中，在线La上有6个差分像素DP，在线Lb上有5个差分像素DP。因此，在图5中基于计数数决定纵轴位置时，三维物体检测部33将计数数除以重叠距离等来进行标准化。由此，如差分波形DWt所示那样，与三维物体倾倒的方向上的线La、Lb对应的差分波形DWt的值大致相同。
[0073]在生成差分波形DWt之后，三维物体检测部33通过与前一时刻的差分波形DWt-1的对比来计算移动距离。即，三维物体检测部33基于差分波形DWt、DWt-l的时间变化来计算移动距离。
[0074]详细地说，三维物体检测部33如图6所示那样将差分波形DWt分割成多个小区域Dfftl?DWtn(n为2以上的任意整数)。图6是表示由三维物体检测部33分割出的小区域Dfftl?DWtn的图。小区域DWtl?DWtn例如图6所示那样以相互重叠的方式进行分割。例如小区域DWtl与小区域DWt2重叠，小区域DWt2与小区域DWt3重叠。
[0075]接着，三维物体检测部33按各小区域DWtl?DWtn求出偏移量(差分波形的横轴方向(图6的上下方向)的移动量)。在此，根据前一时刻的差分波形DWt-Ι与当前时刻的差分波形DWt之差(横轴方向的距离)来求出偏移量。此时，三维物体检测部33按各小区域DWtl?DWtn，在使前一时刻的差分波形DWt-Ι沿横轴方向移动时，判断出与当前时刻的差分波形DWt的误差最小的位置(横轴方向的位置)，求出差分波形DWt-Ι的原来的位置与误差最小的位置的在横轴方向的移动量来作为偏移量。然后，三维物体检测部33对按各小区域DWtl?DWtn求出的偏移量进行计数来制作直方图。
[0076]图7是表示由三维物体检测部33得到的直方图的一例的图。如图7所示，各小区域DWtl?DWtn与前一时刻的差分波形DWt-Ι的误差最小的移动量即偏移量稍微产生偏差。因此，三维物体检测部33将包含偏差的偏移量制作成直方图，基于直方图计算移动距离。此时，三维物体检测部33根据直方图的极大值计算三维物体的移动距离。S卩，在图7所示的例子中，三维物体检测部33将表示直方图的极大值的偏移量计算为移动距离τ*。此夕卜，该移动距离τ*是其它车辆VX相对于本车辆V的相对移动距离。因此，三维物体检测部33在计算绝对移动距离的情况下，根据所得到的移动距离τ *和来自车速传感器20的信号来计算绝对移动距离。
[0077]此外，在制作成直方图时，三维物体检测部33也可以针对多个小区域DWtl?DWtn中的每一个进行加权，与权重相应地对按各小区域DWtl?DWtn求出的偏移量进行计数来制作直方图。图8是表示三维物体检测部33的加权的图。
[0078]如图8所示，小区域DWm(m为1以上、n_l以下的整数)是平坦的。即，小区域DWm的示出规定的差分的像素数的计数的最大值与最小值之差小。三维物体检测部33针对这样的小区域DWm将权重减小。这是因为关于平坦的小区域DWm没有特征，从而在计算偏移量时误差变大的可能性高。
[0079]另一方面，小区域DWm+k(k为n-m以下的整数)有大量的起伏。即，小区域DWm的示出规定的差分的像素数的计数数的最大值与最小值之差大。三维物体检测部33针对这样的小区域DWm将权重增大。这是因为关于有很多起伏的小区域DWm+k具有特征，从而能够正确地进行偏移量的计算的可能性高。通过像这样进行加权，能够提高移动距离的计算精度。
[0080]此外，为了提高移动距离的计算精度，在上述实施方式中，将差分波形DWt分割成了多个小区域DWtl?DWtn，但是在移动距离的计算精度要求不那么高的情况下，也可以不分割成小区域DWtl?DWtn。在这种情况下，三维物体检测部33根据差分波形DWt与差分波形DWt-Ι的误差变为最小时的差分波形DWt的偏移量来计算移动距离。即，求前一时刻的差分波形DWt-Ι与当前时刻的差分波形DWt的偏移量的方法不限定于上述内容。
[0081]返回图3，计算机30具备拖影检测部40。拖影检测部40根据由摄像机10拍摄得到的摄像图像的数据来检测拖影的产生区域。此外，由于拖影是在CCD图像传感器等中产生的过曝光现象，因此如果采用使用了不产生这样的拖影的CMOS图像传感器等的摄像机10，则也可以省略拖影检测部40。
[0082]图9是用于说明拖影检测部40的处理以及该处理产生的差分波形DWt的计算处理的图像图。首先，设为对拖影检测部40输入了存在拖影S的摄像图像P的数据。此时，拖影检测部40根据摄像图像P检测拖影S。拖影S的检测方法多种多样，例如在一般的CCD (Charge-Coupled Device:电荷親合器件)摄像机的情况下，从光源仅向图像下方向产生拖影S。因此，在本实施方式中，检索从图像下侧向图像上方具有规定值以上的亮度值且在纵方向上连续的区域，将其确定为拖影S的产生区域。
[0083]另外，拖影检测部40生成关于拖影S的产生部分将像素值设为“1 ”、将除此以外的部分设为“0”的拖影图像SP的数据。在生成后，拖影检测部40将拖影图像SP的数据发送到视点变换部31。另外，输入了拖影图像SP的数据的视点变换部31将该数据视点变换为鸟瞰视点的状态。由此，视点变换部31生成拖影鸟瞰视点图像SBt的数据。在生成后，视点变换部31将拖影鸟瞰视点图像SBt的数据发送到对位部33。视点变换部31还将前一时刻的拖影鸟瞰视点图像SBt-Ι的数据发送到对位部33。
[0084]对位部32在数据上执行拖影鸟瞰视点图像SBt、SBt_l的对位。关于具体的对位，与在数据上执行鸟瞰视点图像PBt、PBt-1的对位的情况相同。另外，在对位后，对位部32关于各拖影鸟瞰视点图像SBt、SBt-Ι的拖影S的产生区域取逻辑或。由此，对位部32生成掩模图像MP的数据。在生成后，对位部32将掩模图像MP的数据发送到三维物体检测部33ο
[0085]三维物体检测部33关于掩模图像ΜΡ中的相当于拖影S的产生区域的部分，将频数分布的计数数设为零。即，在生成了如图9所示那样的差分波形DWt的情况下，三维物体检测部33将拖影S的计数数SC设为零，生成校正后的差分波形DWt’。
[0086]此外，在本实施方式中，三维物体检测部33求出车辆V(摄像机10)的移动速度，根据求出的移动速度求出关于静止物体的偏移量。在求出静止物体的偏移量之后，三维物体检测部33忽略直方图的极大值中的相当于静止物体的偏移量之后计算三维物体的移动距离。
[0087]图10是表示由三维物体检测部33得到的直方图的另一例的图。在摄像机10的视角内除了其它车辆VX以外还存在静止物体的情况下，在获得的直方图中出现两个极大值τ 1、τ 2。在这种情况下，两个极大值τ 1、τ 2中的某一方是静止物体的偏移量。因此，三维物体检测部33根据移动速度求出关于静止物体的偏移量，忽略相当于该偏移量的极大值，采用剩下的一方的极大值计算三维物体的移动距离。
[0088]此外，在即使忽略相当于静止物体的偏移量也存在多个极大值的情况下，设想在摄像机10的视角内存在多辆其它车辆VX。但是，在检测区域Al、Α2内存在多辆其它车辆VX的情形是非常少见的。因此，三维物体检测部33中止移动距离的计算。
[0089]接着，说明基于差分波形信息的三维物体检测过程。图11和图12是表示本实施方式的三维物体检测过程的流程图。如图11所示，首先，计算机30输入由摄像机10得到的摄像图像P的数据，由拖影检测部40生成拖影图像SP(S1)。接着，视点变换部31根据来自摄像机10的摄像图像P的数据生成鸟瞰视点图像PBt的数据，并且根据拖影图像SP的数据生成拖影鸟瞰视点图像SBt的数据(S2)。
[0090]然后，对位部33将鸟瞰视点图像PBt的数据和前一时刻的鸟瞰视点图像PBt-1的数据进行对位，并且将拖影鸟瞰视点图像SBt的数据和前一时刻的拖影鸟瞰视点图像SBt-Ι的数据进行对位(S3)。在该对位之后，对位部33生成差分图像的数据，并且生成掩模图像MP的数据(S4)。之后，三维物体检测部33根据差分图像的数据和前一时刻的差分图像rot-Ι的数据生成差分波形DWt (S5)。在生成差分波形DWt之后，三维物体检测部33将差分波形DWt中的相当于拖影S的产生区域的计数数设为零，从而抑制拖影S所产生的影响(S6)。
[0091]之后，三维物体检测部33判断差分波形DWt的峰值是否为第一阈值α以上(S7)。该第一阈值α是预先设定的，也能够按照图3所示的控制部39的控制命令进行变更，在后记述其详细内容。在此，在差分波形DWt的峰值不为第一阈值α以上的情况下、即几乎不存在差分的情况下，认为在摄像图像Ρ内不存在三维物体。因此，在判断为差分波形DWt的峰值不为第一阈值α以上的情况下(S7:“否”)，三维物体检测部33判断为不存在三维物体，从而不存在作为障碍物的其它车辆VX(图12:S16) ο然后，结束图11和图12所示的处理。
[0092]另一方面，在判断为差分波形DWt的峰值为第一阈值α以上的情况下(S7:“是”)，三维物体检测部33判断为存在三维物体，将差分波形DWt分割成多个小区域DWtl?DWtn (S8)。接着，三维物体检测部33针对各小区域DWtl?DWtn进行加权(S9)。之后，三维物体检测部33计算各小区域DWtl?DWtn的偏移量(S10)，附加权重并生成直方图(S11)。
[0093]然后，三维物体检测部33基于直方图计算三维物体相对于本车辆V的移动距离、即相对移动距离(S12)。接着，三维物体检测部33根据相对移动距离计算三维物体的绝对移动速度(S13)。此时，三维物体检测部33对相对移动距离进行时间微分来计算相对移动速度，并且加上由车速传感器20检测出的本车速度来计算绝对移动速度。
[0094]之后，三维物体检测部33判断三维物体的绝对移动速度是否为10km/h以上且三维物体相对于本车辆V的相对移动速度是否为+60km/h以下(S14)。在满足双方的情况下(S14:“是”)，三维物体检测部33判断为三维物体是其它车辆VX(S15)。然后，结束图11和图12所示的处理。另一方面，在有任一方不满足的情况下(S14 否”)，三维物体检测部33判断为不存在其它车辆VX(S16)。然后，结束图11和图12所示的处理。
[0095]此外，在本实施方式中，将本车辆V的后侧方设为检测区域Al、A2，检测本车辆V在行驶过程中应予以注意的行驶于与本车辆的行驶车道相邻的邻近车道的其它车辆VX，特别是，重点在于在本车辆V进行车道变更的情况下是否有接触的可能性。这是为了在本车辆V进行车道变更的情况下，判断是否有可能接触到行驶于与本车辆的行驶车道相邻的邻近车道的其它车辆VX。因此，执行了步骤S14的处理。即，当以使本实施方式的系统在高速公路上工作的情形为前提时，在三维物体的速度小于10km/h的情况下，即使存在其它车辆VX，在进行车道变更时由于位于距本车辆V很远的后方，因此很少会成为问题。同样地，在三维物体相对于本车辆V的相对移动速度超过+60km/h的情况下(即，三维物体相对于本车辆V的速度以大于60km/h的速度移动的情况下)，在进行车道变更时，由于在本车辆V的前方移动，因此很少会成为问题。因此，在步骤S14中，也可以说判断出了在进行车道变更时成为问题的其它车辆VX。
[0096]另外，通过在步骤S14中判断三维物体的绝对移动速度是否为10km/h以上且三维物体相对于本车辆V的相对移动速度是否为+60km/h以下，由此存在以下的效果。例如，根据摄像机10的安装误差，有可能存在将静止物体的绝对移动速度检测出是数km/h的情况。因此，通过判断是否为10km/h以上，能够减少将静止物体判断为是其它车辆VX的可能性。另外，有可能由于噪声而导致将三维物体相对于本车辆V的相对速度检测为超过+60km/h的速度。因此，通过判断相对速度是否为+60km/h以下，能够减少因噪声引起的错误检测的可能性。
[0097]并且也可以是，代替步骤S14的处理，而判断绝对移动速度不为负、不为Okm/h。另夕卜，在本实施方式中，重点在于本车辆V在进行车道变更的情况下是否有接触的可能性，因此在步骤S15中检测出其它车辆VX的情况下，可以向本车辆的驾驶员发出警告音，或者通过规定的显示装置进行相当于警告的显示。
[0098]这样，根据本例的基于差分波形信息的三维物体的检测过程，沿着通过视点变换而三维物体倾倒的方向，对在差分图像PDt的数据上示出规定的差分的像素数进行计数来进行频数分布化，由此生成差分波形DWt。在此，在差分图像PDt的数据上示出规定的差分的像素是指在不同时刻的图像中存在变化的像素，换言之，可以说是存在三维物体的部分。因此，在存在三维物体的部分，通过沿着三维物体倾倒的方向对像素数进行计数并进行频数分布化，由此生成差分波形DWt。特别地，由于沿着三维物体倾倒的方向对像素数进行计数，因此根据针对三维物体来说在高度方向上的信息来生成差分波形DWt。然后，根据包含高度方向的信息的差分波形DWt的时间变化来计算三维物体的移动距离。因此，与仅着眼于1个点的移动的情况相比，时间变化前的检测部分和时间变化后的检测部分由于包含高度方向的信息进行确定，因此容易得到三维物体中相同的部分，从而根据相同部分的时间变化来计算移动距离，能够提高移动距离的计算精度。
[0099]另外，关于差分波形DWt中的相当于拖影S的产生区域的部分，将频数分布的计数数设为零。由此，去除差分波形DWt中的由拖影S产生的波形部位，从而能够防止将拖影S错误识别为三维物体的情形。
[0100]另外，根据在不同的时刻生成的差分波形DWt的误差最小时的差分波形DWt的偏移量来计算三维物体的移动距离。因此，根据波形这样的一维的信息的偏移量来计算移动距离，从而能够在计算移动距离时抑制计算成本。
[0101]另外，将在不同时刻生成的差分波形DWt分割成多个小区域DWtl?DWtn。通过像这样分割成多个小区域DWtl?DWtn，由此获得多个表示三维物体的各个部分的波形。另外，针对各小区域DWtl?DWtn求出各个波形的误差最小时的偏移量，对针对各小区域DWtl?DWtn求出的偏移量进行计数来制作直方图，由此计算三维物体的移动距离。因此，针对三维物体的各个部分求出偏移量，并根据多个偏移量求出移动距离，从而能够提高移动距离的计算精度。
[0102]另外，针对多个小区域DWtl?DWtn中的每一个进行加权，与权重相应地对针对各小区域DWtl?DWtn求出的偏移量进行计数来制作直方图。因此，关于特征性的区域将权重增大，关于非特征性的区域将权重减小，由此能够更适当地计算移动距离。因而，能够进一步提尚移动距尚的计算精度。
[0103]另外，关于差分波形DWt的各小区域DWtl?DWtn，示出规定的差分的像素数的计数的最大值与最小值之差越大，则使权重越大。因此，越是最大值与最小值之差大的特征性的起伏区域则权重越大，关于起伏小的平坦的区域，权重变小。在此，就形状来说，与平坦的区域相比，起伏大的区域更容易正确地求出偏移量，因此通过越是最大值与最小值之差大的区域则使权重越大，由此能够进一步提高移动距离的计算精度。
[0104]另外，根据对针对各小区域DWtl?DWtn求出的偏移量进行计数得到的直方图的极大值，计算三维物体的移动距离。因此，即使偏移量产生偏差，也能够根据该极大值来计算正确性更高的移动距离。
[0105]另外，求出关于静止物体的偏移量，并忽略该偏移量，因此能够防止由于静止物体而导致三维物体的移动距离的计算精度下降的情形。另外，在忽略了相当于静止物体的偏移量之后，如果存在多个极大值，则中止三维物体的移动距离的计算。因此，能够防止如存在多个极大值那样的错误地计算移动距离的情形。
[0106]此外，在上述实施方式中，根据来自车速传感器20的信号判断本车辆V的车速，但是不限于此，也可以根据不同时刻的多个图像来估计速度。在这种情况下，不需要车速传感器，能够实现结构的简单化。
[0107]另外，在上述实施方式中，将拍摄到的当前时刻的图像和前一时刻的图像变换为鸟瞰图，对变换后的鸟瞰图进行对位之后生成差分图像rot，对所生成的差分图像PDt沿着倾倒方向(将拍摄到的图像变换为鸟瞰图时的三维物体的倾倒方向)进行评价来生成差分波形DWt，但是不限定于此。例如也可以仅将前一时刻的图像变换为鸟瞰图，对变换得到的鸟瞰图进行对位之后再次变换为与所拍摄的图像相当的图像，用该图像和当前时刻的图像生成差分图像，对所生成的差分图像沿着相当于倾倒方向的方向(即，将倾倒方向变换为摄像图像上的方向所得到的方向)进行评价来生成差分波形DWt。即，对当前时刻的图像和前一时刻的图像进行对位，根据进行对位后的两个图像的差分生成差分图像rot，只要能够沿着将差分图像PDt变换为鸟瞰图时的三维物体的倾倒方向进行评价，也可以不必明确地生成鸟瞰图。
[0108]〈基于边缘信息检测三维物体〉
[0109]接着，说明能够代替图3所示的三维物体的检测模块A而进行动作的三维物体的检测模块B。三维物体的检测模块B由亮度差计算部35、边缘线检测部36以及三维物体检测部37构成，利用边缘信息检测三维物体。图13是表示图3的摄像机10的摄像范围等的图，图13的(a)是俯视图，图13的(b)表示本车辆V后侧方的实际空间中的立体图。如图13的(a)所示，摄像机10形成为规定的视角a，从本车辆V拍摄包含于该规定的视角a中的后侧方。摄像机10的视角a与图2所示的情况同样地被设定成在摄像机10的摄像范围内、除了包含本车辆V所行驶的车道以外还包含相邻的车道。
[0110]本例的检测区域Al、A2在俯视图(鸟瞰视点的状态)中形成为梯形状，这些检测区域A1、A2的位置、大小以及形状根据距离dl?d4决定。此外，该图所示的例子的检测区域Al、A2不限于梯形状，也可以是如图2所示那样在鸟瞰视点的状态下为矩形等其它的形状。
[0111]在此，距离dl是从本车辆V到触地线L1、L2的距离。触地线L1、L2是指存在于与本车辆V所行驶的车道相邻的车道的三维物体接触地面的线。在本实施方式中，目的是检测在本车辆V的后侧方行驶于与本车辆V的车道相邻的左右车道的其它车辆VX等(包含二轮车等)。因此，能够事先根据本车辆V至白线W的距离dll和从白线W至预测为其它车辆VX所行驶的位置的距离dl2，来大致固定地决定作为其它车辆VX的触地线Ll、L2的位置的距离dl。
[0112]另外，关于距离dl，不限于决定为固定的值的情况，也可以设为可变。在这种情况下，计算机30通过白线识别等技术来识别白线W相对于本车辆V的位置，根据识别出的白线W的位置来决定距离dll。由此，使用所决定的距离dll以可变的方式设定距离dl。在以下的本实施方式中，由于其它车辆VX行驶的位置(距白线W的距离dl2)和本车辆V行驶的位置(距白线W的距离dll)大致固定，因此设为距离dl被决定为固定的值。
[0113]距离d2是从本车辆V的后端部沿车辆行进方向延伸的距离。以检测区域Al、A2至少收容在摄像机10的视角a内的方式决定该距离d2。特别地，在本实施方式中，距离d2被设定为与由视角a划分的范围相连。距离d3是表示检测区域Al、A2的在车辆行进方向上的长度的距离。该距离d3根据作为检测对象的三维物体的大小决定。在本实施方式中，由于检测对象是其它车辆VX等，因此距离d3被设定为包含其它车辆VX的长度。
[0114]距离d4是如图13的(b)所示那样表示被设定成在实际空间中包含其它车辆VX等的轮胎的高度的距离。距离d4在鸟瞰视点图像中设为图13的(a)所示的长度。此外，距离d4也能够设为不包含鸟瞰视点图像中相比于左右的邻近车道的下一邻近车道(即，隔一车道的邻近车道)的长度。这是因为如果包含与本车辆V的车道隔一车道的邻近车道，则无法区分是在作为本车辆V所行使的车道的本车道的左右邻近车道内存在其它车辆VX、还是在隔一车道的邻近车道内存在其它车辆VX。
[0115]如以上那样决定距离dl?距离d4，由此决定检测区域A1、A2的位置、大小以及形状。具体地说，根据距离dl，决定形成梯形的检测区域A1、A2的上边bl的位置。根据距离d2，决定上边bl的起点位置C1。根据距离d3，决定上边bl的终点位置C2。根据从摄像机10向起点位置C1延伸的直线L3，决定形成梯形的检测区域Al、A2的侧边b2。同样地，根据从摄像机10向终点位置C2延伸的直线L4，决定形成梯形的检测区域Al、A2的侧边b3。根据距离d4，决定形成梯形的检测区域A1、A2的下边b4的位置。这样，由各边bl?b4包围的区域设为检测区域Al、A2。该检测区域A1、A2如图13的(b)所示那样在本车辆V后侧方的实际空间中形成为正方形(长方形)。
[0116]返回图3，视点变换部31输入由摄像机10拍摄得到的规定区域的摄像图像数据。视点变换部31针对所输入的摄像图像数据进行视点变换处理来形成为鸟瞰视点状态的鸟瞰视点图像数据。鸟瞰视点状态是指从上空、例如从铅垂向下(或者稍微斜向下)俯视的虚拟摄像机的视点观看的状态。例如能够通过日本特开2008-219063号公报所记载的技术来实现该视点变换处理。
[0117]亮度差计算部35为了检测鸟瞰视点图像中包含的三维物体的边缘，而针对由视点变换部31进行视点变换得到的鸟瞰视点图像数据进行亮度差的计算。亮度差计算部35针对沿着在实际空间中的铅垂方向上延伸的铅垂虚拟线的多个位置中的每个位置计算该各位置附近的两个像素间的亮度差。亮度差计算部35能够通过仅设定一条在实际空间中的铅垂方向延伸的铅垂虚拟线的方法以及设定两条铅垂虚拟线的方法中的任一个方法来计算亮度差。
[0118]针对设定两条铅垂虚拟线的具体方法进行说明。亮度差计算部35针对进行视点变换得到的鸟瞰视点图像来设定与实际空间中在铅垂方向延伸的线段相当的第一铅垂虚拟线以及与第一铅垂虚拟线不同并与实际空间中在铅垂方向延伸的线段相当的第二铅垂虚拟线。亮度差计算部35沿着第一铅垂虚拟线和第二铅垂虚拟线连续地求出第一铅垂虚拟线上的点与第二铅垂虚拟线上的点的亮度差。以下，详细说明该亮度差计算部35的动作。
[0119]亮度差计算部35如图14的(a)所示那样设定与实际空间中在铅垂方向延伸的线段相当且通过检测区域A1的第一铅垂虚拟线La(以下称为关注线La)。另外，亮度差计算部35设定与关注线La不同并与实际空间中在铅垂方向延伸的线段相当且通过检测区域A1的第二铅垂虚拟线Lr (以下称为参照线Lr)。在此，参照线Lr被设置于距离关注线La分离实际空间中的规定距离的位置处。此外，与实际空间中在铅垂方向延伸的线段相当的线是指在鸟瞰视点图像中从摄像机10的位置Ps起呈放射状扩展的线。该呈放射状扩展的线是沿着在变换为鸟瞰视点时三维物体倾倒的方向的线。
[0120]亮度差计算部35在关注线La上设定关注点Pa (第一铅垂虚拟线上的点)。另外，亮度差计算部35在参照线Lr上设定参照点Pr (第二铅垂虚拟线上的点)。这些关注线La、关注点Pa、参照线Lr、参照点Pr在实际空间中形成图14的(b)所示的关系。如从图14的(b)显而易见地，关注线La和参照线Lr是在实际空间中在铅垂方向延伸的线，关注点Pa和参照点Pr是在实际空间中被设定为大致相同的高度的点。此外，关注点Pa和参照点Pr并不一定需要是严格上的相同的高度，关注点Pa和参照点Pr被视为相同高度的程度的误差是允许的。
[0121]亮度差计算部35求出关注点Pa与参照点Pr的亮度差。假设关注点Pa与参照点Pr的亮度差大时，认为在关注点Pa与参照点Pr之间存在边缘。因此，图3所示的边缘线检测部36根据关注点Pa与参照点Pr的亮度差来检测边缘线。
[0122]更详细地说明该点。图15是表示亮度差计算部35的详细动作的图，图15的(a)表示鸟瞰视点状态的鸟瞰视点图像，图15的(b)是将图15的(a)所示的鸟瞰视点图像的一部分B1放大后的图。此外，关于图15，仅图示检测区域A1进行说明，关于检测区域A2，也以相同的过程计算亮度差。
[0123]在摄像机10拍摄到的摄像图像内拍摄有其它车辆VX的情况下，如图15的(a)所示那样，在鸟瞰视点图像内的检测区域A1出现其它车辆VX。如图15的(b)示出图15的(a)中的区域Bl的放大图那样，设为在鸟瞰视点图像上，在其它车辆VX的轮胎的橡胶部分上设定了关注线La。在该状态中，亮度差计算部35首先设定参照线Lr。参照线Lr被设定在实际空间中沿铅垂方向距关注线La规定的距离的位置处。具体地说，在本实施方式所涉及的三维物体检测装置1中，参照线Lr被设定在实际空间中与关注线La相距10cm的位置处。由此，参照线Lr在鸟瞰视点图像上例如被设定在与其它车辆VX的轮胎的橡胶相距相当于10cm的距离的其它车辆VX的轮胎的轮辋(wheel)上。
[0124]接着，亮度差计算部35在关注线La上设定多个关注点Pal?PaN。在图15的(b)中，为了便于说明，设定了六个关注点Pal?Pa6(以下，在表示任意的点的情况下，仅称为关注点Pai)。此外，在关注线La上设定的关注点Pa的个数可以是任意的。在以下的说明中，设为在关注线La上设定了 N个关注点Pa进行说明。
[0125]接着，亮度差计算部35将各参照点Prl?PrN设定成在实际空间中与各关注点Pal?PaN相同的高度。而且，亮度差计算部35计算相同高度的关注点Pa与参照点Pr的亮度差。由此，亮度差计算部35针对沿着在实际空间中的铅垂方向上延伸的铅垂虚拟线的多个位置(1?N)中的每个位置计算两个像素间的亮度差。亮度差计算部35例如计算第一关注点Pal与第一参照点Prl之间的亮度差，计算第二关注点Pa2与第二参照点Pr2之间的亮度差。由此，亮度差计算部35沿着关注线La和参照线Lr连续地求出亮度差。即，亮度差计算部35依次求出第三?第N关注点Pa3?PaN与第三?第N参照点Pr3?PrN的亮度差。
[0126]亮度差计算部35在检测区域A1内移动关注线La的同时重复执行上述的参照线Lr的设定、关注点Pa和参照点Pr的设定、亮度差的计算这样的处理。即，亮度差计算部35在实际空间中沿触地线L1的延伸方向以相同的距离改变关注线La和参照线Lr各自的位置的同时重复执行上述的处理。亮度差计算部35例如将在前次处理中成为参照线Lr的线设定为关注线La，针对该关注线La设定参照线Lr，依次求出亮度差。
[0127]返回图3，边缘线检测部36根据由亮度差计算部35计算出的连续的亮度差来检测边缘线。例如在图15的(b)所示的情况下，第一关注点Pal和第一参照点Prl位于相同的轮胎部分，因此亮度差小。另一方面，第二关注点?第六关注点Pa2?Pa6位于轮胎的橡胶部分，第二参照点?第六参照点Pr2?Pr6位于轮胎的轮辋部分。因而，第二关注点?第六关注点Pa2?Pa6与第二参照点?第六参照点Pr2?Pr6的亮度差变大。因此，边缘线检测部36能够检测出在亮度差大的第二关注点?第六关注点Pa2?Pa6与第二参照点?第六参照点Pr2?Pr6之间存在边缘线。
[0128]具体地说，边缘线检测部36在检测边缘线时，首先依照下述的数式1，根据第i个关注点Pai (坐标(xi，yi))与第i个参照点Pri (坐标(xi’，yi’))的亮度差来对第i个关注点Pai赋予属性。
[0129][数1]
[0130]1 (xi，yi) > 1 (xi，，yi，)+t 时
[0131]s (xi, yi) = 1
[0132]1 (xi, yi) < 1 (xi，，yi，)_t 时
[0133]s (xi, yi) = _1
[0134]在上述以外的情况时
[0135]s (xi, yi) = 0
[0136]在上述数式1中，t表示阈值，I (xi, yi)表示第i个关注点Pai的亮度值，I (xi’，yi’ )表示第i个参照点Pri的亮度值。根据上述数式1，在关注点Pai的亮度值高于参照点Pri加上阈值t得到的亮度值的情况下，该关注点Pai的属性s(xi，yi)为‘1’。另一方面，在关注点Pai的亮度值低于从参照点Pri减去阈值t得到的亮度值的情况下，该关注点Pai的属性s(xi，yi)为‘ -1’。在关注点Pai的亮度值与参照点Pri的亮度值为除此以外的关系的情况下，关注点Pai的属性s(xi，yi)为‘0’。该阈值t可以预先设定，也能够按照图3所示的控制部39发出的控制命令进行变更，稍后记述其详细内容。
[0137]接着，边缘线检测部36基于下述数式2，根据沿着关注线La的属性s的连续性c(xi，yi)判断关注线La是否为边缘线。
[0138][数2]
[0139]s (xi, yi) = s (xi+1，yi+1)时(且除了 0 = 0)，
[0140]c (xi, yi) = 1
[0141]在上述以外的情况时，
[0142]c(xi，yi)=0
[0143]在关注点Pai的属性s(xi，yi)与相邻的关注点Pai+1的属性s (xi+1，yi+1)相同的情况下，连续性c(xi，yi)为‘1’。在关注点Pai的属性s(xi，yi)与相邻的关注点Pai+1的属性s (xi+1，yi+1)不同的情况下，连续性c(xi，yi)为‘0’。
[0144]接着，边缘线检测部36关于关注线La上的全部关注点Pa的连续性c求出总和。边缘线检测部36通过将求出的连续性c的总和除以关注点Pa的个数N，来对连续性c进行标准化。边缘线检测部36在进行了标准化的值超过阈值Θ的情况下，将关注线La判断为边缘线。此外，阈值Θ是预先通过实验等设定的值。阈值Θ可以预先设定，也可以按照后述的控制部39的控制命令进行变更。
[0145]S卩，边缘线检测部36基于下述数式3判断关注线La是否为边缘线。而且，边缘线检测部36关于描绘在检测区域A1上的全部关注线La判断是否为边缘线。
[0146][数3]
[0147]Σ c (xi, yi) /N > θ
[0148]返回图3，三维物体检测部37根据由边缘线检测部36检测出的边缘线的量来检测三维物体。如上述那样，本实施方式所涉及的三维物体检测装置1检测在实际空间中在铅垂方向延伸的边缘线。检测出很多的在铅垂方向延伸的边缘线就是在检测区域Al、Α2存在三维物体的可能性高。因此，三维物体检测部37根据由边缘线检测部36检测出的边缘线的量来检测三维物体。并且，三维物体检测部37在检测三维物体之前，判断由边缘线检测部36检测出的边缘线是否为正确的边缘线。三维物体检测部37判断沿着边缘线上的鸟瞰视点图像的边缘线的亮度变化是否大于规定的阈值。在边缘线上的鸟瞰视点图像的亮度变化大于阈值的情况下，判断为该边缘线是由于错误判断而检测出的。另一方面，在边缘线上的鸟瞰视点图像的亮度变化不大于阈值的情况下，判断为该边缘线是正确的边缘线。此外，该阈值是通过实验等预先设定的值。
[0149]图16是表示边缘线的亮度分布的图，图16的(a)表示在检测区域Al内存在作为三维物体的其它车辆VX时的边缘线和亮度分布，图16的(b)表示在检测区域Al内不存在三维物体时的边缘线和亮度分布。
[0150]如图16的(a)所示，设为判断为在鸟瞰视点图像中设定于其它车辆VX的轮胎橡胶部分的关注线La是边缘线。在这种情况下，关注线La上的鸟瞰视点图像的亮度变化平缓。这是由于由摄像机10拍摄到的图像被视点变换为鸟瞰视点图像，由此其它车辆VX的轮胎在鸟瞰视点图像内被拉长。另一方面，如图16的(b)所示，设为鸟瞰视点图像中被设定在描绘于路面上的“50”这样的白色文字部分上的关注线La被错误判断为是边缘线。在这种情况下，关注线La上的鸟瞰视点图像的亮度变化为起伏大的变化。这是因为在边缘线上混杂有白色文字中的亮度高的部分和路面等的亮度低的部分。
[0151]根据如以上那样的关注线La上的亮度分布的差异，三维物体检测部37判断边缘线是否为由于错误判断而检测出的。三维物体检测部37在沿着边缘线的亮度变化大于规定的阈值的情况下，判断为该边缘线是由于错误判断而检测出的。而且，在检测三维物体时不使用该边缘线。由此，抑制路面上的“50”这样的白色文字、路肩的杂草等被判断为边缘线，从而抑制三维物体的检测精度下降。
[0152]具体地说，三维物体检测部37通过下述数式4、数式5中的任一个来计算边缘线的亮度变化。该边缘线的亮度变化相当于实际空间中的铅垂方向的评价值。下述数式4通过关注线La上的第i个亮度值I (xi，yi)与相邻的第i+Ι个亮度值I (xi+1，yi+1)的差分的平方的合计值来评价亮度分布。下述数式5通过关注线La上的第i个亮度值I (xi，yi)和相邻的第i+Ι个亮度值I (xi+1，yi+1)的差分的绝对值的合计值来评价亮度分布。
[0153][数4]
[0154]铅垂对应方向的评价值=Σ[{k(xi, yi)-l(xi+l, yi+1)}2]
[0155][数5]
[0156]铅垂对应方向的评价值=Σ |l(xi, yi)-l (xi+1, yi+1)
[0157]此外，不限于数式5，也可以如下述数式6那样，利用阈值t2将相邻的亮度值的属性b进行二值化，来将该二值化得到的属性b关于全部的关注点Pa进行总和。
[0158][数6]
[0159]铅垂对应方向的评价值=2b (xi，yi)
[0160]其中，11(xi，yi)-l (xi+1, yi+1) | > t2 时，
[0161]b(xi，yi)=l
[0162]在上述以外的情况时，
[0163]b (xi, yi) = 0
[0164]在关注点Pai的亮度值与参照点Pri的亮度值的亮度差的绝对值大于阈值t2的情况下，该关注点Pa (xi，yi)的属性b(xi，yi)为‘1’。在除此以外的关系的情况下，关注点Pai的属性b(xi，yi)为‘0’。该阈值t2是为了判断关注线La不在相同的三维物体上而通过实验等预先设定的。而且，三维物体检测部37将关于关注线La上的全部关注点Pa的属性b进行总和来求出铅垂对应方向的评价值，判断边缘线是否为正确的边缘线。
[0165]接着，关于本实施方式所涉及的利用边缘信息的三维物体检测方法进行说明。图17和图18是表示本实施方式所涉及的三维物体检测方法的详细内容的流程图。此外，在图17和图18中，为了方便，说明以检测区域A1为对象的处理，但是关于检测区域A2，也执行相同的处理。
[0166]如图17所示，首先，在步骤S21中，摄像机10拍摄由视角a和安装位置所确定的规定区域。接着，视点变换部31在步骤S22中输入在步骤S21中由摄像机10拍摄得到的摄像图像数据，进行视点变换来生成鸟瞰视点图像数据。
[0167]接着，在步骤S23中，亮度差计算部35在检测区域A1上设定关注线La。此时，亮度差计算部35将与在实际空间中在铅垂方向延伸的线相当的线设定为关注线La。接着，在步骤S24中，亮度差计算部35在检测区域A1上设定参照线Lr。此时，亮度差计算部35将相当于在实际空间中在铅垂方向延伸的线段且与关注线La在实际空间中相距规定距离的线设定为参照线Lr。
[0168]接着，在步骤S25中，亮度差计算部35在关注线La上设定多个关注点Pa。此时，亮度差计算部35设定在边缘线检测部36检测边缘时不会成为问题的程度的个数的关注点Pa ο另外，在步骤S26中，亮度差计算部35将参照点Pr设定成在实际空间中关注点Pa和参照点Pr处于大致相同的高度。由此，关注点Pa和参照点Pr在大致水平方向上排列，容易检测在实际空间中在铅垂方向延伸的边缘线。
[0169]接着，在步骤S27中，亮度差计算部35计算在实际空间中处于相同高度的关注点Pa与参照点Pr的亮度差。接着，边缘线检测部36依照上述的数式1计算各关注点Pa的属性s。接着，在步骤S28中，边缘线检测部36依照上述的数式2计算各关注点Pa的属性s的连续性c。接着，在步骤S29中，边缘线检测部36依照上述数式3，判断将连续性c的总和标准化得到的值是否大于阈值Θ。在判断为标准化得到的值大于阈值Θ的情况下(S29:“是”)，在步骤S30中，边缘线检测部36将该关注线La检测为边缘线。然后，处理转移到步骤S31。在判断为标准化得到的值不大于阈值Θ的情况下(S29 否”)，边缘线检测部36不将该关注线La检测为边缘线，处理转移到步骤S31。该阈值Θ能够预先设定，但是也能够与控制部39的控制命令相应地进行变更。
[0170]在步骤S31中，计算机30判断是否关于检测区域A1上可设定的全部关注线La执行了上述的步骤S23?步骤S30的处理。在判断为尚未关于全部的关注线La进行上述处理的情况下(S31 否”)，将处理返回步骤S23，重新设定关注线La，并重复进行步骤S31为止的处理。另一方面，在判断为关于全部的关注线La进行了上述处理的情况下631:“是”)，处理转移到图18的步骤S32。
[0171]在图18的步骤S32中，三维物体检测部37关于在图17的步骤S30中检测出的各边缘线计算沿着该边缘线的亮度变化。三维物体检测部37依照上述数式4、数式5、数式6中的任一个来计算边缘线的亮度变化。接着，在步骤S33中，三维物体检测部37去除边缘线中的亮度变化大于规定的阈值的边缘线。即，判断为亮度变化大的边缘线不是正确的边缘线，在检测三维物体时不使用该边缘线。这是为了抑制如上述那样检测区域A1中包含的路面上的文字、路肩的杂草等被检测为边缘线的情形。因而，规定的阈值是指预先通过实验等求出的根据由于路面上的文字、路肩的杂草等而产生的亮度变化设定的值。
[0172]接着，在步骤S34中，三维物体检测部37判断边缘线的量是否为第二阈值β以上。此外，该第二阈值β预先通过实验等求出而设定，也能够按照图3所示的控制部39发出的控制命令进行变更，在后记述其详细内容。例如在设定四轮车作为检测对象的三维物体的情况下，预先通过实验等基于在检测区域Α1内出现的四轮车的边缘线的个数来设定该第二阈值β。在判断为边缘线的量为第二阈值β以上的情况下(S34 是”)，在步骤S35中，三维物体检测部37检测为在检测区域Α1内存在三维物体。另一方面，在判断为边缘线的量不为第二阈值β以上的情况下(S34:“否”)，三维物体检测部37判断为在检测区域A1内不存在三维物体。之后，结束图17和图18所示的处理。关于检测出的三维物体，可以都判断为是行驶于与本车辆V所行驶的车道相邻的邻近车道的其它车辆VX，也可以考虑检测出的三维物体相对于本车辆V的相对速度来判断是否为行驶于邻近车道的其它车辆VX。该第二阈值β能够预先设定，但是也能够与控制部39的控制命令相应地进行变更。
[0173]如上所述，根据本实施方式的利用边缘信息的三维物体的检测方法，为了检测存在于检测区域Al、A2的三维物体，而针对鸟瞰视点图像设定作为在实际空间中在铅垂方向延伸的线段的铅垂虚拟线。而且，能够针对沿着铅垂虚拟线的多个位置中的每个位置计算该各位置附近的两个像素的亮度差，根据该亮度差的连续性来判断有无三维物体。
[0174]具体地说，针对鸟瞰视点图像中的检测区域Al、A2设定相当于在实际空间中在铅垂方向延伸的线段的关注线La以及与关注线La不同的参照线Lr。然后，沿着关注线La和参照线Lr连续地求出关注线La上的关注点Pa与参照线Lr上的参照点Pr的亮度差。这样，通过连续地求出点之间的亮度差，来求出关注线La与参照线Lr的亮度差。在关注线La与参照线Lr的亮度差高的情况下，在关注线La的设定部分存在三维物体的边缘的可能性高。由此，能够根据连续的亮度差检测三维物体。特别地，为了进行在实际空间中在铅垂方向延伸的铅垂虚拟线之间的亮度比较，即使通过变换为鸟瞰视点图像而三维物体与距路面的高度相应地被拉长，也不会影响三维物体的检测处理。因而，根据本例的方法，能够提高三维物体的检测精度。
[0175]另外，在本例中，求出铅垂虚拟线附近的大致相同高度的两个点的亮度差。具体地说，根据在实际空间中处于大致相同高度的关注线La上的关注点Pa和参照线Lr上的参照点Pr求出亮度差，因此能够明确地检测出存在在铅垂方向延伸的边缘的情况下的亮度差。
[0176]并且，在本例中，根据关注线La上的关注点Pa与参照线Lr上的参照点Pr的亮度差来对关注点Pa赋予属性，根据沿着关注线La的属性的连续性c来判断该关注线La是否为边缘线，因此能够将亮度高的区域与亮度低的区域的边界检测为边缘线，从而能够按照人的自然的感觉进行边缘检测。详细地说明该效果。图19是表示对边缘线检测部36的处理进行说明的图像例的图。该图像例是表示亮度高的区域和亮度低的区域反复的条纹图案的第一条纹图案101与表示亮度低的区域和亮度高的区域反复的条纹图案的第二条纹图案102相邻的图像。另外，该图像例为第一条纹图案101的亮度高的区域与第二条纹图案102的亮度低的区域相邻，并且第一条纹图案101的亮度低的区域与第二条纹图案102的亮度高的区域相邻。位于该第一条纹图案101与第二条纹图案102的边界的部位103根据人的感觉而倾向于不认为是边缘。
[0177]与此相对地，由于亮度低的区域与亮度高的区域相邻，因此如果仅依据亮度差检测边缘，则导致该部位103被识别为边缘。但是，边缘线检测部36除了部位103处的亮度差以外，仅在该亮度差的属性存在连续性的情况下将部位103判断为边缘线，因此边缘线检测部36能够抑制将以人的感觉不识别为边缘线的部位103识别为边缘线的错误判断，从而能够按照人的感觉进行边缘检测。
[0178]并且，在本例中，在由边缘线检测部36检测出的边缘线的亮度变化大于规定的阈值的情况下，判断为该边缘线是由于错误判断而检测出的边缘线。在将由摄像机10获取到的摄像图像变换为鸟瞰视点图像的情况下，存在该摄像图像中包含的三维物体以被拉长的状态出现在鸟瞰视点图像中的倾向。例如上述那样在其它车辆VX的轮胎被拉长的情况下，由于轮胎这一个部位被拉长，因此形成被拉长的方向上的鸟瞰视点图像的亮度变化小的倾向。对于此，如果将描绘在路面上的文字等错误判断为边缘线，则在鸟瞰视点图像中混合包含文字部分这样的亮度高的区域和路面部分这样的亮度低的区域。在这种情况下，在鸟瞰视点图像中，被拉长的方向的亮度变化有变大的倾向。因而，通过如本例那样判断沿着边缘线的鸟瞰视点图像的亮度变化，能够识别出由于错误判断而检测出的边缘线，从而能够提高三维物体的检测精度。
[0179]〈三维物体的最终判断〉
[0180]返回图3，本例的三维物体检测装置1具备上述的两个三维物体检测部33(或三维物体检测部37)、三维物体判断部34、异物检测部38、降雨状态检测部41以及控制部39。三维物体判断部34根据三维物体检测部33 (或三维物体检测部37)的检测结果，最终判断检测出的三维物体是否为存在于检测区域A1、A2的其它车辆VX。另外，本实施方式的三维物体检测装置1的控制部39根据降雨状态检测部41的检测结果，控制三维物体检测部33 (或三维物体检测部37)和/或三维物体判断部34的处理内容。
[0181]本实施方式的降雨状态检测部41检测本车辆V的行驶位置是否为降雨状态。具体地说，降雨状态检测部41基于从雨滴传感器50、雨刷60和/或导航装置70获取到的信息，检测本车辆V的行驶位置是否为降雨状态(包含实际有降雨、降雨时的降雨量、或者由于降雨而在路面上形成有水膜在内的信息)、具体地说本车辆V的车身外侧、尤其是摄像机10的镜头11上附着有雨滴或雨滴附着的可能性高、或者附着的雨滴的量(降雨量)。
[0182]本实施方式中的雨滴传感器50具备:台，雨滴能够附着在该台上，该台由玻璃等具备透光性的材质构成；发光部，其向该台照射红外光；以及受光部，其接受从发光部照射出的光的反射光。台的一个主表面被暴露在本车辆外部，在降雨时有雨滴附着。在台的露出面上没有附着雨滴的情况下，发光部所照射的光在台(玻璃)的表面发生全反射，因此受光部接受强度与照射光大致相同的反射光。另一方面，在台的露出面上辅助有雨滴的情况下，发光部所照射的光通过附着于台(玻璃)上的雨滴而透射到外部，因此受光部接受与照射光相比强度衰减了的反射光。通过将发光部照射的照射光与受光部接受的反射光进行比较，能够判断在台的露出面(一个主表面)上是否附着有雨滴。另外，能够根据从受光部接受的反射光的强度减去发光部照射的照射光的强度得到的值、即照射光的衰减量检测附着于台的露出面(一个主表面)上的雨滴的量。在附着于台的露出面上的雨滴量多的情况下，由于照射光的多半透射到外部，因此衰减量变多。另一方面，在附着于台的露出面上的雨滴量少的情况下，透射到外部的光的量减少，照射光的衰减量变少。利用该情形，照射光的衰减量越多，雨滴传感器50能够判断为台上附着的雨滴量越多(降雨量越多)，照射光的衰减量越少，雨滴传感器50能够判断为台上附着的雨滴量越少(降雨量越少)。与雨滴的有无和雨滴的量有关的信息被发送到后述的计算机30的降雨状态检测部41。此外，雨滴传感器50的结构不限定于此，能够适当地利用申请时已知的其它的雨滴传感器50。降雨状态检测部41根据从雨滴传感器50获取到的雨滴的检测信息检测雨滴的有无、雨滴的量、降雨量，将检测出的结果发送到控制部39。
[0183]雨刷60是去除附着于本车辆V的前玻璃、后玻璃的雨滴的装置。与手动、自动的设定无关地，雨滴的附着量越多，雨刷60的雨滴去除动作的频度越高。利用该情形，雨刷60的驱动频度(驱动强度)越高，能够判断为雨滴的量越多(降雨量越多)，雨刷60的驱动频度(驱动强度)越低，能够判断为雨滴的量越少(降雨量越少)。与雨滴的有无和雨滴的量有关的检测结果被发送到后述的计算机30的降雨状态检测部41。此外，不对本实施方式的雨刷60的具体结构进行限定，能够适当地利用在申请时已知的雨刷60。降雨状态检测部41基于从雨刷60获取到的雨滴的检测信息检测雨滴的有无、雨滴的量、降雨量，并将检测出的结果发送到控制部39。
[0184]导航装置70具备与外部进行信息的传送和接收的通信装置71，与在申请时已知的一般的导航装置同样地，不只是路径搜索，还作为从信息提供服务器提供包括与位置信息对应的含有降雨信息的天气信息的各种信息的提供装置发挥功能。获取的降雨信息包含降雨的有无和降雨量的多少。导航装置70利用GPS装置72检测本车辆V的当前位置，获取当前位置的包含降雨信息在内的天气信息。由此，关于降雨(雨滴附着)的有无、降雨量的多少，能够从外部获取信息。获取到的降雨信息被发送到后述的计算机30的降雨状态检测部41。降雨状态检测部41根据从导航装置70获取到的检测信息，检测本车辆V的行驶地点是否为降雨状态(是否正在降雨、或者是否为在降雨后在路面上形成有水膜的状态)以及如果正在降雨则检测其降雨量，将检测出的结果发送到控制部39。
[0185]本实施方式的三维物体检测装置1根据由摄像机10拍摄到的图像检测三维物体，判断检测出的三维物体是否为其它车辆VX。图20示出本车辆V特别是在降雨状态并在安装于本车辆V的摄像机10的镜头11上附着有雨滴的情况下获取的图像信息K的一例。图20所示的图像信息是通过附着有雨滴等异物的镜头11拍摄得到的。图20的下侧的影像是车牌LP的像，上侧的淡墨的部分是摄像机10的外壳C的像。车牌LP与外壳C之间的区域的图像随着本车辆V的移动而时时刻刻发生变化。如图20所示，车牌LP与外壳C之间的区域的图像信息K包含本车辆V所行驶的道路的路面RD的像和在该路面RD之上扩展的后方的天空SK的像。另外，在图20所示的图像信息K中拍摄有附着于镜头11的异物的像CLo并且，在降雨量多的情况下，路面有积水，在图20所示的图像信息K中拍摄有由路面积存的水的水膜形成的反射像D。这样，在降雨时产生雨滴直接附着于镜头11、本车辆溅起的雨水的水滴附着于镜头11、以及溅起的泥水中包含的泥附着于镜头11这样的现象。
[0186]如图20所示，当使用在降雨状态下通过附着有水滴等异物的镜头11拍摄得到的图像信息进行图像变换处理时，有时产生将水滴等异物的像CL错误识别为三维物体的像、或者错误检测移动速度这样的情形，因此存在导出将像CL错误识别为其它车辆VX的像等错误的判断结果的情况。特别地，在降雨时，由于附着于摄像机10的镜头11的水滴等异物的存在而三维物体的轮廓(边缘成分、形成轮廓的像素成分)的信息变得不准确，因此难以准确地检测三维物体的移动速度。
[0187]本实施方式的三维物体检测装置1为了提高降雨时对其它车辆VX的判断精度，而调节在判断是否为其它车辆VX时应用的预先设定的三维物体的移动速度的设定范围。如上所述，本实施方式的三维物体判断部34在由三维物体检测部33、37检测出的三维物体的移动速度属于设定范围的情况下，判断为检测出的三维物体是其它车辆VX。具体地说，本实施方式的控制单元39在降雨状态检测部41检测出时降雨状态的意思的情况下，为了抑制三维物体被判断为是其它车辆VX，而将用于判断是否为其它车辆VX的“移动速度的设定范围”变窄。
[0188]由此，能够防止在降雨状态下根据由于附着于镜头11的雨滴的存在、路面上形成的水膜的反射而容易错误计算出的三维物体的相对速度将不是其它车辆VX的三维物体错误判断为是其它车辆VX。其结果，能够抑制将附着于镜头11的异物错误检测为其它车辆VX、抑制将由于附着于镜头11的水滴而变形的不是车辆的三维物体的像错误检测为其它车辆VX，因此能够准确地检测其它车辆VX。
[0189]特别地，在所检测出的三维物体在后方移动时容易产生上述的移动速度的错误检测。也就是说，在所检测出的三维物体的相对速度为负值的情况下容易产生上述的移动速度的错误检测。因此，本实施方式的控制部39在降雨状态检测部41检测出降雨状态的情况下并在由三维物体检测部33、37计算出的三维物体的移动速度为负值的情况下，将“移动速度的设定范围”变窄，抑制所检测出的三维物体被判断为是其它车辆VX。
[0190]由此，在降雨时，只在相对速度容易被错误检测的状况中抑制对其它车辆VX的检测处理，因此能够确保本来的对其它车辆VX的检测的动作精度并抑制错误检测。另外，三维物体移动到后方的状况是在本车辆V超越其它车辆VX时等产生的状况，是本车辆V的驾驶员容易掌握状况的场面。通过限定在三维物体的移动速度为负值的情况下进行对其它车辆VX的检测抑制处理，由此能够抑制因抑制对其它车辆VX的检测动作而导致的问题的产生。
[0191]另外，在上述的对其它车辆VX的检测抑制处理中，本实施方式的控制部39随着降雨状态检测部41所检测出的降雨量(包括在降雨状态中)变多，将“移动速度的设定范围”设定得更窄。由此，抑制三维物体被判断为是其它车辆VX。由于存在降雨量越多则三维物体的移动速度的精度越下降的倾向，因此通过降雨量越多则将“移动速度的设定范围”设定得越窄以抑制对其它车辆VX的检测，由此能够提高对其它车辆VX的检测精度。
[0192]图21A是表示该控制过程的流程图。如图21A所示，在步骤S41中，降雨状态检测部41根据雨滴传感器50的雨滴的检测结果、雨刷60的驱动信息、导航装置70的降雨信息，进行本车辆V的行驶位置是否为降雨状态的检测处理。在步骤S42中由降雨状态检测部41检测出是降雨状态的情况下，进入步骤S51。
[0193]在步骤S51中，判断由三维物体检测部33、37检测出的三维物体的移动速度是否为负值，在是负值的情况下，进入步骤S52。在步骤S52中，控制部39将判断三维物体是否为其它车辆时的“移动速度的设定范围”与默认的设定范围相比变窄。此时，控制部39能够与降雨状态检测部41所检测出的降雨量相应地决定要重新设定的“移动速度的设定范围”。另外，降雨量越多，本实施方式的控制部39使“移动速度的设定范围”越窄。图21B中示出“降雨量”与“移动速度的设定范围”的下限值的关系的一例。如图21B所示，“降雨量”越多，则下限值越高，“移动速度的设定范围”越窄。“移动速度的设定范围”的上限值也同样地，降雨量越多，能够使上限值越低。之后进入步骤S43，执行基于差分波形信息或边缘信息的三维物体检测处理。此外，在步骤S42中检测出降雨状态的情况下，也能够跳过步骤S51进入步骤S52。
[0194]该三维物体的检测处理依照上述的三维物体检测部33利用图11、图12的差分波形信息的处理、或者三维物体检测部37利用图17、图18的边缘信息的处理来进行。然后，在步骤S44中通过该三维物体检测部33、37在检测区域Al、A2检测出三维物体并通过三维物体控制部34判断为是其它车辆VX的情况下进入步骤S45，判断为检测出的三维物体是其它车辆VX。另一方面，在由三维物体检测部33、37在检测区域A1、A2未检测出三维物体、由三维物体检测部34判断为不是其它车辆VX的情况下进入步骤S46，判断为在检测区域A1、A2不存在其它车辆VX。另外，在步骤S42中检测出是降雨状态并是本车辆V超车时的情况下，也可以进入步骤S47中止三维物体的检测处理、或者进入步骤S46判断为在检测区域Al、A2不存在其它车辆VX。
[0195]本实施方式的三维物体判断部34在移动速度属于设定范围的三维物体在规定时间以内被检测出规定次数以上的情况下，判断为三维物体是其它车辆。在移动速度属于规定的设定范围的三维物体在规定时间内仅被检测出数次的情况下，认为错误检测出什么东西的像。当基于该信息将该三维物体检测为其它车辆VX时，有可能检测精度下降。因此，限定在移动速度属于规定范围的三维物体在规定时间以内被检测出规定次数以上的情况下，本实施方式的三维物体判断部34将该三维物体判断为其它车辆VX。
[0196]关于这样的三维物体判断部34的处理，在由降雨状态检测部41检测出是降雨状态的情况下，控制部39将判断三维物体时的阈值即“移动速度属于规定范围的三维物体在规定时间以内被检测出的规定次数”变更为高的值。由此，抑制三维物体被判断为是其它车辆VX。
[0197]图21C示出该控制部39所进行的处理的控制过程。图21C所示的处理基本上与图21A所示的处理相同。在步骤S41、42中检测出是降雨状态并在步骤S51中移动速度为负值的情况下，进入步骤S53。在步骤S53中，控制部39将最为判断三维物体时的阈值的“移动速度属于规定范围的三维物体在规定时间以内被检测出的规定次数”变更为高的值。在这种情况下，“降雨量”越多，控制部39能够将“移动速度属于规定范围的三维物体在规定时间以内被检测出的规定次数”变更为越高的值。图21D中示出“降雨量”与“移动速度属于规定范围的三维物体在规定时间以内被检测出的规定次数”的关系的一例。如图21D所示，降雨量越多，规定次数越高。步骤S43?步骤S47的处理与图21A所示的控制过程相同。
[0198]由此，在相对速度容易被错误检测的降雨时，除了缩小用于判断三维物体是否为其它车辆VX的“规定范围的移动速度”以外，还将用于判断规定范围内的移动速度的三维物体被检测出的频率的“规定次数”变更为高的值，由此能够提高三维物体是否为其它车辆VX的判断的精度。当然，能够独立地只进行缩小“移动速度的设定范围”的处理、或者只进行将“规定次数”变更为高的值的处理。
[0199]另外，在降雨状态检测部41检测出是降雨状态的情况下，控制部39生成将第一阈值α变高使得不容易检测出三维物体的控制命令，并输出到三维物体检测部33。在降雨状态检测部41检测出是降雨状态的情况下，控制部39生成使在鸟瞰视点图像的差分图像上对示出规定的差分的像素数进行计数并进行频数分布化得到的值降低的控制命令，将该控制命令输出到三维物体检测部33。这样，通过提高第一阈值α、或者将进行频数分布化得到的值输出得低，能够抑制检测出三维物体，结果能够防止对其它车辆VX的错误检测。
[0200]在这种情况下，本实施方式的控制部39将与差分波形信息有关的进行频数分布化得到的值输出得低。由此，能够抑制检测出三维物体，结果能够防止对其它车辆VX的错误检测。
[0201]在降雨状态检测部41检测出是降雨状态的情况下，本实施方式的控制部39生成将阈值Θ变高使得不容易检测出三维物体的控制命令，并输出到三维物体检测部37。另外，在降雨状态检测部41检测出是降雨状态的情况下，控制部39将所检测出的包含边缘长度的边缘信息的量输出得低。这样，通过提高阈值Θ、或者将进行频数分布化得到的值输出得低，能够抑制出检测三维物体，结果能够防止对其它车辆VX的错误检测。
[0202]在这种情况下，本实施方式的控制部39将与包含对应于评价边缘长度、评价反转数的像素的规定区域对应的部分的边缘信息所涉及的边缘长度输出得低。由此，能够抑制检测出三维物体，结果能够防止对其它车辆VX的错误检测。
[0203]此外，在降雨状态检测部41检测出是降雨状态的情况下，控制部39除了将在根据差分波形信息判断三维物体时使用的第一阈值α变高以外，也可以将与生成差分波形信息时的像素值的差分有关的阈值Ρ变高。控制部39除了将对生成边缘信息时的边缘长度进行判定的阈值Θ变高以外，也可以将在根据边缘信息判断三维物体时使用的第二阈值β变高。顺便提及，第一阈值α是在图11的步骤S7中用于判断差分波形DWt的峰的阈值。阈值Θ是图17的步骤S29中的判断将各注目点Pa的属性的连续性c的总和标准化得到的值(边缘的长度)的阈值，第二阈值β是图18的步骤34中的对边缘线的量(条数)进行评价的阈值。这样，通过将判断的阈值变高，来调整检测灵敏度使得不容易检测出行驶于本车辆V的行驶车道附近的其它车辆VX，因此能够防止对其它车辆VX的错误检测。
[0204]在降雨状态检测部41检测出是降雨状态的情况下，本实施方式的控制部39向三维物体检测部33输出将在鸟瞰视点图像的差分图像上对示出规定的差分的像素数进行计数并进行频数分布化得到的值输出得低的控制命令。在鸟瞰视点图像的差分图像上对示出规定的差分的像素数进行计数并进行频数分布化得到的值是在图11的步骤S5中生成的差分波形DWt的纵轴的值。
[0205]另外，在降雨状态检测部41检测出是降雨状态的情况下，本实施方式的控制部39向三维物体检测部37输出将所检测出的边缘信息输出得低的控制命令。所检测出的边缘信息除了是图17的步骤S29中的将各注目点Pa的属性的连续性c的总和进行标准化得到的值即边缘线的长度以外，还是图18的步骤34中的边缘线的量。在降雨状态检测部41检测出是降雨状态的情况下，控制部39将各注目点Pa的属性的连续性c的总和进行标准化得到的值或边缘线的量变低使得不容易检测出三维物体。这样，通过降低输出值，能够调整检测灵敏度使得不容易检测出其它车辆VX，因此能够防止对其它车辆VX的错误检测。
[0206]图22示出该控制部39所进行的处理的控制过程。图22所示的处理基本上与图21A所示的处理相同。在步骤S41、S42中检测出是降雨状态并在步骤S51中移动速度为负值的情况下，进入步骤S54。在步骤S54中，控制部39将判断三维物体时的阈值即第一阈值α、阈值Θ、第二阈值β中的任意一个以上的阈值变更为高的值、或者将各输出值输出得低。步骤S43?步骤S47的处理与图21Α所示的控制过程相同。
[0207]由此，能够抑制降雨时的三维物体的检测，结果能够防止对其它车辆VX的错误检测。
[0208]另外，在由降雨状态检测部41检测出是降雨状态的情况下，本实施方式的控制部39针对检测区域Al、Α2中的车辆后方侧的一部分区域抑制三维物体被判断为是其它车辆VX。在这种情况下，控制部39在与检测区域Α1、Α2中的车辆后方侧的一部分区域对应的图像(摄像图像或鸟瞰视点图像)的处理中将作为根据该图像判断三维物体时的阈值的“移动速度的设定范围”缩小，并将属于移动速度的设定范围的三维物体在规定时间以内被检测出的次数的阈值即“规定次数”变更为高的值。
[0209]为了抑制由三维物体检测部33、37检测出三维物体或者由三维物体判断部37将三维物体判断为是其它车辆，控制部39将在各处理中使用的各阈值变高(使得不容易检测出)、将与各阈值进行比较的输出值变低(使得不容易检测出)。
[0210]为了抑制由三维物体检测部33、37检测出三维物体或者由三维物体判断部37将三维物体判断为是其它车辆，控制部39将在各处理中使用的各阈值与初始值、标准值及其它设定值相比变高(使得不容易检测出)、或者将与各阈值进行比较的输出值变低(使得不容易检测出)。此外，在控制部39进行促进处理的情况下，促进处理成为判断为抑制处理的控制。
[0211]具体的处理内容如下。
[0212]利用差分波形信息检测三维物体的三维物体检测部33在差分波形信息为规定的第一阈值α以上时检测出三维物体的情况中，在检测出是降雨状态的情况下，控制部39生成将第一阈值α变高使得不容易检测出三维物体的控制命令，将该控制命令输出到三维物体检测部33。
[0213]同样地，三维物体检测部33在差分波形信息为规定的第一阈值α以上时检测出三维物体的情况中，在检测出是降雨状态的情况下，控制部39生成将在鸟瞰视点图像的差分图像上对示出规定的差分的像素数进行计数并进行频数分布化得到的值变低并输出的控制命令，将该控制命令输出到三维物体检测部38。
[0214]另外，在利用差分波形信息检测三维物体的三维物体检测部33抽出示出阈值ρ以上的像素值的像素数作为示出规定的差分的像素数的情况中，在检测出是降雨状态的情况下，控制部39生成将阈值ρ变高使得不容易检测出三维物体的控制命令，并将该控制命令输出到三维物体检测部38。
[0215]同样地，在三维物体检测部33抽出示出阈值ρ以上的像素值的像素数作为规定的差分的像素数的情况中，在检测出是降雨状态的情况下，控制部39生成将沿着在视点变换为鸟瞰视点图像时三维物体倾倒的方向在差分图像上抽出的像素数变低并输出的控制命令，将该控制命令输出到三维物体检测部38。
[0216]在利用边缘信息检测三维物体的三维物体检测部37基于示出规定阈值t以上的亮度差的像素抽出边缘线的情况中，在检测出是降雨状态的情况下，控制部39生成将规定阈值t变高使得不容易检测出三维物体的控制命令，将该控制命令输出到三维物体检测部37。
[0217]同样地，在利用边缘信息检测三维物体的三维物体检测部37基于示出规定阈值t以上的亮度差的像素抽出边缘线的情况下，在检测出是降雨状态的情况下，控制部39生成将像素的亮度值变低输出的控制命令，并将该控制命令输出到三维物体检测部37。
[0218]在利用边缘信息检测三维物体的三维物体检测部37基于边缘信息中包含的具有阈值Θ以上的长度的边缘线来检测三维物体的情况中，在检测出是降雨状态的情况下，控制部39生成将阈值Θ变高使得不容易检测出三维物体的控制命令，并将该控制命令输出到三维物体检测部37。
[0219]同样地，在利用边缘信息检测三维物体的三维物体检测部37基于边缘信息中包含的具有阈值Θ以上的长度的边缘线来检测三维物体的情况中，在检测出是降雨状态的情况下，控制部39生成将所检测出的边缘信息的边缘线的长度的值变低输出的控制命令，并将该控制命令输出到三维物体检测部37。
[0220]在利用边缘信息检测三维物体的三维物体检测部37基于边缘信息中包含的规定长度以上的边缘线、例如具有阈值Θ以上的长度的边缘线的条数是否为第二阈值β以上的判断来检测三维物体的情况中，在检测出是降雨状态的情况下，控制部39生成将第二阈值β变高使得不容易检测出三维物体的控制命令，并将该控制命令输出到三维物体检测部37。
[0221]在利用边缘信息检测三维物体的三维物体检测部37基于边缘信息中包含的规定长度以上的边缘线、例如具有阈值Θ以上的长度的边缘线的条数是否为第二阈值β以上的判断来检测三维物体的情况中，在检测出是降雨状态的情况下，控制部39生成将所检测出的规定长度以上的边缘线的条数输出得低的控制命令，并将该控制命令输出到三维物体检测部37。
[0222]另外，三维物体判断部34在所检测出的三维物体的移动速度为预先设定的规定速度以上时将该三维物体判断为是其它车辆的情况中，在检测出是降雨状态的情况下，控制部39生成使将三维物体判断为是其它车辆时的作为下限的规定速度变高使得不容易检测出三维物体的控制命令，并将该控制命令输出到三维物体判断部34。
[0223]同样地，三维物体判断部34在所检测出的三维物体的移动速度是预先设定的规定速度以上时将该三维物体判断为是其它车辆的情况中，在检测出是降雨状态的情况下，控制部39生成使与将三维物体判断为是其它车辆时的作为下限的规定速度进行比较的三维物体的移动速度变低并输出的控制命令，将该控制命令输出到三维物体判断部34。
[0224]另外，三维物体判断部34在所检测出的三维物体的移动速度小于预先设定的规定速度时将该三维物体判断为是其它车辆的情况中，在检测出是降雨状态的情况下，控制部39生成使将三维物体判断为是其它车辆时的作为上限的规定速度变低的控制命令，并将该控制命令输出到三维物体判断部34。
[0225]同样地，三维物体判断部34在所检测出的三维物体的移动速度小于预先设定的规定速度时将该三维物体判断为是其它车辆的情况中，在检测出是降雨状态的情况下，控制部39生成使与将三维物体判断为是其它车辆时的作为上限的规定速度进行比较的三维物体的移动速度变高的控制命令，并将该控制命令输出到三维物体判断部34。
[0226]此外，在此，“移动速度”包含三维物体的绝对速度以及三维物体相对于本车辆的相对速度。可以根据三维物体的相对速度计算三维物体的绝对速度，也可以根据三维物体的绝对速度计算三维物体的相对速度。
[0227]顺便提及，第一阈值α是在图11的步骤S7中用于判断差分波形DWt的峰的阈值。阈值P是用于抽出具有规定的像素值的像素的阈值。规定阈值t是用于抽出具有规定的亮度差的像素或边缘成分的阈值。阈值Θ是对图17的步骤S29中的将各关注点Pa的属性的连续性c的总和标准化得到的值(边缘的长度)进行判断的阈值，第二阈值β是图18的步骤34中的对边缘线的量(条数)进行评价的阈值。这样，通过将判断的阈值变高，来调整检测灵敏度使得不容易检测出行驶于本车辆V的行驶车道附近的其它车辆VX，因此能够防止对其它车辆VX的错误检测。
[0228]本实施方式的控制部39向三维物体检测部33输出将在鸟瞰视点图像的差分图像上对示出规定的差分的像素数进行计数并进行频数分布化得到的值输出得低的控制命令。在鸟瞰视点图像的差分图像上对示出规定的差分的像素数进行计数并进行频数分布化得到的值是指在图11的步骤S5中生成的差分波形DWt的纵轴的值。另外，本实施方式的控制部39向三维物体检测部37输出将所检测出的边缘信息输出得低的控制命令。所检测出的边缘信息除了是图17的步骤S29中的对各关注点Pa的属性的连续性c的总和进行标准化得到的值即边缘线的长度以外，还是图18的步骤34中的边缘线的量。控制部39将对各关注点Pa的属性的连续性c的总和进行标准化得到的值或边缘线的量变低使得在下一次的处理中不容易检测出三维物体。这样，能够通过降低输出值来调整检测灵敏度使得不容易检测出行驶于本车辆V的行驶车道附近的其它车辆VX，因此能够防止对行驶于相邻的车道的其它车辆VX的错误检测。
[0229]另外，在由降雨状态检测部41检测出是降雨状态的情况下，控制部39遮蔽检测区域A1、A2中的车辆后方侧的一部分区域。由此，抑制三维物体被判断为是其它车辆VX。控制部39指定车辆后方侧的检测区域A1、A2的一部分的位置信息(图像坐标信息)，生成不进行所遮蔽的该区域中的三维物体的检测处理或三维物体是否为其它车辆VX的判断的控制指令、输出在所遮蔽的区域中未检测出三维物体或所遮蔽的区域中的三维物体不是其它车辆VX的意思的结果的控制指令并发送到三维物体检测部33 (或三维物体检测部37)或三维物体判断部34。输出在所遮蔽的区域中未检测出三维物体或所遮蔽的区域中的三维物体不是其它车辆VX的意思的结果的控制指令包含指定遮蔽区域的图像数据的指令和如上述那样变更各阈值或各输出值的指令。
[0230]图23示出该控制部39所进行的处理的控制过程。图23所示的处理基本上与图21A所示的处理相同。在步骤S41、S42中检测出是降雨状态并在步骤S51中移动速度为负值的情况下，进入步骤S54。在步骤S55中，控制部39缩小作为对车辆后方的一部分区域的图像进行处理时的阈值的“移动速度的设定范围”、提高“规定次数”、或者提高“第一阈值α、阈值Θ、或第二阈值β ”等阈值中的至少一个以上的阈值。在该步骤S55中，控制部39也可以遮蔽车辆后方侧的一部分区域。如图24所示那样遮蔽虚线所示的检测区域Al、Α2中的与车辆的行进方向(图中_y方向)相反一侧(图中+y方向)的区域A12、A22。也就是说，将沿着车辆的后方方向(图中+y方向)的长度L1的检测区域All、A12变短为长度L2o
[0231]在降雨时，检测区域Al、A2中的车辆后方侧的一部分区域中的三维物体的移动速度的精度有变低的倾向。在本实施方式中，通过在降雨时抑制根据与车辆后方侧的一部分区域对应的图像检测三维物体和/或其它车辆VX，能够维持对其它车辆VX的检测精度。
[0232]另外，控制部39基于异物检测部38的检测结果调节上述的各阈值，进一步抑制对其它车辆VX的检测。在上述的处理中，在本车辆V上所配备的雨滴传感器50等检测出雨滴的情况下，推测为错误检测出其它车辆VX的可能性高，从而抑制对其它车辆VX的检测。在本实施方式中，在异物检测部38检测出实际附着于镜头11的异物的情况下，调节上述的各阈值，进一步抑制对其它车辆VX的检测。
[0233]下面，说明异物检测部38。
[0234]异物检测部38基于差分波形信息或边缘信息检测将各检测区域Al、A2的像成像的摄像机10的镜头11上是否附着有异物。在由异物检测部38检测出附着于镜头的异物的情况下，控制部39进一步抑制所检测出的三维物体被判断为是其它车辆VX。具体地说，控制部39输出对构成计算机30的各部分(包括控制部39)进行控制的控制命令以抑制与所检测出的异物对应的像被判断为是存在于检测区域A1、A2的其它车辆VX。控制部39为了抑制三维物体检测部33(或三维物体检测部37)得出存在三维物体这样的检测结果、或者三维物体判断部34得出最终判断为三维物体是其它车辆VX的判断结果而调整在检测、判断中使用的阈值、输出值、或者将检测区域A1、A2的掩模区域扩大。另外，控制部39生成使三维物体的检测处理或三维物体是否为其它车辆VX的判断中止的控制指令、输出未检测出三维物体或三维物体不是其它车辆VX的意思的结果的控制指令并发送到三维物体检测部33 (或三维物体检测部37)或三维物体判断部34。
[0235]本实施方式的三维物体检测部33 (或三维物体检测部37)按照控制部39的控制命令调整阈值或输出值，并在严格的基准下进行三维物体的检测，执行输出未检测出三维物体的意思的检测结果的处理，或者将三维物体检测处理本身中止。同样地，三维物体判断部38按照控制部39的控制命令调整阈值或输出值，进行在严格的基准下进行检测出的三维物体是否为其它车辆VX的判断，输出三维物体不是其它车辆VX的意思的判断，或者将三维物体判断处理本身中止。
[0236]下面，说明异物检测部38的检测处理。异物检测部38获取由摄像机10拍摄得到的拍摄本车辆V的后方的图像信息。之前记述的图20也是获取到的图像信息K的一例。当使用如图20所示那样的通过附着有异物的镜头11拍摄得到的图像信息进行图像变换处理时，如图25所示那样与异物的像CL相应的像CL2出现在检测区域All内。根据这样的鸟瞰视点图像，通过上述的方法计算差分波形信息或边缘信息，当进行三维物体检测处理时，有时将像CL2错误识别为其它车辆VX的像。
[0237]具体地说，在如图26所示那样在镜头11上没有附着异物的情况下，在检测区域A1存在其它车辆VX时，沿着在视点变换为鸟瞰视点图像时三维物体倾倒的方向ELI?EL4，其它车辆VX的特征、例如与轮胎和轮辋的边界相应的差分波形信息(频数)为规定阈值以上的像素或亮度差为规定值以上的边缘量以各阈值sb以上的量分布。另一方面，如图27所示，当通过实验对镜头11上附着有异物CL的情况进行评价时，即使是在检测区域A1内其它车辆VX及其它三维物体都不存在的情况下，也倾向于沿着在视点变换为鸟瞰视点图像时三维物体倾倒的方向ELI?EL4检测出超过阈值sb的差分波形信息的频数分布、亮度差为规定值以上的边缘量。与像这样的附着于镜头11的异物CL所产生的像对应的像素信息诱发其它车辆VX及其它三维物体的错误检测。
[0238]本实施方式的异物检测部38从由三维物体检测部33在一个或多个第一定时生成的差分波形信息抽出第一极大值，并且获取基于该第一极大值的基准值，从在第一定时之后的一个或多个第二定时新生成的差分波形信息抽出在鸟瞰视点图像上以位置或时间与第一极大值对应的第二极大值，并且根据该第二极大值获取评价对象值。而且，异物检测部38基于这些评价对象值与基准值的差分的经时变化，检测镜头上是否附着有异物。
[0239]本实施方式的异物检测部38抽出在第一定时生成的差分波形信息中所包含的第一极大值，获取用于确定该第一极大值的X值(位置或时间)和y值(计数值)，根据第一极大值(y值)获得基准值。基准值能够设为第一极大值(y值)以下的值、第一极大值(y值)的规定比例的值、从第一极大值(y值)减去规定值得到的值。另外，抽出在第二定时生成的差分波形信息中所包含的极大值，即抽出与第一极大值的X值(位置或时间)对应的或与X值的差为规定值以内的极大值作为第二极大值。根据该第二极大值(y值)获得评价对象值。评价对象值能够设为第二极大值(y值)以下的值、第二极大值(y值)的规定比例的值、从第二极大值(y值)减去规定值得到的值。该方法能够使用与根据第一极大值导出基准值的方法相同的方法。
[0240]异物检测部38随着时间的经过而获取这些评价对象值与基准值的差分，将在各定时获取到的差分计算为经时的变化。本实施方式的异物检测部38根据以位置或时间对应的评价对象值与基准值的经时的变化量，检测镜头上是否附着有异物。异物检测部38求出评价对象值与基准值的偏移(偏差)的程度作为随着时间的经过所产生的经时变化。如果即使时间经过而评价对象值与基准值的变化量也小，则能够判断为在第一定时检测出的对象物和在第二定时检测出的对象物是相同的对象物、即判断为是附着于镜头11的对象物(异物)。
[0241]异物检测部38为了评价随着时间的经过所产生的评价对象值与基准值之间的变化，而在判断为评价对象值与基准值的差分的经时变化的程度在规定的判断范围以内的情况下，判断为包含与评价对象值对应的像素的图像是附着于上述镜头的异物所产生的图像，从而检测出镜头11上附着有异物。具体地说，在评价对象值与基准值的差分为规定值以内的状态持续规定时间的情况下，检测出镜头11上附着有异物，在评价对象值与基准值的差分超过规定值、或者两者之间的差分为规定值以内的状态未持续规定时间的情况下，检测出镜头11上没有附着异物。
[0242]本实施方式的异物检测部38抽出由三维物体检测部33在一个或多个第一定时生成的差分波形信息的特征。因此，三维物体检测部33对所生成的差分波形信息至少进行使用带通滤波器的信号处理。该带通滤波器截止指定频带的信号的通过或使其衰减，并允许期望频带的信号的通过。带通滤波器沿着位置方向、例如沿着本车辆V的后方方向的与摄像机10的分离方向(图23的+y值)、时间方向、或者空间方向进行处理。
[0243]在本实施方式中，作为带通滤波器，使用截止或衰减高频成分的低通滤波器(高频截止滤波器)。通过对差分波形信息进行使用低通滤波器的信号处理，能够对差分波形信息实施平滑化、平均化、模糊化。当进行使用低通滤波器的信号处理时，去除能够判断为噪声的较小的极大值，使表示比较大的变化的极大值凸显，从而能够抽出获取到的图像信息的特征。由此，能够使由于附着于镜头11的异物的存在而产生的差分波形信息或边缘信息的极大值凸显，从而抽出与异物对应的图像信息的特征。
[0244]另外，异物检测部38能够使用截止或衰减的频率不同的两种以上的带通滤波器。例如，异物检测部38使用通过频率相对较低的(例如0.3Hz)低通滤波器和通过频率相对较高的(例如1Hz)低通滤波器这两方进行信号处理，将位置、时间、空间等的横轴上相同位置的值进行比较，能够选择较低的一方的值(进行低选择处理)。这样，由于抽出也作为其它车辆VX等三维物体的特征的极大值并使由于噪声、光环境所产生的高频成分截止或衰减，因此能够抑制光环境所导致的错误检测，并能够防止尽管存在作为检测对象的其它车辆VX还抑制检测的情形。
[0245]本实施方式的异物检测部38除了上述的使用带通滤波器的信号处理以外，还执行使用变化率限制器的信号处理。通过进行使用变化率限制器的信号处理，还能够使差分波形信息平滑化，去除能够判断为噪声的小的极大值，从而能够抽出与表示比较大的变化的极大值相应的图像信息的特征。由此，能够抽出由于附着于镜头11的异物的存在所产生的图像信息的特征。
[0246]根据进行使用带通滤波器的信号处理所得到的“基准波形信息的极大值”获取“基准值”。根据获取到的“基准值”定义用于判断异物的“规定的判断范围”。例如根据将“基准值”作为中间值而对基准值加上余量值得到的值和从基准值减去余量值得到的值来定义“规定的判断范围”。
[0247]本实施方式的异物检测部38根据在第一定时之后的一个或多个第二定时新生成的差分波形信息的极大值获取“评价对象值”，对鸟瞰视点图像上的位置相同的“评价对象值”与“基准值”的差分在“规定的判断范围”内的次数进行累加。该累加能够在预先定义的规定的评价时间内进行。异物检测部38在累加得到的次数变为规定值以上的情况下，判断为包含与导出该累加结果的评价对象值对应的像素的图像是附着于镜头11的异物。
[0248]能够根据边缘信息来进行上述的异物检测部38的处理。异物检测部38从在一个或多个第一定时由三维物体检测部37生成的包含边缘线的信息的边缘信息抽出第一极大值，并且根据该第一极大值获取基准边缘长度。在边缘线的信息中包含示出规定阈值以上的亮度差、具有规定的连续性的边缘的长度的信息(包含像素的个数)。另外，异物检测部38从在第一定时之后的一个或多个第二定时新生成的边缘信息抽出在鸟瞰视点图像上与第一极大值对应的第二极大值，并且根据该第二极大值获取评价边缘长度。然后，根据评价边缘长度与基准边缘长度的差分的经时变化检测镜头上是否附着有异物。“经时变化”的意思与基于差分波形信息的处理中的“经时变化”的意思相同。
[0249]具体地说，异物检测部38对在第一定时生成的包含边缘线的信息的边缘信息至少进行使用带通滤波器的信号处理，根据该信号处理后的“基准边缘信息的极大值”获取“基准边缘长度”。然后，根据在第一定时之后的一个或多个第二定时新生成的边缘信息的极大值获取“评价边缘长度”，根据鸟瞰视点图像上的位置相同的评价边缘长度与基准边缘长度的差分被判断为在“规定的判断范围”的次数，判断为包含与评价边缘长度对应的像素的图像是附着于镜头11的异物。该判断时间能够在预先定义的规定的评价时间内进行。能够利用低通滤波器作为带通滤波器的点及其作用、效果、能够与异物的检测状态相应地变更带通滤波器的截止、衰减频带的点及其作用、效果与上述的说明相同，因此引用其说明。基于边缘信息的异物检测处理中的“基准边缘信息”对应上述的“基准差分波形信息”，该“基准边缘长度”对应上述的“基准值”，该“评价边缘长度”对应上述的“评价对象值”，用于评价该“评价边缘长度”的“规定的判断范围”对应用于对使用上述的基准波形信息的处理中的“评价对象值”进行评价的“规定的判断范围”。为了避免重复的说明，根据上述对应关系适当地替换引用本说明书的说明。
[0250]另外，由于作为本来的检测对象的其它车辆VX等与本装置1相独立地运动，因此与其它车辆VX的特征相应的差分波形信息或边缘信息的极大值的值(大小)、位置(检测区域A1、A2中的位置)时时刻刻变化。但是，附着于镜头11的异物随本装置1 一起运动，因此与其它车辆VX存在于检测区域A1、A2的情况相比，具有与异物的特征相应的差分波形信息、边缘信息的极大值的值(大小)、位置(检测区域A1、A2中的位置)随着时间的经过变化小的倾向。
[0251]如果考虑到这样的附着于镜头11的异物CL的像的特征，在与第一定时生成的差分波形信息、边缘信息的极大值相同的位置(检测区域A1、A2中的相同的位置)处与“基准值”、“基准边缘长度”之差收容在判断范围以内的“评价对象值”、“评价边缘长度”被检测出规定次数以上的情况下、或者在规定的评价时间内被检测出规定频率以上的情况下，能够判断为该第二定时的差分波形信息、边缘信息的极大值不是与移动的三维物体的特征对应的极大值。换言之，能够判断为第二定时的差分波形信息、边缘信息的极大值不是如三维物体那样具有明确的轮廓(边缘)的特征而是随本装置1 一起移动的附着于镜头11的异物。因而，能够判断为上述被检测为异物的信息(差分波形信息、边缘信息)不是表示行驶于本车辆V的邻近车道的其它车辆VX的像的信息(差分波形信息、边缘信息)。
[0252]本实施方式的三维物体检测装置1从经由镜头11实际拍摄得到的图像信息抽出附着于该镜头11的异物特有的特征，根据所抽出的特征判断附着于该镜头11的异物的存在，因此能够准确地判断镜头11的状态。其结果，能够抑制将附着于镜头11上的异物错误检测为其它车辆vx，因此能够准确地检测其它车辆VX。
[0253]并且，在本实施方式中，在使用差分波形信息检测附着于镜头11的异物时，使用在差分图像上对示出规定的差分的像素数进行计数并进行频数分布化得到的值的极大值，但是能够取而代之地，抽出构成该极大值的像素中相邻的像素的像素值之差小于规定值的多个像素群，并且在异物的检测中使用这些像素群之间的反转点的个数的极大值。相邻的像素的像素值小于规定值的像素群是与检测对象的特征点(差分、边缘等)相应的亮(或暗)的部分，这些像素群之间是从亮反转为暗(或从暗反转为亮)的暗(或亮)的部分。像素值相差规定值以上的像素群的反转数与检测对象的特征点相应，因此能够以与使用示出该规定差分的像素数的计数结果的情况同样的精度进行同样的处理。
[0254]具体地说，在根据差分图像信息检测异物的情况下，三维物体检测33将不同时刻的鸟瞰视点图像的位置以鸟瞰视点进行对位，在该对位后的鸟瞰视点图像的差分图像上沿着在视点变换为鸟瞰视点图像时三维物体倾倒的方向抽出在差分图像上示出规定的差分的像素中的相邻的像素的像素值之差小于规定值的多个像素群。当将像素值相同的多个像素分组时，在分组得到的像素群彼此之间存在小于规定值的像素。也就是说，在分组得到的一个像素群与其它的像素群之间存在像素值低的像素，在此处亮暗反转。将各像素群之间设为反转点，对其个数进行计数并进行频数分布化，由此生成“反转波形信息”。该“反转波形信息”对应本实施方式的异物检测处理中的上述的“差分波形信息”。
[0255]本实施方式的异物检测部38将不同时刻的鸟瞰视点图像的位置以鸟瞰视点进行对位，在该对位后的鸟瞰视点图像的差分图像上沿着视点变换为鸟瞰视点图像时三维物体倾倒的方向抽出在差分图像上示出规定的差分的像素中的相邻的像素的像素值之差小于规定值的多个像素群，从三维物体检测部33获取对像素群之间的反转点进行计数并进行频数分布化所生成的反转波形信息。该反转波形信息也可以由异物检测部38根据从三维物体检测部33获取到的信息生成。
[0256]异物检测部38从在一个或多个第一定时生成的反转波形信息抽出第一极大值，并且根据该第一极大值获取基准反转数，从在第一定时之后的一个或多个第二定时新生成的反转波形信息抽出鸟瞰视点图像上与第一极大值对应的第二极大值。然后，根据该第二极大值获取评价反转数，根据该评价反转数与基准反转数的差分的经时变化检测镜头11上是否附着有异物。
[0257]异物检测部38抽出在第一定时生成的反转波形信息中所包含的第一极大值，获取用于确定该第一极大值的X值(位置或时间)和y值(反转次数值)，根据第一极大值(y值)获得基准值。基准反转数能够设为第一极大值(y值)以下的值、第一极大值(y值)的规定比例的值、从第一极大值(y值)减去规定值得到的值。另外，抽出在第二定时生成的反转波形信息中所包含的极大值，即抽出与第一极大值的X值(位置或时间)对应或者与X值的差为规定值以内的极大值作为第二极大值。根据该第二极大值(y值)获得评价反转数。评价反转数能够设为第二极大值(y值)以下的值、第二极大值(y值)的规定比例的值、从第二极大值(y值)减去规定值得到的值。该方法能够使用与基于第一极大值导出基准反转数的方法相同的方法。
[0258]异物检测部38随着时间的经过而获取这些评价反转数与基准反转数的差分，计算在各定时获取到的差分的经时变化。本实施方式的异物检测部38根据位置或时间对应的评价反转数和基准反转数的经时的变化量检测镜头上是否附着有异物。异物检测部38求出评价反转数与基准反转数的偏移(偏差)的程度作为随着时间的经过产生的经时变化。如果即使时间经过而评价反转数和基准反转数的变化量也小，则能够判断为在第一定时检测出的对象物和在第二定时检测出的对象物是相同的对象物、即是附着于镜头11的对象物(异物)。
[0259]异物检测部38为了评价随着时间的经过而评价反转数和基准反转数的变化，在判断为评价反转数与基准反转数的差分的经时变化的程度在规定的判断范围以内的情况下，判断为包含与评价反转数对应的像素的图像是附着于上述镜头的异物所产生的图像，检测出镜头11上附着有异物。具体地说，在评价反转数与基准反转数的差分为规定值以内的状态持续规定时间的情况下，检测出镜头11上附着有异物，在评价反转数与基准反转数的差分超过规定值、或者两者的差分为规定值以内的状态未持续规定时间的情况下，检测出镜头11上未附着有异物。
[0260]具体地说，异物检测部38对从三维物体检测部33获取到的第一定时的“反转波形信息”至少进行使用带通滤波器的信号处理，根据该信号处理后的“基准反转波形信息”的极大值获取“基准反转数”。而且，根据在第一定时之后的一个或多个第二定时新生成的“反转波形信息的极大值”获取“评价反转数”。然后，根据鸟瞰视点图像上的位置相同的“评价反转数”与“基准反转数”的差分被判断为在“规定的判断范围”内的次数，判断为包含与在第二定时生成的“评价反转数”对应的像素的图像是附着于镜头11的异物。使用反转波形信息检测附着于镜头11的异物的处理起到与上述的使用差分波形信息检测附着于镜头11的异物的处理同样的作用、效果，能够应用同样的变形方式。本处理例中的“反转波形信息”对应上述的“差分波形信息”，该“基准反转数”对应上述的“基准值”，该“评价反转数”对应上述的“评价对象值”，该“规定的判断范围”对应使用上述的基准波形信息的处理中的“规定的判断范围”。为了避免重复的说明，根据上述对应关系适当地替换引用本说明书的说明。
[0261]顺便提及，即使使用边缘信息也能够进行与上述的处理同样的处理。
[0262]在这种情况下，三维物体检测部33沿着在视点变换为鸟瞰视点图像时三维物体倾倒的方向抽出彼此相邻的图像区域的亮度差为阈值t以上的像素且具有连续性的边缘成分中的相邻的像素的亮度差小于规定值的多个像素群。当将像素值相同的多个像素分组时，在分组得到的像素群彼此之间存在亮度差小于规定值的像素。也就是说，在分组得到的一个像素群与其它的像素群之间存在亮度低的像素，在此处亮暗反转。将各像素群之间设为反转点，对其个数进行计数并进行频数分布化，由此生成“反转边缘信息”。该“反转边缘信息”对应本实施方式的异物检测处理中的上述“反转波形信息”。
[0263]然后，异物检测部38对由三维物体检测部33生成的第一定时的“反转边缘信息”至少进行使用带通滤波器的信号处理，根据该信号处理后的“基准反转边缘信息”的极大值获取“基准反转数”。而且，根据在第一定时之后的一个或多个第二定时新生成的“反转边缘信息的极大值”获取“评价反转数”，根据鸟瞰视点图像上的位置相同的“评价反转数”与“基准反转数”的差分被判断为在“规定的判断范围”内的判断次数，判断为包含与在第二定时生成的“评价反转数”对应的像素的图像是因附着于镜头11的异物而产生的图像。使用反转边缘信息检测附着于镜头11的异物的处理起到与上述的使用反转波形信息检测附着于镜头11的异物的处理同样的作用、效果，能够应用同样的变形方式。本处理例中的从“边缘信息”获得的“反转边缘信息”对应上述的从“差分波形信息”获得的“反转波形信息”，同样地，“基准反转边缘信息”中的“基准反转数”对应上述的“基准反转波形信息”中的“基准反转数”，该“反转边缘信息”中的“评价反转数”对应上述的“反转波形信息”中的“评价反转数”，用于评价该“反转边缘信息”中的“评价反转数”的“规定的判断范围”对应“规定的判断范围”。为了避免重复的说明，根据上述对应关系适当地替换引用本说明书的说明。
[0264]另外，异物检测部38根据“评价对象值”被判断为是为了判断其它车辆VX而设定的阈值α的规定比例以上的值的次数，判断为包含与在第二定时生成的差分波形信息的评价对象值对应的像素的图像是附着于镜头11的异物。即使在能够判断为“评价对象值”包含在判断范围以内的情况下，与极低的像素值对应的物体是异物的可能性也低。另外，在检测出为了判断其它车辆VX而设定的第一阈值α的规定比例以上的“评价对象值”的情况下，产生异物被错误检测为是其它车辆VX的可能性。因此，在本实施方式中，在“评价对象值”为第一阈值α的规定比例以上的情况下，促进异物检测处理以得出是异物的判断结果。由此，能够降低将异物错误判断为是其它车辆VX的概率。
[0265]同样地，异物检测部38根据“评价边缘长度”被判断为是为了判断其它车辆VX而设定的阈值Θ的规定比例以上的值的次数，判断为包含与在第二定时生成的边缘信息的评价边缘长度对应的像素的图像是附着于镜头11的异物。即使在能够判断为“评价边缘长度”包含在判断范围以内的情况下，与极低的评价边缘长度对应的物体是异物的可能性也低。另外，在检测出为了判断其它车辆VX而设定的阈值θ的规定比例以上的“评价边缘长度”的情况下，产生异物被错误检测为是其它车辆VX的可能性。因此，在本实施方式中，在“评价边缘长度”为阈值Θ的规定比例以上的情况下，促进异物检测处理得出是异物的判断结果。由此，能够降低将异物错误判断为是其它车辆VX的概率。
[0266]图28是表示使用边缘信息的情况下的异物检测处理的控制过程的流程图。
[0267]在步骤S141中，异物检测部38获取三维物体检测部37所生成的第一定时的“边缘信息”和/或“反转边缘信息”。在步骤S142中，异物检测部38对“边缘信息”、“反转边缘信息”进行使用低通滤波器的信号处理来获取“基准边缘信息”、“基准反转边缘信息”。图29Α中示出第一定时的“边缘信息”的模型以及进行低通滤波器处理得到的“基准边缘信息”。“边缘信息”是作为各三维物体倾倒的方向(区间(日文:匕'> ))的各检测位置(沿着与摄像机10分离的方向的检测区域Rl、R2中的位置)的沿着各三维物体倾倒的方向的边缘成分的量的边缘长度。该图所示的“边缘信息”的极大值的检测位置和“基准边缘信息”的极大值的检测位置相同。然后，在步骤S43中，异物检测部38获取“基准边缘信息”的极大值作为“基准边缘长度”。“基准边缘长度”可以是将极大值乘以规定系数得到的值，也可以是从极大值减去规定值得到的值。
[0268]在该步骤中，异物检测部38定义以“基准边缘长度”为中间值的“判断范围”。图29B示出“判断范围”的一例。同样地，异物检测部38获取“基准反转边缘信息”的极大值作为“基准反转数”，并定义以“基准反转数”作为中间值的“判断范围”。图30A中示出第一定时的“反转边缘信息”的模型、进行低通滤波器处理得到的“基准反转边缘信息”以及与基准反转边缘信息的极大值对应的“基准反转数”。另外，图30B中示出第二定时的“反转边缘信息”和“判断范围”。
[0269]并行地，在步骤S251中，异物检测部38获取第一定时之后的第二定时的边缘信息、反转边缘信息。第二定时是第一定时之后的一个或多个定时。第二定时能够设定在被设定为进行异物检测所需要的时间的“评价时间”内。图30B中用虚线表示第二定时的边缘信息、反转边缘信息。在步骤S252中，异物检测部38获取边缘信息中所包含的边缘长度的极大值a、b作为“评价边缘长度”。
[0270]进入步骤S144，异物检测部38判断第二定时的“评价边缘长度” a、b是否在判断范围以内。在图30B所示的例子中，与右侧的峰值对应的“评价边缘长度” a处于规定范围夕卜，因此是异物的可能性低，是三维物体、其它车辆VX的可能性高。另一方面，与左侧的峰值对应的“评价边缘长度”b处于规定范围以内，因此能够判断为是异物的可能性高。如果“评价边缘长度”a、b处于判断范围以内，则视为是异物的可能性高而进入步骤S145，累加(加上)第一得分G。另一方面，如果处于判断范围外，在视为是异物的可能性低而进入步骤S146，累减(减去)第二得分D。
[0271]在本实施方式中，将第一得分的绝对值设定得高于第二得分的绝对值。这样，在“评价边缘长度”处于规定范围以内时加上大的值，在“评价边缘长度”处于规定范围外时减去小的值，由此对判断为“评价边缘长度”处于规定范围以内的事实进行大的加权。本实施方式中的其它车辆VX的检测结果容易受到太阳、路灯、后车的车头灯等的光的影响。即使在对检测结果产生影响的亮度高的光入射到镜头11而判断为“评价边缘长度”处于“规定范围”外的情况下，也无法否定异物附着于镜头11的可能性。因此，即使判断为“评价边缘长度”处于“规定范围”外，也会抑制对其它车辆VX的检测结果产生的影响，因此将要减去的值设为相对小的值。其结果，能够准确地判断附着于镜头11的异物的存在。
[0272]第一得分的绝对值G与第二得分的绝对值D的关系不特别地限定，能够通过实验等适当地设定。虽然是一例，但是能够以G(8?12):D(1?3)的程度，例如相对于G = 10而设定为D= 1。该第一得分的绝对值G与第二得分的绝对值D的关系能够根据时刻、行驶场所、天气等环境适当地设定。
[0273]在接下来的步骤S147中，判断基于在步骤S151中获取到的第二定时的反转边缘信息的反转评价数是否处于判断范围以内。判断方法与步骤S144相同，因此适当地引用说明。如果“评价反转数”a'、b'处于判断范围以内，在视为是异物的可能性高而进入步骤S148，累加(加上)第一得分G。另一方面，如果处于判断范围外，在视为是异物的可能性低而进入步骤S149，累减(减去)第二得分D。
[0274]在接下来的步骤S148中，异物检测部38判断在步骤S152中获取到的“评价边缘长度”是否为为了判断其它车辆VX而设定的阈值θ的规定比例以上的值，在“评价边缘长度”为阈值Θ的规定比例以上的情况下，进入步骤S150，累加(加上)第一得分G。另外，如果处于判断范围外，则进入步骤S151，累减(减去)第二得分D。
[0275]此外，步骤S145、步骤S148、步骤S150的第一得分G、步骤S146、步骤S149、步骤S151的第二得分D可以是相同的值，也可以是不同的值。在本实施方式中，将满足与边缘长度有关的步骤S144的条件以及与反转次数有关的步骤S147的条件这两个条件的步骤S148的第一得分G设定得高于步骤S145的第一得分G。
[0276]在步骤S152中，异物检测部38对计数值进行合计。在步骤S153中，在合计得到的计数值为预先设定的规定值以上的情况下，进入步骤S154，判断为镜头11上附着有异物，另一方面，在合计得到的计数值小于预先设定的规定值的情况下，进入步骤S155，判断为镜头11上没有附着异物。判断结果被送出到三维物体判断部34和控制部39。
[0277]图31是表示使用差分波形信息判断镜头11上是否附着有异物的控制过程的流程图。由于图31的处理与图28的处理相同，因此适当引用关于图28的控制过程的说明，省略重复说明。
[0278]在由异物检测部38判断为“检测出附着于镜头的异物”的情况下，本实施方式的控制部39生成控制命令使得抑制基于摄像图像检测的三维物体被判断为是其它车辆VX。本实施方式的控制部39在由异物检测部38判断为检测出附着于镜头11的异物的情况下，进一步缩小用于判断是否为其它车辆VX的“移动速度的设定范围”，进一步抑制三维物体被判断为是其它车辆VX。
[0279]在检测出降雨的情况下，不论镜头11上实际是否附着有异物，控制部39都缩小“移动速度的设定范围”使得不容易检测三维物体是其它车辆VX，在检测出镜头11上实际附着有异物的情况下，进一步缩小“移动速度的设定范围”，因此能够执行与状况相应的适当的检测抑制。其结果，能够提高对其它车辆VX的检测精度。
[0280]另外，9在由异物检测部38判断为检测出附着于镜头11的异物的情况下，本实施方式的控制部3将判断三维物体时的阈值即“移动速度属于规定范围的三维物体在规定时间以内被检测出的规定次数”进一步变更为高的值，进一步抑制三维物体被判断为是其它车辆VX。
[0281]在检测出降雨的情况下，不论镜头11上实际是否附着有异物，控制部39都缩小“移动速度属于规定范围的三维物体在规定时间以内被检测出的规定次数”使得不容易检测三维物体是其它车辆VX，在检测出镜头11上实际附着有异物的情况下，控制部39进一步提高“规定次数”，因此能够执行与状况相应的适当的检测抑制。其结果，能够提高对其它车辆VX的检测精度。
[0282]除此之外，在由异物检测部38判断为检测出附着于镜头11的异物的情况下，本实施方式的控制部39调节在三维物体的检测处理中使用的各阈值，进一步抑制三维物体被判断为是其它车辆VX。各阈值包括在基于差分波形信息判断三维物体时使用的第一阈值α、生成边缘信息时的阈值Θ、在基于边缘信息判断三维物体时使用的第二阈值β。
[0283]39在镜头11上附着有异物的情况下，与镜头11上没有附着异物的情况相比，控制部为了进一步抑制三维物体被判断为是其它车辆VX而调整阈值。具体地说，将如图32Α所示那样“降雨量”越多则将“移动速度的设定范围”的下限值设定得越高的关系转换成使阈值更高。同样地，将如图32Β所示那样“降雨量”越多则将“移动速度属于规定范围的三维物体在规定时间以内被检测出的规定次数”设定得越高的关系转换成使阈值更高。
[0284]下面，根据图33的流程图说明本实施方式的三维物体检测装置1的动作。图33所示的控制过程与图21A所示的控制过程基本相同。在步骤S41、S42中，降雨状态检测部41检测出是降雨状态后，进入步骤S51，判断移动速度是否为负值。然后，在步骤S61中，异物检测部38根据由三维物体检测部37生成的左右的检测区域A1、A2的差分波形信息或由三维物体检测部37生成的左右的检测区域A1、A2的边缘信息检测“镜头11上是否附着有异物”。
[0285]在由异物检测单元39判断为“镜头11上附着有异物”的情况下，进入步骤S62。在步骤S62中，控制部39生成用于抑制根据摄像图像所检测的三维物体被判断为是其它车辆VX的上述的控制命令。具体地说，控制部39生成用于进一步缩小图21A的步骤S52的“移动速度的设定范围”、使图21C的步骤S53的“规定次数”为更高的值、将图22的步骤S54的各阈值设定得高或降低输出值、将图23的步骤S55的掩模区域扩大的控制命令。之后进行步骤S43以后的处理。步骤S43以后的处理与图21A等的处理相同，因此引用说明，并省略说明。
[0286]如以上那样构成并发挥作用的本发明的本实施方式的三维物体检测装置1起到下面的效果。
[0287](1)根据本实施方式的三维物体检测装置1，能够在检测出降雨状态的情况下防止根据由于附着于镜头11的雨滴的存在、路面上形成的水膜的反射而容易错误计算出的三维物体的相对速度将不是其它车辆VX的三维物体错误判断为是其它车辆VX。其结果，能够抑制将附着于镜头11的异物错误检测为其它车辆VX、将因附着于镜头11的水滴而变形的不是车辆的三维物体的像错误检测为其它车辆VX，因此能够准确地检测其它车辆VX。另夕卜，本实施方式的三维物体检测装置1由于通过三维物体的相对速度来确保检测精度，因此不会由于降雨而中断检测处理，因此不会产生不检测的时间，因此能够维持高的检测精度。无论在使用差分图像信息检测其它车辆VX的情况下还是在使用边缘信息检测其它车辆VX的情况下也同样起到该作用和效果。
[0288](2)根据本实施方式的三维物体检测装置1，只在降雨时容易错误检测相对速度的状况中抑制对其它车辆VX的检测处理，因此能够确保本来的对其它车辆VX的检测的动作精度并抑制错误检测。另外，三维物体移动到后方的状况产生于本车辆V超越其它车辆VX时等，是本车辆V的驾驶员容易掌握状况的场面。通过限定在三维物体的移动速度为负值的情况下进行对其它车辆VX的检测抑制处理，能够抑制由于抑制其它车辆VX的检测动作而导致问题的发生。
[0289](3)根据本实施方式的三维物体检测装置1，随着降雨状态检测部41检测出的降雨量变多，将“移动速度的设定范围”设定得更窄，抑制三维物体被判断为是其它车辆VX。由于有降雨量越多则三维物体的移动速度的精度越低的倾向，因此通过降雨量越多则将“移动速度的设定范围”设定得更窄以抑制对其它车辆VX的检测，由此能够提高对其它车辆VX的检测精度。
[0290](4)根据本实施方式的三维物体检测装置1，在容易错误检测相对速度的降雨时，除了缩小用于判断三维物体是否为其它车辆VX的“规定范围的移动速度”以外，还通过将用于判断规定范围内的移动速度的三维物体被检测出的频度的“规定次数”变更为高的值，能够提高三维物体是否为其它车辆VX的判断的精度。
[0291](5)根据本实施方式的三维物体检测装置1，在降雨时检测区域A1、A2中的车辆后方侧的一部分区域中的三维物体的移动速度的精度有变低的倾向。在本实施方式中，通过在降雨时抑制基于与车辆后方侧的一部分区域对应的图像检测三维物体和/或其它车辆VX，能够维持对其它车辆VX的检测精度。
[0292](6)根据本实施方式的三维物体检测装置1，在检测出降雨状态的情况下，通过将第一阈值α变高，能够调整检测灵敏度使得不容易检测出行驶于本车辆V的行驶车道附近的其它车辆VX，因此在降雨时也能够防止将其它车辆VX以外的物体的像错误检测为行驶于相邻的车道的其它车辆VX。
[0293](7)根据本实施方式的三维物体检测装置1，在检测出是降雨状态的情况下，通过降低生成差分波形信息时的输出值，能够调整检测灵敏度使得不容易检测出行驶于本车辆V的行驶车道附近的其它车辆VX，因此在降雨时也能够防止将其它车辆VX以外的物体的像错误检测为其它车辆VX。
[0294](8)根据本实施方式的三维物体检测装置1，在检测出是降雨状态的情况下，通过将生成边缘信息时的判断的阈值变高，能够调整检测灵敏度使得不容易检测出行驶于本车辆V的行驶车道附近的其它车辆VX，因此在降雨时也能够防止将其它车辆VX以外的物体的像错误检测为行驶于相邻的车道的其它车辆VX。
[0295](9)根据本实施方式的三维物体检测装置1，在检测出是降雨状态的情况下，通过降低生成边缘信息时的输出值，能够调整检测灵敏度使得不容易检测出行驶于本车辆V的行驶车道附近的其它车辆VX，因此在降雨时也能够防止将其它车辆VX以外的物体的像错误检测为行驶于相邻的车道的其它车辆VX。
[0296](10)根据本实施方式的三维物体检测装置1，在检测出降雨的情况下，不论镜头11上实际是否附着有异物，都缩小“移动速度的设定范围”或“规定范围的移动速度”使得不容易将三维物体检测为是其它车辆VX，除此之外，在检测出镜头11上附着有异物的情况下，缩小“移动速度的设定范围”或者进一步提高“规定次数”，因此能够执行与状况相应的适当的检测抑制。其结果，能够提高对其它车辆VX的检测精度。
[0297]此外，本实施方式的三维物体检测装置1无论是在通过基于差分波形信息的处理检测其它车辆VX的情况下还是在通过基于边缘信息的处理检测其它车辆VX的情况下，都起到同样的作用和效果。
[0298]上述摄像机10相当于本发明所涉及的摄像单元，镜头11相当于本发明所涉及的镜头，上述视点变换部31相当于本发明所涉及的图像变换单元，上述对位部32和三维物体检测部33相当于本发明所涉及的三维物体检测单元，上述亮度差计算部35、边缘线检测部36以及三维物体检测部37相当于本发明所涉及的三维物体检测单元，上述三维物体判断部34相当于三维物体判断单元，上述异物检测部38相当于异物检测单元，降雨状态检测部41相当于降雨状态检测单元，上述控制部39相当于控制单元。
[0299]此外，在本说明书中，对在基于差分波形信息检测三维物体时基于差分波形信息检测附着于镜头11的异物的例子以及在基于边缘信息检测三维物体时基于边缘信息检测附着于镜头11的例子进行说明，但是也可以在基于差分波形信息检测三维物体时基于边缘信息检测附着于镜头11的异物，也可以在基于边缘信息检测三维物体时基于差分波形信息检测附着于镜头11的异物。
[0300]附图标记说曰月
[0301]1:三维物体检测装置；10:摄像机；20:车速传感器；30:计算机；31:视点变换部；32:对位部；33、37:三维物体检测部；34:三维物体判断部；35:亮度差计算部；36:边缘检测部；38:异物检测部；39:控制部；40:拖影检测部；41:降雨状态检测部；50:雨滴传感器;60:雨刷；70:导航装置；a:视角;A1、A2:检测区域；CP:交点；DP:差分像素;DWt、DW/:差分波形；DWtl? DWm、DWm+k?DWtn:小区域；L1、L2:触地线；La、Lb:三维物体倾倒的方向上的线；P:摄像图像；PBt:鸟瞰视点图像；PD 1:差分图像;MP:掩模图像；S:拖影；SP:拖影图像；SBt:拖影鸟瞰视点图像；V:本车辆；VX:其它车辆。
【权利要求】
1.一种三维物体检测装置，其具备: 摄像单元，其拍摄车辆后方； 三维物体检测单元，其基于由上述摄像单元获得的图像，检测上述车辆后方的三维物体，计算三维物体的移动速度； 降雨状态检测单元，其检测包括降雨或由于降雨而在路面上形成有水膜的情况在内的降雨状态；以及 三维物体判断单元，其在由上述三维物体检测单元检测出的三维物体的移动速度属于预先设定的设定范围的情况下，判断为上述三维物体是其它车辆， 还具备控制单元，该控制单元在上述降雨状态检测单元检测出上述降雨状态的情况下，将上述移动速度的设定范围变窄。
2.根据权利要求1所述的三维物体检测装置，其特征在于， 还具备图像变换单元，该图像变换单元将由上述摄像单元获得的图像视点变换为鸟瞰视点图像， 上述三维物体检测单元将由上述图像变换单元获得的不同时刻的鸟瞰视点图像的位置以鸟瞰视点进行对位，在该对位后的鸟瞰视点图像的差分图像上沿着视点变换为上述鸟瞰视点图像时三维物体倾倒的方向对在上述差分图像上示出规定的差分的像素数进行计数并进行频数分布化，由此生成差分波形信息，根据该差分波形信息检测在上述车辆后方的右侧和左侧分别设定的检测区域中存在的三维物体，并且根据上述差分波形信息的波形的时间变化计算三维物体的移动速度。
3.根据权利要求1所述的三维物体检测装置，其特征在于， 还具备图像变换单元，该图像变换单元将由上述摄像单元获得的图像视点变换为鸟瞰视点图像， 上述三维物体检测单元生成边缘信息，根据上述边缘信息检测在上述车辆后方的右侧和左侧分别设定的检测区域中存在的三维物体，并且根据上述边缘信息的时间变化计算三维物体的移动速度，其中，该边缘信息包含根据在由上述图像变换单元获得的鸟瞰视点图像中沿着视点变换为鸟瞰视点图像时三维物体倾倒的方向相邻的图像区域的亮度差为规定阈值t以上并具有连续性的边缘成分检测出的边缘线的信息。
4.根据权利要求1?3中的任一项所述的三维物体检测装置，其特征在于， 在上述降雨状态检测单元检测出上述降雨状态且由上述三维物体检测单元计算出的三维物体的移动速度为负值的情况下，上述控制单元将上述移动速度的设定范围变窄，从而抑制上述三维物体被判断为是上述其它车辆。
5.根据权利要求1?4中的任一项所述的三维物体检测装置，其特征在于， 上述降雨状态检测单元还检测降雨量， 由上述降雨状态检测单元检测出的降雨量越多则上述控制单元将上述移动速度的设定范围设定得越窄，从而抑制上述三维物体被判断为是上述其它车辆。
6.根据权利要求1?5中的任一项所述的三维物体检测装置，其特征在于， 在规定时间以内以规定次数以上检测出属于上述移动速度的设定范围的三维物体的情况下，三维物体判断单元判断为上述三维物体是其它车辆， 在由上述降雨状态检测单元检测出上述降雨状态的情况下，上述控制单元将作为判断上述三维物体时的阈值的上述规定次数变更为高的值，从而抑制上述三维物体被判断为是上述其它车辆。
7.根据权利要求2、3、引用权利要求2的权利要求4?6中的任一项、或者引用权利要求3的权利要求4?6中的任一项所述的三维物体检测装置，其特征在于， 在由上述降雨状态检测单元检测出上述降雨状态的情况下，上述控制单元针对上述检测区域中的上述车辆后方侧的一部分区域抑制上述三维物体被判断为是上述其它车辆。
8.根据权利要求2、3、引用权利要求2的权利要求4?6中的任一项、或者引用权利要求3的权利要求4?6中的任一项所述的三维物体检测装置，其特征在于， 在由上述降雨状态检测单元检测出上述降雨状态的情况下，上述控制单元遮蔽上述检测区域中的上述车辆后方侧的一部分区域，从而抑制上述三维物体被判断为是上述其它车辆。
9.根据权利要求2或者引用权利要求2的权利要求4?8中的任一项所述的三维物体检测装置，其特征在于， 上述摄像单元具备使车辆后方的影像成像的镜头， 上述三维物体检测装置还具备异物检测单元，该异物检测单元从由上述三维物体检测单元在一个或多个第一定时生成的差分波形信息抽出第一极大值，并且根据所抽出的该第一极大值获取基准值，从在上述第一定时之后的一个或多个第二定时新生成的差分波形信息抽出在上述鸟瞰视点图像上与上述第一极大值对应的第二极大值，并且根据该第二极大值获取评价对象值，根据上述评价对象值与上述基准值的差分的经时变化，检测上述镜头上是否附着有异物， 在上述异物检测单元检测出附着于上述镜头的异物的情况下，上述控制单元使上述移动速度的设定范围更窄，从而进一步抑制上述三维物体被判断为是上述其它车辆。
10.根据权利要求3或者引用权利要求3的权利要求4?8中的任一项所述的三维物体检测装置，其特征在于， 上述摄像单元具备使车辆后方的影像成像的镜头， 上述三维物体检测装置还具备异物检测单元，该异物检测单元从在一个或多个第一定时由上述三维物体检测单元生成的、包含上述边缘线的信息的边缘信息抽出第一极大值，并且根据该第一极大值获取基准边缘长度，从在上述第一定时之后的一个或多个第二定时新生成的边缘信息抽出在上述鸟瞰视点图像上与上述第一极大值对应的第二极大值，并且根据该第二极大值获取评价边缘长度，根据上述评价边缘长度与上述基准边缘长度的差分的经时变化，检测上述镜头上是否附着有异物， 在上述异物检测单元检测出附着于上述镜头的异物的情况下，上述控制单元使上述移动速度的设定范围更窄，从而进一步抑制上述三维物体被判断为是上述其它车辆。
11.根据权利要求2或者引用权利要求2的权利要求4?9中的任一项所述的三维物体检测装置，其特征在于， 上述三维物体检测单元根据上述差分波形信息和第一阈值α检测三维物体， 在由上述降雨状态检测单元检测出上述降雨状态的情况下，上述控制单元向上述三维物体检测单元输出将上述第一阈值α变高使得不容易检测上述三维物体的控制命令，来抑制上述三维物体被判断为是上述其它车辆。
12.根据权利要求2或者引用权利要求2的权利要求4?9中的任一项所述的三维物体检测装置，其特征在于， 上述三维物体检测单元根据上述差分波形信息和第一阈值α检测三维物体， 在由上述降雨状态检测单元检测出上述降雨状态的情况下，上述控制单元生成使对在上述鸟瞰视点图像的差分图像上示出规定的差分的像素数进行计数并进行频数分布化得到的值降低的控制命令，向上述三维物体检测单元输出该控制命令，来抑制上述三维物体被判断为是上述其它车辆。
13.根据权利要求3、引用权利要求3的权利要求4?8中的任一项、或者权利要求10所述的三维物体检测装置，其特征在于， 上述三维物体检测单元根据上述边缘信息和第二阈值β检测三维物体， 在由上述降雨状态检测单元检测出上述降雨状态的情况下，上述控制单元向上述三维物体检测单元输出将上述第二阈值β变高使得不容易检测上述三维物体的控制命令，来抑制上述三维物体被判断为是上述其它车辆。
14.根据权利要求3、引用权利要求3的权利要求4?8中的任一项、或者权利要求10所述的三维物体检测装置，其特征在于， 上述三维物体检测单元根据上述边缘信息和第二阈值β检测三维物体， 在由上述降雨状态检测单元检测出上述降雨状态的情况下，上述控制单元向上述三维物体检测单元输出将所检测出的上述边缘信息的量输出得低的控制命令，来抑制上述三维物体被判断为是上述其它车辆。
15.一种三维物体检测方法，包括以下步骤: 将由摄像单元获得的图像视点变换为鸟瞰视点图像，该摄像单元被搭载于车辆，拍摄包括在车辆后方的右侧和左侧分别设定的检测区域的区域； 将所获得的不同时刻的上述鸟瞰视点图像的位置以鸟瞰视点进行对位，在该对位后的鸟瞰视点图像的差分图像上，沿着在视点变换为上述鸟瞰视点图像时三维物体倾倒的方向对在上述差分图像上示出规定的差分的像素数进行计数并进行频数分布化，由此生成差分波形信息，根据该差分波形信息检测在上述车辆后方的右侧和左侧分别设定的检测区域中存在的三维物体，并且根据上述差分波形信息的波形的时间变化计算三维物体的移动速度； 在所检测出的上述三维物体的移动速度属于预先设定的设定范围的情况下，判断为上述三维物体是其它车辆； 检测包括降雨或由于降雨而在路面上形成有水膜的情况在内的降雨状态；以及 在检测出上述降雨状态的情况下，将上述移动速度的设定范围变窄。
16.一种三维物体检测方法，包括以下步骤: 将由摄像单元获得的图像视点变换为鸟瞰视点图像，该摄像单元被搭载于车辆，拍摄包括在车辆后方的右侧和左侧分别设定的检测区域的区域； 生成边缘信息，根据上述边缘信息检测在上述车辆后方的右侧和左侧分别设定的检测区域中存在的三维物体，并且根据上述边缘信息的时间变化计算三维物体的移动速度，其中，该边缘信息包含根据在所获得的上述鸟瞰视点图像中沿着视点变换为鸟瞰视点图像时三维物体倾倒的方向相邻的图像区域的亮度差为规定阈值t以上并具有连续性的边缘成分检测出的边缘线的信息； 在所检测出的上述三维物体的移动速度属于预先设定的设定范围的情况下，判断为上述三维物体是其它车辆； 检测包括降雨或由于降雨而在路面上形成有水膜的情况在内的降雨状态；以及 在检测出上述降雨状态的情况下，将上述移动速度的设定范围变窄。
【文档编号】H04N7/18GK104508727SQ201380040034
【公开日】2015年4月8日 申请日期:2013年7月24日 优先权日:2012年7月27日
【发明者】早川泰久, 深田修, 笈木大介, 西田雪德 申请人:日产自动车株式会社