水滴检测装置以及使用水滴检测装置的三维物体检测装置制造方法

水滴检测装置以及使用水滴检测装置的三维物体检测装置制造方法
【专利摘要】一种三维物体检测装置，具备：图像变换单元(31)，其将由摄像单元(10)获得的图像视点变换为鸟瞰视点图像；水滴检测单元(40)，其检测附着于摄影光学系统的水滴；第1三维物体检测单元(33)，其基于不同时刻的鸟瞰视点图像的差分图像来检测三维物体；第1三维物体判断单元(38)，其判断由上述第1三维物体检测单元检测出的三维物体是否为其它车辆；以及控制单元(39)，其根据由上述水滴检测单元检测出的水滴的附着状态来使水滴去除单元(41)进行动作。
【专利说明】水滴检测装置以及使用水滴检测装置的三维物体检测装置

【技术领域】
[0001]本发明涉及一种水滴检测装置以及使用水滴检测装置的三维物体检测装置。

【背景技术】
[0002]已知有如下技术:在使用(:0)摄像机的车载用监视装置中具备镜头和摄像机部的车载用监视装置，该镜头能够采用用于拍摄附着于车辆的雨滴的近距离用的第一焦点距离和用于拍摄车辆的周边的远距离用的第二焦点距离，该摄像机部能够将镜头的焦点距离在第一焦点距离和第二焦点距离之间切换，上述车载用监视装置在检测有无雨滴的情况下切换为第一焦点距离，在监视车辆的周边的情况下切换为第二焦点距离(参照专利文献0。
[0003]专利文献1:日本特开2005-225250号公报


【发明内容】

[0004]发明要解决的问题
[0005]然而，如上述以往技术那样为了检测雨滴需要切换镜头的焦点距离，因此存在切换过程中无法进行物体的检测的问题。
[0006]本发明要解决的问题在于，提供一种不会产生不检测期间的能够检测水滴的水滴检测装置以及使用水滴检测装置的三维物体检测装置。
[0007]用于解决问题的方案
[0008]本发明检测摄像单元的摄影光学系统上是否附着有水滴，在附着有水滴的情况下根据其状态来控制车辆，由此解决上述问题。
[0009]发明的效果
[0010]根据本发明，根据水滴的附着状况来控制车辆，例如在水滴的附着多的情况下去除该水滴、或者抑制检测出三维物体或其它车辆，由此能够防止因水滴导致的错误检测地检测出三维物体。

【专利附图】

【附图说明】
[0011]图1是应用了本发明的三维物体检测装置的一个实施方式所涉及的车辆的概要结构图。
[0012]图2是表示图1的车辆的行驶状态的俯视图(基于差分波形信息的三维物体检测\
[0013]图3是表示图1的计算机的第一实施方式的详细内容的框图。
[0014]图4是用于说明图3的对位部的处理的概要的图，(幻是表示车辆的移动状态的俯视图，(幻是表示对位的概要的图像。
[0015]图5是表示图3的第1三维物体检测部生成差分波形的情形的概要图。
[0016]图6是表示通过图3的第1三维物体检测部分割出的小区域的图。
[0017]图7是表示由图3的第1三维物体检测部获得的直方图的一例的图。
[0018]图8是表示图3的第1三维物体检测部的加权的图。
[0019]图9是表示图3的拖影检测部的处理以及基于该处理计算差分波形的处理的图。
[0020]图10是表示由图3的第1三维物体检测部获得的直方图的另一例的图。
[0021]图11是表示由图3的视点变换部、对位部、拖影检测部以及第1三维物体检测部执行的利用差分波形信息的三维物体检测方法的流程图(之一)。
[0022]图12是表示由图3的视点变换部、对位部、拖影检测部以及第1三维物体检测部执行的利用差分波形信息的三维物体检测方法的流程图(之二)。
[0023]图13是表示图1的车辆的行驶状态的图(基于边缘信息的三维物体检测)，(幻是表示检测区域等的位置关系的俯视图，(幻是表示实际空间中的检测区域等的位置关系的立体图。
[0024]图14是用于说明图3的亮度差计算部的动作的图，是表示鸟瞰视点图像中的关注线、参照线、关注点以及参照点的位置关系的图、化)是表示实际空间中的关注线、参照线、关注点以及参照点的位置关系的图。
[0025]图15是用于说明图3的亮度差计算部的详细动作的图，是表示鸟瞰视点图像中的检测区域的图，(幻是表示关注线、参照线、关注点以及参照点在鸟瞰视点图像中的位置关系的图。
[0026]图16是表示边缘线和边缘线上的亮度分布的图，(幻是表示在检测区域存在三维物体(车辆)时的亮度分布的图，(幻是表示在检测区域不存在三维物体时的亮度分布的图。
[0027]图17是表示由图3的视点变换部、亮度差计算部、边缘线检测部以及第2三维物体检测部执行的利用边缘信息的三维物体检测方法的流程图(之一)。
[0028]图18是表示由图3的视点变换部、亮度差计算部、边缘线检测部以及第2三维物体检测部执行的利用边缘信息的三维物体检测方法的流程图(之二)。
[0029]图19是表示用于说明边缘检测动作的图像例的图。
[0030]图20是表示图3的三维物体判断部和控制部的控制过程的流程图。
[0031]图21是吹风停止时间与水滴个数的关系的控制图表的一例。
[0032]图22是表示根据水滴个数设定的吹风启动和停止的时序图的一例。
[0033]图23是表示图3的水滴去除装置的框图。
[0034]图24八是表示图3的摄像机和水滴去除装置的立体图。
[0035]图248是图24八的248箭头方向视图。
[0036]图25是表示图24八所示的摄像机和水滴去除装置的局部剖切立体图。
[0037]图26是表示图20的水滴检测处理中的关注点和参照点的设定例的图。
[0038]图27是表示图20的水滴检测处理(步骤341)的子例程的流程图。
[0039]图28是用于说明图3的对位部的处理的另一例的图(之一)。
[0040]图29是用于说明图3的对位部的处理的另一例的图(之二)。
[0041]图30是用于说明图3的对位部的处理的另一例的图(之三)。
[0042]图31是表示图1的计算机的第二实施方式的详细内容的框图。
[0043]图32是表示图31的三维物体判断部的控制过程的流程图。
[0044]图33是表不第一阈值0和第二阈值0与水滴个数的关系的控制图表的一例。
[0045]图34是表示第一阈值0和第二阈值0与水滴个数的关系的控制图表的另一例。
[0046]图35是表示第一阈值0和第二阈值0与水滴个数的关系的控制图表的另一例。
[0047]图36是表示第一阈值0和第二阈值0与水滴个数的关系的控制图表的另一例。

【具体实施方式】
[0048]图1是应用了本发明的三维物体检测装置1的一个实施方式所涉及的车辆的概要结构图，本例的三维物体检测装置1的目的在于在本车辆^进行车道变更时检测有可能接触的其它车辆，并计算移动距离。因此，以下说明的一例表示将三维物体检测装置1搭载于车辆V，将后车作为检测对象的三维物体的例子。如该图所示，本例的三维物体检测装置1具备摄像机10、车速传感器20、计算机30以及水滴检测部40。
[0049]摄像机10如图1所示那样在车辆V的后方的高度卜的地方以光轴相对于水平向下形成角度9的方式安装于车辆V。摄像机10从该位置拍摄车辆V的周围环境中的规定区域。车速传感器20用于检测车辆V的行驶速度，根据例如由检测车轮转速的车轮速传感器检测出的车轮速来计算车速度。计算机30检测车辆后方的三维物体，并且在本例中关于该三维物体计算移动距离和移动速度。水滴检测部40用于检测是否存在附着于摄像机10的镜头等摄影光学系统的雨滴等水滴，在后记述其详细内容。
[0050]图2是表示图1的车辆V的行驶状态的俯视图。如该图所示，摄像机10以规定的视角3拍摄车辆后方侧。此时，摄像机10的视角3被设定为除了能够拍摄到本车辆V所行驶的车道以外还能够拍摄到其左右的车道的视角。下面，参照图3?图30来说明本发明所涉及的三维物体检测装置的第一实施方式，同样地参照图31?图36来说明第二实施方式。
[0051]〈第一实施方式〉
[0052]图3是表示图1的计算机30的详细内容的框图。此外，在图3中，为了明确连接关系，还图示了摄像机10、车速传感器20、水滴检测部40以及水滴去除装置41。
[0053]如图3所示，计算机30具备视点变换部31、对位部32、第1三维物体检测部33、拖影检测部34、亮度差计算部35、边缘线检测部36、第2三维物体检测部37、三维物体判断部38以及控制部39。其中，视点变换部31、拖影检测部34、对位部32以及第1三维物体检测部33是与后述的利用差分波形信息的三维物体的检测模块八有关的结构部，视点变换部31、亮度差计算部35、边缘线检测部36以及第2三维物体检测部37是与后述的利用边缘信息的三维物体的检测模块8有关的结构部。下面，首先说明各个结构部。
[0054]?利用差分波形信息检测三维物体?
[0055]本实施方式的三维物体检测装置1根据由拍摄车辆后方的单眼的摄像机1获得的图像信息来检测存在于车辆后方的右侧检测区域或左侧检测区域的三维物体。
[0056]视点变换部31输入由摄像机10拍摄获得的规定区域的摄像图像数据，将所输入的摄像图像数据视点变换为鸟瞰视点状态的鸟瞰视点图像数据。鸟瞰视点状态是指从上空、例如从铅垂向下俯视的虚拟摄像机的视点观看的状态。能够例如日本特开2008-219063号公报所记载的那样执行该视点变换。将摄像图像数据视点变换为鸟瞰视点图像数据是因为基于如下原理能够识别平面物体和三维物体，该原理为三维物体所特有的铅垂边缘通过视点变换为鸟瞰视点图像数据而被变换为通过特定的定点的直线群。此外，在后述的利用边缘信息检测三维物体过程中也使用视点变换部31的图像变换处理的结果。
[0057]对位部32依次输入由视点变换部31的视点变换获得的鸟瞰视点图像数据，并对所输入的不同时刻的鸟瞰视点图像数据的位置进行对位。图4是用于说明对位部32的处理概要的图，仏)是表示车辆^的移动状态的俯视图，(幻是表示对位的概要的图像。
[0058]如图4的(幻所示，设为当前时刻的本车辆V位于VI，前一时刻的本车辆V位于乂2。另外，设为其它车辆V位于本车辆V的后侧方向并与本车辆V处于并列行驶状态，当前时刻的其它车辆V位于V〗，前一时刻的其它车辆V位于VI并且，设为本车辆V在一时刻移动了距离1此外，前一时刻可以是从当前时刻起相隔预先决定时间(例如一个控制周期)的过去时刻，也可以是相隔任意时间的过去时刻。
[0059]在这样的状态中，当前时刻的鸟瞰视点图像？氏如图4的㈦所示那样。在该鸟瞰视点图像？氏中，描绘在路面上的白线为矩形状，是比较准确地以俯视观察所形成的状态，但是其它车辆V〗发生了倾倒。另外，前一时刻的鸟瞰视点图像？也同样地，描绘在路面上的白线为矩形状，是比较准确地以俯视观察所形成的状态，但是其它车辆料发生了倾倒。如已经记述的那样，是因为三维物体的铅垂边缘(除了严格意义上的铅垂边缘以外还包含在三维空间中从路面立起的边缘)通过视点变换为鸟瞰视点图像数据的处理而表现为沿着倾倒方向的直线群，与此相对地路面上的平面图像不包含铅垂边缘，因此即使进行视点变换也不会产生那样的倾倒。
[0060]对位部32在数据上执行如上所述的鸟瞰视点图像的对位。此时，对位部32使前一时刻的鸟瞰视点图像偏移来使位置与当前时刻的鸟瞰视点图像？8 #目一致。图4的化)的左侧的图像和中央的图像表示偏移了移动距离1后的状态。该偏移量1是与图4的(幻所示的本车辆V的实际的移动距离(1对应的鸟瞰视点图像数据上的移动量，是根据来自车速传感器20的信号和从前一时刻至当前时刻的时间来决定的。
[0061]另外，在对位之后，对位部32取鸟瞰视点图像？氏、？8”的差分，生成差分图像？
的数据。在此，差分图像？0,的像素值可以是将鸟瞰视点图像？8,、的像素值之差绝对值化得到的像素值，也可以为了对应照度环境的变化而在该绝对值超过规定的阈值时设为“1”，在不超过规定的阈值时设为“0”。图4的㈦的右侧的图像是差分图像？IV此外，本例的对位部32将不同时刻的鸟瞰视点图像的位置以鸟瞰视点进行对位，获得该对位后的鸟瞰视点图像，但是能够以与检测对象的种类、所要求的检测精度相应的精度进行该对位处理。可以是以同一时刻和同一位置为基准进行对位之类的严格意义上的对位处理，也可以是掌握各鸟瞰视点图像的坐标这样的程度缓和的对位处理。
[0062]返回图3，第1三维物体检测部33根据图4的(幻所示的差分图像？0,的数据来检测三维物体。此时，本例的第1三维物体检测部33还计算在实际空间中的三维物体的移动距离。在三维物体的检测以及移动距离的计算时，第1三维物体检测部33首先生成差分波形。此外，在三维物体的移动速度的计算中使用三维物体的每单位时间的移动距离。而且，三维物体的移动速度能够在判断三维物体是否为车辆时使用。
[0063]在生成差分波形时，第1三维物体检测部33在差分图像中设定检测区域。本例的三维物体检测装置1将本车辆V的驾驶员予以注意的其它车辆XX、特别是在本车辆V进行车道变更时有可能接触的行驶于与本车辆V所行驶的车道相邻的车道的其它车辆爪作为检测对象物进行检测。因此，在根据图像信息检测三维物体的本例中，在由摄像机1获得的图像中的本车辆V的右侧和左侧设定两个检测区域。具体地说，在本例中，如图2所示那样在本车辆V后侧方设定矩形状的检测区域八1、八2。在该检测区域八1、八2中检测出的其它车辆冗被检测为行驶于与本车辆V所行驶的车道相邻的邻近车道的障碍物。此外，这样的检测区域八1、八2可以根据相对于本车辆的相对位置进行设定，也可以将白线的位置作为基准进行设定。在以白线的位置为基准进行设定的情况下，移动距离检测装置1例如优选利用已有的白线识别技术等。
[0064]另外，第1三维物体检测部33将所设定的检测区域“、八2的在本车辆V侧的边(沿着行驶方向的边)识别为触地线11、12。通常，触地线是指三维物体接触地面的线，但是在本实施方式中不是接触地面的线而是如上述那样进行设定。此外，在这种情况下，从经验上看本实施方式所涉及的触地线与本来基于其它车辆V的的位置求出的触地线之差也不会过大，从而在实际使用上没有问题。
[0065]图5是表示图3所示的第1三维物体检测部33生成差分波形的情形的概要图。如图5所示，第1三维物体检测部33根据由对位部32计算出的差分图像？0,(图4的$)的右图)中的相当于检测区域八1、八2的部分来生成差分波形0^。此时，第1三维物体检测部33沿着通过视点变换而三维物体倾倒的方向生成差分波形0^。此外，在图5所示的例子中，为了方便仅使用检测区域八1进行说明，但是关于检测区域八2，也以相同的过程生成差分波形0^。
[0066]具体地说，首先第1三维物体检测部33在差分图像的数据上定义三维物体倾倒的方向上的线匕。然后，第1三维物体检测部33对线匕上示出规定的差分的差分像素0？的个数进行计数。在此，在差分图像？0,的像素值是将鸟瞰视点图像？8 的像素值之差绝对值化得到的像素值的情况下，示出规定的差分的差分像素0？是超过规定的阈值的像素，在差分图像？0,的像素值用“0”、“1”表现的情况下，示出规定的差分的差分像素0？是表示“1”的像素。
[0067]第1三维物体检测部33在对差分像素0？的个数进行计数之后，求出线匕与触地线11的交点⑶。然后，第1三维物体检测部33将交点⑶与计数数进行对应，根据交点⑶的位置来决定横轴位置、即在图5的右图的上下方向轴的位置，并且根据计数数决定纵轴位置、即图5的右图的左右方向轴的位置，绘制出交点⑶处的计数数。
[0068]以下同样地，第1三维物体检测部33对三维物体倾倒的方向上的线1^、匕，，，进行定义，来对差分像素0？的个数进行计数，根据各交点⑶的位置决定横轴位置、基于计数数(差分像素0？的个数)决定纵轴位置来进行绘制。第1三维物体检测部33依次重复上述内容并进行频数分布化来如图5右图所示那样生成差分波形0^。
[0069]此外，如图5左图所示，三维物体倾倒的方向上的线匕和线03与检测区域八1相重叠的距离不同。因此，当假设检测区域八1被差分像素0？填满时，线匕上的差分像素0？的个数多于线“上的差分像素0？的个数。因此，第1三维物体检测部33在基于差分像素0？的计数数决定纵轴位置的情况下，根据三维物体倾倒的方向上的线匕、!^与检测区域八1相重叠的距离来进行标准化。当列举具体例时，在图5左图中，在线匕上有6个差分像素0？，在线03上有5个差分像素0？。因此，在图5中基于计数数决定纵轴位置时，第1三维物体检测部33将计数数除以重叠距离等来进行标准化。由此，如差分波形0%所示那样，与三维物体倾倒的方向上的线匕、对应的差分波形0^的值大致相同。
[0070]在生成差分波形0%之后，第1三维物体检测部33通过与前一时刻的差分波形的对比来计算移动距离。即，第1三维物体检测部33基于差分波形01。01“的时间变化来计算移动距离。
[0071]详细地说，第1三维物体检测部33如图6所示那样将差分波形0%分割成多个小区域而卩?01为2以上的任意整数图6是表示由第1三维物体检测部33分割出的小区域而“?01 #的图。小区域01。?01 #例如图6所示那样以相互重叠的方式进行分割。例如小区域小区域0112重叠，小区域0112与小区域01。重叠。
[0072]接着，第1三维物体检测部33按各小区域口^?01 &求出偏移量(差分波形的横轴方向(图6的上下方向)的移动量)。在此，根据前一时刻的差分波形010与当前时刻的差分波形0%之差(横轴方向的距离)求出偏移量。此时，第1三维物体检测部33按各小区域01…在使前一时刻的差分波形010沿横轴方向移动时，判断出与当前时刻的差分波形0%的误差最小的位置(横轴方向的位置)，求出差分波形01 ~的原来的位置与误差最小的位置的在横轴方向上的移动量来作为偏移量。然后，第1三维物体检测部33对按各小区域01 &求出的偏移量进行计数来制作直方图。
[0073]图7是表示由第1三维物体检测部33获得的直方图的一例的图。如图7所示，各小区域01 &与前一时刻的差分波形01 ~的误差最小的移动量即偏移量稍微产生偏差。因此，第1三维物体检测部33将包含偏差的偏移量制作成直方图，基于直方图计算移动距离。此时，第1三维物体检测部33根据直方图的极大值计算三维物体的移动距离。艮口，在图7所示的例子中，第1三维物体检测部33将表示直方图的极大值的偏移量计算为移动距离II此外，该移动距离I#是其它车辆V相对于本车辆V的相对移动距离。因此，第1三维物体检测部33在计算绝对移动距离的情况下，根据所获得的移动距离I #和来自车速传感器20的信号来计算绝对移动距离。
[0074]此外，在制作成直方图时，第1三维物体检测部33也可以针对多个小区域[^工?01。中的每一个进行加权，与权重相应地对按各小区域0101 &求出的偏移量进行计数来制作直方图。图8是表示第1三维物体检测部33的加权的图。
[0075]如图8所示，小区域0^011^1以上、!1-1以下的整数)是平坦的。即，小区域0^的示出规定的差分的像素数的计数的最大值与最小值之差变小。第1三维物体检测部33针对这样的小区域01将权重减小。这是因为关于平坦的小区域01没有特征，从而在计算偏移量时误差变大的可能性高。
[0076]另一方面，小区域为!1-0以下的整数)有大量的起伏。即，小区域01的示出规定的差分的像素数的计数的最大值与最小值之差变大。第1三维物体检测部33针对这样的小区域01将权重增大。这是因为关于有很多起伏的小区域具有特征，从而能够正确地进行偏移量的计算的可能性高。通过像这样进行加权，能够提高移动距离的计算精度。
[0077]此外，为了提高移动距离的计算精度，在上述实施方式中，将差分波形0%分割成了多个小区域而口?而#，但是在移动距离的计算精度要求不那么高的情况下，也可以不分割成小区域卩^?01吣在这种情况下，第1三维物体检测部33根据差分波形0%与差分波形01“的误差变为最小时的差分波形01,的偏移量来计算移动距离。即，求出前一时刻的差分波形而㈠与当前时刻的差分波形01 3勺偏移量的方法不限定于上述内容。
[0078]返回图3，计算机30具备拖影检测部34。拖影检测部34根据由摄像机10拍摄获得的摄像图像的数据来检测拖影的产生区域。此外，由于拖影是在(^0图像传感器等中产生的过曝光现象，因此如果采用使用了不产生这样的拖影的0^03图像传感器等的摄像机10，则也可以省略拖影检测部34。
[0079]图9是用于说明拖影检测部34的处理以及基于该处理的差分波形0^的计算处理的图像图。首先，设为对拖影检测部34输入了存在拖影3的摄像图像？的数据。此时，拖影检测部34根据摄像图像？检测拖影3。拖影3的检测方法多种多样，例如在一般的
1)6^106:电荷|禹合器件)摄像机的情况下，从光源仅向图像下方向产生拖影3。因此，在本实施方式中，搜索从图像下侧向图像上方具有规定值以上的亮度值且在纵方向上连续的区域，将其确定为拖影3的产生区域。
[0080]另外，拖影检测部34生成关于拖影3的产生部分将像素值设为“1”、将除此以外的部分设为“0”的拖影图像3？的数据。在生成后，拖影检测部34将拖影图像3？的数据发送到视点变换部31。另外，输入了拖影图像3？的数据的视点变换部31将该数据视点变换为鸟瞰视点的状态。由此，视点变换部31生成拖影鸟瞰视点图像3氏的数据。在生成后，视点变换部31将拖影鸟瞰视点图像3氏的数据发送到对位部33。并且，视点变换部31还将前一时刻的拖影鸟瞰视点图像38“的数据发送到对位部33。
[0081]对位部32在数据上执行拖影鸟瞰视点图像的对位。关于具体的对位，与在数据上执行鸟瞰视点图像？氏、？^“的对位的情况相同。另外，在对位后，对位部32关于各拖影鸟瞰视点图像38,380的拖影3的产生区域取逻辑或。由此，对位部32生成掩模图像即的数据。在生成后，对位部32将掩模图像即的数据发送到第1三维物体检测部33。
[0082]第1三维物体检测部33关于掩模图像即中的相当于拖影3的产生区域的部分，将频数分布的计数数设为零。即，在生成了如图9所示那样的差分波形0^的情况下，第1三维物体检测部33将拖影3的计数数％设为零，生成校正后的差分波形。
[0083]此外，在本实施方式中，第1三维物体检测部33求出车辆7(摄像机10)的移动速度，根据求出的移动速度求出关于静止物体的偏移量。在求出静止物体的偏移量之后，第1三维物体检测部33忽略直方图的极大值中的相当于静止物体的偏移量之后计算三维物体的移动距离。
[0084]图10是表示由第1三维物体检测部33获得的直方图的另一例的图。在摄像机10的视角内除了其它车辆^以外还存在静止物体的情况下，在获得的直方图中出现两个极大值I 1、I 2。在这种情况下，两个极大值I 1、I 2中的某一方是静止物体的偏移量。因此，第1三维物体检测部33根据移动速度求出关于静止物体的偏移量，忽略相当于该偏移量的极大值，采用剩下的一方的极大值计算三维物体的移动距离。
[0085]此外，在即使忽略相当于静止物体的偏移量也存在多个极大值的情况下，设想在摄像机10的视角内存在多辆其它车辆V。但是，在检测区域八1、八2内存在多辆其它车辆V的情形是非常少见的。因此，第1三维物体检测部33中止移动距离的计算。
[0086]接着，说明基于差分波形信息的三维物体检测过程。图11和图12是表示本实施方式的三维物体检测过程的流程图。如图11所示，首先，计算机30输入由摄像机10得到的摄像图像？的数据，由拖影检测部34生成拖影图像$(31)。接着，视点变换部31根据来自摄像机10的摄像图像？的数据生成鸟瞰视点图像？氏的数据，并且根据拖影图像3？的数据生成拖影鸟瞰视点图像3氏的数据(32)。
[0087]然后，对位部33将鸟瞰视点图像？氏的数据和前一时刻的鸟瞰视点图像？8 ~的数据进行对位，并且将拖影鸟瞰视点图像3氏的数据和前一时刻的拖影鸟瞰视点图像38 ~的数据进行对位(33)。在该对位之后，对位部33生成差分图像？0,的数据，并且生成掩模图像即的数据(34)。之后，第1三维物体检测部33根据差分图像？0,的数据和前一时刻的差分图像？00的数据生成差分波形01,(35)。在生成差分波形而,之后，第1三维物体检测部33将差分波形0^中的相当于拖影3的产生区域的计数数设为零，从而抑制拖影3所产生的影响(86)。
[0088]之后，第1三维物体检测部33判断差分波形0^的峰值是否为第一阈值0以上
(87)0该第一阈值0是预先通过实验等求出而设定的，但是也能够由图31所示的三维物体判断部38来设定。在此，在差分波形0%的峰值不为第一阈值0以上的情况下、即几乎不存在差分的情况下，认为在摄像图像？内不存在三维物体。因此，在判断为差分波形0%的峰值不为第一阈值0以上的情况下(37 否”)，第1三维物体检测部33判断为不存在三维物体，从而不存在其它车辆(图12:816)0然后，结束图11和图12所示的处理。
[0089]另一方面，在判断为差分波形0%的峰值为第一阈值0以上的情况下(37 是”)，第1三维物体检测部33判断为存在三维物体，将差分波形0%分割成多个小区域0101,,(88)。接着，第1三维物体检测部33针对各小区域01 &进行加权(39)。之后，第1三维物体检测部33计算各小区域而卩?01 &的偏移量(310),考虑权重并生成直方图(811)。
[0090]然后，第1三维物体检测部33基于直方图计算三维物体相对于本车辆V的移动距离、即相对移动距离(312)。接着，第1三维物体检测部33根据相对移动距离计算三维物体的绝对移动速度(313)。此时，第1三维物体检测部33对相对移动距离进行时间微分来计算相对移动速度，并且加上由车速传感器20检测出的本车速度来计算绝对移动速度。
[0091]之后，第1三维物体检测部33判断三维物体的绝对移动速度是否为以上且三维物体相对于本车辆V的相对移动速度是否为+601^/?以下(314)。在满足双方的情况下(314 是”)，第1三维物体检测部33判断为三维物体是其它车辆7(3151然后，结束图11和图12所示的处理。另一方面，在有任一方不满足的情况下(^“'否”沁第丄三维物体检测部33判断为不存在其它车辆(316)。然后，结束图11和图12所示的处理。
[0092]此外，在本实施方式中，将本车辆V的后侧方设为检测区域八1、八2，检测本车辆V在行驶过程中应予以注意的行驶于与本车辆的行驶车道相邻的邻近车道的其它车辆XX，特别地说，重点在于在本车辆V进行车道变更的情况下是否有接触的可能性。这是为了在本车辆V进行车道变更的情况下，判断是否有可能接触到行驶于与本车辆的行驶车道相邻的邻近车道的其它车辆冗。因此，执行了步骤314的处理。即，当以使本实施方式的系统在高速公路上工作的情形为前提时，在三维物体的速度小于101^/1！的情况下，即使存在其它车辆V，在进行车道变更时由于位于距本车辆V很远的后方，因此很少会成为问题。同样地，在三维物体相对于本车辆V的相对移动速度超过+601^/?的情况下(即，三维物体相对于本车辆V的速度以大于601^/1！的速度移动的情况下)，在进行车道变更时，由于在本车辆V的前方移动，因此很少会成为问题。因此，在步骤314中，也可以说判断出了在进行车道变更时成为问题的其它车辆V。
[0093]另外，在步骤314中判断三维物体的绝对移动速度是否为101^/11以上且三维物体相对于本车辆V的相对移动速度是否为+601^/?以下，由此存在以下的效果。例如，根据摄像机10的安装误差，有可能存在将静止物体的绝对移动速度检测出是数如!/!!的情况。因此，通过判断是否为101^/1！以上，能够减少将静止物体判断为是其它车辆V的可能性。另夕卜，有可能由于噪声而导致将三维物体相对于本车辆V的相对速度检测为超过+601^/?的速度。因此，通过判断相对速度是否为+601^/?以下，能够减少因噪声引起的错误检测的可能性。
[0094]并且也可以是，代替步骤314的处理，而判断绝对移动速度不为负、不为01^/1另夕卜，在本实施方式中，重点在于本车辆V在进行车道变更的情况下是否有接触的可能性，因此在步骤315中检测出其它车辆V的情况下，可以向本车辆的驾驶员发出警告音，或者通过规定的显示装置进行相当于警告的显示。
[0095]这样，根据本例的基于差分波形信息的三维物体的检测过程，沿着通过视点变换而三维物体倾倒的方向，在差分图像？0,的数据上对示出规定的差分的像素数进行计数并进行频数分布化，由此生成差分波形0^。在此，在差分图像？1\的数据上示出规定的差分的像素是指在不同时刻的图像中存在变化的像素，换言之，可以说是存在三维物体的部分。因此，在存在三维物体的部分，通过沿着三维物体倾倒的方向对像素数进行计数并进行频数分布化，由此生成差分波形0^。特别地，由于沿着三维物体倾倒的方向对像素数进行计数，因此根据针对三维物体来说在高度方向上的信息来生成差分波形0^。然后，根据包含高度方向的信息的差分波形0^的时间变化来计算三维物体的移动距离。因此，与仅着眼于1个点的移动的情况相比，时间变化前的检测部分和时间变化后的检测部分由于包含高度方向的信息进行确定，因此容易成为三维物体中相同的部分，从而根据相同部分的时间变化来计算移动距离，能够提高移动距离的计算精度。
[0096]另外，关于差分波形0^中的相当于拖影3的产生区域的部分，将频数分布的计数数设为零。由此，去除差分波形0%中的由拖影3产生的波形部位，从而能够防止将拖影3错误识别为三维物体的情形。
[0097]另外，根据在不同时刻生成的差分波形0%的误差最小时的差分波形0^的偏移量来计算三维物体的移动距离。因此，根据波形这样的一维的信息的偏移量来计算移动距离，从而能够在计算移动距离时抑制计算成本。
[0098]另外，将在不同时刻生成的差分波形0%分割成多个小区域01 “?01 通过像这样分割成多个小区域而^?而…由此获得多个表示三维物体的各个部分的波形。另外，针对各小区域01 &求出各个波形的误差最小时的偏移量，对针对各小区域01。?01 &求出的偏移量进行计数来制作直方图，由此计算三维物体的移动距离。因此，针对三维物体的各个部分求出偏移量，并根据多个偏移量求出移动距离，从而能够提高移动距离的计算精度。
[0099]另外，针对多个小区域而^?而#中的每一个进行加权，与权重相应地对针对各小区域01 &求出的偏移量进行计数来制作直方图。因此，关于特征性的区域将权重增大，关于非特征性的区域将权重减小，由此能够更适当地计算移动距离。因而，能够进一步提尚移动距尚的计算精度。
[0100]另外，关于差分波形0%的各小区域而。?01…示出规定的差分的像素数的计数的最大值与最小值之差越大，则使权重越大。因此，越是最大值与最小值之差大的特征性的起伏区域则权重越大，关于起伏小的平坦的区域，权重变小。在此，就形状来说，与平坦的区域相比，起伏大的区域更容易正确地求出偏移量，因此通过越是最大值与最小值之差大的区域则使权重越大，能够进一步提高移动距离的计算精度。
[0101]另外，根据对针对各小区域01 #求出的偏移量进行计数获得的直方图的极大值，计算三维物体的移动距离。因此，即使偏移量产生偏差，也能够根据该极大值来计算正确性更高的移动距离。
[0102]另外，求出关于静止物体的偏移量，并忽略该偏移量，因此能够防止由于静止物体而导致三维物体的移动距离的计算精度下降的情形。另外，在忽略了相当于静止物体的偏移量之后，如果存在多个极大值，则中止三维物体的移动距离的计算。因此，能够防止如存在多个极大值那样的错误地计算移动距离的情形。
[0103]此外，在上述实施方式中，根据来自速度传感器20的信号判断本车辆V的车速，但是不限于此，也可以根据不同时刻的多个图像来估计速度。在这种情况下，不需要车速传感器，能够实现结构的简单化。
[0104]另外，在上述实施方式中，将拍摄到的当前时刻的图像和前一时刻的图像变换为鸟瞰图，对变换后的鸟瞰图进行对位之后生成差分图像？0,，对所生成的差分图像？0,沿着倾倒方向(将拍摄到的图像变换为鸟瞰图时的三维物体的倾倒方向)进行评价来生成差分波形0%，但是不限定于此。例如也可以仅将前一时刻的图像变换为鸟瞰图，对变换得到的鸟瞰图进行对位之后再次变换为与所拍摄的图像相当的图像，用该图像和当前时刻的图像生成差分图像，对所生成的差分图像沿着相当于倾倒方向的方向(即，将倾倒方向变换为摄像图像上的方向所得到的方向)进行评价来生成差分波形0^。即，对当前时刻的图像和前一时刻的图像进行对位，根据进行对位后的两个图像的差分生成差分图像？0,，只要能够沿着将差分图像？0/变换为鸟瞰图时的三维物体的倾倒方向进行评价，也可以不必明确地生成鸟瞰图。
[0105]另外，在上述实施方式中，如图4的㈦所示那样对当前时刻的鸟瞰视点图像数据和前一时刻(过去)的鸟瞰视点图像数据？8 ~进行对位后生成这些差分图像？0,，通过如图5所示那样将差分图像沿着相当于倾倒方向的方向进行评价来生成差分波形01,,但是也可以将当前时刻和前一时刻的鸟瞰视点图像数据？氏、如图5所示那样沿着相当于倾倒方向的方向分别进行评价，由此分别生成当前时刻和前一时刻的差分波形01”之后对这两个差分波形如图4的所示那样进行对位，基于这两个差分波形的差分来生成最终的差分波形信息。
[0106]?利用边缘信息检测三维物体?
[0107]接着，说明能够代替图3所示的利用差分波形信息的三维物体的检测模块八而进行动作的、利用边缘信息的三维物体的检测模块8。本例的利用边缘信息的三维物体的检测模块8由视点变换部31、亮度差计算部35、边缘线检测部36以及第2三维物体检测部37构成，利用边缘信息检测三维物体。图13是表示图3的摄像机10的摄像范围等的图，图13的(?)是俯视图，图13的⑶表示本车辆VI后侧方的实际空间中的立体图。如图13的(￡1)所示，摄像机10被形成为规定的视角￡1，从本车辆VI拍摄包含于该规定的视角3中的后侧方。摄像机10的视角3与图2所示的情况同样地被设定成在摄像机10的摄像范围内、除了包含本车辆VI所行驶的车道以外还包含相邻的车道。
[0108]本例的检测区域八1、八2在俯视图(鸟瞰视点的状态)中形成为梯形状，这些检测区域八1、八2的位置、大小以及形状基于距离屯?心决定。此外，该图所示的例子的检测区域八1、八2不限于梯形状，也可以是如图2所示那样在鸟瞰视点的状态下为矩形等其它的形状。
[0109]在此，距离(11是从本车辆VI到触地线11、12的距离。触地线11、12是指存在于与本车辆卩所行驶的车道相邻的车道的三维物体接触地面的线。在本实施方式中，目的是检测在本车辆VI的后侧方行驶于与本车辆VI的车道相邻的左右车道的其它车辆V〗等(包含二轮车等)。因此，能够事先根据本车辆VI至白线I的距离(111和从白线I至预测为其它车辆V〗所行驶的位置的距离412，来大致固定地决定作为其它车辆V〗的触地线11、12的位置的距离(11。
[0110]另外，关于距离也，不限于决定为固定的值，也可以设为可变。在这种情况下，计算机30通过白线识别等技术来识别白线I相对于本车辆VI的位置，根据识别出的白线评的位置来决定距离也1。由此，使用所决定的距离(111以可变的方式设定距离也。在以下的本实施方式中，由于其它车辆^2行驶的位置(距白线I的距离(112)和本车辆VI行驶的位置(距白线I的距离(111)大致固定，因此设为距离(11被决定为固定的值。
[0111]距离(12是从本车辆VI的后端部沿车辆行进方向延伸的距离。以检测区域八1、八2至少收容在摄像机10的视角3内的方式决定该距离也。特别地，在本实施方式中，距离(12被设定为与由视角3划分的范围相连。距离(13是表示检测区域八1、八2的在车辆行进方向上的长度的距离。该距离(13根据作为检测对象的三维物体的大小决定。在本实施方式中，由于检测对象是其它车辆V〗等，因此距离(13被设定为包含其它车辆V〗的长度。
[0112]距离(14是如图13的(幻所示那样表示被设定成在实际空间中包含其它车辆乂2等的轮胎的高度的距离。距离(14在鸟瞰视点图像中设为图13的(幻所示的长度。此外，距离(14也能够设为不包含鸟瞰视点图像中相比于左右的邻近车道的下一邻近车道(即，隔一车道的邻近车道)的长度。这是因为如果包含与本车辆VI的车道隔一车道的邻近车道，则无法区分是在作为本车辆VI所行使的车道的本车道的左右邻近车道内存在其它车辆I还是在隔一车道的邻近车道内存在其它车辆乂2。
[0113]如以上那样决定距离(11?距离似，由此决定检测区域八1、八2的位置、大小以及形状。具体地说，根据距离也，决定形成梯形的检测区域八1、八2的上边化的位置。根据距离也，决定上边化的起点位置01。根据距离泊，决定上边化的终点位置02。根据从摄像机10向起点位置延伸的直线[3，决定形成梯形的检测区域41、八2的侧边62。同样地，根据从摄像机10向终点位置02延伸的直线“，决定形成梯形的检测区域八1、八2的侧边…。根据距离似，决定形成梯形的检测区域八1、八2的下边64的位置。这样，由各边化?64包围的区域设为检测区域八1、八2。该检测区域八1、八2如图13的(幻所示那样在本车辆VI后侧方的实际空间中形成为正方形(长方形)。
[0114]返回图3，视点变换部31输入由摄像机10拍摄获得的规定区域的摄像图像数据。视点变换部31针对所输入的摄像图像数据进行视点变换处理来形成为鸟瞰视点状态的鸟瞰视点图像数据。鸟瞰视点状态是指从上空、例如从铅垂向下(或者稍微斜向下)俯视的虚拟摄像机的视点观察的状态。例如能够通过日本特开2008-219063号公报所记载的技术来实现该视点变换处理。
[0115]亮度差计算部35为了检测鸟瞰视点图像中包含的三维物体的边缘，而针对由视点变换部31进行视点变换得到的鸟瞰视点图像数据进行亮度差的计算。亮度差计算部35针对沿着在实际空间中的铅垂方向延伸的铅垂虚拟线的多个位置中的每个位置计算该各位置附近的两个像素间的亮度差。亮度差计算部35能够通过仅设定一条在实际空间中沿铅垂方向延伸的铅垂虚拟线的方法以及设定两条铅垂虚拟线的方法中的任一个方法来计算亮度差。
[0116]针对设定两条铅垂虚拟线的具体方法进行说明。亮度差计算部35针对进行视点变换得到的鸟瞰视点图像来设定与实际空间中在铅垂方向延伸的线段相当的第一铅垂虚拟线以及与第一铅垂虚拟线不同并与实际空间中在铅垂方向延伸的线段相当的第二铅垂虚拟线。亮度差计算部35沿着第一铅垂虚拟线和第二铅垂虚拟线连续地求出第一铅垂虚拟线上的点与第二铅垂虚拟线上的点的亮度差。下面，详细说明该亮度差计算部35的动作。
[0117]亮度差计算部35如图14的⑷所示那样设定与实际空间中在铅垂方向延伸的线段相当且通过检测区域八1的第一铅垂虚拟线IV以下称为关注线匕)。另外，亮度差计算部35设定与关注线匕不同并与实际空间中在铅垂方向延伸的线段相当且通过检测区域八1的第二铅垂虚拟线匕(以下称为参照线匕)。在此，参照线匕被设置于距离关注线匕分离实际空间中的规定距离的位置处。此外，与实际空间中在铅垂方向延伸的线段相当的线是指在鸟瞰视点图像中从摄像机10的位置？8起呈放射状扩展的线。该呈放射状扩展的线是沿着在变换为鸟瞰视点时三维物体倾倒的方向的线。
[0118]亮度差计算部35在关注线匕上设定关注点(第一铅垂虚拟线上的点)。另外，亮度差计算部35在参照线匕上设定参照点？I'(第二铅垂虚拟线上的点)。这些关注线匕、关注点参照线匕、参照点在实际空间中形成图14的(幻所示的关系。如从图14的(^)显而易见地，关注线匕和参照线匕是在实际空间中在铅垂方向延伸的线，关注点和参照点是在实际空间中被设定为大致相同的高度的点。此外，关注点和参照点并不一定需要是严格上的相同的高度，关注点和参照点'被视为相同高度的程度的误差是允许的。
[0119]亮度差计算部35求出关注点与参照点的亮度差。假设关注点与参照点的亮度差大时，认为在关注点与参照点之间存在边缘。因此，图3所示的边缘线检测部36根据关注点与参照点的亮度差来检测边缘线。
[0120]更详细地说明该点。图15是表示亮度差计算部35的详细动作的图，图15的表示鸟瞰视点状态的鸟瞰视点图像，图15的化)是将图15的(幻所示的鸟瞰视点图像的一部分81放大后的图。此外，关于图15，仅图示检测区域八1进行说明，关于检测区域八2，也以相同的过程计算亮度差。
[0121]在摄像机10拍摄到的摄像图像内拍摄有其它车辆V〗的情况下，如图15的⑷所示那样，在鸟瞰视点图像内的检测区域八1出现其它车辆如图15的(幻示出图15的(^)中的区域81的放大图那样，设为在鸟瞰视点图像上，在其它车辆乂2的轮胎的橡胶部分上设定了关注线匕。在该状态中，亮度差计算部35首先设定参照线匕。参照线匕被设定在实际空间中沿铅垂方向距关注线13规定的距离的位置处。具体地说，在本实施方式所涉及的三维物体检测装置1中，参照线匕被设定在实际空间中与关注线匕相距10(^的位置处。由此，参照线匕在鸟瞰视点图像上例如被设定在与其它车辆V〗的轮胎的橡胶相距相当于10(3111的距离的其它车辆V〗的轮胎的轮辋(01661)上。
[0122]接着，亮度差计算部35在关注线匕上设定多个关注点？4?？抓。在图15的$)中，为了便于说明，设定了六个关注点?？％ (以下，在表示任意的点的情况下仅称为关注点化丨)。此外，在关注线匕上设定的关注点1?的个数可以是任意的。在以下的说明中，设为在关注线匕上设定了 ~个关注点进行说明。
[0123]接着，亮度差计算部35将各参照点？1~1?？洲设定成在实际空间中与各关注点？31?？抓相同的高度。而且，亮度差计算部35计算相同高度的关注点与参照点的亮度差。由此，亮度差计算部35针对沿着在实际空间中的铅垂方向上延伸的铅垂虚拟线的多个位置(1?⑷中的每个位置计算两个像素间的亮度差。亮度差计算部35例如计算第一关注点与第一参照点之间的亮度差，计算第二关注点与第二参照点之间的亮度差。由此，亮度差计算部35沿着关注线匕和参照线匕连续地求出亮度差。即，亮度差计算部35依次求出第三?第~关注点?？抓与第三?第~参照点?？洲的亮度差。
[0124]亮度差计算部35在检测区域八1内移动关注线匕的同时重复执行上述的参照线11-的设定、关注点和参照点的设定、亮度差的计算这样的处理。即，亮度差计算部35在实际空间中沿触地线[1的延伸方向以相同的距离改变关注线匕和参照线匕各自的位置的同时重复执行上述的处理。亮度差计算部35例如将在前次处理中成为参照线匕的线设定为关注线匕，针对该关注线匕设定参照线匕，依次求出亮度差。
[0125]返回图3，边缘线检测部36根据由亮度差计算部35计算出的连续的亮度差来检测边缘线。例如在图15的(幻所示的情况下，第一关注点和第一参照点位于相同的轮胎部分，因此亮度差小。另一方面，第二关注点?第六关注点?位于轮胎的橡胶部分，第二参照点?第六参照点?？抑位于轮胎的轮辋部分。因而，第二关注点?第六关注点?与第二参照点?第六参照点？1~2?？1~6的亮度差变大。因此，边缘线检测部36能够检测出在亮度差大的第二关注点?第六关注点？力?与第二参照点?第六参照点?？抑之间存在边缘线。
[0126]具体地说，边缘线检测部36在检测边缘线时，首先依照下述的数式1，根据第1个关注点(坐标“1，71))与第1个参照点(坐标“1’，71’))的亮度差来对第1个关注点赋予属性。
[0127]〈数1?
[0128]I (^1, 71) ? I “1，，7土，)+七时
[0129]8^1,71)=1
[0130]
[0131]8 “1，71) = -1
[0132]在上述以外的情况时
[0133]8 “1，71) = 0
[0134]在上述数式1中，1:表示阈值，I “1，71)表示第1个关注点的亮度值，I ，71’ )表示第1个参照点的亮度值。根据上述数式1，在关注点的亮度值高于参照点？1*1加上阈值1:得到的亮度值的情况下，该关注点？￡11的属性8〈XI，7:0为‘1’。另一方面，在关注点的亮度值低于从参照点？1~1减去阈值I得到的亮度值的情况下，该关注点的属性8“1，70为‘ - 1’。在关注点的亮度值与参照点的亮度值为除此以外的关系的情况下，关注点的属性8“1，71)为‘0’。
[0135]接着，边缘线检测部36基于下述数式2，根据沿着关注线匕的属性8的连续性0(^1, 71)判断关注线匕是否为边缘线。
[0136]〈数2?
[0137]8 “1，71) = 8 “1+1，71+1)时(且除了 0 = 0)，
[0138]￠^1,71)=1
[0139]在上述以外的情况时，
[0140]￠^1,71)=0
[0141]在关注点？的属性“XI，7:0与相邻的关注点？&1+1的属性8 “1—1，^1+1)相同的情况下，连续性￠(11,71)为‘1’。在关注点？的属性8 ，7:0与相邻的关注点？4+1的属性4x1+1，0+1)不同的情况下，连续性4x1，71)为‘0’。
[0142]接着，边缘线检测部36关于关注线匕上的全部关注点的连续性0求出总和。边缘线检测部36通过将求出的连续性0的总和除以关注点的个数I来对连续性0进行标准化。边缘线检测部36在进行了标准化的值超过阈值0的情况下，将关注线匕判断为边缘线。此外，阈值9是预先通过实验等设定的值。
[0143]即，边缘线检测部36基于下述数式3判断关注线匕是否为边缘线。而且，边缘线检测部36关于描绘在检测区域八1上的全部关注线匕判断是否为边缘线。
[0144]〈数3?
[0145]2。“1，丫土)? 9
[0146]返回图3，第2三维物体检测部37根据由边缘线检测部36检测出的边缘线的量来检测三维物体。如上所述，本实施方式所涉及的三维物体检测装置1检测在实际空间中沿铅垂方向延伸的边缘线。检测出很多的在铅垂方向延伸的边缘线就是在检测区域八1、八2存在三维物体的可能性高。因此，第2三维物体检测部37根据由边缘线检测部36检测出的边缘线的量来检测三维物体。并且，第2三维物体检测部37在检测三维物体之前，判断由边缘线检测部36检测出的边缘线是否为正确的边缘线。第2三维物体检测部37判断沿着边缘线上的鸟瞰视点图像的边缘线的亮度变化是否大于规定的阈值。在边缘线上的鸟瞰视点图像的亮度变化大于阈值的情况下，判断为该边缘线是由于错误判断而检测出的。另一方面，在边缘线上的鸟瞰视点图像的亮度变化不大于阈值的情况下，判断为该边缘线是正确的边缘线。此外，该阈值是通过实验等预先设定的值。
[0147]图16是表示边缘线的亮度分布的图，图16的(幻表示在检测区域八1内存在作为三维物体的其它车辆乂2时的边缘线和亮度分布，图16的㈦表示在检测区域八1内不存在三维物体时的边缘线和亮度分布。
[0148]如图16的⑷所示，设为判断为在鸟瞰视点图像中设定于其它车辆V〗的轮胎橡胶部分的关注线匕是边缘线。在这种情况下，关注线匕上的鸟瞰视点图像的亮度变化平缓。这是由于由摄像机10拍摄到的图像被视点变换为鸟瞰视点图像，由此其它车辆%的轮胎在鸟瞰视点图像内被拉长。另一方面，如图16的(幻所示，设为鸟瞰视点图像中被设定在描绘于路面上的“50”这样的白色文字部分上的关注线匕被错误判断为是边缘线。在这种情况下，关注线匕上的鸟瞰视点图像的亮度变化为起伏大的变化。这是因为在边缘线上混杂有白色文字中的亮度高的部分和路面等的亮度低的部分。
[0149]根据如以上那样的关注线匕上的亮度分布的差异，第2三维物体检测部37判断边缘线是否为由于错误判断而检测出的。第2三维物体检测部37在沿着边缘线的亮度变化大于规定的阈值的情况下，判断为该边缘线是由于错误判断而检测出的。而且，在检测三维物体时不使用该边缘线。由此，抑制路面上的“50”这样的白色文字、路肩的杂草等被判断为边缘线，从而抑制三维物体的检测精度下降。
[0150]具体地说，第2三维物体检测部37通过下述数式4、数式5中的任一个来计算边缘线的亮度变化。该边缘线的亮度变化相当于实际空间中的铅垂方向的评价值。下述数式4通过关注线匕上的第1个亮度值I “1，71)与相邻的第1+1个亮度值I “1+1，0+1)的差分的平方的合计值来评价亮度分布。下述数式5通过关注线匕上的第1个亮度值I “1，71)和相邻的第1+1个亮度值I “1+1，71+1)的差分的绝对值的合计值来评价亮度分布。
[0151]〈数4?
[0152]铅垂对应方向的评价值=271)-161+1, 71+1
[0153])}2]
[0154]〈数5?
[0155]铅垂对应方向的评价值=2 161,71)- 0^+1,0+1)
[0156]此外，不限于数式5，也可以如下述数式6那样，利用阈值12将相邻的亮度值的属性6进行二值化，来将该二值化得到的属性6关于全部的关注点求总和。
[0157]〈数6?
[0158]铅垂对应方向的评价值=2)3 “1，71)
[0159]其中，11〈XI，71)-1“1十1，71+1) | ? 12 时，
[0160]13 “1，71) = 1
[0161]在上述以外的情况时，
[0162]1^1,71)=0
[0163]在关注点？31的亮度值与参照点的亮度值的亮度差的绝对值大于阈值〖2的情况下，该关注点？71)的属性70为‘1’。在除此以外的关系的情况下，关注点？4的属性4x1，71)为‘0’。该阈值丨2是为了判断关注线匕不在相同的三维物体上而通过实验等预先设定的。而且，第2三维物体检测部37将关于关注线匕上的全部关注点的属性6求总和来求出铅垂对应方向的评价值，判断边缘线是否为正确的边缘线。
[0164]接着，关于本实施方式所涉及的利用边缘信息的三维物体检测方法进行说明。图17和图18是表示本实施方式所涉及的三维物体检测方法的详细内容的流程图。此外，在图17和图18中，为了方便，说明以检测区域八1为对象的处理，但是关于检测区域八2，也执行相同的处理。
[0165]如图17所示，首先，在步骤321中，摄像机10拍摄由视角3和安装位置所确定的规定区域。接着，视点变换部31在步骤322中输入在步骤321中由摄像机10拍摄得到的摄像图像数据，进行视点变换来生成鸟瞰视点图像数据。
[0166]接着，在步骤323中，亮度差计算部35在检测区域八1上设定关注线匕。此时，亮度差计算部35将与在实际空间中沿铅垂方向延伸的线相当的线设定为关注线。接着，在步骤324中，亮度差计算部35在检测区域八1上设定参照线匕。此时，亮度差计算部35将相当于在实际空间中沿铅垂方向延伸的线段且与关注线匕在实际空间中相距规定距离的线设定为参照线匕。
[0167]接着，在步骤325中，亮度差计算部35在关注线匕上设定多个关注点此时，亮度差计算部35设定在边缘线检测部36检测边缘时不会成为问题的程度的个数的关注点？3。另外，在步骤326中，亮度差计算部35将参照点设定成在实际空间中关注点和参照点处于大致相同的高度。由此，关注点和参照点在大致水平方向上排列，容易检测在实际空间中沿铅垂方向延伸的边缘线。
[0168]接着，在步骤527中，亮度差计算部35计算在实际空间中处于相同高度的关注点？3与参照点的亮度差。接着，边缘线检测部36依照上述的数式1计算各关注点的属性8。接着，在步骤328中，边缘线检测部36依照上述的数式2计算各关注点的属性8的连续性匕接着，在步骤329中，边缘线检测部36依照上述数式3，判断将连续性^的总和标准化得到的值是否大于阈值9。在判断为标准化得到的值大于阈值9的情况下(329:“是”)，在步骤330中，边缘线检测部36将该关注线匕检测为边缘线。然后，处理转移到步骤331。在判断为标准化得到的值不大于阈值9的情况下不将该关注线匕检测为边缘线，处理转移到步骤331。该阈值0能够预先设定，但是也能够与来自控制部39的控制命令相应地进行变更。
[0169]在步骤331中，计算机30判断是否关于检测区域八1上可设定的全部关注线匕执行了上述的步骤323?步骤330的处理。在判断为尚未关于全部的关注线匕进行上述处理的情况下(331 否”)，将处理返回步骤323，重新设定关注线匕，并重复进行步骤331为止的处理。另一方面，在判断为关于全部的关注线匕进行了上述处理的情况下(⑴^“是”)，处理转移到图18的步骤332。
[0170]在图18的步骤332中，第2三维物体检测部37关于在图17的步骤330中检测出的各边缘线计算沿着该边缘线的亮度变化。第2三维物体检测部37依照上述数式4、数式
5、数式6中的任一个来计算边缘线的亮度变化。接着，在步骤333中，第2三维物体检测部37去除边缘线中的亮度变化大于规定的阈值的边缘线。即，判断为亮度变化大的边缘线不是正确的边缘线，在检测三维物体时不使用该边缘线。这是为了抑制如上述那样检测区域八1中包含的路面上的文字、路肩的杂草等被检测为边缘线的情形。因而，规定的阈值是指预先通过实验等求出的根据由于路面上的文字、路肩的杂草等而产生的亮度变化设定的值。
[0171]接着，在步骤334中，第2三维物体检测部37判断边缘线的量是否为第二阈值0以上。此外，该第二阈值0预先通过实验等求出而设定。例如在设定四轮车作为检测对象的三维物体的情况下，预先通过实验等基于在检测区域八1内出现的四轮车的边缘线的个数来设定该第二阈值0。在判断为边缘线的量为第二阈值0以上的情况下(334 是”)，在步骤335中，第2三维物体检测部37检测为在检测区域八1内存在三维物体。另一方面，在判断为边缘线的量不为第二阈值0以上的情况下判断为在检测区域八1内不存在三维物体。之后图17和图18所示的处理结束。关于检测出的三维物体，可以判断为是行驶于与本车辆V所行驶的车道相邻的邻近车道的其它车辆I也可以考虑检测出的三维物体相对于本车辆V的相对速度来判断是否为行驶于邻近车道的其它车辆冗。此外，该第二阈值0既能够如上述那样预先设定，也能够与图31所示的控制部39的控制命令相应地进行变更。
[0172]如上所述，根据本实施方式的利用边缘信息的三维物体的检测方法，为了检测存在于检测区域八1、八2的三维物体，而针对鸟瞰视点图像设定作为在实际空间中沿铅垂方向延伸的线段的铅垂虚拟线。而且，能够针对沿着铅垂虚拟线的多个位置中的每个位置计算该各位置附近的两个像素的亮度差，根据该亮度差的连续性来判断有无三维物体。
[0173]具体地说，针对鸟瞰视点图像中的检测区域41、八2设定相当于在实际空间中在铅垂方向延伸的线段的关注线匕以及与关注线匕不同的参照线匕。然后，沿着关注线匕和参照线匕连续地求出关注线匕上的关注点与参照线匕上的参照点的亮度差。这样，通过连续地求出点之间的亮度差，来求出关注线匕与参照线匕的亮度差。在关注线匕与参照线匕的亮度差高的情况下，在关注线匕的设定部分存在三维物体的边缘的可能性高。由此，能够根据连续的亮度差检测三维物体。特别地，为了进行在实际空间中在铅垂方向延伸的铅垂虚拟线之间的亮度比较，即使通过变换为鸟瞰视点图像而三维物体与距路面的高度相应地被拉长，也不会影响三维物体的检测处理。因而，根据本例的方法，能够提高三维物体的检测精度。
[0174]另外，在本例中，求出铅垂虚拟线附近的大致相同高度的两个点的亮度差。具体地说，根据在实际空间中处于大致相同高度的关注线匕上的关注点和参照线匕上的参照点'求出亮度差，因此能够明确地检测出存在有在铅垂方向延伸的边缘的情况下的亮度差。
[0175]并且，在本例中，根据关注线匕上的关注点与参照线匕上的参照点的亮度差来对关注点赋予属性，根据沿着关注线匕的属性的连续性0来判断该关注线匕是否为边缘线，因此能够将亮度高的区域与亮度低的区域的边界检测为边缘线，从而能够按照人的自然的感觉进行边缘检测。详细地说明该效果。图19是表示对边缘线检测部36的处理进行说明的图像例的图。该图像例是表示亮度高的区域和亮度低的区域反复的条纹图案的第一条纹图案101与表示亮度低的区域和亮度高的区域反复的条纹图案的第二条纹图案102相邻的图像。另外，该图像例为第一条纹图案101的亮度高的区域与第二条纹图案102的亮度低的区域相邻，并且第一条纹图案101的亮度低的区域与第二条纹图案102的亮度高的区域相邻。位于该第一条纹图案101与第二条纹图案102的边界的部位103根据人的感觉而倾向于不认为是边缘。
[0176]与此相对地，由于亮度低的区域与亮度高的区域相邻，因此如果仅依据亮度差检测边缘，则导致该部位103被识别为边缘。但是，边缘线检测部36除了部位103处的亮度差以外，仅在该亮度差的属性存在连续性的情况下将部位103判断为边缘线，因此边缘线检测部36能够抑制将以人的感觉不识别为边缘线的部位103识别为边缘线的错误判断，从而能够按照人的感觉进行边缘检测。
[0177]并且，在本例中，在由边缘线检测部36检测出的边缘线的亮度变化大于规定的阈值的情况下，判断为该边缘线是由于错误判断而检测出的边缘线。在将由摄像机10获取到的摄像图像变换为鸟瞰视点图像的情况下，存在该摄像图像中包含的三维物体以被拉长的状态出现在鸟瞰视点图像中的倾向。例如上述那样在其它车辆乂2的轮胎被拉长的情况下，由于轮胎这一个部位被拉长，因此形成被拉长的方向上的鸟瞰视点图像的亮度变化小的倾向。对于此，如果将描绘在路面上的文字等错误判断为边缘线，则在鸟瞰视点图像中混合包含文字部分这样的亮度高的区域和路面部分这样的亮度低的区域。在这种情况下，在鸟瞰视点图像中，被拉长的方向的亮度变化有变大的倾向。因而，通过如本例那样判断沿着边缘线的鸟瞰视点图像的亮度变化，能够识别出由于错误判断而检测出的边缘线，从而能够提高三维物体的检测精度。
[0178]〈三维物体的最终判断〉
[0179]返回图3，在利用上述的两个三维物体检测部33、37检测三维物体时，本例的三维物体检测装置1具备三维物体判断部38和控制部39，该三维物体判断部38根据第1三维物体检测部33的检测结果和第2三维物体检测部37的检测结果来最终判断是否为三维物体，该控制部39根据由水滴检测部40检测出的水滴对于镜头的附着状态来使水滴去除装置41进行动作。
[0180]首先说明水滴检测部40对水滴的检测方法的一例。图24八是表示作为摄像单元的摄像机10的立体图，是从车辆的后方左侧部观察的立体图。如上所述，在摄像机10中包括构成摄影光学系统的镜头(或保护滤镜)11，但是由于摄像机被安装于车辆的车厢外，因此雨滴、从路面扬起的水滴附着于摄像机10的外表面即镜头11上的情形不少。关于附着于镜头11的水滴，在如昼间等那样周围环境明亮的情况下，即使进行摄像图像的边缘抽出也不容易抽出水滴的轮廓边缘，从而不会对三维物体的检测造成多少影响，但是在如晚间那样周围环境暗的情况下，当进行摄像图像的边缘抽出时有可能会将水滴的轮廓作为边缘信息抽出，从而错误检测为三维物体。
[0181]因此，在本例中检测镜头11上是否附着有水滴，在附着有规定以上的水滴的情况下使水滴去除装置41进行动作来去除水滴。由此，能够防止将水滴错误检测为是三维物体。
[0182]图26的⑷是表示用于说明使用由摄像机10获取到的摄像图像来检测有无水滴的的方法的摄像图像上的平面的图。在本例的水滴检测方法中，针对摄像图像的全部像素或者特定的区域、例如与图2所示的检测区域八1、八2对应的摄像图像中的区域的像素的各像素设定关注点。图26的(幻表示对某一个像素设定了关注点的状态。然后，以该关注点为中心来设想出规定半径的虚拟圆。该虚拟圆相当于水滴的轮廓。这利用了大多数水滴由于表面张力的关系而其轮廓呈圆形这一点。
[0183]接着，在设想出的虚拟圆的内部设定多个内侧参照点(第一参照点)，并且在虚拟圆的外部的将关注点与各内侧参照点连结的直线上设定外侧参照点(第二参照点)。例如，在本例中如图26的(幻所示那样，内侧参照点设定在从关注点起相距1个像素的对角线距离的位置处，外侧参照点设定在从关注点起相距5个像素的对角线距离的位置处。关于这些虚拟圆的半径、内侧参照点和外侧参照点的设定位置，能够通过按经验求出附着于镜头的水滴的大小、频度来选择适当的值。另外，也可以关于一个像素设定多个虚拟圆的半径(即内侧参照点和外侧参照点)。
[0184]在本例中，作为内侧参照点，设定虚拟圆的内部的上侧中央部、上侧左部、上侧右部、下侧左部以及下侧右部共计5个点，另外作为外侧参照点，设定虚拟圆的外部的上侧中央部、上侧左部、上侧右部、下侧左部以及下侧右部共计5个点。上侧中央部用于设想因同一车道的后车的车头灯引起的水滴的凸显，同样地上侧左部和上侧右部用于设想因左右邻近车道的后车的车头灯引起的水滴的凸显，下侧左部和下侧右部用于设想因与邻近车道的边界的白线引起的水滴的凸显。期望至少在这样的位置各设定5个内侧参照点和外侧参照点，但是也可以省略下侧左部和下侧右部中的任一方的内侧参照点和外侧参照点。
[0185]期望关注点与各内侧参照点的距离是相等的距离，但是无需是严格意义上的相等的距离。另外，期望关注点与各外侧参照点的距离也是相等的距离，但是无需是严格意义上的相等的距离。
[0186]如上，在对一个关注点设定多个内侧参照点以及与其对应的多个外侧参照点后，通过以下过程检测有无水滴。图27是表示水滴检测部40中的水滴检测过程的流程图。首先，如步骤351所示那样对一个关注点设定多个内侧参照点以及与其对应的多个外侧参照点(在本例中均为5个点)，之后通过步骤352从与这些内侧参照点和外侧参照点对应的像素的输出信号读入亮度值。然后，通过步骤353判定是否5个外侧参照点的亮度值全部为第一判定值以下，在均为第一判定值以下的情况下进入步骤354来执行下一个判定。在并非全部为第一判定值以下的情况下进入步骤359，关于该关注点判定为不存在水滴的附着。
[0187]在步骤354中，为了检测彼此对应的内侧参照点与外侧参照点之间的边缘信息，求出5个内侧参照点的亮度值与分别对应的5个外侧参照点的亮度值之差。然后，通过步骤355判定是否5个亮度差均为第二判定值以上，在全部亮度差均为第二判定值以上的情况下进入步骤356来执行接下来的判定。在并非全部为第二判定值以上的情况下进入步骤359，关于该关注点判定为不存在水滴的附着。
[0188]在步骤356中，分别求出上侧左部与上侧右部的外侧参照点的亮度差以及下侧左部与下侧右部的外侧参照点的亮度差。然后，通过步骤357判定是否这两个亮度差均为第三判定值以下，在全部亮度差均为第三判定值以下的情况下进入步骤358，关于该关注点判定为存在水滴的附着。在并非全部为第三判定值以下的情况下进入步骤359，关于该关注点判定为不存在水滴的附着。
[0189]在步骤360中，判定是否已关于全部对象像素执行了上述的步骤351?359的处理，在未结束的情况下返回到步骤351来对下一对象像素设定关注点和参照点，重复以上的处理。如果关于全部对象像素均已结束处理则结束水滴检测处理。
[0190]在以上的水滴检测处理中，在水滴的检测判定中使用:外侧参照点的亮度值为第一判定值以下(即虚拟圆的外侧足够暗)；内侧参照点和外侧参照点的亮度差为第二判定值以上(即在内侧参照点与外侧参照点之间存在能够成为水滴的轮廓的边缘)；以及上下各自的左右间的亮度差为第三判定值以下(即，在左右中的任一个处不存在水滴以外的物体等然后，在这些判定条件全部满足的情况下判定为存在水滴的附着。特别是，在5个内侧参照点与外侧参照点的亮度差全部为第二判定值以上的情况下，在抽出边缘信息时虚拟圆的局部被检测为水滴的轮廓的可能性高，边缘信息的集合体被识别为圆形的可能性高。在本例中，将像这样边缘信息被识别为圆形的可能性的高低称为圆形度的强度，圆形度越强则判定为是水滴的可能性越高。
[0191]此外，在上述的例子中，在5个内侧参照点与外侧参照点的亮度差均为第二判定值以上的情况下判定为附着有水滴，但是也可以在5个数据中的检测出边缘信息的比例为规定比例以上的情况下判定为附着有水滴。例如，在各设定8个内侧参照点和外侧参照点的情况下，在8个内侧参照点与外侧参照点的亮度差中的6个或7个以上的亮度差为第二判定值以上的情况下可以说边缘信息的圆形度强，因此判定为附着有水滴。
[0192]接着，说明用于去除附着于摄像机10的镜头11的水滴、泥的水滴去除装置41的一例。如图23所示，本例的水滴去除装置41具备:清洗液贮存容器411其储存清洗液；清洗液泵412，其送出该清洗液贮存容器411中储存的清洗液；空气泵414，其送出压缩空气；以及喷嘴416，其向摄像机10的镜头11喷出清洗液、压缩空气、或者清洗液与压缩空气的混口 0
[0193]并且，具备:清洗液配管413，其将由清洗液泵412送出的清洗液导向储存该清洗液的二次容器417 ；空气配管415，其将由空气泵414送出的压缩空气导向喷嘴单元418的喷嘴416 ；以及控制部39，其控制清洗液泵412和空气泵414的工作。
[0194]图24八是表示将本例的水滴去除装置41设置在搭载于车辆的后部的摄像机10的状态的立体图，在固定于车辆后部的摄像机10的侧部附近，设置有同样固定于车辆后部的清洗镜头11的表面的喷嘴单元418。喷嘴单元418中设置有向镜头11喷出清洗液和压缩空气的喷嘴416以及盖4163。如图248所示，喷嘴416在其前端部设置有喷出清洗液和压缩空气的两个喷出口 419。即，形成以下结构:通过从喷嘴7的喷出口 419向镜头11的表面喷出清洗液和压缩空气，来去除附着于镜头11的表面的水滴、泥等异物。
[0195]图25是图24八所示的喷嘴单元418的局部剖切立体图。如图25所示，在设置于喷嘴单元418的前端侧的喷嘴416中设置有将压缩空气导入其中央部的空气通路420，在该空气通路420的左右两侧设置有导入清洗液的清洗液通路42匕、421匕另外，空气通路420和清洗液通路421^42113的前端以朝向摄像机10的镜头11的表面的方式弯曲成大致直角。
[0196]并且，在清洗液通路421^42113的上游侧设置有暂时储存清洗液的二次容器417。在该二次容器417的侧部设置有用于连接清洗液配管413的插头4173以及用于连接空气配管415的插头417^其中，插头4176经由设置在二次容器417的下方的流路来与空气通路420连接。即，经由插头4176导入喷嘴单元418内的压缩空气直接被导入到空气通路420。
[0197]另外，插头4173与二次容器417连接，经由该插头4173供给的清洗液从二次容器417的上方流入内部。此时，从插头4173连接至二次容器417的配管朝向铅垂方向。
[0198]另外，如图25所示，二次容器417的底部与两个系统的清洗液通路421^4216连接。因而，由图23所示的空气泵414送出的压缩空气经由空气配管415被导入至喷嘴416的空气通路420，另一方面，从清洗液泵412送出的清洗液被储存于二次容器417，之后被导入至两个系统的清洗液通路42匕、421匕
[0199]接着，图23所示的控制部39与搭载于车辆的控制单元连接，获取本车速度信息、刮水器开关信息、洗涤器开关信息、挡位信息、车头灯开关信息的各种车辆信息，还获取由摄像机10拍摄的影像即摄像机影像信息。另外，该控制部39根据各种车辆信息以及来自基于摄像机影像信息来判断摄像机10的镜头11的表面是否附着有水滴的水滴检测部40的检测信息来判断镜头11的清洗模式。进而根据判断出的该清洗模式来控制空气泵414的驱动，并且控制清洗液泵412的驱动。
[0200]本例的水滴去除装置41设定三个模式，根据镜头11的脏污状态、天气状态等各种条件来适当选择并执行三个模式中的任一个，由此高效地清洗摄像机10，该三个模式为:加压清洗模式，喷射清洗液和压缩空气来清洗镜头11 ；吹风模式，仅送出压缩空气来去除附着于镜头11的水滴；以及连续注水模式，其断续地向镜头11滴下清洗液，使脏污难以附着在镜头11。此外，在以下的说明中，省略加压清洗模式和连续注水模式的说明，说明与本发明有关的使用吹风模式进行的水滴的去除。
[0201]本例的水滴去除装置41的吹风模式在二次容器417内未储存清洗液的状态下通过控制部39仅使空气泵414驱动。由此，压缩空气从空气通路420的前端的喷出口 419被吹向镜头11的表面。其结果，能够利用空气压来去除附着于摄像机10的镜头11的表面的水滴。
[0202]这样，本例的控制部39在由水滴检测部40检测出附着于镜头11的水滴的情况下，根据水滴的附着状态来控制水滴去除装置41的动作。具体地说，对水滴的附着个数进行计数，附着个数越多则将吹风的动作时间设定得越长。
[0203]图21和图22是表示与水滴的附着个数相对的吹风的停止⑴--)间隔的设定例的控制图表。图21是水滴的附着个数越多则将吹风的停止间隔设定得越短的例子，图22的(^)是水滴的附着个数少时的吹风的动作时序图，图22的(幻是水滴的附着个数多时的吹风的动作时序图的一例。在对水滴去除装置41的空气泵414的动作进行启动和停止((^/0？的控制的情况下，由水滴检测部40检测出的水滴的个数越多，则控制部39如图22㈦所示那样相对地将停止间隔设定得越短(“〈切)。由此，对摄像机10的镜头11的表面吹风的时间变长，即使附着有大量的水滴也能够去除。反之在附着有少量的水滴的情况下将吹风的停止间隔切设定得长，由此使对摄像机10的镜头11的表面吹风的时间变短，从而极力抑制不检测期间。
[0204]接着，参照图20来说明三维物体判断部38和控制部39的动作。首先，在步骤341中通过水滴检测部40检测水滴对于镜头11的附着状态(水滴个数)，输出到控制部39。此时，也可以仅在水滴附着于检测区域八1或八2的至少一方的情况下执行步骤342，在检测区域八1、八2上均未附着的情况下不执行步骤342。另外，因附着水滴而引起的错误检测在环境暗的情况下产生的可能性高，因此也可以通过摄像机10的曝光传感器等检测环境的明亮度，仅在该明亮度为规定值以下的情况下执行步骤342。
[0205]在步骤342中，控制部39使用检测出的水滴的附着状态和预先存储的图21的控制图表来设定在水滴去除装置41的吹风模式下的吹风停止时间，并且按所设定的条件执行吹风。由此，执行与水滴的附着状态相应的吹风，来去除附着于镜头11的表面的水滴。
[0206]在步骤343中，按上述的过程执行基于差分波形信息的三维物体的检测。另外，在步骤344中，按上述的过程执行基于边缘信息的三维物体的检测。在进行这些基于差分信息的三维物体的检测和基于边缘信息的三维物体的检测时，预先对第1三维物体检测部33和第2三维物体检测部37分别设定第一阈值0和第二阈值0。
[0207]在步骤345中，判断是否通过步骤343检测为是三维物体且通过步骤344检测为是三维物体，在步骤343、344中均检测为是三维物体的情况下进入步骤346，最终判断为是三维物体。在步骤343、844中有任一个检测为不是三维物体的情况下进入步骤547，最终判断为不是三维物体。
[0208]如以上那样，根据本例的三维物体检测装置1，当水滴附着于摄像机10的镜头11时，在如夜间那样检测环境暗的情况下，有可能会由于街灯、车头灯等的影响而将水滴错误检测为是三维物体，但是水滴的附着个数越多则越通过水滴去除装置41高效地去除水滴，因此能够防止三维物体与水滴的错误检测。
[0209]顺便提及，在通过图3的对位部32和第1三维物体检测部33生成差分波形信息时，在上述的实施方式中如图4所示那样基于本车辆的移动速度，将当前时刻的鸟瞰视点图像和前一时刻的鸟瞰视点图像以使位置移动鸟瞰视点图像在实际空间中的移动距离的方式来进行对位，求出该状态下的差分图像，由此生成差分波形信息，但是也能够利用以下的方法。
[0210]即，在使不同定时下的摄像图像偏移而得到的差分图像中，与移动物体的特征点对应的像素量(示出差分的像素数)大量出现，在不使不同定时下的摄像图像偏移的差分图像中，与静止物体的特征点对应的像素量大量出现。因此，在本例中，通过将偏移的定时不同的摄像图像的差分图像的像素值(边缘量)与不偏移的定时不同的摄像图像的差分图像的像素值(边缘量)进行比较，来判断三维物体是静止物体还是移动物体。
[0211]如图28的(幻所示，如果在过去的定时10在检测区域八1、八2内检测出三维物体的像0(10)，在10的定时后的当前的定时II在检测区域八1、八2内检测出三维物体的像0 (11)的情况下，因为作为检测主体的本车辆V沿方向8移动，所以在图像上，在过去的定时10检测出的三维物体的像0(10)向检测区域八1、八2的图中上侧的三维物体的像0(11)的位置移动。
[0212]然后，如图28的㈦所示，获得以下分布:在当前的定时II检测出的三维物体的像0(11)的像素或边缘分量的分布；作为在过去的定时10检测出的三维物体的像0(10)的像的、偏移规定量后的三维物体的像0(10八)的像素或边缘分量的分布；作为同样在过去的定时10检测出的三维物体的像0(10)的像的、未偏移的三维物体的像0(108)的像素或边缘分量的分布。
[0213]如图28的㈦所示，当将图像II与偏移后的图像丁0六进行比较时，图像II中的三维物体的像0(11)与图像10八中的三维物体的像0(10八)的位置(沿本车辆V的移动方向8的位置)大致共同。另一方面，如该图所示，当将图像II与不偏移的图像108进行比较时，图像II中的三维物体的像0(11)与图像108中的三维物体的像0(108)的位置(沿本车辆V的移动方向8的位置)不同。也就是说，当求出II与10八的差分图像时，共同的部分被抵消而无残留，因此作为特征而抽出的像素的数少，当求出II与108的差分图像时，残留有不同的部分，因此作为特征而抽出的像素的数量相对多。
[0214]接着，考虑三维物体是移动物体还是静止物体，来说明图28所示的关注点。基于图29来说明三维物体是移动物体的情况，基于图30来说明三维物体是静止物体的情况。
[0215]如图29的(幻所示，在所检测的三维物体是移动的其它车辆爪的情况下，本车辆V和其它车辆爪这两者都移动，因此本车辆V与其它车辆爪趋向于保持规定的位置关系。也就是说，存在当将摄像图像偏移时其它车辆XX的位置反而移位的倾向，在差分图像？01中检测出较多能够成为特征的像素(边缘)。另一方面，如图29的(幻所示，在摄像图像不偏移的情况下，本车辆V与其它车辆爪的位置趋向于接近，在差分图像？0七中检测出较少能够成为特征的像素(边缘存在以下倾向:差分图像？中的像素(边缘)越多则累计值越高，差分图像？中的像素(边缘)越少则差分波形信息中的累计值越低。
[0216]另外，如图30的(幻所示，在所检测的三维物体是静止的静止物体的情况下，本车辆V移动而静止物体静止，因此本车辆V与静止物体趋向于离开。也就是说，存在当将摄像图像偏移时本车辆^与静止物体的位置接近的倾向，在差分图像？0七中检测出较少的能够成为特征的像素(边缘)。另一方面，如图30的(幻所示，当摄像图像不偏移时存在随着本车辆V的移动而静止物体的位置与前一次的摄像图像不同的倾向，在差分图像？中检测出较多的能够成为特征的像素(边缘存在以下倾向:差分图像？01中的像素(边缘)越多则亮度分布信息中的累计值越高，差分图像？中的像素(边缘)越少则亮度分布信息中的累计值越低。
[0217]上述思路在使用边缘信息的情况下也同样适用。
[0218]也就是说，将在检测出三维物体的第一时刻10获得的第一鸟瞰视点图像的位置和在第一时刻后的第二时刻II获得的第二鸟瞰视点图像的位置以鸟瞰视点进行对位，求出在对位得到的该鸟瞰视点图像的差分图像上对相邻的图像区域的亮度差为规定阈值以上的像素数进行计数并进行频数分布化而生成的第一亮度分布信息的第一累计值。也就是说，考虑本车辆V的移动量来生成偏移的差分图像。所偏移的量1对应于图4的仏)所示的本车辆V的实际的移动距离所对应的鸟瞰视点图像数据上的移动量，是根据来自车速传感器20的信号和前一时刻至当前时刻的时间而决定的。第一累计值是被绘制为第一亮度分布信息的值的全部或规定区域的合计值。
[0219]接着，求出在使在第一时刻10获得的第一鸟瞰视点图像和在第一时刻10后的第二时刻II获得的第二鸟瞰视点图像的位置不移位而获得的差分图像上对相邻的图像区域的亮度差为规定阈值以上的像素数进行计数并进行频数分布化而生成的第二亮度分布信息的第二累计值。也就是说，生成未偏移的差分图像，计算其累计值(第二累计值第二累计值是被绘制为第二亮度分布信息的值的全部或规定区域的合计值。
[0220]然后，在与判断为第二累计值大于第一累计值的次数相应的评价值为规定的评价阈值以上的情况下，判断为由第1三维物体检测部33检测出的三维物体是“移动物体”。评价值的计算手法没有特别限定，在本实施方式中，在以规定周期重复执行的处理中，每当判断为第二累计值大于第一累计值，就使评价点的计数累加，求出其合计值来作为“评价值”。
[0221]这样，能够基于不同时刻的摄像图像，根据从偏移后的过去的摄像图像与当前的摄像图像的差分图像抽出的像素量(边缘量)以及从不偏移的过去的摄像图像与当前的摄像图像的差分图像抽出的像素量(边缘量)之间的大小关系，来识别移动物体的图像变化的特征和静止物体的图像变化的特征，从而高精度地判断三维物体是移动物体还是静止物体。
[0222]在本例中，在判断为在与不偏移的图像之间的差分图像上示出规定差分的像素(边缘量)的第二累计值大于在与偏移后的图像之间的差分图像上示出规定差分的像素(边缘量)的第一累计值的情况下，加上第一计数值来计算评价值。也就是说，随着第二累计值大于第一累计值这样的判断的累积，使评价值增加。然后，在评价值为规定的评价阈值以上的情况下，判断为三维物体是静止物体。
[0223]在该处理中，在第二累计值大于第一累计值这样的内容的判断连续的情况下，随着该判断的连续次数增多，将第一计数值设定得高。这样，在第二累计值大于第一累计值的判断连续的情况下，判断为检测出的三维物体是静止物体的可能性升高，增大第一计数值使得评价值变大，因此能够根据随着时间推移的观察结果来高精度地判断三维物体是否为移动物体。
[0224]另外也可以是，在判断为第二累计值大于第一累计值的情况下加上第一计数值，并且在判断为第二累计值小于第一累计值的情况下减去第二计数值，来计算评价值。在这种情况下，在得到第二累计值大于第一累计值这样的内容的判断之后、得到第二累计值小于第一累计值这样的内容的判断、再之后又得到第二累计值大于第一累计值这样的内容的判断的情况下，静止物检测部38将第一计数值设定得高。
[0225]这样，在第二累计值大于第一累计值这样的判断和第一累计值大于第二累计值这样的判断交替产生的情况下，判断为检测出的三维物体是静止物体的可能性高，增大第一计数值使得评价值变大，因此能够根据随着时间推移的观察结果来高精度地判断静止物体。顺便提及，能够稳定地观察到移动物体的特征的检测状态的倾向高。这是由于，在检测结果不稳定、离散地检测出三维物体是静止物体这样的判断结果的情况下，能够判断为检测出的三维物体是静止物体的可能性高。
[0226]另外，在判断为第二累计值小于第一累计值的情况下，减去第二计数值来计算评价值。在这种情况下，在第二累计值小于第一累计值这样的内容的判断连续规定次数以上的情况下，将第二计数值设定得高。
[0227]这样，在判断为第二累计值小于第一累计值的情况下，判断为检测出的三维物体是移动物体(其它车辆的可能性高，将减法涉及的第二计数值增大使得用于判断静止物体的评价值变小，因此能够基于随着时间推移的观察结果来高精度地判断静止物体。
[0228]?第二实施方式?
[0229]参照图31?图36来说明本发明所涉及的三维物体检测装置的第二实施方式。此夕卜，只要没有特别说明，则图4?图12所示的利用差分波形信息检测三维物体的结构和图13?图19所示的利用边缘信息检测三维物体的结构与上述的第一实施方式共同，因此在此引用第一实施方式的说明。
[0230]如图31所示，本例的计算机30具备视点变换部31、对位部32、第1三维物体检测部33、拖影检测部34、亮度差计算部35、边缘线检测部36、第2三维物体检测部37、三维物体判断部38以及控制部39。其中，视点变换部31、拖影检测部34、对位部32以及第1三维物体检测部33是与上述的第一实施方式的利用差分波形信息的三维物体的检测模块八有关的结构部，视点变换部31、亮度差计算部35、边缘线检测部36以及第2三维物体检测部37是与上述的第一实施方式的利用边缘信息的三维物体的检测模块8有关的结构部。下面，说明与第一实施方式的主要不同点。
[0231]〈三维物体的最终判断〉
[0232]图31所示的本例的三维物体检测装置1在利用两个三维物体检测部33、37检测三维物体时，具备三维物体判断部38和控制部39，该三维物体判断部38根据第1三维物体检测部33的检测结果和第2三维物体检测部37的检测结果来最终判断是否为三维物体，该控制部39根据由水滴检测部40检测出的水滴在镜头的附着状态来设定第1三维物体检测部33的第一阈值0和第2三维物体检测部37的第二阈值0。此外，水滴检测部40对水滴的检测方法与图26和图27所示的第一实施方式相同，因此省略其说明。
[0233]在本例中，也具备图24八、248所示的作为摄像单元的摄像机10。如前所述，在摄像机10中包括构成摄影光学系统的镜头(或保护滤镜)11，但是由于摄像机被安装于车辆的车厢外，因此雨滴、从路面扬起的水滴附着于摄像机10的外表面即镜头11上的情形不少。关于附着于镜头11的水滴，在如昼间等那样周围环境明亮的情况下，即使进行摄像图像的边缘抽出也不容易抽出水滴的轮廓边缘，因而不会对三维物体的检测造成多少影响，但是在如晚间那样周围环境暗的情况下，当进行摄像图像的边缘抽出时有可能会将水滴的轮廓作为边缘信息抽出，从而错误检测为三维物体。
[0234]因此，在本例中检测镜头11上是否附着有水滴，在附着有规定以上的水滴的情况下抑制三维物体的检测以防止错误检测为三维物体。具体地说，由控制部39将第1三维物体检测部33的第一阈值0和第2三维物体检测部37的第二阈值0中的至少一方设定成与之前的通常设定值相比相对高。由此，降低由三维物体判断部38判断为是三维物体的可能性，防止将水滴错误检测为是三维物体。
[0235]在由水滴检测部40检测出附着于镜头11的水滴的情况下，本例的控制部39为了抑制判断为由第1三维物体检测部33或第2三维物体检测部37检测出的三维物体是其它车辆”，而输出对构成计算机30的各部(包括控制部39)进行控制的控制命令，使得抑制与检测出的水滴对应的像被判断为是存在于检测区域八1、八2的其它车辆爪。抑制判断为由第1三维物体检测部33或第2三维物体检测部37检测出的三维物体是其它车辆爪的具体方法如下。
[0236]在利用差分波形信息检测三维物体的第1三维物体检测部33在差分波形信息为规定的第一阈值0以上时检测出三维物体的情况下，当水滴检测部40检测出附着于镜头11的水滴时，控制部39生成将第一阈值0变高使得不容易检测出三维物体的控制命令，将该控制命令输出到第1三维物体检测部33。
[0237]同样地，在第1三维物体检测部33在差分波形信息为规定的第一阈值0以上时检测出三维物体的情况下，当水滴检测部40检测出附着于镜头11的水滴时，控制部39生成将在鸟瞰视点图像的差分图像上对示出规定的差分的像素数进行计数并进行频数分布化而得到的值变低并输出的控制命令，将该控制命令输出到第1三维物体检测部33。
[0238]另外，在利用差分波形信息检测三维物体的第1三维物体检测部33抽出示出阈值？以上的像素值的像素数作为示出规定的差分的像素数的情况下，当水滴检测部40检测出附着于镜头11的水滴时，控制部39生成将阈值？变高使得不容易检测出三维物体的控制命令，将该控制命令输出到第1三维物体检测部33。
[0239]同样地，在第1三维物体检测部33抽出示出阈值？以上的像素值的像素数作为示出规定的差分的像素数的情况下，当水滴检测部40检测出附着于镜头11的水滴时，控制部39生成将沿着在视点变换为鸟瞰视点图像时三维物体倾倒的方向在差分图像上抽出的像素数变低并输出的控制命令，将该控制命令输出到第1三维物体检测部33。
[0240]另一方面，在利用边缘信息检测三维物体的第2三维物体检测部37基于示出规定阈值I以上的亮度差的像素来抽出边缘线的情况下，当水滴检测部40检测出附着于镜头11的水滴时，控制部39生成将规定阈值I变高使得不容易检测出三维物体的控制命令，将该控制命令输出到第2三维物体检测部37。
[0241]同样地，在利用边缘信息检测三维物体的第2三维物体检测部37基于示出规定阈值七以上的亮度差的像素来抽出边缘线的情况下，当水滴检测部40检测出附着于镜头11的水滴时，控制部39生成将像素的亮度值变低并输出的控制命令，将该控制命令输出到第2三维物体检测部37。
[0242]同样地，在利用边缘信息检测三维物体的第2三维物体检测部37基于边缘信息中包含的具有阈值9以上的长度的边缘线来检测三维物体的情况下，当水滴检测部40检测出附着于镜头11的水滴时，控制部39生成将阈值0变高使得不容易检测三维物体的控制命令，将该控制命令输出到第2三维物体检测部37。
[0243]同样地，在利用边缘信息检测三维物体的第2三维物体检测部37基于边缘信息中包含的具有阈值9以上的长度的边缘线来检测三维物体的情况下，当水滴检测部40检测出附着于镜头11的水滴时，控制部39生成将所检测出的边缘信息的边缘线的长度的值变低并输出的控制命令，将该控制命令输出到第2三维物体检测部37。
[0244]同样地，在利用边缘信息检测三维物体的第2三维物体检测部37基于边缘信息中包含的规定长度以上的边缘线、例如具有阈值9以上的长度的边缘线的条数是否为第二阈值0以上的判断来检测三维物体的情况下，当水滴检测部40检测出附着于镜头11的水滴时，控制部39生成将第二阈值0变高使得不容易检测三维物体的控制命令，将该控制命令输出到第2三维物体检测部37。
[0245]同样地，在利用边缘信息检测三维物体的第2三维物体检测部37基于边缘信息中包含的规定长度以上的边缘线、例如具有阈值9以上的长度的边缘线的条数是否为第二阈值0以上的判断来检测三维物体的情况下，当水滴检测部40检测出附着于镜头11的水滴时，控制部39生成将所检测出的规定长度以上的边缘线的条数输出得低的控制命令，将该控制命令输出到第2三维物体检测部37。
[0246]另外，在三维物体判断部38在检测出的三维物体的移动速度为预先设定的规定速度以上时将该三维物体判断为是其它车辆的情况下，当水滴检测部40检测出附着于镜头11的水滴时，控制部39生成使将三维物体判断为是其它车辆时的作为下限的规定速度提高使得不容易检测出三维物体的控制命令，将该控制命令输出到三维物体判断部38。
[0247]同样地，在三维物体判断部38在所检测出的三维物体的移动速度为预先设定的规定速度以上时将该三维物体判断为是其它车辆的情况下，当水滴检测部40检测出附着于镜头11的水滴时，控制部39生成使与将三维物体判断为是其它车辆时的作为下限的规定速度进行比较的三维物体的移动速度变低并输出的控制命令，将该控制命令输出到三维物体判断部38。
[0248]另外，在三维物体判断部38在所检测出的三维物体的移动速度小于预先设定的规定速度时将该三维物体判断为是其它车辆的情况下，当水滴检测部39检测出附着于镜头11的水滴时，控制部39生成使将三维物体判断为是其它车辆时的作为上限的规定速度变低的控制命令，将该控制命令输出到三维物体判断部38。
[0249]同样地，在三维物体判断部38在所检测出的三维物体的移动速度小于预先设定的规定速度时将该三维物体判断为是其它车辆的情况下，当水滴检测部40检测出附着于镜头11的水滴时，控制部39生成使与将三维物体判断为是其它车辆时的作为上限的规定速度进行比较的三维物体的移动速度变高的控制命令，将该控制命令输出到三维物体判断部38。
[0250]此外，在此，“移动速度”包含三维物体的绝对速度以及三维物体相对于本车辆的相对速度。可以根据三维物体的相对速度计算三维物体的绝对速度，也可以根据三维物体的绝对速度计算三维物体的相对速度。
[0251]并且，控制部39为了抑制出现由第1三维物体检测部33或第2三维物体检测部37得到存在三维物体的检测结果、或者由三维物体判断部38得到最终判断为三维物体是其它车辆XX的判断结果，而局部屏蔽检测区域“、八2或者调整用于检测、判断的阈值、输出值。
[0252]具体地说，控制部39指定与附着于镜头11的水滴的位置对应的检测区域八1、八2的一部分位置信息(图像坐标信息)，生成不进行该屏蔽的区域中的三维物体的检测处理或者三维物体是否为其它车辆爪的判断的控制指令、使得输出表示在屏蔽的区域中未检测出三维物体或者屏蔽的区域中的三维物体不是其它车辆XX的意思的结果的控制指令，送出到第1三维物体检测部33、第2三维物体检测部37或三维物体判断部38。使得输出表示在该屏蔽的区域中未检测出三维物体或者屏蔽的区域中的三维物体不是其它车辆乂父的意思的结果的控制指令包括指定屏蔽区域的图像数据的指令以及如上所述那样变更各阈值或各输出值的指令。
[0253]这样，控制部39生成使阈值、输出值变更的控制指令、使三维物体的检测处理或三维物体是否为其它车辆冗的判断中止的控制指令、使得输出表示未检测出三维物体或者三维物体不是其它车辆爪的意思的结果的控制指令，送出到第1三维物体检测部33、第2三维物体检测部37或三维物体判断部38。
[0254]本例的第1三维物体检测部33或第2三维物体检测部37按照控制部39的控制命令，将图像信息、差分波形信息、边缘信息的一部分从成为处理对象的信息中去除，来对阈值或输出值进行调整，在严格基准之下进行三维物体的检测，执行输出表示未检测出三维物体的意思的检测结果的处理、或者中止三维物体检测处理本身。同样地，三维物体判断部38按照控制部39的控制命令，对阈值或输出值进行调整、在严格基准之下进行所检测出的三维物体是否为其它车辆XX的判断、输出表示三维物体不是其它车辆XX的意思的判断、或者中止三维物体判断处理本身。在由水滴检测部40检测出在接收各检测区域八1、八2的像的镜头11上附着有水滴的状况的情况下进行上述三维物体判断所涉及的控制处理。
[0255]接着，说明本例的控制部39对三维物体的检测抑制的一例。在下面的例子中，根据由水滴检测部40检测出的水滴的附着状态来设定第1三维物体检测部33的第一阈值0和第2三维物体检测部37的第二阈值0，更具体地说，由水滴检测部40检测出的水滴的个数越多，则将第一阈值0和第二阈值0的至少一方设定得越大。这种情况下的水滴的个数既可以是附着于与整个摄像图像对应的镜头整体的个数，也可以是附着于与检测区域八1、八2之类的特定区域对应的镜头区域的个数。
[0256]图33?图36是表示与水滴的附着个数相对的第一阈值0或第二阈值0的设定例的控制图表。图33是水滴的附着个数越多则越使第一阈值0或第二阈值0阶段性地增加的例子，图34同样是水滴的附着个数越多则越使第一阈值0或第二阈值0阶段性地增加的例子，但却是设定了滞后性以防止控制的波动的例子。另外，图35是水滴的附着个数越多则越使第一阈值0或第二阈值0正比增加的例子，图36同样是水滴的附着个数越多则越使第一阈值0或第二阈值0正比增加的例子，但却是设定了滞后性以防止控制的波动的例子。
[0257]接着，参照图32来说明三维物体判断部38和控制部39的动作。首先，在步骤341中通过水滴检测部40检测水滴对于镜头11的附着状态(水滴个数)，输出到控制部39。在步骤342中，控制部39使用检测出的水滴的附着状态和预先存储的图33?图36中的任一个控制图表来运算第一阈值0和第二阈值0，输出到第1三维物体检测部33和第2三维物体检测部37。
[0258]在步骤343中，按上述的过程执行基于差分波形信息的三维物体的检测。另外，在步骤344中，按上述的过程执行基于边缘信息的三维物体的检测。在进行这些基于差分信息的三维物体的检测和基于边缘信息的三维物体的检测时，预先对第1三维物体检测部33和第2三维物体检测部37分别设定与水滴的附着状态相应的第一阈值0和第二阈值0。
[0259]在步骤345中，判断是否通过步骤343检测为是三维物体且通过步骤344检测为是三维物体，在步骤343、344中均检测为是三维物体的情况下进入步骤346，最终判断为是三维物体。在步骤343、844中有任一个检测为不是三维物体的情况下进入步骤547，最终判断为不是三维物体。
[0260]如以上那样，根据本例的三维物体检测装置1，当水滴附着于摄像机10的镜头11时，在如夜间那样检测环境暗的情况下，有可能会由于街灯、车头灯等的影响而将水滴错误检测为是三维物体，但是水滴的附着个数越多则越抑制三维物体的检测，因此能够防止三维物体与水滴的错误检测。
[0261]顺便提及，在通过图31的对位部32和第1三维物体检测部33生成差分波形信息时，在上述的第二实施方式中如图4所示那样基于本车辆的移动速度，将当前时刻的鸟瞰视点图像和前一时刻的鸟瞰视点图像以使位置移动鸟瞰视点图像在实际空间中的移动距离的方式进行对位，求出该状态下的差分图像，由此生成差分波形信息，但是也能够与上述的第一实施方式同样地利用图28?图30所示其它方法。
[0262]如上那样构成并作用的本例的三维物体检测装置1起到以下的效果。
[0263](1)根据本例的三维物体检测装置1，设定图像中的任意的关注点，在以该关注点为中心的规定半径的虚拟圆的内部设定多个内侧参照点，在虚拟圆的外部设定与内侧1个参照点对应的多个外侧参照点，检测这些内侧参照点与外侧参照点之间的边缘信息，并判断这些边缘信息的圆形度的强度，由此检测附着于摄像机10的镜头11的水滴，因此能够高精度地检测水滴。
[0264](2)另外，根据本例的三维物体检测装置1，当水滴附着于摄像机10的镜头11时，在如夜间那样检测环境暗的情况下，有可能会由于街灯、车头灯等的影响而将水滴错误检测为是三维物体，但是根据水滴的附着状态来使水滴去除装置41进行动作以去除水滴，因此能够防止三维物体与水滴的错误检测。
[0265](3)另外，根据本例的三维物体检测装置1，当水滴附着于摄像机10的镜头11时，在如夜间那样检测环境暗的情况下，有可能会由于街灯、车头灯等的影响而将水滴错误检测为是三维物体，但是根据水滴的附着状态来抑制判断为三维物体是其它车辆，因此能够防止三维物体与水滴的错误检测。
[0266]上述摄像机10相当于本发明所涉及的摄像单元，上述镜头11相当于本发明所涉及的摄影光学系统，上述视点变换部31相当于本发明所涉及的图像变换单元，上述对位部32和第1三维物体检测部33相当于本发明所涉及的第1三维物体检测单元，上述亮度差计算部35、边缘线检测部36以及第2三维物体检测部37相当于本发明所涉及的第2三维物体检测单元，上述三维物体判断部38相当于本发明所涉及的三维物体判断单元，上述水滴检测部40相当于本发明所涉及的水滴检测单元，上述控制部39相当于本发明所涉及的控制单元，水滴去除装置41相当于水滴去除单元。
[0267]附图标记说明
[0268]1:移动距离检测装置；10:摄像机；11:镜头；20:车速传感器；30:计算机；31:视点变换部；32:对位部；33:第1三维物体检测部；34:拖影检测部；35:亮度差计算部；36:边缘检测部；37:第2三维物体检测部；38:三维物体判断部；39:控制部；40:水滴检测部；41:水滴去除装置；3:视角；八1、八2:检测区域；0？:交点；0？:差分像素风具、差分波形；
01?01 ‘小区域山1、12:触地线山103:三维物体倾倒的方向上的线；？:摄像图像；？、鸟瞰视点图像；？01:差分图像；1？:掩模图像；8:拖影；8？:拖影图像；381:拖影鸟瞰视点图像:本车辆:其它车辆。
【权利要求】
1.一种水滴检测装置，具备: 摄像单元，其包括摄影光学系统，对规定区域进行拍摄；以及 水滴检测单元，其分别设定由上述摄像单元得到的图像中的任意的关注点、在以该关注点为中心的规定半径的虚拟圆的内部的多个第一参照点以及在上述虚拟圆的外部的与上述第一参照点对应的多个第二参照点，检测上述第一参照点与上述第二参照点之间的边缘信息，并判断这些边缘信息的圆形度的强度，由此检测附着于上述摄影光学系统的水滴。
2.根据权利要求1所述的水滴检测装置，其特征在于， 上述水滴检测单元在上述虚拟圆的内部的下侧左部和下侧右部中的至少任一方、上侧中央部、上侧左部以及上侧右部中设定上述第一参照点。
3.根据权利要求1或2所述的水滴检测装置，其特征在于， 上述水滴检测单元在上述多个第一参照点与上述多个第二参照点之间检测出边缘信息的比例越大，则将上述圆形度的强度判断为越强。
4.一种三维物体检测装置，具备: 摄像单元，其包括摄影光学系统，对规定区域进行拍摄； 图像变换单元，其将由上述摄像单元得到的图像视点变换为鸟瞰视点图像； 水滴检测单元，其分别设定上述图像中的任意的关注点、在以该关注点为中心的规定半径的虚拟圆的内部的多个第一参照点以及在上述虚拟圆的外部的与上述第一参照点对应的多个第二参照点，检测上述第一参照点与上述第二参照点之间的边缘信息，并判断这些边缘信息的圆形度的强度，由此检测附着于上述摄影光学系统的水滴； 三维物体检测单元，其在由上述图像变换单元得到的上述鸟瞰视点图像上检测在视点变换为上述鸟瞰视点图像时三维物体倾倒的方向上亮度差为规定的第一阈值以上的像素的分布信息，在上述三维物体倾倒的方向上的上述像素的分布的程度为规定的第二阈值以上的情况下，基于上述像素的分布信息来检测三维物体； 三维物体判断单元，其判断由上述三维物体检测单元检测出的检测区域内的三维物体是否为其它车辆；以及 控制单元，其根据由上述水滴检测单元检测出的检测区域内的水滴的附着状态来控制车辆。
5.根据权利要求4所述的三维物体检测装置，其特征在于， 还具备水滴去除单元，该水滴去除单元去除附着于上述摄影光学系统的水滴， 上述控制单元根据由上述水滴检测单元检测出的检测区域内的水滴的附着状态来使上述水滴去除单元进行动作。
6.根据权利要求5所述的三维物体检测装置，其特征在于， 由上述水滴检测单元检测出的水滴的个数越多，则上述控制单元将上述水滴去除单元的动作时间设定得越长。
7.根据权利要求5或6所述的三维物体检测装置，其特征在于， 在上述图像中的上述规定区域内检测出上述水滴的情况下，上述控制单元使上述水滴去除单元进行动作。
8.根据权利要求5?7中的任一项所述的三维物体检测装置，其特征在于， 在环境的明亮度为规定值以下的情况下，上述控制单元使上述水滴去除单元进行动作。
9.根据权利要求4所述的三维物体检测装置，其特征在于， 上述控制单元根据由上述水滴检测单元检测出的水滴的附着状态，来抑制上述三维物体检测单元对三维物体的检测、或者抑制上述三维物体判断单元判断为上述三维物体是其它车辆。
10.根据权利要求4?9中的任一项所述的三维物体检测装置，其特征在于， 上述水滴检测单元在上述多个第一参照点与上述多个第二参照点之间检测出边缘信息的比例越大，则将上述圆形度的强度判断为越强， 由上述水滴检测单元检测出的圆形度越强，则上述控制单元将上述三维物体检测单元的检测时间设定得相对越长。
11.根据权利要求4所述的三维物体检测装置，其特征在于， 上述三维物体检测单元包括第I三维物体检测部，该第I三维物体检测部将由上述图像变换单元得到的不同时刻的鸟瞰视点图像的位置以鸟瞰视点进行对位，在该对位后的鸟瞰视点图像的差分图像上对在上述规定区域内预先设定的检测区域内的、示出规定的差分的像素数进行计数并进行频数分布化，由此生成差分波形信息，基于上述差分波形信息来检测三维物体， 在上述差分波形信息为规定的第一阈值α以上的情况下，上述三维物体检测单元检测出三维物体， 在由上述水滴检测单元检测出水滴的情况下，上述控制单元生成将上述第一阈值α变高使得不容易检测上述三维物体的控制命令，并将该控制命令输出到上述第I三维物体检测部。
12.根据权利要求11所述的三维物体检测装置，其特征在于， 在上述差分波形信息为规定的第一阈值α以上的情况下，上述第I三维物体检测部检测出三维物体， 在由上述水滴检测单元检测出水滴的情况下，上述控制单元生成使在上述鸟瞰视点图像的差分图像上对示出规定的差分的像素数进行计数并进行频数分布化而得到的值降低的控制命令，并将该控制命令输出到上述第I三维物体检测部。
13.根据权利要求11或12所述的三维物体检测装置，其特征在于， 上述第I三维物体检测部抽出示出阈值P以上的像素值的像素数作为示出上述规定的差分的像素数， 在由上述水滴检测单元检测出水滴的情况下，上述控制单元生成将上述阈值P变高使得不容易检测上述三维物体的控制命令，并将该控制命令输出到上述第I三维物体检测部。
14.根据权利要求11?13中的任一项所述的三维物体检测装置，其特征在于， 上述第I三维物体检测部抽出示出阈值P以上的像素值的像素数作为示出上述规定的差分的像素数， 在由上述水滴检测单元检测出水滴的情况下，上述控制单元生成将沿着在视点变换为上述鸟瞰视点图像时三维物体倾倒的方向在上述差分图像上抽出的像素数变低并输出的控制命令，并将该控制命令输出到上述第I三维物体检测部。
15.根据权利要求4所述的三维物体检测装置，其特征在于， 上述三维物体检测单元包括第2三维物体检测部，该第2三维物体检测部从由上述图像变换单元得到的鸟瞰视点图像检测在上述规定区域内预先设定的检测区域内的边缘信息，基于上述边缘信息来检测三维物体， 上述三维物体检测单元基于示出规定阈值t以上的亮度差的像素来抽出边缘线， 在由上述水滴检测单元检测出水滴的情况下，上述控制单元生成将上述规定阈值t变高使得不容易检测上述三维物体的控制命令，并将该控制命令输出到上述第2三维物体检测部。
16.根据权利要求15所述的三维物体检测装置，其特征在于， 上述第2三维物体检测部基于示出规定阈值t以上的亮度差的像素来抽出边缘线， 在由上述水滴检测单元检测出水滴的情况下，上述控制单元生成使上述像素的亮度值降低的控制命令，并将该控制命令输出到上述第2三维物体检测部。
17.根据权利要求15或16所述的三维物体检测装置，其特征在于， 上述第2三维物体检测部基于上述边缘信息中包含的具有阈值Θ以上的长度的上述边缘线来检测三维物体， 在由上述水滴检测单元检测出水滴的情况下，上述控制单元生成将上述阈值Θ变高使得不容易检测上述三维物体的控制命令，并将该控制命令输出到上述第2三维物体检测部。
18.根据权利要求15?17中的任一项所述的三维物体检测装置，其特征在于， 上述第2三维物体检测部基于上述边缘信息中包含的具有阈值Θ以上的长度的上述边缘线来检测三维物体， 在由上述水滴检测单元检测出水滴的情况下，上述控制单元生成将检测出的上述边缘信息中包含的边缘的长度的值输出得低的控制命令，并将该控制命令输出到上述第2三维物体检测部。
19.根据权利要求15?18中的任一项所述的三维物体检测装置，其特征在于， 上述第2三维物体检测部基于上述边缘信息中包含的规定长度以上的边缘线的条数是否为第二阈值β以上的判断来检测三维物体， 在由上述水滴检测单元检测出水滴的情况下，上述控制单元生成将上述第二阈值β变高使得不容易检测上述三维物体的控制命令，并将该控制命令输出到上述第2三维物体检测部。
20.根据权利要求15?18中的任一项所述的三维物体检测装置，其特征在于， 上述第2三维物体检测部基于上述边缘信息中包含的规定长度以上的边缘线的条数是否为第二阈值β以上的判断来检测三维物体， 在由上述水滴检测单元检测出水滴的情况下，上述控制单元生成将检测出的上述规定长度以上的边缘线的条数输出得低的控制命令，并将该控制命令输出到上述第2三维物体检测部。
21.根据权利要求4?20中的任一项所述的三维物体检测装置，其特征在于， 在上述图像中的上述规定区域内检测出上述水滴的情况下，上述控制单元抑制将上述三维物体判断为是其它车辆。
22.根据权利要求4?21中的任一项所述的三维物体检测装置，其特征在于， 由上述水滴检测单元检测出的水滴的个数越多，则上述控制单元越提高抑制将上述三维物体判断为是其它车辆的抑制程度。
23.根据权利要求4?22中的任一项所述的三维物体检测装置，其特征在于， 在环境的明亮度为规定值以下的情况下，上述控制单元抑制将上述三维物体判断为是其它车辆。
24.根据权利要求4?23中的任一项所述的三维物体检测装置，其特征在于， 在所检测出的上述三维物体的移动速度为预先设定的规定速度以上的情况下，上述三维物体判断单元将该三维物体判断为是其它车辆， 在由上述水滴检测单元检测出水滴的情况下，上述控制单元执行以下处理中的至少一个: a)生成使将三维物体判断为是其它车辆时的作为下限的上述规定速度提高的控制命令，并将该控制命令输出到上述三维物体判断单元； b)生成使与将上述三维物体判断为是其它车辆时的作为下限的上述规定速度进行比较的上述三维物体的移动速度变低并输出的控制命令，并将该控制命令输出到上述三维物体判断单元； c)生成使将上述三维物体判断为是其它车辆时的作为上限的上述规定速度变低的控制命令，并将该控制命令输出到上述三维物体判断单元；以及 d)生成使与将上述三维物体判断为是其它车辆时的作为上限的上述规定速度进行比较的上述三维物体的移动速度变高的控制命令，并将该控制命令输出到上述三维物体判断单元。
25.—种水滴检测方法，检测附着于包括摄影光学系统的摄像单元的上述摄影光学系统的水滴，该水滴检测方法包括以下步骤: 分别设定由上述摄像单元获取到的摄像图像中的任意的关注点、在以该关注点为中心的规定半径的虚拟圆的内部的多个第一参照点以及在上述虚拟圆的外部的与上述第一参照点对应的多个第二参照点； 检测上述第一参照点与上述第二参照点之间的边缘信息， 在这些边缘信息满足规定条件的情况下判断为水滴附着于与上述虚拟圆相当的部位。
【文档编号】H04N7/18GK104509091SQ201380040045
【公开日】2015年4月8日 申请日期:2013年7月24日 优先权日:2012年7月27日
【发明者】早川泰久, 深田修, 竹村雅幸, 宇田川玲, 村松彰二, 入江耕太 申请人:日产自动车株式会社, 歌乐株式会社