三维物体检测装置以及三维物体检测方法

三维物体检测装置以及三维物体检测方法
【专利摘要】一种三维物体检测装置，具备：第1三维物体检测单元(33)，其基于摄像图像来检测三维物体；光源检测单元(34)，其检测存在于本车辆后方的光源；第2三维物体检测单元(35)，其基于光源来检测三维物体；三维物体判断单元(37)，其判断三维物体是否为邻近车辆；白浊度计算单元(38)，其基于摄像图像来计算镜头白浊度；以及控制单元(37)，其在镜头白浊度为规定的判断值以上的情况下，至少基于第2三维物体检测单元的检测结果来判断三维物体是否为邻近车辆，在镜头白浊度未达到判断值的情况下，至少基于第1三维物体检测单元的检测结果来判断三维物体是否为邻近车辆。
【专利说明】三维物体检测装置以及三维物体检测方法

【技术领域】
[0001] 本发明涉及一种三维物体检测装置以及三维物体检测方法。
[0002] 本申请要求2012年7月27日申请的日本专利申请的特愿2012-166519的优先 权，针对文献参照中确认进入的指定国，通过参照上述申请所记载的内容来引入本申请中， 并作为本申请的记载的一部分。

【背景技术】
[0003] 以往以来，已知一种将在不同时刻拍摄得到的两张摄像图像变换为鸟瞰视点图像 并基于变换后的两张鸟瞰视点图像的差分来检测三维物体的技术（参照专利文献1)。
[0004] 专利文献1 :日本特开2008-227646号公报


【发明内容】

[0005] 发明要解决的问题
[0006]当基于由摄像机拍摄得到的摄像图像来检测存在于与本车辆的行驶车道邻近的 邻近车道的三维物体作为邻近车辆时，在水垢等异物附着在摄像机的镜头上而镜头处于白 浊状态的情况下，由于附着于镜头的水垢等异物，来自被摄体的光束的一部分被遮挡或者 进行漫反射，从而无法适当地拍摄邻近车辆，其结果，有时无法适当地检测邻近车辆。
[0007] 本发明要解决的问题在于，提供一种即使在水垢等异物附着在镜头上而镜头处于 白浊的情况下也能够适当地检测邻近车辆的三维物体检测装置。
[0008] 用于解决问题的方案
[0009] 本发明在具备基于摄像图像来检测三维物体的第1三维物体检测单元以及基于 存在于本车辆后方的光源来检测三维物体的第2三维物体检测单元的三维物体检测装置 中，计算镜头白浊度，在镜头白浊度为规定的判断值以上的情况下，至少基于第2三维物体 检测单元的检测结果来判断三维物体是否为邻近车辆，在镜头白浊度小于判断值的情况 下，至少基于第1三维物体检测单元的检测结果来判断三维物体是否为邻近车辆，由此解 决上述问题。
[0010] 发明的效果
[0011] 通常，在镜头处于白浊状态的情况下，与第1三维物体检测单元的检测结果相比， 第2三维物体检测单元的检测结果的检测精度更高，相反，在镜头未处于白浊状态的情况 下，与第2三维物体检测单元的检测结果相比，第1三维物体检测单元的检测结果的检测 精度更高。根据本发明，能够与镜头白浊度相应地使用第1三维物体检测单元的检测结果 和第2三维物体检测单元的检测结果，因此能够与镜头白浊的程度相应地适当检测邻近车 辆。

【专利附图】

【附图说明】
[0012] 图1是搭载有三维物体检测装置的车辆的概要结构图。
[0013] 图2是表示图1的车辆的行驶状态的俯视图。
[0014] 图3是表示计算机的详细内容的框图。
[0015] 图4是用于说明对位部的处理的概要的图，（a)是表示车辆的移动状态的俯视图， (b)是表示对位的概要的图像。
[0016] 图5是表示三维物体检测部生成差分波形的情形的概要图。
[0017] 图6是表示差分波形和用于检测三维物体的阈值a的一例的图。
[0018] 图7是表示由三维物体检测部分割出的小区域的图。
[0019] 图8是表示由三维物体检测部获得的直方图的一例的图。
[0020] 图9是表示三维物体检测部的加权的图。
[0021] 图10是表示由三维物体检测部获得的直方图的其它例的图。
[0022] 图11是用于说明本实施方式所涉及的镜头白浊度的计算方法的图。
[0023] 图12是用于说明本实施方式所涉及的镜头的白浊度的一例的图。
[0024] 图13是表示第1实施方式所涉及的邻近车辆检测处理的流程图（之一）。
[0025] 图14是表示第1实施方式所涉及的邻近车辆检测处理的流程图（之二）。
[0026] 图15是表示第1实施方式所涉及的白浊度计算处理的流程图。
[0027] 图16是表示第2实施方式所涉及的计算机的详细内容的框图。
[0028] 图17是表示车辆的行驶状态的图，（a)是表示检测区域等的位置关系的俯视图， (b)是表示实际空间中的检测区域等的位置关系的立体图。
[0029] 图18是用于说明第2实施方式所涉及的亮度差计算部的动作的图，（a)是表示鸟 瞰视点图像中的关注线、参照线、关注点以及参照点的位置关系的图，（b)是表示实际空间 中的关注线、参照线、关注点以及参照点的位置关系的图。
[0030] 图19是用于说明第2实施方式所涉及的亮度差计算部的详细动作的图，（a)是表 示鸟瞰视点图像中的检测区域的图，（b)是表示鸟瞰视点图像中的关注线、参照线、关注点 以及参照点的位置关系的图。
[0031] 图20是表示用于说明边缘检测动作的图像例的图。
[0032] 图21是表示边缘线和边缘线上的亮度分布的图，（a)是表示在检测区域中存在三 维物体（邻近车辆）的情况下的亮度分布的图，（b)是表示在检测区域中不存在三维物体 的情况下的亮度分布的图。
[0033] 图22是表示第2实施方式所涉及的邻近车辆检测处理的流程图（之一）。
[0034] 图23是表示第2实施方式所涉及的邻近车辆检测处理的流程图（之二）。
[0035] 图24是表示第2实施方式所涉及的白浊度计算处理的流程图。

【具体实施方式】
[0036] 〈第1实施方式〉
[0037] 图1是搭载了本实施方式所涉及的三维物体检测装置1的车辆的概要结构图。本 实施方式所涉及的三维物体检测装置1的目的在于检测本车辆VI在车道变更时有可能接 触的存在于邻近车道的其它车辆（以下也称为邻近车辆V2)。如图1所示，本实施方式所涉 及的三维物体检测装置1具备摄像机10、车速传感器20以及计算机30。
[0038] 摄像机10如图1所示那样在本车辆VI后方的高度h的地方以光轴相对于水平向 下形成角度0的方式安装于车辆VI。摄像机10从该位置拍摄本车辆VI的周围环境中的 规定区域。车速传感器20用于检测本车辆VI的行驶速度，并根据例如由检测车轮转速的 车轮速度传感器检测出的车轮速度来计算车速。计算机30进行存在于本车辆后方的邻近 车道的邻近车辆的检测。
[0039] 图2是表示图1的本车辆VI的行驶状态的俯视图。如该图所示，摄像机10以规定 的视角a拍摄车辆后方。此时，摄像机10的视角a被设定为除了能够拍摄到本车辆VI所 行驶的车道以外还能够拍摄到其左右的车道（邻近车道）的视角。能够拍摄的区域包括本 车辆VI的后方的、本车辆VI的行驶车道的左右相邻的邻近车道上的检测对象区域A1、A2。 此外，本实施方式中的车辆后方不仅包括车辆的正后方，还包括车辆的后侧的侧方。根据摄 像机10的视角来设定所拍摄的车辆后方的区域。作为一例，能够设定成：在将沿着车长方 向的车辆的正后方设为零度的情况下，包括从正后方向起的左右〇度?90度、优选0度? 70度等的区域。
[0040] 图3是表示图1的计算机30的详细内容的框图。此外，在图3中，为了明确连接 关系，还图示了摄像机10、车速传感器20。
[0041] 如图3所示，计算机30具备视点变换部31、对位部32、第1三维物体检测部33、车 头灯检测部34、第2三维物体检测部35、白浊度计算部36以及三维物体判断部37。下面， 说明各自的结构。
[0042] 视点变换部31输入由摄像机10拍摄得到的规定区域的摄像图像数据，将所输入 的摄像图像数据视点变换为鸟瞰视点状态的鸟瞰图像数据。鸟瞰视点状态是指从上空、例 如从铅垂向下俯视的虚拟摄像机的视点观看的状态。能够例如日本特开2008-219063号公 报所记载的那样执行该视点变换。将摄像图像数据视点变换为鸟瞰视点图像数据是因为基 于如下原理能够识别平面物体和三维物体，该原理为三维物体所特有的铅垂边缘通过视点 变换为鸟瞰视点图像数据而被变换为通过特定的定点的直线群。
[0043] 对位部32依次输入由视点变换部31的视点变换获得的鸟瞰视点图像数据，并将 所输入的不同时刻的鸟瞰视点图像数据的位置进行对位。图4是用于说明对位部32的处 理的概要的图，（a)是表示本车辆VI的移动状态的俯视图，（b)是表示对位的概要的图像。
[0044] 如图4的（a)所示，设为当前时刻的本车辆VI位于Pi，前一时刻的本车辆VI位于 P/。另外，设为邻近车辆V2位于本车辆VI的后侧方向并与本车辆VI处于并列行驶状态， 当前时刻的邻近车辆V2位于P2，前一时刻的邻近车辆V2位于P2'。并且，设为本车辆VI在 一时刻移动了距离d。此外，前一时刻可以是从当前时刻起相隔预先决定时间（例如一个控 制周期）的过去时刻，也可以是相隔任意时间的过去时刻。
[0045] 在这样的状态中，当前时刻的鸟瞰视点图像PBt如图4的（b)所示那样。在该鸟瞰 视点图像PBt中，描绘在路面上的白线为矩形状，是比较准确地以俯视观察所形成的状态， 但是邻近车辆V2(位置P2)发生倾倒。另外，前一时刻的鸟瞰视点图像PBW也同样地，描绘 在路面上的白线为矩形状，是比较准确地以俯视观察所形成的状态，但是邻近车辆V2(位 置己'）发生倾倒。如已经记述的那样，是因为三维物体的铅垂边缘（除了严格意义上的铅 垂边缘以外还包括在三维空间中从路面立起的边缘）通过变换为鸟瞰视点图像数据的视 点变换处理而表现为沿着倾倒方向的直线群，与此相对地，路面上的平面图像不包括铅垂 边缘，因此即使进行视点变换也不会产生那样的倾倒。
[0046] 对位部32在数据上执行如上所述的鸟瞰视点图像PBt、PBt_i的对位。此时，对位 部32使前一时刻的鸟瞰视点图像PBt_i偏移来使位置与当前时刻的鸟瞰视点图像PB t相一 致。图4的（b)的左侧的图像和中央的图像表示偏移了移动距离d'后的状态。该偏移量 d'是与图4的（a)所示的本车辆VI的实际的移动距离d对应的鸟瞰视点图像数据上的移 动量，基于来自车速传感器20的信号和从前一时刻至当前时刻的时间来决定。
[0047] 此外，在本实施方式中，对位部32将不同时刻的鸟瞰视点图像的位置以鸟瞰视点 进行对位，获得对位后的该鸟瞰视点图像，但是能够以与检测对象的种类、所要求的检测精 度相应的精度进行该"对位"处理。例如可以是以同一时刻和同一位置为基准进行对位的 严格的对位处理，也可以是掌握各鸟瞰视点图像的坐标这样的程度缓和的对位处理。
[0048] 另外，在对位之后，对位部32取鸟瞰视点图像PBpPBg的差分，生成差分图像H)t的数据。在此，在本实施方式中，对位部32为了对应照度环境的变化，将鸟瞰视点图像PBt、 PBt_i的像素值之差绝对值化，在该绝对值为规定的差分阈值th以上时将差分图像ro t的像 素值设为"1"，在绝对值小于规定的差分阈值th时将差分图像rot的像素值设为"〇"，由此 能够生成如图4的（b)的右侧所示那样的差分图像rot的数据。
[0049] 第1三维物体检测部33基于图4的（b)所示的差分图像H)t的数据来生成差分 波形。具体地说，第1三维物体检测部33在设定于本车辆VI的左右后方的检测区域生成 差分波形。另外，在本实施方式中，第1三维物体检测部33在每次摄像图像rot生成时，基 于所生成的差分图像rot的数据来生成差分波形。即，第1三维物体检测部33以摄像图像 的拍摄周期（帧频）重复生成差分波形。
[0050] 在此，本例的三维物体检测装置1的目的在于计算本车辆VI在车道变更时有可能 接触的邻近车辆V2的移动距离。因此，在本例中，如图2所示，在本车辆VI的左右后方设 定矩形状的检测区域A1、A2。此外，这样的检测区域A1、A2可以根据相对于本车辆VI的相 对位置进行设定，也可以将白线的位置作为基准进行设定。在以白线的位置为基准进行设 定的情况下，三维物体检测装置1例如利用已有的白线识别技术等即可。
[0051] 另外，在本例中，如图2所示那样设定的检测区域A1、A2的在本车辆VI侧的边（沿 着行驶方向的边）被识别为触地线L1、L2。通常，触地线是指三维物体接触地面的线，但是 在本实施方式中不是接触地面的线而是如上述那样进行设定。此外，在这种情况下，从经验 上看本实施方式所涉及的触地线与本来基于邻近车辆V2的位置求出的触地线之差也不会 过大，从而在实际使用上没有问题。
[0052] 图5是表示第1三维物体检测部33生成差分波形的情形的概要图。如图5所示， 第1三维物体检测部33根据由对位部32计算出的差分图像H)t (图4的（b)的右图）中的 相当于检测区域Al、A2的部分来生成差分波形DWt。此时，第1三维物体检测部33沿着通 过视点变换而三维物体倾倒的方向生成差分波形DWt。此外，在图5所示的例子中，为了方 便仅使用检测区域A1进行说明，但是关于检测区域A2，也以相同的过程生成差分波形DWt。
[0053] 具体地说，首先第1三维物体检测部33在差分图像rot的数据上定义三维物体倾 倒的方向上的线La。然后，第1三维物体检测部33对线La上示出规定的差分的差分像素 DP的个数进行计数。在本实施方式中，关于示出规定的差分的差分像素DP，用"0"、" 1"表 现差分图像rot的像素值，表示" 1"的像素作为差分像素DP被计数。
[0054] 第1三维物体检测部33在对差分像素DP的个数进行计数之后，求出线La与触地 线L1的交点CP。然后，第1三维物体检测部33将交点CP与计数数进行对应，基于交点CP 的位置来决定横轴位置、即在图5的右图的上下方向轴上的位置，并且根据计数数决定纵 轴位置、即图5的右图的左右方向轴上的位置，绘制出交点CP处的计数数。
[0055] 以下同样地，第1三维物体检测部33对三维物体倾倒的方向上的线Lb、Lc ? --进 行定义，来对差分像素DP的个数进行计数，基于各交点CP的位置决定横轴位置、根据计数 数（差分像素DP的个数）决定纵轴位置来进行绘制。第1三维物体检测部33依次重复上 述内容并进行频数分布化来如图5右图所示那样生成差分波形DWt。
[0056] 在此，差分图像rot的数据上的差分像素ro是在不同时刻的图像中存在变化的像 素，换言之，可以说是存在三维物体的部分。因此，在存在三维物体的部分，沿着三维物体倾 倒的方向对像素数进行计数并进行频数分布化，由此生成差分波形DWt。特别地，由于沿着 三维物体倾倒的方向对像素数进行计数，因此根据针对三维物体来说在高度方向上的信息 来生成差分波形DWt。
[0057] 此外，如图5左图所示，三维物体倾倒的方向上的线La和线Lb与检测区域A1相 重叠的距离不同。因此，当假设检测区域A1被差分像素DP填满时，线La上的差分像素DP 的个数多于线Lb上的差分像素DP的个数。因此，第1三维物体检测部33在根据差分像素 DP的计数数决定纵轴位置的情况下，基于三维物体倾倒的方向上的线La、Lb与检测区域A1 相重叠的距离来进行标准化。当列举具体例时，在图5左图中，在线La上有6个差分像素 DP，在线Lb上有5个差分像素DP。因此，在图5中根据计数数决定纵轴位置时，第1三维物 体检测部33将计数数除以重叠距离等来进行标准化。由此，如差分波形DWt所示那样，与 三维物体倾倒的方向上的线La、Lb对应的差分波形DWt的值大致相同。
[0058] 在生成差分波形DWt之后，第1三维物体检测部33基于所生成的差分波形DW t来 进行存在于邻近车道的三维物体的检测。在此，图6是用于说明第1三维物体检测部33检 测三维物体的方法的图，示出了差分波形DWt和用于检测三维物体的阈值a的一例。第1 三维物体检测部33如图6所示那样判断所生成的差分波形DWt的峰值是否为与该差分波 形DWt的峰位置对应的规定的阈值a以上，由此在判断检测区域A1、A2中是否存在三维物 体。然后，在差分波形DWt的峰值小于规定的阈值a的情况下，第1三维物体检测部33判 断为检测区域A1、A2中不存在三维物体，另一方面，在差分波形DWt的峰值为规定的阈值a 以上的情况下，第1三维物体检测部33判断为检测区域A1、A2中存在三维物体。
[0059] 在检测出三维物体之后，第1三维物体检测部33通过当前时刻的差分波形DWt与 前一时刻的差分波形DWt_i的对比来计算由第1三维物体检测部33检测出的三维物体的相 对移动速度。即，第1三维物体检测部33根据差分波形DWt、DWt_i的时间变化来计算三维 物体相对于本车辆VI的相对移动速度。
[0060] 详细地说，第1三维物体检测部33如图7所示那样将差分波形DWt分割成多个小 区域DWtl?DWtn(n为2以上的任意整数）。图7是表示由第1三维物体检测部33分割出 的小区域DWtl? DWtn的图。小区域DWtl? DWtn例如图7所示那样以相互重叠的方式进行 分割。例如小区域DWt^小区域DW t2重叠，小区域DW 12与小区域DW t3重叠。
[0061] 接着，第1三维物体检测部33按各小区域DWtl? DW tn求出偏移量（差分波形的横 轴方向（图7的上下方向）的移动量）。在此，根据前一时刻的差分波形DWg与当前时刻 的差分波形DWt之差（横轴方向的距离）求出偏移量。此时，第1三维物体检测部33按各 小区域DWtl?DW tn，在使前一时刻的差分波形DWt_i沿横轴方向移动时，判断出与当前时刻 的差分波形DWt的误差最小的位置（横轴方向的位置），求出差分波形DW h的原来的位置 与误差最小的位置的在横轴方向上的移动量来作为偏移量。然后，第1三维物体检测部33 对按各小区域DWtl?DW tn求出的偏移量进行计数来制作直方图。
[0062] 图8是表示由第1三维物体检测部33获得的直方图的一例的图。如图8所示，各 小区域DWtl?DW ,"与前一时刻的差分波形DW h的误差最小的移动量即偏移量稍微产生偏 差。因此，第1三维物体检测部33将包含偏差的偏移量制作成直方图，根据直方图计算移 动距离。此时，第1三维物体检测部33根据直方图的极大值计算三维物体（邻近车辆V2) 的移动距离。即，在图8所示的例子中，第1三维物体检测部33将表示直方图的极大值的 偏移量计算为移动距离t *。这样，在本实施方式中，即使偏移量产生偏差，也能够根据其极 大值来计算准确性更高的移动距离。此外，移动距离t*是三维物体（邻近车辆V2)相对 于本车辆的相对移动距离。因此，第1三维物体检测部33在计算绝对移动距离的情况下， 基于所获得的移动距离t *和来自车速传感器20的信号来计算绝对移动距离。
[0063] 这样，在本实施方式中，根据在不同时刻生成的差分波形DWt的误差最小时的差分 波形DWt的偏移量计算三维物体（邻近车辆V2)的移动距离，由此根据波形这样的一维的 信息的偏移量计算移动距离，从而能够在计算移动距离时抑制计算成本。另外，通过将不同 时刻生成的差分波形DWt分割成多个小区域DWtl?DWtn，能够获得多个表示三维物体的各个 部分的波形，由此能够针对三维物体的各个部分求出偏移量，从而能够根据多个偏移量求 出移动距离，因此能够提高移动距离的计算精度。另外，在本实施方式中，根据包含高度方 向的信息的差分波形DWt的时间变化来计算三维物体的移动距离，由此与仅关注于1个点 的移动的情况相比，时间变化前的检测部分和时间变化后的检测部分由于包含高度方向的 信息进行确定，因此容易得到三维物体中相同的部分，根据相同部分的时间变化来计算移 动距离，从而能够提高移动距离的计算精度。
[0064] 此外，在制作成直方图时，第1三维物体检测部33也可以针对多个小区域DWtl? DWtn中的每一个进行加权，与权重相应地对按各小区域DW tl?DW ^求出的偏移量进行计数 来制作直方图。图9是表示第1三维物体检测部33的加权的图。
[0065] 如图9所示，小区域DWm(m为1以上、n-1以下的整数）是平坦的。即，小区域DW m的示出规定的差分的像素数的计数的最大值与最小值之差小。第1三维物体检测部33针 对这样的小区域DWm将权重减小。这是因为关于平坦的小区域服^没有特征，从而在计算偏 移量时误差变大的可能性高。
[0066] 另一方面，小区域DWm+k(k为n-m以下的整数）有大量的起伏。即，小区域DW m的示 出规定的差分的像素数的计数的最大值与最小值之差大。第1三维物体检测部33针对这 样的小区域DWm将权重增大。这是因为关于有很多起伏的小区域DWm+k具有特征，从而能够 正确地进行偏移量的计算的可能性高。通过像这样进行加权，能够提高移动距离的计算精 度。
[0067] 此外，为了提高移动距离的计算精度，在上述实施方式中，将差分波形DWt分割成 了多个小区域DWtl?DWtn，但是在移动距离的计算精度要求不那么高的情况下，也可以不分 割成小区域DWtl? DW tn。在这种情况下，第1三维物体检测部33根据差分波形DWt与差分 波形DWt_i的误差变为最小时的差分波形DW t的偏移量来计算移动距离。即，求出前一时刻 的差分波形DWt_i与当前时刻的差分波形DWt的偏移量的方法不限定于上述内容。
[0068] 此外，在本实施方式中，第1三维物体检测部33求出本车辆VI (摄像机10)的移 动速度，根据求出的移动速度求出关于静止物体的偏移量。在求出静止物体的偏移量之后， 第1三维物体检测部33忽略直方图的极大值中的相当于静止物体的偏移量之后计算三维 物体的移动距离。
[0069] 图10是表示由第1三维物体检测部33获得的直方图的另一例的图。在摄像机10 的视角内除了三维物体以外还存在静止物体的情况下，在所获得的直方图中出现两个极大 值T 1、T 2。在这种情况下，两个极大值T 1、T 2中的某一方是静止物体的偏移量。因此， 第1三维物体检测部33根据移动速度求出关于静止物体的偏移量，忽略相当于该偏移量的 极大值，采用剩下的一方的极大值计算三维物体的移动距离。由此，能够防止因静止物而导 致三维物体的移动距离的计算精度降低的情形。
[0070] 此外，在即使忽略相当于静止物体的偏移量也存在多个极大值的情况下，设想在 摄像机10的视角内存在多个三维物体。但是，在检测区域A1、A2内存在多个三维物体的情 形是非常少见的。因此，第1三维物体检测部33中止移动距离的计算。由此，在本实施方 式中，能够防止计算出如存在多个极大值那样的错误的移动距离的情形。
[0071] 然后，第1三维物体检测部33基于三维物体的移动速度来判断存在于邻近车辆的 三维物体是否为邻近车辆V2。例如，第1三维物体检测部33判断三维物体的绝对移动速 度是否为l〇km/h以上且三维物体相对于本车辆VI的相对移动速度是否为+60km/h以下， 在满足双方的情况下，判断为存在于邻近车道的三维物体是邻近车辆V2,检测出邻近车辆 V2〇
[0072] 此外，设为第1三维物体检测部33通过判断三维物体的绝对移动速度是否为 10km/h以上且三维物体相对于本车辆VI的相对移动速度是否为+60km/h以下来检测存在 于邻近车道的邻近车辆V2的结构是基于以下的理由。即，在本实施方式中将本车辆VI的 左右后方设为检测区域A1、A2,重点在于在本车辆VI进行车道变更的情况下是否有接触的 可能性，因此，当以使本实施方式的系统在高速道路上工作的情形为前提时，在邻近车辆V2 的速度小于l〇km/h的情况下，即使存在邻近车辆V2,在进行车道变更时由于位于距本车辆 VI很远的后方，因此即使不将这样的三维物体检测为邻近车辆V2也很少会成为问题。同样 地，在邻近车辆V2相对于本车辆VI的相对移动速度超过+60km/h的情况下（即，邻近车辆 V2以比本车辆VI的速度大60km/h的速度移动的情况下），在进行车道变更时，由于在本车 辆VI的前方移动，因此即使不将这样的三维物体检测为邻近车辆V2也很少会成为问题。
[0073] 另外，根据摄像机10的安装误差，有可能存在将静止物体的绝对移动速度检测出 是数km/h的情况，但是通过判断邻近车辆V2的绝对移动速度是否为10km/h以上，能够减 少将静止物体判断为是邻近车辆V2的可能性。并且，有可能由于噪声而导致将邻近车辆V2 相对于本车辆V的相对速度检测为超过+60km/h的速度，因此，通过判断相对速度是否为 +60km/h以下，能够减少因噪声引起的错误检测的可能性。此外也可以是，在邻近车辆V2的 绝对移动速度不为负、不为〇km/h的情况下，第1三维物体检测部33将存在于邻近车道的 三维物体判断为邻近车辆V2。
[0074] 返回图3,车头灯检测部34基于由摄像机10拍摄得到的摄像图像，来检测存在于 本车辆VI的后方的、作为邻近车辆V2的车头灯的候选的光源。具体地说，车头灯检测部34 检测与周边的明亮度之差为规定值以上且为规定面积以上的大小的图像区域，来作为与邻 近车辆V2的车头灯对应的候选区域，由此检测作为邻近车辆V2的车头灯的候选的光源。
[0075] 第2三维物体检测部35判断由车头灯检测部34检测出的光源是否与邻近车辆V2 的车头灯对应。具体地说，第2三维物体检测部35首先计算由车头灯检测部34检测出的 光源与邻近车辆V2的车头灯对应的确定性，来作为确信度。
[0076] 例如，与行驶于与本车辆VI的行驶车道邻近的邻近车道的邻近车辆V2的车头灯 相比，行驶于本车辆VI的行驶车辆的隔一车道的下一邻近车道的下一邻近车辆的车头灯、 设置于路外的街灯等光源被检测为在远离本车辆VI的位置。因此，沿车宽方向从本车辆VI 至光源的距离越短，则第2三维物体检测部35能够将由车头灯检测部34检测出的光源是 邻近车辆V2的车头灯的确信度计算得越高。另外，由车头灯检测部34检测出的光源的大 小越大，则能够判断为光源存在于距本车辆VI越近的位置处，因此由车头灯检测部34检测 出的光源的大小越大，则第2三维物体检测部35能够将由车头灯检测部34检测出的光源 是邻近车辆V2的车头灯的确信度计算得越高。并且，街灯等光源是静止物并不移动，与此 相对，邻近车辆V2是移动的，因此邻近车辆V2的车头灯的移动速度比街灯等静止物的光源 的移动速度快。另外，与邻近车辆V2的车头灯相比，下一邻近车辆的车头灯被检测为在距 本车辆VI较远的位置处，因此与下一邻近车辆的车头灯的移动速度相比，邻近车辆V2的车 头灯的移动速度倾向于更快。因此，第2三维物体检测部35基于由车头灯检测部34检测 出的光源的位置的变化来计算光源的移动速度，光源的移动速度越快，则能够将该光源是 邻近车辆V2的车头灯的确信度计算得越高。
[0077] 然后，在由车头灯检测部34检测出的光源是邻近车辆V2的车头灯的确信度为规 定值以上的情况下，第2三维物体检测部35判断为在邻近车道存在邻近车辆V2,检测出邻 近车辆V2。
[0078] 白浊度计算部36计算水垢等异物附着在摄像机10的镜头上而镜头白浊（在镜头 表面上形成有白色的薄膜）的程度，来作为镜头的白浊度。下面，说明白浊度计算部36计 算镜头的白浊度的方法。
[0079] 首先，白浊度计算部36检测由第1三维物体检测部33生成的差分波形DWt的超 过规定的判断阈值的峰的数量。例如，在图6所示的例子中，在判断阈值是与阈值a相同 的值的情况下，白浊度计算部36将超过规定的判断阈值的差分波形DWt的峰的数量检测为 "3"。此外，在本实施方式中，以规定的周期（例如，摄像图像的拍摄周期）生成差分波形 DWt，白浊度计算部36在每次差分波形DWt生成时检测所生成的差分波形DW t的超过规定的 判断阈值的峰的数量。即，白浊度计算部36以差分波形DWt生成的周期（摄像图像的拍摄 周期）检测超过规定的判断阈值的峰的数量。此外，上述判断阈值不限定于与阈值a相同 的值，能够预先通过实验等适当地设定。
[0080] 然后，白浊度计算部36基于超过规定的判断阈值的差分波形DWt的峰的数量，来 计算与该差分波形DWt相应的帧得分。具体地说，在差分波形DWt的峰的数量为3以上、且 能够判断为检测出三维物体（邻近车辆V2)的程度越高，则白浊度计算部36将帧得分计算 得越高。例如，在下述的表1所示的例子中，白浊度计算部36在规定的帧中生成的差分波 形DWt的峰的数量为0个?2个的情况下，判断为未检测出邻近车辆V2,将得分计算为0分， 在3个?4个的情况下，判断为存在检测出邻近车辆V2的可能性，将得分计算为1分。并 且，在差分波形DWt的峰的数量为5个?6个的情况下，判断为检测出邻近车辆V2的可能 性高，将得分计算为2分，在7个以上的情况下，判断为检测出邻近车辆V2的可能性更高， 将得分计算为3分。然后，将由白浊度计算部36计算出的帧得分与进行计算的时刻相关联 地存储到计算机30所具备的存储器（未图示）。
[0081] [表 1]
[0082]

【权利要求】
1. 一种三维物体检测装置，其特征在于，具备： 摄像单元，其具备使本车辆后方的影像成像的镜头； 第1三维物体检测单元，其基于由上述摄像单元获得的摄像图像来检测三维物体； 光源检测单元，其基于由上述摄像单元获得的上述摄像图像来检测存在于本车辆后方 的光源； 第2三维物体检测单元，其基于由上述光源检测单元检测出的上述光源来检测三维物 体； 白浊度计算单元，其基于上述摄像图像来计算上述镜头白浊的程度作为镜头白浊度； 以及 控制单元，其在上述镜头白浊度为规定的判断值以上的情况下，至少基于上述第2三 维物体检测单元的检测结果来判断上述三维物体是否为存在于与本车辆的行驶车道邻近 的邻近车道的邻近车辆，在上述镜头白浊度未达到上述判断值的情况下，至少基于上述第1 三维物体检测单元的检测结果来判断上述三维物体是否为上述邻近车辆。
2. 根据权利要求1所述的三维物体检测装置，其特征在于， 上述第1三维物体检测单元具有图像变换单元，该图像变换单元将由上述摄像单元获 得的上述摄像图像视点变换为鸟瞰视点图像， 上述第1三维物体检测单元将由上述图像变换单元获得的不同时刻的鸟瞰视点图像 的位置以鸟瞰视点进行对位，在该对位后的鸟瞰视点图像的差分图像上沿着在视点变换为 上述鸟瞰视点图像时三维物体倾倒的方向对示出规定的差分的像素数进行计数并进行频 数分布化，由此生成差分波形信息，基于该差分波形信息来检测上述三维物体， 上述白浊度计算单元基于在规定时间内生成的上述差分波形信息的峰值中的具有规 定阈值以上的值的峰值的数量，来计算上述镜头白浊度。
3. 根据权利要求2所述的三维物体检测装置，其特征在于， 上述镜头白池度越高，则上述控制单元越相对减小上述第1三维物体检测单元的检测 结果的权重、并且越相对增大上述第2三维物体检测单元的检测结果的权重，上述控制单 元基于加权后的上述第1三维物体检测单元的检测结果和上述第2三维物体检测单元的检 测结果，来判断上述三维物体是否为上述邻近车辆。
4. 根据权利要求2或3所述的三维物体检测装置，其特征在于， 在上述光源检测单元检测出上述光源的情况下，上述白池度计算单元开始上述镜头白 池度的计算。
5. 根据权利要求4所述的三维物体检测装置，其特征在于， 上述白浊度计算单元在开始上述镜头白浊度的计算时，以检测出上述光源的时刻为基 准来设定上述规定时间，基于在上述规定时间内生成的上述差分波形信息的峰值中的具有 上述规定阈值以上的值的峰值的数量，来进行上述镜头白浊度的计算。
6. 根据权利要求4或5所述的三维物体检测装置，其特征在于， 上述白浊度计算单元在开始上述镜头白浊度的计算时，使检测出上述光源的时刻之前 的微小时间包含在上述规定时间内，来计算上述镜头白浊度。
7. 根据权利要求2?6中的任一项所述的三维物体检测装置，其特征在于， 上述白浊度计算单元基于在上述差分波形信息中具有上述规定阈值以上的值的峰值 的数量来计算第一得分，基于在上述规定时间内计算出的上述第一得分的合计值来计算第 二得分，将计算出的上述第二得分的累计值计算为上述镜头白浊度。
8. 根据权利要求7所述的三维物体检测装置，其特征在于， 上述白浊度计算单元对上述第一得分或上述第二得分设置上限。
9. 根据权利要求1所述的三维物体检测装置，其特征在于， 上述第1三维物体检测单元具有图像变换单元，该图像变换单元将由上述摄像单元获 得的上述摄像图像视点变换为鸟瞰视点图像， 上述第1三维物体检测单元从由上述图像变换单元获得的上述鸟瞰视点图像沿着在 视点变换为上述鸟瞰视点图像时三维物体倾倒的方向检测边缘信息，基于该边缘信息来检 测三维物体， 上述白浊度计算单元基于在规定时间内检测出的上述边缘信息所包含的边缘线的量， 来计算上述镜头白浊度。
10. 根据权利要求9所述的三维物体检测装置，其特征在于， 上述镜头白池度越高，则上述控制单元越相对减小上述第1三维物体检测单元的检测 结果的权重、并且越相对增大上述第2三维物体检测单元的检测结果的权重，上述控制单 元基于加权后的上述第1三维物体检测单元的检测结果和上述第2三维物体检测单元的检 测结果，来判断上述三维物体是否为上述邻近车辆。
11. 根据权利要求9或10所述的三维物体检测装置，其特征在于， 在上述光源检测单元检测出上述光源的情况下，上述白池度计算单元开始上述镜头白 池度的计算。
12. 根据权利要求11所述的三维物体检测装置，其特征在于， 上述白浊度计算单元在开始上述镜头白浊度的计算时，以检测出上述光源的时刻为基 准来设定上述规定时间，基于在上述规定时间内检测出的上述边缘信息所包含的边缘线的 量，来进行上述镜头白浊度的计算。
13. 根据权利要求11或12所述的三维物体检测装置，其特征在于， 上述白浊度计算单元在开始上述镜头白浊度的计算时，使检测出上述光源的时刻之前 的微小时间包含在上述规定时间内，来计算上述镜头白浊度。
14. 根据权利要求9?13中的任一项所述的三维物体检测装置，其特征在于， 上述白浊度计算单元基于上述边缘信息所包含的上述边缘线的量来计算第一得分，基 于在上述规定时间内计算出的上述第一得分的合计值来计算第二得分，将计算出的上述第 二得分的累计值计算为上述镜头白浊度。
15. 根据权利要求14所述的三维物体检测装置，其特征在于， 上述白浊度计算单元对上述第一得分或上述第二得分设置上限。
16. -种三维物体检测方法，将拍摄本车辆后方得到的摄像图像视点变换为鸟瞰视点 图像，将不同时刻的上述鸟瞰视点图像的位置以鸟瞰视点进行对位，在该对位后的鸟瞰视 点图像的差分图像上沿着视点变换为上述鸟瞰视点图像时三维物体倾倒的方向对示出规 定的差分的像素数进行计数并进行频数分布化，由此生成差分波形信息，基于该差分波形 信息来检测三维物体，输出该检测结果作为第一检测结果，并且基于上述摄像图像来检测 存在于本车辆后方的光源，基于上述光源来检测三维物体，输出该检测结果作为第二检测 结果，基于上述第一检测结果和上述第二检测结果来判断上述三维物体是否为存在于与本 车辆的行驶车道邻近的邻近车道的邻近车辆，该三维物体检测方法的特征在于， 基于在规定时间内生成的上述差分波形信息的峰值中的具有规定阈值以上的值的峰 值的数量来计算上述镜头白浊的程度作为镜头白浊度，在上述镜头白浊度为规定的判断值 以上的情况下，基于上述第一检测结果和上述第二检测结果中的至少上述第二检测结果来 判断上述三维物体是否为上述邻近车辆，在上述镜头白浊度未达到上述判断值的情况下， 基于上述第一检测结果和上述第二检测结果中的至少上述第一检测结果来判断上述三维 物体是否为上述邻近车辆。
17. -种三维物体检测方法，将拍摄本车辆后方得到的摄像图像视点变换为鸟瞰视点 图像，从上述鸟瞰视点图像沿着视点变换为上述鸟瞰视点图像时三维物体倾倒的方向检测 边缘信息，基于该边缘信息来检测三维物体，输出该检测结果作为第一检测结果，并且基于 上述摄像图像来检测存在于本车辆后方的光源，基于上述光源来检测三维物体，输出该检 测结果作为第二检测结果，基于上述第一检测结果和上述第二检测结果来判断上述三维物 体是否为存在于与本车辆的行驶车道邻近的邻近车道的邻近车辆，该三维物体检测方法的 特征在于， 基于在规定时间内检测出的上述边缘信息所包含的边缘线的量来计算上述镜头白浊 的程度作为镜头白浊度，在上述镜头白浊度为规定的判断值以上的情况下，基于上述第一 检测结果和上述第二检测结果中的至少上述第二检测结果来判断上述三维物体是否为上 述邻近车辆，在上述镜头白浊度未达到上述判断值的情况下，基于上述第一检测结果和上 述第二检测结果中的至少上述第一检测结果来判断上述三维物体是否为上述邻近车辆。
【文档编号】H04N7/18GK104509099SQ201380040039
【公开日】2015年4月8日 申请日期:2013年7月25日 优先权日:2012年7月27日
【发明者】深田修, 早川泰久 申请人:日产自动车株式会社