立体物检测装置制造方法

立体物检测装置制造方法
【专利摘要】具有立体物检测单元(32、33、34)，其在对不同时刻的鸟瞰视野图像进行位置对齐而得到的差分图像中，对表示大于或等于差分阈值的差分的像素数进行计数而生成差分波形信息，基于差分波形信息进行立体物的检测；基准图像区域设定单元(35)，其将与检测区域不同的区域、且预测为提取到被摄体的轮廓信息的区域设定为基准图像区域；轮廓信息检测单元(35)，其对被摄体的轮廓信息进行提取；基准清晰度计算单元(35)，其基于在基准图像区域中检测到的轮廓信息对基准清晰度进行计算；以及对象清晰度计算单元(35)，其基于在检测区域中检测到的轮廓信息，对对象清晰度进行计算，立体物检测单元(32、33、34)基于基准清晰度和对象清晰度对最终清晰度进行计算，并基于计算出的最终清晰度对差分阈值进行设定。
【专利说明】立体物检测装置

【技术领域】
[0001] 本发明涉及立体物检测装置。
[0002] 本申请基于2012年3月2日申请的日本国专利申请的特愿2012 -046670和2012 年7月19日申请的日本国专利申请的特愿2012 - 160775主张优先权，对于认可通过文献 的参照进行的编入的指定国，通过参照将上述的申请所记载的内容编入引入本申请中，作 为本申请的记载的一部分。

【背景技术】
[0003] 当前，已知有根据由照相机拍摄而得到的拍摄图像对立体物进行检测的技术（参 照专利文献1)。
[0004] 专利文献1 :日本特开2001 - 273494号公报


【发明内容】

[0005] 不过，当前，在照相机的镜头整体被弄脏的情况下，无法对鲜明的拍摄图像进行拍 摄，其结果，存在无法根据拍摄图像对其他车辆进行检测的情况。
[0006] 本发明所要解决的课题在于，提供一种在照相机的镜头整体被弄脏的情况下，也 能够准确地对立体物进行检测的立体物检测装置。
[0007] 本发明提供如下方式解决上述问题：根据在不同时刻获得的两张鸟瞰视野图像的 差分生成差分波形，在基于该差分波形对立体物进行检测时，将预测为检测到一定量的轮 廓信息的图像区域设定为基准图像区域，将基准图像区域中的图像的鲜明度的程度作为基 准清晰度进行计算，并且，将检测区域中的图像的鲜明度的程度作为对象清晰度进行计算， 基于基准清晰度与对象清晰度的比较结果，变更用于对两张鸟瞰视野图像的差分进行检测 的差分阈值。
[0008] 根据本发明，与图像的鲜明度相对应地对差分阈值进行变更，从而能够与图像的 鲜明度相对应地对鸟瞰视野图像间中的差分的检测灵敏度进行调整，因此，在镜头整体被 弄脏、图像不鲜明的情况下，也能够适当地对立体物进行检测。

【专利附图】

【附图说明】
[0009] 图1是搭载有第1实施方式涉及的立体物检测装置的车辆的概略结构图。
[0010] 图2是表示图1的车辆的行驶状态的俯视图。
[0011] 图3是表示第1实施方式涉及的计算机的详细情况的框图。
[0012] 图4是用于对第1实施方式涉及的位置对齐部的处理的概要进行说明的图，（a)是 表示车辆的移动状态的俯视图、（b)是表示位置对齐的概要的图像。
[0013] 图5是表示由照相机拍摄而得到的图像的一个例子的图。
[0014] 图6是用于说明镜头的弄脏与清晰度之间的关系的图。
[0015] 图7是用于说明基于提取基准值对基准清晰度进行计算的方法的图。
[0016] 图8是用于说明对基准清晰度和对象清晰度比较并对最终清晰度进行计算的方 法的图。
[0017] 图9是表示最终清晰度与差分阈值th之间的关系的一个例子的曲线图。
[0018] 图10是表示由第1实施方式涉及的立体物检测部生成差分波形的情形的概略图。
[0019] 图11是表示由第1实施方式涉及的立体物检测部分割的小区域的图。
[0020] 图12是表示由第1实施方式涉及的立体物检测部获得的柱状图的一个例子的图。
[0021] 图13是表示由第1实施方式涉及的立体物检测部进行加权的图。
[0022] 图14是表示由第1实施方式涉及的立体物检测部获得的柱状图的另一个例子的 图。
[0023] 图15是用于说明对存在于相邻车道的相邻车辆进行判定的方法的图。
[0024] 图16是表示第1实施方式涉及的相邻车辆检测方法的流程图（其1)。
[0025] 图17是表示第1实施方式涉及的相邻车辆检测方法的流程图（其2)。
[0026] 图18是表示第2实施方式涉及的计算机的详细情况的框图。
[0027] 图19是表示车辆的行驶状态的图，（a)是表示检测区域等的位置关系的俯视图， (b)是表示实际空间中的检测区域等的位置关系的斜视图。
[0028] 图20是用于对第2实施方式涉及的亮度差计算部的动作进行说明的图，（a)是表 示鸟瞰视野图像中的注视线、参照线、注视点以及参照点的位置关系的图，（b)是表示实际 空间中的注视线、参照线、注视点以及参照点的位置关系的图。
[0029] 图21是用于对第2实施方式涉及的亮度差计算部的详细的动作进行说明的图， (a)是表示鸟瞰视野图像中的检测区域的图、（b)是表示鸟瞰视野图像中的注视线、参照 线、注视点以及参照点的位置关系的图。
[0030] 图22是表示用于对边缘检测动作进行说明的图像例的图。
[0031] 图23是表示边缘线和边缘线上的亮度分布的图，（a)是表示立体物（相邻车辆） 存在于检测区域的情况下的亮度分布的图，（b)是表示立体物不存在于检测区域的情况下 的亮度分布的图。
[0032] 图24是表示最终清晰度与边缘阈值t之间的关系的一个例子的曲线图。
[0033] 图25是表示第2实施方式涉及的相邻车辆检测方法的流程图（其1)。
[0034] 图26是表示第2实施方式涉及的相邻车辆检测方法的流程图（其2)。
[0035] 图27是用于说明对基准清晰度和对象清晰度进行比较而对最终清晰度进行计算 的另一方法的图。
[0036] 图28是用于说明对基准清晰度和对象清晰度进行比较而对最终清晰度进行计算 的另一方法的图。

【具体实施方式】
[0037] 《第1实施方式》
[0038] 图1是搭载有第1实施方式涉及的立体物检测装置1的车辆的概略结构图。本实 施方式涉及的立体物检测装置1的目的在于，对本车辆VI变更车道时有可能接触的存在于 相邻车道的其它车辆（下面也称为相邻车辆）进行检测。如图1所示，本实施方式涉及的 立体物检测装置1包括照相机10、车速传感器20和计算机30。
[0039] 如图1所示，照相机10在本车辆VI的后方的高度h的部位处，以光轴从水平向下 成为角度Θ的方式安装于车辆VI上。照相机10从该位置对本车辆VI的周围环境中的规 定区域进行拍摄。车速传感器20用于对本车辆VI的行驶速度进行检测，例如根据由对车 轮的转速进行探测的车轮速度传感器检测出的车轮速度计算车速。计算机30对存在于本 车辆后方的相邻车道的相邻车辆进行检测。
[0040] 图2是表示图1的本车辆VI的行驶状态的俯视图。如图2所示，照相机10以规 定的视场角a对车辆后方侧进行拍摄。此时，照相机10的视场角a设定为除了能够拍摄本 车辆VI所行驶的车道之外，还能拍摄其左右的车道（相邻车道）的视场角。
[0041] 图3是表示图1的计算机30的详细情况的框图。此外，在图3中为了明确连接关 系，也图示了照相机10、车速传感器20。
[0042] 如图3所示，计算机30包括视点变换部31、位置对齐部32、立体物检测部33、差分 阈值设定部34和清晰度计算部35。下面对各自的结构进行说明。
[0043] 视点变换部31输入利用照相机10的拍摄而获得的规定区域的拍摄图像数据，将 输入的拍摄图像数据视点变换为鸟瞰观察的状态的鸟瞰视野图像数据。所谓鸟瞰观察的状 态是从上空例如铅垂向下俯视的假想照相机的视点观察到的状态。该视点变换能够以例如 日本特开2008 - 219063号公报所记载的方式执行。将拍摄图像数据视点变换为鸟瞰视野 图像数据是基于下述原理，即，立体物所特有的铅垂边缘在向鸟瞰视野图像数据的视点变 换时，被变换为通过特定的定点的直线组，只要利用此原理，就能够识别平面物和立体物。
[0044] 位置对齐部32将通过视点变换部31的视点变换而获得的鸟瞰视野图像数据依次 输入，对输入的不同时刻的鸟瞰视野图像数据的位置进行位置对齐。图4是用于说明位置 对齐部32的处理的概要的图，（a)是表示本车辆VI的移动状态的俯视图、（b)是表示位置 对齐的概要的图像。
[0045] 如图4的（a)所示，设为当前时刻的本车辆VI位于P1，一个时刻前的本车辆VI位 于ΡΓ。另外，相邻车辆V2位于本车辆VI的后侧方向上，处于与本车辆VI并行的状态，设 为当前时刻的相邻车辆V2位于P2, 一个时刻前的相邻车辆V2位于P2'。并且，设为本车辆 VI以一个时刻移动了距离d。此外，一个时刻前既可以是从当前时刻起早预定的时间（例 如1个控制周期）的时刻，也可以是早任意的时间的时刻。
[0046] 在这样的状态下，当前时刻的鸟瞰视野图像PBt如图4的（b)所示。在该鸟瞰视 野图像PB t中，对于描绘在路面上的白线，成为矩形形状，比较准确地成为俯视的状态，但对 于相邻车辆V2 (位置P2)，发生歪斜。另外，对于一个时刻前的鸟瞰视野图像PBt_i也同样 地，对于描绘在路面上的白线，成为矩形形状，比较准确地成为俯视的状态，但对于相邻车 辆V2(位置P2'），发生歪斜。其原因在于，如上所述，立体物的铅垂边缘（除了严格意义上 的铅垂边缘以外，还包含从路面以三维空间立起的边缘）由于向鸟瞰视野图像数据的视点 变换处理而呈现为沿着歪斜的方向的直线组，与此相对，路面上的平面图像不包含铅垂边 缘，因此，即使进行视点变换，也会不产生这种歪斜。
[0047] 位置对齐部32在数据上执行如上述的鸟瞰视野图像ΡΒ,、ΡΒη的位置对齐。此时， 位置对齐部32使一个时刻前的鸟瞰视野图像PB t_i偏置，并使其与当前时刻的鸟瞰视野图 像PBt的位置一致。图4的（b)中的左侧的图像和中央的图像表示偏置了移动距离d'的 状态。该偏置量d'是与图4的（a)所示的本车辆VI的实际的移动距离d相对应的鸟瞰视 野图像数据上的移动量，基于来自车速传感器20的信号和从一个时刻前到当前时刻为止 的时间确定。
[0048] 另外，在位置对齐后，位置对齐部32取得鸟瞰视野图像PBpPBg的差分，生成差分 图像PD t的数据。在此，在本实施方式中，位置对齐部32为了与照度环境的变化相对应，使 鸟瞰视野图像PBt、PB t_i的像素值的差绝对值化，在该绝对值大于或等于规定的阈值th时， 将差分图像PDt的像素值设为"1"，在绝对值小于规定的阈值th时，将差分图像PD t的像素 值设为"0"，从而能够生成图4的（b)的右侧所示的差分图像PDt的数据。
[0049] 此外，在本实施方式中，上述差分阈值th由图3所示的差分阈值设定部34设定。 另外，在本实施方式中，差分阈值设定部34基于后述的清晰度计算部35的计算结果对差分 阈值th进行设定。下面说明由差分阈值设定部34和清晰度计算部35进行的差分阈值th 的设定方法。
[0050] 清晰度计算部35将鸟瞰视野图像的鲜明度的程度作为清晰度进行计算。即，被摄 体越鲜明地映在鸟瞰视野图像中，清晰度计算部35将清晰度计算得越高，另一方面，被摄 体越不鲜明，将清晰度计算得越低。例如，照相机10的镜头整体被弄脏的情况下（例如，在 镜头被雨淋之后镜头的表面干燥、雨滴的痕迹呈白糊糊的膜状残留在镜头上的情况下等）， 清晰度被计算得较低。
[0051] 另外，在本实施方式中，清晰度计算部35对基准清晰度和对象清晰度这两种清晰 度进行计算。在此，基准清晰度是指预测为存在规定的被摄体的图像区域中的清晰度，对象 清晰度是指检测区域Al、A2中的清晰度。下面说明利用清晰度计算部35进行的基准清晰 度和对象清晰度的计算方法。此外，在下面说明的清晰度的计算方法是一个例子，并不限定 于此。
[0052] 首先，对基准清晰度的计算方法进行说明。在本实施方式中，清晰度计算部35首 先在鸟瞰视野图像上将预测能够检测到大于或等于一定量的边缘的图像区域设定作为基 准图像区域。由于例如照相机10的设置位置、设置角度等的不同，如图5所示，本车辆的保 险杠、用于将照相机10安装于本车辆的照相机10的壳体和本车辆的汽车牌照等在固有的 图像区域中被拍摄。这样的被摄体是本车辆的一部分，存在于距被搭载于本车辆上的照相 机10较近的位置。因此，在对这样的被摄体进行拍摄的情况下，预测为被摄体比较鲜明地 被拍摄，从拍摄到的被摄体能够提取大于或等于一定量的边缘。因此，清晰度计算部35将 与本车辆的保险杠、照相机10的壳体、或者本车辆的汽车牌照等本车辆的一部分的图像相 对应的图像区域，设定作为预测为提取到一定量的边缘的基准图像区域。此外，如图5所 示，这样的本车辆的一部分的图像位于固有的区域，因此，不对被摄体的位置进行检测就能 够设定基准图像区域。
[0053] 另外，基准图像区域的设定方法并不限定于上述方法，也可以以下这样设定基准 图像区域。也可以将包含例如水平线的图像区域设定为基准图像区域。其原因在于，预测 为在包含水平线的图像区域中，在海与空之间容易产生对比度，能够提取大于或等于一定 量的边缘。另外，如图5所示，也可以将包含地平线的图像区域设定为基准图像区域。其原 因在于，预测为在包含地平线的图像区域中，在道路与天空之间容易产生对比度，能够提取 大于或等于一定量的边缘。如图5所示，与水平线、地平线等远方的风景相对应的图像区域 也位于固有的区域，因此，不对被摄体的位置进行检测就能够设定基准图像区域。此外，也 可以构成为，在白天将包含水平线的图像区域设定为基准图像区域，在夜间将包含地平线 的区域设定为基准图像区域。
[0054] 并且，清晰度计算部35也可以构成为将包含道路的消失点在内的图像区域设定 为基准图像区域。这是因为在包含道路的消失点的图像区域中的图像上的被摄体的移动速 度变慢，因此能够稳定地对被摄体的边缘进行检测。因此，例如将包含地平线的消失点附近 的图像区域设定为基准图像区域，从而清晰度计算部35能够更适当地提取大于或等于一 定量的边缘。
[0055] 此外，清晰度计算部35也可以将包含路灯、其他车辆的前大灯等光源的图像在内 的图像区域设定为基准图像区域。其原因在于，预测为在路灯、前大灯等高亮度区域与其周 边的低亮度区域之间容易产生对比度，能够提取大于或等于一定量的边缘。此外，路灯、前 大灯等光源的检测方法并不特别地限定，清晰度计算部35能够将例如与周边的亮度之差 大于或等于规定值、而且大于或等于规定值的大小的图像区域作为与光源相对应的区域进 行检测。
[0056] 并且，清晰度计算部35能够将基准图像区域中的图像的鲜明度的程度作为基准 清晰度进行计算。具体而言，清晰度计算部35在彼此相邻的像素间的亮度差在基准图像区 域中大于或等于规定值的情况下，判断为被摄体的边缘（轮廓）存在于这些彼此相邻的像 素间，从具有这样的亮度差的像素提取被摄体的边缘。另外，在基准图像区域中的像素间的 亮度差越大，清晰度计算部35越将存在于基准图像区域的被摄体的边缘的强度提取为越 高的值。并且，基准图像区域中提取后的边缘的强度越高，清晰度计算部35以越高的值对 基准图像区域中的基准清晰度进行计算。
[0057] 在此，图6是用于对镜头的弄脏和清晰度（图像的鲜明度）之间的关系进行说明 的图。此外，图6中纵轴表示亮度、横轴表示像素的位置。另外，在图6中例示了对路灯、前 大灯等高亮度的被摄体进行拍摄的情景。如图6所示，在照相机10的镜头被弄脏的情况下， 由于附着于照相机10的镜头的污物，从被摄体入射到镜头的光漫反射，与镜头未弄脏的情 况相比较，亮度的峰值的梯度变平缓，像素间的亮度差变小。因此，清晰度计算部35在照相 机10的镜头被弄脏的情况下，将边缘强度检测为较小，在该情况下，以较低的值对基准清 晰度进行计算。另一方面，在镜头未弄脏的情况下，如图6所示，亮度的峰值的梯度变陡峭， 像素间的亮度差变大。因此，清晰度计算部35在照相机10的镜头未弄脏的情况下，将边缘 强度检测为较大，在该情况下，以较高的值对基准清晰度进行计算。这样，清晰度计算部35 根据边缘的强度对表示图像的鲜明度的程度的基准清晰度进行计算。
[0058] 此外，由清晰度计算部35进行的基准清晰度的计算方法并不限定于上述方法，能 够用以下的方法对基准清晰度进行计算。即，也可以将具有大于或等于规定值的亮度的区 域作为高亮度区域进行检测，基于检测到的高亮度区域的周边的亮度的梯度对基准清晰度 进行计算。具体而言，清晰度计算部35在将包含路灯、前大灯等光源的图像在内的图像区 域设定为基准图像区域的情况下，对从与路灯、前大灯等光源相对应的高亮度区域的外缘 朝向外侧的亮度的梯度进行检测。在此，如图6所示，在镜头未弄脏的情况下，亮度的梯度 陡峭，另一方面，在镜头被弄脏的情况下，亮度的梯度变平缓。因此，清晰度计算部35在照 相机10的镜头未弄脏的情况下，对陡峭的亮度的梯度进行检测，在该情况下，以较高的值 对基准清晰度进行计算。另一方面，清晰度计算部35在照相机10的镜头被弄脏的情况下， 对平缓的亮度的梯度进行检测，在该情况下，以较低的值对基准清晰度进行计算。
[0059] 另外，也可以构成为，基于图像的频率成分对基准清晰度进行计算。即，从在基准 图像区域中获得的图像信号提取被摄体的频率成分，对提取的频率成分实施低通滤波处 理，从而去除高频成分。然后，也可以将去除了高频成分之后的频率成分与去除高频成分之 前的频率成分进行比较，提取被摄体的高频成分，从而将提取出的高频成分作为基准清晰 度进行计算。从基准图像区域获得的被摄体的高频成分从基准图像区域中的对比度较高的 区域获得，因此，高频成分越多，图像越鲜明（是高对比度的），在该情况下，能够以较高的 值对基准清晰度进行计算。
[0060] 并且，也可以构成为，基于从基准图像区域提取边缘时所采用的提取基准值对基 准清晰度进行计算。在此，图7是用于对基于提取基准值计算基准清晰度的方法进行说明 的图。例如，在图7所示的例子中，清晰度计算部35首先从基准亮度区域提取大于或等于 预先设定的提取基准值ts的边缘，对是否能够提取大于或等于规定量的边缘进行判定。然 后，在无法提取大于或等于规定量的边缘的情况下，清晰度计算部35将提取基准值ts变 更为较小的值，提取大于或等于变更后的提取基准值的边缘，对在基准亮度区域中能否提 取大于或等于规定量的边缘进行判定。这样，清晰度计算部35 -边将提取基准值变更为 较小的值一边反复进行边缘的提取，确定能够提取大于或等于规定量的边缘的提取基准值 ts'（能够提取大于或等于规定量的边缘的提取基准值中的最大的提取基准值ts'）。在此， 在对同一被摄体进行拍摄的情况下，如图7所示，镜头弄脏而图像越不鲜明，被摄体的轮廓 越模糊，提取的被摄体的边缘的强度越小。因此，如图7所示，与镜头未弄脏、图像照得鲜明 的情况相比，在镜头弄脏而图像不鲜明的情况下，如果不将提取基准值变更为更小的值，则 无法提取大于或等于规定量的边缘。因此，清晰度计算部35判断为能够提取大于或等于规 定量的边缘的提取基准值越小、镜头弄脏并且图像越不鲜明，越以较低的值对基准清晰度 进行计算。
[0061] 并且，清晰度计算部35除了与基准图像区域相对应的基准清晰度之外。还将检 测区域Al、A2中的图像的鲜明度的程度作为对象清晰度进行计算。此外，对象清晰度的计 算方法除了在检测区域Al、A2中对清晰度进行计算以外，与基准清晰度的计算方法是同样 的，因此，省略其说明。
[0062] 并且，清晰度计算部35对计算出的基准清晰度和对象清晰度进行比较，如图8所 示，将基准清晰度和对象清晰度中的较高的值作为最终清晰度进行计算。此外，图8是表示 最终清晰度的一个例子的曲线图，在图8中，用实线表示最终清晰度。另外，在图8中，横轴 表示时间，纵轴表示清晰度的值。
[0063] 并且，返回到图3,差分阈值设定部34基于由清晰度计算部35计算出的最终清晰 度对差分阈值th进行计算。在此，图9是表示最终清晰度和差分阈值th之间的关系的曲 线图。如图9所示，对于差分阈值设定部34,最终清晰度越低，将差分阈值th设定得越低， 最终清晰度越高，将差分阈值th设定越高。由此，在照相机10的镜头整体被弄脏而最终清 晰度较低的情况下，差分阈值th设定得较低。
[0064] 在此，在不同时刻获得的两张鸟瞰视野图像间的差分，是在不同时刻获得的两张 鸟瞰视野图像中存在变化的部位，换言之，可以说是立体物存在的可能性较高的部位。因 此，在检测区域的最终清晰度较低的情况下，降低差分阈值th，提高在不同时刻获得的两张 鸟瞰视野图像间中的差分的检测灵敏度，从而能够容易在检测区域中检测立体物。其结果， 即使在镜头整体弄脏、检测区域的最终精锐度较低的情况下，也能够适当地在检测区域中 对立体物进行检测。
[0065] 返回到图3,立体物检测部33基于图4的（b)所示的差分图像H)t的数据，对立体 物进行检测。此时，立体物检测部33对于实际空间上的立体物的移动距离也进行计算。在 进行立体物的检测和移动距离的计算时，立体物检测部33首先生成差分波形。
[0066] 具体而言，立体物检测部33在由后述的检测区域设定部34设定的检测区域中生 成差分波形。此外，本例的立体物检测装置1的目的在于，对于在本车辆VI变更车道时有 可能接触的相邻车辆计算移动距离。因此，在本例中，如图2所示，在本车辆VI的后侧方设 定矩形形状的检测区域A1、A2。此外，这样的检测区域A1、A2既可以根据相对于本车辆VI 的相对位置进行设定，也可以以白线的位置为基准进行设定。在以白线的位置为基准进行 设定的情况下，立体物检测装置1可以利用例如现有的白线识别技术等。此外，由检测区域 设定部34设定检测区域的方法将后述。
[0067] 另外，如图2所示，立体物检测部33将设定的检测区域A1、A2的本车辆VI侧的边 (沿着行驶方向的边）识别为接地线L1、L2。通常接地线是指立体物与地面接触的线，但在 本实施方式中不是与地面接触的线，而是如上所述地设定。此外，即使是该情况下，从经验 上来看，本实施方式涉及的接地线与根据相邻车辆V2本来的位置求出的接地线之差也不 会过大，在实际使用方面没有问题。
[0068] 图10是表示由立体物检测部33生成差分波形的情形的概略图。如图10所示，立 体物检测部33根据在由位置对齐部32计算出的差分图像H) t(图6的（b)的右图）中与 检测区域A1、A2相当的部分，生成差分波形DWt。此时，立体物检测部33沿着由于视点变换 而立体物歪斜的方向，生成差分波形DW t。此外，在图10所示的例子中，为了方便，仅采用检 测区域A1进行说明，但对于检测区域A2也以同样的顺序生成差分波形DW t。
[0069] 具体地进行说明，首先，立体物检测部33在差分图像PDt的数据上对立体物歪斜 的方向上的线La进行定义。然后，立体物检测部33在线La上对表示规定的差分的差分像 素 DP的数量进行计数。在本实施方式中，将具有大于或等于由差分阈值设定部34设定的 差分阈值th的差分的像素的像素值用" 1"表现，具有小于差分阈值th的差分的像素的像 素值用"〇"表现，将表示像素值" 1"像素作为差分像素 DP进行计数。
[0070] 立体物检测部33在对差分像素 DP的数量进行计数之后，求出线La与接地线L1 的交点CP。然后，立体物检测部33使交点CP与计数数量相对应，基于交点CP的位置对横 轴位置、即图10右图的上下方向轴上的位置进行确定，并且，根据计数数量对纵轴位置、即 图10右图的左右方向轴上的位置进行确定，作为交点CP处的计数数量进行标示。
[0071] 以下，同样地，立体物检测部33对立体物歪斜的方向上的线Lb、Lc…进行定义，对 差分像素 DP的数量进行计数，基于各交点CP的位置确定横轴位置，根据计数数量（差分像 素 DP的数量）确定纵轴位置并进行标示。立体物检测部33依次重复上述内容而进行频率 分布化，从而如图10右图所示生成差分波形DW t。
[0072] 如上所述，差分图像PDt的数据上的差分像素 ro是在不同时刻的图像中存在变化 的像素，换言之，也可以说是存在有立体物的部位。因此，在存在有立体物的部位，沿着立体 物歪斜的方向对像素数进行计数并进行频率分布化，从而生成差分波形DW t。尤其是，沿着 立体物歪斜的方向对像素数量进行计数，因此，对于立体物根据高度方向的信息生成差分 波形DWt。
[0073] 此外，如图10左图所示，立体物歪斜的方向上的线La和线Lb与检测区域A1重复 的距离不同。因此，如果检测区域A1被差分像素 DP充满，则线La上的差分像素 DP的数量 多于线Lb上的差分像素 DP的数量。因此，在立体物检测部33根据差分像素 DP的计数数 量确定纵轴位置的情况下，基于立体物歪斜的方向上的线La、Lb与检测区域A1重复的距离 进行标准化。如果列举具体例，在图10左图中线La上的差分像素 DP有6个，线Lb上的差 分像素 DP有5个。因此，在图10中根据计数数量确定纵轴位置时，立体物检测部33将计 数数量除以重复距离等而进行标准化。由此，如差分波形DW t所示，与立体物歪斜的方向上 的线La、Lb相对应的差分波形DWt的值大致相同。
[0074] 在生成差分波形DWt后，立体物检测部33基于生成的差分波形DWt，进行存在于相 邻车道的相邻车辆的检测。立体物检测部33通过当前时刻的差分波形DW t与一个时刻前的 差分波形DWt + i之间的对比对移动距离进行计算。即，立体物检测部33根据差分波形DWt、 DWt _ i之间的时间变化计算移动距离。
[0075] 详细地进行说明，立体物检测部33如图11所示将差分波形DWt分割为多个小区域 DWtl?DWtn(η为大于或等于2的任意的整数）。图11是表示由立体物检测部33分割的小 区域DW U?DWtn的图。如图8所示，小区域DWU?DWtn例如相互重复地分害I]。例如小区域 DWti与小区域DWt2重复，小区域DWt2与小区域DWt3重复。
[0076] 然后，立体物检测部33针对每个小区域DWtl?DWtn求出偏置量（差分波形的横轴 方向（图11的上下方向）上的移动量）。在这里，偏置量根据一个时刻前的差分波形DW t_ :与当前时刻的差分波形DWt之差（横轴方向的距离）求出。此时，立体物检测部33对针对 每个小区域DW tl?DWtn判定使一个时刻前的差分波形DWt _ i沿着横轴方向移动时与当前时 刻的差分波形DWt之间的误差成为最小的位置（横轴方向上的位置），将与差分波形DW t _ 1 本来的位置与误差成为最小的位置之间的横轴方向的移动量作为偏置量求出。然后，立体 物检测部33对针对每个小区域DW tl?DWtn求出的偏置量进行计数并绘制柱状图。
[0077] 图12是表示利用立体物检测部33获得的柱状图的一个例子的图。如图12所示， 各小区域DW tl?DWtn与一个时刻前的差分波形DWt _ i之间的误差成为最小的移动量即偏置 量存在些许的波动。因此，立体物检测部33将包含波动在内的偏置量绘制成柱状图，根据 柱状图计算移动距离。此时，立体物检测部33根据柱状图的极大值对相邻车辆的移动距离 进行计算。即，在图12所示的例中，立体物检测部33将表示柱状图的极大值的偏置量作为 移动距离，计算。这样，在本实施方式中，即使偏置量存在波动，也能够根据该极大值计 算准确性更高的移动距离。此外，移动距离，是相邻车辆相对于本车辆VI的相对移动距 离。因此，立体物检测部33在对绝对移动距离进行计算的情况下，基于所得到的移动距离 τ #和来自车速传感器20的信号对绝对移动距离进行计算。
[0078] 如上所述，在本实施方式中，根据在不同时刻生成的差分波形DWt的误差成为最小 时的差分波形DW t的偏置量对立体物的移动距离进行计算，从而根据波形这样的1维的信 息的偏置量对移动距离进行计算，在计算移动距离时能够抑制计算成本。另外，通过将在不 同时刻生成的差分波形DW t分割成多个小区域DWtl?DWtn，能够获得多个表示立体物的各自 的部位的波形，由此，能够针对立体物的各自的部位求出偏置量，能够根据多个偏置量求出 移动距离，因此，能够提高移动距离的计算精度。另外，在本实施方式中，通过根据包含高度 方向的信息在内的差分波形DWt的时间变化，对立体物的移动距离进行计算，从而与仅着眼 于1点的移动这样的情况相比，能够使时间变化前的检测部位和时间变化后的检测部位包 含高度方向的信息地被指定，因此，在立体物中容易成为相同的部位，根据相同的部位的时 间变化对移动距离进行计算，从而提高移动距离的计算精度。
[0079] 此外，也可以在绘制柱状图时，立体物检测部33针对多个小区域DWtl?DW tn中的 每一个进行加权，对应于权重对针对每个小区域DWtl?DWtn求出的偏置量进行计数并绘制 柱状图。图13是表示由立体物检测部33进行加权的图。
[0080] 如图13所示，小区域DWm(m为大于或等于1且小于或等于η - 1的整数）是平坦 的。即，在小区域DWm*，表示规定的差分的像素数的计数的最大值与最小值之差变小。立 体物检测部33对这样的小区域DW m设较小的权重。其原因在于，平坦的小区域DWm没有特 征，在计算偏置量时误差变大的可能性较高。
[0081] 另一方面，小区域DWm+k(k为小于或等于n -m的整数）具有起伏。即，在小区域 DWm中，表示规定的差分的像素数的计数的最大值与最小值之差变大。立体物检测部33针 对这样的小区域大权重。其原因在于，具有起伏的小区域DW m+k存在特征，能够准确地 进行偏置量的计算的可能性较高。通过这样加权，能够提高移动距离的计算精度。
[0082] 此外，为了提高移动距离的计算精度，在上述实施方式中，将差分波形DWt分割成 多个小区域DW tl?DWtn，但在移动距离的计算精度要求并不是很高的情况下，也可以不分割 成小区域DW tl?DWtn。在该情况下，立体物检测部33根据差分波形DWt与差分波形DW t _ i 之间的误差成为最小时的差分波形DWt的偏置量对移动距离进行计算。即，求出一个时刻前 的差分波形DW t _ i与当前时刻的差分波形DWt之间的偏置量的方法并不限定于上述内容。
[0083] 此外，在本实施方式中，立体物检测部33求出本车辆VI (照相机10)的移动速度， 根据求出的移动速度求出静止物的偏置量。在求出静止物的偏置量之后，立体物检测部33 在忽视了柱状图的极大值中的相当于静止物的偏置量后对相邻车辆的移动距离进行计算。
[0084] 图14是表示由立体物检测部33获得的柱状图的另一个例子的图。在照相机10 的视场角内除了相邻车辆之外还存在静止物的情况下，在获得的柱状图中出现两个极大值 τ?、τ 2。在该情况下，两个极大值τ?、τ 2中的某一个为静止物的偏置量。因此，立体物 检测部33根据移动速度求出针对静止物的偏置量，忽视相当于该偏置量的极大值，采用剩 余一个极大值对立体物的移动距离进行计算。由此，能够防止由于静止物而使立体物的移 动距离的计算精度降低的情况。
[0085] 此外，在即使忽视相当于静止物的偏置量，也存在多个极大值的情况下，设想为在 照相机10的视场角内存在多台相邻车辆。但是，在检测区域Α1、Α2内存在多个相邻车辆是 极为罕见的。因此，立体物检测部33中止移动距离的计算。由此，在本实施方式中，能够防 止极大值存在多个这样对错误的移动距离进行计算的情况。
[0086] 并且，立体物检测部33对计算出的立体物的相对移动距离进行时间微分，从而对 立体物相对于本车辆的相对移动速度进行计算，并且，将计算出的立体物的相对移动速度 与由车速传感器20检测到的本车辆的车速相加，从而对相邻车辆的绝对移动速度进行计 算。
[0087] 在生成差分波形DWt之后，立体物检测部33基于生成后的差分波形DWt对存在于 相邻车道的相邻车辆进行检测。在此，图15是用于说明存在于相邻车道的其他车辆的检测 方法的图，示出差分波形DWt和对存在于相邻车道的相邻车辆进行检测的阈值α的一个例 子。例如，如图15所示，立体物检测部33对生成的差分波形DW t的峰值是否大于或等于规 定的阈值α进行判断，并且，在差分波形DWt的峰值大于或等于规定的阈值α的情况下， 判定为检测到的立体物是存在于相邻车道的相邻车辆，在差分波形DW t的峰值不大于或等 于规定的阈值α的情况下，判定为由立体物检测部33检测到的立体物不是存在于相邻车 道的相邻车辆。
[0088] 下面，对本实施方式涉及的相邻车辆检测处理进行说明。图16和图17是表示第 1实施方式的相邻车辆检测方法的流程图。首先，如图16所示，利用计算机30从照相机10 取得拍摄图像的数据（步骤S101)，利用视点变换部31，基于取得的拍摄图像的数据生成鸟 瞰视野图像PB t的数据（步骤S102)。
[0089] 然后，清晰度计算部35将鸟瞰视野图像PBt中的预测为提取到大于或等于一定量 的边缘的区域设定为基准图像区域（步骤S103)，将基准图像区域中的图像的鲜明度的程 度作为基准清晰度进行计算（步骤S104)。另外，清晰度计算部35将检测区域A1、A2中的 图像的鲜明度的程度作为对象清晰度进行计算（步骤S105)。
[0090] 然后，如图8所示，清晰度计算部35选择在步骤S104中计算出的基准清晰度和在 步骤S105中计算出的对象清晰度中的较高的值，从而对最终清晰度进行计算（步骤S106)。 然后，如图9所示，差分阈值设定部34基于在步骤S106中计算出的最终清晰度对差分阈值 th进行设定（步骤S107)。
[0091] 然后，位置对齐部32对鸟瞰视野图像PBt的数据、一个时刻前的鸟瞰视野图像 PBt _ i的数据进行位置对齐，将具有大于或等于在步骤S107中设定的差分阈值th的差分 (鸟瞰视野图像PBt、PB t _ i的像素值的差）的像素设定为像素值" 1"，将具有小于差分阈值 th的差分的像素设定为像素值"0"，从而生成差分图像PDt的数据（步骤S108)。之后，立 体物检测部33根据差分图像PD t的数据对像素值为"1"的差分像素 DP的数量进行计数， 生成差分波形DWt (步骤S109)。
[0092] 然后，进入图17,立体物检测部33对差分波形DWt的峰值是否大于或等于规定的 阈值α进行判断（步骤S110)。在差分波形DW t的峰值并不大于或等于阈值α的情况下， 即差分几乎没有的情况下，认为在拍摄图像内并不存在相邻车辆。因此，在判断为差分波形 DWt的峰值并不大于或等于阈值α的情况下（步骤S110 = No)，立体物检测部33判断为 不存在立体物也不存在相邻车辆（步骤S119)。然后，返回到图16所示的步骤S101，反复 进行图16和图17的处理。
[0093] 另一方面，在判断为差分波形DWt的峰值大于或等于阈值α的情况下（步骤S110 =Yes)，利用立体物检测部33判断为立体物存在于相邻车道，进入步骤S111，利用立体物 检测部33将差分波形DW t分割成多个小区域DWtl?DWtn。然后，立体物检测部33针对每 个小区域DW tl?DWtn进行加权（步骤S112)，对每个小区域DWtl?DWtn的偏置量进行计算 (步骤S113)，增加权重而生成柱状图（步骤S114)。
[0094] 然后，立体物检测部33基于柱状图对立体物相对于本车辆的移动距离即相对移 动距离进行计算，并对计算出的相对移动距离进行时间微分，对立体物相对于本车辆的相 对移动速度进行计算（步骤S115)，并且，将计算出的相对移动速度与由车速传感器20检测 到的本车车速相加，从而对立体物相对于本车辆的绝对移动速度进行计算（步骤S116)。 [0095] 之后，立体物检测部33对立体物的绝对移动速度是否大于或等于10km/h且立体 物相对于本车辆的相对移动速度是否小于或等于+60km/h进行判断（步骤S117)。在满足 这两者的情况下（步骤S117 = Yes)，立体物检测部33判断为检测到的立体物是存在于相 邻车道的相邻车辆，相邻车辆存在于相邻车道（步骤S118)。然后，返回到图16所示的步 骤S101，反复进行图16和图17所示的处理。另一方面，在任一者均不满足的情况下（步 骤S117 = No)，立体物检测部33判断为相邻车辆不存在于相邻车道（步骤S119)。然后， 返回到图16所示的步骤S101，反复进行图16和图17所示的处理。
[0096] 此外，在本实施方式中，重点在于：将本车辆的后侧方设为检测区域Al、A2,在本 车辆变更了车道的情况下是否有可能接触。因此，执行步骤S117的处理。即，如果以本实施 方式的系统在高速道路上工作为前提，则在相邻车辆的速度小于l〇km/h的情况下，即使存 在有相邻车辆，在车道变更时相邻车辆也位于离本车辆较远的后方的位置，因此成为问题 的情况较少。同样地，在相邻车辆相对本车辆的相对移动速度超过+60km/h的情况下（即， 相邻车辆以比本车辆的速度大60km/h的速度移动的情况下），在车道变更时相邻车辆在本 车辆的前方移动，因此成为问题的情况较少。因此，在步骤S117中也可以说是对车道变更 时成为问题的相邻车辆进行判断。
[0097] 另外，在步骤S117中对相邻车辆的绝对移动速度是否大于或等于10km/h且相邻 车辆相对于本车辆的相对移动速度是否小于或等于+60km/h进行判断，从而具有以下效 果。例如有时由于照相机10的安装误差而有可能将静止物的绝对移动速度检测为几 km/h。 由此，通过对是否大于或等于l〇km/h进行判断，能够降低将静止物判断为相邻车辆的可能 性。另外，由于噪声而有可能将相邻车辆相对于本车辆的相对速度检测为超过+60km/h的 速度。由此，通过对相对速度是否小于或等于+60km/h进行判断，从而能够降低由噪声导致 的误检测的可能性。
[0098] 并且，也可以取代步骤S117的处理，判断相邻车辆的绝对移动速度不为负、不为 0km/h。另外，在本实施方式中，重点在于：在本车辆变更了车道的情况下是否有可能接触， 因此，在步骤S118中检测到相邻车辆的情况下，也可以向本车辆的驾驶员发出警告声、或 者利用规定的显示装置进行相当于警告的显示。
[0099] 如以上所示，在第1实施方式中，基于不同时刻的两张鸟瞰视野图像的差分生成 差分图像rot，对在差分图像PDt上表示规定的差分的像素数进行计数并进行频率分布化， 从而生成差分波形，基于生成的差分波形对存在于相邻车道的相邻车辆进行检测。另外，在 本实施方式中，在生成差分图像PD t时，将预测为提取到大于或等于一定量的边缘的区域设 定为基准图像区域，基于在基准图像区域中提取的边缘将基准图像区域中的图像的鲜明度 的程度作为基准清晰度进行计算，并且，基于在检测区域Al、A2中检测到的边缘，将检测区 域中的图像的鲜明度的程度作为对象清晰度进行计算。然后，对基准清晰度和对象清晰度 进行比较，选择基准清晰度和对象清晰度中的较高的值，对最终清晰度进行计算。然后，计 算出的最终清晰度越高，差分阈值th设定得越高，最终清晰度越低，差分阈值th设定得越 低。这样，根据本实施方式，在因照相机10的镜头整体被弄脏，图像不鲜明，因此最终清晰 度以较低的值计算出的情况下，将差分阈值th设定为较低的值，从而能够提高不同时刻的 两张鸟瞰视野图像间中的差分的检测灵敏度。其结果，在照相机10的镜头整体弄脏、图像 不鲜明的情况下，也能够适当地根据不同时刻的两张鸟瞰视野图像间对与立体物相对应的 差分进行检测，能够准确地基于检测到的差分对立体物进行检测。
[0100] 另外，在本实施方式中，在对最终清晰度进行计算时，对基准清晰度和对象清晰度 进行比较，在对象清晰度低于基准清晰度的情况下，将基准清晰度作为最终清晰度进行计 算。由此，在检测区域中不存在立体物而立体物的边缘未被检测，因此，在对象清晰度以较 低的值计算出的情况下，也能够基于基准清晰度将差分阈值th设定为适当的值，能够有效 地防止将噪声等误检测为鸟瞰视野图像间的差分。即，在检测区域不存在立体物，立体物的 边缘无法检测，因此，在对象清晰度以较低的值计算出的情况下，如果基于计算出的对象清 晰度对差分阈值th进行设定，则差分阈值th过低，尽管立体物不存在于检测区域，有时还 是将噪声等误检测为鸟瞰视野图像间的差分，在检测区域中对立体物进行误检测。相对于 此，在本实施方式中，对象清晰度以较低的值计算出的情况下，基于基准清晰度对差分阈值 th进行设定，因此，能够有效地防止由这样的噪声等导致的立体物的误检测。
[0101] 《第2实施方式》
[0102] 下面，对第2实施方式涉及的立体物检测装置la进行说明。如图18所示，第2实 施方式涉及的立体物检测装置la取代第1实施方式的计算机30而具有计算机30a，除了如 以下说明所示进行动作以外，与第1实施方式是同样的。在此，图18是表示第2实施方式 涉及的计算机30a的详细情况的框图。
[0103] 如图18所示，第2实施方式涉及的立体物检测装置la具有照相机10和计算机 30a，计算机30a由视点变换部31、立体物检测部33a、清晰度计算部35、亮度差计算部36、 边缘线检测部37和边缘阈值设定部38构成。下面对第2实施方式涉及的立体物检测装置 la的各结构进行说明。
[0104] 图19是表不图18的照相机10的拍摄范围等的图，图19的（a)表不俯视图，图19 的（b)表示从本车辆VI起后侧方的实际空间上的斜视图。如图19的（a)所示，照相机10 设为规定的视场角a，从该规定的视场角a所包含的本车辆VI拍摄后侧方。照相机10的视 场角a与图2所示的的情况同样地，设定为在照相机10的拍摄范围内除了包括本车辆VI 所行驶的车道，还包括相邻的车道。
[0105] 本例的检测区域A1、A2在俯视（鸟瞰观察的状态）下为梯形状，这些检测区域A1、 A2的位置、大小以及形状基于距离dl?d4确定。此外，该图21所示的例子的检测区域A1、 A2并不限于梯形状，也可以如图2所示在鸟瞰观察的状态下呈矩形等其他形状。
[0106] 在这里，距离dl是从本车辆VI至接地线L1、L2为止的距离。接地线L1、L2是指 在与本车辆VI所行驶的车道相邻的车道上存在的立体物与地面接触的线。在本实施方式 中，其目的在于，对在本车辆VI的后侧方与本车辆VI的车道相邻的左右的车道行驶的相邻 车辆V2等（包含两轮车等）进行检测。因此，能够根据从本车辆VI至白线W为止的距离 dll以及从白线W至预测为相邻车辆V2所行驶的位置为止的距离dl2,预先大致固定地确 定成为相邻车辆V2的接地线LI、L2的位置即距离dl。
[0107] 另外，对于距离dl，并不限于固定地确定的情况，也可以是可变的。在该情况下，计 算机30a利用白线识别等技术对白线W相对于本车辆VI的位置进行识别，基于识别出的白 线W的位置，确定距离dll。由此，距离dl能够使用所确定的距离dll可变地设定。在下面 的本实施方式中，相邻车辆V2所行驶的位置（距白线W的距离dl2)以及本车辆VI所行驶 的位置（距白线W的距离dll)大致确定，因此，固定地确定距离dl。
[0108] 距离d2是从本车辆VI的后端部沿着车辆行进方向延伸的距离。该距离d2确定 为至少检测区域A1、A2被收纳在照相机10的视场角a内。尤其是在本实施方式中，距离d2 设定为与被视场角a划分出的范围相接触。距离d3是表示检测区域Al、A2的车辆行进方 向上的长度的距离。该距离d3基于成为检测对象的立体物的大小而确定。在本实施方式 中，检测对象为相邻车辆V2等，因此，距离d3设定为包含相邻车辆V2在内的长度。
[0109] 如图19的（b)所示，距离d4是表示在实际空间中以包含相邻车辆V2等的轮胎的 方式设定的高度的距离。距离d4在鸟瞰视野图像中为图19的（a)所示的长度。此外，距 离d4也可以设为在鸟瞰视野图像中不包含与左右的相邻车道进一步相邻的车道（即隔着 一个车道而相邻的更相邻车道）的长度。其原因在于，如果包含从本车辆VI的车道隔着一 个车道而相邻的车道，则无法区分在本车辆VI所行驶的车道即本车道的左右的相邻车道 上存在相邻车辆V2、还是在隔着一个车道而相邻的更相邻车道上存在更相邻车辆。
[0110] 如上所述，距离dl?距离d4被确定，由此，检测区域Al、A2的位置、大小以及形 状被确定。具体地进行说明，利用距离dl对呈梯形的检测区域Al、A2的上边bl的位置进 行确定。利用距离d2对上边bl的始点位置C1进行确定。利用距离d3对上边bl的终点 位置C2进行确定。利用从照相机10朝向始点位置C1延伸的直线L3对呈梯形的检测区域 A1、A2的侧边b2进行确定。同样地利用从照相机10朝向终点位置C2延伸的直线L4对呈 梯形的检测区域A1、A2的侧边b3进行确定。利用距离d4对呈梯形的检测区域A1、A2的下 边b4的位置进行确定。这样，由各边bl?b4围成的区域成为检测区域A1、A2。如图19的 (b)所示，该检测区域A1、A2在从本车辆VI起后侧方的实际空间上成为正方形（长方形）。
[0111] 返回到图18,向视点变换部31输入由照相机10进行拍摄而获得的规定区域的拍 摄图像数据。视点变换部31对输入的拍摄图像数据进行向鸟瞰观察的状态的鸟瞰视野图 像数据的视点变换处理。鸟瞰观察的状态是指从上空例如从铅垂向下（或者稍微斜向下） 俯视的假想照相机的视点观察的状态。该视点变换处理能够通过例如日本特开2008 - 219063号公报所记载的技术实现。
[0112] 亮度差计算部36为了对鸟瞰视野图像所包含的立体物的边缘进行检测，对利用 视点变换部31进行视点变换后的鸟瞰视野图像数据进行亮度差的计算。亮度差计算部36 针对实际空间中的沿着铅垂方向延伸的铅垂假想线的多个位置中的每一个，计算该各位置 的旁边的两个像素间的亮度差。亮度差计算部36能够通过将实际空间中的沿着铅垂方向 延伸的铅垂假想线仅设定1根的方法、将铅垂假想线设定两根的方法中的任一个方法计算 亮度差。
[0113] 在这里，对将铅垂假想线设定两根的具体方法进行说明。亮度差计算部36针对视 点变换后的鸟瞰视野图像设定与在实际空间中沿着铅垂方向延伸的线段相当的第1铅垂 假想线、与第1铅垂假想线不同并与在实际空间中沿着铅垂方向延伸的线段相当的第2铅 垂假想线。亮度差计算部36沿着第1铅垂假想线以及第2铅垂假想线连续地求出第1铅 垂假想线上的点和第2铅垂假想线上的点之间的亮度差。下面，对该亮度差计算部36的动 作详细地进行说明。
[0114] 如图20的（a)所示，亮度差计算部36对与在实际空间中沿着铅垂方向延伸的线 段相当且通过检测区域A1的第1铅垂假想线La(下面称为注视线La)进行设定。另外，亮 度差计算部36对与注视线La不同并与在实际空间中沿着铅垂方向延伸的线段相当且通过 检测区域A1的第2铅垂假想线Lr (下面称为参照线Lr)进行设定。在这里，参照线Lr设 定于在实际空间中与注视线La分开规定距离的位置。此外，与在实际空间中沿着铅垂方向 延伸的线段相当的线，是指在鸟瞰视野图像中从照相机10的位置Ps起呈放射状扩散的线。 该呈放射状扩散的线是沿着在变换为鸟瞰观察时立体物歪斜的方向的线。
[0115] 亮度差计算部36在注视线La上设定注视点Pa (第1铅垂假想线上的点）。另外， 亮度差计算部36在参照线Lr上设定参照点Pr (第2铅垂假想线上的点）。这些注视线La、 注视点Pa、参照线Lr、参照点Pr在实际空间上成为图20的（b)所示的关系。从图20的（b) 可明确，注视线La以及参照线Lr是在实际空间上沿着铅垂方向延伸的线，注视点Pa和参 照点Pr是在实际空间上设定在大致相同高度的点。此外，注视点Pa和参照点Pr并不是必 须要严格地处于相同高度，允许可视为注视点Pa和参照点Pr处于相同高度程度的误差。
[0116] 亮度差计算部36求出注视点Pa与参照点Pr之间的亮度差。假设如果注视点Pa 与参照点Pr之间的亮度差较大，则认为在注视点Pa与参照点Pr之间存在边缘。尤其是， 在第2实施方式中，为了检测存在于检测区域Al、A2中的立体物，针对鸟瞰视野图像，作为 在实际空间上沿着铅垂方向延伸的线段而设定铅垂假想线，因此，在注视线La与参照线Lr 之间的亮度差较高的情况下，在注视线La的设定部位存在立体物的边缘的可能性较高。因 此，图18所示的边缘线检测部37基于注视点Pa与参照点Pr之间的亮度差，检测边缘线。
[0117] 对这一点更详细地进行说明。图21是表示亮度差计算部36的详细动作的图，图 21的（a)是表示鸟瞰观察的状态的鸟瞰视野图像，图21的（b)是将图21的（a)所示的鸟 瞰视野图像的一部分B1放大后的图。此外，对于图21也仅图示检测区域A1进行说明，但 对于检测区域A2也以同样的顺序计算亮度差。
[0118] 在相邻车辆V2映在由照相机10拍摄到的拍摄图像内的情况下，如图21的（a)所 示，相邻车辆V2出现在鸟瞰视野图像内的检测区域A1中。如在图21的（b)中示出的图21 的（a)中的区域B1的放大图所示，在鸟瞰视野图像上，在相邻车辆V2的轮胎的橡胶部分上 设定有注视线La。在该状态下，亮度差计算部36首先设定参照线Lr。参照线Lr沿着铅垂 方向设定于在实际空间上从注视线La分离规定的距离的位置处。具体而言，在本实施方式 涉及的立体物检测装置la中，参照线Lr设定于在实际空间上从注视线La分离10cm的位 置处。由此，参照线Lr设定于在鸟瞰视野图像上例如从相邻车辆V2的轮胎的橡胶分离相 当于10cm的相邻车辆V2的轮胎的轮毂上。
[0119] 然后，亮度差计算部36在注视线La上设定多个注视点Pal?PaN。在图21的（b) 中，为了方便说明，设定有6个注视点Pal?Pa6 (下面在表示任意的点的情况下，简称为注 视点Pai)。此外，设定在注视线La上的注视点Pa的数量可以是任意个。在下面的说明中， 设为N个注视点Pa设定在注视线La上而进行说明。
[0120] 然后，亮度差计算部36以在实际空间上与各注视点Pal?PaN处于相同高度的方 式设定各参照点Prl?PrN。然后，亮度差计算部36对处于相同高度的注视点Pa与参照 点Pr彼此的亮度差进行计算。由此，亮度差计算部36针对实际空间中的沿着铅垂方向延 伸的铅垂假想线的多个位置（1?N)中的每一个，计算两个像素的亮度差。亮度差计算部 36例如在第1注视点Pal与第1参照点Prl之间计算亮度差，在第2注视点Pa2与第2参 照点Pr2之间计算亮度差。由此，亮度差计算部36沿着注视线La以及参照线Lr连续地求 出亮度差。即，亮度差计算部36依次求出第3注视点Pa3?第N注视点PaN与第3参照点 Pr3?第N参照点PrN之间的亮度差。
[0121] 亮度差计算部36在检测区域A1内一边将注视线La挪动，一边反复执行上述的参 照线Lr的设定、注视点Pa以及参照点Pr的设定、亮度差的计算这样的处理。即，亮度差计 算部36 -边分别将注视线La以及参照线Lr在实际空间上沿着接地线L1的延伸方向将位 置改变相同距离，一边反复执行上述的处理。亮度差计算部36例如将在上次处理中作为参 照线Lr的线设定为注视线La，相对于该注视线La设定参照线Lr，依次求出亮度差。
[0122] 如上所述，在第2实施方式中，根据在实际空间上处于大致相同高度的注视线La 上的注视点Pa和参照线Lr上的参照点Pr求出亮度差，从而能够明确地检测出在存在沿着 铅垂方向延伸的边缘的情况下的亮度差。另外，为了进行在实际空间中沿着铅垂方向延伸 的铅垂假想线彼此的亮度比较，即使由于变换为鸟瞰视野图像而立体物与距路面的高度相 对应地被拉长，也不会影响立体物的检测处理，而能够提高立体物的检测精度。
[0123] 返回到图18,边缘线检测部37根据由亮度差计算部36计算出的连续的亮度差， 检测边缘线。例如，在图21的（b)所示的情况下，第1注视点Pal和第1参照点Prl位于 相同的轮胎部分，因此，亮度差较小。另一方面，在第2注视点Pa2?第6注视点Pa6位于 轮胎的橡胶部分处，第2参照点Pr2?第6参照点Pr6位于轮胎的轮毂部分处。因而，第2 参照点Pa2?第6注视点Pa6与第2参照点Pr2?第6参照点Pr6之间的亮度差变大。因 此，边缘线检测部37能够检测出在亮度差较大的第2注视点Pa2?第6注视点Pa6与第2 参照点Pr2?第6参照点Pr6之间存在边缘线。
[0124] 具体而言，边缘线检测部37在对边缘线进行检测时，首先按照下述的式1，并根据 第i个注视点Pai (坐标（xi，yi))和第i个参照点Pri (坐标（xi'，yi'））之间的亮度差， 使第i个注视点Pai带有属性。
[0125] [式 1]
[0126] 在 I (xi，yi) > I (xi，，yi'）+t 时，
[0127] s(xi, yi) = 1
[0128] 在 I (xi, yi) < I (xi'，yi'）一 t 时，
[0129] s (xi, yi) = - 1
[0130] 除了上述以外时，
[0131] s (xi, yi) = 0
[0132] 在上述式1中，t表示规定的阈值，I (xi，yi)表示第i个注视点Pai的亮度值， I(xi'，yi'）表示第i个参照点Pri的亮度值。根据上述式1，在注视点Pai的亮度值比参 照点Pri与阈值t相加而得到的亮度值高的情况下，该注视点Pai的属性s(xi，yi)成为 '1'。另一方面，在注视点Pai的亮度值比从参照点Pri减去亮度阈值t而得到的亮度值低 的情况下，该注视点Pai的属性s(xi，yi)成为'一 Γ。在注视点Pai的亮度值与参照点 Pri的亮度值为除此以外的关系的情况下，注视点Pai的属性s(xi，yi)成为'0'。
[0133] 然后，边缘线检测部37基于下述式2并根据沿着注视线La的属性s的连续性 c(xi，yi)，判定注视线La是否是边缘线。
[0134] [式 2]
[0135] 在 s (xi, yi) = s (xi+1，yi+Ι)时（且除了 0 = 0)，
[0136] c(xi, yi) = 1
[0137] 在上述以外时，
[0138] c(xi, yi) = 0
[0139] 在注视点Pai的属性s (xi, yi)与相邻的注视点Pai+1的属性s (xi+1, yi+1)相 同的情况下，连续性c(xi, yi)成为'1'。在注视点Pai的属性s(xi, yi)与相邻的注视点 Pai+Ι的属性s(xi+l, yi+Ι)不相同的情况下,连续性c(xi, yi)成为'0'。
[0140] 然后，边缘线检测部37对注视线La上的全部的注视点Pa的连续性c求出总和。 边缘线检测部37通过将求出的连续性c的总和除以注视点Pa的数N而将连续性c标准 化。然后，边缘线检测部37在标准化的值超过阈值Θ的情况下，将注视线La判断为边缘 线。此外，阈值Θ是预先通过实验等设定的值。
[0141] 即，边缘线检测部37基于下述式3，判断注视线La是否是边缘线。然后，边缘线检 测部37对在检测区域A1上描绘出的注视线La的全部判断是否是边缘线。
[0142] [式 3]
[0143] Σ c (xi, yi) /N > θ
[0144] 如上所述，在第2实施方式中，基于注视线La上的注视点Pa与参照线Lr上的参 照点Pr之间的亮度差，使注视点Pa带有属性，基于沿着注视线La的属性的连续性c，判断 该注视线La是否是边缘线，因此，能够将亮度较高的区域与亮度较低的区域之间的边界作 为边缘线进行检测，按照人的自然的感觉进行边缘检测。对该效果详细地进行说明。图22 是表示对边缘线检测部37的处理进行说明的图像例的图。该图像例是表示亮度较高的区 域与亮度较低的区域反复的条纹花样的第1条纹花样101、和表示亮度较低的区域与亮度 较高的区域反复的条纹花样的第2条纹花样102相邻的图像。另外，在该图像例中，第1条 纹花样101的亮度较高的区域与第2条纹花样102的亮度较低的区域相邻，并且，第1条纹 花样101的亮度较低的区域与第2条纹花样102的亮度较高的区域相邻。位于该第1条纹 花样101与第2条纹花样102之间的边界的部位103,存在根据人的感觉而不察觉为边缘的 倾向。
[0145] 相对于此，亮度较低的区域与亮度较高的区域相邻，因此，如果仅凭亮度差对边缘 进行检测，则该部位103被识别为边缘。但是，边缘线检测部37除了部位103处的亮度差 之外，仅在该亮度差的属性存在连续性的情况下，将部位103判定为边缘线，因此，能够抑 制边缘线检测部37将不被人的感觉识别为边缘线的部位103识别为边缘线的误判定，能够 按照人的感觉进行边缘检测。
[0146] 返回到图18,立体物检测部33a基于由边缘线检测部37检测到的边缘线的量，检 测立体物。如上所述，本实施方式涉及的立体物检测装置la对在实际空间上沿着铅垂方向 延伸的边缘线进行检测。检测到较多的沿着铅垂方向延伸的边缘线，是指立体物存在于检 测区域A1、A2的可能性较高。因此，立体物检测部33a基于由边缘线检测部37检测到的边 缘线的量，检测立体物。具体而言，立体物检测部33a对由边缘线检测部37检测到的边缘 线的量是否大于或等于规定的阈值β进行判断，在边缘线的量大于或等于规定的阈值β 的情况下，判断为由边缘线检测部37检测到的边缘线为立体物的边缘线，由此，将基于边 缘线的立体物检测为相邻车辆V2。
[0147] 另外，立体物检测部33a在对立体物进行检测之前，判定由边缘线检测部37检测 到的边缘线是否正确。立体物检测部33a判定边缘线上的鸟瞰视野图像的沿着边缘线的亮 度变化是否大于或等于规定的阈值tb。在边缘线上的鸟瞰视野图像的亮度变化大于或等于 阈值tb的情况下，判断为该边缘线是由于误判定而检测到的。另一方面，在边缘线上的鸟 瞰视野图像的亮度变化小于阈值tb的情况下，判定为该边缘线是正确的。此外，该阈值tb 是通过实验等预先设定的值。
[0148] 图23是表示边缘线的亮度分布的图，图23的（a)表示作为立体物的相邻车辆V2 存在于检测区域A1中的情况下的边缘线以及亮度分布，图23的（b)表示在检测区域A1中 不存在立体物的情况下的边缘线以及亮度分布。
[0149] 如图23的（a)所示，被判断为在鸟瞰视野图像中设定于相邻车辆V2的轮胎橡胶 部分的注视线La是边缘线。在该情况下，注视线La上的鸟瞰视野图像的亮度变化是平稳 的。这取决于：由照相机10拍摄到的图像被视点变换为鸟瞰视野图像，从而相邻车辆V2的 轮胎在鸟瞰视野图像内被拉长。另一方面，如图23的（b)所示，在鸟瞰视野图像中在描绘 于路面上的"50"这样的白色文字部分设定的注视线La被误判定为边缘线。在该情况下， 注视线La上的鸟瞰视野图像的亮度变化起伏较大。其原因在于，在边缘线上混有白色文字 中的亮度较高的部分和路面等亮度较低的部分。
[0150] 基于如上述的注视线La上的亮度分布的不同，立体物检测部33a判定边缘线是否 是由于误判定而检测到的。在沿着边缘线的亮度变化大于或等于规定的阈值tb的情况下， 立体物检测部33a判断为，该边缘线是由于误判定而检测到的，该边缘线并不是源于立体 物的。由此，抑制路面上的"50"这样的白色文字、路边的杂草等被判定为边缘线而使立体 物的检测精度降低。另一方面，立体物检测部33a在沿着边缘线的亮度变化小于规定的阈 值tb的情况下，判断为该边缘线是立体物的边缘线，判断为存在有立体物。
[0151] 具体而言，立体物检测部33a按照下述式4、5中的某一个，对边缘线的亮度变化进 行计算。该边缘线的亮度变化相当于实际空间中的铅垂方向的评价值。下述式4利用注视 线La上的第i个亮度值I (xi，yi)与相邻的第i+Ι个亮度值I (xi+1，yi+Ι)之间的差分的 平方的合计值，评价亮度分布。另外，下述式5利用注视线La上的第i个亮度值I (xi，yi)、 相邻的第i+1个亮度值I (xi+1，yi+1)之间的差分的绝对值的合计值，评价亮度分布。
[0152] [式 4]
[0153] 相当于铅垂方向的评价值=Σ [{I(xi，yi) - I(xi + l，yi + l)}2]
[0154] [式 δ]
[0155] 相当于铅垂方向的方向评价值=Σ |l(xi，yi) - I(xi + 1，yi + 1)
[0156] 此外，不限于式5,也可以如下述式6所示，采用阈值t2而将相邻的亮度值的属性 b二值化，针对全部的注视点Pa求出该二值化的属性b的总和。
[0157] [式 6]
[0158] 相当于铅垂方向的评价值=2b(xi，yi)
[0159] 但是，在 11 (xi，yi) - I (xi+1，yi+1) | > t2 时，
[0160] b (xi, yi) = 1
[0161] 在上述以外时，
[0162] b (xi, yi) = 0
[0163] 在注视点Pai的亮度值与参照点Pri的亮度值之间的亮度差的绝对值大于阈值t2 的情况下，该注视点Pa(xi，yi)的属性b(xi，yi)成为'1'。在除此以外的关系的情况下， 注视点Pai的属性b(xi，yi)成为'0'。该阈值t2是为了判定注视线La未处于相同的立 体物上而通过实验等预先设定的。并且，立体物检测部33a对注视线La上的所有注视点Pa 求出属性b的总和，并求出相当于铅垂方向的评价值，从而对边缘线是否源于立体物、立体 物是否存在进行判定。
[0164] 返回到图18,边缘阈值设定部38基于由清晰度计算部35计算出的最终清晰度设 定对边缘线进行检测时所采用的边缘阈值t。具体而言，如图24所示，对于边缘阈值设定部 38,最终清晰度越高，边缘阈值t设定得越高，最终清晰度越低，边缘阈值t设定得越低。此 夕卜，由最终清晰度35进行的最终清晰度的计算方法与第1实施方式是同样的，因此，省略其 说明。
[0165] 下面，对第2实施方式的相邻车辆检测方法进行说明。图25和图26是表示本实施 方式涉及的相邻车辆检测方法的详细情况的流程图。此外，在图25和图26中，为了方便， 对以检测区域A1为对象的处理进行说明，但对于检测区域A2也执行同样的处理。
[0166] 首先，在步骤S201中，利用计算机30a，取得由照相机10拍摄而得到的拍摄图像的 图像数据。然后，步骤S202中，视点变换部31对取得的图像数据进行视点变换，生成鸟瞰 视野图像数据。
[0167] 然后，清晰度计算部35将鸟瞰视野图像PBt中的预测为提取到大于或等于一定量 的边缘的区域设定为基准图像区域（步骤S203)，将基准图像区域中的图像的鲜明度的程 度作为基准清晰度进行计算（步骤S204)。另外，清晰度计算部35将检测区域A1、A2中的 图像的鲜明度的程度作为对象清晰度进行计算（步骤S205)。
[0168] 然后，清晰度计算部35选择在步骤S204中计算出的基准清晰度和在步骤S205计 算出的对象清晰度中的较高的值，从而对最终清晰度进行计算（步骤S206)。然后，如图24 所示，差分阈值设定部34基于在步骤S206中计算出的最终清晰度对边缘阈值t进行设定 (步骤 S207)。
[0169] 进入图26,在步骤S208中，亮度差计算部36在检测区域A1上对注视线La和参照 线Lr进行设定。此时，亮度差计算部36将与在实际空间上沿着铅垂方向延伸的线相当的 线设定为注视线La，并且将与在实际空间上沿着铅垂方向延伸的线段相当且在实际空间上 与注视线La分开规定距离的线设定为参照线Lr。
[0170] 然后，在步骤S209中，亮度差计算部36在注视线La上对多个注视点Pa进行设定， 并且，以在实际空间上注视点Pa与参照点Pr处于大致相同高度的方式对参照点Pr进行设 定。由此，注视点Pa与参照点Pr沿着大致水平方向排列，容易对在实际空间上沿着铅垂方 向延伸的边缘线进行检测。此外，亮度差计算部36对由边缘线检测部37进行边缘检测时 不会成为问题程度的数量的注视点Pa进行设定。
[0171] 然后，在步骤S210中，亮度差计算部36对在实际空间上处于相同高度的注视点Pa 和参照点Pr之间的亮度差进行计算。然后，边缘线检测部37基于在步骤S207中设定的边 缘阈值t并按照上述的式1对各注视点Pa的属性s进行计算。
[0172] 然后，在步骤S211中，边缘线检测部37按照上述的式2对各注视点Pa的属性s 的连续性c进行计算。然后，在步骤S212中，边缘线检测部37按照上述式3对将连续性c 的总和标准化而得到的值是否大于阈值Θ进行判定。在判断为标准化而得到的值大于阈 值Θ的情况下（步骤S212 = Yes)，在步骤S213中，边缘线检测部37将该注视线La检测 为边缘线。然后，处理转向步骤S214。在判断为标准化而得到的值不大于阈值Θ的情况下 (步骤S212 = No)，边缘线检测部37不将该注视线La检测为边缘线，处理转向步骤S214。
[0173] 在步骤S214中，计算机30a对针对能够在检测区域A1上设定的注视线La的全部 是否执行了上述的步骤S208?步骤S214的处理进行判断。在判断为未针对全部注视线La 进行上述处理的情况下（步骤S214 = No)，使处理返回步骤S208,重新设定注视线La，反复 进行直到步骤S214的处理。另一方面，在判断为对全部注视线La进行了上述处理的情况 下（步骤S214 = Yes)，使处理转向步骤S215。
[0174] 在步骤S215中，立体物检测部33a针对在步骤S213中检测到的各边缘线对沿着 该边缘线的亮度变化进行计算。立体物检测部33a按照上述式4、5、6中的任一式对边缘线 的亮度变化进行计算。然后，在步骤S216中，立体物检测部33a将边缘线中的、亮度变化相 大于或等于规定的阈值tb的边缘线除外。即，判定为亮度变化较大的边缘线不是正确的边 缘线，将边缘线不用于立体物的检测。其原因在于，如上所述，能够抑制检测区域A1所包含 的路面上的文字、路边的杂草等被检测为边缘线的情况。因而，规定的阈值tb是指预先通 过实验等求出的、基于因路面上的文字、路边的杂草等产生的亮度变化设定的值。另一方 面,立体物检测部33a将边缘线中的、亮度变化小于规定的阈值tb的边缘线判断为立体物 的边缘线，由此，对存在于相邻车辆上的立体物进行检测。
[0175] 在步骤S217中，利用立体物检测部33a对边缘线的量是否大于或等于规定的阈 值β进行判断。在判定为边缘线的量大于或等于规定的阈值β的情况下（步骤S217 = Yes)，在步骤S218中，立体物检测部33a判定为相邻车辆存在于检测区域Α1内。另一方面， 在判定为边缘线的量不大于或等于阈值β的情况下（步骤S218 = N〇)，在步骤S219中，立 体物检测部33a判定为相邻车辆不存在于检测区域A1内。之后，结束图25和图26所不的 处理。
[0176] 如以上所示，在第2实施方式中，将拍摄图像变换为鸟瞰视野图像，根据变换的鸟 瞰视野图像对立体物的边缘信息进行检测，从而对存在于相邻车道的相邻车辆进行检测。 另外，在第2实施方式中，与第1实施方式同样地在生成差分图像ro t时，将预测为提取到大 于或等于一定量的边缘的图像区域设定为基准图像区域，基于在基准图像区域中检测到的 边缘，将基准图像区域中的图像的鲜明度的程度作为基准清晰度进行计算，并且，基于在检 测区域Al、A2中检测到的边缘，将检测区域中的图像的鲜明度的程度作为对象清晰度进行 计算，选择基准清晰度和对象清晰度中的较高的值对最终清晰度进行计算。并且，计算出的 最终清晰度越高，边缘阈值th设定得越高，最终清晰度越低，边缘阈值th设定得越低。由 此，根据本实施方式，除了第1实施方式的效果之外，在基于边缘信息对立体物进行检测的 情况下，在照相机10的镜头整体弄脏、图像也不鲜明，因此最终清晰度以较低的值计算出 的情况下，能够提高不同时刻的两张鸟瞰视野图像间的差分的检测灵敏度，其结果，能够适 当地根据不同时刻的两张鸟瞰视野图像间对与立体物相对应的差分进行检测，能够基于检 测到的差分准确地对立体物进行检测。
[0177] 此外，以上说明的实施方式是为了容易理解本发明而记载的，并不是为了限定本 发明而记载的。因而，在上述的实施方式中公开的各要素是还包含属于本发明的保护范围 的全部的设计变更、等同物在内的主旨。
[0178] 例如，在上述实施方式中，例示了如下结构：如图8所示，对基准清晰度和对象清 晰度进行计算，选择计算出的基准清晰度和对象清晰度中的较高的值，从而对最终清晰度 进行计算，但并不限定于该结构，也可以构成为，例如对对象清晰度进行计算，并且如图27 所示，将基准清晰度设定为恒定的值，选择计算出的对象清晰度和预先设定的基准清晰度 中的较高的值，从而对最终清晰度进行计算。或者，也可以构成为，对对象清晰度进行计算， 并且，如图28所示，将第1基准清晰度和比该第1基准清晰度低的第2基准清晰度设定为 恒定的值，在对象清晰度比第1基准清晰度高的情况下，将第1基准清晰度选择为最终清晰 度，另外，对象清晰度比第2基准清晰度低的情况下，将第2基准清晰度选择为最终清晰度， 在对象清晰度小于或等于第1基准清晰度、而且大于或等于第2基准清晰度的情况下，将对 象清晰度选择为最终清晰度，从而对最终清晰度进行计算。此外，与图8同样地，在图27和 图28中也用实线表示最终清晰度。
[0179] 另外，在上述实施方式中，例示了与最终清晰度相对应地对差分阈值th或者边缘 阈值t进行变更的结构，但并限定于该结构，也利用构成为，例如与最终清晰度相对应地对 相邻车辆的判定所采用的阈值α或者阈值β进行变更。另外，也可以构成为与最终清晰 度相对应地变更用于对边缘线进行检测的阈值Θ、阈值tb、阈值t2。
[0180] 并且，在上述实施方式中，例示了如下结构：例如，将包含路灯、其他车辆的前大灯 等光源的图像的图像区域设定为基准图像区域时，将与周边之间的亮度的差大于或等于规 定值、而且大于或等于规定面积的大小的图像区域作为与光源相对应的区域进行检测，在 该情况下，也可以构成为，将镜头白浊的（在镜头表面形成有白色的薄膜）程度作为白浊度 进行计算，镜头的白浊度越高，越容易对光源进行检测。具体而言，也能够构成为，镜头的白 浊度越高，越降低用于对光源进行检测的亮度的阈值、或者缩小面积，从而容易对光源进行 检测。
[0181] 此外，对镜头的白浊度进行计算的方法并没有特别地限定，例如，能够如以下所示 对镜头的白浊度进行计算。即，在镜头上附着有水垢等异物而镜头白浊的情况下，来自被摄 体的光束的一部分被附着于镜头的异物遮断，进行漫反射，有时无法适当地对被摄体的像 进行拍摄。因此，在镜头白浊的情况下，存在所拍摄的图像的鲜明度、即，图像的清晰度变低 的倾向。因此，图像的清晰度越低，判断为镜头白浊，能够容易对光源进行检测。尤其是，在 镜头白浊的情况下，由于附着于镜头的异物，所拍摄的光源的光衰减，与光源的中心分开的 光源的周缘部处的亮度有时低于被检测为光源的亮度。因此，能够构成为，在镜头白浊的情 况下，与镜头未白浊的情况下相比，有时所拍摄的光源的大小变小、或者与周边之间的亮度 差变小。因此，在镜头的白浊度较高时，在高亮度区域的大小较小的情况下、或与周边之间 的亮度差较小的情况下，也能够检测为光源，将包含该光源的图像区域设定为基准图像区 域。
[0182] 此外，上述实施方式的照相机10相当于本发明的拍摄单元，立体物检测部33、33a 相当于本发明的检测区域设定单元，视点变换部31相当于本发明的图像变换单元，位置对 齐部32、立体物检测部33、33a、差分阈值设定部34、亮度差计算部36,边缘线检测部37和 边缘阈值设定部38相当于本发明的立体物检测单元，清晰度计算部35相当于本发明的光 源检测单元、基准图像区域设定单元、轮廓信息提取单元、基准清晰度计算单元以及对象清 晰度计算单元。
[0183] 附图标记说明
[0184] 1、la…立体物检测装置
[0185] 10…照相机
[0186] 20…车速传感器
[0187] 30、30a…计算机
[0188] 31…视点变换部
[0189] 32…位置对齐部
[0190] 33、33a…立体物检测部
[0191] 34…差分阈值设定部
[0192] 35…清晰度计算部
[0193] 36…亮度差计算部
[0194] 37…边缘线检测部
[0195] 38…边缘阈值设定部
[0196] a…视场角
[0197] A1、A2…检测区域
[0198] CP…交点
[0199] DP…差分像素
[0200] DWt、DWt'…差分波形
[0201] DWtl ?Dt、DWU ?DWtI/..小区域
[0202] L1、L2…接地线
[0203] La、Lb…立体物歪斜的方向上的线
[0204] PBt…鸟瞰视野图像
[0205] PDt…差分图像
[0206] VI…本车辆
[0207] V2…相邻车辆
【权利要求】
1. 一种立体物检测装置，其特征在于，具有： 拍摄单元，其搭载于车辆上，具有使本车辆后方的影像成像的镜头； 检测区域设定单元，其在本车辆的后侧方，设定用于对立体物进行检测的检测区域； 图像变换单元，其将由所述拍摄单元获得的所述拍摄图像视点变换为鸟瞰视野图像； 立体物检测单元，其使由所述图像变换单元获得的不同时刻的鸟瞰视野图像的位置在 鸟瞰视野上位置对齐，在该位置对齐后的鸟瞰视野图像的差分图像上，对表示大于或等于 规定的差分阈值的差分的像素数进行计数而进行频率分布化，从而生成差分波形信息，基 于该差分波形信息，在所述检测区域中进行所述立体物的检测； 基准图像区域设定单元，其将与所述检测区域不同的区域、且预测为提取到被摄体的 轮廓信息的图像区域，设定为基准图像区域； 轮廓信息提取单元，其在所述基准图像区域和所述检测区域中，对被摄体的轮廓信息 进行提取； 基准清晰度计算单元，其基于在所述基准图像区域中提取出的所述轮廓信息，将所述 基准图像区域中的图像的鲜明度的程度作为基准清晰度进行计算；以及 对象清晰度计算单元，其基于在所述检测区域中提取的所述轮廓信息，将所述检测区 域中的图像的鲜明度的程度作为对象清晰度进行计算， 所述立体物检测单元基于所述基准清晰度和所述对象清晰度，对最终清晰度进行计 算，并基于计算出的所述最终清晰度，对所述差分阈值进行设定。
2. -种立体物检测装置，其特征在于，具有： 拍摄单元，其搭载于车辆上，具有使本车辆后方的影像成像的镜头； 检测区域设定单元，其在本车辆的后侧方，设定用于对立体物进行检测的检测区域； 图像变换单元，其将由所述拍摄单元获得的所述拍摄图像视点变换为鸟瞰视野图像； 立体物检测单元，其在由所述图像变换单元获得的鸟瞰视野图像中，对从被摄体的轮 廓获得的轮廓信息中的大于或等于规定的边缘阈值的边缘信息进行检测，并基于检测到的 所述边缘信息，在所述检测区域中进行所述立体物的检测； 基准图像区域设定单元，其将与所述检测区域不同的区域、且预测为提取到被摄体的 轮廓信息的图像区域，设定为基准图像区域； 轮廓信息提取单元，其在所述基准图像区域和所述检测区域中，对被摄体的轮廓信息 进行提取； 基准清晰度计算单元，其基于在所述基准图像区域中提取到的所述轮廓信息，将所述 基准图像区域中的图像的鲜明度的程度作为基准清晰度进行计算；以及 对象清晰度计算单元，其基于在所述检测区域中提取的所述轮廓信息，将所述检测区 域中的图像的鲜明度的程度作为对象清晰度进行计算， 所述立体物检测单元基于所述基准清晰度和所述对象清晰度对最终清晰度进行计算， 并基于计算出的所述最终清晰度，对所述差分阈值进行设定。
3. 根据权利要求1或2所述的立体物检测装置，其特征在于， 所述基准区域设定单元，将与所述本车辆的保险杠、用于将所述拍摄单元安装于所述 本车辆上的框体、或者所述本车辆的汽车牌照的图像相对应的区域，设定为所述基准图像 区域。
4. 根据权利要求1或2所述的立体物检测装置，其特征在于， 所述基准区域设定单元，将与包含地平线或者水平线在内的图像相对应的区域，设定 为所述基准图像区域。
5. 根据权利要求1或2所述的立体物检测装置，其特征在于， 还具有基于由所述拍摄单元获得的拍摄图像对存在于本车辆后方的光源进行检测的 光源检测单元， 所述基准区域设定单元，将包含由所述光源检测单元检测到的所述光源的图像在内的 区域，设定为所述基准图像区域。
6. 根据权利要求5所述的立体物检测装置，其特征在于， 所述光源检测单元根据所述拍摄图像，将与周边之间的亮度差大于或等于规定亮度 差、且具有大于或等于规定面积的大小的图像区域，作为所述光源相对应的图像区域进行 检测，从而对所述光源进行检测。
7. 根据权利要求5所述的立体物检测装置，其特征在于，还具有： 白浊度计算单元，其基于所述最终清晰度，将所述镜头白浊的程度作为镜头的白浊度 进行计算；以及 控制单元，所述镜头的白浊度越高，其越使所述规定亮度差或者所述规定面积越小，从 而促进由所述光源检测单元进行的所述光源的检测。
8. 根据权利要求1至7中任一项所述的立体物检测装置，其特征在于， 所述轮廓信息提取单元将被摄体的边缘信息作为所述被摄体的轮廓信息进行提取， 所述基准清晰度计算单元基于在所述基准图像区域中提取的所述边缘信息的边缘强 度，对所述基准清晰度进行计算， 所述对象清晰度计算单元基于在所述检测区域中提取的所述边缘信息的边缘强度，对 所述对象清晰度进行计算。
9. 根据权利要求1至7中任一项所述的立体物检测装置，其特征在于， 所述轮廓信息提取单元将从基于所述拍摄图像的图像获得的指定的频率成分作为所 述被摄体的轮廓信息进行提取， 所述基准清晰度计算单元基于在所述基准图像区域中提取的所述频率成分，对所述基 准清晰度进行计算， 所述对象清晰度计算单元基于在所述检测区域中提取的所述频率成分，对所述对象清 晰度进行计算。
10. 根据权利要求5至7中任一项所述的立体物检测装置，其特征在于， 所述轮廓信息提取单元将具有大于或等于规定值的亮度的区域作为高亮度区域进行 检测，将检测到的所述高亮度区域的周边的亮度梯度作为所述被摄体的轮廓信息进行提 取， 所述基准清晰度计算单元基于在所述基准图像区域内中提取的所述高亮度区域的周 边的亮度梯度，对所述基准清晰度进行计算， 所述对象清晰度计算单元基于在所述检测区域中提取的所述高亮度区域的周缘部的 亮度梯度，对所述对象清晰度进行计算。
11. 根据权利要求1或者从属于权利要求1的3至10中任一项所述的立体物检测装 置，其特征在于， 所述立体物检测单元将对所述基准清晰度与所述对象清晰度的进行比较的结果中的 所述基准清晰度和所述对象清晰度中的较高的一者的值作为最终清晰度进行计算，所述最 终清晰度越高，所述差分阈值设定得越高。
12.根据权利要求2或者从属于权利要求2的3至10中任一项所述的立体物检测装 置，其特征在于， 所述立体物检测单元将对所述基准清晰度与所述对象清晰度的进行比较的结果中的 所述基准清晰度和所述对象清晰度中的较高的一者的值作为最终清晰度进行计算，所述最 终清晰度越高，所述差分阈值设定得越高。
【文档编号】G06T1/00GK104106105SQ201380008490
【公开日】2014年10月15日 申请日期:2013年2月26日 优先权日:2012年3月2日
【发明者】早川泰久, 深田修 申请人:日产自动车株式会社