路旁物检测装置的制造方法
【技术领域】
[0001]本发明涉及使用多个拍摄图像来检测路旁物的路旁物检测装置。
【背景技术】
[0002]已知有利用由车载拍摄装置拍摄到的白线来进行防止从车道偏离等各种驾驶辅助的技术。存在检测不到白线的情况、为了提高白线的检测精度而检测路缘石、人行道台阶作为白线的线索的情况(例如参照专利文献I。)。在专利文献I中公开了一种图像识别装置，利用路缘石侧面部的长度增减和与路面平行的平行部的长度增减与距拍摄装置的距离相应地变化这一情况，来检测路缘石。
[0003]然而，在专利文献I所公开的图像识别装置中，存在难以检测距车辆较远的路缘石的问题。
[0004]图26的(a)是表示拍摄到的远方的路缘石和附近的路缘石的图的一个例子，图26的(b)是示意地表示图26的(a)的照片的图的一个例子。在车辆的左侧存在路缘石，拍摄到侧面部稍有阴影。侧面部以及与路面平行的平行部的长度越向远方越短，所以在专利文献I所记载的检测方法中，越是远方的路缘石，越难以检测。
[0005]专利文献1:日本特开2007-018037号公报
【发明内容】
[0006]鉴于上述课题，本发明的目的在于提供一种还能够检测远方的路缘石等路旁物的路旁物检测装置。
[0007]本发明是使用多个拍摄图像来检测路旁物的路旁物检测装置，其特征在于，具有:高度信息检测单元，其解析多个上述拍摄图像来检测距本车辆的距离小于阈值的附近区域的拍摄对象的高度信息；高度变化检测单元，其根据上述附近区域的高度信息来检测路面因路旁物而产生的高度变化；特征点外插单元，其将检测到上述高度变化的位置决定为上述路旁物的特征点，根据道路模型将上述特征点外插于距本车辆的距离在上述阈值以上的远方区域；路旁物检测单元，其基于上述特征点外插单元外插上述特征点而得到的虚拟线来设定上述路旁物的搜索范围，从上述搜索范围检测上述远方区域的上述路旁物。
[0008]能够提供一种还能够检测远方的路缘石等路旁物的路旁物检测装置。
【附图说明】
[0009]图1是概要地说明利用路旁物检测装置检测路旁物的图的一个例子。
[0010]图2是包括路旁物检测装置的驾驶辅助系统的概要结构图的一个例子。
[0011]图3是拍摄装置计算机的功能框图的一个例子。
[0012]图4是对路旁物检测装置的动作顺序进行说明的流程图的一个例子。
[0013]图5是滤波处理的一个例子的图。
[0014]图6是对视差的搜索进行说明的图的一个例子。
[0015]图7是表示利用等角拟合(equiangular fitting)求出子像素视差的求法的一个例子的图。
[0016]图8是对路面区域的推断进行说明的图的一个例子。
[0017]图9是对道路坐标系和平面坐标系等进行说明的图的一个例子。
[0018]图10是对阶梯差的检测进行说明的图的一个例子。
[0019]图11是对车行道参数的推断进行说明的图的一个例子。
[0020]图12是对搜索范围的设定进行说明的图的一个例子。
[0021]图13是表示边缘线段检测部检测边缘线段的步骤的流程图的一个例子。
[0022]图14是拍摄装置计算机的功能框图的一个例子(实施例2)。
[0023]图15是表示路旁物检测装置从图像检测路缘石、人行道台阶的步骤的流程图的一个例子(实施例2)。
[0024]图16是对模板匹配的处理步骤进行说明的流程图的一个例子。
[0025]图17是对模板匹配进行说明的图的一个例子。
[0026]图18是拍摄装置计算机的功能框图的一个例子(实施例3)。
[0027]图19是表示路旁物检测装置从图像检测路缘石、人行道台阶的步骤的流程图的一个例子(实施例3)。
[0028]图20是示意性地说明白线的检测的图的一个例子。
[0029]图21是对利用搜索范围设定部设定搜索范围进行说明的图的一个例子。
[0030]图22是表示边缘线段检测部检测边缘线段的步骤的流程图的一个例子。
[0031]图23是拍摄装置计算机的功能框图的一个例子(实施例4)。
[0032]图24是表示路旁物检测装置从图像检测路缘石、人行道台阶的步骤的流程图的一个例子(实施例4)。
[0033]图25是对利用搜索范围设定部设定搜索范围进行说明的图的一个例子。
[0034]图26是表示拍摄的远方的路缘石和附近的路缘石的图的一个例子(现有图)。
[0035]附图标记说明:
[0036]11…右拍摄装置；12...左拍摄装置；13...拍摄装置计算机；21…立体图像获取部；22…变形修正/平行化部；23…边缘提取部；24…视差计算部；25...路面检测部；26...路面构造推断部；27…阶梯差判断部；28…车行道参数推断部；29…搜索范围设定部；30…边缘线段检测部；32…模板匹配部；33...白线检测部；34…先行车检测部；100…白线检测装置。
【具体实施方式】
[0037]以下，一边参照附图一边列举实施例，对用于实施本发明的方式进行说明。
[0038]实施例1
[0039]图1是对利用路旁物检测装置检测路旁物进行概要地说明的图的一个例子。首先，路旁物检测装置利用立体拍摄装置拍摄车辆的行进方向，并获取三维信息。虽然三维信息能够从画面的整体获取，但路旁物检测装置仅推断附近区域的路面构造。仅使用附近区域的图像是因为越是远方越容易包括视差的误差。
[0040]路旁物检测装置利用三维信息或者路面构造，从附近区域检测高度方向上有一定以上阶梯差的特征点。例如，在水平方向扫描图像数据，检测视为路缘石的阶梯差。在如图的A点那样的路缘石上的像素和如B点所示那样路缘石以外的像素中，高度不同，所以能够检测路缘石所形成的阶梯差。路旁物例如是路缘石或者人行道台阶，但包括比路面高且沿道路敷设的地表物。
[0041]对于由路缘石的阶梯差形成的特征点，在一次水平方向的扫描中检测三点(图的“X”标记)。应予说明，在为人行道成为与路缘石相同高度的人行道台阶的情况下，检测两点的阶梯差。
[0042]若将该阶梯差的位置(坐标)应用于道路模型，则能够求出道路模型的系数(车行道参数)。应予说明，道路模型是以公式及其系数表示道路形状的道路形状表现形式。若道路模型确定，则能够在未检测三维信息的远方的图像中，通过外插道路模型，来推断出有路缘石的范围。所谓道路模型的外插是指在远方区域计算出通过道路模型的公式确定的点。这些点的集合成为线，在本实施例中将该线称作虚拟线。
[0043]与附近区域相同，能够期待在远方区域的图像中将路缘石的阶梯差作为边缘进行检测。于是，通过在水平方向左右地移动虚拟线，来设定边缘的搜索范围。路旁物检测装置从该搜索范围检测路缘石的边缘(图的三角标记)。
[0044]若有路缘石，则应检测三条几乎平行的直线，若有人行道台阶，则应检测两条几乎平行的直线。因而，路旁物检测装置将边缘变换为直线等，从边缘提取线段。并且，在水平方向的一定距离内检测到三条几乎平行的直线的情况下，检测路缘石，在水平方向的一定距离内检测到二条几乎平行的直线的情况下，检测人行道台阶。
[0045]像这样，通过利用能够得到准确的距离信息的附近区域的三维信息，能够提高远方的路缘石或者人行道台阶的检测精度。
[0046]〔结构例〕
[0047]图2表示包括路旁物检测装置100的驾驶辅助系统500的概要结构图的一个例子。驾驶辅助系统500具有经由CAN(Controller Area Network:控制器区域网络)总线等车载LAN相互连接的路旁物检测装置100、驾驶辅助EQJ(Electronic Control Unit:电子控制单元)200以及工作设备300。
[0048]路旁物检测装置100除了将下述的车行道参数发送给驾驶辅助ECU200外，还将至障碍物的目标信息等发送给驾驶辅助ECU200。驾驶辅助ECU200基于车行道参数、目标信息来判断驾驶辅助的必要性，并向工作设备300请求工作。工作设备300例如是仪表板的警报装置、电动动力转向装置、以及制动执行装置等。
[0049]车行道参数例如是道路的曲率(半径)、道路的车道宽度、本车辆在车道内的横向位置、本车辆相对于道路的横摆角等。驾驶辅助ECU200使用与车载LAN连接的其他的ECU或者传感器检测出的信息(例如车轮速度、转向角、偏航率等)来进行驾驶辅助。作为使用了车行道参数的驾驶辅助，已知有LDW(Lane Departure Warning:车道偏离预警)、LKA(Lane Keeping Assist:车道保持辅助)等。LDW是指在根据横向位置、横摆角以及车速而存在偏离车道的可能性的情况下，通过警报音、振动等唤起驾驶员注意的驾驶辅助。LKA是控制电动动力转向装置来对转向轴施加转向转矩或控制每个车轮的制动、发动机输出，以使本车辆在车道内的目标行驶线上行驶的驾驶辅助方式。除了控制转向转矩或者每个车轮的制动、发动机输出，以使在目标行驶线上行驶以外，也有进行控制以使在存在从车道偏离的可能性时维持车道的LKA。像这样，能够通过检测白线，来进行多种驾驶辅助。应予说明，在本实施例中，能够通过白线来检测车行道参数，在白线的检测困难的情况下，能够通过路缘石、人行道台阶来检测车行道参数。
[0050]另外，目标信息例如是距离信息、相对速度以及方位(横向位置)。驾驶辅助ECU200从方位(横向位置)提取存在发生碰撞可能性的障碍物，若根据距离信息和相对速度计算出的TTC(Time To Collis1n:碰撞时间)在预定值以下，贝U进行鸣响警报音、减速等驾驶辅助。
[0051]路旁物检测装置100具有右拍摄装置11、左拍摄装置12、以及拍摄装置计算机13。由右拍摄装置11和左拍摄装置12构成一个立体拍摄装置。将立体拍摄装置例如以光轴朝向车辆前方的方式配置于车室内后视镜，但也能够配置于车顶等其它地方。右拍摄装置11和左拍摄装置12以预定间隔(基线长)分离配置。右拍摄装置11和左拍摄装置12分别具有C