专利名称：行驶道路推定装置及程序的制作方法
技术领域：
本发明涉及行驶道路推定装置及程序，特别涉及基于利用摄像装置拍摄到的图像推定行驶道路参数的行驶道路推定装置及程序。
背景技术：
目前，提出有以下车辆行驶路识别装置:根据由CCD摄影机对车辆前方拍摄到的输入图像检测车道标志，基于车道标志的检测结果利用卡尔曼滤波算出用于表示车辆前方的道路形状的道路模型参数(参照专利文献I)。在专利文献I的行驶路识别装置中，推定的道路模型参数的变化作为概率性的行为而定义为由固定的白色高斯噪声驱动的离散系随机游动模型。专利文献1:(日本)特开2002 - 109695号公报
发明内容
但是，每个推定的参数的推定精度根据观测值的分布而受到影响，在上述专利文献I中的技术中，因为表示道路模型参数的变动的程度的系统噪声被设定为与观测值无关，所以，存在不能稳定进行道路模型参数推定的问题。本发明为了解决上述问题点而提出，其目的在于提供一种可以稳定推定行驶道路参数的行驶道路推定装置及程序。为了实现上述目的，本发明的行驶道路推定装置包括:获取单元，获取对本车辆周边拍摄而得到的摄像图像；提取单元，从利用所述获取单元获取的摄像图像提取表示车道的特征点；设定单元，基于由所述提取单元提取处的特征点的分布，设定系统噪声，该系统噪声表示推定与相对所述本车辆行驶的行驶道路的与本车辆的位置及姿态、以及该行驶道路的形状及大小相关的行驶道路参数时的该行驶道路参数的变动的程度；推定单元，基于由所述提取单元提取出的特征点、过去的所述行驶道路参数的推定结果、及由所述设定单元设定的系统噪声，通过处理离散时间信号的概率性信号处理推定所述行驶道路参数。根据本发明的行驶道路推定装置，获取单元获取对本车辆周边拍摄而得到的摄像图像，提取单元从由获取单元获取的摄像图像提取表示车道的特征点。表示车道的特征点的提取是如下进行的，即首先从摄像图像提取边缘点，基于边缘点的连续性或形状等从边缘点中选择表示车道的特征点。而且，设定单元基于由提取单元提取出的特征点的分布对表示推定与相对本车辆行驶的行驶道路的本车辆的位置及姿态、以及行驶道路的形状及大小相关的行驶道路参数时的行驶道路参数的变动的程度的系统噪声进行设定，推定单元基于由提取单元提取出的特征点、过去的行驶道路参数的推定结果、及由设定单元设定的系统噪声，通过处理离散时间信号的概率性信号处理推定行驶道路参数。这样，基于从摄像图像提取出的表示车道的特征点的分布、即观测值的分布，对与各推定的行驶道路参数分别对应的系统噪声进行设定，因此，可以稳定推定行驶道路参数。
另外，可以将与相对所述行驶道路的本车辆的位置及姿态相关的行驶道路参数设为相对该行驶道路的本车辆的横向位置、相对该行驶道路的中央线的横摆角、及相对行驶道路的平面的俯仰角，将与所述行驶道路的形状及大小相关的行驶道路参数设为该行驶道路的曲率及该行驶道路的车道宽度。另外，所述设定单元可以在所述特征点仅分布于摄像图像上的远方区域的情况下，将与所述行驶道路的曲率、所述行驶道路的车道宽度、及相对所述行驶道路的本车辆的横向位置对应的系统噪声分别减小，在所述特征点仅分布于摄像图像上的附近区域的情况下，将与所述行驶道路的曲率对应的系统噪声减小，在仅分布有表示所述车道的左侧边界的特征点或表示右侧边界的特征点的情况下，将与所述行驶道路的车道宽度、及相对所述行驶道路的平面的俯仰角对应的系统噪声分别减小，在所述特征点不存在预先确定的规定数量以上的情况下，将与全部行驶道路参数对应的系统噪声分别减小。由此，即使是行驶道路参数的推定精度降低这样的观测状况也可以稳定推定行驶道路参数。另外，本发明的行驶道路推定程序是用于使计算机作为以下单元发挥功能:获取单元，获取对本车辆周边拍摄而得到的摄像图像；提取单元，从由所述获取单元获取的摄像图像提取表示车道的特征点；设定单元，基于由所述提取单元提取出的特征点的分布，设定系统噪声，该系统噪声表示推定与相对所述本车辆行驶的行驶道路的本车辆的位置及姿态、以及该行驶道路的形状及大小相关的行驶道路参数时的该行驶道路参数的变动的程度；及推定单元，基于由所述提取单元提取出的特征点、过去的所述行驶道路参数的推定结果、及由所述设定单元设定的系统噪声，通过处理离散时间信号的概率性信号处理推定所述行驶道路参数。发明效果如上所说明，根据本发明的行驶道路推定装置及程序，基于从摄像图像提取出的表示车道的特征点的分布、即观测值的分布，设定与推定的各行驶道路参数对应的系统噪声，因此，可以得到能够稳定推定行驶道路参数的效果。
图1是表示本实施方式行驶道路推定装置的电气系的要部构成的框图；图2A是示意性表示推定的行驶道路参数(横向位置、横摆角、车道宽度)的图；图2B是示意性表示推定的行驶道路参数(曲率)的图；图2C是示意性表示推定的行驶道路参数(俯仰角)的图；图3是表示本实施方式行驶道路推定装置的功能构成的框图；图4A是用于说明特征点的提取的图； 图4B是用于说明特征点的提取的图；图4C是用于说明特征点的提取的图；图5是用于说明车道边界点的选择的图；图6是用于说明远方区域及附近区域的图；图7A是表示车道边界点的分布的图案的图；图7B是表示车道边界点的分布的图案的图；图7C是表示车道边界点的分布的图案的图7D是表示车道边界点的分布的图案的图；图7E是表示车道边界点的分布的图案的图；图7F是表示车道边界点的分布的图案的图；图7G是表示车道边界点的分布的图案的图；图7H是表示车道边界点的分布的图案的图；图71是表示车道边界点的分布的图案的图；图7J是表示车道边界点的分布的图案的图；图7K是表示车道边界点的分布的图案的图；图7L是表示车道边界点的分布的图案的图；图7M是表示车道边界点的分布的图案的图；图7N是表示车道边界点的分布的图案的图；图70是表示车道边界点的分布的图案的图；图7P是表示车道边界点的分布的图案的图；图8是表示与车道边界点的分布对应的每个行驶道路参数的系统噪声的设定之一例的图；图9是表示本实施方式行驶道路推定装置的行驶道路推定处理例程的内容的流程图；图10是用于说使用了粒子滤波的例的图。
具体实施例方式下面，参照附图对本发明实施方式详细进行说明。如图1所示，本实施方式的行驶道路推定装置10具备对车辆前方区域连续进行拍摄的摄像装置12、执行推定行驶道路参数的处理的计算机16。摄像装置12具备对车辆前方的对象区域拍摄且生成图像信号的摄像部(省略图示)、将摄像部生成的模拟信号即图像信号转换为数字信号的A/D转换部(省略图示)、及用于临时贮存A/D转换后的图像信号的图像存储器(省略图示)。计算机16包含负责行驶道路推定装置10整体的控制的CPU20、存储后述的行驶道路推定处理例程的程序等各种程序的作为存储介质的R0M22、作为工作区而临时贮存数据的RAM24、作为存储了各种信息的存储装置的存储器26、输入输出端口(I/O端口)28、将这些相互连接的总线而构成。I/O端口 28与摄像装置12连接。本实施方式的行驶道路推定装置10从由摄像装置12拍摄到的摄像图像提取表示车道的特征点(车道边界点)，将该特征点作为观测值使用卡尔曼滤波推定行驶道路参数。另外，作为行驶道路参数，推定与相对于本车辆行驶的行驶道路的本车辆的位置及姿态相关的行驶道路参数、以及与本车辆行驶的行驶道路的形状及大小相关的行驶道路参数。更具体而言，将与相对于行驶道路的本车辆的位置及姿态相关的行驶道路参数设为表示行驶道路的左侧边界的车道、表示右侧边界的车道、或相对于中央线的本车辆的横向位置ek I k、相对于行驶道路的中央线的横摆角Θ k I k、及相对于行驶道路的平面的俯仰角Φ, + k，将与行驶道路的形状及大小相关的行驶道路参数设为行驶道路的曲率ck i k、及行驶道路的车道宽度Wk + k。在将这五个行驶道路参数合并称为行驶道路参数的情况下，设为行驶道路参数Xk I k (Xk I k = (ek I k Θ k , k (J)k I kck I kwk I k))。图2A 图2C示意性表示作为行驶道路参数进行推定的横向位置、横摆角、俯仰角、曲率(行驶道路的形状)及车道宽度。对执行这样的处理的计算机16通过分割为基于硬件和软件而确定的每个功能实现装置的功能框图进行说明，如图3所示，可以用含有以下部分的构成表示:获取由摄像装置12拍摄到的摄像图像并从摄像图像提取特征点的特征点提取部30、从提取出的特征点选择表示车道的车道边界点的车道边界点选择部32、判定车道边界点的分布的分布判定部34、基于车道边界点的分布设定各系统噪声的系统噪声设定部36、基于车道边界点、过去的推定结果、及设定了的系统噪声推定行驶道路参数的行驶道路参数推定部38。特征点提取部30对例如图4A所示的摄像图像，如图4B那样沿水平方向扫描，将每个像素的亮度的变化点即边缘点作为特征点提取。图4C表示示意性表示了提取出的特征点之一例。车道边界点选择部32从由特征点提取部30提取出的特征点通过判别连续排列的边缘点的形状或宽度、颜色等选择表示车道的车道边界点。在存在多个车道的情况下，选择表示最内侧的左右一对车道的车道边界点。图5表示示意性表示已被选择的车道边界点之一例。另外，特征点提取部30及车道边界点选择部32是本发明的提取装置之一例。分布判定部34判定由车道边界点选择部32选择了的车道边界点为怎样的分布。本实施方式中为判定车道边界点是分布于远方区域及附近区域双方、是只分布于远方区域、或者还是只分布于附近区域。另外，判定是存在表示左侧边界的车道边界点及表示右侧边界的车道边界点这两方的分布、是只存在表示左侧边界的车道边界点的分布、或者还是只存在表示右侧边界的车道边界点的分布。另外，判定选择了的车道边界点的总数是否在预先确定的规定数以下。将 车道边界点的总数为规定数以下的分布称为无观测值的分布。在此，对在远方区域及附近区域是否存在车道边界点的判定进行说明。首先，如图6所示，以摄像图像的左上端的像素为原点，设水平方向为X轴、设垂直方向为y轴。设定消失点的位置的y坐标为ya、设定摄像图像的y坐标的最大值为yb,设定yc = ya + k(yb 一ya)形成的y坐标yc。另外,k设定为O < k < I的值,可以设定为例如1/3。另外,考虑摄像装置12的安装角度等，也可以将与相距摄像装置12的距离为例如20m的位置对应的摄像图像上的y坐标设定为yc。而且，将I坐标为ya yc的范围设定为远方区域，将y坐标为yc yb的范围设定为附近区域。然后，将表示左侧边界的车道边界点的y坐标的最小值设为LF，只要LF ^ yc，则判定为车道边界点存在于左侧远方区域。另外，将表示左侧边界的车道边界点的y坐标的最大值设为LN，只要LN > yc，则判定为车道边界点存在于左侧附近区域。同样，将表示右侧边界的车道边界点的I坐标的最小值设为RF，将最大值设为RN，与yc进行比较，判定车道边界点是存在于右侧远方区域还是存在于右侧附近区域。另外，也可以分别设置用于判定车道边界点是否存在于远方区域及附近区域的y坐标阈值Tf及Tn，只要LF (RF)^ TfJiJ判定为车辆边界点存在于远方区域，只要LN ^ Τη，则判定为车辆边界点存在于附近区域。如上述，为了判定车道边界点是分布于远方区域还是附近区域，及分布于左侧还是分布于右侧，车道边界点的分布的图案分类为图7Α 图7Ρ所示的图案。图7Ρ是无观测值的分布。
系统噪声设定部36基于由分布判定部34判定出的车道边界点的分布，设定与各推定的行驶道路参数Xk i k对应的系统噪声。系统噪声表示在基于本次的观测使上次的推定结果变动而推定本次的行驶道路参数时使行驶道路参数变动的程度。在车道边界点分布于远方区域及附近区域、以及左右两侧的情况下，可以稳定推定全部的行驶道路参数Xk i k。但是，例如在车道边界点只分布于远方区域的情况下，因为本车辆的横向位置ek + k或车道宽度Wk + k等行驶道路参数的推定精度降低，因此推定结果不稳定。因此，根据车道边界点的分布判断观测状况，设定与各行驶道路参数分别对应的系统噪声。图8表示系统噪声的设定方法之一例。在以下情况下可以比较稳定推定参数:横向位置ek i k为在车道边界点分布于附近区域的情况下，横摆角0k i k为在车道边界点存在有规定数量以上的情况下(存在观测值的情况)，俯仰角Φ, + k为在车道边界点分布于左右两侧的情况下，曲率Ck I k为在车道边界点在从附近区域到远方区域进行分布的情况下，车道宽度Wk i k为在车道边界点分布于附近区域的左右两侧的情况下。因此，判定由分布判定部34判定出的车道边界点的分布的图案属于以下哪一个分布种类:车道边界点存在于全部区域的“远近左右有”、只存在于远方区域的“仅远方”、只存在于附近区域的“仅附近”、存在于表示左侧边界的车道边界点及表示右侧边界的车道边界点双方的“左右有”、只存在于表示左侧边界或右侧边界的一侧的边界的车道边界点的“仅单侧”、及车道边界点的总数为规定数以下的“无观测值”。图8中的分布的种类名的下段的字母与图7A 图7P中的各分布的图案对应。“左右有”中不含图7A、图7F及图7J的图案。另外，图7H及图7N的图案属于“仅远方”及“仅单侧”这两者。另外，图7L及图70的图案属于“仅附近”及“仅单侧”这两者。另外，如图8所示，对每个分布的种类制定有与行驶道路参数分别对应的系统噪声的设定方法。例如，在“仅远方”的情况下，对于与横向位置ek + k、曲率ck + k及车道宽度Wk + ,对应的系统噪声，定为“噪声小”。在“噪声小”的情况下，将该系统噪声设定得较小(例如，设定为“0”)，在不是“噪声小”的情况下，根据现有的方法设定系统噪声。另外，将系统噪声设定得较小是指缩小行 驶道路参数推定时的变动的程度，包括以不更新相应的行驶道路参数的方式进行设定。系 统噪声越大，行驶道路参数越易于变动，系统噪声越小，行驶道路参数越难以变动，可以得到稳定的推定结果。另外，分布判定部34及系统噪声设定部36是本发明的设定装置之一例。行驶道路参数推定部38根据下述所示的卡尔曼滤波的式推定行驶道路参数Xk I k。[数I]滤波方程式
权利要求
1.一种行驶道路推定装置，包括: 获取单元，获取对本车辆周边拍摄而得到的摄像图像； 提取单元，从利用所述获取单元获取的摄像图像提取表示车道的特征点； 设定单元，基于由所述提取单元提取出的特征点的分布，设定系统噪声，该系统噪声表示推定与相对所述本车辆行驶的行驶道路的本车辆的位置及姿态、以及该行驶道路的形状及大小相关的行驶道路参数时的该行驶道路参数的变动的程度；以及 推定单元，基于由所述提取单元提取出的特征点、过去的所述行驶道路参数的推定结果、及由所述设定单元设定的系统噪声，通过处理离散时间信号的概率性信号处理推定所述行驶道路参数。
2.按权利要求1所述的行驶道路推定装置，其中， 将与相对所述行驶道路的本车辆的位置及姿态相关的行驶道路参数设为相对该行驶道路的本车辆的横向位置、相对该行驶道路的中央线的横摆角、及相对该行驶道路的平面的俯仰角，将与所述行驶道路的形状及大小相关的行驶道路参数设为该行驶道路的曲率及该行驶道路的车道宽度。
3.按权利要求2所述的行驶道路推定装置，其中， 所述设定单元在所述特征点仅分布于摄像图像上的远方区域的情况下，将与所述行驶道路的曲率、所述行驶道路的车道宽度、及相对所述行驶道路的本车辆的横向位置对应的系统噪声分别减小， 所述设定单元在所述特征点仅分布于摄像图像上的附近区域的情况下，将与所述行驶道路的曲率对应的系统噪声减小， 所述设定单元在仅分布有表示所述车道的左侧边界的特征点或表示右侧边界的特征点的情况下，将与所述行驶道路的车道宽度、及相对所述行驶道路的平面的俯仰角对应的系统噪声分别减小， 所述设定单元在不存在预先确定的规定数量以上的所述特征点的情况下，将与全部行驶道路参数对应的系统噪声分别减小。
4.一种行驶道路推定程序，用于使计算机作为以下单元发挥功能: 获取单元，获取对本车辆周边拍摄而得到的摄像图像； 提取单元，从利用所述获取单元获取的摄像图像提取表示车道的特征点； 设定单元，基于由所述提取单元提取出的特征点的分布，设定系统噪声，该系统噪声表示推定与相对所述本车辆行驶的行驶道路的本车辆的位置及姿态、以及该行驶道路的形状及大小相关的行驶道路参数时的该行驶道路参数的变动的程度；及 推定单元，基于由所述提取单元提取出的特征点、过去的所述行驶道路参数的推定结果、及由所述设定单元设定的系统噪声，通过处理离散时间信号的概率性信号处理推定所述行驶道路参数。
5.一种行驶道路推定程序，用于使计算机作为构成权利要求1 3中任一项所述的行驶道路推定装置的各单元发挥功能。
全文摘要
本发明由特征点提取部(30)获取由摄像装置(12)拍摄到的摄像图像，并从摄像图像提取特征点，由车道边界点选择部(32)从提取出的特征点选择表示车道的车道边界点，再通过分布判定部(34)判定车道边界点的分布，由系统噪声设定部(36)基于车道边界点的分布设定各系统噪声，由行驶道路参数推定部(38)基于车道边界点、过去的推定结果、及设定的系统噪声稳定推定行驶道路参数。
文档编号G08G1/16GK103098111SQ201180042149
公开日2013年5月8日 申请日期2011年9月26日 优先权日2010年9月24日
发明者渡边章弘, 小城隆博, 特厄拉瓦特·林皮邦滕, 土屋义明 申请人:丰田自动车株式会社