专利名称：路面标示识别系统的制作方法
技术领域：
本发明涉及一种基于由摄像机构所拍摄出的图像对路面上形成的路 面标示进行识别的路面标示识别系统，特别是一种通过仅对具有满足了规 定标准的状态的路面标示进行检测来进行路面标示的识别，从而减轻处理 负荷的路面标示识别系统。
背景技术：
以往，已提出了取得从导航装置的地图数据得到的道路信息、及利用
GPS等确定的当前位置等车辆行驶所涉及的各种信息，并且通过报知给驾 驶员、辅助驾驶、甚至干预驾驶来防止车辆事故的驾驶支援装置。
并且，在这样的驾驶支援装置中，为了在更加正确的时机进行必要的 报知及车辆的控制，有的在车辆的全方位上设置摄像机等摄像机构、并基 于拍摄出的图像进行报知及车辆的控制。例如，在特开平2004-86363号公 报中，记载了从利用朝向车辆的前方设置的CCD摄像机拍摄出的图像数 据中检测出在自身车辆行驶的道路上形成的暂时停止线，然后基于检测结 果实施交叉路口上的驾驶辅助的车辆用驾驶辅助装置。
专利文献l: JP特开2004-86363号公报(第8页 第10页、图4)。
然而，在上述专利文献l所记载的车辆用驾驶辅助装置中， 一律直接 通过CCD摄像机等检测机构来检测作为控制对象的暂时停止线，然后对 检测出的控制对象进行引导及控制车辆，但是检测对象即路面标示是在车 辆行驶的路面上形成的，时间一长，由于与轮胎间的摩擦等各种因素会造 成涂料部分剥落、或者变薄。
若根据摄像机拍摄出的图像对这种路面标示进行路面标示的检测，要 正确把握其外形是很困难的，故产生错误识别的可能性较高。还有，包含 错误识别可能性较高的路面标示在内对全部的路面标示进行检测会增加
装置的处理负荷，因此需要另外设置图像处理用的控制部。据此，装置全 体成为昂贵的系统，从而妨碍这种使用摄像机的车辆的控制装置的普及。
发明内容
本发明正是为了消除上述以往装置中的问题点而作出的，其目的在 于，提供一种通过在路面上形成的路面标示内，预先将检测困难的路面标 示从检测对象中排除从而降低错误识别率，另一方面通过仅进行必要的处 理来减轻装置的处理负荷，从而能够由廉价的系统构成的路面标示识别系统。
为了达成上述目的，本发明的第1发明所记载的路面标示识别系统， 具有摄像机构，其配置在车辆上，并对车辆的周边进行摄像；标示状态 存储机构，存储路面上形成的路面标示的状态；以及，路面标示检测机构， 基于由上述摄像机构所拍摄出的图像，对在上述车辆行驶的路面上形成的 路面标示之内、具有满足规定标准的状态的路面标示进行检测。
另外，在此"路面标示"，指的是在道路交通中，对于必要的引导、 诱导、警戒、限制、提示等，使用涂料类或道路铆钉或与此类似的物体等 在路面上设置的规定样式化的线条及文字、记号，例如停止线及人行横道 等。
另外，"路面标示的状态"，包含路面标示的外形及擦蹭情况、涂料的 浓度、颜色等。
另外，第2发明中的路面标示识别系统，是在第l发明中的的路面标 示识别系统中，具有标示位置存储机构，存储路面上形成的路面标示的 位置信息；以及，当前位置检测机构，对车辆的当前位置进行检测；上述 路面标示检测机构，具备标示信息抽出机构，基于上述当前位置检测机 构的检测结果及上述标示位置存储机构所存储的位置信息，将位于距离车 辆的当前位置规定范围内的路面标示的信息从上述标示状态存储机构中 抽出；以及，标示状态判断机构，判断利用上述标示信息抽出机构抽出信 息的路面标示是否为具有满足规定基准的状态的路面标示，在利用上述标 示状态判断机构判断为存在满足条件的路面标示时，进行路面标示的检
另外，第3发明中的路面标示识别系统，是在第1或第2发明中的的 路面标示识别系统中，具有距离计算机构，其计算出利用上述路面标示检 测机构检测出的路面标示与车辆之间的距离，上述路面标示中，具备多处 由上述距离计算机构计算距离时使用的测定开始点，上述距离计算机构， 通过计算出从上述多个测定开始点之中、基于利用上述路面标示检测机构 检测出的路面标示的状态而选择出的规定的测定开始点到车辆的距离，来 计算出路面标示与车辆之间的距离。
另外，第4发明中的路面标示识别系统，是在第1或第2发明中的的 路面标示识别系统中，具有满足上述规定基准的状态的路面标示，是位于 高速道路的主线与连接道的连接部的车道边界线的路面标示，且上述车道 边界线处于被沿长度方向分割的状态。
再有，第5发明中的路面标示识别系统，是在第4发明中的的路面标 示识别系统中，具有标示位置存储机构，存储路面上形成的路面标示的 位置信息；以及，当前位置检测机构，对车辆的当前位置进行检测，上述 路面标示检测机构，具备标示信息抽出机构，基于上述当前位置检测机
构的检测结果及上述标示位置存储机构所存储的位置信息，将位于距离车 辆的当前位置规定范围内的路面标示的信息从上述标示状态存储机构中抽出；图像识别机构，基于由上述摄像机构所拍摄出的图像，对在路面上 形成的路面标示的形状进行识别，在利用上述图像识别机构识别为在路面 上形成有以规定间隔平行的双线时，如果利用上述标示信息抽出机构没有 抽出具有双线的路面标示，则将上述双线作为上述车道边界线的路面标示 的一部分或全部检测出来。
在具有上述构成的第1发明的路面标示识别系统中，由于通过基于拍 摄到的图像对车辆行驶的路面上形成的路面标示内、具有满足规定标准的 状态的路面标示进行检测，因此能够预先将检测困难状态的路面标示从检 测对象中排除，故能够降低路面标示的识别中的错误识别率。
另外，通过仅进行必要的处理，能够使路面标示的检测中的装置的处 理负荷最小限度化。因此，不需要另外设置图像处理用的控制部，故可由 更廉价的系统构成。
另外，在第2发明的路面标示识别系统中，只有当位于距离车辆的当 前位置规定范围内具有满足了规定标准的状态的路面标示时，才进行路面 标示的检测，因此只在需要的时机进行利用摄像机构的检测处理，从而能 够使路面标示的检测中的装置的处理负荷最小限度化。这样，不需要另外 设置图像处理用的控制部，故可由更廉价的系统构成。
另外，在第3发明的路面标示识别系统中，由于通过计算出从路面标 示设置的复数个测定开始点内、基于检测出的路面标示的状态选择出的规 定的测定开始点到车辆的距离，计算出路面标示与车辆之间的距离，故能 够选择路面标示的状态良好部分作为距离测定的起点，并能提高距离测定 的精度。
另外，在第4发明的路面标示识别系统中，由于基于拍摄的图像对车 辆行驶的路面上形成的路面标示中、位于高速道路的主线与连接道的连接 部的车道边界线的路面标示进行检测，因此对于由于涂料剥落而容易被分 割成双线的车道边界线的路面标示，只要一点就能够将众的路面标示作为 检测对象，并能够利用检测结果提供驾驶支援或信息公开等各种服务。
再有，在第5发明的路面标示识别系统中，当基于拍摄到的图像，识
别路面上形成有以规定间隔平行的双线时，如果距离车辆的当前位置规定 范围内没有路面标示，则将所识别的双线作为具有沿长度方向被分割的状 态的线的路面标示的一部分或全部检测出来，因此对于由于涂料剥落而已 经分离成双线的路面标示，能够正确地检测出路面标示的种类。这样，能 够提高检测精度。
图1是第1实施方式的驾驶支援装置的概略构成图。
图2是示意表示第1实施方式的驾驶支援装置的控制系的方框图。
图3是表示第1实施方式的路面标示DB的存储区域的图。
图4是表示第1实施方式的驾驶支援装置所使用的擦蹭图案之中、特
别是"有人行横道"的路面标示的擦蹭图案的说明图。
图5是表示第1实施方式的驾驶支援装置所使用的擦蹭图案之中、特
别是"有人行横道"的路面标示的擦蹭图案的说明图。 图6是表示拍摄路面标示的车辆的俯视图。
图7是表示拍摄路面标示的车辆的侧视图。
图8是表示利用图6及图7的状态中的车辆的后方摄像机所拍摄出的
拍摄图像的示意图。
图9是表示利用车辆的后方摄像机对路面标示进行拍摄之际的从车辆
至控制对象物的距离的计算方法的示意图。
图10是第1实施方式的驾驶支援装置中的驾驶支援处理程序的流程图。
图11是特别表示在车辆的周边形成有擦蹭图案被分类成图案4的"有 人行横道"的路面标示时的俯视图。
图12是特别表示在车辆的周边形成有擦蹭图案被分类成图案8的"有 人行横道"的路面标示时的俯视图。
图13是表示第2实施方式的驾驶支援装置所使用的"粗虚线"的路 面标示的擦蹭图案的说明图。
图14是第2实施方式的驾驶支援装置中的驾驶支援处理程序的流程图。
图15是特别表示在车辆的前面形成有擦蹭图案被分类成图案4的"粗 虚线"的路面标示时的俯视图。
图16是特别表示在车辆的周边形成有擦蹭图案被分类成图案5的"粗 虚线"的路面标示时的俯视图。
图17是表示第3实施方式的驾驶支援装置的概略构成图。
图中l一驾驶支援装置，2 —车辆，3 —后方摄像机，5—车辆ECU， 6 —导航ECU， 7 —液晶显示器，8 —扬声器，9一当前位置检测部，11 —制 动器执行机构，12—油门执行机构，42 —路面标示DB。
具体实施例方式
以下，对应用了本发明的路面标示识别系统的驾驶支援装置，基于具 体化的第1至第3实施方式并参照附图进行详细说明。 (第1实施方式)
首先，就第1实施方式的驾驶支援装置1的概略构成结合图1进行说 明。图1是第1实施方式的驾驶支援装置1的概略构成图。
如图1所示，第1实施方式的驾驶支援装置1，由对车辆2设置的后
方摄像机(摄像机构)3、导航装置4、和车辆ECU5等构成。
后方摄像机3是使用了例如CCD等固体摄像单元的装置，它组装在 安装于车辆2的后方的车牌的上方中央附近，并设置其视线方向为与水平 成45度向下。而且，在停车时对车辆2的行进方向即车辆后方进行拍摄， 并在导航装置的液晶显示器7上显示其拍摄所得的图像(以下、称为BGM (back guide monitor)图像)。另一方面，在正常行驶中，如后所述对 在车辆2周围的路面上形成的停止线、人行横道、车辆的最高速度等路面 标示进行拍摄。然后，基于拍摄的路面标示的图像，间接计算出从车辆2 至停止线或交叉路口、转弯进入口等作为行驶引导和车辆控制的对象的控 制对象物之间的距离。
还有，导航装置4由导航ECU (electronic'contro卜unit) 6;设在 车辆2的室内中央控制台或面板上、并显示地图及至目的地的探索路径的 液晶显示器7;输出有关路径引导的语音向导的扬声器8;在地图上确定 车辆2的当前位置与行驶方向的当前位置检测部(当前位置检测机构)9;
存储用于显示地图的地图数据及与路面上形成的路面标示的种类及位置
相关的信息的数据存储部10;和用于与信息中心等进行通信的通信装置 13构成。
导航ECU(路面标示检测机构、标示信息抽出机构、标示状态判断机 构、距离计算机构)6，是除了通常的路径探索及路径引导处理之外，还 进行根据用后方摄像机3拍摄到的拍摄图像对车辆2行驶的路面上形成 的路面标示进行检测的检测处理；根据检测出的路面标示间接地计算出从 车辆2至停止线和路口 、转弯进入口等控制对象物之间的距离的计算处理； 以及，基于计算出的距离迸行车辆2的驱动控制的指示及路径引导处理等 的电子控制单元。另外，导航ECU6的详细构成在下文进行叙述。
然后，车辆ECU5，是对发动机、变速机、油门、制动器等的动作进 行控制的车辆2的电子控制单元，它连接制动器执行机构11、油门执行机 构12。而且，导航ECU6在满足了规定的条件时，通过车辆ECU5向制动 器执行机构11及油门执行机构12发送控制信号，然后改变制动压力或发 动机吸入的空气量，自动给与制动力。
接着，就第1实施方式的驾驶支援装置1的控制系统的构成特别是以
导航装置4为中心，结合图2进行说明。图2是示意表示第1实施方式的
驾驶支援装置1的控制系统的结构方框图。
在图2中，驾驶支援装置1的控制系统以导航装置4、和车辆ECU5 为基础构成，并对应各控制机构连接特定的周边机器。
以下，就构成导航装置4的各构成要素进行说明，当前位置检测部9 由GPS31、地磁传感器32、陀螺仪传感器33、转向机构传感器34、距离 传感器35、高度计(图中未标示)等构成，它能够检测出当前的自车位置、 方位、从规定地点起的行驶距离等。
具体来讲，GPS31通过接收由人造卫星发射出的电波来检测出地球上 的自车的当前位置及当前时刻，而地磁传感器32通过测定地磁来检测出
自车方位。
还有，陀螺仪传感器33对自车的旋转角进行检测。在此，使用例如 气体自由度陀螺仪、振动陀螺仪等作为陀螺仪传感器33。另外，通过对由 陀螺仪传感器33检测出的旋转角进行积分，能够检测出自车方位。
另外，转向机构传感器34对自车的转向角进行检测。在此，使用例 如安装在方向盘(图中未标示)的旋转部上的光学旋转传感器、旋转电阻 传感器、安装在车轮上的角度传感器等，作为转向机构传感器34。
再有，距离传感器35，基于由发动机每隔规定行驶距离所产生的车速 脉冲，对移动速度(累计移动距离)进行检测。
另外，数据存储部IO，具备作为外部存储装置及存储介质的硬盘(图 中未标示)、和用于读出已存储在硬盘中的规定的程序、容纳地图数据等 的路径引导及地图显示所必需的信息的地图DB41、容纳与路面标示相关 的信息的路面标示DB (标示状态存储机构、标示位置存储机构)42等， 同时还具有用于将规定的数据写入硬盘的驱动器即存储磁头(图中未标 示)。另外，在第1实施方式中，虽然使用硬盘作为数据存储部10的外部 存储装置及存储介质，但除了硬盘以外、还可以使用软盘等磁盘作为外部 存储装置。还有，亦可使用存储卡、磁带、磁鼓、CD、 MD、 DVD、光盘、 MO、 IC卡、光卡等作为外部存储装置。
另外，对于地图DB41而言，存储有路径引导及地图显示所必需的各种信息，例如存储用于显示地图的地图数据、有关各交叉路口的交叉路口 数据、有关节点的节点数据、有关道路的道路数据、用于探索路径的探索 数据、有关设施的设施数据、用于探索地点的探索数据等。还有，在第1
实施方式的导航装置4中，对于路面标示DB42而言，还存储有路面上形
成的路面标示的种类(例如停止线、人行横道、最高速度)、表示路面标
示的涂料的擦蹭状态的擦蹭图案(pattem)、用于确定检测出的路面标示的 种类的规定信息、和在地图上对路面标示的位置进行确定的座标数据。另 外，关于路面标示DB42在下文结合图3进行详细说明。
另外，导航ECU6除了作为进行导航装置4的全体控制的运算装置及 控制装置的CPU以外，还具备用作CPU进行各种运算处理之际的工作存 储器、并且存储探索出了路径时的路径数据等的RAM,并且除了控制用 的程序以外，还存储有进行至目的地的路径的探索、探索出的诱导路径的 引导的路径引导处理程序，以及基于利用后方摄像机3拍摄出的图像计算 出与控制对象物(停止线及交叉路口、转弯进入口等)之间的距离、并进 行驾驶辅助的后述的驾驶支援处理程序(参照图10)的ROM等内部存储 装置。另外，利用半导体存储器、磁芯等作为上述RAM、 ROM等。而且， 亦可使用MPU等代替CPU作为运算装置及控制装置。
另外，在导航ECU6中，具备GUI控制部51、定位部52、和路径探 索，引导处理部53，并基于从后方摄像机3、当前位置检测部9、数据存 储部10以及各周边机器所取得的信息进行各种控制。
在此，GUI控制部51，基于从地图DB41读出的地图数据与利用定位 部52检测出的自车的当前位置，在液晶显示器7上显示自车周围的适当 的地像，同时在有必要进行路径引导时，对地像合成图标及引导 画面、探索路径等后在液晶显示器7上进行显示。
另外，定位部52，基于由当前位置检测部9所提供的各信息，检测出 车辆2当前的绝对位置(纬度 经度)。进而，根据检测出的当前位置与 存放在路面标示DB42中的信息，判断在距离车辆2的规定范围(前方 30m 后方20m)内是否存在涂料的擦蹭状态满足规定标准的状态良好的 路面标示，当存在时，读入利用后方摄像机3拍摄出的图像并进行解析处 理，进行路面上的路面标示的检测及识别。另外，计算出根据拍摄出的图
像检测出的路面标示与车辆2之间的距离，进一步计算出从此距离到路面 标示所关联的控制对象物之间的距离，根据算出的距离控制制动器执行机 构11、油门执行机构12来进行车辆2的驱动控制，或者利用液晶显示器
7及扬声器8进行行驶的引导。
再有，路径探索*引导处理部53，在己设定了目的地时，基于己存储 在数据存储部10上的节点数据及探索数据，进行从当前位置到目的地的 路径探索，同时按照设定出的诱导路径使用液晶显示器7及扬声器8进行 路径的引导。
另外，液晶显示器7、扬声器8、和通信装置13等各周边装置，电连 接于上述导航ECU6。
在液晶显示器7中显示操作引导、操作菜单、关键提示、从当前位置 到目的地的诱导路径、沿诱导路径的提示信息、交通信息、新闻、天气预 报、时刻、邮件、电视节目、和由后方摄像机3所拍摄出的BGM图像等。 另外，也可代替液晶显示器7，使用将全息图投影到车辆2前风挡玻璃上 的全息投影装置。
另外，扬声器8基于来自导航ECU6的指示，输出对沿着诱导路径的 行驶进行引导的语音向导。在此，作为引导的语音向导，例如为"请在前 方200m的交叉路口向右转"或"前方的国道OO号线正堵车"等。另外， 作为由扬声器8输出的语音除了合成的语音以外，亦可输出各种效果音、 预先录制在磁带或存储器等上面的各种提示信息。还有，在第1实施方式 的导航装置4中，在从自车到控制对象物的距离为规定距离时，利用液晶 显示器7及扬声器8进行涉及控制对象物的行驶引导(例如，接近停止线 时的警告等)。
然后，通信装置13，是通过沿着道路配设的电波信标装置、光信标装 置等，将由从信息中心、例如VICS (注册商标Vehicle Information and Communication System)中心等发送出的拥堵信息、管制信息、停车场信 息、交通事故信息、服务区域的混乱状况等各信息构成的交通信息，作为 电波信标、光信标等接收的信标接收机。另外，作为通信装置13，亦可为 能够在LAN、 WAN、 intranet、移动电话线路网、电话线路网、公用通信 线路网、专用通信线路网、internet等通信线路网等的通信系统中进行通信的网络机器。再有，通信装置13，还具备将除了来自上述信息中心的信息
以外的、由新闻、天气预报等信息构成的FM复用信息，经FM广播局作 为FM复用广播进行接收的FM接收机。另外，虽然上述信标接收机以及 FM接收机，被单元化而作为VICS接收机进行配设，但亦可分别进行配 设。另外，第1实施方式的导航装置4通过通信装置13连接到信息中心， 并对地图DB41及路面标示DB42中所存放的信息进行更新。
接着，结合图3就数据存储部10中存储有关路面标示的信息的路面 标示DB42进行说明。图3是表示第1实施方式的路面标示DB42的存储 区域的图。
如图3所示，路面标示DB42的存储区域，由路面标示的地图数据上 的座标(位置)、路面标示的种类、表示路面标示的涂料的擦蹭状态的擦 蹭图案、关联到路面标示的控制对象物、和从路面标示的测定开始点(有 多个时为距离控制对象物最近的测定开始点)至控制对象物的距离构成。
在此，就存储在路面标示DB中的路面标示的擦蹭图案结合图4及图 5进行说明。图4及图5是表示第1实施方式的驾驶支援装置1中所使用 的擦蹭图案之中、特别是"有人行横道"的路面标示60的擦蹭图案的说 明图。
如图4及图5所示在第1实施方式的驾驶支援装置1中以"有人行横 道"的路面表示60定义的擦蹭图案由总共8种图案构成，基于涂料的擦 蹭位置与范围进行分类。
例如，图案1，分类的是没有较大的涂料擦蹭且整体的形状清楚地保 留的状态。另外，图案2分类的是虽然存在涂料或脱落、或变薄了的擦蹭 部分61但外形保留的状态。另外，图案3分类的是相对车辆的行驶方向 在跟前一侧存在涂料或脱落、或变薄了的擦蹭部分61的状态。另外，图 案4分类的是相对车辆的行驶方向在纵深一侧存在涂料或脱落、或变薄了 的擦蹭部分61的状态。另外，图案5分类的是相对车辆的行驶方向在左 侧存在涂料或脱落、或变薄了的擦蹭部分61的状态。另外，图案6分类 的是相对车辆的行驶方向在右侧存在涂料或脱落、或变薄了的擦蹭部分61 的状态。另外，图案7分类的是由于检修孔的盖及道路的接口等障碍物62 造成涂料的一部脱落的状态。另外，图案8分类的是由于涂料或脱落、或变薄导致外形完全没有保留的状态。
另外，在各擦蹭图案上，测定开始点60A 60D分别设定在路面标示 60的不同位置上。在此，测定开始点60A 60D，设在形成路面标示60 的线(边界线)的角部及前段部上，在如后所述对车辆2与路面标示之间 的距离进行计算之际，通过计算出从车辆2到位于最靠近行驶方向侧的测 定开始点(在图4及图5的"有人行横道"的路面标示60中为测定开始 点60A)的距离，将此距离作为从车辆2到路面标示的距离使用。
在此，虽然"有人行横道"的路面标示60定义了 4处的测定开始点 60A 60D，但为了提高各擦蹭图案中的距离测定的精度，预先设定，来 只将测定开始点60A 60D之内、擦蹭较少的部位的测定开始点作为测定 的起点使用。例如，图案l，设定其全部的测定开始点60A 60D作为使 用的测定开始点。另外，图案2，仅设定可从边界线检测出的测定开始点 60A、 60B作为设定的测定开始点。另外，图案3仅设定可从边界线检测 出的测定开始点60A、 60C作为使用的测定开始点。另外，图案4仅设定 可从边界线检测出的测定开始点60B、 60D作为使用的测定开始点。另外， 图案5仅设定可从边界线能够检测出的测定开始点60A、 60B作为使用的 测定开始点。另外，图案6仅设定可从边界线检测出的测定开始点60A、 60B作为使用的测定开始点。另外，图案7仅设定可从边界线检测出的测 定开始点60A、 60B作为使用的测定开始点。另外，图案8不设定能够使 用的测定开始点。
然后，如后所述导航ECU6从路面标示DB42读出进行检测的路面标 示的擦蹭图案，从设定作为距离测定的起点使用的测定开始点中选择一个 测定开始点，计算出从车辆2到位于最靠近行驶方向侧的测定开始点(在 如图4及图5所示的"有人行横道"的路面标示60中为测定开始点60A) 的距离(图10的S7、 S8)。据此，能够将擦蹭较少的部分作为距离测定 的起点，并能够提高距离测定的精度。另外，有关具体的距离的计算方法 在后文进行详述。
另外，在第1实施方式的驾驶支援装置1中，对于分类为图案8的"涂 料或者脱落或者变薄且外形没有保留的路面标示"，控制为不进行路面标 示的检测处理。据此，能够将检测困难的路面标示预先从检测对象中排除，
以降低路面标示的识别中的错误识别率，还有，通过仅进行有必要的处理， 能够降低导航ECU6的处理负荷。
另外，虽然在图4及图5中仅以"有人行横道"的路面标示的擦蹭图
案为例进行了说明，但对其它的路面标示(例如、"停止线"、"箭头"、"人
行横道"等)，也同样地设定了图案1 图案8的擦蹭图案，存储在路面标 示DB42中的路面标示被分类成任意一种擦蹭图案。而且，对各图案同样 地定义测定开始点，再有对于分类为图案8的路面标示，则控制为不进行 路面标示的检测处理。
在此，回到图3就路面标示DB42的存储区域进行说明，例如，图3 中表示在座标(xl， yl)上形成有擦蹭图案2的"有人行横道"的路面标 示，并且在此路面标示中前方60m作为控制对象物对应有"停止线"的路 面标示。另外，表示在座标(x2， y2)上形成有擦蹭图案8的"箭头"的 路面标示，并且在此路面标示前方54m作为控制对象物对应有"交叉路口 (交叉路口的节点)"。另外，表示座标(x3， y3)上形成有擦蹭图案l的 "最高速度"的路面标示，并且在此路面标示的前方72m作为控制对象物 对应有"街角(街角开始点的节点)"。另外，/表示座标(x4， y4)上形成 有擦蹭图案3的"人行横道"的路面标示，并且在此路面标示的前方89m 作为控制对象物对应有"交叉路口 (交叉路口的节点)"。
在此，控制对象物作为进行行驶引导及车辆的控制的对象，使用形成 路面标示的道路的行驶方向，且位于规定区间(例如、10m 200m)的节 点及其它的路面标示。然后，导航ECU6在后方摄像机3拍摄到已存储在 路面标示DB42中的任意一种路面标示之际，根据拍摄到的图像间接地计 算出对所关联的控制对象物的距离，在此距离为规定距离时进行车辆2的 驱动控制及行驶的引导。
另外，车辆2的驱动控制及行驶的引导的内容，因所关联的控制对象 物的种类而异，例如，在作为控制对象物对应为"停止线"时，在与停止 线之间的距离为50m的时刻在液晶显示器7上显示表示正在接近停止线的 "正在接近停止线"的字符串，并从扬声器8输出同样内容的警告语音。 进而，在此时刻未进行减速时，控制制动器执行机构ll，进行减速控制， 使车辆2停在停止线的跟前。
另外，在作为控制对象物并对应"交叉路口"时，在与相应的交叉路 口的节点之间的距离为10m的时刻，按照己设定出的诱导路径进行路径引 导。例如，在液晶显示器7上显示表示左转的提示显示，并从扬声器8输
出"请在下一个交叉路口左转"的提示语音。另外，在未设定诱导路径时， 不特别进行引导显示及引导语音的输出。
另外，在作为控制对象物对应"街角"时，在与相应的街角开始点的
节点之间的距离为50m的时刻对制动器执行机构11及油门执行机构12 进行控制来实施加速、减速控制，使得在进入街角前达到存储在地图DB41 中的街角的R所对应的最佳速度(例如、在R30下为40km/h)。再有，在 车辆转弯中同样地控制制动器执行机构11及油门执行机构12来进行加 速、减速控制，从而达到最佳速度。
接着，使用图6至图9，对于由车辆2的后方摄像机3拍摄出路面标 示之际的车辆2与路面标示的距离、以及车辆2和路面标示所关联的控制 对象物的距离的计算方法具体举例进行说明。
在以下的具体例中，设表示拍摄到在车辆2行驶的路面65上形成的 路面标示内、特别是作为控制对象物并对应停止线的路面标示69的擦蹭 图案为图案1的"有人行横道"的路面标示60的情况。图6是表示拍摄 路面标示60的车辆2的俯视图，图7是表示拍摄路面标示60的车辆2的 侧面图，图8是表示利用图6及图7的状态中的车辆2的后方摄像机3所 拍摄出的拍摄图像70的示意图。
后方摄像机3，为了能够如图7所示从车辆2的后保险杠71附近对后 方进行摄像，被安装为光轴L与水平成45度朝向下方，并且摄像范围固 定。因此，能够计算出从用后方摄像机3拍摄到的如图8所示的拍摄图像 中的图像数据的位置(具体来讲是从下缘起的像素数)、到被拍摄物体之 间的距离。
在此，在路面标示上于多处预先定义用于测算与上述车辆2之间的距 离的测定开始点，还配合擦蹭图案设定作为测定开始的起点使用的测定开 始点(参照图4、图5)。
然后，在拍摄到了如图8所示的路面标示的拍摄图像中，能够根据测 定开始点的位置(具体来讲是从下缘到测定开始点的像素)计算出车辆2
与测定开始点之间的距离Dl。在此，对每个路面标示，决定在多个测定 开始点之内、计算出与哪个测定开始点之间的距离，例如，在如图4所示
的擦蹭图案1的"有人行横道"的路面标示60中，计算出与测定开始点 60A的距离。但是，在由于某种原因(例如、由于砂及水洼等障碍物造成 白线的一部被挡住时)无法确定测定开始点60A时，首先计算出到测定开 始点60B的距离，此后通过使用测定开始点60A与测定开始点60B的距 离间接地计算出与测定开始点60A的距离。再有，在也无法确定测定开始 点60B时使用测定幵始点60C，而在也无法确定测定开始点60C时使用测 定开始点60D。
另外，由于在如图4所示的擦蹭图案4的"有人行横道"的路面标示 60中，设定有测定开始点60B、 60D作为用作距离测定的起点的测定开始 点，因此首先计算出到测定开始点60B的距离，并在此后通过使用测定开 始点60A与测定开始点60B的距离，间接地计算出与测定开始点60A的 距离。但是，在由于某种原因(例如、由于砂及水洼等障碍物造成白线的 一部被遮挡时)无法确定测定开始点60B时，使用测定开始点60D。另外， 对于其它的擦蹭图案以及其它的路面标示也同样，决定在设定要使用的多 个测定开始点内、计算出与哪个测定开始点之间的距离。
另一方面，在利用上述方法计算出到车辆2与路面标示的测定开始点 的距离Dl后，能够基于此计算出从车辆2到已检测出的路面标示所关联 的控制对象物(参照图3)的距离。图9是表示在用车辆2的后方摄像机 3拍摄到路面标示之际从车辆2至控制对象物的距离的计算方法的示意 图。
图9中，表示车辆2利用后方摄像机3检测出了 "有人行横道"的路 面标示60，再有，在路面标示60上作为控制对象物关联有位于前方距离 D2的"停止线"的路面标示69。
此时，通过从距离D2减去距离D1，能够计算出在路面标示60检测 时刻从车辆2到控制对象物的距离(D2-D1)。另外，导航ECU6基于由发 动机每隔规定行驶距离所产生的车速脉冲，利用距离传感器35计算出车 辆2的行驶距离S。然后，通过由从车辆2到控制对象物的距离(D2-D1) 减去行驶距离S，能够计算出从行驶中的车辆2到控制对象物的距离(D2-D1-S)。另外，通过基于计算出的到"停止线"的路面标示69的距 离(D2-D1-S)对制动器执行机构11进行控制，能够调整制动压力使车辆 2沿着停止线停止。
如上所述，通过不识别直接控制对象物，而是间接地计算出从利用后 方摄像机3检测出的路面标示到位于前方的控制对象物的距离，能够及早 计算出到控制对象物的正确距离(D2-D1-S)。然后，能够基于计算出的到 控制对象物的正确距离(D2-D1-S)进行适当的车辆控制，以及在更准确 的时机进行行驶引导。
接着，就具有上述构成的第1实施方式的驾驶支援装置1的导航ECU6 所运行的驾驶支援处理程序结合图IO进行说明。图IO是第1实施方式的 驾驶支援装置1中的驾驶支援处理程序的流程图。在此，驾驶支援处理程 序，在车辆2于路面行驶之际从利用后方摄像机3拍摄到的拍摄图像中检 测出路面标示，同时根据检测到的路面标示检测出车辆与控制对象物的距 离，然后基于此距离进行辅助使用者的驾驶的控制。另外，在以下的图10 中以流程图表示的程序，己存储在导航ECU6配备的ROM及RAM中， 并利用CPU来运行。
在驾驶支援处理中，首先在步骤(以下、略记为S) 1中，导航ECU6 基于用当前位置检测部9检测出的车辆2的当前位置信息和已存储在路面 标示DB42 (参照图3)中的路面标示的位置信息，从路面标示DB42中读 出位于车辆2的周边(在第1实施方式中为车辆2的前方2000m 后方 500m)的路面标示的信息。
接着，在S2中判断是否存在上述S1中读出的路面标示之内、特别是 位于车辆2的规定范围(车辆2的前方30m 后方20m)内的路面标示。 然后，在判断为存在位于车辆2的规定范围内的路面标示时(S2: YES) 转入S3，从路面标示DB42中读出位于车辆2的规定范围内的路面标示的 擦蹭图案。另一方面，在判断为不存在位于车辆2的规定范围内的路面标 示时(S2: NO)再次返回S1，基于当前位置进行路面标示的信息的读出。 另外，此S3相当于标示信息抽出机构的处理。
接着，在S4中判断在上述S3中读出的擦蹭图案，是否为后方摄像机 3下的检测对象的擦蹭图案。在此，在第1实施方式的驾驶支援装置1中，
设定了图案1 图案8共8种图案作为擦蹭图案(参照图4及图5)，有关 分类成图案1 图案7的擦蹭图案的路面标示为即使在一部分上产生了涂 料的擦蹭，也是至少能够通过导航ECU6进行识别的路面标示，并且被判 断为作为后方摄像机3下的检测对象的路面标示。
另一方面，有关分类成图案8的擦蹭图案的路面标示，为由于擦蹭导 致无法检测出正确外形的识别困难的路面标示，并且被判断为不作为后方 摄像机3下的检测对象的路面标示。另外，此S4相当于标示状态判断机 构的处理。
然后，在判断为是后方摄像机3下的检测对象的擦蹭图案(在第1实 施方式中为图案1 图案7)时(S4: YES)，转入S5并进行路面标示的 图像识别处理。与此相对，在判断为不是后方摄像机3下的检测对象的擦 蹭图案(在第1实施方式中为图案8)时(S4: NO)，再次返回S1，基于 当前位置进行路面标示的信息的读出。在此，图11是特别表示在车辆2 的周边形成有擦蹭图案被分类成图案4的"有人行横道"的路面标示60 时的俯视图，根据用后方摄像机3拍摄到的图像进行路面标示60的图像 识别处理。另外，图12是特别表示在车辆2的周边形成有擦蹭图案被分 类成图案8的"有人行横道"的路面标示60时的俯视图，此时不进行根 据由后方摄像机3拍摄到的图像进行的路面标示60的图像识别处理。
然后，在S5的路面标示的图像识别处理中，读入用后方摄像机3所 拍摄的车辆2的后方环境的图像并进行解析处理，在确定车辆行驶的路面 上形成的路面标示的边界线及测定开始点的同时，判断已检测出的路面标 示的种类。
具体来讲，首先，使用NTSC之类的模拟通信机构、及i-link之类的 数字通信机构，输入由后方摄像机3拍摄到的影像，然后将其变换成jpeg、 mpeg等数字图像格式。接着，利用路面标示一般为白线或黄线这一情况， 基于亮度差对拍摄图像中的描绘出路面标示的路面与其它路面进行亮度 修正。此后，进行从图像中分离出作为对象的路面标示的2值化处理、对 失真进行修正的几何学处理、及去除图像的噪声的平滑化处理等，并检测 出路面标示与其它路面之间的边界线及测定开始点。
此后，由检测出的边界线及确定出的测定开始点的配置确定所检测出
的路面标示的种类，进一步对确定出的路面标示的种类与在上述S2中判 断为在自车的规定范围内存在的路面标示的种类是否一致进行判断。
然后，在S6中，通过上述S5的图像识别处理，对是否识别了路面标 示进行判断。其结果，在判断为识别出路面标示时(S6: YES)、即、在 拍摄到的拍摄图像中检测出路面标示、并且判断为检测出的路面标示与在 上述S2中判断为位于自车周围的路面标示的种类一致时，转入S7。另一 方面，在判断为没有识别出路面标示时(S6: NO)、即没有在拍摄到的拍 摄图像中检测出路面标示、或者在判断检测出的路面标示与在上述S2中 判断为位于自车周围的路面标示的种类不一致时，再次返回S1，基于当前 位置进行路面标示的信息的读出。另外，以上的S1 S6相当于路面标示 检测机构的处理。
接着，在S7中进行检测处理，从在上述S3读出的路面标示的擦蹭图 案、和在上述S5中施加了图像处理的拍摄图像中，检测出由后方摄像机3 所拍摄出的路面标示的测定开始点。
例如，在如图6所示识别出分类为擦蹭图案1的"有人行横道"的路 面标示60作为位于车辆2的周围的路面标示时，首先选择测定开始点60A 作为距离测定的起点，并基于路面标示的边界线进行检测。但是，在由于 砂及水洼等障碍物造成无法检测出测定开始点60A时，依照测定开始点 60B、 60C、 60D的优先顺序选择其它的测定开始点、并进行检测。
另外，在如图11所示识别出分类为擦蹭图案4的"有人行横道"的 路面标示60作为位于车辆2的周围的路面标示时，首先选择测定开始点 60B作为距离测定的起点，并基于路面标示的边界线进行检测。但是，在 由于砂及水洼等障碍物造成无法检测出测定开始点60B时，选择测定开始 点60D并进行检测。
在S8中，对在上述S3中检测出的路面标示与车辆2之间的距离进行 计算。具体来讲，在拍摄路面标示所得的拍摄图像(参照图8)中，根据 在上述S7检测出的测定开始点的位置(具体来讲是从下缘到测定开始点 的像素)，计算出车辆2与测定开始点之间的距离D1。另外，以上的S7 S8相当于距离计算机构的处理。
此后，在S9中，根据从在上述S8计算出的车辆2与测定开始点之间
的距离Dl、和到己检测出的路面标示所关联的控制对象的距离D2 (D2 的值已预先存储在路面标示DB42中，参照图3)，计算出从车辆2到已检 测出的路面标示所关联的控制对象物的距离(D2-D1)(参照图9)。
进而，在图10中，基于由发动机每隔规定行驶距离所产生的车速脉 冲，利用距离传感器35计算出从路面标示的检测地点起的车辆2的行驶 距离S，然后基于在上述S6中计算出的车辆2到控制对象物的距离
(D2-D1)，计算出从行驶中的车辆2到控制对象物的剩余距离(D2-D1-S)
(参照图9)。
另外，在S11中，基于在上述S10计算出的到控制对象物的剩余距离 (D2-D1-S)，判断车辆2是否到达了对每种控制对象物所设定的引导或控 制开始地点。例如，在控制对象物为"停止线"的路面标示时在剩余距离 在50m以内时，判断为到达了引导或控制开始地点。另外，在控制对象物 为"交叉路口"的路面标示时在剩余距离为10m时，判断为到达了引导或 控制开始地点。再有，在控制对象物为"街角"的路面标示时在剩余距离 在50m以内时，判断为到达了引导或控制开始地点。
然后，在判断车辆2到达了引导或控制开始地点时(Sll: YES)，基 于当前的车辆速度及目的地设定的有无等，判断是否有必要进行对控制对 象物的行驶引导或车辆2的驱动控制(S12)。在此，在第l实施方式的驾 驶支援装置l中，当作为控制对象物对应"停止线"时，在与停止线的距 离为50m的时刻，在液晶显示器7上显示表示正在接近停止线的"正在接 近停止线"的字符串，并从扬声器8输出相同内容的警告语音。再有，当 在此时刻没有进行减速时，控制制动器执行机构11进行减速控制，使车 辆2停在停止线的跟前。
另外，当作为控制对象物对应"交叉路口"时，在与相应的交叉路口 的节点之间的距离为10m的时刻，按照所设定出的诱导路径进行路径引 导。例如，在液晶显示器7上显示表示左转的引导显示，并从扬声器8输 出"请在下一个交叉路口左转"的引导语音。
另外，当作为控制对象物对应"街角"时，在与相应的街角开始点的 节点之间的距离为50m的时刻，在进入街角前，控制制动器执行机构11 及油门执行机构12来进行加速、减速控制，使得达到存储在地图DB41中的街角的R所对应的最佳速度(例如、在R30中40km/h)。
因此，例如即使在作为控制对象物对应"街角"时，在车辆2已经在 以最佳速度行驶时，判断为没有必要进行制动器执行机构11及油门执行 机构12的控制。另外，即使在作为控制对象物对应"交叉路口"时，在 未设定诱导路径(未设定目的地时)时，判断为没有必要进行行驶的引导。 然后，在S13中判断为对控制对象物的行驶的引导或车辆2的驱动控 制为有必要时(S13: YES)，在S14中进行按照控制对象物的种类的行驶 引导或车辆2的驱动控制处理。有关具体的引导处理及驱动控制处理的内 容与上述相同。
另一方面，在判断为车辆2未到达引导或控制开始地点时(Slh NO)、 以及判断为对控制对象物的行驶引导或车辆2的驱动控制没有必要时 (S13: NO)，返回SIO、再次计算从当前的车辆2到控制对象物的剩余距 离(D2-D1-S)。
接着，在S15中，判断在上述S10中计算出的到控制对象物的剩余距 离(D2-D1-S)是否为0、即车辆2是否到达了控制对象物的位置。然后， 在判断为到达了控制对象物的位置时(S15: YES)，终止该驾驶支援处理。 与此相对，在判断为未到达控制对象物的位置时(S15: NO)，返回SIO， 再次计算从当前的车辆2到控制对象物的剩余距离(D2-D1-S)。
如以上详细说明的那样，在第1实施方式的驾驶支援装置1中，在判 断为距离车辆2的规定范围内存在作为分类成检测对象的擦蹭图案的路面 标示时(S4: YES)，根据用后方摄像机3拍摄到的图像对路面标示进行 识别(S5)，同时计算出从车辆2到识别出的路面标示所关联的控制对象 物的距离(S7 S10)，由于在判断为到控制对象物的距离是规定距离时 (Sll: YES)，进行对应所关联的控制对象物的种类的行驶引导或车辆的 控制(S14)，因此无需直接检测停止线及交叉路口等的控制对象物，能够 在离控制对象物较远的早期阶段，基于路面标示的检测结果间接地正确计 算出从自车到控制对象物的距离。因此，无需为了对远方进行拍摄，装备 由前方摄像机构成的摄像装置等昂贵装置，就能准确地进行针对控制对象 物的控制。另外，由于能够确定车辆2的正确位置，故在交叉路口等需要 诱导路径的地点的引导中，能够在更正确的时机进行路径的引导。另外，在像以往那样直接检测控制对象物时，在无法识别作为对象的控制对象物 时就无法进行针对此控制对象物的引导及控制，而通过基于路面标示间接 地检测出控制对象物，即使在无法检测出一个路面标示时，也能够通过检 测出同一控制对象物所关联的其它路面标示，来进行针此控制对象物的引 导及控制。
再有，能够预先将分类为检测困难的擦蹭图案的路面标示从检测对象 中排除，从而能降低路面标示的识别中的误识别率，另一方面通过仅进行
有必要的处理，能够减轻导航ECU6的处理负荷。因此，亦可与原来的导 航装置4具有的导航机能的处理并行地进行处理，另外，不需要另外设置 图像处理用的控制部，故可由更廉价的系统构成。
还有，由于基于对每种分类的擦蹭图案所设定的测定开始点来选择适 当的测定开始点，计算出从车辆2到位于最靠近行驶方向侧的测定开始点
(在图4及图5的"有人行横道"的路面标示60中为测定开始点60A) 的距离，因此能够将路面标示擦蹭较少的部分作为距离测定的起点，从而 能够提高距离测定的精度。
(第2实施方式)
接着，就第2实施方式的驾驶支援装置，结合图13至图15进行说明。 另外，在以下的说明中，和上述图1至图12的第1实施方式的驾驶支援 装置1的构成相同的符号，表示与上述第1实施方式的驾驶支援装置1等 的构成相同或相当的部分。
此第2实施方式的驾驶支援装置的概略构成与第1实施方式的驾驶支 援装置1大致相同。还有，各种控制处理也和第1实施方式的驾驶支援装 置1大致相同。
而且，该第2实施方式的驾驶支援装置中，作为路面标示尤其是位于 高速道路的主线与连接道的连接部(分叉点、合流点)的由粗虚线构成的 车道边界线进行检测，进行针对控制对象物的控制。
首先，基于图13，说明数据存储部10中存储有关路面标示的信息的 路面标示DB42。在第2实施方式的驾驶支援装置中，由位于高速道路的 主线与连接道的连接部(分叉点、合流点)的由粗虚线构成的车道边界线 的路面标示的相关信息构成。具体来说，路面标示DB42的存储区域由路
面标示的地图数据上的座标(位置)、路面标示的种类、表示路面标示的 涂料磨损状态的擦蹭图案、与路面标示相关的控制对象物、以及从路面标 示至控制对象物的距离构成(参照图3)。
然后，利用图13，对第2实施方式的驾驶支援装置的路面标示DB42 中存储的、位于高速道路的主线与连接道的连接部(分叉点、合流点)的 由粗虚线构成的车道边界线(以下简称"粗虚线")的路面标示80的擦蹭 图案进行说明。图13是表示第2实施方式的驾驶支援装置所使用的路面 标示的擦蹭图案中、尤其是"粗虚线"的路面标示80的擦蹭图案的说明 图。
如图13所示，第2实施方式的驾驶支援装置中，用"粗虚线"的路 面标示80定义的擦蹭图案共有5种图案，按照涂料磨损的位置和范围来 分类。
例如，图案l分类的是没有较大的涂料擦蹭且矩形框完全保留、内部 也有均匀涂料的状态。另外，图案2分类的是虽然矩形框完全保留、但内 部的涂料出现斑驳的状态。另外，图案3分类的是存在涂料或脱落、或变 薄了的擦蹭部分8K矩形框部分残缺的状态。另外，图案4分类的是由于 涂料或脱落、或变薄、而导致外形不全、看不清粗虚线的状态。另外，图 案5分类的是在虚线的涂料的长度方向上由于开裂82而导致左右分割、 看起来是双线的状态。
然后，如后所述，导航ECU6从后方摄像机3所拍摄的图像中检测到 "粗虚线"的路面标示80时，判断车辆2是否跨越"粗虚线"的路面标 示80，在跨越的情况下，从路面标示DB42抽出至与路面标示80相关的 控制对象物的距离，从而能够正确地确定自车的当前位置。再有，能够基 于所确定的自车的当前位置，提供驾驶支援和信息公开等各种服务。
这里，在第2实施方式的驾驶支援装置中，如果要对分类为图案3的 "存在涂料或脱落、或变薄了的擦蹭部分81，且矩形框部分残缺的状态的 粗虚线"进行强行识别，则有可能将其他场所形成的其他种类的路面标示 错误地识别为相应的"粗虚线"的路面标示80。因此，对于分类为图案3 的"粗虚线"的路面标示80，控制为不进行检测处理。这样，可以预先将 难以检测的路面标示从检测对象中排除出去，从而降低路面标示识别中的 错误识别率，而且由于只进行那些必要的处理，从而能够降低导航ECU6
的处理负荷。
另外，对于分类为图案4的"由于涂料或脱落、或变薄、而导致外形 不全的粗虚线"来说，难以根据后方摄像机3所拍摄的图像进行识别。因 此，对于分类为图案4的"粗虚线"的路面标示80，控制为不进行检测处 理。这样，可以预先将难以检测的路面标示从检测对象中排除出去，从而 降低路面标示识别中的错误识别率，另外，通过只进行那些有必要的处理， 从而能够降低导航ECU6的处理负荷。
另外，对于分类为图案5的"在虚线涂料的长度方向上由于开裂82 而导致分割，看起来是双线的状态的粗虚线"来说，若用后方摄像机3所 拍摄的图像进行识别，则识别成双线而不是粗虚线的可能性很高。因此， 对分类为图案5的"粗虚线"的路面标示80来说，当被识别为双线时， 如果自车周围没有具有双线的路面标示，则转换识别成粗虚线，作为检测 到了 "粗虚线"的路面标示80处理。这样，即使对于具有分割成双线的 状态的线的路面标示，也能够降低错误识别率，将其作为检测对象。
接着，就具有上述结构的第2实施方式的驾驶支援装置的导航ECU6 所运行的驾驶支援处理程序，结合图14进行说明。图14是第2实施方式 的驾驶支援装置中的驾驶支援处理程序的流程图。这里，当车辆2在路面 行驶时，驾驶支援处理程序从后方摄像机3所拍摄的图像中检测出"粗虚 线"的路面标示，同时从检测出的路面标示中检测出车辆与控制对象物之 间的距离，基于该距离进行控制，以辅助驾驶人员进行驾驶。另外，在下 面的图14中，利用流程图表示的程序存储在导航ECU6所具有的R0M、 RAM中，通过CPU进行运行。
在驾驶支援处理中，首先在SIOI，导航ECU6基于通过当前位置检测 部9检测到的车辆2的当前位置信息与存储在路面标示DB42 (参照图3) 的路面标示的位置信息，从路面标示DB42读出位于车辆2的周围(在第 2实施方式中，车辆2的前方2000m-后方500m)的路面标示的信息。
接着，在S102，判断在上述S1读取的路面标示中，是否存在位于车 辆2的规定范围(车辆2的前方30m-后方20m)的路面标示80。然后， 如果判断存在位于车辆2的规定范围的"粗虚线"的路面标示80 (S102:
YES)，则转移到S103，从路面标示DB42读出位于车辆2的规定范围的 "粗虚线"的路面标示80的擦蹭图案。另一方面，如果判断不存在位于 车辆2的规定范围的"粗虚线"的路面标示80 (S102: NO)，则再次返回 S101，读出基于当前位置点的路面标示的信息。另外，该S103相当于标 示信息抽出机构的处理。
接着，在S104，判断在上述S103读出的擦蹭图案是否为后方摄像机 3下的检测对象的擦蹭图案。这里，第2实施方式的驾驶支援装置中，作 为"粗虚线"的路面标示80的擦蹭图案，设置有图案1 图案5这5种图 案(参照图13)，对于被分类为图案1和图案2的擦蹭图案的路面标示， 即使部分出现涂料擦蹭，也至少是可用导航ECU6识别的路面表示，因而 判断是作为后方摄像机3下的检测对象的路面标示。
另一方面，对于被分类为图案3和图案4的擦蹭图案的路面标示，是 由于存在擦蹭而难以正确检测其外形的路面标示，因而判断是不作为后方 摄像机3下的检测对象的路面标示。
再有，对于被分类为图案5的擦蹭图案的路面标示，是由于擦蹭而被 误识别成双线的可能性很高的路面标示，如后所述，即使在被识别为双线 时，如果满足一定条件则进行转换为识别成粗虚线来进行检测的处理。另 外，该S104相当于标示状态判断机构的处理。
然后，当判断是作为后方摄像机3下的检测对象的擦蹭图案(第2实 施方式中，为图案l、图案2、图案5)时(S104: YES)，转移到S105， 进行路面标示的图像识别处理。与此对应，当判断为不是作为后方摄像机 3下的检测对象的擦蹭图案(第2实施方式中，为图案3、图案4)时，(S104: NO)，则再次回到S101，读出基于当前位置点的路面标示的信息。
这里，图15是特别表示在车辆的前面形成有擦蹭图案被分类成图案4 的"粗虚线"的路面标示时的俯视图。如图15所示，车辆2在高速高路 的主线85行驶，在出现沿车辆2的行驶方向从主线85分叉的连接道86 的情况下，则从道路标示DB42读出在主线85与连接道86的连接部上形 成的"粗虚线"的路面标示87的信息(S101)。
然后，在所读出的"粗虚线"的路面标示87如图15所示，是涂料消 失的被分类为图案4的"粗虚线"的路面标示的情况下，则在其后不进行
基于后方摄像机3所拍摄的图像对路面标示87的图像识别处理(S105)。
接着，在S105的路面标示87的图像识别处理中，读入用后方摄像机 3拍摄的车辆2的后方环境的图像来进行解析处理，确定在车辆行驶的路 面上形成的路面标示的边界线，同时判断所检测的路面标示的种类。
具体来说，首先，用NTSC之类的模拟通信机构、或如i-link的数字 通信机构，输入后方摄像机3拍摄的影像，并将其变换成ipeg、 mpeg等 数字图像格式。接着，用路面标示一般为白线或黄线的现象，根据摄像图 像中的绘有路面标示的路面与其他路面的亮度差，进行亮度修正。然后， 进行2值化处理，以从图像中分离出作为对象的路面标示，并进行几何学 处理以修正失真，进行平滑化处理以消除图像噪声，从而检测出路面标示 与其他路面的边界线。然后，根据所检测出的边界线的形状确定检测到的 路面标示的种类。另外，上述S105相当于图像识别机构的处理。
然后，在S106，判断是否通过上述S105的图像识别处理识别到"粗 虚线"的路面标示80。其结果，如果判断为识别到"粗虚线"的路面标示 80 (S106: YES)， S卩，在拍摄到的摄像图像中检测出路面标示、且所检 测的路面标示是在上述S102判断为位于自车周围的"粗虚线"的路面标 示80的情况下，则转移到S109。另一方面，如果判断为没有识别到"粗 虚线"的路面标示80 (S106: NO)，即，判断为在拍摄到的摄像图像中没 有检测到路面标示、或者所检测的路面标示不是在上述S102判断为位于 自车周围的"粗虚线"的路面标示80，则转移到S107。
在S107，判断是否通过上述S105的图像识别处理识别到线以规定间 隔平行的双线。在其结果为判断为识别到双线(S107: YES)， g卩，在拍 摄到的摄像图像中检测出路面标示、且是所检测的路面标示的线按规定间 隔平行的双线的情况下，则转移到S108。另一方面，在判断为没有识别到 双线(S107: NO)的情况下，则回到S105，基于由后方摄像机3拍摄的 图像，再次进行图像识别处理。
然后，在S108，导航ECU6判断是否能够将所识别的双线转换为"粗 虚线"的路面标示80。具体来说，首先判断在从车辆2的当前位置起规定 范围内(例如，车辆2的前方30m 后方20m)是否存在其他的具有双线 的路面标示。然后，在判断为不存在其他的具有双线的路面标示的情况下，则判断为能够将所识别的双线转换为"粗虚线"的路面标示80。其结果，
将所识别的双线检测作为"粗虚线"的路面标示80的一部分或全部。
这里，图16是特别表示在车辆2的前方形成有擦蹭图案被分类成图 案5的"粗虚线"的路面标示时的俯视图。如图16所示，车辆2在高速 道路的主线91行驶，如果沿车辆2的行驶方向出现从主线91分叉的连接 道92，则从道路标示DB42读取在主线91与连接道92的连接部上形成的 "粗虚线"的路面标示93的信息(SIOI)。
然后，如果所读出的"粗虚线"的路面标示93，如图16所示，是涂 料被沿长度方向分割的分类为图案5的"粗虚线"的路面标示，在车辆2 的规定范围内(例如，车辆2的前方30m 后方20m)不存在具有其他的 双线的路面标示的条件下，随后进行基于由后方摄像机3所拍摄的图像对 路面标示93的图像识别处理时，即使识别到双线，也作为识别到"粗虚 线"的路面标示93来处理。其结果，即使被分割为双线，也能够正确地 检测出"粗虚线"的路面标示93。另外，上述S101 S108相当于路面标 示检测机构的处理。
然后，在S109，导航ECU6判断车辆2是否跨越了在上述S101 S108 检测的"粗虚线"的路面标示80。另外，在判断处理中，使用由后方摄像 机3拍摄的摄像图像或车速传感器等。
然后，在SllO，基于上述S109的判断处理，判断车辆2是否跨越了 "粗虚线"的路面标示80。如果判断为没有跨越"粗虚线"的路面标示 80 (S110: NO)，则返回S109，继续进行判断处理。
另一方面，如果判断为跨越了"粗虚线"的路面标示80(S110: YES)， 则转移到Slll。
在Slll,导航ECU6，基于到由后方摄像机3检测出、且判断为跨越 了的"粗虚线"的路面标示80所相关的控制对象物的距离(存储在路面 标示DB42中)，计算出从车辆2至与所检测的路面标示相关的控制对象 物之间的距离。然后，基于每隔规定行驶距离产生的车速脉冲，利用距离 传感器35计算出从跨越路面标示的地点起的车辆2的行驶距离，并计算 出从行驶中的车辆2至控制对象物之间的剩余距离。
另外，在S112，基于上述S111计算出的至控制对象物的距离，判断
车辆2是否到达对控制对象物的种类设定的引导或控制开始地点。例如，
当控制对象物为"停止线"的路面标示时，如果剩余距离为50m以内，则
判断为到达引导或控制开始地点。另外，如果控制对象物为"交叉路口"
的路面标示，在剩余距离为10m的情况下，则判断为到达引导或控制开始 地点。再有，如果控制对象物为"街角"的路面标示，在剩余距离为50m 以内的情况下，则判断为到达引导或控制开始地点。
然后，当判断为车辆2到达引导或控制开始地点时(S112: YES)， 基于当前的车辆速度和是否设定有目的地等，判断是否需要针对控制对象 物的行驶引导或车辆2的驱动控制(S113)。这里，在第2实施方式的驾 驶支援装置中，在控制对象物与"停止线"相对应的情况下，则在与停止 线的距离为50m时，在液晶显示器7上显示表示正在接近停止线的"正在 靠近停止线"的文字，并从扬声器8输出相同内容的警告语音。进而，如 果此时没有进行减速，则控制制动器执行机构11进行减速控制，以让车 辆2停在停止线的跟前。
另外，如果控制对象物与"交叉路口"相对应，则在与相应的交叉路 口的节点的距离为10m时，按照设定的引导路径进行路径引导。例如，在 液晶显示器7上显示表示左转的引导指示，还从扬声器8输出"请在下一 个交叉路口左转"的引导语音。
另外，如果作为控制对象物与"街角"相对应，则在与相应的街角开 始点的节点的距离为50m时，控制制动器执行机构11和油门执行机构12 进行加速、减速控制，以使进入街角前达到与存储在地图DB41中的街角 的R所对应的最佳速度(例如，R30时为40km/h)。
因此，例如即使作为控制对象物与"街角"相对应，如果车辆2正在 以最佳速度行驶，也判断为不需要控制制动器执行机构11和油门执行机 构12。另外，即使控制对象物与"交叉路口"相对应，如果没有设定引导 路径(没有设定目的地)，则判断为不需要进行行驶引导。
然后，在S113，如果判断为需要对控制对象物的行驶引导、或者需要 车辆2的驱动控制(S114: YES)，则在S115按照控制对象物的种类，进 行行驶引导、或者对车辆2进行驱动控制。具体的引导处理和驱动控制处 理的内容如上所述。
另一方面，如果判断为车辆2没有到达引导或控制开始地点(S112: N0)，以及判断为不需要对控制对象物进行行驶引导、或者不需要对车辆
2进行驱动控制(S114: NO)，则返回Slll，再次计算从当前的车辆2至
控制对象物之间的剩余距离。
接着，在S116，判断在上述SH1计算出的至控制对象物的剩余距离 是否为0、即车辆2是否到达控制对象物的位置。然后，如果判断为到达 控制对象物的位置(S116: YES),则结束该驾驶支援处理。与此对应， 如果判断为没有到达控制对象物的位置(S116: NO)，则返回Slll，再次 计算从当前的车辆2至控制对象物的位置的剩余距离。.
如上述详细说明的那样，在第2实施方式的驾驶支援装置中，如果判 断为存在车辆2起规定范围内存在位于高速道路的主线与连接道的连接部
(分叉点、合流点)的由粗虚线组成的车道边界线的路面标示(S102-YES)、并且判断为该"粗虚线"的路面标示被分类为作为检测对象的擦 蹭图案时(S104: YES)，则从用后方摄像机3拍摄的图像中识别路面标 示(S105)，同时当车辆2跨越所识别的"粗虚线"的路面标示时，计算 出到与该路面标示相关的控制对象物之间的距离(Slll)，如果判断为到 与控制对象物之间的距离为规定距离时(S112: YES)，根据相关的控制 对象物的种类，进行行驶引导或车辆控制(S115)。所以，不需要直接检 测停止线或交叉路口等的控制对象物，能够在与控制控制物的距离较远的 早期阶段基于路面标示的检测结果，间接地正确计算从自车至控制对象物 的距离。这样，不需要为例拍摄远方而配备由前方摄像机等组成的摄像装 置的昂贵装置，就能够可靠地对控制对象物进行控制。还有，由于能够确 定车辆2的正确位置，因此在交叉路口等需要引导路径的地方，能够在更 准确的时机进行路径引导。另外，象过去那样直接检测控制对象物时，如 果不能识别作为对象的控制对象物，就不能对该控制对象物进行引导或控 制。而通过基于路面标示间接地检测出控制对象物，即使不能检测出一个 路面标示，通过检测出与同一控制对象物相关的其他路面标示，也能够对 该控制对象物进行引导或控制。
再有，能够预先将分类为难以检测的擦蹭图案的路面标示从检测对象 排除除去，从而可以降低识别路面标示时的错误识别率，另一方面，通过仅进行必要的处理，可以减轻导航ECU6的处理负荷。因此，还能与原来
的导航装置4所具有的导航功能的处理并行地进行处理，另外，不需要另
外的图像处理用的控制部，从而能够由廉价的系统来构成。
另外，特别是如果判断为在分类为图案5的虚线的涂料的长度方向上 由于开裂82而导致左右分割，看起来像双线的状态的"粗虚线"的路面 标示80 (S102: YES)，在其后的图像识别处理(S105)中识别到双线时， 以在自车周围不存在具有双线的路面标示为条件，转换为识别到粗虚线来 将作为检测到"粗虚线"的路面标示80处理。这样，即使对于由于涂料 剥落而被分割为双线的路面标示，也能够正确地识别的路面标示的种类。 其结果，即使对于容易由于涂料剥落而分割为双线的车道边界线的路面标 示，只要有一点就能够将众多的路面标示作为检测结果，提供使用了检测 结果的驾驶支援和信息公开等各种服务。 (第3实施方式)
接着，就第3实施方式的驾驶支援装置100结合图17进行说明。另 外，在以下说明中与上述图1至图12的第1实施方式的驾驶支援装置1 的构成相同的符号，表示与上述第1实施方式的驾驶支援装置1等的构成 相同或相当的部分。
此第3实施方式的驾驶支援装置100的概略构成，与第1实施方式的 驾驶支援装置l大致相同。另外，各种控制处理也和第1实施方式的驾驶 支援装置l大致相同。
但是，第1实施方式的驾驶支援装置1设有对后方环境进行摄像的后 方摄像机3作为摄像机构，基于用后方摄像机拍摄出的图像进行路面标示 的识别，对控制对象物进行控制。与此相对，在第3实施方式的驾驶支援 装置100中，除了后方摄像机3以外，还设有对车辆2的前方环境进行摄 像的前方摄像机101作为摄像机构，基于利用前方摄像机101加上后方摄 像机3—起拍摄出的图像进行路面标示的识别，并对控制对象物进行控制， 这一点上与上述第1实施方式的驾驶支援装置1不同。
首先，就第3实施方式的驾驶支援装置100的概略构成结合图17进 行说明。图17是第3实施方式的驾驶支援装置100的概略构成图。
如图17所示，第3实施方式的驾驶支援装置1，由对车辆2设置的前
方摄像机IOI、后方摄像机3、导航装置4、车辆ECU5等构成。
前方摄像机101是使用了例如CCD等固体摄像单元的装置，组装在 安装于车辆2的前方的车牌的上方中央附近，并从水平方向稍冲下方设置 其视线方向。然后，对设置在车辆2的前方的信号机、道路标识、路面标 示等进行摄像。
另外，有关前方摄像机IOI以外的后方摄像机3、导航装置4、车辆 ECU5的各构成，与上述第l实施方式的驾驶支援装置l相同，故省略其 说明。
还有，在第3实施方式的驾驶支援装置100中，基于由前方摄像机101 拍摄出的图像，如下所述可实现控制对象的扩大及路面标示识别率的提
咼0
例如，在基于利用前方摄像机101拍摄出的图像判断位于前方交叉路 口的信号机正亮红灯时，除了根据如上所述的"交叉路口"的控制对象物 的行驶引导及车辆的驱动控制(S11 S14、 S112 S115)，还进行关于交 叉路口的信号机正亮红灯的警告，同时控制制动器执行机构ll，使车辆2 能够停在交叉路口的前面。
另外，在基于利用前方摄像机101拍摄出的图像判断在前方的交叉路 口上设置有暂时停止的道路标识时，除了根据如上所述的"交叉路口"的 控制对象物的行驶引导及车辆的驱动控制(S11 S14、 S112 S115)，还 进行关于暂时停止的警告，同时控制制动器执行机构ll，使车辆2能够停 在交叉路口的前面。
另外，在基于用前方摄像机101拍摄出的图像判断为前方的路面上形 成有路面标示时，计算出车辆2通过路面标示的时机，并且通过配合计算 出的时机，对后方摄像机3拍摄出的图像进行识别处理，从而即使在使用 视野狭小的后方摄像机3时，也能够提高路面标示的识别率。
通过以上详细说明，在第3实施方式的驾驶支援装置100中，判断为 在距离车辆2规定范围内存在已分类为作为检测对象的擦蹭图案的路面标 示时，从用后方摄像机3拍摄出的图像对路面标示进行识别，同时计算出 从车辆2到与所识别出的路面标示所对应的控制对象物之间的距离，并在 判断为到控制对象物的距离为规定距离时，根据所关联的控制对象物的种类进行相应的行驶引导或车辆控制，因此不需要直接检测停止线及交叉路 口等的控制对象物，能够在与控制对象物距离较远的早期阶段，基于路面 标示的检测结果，间接地正确计算出从自车至控制对象物之间的距离。
另外，根据由上述摄像机101拍摄到的车辆2的前方环境的图像的图 像解析，可对应当前的车辆2的周围状况，进行更为正确的行驶引导和车
辆的驱动控制。再有，通过由前方摄像机101预先识别路面标示，即使是 使用视野狭小的后方摄像机3的情况下，也能提高路面标示的识别率。
另外，本发明并不仅限于上述实施方式，当然可以在不脱离本发明主 旨的范围内进行各种改良、变形。
例如、在第1实施方式至第3实施方式中，虽然就控制对象物为停止 线、交叉路口、街角进入口时进行了说明，但控制对象物并不仅限于上述 情况，例如还可以为人行横道等的路面标示，以及立体交叉路口等设施。
权利要求
1.一种路面标示识别系统，其特征在于具有摄像机构，其配置在车辆上，并对车辆的周边进行摄像；标示状态存储机构，存储路面上形的路面标示的状态；以及，路面标示检测机构，基于由上述摄像机构所拍摄出的图像，对在上述车辆行驶的路面上形成的路面标示之内、具有满足规定标准的状态的路面标示进行检测。
2. 根据权利要求l所述的路面标示识别系统，其特征在于具有标示位置存储机构，存储路面上形成的路面标示的位置信息； 以及，当前位置检测机构，对车辆的当前位置进行检测；上述路面标示检测机构，具备标示信息抽出机构，基于上述当前位置检测机构的检测结果及 上述标示位置存储机构所存储的位置信息，将位于距离车辆的当前位置规 定范围内的路面标示的信息从上述标示状态存储机构中抽出；以及，标示状态判断机构，判断利用上述标示信息抽出机构抽出信息的路面 标示是否为具有满足规定基准的状态的路面标示，在利用上述标示状态判断机构判断为存在满足条件的路面标示时，进 行路面标示的检测。
3. 根据权利要求1或2所述的路面标示识别系统，其特征在于具有距离计算机构，其计算出利用上述路面标示检测机构检测出的路 面标示与车辆之间的距离，上述路面标示中，具备多处由上述距离计算机构计算距离时使用的测 定开始点，上述距离计算机构，通过计算出从上述多个测定开始点之中、基于利 用上述路面标示检测机构检测出的路面标示的状态而选择出的规定的测 定开始点到车辆的距离，来计算出路面标示与车辆之间的距离。
4. 根据权利要求1或2所述的路面标示识别系统，其特征在于具有满足上述规定基准的状态的路面标示，是位于高速道路的主线与连接道的连接部的车道边界线的路面标示，且上述车道边界线处于被沿长度方向分割的状态。
5.根据权利要求4所述的路面标示识别系统，其特征在于具有标示位置存储机构，存储路面上形成的路面标示的位置信息；以及，当前位置检测机构，对车辆的当前位置进行检测， 上述路面标示检测机构，具备标示信息抽出机构，基于上述当前位置检测机构的检测结果及 上述标示位置存储机构所存储的位置信息，将位于距离车辆的当前位置规 定范围内的路面标示的信息从上述标示状态存储机构中抽出；图像识别机构，基于由上述摄像机构所拍摄出的图像，对在路面上形 成的路面标示的形状进行识别，在利用上述图像识别机构识别为在路面上形成有以规定间隔平行的 双线时，如果利用上述标示信息抽出机构没有抽出具有双线的路面标示， 则将上述双线作为上述车道边界线的路面标示的一部分或全部检测出来。
全文摘要
本发明公开了一种能够基于由摄像机构所拍摄出的图像，仅对具有满足了规定标准的状态的路面标示进行检测以减轻处理负荷的路面标示识别系统。当判断出在距离车辆(2)的规定范围内存在被分类成作为检测对象的擦蹭图案的路面标示(S2YES)时，从利用后方摄像机(3)拍摄到的图像对路面标示进行识别(S5)，同时当计算出从车辆(2)到与所识别的路面标示相关的控制对象物的距离(S7～S10)，并且在判断至控制对象物的距离为规定距离(S11YES)时，根据相关联的控制对象物的种类，进行行驶引导或车辆控制(S14)。
文档编号G08G1/16GK101198996SQ20068002150
公开日2008年6月11日 申请日期2006年8月4日 优先权日2005年8月5日
发明者中村元裕, 中村正树, 勘场基挥, 石川知章, 逢坂总 申请人:爱信艾达株式会社;丰田自动车株式会社