专利名称：汽车导航装置的制作方法
技术领域：
本发明涉及根据在道路路面上涂刷的行进方向标示(直进标示、右拐标示、左拐标示、以及它们的组合标示等)，识别当前车辆的行进方向并引导车辆到达目的地的汽车导航装置。
背景技术：
公知有以下汽车导航装置使用GPS (全球定位系统)等的位置检测装置和地图信息，来确定车辆自身在当前道路上的位置，并且进行显示在到达由用户指定的目的地之前的道路路径等的行驶引导。
当前公开有以下技术在汽车导航装置中，由摄像机拍摄路面上的方向指示标示的图像，根据拍摄的图像识别方向指示标示，从而确定车辆行驶线路。(例如参照日本专利文献特开2005-214883号公报)。
由此，根据路面上涂刷的行进方向标示，可判断车辆是否行驶在按照路线的道路的行驶线路上，并对使用者进行合适的引导。
专利文献1:日本专利文献特开2005-214883号公报。
发明内容
但是，摄像机不仅拍摄路面的行进方向标示，也拍摄周围的情景(场景等)。
这样的情景图像由于因像雨等的天气路面状况的变动或昼夜的亮度的变动而导致的图像质量变化，特别是因夜间的后续车辆的灯光等形成影像白色化、或者因附近行驶的其他车辆的影子的影响或公路两旁的护栏或杆子等的路旁不需要物体的遮挡而成为不适于对道路标示的进行识别的图像，结果，降低会车辆的行进方向的识别精度。
本发明是为了解决这样的问题而完成的，目的是提供一种车辆导航装置，该车辆导航装置在道路的运行环境变化中，从摄像机拍摄的包含道路的图像中可靠地识别路面标示，能够提高车辆行进方向的识别精度。
为了达到上述目地，本发明的车辆导航装置的特征在于，具有摄像机，将摄影方向朝向车辆的前方或者后方来安装在车辆上，拍摄至少包含所述车辆的前方或后方的路面的图像；存储部，存储由所述摄像机拍摄的图像；第一图像处理部，检测出包含在由所述摄像机拍摄的图像中的、对路面标示的识别不需要的区域；第二图像处理部，将由所述第一图像处理部检测出的所述图像的所述不需要区域通过己经存储在所述存储部的旧图像或其一部分的图像区域补充并生成合成图像；以及标示识别部，使用由所述第二图像处理部合成的合成图像和事先设定的标示信息，进行涂刷在所述路面上的路面标示的检测和识别。
本发明的汽车导航装置，其特征在于，具有摄像机，将摄影方向朝向车辆后方并安装在车辆的后部，拍摄至少包含所述车辆后方的路面的影像；存储部，能够存储图像；画面取入部，将由所述摄像机拍摄的影像以画面为单位并以规定时间间隔顺次地取入到所述存储部；不需要区域检出部，检测出包含在取入到所述存储部的所述画面的图像中的、对于识别路面标示不需要的区域；图像切出部，切出避开由所述不需要区域检出部检测出的不需要区域的规定形状的图像区域，并存储在所述存储部；移动量计算部，比较由所述图像切出部存储在所述存储部的新的图像区域和已经存储在所述存储部的前一个的旧图像区域，并计算移动量；图像合成部，根据由所述移动量计算部算出的所述路面标示的移动量来生成结合了新旧图像区域的合成图像；以及路面标示识别部，使用由所述图像合成部合成的合成图像和事先设定的标示信息进行所述路面标示的检测和识别。
在本发明中，例如在由其他车辆或该车辆的影子隐蔽作为识别对象的路面标示的情况下，在新切出的图像中，合成从以前事先存储的图像中隐蔽标记前的图像，因为使用该合成图像对标记进行检测以及识别，所以能够可靠地识别前进方向标示等的路面标示，并提高车辆的行进方向的识别精度。
另外，能够从由摄像机拍摄的场景图像中切出适合识别的状态良好的图像区域，并与事先存储的图像合成，从而提高识别精度。
另外，不仅是切出，还除去妨碍路面标示识别的灯的照射区域等不需要的图像区域、或者通过用过去状态良好的图像对除去该部分的图像区域进行补充，从而能够可靠地识别路面标示的种类，并提高车辆行进方向的识别精度。
如上说明，根据本发明，在道路的行进环境改变中，从通过摄像机拍摄的包含道路的图像中能够可靠地识别路面标示，并提高车辆的行进方向的识别精度。
图1是表示第一实施方式的汽车导航装置的硬件结构的框图；图2是图1的汽车导航装置的功能框图；图3是表示汽车导航装置动作的流程图4是表示从摄像机取得的车辆后方的影像的图像的一个例子的图；图5是表示将图4的图像透视处理过的图像的一个例子的图；图6是表示受前灯的影响而不能识别路面标示的一部分的情况的图；图7是表示从前面一个图像切出部分图像的情况的图8是表示从在图7图像后取入的新的图像切出的部分图像的情况的
图9是表示从图7的前一个图像切出的切出图像的图；图10是表示从图8的图像切出的新的切出图像的图；图11是表示合成两个切出图像情况的图12是表示生成的合成图像的图13是表示用于确定路面上的箭头等的道路标示的范围的投影处理的例子的图14是表示基于图13的投影处理的结果的标示范围的确定方法；图15是表示第二实施方式的汽车导航装置的结构的框图；图16是表示由摄像机拍摄的道路的图像的图；图17是表示对于图16的图像进行透视变换处理的图像的图；图18是表示对以某些定时拍摄的在路边存在杆子的道路的情景图像进行透视变换处理的图像的图19是表示接着图18的图像而拍摄的进行了透视变换处理的图像的图20是表示因影子的影响遮盖了路面标示的情况的图；图21是表示对包含以某些定时拍摄的影子的道路的情景图像进行透视变换处理的图像的图22是表示接着图21的图像而拍摄的进行了透视变换处理的图像的
图23是表示在存在影子的图像区域合成已经存储的其他图像区域并除去影子的图像的图。标号说明
1 GPS接收机、2磁盘驱动器、3操作输入部、4显示装置、5扩音器、6摄像机、7控制装置、7aCPU、 7b存储部、7c ROM、 7d闪存、10第一图像处理部、11画面取入部、12不需要区域检测部、13图像切出部、20第二图像处理部、21移动量计算部、22图像合成部、23不需要图像除去部、30路面标示识别部、40导航部、100汽车导航装置。
具休实施方式
下面，参照附图对本发明的实施方式进行说明。
如图l、 2所示，该第一实施方式的汽车导航装置100被构成为具有以下装置GPS (Global Positioning System:全球定位系统)接收机1;从HD (Hard Disk)、 CD-ROM (Compact Disc Read Only Memory)、 DVD-ROM(Digital Versatile Disc Read Only Memory)等媒体读出与地图信息或与其相关的信息的磁盘驱动器2;用于由用户进行的出发地、目的地等的输入或用于各种操作的输入的操作输入部3;进行用于显示车辆自身的位置(自身车辆位置)和其周边的地图信息或车辆自身的导航的信息的CRT (阴极射线管)或LCD (液晶显示装置)等的显示装置4;输出有关导航的声音信
息的扩音器5;用于拍摄车辆自身的前方或者后方的路面的摄像机6;以及
控制装置7。
控制装置7被构成为具有以下装置CPU (Central Processing Unit) 7a;RAM (Random Access Memory)等的存储部7b;不能改写(固定的)存储由CPU 7a执行的程序和各种设定数据的ROM (Random Only Memory) 7c;以及可电擦除以及改写的EEPROM等闪存7d。
存储部7b具有作为读取CPU 7a的作业区域和影像时的的画面数据(图像数据)或从其图像切出的部分区域(图像区域)的数据等的存储区域的功能。
在ROM 7c中作为标示信息例如存储有用于将道路通行规则通知给驾驶员的道路标示的识别数据。道路标示是基于道路交通法和道路法在道路路面上描绘的道路钉、涂料、石头等的线、记号或者文字。
道路标示的识别数据是指将标示图像和确定其名称的信息对应起来而得的信息。
确定标示图像的名称的信息既有是名称的情况，也有是ID或号码的情况。标示信息被用作道路标示认识时的比较数据。
GPS接收机1通过GPS定位车辆自身的当前位置，且检测出车辆自身的当前位置(本车位置)，并将该车辆自身位置检测结果输入给控制装置7。
摄像机6将摄影方向向着车辆后方,被安装在车辆后部，也称为后视监视器等。
艮口，摄像机6被安装在车辆自身的车体的后部(后部部分等)。摄像机6拍摄车辆自身的后方的路面部分，是将在路面上涂刷的直行、
左转、右转等的各种的道路标示和路线、以及摄影范围内的情景等的影像
输入到控制装置7的影像输入单元。
艮口，摄像机6拍摄至少包含车辆后方的路面的影像。
具体地说，摄像机6例如具有CCD (Charge Coupled Devices)等的摄
像元件以及将由该摄像元件拍摄的信号从模拟信号转换为数字信号并输出
给控制装置7的信号处理电路。
如图2所示，该汽车导航装置100具有第一图像处理部10、第二图像
处理部20、路面标示认识部30、以及导航部40等。
第一图像处理部10具有画面取入部11、不需要区域检测部12、以及
图像切出部13等。
第二图像处理部20具有移动量计算部21、图像合成部22等。画面取入部11将由摄像机6拍摄的影像作为每一个画面的图像数据，
以画面为单位并以规定的时间间隔顺次取入到存储部7b。
8不需要区域检测部12检测出包含在被存储部7b取入的画面的图像数据中的、在路面涂刷的道路标示(直行的箭头标记等)的识别中不需要的区域。
作为一个例子，由摄像机6拍摄的图像区域内的基础的亮度分布的一定区域(必要区域)以外的区域(灯照射的路面部分)作为不需要区域切出。
图像切出部13切出避开了由不需要区域检测部12检测出的不需要区域的规定形状的图像区域，并存储在存储部7b。
另外，图像切出部13具有根据移动量计算部21计算出的移动量来改变从图像切出的图像区域的形状或配置的切出图像变更部的功能。
图像切出部13根据包含在合成图像的路面标识的检测状态或认识状态来改变从图像切出的图像区域的位置。
另外，图像切出部13根据时刻来改变从图像切出的图像区域的位置或形状。
所说的"根据时刻"是说以白天明亮的时间段(上午6点 下午4点等)、傍晚微暗的时间段(下午4点 下午7点等)、以及夜里暗的时间段(下午7点 上午6点等)等来改变图像的切出区域。
艮口，第一图像处理部10检测出由摄像机6拍摄的图像区域内的作为基础部分的、辉度分布固定的、在标示识别中需要的区域(必要区域)，并将该必要区域以外的区域作为不需要区域(灯照射的路面部分)切出，通过在存储部7b存储的其他图像或其一部分区域来补充该不需要区域部分。
另外，作为其他的方法，第一图像处理部10将由摄像机6拍摄的影像以画面为单位并以规定的时间间隔(例如0.1秒间隔等)依次作为图像取入，根据取入的该图像，切出如除去变化在规定值以下的图像区域(不活动的灯光或影的部分)的规定形状的图像区域(路面的基础部分)，并存储在存储部7b。
移动量计算部21对存储在存储部7b的新的图像区域224b(参照图10)和已经存储在存储部7b的前一个旧图像区域224a (参照图9)进行比较，来计算道路标示222a、 222b的移动量。
在该实施例中，设为前一个旧图像区域，但在抽样期间短的情况也可以是前两个或者前三个等的图像。
图像合成部22按照由移动量计算部21计算出的道路标示222a、 222b的移动量生成结合新旧的图像区域224a、224b的合成图像225(参照图11)。
艮口，第二图像处理部20将被存储部7b取入的图像的、由图像切出部13切出的不需要区域部分通过已经存储在存储部7b的旧图像或者其一部分的图像区域补充，生成合成图像并存储在存储部7b。
另外，作为其他的方法，第二图像处理部20根据使用存储部7b存储的新的图像区域224b和已经存储在存储部7b的前一个的旧图像区域224a来计算出的移动量，生成结合新旧的图像区域224a、 224b的合成图像225并存储在存储部7b。
路面标示识别部30使用由第二图像处理部20生成的存储在存储部7b的合成图像225和预先被设定(存储)在磁盘驱动器2等的标示信息进行道路标示的检测和道路标示的识别。
导航部40根据路面标示识别部30识别的道路标示的识别结果，来判定(确定)识别时刻的车辆行进方向，并通过显示装置4和扩音器5进行导航，即进行引导。
另外，导航部40基于通过GPS接收机1 (参照图1)接收的车自身位置的坐标信息和记录在磁盘驱动器2的记录媒体(硬盘(HD)、 CD-ROM、DVD-ROM等)中的地图信息，输出表示车自身位置接近确定地点的接近信息。
导航部40计算车自身位置的坐标和地图信息中的确定地点的坐标的距离，如果该距离为预先规定的阈值以下，则判断为"接近"该确定地点并输出。
这里，将表示是否接近的变量的初期状态设为"0"，设为表示未接近确定地点。
艮P，在由导航部40计算出的上述距离比阈值大的情况下变量被存储为0，在上述距离为阈值以下的情况下变量被存储为1。
该变量被传送给CPU 7a，如果变量被存储为"1"，则CPU7a起动摄像机6来进行控制。
另外，确定地点的坐标的信息被存储在预先在磁盘驱动器2(参照图1)等构筑的数据库中。
导航部40将本车位置的坐标作为关键词从数据库检索最近的确定地点的坐标，并计算与本车位置的坐标的距离。
另外，表示接近信息的变量的值如果表现两种值则可使用"0"、 "1"以外的值。
并且，可以在接近确定地点时和远离确定地点时改变判断用的距离的阈值等，来根据状况改变阈值。
因此，被看作接近确定地点的区域在将阈值设为固定的情况下成为圆等，但也可以成为其他形状。
以下，参照图3至图12等对该汽车导航装置100的动作进行说明。
在该汽车导航装置100的情况下，当在车辆行驶中通过来自操作输入部3的操作设定目的地时，控制装置7开始导航动作。
另外，例如也可以在由导航部40判断接近确定地点时，从控制装置7向摄像机6输出控制指令，从而摄像机6开始摄影。
当对摄像机6供电并通过控制指令启动摄像机6时，摄像机6开始影像的摄影(摄像)。
在该例子中，例如在沿一条车线的高速道路行驶的车辆的后部分以拍摄车辆后方的路面的角度来安装摄像机6。
因此，如图3所示，作为被拍摄的画面的图像201，放映出如以远近法描绘的道路的两侧的车线211，并随着定时放映出在道路的中央部分表示直行的行进方向的箭头的标示212 (标记)。
当摄像机6开始动作且该影像被输入到第一图像处理部10时，画面取入部11以每秒30画面(30画面/秒)的速度将输入的影像取入到存储部7b(图3的步骤SIOI)。
另外，该取入速度是一个示例，根据车辆行驶速度也可以是每秒IO个画面(10画面/秒)或5个画面(5画面/秒)左右。
第一图像处理部10对从摄像机6得到的图像实施各种处理，来转换为适合路面标示的识别的图像。
这种情况下，假设输入图像是彩色的情况。第一图像处理部10首先对存储在存储部7b的彩色图像进行向灰色图像的转换。第一图像处理部10
ii例如将从存储部7b读出的彩色图像转换为YUV表色系统，并通过取出其中的Y (亮度)分量得到灰色图像。
接着，第一图像处理部IO对变换后的灰色图像进行透视变换。
所说的透视变换是将从车辆看的后方的投影图像变换为从路面正上方俯视到的图像的处理。
接下来，第一图像处理部IO对透视变换后的灰色图像进行二值化。这是以决定各个像素值的阈值为基准重新表现为两种值的处理。
例如，将黑像素设为"1"，将白像素设为"0"。通过此前的处理，图4的投影图像如图5所示，以从路面的正上方俯视的方式变换为白黑的路面二值图像202。
在路面二值图像202中，车线221为并行，箭头的标示222也成为向正下方的图形。转换后的路面二值图像202被存储到存储部7b。
另外，作为该处理及其手法是一个示例，只要不脱离得到适于识别的信息的主旨也可以使用其他的处理以及手法。
另外，与输入图像的种类(彩色、灰度比例等)以及接下来实施的识别处理的内容一致，也可以改变实施处理的组合，或删除一部分。
在该例子中，在路面图像取得后的最初阶段进行图像的二值化处理，但此外，例如也可以在图像合成后(图3的S105后)、路面标示识别前(图3的S106前)进行。另外，图像的二值化处理不是必需的也可以不进行。
车辆在沿道路行驶中由摄像机拍摄的情景图像即使是相同的地点也会随着时刻或天气等的各种各样的条件而变化。
例如车辆在夜间沿道路行驶时，从摄像机得到的透视变换后的路面二值图像202如图6所示，由于后续车辆的前照灯的影响，图像223的部分与其他部分的亮度值比变高。
在该例子中，标示222的一部分涉及亮度值高的图像223，不能判别重叠部分S的是什么样的形状。
因此，在该汽车导航装置中通过不需要区域检测部12检测出对于从路面二值图像202识别标示222不需要的部分(不需要区域)(S102)来检测出亮度值高的重叠部分S，并通过其他图像补充。
作为该检测以及补充的方法，有以下两种方法首先检测出图像的基础部分并将其以外的区域作为不需要区域切出的第一方法、以及从顺次取入的几个图像将以时间系列的图像变化固定的位置作为不需要区域切出的第二方法。
例如在第一方法的情况下，不需要区域检出部12检测出路面二值图像202的区域中的、基础亮度的分布固定的有必要残留的区域(必要区域)。
将在该必要区域以外的区域、即亮度的分布变化激烈的区域检测为不需要区域(所说的删除区域)。
此后，通过取入的图像的、在存储部7b己经存储的不需要区域部分的旧图像或者其一部分的图像区域补充来生成合成图像。
上述不需要区域检出处理是能够按照每个被拍摄的路面图像进行的，可以直接固定并使用从最初的路面图像判定的需要区域。
另外，在第二种方法中，将以时间系列的图像变化固定的位置捡测为不需要区域。
此时，如图8所示，不需要区域检出部12比较新得到的路面二值图像202b和已经存储在存储部7b的旧路面二值图像202a，切出如除去位置变化为规定值以下的图像区域的规定形状的(长方形等)的图像区域224。
例如，本车辆在以一定速度行驶中，由于后续车辆也以大体相同的速度追从，因此后续车辆前灯产生影响亮度值变高的两个图像223a、 223b的部分在位置上几乎没有变化，另一方面箭头的标示222a、 222b的部分的位置变化激烈。
由此，通过不需要区域检出部12将与亮度分布固定的基础部分相比亮度变化激烈的图像223a、 223b (路面的灯照射部分)或者位置变化少的图像223a、图像223b部分检测为不需要部分。
图像切出部13从路面二值图像202a、 202b顺次切出避开由不需要区域检测部12检测出的不需要区域223a、图像223b的部分的规定形状的图像区域224 (S103)，并存储在存储部7b。
在该阶段中，由于不能判断是否含有标示222，因此设为切出比道路宽度方向长的长方形形状的图像区域224。
在切出图像区域并存储后，接下来，第二图像处理部20的移动量计算部21从存储部7b读出新旧各自的图像区域224a、 224b (以下成为"切出图像")。图9的图像是前一个切出图像224a，图10的图像这次新得到的新的切出图像224b。
通过移动量计算部21读出的2个切出图像224a、 224b由于是从安装在车辆上的摄像机6放映后方的图像，因此路面标示等从画面(图像)的下方向上移动。
艮口，在图9中的图像224a内的标示222a如在图10中的图像224b内的标示222b那样向上移动。图9中的图像224a内的车线221a也与在图10的图像224b中箭头标记的标示222b的图像向上移动，但图9的车线内的标示221a和图10的车线的标示221b因为是平行线，所以不能辨别出变化。
这些多个切出图像224a和切出图像224b不仅限于2张，只要存储部7b的容量允许，也可在存储部7b保持多个。
移动量计算部21基于从存储部7b读出的2张切出图像224a、 224b来计算移动量(S104)。
作为在两张切出图像224a、 224b间计算移动量的方法， 一般常使用公知的相互相关系数。此外计算移动量的方法各种各样，也可以使用其他方法。
如图11所示，图像合成部22将两个切出图像224a、 224b在错开由移动量计算部21计算出的移动量S的量的基础上，合成相互的图像(S105)，并生成如图12所示的合成图像203且存储在存储部7b。
在该合成图像203中得到消除来自后续车辆的前灯的影响部分而仅存在路面标示(车线的标示231、直行标示232)的图像。
在该图像合成部22的处理中，将切出图像224a、 224b错开两个切出图像224a、 224b移动的距离(像素数)的量并重合。
双方图像重合的区域225也可以取得相互的像素的平均。
通过以上处理，连续地取入由摄像机6拍摄的车辆后方的道路的情景影像，从而能够得到不受后续车辆的前灯等影响的图像，并生成适于路面标示的识别处理的图像。
另外，在上述说明中，通过两张切出图像224a、 224b来合成图像，但进行逐次处理的情况保持前面的合成图像，通过该合成图像和新的部分图像来计算出移动量也能够进行合成。另外，合成图像203通过接连产生的新的切出图像来合成旧的切出图像，但为了合成处理而事先以合适的图像尺寸切出，从而也能够实现削减存储部7b (图像缓冲区)的使用区域。
利用移动量计算部21计算出的移动量与搭载摄像机6的本车辆的行驶速度成比例地增加。
在行驶速度为更高速时，连续部分图像间的重叠的部分消失，有可能不能够进行图像合成。
因此，通过根据由移动量计算部21计算出的移动量来计算出最合适的切出图像的形状，从而维持图像之间的重叠。
艮口，在车辆的速度为高速的情况下，使切出图像的垂直方向的长度变长，相反在车辆的速度为低速的情况下，使切出图像的垂直方向的长度变短。
并且，在例如图7示出的后续车辆的前灯的高辉度图像区域223a由于后续车辆的突然接近而在靠近近前侧宽广的情况下，图像区域223a进入到切出图像224a内，作为结果可能生成不适合图像识别处理的合成图像。
在这种情况下，也可以通过以下方法改变切出图像224a的位置。艮卩，将生成的合成图像203分割为固定尺寸的块，并求出所分割的块内的平均亮度。
研究该平均辉度的分布，如果存在局部的辉度值高的块，则判定为在合成图像中包含高亮度区域，将切出图像224a的设定位置变更为靠近本车辆侧。
其结果是，生成的合成图像变为适合图像识别处理。
另外，由移动量计算部21计算的移动量大体为零，即在新旧的切出图像不存在差的情况下，图像合成部22也可以不进行合成处理。
当合成图像203存储在存储部7b时，路面标示识别部30为了路面标示的识别对通过第二图像处理部20生成和存储的合成图像203进行必要的信息的提取，并基于该提取信息进行路面标示的识别(S106)。
这里，对基于路面标示识别部30的路面标示的识别处理的具体例子进行说明。
路面标示识别部30首先从存储部7b取得合成图像203。接着，路面标示识别部30对于取得的合成图像203进行hough变换，从而提取出图像中的直线，并得到该直线的坐标等参数。以后，将得到该直线的参数之前的处理称为"直线的检测"。
路面标示识别部30以对路面标示事先规定的条件和直线的参数为基础，来识别所述的车线的标示231、直行标示(箭头标记的标示)231等的路面标示。
所说的对路面标示事先规定的条件，例如在图5所示的车线221的情况下，被设定为"直线在纵向从端到端延伸的部分"，在行进方向标示(箭头标记)的情况下，被设定为"在纵向长度的长方形的下部成为附加三角的形状"等。
当提取出图像中的直线等时，路面标示识别部30使用该提取出的信息进行在合成图像203的左右的车线的标示231之间涂刷的直行标示(箭头标记的标示)232的识别。
直行标示(箭头标记)232等的路面标示的识别如下进行。
艮口，路面标示识别部30首先进行确定包含于合成图像203中的直行标示(箭头标记)232的范围的处理。
该处理使用投影等来进行实施。
直行标示(箭头标记)232存在于两条车线的标示231之间。
因此，如果取为在纵轴方向或者横轴方向投影，则因为在各自轴向的
投影值的分布表现直行标示(箭头标记)232和车线的标示231各自的特征，
所以基于此来确定图像中的直行标示(箭头标记)232的范围。
在这里，参照图13、 14，对路面标示识别部30通过投影来确定包含在
合成图像203的直行标示(箭头标记)232的范围的处理(投影处理)进行说明。
图13是表示投影处理的一个例子的图，图14是表示基于该投影处理的结果的标示的范围的确定方法的图。
另外，在投影处理前，为了将标示的部分作为黑像素进行计数，设为事先利用第一像素处理部10对路面二值图像202 (参照图5)实施白和黑的反转处理。
如图13所示，路面标示识别部30首先按照每个横轴上的位置统计黑像素数，并检测该黑像素的统计值超过预先规定的阈值A的部分。
另外，在该投影处理前，为了将标示的部分作为黑像素进行统计，设为对路面二值图像实施白和黑的反转处理。
路面标示识别部30将如此检测出的部分视为相当于车线的标示231的部分，如果相当于该车线的标示231的部分被检测出两个位置，则将夹在各个车线的标示231的部分的范围锁定为横轴上的路面标示的搜索范围。
接下来，路面标示认识部30对于锁定的路面标示的搜索范围，检测出作为比阈值A小的值而超过预先规定的阈值B的部分，并将该部分判定为存在箭头标记的标示232的横轴上的范围。
接下来，路面标示认识部30对于纵轴方向也同样地统计每个纵轴上的位置的黑像素数的值，并检测出该黑像素数的统计值超出预先规定的阈值C的部分。
路面标示识别部30将如此检测出的部分判定为存在箭头标记的标示232的纵轴上的范围。
并且，路面标示识别部30合并所判定的路面标示的横轴上的存在范围和纵轴上的存在范围，如图14所示，确定为箭头标记的标示232的范围230。
接下来，路面标示识别部30对确定的箭头标记的标示232的范围230进行路面标示识别处理。
在该路面标示识别处理中使用标示信息数据库(以下称"标示信息")，所述标示信息数据库收存多个成为基准的箭头等标示的二值图像和表示其名字的标签的组(set)。
标签是基于路面标示的一般名称、或者确定的规则在各路面标示而分配的编码、号码等。
路面标示识别部30将确定的箭头标记的标示232的范围230的二值图像与存储在ROM 7c的标示信息的为基准的路面标示的二值图像的尺寸比较而进行扩大或者縮小之后，对比标示信息的各路面标示的二值图像，计算位置重合的点的值的一致的个数，并将其结果作为"相似度"。
并且，路面标示识别部30将计算出的相似度为最大的标示信息内的路面标示的二值图像的标签作为识别结果而输出。
另外，不通过上述的方法，也可以根据确定的箭头标记的标示232的范围230的图像，求出路面标示的浓度、方向成分的数值并生成多维向量数据，并计算出与存储在标示信息的每个基准的路面标示的向量数据的内积作为"相似度"来计算，并输出为最大相似度的标示信息中的图像的标签作为识别结果。
导航部40通过由路面标示识别部30识别出的标签，将在路面涂刷的路面标示(行进方向标示)识别为直行标示(箭头标记)232，并与由GPS接收机1测量的本车辆的当前位置的结果比较，来进行车辆是否正常沿导航中的路经(路由)行进的引导(S107)。
这样，根据该第一实施方式的汽车导航装置从摄像机6拍摄的情景图像切出排除在识别中不需要的部分的图像区域(适合识别的状态的良好的图像区域)，并与存储在存储部7b的前一个切出图像合成，从而能够可靠地检测和识别路面标示，并提高车辆的行进方向的识别精度。
另外，不但从影像固定地将图像的一部分区域切出，而且将以除去为识别道路标示的妨碍的例如因后续车辆的前灯而变白的路面的图像的形状切出图像的一部分区域，并与过去的切出图像合成，来生成适于路面标示的识别的图像，从而能够提高车辆的行进方向的识别的精度。
接下来，对本发明的第二实施方式进行说明。该第二实施方式是上述第一实施方式的变形例，对于与第一实施方式的同样的结构标注相同的标号，并省略其说明。
该第二实施方式的汽车导航装置的硬件结构与图1所示相同，并在图2所示的功能结构上追加一部分的功能。
艮P，如图15所示，该汽车导航装置在第二图像处理部20具有不需要图像去除部23。此外，在该第二实施方式中也具有图2所示的第一图像处理部IO、路面标示识别部30、导航部40、存储部7a、 ROM 7c、以及磁盘驱动器2等。
不需要图像去除部23作为比较存储在存储部7b的新的图像区域和已经存储在存储部7b的旧图像区域(保持图像)、并检测出在识别中不需要的物体的图像不需要区域检测部而发挥作用。
不需要图像去除部23在被检测出的不需要的物体的图像区域合成从存储部7b的没有包含不需要物体的旧图像区域(保持图像)提取出图像区域。不需要图像去除部23作为将在识别上不需要的物体的图像部分从合成图像中消去的消去部而发挥功能。
艮P，不需要图像去除部23使用移动量计算部21的处理结果，检测出比路面平面高的、例如路崖(路边)的杆子或公路两旁的护栏等。
图16示出由摄像机拍摄的道路。
图像401是车辆搭载的后视监视器的图像，在该图像401中，包含2根车线411、表示直行的路面标示412、以及路崖的杆子413。
图17表示作为图像切出部13的前处理对图16的图像401进行了透视变换处理的图像402。
对于存在于路面平面上的车线的标示421和路面标示422，比路面平面高的路崖的杆子423的图像通过透视变换处理变成倾斜。
图18和图19表示对连续的取入的道路的情景图像在进行图像切出之前的处理来进行透视变换处理的图像。
图18和图19示出的图像与第一实施方式相同，因为是来自安装在车辆上的摄像机6的图像，所以包含在图像中的路面标示等从下向上移动。
图18中的图像402a的路面标示422a如图19中的图像402b内的路面标示422b那样向上移动，但因为移动量少，所以该形状几乎没有变化。
但是，图18中的路崖的杆子423a因为是比路面平面高的物体，所以在规定时间经过后的图19的图像402b中，路崖的杆子423b的位置移动并且看上去的样子即形状变化。
这是为图像切出部13的前处理的透视变换处理的影响，去的越远变形量越大。
在进行这样透视变换的前处理后，通过图像切出部13对图18和图19的图像402a、 402b分别进行切出处理，切出图18的部分图像424a、图19的部分图像424b并存储在存储部7b后，由移动量计算部21根据存储在存储部7b的新旧的切出图像来进行移动量的计算。
不需要图像去除部23根据由移动量计算部21计算出的移动量来计算2张图像间的图像的一致度。
一致度是通过将部分图像分割为块、错开计算出的移动量，并计算各块中的相互相关系数来求出。在该例子的情况下，图18的路面标示422a和图19的路面标示422b的一致度变高。
另一方面，由于图18中的路崖的杆子423a和图19中的路崖的杆子423b虽然通过前述的透视变换处理的影响是相同的目标但形状发生变形，因此一致度没有变高。
其结果是，不需要图像去除部23判断为在一致度不高的块中存在处于比路面平面高的位置的不需要物体。
在识别路面标示的基础上，路面平面以外的物体不会成为噪声。因此，通过将该物体的存在的图像区域通知给后级的图像识别处理，从而可防止错误识别和縮短处理时间。
另外，对于利用摄像机拍摄车辆后方的情况，从由摄像机拍摄的路面图像只是识别"具有高度的障碍物"，但例如在将摄像机安装在车辆的前部来拍摄车辆前方时，在识别具有高度的障碍物的情况下，除通过导航而显示的路面标示的之外，也能通过警报提醒驾驶员注意。
并且，在上述的路崖存在杆子的情况下，在图像合成部22不合成该部分的图像区域，从而不但防止错误识别和縮短处理时间，而且可削减图像数据的存储量。
以上，在第二实施方式中，是以路崖的杆子为例进行说明，但不需要图像除去部23不仅对应路崖的杆子，例如旁边行驶的车辆或在相同车线的后续车辆等是比路面平面具有高度的、在路面标示的识别中是不需要的物
体，因此能够同样进行处理。
以下，参照图20 图23，对上述第二实施方式的汽车导航装置的应用例进行说明。
该应用例是由路面产生的影子遮盖了路面标示的情况的对应例。图20是示出了进行作为图像切出部13的前处理的透视变换处理后的图像502。
在图20示出的图像502中，包含车线的标示521和路面标示522的同时，还包含邻接车线的车辆的影子523。
该影子523将路面标示522的一部分隐蔽。
在对于包含这样的影子523的图像进行路面标示的识别处理的情况下，
20难以得到正确的识别结果。
图21和图22示出将连续的情景图像通过图像切出部13的前处理而进行透视变换处理的图像502a、 502b。
这些的图像502a、 502b与第一实施方式相同，因为是来自安装在车辆上的摄像机6的图像，所以处于图像内的路面标示从下向上移动。
在图21的图像502a中包含的路面标示522a如在图22的图像502b内的路面标示522b那样向上移动。
即使在图21、图22的任一个的图像502a、 502b的情况下，路面标示522a、 522b被邻接车辆的影子523a、 523b遮盖了路面标示522a、 522b的一部分。
因此，即使直接使用图21中的切出图像524a和图22中的切出图像524b来合成图像，也完全残留有影子的部分，难以生成适于路面标示的识别的图像。
这种情况下，将切出部分的图像(切出图像)进行组合而生成图像、或预先将从摄像机6取入的各画面的画像全体在存储部7b保存数张，并从其中使用状态良好的图像，从而能够如图23示出的图像503中的路面标示532那样生成没有影子的合成图像。
艮口，在图21的图像502a的路面标示522a中，影523的一部分覆盖在箭头的杆的部分，但在图22的图像502b的路面标示522b中，影子523b没有覆盖在箭头的杆的部分。
因此，图像合成部22从各个图像中选定影子没有覆盖的部分区域，并切出该部分区域进行合成。
这时，在判别影子的有无时，例如将图像全体分割为块区域，计量亮度的分布，检测出比周围暗的块，并将该部分判定为影子。
根据如上所述该第二实施方式的汽车导航装置，除上述第一实施方式的效果之外，通过设置不需要图像除去部23，来除去成为妨碍识别路面标示的、例如路崖的杆子或与本车邻近的行驶的其他车辆的影子等的不需要的图像区域，另外通过用过去的状态良好的图像补充除去的不需要图像区域，由此能够可靠地检测和识别路面标示，从而能够提高车辆的行进方向的识别精度。艮口，通过计测透视变换处理和局部的图像间的一致度，能够检测出比路面平面高的、在路面标示的识别中不需要的物体(路崖的杆子等)，并从图像中消去该物体，另外能够通过保持该部分的其他图像来补充。
并且，在路面标示被影子等遮盖的情况下，从预先保存在存储部7b的多张画面的图像中选出路面标示没有被遮盖图像或者其一部分图像来合成隐蔽图像，从而可生成路面标示没有被遮盖的清晰的图像。
这些结果能够提高在后级进行的车辆行进方向的识别精度。
本发明不仅限于上述实施方式，当然也包括在不脱离本发明主旨的范围内能够施加的各种更新。
在上述实施方式中是对拍摄车辆后方的图像进行处理的例子进行的说明，但也可以是拍摄车辆前方的图像。
2权利要求
1.一种汽车导航装置，其特征在于，具有摄像机，将摄影方向朝向车辆的前方或者后方来安装在车辆上，拍摄至少包含所述车辆的前方或后方的路面的图像；存储部，存储由所述摄像机拍摄的图像；第一图像处理部，检测出包含在由所述摄像机拍摄的图像中的、对路面标示的识别不需要的区域；第二图像处理部，将由所述第一图像处理部检测出的所述图像的所述不需要区域通过已经存储在所述存储部的旧图像或其一部分的图像区域补充并生成合成图像；以及标示识别部，使用由所述第二图像处理部合成的合成图像和事先设定的标示信息，进行涂刷在所述路面上的路面标示的检测和识别。
2. —种汽车导航装置，其特征在于，具有摄像机，将摄影方向朝向车辆后方并安装在车辆的后部，拍摄至少包 含所述车辆后方的路面的影像； 存储部，能够存储图像；画面取入部，将由所述摄像机拍摄的影像以画面为单位并以规定时间 间隔顺次取入到所述存储部；不需要区域检出部，检测出包含在取入到所述存储部的所述画面的图 像中的、对于识别路面标示不需要的区域；图像切出部，切出避开了由所述不需要区域检出部检测出的不需要区 域的规定形状的图像区域，并存储在所述存储部；移动量计算部，比较由所述图像切出部存储在所述存储部的新的图像 区域和已经存储在所述存储部的前一个的旧图像区域，并计算移动量；图像合成部，根据由所述移动量计算部算出的所述路面标示的移动量 来生成结合了新旧图像区域的合成图像；以及路面标示识别部，使用由所述图像合成部合成的合成图像和事先设定 的标示信息进行所述路面标示的检测和识别。
3. 如权利要求2所述的汽车导航装置，其特征在于，所述图像切出部具有切出图像改变部，所述切出图像改变部根据由所 述移动量计算部算出的移动量，来改变从所述画面的图像切出的图像区域 的形状或者配置。
4. 如权利要求3所述的汽车导航装置，其特征在于， 所述切出图像改变部根据包含在所述合成图像中的道路标示的检测状态或识别状态来改变从所述画面的图像切出的图像区域的位置。
5. 如权利要求3所述的汽车导航装置，其特征在于， 所述切出图像改变部随着时刻来改变从所述画面的图像切出的图像区域的位置。
6. 如权利要求1所述的汽车导航装置，其特征在于， 所述第一图像处理部或所述不需要区域检出部对存储在所述存储部的新的图像区域和已经存储在所述存储部的几个旧的图像区域进行比较，并 检测出存在对路面标示的识别不需要的物体的图像区域；所述第二图像处理部或所述图像合成部将从所述存储部的未包含所述 不需要物体的旧图像区域提取出的图像区域在所述被检测出的不需要物体 的图像区域合成。
7. 如权利要求2所述的汽车导航装置，其特征在于， 所述第一图像处理部或所述不需要区域检出部对存储在所述存储部的新图像区域和已经存储在所述存储部的几个旧图像区域进行比较，并检测 出存在对路面标示的识别不需要的物体的图像区域；所述第二图像处理部或所述图像合成部将从所述存储部的未包含所述 不需要物体的旧图像区域提取出的图像区域在所述检测出的不需要物体的 图像区域合成。
8. 如权利要求6所述的汽车导航装置，其特征在于，具有 消去部，从所述合成图像中消去由所述第一图像处理部或所述不需要区域检出部检测出的所述不需要物体的图像区域。
9. 如权利要求7所述的汽车导航装置，其特征在于，具有 消去部，从所述合成图像中消去由所述第一图像处理部或所述不需要区域检出部检测出的所述不需要物体的图像区域。
全文摘要
本发明涉及导航装置，在道路运行环境改变中，能够可靠地识别由摄像机拍摄的包含道路的图像中的路面标示，并提高车辆的行进方向的识别精度。汽车导航装置100在由车辆中搭载的摄像机6拍摄的车辆的后方的影像中，检测出用于道路标示的识别不需要的灯照射部分的图像，切出避开被检测出的图像区域规定形状的图像区域，并顺次存储在存储部7b。并且合成新得到的切出图像和已经在存储部7b存储的切出图像，并根据该合成图像对道路标示的图像进行检测和识别。
文档编号G08G1/0969GK101595368SQ20088000328
公开日2009年12月2日 申请日期2008年1月25日 优先权日2007年1月29日
发明者小平直朗, 水谷博之, 铃木智久 申请人:株式会社东芝;东芝解决方案株式会社