车道识别系统、车道识别方法和车道识别程序的制作方法

专利名称：车道识别系统、车道识别方法和车道识别程序的制作方法
技术领域：
本发明涉及车道线的识别，并且更加具体地，涉及通过执行图像处理来对车道线 的位置进行估计。
背景技术：
作为用于通过应用IT技术改进交通效率和道路交通舒适度的ITS(智能交通系 统)的研究主题之一，存在一种LKS (车道保持支持)系统。这是一种利用传感器识别道路 上的车道，并且基于此而控制转向器、加速器、制动器等，使得车辆能够总是在车道中心上 运行的系统。为了实现LKS系统，车道识别技术是重要的。特别地，积极研究的是如下的这样一 项技术，利用该技术，诸如照相机的图像输入装置被置于运行车辆的前侧或者后侧中，并且 图像输入装置处理在道路上运行时拍摄的图像，以识别以诸如白色或者黄色的高亮度颜色 绘制在道路上的车道线。图18是示出在专利文献1中描绘的、广泛使用的车道识别装置1800的结构的一 个示例的概念示意图。该广泛使用的车道识别装置1800配置有图像输入装置1810、鸟瞰图 像创建模块1820、亮度分布图创建模块1830和车道线检测模块1840。图19是示出图18中所示的车道识别装置1800的行为的概念示意图。图19A是 在道路上运行时由图像输入装置1810拍摄的道路图像。这被称为原始图像1910。原始图 像1910被输入到的鸟瞰图像创建模块1820从原始图像1910创建图19B中所示的鸟瞰图 像。亮度分布图创建模块1830通过对沿着与鸟瞰图像1920所示的道路表面的道路宽 度方向垂直的方向的坐标亮度进行积分，而为沿着道路宽度方向的每一个坐标检测图19C 所示的积分亮度。最后，车道线检测模块1840获得与示出比积分亮度分布更高的积分亮度 的道路宽度方向坐标相对应的位置，以检测车道线1930。除了专利文献1之外，关于车道识别还有以下文献。专利文献2公开了从原始图 像检测车道的技术的一个示例。专利文献3公开了基于平面上的移位量从鸟瞰图像创建合 成鸟瞰图像的技术的一个示例。专利文献4公开了从原始图像检测车道的位置和类型的技 术的一个示例。专利文献5公开了判断从原始图像检测的车道是实线还是虚线的技术的一 个示例。专利文献6公开了通过使用不同的时间点的多个图像而改进车道检测准确度的 技术的一个示例。专利文献7公开了基于亮度总值的波动来改进车道检测准确度的技术的 一个示例。专利文献8公开了通过向车辆提供各种传感器而判断道路表面状态从而改进车 道检测准确度的技术的一个示例。专利文献9公开了一种通过连接不同时间点的多个图像而获取车辆周围的鸟瞰 图像的技术。专利文献10公开了当从原始图像获取鸟瞰图像时改进图像质量的技术的一 个示例。专利文献11公开了通过从短距离和长距离分开地识别车道而改进车道检测准确度的技术的一个示例。
专利文献1
专利文献2
专利文献3
专利文献4
专利文献5
专利文献6
专利文献7
专利文献8
专利文献9
专利文献10
专利文献11
日本未审定专利公开2004-145852 日本未审定专利公开2000-242769 日本未审定专利公开2002-120675 日本未审定专利公开2002-175534 日本未审定专利公开2003-067755 日本未审定专利公开2003-346163 日本未审定专利公开2004-246641 日本未审定专利公开2005-276041 日本未审定专利公开2007-096497 日本未审定专利公开2007-249392 日本未审定专利公开Hei 09-167239

发明内容
本发明所要解决的问题图18和图19中所示的、广泛使用的车道识别装置1800面对如下问题，即很可能 发生误识别。例如，在其中雨滴或者异物附着到图像输入装置1810的情形中，由于这样的 雨滴和异物，在原始图像1910上产生点状噪声。当其被鸟瞰图像创建模块1820转换成鸟 瞰图像1920时，产生沿着纵向方向的白线噪声。不能将那些噪声与车道相区别，从而可能 发生误识别。同时，在其中未将原始图像1910转换成鸟瞰图像1920的情况下直接地从亮度分 布图检测车道的情形中，在距图像输入装置1810远的距离处的视频可能变得不清楚。因 此，难以准确地识别车道。如所描述地，在其中从原始图像1910直接地检测车道和其中在将原始图像1910 转换成鸟瞰图像1920之后检测车道的每一种情形中，很可能有噪声产生，并且那些噪声是 产生误识别的原因。然而，不仅专利文献1而且专利文献2-11均无提及能够抑制在那些情 形的每一个中很可能产生的噪声的结构。本发明的一个目的在于提供能够通过抑制分别地在原始图像和鸟瞰图像中很可 能产生的噪声而改进车道识别准确度的一种车道识别装置、一种车道识别方法和一种车道 识别程序。用于解决问题的手段为了实现前面的目的，根据本发明的车道识别装置是基于图像识别车道的车道识 别系统。该系统包括合成鸟瞰图像创建模块，该合成鸟瞰图像创建模块通过连接通过将在 多个不同的时间拍摄的原始图像的相应的局部区域转换成鸟瞰图像而获得的多个鸟瞰图 像，创建合成鸟瞰图像；候选车道线提取模块，该候选车道线提取模块通过使用原始图像或 者从原始图像创建的鸟瞰图像以及合成鸟瞰图像的信息而检测候选车道线；以及车道线位 置估计模块，该车道线位置估计模块基于候选车道线的信息估计车道线位置。此外，通过将本发明设计作为一种方法而获得的车道识别方法是一种基于图像识 别车道的车道识别方法。该方法包括通过连接通过将在多个不同的时间拍摄的原始图像
6的对应的局部区域转换成鸟瞰图像而获得的多个鸟瞰图像，创建合成鸟瞰图像；通过使用 原始图像或者从原始图像创建的鸟瞰图像以及合成鸟瞰图像的信息而检测候选车道线；以 及基于候选车道线的信息估计车道线位置。此外，通过将本发明设计作为一种程序而获得的车道识别程序是一种用于基于图 像控制对车道的识别的车道识别程序，该车道识别程序使得计算机执行合成鸟瞰图像创 建处理，该合成鸟瞰图像创建处理通过连接通过将在多个不同的时间拍摄的原始图像的相 应的局部区域转换成鸟瞰图像而获得的多个鸟瞰图像进行连接，创建合成鸟瞰图像；候选 车道线提取处理，该候选车道线提取处理通过使用原始图像或者从原始图像创建的鸟瞰图 像以及合成鸟瞰图像的信息而检测候选车道线；以及车道线位置估计处理，该车道线位置 估计处理基于候选车道线的信息估计车道线位置。本发明的效果本发明被设计成能够通过利用原始图像和合成鸟瞰图像两者而检测作为用于车 道线的候选的车道线的位置，从而很可能分别在原始图像和合成鸟瞰图像中产生的噪声能 够得以抵消。这使得通过抑制噪声而改进车道识别准确度成为可能。
具体实施例方式(第一示例性实施例)图1是示出根据本发明第一示例性实施例的车道识别装置10的基础结构的框图。 车道识别装置10配置有控制单元100和图像输入装置110。控制单元100是由CPU、RAM、 OS等形成的计算机装置的主要部分，并且执行例如候选车道线检测模块120、合成鸟瞰图 像创建模块130、候选车道线验证模块140、车道线位置估计模块150和车道线位置输出模 块160的功能中的每一种功能。图像输入装置110是诸如照相机的装置，其输入将被作为目标的图像，从所述图 像中检测车道线。在下文中，从图像输入装置110输入的图像被称为原始图像。图像输入 装置110被连附到诸如汽车的车辆上。在下文中，图像输入装置110被连附到的车辆被称 为持有(own)车。可以在持有车上装载控制单元100，并且图像输入装置110和控制单元 100可以通过有线连接而被连接。此外，控制单元100可以不装载在持有车上，并且图像输 入装置110和控制单元100可以通过无线电连接而被连接。合成鸟瞰图像创建模块130创建基于在多个不同的时间拍摄的原始图像合成的 鸟瞰图像。候选车道线检测模块120从原始图像检测将成为用于车道线的候选的车道线。候选车道线验证模块140基于与在由合成鸟瞰图像创建模块130创建的合成鸟瞰 图像内的候选车道线位置的周围有关的信息，验证由候选车道线检测模块120检测的候选 车道线是否适合用于车道线。车道线位置估计模块150基于被候选车道线验证模块140验证为适合于车道线的 候选车道线的位置，估计在当前时间的车道线的位置。车道线位置输出模块160输出由车 道线位置估计模块150估计的、当前时间的车道线位置。从原始图像、由原始图像创建的鸟瞰图像、或者合成鸟瞰图像中检测候选车道线 的候选车道线检测模块120 ；和通过使用合成鸟瞰图像、原始图像、或者从原始图像创建的 鸟瞰图像的信息来验证所检测的候选车道线是否适合于车道线的车道线检测模块140构
7造候选车道线提取模块，所述候选车道线提取模块通过使用原始图像或者从原始图像创建 的鸟瞰图像以及合成鸟瞰图像的信息而检测候选车道线。此外，虽然在图1所示的第一示例性实施例中的候选车道线检测模块120、合成鸟 瞰图像创建模块130、候选车道线验证模块140、车道线位置估计模块150、车道线位置输出 模块160被构造为硬件，但是可以将其构造为车道识别程序，通过被在计算机的CPU上执 行，所述车道识别程序实现候选车道线检测模块120、合成鸟瞰图像创建模块130、候选车 道线验证模块140、车道线位置估计模块150、车道线位置输出模块160。图2是示出由图1所示的合成鸟瞰图像创建模块130执行的、合成鸟瞰图像的创 建的概念示意图。鸟瞰图像在这里意味着通过将在原始图像中拍摄的情景转换成朝向真实 世界中的竖直方向向下观看时观察到的图像而获得的图像。鸟瞰图像的创建意味着将原始 图像转换成该种图像。通过使用在多个不同的时间拍摄的原始图像，并且通过连接通过分别地转换原始 图像的局部区域而获得的局部鸟瞰图像，创建合成鸟瞰图像。在图2所示的情形中，图像 输入装置110被放置成面向与持有车的行进方向相反的方向，以拍摄持有车的向后方向的 图像。图2A是在时间点T-I的原始图像，并且图2B是在时间点T的原始图像。在图2B的 底部中，未在时间T-I拍摄并且落入在时间T的原始图像的拍摄范围内的部分被示为切断 (slashed)部分(这被称为前区域21)。图2A和2C中的箭头示意持有车的行进方向。图2C示出在时间点T-I从图2A的原始图像创建的鸟瞰图像。图2D是通过将图 2C的鸟瞰图像的像素朝着竖直方向移位持有车从时间T-I到时间T已经行进的距离量而获 得的图像。相应于图2B的前区域21的部分未被包括于图2C的鸟瞰图像中。因此，那个部 分在图2D的图像中作为空白部分22出现。这里，合成鸟瞰图像创建模块130通过将通过把图2B转换成鸟瞰图像而获得的图 像合成到图2D的图像中，从而通过填充图2D的空白部分22(对应于图2B的前区域21)创 建图2E的合成鸟瞰图像。图3是示出由图1所示车道识别装置10执行的处理的概况的流程图。当处理开 始时，首先，图像输入装置110输入原始图像，其将作为车道线检测的目标(步骤S2001)。 然后，候选车道线检测模块120检测候选车道线(步骤S2002)，并且合成鸟瞰图像创建模块 130创建合成鸟瞰图像(步骤S2003)。此外，当仍然存在尚未被验证的候选车道线时重复步骤S2005-2007，直至不再存 在尚未被验证的车道线(步骤S2004)。在步骤S2005中，候选车道线验证模块140从与在 合成鸟瞰图像内的验证目标候选车道线的周围相关的信息中，验证所述验证目标车道线是 否适合作为车道线。将在以后描述在步骤S2005中的“验证”的细节。在步骤S2006中，当候选已经通过验证时，候选车道线验证模块140将验证目标候 选车道线添加到验证通过候选中(步骤S2007)。当没有成功时，该手续返回步骤S2004。此 外，车道线位置估计模块150基于已经通过验证的候选车道线的位置来估计在当前时间的 车道线位置(步骤S2008)。最后，车道线位置输出模块160输出在步骤S2008中估计的车 道线位置(步骤S2009)。该示例性实施例被构造成用于从原始图像检测候选车道线并且基于在合成鸟瞰 图像内的信息来对其进行验证。然而，相反地，可以从合成鸟瞰图像检测候选车道线，并且
8可以从在原始图像或者由原始图像创建的鸟瞰图像内的信息来验证该候选车道线。此外， 替代该示例性实施例的原始图像和合成鸟瞰图像，还可以使用通过对那些图像应用诸如滤 波的处理而获得的处理图像。图4是示出在创建图2所示的鸟瞰图像时在原始图像中包含的噪声的一个示例的 概念示意图。在图4A所示的原始图像410中，除了实际车道线411之外，诸如雨滴的异物 412在原始图像内的同一位置处停留超过规定时间。当这个图像被合成鸟瞰图像创建模块 130转换成图4B所示的合成鸟瞰图像420时，除了从原始图像410的车道线411转换的实 际车道线421之外，还创建了类似于车道线411的纵向白线噪声422。因此，如果仅仅从合成鸟瞰图像420识别车道线，则存在将噪声422误识别成候选 车道线的风险。然而，作为产生噪声422的原因的异物412在原始图像410中仅仅作为点 状局部噪声出现，使得其不太可能被识别为候选车道线。相反地，因为距离远，所以持有车在原始图像410中的远处部分413并不能作为清 楚视频出现。因此，当仅从原始图像410识别车道线时，存在远处部分413的视频可能变成 用于引起误识别的因素的风险。然而，远处部分413的视频未被包含于由合成鸟瞰图像创 建模块130创建的合成鸟瞰图像420中，从而其不能成为用于引起候选车道线的误识别的因素。即，该示例性实施例被构造成用于分别地从原始图像410和合成鸟瞰图像420检 测并且验证候选车道线。因此，在每一个图像中出现的噪声能够得以抵消以抑制那些噪声 的影响，从而能够以高的精度识别车道线。图5是示出其中图1所示的车道识别装置10被实际地安装到车辆的示例的概念 图表。照相机510被连附到在道路上行进的持有车520的后部。照相机510用作图像输入 装置110。照相机510的拍摄范围511面向与持有车的行进方向530相反的方向。车道识 别装置10从由照相机510拍摄的图像中识别车道线540和550。图6是示出图1所示的候选车道线检测模块120、合成鸟瞰图像创建模块130、候 选车道线验证模块140、和车道线位置估计模块150的更加详细的结构的框图。候选车道线 检测模块120包括原始图像二值化模块621和霍夫(Hough)转换模块622。然而，候选车 道线检测模块120不仅限于这种结构，只要它是能够对很可能是车道线的高亮度线段或者 直线进行检测的装置。构成候选车道线检测模块120的二值化模块621和Hough转换模块 622可以通过使得计算机的CPU执行程序而实现。合成鸟瞰图像创建模块130包括像素移位模块631、原始图像到鸟瞰图像转换模 块632和前区域添加模块633。候选车道线验证模块140包括车道线位置转换模块641、合 成鸟瞰图像内车道线位置计算模块642和车道线上像素验证模块643。车道线位置估计模 块150包括左右候选车道线选择模块651和左右车道线位置估计模块652。可以通过使得 计算机的CPU执行程序而实现构成合成鸟瞰图像创建模块130的像素移位模块631、原始图 像到鸟瞰图像转换模块632和前区域添加模块633。此外，可以通过使得计算机的CPU执 行程序而实现构成候选车道线验证模块140的车道线位置转换模块641、合成鸟瞰图像内 车道线位置计算模块642和车道线上像素验证模块643。此外，可以通过使得计算机的CPU 执行程序而实现构成车道线位置估计模块150的左右候选车道线选择模块651和左右车道 线位置估计模块652。
9
原始图像二值化模块621通过例如当原始图像的灰阶数为256时，将具有200或 者更大的亮度数值的像素分离作为前景，并且将其它像素作为背景，从而将原始图像二值 化成前景和背景。Hough转换模块622利用已知的Hough转换，而基于在原始图像中被取作 前景的像素检测直线，并且将所述直线取作候选车道线。像素移位模块631如在图2中所示地根据持有车与先前时间的移位量，而将合成 鸟瞰图像的每一个像素移位到远处的片段。例如，在其中从图2A的原始图像创建的图2C 的合成鸟瞰图像的最下行被限定为处于距图像输入装置110的顶端Im的位置，并且以使得 合成鸟瞰图像的每一个像素纵向地和侧向地对应于5cm乘5cm的道路表面的方式来创建合 成鸟瞰图像的情形中，如果持有车的移位量是50cm，则合成鸟瞰图像的每一个像素被以10 个像素地移向远处。由此，能够获得在图2D所示状态中的图像。原始图像到鸟瞰图像转换模块632将图2B的原始图像的前区域21转换成鸟瞰图 像。然而，注意到，前区域21的范围需要包含在原始图像中的相应于等价于持有车在实际 世界中的移位量的距离范围的区域。前区域添加模块633将由原始图像到鸟瞰图像转换模 块632转换成鸟瞰图像的原始图像的前区域21添加到合成鸟瞰图像的空白部分22，以创建 图2E所示的合成鸟瞰图像。图7是用于描述由图6所示原始图像到鸟瞰图像转换模块632执行的原始图像到 鸟瞰图像转换原理的图像图表。原始图像在由图像输入装置110拍摄的图像平面720中的 坐标系统被定义为xy，并且真实世界的坐标系统被定义为XYZ。在拍摄时从真实世界到原 始图像的转换被定义为透视转换，并且假设由于透镜等的扭曲等而引起的其它转换因素能 够被忽略。还假设X轴和χ轴以及Y轴和y轴相互平行，并且道路表面710形成垂直于Y 轴的平坦表面。从真实世界坐标系统的原点到道路表面710的距离730被定义为H，并且在 两个坐标系统的原点之间的距离740被定义为f。在此情形中，相应于在道路表面上的点(Xi，H，Xi)的、在原始图像内的像素(xi， yi)能够被表达为以下表达式1。[表达式1]
- S-~-rl鸟瞰图像是当朝向真实世界中的竖直方向向下地观察道路表面时创建的图像。能 够通过将鸟瞰图像中的每一个像素的亮度改变为在原始图像内的利用表达式1示出的相 应像素的亮度而实现原始图像到鸟瞰图像的转换。因此，通过利用表达式1将道路表面上 的点转换成在原始图像内的像素而获得的图像能够被视为在其中在道路表面上的真实世 界坐标纵向地和侧向地被以例如5cmX5cm的适当间隔而量化的图像。当在图像拍摄系统中存在除了透视转换之外的转换因素时，例如，存在透镜的扭 曲，或者在道路表面710和χ轴之间的倾斜移位时，还能够使用对那些转换因素加以考虑的 转换公式来替代表达式1，从而通过校正图像而将原始图像转换成鸟瞰图像。这是本领域技 术人员能够任意地采用的方法，从而省略其详细解释。车道线转换模块641以上述方式将候选车道线的位置转换成在合成鸟瞰图像内
10的位置。合成鸟瞰图像内车道线位置计算模块642计算候选车道线在合成鸟瞰图像内的详 细位置。车道线上像素验证模块643通过使用合成鸟瞰图像的信息而验证每一个候选车道 线是否适合作为车道线。图8是示出由图6所示合成鸟瞰图像内车道线位置计算模块642执行的候选车道 线的位置计算的概念示意图。初始图像候选车道线位置820是候选车道线在被车道线位置 转换模块641转换的合成鸟瞰图像810中的位置。合成鸟瞰图像内车道线位置计算模块642 通过将初始图像候选车道线位置820取作合成鸟瞰图像的前部，并且将角度取作在车道线 角度范围830内，来表达在合成鸟瞰图像内的合成鸟瞰图像候选车道线位置。为了确定该角度，将该角度确定为使得在合成鸟瞰图像候选车道线位置处的像素 值的总和，或者在其周围中的合成鸟瞰图像内的像素值的总和变成最大值的角度。例如，车 道线角度范围830被定义为士30度，并且分别地计算在合成鸟瞰图像候选车道线位置处的 像素值的总和和在其周围的合成鸟瞰图像内的像素值的总和，例如当以1度的节距改变角 度时相对于合成鸟瞰图像候选车道线位置的中心线在左侧和右侧上每一个均为20cm的范 围中，并且选择使得像素值的总和变成最大值的角度。这里注意当确定合成鸟瞰图像候选车道线位置时，评价数值不仅限于像素值的总 和。可以使用与在合成鸟瞰图像候选车道线位置处或者在其周围中的像素布局有关的、表 达作为车道线的某种可能性的任何数值。车道线上像素验证模块643基于在合成鸟瞰图像候选车道线位置处或者在其周 围中的像素来验证每一个候选车道线是否适合作为车道线。作为评价数值，例如能够使用 被用于确定由合成鸟瞰图像内车道线位置计算模块642计算的合成鸟瞰图像候选车道线 位置的像素值的总和。S卩，当像素值总和等于或者大于预先设定的阈值时，每一个目标候选车道线均被 视为适合用于车道线，由此通过验证。这里注意用于验证的评价数值不仅限于像素值的总 和。可以使用与在合成鸟瞰图像候选车道线位置处或者在其周围中的像素布局相关的表达 作为车道线的某种可能性的任何数值。此外，同样可以使用与由合成鸟瞰图像内车道线位 置计算模块642计算的评价数值不相同的评价数值。关于持有车车道的左和右车道线，左右候选车道线选择模块651从已经通过由车 道线上像素验证模块643执行的验证的候选车道线中，为左和右车道线中的每一个选择最 适当的候选车道线。作为用于选择的基础，例如，可以选择在先前时间处的左和右车道线位 置本身或者可以选择最靠近预测位置的那些位置。可替代地，还能够选择在靠近左和右车 道线的位置的范围内的，例如，在先前的时间处Im内的、具有用于验证的最高评价数值的 候选。此外，可以组合地使用那些基础。左右车道线位置估计模块652从在先前时间的左和右车道线的位置等中，估计分 别地为左和右车道线选择的候选车道线的位置和在当前时间处的左和右车道线的位置。可 以通过将分别地为左和右车道线选择的候选车道线的位置直接地取作在当前时间的左和 右车道线的位置，从而执行这个估计。此外，关于左和右车道线的位置，可以采用诸如使用 卡尔曼(Kalman)滤波器等的方法的时间序列滤波方法。图9是示出图1和图6所示车道识别装置10的更加详细的行为的流程图。相同 的引用标号被应用于与图3的流程图所示的那些相同的行为上。当图3所示的行为在图9
11中被划分成多个步骤时，副标号被进一步添加到图3的引用标号上。例如，当图3的步骤 S2002在图9中被划分成两个步骤时，每一个步骤被表达成步骤S2002a和步骤S2002b。当开始处理时，首先，图像输入装置110输入原始图像，其将作为车道线检测目标 (步骤S2001)。然后，原始图像二值化模块621 二值化原始图像，以将每一个像素分类成前 景和背景(步骤S2002a)。随后，通过由Hough转换模块622将在步骤S2002a中分类的前 景的像素作为特征点，而通过执行Hough转换将直线检测为候选车道线(步骤S2002b)。像素移位模块631根据持有车从先前时间的移位量来移位先前时间的合成鸟瞰 图像的像素，以在底部中创建空白部分22(步骤S2003a)。原始图像到鸟瞰图像转换模块 632将原始图像的前部21转换成鸟瞰图像(步骤S2003b)。前区域添加模块633将已被转 换成鸟瞰图像的原始图像前部21添加到鸟瞰图像的底部中的空白部分22(步骤S2003c)。此外，在仍然存在尚未被验证的候选车道线时重复步骤S2005a-2007，直至不再存 在尚未被验证的车道线(步骤S2004)。在步骤S2005a中，车道线位置转换模块641将原始 图像的验证目标候选车道线位置转换成合成鸟瞰图像的前部位置。在步骤S2005b中，合成 鸟瞰图像内车道线位置计算模块642计算验证目标车道线位置在合成鸟瞰图像内的角度， 以获得在合成鸟瞰图像内的候选车道线位置。在步骤S2005c中，车道线上像素验证模块643计算示出验证目标候选车道线是否 适合作为车道线的验证评价数值。在步骤S2006中，将验证评价数值与预先设定的阈值相 比较。当验证评价数值等于或者大于阈值时，该过程前进到步骤S2007。当它小于阈值时， 该过程返回步骤S2004。在步骤S2006中，验证目标候选车道线被添加到验证通过候选中。此外，左右候选车道线选择模块651从验证通过候选中分别地为左和右车道线选 择最适当的候选车道线(步骤S2008a)。随后，左右车道线位置估计模块652基于所选择的 候选车道线估计在当前时间的左和右车道线的位置(步骤S2008b)。最后，车道线位置输出 模块160输出在步骤S2008中估计的车道线位置(步骤S2009)。(第二示例性实施例)图10是示出根据本发明第二示例性实施例的车道识别装置11的基础结构的框 图。车道识别装置11配置有控制单元1000和图像输入装置110。控制单元1000是由CPU、 RAM、OS等形成的计算机装置的主要部分，并且执行诸如鸟瞰图像创建模块1020、合成鸟瞰 图像创建模块1030、第二合成鸟瞰图像创建模块1040、候选车道线检测模块1050、车道线 位置估计模块1060和车道线位置输出模块160的功能中的每一个功能。图像输入装置110是诸如照相机的装置，其与本发明第一示例性实施例的相同。 鸟瞰图像创建模块120利用例如纵向地和侧向地5cm乘5cm的预设精度，在预先设定的真 实世界范围中，诸如分别地在前侧和后侧距离持有车Im到8m和在左侧和右侧距离4m的范 围中，根据当前时间的原始图像来创建鸟瞰图像。合成鸟瞰图像创建模块1030创建基于在多个不同的时间拍摄的原始图像而合成 的鸟瞰图像。第二鸟瞰图像创建模块1040基于鸟瞰图像和合成的鸟瞰图像创建第二合成 鸟瞰图像。候选车道线检测模块1050从第二合成鸟瞰图像检测成为用于车道线的候选的车 道线的位置。车道线位置估计模块1060基于候选车道线的位置估计车道线的当前时间位 置。如在第一示例性实施例的情形中一样，车道线位置输出模块160输出由车道线位置估
12计模块1060估计的、当前时间的车道线位置。这里第二合成鸟瞰图像是从鸟瞰图像和合成鸟瞰图像新创建的鸟瞰图像，并且创 建第二合成鸟瞰图像以消除在鸟瞰图像和合成鸟瞰图像的每一个中产生的噪声。如上所 述，合成鸟瞰图像并不包含被视为主要地在鸟瞰图像中包含的远处部分413中的噪声。此 外，鸟瞰图像并不包含可能由于在合成鸟瞰图像中包含的异物412等而引起的白线噪声 422。因此，可以创建第二合成鸟瞰图像，从而利用鸟瞰图像和合成鸟瞰图像互助地抵消这 种噪声。还可以使用对其应用诸如滤波的处理的处理图像来替代这个示例性实施例的第 二合成鸟瞰图像。创建第二合成鸟瞰图像的第二鸟瞰图像创建模块1040和从第二合成鸟瞰图像检 测候选车道线的候选车道线检测模块1050构成了通过使用原始图像或者从原始图像创建 的鸟瞰图像以及合成鸟瞰图像的信息来检测候选车道线的候选车道线提取模块，其中，所 述第二合成鸟瞰图像的在相同位置处的像素的像素值是从原始图像或者由原始图像创建 的鸟瞰图像以及合成鸟瞰图像中基于两个图像的在相同位置处的像素或者其周围的像素 的像素值而计算的数值。此外，可以通过使得计算机的CPU执行程序而实现鸟瞰图像创建模块1020、合成 鸟瞰图像创建模块1030、第二合成鸟瞰图像创建模块1040、候选车道线检测模块1050、车 道线位置估计模块1060和车道线位置输出模块160。图11是示意由图10所示车道识别装置11执行的处理的概况的流程图。首先，图 像输入装置110输入原始图像，其将作为车道线检测目标(步骤S2101)。然后，鸟瞰图像创 建模块1020从原始图像创建鸟瞰图像(步骤S2102)，并且合成鸟瞰图像创建模块1030创 建合成鸟瞰图像(步骤S2103)。此外，第二鸟瞰图像创建模块1040创建第二合成鸟瞰图像(步骤S2104)，候选车 道线检测模块1050从第二鸟瞰图像检测候选车道线(步骤S2105)，并且车道线位置估计模 块1060基于候选车道线的位置估计车道线位置(步骤S2106)。最后，车道线位置输出模块 160输出在步骤S2106中估计的车道线位置(步骤S2107)。该示例性实施例被构造成从通过消除分别地在鸟瞰图像和合成鸟瞰图像中产生 的噪声而创建的第二合成鸟瞰图像中，检测候选车道线，从而能够通过抑制噪声的影响而 以高的精度识别车道线。在图1所示车道识别装置11中，被以在图5中描述的方式连附到持有车520的后 部的照相机510用作图像输入装置110的功能。图12是示出图10所示合成鸟瞰图像创建模块1030、候选车道线检测模块1050和 车道线位置估计模块1060的更加详细的结构的框图。合成鸟瞰图像创建模块1030包括像 素移位模块1231、原始图像到鸟瞰图像转换模块1232和前区域添加模块1233。候选车道 线检测模块1050包括第二合成鸟瞰图像二值化模块1251和Hough转换模块1252。车道线 位置估计模块1060包括左右候选车道线选择模块1261和左右车道线位置估计模块1262。 可以通过使得计算机的CPU执行程序而实现构成合成鸟瞰图像创建模块1030的像素移位 模块1231、原始图像到鸟瞰图像转换模块1232和前区域添加模块1233。此外，可以通过使 得计算机的CPU执行程序而实现构成候选车道线检测模块1050的第二合成鸟瞰图像二值
13化模块1251和Hough转换模块1252。进而，可以通过使得计算机的CPU执行程序而实现构 成车道线位置估计模块1060的左右候选车道线选择模块1261和左右车道线位置估计模块 1262。像素移位模块1231、原始图像到鸟瞰图像转换模块1232和前区域添加模块1233 分别地与图6所示本发明第一示例性实施例的像素移位模块631、原始图像到鸟瞰图像转 换模块632和前区域添加模块633相同。因此，省略了其详细解释。第二合成鸟瞰图像创建模块1240基于鸟瞰图像和合成鸟瞰图像创建第二合成鸟 瞰图像。第二鸟瞰图像的创建能够例如以以下方式进行。例如，利用纵向地和侧向地5cm乘 5cm的精度，在预先设定的相同的真实世界范围，例如分别地在前侧和后侧距离持有车离开 Im到8m以及在左侧和右侧距离4m的范围中，由原始图像到鸟瞰图像转换模块1220和合成 鸟瞰图像创建模块1230从鸟瞰图像和合成鸟瞰图像创建第二合成鸟瞰图像。此时，还在相同的真实世界范围中和利用相同的精度创建第二合成鸟瞰图像，并 且第二合成鸟瞰图像创建模块1240对于第二合成鸟瞰图像的每一个像素值，在相应的鸟 瞰图像和合成鸟瞰图像的像素值之间选择较暗的数值。这使得可以相互抵消分离地出现在 鸟瞰图像和合成鸟瞰图像中并且很可能被误判断为车道线的、具有高亮度的噪声，从而能 够获取具有较小噪声的鸟瞰图像作为第二合成鸟瞰图像。用于创建第二鸟瞰图像的方法不仅限于上述的一种方法，而是能够采用任何方 法，只要能够抵消分离地出现在鸟瞰图像和合成鸟瞰图像中并且很可能被误判断为车道线 的噪声，从而可以获取具有较小噪声的鸟瞰图像作为第二合成鸟瞰图像。第二合成鸟瞰图像二值化模块1251通过例如当第二合成鸟瞰图像的灰阶数为 256时将具有200或者更大的亮度数值的像素分离作为前景，和将其它像素作为背景，从而 将第二合成鸟瞰图像二值化成前景和背景。Hough转换模块1252利用已知的Hough转换而 基于在第二合成鸟瞰图像中被取作前景的像素来检测直线，并且将那些直线取作候选车道 线。关于持有车车道的左和右车道线，左右候选车道线选择模块1261从由候选车道 线检测模块1250检测的候选车道线中，为左和右车道线中的每一个选择最适当的候选车 道线。用于选择的基础及其方法与图6所示本发明的第一示例性实施例的左右候选车道线 选择模块651的那些相同，从而省略了其详细解释。此外，左右车道线位置估计模块1262能够被构造成用于执行与图6所示本发明第 一示例性实施例的左右车道线位置估计模块652的那些行为相同的行为，从而省略了其详
细解释。图13是示出图10和图12所示车道识别装置11的更加详细的行为的流程图。相 同的引用标号被应用于与图11的流程图所示的那些相同的行为上。如在根据本发明第一 示例性实施例的图9中的详细流程图的情形中，当图11所示的行为在图13中被划分成多 个步骤时，副标号被进一步添加到图11的引用标号上。首先，图像输入装置110输入原始图像，其将作为车道线检测目标(步骤S2101)。 然后，鸟瞰图像创建模块1020从原始图像中创建鸟瞰图像(步骤S2102)。像素移位模块1231将在先前时间的合成鸟瞰图像的像素移位(步骤S2103a)，原 始图像到鸟瞰图像转换模块1232将原始图像的前部转换成鸟瞰图像(步骤S2103b)，并且
14前区域添加模块1233将已经被转换成鸟瞰图像的原始图像前部21添加到鸟瞰图像的底部 中的空白部分22(步骤S2103c)。此外，第二鸟瞰图像创建模块1240从鸟瞰图像和合成鸟瞰图像创建第二合成鸟 瞰图像(步骤S2104)。当第二合成鸟瞰图像二值化模块1251 二值化第二合成鸟瞰图像以 将第二合成鸟瞰图像的每一个像素分类成前景和背景时(步骤S2105a)，Hough转换模块 1252通过将前景的像素用作特征点而检测将作为候选车道线的直线(步骤S2105b)。此外， 左右候选车道线选择模块1261从候选车道线中分别地为左和右车道线选择最适当的候选 车道线(步骤S2105c)。进而，左右车道线位置估计模块1262估计在当前时间的左和右车道线的位置 (步骤S2106)。最后，车道线位置输出模块160输出左和右车道线位置的估计位置(步骤 S2107)。(第三示例性实施例)图14是示出根据本发明第三示例性实施例的车道识别装置12的基础结构的框 图。车道识别装置12配置有控制单元1400和图像输入装置110。控制单元1400是由CPU、 RAM、OS等构成的计算机装置的主要部分，并且执行例如候选车道线检测模块1420、合成鸟 瞰图像创建模块1430、候选车道线验证模块1440、车道线位置估计模块1450、车道线类型 判断模块1460和车道线位置输出模块160的功能中的每一种功能。图像输入装置110是诸如照相机的装置，其与本发明的第一和第二示例性实施例 的相同。候选车道线检测模块1420从原始图像或者由原始图像创建的鸟瞰图像中，检测将 作为用于车道线的候选的车道线的位置。合成鸟瞰图像创建模块1430创建基于在多个不 同的时间拍摄的原始图像而合成的鸟瞰图像。候选车道线验证模块1440基于与在由合成鸟瞰图像创建模块1430创建的合成鸟 瞰图像内的候选车道线位置的周围有关的信息，来验证由候选车道线检测模块1420检测 的候选车道线是否适合于车道线。车道线位置估计模块1450基于被候选车道线验证模块1440验证为适合用于车道 线的候选车道线的位置，来估计在当前时间的车道线位置。车道线类型判断模块1460基于 在由车道线位置估计模块1450估计的车道线位置的周围中的合成图像、原始图像、或者从 原始图像创建的鸟瞰图像的信息，对车道线的车道线类型_例如实线或者虚线进行判断。如在本发明的第一和第二示例性实施例的情形中，车道线位置输出模块160输出 由车道线估计模块1450估计的当前时间的车道线位置和由车道线类型判断模块1460判定 的车道线类型。如根据以上解释而明显地，图14所示车道识别装置12能够被视为是通过将车道 线类型判断模块1460添加到图1所示的根据本发明第一示例性实施例的车道识别装置10 而获得的装置。候选车道线检测模块1420、合成鸟瞰图像创建模块1430、候选车道线验证 模块1440和车道线位置估计模块1450分别地与根据本发明第一示例性实施例的候选车道 线检测模块120、合成鸟瞰图像创建模块130、候选车道线验证模块140和车道线位置估计 模块150相同。从原始图像、由原始图像创建的鸟瞰图像或者合成鸟瞰图像检测候选车道线的候 选车道线检测模块1420和通过使用合成鸟瞰图像、原始图像或者从原始图像创建的鸟瞰
15图像的信息来验证所检测到的候选车道线是否适合用于车道线的车道线检测模块1440构 成候选车道线提取模块，所述候选车道线提取模块通过使用原始图像或者由原始图像创建 的鸟瞰图像以及合成鸟瞰图像的信息来检测候选车道线。此外，可以通过使得计算机的CPU执行程序而实现候选车道线检测模块1420、合 成鸟瞰图像创建模块1430、候选车道线验证模块1440、车道线位置估计模块1450、车道线 类型判断模块1460和车道线位置输出模块160。图15是示出由图14所示的车道识别装置12执行的处理的概况的流程图。当处 理开始时，首先，图像输入装置110输入原始图像，其将作为车道线检测目标(步骤S2201)。 然后，候选车道线检测模块1420检测候选车道线(步骤S2202)，并且合成鸟瞰图像创建模 块1430创建合成鸟瞰图像(步骤S2203)。此外，当仍然存在尚未被验证的候选车道线时重复步骤S2205-2207，直至不再存 在尚未被验证的车道线(步骤S2204)。在步骤S2205中，候选车道线验证模块1440根据与 在合成鸟瞰图像内的验证目标候选车道线的周围有关的信息来验证验证目标车道线是否 适合作为车道线。将在以后描述在步骤S2205中的“验证”的细节。在步骤S2206中，当候选已经通过验证时，候选车道线验证模块1440将验证目标 候选车道线添加到验证成功候选中(步骤S2207)。当没有成功时，过程返回步骤S2204。此 外，车道线位置估计模块1450基于已经通过验证的候选车道线的位置来估计在当前时间 的车道线位置(步骤S2208)，并且车道线类型判断模块1460基于估计的车道线位置来判断 车道线的车道线类型(步骤S2209)。最后，车道线位置输出模块160输出在步骤A8中估计 的车道线位置和车道线类型(步骤S2210)。如根据以上解释而明显地，图15所示流程图的步骤S2201-2208与图3所示的根 据本发明第一示例性实施例的流程图的步骤S2001-2008相同。可以说在此后添加了用于 判断车道线的车道线类型的步骤S2209。该示例性实施例不仅能够如在本发明第一示例性实施例的情形中以高的精度识 别车道线，而且还能够基于车道线位置以高的精度判断车道线类型。图16是示出图14所示车道线类型判断模块1460的更加详细的结构的框图。车 道线类型判断模块1460包括合成鸟瞰图像二值化模块1661、车道线上连接前景长度计算 模块1662和实线/虚线判断模块1663。图14所示候选车道线检测模块1420、合成鸟瞰 图像创建模块1430、候选车道线验证模块1440和车道线位置估计模块1450的详细结构分 别地与图6所示候选车道线检测模块120、合成鸟瞰图像创建模块130、候选车道线验证模 块140和车道线位置估计模块150相同，从而省略了其解释。此外，可以通过使得计算机的 CPU执行程序而实现构成车道线类型判断模块1460的合成鸟瞰图像二值化模块1661、车道 线上连接前景长度计算模块1662和实线/虚线判断模块1663。合成鸟瞰图像二值化模块1661例如通过当合成鸟瞰图像的灰阶数是256时将具 有200或者更大的亮度数值的像素作为前景，和将其它像素作为背景而将在至步骤S2208 的步骤中获取的合成鸟瞰图像二值化成前景和背景。车道线上连接前景长度计算模块1662以例如8左右的大小来将在其位置由左右 车道线位置估计模块1652估计的左和右车道线上存在的合成鸟瞰图像的前景像素分割成 连接集，并且计算在那些连通集中的最大像素数来作为车道线上连接前景长度。
16
实线/虚线判断模块1663当在车道线上连接前景长度等于或者大于预设阈值，例 如200或者更多个像素时判断车道线是实线，并且当它小于阈值时判断车道线是虚线。图17是示出图14和图16所示车道识别装置12的更加详细的行为的流程图。 如上所述，步骤S2201-2208与图3所示的根据本发明第一示例性实施例的流程图的步骤 S2001-2008相同。因此，省略了其详细解释。此外，相同的引用标号被应用于与图15的流程图所示的那些相同的行为。如在本 发明的第一和第二示例性实施例的情形中，当图15所示的行为在图17中被划分成多个步 骤时，副标号被进一步添加到图15的引用标号上。合成鸟瞰图像二值化模块1661 二值化在至步骤S2208的步骤中获取的合成鸟瞰 图像，以将每一个像素分类成前景和背景(步骤S2209a)。随后，车道线上连接前景长度计 算模块1662计算在左和右车道线上的前景的连通集中的最大像素数，来作为车道线上连 接前景长度(步骤S2209b)。此外，实线/虚线判断模块1663比较在车道线上连接前景长度与预设阈值，并且 当在车道线上连接前景长度等于或者大于预设阈值时判断车道线是实线，而当它小于阈值 时判断车道线是虚线(步骤S2209C)。最后，车道线位置输出模块160输出所估计的车道线 位置和所判定的车道线类型(步骤S2210)。图14所示的车道识别装置12是通过将车道线类型判断模块1460添加到根据本 发明第一示例性实施例的车道识别装置10而形成的。类似地，车道线类型判断模块1460 也能够被添加到图10所示的根据本发明第二示例性实施例的车道识别装置11。虽然已经通过参考在图中所示的具体实施例描述了本发明，但是本发明不仅限于 在图中所示的那些实施例。应该理解，能够采用任何已知的结构，只要能够由此实现本发明 的效果。该申请要求基于在2008年1月11日提交的日本专利申请No. 2008-004275的优 先权，并且通过引用，将其全部公开内容合并于此。工业适用性本发明能够被应用于例如根据图像估计车道线位置和判断车道线类型的用途上。


图1是示出根据本发明第一示例性实施例的车道识别装置的基础结构的框图；图2是示出由图1所示的合成鸟瞰图像创建模块所执行的、合成鸟瞰图像的创建 的概念示意图；图3是示意由图1所示的车道识别装置执行的处理的概况的流程图；图4是示出当创建图2所示合成鸟瞰图像时在原始图像中包含的噪声的一个示例 的概念示意图；图5是示出其中图1所示车道识别装置被实际地装载到车辆的示例的概念示意 图；图6是示出图1所示的候选车道线检测模块、合成鸟瞰图像创建模块、候选车道线 验证模块、车道线位置估计模块、和车道线位置输出模块的更加详细的结构的框图；图7是用于描述由图6所示的原始图像到鸟瞰图像转换模块执行的、原始图像到
17鸟瞰图像转换原理的图像图表；图8是示出由图6所示的合成鸟瞰图像内车道线位置计算模块执行的、候选车道 线位置的计算的概念示意图；图9是示出图1和图6所示的车道识别装置的更加详细的行为的流程图；图10是示出根据本发明第二示例性实施例的车道识别装置的基础结构的框图；图11是示意由图10所示的车道识别装置执行的处理的概况的流程图；图12是示出图10所示的合成鸟瞰图像创建模块、候选车道线检测模块、和车道线 位置估计模块的更加详细的结构的框图；图13是示出图10和图12所示的车道识别装置的更加详细的行为的流程图；图14是示出根据本发明第三示例性实施例的车道识别装置的基础结构的框图；图15是示意由图14所示的车道识别装置12执行的处理的概况的流程图；图16是示出图14所示的车道线类型判断模块的更加详细的结构的框图；图17是示出图14和图16所示的车道识别装置的更加详细的行为的流程图；图18是示出在专利文献1中描绘的、广泛使用的车道识别装置的结构的一个示例 的概念示意图；以及图19是示出图18所示车道识别装置的行为的概念示意图。引用标号10，11，12车道识别装置100，1000，1400 控制单元110图像输入装置120，1420候选车道线检测模块130，1340合成鸟瞰图像创建模块140，1440候选车道线验证模块150，1450车道线位置估计模块160车道线位置输出模块621原始图像二值化模块622Hough 转换模块631像素移位模块632原始图像到鸟瞰图像转换模块633前区域添加模块641车道线位置转换模块642合成鸟瞰图像内车道线位置计算模块643车道线上像素验证模块651左右候选车道线选择模块652左右车道线位置估计模块1020鸟瞰图像创建模块1030合成鸟瞰图像创建模块1040第二合成鸟瞰图像创建模块1050候选车道线检测模块
18
1060车道线位置估计模块1231像素移位模块1232原始图像到鸟瞰图像转换模块1233前区域添加模块1251第二合成鸟瞰图像二值化模块1251Hough 转换模块1261左右候选车道线选择模块1262左右车道线位置估计模块1460车道线类型判断模块1661合成鸟瞰图像二值化模块1662车道线上连接前景长度计算模块1663实线/虚线判断模块
19
权利要求
一种基于图像来识别车道的车道识别系统，包括合成鸟瞰图像创建模块，所述合成鸟瞰图像创建模块通过连接通过将在多个不同的时间拍摄的原始图像的对应局部区域转换成鸟瞰图像而获得的多个鸟瞰图像，创建合成鸟瞰图像；候选车道线提取模块，所述候选车道线提取模块通过使用所述原始图像或者由所述原始图像创建的所述鸟瞰图像以及所述合成鸟瞰图像的信息来检测候选车道线；以及车道线位置估计模块，所述车道线位置估计模块基于所述候选车道线的信息来估计车道线位置。
2.根据权利要求1的车道识别系统，其中，所述车道线提取模块包括候选车道线检测模块，所述候选车道线检测模块从所述原始图像、由所述原始图像创 建的所述鸟瞰图像、或者所述合成鸟瞰图像检测所述候选车道线；以及车道线验证模块，所述车道线验证模块通过使用所述合成鸟瞰图像、所述原始图像、或 者由所述原始图像创建的所述鸟瞰图像的信息来验证所检测到的候选车道线是否适合用 于车道线。
3.根据权利要求1所述的车道识别系统，其中，所述候选车道线提取模块包括第二合成鸟瞰图像创建模块，所述第二合成鸟瞰图像创建模块从所述原始图像或者由 所述原始图像创建的所述鸟瞰图像、以及所述合成鸟瞰图像创建第二合成鸟瞰图像，所述 第二合成鸟瞰图像的在相同位置处的像素的像素值是基于在所述两个图像的相同位置处 的像素的像素值或者其周围的像素的像素值计算的数值；以及候选车道线检测模块，所述候选车道线检测模块从所述第二合成鸟瞰图像检测所述候 选车道线。
4.根据权利要求1、2或者3所述的车道识别系统，进一步包括车道线判断模块，所述车道线判断模块从所述原始图像、由所述原始图像创建的所述 鸟瞰图像、所述合成鸟瞰图像、或者所述第二合成鸟瞰图像的信息来判断所述车道线的车 道线类型。
5.根据权利要求1、2或者4所述的车道识别系统，其中所述车道线验证模块基于在所述合成鸟瞰图像内的所述候选车道线上的白色或者黄 色涂料部分的布局来验证作为车道线的适合性。
6.根据权利要求5所述的车道识别系统，其中在所述合成鸟瞰图像内的所述候选车道线上存在白色或者黄色涂料部分的、多于特定 数目的像素的情形下，所述车道线检测模块决定其适合用于车道线。
7.根据权利要求1、3或者4所述的车道识别系统，其中所述第二合成鸟瞰图像创建模块对于在所述第二合成鸟瞰图像中的每一个像素的像 素值，在从所述原始图像创建的所述鸟瞰图像和所述合成鸟瞰图像的对应的像素中选择具 有较低内部亮度的像素值。
8.根据权利要求1、2、3、4、5、6或者7所述的车道识别系统，所述车道识别系统涉及从 在持有车的后部上装载的照相机的图像执行车道识别。
9.一种基于图像来识别车道的车道识别方法，包括通过连接通过将在多个不同的时间拍摄的原始图像的对应局部区域转换成鸟瞰图像2而获得的多个鸟瞰图像，创建合成鸟瞰图像；通过使用所述原始图像或者由所述原始图像创建的所述鸟瞰图像以及所述合成鸟瞰 图像的信息来检测候选车道线；以及基于所述候选车道线的信息估计车道线位置。
10.根据权利要求9所述的车道识别方法，包括当检测所述候选车道线时，从所述原始图像、由所述原始图像创建的所述鸟瞰图像、或 者所述合成鸟瞰图像来检测候选车道线；以及通过使用所述合成鸟瞰图像、所述原始图像、或者由所述原始图像创建的所述鸟瞰图 像的信息来验证所检测到的候选车道线是否适合用于车道线。
11.根据权利要求9所述的车道识别方法，包括当检测所述候选车道线时，从所述原始图像或者由所述原始图像创建的所述鸟瞰图像 以及所述合成鸟瞰图像创建第二合成鸟瞰图像，所述第二合成鸟瞰图像的在相同位置处的 像素的像素值是基于在所述两个图像的相同位置处的像素的像素值或者其周围的像素的 像素值计算的数值；以及从所述第二合成鸟瞰图像检测所述候选车道线。
12.根据权利要求9、10或者11所述的车道识别方法，进一步包括从所述原始图像、由所述原始图像创建的所述鸟瞰图像、所述合成鸟瞰图像、或者所述 第二合成鸟瞰图像的信息来判断所述车道线的车道线类型。
13.根据权利要求9、10或者12所述的车道识别方法，包括当检测所述候选车道线时，基于在所述合成鸟瞰图像内的所述候选车道线上的白色或 者黄色涂料部分的布局，验证作为车道线的适合性。
14.根据权利要求13所述的车道识别方法，包括当检测所述候选车道线时，在其中在所述合成鸟瞰图像内的所述候选车道线上存在白 色或者黄色涂料部分的、多于特定数目的像素的情形下，决定其是适合的。
15.根据权利要求9、11或者12所述的车道识别方法，包括当创建所述第二合成鸟瞰图像时，对于在所述第二合成鸟瞰图像中的每一个像素的像 素值，在从所述原始图像创建的所述鸟瞰图像和所述合成鸟瞰图像的相应的像素中选择具 有较低内部亮度的像素值。
16.根据权利要求9、10、11、12、13、14或者15所述的车道识别方法，所述车道识别方法 涉及从在持有车的后部上装载的照相机的图像执行车道识别。
17.一种用于基于图像控制车道识别的车道识别程序，所述车道识别程序使得计算机 执行合成鸟瞰图像创建处理，所述合成鸟瞰图像创建处理通过连接通过将在多个不同的时 间拍摄的原始图像的对应局部区域转换成鸟瞰图像而获得的多个鸟瞰图像，创建合成鸟瞰 图像；候选车道线提取处理，所述候选车道线提取处理通过使用所述原始图像或者由所述原 始图像创建的所述鸟瞰图像以及所述合成鸟瞰图像的信息来检测候选车道线；以及车道线位置估计处理，所述车道线位置估计处理基于所述候选车道线的信息来估计车 道线位置。
18.根据权利要求17的车道识别程序，所述车道识别程序作为所述候选车道线提取处 理使得所述计算机执行候选车道线检测处理，所述候选车道线检测处理从所述原始图像、由所述原始图像创 建的所述鸟瞰图像、或者所述合成鸟瞰图像检测候选车道线；以及车道线验证处理，所述车道线验证处理通过使用所述合成鸟瞰图像、所述原始图像、或 者由所述原始图像创建的所述鸟瞰图像的信息来验证所检测到的候选车道线是否适合用 于车道线。
19.根据权利要求17所述的车道识别程序，所述车道识别程序作为所述候选车道线提 取处理使得所述计算机执行第二合成鸟瞰图像创建处理，所述第二合成鸟瞰图像创建处理从所述原始图像或者由 所述原始图像创建的所述鸟瞰图像以及所述合成鸟瞰图像创建第二合成鸟瞰图像，所述第 二合成鸟瞰图像的在相同位置处的像素的像素值是基于在所述两个图像的相同位置处的 像素或者其周围的像素的像素值而计算的数值；和第二候选车道线检测处理，所述第二候选车道线检测处理从所述第二合成鸟瞰图像检 测所述候选车道线。
20.根据权利要求17、18或者19所述的车道识别程序，所述车道识别程序使得所述计 算机进一步执行从所述原始图像、由所述原始图像创建的所述鸟瞰图像、所述合成鸟瞰图像、或者所述 第二合成鸟瞰图像的信息来判断所述车道线的车道线类型的处理。
21.根据权利要求17、18或者20所述的车道识别程序，所述车道识别程序使得所述计 算机执行作为所述车道线验证处理，基于在所述合成鸟瞰图像内的所述候选车道线上的白色或 者黄色涂料部分的布局来验证作为车道线的适合性的处理。
22.根据权利要求21所述的车道识别程序，所述车道识别程序使得所述计算机执行作为所述车道线验证处理，在其中在所述合成鸟瞰图像内的所述候选车道线上存在白色或者黄色涂料部分的、多于特定数目的像素的情形下决定其适合用于车道线的处理。
23.根据权利要求17、19或者20所述的车道识别程序，所述车道识别程序使得所述计 算机执行作为所述第二合成鸟瞰图像创建处理，对于在所述第二合成鸟瞰图像中的每一个像素 的像素值在从所述原始图像创建的所述鸟瞰图像和所述合成鸟瞰图像的相应的像素中选 择具有较低内部亮度的像素值的处理。全文摘要
提供了一种车道识别系统，其能够通过抑制很可能分别在原始图像和鸟瞰图像中产生的噪声来改进车道识别准确度。该车道识别系统基于图像识别车道。该系统包括合成鸟瞰图像创建模块，该合成鸟瞰图像创建模块通过连接通过将在多个不同的时间拍摄的原始图像的对应局部区域转换成鸟瞰图像而获得的多个鸟瞰图像，创建合成鸟瞰图像；候选车道线提取模块，该候选车道线提取模块通过使用原始图像或者由原始图像创建的鸟瞰图像以及合成鸟瞰图像的信息来检测候选车道线；以及车道线位置估计模块，该车道线位置估计模块基于候选车道线的信息估计车道线位置。
文档编号G06T7/60GK101911122SQ20098010202
公开日2010年12月8日 申请日期2009年1月8日 优先权日2008年1月11日
发明者樱井和之 申请人:日本电气株式会社