采用基于分割方法的畅通路径检测的制作方法

专利名称：采用基于分割方法的畅通路径检测的制作方法
技术领域：
本发明涉及机动车辆的自动或半自动控制。
背景技术：
本部分的陈述仅仅提供与本发明相关的背景信息，可能不构成现有技术。自主驾驶系统和半自主驾驶系统利用与路况和其它驾驶情况相关的输入来自动 控制节气门和转向机构。精确地估计并识别机动车辆所能行驶的畅通路径，对于成功取代 以人脑作为控制机构的车辆操作来说是至关重要的。路况可能会很复杂。在车辆正常操作的情况下，驾驶员每分钟进行数百次观察并 根据所感知的路况来调整车辆操作。感知路况的一个方面是感知车道上和周边的物体并在 物体中间导航出畅通路径。用科技来取代人类的感知首先包括精确感知物体的手段；还包 括继而在这些物体周围有效地进行导航。感知物体或路况的科技手段包括从视频摄像机、雷达成像、激光雷达、车辆之间的 通信、车辆与基础设施之间的通信所得到的数据以及使用由数字地图得到的全球定位数 据。摄像机将辐射形式的视觉图像-如光图案或红外特征转换成可读数据格式。一种这类 数据格式包括像素图像，在像素图像中，感知到的场景被分割成一系列像素。雷达成像利用 发射器产生的无线电波来估计出现在发射器前方的形状和物体。由这些形状和物体反射回 来的电波图案能够被分析，从而估计物体的位置。有关车辆前方地面的数据一旦产生，这些数据必须经过分析以便从数据中估计出 物体的存在。通过使用摄像机和雷达成像系统，可以分析车辆前方的地面或道路，从而得到 可能需要避开的物体的存在。然而，仅仅识别那些需要避免的潜在物体并没有完成分析过 程。任何自主系统的一个重要元素都包括如何处理并操纵在所感知的地面数据中识别出的 潜在物体以便识别操作车辆的畅通路径。一种已知的识别操作车辆的畅通路径的方法是将所有感知到的物体进行分类并 临时性地识别所有感知到的导航因素，并且根据所识别的物体的位置和特性来识别畅通路 径。可根据图像的形式以及图像与道路的关系来处理这些图像，从而识别并分类物体。尽 管在识别畅通路径时该方法是有效的，但是其需要大量的处理能力，例如，在视觉图像中辨 别不同的物体并对其进行分类，比如区分路边的树以及走向路缘的行人。这些方法在处理 复杂情况时的速度慢或者有效性差，或者需要笨重且昂贵的设备来提供必须的处理能力。

发明内容
一种通过分割由位于车辆上的摄像机装置产生的图像来检测车辆行驶的畅通路 径的方法，该方法包括监测图像、通过多种分析方法分析图像以便从能代表行驶畅通路径 的图像区域中分割出不能代表行驶畅通路径的图像区域、基于上述分析定义畅通路径、以 及利用行驶畅通路径对车辆进行导航。


现在将参考附图通过示例来描述一个或多个实施方式，附图中图1示出了配备有根据本发明的摄像机和雷达成像系统的车辆的示例性设置；图2示出了根据本发明的一种在自主行驶中确定畅通路径的已知方法；图3示出了根据本发明的一种使用图像几率分析来确定畅通路径的示例性方法；图4示出了根据本发明的一种分析图像的示例性方法；图5示出了根据本发明的一种通过调整单个阈值来确定分类误差的示例性方法；图6A、6B和6C示出了根据本发明的一种通过计算绝对图像强度差别来确定图像 差别的示例性方法；图7示出了根据本发明的、将一个特征同时分类为畅通路径的一部分和被检测物 体的、作为图像分析方法的一种示例性方法；图8示出了根据本发明的、将一个特征同时分类为畅通路径的一部分和被检测物 体的、作为图像分析方法的另一种示例性方法；图9示出了根据本发明的通过几率分析来分析图像的一个示例性过程；图10示出了根据本发明的用于检测畅通路径的第一处理方案；图11示出了根据本发明的一个示例性当前图像，该当前图像包含在当前图像上 识别出的一组示例性的关切点；图12示出了根据本发明的在图11所示图像之后捕获的示例性当前图像；图13A和13B示出了根据本发明的示例性的匹配点对，该匹配点对包括当前图像 中的关切点和与其对应的先前图像中的关切点，并且示例性的像素区域环绕这些点；图13A示出了当前图像中的关切点和环绕该关切点的像素区域；图13B示出了先前图像中的关切点和环绕该关切点的像素区域；图14以绘图形式示出了根据本发明的、使用示例性当前图像、示例性先前图像、 以及宿主车辆的操作来确定观察到的特征的位置；图15以绘图形式示出了根据本发明的一个示例性的上方地图，其描述了在宿主 车辆前方的X和y坐标内关切点的垂直位置；图16示出了根据本发明的用于检测畅通路径的第二处理方案；图17示出了根据本发明的基于像素颜色强度的一个示例性的滤波图像；图18示出了根据本发明的采用边缘识别方法的一个示例性的滤波图像；图19示出了根据本发明的用于第二处理方案的可替换的示例性过程；图20示意性地示出了根据本发明的示例性的基于分割的畅通路径方法的操作；图21和22以绘图形式示出了根据本发明的一个示例性的基于分割的分析，该分 析可以在驾驶场景执行；
图21示出了被分割为七个不同区段的驾驶场景；图22示出了从图像中除去所有被识别为不包含畅通路径的区段并且识别图像中 作为潜在畅通路径的剩余部分。
具体实施例方式现在参考附图，附图的目的仅在于示出某些示例性实施方式，而并非用于限制本 发明，图1示出了根据本发明的摄像机110的示例性设置，摄像机110定位在车辆100前部 并指向车辆100前方的地面。摄像机110与处理模块120进行通讯，处理模块120包含处 理来自摄像机Iio的输入的逻辑算法。车辆100也可以配备雷达成像系统130，当配备雷达 成像系统130时该系统同样也与处理模块120进行通信。本领域技术人员应该理解的是， 车辆100能够利用多种方法来识别路面状况，这些方法可与摄像机110和雷达成像系统130 同时使用或者选择使用，包括GPS信息、来自与车辆100通信的其他车辆的信息、特定道路 的历史数据、生物检测信息-例如读取驾驶员视觉焦点的系统信息、雷达成像系统或者其 他类似系统。本发明可应用于各种设备，因此不局限于此。摄像机110是本领域公知的，其能够将光辐射、红外辐射或其他电磁(EM)辐射形 式的视觉输入转换成易于分析的数据格式，例如数字图像、像素图像。在一个实施方式中， 摄像机110使用电荷耦合装置(CCD)传感器来产生表示视场的图像。优选地，摄像机110被 配置成连续产生图像，例如，每秒钟产生30幅图像。由摄像机110产生的图像可以存储在摄 像机110内的存储器中或者传给处理模块120来存储和/或分析。优选地，摄像机110所 产生的每幅图像都是由多个可识别像素构成的、已知像素维度的二维图像。多个可识别像 素能够以阵列方式来存储和分析。每个像素可以在阵列中表示为一组比特(bit)或多组比 特，其中，比特对应于预定调色板或色彩图中的颜色。例如在红-绿-蓝(RGB)颜色模式或 青-品红-黄-黑(CMYK)颜色模式中，每个像素能够表示成多个颜色强度值的函数。优选 地，每个像素包括多组比特，其中每组比特对应于一个颜色强度和一个颜色强度值，例如， 在RGB颜色模式中，第一组比特对应于红色强度值，第二组比特对应于绿色强度值，第三组 比特对应于蓝色强度值。雷达成像装置130是本领域公知的装置，其包含如下设备发射器，其能够发射无 线电波或其他电磁辐射；接收器，其能够感测被发射器前的物体反射而回到接收器的发射 波；以及将感测到的波转换成能够分析的数据格式的装置，这些数据表示出从物体反射回 的波的范围和角度等信息。替代性地，可使用光检测和测距(LIDAR)系统来取代雷达成像 装置130或者作为其补充，光检测和测距系统被构造成发射并接收光能量。接收到的光能 量可以用来确定车辆100附近的物体的尺寸和/或几何参数。需注意的是，对于执行这里 公开的很多方法而言，雷达成像装置130是可选的而不是必须的，其中，处理视觉图像能够 实现畅通路径检测。图1示出了处理模块120，这里将处理模块120描述成一个分立元件。这种图示 是为了描述方便，应该认识到这个元件所实现的功能可以由一个或多个装置组合完成，例 如在软件、硬件和/或专用集成电路中执行。处理模块120可以是一个通用数字计算机，其 包括微处理器或中央处理单元；由包括只读存储器的非易失性存储器和电子可编程只读 存储器组成的存储介质；随机存取存储器；高速时钟；模_数和数_模转换电路；输入/输出电路和装置以及适当的信号调节和缓冲电路。可替换地，处理模块120可以是一个数字 信号处理(DSP)单元，例如现场可编程门阵列的定制集成电路。处理模块120具有一组处 理算法，这些算法包括在非易失性存储器中存储并且被执行以提供所需功能的常驻程序指 令和校准值。算法优选在预设环路循环中执行。算法由中央处理单元执行，并能够监测来 自上述检测装置的输入，并且这些算法通过使用预设的校准值来执行控制和诊断程序以便 控制致动器的操作。环路循环可以规则性间隔执行，例如，在发动机运行和车辆操作中，每 3. 125,6. 25、12. 5、25和100毫秒执行一次。可替换地，算法可以响应于事件的发生来执行。处理模块120处理在其中存储的算法代码，以便监测相关仪器，如摄像机110、雷达 成像系统130，并执行在处理模块内进行的分析所指示的命令或数据传输。处理模块120可包 括算法和机构来实现自主驾驶控制，其实现方式在本领域中是已知的，在此不再详述；或者， 处理模块120可以仅仅为一个独立的自主驾驶系统提供信息。处理模块120适于在必要的时 候接收来自其他系统和操作者的输入信号，这取决于与控制模块结合使用的具体实施方式
。图2示出了根据本发明的一种在自主行驶中确定畅通路径的已知方法。对应于车 辆100前方的道路产生图像10。通过多种方法中的一种，物体40A、40B和40C在图像10内 被识别，且每个物体根据过滤和训练的物体特性来进行分类。每个物体的单独处理在计算 量方面的强度较大，需要昂贵且笨重的仪器才能承受这种计算负荷。一种算法处理所有与 道路和物体40有关的可用信息，以便估计对车辆100来说可行的畅通路径。畅通路径的确 定取决于被识别物体40的特定分类和特性。图3示出了根据本发明的一种为自主或半自主行驶确定畅通路径的示例性方法。 图像10示出为包括地面20、水平线30以及物体40。图像10由摄像机110收集，并表示车 辆100前方的道路环境。地面20代表了在不基于可能存在的物体进行区分的情况下可供车 辆行驶的所有路径。图3所示的基于路面20确定畅通路径的方法首先假设所有地面20都 是畅通的，然后利用可用数据来确定地面20的某些部分是不畅通的。图2是将每个物体40 进行分类，与图2的方法不同，图3的方法分析地面20，并从可用数据中限定出一个几率，其 中，可用数据指的是因为一些异常而限制通行或不畅通的那部分地面20的数据，这些异常 是可检测的且可能代表物体40。关注地面20而不是物体40就避免了检测物体所带来的复 杂的计算任务。单独分类和对每个物体进行追踪就不是必须的了，因为独立的物体40都被 简单地统一为地面20上的整体均勻阻碍的一部分。上述地面20-也即在不进行区分的情况 下都能够行驶的路径减去地面20上被发现不畅通的不畅通区域，就可定义出畅通路径50， 也即图3中虚线内的区域，或者具有允许车辆100行驶的某个阈值几率的区域。在地面20上产生不畅通限制的物体40有多种形式。例如，物体40可以代表一个 独立的物体，如停着的汽车、行人或者道路障碍；物体40还可以代表不太明显的表面图案 变化，这些变化指示诸如路侧缘的路边缘、草的轮廓线或者道路上的水。物体40还可以包 括与地面20相联系的平坦路面的缺失，例如，路面上的大坑。物体40还可以包括相对于路 面在高度上没有任何明显变化的指示牌，但对于该路段来说是明显的畅通路径提示，例如 道路上的指示车道标记的图案。这里公开的方法并没有试图去识别物体40，而是通过仅仅 提取地面20上的视觉线索以及所有在图像10中的地面附近的物体，从而评估不畅通路径 和畅通路径的几率，并在任何物体40存在时调整车辆100的控制。二维(2D)图像的自动分析有多种可行的方法。由处理模块120内的算法对图像10进行分析。图4示出了根据本发明的一种可用于分析图像10的示例性方法。该方法将 图像10细分，识别地面20上的子图像或补片60来进行分析，从补片60中提取特征或分析 可用的视觉信息，以识别出其中的任何关切特征(interesting features)或区别特征，并 依据对特征的分析、根据畅通路径的几率来对补片进行分类。大于特定几率阈值的补片被 归类为畅通的，对这类补片的汇编能够用来构成图像内的畅通路径。作为图像10的子图像，补片60能够通过多种已知方法来识别，例如，图像10的随 机搜索或密集搜索。可替换地，从其他信息源_例如雷达成像系统130得到的有关物体40 存在的信息能够用来识别补片，以分析能够描述物体40的那部分图像10。图像10需要很 多补片60来分析整个图像。另外，多个叠层补片或不同大小的补片能够用来全面分析包含 关切信息的图像10的区域。例如，一个小的补片60能够用来分析路上的一个小点；然而， 一个大的补片60需要用来分析一系列的点，这些点独自看来都不是关切点，但是对于整个 系列来说，其能够指示出关切物体40。另外，应用到某特定区域的补片的分辨率可以基于可 用信息进行调制，例如，可应用更多的补片到图像10中的物体40可能存在的区域。多种手 段或策略可以用来确定用于分析的补片60，本发明不限于这里所述的具体实施方式
。—旦补片60已被识别而用于分析，处理模块120就通过应用滤波器从补片中提取 特征而对该补片进行处理。此外，处理模块120可以对补片位置执行相对于车辆位置的分 析。所使用的滤波器可以采用多种形式。用于提取特征的滤波算法经常搜索可用的视觉信 息，以便找到与物体相关的图像中的特征性图案，这些图案通过线的方向、线的位置、颜色、 角落特点、其他视觉属性和学习属性来定义的特征。学习属性可通过车辆内的机器学习算 法来学得，但学习属性通常进行离线编程，且能够通过足以精确地训练区别属性的建模或 其他技术以实验方式、经验方式、预测方式来得出。一旦补片60中的特征被提取，补片就基于特征被分类以确定路径是畅通路径的 几率。几率分析在本领域是已知的，在这种分析中存在某特定条件的几率值或信心被导出。 应用到本发明中，分类包括几率分析以确定补片是否代表畅通路径、或者该补片中的地面 20是否被物体40所限制。在一个示例性实施方式中，分类通过应用分类器或算法来实施， 其中，所述算法因被训练而含有数据库，该数据库包括示例性路况以及与被检测物体的相 互作用。这些分类器允许处理模块120导出补片60的分数型式的畅通路径几率值，该几率 值将信心值量化在0与1之间，在该区间中，在补片内识别出的特征并不代表一个将会限制 车辆100自由行驶的限制物体40。阈值信心限定确定该补片是畅通路径的畅通路径几率， 例如可通过如下逻辑来设定阈值信心信心=畅通路径几率(i)如果_信心>0.5，那么_ 补片=畅通路径 (1)在这个特定的示例性实施方式中，50%或者0. 5的信心被选定为 阈值信心。该数字能够通过足以精确评估用于畅通路径特征的补片的建模或其他技术而实 验方式、经验方式、预测方式来得出。W001]0048在一个示例性实施方式中，如上所述的 几率分析能够通过将训练过的分类器应用到从补片提取的特征来实现。一种方法通过使用 一组训练图像来分析假定的特征。在该训练阶段，从一个原始特征组中来选择区别特征，区 别特征由本领域的已知方法定义，例如Harr小波、Gabor小波以及Leung和Malik滤波器 组。另外，基于每个特征的最小分类误差并且计算为错误接受率(FAR)和错误拒绝率(FRR) 的总和的二维图像位置信息能够通过调制图5所示的单一阈值而被使用。这种分类误差能 用下面的表达式来描述分类误差(i) = FARJFRRi (2)从训练过的分类器中得到的信息用来分类或加权特征，作为指示畅通路径或不畅通路径的特征。该特定分类取决于与训 练数据的比较强度。如果该特征是补片内的唯一特征，那么该特征的分类能够直接应用到 该补片。有多个识别特征的补片的分类可能有多种形式，包括由最能代表补片是不畅通的 包含特征来定义补片，或者由所有包含特征的加权和来定义补片。上述方法能够用来检查单一图像10，并基于图像10内所包含的视觉信息来估计 畅通路径50。该方法可以随着车辆沿道路行驶而以某种间隔重复，从而考虑新的信息并将 确定的畅通路径扩展至车辆的新位置前方的某些范围。间隔的选择必须能够以足量频率来 更新图像10，以便准确地为车辆100提供行驶的畅通路径。然而，该间隔也可以选择为足以 控制车辆同时不会对处理模块120施加过度的计算负荷的某个最小值。如上所述，畅通路径检测能够通过单一图像10来完成。但是，补充使用与原始图 像的时间间隔非常近的第二幅图像，例如从连续视频补片得到的一系列图像，则能够提高 处理速度和精确度。第二幅图像能够与第一幅图像直接比较，并提供有关车辆行进和被检 测物体运动的最新信息。同时，摄像机110视角的改变允许对第一幅图像中的特征进行不 同的分析在第一幅图像中没有清晰地显现的或者不清楚的特征可能在不同的摄像角度中 出现、更加清楚，或者与第一幅图像相比已经移动的特征，也能够使得分类算法有额外的机 会来定义该特征。处理与原始图像10相关的第二幅图像能通过计算图像差异来进行。如果关切点 的图像差异-例如由雷达识别出的特征不是0，那么该点能够被识别为体现新的信息。图像 差别为0的点能够从分析中排除，且计算资源能够保留。确定图像差异的方法包括绝对图 像强度差异和车辆运动补偿的图像差异。通过计算绝对图像强度差异而确定图像差异能够用来收集两幅图像之间的信息。 一种绝对图像强度差异方法包括如下步骤确定原始图像与第二幅图像之间的等效图像特 征，以便补偿图像之间的车辆运动；重叠图像；并标注出图像强度之间的任何的显著变化。 表示图像强度在某个特定区域的变化的图像之间的比较包含新的信息。强度上显示出无变 化的区域或补片在分析中不再被强调，而在强度上显示出明显变化的区域被重点关注，使 用上述方法来分析任一或两个所获取的图像上的补片。图6A、6B和6C示出根据本发明的一种通过计算绝对图像强度差异来确定图像差 异的示例性方法。图6A示出了原始图像。图6B示出了比原始图像有所变化的第二幅图像。 特别是圆圈向左移动了。图6C示出了两幅图像的比较，所得结论代表了绝对图像强度差异 比较的结果，从第一幅图像到第二幅图像识别出一个区域的亮度变深、另一个区域的亮度 变浅。这种方法能够描述为区别。这种比较分析产生某种信息，该信息表明由运动或视角 变化引起的某种变化可能存在于图像区域中。这样，绝对图像强度差异能够用来分析一对 连续图像以识别潜在的不畅通路径。同样，通过计算车辆运动补偿的图像差异来确定图像差异能够用来收集两幅图像 之间的信息。计算车辆补偿的图像差异的很多方法是已知的。一种计算车辆补偿的图像差 异的示例性方法包括分析一个潜在物体，将其同时作为畅通路径的静态部分以及被检测物 体。对特征实施几率分析，其中，该特征是根据同时对两种分类的潜在物体进行识别所得到 的，分类可以被比较，例如可通过以下逻辑进行这种比较信心⑴=畅通路径几率⑴-被 检测物体几率(i)如果_信心> 0，那么_补片=畅通路径 (3)在这种示例性的比较中，如果信心(i)大于0，那么包含该特征的补片被分类为畅通路径。如果信心(i)等于或 小于0，那么包含该特征的补片被分类为不畅通路径或受限制路径。然而，可以选择不同的 信心水平数值来将路径分类为畅通路径。例如，测试可能会表明错误正值比错误负值更有 可能出现，因此可能会引入一些因数或偏差。图7示出了根据本发明的一种将特征进行分类的方法，如上所述，该特征同时作 为畅通路径的一部分和被检测物体被分类。图像10包括物体40、梯形投影70和矩形投影 80。这种方法假定投影物体40作为地面上投影70内的平面物体，以测试作为畅通路径的一 部分的特征的分类。该方法还假设投影物体40作为一个在矩形投影80内的垂直物体，来测 试特征作为被检测物体的分类。图8示出了根据本发明对在两幅图像之间收集的数据进行 比较以评价本发明的物体40的属性的方法。摄像机110在、时刻发现并以第一幅图像的 形式获取了来自物体40的数据。如果物体40是一个实际检测到的物体，那么在、时刻摄 像机110观测到的物体40的轮廓将与点90A相对应。如果物体40是一个与地面20在同一 平面上的平坦物体，那么摄像机110在、时刻观测到的物体40的轮廓将与点90B相对应。 在时刻、和t2之间，摄像机110行驶了一定的距离。在t2时刻获取第二幅图像，关于物体 40的信息能用算法来进行测试，该算法着眼于第二幅图像相对于第一幅图像的可见属性。 如果物体40是一个实际检测到的物体，且从地面20向上延伸，那么在时刻t2物体40的轮 廓将在点90C处被观察到。如果物体40是一个与地面20在同一平面上的平坦物体，那么 物体40在时刻t2的轮廓将在点90B处被观察到。通过车辆运动补偿的图像差异所得到的 比较能够通过使用基于对点90进行观察的分类器直接设定一个信心值；或者，该比较可以 简单地指向显示变化的区域，作为关切点。对被作为平坦物体和实际检测到的物体分类的 物体进行的测试使得要么能够识别包含物体40的区域以便通过如上所述的补片分析进行 进一步分析；要么能够直接得出畅通路径几率和被检测物体几率值以便例如在上述逻辑表 达式3中进行比较。从对第二幅图像的分析所得到的可用信息能够通过结合与车辆运动有关的信息 而被额外改善，所述信息例如是速度和偏航率。与车辆运动有关的信息可以有很多来源，包 括车辆测速仪、车辆动力传感器或车轮速度传感器、防抱死制动机构和GPS定位系统。可在 算法中利用这种车辆运动信息，例如结合图7和图8所示的投影，以便基于从第一幅图像得 到的数据和车辆在两幅图像之间的测得运动来投影某些角度，所述角度应当出现在第二幅 图像的地面上的平坦特征中。比较所用的图像数量不一定限制为两个。多个图像分析可在多重迭代中实现，物 体在多个循环中被追踪和比较。如上所述，计算效率能够通过图像差异分析而得以提高，其 中，图像差异分析识别关切点并剔除与后续分析具有0差异的区域。这种效率能够用在多 重迭代中，例如，也就是说只有在第一幅图像和第二幅图像之间识别出的关切点在第三和 第四幅图像中被分析。有时候，一组新图像需要被比较，以保证显示0差异的区域均没有任 何变化，例如，一个移动物体撞击到之前识别出的畅通路径上。图像差异分析和聚焦分析的 使用剔除了识别出零变化的区域，图像差异分析和聚焦分析的使用对于不同的应用和不同 的操作条件而言是不同的，这些操作条件例如是车辆速度或所观察到的操作环境。图像差 异分析和聚焦分析的特定应用可能有多种不同的实施方式，本发明不局限于此处提及的具 体实施方式。
图9示出了根据本发明的一个示例性过程200，其中分析来自摄像机的输入以确 定畅通路径的几率。摄像机的输入以图像形式在步骤202中生成。在步骤204中，从图像 中选取补片用于分析。步骤206示出了用于处理补片的一个滤波器或一组滤波器。在步骤 208中，对所选取的补片应用来自步骤206的滤波器和其它算法以便进行特征提取。应该理 解，某些特征具有意义而另一些特征则没有意义，并且选择特征的过程可以用于确定用于 分析的一组最佳特征。步骤210包括分类器训练过程。如上文提到的，用于得出几率值的 分类器或逻辑最初是离线训练的。训练可以基于模糊逻辑、神经网络或其它本领域已知的 学习机构在车辆中选择性地继续进行。这些经过训练的分类器被用于步骤212中从而在通 过步骤208提取的特征上执行几率分析，并且得出补片的几率值。这种几率值表示被选取 的补片是畅通的信心。在步骤214中，比较在步骤212中获得的几率值与阈值。如果几率 值大于该阈值，那么在步骤218中该补片被确定为畅通路径。如果几率值不大于该阈值，那 么该补片被确定为非畅通路径。如上所述，通过选择和分析不同的补片来对相同的图像进 行反复分析，过程200可以多种方式被重复或迭代，并且可以追踪一个被识别的补片并分 析其在多个连续图像间的变化。如上所述，处理模块120可包括通过此处未描述但本领域已知的方法来实现自主 驾驶控制的算法和机构，或者处理模块120可仅仅为独立的自主驾驶系统提供信息。对观 察到的物体的反应也可有所不同，包括但不局限于转向变化、节气门变化、刹车响应、警告 和将车辆控制交给操作者。上述对补片进行分析的方法是为车辆建立一个行驶畅通路径的方法中的一种。两 个额外的相关处理方案也被公开，其采用类似的方法对像素进行分析而不是对补片进行分 析。所公开的第一个处理方案是采用富含纹理的方法来分析图像以确定畅通路径。图10 示出了用于检测畅通路径的第一处理方案101，其在此处被描述为包括离散元件。这样的图 示是为了便于描述，并且应该理解由这些元件执行的功能可以组合在一个或多个装置中实 现，例如在软件、硬件和/或专用集成电路中执行。处理方案101是采用富含纹理的图像来分析宿主车辆前方视场的示例性方法，并 且开始于步骤103，在该步骤中产生车辆前方的视场的图像。在步骤106中，检查被监测到 的图像中是否有关切点，例如，检查上面描述的像素颜色强度以及将该像素或一组像素与 周围像素进行比较。通过本领域已知的方法，可以识别出关切点并且利用这些关切点来实 现上述方法。在步骤109中，当车辆在运动时，比较车辆前方视场中的连续图像，并且在可 能的情况下将从每个图像中提取的关切点与连续图像中的相应的点进行匹配，这些点对应 于视场中的相同点。匹配包括通过模板匹配或者在连续图像上对关切点进行比较而定位对 应的点，同时考虑宿主车辆的运动，并作出两个点是否代表视场中相同的可视物体或可视 特征的最佳估计。虽然可以匹配关切点，但不是所有匹配的对应点对都代表高质量的对应 点对，高质量的对应点对允许识别它们在视场中的三维位置以便分类为能使车辆通过的畅 通路径。在步骤112中，滤波器被应用于匹配的对应点对，以便识别出高质量的对应点对， 高质量的对应点对可以高信心水平用于三维位置识别。在步骤115中，分析高质量的对应 点对，从而确定所述对应点对代表的物体的三维位置。可以理解的是，在连续的图像中与地 面相比具有不同高度的对应点对的移动是不相同的。分析关切点的运动可以得出这些关切 点的三维坐标。在步骤118中，所确定的物体位置被用于绘制宿主车辆前方的物体位置的地图。在步骤121中，该地图被用于确定宿主车辆前方的畅通路径。图11示出了一个示例性的当前图像(k) 500，其包括在当前图像(k)上被识别的一 组关切点501，每个关切点501对应于一个像素。处理模块120优选地在所生成的包括当前 图像(k) 500和先前图像(k-Ι)的每个图像上识别关切点501。关切点501是图像上的可识 别像素，并且与一组视觉信息-即富含纹理的特征相关联，而且还与位于视场中的物体相 关联。图11所示的示例性的视场或视图包括路面510、路面部分515、路缘520和521、车 道标记522、交叉车道526和建筑物524和525。候选关切点501通过关切点提取程序在视 图中被识别出来，通过关切点提取程序可以选出一组关切点501。关切点提取程序可以通 过很多已知方法中的一种在多个图像上执行，例如，比例不变特征变换(SIFT)，采用拐角检 测或其它形状检测的方法，或Sobel滤波器。关切点提取程序优选地在处理模块120中执 行，但是也可以组合在一个或多个装置中执行，例如在软件、硬件和/或专用集成电路中执 行。关切点提取程序在每个图像中定位与预定的富含纹理的可识别特征对应的候选关切点 501，这些特征例如是指示边缘的像素、指示视觉数据中的转变的像素，其中可在视图中识 别出潜在的重要特征。在图11的示例性视图中，在多个被识别出的关切点501中，点501A 在路缘520中的部分505的拐角处被识别。在识别出候选关切点501后，关切点提取程序可通过除去多余的候选关切点来过 滤这些候选关切点，多余的候选关切点就是对应于同一特征的候选关切点。例如，该关切 点提取程序可过滤多个对应于边缘的候选关切点，从而得到对应于边缘的更少的候选关切 点。剩余的候选关切点组即是该图像的关切点。在一个实施方式中，过滤多余的候选关切 点是为了提高计算效率。一旦在当前图像(k)500中识别出关切点501，处理模块120便对来自当前图像 (k)的关切点组与来自先前图像(k-Ι)的关切点组进行匹配，从而确定一组匹配的点对，这 对应于过程101中的步骤109。第一种确定一组匹配点对的方法包括采用对应匹配程序来匹配当前图像(k)和 先前图像(k-Ι)中的关切点。处理模块120对来自当前图像(k)的一组关切点与在先前图 像(k-Ι)中识别出的一组关切点进行匹配，从而确定一组匹配的关切点对。图12示出了一 个在图11所示的图像之后捕获到的示例性的当前图像(k)。该示例性的当前图像(k)530 表示一个在图11所示的图像之后捕获的图像，其中在两个图像之间观察者的视角已沿着 被观察的道路稍微前进。在这种示例性的情况下，虽然当时是作为当前图像(k)捕获的，但 是此时图11中的图像500可作为当前图像(k) 530的先前图像(k-Ι)。图12中示出的示例 性视图包括如图11所示的路面510、路面部分515、路缘520和521、车道标记522、交叉车 道526和建筑物524和525，只是在视图中每个特征的视角略有不同。在图12的示例性视 图中，多个识别出的关切点531根据上述方法被识别，点531A被识别为在路缘520中的部 分505的拐角处。应该注意到，在图像530中识别出的关切点531不一定直接对应于在图 像500中的识别出的关切点501。在图像530中识别出的点531被处理并过滤，如上文结 合图11描述的点501的处理和过滤一样。优选地，来自当前图像(k)530的关切点组中的 多个关切点531与来自先前图像(k-l)500的关切点组中的多个关切点501进行匹配，以确 定多个匹配的点对。包含一个匹配点对的每个关切点被期望与同一特征对应，该同一特征 与视图中的物体相关联。为了确定一组匹配的点对，通过多个已知的对应匹配程序中的一种-例如比例不变特征变换(SIFT)特征匹配程序和光流程序对来自当前图像(k)的关切 点组531与在先前图像(k-Ι)中识别出的关切点组501进行比较。该对应匹配程序优选在 处理模块120中执行，但是也可以组合在一个或多个装置中执行，例如在软件、硬件和/或 专用集成电路中执行。所产生的匹配点对与既位于当前图像(k)上又位于先前图像(k-1) 上的同一特征相对应，其中该同一特征与视图中的同一物体相关联。第二种确定一组匹配点对的方法包括采用模板匹配程序来匹配当前图像(k)和 先前图像(k-Ι)中的关切点。在一个实施方式中，采用关切点周围的预定像素区域来产生 模板。一个示例性的区域535在图12中被示出为与关切点531A相关联。模板匹配可通过 多个方法中的一个来确定，包括采用多个已知模板匹配程序方法中的一个来找到先前图像 中的对应的关切点，例如采用Lucas-Kanade或Horn-Schunck。优选地，将当前图像中的邻 近关切点的模板与先前图像中的邻近关切点的模板进行比较。当模板匹配程序确定所述模 板彼此匹配时，这些关切点便被包含在匹配点对的组中。所产生的匹配点对与既位于当前 图像(k)上又位于先前图像(k-Ι)上的同一特征相对应，其中该同一特征与视图中的同一 物体相关联。图13A和13B示出了一个示例性的匹配点对，该匹配点对包括当前图像(k) 530中 的关切点531A和先前图像(k-l)500中的第二关切点501A以及一个环绕这些点的示例性 的像素区域。根据上述方法，在图13A中示出了环绕关切点531A的像素区域535。如上所 述，关切点531A被识别为位于路缘520的若干部分之间的部分505的拐角处。像素区域535 环绕点531A选出并且优选地包括能用于充分识别该区域的可识别特征、纹理或图案。图 13B类似地示出了关切点501A和环绕该关切点的像素区域540。由于图像500和图像530 的视角发生改变，可能就使像素区域535和像素区域540包含一些不同之处，但是采用上述 方法，通过比较所述像素区域并识别其中特征的方式，可以某种信心水平确认关切点531A 和501A代表在图像500和530中捕获的相同特征并且可以被看作是一个匹配点对。如上述的示例性步骤112，当确定匹配点对后，通过应用滤波器以除去代表匹配不 佳或错误匹配的点对的低质量的匹配点对，处理模块120从匹配点对的组中选择出高质量 的优选的匹配点对。优选的匹配点对可基于质量控制标准来选择。在一个实施方式中，匹 配点对被分析并且在满足每个标准之后被识别为优选的匹配点对。当匹配点对的点之间的距离小于一个阈值时，第一个标准被满足。该距离基于这 些点在相同的二维图像坐标中的位置来确定。该阈值可以是预设的，并且由位置决定或基 于车速来动态决定。当匹配点对中的两个点与图像边界的距离为预定的阈值距离时，第二 标准得以满足。由于摄像机对图像边界的边缘处的物体的视角以及车辆运动的原因，太接 近边缘的点不能定位出对应的点，该对应的点可能位于摄像机的视角之外或者会产生对物 体位置的错误估计。此外，在车辆正常向前行驶的过程中，车辆需要视图最边缘处的畅通路 径的信息的可能性很小。当匹配点对中的每个点附近的预定区域的色差小于色差阈值时， 第三标准得以满足。通过采用图13中定义的示例性像素区域，像素区域535和540之间的 色差则可用于增大匹配点对的信心水平。每个区域内的每个像素基于它相应的颜色被分配 一个数值。所分配的数值可以基于捕获图像时确定的比特值或者可以基于参考预定调色板 的索引颜色。处理模块120 —个像素接着一个像素地计算第一区域501和第二区域502内 被分配的数值之间的绝对差值，并且对这些差值求和，所得结果即是色差。将该色差与阈值色差进行比较。如果该色差小于阈值色差，则第三标准得以满足。该阈值色差可以通过任何 足以校准精确路况存在或畅通路径估计的方法来选取。基于车辆外部的亮度水平、天气、车 速或其它任何基于色差而影响畅通路径存在的精确评估的因素，可采用不同的阈值色差。 通过判断环绕关切点的区域是否相似，可以判断包含由所述关切点代表的特征的相同区域 是否在两个图像中均被分析。可以理解的是，上述三个标准只是用于判断匹配点对的示例性标准，这些标准中 的某些部分或其它没有名称但相似的标准也可以用于判断匹配点对的有效性。此外，可基 于下述条件来选择判断匹配点对的标准，例如，车辆外部的亮度水平、天气、车速和任何其 它影响判断匹配点对的能力的因素或快速准确地定义畅通路径的紧迫性。在选取优选的匹配点对之后，如上述的示例性步骤115，处理模块120确定多个点 相对于车辆100的位置，这些点与视图中的物体的特征相关联。图14以绘图形式示出了使 用一个示例性的当前图像、一个示例性的先前图像以及宿主车辆的运动来确定观测到的特 征的位置。可以基于连续图像317和327内的匹配点对(这些匹配点对在该图中用点1和 2表示)的优选组、车辆100从第一位置310到第二位置320的行驶距离(d)以及车辆偏航 (θ )来确定物体在参考水平框架中的位置和相对于地平面的物体高度。该处理模块120执 行多种已知的三角测量方法中的一种来确定相对于车辆100的点的位置和该点的高度。在 图14中，示出了来自310的包含图像k-1 317的视场315和来自320的包含图像k 327的 视场325。所示的距离d表示观测者在点310和320之间的移动距离。线312和322分别 表示与视场315和325沿纵向垂直相交的线。方向的角度改变或偏航(Θ)示出为表示线 312和322之间的角度。通过在点310的时间和点320的时间之间的样本时间内追踪车速， 可以为示例性车辆确定距离d。类似地，通过在样本时间内追踪车辆的偏航率可以确定θ。 示出了被观察到的物体305，所示出的线318和328分别表示从点310和320到物体305的 观察线。点1和2示出为在图像317和327上，分别位于线318和328与图像317和327 相交的位置。距离(a)可定义为表示点1在图像317上的位置，距离(b)可定义为表示点2 在图像327上的位置。可以理解的是，图14代表一个上方地图，其中物体305的位置可以 被定义在一个水平面内，并且在相同物体的侧视图中进行的类似运算可用于确定物体的垂 直位置，该垂直位置是相对于观察者所在的已知地平面的。通过应用已知的三角测量方法， 来自连续图像的位置数据_例如距离a和b以及车辆数据-例如车速、车辆偏航率和样本 时间可用于确定观察到的物体相对于车辆的位置以及确定物体相对于车辆的相对运动。这 些三角测量方法可以得出物体在水平面中的位置和相对于地平面的高度。一旦位置和高度被确定，如上述的示例性步骤118，处理模块120可在上方地图上 绘出这些点。图15以绘图形式示出了一个示例性的上方地图，该地图示出了宿主车辆前方 的χ和y坐标系内的关切点的垂直位置。在χ轴和y轴上的位置<0、0>对应于上述车辆100 的第二位置320，或车辆100的当前位置。优选地，物体的高度被分类到预定类别中。例如， 具有最小高度的物体-例如低于预定阈值的物体可以被分类为地面，超过地面高度但是小 于第二预定阈值的物体可以被分到第二类别中，该类别接近并且优选地小于车辆高度，大 于第二预定阈值的物体被分到第三类别中。如图15所示，具有最小高度的物体被分类为地 面(地面)，超过地面高度但是小于2米阈值的物体被分到第二类别中(小于2m)，大于2m 阈值的物体被分到第三类别中(大于2m)。
在地图上绘出这些物体后，如上述的示例性步骤121，处理模块120基于地图上绘 出的特征检测畅通路径。用于此处的术语“畅通路径”对于本领域普通技术人员来说采用的 是它的通常和习惯性含义(并且不局限于某种特殊或特定的含义)，并且该术语不加限制 地意指不存在超过一定阈值的物体的路径，例如，不存在被分到上述第二和第三类别中的 物体的路径。被分到预定类别-例如上述第二和第三类别中的物体的特征由处理模块120 识别为不畅通的区域，也就是不希望车辆通行的区域。优选地，被分到预定类别中的每个物 体附近的预定区域也由处理模块120识别为不畅通的区域。该处理模块120可采用多种方 法中的一种来确定地图上存在畅通路径。用于确定畅通路径的第一种方法包括对预期路径 与包含非畅通区域的地图进行比较。如果预期路径没有与任何非畅通区域相交，那么处理 模块120确定该预期路径是畅通路径。然而，如果预期路径与非畅通区域相交，那么处理模 块120确定没有畅通路径。用于确定畅通路径的第二种方法包括使用地图上的非畅通区域 来确定畅通路径。任何没有与非畅通区域相交的路径均可作为畅通路径。上述方法采用连续图像来建立车辆前方的物体的位置和垂直高度的地图，从而得 以确定畅通路径。可以理解的是，在任何两个给定的图像中，一个特定物体可能不会被分类 为包含足以在地图上绘制而用于特定分析的两个高质量的关切点。然而，上述分析在车辆 行驶过程中每秒发生多次。当车辆通过畅通路径向前行驶时，将获得一个物体的不同视角， 并且将对大量的图像进行分析。在路径上行驶和对通过该路径的多个重复图像的分析可以 通过分析建立一个信心水平，该信心水平表明没有限制畅通路径的物体存在于识别出的畅 通路径上。图16示出了用于检测畅通路径的第二处理方案。此处描述的第一处理方案采用 了富含纹理的方法，其基于图像内的环境视图分析描述不同关切点的像素特征，所公开的 第二处理方案可以被描述为示例性的无纹理图分析方法，其从图像中过滤不一致的区域图 像，该不一致的区域图像不属于与平坦一致的路面。通过从图像中过滤不一致的区域，可以 从剩余图像部分中识别出畅通表面，该畅通表面作为车辆行驶的潜在畅通路径。图16中示 出了过程250，过程250在此被描述为具有离散元件。这样的描述是为了便于说明，并且应 该意识到，由这些元件执行的功能可以组合在一个或多个装置中执行，例如在软件、硬件和 /或专用集成电路中执行。例如，过程250可以作为处理模块120中的一个或多个算法来执 行。用于检测畅通路径的过程250包括产生多个滤波图像和将这些滤波图像融合在一起从 而确定畅通路径。所公开的示例性过程250包括采用一个示例性的无纹理畅通路径检测方法的步 骤。过程250开始于产生图像的步骤253。步骤256、259、262和265描述了对图像进行滤 波从而识别包括路面的畅通路径位置的替代性的示例性方法。可以理解的是，每种方法以 某种方式处理图像以便有助于识别畅通路径。一个过程可以采用四个示例性方法的某些部 分或者一个过程可以采用包含未命名但是相似的方法来处理图像。可以采用在图像内过滤 出畅通表面的任何方法，在该畅通表面上可以从不能表示潜在路面的其它部分中估计出路 面。步骤256采用一种示例性方法来过滤出在地平线或消失点以下的区域，该区域包括车 辆能够行驶的路面，上述区域从地平线或消失点以上的区域中过滤出来，该区域包括天空 和不能为路面的一部分的其它垂直特征。基于路面是一个视觉强度大致相同的大表面的假 设前提，步骤259在像素强度变化的基础上应用滤波器。在区别连续图像的基础上，步骤
15262应用一个滤波器来分析图像之间的变化。步骤265在识别视觉数据中的代表边缘或转 变的像素的基础上应用一个滤波器。并行应用所述多种方法，所得结果将在步骤268中被 融合到一个图像的地图上，并且在步骤271中所述结果被分析以便得到指示行驶畅通路径 的视觉数据。在上述的示例性步骤256中，采用消失点来生成第一滤波图像。在此处采用的术 语“消失点”是一个广义术语，并且对于本领域技术人员来说其使用的是普通且惯用的含 义，并且该术语表示的是在视图中与地面上的多条平行线相交的无穷远的点。识别路面所 生成的行驶畅通路径必然位于消失点或地平线以下。对图像进行滤波以便仅分析地平线 以下的区域有助于区别用于识别路面的像素和不相关的像素。本领域技术人员应该理解的 是，存在很多种用于确定消失点或相应的地平线的已知方法。一种已知的方法包括基于宿 主车辆左边和右边的车道标记的交叉点来确定消失点。基于消失点来确定地平线。第一滤 波图像包括当前图像上的位于地平线以下的像素。如在上述的示例性步骤259中，处理模块120基于包含在当前图像(k)中多个像 素的像素颜色强度来生成第二滤波图像。图17示出了基于像素颜色强度的示例性的第二 滤波图像。该第二滤波图像包括从多个像素中选取的像素。可以预想出多个对像素进行滤 波的方法。处理模块120将像素的每个颜色强度值与相关的颜色分布均值_例如红、绿、蓝 颜色强度分布均值进行比较。这些颜色分布均值是相关颜色强度的平均颜色强度分布，所 述相关颜色强度与先前在畅通路径中识别出的像素相关。这些颜色分布均值还可以基于历 史性收集的相关颜色的畅通路径像素的颜色分布均值来确定。当某个像素的每个颜色强度 值均小于相关颜色分布均值的颜色强度阈值时，将选择该像素用于第二滤波图像。当某个 像素的一个颜色强度值大于相关颜色分布均值的颜色强度阈值时，该像素将从第二滤波图 像中排除。用于相关颜色强度的颜色分布均值是分布在图像中的平均颜色强度值。这些颜 色分布均值最初是预定的。在一个实施方式中，处理模块120基于预定数量的图像中的颜 色强度分布来调整每个相关颜色强度的颜色分布均值。如上所述，每个像素包括多个颜色强度值。优选地，将该颜色强度值与相关颜色分 布均值进行比较。例如，对于采用RGB颜色模式生成的像素，对和红颜色强度相关联的第一 比特组与和红颜色强度相关联的颜色分布均值进行比较，对和绿颜色强度相关的比特组与 和绿颜色强度相关的颜色分布均值进行比较，并且对和蓝颜色强度相关的比特组与和蓝颜 色强度相关的颜色分布均值进行比较。如果包含在该像素中的每个颜色强度与相关颜色分 布均值之间的差值小于颜色强度阈值，那么该像素被用于第二滤波图像。通过采用RGB颜色模式，每个像素包括第一、第二和第三颜色强度值。第一颜色强 度是红色强度，第二颜色强度是绿色强度，而第三颜色强度是蓝色强度。当该像素的红色强 度与红色分布均值之间的差值小于红色强度阈值、该像素的绿色强度与绿色分布均值之间 的差值小于绿色强度阈值、并且该像素的蓝色强度与蓝色分布均值之间的差值小于蓝色强 度阈值时，便从包含在当前图像(k)中的多个像素中选出该像素用于第二滤波图像。下面 的表达式表示采用RGB颜色模式的这种过程|R-Rm| <阈值k并且|G-Gm| <阈值e并且 IB-BmI <阈值b (4)其中R表示红色，G表示绿色，B表示蓝色，Rm是红色的颜色分布均 值，Gm是绿色的颜色分布均值，Bm是蓝色的颜色分布均值，阈值κ是红色强度阈值，阈值e是 绿色强度阈值，阈值B是蓝色强度阈值。
本领域技术人员应该理解的是，上面的表达式4可配置成与包括CMYK、YUV和LAB 在内的多个其它颜色模式结合使用。如在上述的示例性步骤262中，处理模块120通过区别当前图像(k)和先前图像 (k-Ι)来产生第三滤波图像。在一个示例性的产生差别图像的过程中，第三滤波图像作为当 前图像(k)和先前图像(k-Ι)的图像差别而产生，并且包括对代表当前图像(k)和先前图 像(k-Ι)的差别的像素一个一个地进行比较。这样的过程在上文中结合图6A-6C进行了描 述。用于确定第三滤波图像的第一种方法包括确定当前图像(k)上的每个像素与先前图像 (k-Ι)上的每个对应像素的差别。通过从对应的颜色强度值中减去与一个像素相关联的颜 色强度值从而确定一个颜色强度差值，可以确定该差值，例如，从先前图像(k-Ι)上的第一 像素的红色强度值中减去当前图像(k)上的第一像素的红色强度值。所得到的颜色强度差 值包括该像素的值并且对应于当前图像(k)和先前图像(k-Ι)上的该像素之间的差别。每 个像素值可存储对应于第三滤波图像的阵列中。在一个实施方式中，该差值的绝对值被确 定并且被存储在阵列中。所得到的阵列包括代表两个图像之间差值的数值并且包括图像差 异。在确定该阵列后，处理模块120除去代表变化小于预定阈值的像素的数值。在一个实 施方式中，所得到的数值可以用预定数值-例如1来代替，该预定阈值在所得到的图像上代 表识别出的所使用的两个图像之间的差别的清楚地图。此处描述了基于区别图像来确定第三滤波图像的第二种示例性方法。通过比较当 前图像(k)和运动调整的先前图像(k-Ι)可以作出一个决定，并且这些图像之间的差别可 用于绘制与用于产生运动调整图像的特定模型不匹配的物体。一个产生运动调整图像的示 例性模型包括使用三角测量方法_例如结合图14描述的方法、关于车辆运动的信息、以及 所有被检测的点都位于地平面上的假设来预测先前图像(k-Ι)中的物体的运动。通过采用 图像中的所有物体都位于地平面的假设，对合成图像中的物体的运动的预测与先前图像一 致，其中先前图像作为存在于地平面处的整体平坦的图像而存在。对所得到的经运动调整 的先前图像(k-Ι)与实际当前图像(k)进行比较-包括不在地平面上的物体的视角变化， 使得能够识别出图像中的不在地平面上的所有物体或特征。通过减去被比较图像中的像 素，例如根据上述用于确定第三滤波图像的第一示例性过程，代表没有在地平面上的物体 的像素可以通过非零值或超过预定阈值的数字而被识别出来。这样，采用当前图像(k)和 代替先前图像(k-Ι)的经运动调整的先前图像，处理模块120可以如上所述地确定第三滤 波图像。如在上述的示例性步骤256中，处理模块120基于包含在当前图像(k)中的多个 像素的颜色强度值生成第四滤波图像。图18示出了采用边缘识别方法的第四滤波图像。该 第四滤波图像包括当前图像(k)的边缘。为了生成第四滤波图像，处理模块120基于与边 缘对应的颜色强度值、采用一个已知的边缘检测滤波器-例如Sobel滤波器从图像中提取 像素。该边缘检测滤波器优选地在处理模块120中执行，但是也可以组合在一个或多个装 置中执行，例如在软件、硬件和/或专用集成电路中执行。在一个实施方式中，采用Sobel 运算器分析每个像素。该Sobel运算器计算每个像素处的颜色强度的梯度向量，从而得出 从亮到暗的最大可能增大方向以及在该方向上的变化率。与超过一定阈值的变化率和附近 像素的梯度向量对应的点表示边缘并且被包含在第四滤波图像中。这些像素将被预定的像 素颜色-例如黑色替代。
如在示例性步骤268中所述的，在生成多个滤波图像后，处理模块120将这些滤波 图像进行融合从而确定对应于畅通路径的像素位置。融合而成的滤波图像包括一个图像， 该图像仅包含在所有滤波图像中都包含的像素，也就是说，只有包含在多个滤波图像中的 每个滤波图像的特定像素位置的像素被包含在融合而成的滤波图像中。融合这些滤波图像 包括确定包含在多个滤波图像中的每个图像上的像素的位置。将每个像素位置与每个滤波 图像中的对应的像素位置进行比较。当多个滤波图像中的每个都包含位于对应像素位置处 的一个像素时，该像素便被包含在代表畅通路面的融合而成的畅通路径地图上。该融合而 成的畅通路径被用于检测车辆100的畅通路径。融合畅通路径地图上的像素对应于视图中 的期望驾驶位置。融合畅通路径地图上没有像素的位置对应于视图中的非期望驾驶位置。图16所示的过程250并行应用多种不同方法从视图中识别与定义畅通路径相关 的特征。然而，应该理解的是，这些方法并非必须并行执行，相反这些方法可以被用于连续 地按步骤处理图像从而识别出视图中的与定义畅通路径相关的特征。图19中示出了用于 第二处理方案的示例性过程600。过程600开始于步骤603，在步骤603中生成了一系列图 像。每个图像被平行地输送到两个步骤中，并且从这两个步骤中输出的结果被融合并用于 该过程中的后续步骤。所述平行步骤包括步骤606和步骤609，在步骤606中第一滤波图像 根据上述的消失点方法对像素进行滤波，以便从图像中滤除不能代表路面的图像部分，在 中步骤609根据强度对像素进行滤波而得到的第二滤波图像被用于从图像中滤除表示与 路面不一致的特征的图像部分。在步骤612中，融合第一滤波图像和第二滤波图像，融合而 成的图像包括仅仅位于消失点以下的图像部分和与路面强度一致的像素。在步骤615中， 通过采用上述的一种区别方法，用连续的融合图像来生成第三滤波图像。在步骤618中，通 过采用上述的边缘提取方法，用第三滤波图像来生成一第四滤波图像。过程600的结果然 后可被分析，以便得到指示行驶畅通路径的视觉数据。过程250和600示出了两种示例性布置，其中组合使用各种滤波方法以处理一系 列连续图像从而识别畅通路径。然而，应该理解的是，这样的组合可以采用多种形式，不同 的步骤可以不同的顺序应用，并且更少或额外的滤波器可以不同的组合使用。此外，可选择 性地采用滤波器或者可选择性地采用各过程的结构，例如在白天使用不同的组合，而在夜 晚采用其它组合。例如，某些组合可继续用于分析前灯照亮的路面，而在没有完全照亮的 视图中其它方法可能无法使用。在另一个示例中，当路面上有雨或雪时，可以采用不同的组 合。例如，某些方法和分析方法在只有薄雪的情况下仍然有用，例如可以将雪中的轮胎路径 确定为潜在畅通路径，而当白雪隐藏了大多数可识别特征时，其它方法可能就不再有用。在 另一个示例中，当提供有额外的信息时，可以采用不同的组合从而基于这些额外信息来扩 充或帮助图像滤波，这些信息例如是红外线、雷达、或GPS数据。可以预想出滤波方法的多 种组合，并且本发明不限于此处描述的特定实施方式。如上所述，描述了采用富含纹理方法的第一处理方案和采用无纹理方法的第二处 理方案，每个方案都能识别出用于描述车辆视图中的畅通路径的道路特征。然而，应该理解 的是，基于任一方案的单独分析会产生模糊的结果，例如，其中特定照明条件、其它车辆的 影子、热量所致的路面变形、或其它类似因素都会使路面的某些部分不能被识别为与路面 的其余部分一致。一种去除模糊结果的方法是通过在车辆沿着道路行进的同时分析多个迭 代图像。应该理解的是，当车辆沿着道路行进时，可以对特定路段的快速连续地获得的成千
18上百个图像进行分析。当车辆向前行进时，由于观察视角不同，将会观察到不同的路面照明 和暴露部分。在路径上的行驶以及对通过该路径的多个迭代图像的分析可通过分析而建立 一个信心水平，该信心水平表明路面的特定部分被正确地估计为畅通路径。解决任一方案的模糊结果的另一种方法是同时利用两种方案并融合其结果，采用 两种方案的组合来增大识别畅通路径的信心水平。每种方案在检测畅通路径的不同方面都 具有相对于另一种方案的优点。例如，示例性的富含纹理方法的优点在于检测富含纹理的 从地平面明显竖立的物体。该方法主动识别处于不同高度的可检测的物体并且生成一个车 辆不应在其上行驶否则可能会导致车辆与物体发生碰撞的区域的地图。在另一个示例中， 该示例性的无纹理方法的优点在于识别其中的像素具有共同外表面的区域。该方法主动识 别一个很可能存在路面的区域，并且绘制出该路面的边界。第一种方案和第二种方案可以多种方式融合。带有被识别点和所确定的高度的、 通过富含纹理方法识别出的图像能够由无纹理方法产生的滤波图像覆盖，并且两种方法的 一致性能用来通过重叠图像定义畅通路径。在另一种融合两种方案的方法中，来自每个方 案的数据都能用来将信息投影在车辆前方区域的编程上方地图上，包含从两个方案的分析 中得到的数据的该上方地图可包含建立该地图的各个区域的信心指示。在另一种融合两 种方案的方法中，一个方案可作为主要或主导方案使用，第二个方案可用来分析或者被激 活以便分析在视场中被识别为不清晰或不清楚的区域。在融合两个方案的任何方法中，一 个处理方案的长处能用来弥补另一个处理方案的弱点。如果两个方案同时认定路径是畅 通的，那么应用这些方案的处理模块可通过更高的信心水平来确定车辆适于通过该路径。 融合这些识别方案的多种方法都已被考虑到，本发明并不局限于此处所描述的特定实施方 式。另外，其中一个或两个方案可与上述利用补片分析的方法进行组合。本领域技术人员能够认识到，亮度规范化(lighting normalization)可应用于所 获取的图像数据。规范化是改变像素强度值的范围的一种过程。规范化的目的是将图像的 范围改变为更适合机器处理的范围，以提高可靠度。例如，每个像素值被规范化为零均值和 单位方差，以提高图像的对比度，特别是在光照较暗的环境中或对比度因为反光而较低的 情况下。上述滤波器和算法可以采用多种形式。用于提取特征的滤波算法经常搜索可用的 视觉信息，以便在数据中找到特征性图案，这些图案通过线的方向、线的位置、颜色、角落特 点、其他视觉属性和学习属性来定义特征。属性可通过通过足以精确地训练区别属性的建 模或其他技术以实验方式、经验方式、预测方式来获得。学习属性可以由车辆内的随时间而 调整的机器学习算法或模糊逻辑而学得。此外，可以通过车辆在一个路径上的重复行驶来 收集学习特性或学习标记，并且在畅通路径识别中采用这些学习特性或学习标记。上述的无纹理图像分析方法滤除图像中的不一致区域，这些区域不属于平坦的、 与路面一致的区域。在图6中示出的在图像上并行应用多个滤波器的方法去除了不能为畅 通路径的图像区域，并且所保留的是将指定为畅通路径的候选区域。一种基于分割的可替 换的畅通路径方法类似地并行采用多个分析方法来分析图像从而确定畅通路径。然而，并 非将图像中的若干部分滤除，该示例性的基于分割的方法首先根据图像中的可辨别的边界 细分或者分割图像，然后对分割出的区段做出判断从而确定畅通路径。一种基于分割的方法采用多种分析方法来细分图像。图20示意性地示出了根据本发明的示例性的基于分割的畅通路径方法的操作。过程700在步骤702中输入一个图像 或多个图像，在步骤704至710中采用了多种分析方法，在步骤712至718中基于所述分 析方法做出判断从而细分图像，并且在步骤720中融合信息并选择畅通路径。步骤704至 710中的方法可以整体上描述为在分割方法722中所采用的分析方法。在步骤704至710 中示出了示例性的分析方法，并且这些方法包括步骤704中的运动分析、步骤706中的纹理 分析、步骤708中的颜色分析和步骤710中的几何形状分析。可以采用多种形式进行运动分析。如图6A-6C所示，两个图像或一系列图像之间 的差别可以用于区别物体相对于背景的运动。在另一个示例中，图像中的特征识别可以用 于评估一个可视物体是否与倾向于运动的已知形状相一致，该已知形状例如是位于车辆的 特定相对方向的另一车辆或行人。在另一个示例中，其中可以采用除了图像之外的另一车 辆系统，例如雷达系统，其提供从物体返回的雷达数据，或车辆-车辆(V2V)通讯，其提供来 自追踪和通讯车辆的位置和运动信息，物体的运动可以被辨别出来并且与该图像重叠从而 对图像进行细分。一个这样的示例包括在双向街道上的对向交通工具。对该交通工具的运 动的感测可以用于从当前车道中分割出对向车道。运动分析的其它方式也是本领域已知 的。应该理解的是，在判断图像中的物体或特征的运动时，可以考虑车辆的运动。一旦在步骤704中执行了运动分析，相对于静止地平面运动的图像中的物体或区 域便可以从图像的剩余部分中被分割或分离出来，作为不能用作候选畅通路径的图像区 域。步骤712从识别出存在运动的区域中分割出作为可能含有畅通路径的静止区域的图像 部分。进一步，可以利用检测到的运动所暗示的信息，以便例如将移动物体前方的一部分作 为一个潜在碰撞区域-即不畅通路径从图像中的代表畅通路径的其它部分中分割出来。可 以预想利用可通过运动分析辨别的信息的多个方法，并且本发明不限于此处描述的特定实 施方式。上面已经结合富含纹理和无纹理的方法讨论了纹理分析。根据示例性的富含纹理 方法，可根据上述方法以及其它本领域已知的方法在图像中识别和分析像素强度对比、颜 色对比、可识别线、拐角和其它特征。根据示例性的无纹理方法，可以基于图像中的可识别 图案将不同滤波器应用于图像，从而确定图像中的更可能包括畅通路径的区域。一旦在步骤706中执行了纹理分析，对图像中的特征和/或图像的像素中的无纹 理区域的分析可以提供对于分割图像有用的图像部分的定义。步骤714基于检测到的性质 和对潜在畅通路径的潜在影响分割了图像的若干部分。特定纹理或像素特征的存在对于分 析是有用的。例如，车道标记可被辨别出来，并且可用于限定图像中的代表路面并且与确定 畅通路径相关的区段或部分。类似地，路侧、路肩和路边栅栏可以用于从图像的其它区域中 分割出代表路面的图像部分。类似地，如上所述，车道的几何形状或可通过纹理分析确定的 其它标识对于确定地平线或消失点是有用的。该地平线或消失点可用于将可能存在畅通路 径的地面从不可能存在畅通路径的地平线以上的天空和其它背景中分割出来。此外，可通 过富含纹理分析辨别出的物体可根据它们相对于地面的高度而被分析。通过这种分析，表 示道路中央、雪层或停车线的纹理可以被用于从可能存在畅通路径的区域中分割出不可能 存在畅通路径的区域。在另一个示例中，识别出的缺乏纹理或无纹理的图像区域，例如可能 出现的道路的平坦表面，对于将作为畅通路径的图像区段从具有可辨别纹理的其它区域中 分割出来是有用的。可以预想出利用可通过纹理分析辨别出的信息的多种方法，并且本发
20明不限于此处描述的特定实施方式。在与上述无纹理方法类似的方法中，可以采用颜色分析来从不能代表路面的区域 中分割出能代表存在畅通路径的路面的图像部分。无纹理方法基于纹理过滤或去除图像部 分，而颜色分析基于颜色分割图像中的若干部分，具体地从具有不能代表路面的颜色的图 像部分中分割出具有能代表路面的颜色的图像部分。一旦在步骤708中执行了颜色分析，在步骤716中，具有能代表路面的颜色的图像 区域便可以从不能代表路面的道路区域中被区别出来。颜色分析能通过颜色分割出图像的 若干部分，例如，从图像中的灰色区域中分割出绿色区域。在这个示例中，道路可以是灰色 的，而不太可能是绿色的。颜色分析可以类似地用于确定车道标记、建设区域标志、学校区 域标志、路面上的表示不能通行的阴影图案以及其它标识，所述其它标识可以根据道路上 或道路附近的标志的颜色来判断。可以预想出利用可通过颜色分析辨别出的信息的多种方 法，并且本发明不限于此处描述的特定实施方式。通过上述示例性方法可将图像分割成多个部分，并且/或者如步骤710所示，对图 像内的明显形状的识别允许识别出图像中的明显的几何图案。这样的几何图案一旦被识别 出来，便可在步骤718中被分析以确定畅通路径的存在。几何形状可用于识别图像中的某些区域，这些区域代表能够为畅通路径的路面。 例如，底部较宽顶部较窄的基于平行四边形的形状，该形状具有包括图像底部和所确定的 地平线的大体平行的线，这种形状可用于表示道路上的当前行驶车道。基于平行四边形的 类似形状，或者如果延伸过图像的中间垂直边缘则构成平行四边形的与当前行驶车道相邻 的形状，或者具有看似平行于当前行驶车道的线的形状，根据其它标识上述形状可能表示 相邻的行驶车道和潜在的畅通路径。没有从行驶车道中分割出来的、与当前行驶车道或识 别出的相邻行驶车道邻接的形状可能是连接道路和潜在的畅通路径。进一步，可以逻辑地 组合这些形状从而指示路面或行驶车道。例如，从道路到桥面的转变常常包含明显的转变 部。通过上述方法识别出的这种转变部可产生在该转变部处终止的几何形状。然而，对几 何形状的分析可以表示两个形状或许一起表示相邻的行驶车道。类似地，几何形状可被识别为不指示能够为畅通路径的道路或行驶车道。行驶车 道要求车辆能通过该车道行驶。突然终止的形状、与其它识别出的行驶车道中清楚分开的 形状、被指示表面高度突然变化的形状或其它指示行车障碍的形状分开的形状可用于从能 够为畅通路径的其它区域中分割出图像的若干部分。表示高度突然变化的示例性形状包括 具有与墙壁或陡峭路缘一致的垂直线的形状。此外，识别出的几何形状的尺寸可以描述该形状是否代表道路或畅通路径。靠近 车辆的行驶车道必须具有一定尺寸以便构成车辆能在其上行驶的畅通路径。由于几何形状 所指示的路面的潜在尺寸，几何形状或几何形状的图案可以被确定为支持或不支持畅通路 径。随着被分析的表面进一步远离车辆，由于视角的原因，支持畅通路径的行驶车道可能看 起来较小。可以预想出利用可通过形状分析辨别出的信息的多种方法，并且本发明不限于 此处描述的特定实施方式。应该理解的是，上述方法只是示例性的。可以组合更少的分析来描述畅通路径，并 且可以根据任何足以评估不同分析方法的选择方法、基于监测到的影响每种方法的精确度 或效率的因素来选择性地利用特定的分析方法。这些因素可包括天气、光亮度、交通密度、车速和其它因素。另外还可以采用不同的方法。例如，可以预想到简单阈值方法 (simplethresholding method)。一个示例采用了柱状图阈值分割法(histogram thresholdingsegmentation)。这样的一个示例性方法找出柱状图谷底或谷底位置并采用 这些位置作为阈值来分割图像。在另一个示例中，可以采用自动阈值分割法或ostu分割方 法(ostu-segmentation method)。没有采用预定的固定阈值，ostu分割法采用足以完成图 像识别的方法或采用分割技术来确定分割图像的最佳阈值。可通过一种方法找到这些阈值 从而基于组类方差(inter-class variance)禾口类内方差(inner-class variance)来找至Ij 最佳阈值。另一个示例采用区域生长分割法(region growth segmentation)。从一个种子 (seed)开始并传播到整个图像，当相邻像素被调查时，从先前确定的区域均值计算出差值。 如果该差值小于一个阈值，那么该像素被融合到该区域中。否则，这个像素就形成一个新的 种子并且开始另一个区域。另一个示例采用分水线方法(watershed method)来分割图像。在一个类似于循 着地形图上的水流的方法中，从局部最低位置限定起始划分区，并且所述划分区被增大，直 到每个被划分的区域达到分水脊(watershed ridge)并且在此处停止。这些分水脊变成分 割补片的边界。可以在初始图像或梯度图像上使用这种分水线方法。另一种示例包括聚类方法(clustering method)。例如，K均值方法(K-mean method)是已知的。在特征空间中，从随机选择的k或预定中心点开始。接着对所有像素 进行聚类。通过一组迭代，更新一个均值(通过特征空间中的中心点)并更新一个方差，并 且在下一个迭代中重新执行聚类。当类内方差到达一个阈值时或者在类内方差的最大迭 代数达到一个阈值后并且在聚类结果在一个迭代与下一个迭代之间不发生变化后，停止反 复。在另一个示例中，IS0DATA分割法是已知的。IS0DATA分割法是对k均值方法的改进 不是使用固定的k划分区，IS0DATA方法在聚类过程中引入了本领域已知的“分裂和合并” 方法。当组类方差小于一个阈值时，那么该类便被合并。当类内方差大于一个阈值时，那么 该类便被分裂。最后的划分区可具有各种不同的补片数目。另一个示例包括基于图表的分割。可在网格图表或图像空间或特征空间中最相邻 的图表上执行该方法。当在特征空间中执行该方法时，其结果类似于K均值方法或IS0DATA 方法。当在网格图表上执行该方法时，该方法将图像看作一个图表G= (V，E)，其中V中的 每个节点对应于一个像素，并且E包含连接一对“邻近”像素(在图像空间或特征空间 中)的边缘。该方法的原理是在调整公差函数的同时比较组分的内部差异和两个组分之间 的差异。该方法从最小组分开始(例如从每个像素开始)并且合并组分，直到组分之间的 差别大于组分内部的差别。该公差函数控制期望的分割尺寸。在另一个示例中，雷达、LIDAR、与数字地图相结合的全球定位数据、车辆间的通 讯、车辆与基础设施之间的通讯或其它表示车辆操作环境的输入可以用于提供不同的分 析，这些分析可在输入图像上重叠并且用于分割输入图像。在图20中所给出的示例的基础 上或者作为其替代方案，可以采用其它图像处理或分析方法或者采用关于车辆操作环境的 其它信息源，从而将图像中的支持畅通路径的若干部分从不支持畅通路径的其它部分中分 割出来，并且本发明不限于此处描述的示例性实施方式。
一旦通过上述示例性方法完成了图像分析，便可以将多种分析融合到对图像内特 征的单个描述中。图20示出了在步骤720中对多个分析进行特征融合。通过组合各个区 段的差别或在输入图像上叠加这些区段，不支持畅通路径的图像区域便可从图像中除去， 以便识别出剩余的潜在畅通路径。如上所述的图11和12示出了可在输入图像中捕获的示例性行驶场景。图21和 22以绘图形式示出了根据本发明的基于分割的示例性分析，该分析可在驾驶场景上执行。 图21示出了根据此处描述的方法分割为7个不同区段的驾驶场景。例如，区段4表示在地 平线以上的区域，例如该地平线可通过消失点方法来确定。这个区段可被识别为不包含畅 通路径。区段5和6表示例如在几何分析中检查出的形状怪异的区段，这些区段的终止方 式清楚地表明其不包含行驶畅通路径。区段3可以例如基于颜色分析被识别为不包含表示 道路的颜色，因此不包含畅通路径。区段7可以类似地基于形状或颜色被分析，并且被确定 为包括与潜在畅通路径相邻但不能为畅通路径的车道标记。区段1和区段2基于对所提到 的其它区段的识别而可以保留，并且可得到例如包括纹理分析在内的其它分析的支持，其 包括潜在畅通路径。图22示出了从图像中去除被识别为不包含畅通路径的所有区段并且 示出了对作为潜在畅通路径而保留的图像部分的识别。以此方式，基于分割的分析可被用 于识别输入图像中的潜在畅通路径。上述方法描述了作为独立方法或主要方法来定义畅通路径的基于分割的方法。然 而，应该理解的是，分割可替代性地作为一个预处理方法而被应用，对图像内容首先求近似 值或装扮图像，然后利用基于分割的方法的结果作为应用其它方法的框架，接着可以采用 其它方法，例如，上述的基于补片、基于像素或基于示例的方法。例如，可以利用分割方法对 地平线、道路边界以及车道标记的位置求近似值，并且补片可以沿着所有这些区域展开从 而确定畅通路径的这些边界的性质。在基于补片的分析的另一个示例中，矩形补片结构或 按照视角定向的补片可基于分割方法的预处理而被定义或布置以便覆盖可能的路面。在另 一个示例中，分割方法可用于对行驶车道求近似值，并且可以采用富含纹理的方法来识别 和追踪行驶车道中的车辆。在另一个示例中，分割方法可以用于从无纹理方法的分析中去 除某些区域。在另一个示例中，分段方法可用于对几何形状或对于实施基于示例的方法有 用的其它因素求近似值，从而能更好地对输入图像与样本图像存储库进行匹配，并因此能 够从匹配的样本图像的近似值中获得更好的结果。可以预想出在输入图像预处理中来自基 于分割的方法的结果的多种用途，并且本发明不限于此处公开的特定的示例性实施方式。如上所述，处理模块120可包括通过此处未描述但本领域已知的方法来实现自主 驾驶控制的算法和机构，或者处理模块120可仅仅为独立的自主驾驶系统提供信息。对观 察到的物体的反应也可有所不同，包括但不局限于转向变化、节气门变化、刹车响应、警告 和将车辆控制交给操作者。已经描述了本发明的某些优选实施方式及其改型。通过阅读并理解说明书可以想 到进一步的改型和变型。因此，本发明并不局限于作为最佳实施方式而公开的特定实施方 式，相反本发明包括落入所附权利要求书的范围内的所有实施方式。
2权利要求
一种通过分割图像来检测车辆行驶的畅通路径的方法，该图像由位于车辆上的摄像机装置产生，所述方法包括监测图像；通过多种分析方法分析图像，以便从能代表行驶畅通路径的图像区域中分割出不能代表行驶畅通路径的图像区域；基于上述分析定义行驶畅通路径；以及利用行驶畅通路径对车辆进行导航。
2.根据权利要求1所述的方法，其中，分析图像包括采用下述分析方法在多个连续图像之间进行的运动分析，用于识别出不能为畅通路径的图像区域； 对图像进行的纹理分析，用于识别出不能为畅通路径的图像区域； 对图像进行的颜色分析，用于识别出不能为畅通路径的图像区域；以及 对图像进行的几何形状分析，用于识别出不能为畅通路径的图像区域。
3.根据权利要求2所述的方法，其中，识别不能为畅通路径的图像区域的运动分析包 括采用图像去除来识别非静止的图像区域。
4.根据权利要求2所述的方法，其中，识别不能为畅通路径的图像区域的纹理分析包 括采用富含纹理的方法来识别图像中的特征。
5.根据权利要求2所述的方法，其中，识别不能为畅通路径的图像区域的纹理分析包 括采用无纹理方法来识别图像中的不同区域的特性。
6.根据权利要求2所述的方法，其中，识别不能为畅通路径的图像区域的颜色分析包 括在图像中识别包含不是路面颜色的颜色的区域。
7.根据权利要求2所述的方法，其中，识别不能为畅通路径的图像区域的几何形状分 析包括识别图像中的具有不支持车辆通行的形状的区域。
8.根据权利要求2所述的方法，其中，识别不能为畅通路径的图像区域的几何形状分 析包括识别图像中的表示车辆不能通行的表面高度差异的区域。
9.根据权利要求1所述的方法，其中，分析图像包括 采用从下列各项组成的集合中选出的分析方法在多个连续图像之间进行的运动分析，用于识别出不能为畅通路径的图像区域， 对图像进行的纹理分析，用于识别出不能为畅通路径的图像区域， 对图像进行的颜色分析，用于识别出不能为畅通路径的图像区域，以及 对图像进行的几何形状分析，用于识别出不能为畅通路径的图像区域， 以及，采用从下列各项组成的集合中选出的额外分析方法 运动分析， 纹理分析， 颜色分析， 几何形状分析，对车辆操作环境进行的雷达分析，用于识别出不能为畅通路径的图像区域， 对车辆操作环境进行的LIDAR分析，用于识别出不能为畅通路径的图像区域， 表示车辆操作环境的车辆与车辆之间的通讯，用于识别出不能为畅通路径的图像区 域，以及表示车操作环境的车辆与基础设施之间的通讯，用于识别出不能为畅通路径的图像区域。
10.根据权利要求1所述的方法，其中，分析图像包括 采用从下列各项组成的集合中选出的分析方法 柱状图阈值分割法，ostu分割法， 区域生长分割法， 分水线分割法， K均值聚类分割法， IS0DATA分割法，网格图表空间中的基于图表的分割法，和 特征空间中的基于图表的分割法。
11.根据权利要求1所述的方法，其中，分析图像包括基于影响每个相应分析方法的精 确度的因素来选择所述多种分析方法。
12.一种通过分割图像来检测车辆行驶的畅通路径的方法，该图像由位于车辆上的摄 像机装置产生，所述方法包括监测图像；预处理图像，预处理图像包括采用多种分析方法分析图像以便从能代表行驶畅通路径 的图像区域中分割出不能代表行驶畅通路径的图像区域；基于所述预处理、通过畅通路径检测分析来分析图像从而确定图像内的行驶畅通路 径；以及利用行驶畅通路径对车辆进行导航。
13.根据权利要求12所述的方法，其中，通过畅通路径检测分析来分析图像包括采用 基于补片的分析。
14.根据权利要求13所述的方法，进一步包括采用基于所述预处理将补片布置到图像 上的补片结构。
15.根据权利要求12所述的方法，其中，通过畅通路径检测分析来分析图像包括采用 基于像素的分析。
16.根据权利要求12所述的方法，其中，通过畅通路径检测分析来分析图像包括采用 基于示例的分析。全文摘要
本发明涉及采用基于分割方法的畅通路径检测。一种通过分割由位于车辆上的摄像机装置产生的图像来检测车辆行驶的畅通路径的方法，该方法包括监测图像、通过多种分析方法分析图像以便从能代表行驶畅通路径的图像区域中分割出不能代表行驶畅通路径的图像区域、基于上述分析定义畅通路径、以及利用行驶畅通路径对车辆进行导航。
文档编号G01C11/00GK101900562SQ20091024685
公开日2010年12月1日 申请日期2009年10月23日 优先权日2009年5月29日
发明者W·张 申请人:通用汽车环球科技运作公司