使用分级方法的畅通路径检测的制作方法

专利名称：使用分级方法的畅通路径检测的制作方法
技术领域：
本发明涉及机动车辆的自动或半自动控制。
背景技术：
本部分的陈述仅仅提供与本发明相关的背景信息，可能不构成现有技术。自主驾驶系统和半自主驾驶系统利用与路况和其它驾驶情况相关的输入来自动 控制节气门和转向机构。精确地估计并识别机动车辆所能行驶的畅通路径，对于成功取代 以人脑作为控制机构的车辆操作来说是至关重要的。路况可能会很复杂。在车辆正常操作的情况下，驾驶员每分钟进行数百次观察并 根据所感知的路况来调整车辆操作。感知路况的一个方面是感知车道上和周边的物体并在 物体中间导航出畅通路径。用科技来取代人类的感知首先包括精确感知物体的手段，例如， 包括静态物体(如路缘等)、移动物体(如其他车辆)以及路面情况(如车道标记、凹坑或 者车道上的结冰区域)；还包括继而根据这些与导航相关的信息进行有效地驾驶。感知物体或路况的科技手段包括从视频摄像机、雷达成像、以及激光雷达(LIDAR) 所得到的数据。摄像机将辐射形式的视觉图像-如光图案或红外特征转换成可读数据格 式。一种这类数据格式包括像素图像，在像素图像中，感知到的场景被分割成一系列像素。 雷达成像利用发射器产生的无线电波来估计出现在发射器前方的形状和物体。由这些形状 和物体反射回来的电波图案能够被分析，从而估计物体的位置。类似地，LIDAR使用光源和 来自车辆环境的返回光来产生环境信息。有关车辆前方地面的数据一旦产生，这些数据必须经过分析来估计物体或者路况 的存在。通过使用摄像机、雷达成像系统以及LIDAR，可以分析车辆前方的地面或道路，从而 得到可能需要避开的物体或路况。然而，仅仅识别那些需要避免的潜在导航因素并没有完 成分析过程。任何自主系统的一个重要元素都包括如何处理并操纵在所感知的地面数据中 识别出的潜在导航因素以便识别操作车辆的畅通路径。一种已知的识别操作车辆的畅通路径的方法是将所有感知到的导航因素进行分 类并临时性地识别所有感知到的导航因素，并且根据所识别的导航因素的位置和特性来识 别畅通路径。可根据图像的形式以及图像与道路的关系来处理这些图像，从而识别并分类 导航因素。尽管在识别畅通路径时该方法是有效的，但是其需要大量的处理能力，例如，在 视觉图像中辨别不同的物体并对其进行分类，比如区分路边的树以及走向路缘的行人。这 些方法在处理复杂情况时的速度慢或者有效性差，或者需要笨重且昂贵的设备来提供必须 的处理能力。

发明内容
一种使用摄像机产生的图像检测车辆行驶的畅通路径的方法，该方法包括监测 图像；以及应用图像的基于补片的第一分析，该第一分析包括将图像分成多个补片以及分 析每个补片以确定基于补片的第一分析的每个补片的第一畅通路径信心几率。具有大于第 一阈值信心几率的第一畅通路径信心几率的每个补片被定义为畅通路径补片。在具有不大 于第一阈值信心几率的第一畅通路径信心几率的部分补片上应用第二分析以确定第二分 析的每个补片的第二畅通路径信心几率。具有大于第二阈值信心几率的第二畅通路径信心 几率的第二分析的每个补片被定义为畅通路径补片。基于畅通路径补片识别车辆行驶的畅 通路径。


现在将参考附图通过示例来描述一个或多个实施方式，附图中图1示出了配备有根据本发明的摄像机和雷达成像系统的车辆的示例性设置；图2示出了根据本发明的一种在自主行驶中确定畅通路径的已知方法；图3示出了根据本发明的一种使用图像几率分析来确定畅通路径的示例性方法；图4示出了根据本发明的一种分析图像的示例性方法；图5示出了根据本发明的一种通过调整单个阈值来确定分类误差的示例性方法；图6A、6B和6C示出了根据本发明的一种通过计算绝对图像强度差别来确定图像 差别的示例性方法；图7示出了根据本发明的、将一个特征同时分类为畅通路径的一部分和被检测物 体的、作为图像分析方法的一种示例性方法；图8示出了根据本发明的、将一个特征同时分类为畅通路径的一部分和被检测物 体的、作为图像分析方法的另一种示例性方法；图9示出了根据本发明的一种基于补片来检测畅通路径的示例性方法的流程图；图10以绘图方式示出了根据本发明的应用于示例性图像的示例性的多个透视补 片；图11是根据本发明的用于检测畅通路径的基于富含纹理像素的方法的流程图；图12是根据本发明的用于检测畅通路径的基于无纹理像素的方法的流程图；图13是根据本发明的使用畅通路径检测方法的第一等级结构检测车辆行驶的畅 通路径的流程图；图14是根据本发明的使用畅通路径检测方法的第二等级结构检测车辆行驶的畅 通路径的流程图；图15示意性地示出了根据本发明的示例性的基于示例的方法的操作。
具体实施例方式现在参考附图，附图的目的仅在于示出某些示例性实施方式，而并非用于限制本 发明，图1示出了根据本发明的摄像机110的示例性设置，摄像机110定位在车辆100前部 并指向车辆100前方的地面。摄像机110与处理模块120进行通讯，处理模块120包含处理来自摄像机110的输入的逻辑算法。车辆100也可以配备雷达成像系统130，当配备雷达 成像系统130时该系统同样也与处理模块120进行通信。本领域技术人员应该理解的是， 车辆100能够利用多种方法来识别路面状况，这些方法可与摄像机110和雷达成像系统130 同时使用或者选择使用，包括LIDAR、与数字地图结合的GPS信息、来自与车辆100通信的其 他车辆的信息、来自与车辆100通信的基础设施的信息、特定道路的历史数据、生物检测信 息-例如读取驾驶员视觉焦点的系统信息、或其他类似系统。本发明可应用于各种设备，因 此不局限于此。摄像机110是本领域公知的，其能够将光辐射、红外辐射或其他电磁(EM)辐射形 式的视觉输入转换成易于分析的数据格式，例如数字图像、像素图像。在一个实施方式中， 摄像机110使用电荷耦合装置(CCD)传感器来产生表示视场的图像。优选地，摄像机110被 配置成连续产生图像，例如，每秒钟产生30幅图像。由摄像机110产生的图像可以存储在摄 像机110内的存储器中或者传给处理模块120来存储和/或分析。优选地，摄像机110所 产生的每幅图像都是由多个可识别像素构成的、已知像素维度的二维图像。多个可识别像 素能够以阵列方式来存储和分析。每个像素可以在阵列中表示为一组比特(bit)或多组比 特，其中，比特对应于预定调色板或色彩图中的颜色。例如在红-绿-蓝(RGB)颜色模式或 青-品红-黄-黑(CMYK)颜色模式中，每个像素能够表示成多个颜色强度值的函数。优选 地，每个像素包括多组比特，其中每组比特对应于一个颜色强度和一个颜色强度值，例如， 在RGB颜色模式中，第一组比特对应于红色强度值，第二组比特对应于绿色强度值，第三组 比特对应于蓝色强度值。雷达成像装置130是本领域公知的装置，其包含如下设备发射器，其能够发射无 线电波或其他电磁辐射；接收器，其能够感测被发射器前的物体反射而回到接收器的发射 波；以及将感测到的波转换成能够分析的数据格式的装置，这些数据表示出从物体反射回 的波的范围和角度等信息。替代性地，可使用光检测和测距(LIDAR)系统来取代雷达成像 装置130或者作为其补充，光检测和测距系统被构造成发射并接收光能量。接收到的光能 量可以用来确定车辆100附近的物体的尺寸和/或几何参数。需注意的是，对于执行这里 公开的很多方法而言，雷达成像装置130是可选的而不是必须的，其中，处理视觉图像能够 实现畅通路径检测。此处所用的术语“畅通路径(clear path) ”的含义对本领域普通技术 人员来说是普通的、常规的含义(并且不限定于特殊的或专用的含义)，其指的是_但不局 限于不存在超过阈值的物体的路径。图1示出了处理模块120，这里将处理模块120描述成一个分立元件。这种图示 是为了描述方便，应该认识到这个元件所实现的功能可以由一个或多个装置组合完成，例 如在软件、硬件和/或专用集成电路中执行。处理模块120可以是一个通用数字计算机，其 包括微处理器或中央处理单元；由包括只读存储器的非易失性存储器和电子可编程只读 存储器组成的存储介质；随机存取存储器；高速时钟；模_数和数_模转换电路；输入/输 出电路和装置以及适当的信号调节和缓冲电路。可替换地，处理模块120可以是一个数字 信号处理(DSP)单元，例如现场可编程门阵列的定制集成电路。处理模块120具有一组处 理算法，这些算法包括在非易失性存储器中存储并且被执行以提供所需功能的常驻程序指 令和校准值。算法优选在预设环路循环中执行。算法由中央处理单元执行，并能够监测来 自上述检测装置的输入，并且这些算法通过使用预设的校准值来执行控制和诊断程序以便控制致动器的操作。环路循环可以规则性间隔执行，例如，在发动机运行和车辆操作中，每 3. 125,6. 25、12. 5、25和100毫秒执行一次。可替换地，算法可以响应于事件的发生来执行。处理模块120处理在其中存储的算法代码，以便监测相关仪器，如摄像机110、雷 达成像系统130，并执行在处理模块内进行的分析所指示的命令或数据传输。处理模块120 可包括算法和机构来实现自主驾驶控制，其实现方式在本领域中是已知的，在此不再详述； 或者，处理模块120可以仅仅为一个独立的自主驾驶系统提供信息。处理模块120适于在 必要的时候接收来自其他系统和操作者的输入信号，这取决于与控制模块结合使用的具体 实施方式。图2示出了根据本发明的一种在自主行驶中确定畅通路径的已知方法。对应于车 辆100前方的道路产生图像10。通过多种方法中的一种，物体40A、40B和40C在图像10内 被识别，且每个物体根据过滤和训练的物体特性来进行分类。每个物体的单独处理在计算 量方面的强度较大，需要昂贵且笨重的仪器才能承受这种计算负荷。一种算法处理所有与 道路和物体40有关的可用信息，以便估计对车辆100来说可行的畅通路径。畅通路径的确 定取决于被识别物体40的特定分类和特性。图3示出了根据本发明的一种为自主或半自主行驶确定畅通路径的示例性方法。 图像10示出为包括地面20、水平线30以及物体40。图像10由摄像机110收集，并表示车 辆100前方的道路环境。地面20代表了在不考虑任何潜在物体的情况下所有可供车辆行驶 的路径。图3所示的基于路面20确定畅通路径的方法首先假设所有地面20都是畅通的，然 后利用可用数据来确定地面20的某些部分是不畅通的。图2是将每个物体40进行分类， 与图2的方法不同，图3的方法分析地面20，并从可用数据中限定出畅通路径信心几率，其 中，可用数据指的是因为一些异常而限制通行或不畅通的那部分地面20的数据，这些异常 是可检测的且可能代表物体40。关注地面20而不是物体40就避免了检测物体所带来的复 杂的计算任务。单独分类和对每个物体进行追踪就不是必须的了，因为独立的物体40都被 简单地统一为地面20上的整体均勻阻碍的一部分。上述地面20-也即在不进行区分的情况 下都能够行驶的路径减去地面20上被发现不畅通的不畅通区域，就可定义出畅通路径50， 也即图3中虚线内的区域，或者具有允许车辆100行驶的某个阈值信心几率的区域。在地面20上产生不畅通限制的物体40有多种形式。例如，物体40可以代表一个 独立的物体，如停着的汽车、行人或者道路障碍；物体40还可以代表不太明显的表面图案 变化，这些变化指示诸如路侧缘的路边缘、草的轮廓线或者道路上的水。物体40还可以包 括与地面20相联系的平坦路面的缺失，例如，路面上的大坑。物体40还可以包括相对于路 面在高度上没有任何明显变化的指示牌，但对于该路段来说是明显的畅通路径提示，例如 道路上的指示车道标记的图案。这里公开的方法并没有试图去识别物体40，而是通过提取 地面20上的视觉线索以及所有在图像10中的地面附近的物体，从而评估不畅通路径和畅 通路径的畅通路径信心几率，并在任何物体40存在时调整车辆100的控制。二维(2D)图像的自动分析有多种可行的方法。由处理模块120内的算法对图像 10进行分析。图4示出了根据本发明的一种可用于分析图像10的示例性方法。该方法将 图像10细分，识别地面20上的子图像或补片60来进行分析，从补片60中提取特征或分析 可用的视觉信息，以识别出其中的任何关切特征(interesting features)或区别特征，并 依据对特征的分析、根据畅通路径的信心几率来对补片进行分类。大于特定几率阈值的补片被归类为畅通的，对这类补片的汇编能够用来构成图像内的畅通路径。作为图像10的子图像，补片60能够通过多种已知方法来识别，例如，图像10的随 机搜索或密集搜索。可替换地，从其他信息源_例如雷达成像系统130得到的有关物体40 存在的信息能够用来识别补片，以分析能够描述物体40的那部分图像10。图像10需要很 多补片60来分析整个图像。另外，多个叠层补片或不同大小的补片能够用来全面分析包含 关切信息的图像10的区域。例如，一个小的补片60能够用来分析路上的一个小点；然而， 一个大的补片60需要用来分析一系列的点，这些点独自看来都不是关切点，但是对于整个 系列来说，其能够指示出关切物体40。另外，应用到某特定区域的补片的分辨率可以基于可 用信息进行调制，例如，可应用更多的补片到图像10中的物体40可能存在的区域。多种手 段或策略可以用来确定用于分析的补片60，本发明不限于这里所述的具体实施方式
。一旦补片60已被识别而用于分析，处理模块120就通过将已知的特征识别算法应 用到该补片而对该补片进行处理。另外，处理模块120能够对补片相对于车辆位置的位置 进行分析。特征识别算法寻找可用的视觉信息，以便找到与物体相关的图像中的特征性图 案，包括由线的方向、线的位置、颜色、角落特点、其他视觉属性和学习属性所定义的特征。 特征识别算法可以被应用到连续图像中以识别与车辆运动对应的变化，其中，与地面运动 不相关的变化可能被识别为不畅通路径。学习属性可通过车辆内的机器学习算法来学得， 但学习属性通常进行离线编程，且能够通过足以精确地训练区别属性的建模或其他技术以 实验方式、经验方式、预测方式来开发。—旦补片60中的特征被提取，补片就基于特征被分类以确定路径是否为畅通路 径的信心几率。几率分析在本领域是已知的，在这种分析中存在某特定条件的几率值或信 心被导出。应用到本发明中，分类包括几率分析以确定补片是否代表畅通路径、或者该补片 中的地面20是否被物体40所限制。在一个示例性实施方式中，分类通过应用分类器或算 法来实施，其中，所述算法因被训练而含有数据库，该数据库包括示例性路况以及与被检测 物体的相互作用。这些分类器允许处理模块120导出补片60的分数型式的畅通路径几率 值，该几率值将信心值量化在0与1之间，在该区间中，在补片内识别出的特征并不代表一 个将会限制车辆100自由行驶的限制物体40。阈值信心限定确定该补片是畅通路径的畅 通路径几率，例如可通过如下逻辑来设定阈值信心信心=畅通路径几率(i)如果_信心> 0. 5，那么_补片=畅通路径(1)在这个特定的示例性实施方式中， 50%或者0. 5的信心被选定为阈值信心。该数字能够通过足以精确评估用于畅通路径特征 的补片的建模或其他技术而实验方式、经验方式、预测方式来得出。在一个示例性实施方式中，如上所述的几率分析能够通过将训练过的分类器应用 到从补片提取的特征来实现。一种方法通过使用一组训练图像来分析假定的特征。在该 训练阶段，从一个原始特征组中来选择区别特征，区别特征由本领域的已知方法定义，例如 Harr小波、Gabor小波以及Leung和Malik滤波器组。另外，基于每个特征的最小分类误差 并且计算为错误接受率(FAR)和错误拒绝率(FRR)的总和的二维图像位置信息能够通过调 制图5所示的单一阈值而被使用。这种分类误差能用下面的表达式来描述分类误差(i) =FARJFRRi(2)从训练过的分类器中得到的信息用来分类或 加权特征，作为指示畅通路径或不畅通路径的特征。该特定分类取决于与训练数据的比较 强度。如果该特征是补片内的唯一特征，那么该特征的分类能够直接应用到该补片。有多个识别特征的补片的分类可能有多种形式，包括由最能代表补片是不畅通的包含特征来定 义补片，或者由所有包含特征的加权和来定义补片。上述方法能够用来检查单一图像10，并基于图像10内所包含的视觉信息来估计 畅通路径50。该方法可以随着车辆沿道路行驶而以某种间隔重复，从而考虑新的信息并将 确定的畅通路径扩展至车辆的新位置前方的某些范围。间隔的选择必须能够以足量频率来 更新图像10，以便准确地为车辆100提供行驶的畅通路径。然而，该间隔也可以选择为足以 控制车辆同时不会对处理模块120施加过度的计算负荷的某个最小值。如上所述，畅通路径检测能够通过单一图像10来完成。但是，补充使用与原始图 像的时间间隔非常近的第二幅图像，例如从连续视频补片得到的一系列图像，则能够提高 处理速度和精确度。第二幅图像能够与第一幅图像直接比较，并提供有关车辆行进和被检 测物体运动的最新信息。同时，摄像机110视角的改变允许对第一幅图像中的特征进行不 同的分析在第一幅图像中没有清晰地显现的或者不清楚的特征可能在不同的摄像角度中 出现、更加清楚，或者与第一幅图像相比已经移动的特征，也能够使得分类算法有额外的机 会来定义该特征。处理与原始图像10相关的第二幅图像能通过计算图像差异来进行。如果关切点 的图像差异-例如由雷达识别出的特征不是0，那么该点能够被识别为体现新的信息。图像 差别为0的点能够从分析中排除，且计算资源能够保留。确定图像差异的方法包括绝对图 像强度差异和车辆运动补偿的图像差异。通过计算绝对图像强度差异而确定图像差异能够用来收集两幅图像之间的信息。 一种绝对图像强度差异方法包括如下步骤确定原始图像与第二幅图像之间的等效图像特 征，以便补偿图像之间的车辆运动；重叠图像；并标注出图像强度之间的任何的显著变化。 表示图像强度在某个特定区域的变化的图像之间的比较包含新的信息。强度上显示出无变 化的区域或补片在分析中不再被强调，而在强度上显示出明显变化的区域被重点关注，使 用上述方法来分析任一或两个所获取的图像上的补片。图6A、6B和6C示出根据本发明的一种通过计算绝对图像强度差异来确定图像差 异的示例性方法。图6A示出了原始图像。图6B示出了比原始图像有所变化的第二幅图像。 特别是圆圈向左移动了。图6C示出了两幅图像的比较，所得结论代表了绝对图像强度差异 比较的结果，从第一幅图像到第二幅图像识别出一个区域的亮度变深、另一个区域的亮度 变浅。这种方法能够描述为区别。这种比较分析产生某种信息，该信息表明由运动或视角 变化引起的某种变化可能存在于图像区域中。这样，绝对图像强度差异能够用来分析一对 连续图像以识别潜在的不畅通路径。同样，通过计算车辆运动补偿的图像差异来确定图像差异能够用来收集两幅图像 之间的信息。计算车辆补偿的图像差异的很多方法是已知的。一种计算车辆补偿的图像差 异的示例性方法包括分析一个潜在物体，将其同时作为畅通路径的静态部分以及被检测物 体。对特征实施几率分析，其中，该特征是根据同时对两种分类的潜在物体进行识别所得到 的，分类可以被比较，例如可通过以下逻辑进行这种比较信心⑴=畅通路径几率⑴-被 检测物体几率⑴如果_信心>0，那么_补片=畅通路径(3)在这 种示例性的比较中，如果信心(i)大于0，那么包含该特征的补片被分类为畅通路径。如果 信心(i)等于或小于0，那么包含该特征的补片被分类为不畅通路径或受限制路径。然而，可以选择不同的信心水平数值来将路径分类为畅通路径。例如，测试可能会表明错误正值 比错误负值更有可能出现，因此可能会引入一些因数或偏差。图7示出了根据本发明的一种将特征进行分类的方法，如上所述，该特征同时作 为畅通路径的一部分和被检测物体被分类。图像10包括物体40、梯形投影70和矩形投影 80。这种方法假定投影物体40作为地面上投影70内的平面物体，以测试作为畅通路径的一 部分的特征的分类。该方法还假设投影物体40作为一个在矩形投影80内的垂直物体，来测 试特征作为被检测物体的分类。图8示出了根据本发明对在两幅图像之间收集的数据进行 比较以评价本发明的物体40的属性的方法。摄像机110在、时刻发现并以第一幅图像的 形式获取了来自物体40的数据。如果物体40是一个实际检测到的物体，那么在、时刻摄 像机110观测到的物体40的轮廓将与点90A相对应。如果物体40是一个与地面20在同一 平面上的平坦物体，那么摄像机110在、时刻观测到的物体40的轮廓将与点90B相对应。 在时刻、和t2之间，摄像机110行驶了一定的距离。在t2时刻获取第二幅图像，关于物体 40的信息能用算法来进行测试，该算法着眼于第二幅图像相对于第一幅图像的可见属性。 如果物体40是一个实际检测到的物体，且从地面20向上延伸，那么在时刻t2物体40的轮 廓将在点90C处被观察到。如果物体40是一个与地面20在同一平面上的平坦物体，那么 物体40在时刻t2的轮廓将在点90B处被观察到。通过车辆运动补偿的图像差异所得到的 比较能够通过使用基于对点90进行观察的分类器直接设定一个信心值；或者，该比较可以 简单地指向显示变化的区域，作为关切点。对被作为平坦物体和实际检测到的物体分类的 物体进行的测试使得要么能够识别包含物体40的区域以便通过如上所述的补片分析进行 进一步分析；要么能够直接得出畅通路径几率和被检测物体几率值以便例如在上述逻辑表 达式3中进行比较。从对第二幅图像的分析所得到的可用信息能够通过结合与车辆运动有关的信息 而被额外改善，所述信息例如是速度和偏航率。与车辆运动有关的信息可以有很多来源，包 括车辆测速仪、车辆动力传感器或车轮速度传感器、防抱死制动机构和GPS定位系统。可在 算法中利用这种车辆运动信息，例如结合图7和图8所示的投影，以便基于从第一幅图像得 到的数据和车辆在两幅图像之间的测得运动来投影某些角度，所述角度应当出现在第二幅 图像的地面上的平坦特征中。比较所用的图像数量不一定限制为两个。多个图像分析可在多重迭代中实现，物 体在多个循环中被跟踪和比较。如上所述，计算效率能够通过图像差异分析而得以提高，其 中，图像差异分析识别关切点并剔除与后续分析具有0差异的区域。这种效率能够用在多 重迭代中，例如，也就是说只有在第一幅图像和第二幅图像之间识别出的关切点在第三和 第四幅图像中被分析。有时候，一组新图像需要被比较，以保证显示0差异的区域均没有任 何变化，例如，一个移动物体撞击到之前识别出的畅通路径上。图像差异分析和聚焦分析的 使用剔除了识别出零变化的区域，图像差异分析和聚焦分析的使用对于不同的应用和不同 的操作条件而言是不同的，这些操作条件例如是车辆速度或所观察到的操作环境。图像差 异分析和聚焦分析的特定应用可能有不同的实施方式，本发明不局限于此处提及的具体实 施方式。此处公开了用于识别畅通路径的多种方法，这些方法包括基于补片的方法和基 于像素的方法。这些方法优选地在处理模块120中执行，但是也可以组合在一个或多个装置中执行，例如，在软件、硬件和/或专用集成电路中执行。基于补片的方法在上文中以及 此处参考图9和10进行描述。基于像素的方法在此参考图11和图12进行描述。基于像 素的示例性方法包括无纹理方法和富含纹理方法。富含纹理方法基于图像内前后视图的关 系来分析图像中与像素相关的特征以确定明显的关切点。这些关切点与车辆100前方的视 场相对应地被绘图，并基于地图上的关切点的地形来确定畅通路径。图像上的不一致区域 不属于平坦连续路面的一部分，无纹理方法将这些区域进行过滤，剩下的像素就对应于畅 通路径。如上所述，基于补片的方法在计算上相对较快，而基于像素的方法在计算上相对较 慢。图9示出了根据本发明的一种基于补片的示例性方法200，其中，分析来自摄像机 的输入以确定畅通路径几率。基于补片的方法200如图9所示，该方法在这里被描述为包 含若干分立元件。这种图示是为了描述方便，这些元件所实现的功能可以组合在一个或多 个装置中完成，如在软件、硬件和/或专用集成电路中执行。例如，基于补片的方法200可 作为处理模块120中的一个或多个算法来执行。在操作过程中，摄像机110产生用于处理模块120中的分析的图像(202)。处理模 块120识别图像中的补片，并选择分析用的补片(204)。为了足以充分分析图像而定义多个 补片的多种方法都在本发明中考虑了。如上所述，补片可以根据随机搜索方法或者密集搜 索方法来定义。可替换地，从其他信息源_例如雷达成像系统或LIDAR所得到的信息能够 用来定义补片，以便分析图像的一部分。此外，多个重叠补片可以基于被分析图像中的关切 区域而被利用。另外，可以使用多种方法来根据车辆前方的预期路面定义补片并得到畅通 路径图案，例如固定网格补片方法，将一些或所有图像根据规则补片图案进行划分；视角 补片方法，与固定网格补片方法类似，不同点在于，其基于道路的视图并且在考虑每个补片 中所包含的路面的量的情况下对补片大小和/或形状进行调制。这种车辆前方的预期路面 能够通过输入图像的最初复查来判定，例如，使用能够定义车道边界的清晰可见的线来作 为定义补片图案的最初参考。再例如，能够使用由畅通路径方法的最近一次迭代所得到的 补片图案，并且基于反复定义的畅通路径和其他能在被分析图像中识别出的标识、通过迭 代对其进行缓慢调制。固定网格补片方法基于关切区域将图像识别并分割成多个补片，并将固定网格图 案应用到关切区域。固定网格图案将整个关切区域充分分割为多个部分。关切区域优选环 绕紧邻车辆前方的视场，然而，该区域可定义为环绕更窄的视场。在一个实施方式中，关切 区域环绕紧邻车辆前方的视场，并由道路的水平线或消失点来限定边界。固定网格补片方 法可包括通过矩阵进行补片追踪、识别和分析，其中，每个补片可通过一个数字序列的数字 来识别。固定网格补片能通过多种方法应用到图像上。第一种方法是使用相同的图像坐标 将固定网格补片应用到连续图像。第二种方法是使用在图像上识别出的关切点-例如水平 线将固定网格补片应用到图像。第三种方法是将固定网格补片应用到补偿车辆运动-例如 车辆偏航的图像。视角补片方法基于视场坐标而不是图像坐标来识别图像、并将图像分割成多个补 片。关切区域的识别已在之前进行了描述，其中，视角补片图案基于估计出的视场坐标被应 用到关切区域，从而相对于由每个补片覆盖的地面的近似面积对补片大小进行分配。这种视角补片定义使得描述更接近车辆的地面的补片被更详细地复查，而描述离车辆较远的 地面的补片不会被过多地复查。补片能够根据所获取的道路上的行车道进行排列，例如，由 车道标志和/或路缘限定的车道。这些补片定义经常是梯形的，梯形的两个平行边与地平 线或车辆的水平轴相平行，梯形的其余边取决于限定在图像视图中的路面。这种补片排列 对定义路面是高效的。然而，多种不同的补片形状使得补片网格的计算以及补片的分析很 复杂。补片可以被规范为矩形(或方形)，仍然平行于地平线或车辆的水平轴。这种矩形补 片在覆盖路面方面效率较低，例如，与补片相重叠的若干路面部分包括实际上畅通的道路， 但是补片的足够的分辨率以及计算效率的提高能够使得这种规范化的视角补片变得有利。图10以绘图方式示出了应用于示例性图像的示例性的多个规范化的透视补片。 这些透视补片的尺寸基于与透视补片相关的地理区域而变化。如图10所示，与靠近车辆的 地理区域相关的补片比与远离车辆的地理区域相关的补片的尺寸更大。根据地理区域在图 像上定义补片使得能够基于地理区域分配补片的处理资源，从而在作出驾驶决定的时间比 较有限的情况下提高检测车辆附近的物体的能力。回到图9，一个滤波器或一组滤波器能被应用到被选择的补片上(206)，例如，亮 度规范化滤波器(lighting normalization filter)。一个示例性的规范化滤波器改变补 片内的像素强度值的范围，因此使得补片的范围更适合机器处理。例如，将每个像素值规范 化为零均值和单位方差能够增强图像的对比度，特别是在光线较暗的环境下或者因为反光 而造成对比度较低的情况下。多种示例性滤波器和滤波方法对图像分析都有用，本发明不 局限于此处描述的特定的示例性实施方式。经过滤波之后，在被选择的补片上用特征提取算法进行特征提取(208)。特征提取 算法可对所选的补片进行分析以得到预定的特征和/或形状，其中，预定的特征包括例如 边缘、角落和污点；形状包括例如圆、椭圆和线。应当认识到，一些特征有意义，而另一些没 有，选择特征的过程能用来识别出一组最好的特征用于进行分析。分类器训练算法分析每 个特征，并分配一个几率值(210)。如上所述，在几率值推导时所使用的分类器或逻辑最初 是离线训练的。基于模糊逻辑、神经网络或本领域已知的其他学习机构，训练可选择性地在 车辆中继续进行。这些训练过的分类器基于所提取的特征进行几率分析，并确定补片的几 率值。这种几率值表示被选补片为畅通的信心。几率分析可通过使用空间和/或时间上相关的补片来扩充，以评估在车辆操作过 程中识别出的特征。当特征提取算法识别出一个特征时，处理模块120可以从空间方面分 析该识别出的特征在邻近或附近的补片中的一致性。在一个补片中识别出的特征可以与 其他相邻的补片进行比较，以确定其与相邻补片之间是否有偏差或者是否一致。与相邻补 片一致的特征可以被分配一个与相邻补片近似的几率值，而与相邻补片不一致的特征需被 分配一个不同的几率值。与空间分析类似，当特征提取算法识别出一个特征时，处理模块 120可以从时间方面分析被识别特征在时间相关的补片中的一致性，从而对车辆运动进行 补偿。例如，在若干帧中分析并被确定为在图像的各帧中具有高几率值的特征，能够与后续 帧中的收到低几率值的相同特征从时间方面进行比较。如果该特征的时间分析揭示了新信 息，例如相对于道路的特征运动；或者增加的视角表明该特征代表了位于路面上的一个物 体，那么该特征的较低几率值能够被确定。如果没有得到新信息，那么当前帧中的特征的较 低几率值可以被中止，因为其不一定表示不畅通路径。可用类似的方法来分析后续帧，以确定该特征是显著的还是非显著的。类似地，根据此处描述的方法，有问题的特征能够在当前 的或者后续的图像中、通过增加计算侧重点来进行分析。处理模块120将几率值与几率阈值进行比较(214)。如果几率值比几率阈值大，那 么该补片被识别为畅通路径(218)。如果几率值不比几率阈值大，那么该补片就被识别为不 畅通路径。如上所述，基于补片的方法200可以通过多种方式进行重复或迭代，通过不同补 片的选择和分析对同一图像进行反复分析，并且能够在多个连续图像中追踪被识别的补片 并分析其变化。图11示出了根据本发明的一种示例性的基于富含纹理的像素的方法300，其中， 对摄像机的输入进行分析以确定畅通路径几率。图10中示出了基于富含纹理的像素的方 法300，并且在此处描述为包含若干分立元件。这种图示是为了描述方便，应该认识到，这些 元件所实现的功能可以组合在一个或多个装置中完成，例如在软件、硬件和/或专用集成 电路中执行。例如，基于像素的方法300可作为处理模块120中的一个或多个算法来执行。在操作过程中，摄像机110产生图像以便在处理模块120中对其进行分析(302)。 处理模块120分析图像以找到关切点，例如，如上所述地检查像素颜色强度，并将像素或一 组像素与周围像素进行比较。关切点是图像上的可识别像素，并与一系列视觉信息-即富 含纹理的特征相联系，并且与位于视场中的物体相联系。通过本领域已知的方法，例如，比 例不变特征变换(SIFT)，利用角落检测或其他形状检测的方法；或者Sobel滤波器，关切点 可被识别并用以完成此处所述的方法(306)。在一个实施方式中，多余关切点-例如与同一 特征相对应的多个关切点将被剔除，以便提高计算效率。一旦识别出关切点，在可能的情况下，处理模块120比较车辆运动时的连续图像， 以便对来自每个图像的关切点与连续图像中的对应点进行匹配(310)，这些对应点在视场 中对应于相同的点。匹配包括使用对应匹配程序，例如，比例不变特征变换(SIFT)特征匹 配程序和光流程序；并且可进一步包括通过模版匹配来定位对应点，从而考虑宿主车辆的 运动，并且对两个点是否代表视场中的同一可见物体或可见特征作出最佳估计。模板匹配 可通过多种方法中的一种来确定以便找到对应的关切点，包括若干已知模板匹配程序方法 中的一个，例如Lucas-Kanade或者Horn-Schunck。匹配后的点对与位于两幅图像中的同一 特征相对应，其中，该同一特征与视场中的同一物体相关联。虽然可以匹配关切点，但不是 所有匹配的对应点对都代表高质量的对应点对，高质量的对应点对允许识别它们在视场中 的三维位置以便分类为能使车辆通过的畅通路径。处理模块120对匹配的对应点对进行滤波，以便识别出高质量的、能够在三维位 置识别中以高信心水平被应用的对应点对(314)。优选的匹配点对可以基于质量控制标准 进行选择，例如，两个点之间的距离，与图像边界之间的距离以及各相邻像素之间的颜色相 似度等。判断匹配点对的标准的选择还可基于如下条件，例如当前车外亮度、天气、车辆速 度和其他任何影响判断匹配点对的能力的因素，或者快速、精确地定义畅通路径的紧迫性。高质量的对应点对被分析以确定视场中的由对应点对所代表的物体的三维位置 (318)。应当理解的是，与地面相比具有不同高度的对应点在连续图像中会有不同的运动。 在连续图像之间分析关切点的运动能够产生关切点的估计出的三维坐标。基于高质量的对 应点对、连续图像之间的样本时间以及诸如车速、车辆偏航率等的车辆数据，能够确定物体位置。通过这些三角测量方法能够得到物体在水平面中的位置以及物体相对于地面的高度。所确定的物体位置用来对宿主车辆前方的物体位置进行绘图(322)，所绘地图包 括视场的估计地形。地形可通过指定物体周围的预定空间维度来估计。优选地，预定空间 维度在高度方面相对于距物体的距离以预定速度减小。通过使用地图和估计地形，处理模 块120能够确定宿主车辆前方的畅通路径(326)。上面的方法应用连续图像来建立有关车辆前方的物体位置和垂直高度的地图，从 而可以确定一条畅通路径。应当理解的是，在任意两个给定的图像中，一个特定物体可能不 会被分类为包含两个足够在该特定分析中被绘图的、高质量的关切点。然而，上述分析在车 辆行驶过程中每秒钟发生多次。当车辆在畅通路径上向前行驶时，将得到物体的不同视角， 并将分析大量的图像。在路径上行驶并分析该路径上的多个迭代图像，可通过所述分析建 立一个信心值，该信心值表明在被识别的畅通路径上不存在阻碍畅通路径的物体。图12示出的是根据本发明的一种示例性的基于无纹理像素的方法400，其中，分 析摄像机的输入以确定畅通路径的几率。基于无纹理像素的方法400在图12中示出，并在 此处被描述为包含若干分立元件。这种图示是为了描述方便，应该认识到，这些元件所实现 的功能可以组合在一个或多个装置中完成，例如在软件、硬件和/或专用集成电路中执行。 例如，基于无纹理像素的方法400可作为处理模块120中的一个或多个算法来执行。在操作过程中，摄像机110产生图像以便在处理模块120中对其进行分析(453)。 处理模块120通过多种滤波方法来分析图像以识别并剔除图像中不一致的像素。剩余的像 素代表了车辆可以行驶的潜在的畅通路径。图11示出的基于无纹理像素的方法400包括 识别并剔除图像中的不一致像素的4种示例性滤波方法。无纹理的方法能与四种示例性方 法的某些部分结合应用，并且/或者可用未命名的类似方法来处理图像。第一种示例性滤波方法剔除在地平线或者消失点以上的像素(456)，包括天空和 其他不能构成路面的一部分的垂直特征。术语“消失点”是一个广义的术语，此处采用对本 领域普通技术人员而言常用和常规的含义，指的是地平线上的无穷远的、与视野中地面上 的多个平行线交叉的点。识别路面从而建立车辆行驶的畅通路径必然在消失点或地平线以 下。滤波图像以便仅分析地平线以下的区域有助于使被分析以识别路面的像素与不相关的 像素区分开。本领域技术人员可以理解，确定消失点和对应的地平线有很多已知的方法。第二种示例性滤波方法应用基于像素颜色强度差异的滤波器(459)，其前提是路 面将包括一个大的表面，该整个表面上的视觉强度都相同。当相关像素颜色强度变化大于 预设的阈值时，从图像中剔除这些像素。对于与多种颜色相关联的像素，当任何特定颜色的 像素颜色强度变化大于预设的阈值时，从图像中剔除这些像素。基于被识别为畅通路径的 像素的历史颜色强度，预设的阈值能够被更新。第三种示例性滤波方法应用基于连续图像的差异的滤波器，其能够分析图像之间 的变化(462)。某些像素与一种像素颜色强度相关联，当该像素颜色强度变化大于预设的阈 值时，从图像中剔除这些像素。在一个实施方式中，基于车辆的运动来调整图像，从而对像 素进行区别和比较，就像所有像素都与地平面上的点相对应一样。已知的三角测量方法能 用来确定对图像的运动调整。通过假设图像上的所有物体都在地平面上，同与地平面关联 的像素不一致的变化能够用来识别那些不在地平面上的点。例如，地平面上方的像素在连续图像之间的运动可能比预料的更快，这种运动能够通过在连续图像之间检查像素颜色强 度之间的差异来进行识别。第四种示例性滤波方法应用基于视觉数据中的代表边缘或过渡的像素识别的滤 波器(465)。为了产生第四个滤波图像，基于与边缘相对应的颜色强度值，通过使用几种已 知边缘检测滤波器中的一种-例如Sobel滤波器，处理模块120从图像中提取像素。边缘 检测滤波器优选在处理模块120中执行，但也可以组合在一个或多个装置中执行，例如在 软件、硬件和/或专用集成电路中执行。在一个实施方式中，每个像素都使用Sobel算子来 进行分析。Sobel算子计算每个像素颜色强度的梯度矢量，从而生成从亮到暗的最大可能增 加的方向以及该方向上的变化率。与超过阈值的变化率相对应的点以及与附近像素的梯度 矢量相对应的点代表了边缘，并被包含在第四个滤波图像中。当其他像素从图像中剔除时， 这些像素仍被保留。通过并行应用各种方法，结果能够融合到图像的单个地图中(468)。融合包括在每 种不同的滤波方法中被识别的像素。融合的畅通路径地图上的像素与视场中期望的驾驶位 置相对应。融合的畅通路径地图上的没有像素的位置与视场中不期望的驾驶位置相对应。 处理模块120能够分析地图，以得到指示用于驾驶的畅通路径的视觉数据(471)。如图12所示的基于无纹理像素的方法400将不同方法并行应用到图像，以识别视 场中与定义畅通路径有关的特征。然而，应当理解的是，这些方法并非必须并行执行，也可 以在各个步骤中连续地或者有选择地用这些方法处理图像，以识别视场中与定义畅通路径 相关的特征。基于像素的畅通路径的另一个检测方法包括应用融合的富含纹理方法和无纹理 方法。富含纹理方法和无纹理方法能够通过多种方式进行融合。带有被识别点和所确定 的高度的、通过富含纹理方法识别出的图像能够由无纹理方法产生的滤波图像覆盖，并且 两种方法的一致性能用来通过重叠图像定义畅通路径。在另一种融合两种方案的方法中， 来自每个方案的数据都能用来将信息投影在车辆前方区域的的编程上方地图上，包含从两 个方案的分析中得到的数据的该上方地图可包含建立该地图的各个区域的信心指示。在另 一种融合两种方案的方法中，一个方案可作为主要或主导方案使用，第二个方案可用来分 析或者被激活以便分析在视场中被识别为不清晰或不清楚的区域。在融合两个方案的任何 方法中，一个处理方案的长处能用来弥补另一个处理方案的弱点。如果两个方案同时认定 路径是畅通的，那么应用这些方案的处理模块可通过更高的信心水平来确定车辆适于通过 该路径。融合这些识别方案的多种方法都已被考虑到，本发明并不局限于此处所描述的特 定实施方式。另外，其中一个或两个方案可与上述利用补片分析的方法进行组合。本领域技术人员能够认识到，亮度规范化(lighting normalization)可应用于所 获取的图像数据。规范化是改变像素强度值的范围的一种过程。规范化的目的是将图像的 范围改变为更适合机器处理的范围，以提高可靠度。例如，每个像素值被规范化为零均值和 单位方差，以提高图像的对比度，特别是在光照较暗的环境中或对比度因为反光而较低的 情况下。如上所述，基于示例的方法能够替换其他方法或者作为补充来基于输入图像定义 畅通路径。基于示例的一种示例性方法可由下列操作来描述收集视图的多个样本图像，定义每个样本图像的畅通路径，将当前图像与一个或多个样本图像进行匹配，以及基于上述 匹配来确定畅通路径。将当前图像与一个或多个样本图像进行匹配可通过如下方法实现 例如通过此处描述的方法从每个样本图像中提取特征，从当前图像中提取特征，将从当前 图像中提取的特征与从样本图像所提取特征的数据库进行比较，以及为当前图像选择匹配 的样本图像。畅通路径可从匹配最佳的样本图像中选出或者基于与当前图像最接近的匹配 的组合来确定。图15示意性地示出了根据本发明的示例性的基于示例方法的操作。基于示例的 方法700被示出在图15中，并且在此描述为包括离散元件。这种图示是为了便于描述，并且 应该认识到，由这些元件执行的功能可以组合在一个或多个装置中，例如在软件、硬件、和/ 或专用集成电路中执行。例如，基于示例的方法700可以作为处理模块120中的一个或多 个算法来执行。方法700示出了当前图像与多个示例或样本图像进行比较来确定畅通路径。如上 所述，多个样本图像通过特征提取(704)被分析，并且例如在离线训练过程中所确定的特 征被存储在改良的数据库中。方法700输入当前图像并在图像上执行特征提取(702)。当 前图像的当前特征得以产生。这些当前特征被用于在改良数据库中选择与当前特征匹配的 一个或多个特征(706)。在这个示例性的实施方式中，三组匹配特征被识别出来。匹配特征 的对应图像然后与当前图像进行比较，当前图像的畅通路径基于匹配的样本图像的畅通路 径被确定或推断出来(708)。本领域技术人员应该理解的是，如上所述的基于示例的方法能够用来在下述情形 中作出判断其中各表面之间的视觉差别-例如相似颜色或不具有主导方向的各向同性纹 理或者图像中区别不明显的特征可能无法通过本文描述的其它示例性方法而得到精确的 结果。在这些实例中，样本图像的人为定义的畅通路径能够提供畅通路径位置的高级输入。 此外，还应该理解的是，摄像机检测中的模糊处或弱点-例如存在于一些摄像机图像中的 或聚集在背景建筑物中的大的径向变形，可导致在根据本文描述的其它方法解释图像时发 生扭曲或得出不精确的结果。但是，图像中的这些模糊处或弱点在所公开的基于示例的方 法中使用的样本图像和当前图像中都存在，因此将会被去除。特别地，如参照本文公开的分 级方法所描述的，在基于补片的方法和/或基于像素的方法不能清楚地识别出畅通路径的 情况下，基于示例的方法提供处理图像并识别畅通路径的替代性方法。如上所述，示例性的基于补片的方法和基于像素的方法用于分析补片或补片中的 像素以判断该补片表示的是畅通路径还是非畅通路径。另一方面，基于示例的方法确定或 推断当前图像上的畅通路径的位置。应用分级方法，用基于示例的方法确定的畅通路径与 被进一步分析的补片的位置进行比较，并且基于所述比较能够将该补片标识为畅通或非畅
ο本文公开了使用基于计算强度设置的畅通路径检测算法的等级结构来检测车辆 行驶的畅通路径的方法。在该等级结构中，用计算强度较小的检测方法识别图像中的畅通 路径，留下图像中没有被识别为畅通路径的剩余部分用计算强度较大的方法来分析。以这 种方式，畅通路径识别的计算效率便会提高。如上所述，所用的特定方法和所用的特定分级 方法的等级结构可以不同或变化。使用等级结构检测畅通路径的第一种示例性方法包括使 用基于补片的畅通路径检测方法和基于像素的畅通路径检测方法。基于补片的畅通路径检测方法首先识别图像中的畅通路径，而基于像素的畅通路径检测方法被用来分析没有被基 于补片的方法识别为畅通路径的剩余图像部分。本文公开的第二种示例性方法结合有额外 的等级层。在第二种方法中，基于示例的方法进一步分析没有被基于像素的方法识别为畅 通路径的部分。等级结构的进一步的示例性实施方式已被预想到。例如，等级结构可被定义为包 括基于补片的方法、基于像素的方法、和另一个基于像素的方法。在另一个示例中，等级结 构可以被定义为包括基于像素的方法、然后是基于像素的方法的融合、然后是基于示例的 方法。应该理解的是，这种结构不再限制于基于补片的方法的补片，其能够定义将通过不同 等级层以不同方式来分析图像区域。例如，基于像素的方法能够识别圆形的区域或像素群， 并且只有该区域或群能够被后续的畅通路径方法分析。可以预想到多种不同的等级结构， 并且本发明并不局限于本文所述的特定实施方式。图13示出了控制方案500的流程图，该控制方案使用包括基于补片的方法和基于 像素的方法的畅通路径检测方法的示例性等级结构来检测车辆行驶的畅通路径。控制方案 500被示出为多个离散元件。这种图示是为了便于描述，并且应该认识到，由这些元件执行 的功能可以组合到一个或多个装置中，例如在软件、硬件、和/或专用集成电路中执行。例 如，控制方案500可以作为处理模块120中的一个或多个算法来执行。在操作过程中，摄像机110产生用于在处理模块120中分析的图像(502)。使用上 述基于补片的畅通路径检测方法中的一个来分析所述图像(504)。处理模块120使用基于 补片的方法在这些图像中识别多个组成补片。使用基于补片的方法对每个组成补片进行特 征分析以确定如上所述的信心几率(506)。如上所述，信心几率表示该组成补片是车辆行驶 的畅通路径的一部分的可能性。确定了多个组成补片的信心几率值之后，处理模块120将该信心几率值与第一和 第二预定阈值进行比较以确定所述组成补片是畅通的还是非畅通的，或者选择其用于额外 的分析。与大于第一预定阈值的信心几率对应的组成补片被指定为畅通路径(508)。不大 于第一预定阈值但大于第二预定阈值的组成补片被选择用于进一步分析(510)。小于第二 预定阈值的组成补片被指定为非畅通路径(520)。在选出用于进一步分析的那部分组成补片之后，处理模块120使用基于像素的畅 通路径检测方法分析这些组成补片(512)。处理模块120应用上述基于像素的畅通路径检 测方法来确定上述信心几率，从而基于通过基于像素的方法识别出的特征来确定所选的组 成补片是对应于畅通路径还是非畅通路径(514)。应该理解的是，基于像素的方法根据一个 像素或一组像素来做出决定。用于被分析补片的这种决定可基于包含在该补片内的像素作 出，例如，如果补片内的任何或某些最小数量的像素被确定为非畅通的，则该补片被确定为 非畅通的。与大于预定阈值的信心几率值相关联的组成补片对应于畅通路径，而与小于预 定阈值的信心几率值相关联的组成补片对应于非畅通路径(515)。在分析所选出的组成补片之后，可使用对应于畅通路径的组成补片(516)和对应 于非畅通路径的组成补片(520)来识别畅通路径。图13描述了使用第一预定阈值和第二预定阈值来判断特定补片是畅通的还是非 畅通的，或者是需要额外分析的。应该理解的是，这对阈值可相反地描述为表明何时应该执 行额外分析的数字范围。
图13进一步描述了使用较低的第二预定阈值以定义马上被认为是非畅通路径的 补片。但是，应该认识到的是，可以在没有第二阈值的情况下采用相似方法，其中任何没有 在第一种分析中识别为畅通路径的补片都将在第二种分析中被进一步分析。图14示出了控制方案600的流程图，该控制方案使用包括基于补片的方法、基于 像素的方法和基于示例的方法的畅通路径检测方法的等级结构来检测车辆行驶的畅通路 径。控制方案600被描述为包括多个离散元件。这种图示是为了便于描述，并且应该认识 到，由这些元件执行的功能可以组合到一个或多个装置中，例如在软件、硬件、和/或专用 集成电路中执行。例如，控制方案600可以作为处理模块120中的一个或多个算法来执行。在操作过程中，摄像机110产生用于在处理模块120中分析的图像(602)。使用上 述基于补片的畅通路径检测方法中的一个来分析所述图像(604)。基于补片的方法识别这 些图像内的多个组成补片和这些组成补片内的特征。在识别组成补片内的特征之后，处理 模块120如上所述地使用几率分析来确定每个组成补片的信心几率。与大于第一预定阈值 的信心几率相关联的组成补片被指定为畅通路径(606)。与不大于第一预定阈值但大于第 二预定阈值的信心几率值相关联的组成补片被选择用于进一步分析(608)。与小于第二预 定阈值的信心几率值相关联的组成补片被指定为非畅通路径(622)。选出用于进一步分析的那部分组成补片之后，处理模块120使用上述基于像素的 畅通路径检测方法来确定上述信心几率，从而确定所选的组成补片是对应于畅通路径还是 非畅通路径(610)。基于像素的方法识别用于几率分析的特征，以确定所述组成补片的信心 值。与大于第三预定阈值的信心几率值相关联的组成补片对应于畅通路径的(612)。与不 大于第三预定阈值但大于第四预定阈值的信心几率值相关联的组成补片被选出来用于进 一步分析(614)。与小于第二预定阈值的信心几率值相关联的组成补片被指定为非畅通路 径(622)。在选择像素之后，处理模块120使用示例性的基于示例的畅通路径检测方法来分 析像素并且确定信心几率(616)。与大于预定阈值的信心几率值相关联的组成补片对应于 畅通路径(618)。与小于第二预定阈值的信心几率值相关联的组成补片被指定为非畅通路 径(622)。在分析所选的组成补片之后，可以使用对应于畅通路径的组成补片和像素(620) 和/或对应于非畅通路径的组成补片和像素(622)来识别畅通路径。图14描述了一系列阈值，并且所述阈值由一系列数字标记标识(第一、第二、第 三、等)。应该理解的是，这些标记仅用于表明这些阈值彼此之间可能不同。用于每次比较 的较高或较低的阈值可能是不同的或相同的。但是，图14中只给出了这些标记，并且这些 数字标记并不暗示其可能互不相同之外的任何涵义。在各种预想到的实施方式中，上述等级结构或方法基于计算或处理的复杂性定义 所述等级的各个阶段，优选在使用高强度方法之前使用低强度的方法。但是，应该理解的 是，计算强度并不是用来定义用于每个等级阶段的特定方法的唯一考虑因素。例如，在正常 条件下，可以使用图14的等级结构，首先应用基于补片的方法，接着是基于像素的方法，最 后是基于示例的方法。但是，所用方法的顺序或一种方法的去除或替代可以基于觉察到的 因素来设定。例如，在脏路的路面或覆盖有雪的路面上行驶时其中某种方法可能会产生很 差的结果。类似地，具有快速变化的交通状况或行人交通的城市环境可能使其中某种方法产生很差的结果。由摄像机镜头上的污点所导致的来自摄像机的图像的污染也可能类似地 使某种方法的结果较差。车辆速度可能会影响某种方法的结果的质量。这些因素可以通过 实验方式、计算方式来确定，或者基于建模或者其他任何足以精确估计根据输入图像来确 定畅通路径的不同畅通路径方法的有效性的方法来判定。另外，基于车辆内使用的多种畅 通路径方法和车辆的合成操作，可以执行例如机器学习算法或者模糊逻辑的方法以便适应 用于分级方法的各种畅通路径方法的选择。车辆的这种操作能够用本领域已知的很多方法 来判断，例如，在车辆控制中监测操作员介入的发生或者通过监测图像中的、描述车辆在车 道上的后续控制的车道标记的位置。在这些畅通路径方法中进行选择以及对各种畅通路径 方法的选择进行调整的多种方法都可以预想到，本发明并不局限于此处的公开的特定的示 例性实施方式。如图13和14所示，多个阈值信心几率被示出为与分级方法的每个层中得出的信 心几率进行比较。应该理解的是，这些阈值每个都可以是不同的和有差别的，能够被描述为 第一阈值、第二阈值、第三阈值等。例如，一些阈值是共用的，共用的阈值限定特定补片何时 是畅通路径。每个阈值的准确水平取决于用于分析补片的畅通路径方法并且可以通过实验 方式得出，或者通过足以评估或估计所采用的图像处理方法的操作的任何方法来得出。如上所述，处理模块120可包括通过此处未描述但本领域已知的方法来实现自主 驾驶控制的算法和机构，或者处理模块120可仅仅为独立的自主驾驶系统提供信息。对观 察到的物体的反应也可有所不同，包括但不局限于转向变化、节气门变化、刹车响应、警告 和将车辆控制交给操作者。已经描述了本发明的某些优选实施方式及其改型。通过阅读并理解说明书可以想 到进一步的改型和变型。因此，本发明并不局限于作为最佳实施模式而公开的特定实施方 式，相反本发明包括落入所附权利要求书的范围内的所有实施方式。
权利要求
一种使用摄像机产生的图像检测车辆行驶的畅通路径的方法，所述方法包括监测图像；应用图像的基于补片的第一分析，所述第一分析包括将图像分成多个补片以及分析每个补片以确定基于补片的第一分析的每个补片的第一畅通路径信心几率；将具有大于第一阈值信心几率的第一畅通路径信心几率的每个补片定义为畅通路径补片；在具有不大于第一阈值信心几率的第一畅通路径信心几率的部分补片上应用第二分析以确定所述第二分析的每个补片的第二畅通路径信心几率；将具有大于第二阈值信心几率的第二畅通路径信心几率的所述第二分析的每个补片定义为畅通路径补片；以及基于所述畅通路径补片识别车辆行驶的畅通路径。
2.如权利要求1的方法，还包括将基于补片的第一分析的每个补片的第一畅通路径信 心几率与第三阈值信心几率进行比较；并且其中，应用第二分析还包括在具有大于所述第三阈值信心几率的第一畅通路径信心几 率的基于补片的第一分析的部分补片上应用所述第二分析。
3.如权利要求2的方法，还包括将具有不大于所述第三阈值信心几率的第一畅通路径 信心几率的基于补片的第一分析的每个补片定义为非畅通路径补片。
4.如权利要求1的方法，还包括将具有不大于所述第二阈值信心几率的第二畅通路径 信心几率的所述第二分析的每个补片定义为非畅通路径补片。
5.如权利要求1的方法，其中，所述第二分析包括基于像素的畅通路径方法。
6.如权利要求5的方法，其中，所述基于像素的畅通路径方法包括富含纹理的畅通路 径方法。
7.如权利要求5的方法，其中，所述基于像素的畅通路径方法包括无纹理的畅通路径 方法。
8.如权利要求5的方法，其中，所述基于像素的畅通路径方法包括富含纹理的畅通路 径方法与无纹理的畅通路径方法的融合。
9.如权利要求1的方法，其中，所述第二分析包括基于示例的畅通路径方法。
10.如权利要求1的方法，还包括在具有不大于所述第二阈值信心几率的第二畅通路径信心几率的所述第二分析的补 片上应用第三分析以确定所述第三分析的每个补片的第三畅通路径信心几率；以及将具有大于所述第三阈值信心几率的第三畅通路径信心几率的所述第三分析的每个 补片定义为畅通路径补片。
11.如权利要求10的方法，还包括将基于补片的所述第二分析的每个补片的第二畅通 路径信心几率与第四阈值信心几率进行比较；并且其中，应用第三分析还包括在具有大于所述第四阈值信心几率的第二畅通路径信心几 率的基于补片的所述第二分析的部分补片上应用所述第三分析。
12.如权利要求11的方法，还包括将具有不大于所述第四阈值信心几率的第二畅通路 径信心几率的基于补片的所述第二分析的每个补片定义为非畅通路径补片。
13.如权利要求10的方法，还包括将具有不大于所述第三阈值信心几率的第三畅通路径信心几率的所述第三分析的每个补片定义为非畅通路径补片。
14.如权利要求10的方法，其中，所述第三分析包括应用于部分补片上的基于像素的 畅通路径方法。
15.如权利要求10的方法，其中，所述第三分析包括应用于部分补片上的基于示例的 畅通路径方法。
16.一种使用摄像机产生的图像检测车辆行驶的畅通路径的方法，所述方法包括 监测图像；应用图像的基于补片的第一分析，所述第一分析包括将图像分成多个补片以及分析每 个补片以确定基于补片的第一分析的每个补片的第一畅通路径信心几率；将具有大于第一阈值信心几率的第一畅通路径信心几率的每个补片定义为畅通路径 补片；在具有不大于所述第一阈值信心几率的第一畅通路径信心几率的部分补片上应用基 于像素的分析以确定第二分析的每个补片的第二畅通路径信心几率；将具有大于所述第二阈值信心几率的第二畅通路径信心几率的基于像素的分析的每 个补片定义为畅通路径补片；基于所述畅通路径补片识别车辆行驶的畅通路径；以及 利用行驶畅通路径对车辆进行导航。
17.一种使用摄像机产生的图像检测车辆行驶的畅通路径的方法，所述方法包括 监测图像；应用图像的基于补片的第一分析，所述第一分析包括将图像分成多个补片以及分析每 个补片以确定基于补片的第一分析的每个补片的第一畅通路径信心几率；将具有大于第一阈值信心几率的第一畅通路径信心几率的每个补片定义为畅通路径 补片；在具有不大于所述第一阈值信心几率的第一畅通路径信心几率的部分补片上应用基 于示例的分析以确定第二分析的每个补片的第二畅通路径信心几率；将具有大于第二阈值信心几率的第二畅通路径信心几率的基于示例的分析的每个补 片定义为畅通路径补片；基于所述畅通路径补片识别车辆行驶的畅通路径；以及 利用行驶畅通路径对车辆进行导航。
全文摘要
本发明涉及使用分级方法的畅通路径检测。一种使用摄像机产生的图像检测车辆行驶的畅通路径的方法，该方法包括监测图像；以及应用图像的基于补片的第一分析，该第一分析包括将图像分成多个补片以及分析每个补片以确定基于补片的第一分析的每个补片的第一畅通路径信心几率。具有大于第一阈值信心几率的第一畅通路径信心几率的每个补片被定义为畅通路径补片。在具有不大于第一阈值信心几率的第一畅通路径信心几率的部分补片上应用第二分析以确定第二分析的每个补片的第二畅通路径信心几率。具有大于第二阈值信心几率的第二畅通路径信心几率的第二分析的每个补片被定义为畅通路径补片。基于畅通路径补片识别车辆行驶的畅通路径。
文档编号G06K9/64GK101950350SQ20091025842
公开日2011年1月19日 申请日期2009年10月23日 优先权日2009年5月29日
发明者S·M·奈克, W·张 申请人:通用汽车环球科技运作公司