基于像素的无纹理畅通路径检测的制作方法

专利名称：基于像素的无纹理畅通路径检测的制作方法
技术领域：
本发明涉及机动车辆的自动或半自动控制。
背景技术：
该部分的内容仅提供与本发明有关的背景信息，且可能不构成现有技术。自主驾驶系统和半自主驾驶系统使用关于道路和其它驾驶状况的输入来自动地 控制节气门和转向机构。对期望使机动车辆在其上操作的畅通路径(clear path)的准确 估计和辨识对于用车辆操作的控制机构成功替换人类头脑是关键的。道路状况可能是复杂的。在车辆的正常操作下，人操作者每分钟进行数百次的观 察并基于所感知的道路状况来调节车辆操作。感知道路状况的一个方面是在路面中和路面 附近的物体的环境中感知道路并导航通过任何物体的畅通路径。用技术来替换人类感知优 先包括一些手段来准确地感知物体并在这些物体周围继续有效地导航。用于感知物体的技术手段包括来自于视觉照相机和雷达成像的数据。照相机将辐 射形式的视觉图像(例如，光图案或红外符号)译码为可读取的数据格式。一种这样的数 据格式包括像素化图像，其中，所感知的情景分成一系列像素。雷达成像使用发送器产生的 无线电波来估计发送器前面存在的形状和物体。能够分析反映这些形状和物体的波的图案 且能够估计物体的位置。—旦已经产生关于车辆前面地面的数据，所述数据就必须被分析以根据数据估计 物体的存在。通过使用照相机和雷达成像系统，能够分析车辆前面的地面或路面是否存在 可能需要避免的物体。然而，仅仅辨识要避免的潜在物体并未完成分析。任何自主系统的 重要组成包括如何处理和管理所感知的地面数据中被辨识的潜在物体，以辨识在其中操作 车辆的畅通路径。一种辨识在其中操作车辆的畅通路径的已知方法是编目和临时辨识所有感知的 物体且按照所辨识的物体的位置和特性来辨识畅通路径。图像可被处理以根据其形式和与 路面的关系来辨识和分类物体。虽然该方法能够有效地辨识畅通路径，但是它需要大量的 处理能力，从而需要将视觉图像中的不同物体识别和分开，例如，在沿道路侧面的树和朝路 边行走的行人之间进行区分。这种方法对于处理复杂情况可能是缓慢或无效率的，或者可 能需要笨重而昂贵的设备来提供所需处理容量。

发明内容
一种使用对由位于车辆上的照相机装置产生的多个图像的分析来检测车辆行驶 的畅通路径的方法，包括监测所述图像，其中，每个图像包括多个像素；使用无纹理处理方案来分析所述图像，包括将图像进行滤波以将表示能够估计潜在道路表面的畅通表面的 图像部分与不表示潜在道路表面的其它图像部分分开。所述畅通路径基于所述畅通表面来 确定，且所述畅通路径被用于操作车辆。


现在将参考附图通过示例的方式来描述一个或多个实施例，在附图中图1示出了配备有根据本发明的照相机和雷达成像系统的车辆的示例性设置；图2示出了根据本发明的确定用于自主驾驶的畅通路径的已知方法；图3示出了使用根据本发明的图像概率分析来确定畅通路径的示例性方法；图4示出了根据本发明的分析图像的示例性方法；图5示出了根据本发明的通过调整单个阈值来限定分类误差的示例性方法；图6A、6B和6C示出了根据本发明的通过计算绝对图像强度差来示意性地确定图
像差；图7示出了根据本发明的将特征分类为畅通路径的一部分和被检测物体的示例 性方法，同时作为图像分析的方法；图8还示出了根据本发明的将特征分类为畅通路径的一部分和被检测物体的示 例性方法，同时作为图像分析的方法；图9示出了根据本发明的通过概率分析来分析图像的示例性过程；图10是根据本发明的用于检测畅通路径的第一处理方案；图11示出了根据本发明的包括在当前图像上辨识的示例性兴趣点集合的示例性 当前图像；图12示出了根据本发明的在图11所示的图像之后捕获的示例性当前图像；图13A和13B示出了根据本发明的示例性匹配点对、以及围绕所述点的示例性像 素区域，所述匹配点对包括来自于当前图像的兴趣点和来自于先前图像的相应兴趣点；图13A示出了来自于当前图像的兴趣点和围绕所述兴趣点的像素区域；图13B示出了来自于先前图像的兴趣点和围绕所述兴趣点的像素区域；图14以图形示出了根据本发明的示例性当前图像、示例性先前图像、以及主车辆 的操作的使用，以确定视图特征的位置；图15以图形示出了根据本发明的描述在主车辆前面χ和y坐标处的兴趣点的竖 直位置的示例性投影图；图16示出了根据本发明的用于检测畅通路径的第二处理方案；图17示出了根据本发明的基于像素颜色强度的示例性滤波图像；图18示出了根据本发明的使用边缘识别方法的示例性滤波图像；和图19示出了根据本发明的用于第二处理方案的替代示例性过程。
具体实施例方式现在参考附图，其中所述视图仅仅是为了图示某些示例性实施例而不是为了限制 所述实施例，图1示出了根据本发明的位于车辆100前面并指向车辆100前面的地面的照 相机Iio的示例性设置。照相机110与处理模块120通信，处理模块120包含逻辑以处理来自于照相机110的输入。车辆100也可配备有雷达成像系统130，在存在时，雷达成像系 统也处理模块120通信。本领域普通技术人员应当理解，除了使用照相机110和雷达成像 系统130之外或者替代使用照相机110和雷达成像系统130，车辆100可以使用多种方法来 辨识道路状况，包括GPS信息、来自于与车辆100通信的其它车辆的信息、关于具体路面的 历史数据、生物信息(例如，读取驾驶员的视觉焦点的系统)、雷达成像系统或其它类似系 统。本文公开的内容能够应用于各种装置设置且因而不受限于此。照相机110是能够将光、红外线或其它电磁(EM)辐射形式的视觉输入译码成能够 便于分析的数据格式(例如，数字、像素化图像)的本领域熟知的装置。在一个实施例中， 照相机110使用电荷耦合装置(CXD)传感器来产生指示视场的图像。优选地，照相机110 配置成用于连续图像生成，例如每秒产生30个图像。由照相机110产生的图像可存储在照 相机110内的存储器中或者传输给处理模块120，以用于存储和/或分析。优选地，照相机 110产生的每个图像是具有已知像素大小的二维图像，包括多个可辨识像素。所述多个可辨 识像素可使用阵列存储和分析。每个像素可在阵列中表示为位集合或多个位集合，其中，位 与预定调色板或颜色图上的颜色相对应。每个像素可表示为多个颜色强度值的函数，例如 红-绿-蓝(RGB)颜色模型或青-紫-黄-黑(CMYK)颜色模型。优选地，每个像素包括多 个位集合，其中，每个位集合与颜色强度和颜色强度值相对应，例如，在RGB颜色模型上，第 一位集合与红色强度值相对应，第二位集合与绿色强度值相对应，且第三位集合与蓝色强 度值相对应。雷达成像装置130是本领域熟知的装置，包括能够发送无线电波或其它EM辐射 的发送器；能够感测所发送的波的接收器装置，所发送的波从发送器前面的物体被反射回 到接收器；和将所感测的波转换成能够分析的数据格式(例如，指示从反射该波的物体的 距离和角度)的装置。替代性地，雷达成像装置130可用配置成发送和接收光能的光检测和 测距(LIDAR)系统替代或补充。所接收的光能可用于确定物体几何尺寸和/或与车辆100 的几何接近度。应当注意的是，雷达成像装置130对于执行本文公开的许多方法来说是可 选的而不是必需的，其中，视觉图像的处理能够完成畅通路径检测。处理模块120在图1中示出，并在本文描述为分立元件，这种图示是为了便于说明 且应当理解的是，该元件执行的功能可组合在一个或更多装置中，例如在软件、硬件和/或 专用集成电路中实施。优选地，处理模块120是通用数字计算机，通用数字计算机包括微处 理器或中央处理单元；存储介质，所述存储介质包括非易失性存储器(包括只读存储器和 电子可编程只读存储器)、随机存取存储器；高速时钟；模数和数模电路；输入/输出电路 和装置以及合适的信号调节和缓冲电路。处理模块120具有一组处理算法，所述处理算法 包括存储在非易失性存储器中且被执行提供每个计算机的相应功能的常驻程序指令和标 定值。所述算法优选在预定循环期间被执行。所述算法由中央处理单元执行，并且可操作 以监测来自前述感测装置的输入以及执行控制和诊断程序从而用预定标定值控制致动器 的操作。在持续进行的发动机和车辆操作期间，循环以规则间隔例如每3. 125,6. 25,12. 5、 25和100毫秒被执行。替代性地，算法可响应于事件发生而被执行。处理模块120执行存储在其中的算法代码以监测相关的设备(例如照相机110和 雷达成像系统130)并执行由处理模块内执行的分析所表示的指令或数据传输。处理模块 120可包括借助于本领域已知且在本文未描述的手段来致动自主驾驶控制的算法和机构，或者处理模块120可简单地提供信息给独立的自主驾驶系统。取决于与控制模块结合使用 的具体实施例，处理模块120适合于根据需要从其它系统和操作者接收输入信号。图2示出了根据本发明的确定用于自主驾驶的畅通路径的已知方法。产生与车辆 100前面的路面相对应的图像10。通过各种方法之一，物体40A、40B和40C在图像10内被 辨识，且每个物体根据滤波和训练后的物体特性被归类和分类。每个物体的单独处理可能 是计算量大的，且需要昂贵和笨重的设备来处理计算负荷。算法处理关于路面和物体40的 所有可用信息以估计车辆100可用的畅通路径。畅通路径的确定取决于所辨识的物体40 的具体分类和特性。图3示出了根据本发明的确定用于自主或半自主驾驶的畅通路径的示例性方法。 图像10示出为包括地面20、地平线30和物体40。图像10由照相机110收集且表示车辆 100前面的道路环境。地面20表示基于可能存在的物体在没有任何鉴别力的情况下自由行 驶的所有可用路径的区域。图3的方法通过假定所有地面20都是畅通的开始，且然后使用 可用数据来取消不畅通的地面20部分，从而确定地面20上的畅通路径。与将每个物体40 分类的图2方法相比，图3的方法而是分析地面20并试图从可用数据限定可表示物体40 的一些可检测异常限制地面20部分或者使地面20部分不畅通的概率。这种集中于地面20 而不是物体40避免了与管理物体检测有关的复杂计算任务。独立物体的单独分类和跟踪 是不必要的，因为独立物体40被简单地一起分组作为对地面20的总体一致限制的一部分。 地面20 (如上所述描述为在没有任何鉴别力的情况下自由行驶的所有路径)减去由发现为 不畅通的区域对地面20施加的限制，限定了畅通路径50 (在图3中示出为虚线内的区域) 或者具有车辆100自由行驶的一定阈值概率的区域。对地面20产生不畅通限制的物体40可呈现许多形式。例如，物体40可表示分离 物体，例如停止的汽车、行人或者道路障碍，或者物体40也可以表示指示道路边缘的表面 图案的较不明显的变化，例如路侧路边、副索(grass line)或者覆盖路面的水。物体40也 可以包括与地面20有关的平坦道路的不存在，例如在道路中有大洞时可能检测到的那样。 物体40也可以包括与道路在高度上没有任何限定变化但是对该道路区段具有明显的畅通 路径暗示的标识符，例如表示车道标记的路面上的粉刷图案。本文公开的方法，通过不试图 辨识物体40而仅仅在图像10中从地面20和靠近地面的任何物获取视觉线索，评估畅通与 不畅通的概率并针对任何物体40的存在调节车辆100的控制。自动分析二维(2D)图像的许多方法是可行的。图像10分析由处理模块120内的 算法执行。图4示出了根据本发明可应用于分析图像10的一种示例性方法。该方法将图 像10细分并辨识地面20的子图像或小块60以用于分析，从小块60提取特征或者分析可 用视觉信息以辨识小块内的任何感兴趣或区别特征，且依照特征分析根据成为畅通路径的 概率将小块分类。具有大于一定阈值概率的小块分类为畅通的，且小块的汇集可用于组合 成图像内的畅通路径。小块60，作为图像10的子图像，可通过任何已知的手段被辨识，例如图像10的随 机搜索或密集搜索。替代性地，从一些其它信息源(例如雷达成像系统130)可获得的关于 物体40存在性的信息可用于辨识小块以分析要描述物体40的图像10部分。图像10可需 要许多小块60来分析整个图像。此外，多个叠置小块或具有不同尺寸的小块可用于充分分 析含有感兴趣信息的图像10区域。例如，小的小块60可用于分析道路上的小点；然而，可能需要大的小块60来分析一系列点，所述点孤立地可能似乎是不感兴趣的但是在整个系 列的情况下可能指示感兴趣物体40。此外，应用于具体区域的小块分辨率可基于可用信息 调节，例如，更多小块应用于认为存在物体40的图像10区域。许多方案或策略可用来限定 用于分析的小块60，且本发明不打算限制为本文公开的具体实施例。一旦已经辨识用于分析的小块60，处理模块120通过应用滤波器以从小块提取特 征来处理小块。此外，处理模块120可执行与车辆位置相关的小块位置的分析。所使用的 滤波器可采用许多形式。用来提取特征的滤波算法通常搜索数据中用于特性模式的可用视 觉信息，通过线取向、线位置、颜色、角点特性、其它视觉属性和学习属性来限定特征。学习 属性可通过车辆内的机器学习算法来学习，但通常被离线编程且可根据试验、根据经验、通 过预测、通过建模或足以准确地训练区分属性的其它技术来产生。一旦小块60中的特征已经被提取，小块就基于特征分类以确定小块是畅通路径 的概率。概率分析是本领域已知的过程，通过概率分析产生存在特定状况的概率值或置信 度。应用于本发明，分类包括概率分析以确定小块是否表示畅通路径或者该小块中的地面 20是否受物体40限制。在示例性实施例中，通过应用用示例性道路状况的数据库训练并 与所检测物体相互作用的分类器或者算法来进行分类。这些分类器允许处理模块120产生 小块60的畅通路径概率值比例，从而在0和1之间量化在小块内辨识的特征不表示将抑 制车辆100自由行驶的限制性物体40的置信度。可以设定阈值置信度，从而限定用于将小 块定义为畅通路径所需要的畅通路径概率，例如通过以下逻辑置信度=畅通路径概率(i) (1)如果置信度> 0. 5，则小块=畅通路径在该具体示例性实施例中，选择50%或0. 5的置 信度作为阈值置信度。该数值可根据试验、根据经验、通过预测、通过建模或足以准确地评 估小块的畅通路径特性的其它技术来产生。如上所述，概率分析可在一个示例性实施例中通过将训练后的分类器应用于从小 块提取的特征来执行。一种方法使用训练图像集合来演绎地分析特征。在该训练阶段，区 别特征从原始特征集合选择，区别特征由本领域已知的方法限定，例如Haar小波、Gabor小 波和Leimg-and-Malik滤波器组。此外，基于每个特征的最小分类误差(根据错误接受率 (FAR)和错误拒绝率(FRR)的求和计算)的2D图像位置信息可通过如图5所示调整单个阈 值来使用。该分类误差可以通过以下表达式描述分类误差⑴=FARJFRRi (2)来自于 训练后的分类器的信息用于分类或加权指示畅通路径或不畅通路径的特征，具体分类取决 于对训练数据的比较的强度。如果特征是小块内的唯一特征，特征分类可直接应用于小块。 对辨识到多个特征的小块的分类可采用多种形式，包括小块由所包括的最能表示小块不畅 通的特征限定或者小块由其中包括的所有特征的加权求和来限定。上述方法用于检查独立图像10并基于图像10中包含的视觉信息来估计畅通路径 50。在车辆沿道路行驶时，该方法可以一定间隔重复，以考虑新信息并将所表示的畅通路径 扩展到车辆新位置前面一定范围。间隔的选择必须用足够的频率来更新图像10，以给车辆 100准确地提供要驾驶的畅通路径。然而，间隔也可以被选择成某些最小值，以充分控制车 辆而且不过度地加重对处理模块120施加的计算负荷。畅通路径检测可以通过上述单个图像10完成。然而，处理速度和精度可以通过增 加在接近原始图像的时间获得的第二图像来改进，例如来自于流动视频削波的顺序图像。 第二图像允许与第一图像直接比较，且提供关于车辆前进和所检测物体的移动的更新信息。而且，照相机110的视角变化允许进行与第一图像不同的特征分析可能在第一图像中 未清楚示出或者不明显的特征可在不同的照相机角度显示，更明显地突出，或者已经自第 一图像移动，从而允许分类算法有附加的机会来限定特征。处理与原始图像10相关的第二图像可通过计算图像差进行。如果兴趣点(例如， 由雷达辨识的特征)的图像差不是0，那么该点可辨识为体现新信息。图像差等于0的点可 以从分析中排除且可以节省计算资源。确定图像差的方法包括绝对图像强度差和车辆运动 补偿图像差。通过计算绝对图像强度差来确定图像差可用于收集两个图像之间的信息。绝对图 像强度差的一种方法包括确定原始图像和第二图像之间的等同图像特性以补偿图像之间 的车辆运动，叠置图像，并注意图像之间强度的任何显著变化。对图像之间的表示某些区域 中图像强度的变化的比较包含新信息。没有显示强度变化的区域或小块可在分析中不作强 调，而可集中于显示强度上有清楚变化的区域，使用前述方法来分析任一或两个所捕获图 像上的小块。图6A、6B和6C示出了根据本发明的通过计算绝对图像强度差来示例性地确定图 像差。图6A示出了原始图像。图6B示出了从原始图像变化的第二图像。具体地，所示圆 形已经向左移动。如图6C所示的两个图像的比较(表示绝对图像强度差比较的结果的输 出)辨识出已经从第一图像到第二图像变暗的一个区域和已经从第一图像到第二图像变 亮的另一个区域。这种方法能够描述为差分。比较分析产生了由于移动或视角变化引起的 一些变化可能在图像中该区域中获得的信息。由此，绝对图像强度差可用于分析一对顺序 图像以辨识可能不畅通路径。类似地，通过计算车辆运动补偿图像差来确定图像差可用于在两个图像之间收集 信息。已知计算车辆运动补偿图像差的多种方法。车辆运动补偿图像差的一种示例性方法 包括分析同时作为畅通路径的固定部分和检测物体的潜在物体。对从两个类别同时辨识的 与潜在物体相对应的特征进行概率分析，且可以例如通过以下逻辑比较所述分类置信度 (i)=畅通路径概率(i)_检测物体概率(i) (3)如果置信度> 0，则小块=畅通路径在 该具体示例性比较中，如果置信度(i)大于0，那么包含该特征的小块分类为畅通路径。如 果置信度(i)小于或等于0，那么包含该特征的小块分类为不畅通路径或受限制。然而，可 选择用于置信度水平的不同值以将小块分类为畅通路径。例如，试验可显示，错误肯定值很 可能大于错误否定值，从而可引入一些因子或偏差。图7示出了根据本发明的将特征同时分类为上述畅通路径的一部分和检测物体 的一种方法。图10包括物体40、梯形投影70和矩形投影80。该方法采用将物体40作为地 面上的平坦物体投影到投影70内的假定，以对将特征分类为畅通路径的一部分进行试验。 该方法也采用将物体40作为竖直物体投影到矩形投影80内的假定，以对将特征分类为检 测物体进行试验。图8示出了在两个图像之间收集的数据中作出的比较，以根据本发明评 估物体40的性质。在时间、时照相机110从物体40观察并获得第一图像形式的数据。如 果物体40是实际检测物体，那么在时间、时由照相机110观察的物体40的轮廓将对应于 点90A。如果物体40是与地面20在相同平面的平坦物体，那么在时间、时由照相机110 观察的物体40的轮廓将对应于点90B。在时间、和、之间，照相机110移动一定距离。在 时间t2捕获第二图像，且关于物体40的信息可以通过应用寻找第二图像中物体的可视属性与第一图像进行比较的算法来进行试验。如果物体40是从地面20向上延伸的实际检测 物体，那么在时间t2时物体40的轮廓将在点90C被观察。如果物体40是与地面20在相同 平面的平坦物体，那么在时间t2时物体40的轮廓将在点90B被观察。通过车辆运动补偿图 像差获得的比较可借助于基于点90的观察值应用分类器而直接指定置信度，或者比较可 简单地指向显示兴趣点变化的区域。对作为平坦物体和作为实际检测物体两种分类的物体 进行试验，允许包括物体40的区域被辨识以用于通过如上所述分析小块进一步分析，或者 直接产生畅通路径概率和检测物体概率，以用于例如在如上述逻辑表达式(3)进行比较。从第二图像分析可获得的信息可附加地通过整合关于车辆运动的信息(例如速 度和偏航速率)来改进。关于车辆运动的信息可从多个源获得，包括车辆速度计、车辆动态 传感器或车轮速度传感器、防抱死制动机构、和GPS位置系统。算法可使用该车辆移动信 息，例如与图7和8所述的投影结合，以基于来自于第一图像的数据和在图像之间车辆的测 量移动来投影在平躺在地面上的特征中应当存在的角度。用于比较的图像数量不需要限制为两个。可以多次迭接执行多个图像分析，物体 在多个循环内被跟踪和比较。如上所述，通过使用图像差分析可获得计算效率，以辨识兴趣 点并将具有0差的区域从随后分析中排除。这种效率可用于多次迭接中，例如，仅在第一图 像和第二图像之间辨识的兴趣点将在获得的第三和第四图像中被分析。在一些点，新的图 像集合将需要被比较以确保示出了 0差的区域没有任何变化，例如，撞击到先前畅通路径 上的运动物体。使用图像差分析和集中分析(排除被辨识为具有0变化的区域)将根据应 用而不同，且可在不同操作状况之间不同，例如车辆速度或感知的操作环境。图像差分析 和集中分析的具体使用可采用多种不同实施例，且本发明不打算限于本文描述的具体实施 例。图9示出了根据本发明的分析来自于照相机的输入以确定畅通路径概率的示例 性过程200、在步骤202，产生图像形式的照相机输入。在步骤204，从图像选择用于分析的 小块。步骤206表示可用于处理小块的滤波器或滤波器组。在步骤208，通过应用可从步骤 206获得的滤波器和应用其它算法对选定的小块进行特征提取。步骤210包括分类器训练 过程。如上所述，用来产生概率值的分类器或逻辑最初被离线训练。训练可基于模糊逻辑、 神经网络或本领域已知的其它学习机制任选地在车辆中继续。这些训练后的分类器在步骤 212中被使用，以对步骤208提取的特征进行概率分析且产生小块的概率值。该概率值表示 选定小块畅通的置信度。在步骤214，在步骤212中产生的概率值与阈值概率值进行比较。 如果概率值大于阈值，那么在步骤218，所述小块被辨识为畅通路径。如果概率值不大于阈 值，那么所述小块被辨识为不畅通路径。如上所述，过程200可以许多方式重复或迭接，借 助于选择和分析不同小块重复地分析同一图像，且辨识的小块可被跟踪和针对多个顺序图 像上的变化进行分析。如上所述，处理模块120可包括借助于本领域已知且在本文未描述的手段来致动 自主驾驶控制的算法和机制，或者处理模块120可简单地提供信息给独立的自主驾驶系 统。对感知物体的反应可以不同，且包括但不限于转向变化、节气门变化、制动响应、以及车 辆对操作者的报警和停止控制。使用小块分析的上述方法是为车辆建立行驶畅通路径的一种方法。公开了两个附 加的相关处理方案，采用类似方法来分析像素而不是小块。公开了使用纹理丰富方法来分
11析图像以辨识畅通路径的第一处理方案。图10示出了用于检测畅通路径的第一处理方案 101，本文描述为包括分立元件。这种图示是为了便于说明，且应当理解的是，这些元件执行 的功能可组合在一个或更多装置中，例如在软件、硬件和/或专用集成电路中实施。处理方案101是将纹理丰富图像分析应用于主车辆前面的视场的示例性方法，且 以步骤103开始，其中，产生在车辆前面的视场的图像。在步骤106，所监测的图像针对兴趣 点进行检查，例如，如上所述检查像素颜色强度和将像素或像素组与周围像素进行比较。通 过本领域已知的方法，兴趣点被辨识且用于完成本文所述的方法。在步骤109，当车辆运动 时将车辆前面的视场的顺序图像进行比较，且在可能时将每个图像的兴趣点与顺序图像中 的对应点进行匹配，所述对应点与视场中的相同点相对应。匹配包括通过模板匹配定位对 应点或者比较顺序图像上的兴趣点，考虑主车辆的移动，且对两个点是否表示可在视场中 看到的相同物体或特征作出最佳估计。虽然兴趣点可以被匹配，但不是所有匹配的对应点 对都表示高质量对应点对，高质量对应点对允许在视场中辨识其三维位置以分类为车辆行 驶的畅通路径。在步骤112，滤波器应用于匹配的对应点对以辨识能够用于以高置信度辨识 三维位置的高质量对应点对。在步骤115，高质量对应点对被分析以确定由对应点对表示的 物体的三维位置。应当理解的是，与地平面相比处于不同高度的对应点将在顺序图像之间 不同地移动。分析兴趣点的移动可以产生兴趣点的估计三维坐标。在步骤118，所确定的物 体位置用于将物体位置映射到主车辆前面。在步骤121，映射图用于确定主车辆前面的畅通 路径。图11示出了示例性当前图像(k) 500，当前图像(k) 500包括在当前图像(k)上辨 识的示例性兴趣点501集合，每个兴趣点501对应于像素。处理模块120优选辨识所产生 的每个图像(包括当前图像(k) 500和先前图像(k-Ι))上的兴趣点501。兴趣点501是图 像上的可辨识像素且与一组视觉信息(即，纹理丰富特征)相关联，且与位于视场中的物体 相关联。图11所示的示例性视场或视图包括道路表面510、道路表面中的区段515、路边 520和521、车道标记522、相交车道526以及建筑524和525。通过兴趣点提取编程在视图 中辨识候选兴趣点501，由此可选定兴趣点501集合。兴趣点提取编程通过多种已知方法 之一在图像上执行，例如尺度不变特征变换(SIFT)、采用角点检测或其它形状检测的方法、 或Sobel滤波器。兴趣点提取编程优选在处理模块120中执行，但是可组合在一个或更多 装置中，例如在软件、硬件和/或专用集成电路中实施。兴趣点提取编程在每个图像中定位 与预定可辨识纹理丰富特征相对应的候选兴趣点501，例如指示边缘的像素、指示视觉数据 中过渡的像素，其中潜在显著特征可在视图中辨识。在图11的示例性视图中，所辨识的多 个辨识兴趣点501中的一个点501A在路边520的区段505处形成的角点处被辨识。在辨识候选兴趣点501之后，兴趣点提取编程可通过去除冗余候选兴趣点(即，与 同一特征相对应的候选兴趣点)而对候选兴趣点进行滤波。例如，兴趣点提取编程可对与 边缘相对应的多个候选兴趣点进行滤波，从而得到与边缘相对应的较少的候选兴趣点。候 选兴趣点的其余集合是图像的兴趣点。在一个实施例中，为了计算效率，对冗余候选兴趣点 进行滤波。一旦当前图像(k)500中的兴趣点501被辨识，处理模块120就将来自于当前图像 (k)的兴趣点集合与从先前图像(k-Ι)辨识的点集合进行匹配，以确定匹配点对集合，与过 程101中的步骤109相对应。
确定匹配点对集合的第一方法包括使用对应性匹配编程来将来自于当前图像(k) 和先前图像(k-Ι)的兴趣点进行匹配。处理模块120将来自于当前图像(k)的兴趣点集合 与在先前图像(k-Ι)中辨识的兴趣点集合进行匹配，以确定兴趣点匹配对集合。图12示出 了在图11所示的图像之后捕获的示例性当前图像(k)。示例性当前图像(k) 530表示在图 11所示的图像之后捕获的图像，其中，观测者的视角已经沿图像之间的所示道路稍微前进。 在该示例性情况中，图11的图像500，虽然在捕获时是当前图像(k)，但是此时用作当前图 像(k) 530的先前图像(k-Ι)。图12所示的示例性视图包括道路表面510、道路表面中的区 段515、路边520和521、车道标记522、和建筑524和525，如图11所示，在该视图中每个特 征具有稍微不同的视角。在图12的示例性视图中，根据上述方法辨识多个辨识兴趣点531， 且一个点531A在路边520的区段505处形成的角点处被辨识。应当注意的是，在图像530 中辨识的兴趣点531不必与图像500中辨识的兴趣点501直接对应。在图像530中辨识的 点531被处理和滤波，如结合点501描述且结合图11描述的那样。优选地，来自于当前图 像(k)530的兴趣点集合中的多个兴趣点531与从先前图像(k-1) 500辨识的兴趣点集合中 的兴趣点501进行匹配，以确定多个匹配点对。包括匹配点对的每个兴趣点预期对应于与 视图中的物体相关联的相同特征。为了确定匹配点对集合，来自于当前图像(k)的兴趣点 531集合与从先前图像(k-Ι)辨识的兴趣点501集合通过多种已知对应性匹配编程(例如， 尺度不变特征变换(SIFT)特征匹配编程和光流编程)之一进行比较。对应性匹配编程优 选在处理模块120中执行，但是可组合在一个或更多装置中，例如在软件、硬件和/或专用 集成电路中实施。得到的匹配点对与位于当前图像(k)和先前图像(k-Ι)两者上的同一特 征相对应，其中，所述同一特征与视图中的同一物体相关联。确定匹配点对集合的第二方法包括使用模板匹配编程来将来自于当前图像(k) 和先前图像(k-Ι)的兴趣点进行匹配。在一个实施例中，使用邻近兴趣点的预定像素区域 产生模板。结合图12中的兴趣点531A示出了示例性区域535。模板匹配可使用多种方法 之一来确定，包括多种已知模板匹配编程方法之一，以寻找先前图像中的对应兴趣点，例如 Lucas-Kanade或Horn-Schunck。优选地，邻近当前图像中的兴趣点的模板与邻近先前图像 中的兴趣点的模板进行比较。当模板匹配编程确定模板匹配时兴趣点被包括到匹配点对集 合中。得到的匹配点对与位于当前图像(k)和先前图像(k-Ι)两者上的同一特征相对应， 其中，所述同一特征与视图中的同一物体相关联。图13A和13B示出了示例性匹配点对和所述点周围的示例性像素区域，匹配点对 包括来自于当前图像(k)530的兴趣点531A和来自于先前图像(k_l) 500的第二兴趣点 501A。根据上述方法，兴趣点531A周围的像素区域535在图13A中示出。如上文所述，兴 趣点531A是在路边520部分之间的区段505的角点处被辨识的点。点531A周围的像素区 域535被选择且优选包括可用于主动辨识所述区域的可辨别特征、纹理或图案。图13B类 似地示出了兴趣点501A和围绕所述兴趣点的像素区域540。由于图像500和图像530之间 的视角变化，像素区域535和像素区域540可包括一些差异，但是应用上述方法，像素区域 的比较和在其中辨识特征可用作以一定置信度确认兴趣点531A和501A表示在图像500和 530中捕获的视图内的同一特征且可以当作匹配对的一种方法。在确定匹配点对之后，通过应用滤波器去除表示匹配不好或者不匹配对的低质量 匹配对应点对，处理模块120从匹配点对集合选择高质量优先匹配点对，如上文示例性步骤112所述。优先匹配点对可基于质量控制标准进行选择。在一个实施例中，匹配点对被 分析且在满足每个标准之后辨识为优先匹配点对。当匹配点对中的点之间的距离小于阈值时，满足第一标准。该距离基于点的位置 确定，好像它们位于相同二维图像坐标上一样。阈值可预先确定且是依赖于位置的，或者取 决于车辆速度是动态的。当匹配点对中的两个点距图像边界预定阈值距离时，满足第二标 准。由于照相机对图像边界边缘处的物体的视角和车辆运动，太靠近边缘的点不能定位对 应点，其可位于照相机的视角之外或者可产生物体位置的不真实估计。此外，在以向前方向 正常车辆操作下，车辆需要关于朝视角尽头的畅通路径的信息的可能性很小。当邻近匹配 点对中的每个点的预定区域之间的颜色差异小于颜色阈值差异时，满足第三标准。使用图 13限定的示例性像素区域，像素区域535和540之间的颜色差异可用于增加匹配对的置信 度。在每个区域内每个像素可以基于其对应颜色分配一数值。分配的数值可基于在捕获图 像时确定的位值或者可以基于参考预定模板的标引颜色。处理模块120逐像素地计算第一 区域501和第二区域502内分配的数值之间的绝对差，且将所述差(为颜色差异)求和。所 述差与阈值差进行比较。如果所述差小于阈值差，那么满足第三标准。颜色阈值差异可以 通过足以标定准确道路存在或畅通路径估计的任何方法来选定。可基于车辆外部的光线水 平、天气、车辆速度或影响基于颜色差异准确估计畅通路径存在性的任何其它因素来使用 不同的颜色阈值差。通过判断围绕兴趣点的区域是否类似，可以对包括由兴趣点表示的特 征的相同区域是否在两个图像中被分析进行判断。应当理解的是，上述三个标准是用于判断匹配对的示例性标准，但是这些标准中 的一些部分或者附加的未提及类似标准可用于判断匹配对的有效性。还可以基于车辆外部 存在的状况(例如光线水平)、天气、车辆速度或影响判断匹配对的能力的任何其它因素或 者快速和准确限定畅通路径的紧急性来选择标准判断匹配对。在选择优先匹配点对之后，处理模块120确定与视图中的物体特征相关联的多个 点相对于车辆100的位置，如上述示例性步骤115所述。图14以图形示出了示例性当前 图像、示例性先前图像、以及主车辆的操作的使用，以确定视图特征的位置。在水平参考坐 标中的物体位置和物体与地平面相比的高度可基于顺序图像317和327内的优先匹配点对 集合(匹配对在该图中通过点1和2示出)、车辆100从第一位置310行驶到第二位置320 的距离(d)、和车辆偏航角(Θ)来确定。处理模块120执行多种已知三角测量方法之一， 以确定点相对于车辆100的位置和点的高度。在图14中，示出了包括图像k-1317的来自 于310的视场315，且示出了包括图像k 327的来自于320的视场325。示出了距离d，其 描述观察者已经在点310和320之间行进的距离。相对于视场315和325纵向定向的线分 别由线312和322表示。示出了取向或者偏航角(Θ)的角度变化，其描述线312和322之 间的角度。示例性车辆的距离d可以通过在310处的时间和320处的时间之间的样本时间 内跟踪车辆速度来确定。类似地，θ可通过在样本时间内跟踪车辆的偏航速率来确定。示 出了显示为305的物体，且示出了线318和328，其分别描述从点310和320到物体305的 线。在图像317和327上示出了点1和2，线318和328在点1和2处分别与图像317和 327相交。可限定描述图像317上点1的位置的距离(a)，且可限定描述图像327上点2的 位置的距离(b)。应当理解的是，图14表示投影图，其中，物体305的位置可以在水平面中 限定，且相同物体在侧视图中的类似计算可用于限定物体305相对于观察者的已知地平面的竖直位置。通过应用熟知的三角测量方法，来自于顺序图像的位置数据(例如距离a和 b)以及车辆数据(例如车辆速度、车辆偏航速率和样本时间)可用于将所示物体相对于车 辆的位置进行定位并确定物体相对于车辆的相对运动。这些三脚测量方法可得到物体在水 平面中的位置和物体相对于地平面的高度。一旦确定位置和高度，处理模块120就可以在投影图上绘制点，如上文示例性步 骤118所述。图15以图形示出了描述在主车辆前面χ和y坐标处的兴趣点的竖直位置的示 例性投影图。χ轴和1轴上的位置<0，0>与上述车辆100的第二位置320或者车辆100的 当前位置相对应。优选地，物体高度分类到预定类别中。例如，具有极小高度的物体(例如， 低于预定阈值)可分类为地面，超过地面高度但小于第二预定阈值的物体可分类为第二类 别，第二预定阈值接近但优选小于车辆高度，大于第二预定阈值的物体可分类为第三类别。 如图15所示，具有极小高度的物体分类为地面(地面)，超过地面高度但小于2米阈值的物 体可分类为第二类别(小于2米)，大于2米阈值的物体可分类为第三类别(大于2米)。在映射图上绘制物体之后，处理模块120基于在映射图中所绘制的特征来检测畅 通路径，如上文示例性步骤121所述。本文使用的术语“畅通路径”旨在给予本领域普通 技术人员其普通和通常的涵义(且不限于特定或定制涵义)，且无限制性地指代没有超过 阈值的物体的路径，例如没有分类为上述第二和第三类别的物体的路径。分类为预定类别 (例如，上述第二和第三类别)的物体的特征通过处理模块120辨识为不畅通区域，S卩，对于 车辆行驶是不希望的。优选地，邻近分类为预定类别的每个物体的预定区域通过处理模块 120辨识为不畅通区域。处理模块120可使用多种方法之一来确定在映射图上存在畅通路 径。确定畅通路径的第一方法包括将预期路径与包括不畅通区域的映射图进行比较。如果 预期路径不与任何不畅通区域相交，那么处理模块120确定预期路径为畅通路径。然而，如 果预期路径与不畅通区域相交，那么处理模块120确定不存在畅通路径。确定畅通路径的 第二方法包括使用映射图中的不畅通区域来确定畅通路径。与不畅通区域不相交的任何路 径可用作畅通路径。上述方法使用顺序图像来建立车辆前面的物体位置和竖直高度的映射图，使得可 以限定畅通路径。应当理解的是，在任何两个给定图像中，具体物体可以不分类为包括在该 具体分析中足以被映射的两个高质量兴趣点。然而，上述分析在车辆每行驶一秒发生多次。 当车辆向前行驶经过畅通路径时，在物体上获得不同的视角且将分析大量的图像。在一定 路径上行驶和通过该路径的多个迭接图像的分析会通过分析建立在辨识的畅通路径中不 存在同畅通路径相抵触的物体的置信度。图16示出了用于检测畅通路径的第二处理方案。本文所述的第一处理方案使用 纹理丰富方法，基于图像内的纹理视图来分析描述明显兴趣点的像素化特征，而所公开的 第二处理方案可以描述为图像分析的示例性无纹理方法，从图像中滤波不属于平面一致道 路表面的不一致图像区域。通过从图像滤波不一致区域，从其余图像可以辨识作为车辆行 驶的潜在畅通路径的畅通表面。在图16中示出了过程250，且在本文描述为包括分立元件。 这种图示是为了便于说明且应当理解的是，这些元件执行的功能可组合在一个或更多装置 中，例如在软件、硬件和/或专用集成电路中实施。例如，过程250可在处理模块120中执 行为一个或多个算法。用于检测畅通路径的过程250包括形成多个滤波图像且将滤波图像 融合在一起以确定畅通路径。
15
公开了示例性过程250，包括采用畅通路径检测的示例性无纹理方法的步骤。过 程250以步骤253开始，其中产生图像。步骤256、259、262和265描述了替代性示例性方 法来将图像滤波以辨识畅通路径的位置，包括道路表面。应当理解的是，所述方法中的每个 以有助于辨识畅通路径的一种方式处理图像。过程可以用四种示例性方法中的一些部分来 实施，或者过程可以实施为包括未提及但类似的方法来处理图像。可以采用滤波图像内的 畅通表面的任何方法，基于所述畅通表面可从图像的不表示潜在道路表面的其它部分估计 道路表面。步骤256应用示例性方法来从高于地平点或消失点的区域(包括天空和不能成 为道路表面的一部分的其它竖直特征)滤波低于地平点或消失点的区域(包括能够驾驶的 道路表面)。步骤259基于像素强度中的变化、基于道路表面将包括具有在表面上非常普 通的视觉强度的大表面的前提来应用滤波器。步骤262基于差分顺序图像来应用滤波器， 从而允许分析图像之间的变化。步骤265基于辨识表示视觉数据中的边缘或过渡的像素来 应用滤波器。并行应用各种方法，结果可在步骤268融合到图像的单个映射图中并在步骤 271中针对表示行驶畅通路径的视觉数据来分析。第一滤波图像使用消失点来形成，如上述示例性步骤256所述。本文所使用的术 语“消失点”是广义术语，且被给予对本领域普通技术人员普通和通常的涵义，且指代地平 面上的无限远点(在视图中由地面上的多条平行线相交)。辨识形成要驾驶的畅通路径的 道路表面有必要低于消失点或地平线。滤波图像以仅分析低于地平线的区域有助于使得被 分析的像素清楚以从无关像素辨识道路表面。本领域技术人员应当理解，有许多已知方法 来确定消失点和相应地平线。一种已知方法包括基于主车辆的左侧和右侧上的车道标记彼 此相交的点来确定消失点。地平线基于消失点确定。第一滤波图像包括当前图像上低于地 平线的像素。处理模块120基于包括当前图像(k)的多个像素中的像素颜色强度来形成第二滤 波图像，如上文示例性步骤259所述。图17示出了基于像素颜色强度的示例性第二滤波图 像。第二滤波图像包括从所述多个像素选择的像素。可设想滤波像素的多种方法。处理模 块120将像素的每个颜色强度值与相关颜色分布均值(例如，红色、绿色和蓝色颜色分布均 值)进行比较。颜色分布均值是与先前辨识为畅通路径的像素有关的相关颜色强度的平均 颜色强度分布。颜色分布均值可附加地基于相关颜色的畅通路径像素的历史收集颜色分布 均值。当像素的每个颜色强度值小于相关颜色分布均值的颜色强度阈值时，该像素被选择 用于第二滤波图像。当像素的一个颜色强度值大于相关颜色分布均值的颜色强度阈值时， 该像素从第二滤波图像排除。相关颜色强度的颜色分布均值是分布在图像中的平均颜色强 度值。颜色分布均值被最初预先确定。在一个实施例中，处理模块120基于在预定数量的 图像中的颜色强度分布来调节每个相关颜色强度的颜色分布均值。如上文所述，每个像素包括多个颜色强度值。优选地，颜色强度值与相关颜色分布 均值进行比较。例如，对于使用RGB颜色模型形成的像素，与红色强度相关的第一位集合和 与红色强度相关的颜色分布均值进行比较，与绿色强度相关的位集合和与绿色强度相关的 颜色分布均值进行比较，与蓝色强度相关的位集合和与蓝色强度相关的颜色分布均值进行 比较。如果包括像素的每个颜色强度与相关颜色分布均值之间的差小于颜色强度阈值，那 么像素被用于第二滤波图像。使用RGB颜色模型，每个像素包括第一、第二和第三颜色强度值。第一颜色强度是红色强度，第二颜色强度是绿色强度，第三颜色强度是蓝色强度。当像素的红色强度和红 色颜色分布均值之间的差小于红色强度阈值、像素的绿色强度和绿色颜色分布均值之间的 差小于绿色强度阈值、且像素的蓝色强度和蓝色颜色分布均值之间的差小于蓝色强度阈值 时，第二滤波图像的像素从包括当前图像(k)的多个像素选择。以下关系式使用RGB颜色 模型表达该过程I R-RmI <让仪81101(11；且 |G-Gm| < threshold(；且 |B_Bm| < thresholdB(4) 其中R是红色，G是绿色，B是蓝色，Rm是红色的颜色分布均值，Gm是绿色的颜色分布均值，Bm 是蓝色的颜色分布均值，threholdE是红色强度阈值，threholdG是绿色强度阈值，threholdB 是蓝色强度阈值。本领域技术人员将理解，上述关系式4可配置成与多种其它颜色模型(包括CMYK、 YUV和LAB颜色模型)一起使用。处理模块120通过差分所述图像使用当前图像(k)和先前图像(k-Ι)来形成第三 滤波图像，如上文示例性步骤262所述。在形成差分图像的示例性过程中，第三滤波图像作 为当前图像(k)和先前图像(k-Ι)之间的图像差形成且包括表示当前图像(k)和先前图像 (k-Ι)之间的差的逐像素比较。这种过程在上文结合图6A-6C描述。用于确定第三滤波图 像的第一方法包括确定当前图像(k)上的独立像素和先前图像(k-Ι)上的对应独立像素之 间的差。所述差可通过从对应颜色强度值减去与像素有关的颜色强度值以确定颜色强度差 来确定，例如从先前图像(k-Ι)上的第一像素的红色强度值减去当前图像(k)上的第一像 素的红色强度值。得到的颜色强度差包括像素值且与当前图像(k)和先前图像(k-Ι)上的 像素之间的差相对应。每个像素值可以与第三滤波图像相对应的阵列存储。在一个实施例 中，差的绝对值被确定且以阵列存储。得到的阵列包括表示两个图像之间的差的值且包括 图像差。在确定阵列之后，处理模块120去除表示变化小于预定阈值的像素的值。在一个 实施例中，得到的值可用预定值(例如1)替换，以表示在得到的图像上两个所用图像之间 的辨识差的清楚映射图。描述了用于基于差分图像来确定第三滤波图像的第二示例性方法。通过比较当前 图像(k)和运动调节的先前图像(k-Ι)可进行确定，且这些图像之间的差可用于映射不适 合用于产生运动调节图像的具体模型的物体。产生运动调节的图像的一种示例性模型包括 使用三角测量方法(例如结合图14描述的方法)、关于车辆运动的信息和所有检测点都处 于地平面以预测先前图像(k-Ι)的物体运动的假设。通过使用图像中的所有物体都处于地 平面的假设，在得到的图像中物体运动的预测与作为地平面处存在的整个平坦图像存在的 先前图像一致。将该得到的运动调节的先前图像(k-Ι)与实际当前图像(k)进行比较(包 括不在地平面处的物体的视角变化)，则允许辨识在所示图像中不处于地平面的所有物体 或特征。通过减去所比较图像中的像素，例如根据第一示例性过程来确定上述第三滤波图 像，表示不在地平面上的物体的像素可通过非零值或者超过确定性阈值的值来辨识。由此， 处理模块120可使用当前图像(k)和运动调节的先前图像而不是先前图像(k-Ι)来确定上 述的第三滤波图像。处理模块120基于包括当前图像(k)的多个像素的颜色强度值形成第四滤波图 像，如上文示例性步骤265所述。图18示出了使用边缘识别方法的示例性滤波图像。第四 滤波图像包括当前图像(k)的边缘。为了形成第四滤波图像，处理模块120基于与边缘相 对应的颜色强度值使用多种已知边缘检测滤波器(例如，Sobel滤波器)之一而从图像提
17取像素。边缘检测滤波器优选在处理模块120中执行，但是可组合在一个或更多装置中，例 如在软件、硬件和/或专用集成电路中实施。在一个实施例中，每个像素使用Sobel运算器 来分析。Sobel运算器计算在每个像素处的颜色强度的梯度矢量，从而得到从亮到暗的最 大可能增加的方向和在该方法的变化速率。与超过阈值的变化速率相对应且与附近像素的 梯度矢量相对应的点指示边缘且包括在第四滤波图像中。这些像素可用预定像素颜色(例 如，黑色)替换。在形成多个滤波图像之后，处理模块120将滤波图像融合在一起，以确定与畅通 路径相对应的像素位置，如示例性步骤268所述。所融合的滤波图像包括包含在所述多个 滤波图像中所有图像中含有的像素的图像，即，仅仅包含在所述多个滤波图像中的每个中 的特定像素位置处的像素包括在所融合的滤波图像中。将滤波图像融合在一起包括确定所 述多个滤波图像中的每个所包括的像素位置。每个像素位置与每个滤波图像上的对应像素 位置进行比较。当所述多个滤波图像中的每个都包含在对应像素位置处的像素时，该像素 包括在表示道路畅通表面的融合畅通路径映射图上。融合的畅通路径用于检测车辆100的 畅通路径。融合的畅通路径映射图上的像素对应于该视图中的期望驾驶位置。融合畅通路 径映射图上没有像素的位置对应于该视图中的不期望驾驶位置。如图16所述，过程250针对图像并行应用各种方法来辨识视图中与限定畅通路径 有关的特征。然而，应当理解的是，这些方法不需要并行执行，而所述方法可用于在步骤中 按顺序处理图像，以辨识视图中与限定畅通路径有关的特征。图19示出了用于第二处理方 案的替代示例性过程600。过程600通过在步骤603产生图像序列开始。每个图像并行输 送到两个步骤，且两个步骤的结果被融合并可用于该过程中的随后步骤。并行步骤包括步 骤606 (其中根据上述消失点方法来滤波像素以将不能表示道路表面的图像部分滤波不进 行处理的第一滤波图像)和步骤609(其中，如上所述，通过根据强度滤波像素的第二滤波 图像用于将描述与道路表面不一致的特征的图像部分滤波不进行处理)。第一滤波图像和 第二滤波图像的融合图像在步骤612中形成，所述融合图像仅仅包括低于消失点的图像部 分且包括具有与道路表面一致的强度的像素。在步骤615中使用顺序融合图像，以使用上 述差分方法中的一种来形成第三滤波图像。在步骤618，第三滤波图像用于使用上述边缘提 取方法来形成第四滤波图像。过程600的结果然后可以针对表示行驶畅通路径的视觉数据 进行分析。过程250和600示出了两种示例性设置，其中滤波方法被组合使用以处理图像序 列来辨识畅通路径。然而，应当理解的是，这种组合可采用任何形式，且步骤能以不同顺序 应用，且在不同的组合中可以使用更少或附加的滤波器。此外，滤波器可以选择性地使用或 者过程的配置可以选择性地使用，例如不同的组合在白天使用且其它组合在晚上使用。例 如，一些组合可继续分析由前灯照亮的道路表面，而其它方法在没有完全照亮的视图中可 能是无用的。在另一示例中，当道路上存在雨水或雪时，可使用不同的组合。例如，在雪的 浅色层的情况下，一些方法和分析方法可继续有用，例如辨识雪中的轮胎路径作为潜在畅 通路径，而其它方法在白覆盖层隐藏最可辨识的特征时可能是无用的。在另一示例中，当附 加信息(例如增强或利于基于附加信息来滤波图像的红外、雷达或GPS数据)可用时，可使 用不同的组合。可设想滤波方法的多种组合，且本发明不打算限于本文所述的具体实施例。如上所述，描述了采用纹理丰富方法的第一处理方案和采用无纹理方法的第二处
18理方案，每种方案允许辨识可用于描述车辆视图中的畅通路径的道路特征。然而，应当理解 的是，基于任一方案的单种分析可能产生模糊结果，例如，在具体发光状况下，来自于另一 车辆的阴影、道路表面的热引起的扭曲或其它类似问题可引起道路表面部分被误辨识为与 道路表面的其余部分不一致。解决模糊结果的一种方法通过在车辆沿道路行驶时分析迭接 图像来完成。应当理解的是，当车辆沿道路行驶时，以快速持续时间获得的具体道路区段的 数百个图像能够被分析。在车辆向前行驶时，将观察到由于不同视角引起的道路表面的不 同发光和暴光性。在路径上的行驶和对该路径上的多个迭接图像的分析能够通过分析建立 道路表面的特定部分被正确估计为畅通路径的置信度。解决任一方案的模糊结果的另一方法是使用两种方案并融合结果，使用两种方案 的组合增加了辨识畅通路径的置信度。所述方案中的每种在不同畅通路径检测方面具有优 于另一方案的优势。例如，在检测从具有丰富纹理的地平面清楚地突出的物体时，示例性纹 理丰富方法胜出。该方法主动地辨识可在不同高度检测的物体且产生车辆不应当行驶以免 物体与车辆相撞的区域映射图。在另一示例中，在对像素辨识通常显现的表面的区域进行 辨识时，示例性无纹理方法胜出。该方法主动地辨识道路表面可能存在的区域并映射该表 面的边界。第一方案和第二方案可以多种方式融合。具有辨识点和用纹理丰富方法辨识的确 定高度的图像可以与由无纹理方法产生的滤波图像叠置，且两种方法相符可用于限定叠置 图像上的畅通路径。在融合两种方案的替代性方法中，来自于两种方案中的每种的数据可 以用于将信息投影到车辆前面区域的编程投影图上，且包括从两种方案分析获得的数据的 该投影图可以包括建立映射图区域的置信度指示。在融合两种方案的替代性方法中，一种 方案可用作主或主要方案，第二方案可被使用或致动以分析在视图中被辨识为模糊或不清 楚的区域。在融合两种方案的任何方法中，一种处理方案的强项可以用于减少另一处理方 案的弱点。如果两种方案都断定该路径是畅通的，那么使用所述方案的处理模块可用增加 的置信度确定该路径对于车辆行驶是期望的。可设想融合辨识方案的多种方法，且本发明 并不限于本文所述的具体实施例。此外，任一方案或两种方案可与使用小块分析的上文所 用方法组合。本领域技术人员将认识到，发光标准化可应用于所捕获的图像数据。标准化是改 变像素强度值范围的过程。标准化的目的是使得图像处于更适合于机器处理的范围内以改 进可靠性。例如，具体地在低发光环境中或者在由于强光而对比度差时，每个像素值被标准 化为0均值和单位方差，以增强图像对比度。上述所述的滤波器和算法可采用许多形式。用于提取特征的滤波算法通常搜索在 数据中的特征模式的可用视觉信息，从而由线取向、线位置、颜色、角点特性、其它视觉属性 和学习属性来限定特征。属性可根据试验、根据经验、通过预测、通过建模或足以准确地训 练区分属性的其它技术来产生。学习属性可通过车辆内的机器学习算法或模糊逻辑学习， 随时间调节。此外，学习属性或学习路标可从车辆在路线上的重复行驶收集且可用在畅通 路径辨识中。本发明已经描述了某些优选实施例及其变型。在阅读和理解说明书之后可以想到 进一步的变型和变化。因而，本发明不打算限于作为设想用于实施本发明的最佳模式所公 开的具体实施例，本发明将包括落入所附权利要求范围内的所有实施例。
权利要求
一种使用对由位于车辆上的照相机装置产生的多个图像的分析来检测车辆行驶的畅通路径的方法，所述方法包括监测所述图像，每个图像包括多个像素；使用无纹理处理方案来分析所述图像，包括在每个图像中，将图像进行滤波以将表示能够估计潜在道路表面的畅通表面的图像部分与不表示潜在道路表面的其它图像部分分开；和基于所述畅通表面来确定畅通路径。
2.根据权利要求1所述的方法，其中，将图像进行滤波以将表示能够估计潜在道路表 面的畅通表面的图像部分与不表示潜在道路表面的其它图像部分分开包括将图像上地平线下方的区域从地平线上方的区域进行滤波。
3.根据权利要求1所述的方法，其中，将图像进行滤波以将表示能够估计潜在道路表 面的畅通表面的图像部分与不表示潜在道路表面的其它图像部分分开包括基于将像素的颜色强度与取决于颜色分布均值的颜色强度阈值进行比较来滤波图像 中的像素。
4.根据权利要求3所述的方法，其中，每个像素包括多个颜色强度；其中，取决于颜色分布均值的颜色强度阈值包括所述多个颜色强度中的每个的颜色强 度阈值；且其中，基于将像素的颜色强度与取决于颜色分布均值的颜色强度阈值进行比较来滤波 图像中的像素包括将每个像素的所述多个颜色强度中的每个与所述多个颜色强度中的每个的颜色强度 阈值进行比较；和根据当所述多个颜色强度中的一个大于与颜色强度相关的颜色强度阈值时排除所述 像素来滤波每个像素。
5.根据权利要求4所述的方法，其中，与颜色强度相关的所述多个颜色强度中的一个 相关的颜色强度阈值的颜色分布均值是分布在该图像中的平均颜色强度。
6.根据权利要求5所述的方法，还包括基于所监测的图像调节与颜色强度相关的颜色分布均值。
7 根据权利要求4所述的方法，其中，第一颜色强度是红色强度，第二颜色强度是绿色 强度，第三颜色强度是蓝色强度，且其中每个像素包括第一、第二和第三颜色强度，且在像 素的红色强度和红色颜色分布均值之间的差大于红色强度阈值，像素的绿色强度和绿色颜 色分布均值之间的差大于绿色强度阈值，并且像素的蓝色强度和蓝色颜色分布均值之间的 差大于蓝色强度阈值时，滤波所述像素。
8.根据权利要求1所述的方法，其中，将图像进行滤波以将表示能够估计潜在道路表 面的畅通表面的图像部分与不表示潜在道路表面的其它图像部分分开包括基于差分顺序图像来分析。
9.根据权利要求8所述的方法，其中，所述差分顺序图像包括确定当前图像上的独立像素和先前图像上的对应独立像素之间的差。
10.根据权利要求9所述的方法，其中，所述差通过从对应颜色强度减去与像素相关的 颜色强度来确定，以确定颜色强度差。
11.根据权利要求9所述的方法，还包括滤波所述独立像素，包括在当前图像上的独立像素和先前图像上的对应独立像素之 间的差超过预定阈值时，排除像素。
12.根据权利要求9所述的方法，其中，先前图像基于车辆运动调节。
13.根据权利要求1所述的方法，其中，将图像进行滤波以将表示能够估计潜在道路表 面的畅通表面的图像部分与不表示潜在道路表面的其它图像部分分开包括基于辨识表示边缘的像素来滤波。
14.根据权利要求13所述的方法，其中，基于辨识表示边缘的像素来滤波包括应用 Sobel滤波器。
15.根据权利要求1所述的方法，其中，将图像进行滤波以将表示能够估计潜在道路表 面的畅通表面的图像部分与不表示潜在道路表面的其它图像部分分开包括形成多个滤波图像；和将所述滤波图像融合在一起以确定畅通表面。
16.根据权利要求15所述的方法，其中，将所述滤波图像融合在一起包括 确定在所述多个滤波图像中的每个所包括的像素位置；将像素位置处的像素与多个滤波图像上的对应像素位置进行比较；和 当所述多个滤波图像中的每个在对应像素位置处包含像素时，包括所述像素。
17.一种使用对由位于车辆上的照相机装置产生的多个图像的分析来检测车辆行驶的 畅通路径的方法，所述方法包括监测所述图像；使用无纹理控制方案来分析图像，包括 将图像上地平线下方的区域从地平线上方的区域进行滤波；基于将像素的颜色强度与取决于颜色分布均值的颜色强度阈值进行比较来滤波图像 中的像素；基于差分顺序图像来进行滤波； 基于辨识表示边缘的像素来进行滤波；基于所述滤波来确定畅通表面并基于所述畅通表面来确定畅通路径；和使用畅通路径来操作车辆；使用纹理丰富控制方案来分析图像，包括从两个图像中的每个中的多个像素辨识兴趣点集合，所述两个图像包括当前图像和先 前图像；将来自于当前图像的兴趣点集合和来自于先前图像的兴趣点集合的兴趣点对进行匹 配，其中，匹配对中的每个被估计为对应于单视图特征； 将兴趣点匹配对进行滤波以选择高质量匹配对集合；和 基于高质量匹配对集合来产生视图中的特征的三维映射图； 基于所述纹理丰富控制方案和所述无纹理控制方案来确定畅通路径；和 使用畅通路径来操作车辆。
18.一种使用对由位于车辆上的照相机装置产生的多个图像的分析来检测车辆行驶的 畅通路径的设备，所述设备包括照相机装置；和 控制模块，所述控制模块 监测来自于照相机装置的图像；以及 监测所述图像，每个图像包括多个像素； 使用无纹理处理方案来分析所述图像，包括在每个图像中，将图像进行滤波以将表示能够估计潜在道路表面的畅通表面的图像部 分与不表示潜在道路表面的其它图像部分分开；和 基于所述畅通表面来确定畅通路径。
全文摘要
本发明涉及基于像素的无纹理畅通路径检测。一种使用对由位于车辆上的照相机装置产生的多个图像的分析来检测车辆行驶的畅通路径的方法，包括监测所述图像，其中，每个图像包括多个像素；使用无纹理处理方案来分析所述图像，包括将图像进行滤波以将表示能够估计潜在道路表面的畅通表面的图像部分与不表示潜在道路表面的其它图像部分分开。所述畅通路径基于所述畅通表面来确定，且所述畅通路径被用于操作车辆。
文档编号G06T5/00GK101900567SQ20091020728
公开日2010年12月1日 申请日期2009年10月23日 优先权日2009年5月29日
发明者S·M·奈克, W·张 申请人:通用汽车环球科技运作公司