畅通路径检测中的俯视图分类的制作方法与工艺

一个实施例大体上涉及在车辆行进路径中的对象检测。

背景技术：
视觉成像系统在车辆中用来增强诸如自动驾驶系统或半自动驾驶系统的车辆内的应用。这样的系统可用来通过转向系统、节流控制、制动控制自动地或半自动地控制车辆或甚至用于车道偏离报警系统。畅通路径检测系统识别在其中操作沿道路行驶的车辆的畅通路径。对行驶路径进行针对包括所有非道路表面的对象的感测，以便车辆可以沿不间断的行驶路径行驶。可以检测图像内的特征并按照其形式和与道路的关系进行分析。然而，此类方法可能由于大量的数据处理而较慢或者不能区分畅通路径特征和非畅通路径特征。

技术实现要素：
一个实施例设想出一种利用俯视图分类技术检测车辆行驶道路中的畅通路径的方法。捕获车辆外部的场景的输入图像。捕获的输入图像表示行驶道路的透视图。对捕获的输入图像进行分析。生成包括潜在的畅通路径区域和潜在的非畅通路径区域的分割后的俯视图像。分割后的俯视图像表示垂直于地平面的视角。将分割后的俯视图的分割后的区域输入到分类器以识别行驶的畅通路径区域。利用所识别的畅通路径区域对行驶道路进行导航。本发明提供下列技术方案。技术方案1.一种利用俯视图技术检测车辆行驶的畅通路径的方法，所述方法包括下列步骤：捕获所述车辆外部的场景的输入图像，所述捕获的输入图像表示所述行驶道路的透视图；分析所述捕获的输入图像；生成包括潜在的畅通路径区域和潜在的非畅通路径区域的分割后的俯视图像，所述分割后的俯视图像表示垂直于地平面的视角；将所述分割后的俯视图的所述分割后的区域输入到分类器以识别驶路的所述畅通行径区域；以及利用所述识别的畅通路径区域以对所述行驶道路进行导航。技术方案2.根据技术方案1所述的方法，其中分析所述捕获的输入图像的所述步骤还包括所述分割所述捕获的输入图像的步骤，其中分割所述捕获的输入图像按照可分辨的边界细分所述捕获的输入图像，其中所述分割后的俯视图像从所述分割后的输入图像生成。技术方案3.根据技术方案2所述的方法，其中分割所述捕获的输入图像的步骤包括对捕获的输入图像执行运动分析，其中所述可分辨的边界基于所述捕获的输入图像的与相对于地平面的运动相关联的区域而进行识别，其中与相对于所述地平面的运动相关联的所述区域被识别为潜在的非畅通路径区域。技术方案4.根据技术方案2所述的方法，其中分割所述捕获的输入图像的步骤包括对捕获的输入图像执行纹理分析，其中所述可分辨的边界基于所述捕获的输入图像的具有纹理的区域而进行识别，其中具有纹理的所述区域被识别为潜在的非畅通路径区域。技术方案5.根据技术方案2所述的方法，其中分割所述捕获的输入图像的步骤包括对捕获的输入图像执行色彩分析，其中所述可分辨的边界基于所述捕获的输入图像的具有相应的色彩的区域而进行识别，其中相应的区域基于所述相应的区域的识别色彩而被识别为潜在的畅通路径区域或潜在的非畅通路径区域。技术方案6.根据技术方案2所述的方法，其中分割所述捕获的输入图像的步骤包括执行几何形状分析，其中所述可分辨的边界基于所述捕获的输入图像的具有相应的几何形状的区域而进行识别，其中相应的区域基于所述相应的区域的识别的几何形状而被识别为潜在的畅通路径区域或潜在的非畅通路径区域。技术方案7.根据技术方案2所述的方法，其中分割所述捕获的输入图像的步骤包括执行运动分析、纹理分析、色彩分析和几何形状分析中的至少一种以便按照可分辨的边界细分所述捕获的输入图像，其中识别所述可分辨的边界的结果被输入到融合模块以用于生成可分辨边界的融合的集合。技术方案8.根据技术方案7所述的方法，其中从由可分辨边界的所述融合的集合限定的所述分割后的区域提取特征，并且其中所述提取的特征被输入到所述分类器以用于识别畅通路径区域。技术方案9.根据技术方案2所述的方法，其中所述分割后的俯视图像基于从所述分割后的输入图像到所述分割后的俯视图像的所述像素的映射而生成。技术方案10.根据技术方案2所述的方法，其中从所述分割后的输入图像到所述分割后的俯视图像的所述像素的所述映射实时生成。技术方案11.根据技术方案1所述的方法，其中所述分析所述捕获的输入图像的步骤还包括所述从所述捕获的输入图像生成俯视图像的步骤，其中分割后的俯视图像从所述俯视图像生成，其中分割所述捕获的输入图像按照所述图像中的特征的可分辨边界细分所述捕获的输入图像，其中分割所述捕获的输入图像按照可分辨的边界细分所述捕获的输入图像，并且其中所述俯视图像是垂直于地平面的视图。技术方案12.根据技术方案11所述的方法，其中所述俯视图像基于垂直于地平面的视角而生成。技术方案13.根据技术方案11所述的方法，其中所述俯视图像基于从所述捕获的输入图像到所述俯视图像的所述像素的映射而生成。技术方案14.根据技术方案13所述的方法，其中从所述捕获的输入图像到所述俯视图像的所述像素的所述映射实时生成。技术方案15.根据技术方案13所述的方法，其中从所述捕获的输入图像到所述俯视图像的所述像素的映射基于针孔摄像机模型。技术方案16.根据技术方案13所述的方法，其中从所述捕获的输入图像到所述俯视图像的所述像素的映射基于所有像素均在地平面上的假设。技术方案17.根据技术方案1所述的方法，其中从所述分割后的俯视图图像的所述分割后的区域提取特征，并且其中所述提取的特征被输入到所述分类器以用于确定所述畅通路径区域和非畅通路径区域。技术方案18.根据技术方案17所述的方法，其中支持向量机将在所述分割后的俯视图的所述分割后的区域中的提取的特征划分为畅通路径或非畅通路径。技术方案19.根据技术方案17所述的方法，其中AdaBoost分类器将在所述分割后的俯视图的所述分割后的区域中的提取的特征划分为畅通路径或非畅通路径。附图说明图1是整合了畅通路径检测系统的车辆的透视图。图2是从图像捕获装置捕获的输入图像的示例性透视图。图3是捕获的输入图像的示例性分割图像。图4是用来细分图像的分割技术的框图。图5是在分类之后识别畅通路径和非畅通路径的示例性图像。图6是捕获的输入图像的示例性俯视图。图7是捕获的输入图像的示例性分割俯视图。图8是在分类之后识别畅通路径和非畅通路径的示例性俯视图。具体实施方式图1中示出了畅通路径检测系统的框图。畅通路径检测系统包括安装到车辆12的图像捕获装置14。图像捕获装置14与处理单元16通信。图像捕获装置14可包括捕获行驶道路的图像的摄像机或其它成像装置。图像捕获装置14捕获车辆前方的图像以用来识别畅通行驶路径。优选地，图像捕获装置14被构造用于进行连续的图像捕获。由图像捕获装置14捕获的图像可存储在图像捕获装置14的存储器中，传递到非车载存储装置，或者可以传递到处理单元16用于分析。此外，可以使用不止一个图像捕获装置，以便向后和/或在车辆两侧捕获图像以用于畅通路径检测。对于全景视图系统来说，四个广视野(180度+)摄像机和前视窄视野(~50度)摄像机执行畅通路径检测。可以在分析中使用在车辆后方捕获的图像以用于识别车辆前方的行驶道路中的畅通路径。捕获的图像优选地为具有已知像素大小的二维图像。该图像包含多个可识别的像素(彩色或灰度)。每一个像素包括对应于表示色彩强度值的预定色彩表上的色彩的一组位。如图1所示的处理单元16为单个单元；然而，应当理解，处理单元16的功能可由在软件、硬件和/或专用集成电路中实现的一个或多个装置来执行。处理单元16可以是通用处理器、包括中央微处理器或中央处理器的数字计算机、ASIC、或具有非易失性存储器的其它处理模块、只读存储器、可编程只读存储器、RAM、模数转换电路、数模转换电路、输入/输出电路、缓冲能力和诸如数字信号处理的合适信号调节。处理单元16设计成利用来自本文所述装置以及车辆内的其它装置或系统的输入执行算法。处理单元16确定捕获的图像中的畅通路径，并且畅通路径被用来沿行驶道路引导车辆。处理单元16可执行如上所述引导功能，或者可以将结果传递到执行引导功能的第二应用。以下是对用于确定行驶的畅通路径的分割和分类技术的描述。在图2中，由图像捕获装置在车辆外部捕获行驶路径的示例性图像。该图像是由图像捕获装置捕获的行驶道路的透视图。分析图像以便对图像分割。分割按照图像内的可分辨的边界细分图像，从而可以分析每个区段以确定相应的区段是否为畅通行驶路径的一部分。如本文所用，分割被用作预处理日后用来识别畅通行驶路径的图像的框架。首先识别彼此可分辨的区段。可通过分割做出关于每个区段代表什么的预处理假设。然后可以将结果应用于下文将详细讨论的分类器，以便做出关于每个识别的区段是否为畅通行驶路径的一部分的最终判断。图3表示捕获的输入图像的分割图像。所应用的分割技术在提交于2009年10月19日的共同未决的申请12/581,742中有所描述，该申请全文以引用方式并入本文。该分割技术并行地使用几种分析方法分析图像。相比滤除图像部分的技术，示例性的基于分割的方法试图按照图像内的可分辨边界对图像进行细分或分割。该分割技术使用分析方法来细分图像。各种技术被共同地用来识别图像内的多个区段。图4的步骤20至26中示出了示例性分析技术。步骤20至26的技术可以共同地描述为在分割方法28中采用的分析技术。步骤20至26作出判断以基于步骤30至36中阐述的分析方法细分图像。从这些相应的步骤输出的结果被融合以用于识别捕获的图像中的潜在畅通路径。示例性分析技术包括运动分析20、纹理分析22、色彩分析24和几何形状分析26。运动分析20可以许多不同方式执行。例如，可利用两图像或一系列图像之间的差异来辨别对象相对于背景的移动。在另一示例中，可利用图像内的特征识别来评价可见对象，以符合已知易于移动的形状，例如在相对于该车辆的特定方向上取向的另一个车辆、或行人。在又一示例中，除了图像捕获之外可利用诸如雷达系统的第二车辆系统，该系统提供来自对象的雷达反射数据。第二车辆系统的另一个示例可包括车辆与车辆(V2V)通信、车辆与基础设施(V2I)或V2X系统，该系统提供来自通信中的车辆或实体的位置和移动数据，以便能分辨对象的踪迹和移动并用图像覆盖以对图像进行细分。这样的一个示例将包括在双向街道上的反向交通流。可利用对该交通流的移动的感测来分割反向车道与当前车道。其它形式的运动分析是本领域已知的，应当理解，在判断图像内的对象的运动时可以考虑车辆的运动。一旦执行了运动分析20，就可以将与相对于静止的地平面的运动相关联的图像的对象或区域从图像的剩余部分中分割或细分为不可能是畅通路径的候选者的图像区域。在框30中，将图像的一部分从具有所识别的运动的区域中分割为潜在地包含畅通路径的静止区域。可以想到采用通过运动分析可分辨的信息的许多方法，并且公开的内容并非意图限制为本文所述特定实施例。结合纹理丰富方法和无纹理方法描述纹理分析22。根据示例性的纹理丰富方法，像素强度对比度、色彩对比度、可识别线条、拐角和其它特征均可在图像中被识别和分析。根据示例性的无纹理方法，可以基于图像中的可识别图案将不同过滤器应用于图像以识别图像中更可能包括畅通路径的区域。一旦在框22中执行了纹理分析，对图像的明显特征和/或无纹理区域的分析就可提供可用于分割图像的图像部分的定义。在框32中，基于检测到的性质和对潜在畅通路径的潜在影响分割图像的部分。特定纹理或像素化特征的存在可用于分析。例如，车道标志可以被分辨并用于限定表示路面的图像的不同区段或分区并且与限定畅通路径相关。相似地，路缘、路肩和路边屏障可用来分割表示路面的图像部分与图像的其它区域。相似地，如上所述，车道几何形状或可通过纹理分析确定的其它指示可用来限定地平线或消失点。地平线或消失点也可用来将上面可能存在畅通路径的地面与天空和上面可能不存在畅通路径的地平线上方的其它背景进行分割。另外，可根据其相对于地面的高度来分析可通过纹理丰富分析分辨的对象。通过这种分析，描述道路中线、雪堆或一排停泊的汽车的纹理可用来将上面不可能存在畅通路径的图像区域与上面可能存在畅通路径的区域进行分割。此外，由于可能出现道路的平坦表面，图像的纹理的缺乏或无纹理区域的识别可能对于将图像的分割部分相对于具有可分辨纹理的其它区域识别为潜在畅通路径是有用的。可以想到采用通过纹理分析可分辨的信息的许多方法，并且公开的内容并非意图限制为本文所述特定实施例。在类似于上述无纹理方法的方法论中，可以采用色彩分析24来分割可表示上面可能存在畅通路径的路面的图像的一部分与不能表示路面的区域。鉴于无纹理方法基于纹理过滤或消除了图像的部分，色彩分析24基于色彩来分割图像的部分，具体而言将具有能表示路面的色彩的图像部分与具有不能表示路面的色彩的图像部分相分割。一旦执行了色彩分析24，就可以在框34中将具有能表示路面的色彩的图像的区域与不能表示路面的图像的区域加以区分。色彩分析24可通过色彩分割图像的部分，例如将图像的绿色区域与图像的灰色区域相分割。在该示例中，道路可能是灰色的，但道路不可能是绿色的。色彩分析24可以类似地用来限定车道标志、建筑区标志、学校区标志、对于指示非行车区域的道路的阴影线设计以及可根据道路上面或附近的标志的色彩判断的其它指示。可以想到采用通过色彩分析可分辨的信息的许多方法，并且公开的内容并非意图限制为本文所述特定实施例。几何形状分析26可用来识别可能指示能够是畅通路径的路面的图像的区域。一旦被识别，就可以在框36中分析这样的几何形状图案对于畅通路径的存在重要性。例如，具有包括图像底部和确定的水平线的基本上平行的线的底部较宽且顶部较窄的基于平行四边形的形状可以指示在道路上的当前行车道。由看起来平行于当前行车道的线条定界的区域可以根据其它标记来指示相邻的行车道和潜在的畅通路径。未从相应的行车道分割的与当前行车道或所识别的相邻行车道邻接的形状可以潜在地为连接的道路和潜在的畅通路径。此外，形状可以逻辑上连接在一起以指示路面或行车道。例如，从道路向桥面的过渡常常包括明显的过渡区。通过上述方法识别的这样的过渡区能形成终止于过渡区的几何形状。然而，几何形状的分析可表明两个形状可能一起指示邻接的行车道。相似地，可以将几何形状识别为不指示能够是畅通路径的道路或行车道。行车道需要车辆能行进通过该车道。突然结束且由指示形状(表示表面或者说是指示行驶的障碍)的边界中的突然变化的形状分隔的形状可用来分割图像的部分与可以是畅通路径的其它区域。指示表示表面的形状的边界中的突然变化的示例性形状可包括呈现出与壁或锐角的路缘一致的竖直线的形状。另外，所识别的几何形状的大小可以说明该形状是否能表示道路或畅通路径。靠近车辆的行车道必须至少为一定大小，以便成为车辆能行驶通过的畅通路径。几何形状或几何形状的图案可以被确定为由于该形状所指示的路面的潜在大小而支持或不支持畅通路径。由于所分析的表面更加远离车辆，支持畅通路径的行车道由于视角而在图像中看起来更小。可以想到采用通过形状分析可分辨的信息的许多方法，并且公开的内容并非意图限制为本文所述特定实施例。应当理解，上述方法是示例性的以用于分割可以辨别畅通路径与非畅通路径的图像的不同部分。各种技术影响识别畅通路径中的准确度或效率，这样的技术可以选择性地和共同地用于对图像分割。其它类型的分割技术可包括但不限于直方图阈值分割、自动阈值分割、Ostu分割、区域生长分割、分水岭分割、聚类分割、基于图的分割，并且雷达、LIDAR、结合数字地图的全球定位数据、车辆与车辆通信、车辆与基础设施通信、或描述车辆的操作环境的其它输入可用来提供能被覆盖和用来分割输入图像的不同的分析。除了作为示例给出的那些之外或作为备选方案，可以采用图像处理或分析的其它方法或关于车辆的操作环境的信息的其它来源。在框38中，一旦完成通过上述示例性分割技术的图像分析，就可以将各种分析融合成对示出捕获的图像的分割部分的图像内的特征的单一描述。如本文所述，图3示出了利用上述各种技术的特征分割。如图3所示，道路的不同部分被分割以用于识别图像的不同特征之间的区别。分割的部分可以被分析以确定相应的分割部分是否是畅通路径或非畅通路径的一部分。每个分割部分可以被输入到分类器40，以便分析每个相应的区段并确定该相应的区段是否为畅通路径的一部分。诸如支持向量机或其它类型的分类器的分类器可被用来将相应的区段划分成畅通路径或非畅通路径的部分。支持向量机(SVM)包括一组用于分类和回归的相关学习算法。学习算法是构建用来预测新样本是否落入一类别或另一类别(例如，畅通路径和非畅通路径)的模型的训练方法。SVM模型是在特征空间中的点的类别的表示，并且被映射成通过明显的间隙来划分单独的类别。支持向量机将输入数据映射到更高维度的空间，其中构造最大分离超平面。支持向量机构造两个平行的超平面。这两个平行的超平面被构造在分离超平面的每一侧上以用于分离数据。分离超平面使两个平行超平面之间的距离最大化。平行超平面之间的良好分离是期望的，该分离具有到任何类的最近训练数据点的最大空间距离。基本概念是，两平行超平面之间的距离越大，在将数据划分到相应的类时的误分类率将越低。包括但不限于AdaBoost的其它分类器可用于识别分割的部分是否是行驶道路的畅通路径的一部分。AdaBoost是一种机器学习算法，其与各种其它学习算法配合使用以改善这些算法的性能。在根据由先前的分类器误分类的那些算例来修改下一成功的分类器的意义上，AdaBoost是自适应的。由AdaBoost使用的先前的分类器可以是弱分类器(例如，显示较大的错误率)，但只要该分类器的性能不是随机的，它就可以改善整个分类器模型。图5示出了基于由图像捕获装置捕获的透视图图像的分割的分类过程的结果。如图5所示，畅通路径通过大体上示出为42的区域识别。划分为非畅通路径区域的区域由交叉线区域示出并且大体上示出为44。从捕获的图像中识别畅通路径的结果可由处理模块用来启动包括但不限于如本领域已知的且在本文中未描述的自动驾驶控制方法的应用，或者处理模块可以简单地提供信息至单独的自动驾驶系统或可以将畅通路径用于行人或对象检测的其它应用。对感知到的对象的动作可以变化，并且包括但不限于转向改变、节流阀改变、制动响应、以及对操作者的警告和放弃车辆控制。对于基于透视图对图像的分割和分类的担忧在于，虽然就在到车辆的近距离处的畅通路径而言的置信度可能较高，但对在较远距离处的畅通路径的分割的部分的置信度降低。也就是说，对于透视图来说，区段呈现不同的形状和大小，并且对于远处的地面以上的特征来说变得彼此混合。离车辆的距离越远，对象和行驶道路彼此混合得越多。结果，在不同区段之间的区分变得困难，因此，关于在较大距离处的畅通路径是否被正确分割和分类的置信度降低。为了获得对相同分割补丁的分类的增加的置信度，使用俯视图方法来检测来自图像的畅通路径。与透视图不同，俯视图方法旨在仅利用地平面特征。图像中的所有特征均假设在地平面上。然而，如果对象被映射到俯视图中并且不具有周围地平面的特性，则可以做出这样的假设：该对象不是地平面的一部分，并且这样的特征可以被移除以便进一步进行畅通路径分析。两个实施例可以用于从俯视图确定畅通路径。第一实施例包括直接从捕获的输入图像的透视图生成俯视图。图6示出了从图2所示透视图生成的俯视图。俯视图通过将来自透视图的像素映射到俯视图而生成。映射是在透视图和相关联的俯视图之间的一一对应关系。在生成俯视图的过程中，目的是仅利用来自地平面的特征。映射利用针孔摄像机模型和地上假设。如果地面上的俯视图范围为)，并且利用MxN网格来覆盖俯视图范围，则可以使用针孔摄像机模型在图像平面中计算每个网格点位置。然后使用相邻像素的插值确定每个网格点的像素值，以生成俯视图。然后将分割应用于利用上述分割技术的图6的俯视图像。图7示出了从图6的俯视图像生成的分割俯视图。将分类应用于图7的每个分割的区域。图8示出了基于图7的分割后的俯视图的分类过程的结果。如图8所示，畅通路径通过大体上示出为50的区域识别。划分为非畅通路径区域的区域大体上示出为52。从捕获的图像识别畅通路径的结果可以结合从透视图分类的结果配合使用以获得关于什么是图像的畅通路径区域的增加的置信度。对分割后的俯视图执行分类的优点在于，仅地平面特征趋于平行于彼此延伸，并且因此，道路边缘和其它道路标识符可以更容易被识别。例如，在图7中，分割的区域具有这样的边界线：其通常由一定程度上平行的线条或在基本上相同的方向上延伸的基本上平直的线条表示。相比之下，图3所示分割后的透视图包括具有不同形状、大小的区段，并且具有在各种方向上延伸的边界线，这增加了必须分析的区段的数量，增加了用于处理的数据，并且使畅通路径的检测变得更困难。俯视图提供各自通常在相同方向上延伸的更均匀的区段，并且因此在执行分类时可能更容易识别道路边缘。第二实施例包括直接从分割后的透视图生成分割后的俯视图。与直接通过映射从捕获的输入图像(图2)生成俯视图不同，分割后的俯视图(图7)基于分割后的捕获的输入图像(图3)而生成。分割后的俯视图(图7)直接通过将来自分割后的透视图(图3)的像素映射到分割后的俯视图而生成。图7示出了通过映射分割后的捕获的图像而直接获得的捕获的图像的分割后的俯视图。由于捕获图像的透视图已经被分割，不需要分割来生成分割后的俯视图像。相反，分割后的数据的转移通过将来自分割后的透视图图像的数据映射到俯视图像而执行。也就是说，在生成俯视图时不需要重新应用上述分割技术；相反，仅仅应用映射来生成分割后的俯视图像。选定的一组已确立的分割后的区域被转移和显示在俯视图中。如果一像素被识别为透视图中的相应区段的一部分，则当该像素被映射到俯视图中时该像素保持相同区段状态。在生成分割后的视图之后，分割后的俯视图的区域被输入到分类器以用于将每个区域划分为畅通路径或非畅通路径，如图8所示。虽然已详细描述了本发明的某些实施例，但本发明所涉及的领域的技术人员将会知道用于实践由以下权利要求限定的本发明的各种备选设计和实施例。