用于对道路的表面上的对象进行检测和建模的方法与流程

本公开内容涉及一种用于对道路的表面上的对象进行检测和建模的方法。此外，本公开内容涉及一种用于对道路的表面上的对象进行检测和建模的系统。

背景技术：

先进的驾驶辅助系统和自主驾驶汽车需要关于道路以及车辆可以在其上行驶的其他区域的高精度地图。使用常规卫星导航系统(例如gps、galileo、glonass)或其他已知的定位技术(诸如三角测量等)不能够实现以数厘米的准确度确定车辆在道路上或甚至在道路的车道上的位置。然而，特别地，当自动驾驶车辆在具有多个车道的道路上移动时，需要准确地确定其在车道上的横向位置和纵向位置。

以高精度确定车辆的位置的一种已知的方法涉及一个或多个摄像机捕获道路标记/道路涂绘(paint)的图像，以及将捕获的图像中沿着道路的道路标记/道路涂绘或对象的独特特征与从数据库获得的对应的参考图像进行比较，在所述参考图像中提供了道路标记/涂绘或对象的相应的位置。这种确定位置的方法仅当数据库提供高度准确的位置数据和图像时并且当数据库被定期地或以合适的间隔被更新时才提供足够准确的结果。

道路标记可以由在行驶时捕获道路图像的专用车辆捕获和登记，或可以从航空照片或卫星图像提取。后一变体可以被认为是有利的，因为垂直视图或俯视图像示出了在大体上平坦的表面上的道路标记/涂绘和其他特征的很少失真。

然而，航空照片和卫星图像可能不会提供对于生成道路标记/涂绘以及其他道路特征的高度准确的地图足够的细节。此外，航空照片和卫星图像不太适合提供从地面视角最佳地查看到的对象和道路特征上的细节。

期望提供一种用于对道路的表面上的对象进行检测和建模的方法，该方法允许确定对象在道路的表面上的准确三维位置。另一期望是提供一种用于对道路的表面上的对象进行检测和建模的系统，该系统允许提供对象在道路的表面上的准确三维位置。

技术实现要素：

权利要求1中限定了一种用于对道路的表面上的对象进行检测和建模的方法的一实施方案。

根据所述用于对道路的表面上的对象进行检测和建模的方法，在第一步骤中，扫描所述道路。在随后的第二步骤中，生成被扫描的道路的3d模型。所述3d模型包含所述道路的3d表面的描述。在随后的第三步骤中，创建所述道路的俯视图像。

在该方法的第四步骤中，通过评估所述道路的所述俯视图像来在所述道路的所述表面上检测所述对象。在该方法的第五步骤中，将检测到的对象投影在所述被扫描的道路的所述3d模型中的所述道路的所述表面上。在该方法的最后第六步骤中，对投影在所述被扫描的道路的所述3d模型中的所述道路的所述表面上的所述对象进行建模。

对位于道路的表面上的对象/道路涂绘进行检测和对检测到的对象/道路涂绘进行建模的常规方法常常提供道路涂绘或对象的不准确的三维位置以及道路的表面上的道路涂绘或对象的不正确的逻辑信息。特别地，由于一旦从由摄像机系统捕获的每一帧检测到一块涂绘(painting)，非常难以从不同的帧得到检测结果之间的关联性。此外，在现实世界中，道路的表面上的检测到的对象或检测到的涂绘可能是任意形状的，使得用于进行涂绘检测和建模的常规方法以大误差表示它。

呈现的用于对道路的表面上的对象进行检测和建模的方法将关于3d道路表面的信息和来自在不同时间沿着道路行驶的分散的车辆的道路的表面上的检测到的对象或道路涂绘信息融合(merge)，以调整和改善道路表面估计和道路涂绘/对象检测。所述用于对道路的表面上的对象进行检测和建模的方法的框架可以分为四个基本部分。

在该方法的第一部分中，由沿着道路行驶的每个车辆估计道路表面。每个车辆将向远程服务器报告相应的检测到的道路表面。在远程服务器中，将从沿着道路行驶的多个车辆获得的不同信息合并(conflate)。因此，可以在远程服务器中计算更准确的道路表面模型。

在该方法的第二部分中，将由车辆的面向前的摄像机单元捕获的道路路线从前摄像机视图转变为鸟瞰视图。特别地，对于由摄像机单元捕获的每一帧，首先进行逆透视转变，然后将提取图像的部分以组合成道路的完整路线的大图像。将在被扫描的道路的俯视/鸟瞰图像中检测道路的表面上的对象或道路涂绘。

在该方法的第三部分中，从2d俯视/鸟瞰图像到道路表面的3d模型执行3d对象/涂绘投影。在将检测到的对象/道路涂绘从2d俯视/鸟瞰图像投影到道路表面的3d模型之后，评估道路的3d模型以获得对象/道路涂绘的3d位置和对象/道路涂绘的逻辑信息。

在该方法的最后第四部分中，以3d方式对道路的表面上的检测到的对象/道路涂绘进行建模。由于道路的表面上的对象/道路涂绘可能具有任何形状，因此可以使用非均匀有理b样条(non-uniformrationalb-spline，nurbs)技术用于对检测到的对象/道路涂绘进行3d建模。nurbs曲线拟合算法可以有利地表示任何形式的曲线，使得nurbs算法允许精确地表示道路的表面上的任何对象/道路涂绘。与通过所提出的nurbs曲线拟合算法对对象/道路涂绘进行3d建模相比，用于对道路的表面上的对象/道路涂绘进行建模的常规方法通常通过多段线表示检测到的对象/道路涂绘，这消耗了大量的存储容量。然而，nurbs算法将极大地压缩数据。

权利要求11限定了一种用于对道路的表面上的对象进行检测和建模的系统。

根据一可能的实施方案，该系统包括：多辆车辆，其沿着所述道路行驶；以及远程服务器，其在空间上远离所述多个车辆定位。所述车辆中的每个包括相应的摄像机单元以扫描所述道路。此外，所述车辆中的每个被实施用以生成被扫描的道路的3d模型。所述3d模型包含所述道路的所述表面的描述。所述车辆中的每个被实施用以创建所述道路的相应的单独的俯视图并且将所述道路的相应的单独的俯视图转发到所述远程服务器。

所述远程服务器被实施用以通过评估和合并所述被扫描的道路的所述相应的单独的俯视图像来创建所述被扫描的道路的俯视图像。所述远程服务器还被实施用以通过评估所述道路的所述俯视图像来检测所述道路的所述表面上的所述对象。此外，所述远程服务器被实施用以将检测到的对象投影在所述被扫描的道路的所述3d模型中的所述道路的所述表面上。所述远程服务器还被实施用以对投影在所述被扫描的道路的所述3d模型中的所述道路的所述表面上的所述对象进行建模。

在下面的详细描述中阐明了附加特征和优点。应理解，前述的一般描述和下面的详细描述都仅仅是示例性的，并且意在提供用于理解权利要求的本质和特征的概述或框架。

附图说明

附图被包括以提供进一步理解，并且被并入说明书中并且构成说明书的一部分。这样，从结合附图进行的以下详细描述将更充分地理解本公开内容，在附图中：

图1示出了一种用于对道路的表面上的对象进行检测和建模的方法的流程图；

图2示出了一种用于对道路的表面上的对象进行检测和建模的系统的示例性简化块图；

图3a示出了由摄像机单元捕获的第一简化情景以及对道路的捕获的图片的用于进一步处理的区域的选择，以及

图3b示出了由摄像机单元捕获的第二简化情景以及对道路的捕获的图片的用于进一步处理的区域的选择。

具体实施方式

在下面参考图1以及参考图2解释了用于对道路的表面上的对象进行检测和建模的方法，图1例示了该方法的一系列不同步骤，图2例示了一种用于对道路的表面上的对象进行检测和建模的系统的组件。

在该方法的步骤s1中，车辆扫描该车辆行驶所沿的道路40。根据图2中所示出的系统的一可能的实施方案，多个车辆10a、10b和10c沿着道路40行驶，并且在行驶过程期间扫描该道路的路线。为此目的，所述车辆中的每个包括相应的摄像机单元11。摄像机单元11可以被实施为车载的、面向前的摄像机。相应的摄像机单元11可以包括ccd传感器阵列。优选地，可以提供简单的单目摄像机。替代地，可以使用立体摄像机，该立体摄像机可以具有彼此相距一距离安装的两个成像传感器。图3a和图3b示出了由摄像机单元11捕获的两个紧接的图片50a、50b。

在该方法的步骤s2中，生成被扫描的道路40的3d模型。该3d模型包含道路40的3d表面的描述。即使提供单目摄像机作为摄像机单元11，车辆沿着道路的移动使得能够生成被扫描的道路40的3d模型。被扫描的道路40的生成的3d模型可以被解释为点云。特别地，可以通过评估在沿着道路行驶时由车辆10a、10b和10c中的每个的相应的处理器单元12捕获的图片来生成密集的或半密集的点云。

根据该方法的一可能的实施方案，可以由车辆10a、10b和10c中的每个生成被扫描的道路40的相应的单独的3d模型。相应的单独的3d模型可以由车辆10a、10b和10c中的每个转发到在空间上远离多个车辆10a、10b和10c定位的远程服务器20。为了将被扫描的道路40的相应的生成的单独的3d模型传输到远程服务器20，车辆10a、10b和10c中的每个包括通信系统13。

远程服务器20通过评估和合并从车辆10a、10b和10c接收的被扫描的道路40的相应的单独的3d模型来生成被扫描的道路40的3d模型。从车辆10a、10b和10c接收的单独的3d模型中的每个存储在远程服务器20的存储单元22中。特别地，在沿着道路行驶时由车辆中的每个生成的各个点云通过远程服务器20的处理器单元21进行匹配，以提供道路40的3d模型。该3d模型包含关于道路表面的信息，使得远程服务器20可以执行道路表面估计。被扫描的道路的准确的道路表面模型可以通过处理器单元21通过将由车辆10a、10b和10c中的每个生成的各个单独的3d模型合并和匹配来构造。

在该方法的步骤s3中，创建道路40的俯视/鸟瞰图像。特别地，由车辆10a、10b和10c中的每个创建被扫描的道路40的相应的单独的俯视/鸟瞰图像。相应的单独的俯视/鸟瞰图像由车辆10a、10b和10c的通信系统13中的每个转发到远程服务器20。远程服务器20可以通过评估和合并被扫描的道路40的相应的单独的俯视图像来创建被扫描的道路40的俯视图像。位于道路的表面上的对象，例如道路涂绘，可以通过处理器单元21通过评估被扫描的道路40的3d模型和被扫描的道路40的俯视图像来检测。

在下面参考图3a和图3b描述了由车辆10a、10b和10c中的每个对被扫描的道路40的相应的单独的俯视图像的创建。

图3a示出了由沿着道路40行驶的车辆10a、10b和10c中的一个的摄像机单元11捕获的简化情景的第一图片50a。图3b示出了在晚于第一图片短时间由车辆10a、10b和10c中的同一个的摄像机单元11捕获的简化情景的第二图片50b。捕获的图片50a、50b中的每个中的虚线包围图片50a、50b中的每个中的一个区(zone)，在所述区中摄像机单元11的摄像机光学元件导致最小失真。

当车辆向前移动时，情景中的特征朝向车辆移动并且最终经过车辆，使由摄像机单元11捕获该情景。在图3b中，与图3a中所示出的情景相比，车辆已经向前移动了一定距离，使得位于道路40的表面上的对象/道路涂绘60(例如，方向箭头)已经移动到前景中并且，在图3a中被示出在背景区域中的交通标志30已经移动到捕获的图片50b中的中心区域内。摄像机光学元件导致最小失真的区位于捕获的图片50a、50b中的每个的中心区域中。

如图3a和图3b中所示出的，由车辆10a、10b和10c中的每个的相应的摄像机单元11时间延迟地捕获一系列至少第一相应的单独的图片50a和第二相应的单独的图片50b。由车辆10a、10b和10c中的每个从第一图片50a选择相应的第一区域51。相应的第一区域51位于第一图片50a的一个域中，在所述区中摄像机单元11的光学元件导致最小失真。此外，由车辆10a、10b和10c中的每个从第二图片50b选择相应的第二区域52。相应的第二区域52位于第二图片50b的一个区中，在所述区中摄像机单元11的光学元件导致最小失真。

由车辆10a、10b和10c中的每个将所选择的相应的第一区域51转变为相应的第一俯视透视图。此外，由车辆10a、10b和10c中的每个将所选择的相应的第二区域52转变为相应的第二俯视透视图。为了创建相应的单独的俯视/鸟瞰图像，由车辆10a、10b和10c中的每个将相应的第一俯视透视图和第二俯视透视图缝合在一起。

可以由车辆10a、10b和10c中的每个的相应的处理器单元12执行用以获得相应的所选择的区域的俯视透视图的转变和将俯视透视图缝合在一起的步骤。该转变可以是将区域51、52中的每个从摄像机单元11的视图转变为鸟瞰视图的逆透视转变。

在该方法的步骤s4中，通过评估道路40的俯视图像来检测道路40的表面上的对象/道路涂绘60，例如图3a和图3b中所示出的方向箭头。此步骤允许检测位于道路40的表面上的对象，诸如道路涂绘或其他对象，例如，下水道的盖。

在该方法的步骤s5中，将检测到的对象60投影在被扫描的道路40的3d模型中的道路40的表面上。为了执行投影步骤，由远程服务器20的处理器单元21比较和匹配由摄像机单元11捕获的道路的图片50a、50b、道路的俯视图像和被扫描的道路的3d模型的点云。

匹配过程使得能够将检测到的对象60投影在被扫描的道路40的3d模型中。根据一可能的实施方案，在将在道路40的俯视图像中检测到的对象60投影在被扫描的道路的3d模型中的道路40的表面上之后，确定关于对象60的3d位置和逻辑信息。

在该方法的步骤s6中，对投影在被扫描的道路的3d模型中的道路40的表面上的对象60进行建模。为此目的，可以使用数学曲线拟合算法。特别地，可以使用非均匀有理b样条技术来执行曲线拟合。此所谓的nurbs技术可以表示任何形式的曲线，使得能够精确地表示检测到的对象/道路涂绘。

参考符号列表

10车辆

11摄像机单元

12处理器单元

13通信单元

20远程服务器

21处理器单元

22存储单元

30交通标志

40道路

50捕获的图像

51、52所选择的区域

60道路涂绘。