通过车辆和服务器数据库进行两步对象数据处理以生成、更新和传送精确道路特性数据库的系统和方法与流程

文档序号:14013925阅读:204来源:国知局

本发明涉及一种用于收集道路数据和道路附近的环境数据的方法和系统。车辆与用于生成包括驾驶相关对象数据的数据集的服务器数据库之间共享两步式数据生成和处理。本发明还涉及包含这些数据的数据库、用于构建这种数据库的方法和用于向车辆分配这些数据的方法。



背景技术:

为了优化车辆的运行以及为了提供新的特征和功能,现代车辆中集成了数量日益增加的传感器和处理器。在us6,353,785b1中,公开了一种用于车辆内计算机架构的方法和系统。计算架构包括数据网络,该数据网络由多个互相连接的处理器、对车辆周围的环境条件进行响应的第一组传感器、对车辆的硬件系统进行响应的第二组传感器、和包含代表车辆周围的地理区域中的地理特征的数据的地图数据库。车辆运行编程应用可尤其包括自适应巡航控制、自动呼救、以及障碍物和碰撞预警系统。在此实施例中,车辆需要数据网络上的连续通信,该数据网络有时可能在实际道路条件下中断。此外,需要精确的地图数据库。

ep1219928a1公开了一种用于生成用于数字地图的路段的方法。配备有摄像机的车辆在一个道路区段上行驶。将捕获到的图像与gps信息关联,以产生数字地图。

为了生成道路地图,使用高度专业化的车辆。它们具有用于扫描道路的昂贵设备,其成本可能比车辆本身高得多。在扫描道路之后,需要对所取得的信息进行手工处理。这较昂贵的,劳动强度大,并且容易出错。因此,只能实现比较长的更新周期。



技术实现要素:

本发明拟解决的问题在于改进已知的车辆、数据库和用于构建数据库的方法,所述数据库进一步向车辆提供充分的信息,以实现高度自动化驾驶(had),或自主驾驶,或无人驾驶,或其它车辆控制应用,或精确车辆定位。

问题的解决方案在独立权利要求中描述。从属权利要求涉及本发明的进一步改进。

使用had或无人驾驶车辆的试验和模拟表明,需要非常详细地了解车辆的环境,特别是道路。这些数据可用于多种其它应用,比如远光辅助、速度建议、路拱/凹坑警告、经济驾驶、智能巡航控制、高级换挡、加速器踏板力反馈、智能能量管理、减振控制、高级缓速控制、冷却策略、紧急转向辅助、预览esc、智能停车、红绿灯辅助和弯道速度警告。因此,希望以适度的成本或低成本提供道路和其它与驾驶相关对象的最新和最近数据。

这种数据优选基于通过车辆中的传感器取得的数据。但是,理想情况是获取例如长距离中或弯道后方的超出传感器的能力之外的道路信息。这种信息可允许车辆的前瞻性控制。例如,如果车辆正在接近弯道后方的十字路口,则可降低车辆的速度,或在坡道之前选择不同档位。

此外,这些传感器可能由于内部误差或环境条件而受损。例如,跟踪道路的摄像机可能由于雾或大雨而受损。在这种情况下,获得允许将所捕获的摄像机数据与已知信息关联的与道路有关的详细信息将是理想的。这样,可以正确地解释信息,否则这些信息将难以识别。例如,如果车辆精确地了解中心虚线的每条划线(标记)的位置和它离道路边界的精确距离,则即使摄像机图像非常嘈杂并且中心虚线难以检测,也仍然可以进行定位。

如果可获得与道路和其它驾驶相关对象有关的足够详细、最新和可靠的信息,则可拓宽上述车辆应用的使用领域或可降低对车辆的传感器的要求,或车辆可配备较少或较廉价的传感器。此外,可以在传感器发生故障或受损的情况下进行驾驶。

当今结合车辆移动的gnss跟踪使用的道路的常规数字地图对于导航而言可能是足够的,但它们对于无人驾驶车辆而言不够详细。使用专业扫描车扫描道路能提供多得多的细节,但这极为复杂、耗时和昂贵。因此,更新周期可能长达数年。放眼全球,道路基础设施本身不会快速地改变,因为道路建设昂贵而且耗时。任何两个点之间的道路将长时间保留,但是道路细节可能快速改变。因此,希望以及时的方式提供足够详细和精确的道路信息或道路特性数据。

生成和更新精确的道路特性数据库的优选实施例的基本概念是两步对象数据处理,其中第一对象处理步骤由车辆完成并且第二对象数据处理步骤由服务器数据库完成。

在第一实施例中,标准生产车辆使用其传感器来收集多个环境数据集,处理它们,并与服务器上的精确道路特性数据库通信,以提高其收集的数据的品质并为服务器数据库提供更新的环境信息。通常,信息主要基于对象,并与驾驶相关对象如道路对象、道路设施对象、地理对象或另外的对象有关。道路对象优选地与道路自身有关。它可以描述道路的基本特征,比如宽度、方向、弯曲情况、每个方向上的车道数量、车道宽度、表面结构。它还可描述特定细节,比如路缘石、中心线,甚至中心虚线的每条划线,或其它标记,比如人行横道或停止线。道路设施对象与道路设施——也称为街道设施——相关。道路设施可包括出于各种目的安装在街道和道路上的对象和设备。它可包括长凳、路障、护栏、邮箱、电话亭、路灯、红绿灯、交通标志、公交车站、电车站、出租车招呼站、公共雕塑和果皮箱。地理对象可以是任何静止物体,例如但不限于建筑物、河流、湖泊或山脉。另外的对象可以是未落入上述类别之一中但也与驾驶相关的对象。这些对象可以是树、石头、墙壁或其它靠近道路的障碍物。它们也可包括结构如壕沟、平面和可被考虑用于规划替代紧急出口或碰撞避免路径的其它结构。

车辆可以是小汽车、卡车、摩托车或任何其它用于沿一路径在道路上行驶的装置。本文以一种车辆为例描述实施例,但所述实施例通常可应用于多种车辆。车辆优选地具有一定数量的传感器,例如但不限于摄像机系统,比如可适合于捕获可见和/或红外图像的ccd摄像机。优选地设置简单的单目摄像机。或者,可使用立体摄像机,其可具有彼此隔离开地安装的两个成像传感器。可存在更多传感器,比如雷达传感器、激光传感器、红外传感器、超声换能器或其它环境传感器。尽管优选的是传感器沿行驶方向取向,但是它们也可沿其它方向取向,比如车辆的侧方或后方。更优选的是,车辆具有至少一个计算机或多个计算机,以及存储器和用于执行本文描述的方法的软件。最优选地,计算机具有用于处理传感器信号的足够的处理能力和内存。此外,车辆优选地具有用于在通信网络上通信的通信装置,所述通信网络可以是例如但不限于移动通信网络、wi-fi、卫星广播或任何其它类型的网络,其甚至可以是有线网络。一般而言,车辆与服务器数据库之间的通信通过这种通信装置来建立。车辆可根据可用性或成本而使用不同的通信方式,比如在途中使用移动通信网络并且在热点附近或在家中使用wi-fi。

还称为服务器数据库(如果未以其它方式提及的话)的精确道路特性数据库优选地由服务提供商提供并且优选地被托管/设置在多个主机系统上。它可以是中央数据库,但优选地被分割成例如通过地理区域分隔的多个子数据库。优选地,数据库管理程序与服务器数据库连接。最优选地,数据库管理程序包括与子数据库连接的多个子管理程序。优选地,服务器数据库具有合适的网络连接如互联网连接以与车辆通信。在一替代实施例中,与车辆的通信可经由第三方通信系统如车辆制造商的后端来执行。带宽应当足够大,以同时与大量车辆通信。优选地,通信被压缩和/或加密。优选地,服务器数据库包括物理数据存储器——其可以位于特定服务器地点、基于云的共享基础设施、各途径的组合或类似实施例中——以及用于管理数据存储器和数据流的软件。这里,术语服务器数据库用来指所有广义上相关的系统。这可包括计算机系统、物理存储器或基于云的共享基础设施、数据库引擎、数据库管理程序和用于处理数据库或类似实施例中的数据的另外的软件。

优选地,车辆在自动驾驶之前取得道路特性数据并且将它存储在车辆数据库中。初始数据集可由车辆制造商在车辆的制造或初始化过程中提供,由数据存储介质如cd、dvd、硬盘、移动存储器提供,或通过从服务器数据库下载来提供。由于初始数据集可能比较大,所以优选具有可用于从服务器数据库进行初始下载的高速数据连接。优选地,初始数据集覆盖车辆在不久的将来可能在其中运行的区域或地区。在已接收初始数据集之后,车辆可能需要进一步的更新。这些更新可提供与改变的对象和/或先前覆盖的区域的扩展或变化有关的新信息。车辆可以以特定间隔从服务器数据库和/或在可获得高速网络连接的情况下和/或在需要覆盖的扩展——在已规划新的路线或甚至在驾驶期间可能是这种情况——的情况下请求这些更新。服务器数据库还可基于其认知来触发向车辆的数据传送,车辆可能需要该数据。这种数据优选为更新的数据和/或可包括危险道路状况的警告的紧急数据。

为了向车辆提供初始或当前的数据集,服务器数据库根据存储在服务器数据库中的第四数据集生成至少一个第一数据集。所述至少一个第一数据集与车辆的请求或服务器数据库的触发相关。优选地,第一数据集覆盖车辆的目标范围。这种目标范围可在车辆的使用过程中由服务器数据库或车辆修改。优选地,车辆行驶的路径是其目标范围的一部分。优选地,服务器数据库已存储有与车辆数据库的状态有关的信息。这种信息可包括存储在车辆中的第一数据集的备份或用于标识存储在车辆中的第一数据集的至少一个标识符。该状态信息优选地在车辆已确定第一数据集的接收之后更新。通过使用该状态信息,第一数据集可仅包括修改后的数据集和/或新数据集。可存在车辆不具有的数据集、车辆具有但已更新的数据集、车辆具有但被重传的数据集、或服务器数据库希望车辆删除的数据集。如果由服务器数据库触发,则所述至少一个第一数据集可包含更新的数据和/或警告数据和/或应当由车辆验证的数据。优选地,每个第一数据集包括至少一个地点信息和详细的基于对象的信息。地点信息指定详细的基于对象的信息可应用的位置、区域或地区。这包括,数据集可包括一个地点信息和优选地与同一或相邻地点相关的多个基于对象的信息。基于对象的信息可包括与至少一个驾驶相关对象如道路对象、道路设施对象和地理对象的有关的详细信息。

优选地,由服务器数据库提供给车辆和从车辆提供给服务器数据库的数据集包括基于对象的3d矢量格式。最优选地,第一、第二、第三和第四数据集包括这种矢量格式。这种矢量格式可以是矢量图像格式,优选地比如用于计算机游戏或cad制图技术中的标准矢量图像格式或其衍生物。优选地,道路的详细对象如道路的界线、道路的标线、交叉路口和出口以及街道设施以3d矢量图像格式表示。由于矢量图像格式,仅需在车辆与服务器数据库之间来回传送少量数据。此外,矢量图像格式允许以不同方式渲染道路特性数据,以表示不同观察角度或传感器型式,例如摄像机式或雷达式。

优选地,服务器数据库将辅助信息作为第一数据集的一部分提供给车辆。这种辅助信息可以是服务器数据库生成的置信级别/水平或其它与置信度有关的信息——这里称为置信级别——和重要性级别,以及紧急度或统计信息如平均值和标准偏差。可针对每个单独的数据集或一组数据集提供该辅助信息。

在第一数据集已生成之后,它们被转发至车辆并存储在车辆数据库中。车辆可以从车辆数据库推导与驱动有关的数据以用于其驱动控制应用,比如自动驾驶。

但车辆不仅仅是道路特性数据的用户。它们还通过分析由它们的传感器收集的环境数据集来生成道路特性数据。在通常的道路和驾驶条件下,可能优选的是车辆在行驶的同时、在参与交通的同时或至少在位于道路上或邻近道路的同时通过它们的传感器、优选地还通过它们的图像传感器来对信息进行采样或收集,并且定期或周期性地将采样信息与预先下载或存储的信息进行比较和/或关联。这种收集之间的频率或时间区间——其也可称为采样率——可通过车辆中的传感器、它们的分辨率和/或车辆中的处理能力来确定。代替定期采样,可选择随机采样。也可针对环境调整采样频率。在弯曲道路的情况下,与直路相比可能希望较高的采样率。服务器数据库也可请求不同采样率。

所采样的环境数据集可作为一系列环境数据集被记录并存储一定时间。这允许作为后台任务处理所存储的环境数据集,并来回移动所存储的数据集,以进行与必须在速度上跟随车辆的实时处理相比更复杂的处理。所采样的一系列的环境数据集的存储允许车辆特别是在驾驶时随着时间和/或距离而监视对象的出现。例如,交通标志可以是通过摄像机从远距离拍摄的图像上的一个小点。当接近交通标志时,该点扩大并开始显示特征图案,直至它可以在经过该交通标志之前不久在放大视图中被清楚地看到。

环境数据集至少在一定时间区间上的连续记录也可允许回看。在上述示例中,车辆可能已恰好在经过交通标志之前识别出该交通标志。现在可以在接近交通标志时回滚数据集,例如图像,并且生成这种交通标志从远处看像什么或它精确地位于何处的更多信息。该数据也可被用作驾驶相关数据的一部分,以使车辆能够从更远的距离检测交通标志。

服务器数据库可传输采样请求消息,所述请求消息优选地指定应当对该信息进行采样的时间和/或地点。此外,服务器数据库可请求特定对象或区域的特殊处理。例如,它可请求对交通标志进行文本或语言处理。它还可请求未知区域——例如,交通标志——的高分辨率图像,使得服务器数据库自身可以进行另外的处理,例如外文文本识别。特殊请求可优选地被编址至特定车辆,该特定车辆可具有特定设备,例如立体摄像机或激光扫描仪,或可在特定区域中移动。服务器数据库也可上传特定处理指令或特定程序代码。这些特殊处理请求可作为隐含指令或借助参数或数据包含于至少一个第一数据集内。例如,低置信级别将触发对象的重新扫描,以取得更好的信息并因此提高置信级别。

采样也可基于置信和/或重要性和/或紧急度而被触发。如果车辆数据库中的第一数据集在特定地点显示比较低的置信级别或高重要性和/或紧急度,则优选的是大部分或几乎全部经过或停留在该地点的车辆将通过它们的传感器来收集信息并将更新转发至服务器数据库。随着时间推移,越来越多的数据被收集,这引起更高的置信级别。由于可能不需要以更高的置信级别重新扫描对象,所以重新扫描的对象数随着时间减少。因此,车辆和服务器数据库中的网络流量和所需的处理能力可下降。

此外,如果大量车辆正在同时传输更新,则可存在优先方案以更好地利用比较便宜的通信网络。例如,如果数据集的置信级别比较低并且传感器传送改良的数据,则车辆可记录这种数据。如果置信级别非常高,则可仅记录少数差别。在这种情况下,服务器数据库可进一步提高置信级别。如果数据已经具有最高置信级别,则车辆不会记录该区域内的更多数据。相反,它可生成至少一个确认数据集,或在尚未识别出任何差别的情况下将与经过特定路段有关的确认消息发送至服务器数据库。这样,通信量和因而通信成本可随着数据的逐渐增长的置信度而降低。

一些车辆中的处理能力可能不足以至少以高帧率——其对于高速行驶的车辆而言可能是足够的——对由车辆数据库提供的数据和针对完整的车辆行驶路径由车辆的传感器取得的数据进行实时比较。以120km/h行驶的车辆以33.3m/s进行。为了取得大约1m的一系列环境数据集的空间分辨率,每秒必须处理33.3个环境数据集。与其它驾驶相关的任务并行将车辆数据库信息与环境数据集进行比较可能加重大部分车辆的计算机的负担,特别是因为单个环境数据集可包括多个传感器如摄像机、雷达传感器、红外或rf传感器和如其它环境传感器的更多传感器的大量信息。因此,该比较优选地在车辆路径的较大、不连续的区段中完成,如可被每个车辆处理的。车辆路径区段的长度可处于数米至数百米的范围内,并且彼此之间接着数米至数百米的间隙,该间隙可进一步取决于车辆的速度或当前可获得的处理能力。在又一实施例中,可独立地进行不同信息的评估。例如,可见的摄像机图像可实时评估,而激光扫描的图像可在后面的时间评估。在又一实施例中,信息的一定级别的评估可接近实时地进行,以在速度上跟随车辆,而信息的更详细评估可仅在检测出差别的情况下进行。

车辆对全部或至少如上所述选择的由传感器收集的道路环境数据集进一步评估以生成至少一个第二数据集,每个第二数据集至少包括地点信息以及与道路对象、道路设施对象和地理对象中的至少一者有关的基于对象的详细信息。为了生成这种第二数据集,评估存储的环境数据集。优选地,车辆仅通过存储的环境数据集或通过将存储的环境数据集与来自存储在车辆数据库中的至少一个第一数据集的信息关联来识别驾驶相关对象。如果例如不良视野、不良的气候条件可能导致对象难以识别,或如果对象至少部分被隐藏,则这种关联可能是有用的。优选地,车辆将先进技术用于提高对象描述精度,比如稍后将更详细地描述的对象的统计评估或分组。第二数据集代表车辆对驾驶相关对象的当前视角。生成至少一个第二数据集和/或生成至少一个第三数据集是由车辆完成的第一对象数据处理步骤。

在生成第二数据集之后,车辆生成第三数据集,该第三数据集包含存储在车辆数据库中的第二数据集的基于对象的信息和第一数据集的基于对象的信息之间的差别。附加地或替代地,至少一个第三数据集可包括第二数据集,不含计算出的差别。此外,第三数据集可包含部分环境数据集、完整的环境数据集、环境数据集的序列以及来自传感器的其它辅助信息和车辆状态及中间处理结果。优选地,第三数据集的覆盖区域如服务器数据库所请求的那样或如由车辆所确定的那样被限制。以上详细描述了该选择。还优选的是,当第二数据集的基于对象的信息与第一数据集的基于对象的信息之间至少存在最低差别时,除非服务器数据库明确请求了各个数据集,否则仅生成这种第三数据集。作为不生成特定数据集的替代方案,数据集仍可生成但被标记为不应当传输至服务器数据库。如果车辆已识别出重要数据并生成至少一个第二数据集而不生成对应的第一数据集,则可假设车辆已识别出新对象。优选地,始终对这些新对象生成第三数据集。第三数据集可包含可给出进一步的信息如车辆生成的置信级别的辅助数据。这种车辆生成的置信级别可由车辆基于车辆的设备、行驶速度、测量次数或图像或基于信噪比或任何其它测量参数来确定。可存在更多参数以影响车辆生成的置信级别,比如气候条件、光照条件、阴影、盲区和其它条件。

最后,车辆将第三数据集转发至服务器数据库。与服务器数据库通信可根据通信网络的可用性来进行。因此,通信可在车辆泊车或在红绿灯处停车并且可获得wi-fi时进行。重要的和/或紧急的数据始终可经由移动通信网络交换,而其它数据可稍后在可获得wi-fi时交换。由于第三数据库主要包括驾驶相关对象的对象数据,所以它们比较紧凑并且所需尺寸比从道路或对象拍摄的图像小。这大大简化了通信并且减轻了网络负荷。仅在很特殊的情况下,可将更大的图像数据传送至服务器数据库。例如,如果交通标志是不可读的,则该交通标志的图像可被转发至服务器数据库以用于进一步的评估。

上述步骤可依次执行,从而分步或通过处理单独的数据集来处理一定数量的数据集。例如,车辆路径的一定区段的数据可被收集并在车辆已经过该路径区段之后分步处理。反之,可在车辆正在经过其路径的特定区段的同时连续进行数据处理。此外,数据可被连续转发至服务器数据库或被传送。组合方式也是可以的。例如,如果车辆检测出重要对象,则当车辆正在经过其路径的特定区段时,可在记录所有相关传感器数据的同时进行连续的实时处理,从而允许如上所述的回看。

优选地,服务器数据库存储对所接收的第三数据集的选择。或者,服务器数据库存储所有接收的第三数据集。优选地,用于每条道路的大量第三数据集存储在服务器数据库中。这可以是显示先前的用于该道路的来自不同车辆的第三数据集的结果的历史记录。服务器数据库至少具有可用于进一步评估的第四和第三数据集。服务器数据库或可以是其一部分的数据库管理程序可回顾与第四数据集的差别有关的从车辆接收的第三数据集。服务器数据库尝试将第三数据集拟合至第四数据集。通常,第三数据集的对象的地点信息应当靠近第四数据集。可存在大约为限定最大公差窗的最大gnss公差的偏差。因此,服务器数据库仅须比较该最大公差窗口内的数据集。由服务器数据库执行的该处理是用于生成和更新精确道路特性数据库的第二对象数据处理步骤。它还可通过以下步骤和方法来完成。

数据库优选地生成用于对象的对象基准点。这种对象基准点今后可用于配比/匹配(align)对象或多组对象。对象基准点优选被分配给可容易地和以比较高的精度识别的对象的一部分或特征。它可以是交通标志的几何中心或红绿灯的特定灯。

优选地,服务器数据库对从车辆接收的信息进行统计评估。如果大量车辆报告相同差别,则存在一定的可能性实际道路与服务器数据库相比已改变。因此,可更新服务器数据库。

一个非常重要的方面是在生成第四数据集时提高第三数据集的对象描述精度。例如,由车辆进行的在第三数据集中建模的对象对第四数据集而言可能不是最佳的,并且可在生成第四数据集时由服务器数据库改变。此外,gnss位置信息容易发生误差,并非所有误差都具有正态分布,可以通过取平均值来对误差进行处理。例如,源自第一车辆的第一数量的第三数据集相对于源自第二车辆的第二数量的第三数据集可具有特定的位置偏移。或者,需要处理由于车辆传感器缺少校准和标准化——例如光学变形——而引起的第三数据集中所保留的误差。为了提高对象描述精度,可评估和/或配比多个数据集——优选第三数据集——的信息,尤其是位置信息。

优选的实施例涉及如下精确配比车辆路径数据以通过匹配和配比与道路的同一部分相关的特定数据集合来改善所收集的数据的方法。优选地,服务器数据库从多个车辆接收基于车辆决定报告的与车辆路径的每个区段相关的至少一个环境数据集的第三数据集。这些环境数据集优选地涉及驾驶相关对象、道路设施和地理对象中的至少一者。为了生成这些第三数据集,在车辆中执行如下对象数据处理:评估所述至少一个环境数据集并基于评估结果和/或部分环境数据和/或中间处理结果生成驾驶相关对象数据的至少一个第二数据集,并将驾驶相关对象数据的所述至少一个第二数据集与存储在车辆数据库中的驾驶相关对象数据的至少一个第一数据集进行比较。

各自基于至少一个第三数据集,服务器数据库识别至少部分地彼此重叠的与道路的一部分有关的多个第一车辆路径区段。可基于与数据集有关的地点信息来预先选择这些数据集,所述地点信息可以是gnss位置信息。随后是基于每个车辆路径区段中的至少一个第三数据集中所包含的地点信息对与道路的同一部分相关的多个第一车辆路径区段中的第三数据集进行的第一粗配比步骤。为了精确配比,在至少两个车辆路径区段中识别多个对象基准点和/或相关对象。基准点和/或相关对象被分组成使得:多个第一车辆路径区段中的至少两个车辆路径区段包括至少一组相同的对象基准点和/或相关对象。最后,生成或计算用于匹配和/或配比与道路的同一部分相关的多个第一车辆路径区段的至少两个车辆路径区段中的所述至少一组对象基准点和/或相关对象的配比功能。相同的配比功能至少适用于相同的至少两个车辆路径区段的另一第三数据集的选择,以生成或更新包含驾驶相关对象数据的第四数据集。这种配比功能可包括线性平移和/或旋转或甚至更复杂的转换中的任一者。

进一步优选的是,服务器数据库使用来自服务器数据库的第四数据集以及第三数据集作为用于配比的基础。

在生成和应用配比功能之后,可通过优选地计算配比的第三数据集的平均值和/或标准偏差来统计地处理第三数据集。

还优选进行另外的配比和/或通过使用道路交叉口处的基准点和/或从卫星图像获知的位置和/或固定的地理基准点来配比。

根据又一实施例,服务器数据库具有执行精确配比与道路的同一部分相关的车辆路径数据的方法所需的手段。优选地,该方法由具有位于存储器中的计算机程序的计算机来执行。

车辆可使用车辆中可获得的第一和第二数据集执行相同方法以提高第二数据集的精度。但是优选在服务器数据库内而不是车辆中执行与道路的同一部分相关的车辆路径数据的精确配比,因为服务器数据库具有明显更高的处理能力并且可访问由大量车辆提供的大量数据。

但即使这样,车辆也可出于另一目的而执行分组。对象基准点和/或相关对象的分组可有益于精确车辆定位。沿道路可存在大量具有相对位置基准的对象,比如中心线划线。由于存在许多本质上看上去相似的划线,难以在各划线之间进行区分和取得沿着道路的纵向方向的绝对位置基准。无论如何,即使这样,划线也可用于确定车辆相对于道路边界正交于道路的位置。为了验证和修正gnss位置信息和/或车辆相对于道路的对象以及沿道路纵向方向的精确定位,需要更多位置基准。这些位置基准可以是独特的对象或很少出现的对象。这些基准可以是道路上或道路两侧的交通标志或特殊标志。但特殊对象可能不会很频繁地出现并且通常不足以用于精确和连续的车辆定位。因此,进一步优选的是多个对象被分组在一起。即使群组中的各个类型的对象可能沿道路多次出现并且不是很容易分辨,这种对象的群组且尤其是其在3d空间中形成的群集对于很长一段道路而言也可能是唯一的。示例为两条划线与护栏的杆柱形成的群集。它们相对于彼此的位置尚未被规划并且因此非常有可能是唯一的。即使无法识别真正唯一的单个对象,对象或对象基准点的分组也能够确定车辆在道路上的精确位置。车辆的精确位置可被表达为与由gnss系统提供的位置的偏移。它还可通过在第一数据集的世界位置内的位置值来表达,意味着与第一数据集中所包含的驾驶相关对象和/或多组驾驶相关对象相关。

以下方法描述精确车辆定位的一个优选实施例。优选地,在第一数据集内识别对象基准点。在行驶时,车辆根据所收集的环境数据集生成第二数据集。在第二数据集中,车辆尝试识别第一数据集中所包含的相同对象和/或对象基准点且优选为多组对象和/或对象基准点。车辆的第二数据集通常将仅包含对第一数据集中所包含的数据的选择。通过配比第二数据集与第一数据集之间的相同对象或对象基准点,优选为多组对象和/或对象基准点,车辆可以推导出其自身位置以及该位置在道路上的精确定位的位置值。

根据又一实施例,第一、第二、第三和第四数据集可能已附有进一步的信息,例如置信级别,从而提供与信息的置信度或可靠性有关的信息。如果很多车辆报告相同差别,则置信级别较高。如果仅一个车辆或少数车辆报告该差别,则置信级别较低。置信级别也可取决于车辆生成的置信级别。因此,具有较高的车辆生成的置信级别的数据集可具有较高的加权系数。另一系数可以是车辆的传感器配置等级。配置较好的车辆在确定置信级别时可具有比配置较低的车辆更高的权重。通常,两个不同的置信级别值——如高级别和低级别——就足够了。可能希望具有更高数量的置信级别,比如允许更详细的区分的三个级别或九个级别。如果车辆已首次报告明显的新信息,则置信级别可能较低,但这可能是重要或紧急的信息。因此,数据库管理程序优选生成至少另外的标记,其可指示信息的重要性和/或紧急性。或者,置信级别可被设定为较高值,以指示信息的较高重要性或紧急性。例如,动态地改变的限速可能是紧急信息,因为超过限速的车辆驾驶将会被举报。而道路标志的变化可能不太紧急,因为更换道路标志的过程耗费数小时或数天,但它也可能是一个重要信息。道路旁边的新建筑物的建设既不重要也不紧急。但获得与建筑物有关的信息可提高定位精度。通常,两个不同的重要和/或紧急级别——如高级别和低级别——就足够了。可能希望具有更高数量的级别,比如允许更详细的区分的三个级别或九个级别。

如果服务器数据库了解某些变化通常在特定地点发生,例如在特定地点可能由于电子速度显示而存在频繁的速度变化,则可赋予较高的置信级别。此外,车辆优选还提供不同信息的车辆生成的置信级别。服务器数据库还可基于与车辆或环境有关的认知——比如传感器品质(例如它是低分辨率还是或高分辨率摄像机)和数据品质本身——来变更置信级别。在另一示例中,高分辨率摄像机在晴天的清晰图像将提供比暴风雪期间的低分辨率图像要高的置信级别。

通常,可使用更多数据提供商的数据如数字地图、卫星图像或交通信息来提高数据集的位置精度和/或补充数据集。

又一实施例涉及一种使用第一数据集来减轻车辆中的总图像处理负荷并例如朝向恶劣天气条件扩大高度自动化驾驶(had)和其它车辆控制应用的使用范围的方法。

诸如had的车辆控制应用严重依赖于来自图像传感器的图像数据的处理。图像处理需要车辆中的大量处理能力。每种类型的图像处理器通常具有有限的使用范围及其特定优势和劣势。例如,摄像机提供高分辨率彩色图像,但具有低动态范围。它们对于包括明暗区域的场景有难度。摄像机在雾或雨中也无法很好地工作。另一方面,雷达在这些条件下工作良好,但仅提供包括反射率信息的低分辨率单色图像。为了补偿不同类型传感器的劣势,各种传感器类型和多个图像传感器被组合在车辆中以扩大had和其它车辆控制应用的使用范围。对评估和融合来自多个图像传感器的图像数据的需求引起大量所需的处理能力。不过,had和其它车辆控制应用的使用范围相当有限,因为尽管有昂贵的传感器设备,恶劣天气条件也仍带来挑战。

如上所述,生成和更新精确道路数据库的方法增加了车辆中另外的图像处理需求,以便处理环境数据集,生成第二数据集,将第二数据集与第一数据集进行比较,并且生成被发送至服务器数据库的第三数据集。通过将环境数据集与第一数据集进行比较,为精确车辆定位增加了更大的处理能力。至少后者必须始终以车辆速度实时工作。

优选地,本实施例包括数据集在车辆中的处理和使用两个阶段。在第一阶段中,服务器数据库收集车辆路径的区段的第三数据集并评估它们以生成进一步用作第一数据集的基础的第四数据集,从而建立第四数据集中的置信度。在该第一阶段中,第一数据集可以由服务器数据库提供给车辆,并被车辆用于生成第二数据集以引导在车辆侧对驾驶相关对象的建模方法的处理。但优选的是,在该缺少对象数据的置信度的第一阶段中,置信级别低的第一数据集不被车辆用于环境数据集的处理。

在第二阶段中,由第四数据集生成的第一数据集中的至少一个已达到高置信级别,因为服务器数据库已收集足够数量的第三数据集以便评估它们并生成具有精确结果和高置信级别的第四数据集。服务器数据库由第四数据集生成第一数据集并且将它们发送至车辆。具有高置信级别的第一数据集可用于处理环境数据集和车辆控制应用。使用类型可由置信级别值决定。例如,具有很高的置信级别的第一数据集可用于雾中的高度自动化驾驶,而该功能在相应的第一数据集的置信级别不是很高的情况下失效。另一方面,在第一数据集中的置信级别较高但不是特别高的情况下,仍可允许在小雨中驾驶,其中摄像机“看到”更多。可针对环境和/或驾驶条件调整极限值。

以下详细说明第一阶段和第二阶段。

优选地,在建立置信度的第一阶段中,通过对用于一段道路的环境数据集采样并离线处理得到的环境数据集的序列来限制车辆上的处理负荷,这意味着通过略过被处理的路段之间的路段而不以车辆的速度跟随车辆。该约束对于服务器数据库收集第三数据集而言不是缺点。第三数据集的收集可以依赖于提供用于其路径的各部段的第三数据集的许多车辆。无需由一个车辆提供与其完整路径有关的完整信息。每个车辆可采样并存储环境数据集的序列并以它具有的最大处理能力和它所需的最长时间来离线处理所述环境数据集的序列。如果该车辆漏掉了其处理的路径的各部段之间的路径的一部分,则这些间隙将由其它车辆填充。

生成用于车辆控制的第二数据集和/或信息和/或用于车辆定位的信息和/或存储环境数据集的序列与离线处理的方法具有各种操作选项,前文已主要描述了这些操作选项,下面进行归纳。可选择这些操作选项中的任何一个或多个以补充离线处理:

·缩放选项:选择已接近要处理的对象并且为了良好的识别结果而放大和清晰地显示它的环境数据集。更远的环境数据集可用于该对象相对于其它对象的分步式三角测量和定位。这利用精益处理算法得到良好的识别和精确定位结果。

·特写选项:在每个环境数据集中选择接近兴趣对象的环境数据集。由于仅对近场感兴趣,其中识别和相对测量工作良好和/或可以使用精益处理算法。

·来回移动选项:来回移动环境数据集以便从近距离或从不同视角和距离并因此以较低的处理能力确定兴趣对象。

·序列选项:通过不同的算法组依次运行一系列的环境数据集。不必像实时处理要求的那样同时处理和识别所有对象。这在明显降低对处理能力的要求的同时提高了所应用的整体处理的可能性。

·回顾选项:执行从最近的环境数据集向过去的环境数据集的倒退处理。与例如had控制应用所执行的实时处理相反,不需要从最近的数据集向前看到其远场并因此看到车辆即将面对的未来中。此外,这引起精益算法和所需的低处理能力。

总体上,在该第一阶段中可以对环境数据集的序列进行离线处理的事实引起使用精益算法的良好处理结果和所需的处理能力的低负担。

还优选的是,在该第一阶段中生成第三数据集主要在处理条件良好的情况下——意味着在良好的天气和良好的光照条件下——完成。不必在恶劣条件下生成第三数据集引起即使对于良好的处理结果,也能够主要仅依赖于摄像机来作为用于环境数据集以及所需的低处理能力的图像传感器。由于环境数据集的处理可以在良好条件下完成并且在该第一阶段中不需要实时处理,所以可获得的处理能力可以用于生成第三数据集,该第三数据集具有许多驾驶相关对象、完全填充的数据和该第一阶段中针对用于车辆路径的部段的良好第三数据集所需的精确结果。

在第二阶段中,从第四数据集生成的第一数据集中的至少一个已达到高置信级别。可能仍存在具有低置信级别的另外的第一数据集。具有高置信级别的第一数据集仅需由经过相应对象的车辆来探测和确认。优选的是,车辆主动在第三数据集内确认第一数据集中的数据,直至已达到很高的置信级别。优选的是,一旦第一数据集中的数据已达到很高的置信级别,车辆便主要报告它们仅在第三数据集内行驶的路径。通过在不报告差别的情况下报告它们的行驶路径,车辆间接确认沿该路径的第一数据集的数据。这减少了通信量。还优选的是,车辆的行驶路径信息被中立化,使得它不能被追溯至驾驶者并改善隐私问题。优选的是,服务器数据库监视有多少车辆以及何时直接或间接确认了第一数据集中的数据的哪些部分。如果尚不存在足够的确认,则优选的是服务器数据库将第四数据集中的相应数据的置信级别变更至相应较低的值。

如果车辆仅可主动或间接确认沿其路径的第一数据集的一部分或报告差别,则服务器数据库将需要跟踪哪个车辆确认了第一数据库的数据的哪一部分。为此,服务器数据库将需要更具体地了解哪个车辆在什么时间在哪一路径上移动。这可能带来隐私问题。为了避免这种情况,每个车辆优选能够确认沿其路径的所有第一数据集或检测差别。这种要求意味着至少在一定程度上对所有环境数据集进行实时处理。

为了实现对处理能力的低负担,优选的是,从高置信级别开始将第一数据集用于支持环境数据集的处理。该支持可被提供用于生成用于第二数据集的驾驶相关对象,并且可通过两种完全不同的方法来提供该支持:

·方法1:如上所述,第一数据集包括空道路的驾驶相关对象的对象描述。它可用于快速检测和检查环境数据集中的相同对象。然而,为此,在可以进行这种比较之前,首先必须至少以一定对象级别处理环境数据集。例如,如果停车标志被雪部分覆盖,则基本上不可能将它识别为用于与第一数据集的对象数据进行比较的对象。

·方法2:如上所述,第一数据集优选地包括矢量图像格式,其允许以不同方式并从不同视角呈现为图像。对于环境数据集中的每个图像,可以呈现空道路或其一部分的相应图像,其示出了空道路和处于预期地点并且挡住相应传感器“观看”空道路的驾驶相关对象的视图。这允许已经对图像级别的比较。例如,为了比较来自摄像机传感器的图像,可以以人也这样看的方式并从相应摄像机的视角呈现相应图像。对于来自雷达传感器的图像,可以利用反射率和运行时间信息以雷达传感器看世界的方式从第一数据集呈现相应图像。将已经位于图像级别上的环境数据集与第一数据集进行比较允许更快和以更高级别的确定度和/或更低的处理能力得到正确结论。部分被雪覆盖的停车标志现在可以通过将已位于图像级别上的环境数据集与处于良好条件下的空道路的图像进行比较并通过识别处于正确地点的停车标记的形状来进行识别,并且可以是一些红色斑点,其中标志的一部分未被雪覆盖。方法2有助于以与人利用从第一数据集生成的图像作为一种用于比较的地面实况经验来进行图像处理相似的方式来进行对象识别。

方法1和方法2也可以以混合形式使用。例如,首先,在为了详细和快速的检测而发生的对图像级别的比较之前,可针对要检测的驾驶相关对象检查第一数据集中的空道路的对象描述。该处理也可以在对象描述与空道路的图像表示之间来回跳跃以朝好的处理结果迭代。

这样,第一数据集可用于支持第二数据集的生成。这降低了所需的处理能力,并且允许处理无间隙地迅速跟随车辆,以便向服务器数据库确认沿车辆路径的第一数据集的完整内容,或报告第三数据集中的第一数据集与第二数据集之间的差别。环境数据集处理的任务从第一阶段中的分段处理转入第二阶段中的至少部分实时的处理。

除了在第三数据集中更新服务器数据库之外,第一数据集还可用于支持环境数据集的评估和与第一数据集的比较以进行精确车辆定位,这也是一项实时任务。可以在没有第一数据集的帮助下快速和/或以较低的处理能力识别和比较对象和/或对象基准点和/或多组对象和/或多组对象基准点。

以相同的方式,第一数据集也可以支持通过had功能或其它车辆控制应用完成的环境数据集的实时处理。这降低了并联进行had、精确车辆定位和精确道路数据库的更新所需的处理能力。

尤其通过方法2进行的第一数据集的图像处理的支持也朝恶劣天气条件扩展了had和其它车辆控制应用的使用范围。用于支持通过第一数据集进行的环境数据处理的方法1和方法2也可以用于车辆控制应用。前面讨论了部分被雪覆盖的停车标志的示例。另一示例是在夜间的自动驾驶。摄像机只能“看到”前照灯照射灯光那么远的距离。雷达可看得更远,但无法“看到”道路标志。只要摄像机在其可见范围的边缘开始识别道路标志,第一数据集就可以通过提供道路标志将位于何处或去向何处的预期来“看到”车辆更前方的道路标志。这些仅为第一数据集如何帮助had和其它车辆控制应用的各种可能性的少数示例。

显然,可改变这些步骤中的一些步骤的顺序,前提是任何前面的步骤已提供后一步骤中所需的数据。

上述实施例涉及用于通过使用车辆、服务器数据库操作、处理、存储包括驾驶相关道路对象数据的数据集并与车辆通信来生成和更新包括驾驶相关对象的精确道路特性数据库的方法,以及具有用于收集驾驶相关数据、评估这种数据和与服务器数据库通信的装置的车辆。优选地,该方法由具有位于存储器中的计算机程序的计算机或多个计算机执行。

附图说明

以下将参考附图通过对实施方式的示例举例而不限制总体发明思想的方式说明本发明。

图1示出在道路上行驶的无人驾驶车辆的一般场景。

图2示出基本车辆构件。

图3示出精确车辆位置检测。

图4示出道路特性数据更新。

图5示出基本环境数据集获取。

图6a、6b和6c示出由沿道路行进的车辆拍摄的不同图像。

图7示出完整环境数据集获取。

图8示出了对象分组的示例。

图9a和9b示出通过分组对象来进行匹配的第一示例。

图10a和10b示出通过分组对象来进行匹配的第二示例。

图11示出数据收集的基本流程。

图12通过车辆精确配比与道路的同一部分相关的车辆路径数据的详细流程图。

图13通过服务器数据库精确配比与道路的同一部分相关的车辆路径数据的详细流程图。

图14示出精确定位的详细流程图。

图15示出建立道路数据库的基本2阶段方法。

图16详细示出阶段1。

图17详细示出阶段2。

图18示出示例性道路的图像。

图19示出图18的驾驶相关对象。

图20示出从对象呈现的图像。

具体实施方式

在图1中,示出了在道路上行驶的无人驾驶车辆的一般场景。道路网100包括多条道路101。各道路具有特定特性,比如宽度、方向、弯曲情况、每个方向上的车道数量、车道宽度或表面结构。可以存在更多特定细节,比如路缘石、中心线,甚至中心虚线的单条划线,或其它标记,比如人行横道。道路附近有与驾驶相关的地理对象140。地理对象可以是任何静止物体,例如但不限于建筑物、树、河流、湖泊或山脉。此外,存在多个道路设施对象150,其可包括出于各种目的安装在街道和道路上的物体和设备,诸如长凳、路障、护栏、邮箱、电话亭、路灯、红绿灯、交通标志、公交车站、电车站、出租车招呼站、公共雕塑和果皮箱。可存在另外的对象,其未落入上述类别之一中但也与驾驶相关。这些对象可以是绿带、树、石头、墙壁或其它靠近道路的障碍物。它们也可包括结构如壕沟、平面和可被考虑用于规划替代紧急出口或碰撞避免路径的其它结构。

此外,服务提供商120优选具有与服务器数据库122连接的至少一个数据库中心121。为了在服务提供商120与车辆110之间进行通信,提供有通信网络130。这种通信网络可以是移动通信网络、wi-fi或任何其它类型的网络。优选地,该网络基于互联网协议。实施方式总体上涉及车辆,其可以是小汽车、卡车、摩托车或任何其它用于在道路上行驶的装置。为了简单起见,图中示出了小汽车。

在图2中,示出了基本车辆构件200。优选地,车辆包括环境传感器210、车辆状态传感器220、位置传感器230和通信系统240中的至少一者。这些传感器优选地通过至少一个通信总线259与处理器系统250连接。该通信总线可包括单个总线或多个总线。处理器系统250可包括多个单独的处理器251,其优选地通过总线252彼此连接。此外,所述多个单独的处理器优选地与车辆数据库或存储器253连接。

环境传感器210收集与车辆的环境有关的信息。它们可包括可适于捕获可见和/或红外图像的摄像机系统,比如ccd摄像机。优选地设置简单的单目摄像机。或者,可使用立体摄像机,其可具有彼此隔离开地安装的两个成像传感器。可存在更多传感器,比如至少一个雷达传感器或至少一个激光传感器或至少一个rf信道传感器或至少一个红外传感器或另一种环境传感器。传感器可用于扫描和检测外部对象。

状态传感器220收集与车辆及其内部状态有关的信息。这些传感器可检测行驶状态、行驶速度和转向方向。

位置传感器230收集与车辆的位置有关的信息。这些位置传感器优选地包括gnss系统。可使用任何定位系统,比如gps、glonass或galileo。这里,仅使用术语gps或gnss来表示所有定位系统。还可存在用于确定车辆的运动的陀螺仪、横摆角传感器和/或加速计。还优选具有附于车轮上的距离传感器,比如旋转传感器,其可用于更多系统,比如用于测量行驶距离的防锁死系统或防抱死系统(abs),和/或用于检测行驶方向的转向传感器。可存在更多传感器,比如用于精确地检测海拔变化的高度计或其它海拔或倾角传感器。位置传感器230可至少部分地与状态传感器220交互或使用来自状态传感器220的信号。

通信系统240用于与车辆外部的设备通信。优选地,通信系统基于通信网络,该通信网络可以是移动通信网络、wi-fi或任何其它类型的网络。通信系统可使用不同通信网络和/或通信协议,取决于它们的可用性。例如,在车辆的停放位置,可获得wi-fi。因此,在这些位置,wi-fi可能是优选的通信网络。此外,wi-fi可以在十字路口、红绿灯附近和具有低交通速度或定期拥堵的路段附近获得。如果不可获得wi-fi,则可将其它通信网络如移动通信网络用于通信。此外,通信系统240可能具有延迟通信的缓冲,直至可获得合适的网络。例如,当车辆已到达泊车位置并且可获得wi-fi时,已在行驶期间分配的道路特性数据可被转发给服务提供商。

处理器系统250可以是已经可在大量车辆中获得的处理器系统。在现代车辆中,使用许多处理器来控制不同任务,比如发动机管理、驾驶控制、自动驾驶者辅助、导航和娱乐。通常,已经可获得很大的处理器功率/处理能力。这种已经可获得的处理器或另外的处理器可用于执行本文描述的任务。处理器优选通过总线系统连接,该总线系统可包括多个不同总线,比如can、most、以太网或flexray。

在图3中,示出了精确车辆位置检测的基本数据流。可通过定位系统如gnss实现的位置精度不足以用于无人驾驶车辆。10m的标准位置公差大于通常道路的宽度。为了实现无人驾驶,有必要实现车辆位置的精确得多的确定。

优选地,使用车辆位置501的最佳推定值作为起点。这例如可以是gnss确定的位置。它也可以是最新获知的车辆位置。该信息被转发至包含本地环境描述504的车辆数据库253。该本地环境描述可包含与道路有关的数据,例如但不限于道路设施和/或地理环境。该数据优选地在数据关联单元中与可能已通过环境传感器210取得的环境传感器数据502关联505。更优选地,可能已通过车辆位置传感器230取得的位置传感器数据503可用于进一步的关联。通过至少将本地环境描述504与环境传感器数据502关联,可获得更新的车辆位置信息506。

在图4中,示出了道路特性数据差别检测的数据流。再次,优选地可使用车辆位置501的最佳推定值作为起点。这例如可以是gnss确定的位置。它也可以是最新获知的车辆位置或来自步骤506的更新的车辆位置。该位置被转发至车辆数据库253,其优选地至少传送道路特性数据513、道路设施数据514和环境数据515。此外,可通过环境传感器210来取得环境传感器数据512。优选地,环境传感器数据经过特定数据处理或图像处理523以生成数据关联步骤所需的数据。利用车辆数据库的道路特性数据513和环境传感器数据512进行的道路特性数据关联516优选地生成包含道路特性数据差别519的数据。利用车辆数据库的道路设施数据514和环境传感器数据512进行的道路设施数据关联517优选地生成包含道路设施数据差别520的数据。此外,利用车辆数据库的环境数据515和环境传感器数据512进行的环境数据关联516优选地生成包含环境数据差别521的数据。生成的差别数据可包含取决于检测出的差别量的或多或少的信息。针对未检测出差别的情况,差别可以不包含进一步的信息或仅包含指示无法获得进一步的信息的标记。针对这种情况,车辆数据库253不传送任何特定数据,比如道路数据513、道路设施数据514或环境数据515,差别可包含由环境传感器数据512提供的完整数据集。或者,环境传感器数据通过数据压缩器或计算机中的压缩程序进一步压缩。在被服务器数据库请求后,车辆可提供完整的数据集或甚至附加的数据,比如图像或部分图像。

在图5中,连同图6a、6b和6c一起更详细地示出了环境数据集的取得和道路对象的生成/评估。一般而言,术语环境数据集在本文中用于由多个传感器生成的数据集,所述多个传感器可包括至少一个光学图像传感器和/或雷达传感器和/或红外传感器和/或其它环境传感器。根据这些传感器信号的组合和/或关联,收集来自车辆视角的环境数据集,根据所述环境数据集生成一组道路对象。车辆110在道路300上行驶。该道路具有可通过边界线、路缘石或任何其它边界或标记手段标记的右边界310和左边界311。在道路的中心处存在中心线,其在本实施例中为虚线,所述中心线具有多条划线320、330、340、350和360。每条划线具有起点和终点。起点被标记为321、331、341和351,而终点被标记为322、332、342和352。也可存在任何其它类型的中心线或甚至不存在中心线。此外,存在一些道路设施,其可以是交通标志370、371、372。根据捕获的环境数据集,车辆优选地识别上述道路对象并且最优选地生成相应的第二数据集。

尽管环境数据集可给出车辆环境的360度表示,这里通过参照观察扇形区380示出了更有限的视野,观察扇形区380可对应于前摄像机,其具有约90°的观察角度。对应的前方图像在图6a中被示出。这里在图像的右侧仅可看到道路对象的一部分,即右边界310和交通标志380。图像的左侧示出了中心线划线330和接着的中心线划线340的一部分。显然,该视角给出了与车辆正在其中行驶的道路的右侧车道相关的道路对象的清晰图像,但不能提供过多与可以在图像的左上角看到其一部分的左侧车道的道路对象有关的信息。当车辆沿道路行进通过位置111和112时,它根据图像扇形区381和382捕获图像。对应的图像连同识别出的道路对象一起在图6b和6c中被示出。

匹配该系列的道路对象将给出道路的连续表示。不能将这种匹配与从全景摄像机或全景软件获得的图像拼接进行比较。其中,仅须识别相邻图像中的匹配标志并且必须相应地缩放图像。为了匹配道路对象,必须进行驾驶相关对象数据集的空间转换。这种转换可以是线性位移、缩放或甚至是用以配比捕获的数据的复杂的非线性转换。稍后将说明这种转换的细节。这些转换将部分地由道路对象本身促成,这可允许传感器在第二数据集和第一数据集中所检测出的道路对象之间发现一致的误差时进行自动再校准。在图7中,示出了用于全路段的驾驶相关对象数据集的取得和评估。如关于图5所说明的,第一组环境数据380、381和382由第一车辆捕获,并且被转换为驾驶相关对象数据集,所述第一车辆在该图中在位于上方车道上的右侧车道上从右至左沿第一方向行进。第二组环境数据由第二车辆捕获,并且被转换为驾驶相关对象数据集,所述第二车辆在该图中在位于下方车道上的左侧车道上从左至右沿反方向行进。由第二车辆生成的驾驶相关对象数据集可以是相似的,如图6a、6b和6c所示。主要差别在于驾驶相关对象数据集现在主要包含第二车道上的道路对象并因此提供与第二车道有关的信息。迄今为止,还没有车辆具有全路段的完整一组道路对象,但服务器数据库可将由车辆提供的信息拟合在一起以取得迄今为止所提供的完整一组全部道路对象。为此,车辆生成与各个道路对象如右边界310、左边界311、中心线划线320、330、340、350、360和交通标志370、371、372有关的基于对象的信息。该基于对象的信息由服务器数据库收集和评估,以在用于生成和更新精确道路特性数据库的两步处理的第二对象数据处理步骤中生成道路的完整驾驶相关对象数据集。本例不限于两个车辆,而是可扩展至任意数量的车辆。此外,不要求单个车辆提供驾驶相关对象数据集的连续数据流。例如,如图6a所示的与第一环境数据集相关的基于对象的信息可由第一车辆提供,而图6b的与第二环境数据集相关的基于对象的信息可由稍后经过同一道路的第二车辆提供,并且图6c的第三环境数据集可由稍后再次经过同一道路的第三车辆捕获。

在图8中,示出了对象分组的示例。对象的分组可用于由车辆对相邻的环境数据集或由车辆或服务器数据库对驾驶相关对象数据集提供简化和更好的匹配。基本上,车辆可将分组用于第一对象数据处理步骤。最优选地,服务器数据库将分组用于第二对象数据处理步骤。

沿道路可存在大量相对位置基准,比如中心线划线。由于存在许多本质上看上去相似的虚线,因此难以在各虚线之间进行区分和取得绝对位置基准。无论如何,划线可用于确定车辆相对于道路的位置。为了验证和修正gnss位置信息,需要更多绝对位置基准。此类位置基准可以是很少出现或在gnss公差间隔内至少仅出现一次的对象。这些基准可以是交通标志、沟渠、检修孔或仅仅是道路上的特征标志。它们可以与道路标记如中心虚线被分组在一起。第一组401包括中心线划线350和交通标志372。第二组402包括中心线划线330和交通标志370以及位于道路的相对侧的交通标志371。通过参照这些对象组,可以计算驾驶相关对象数据集或具有该组或至少其一部分的另外的传感器数据的正确转换。这种转换可以是线性位移、缩放或甚至是用以匹配所捕获的驾驶相关对象数据集的复杂的非线性转换。这允许从道路拍摄的驾驶相关对象数据集的更好匹配,即使所拍摄的图像的三维变换或已由其生成车辆的驾驶相关对象数据集的测量参数存在误差。因此,提高了所生成的对象模型的精度。例如,如果可获得显示为组401的第二车辆的驾驶相关对象数据集,则交通标志372将处于沿反方向行驶的车辆的相应驾驶相关对象数据集的最远的角落处,但对应的中心线划线也可由沿反方向行驶的车辆很好地识别。这在接下来的图中被更详细地示出。

在图9a和9b中,示出了通过分组对象进行匹配的第一示例。图9a示出了位于图5的下方车道上的从左至右行驶的车辆的视图。这里,交通标志372能被清楚地看见并且可以与中心线划线350被分组在一起以形成第一组对象401。由于交通标志处于主视野中,所以可以精确地确定其位置。此外,也可以精确地确定中心线划线350的相对位置。图9b示出了位于上方车道上的从右至左行驶的车辆的视图。交通标志372仅位于图像的最远的角落处并且距离很远。通过配比分组的对象和/或配比由分组的对象形成的图案如三角形,可以实现通过沿不同方向行驶的不同车辆拍摄的驾驶相关对象数据集的容易匹配。可通过确定对象的特征点和/或边缘来改进对象分组和匹配。在本实施例中,中心线划线350的第一端351和第二端352连同交通标志372的基座一起用于生成第一组对象401的特征图案。该图案的匹配允许将各个驾驶相关对象数据集片段和/或对象位置精确拟合在一起,以生成精确的完整对象描述。如图9a和图9b所示,由于基本上识别到了相同的三角形图案,因此可容易地将两个驾驶相关对象数据集和/或对象位置匹配在一起,尽管它们从不同的视角获得。

此外,该匹配可用于精确位置确定。在图5中从右至左行驶的车辆不能使用交通标志372,因为该交通标志372处于该车辆的视野的最外周。通过识别第一组对象401的中心线划线350,可以进行比较精确的定位。基于通过从左至右行驶的车辆预先确定的信息,沿反方向行驶的车辆获知与交通标志372相关联的中心线划线350的精确位置。

图10a和10b示出通过分组对象进行匹配的第二示例。这里,示出了包括中心线划线330和交通标志371的第二组对象402。该组的轮廓由中心线划线330的第一端331和第二端332以及交通标志370的基座和交通标志371的基座限定。在图10a中,示出了由沿图5的道路在上方车道上从右至左行驶的车辆生成的第一驾驶相关对象数据集。这里,仅示出了组402的一部分。在图10b中,示出了通过不同车辆和/或不同摄像机拍摄的不同驾驶相关对象数据集。该驾驶相关对象数据集使用具有较大视角的图像传感器捕获并因此也显示交通标志370。这里,示出了第二组对象402的所有成员。至少可以将包括中心线划线330和交通标志371的组402的第一区段与先前的驾驶相关对象数据集关联。通过参照位于道路另一侧的交通标志371,可以进行与通过沿反方向行驶的车辆检测出的对象的进一步配比。

在图11中,示出了数据收集、分配和处理的基本流程。具体地,车辆中的第一对象数据处理步骤555与服务器数据库中的第二对象数据处理步骤559的组合引起具有高精度和精确的位置信息的数据集。根据该方法,利用正在与服务器数据库通信的车辆来更新包括驾驶相关对象的精确道路特性数据库。该图具有两列。左列示出了与车辆相关的动作,而右列示出了与服务器数据库相关的动作。服务器数据库优选地存储驾驶相关对象对象数据。这种驾驶相关对象数据还可至少包括位置信息和与道路对象、道路设施对象、地理对象和与驾驶相关的另外的对象有关的基于对象的详细信息。

在第一步骤中,车辆例如基于规划路线或兴趣区域从服务器数据库请求信息550。或者,服务器数据库可触发传送551,例如以更新特定信息。在这种请求或触发之后,服务器数据库生成552与请求或触发相关的至少一个第一数据集。这些第一数据集基于存储在服务器数据库中的第四数据集。优选地,每个第一数据集包括驾驶相关对象数据。优选地,服务器数据库已存储有与车辆数据库的状态有关的信息。这种信息可包括存储在车辆中的数据集的备份或用于标识存储在车辆中的数据集的至少一个标识符。该状态信息优选地在车辆已确定第一数据集的接收之后更新。通过使用该状态信息,第一数据集可仅包括修改的数据集和/或新的数据集。可存在车辆不具有的数据集、车辆具有但已更新的数据集、车辆具有但被重传的数据集、或车辆应当删除的数据集。因此,如果被车辆请求,则所述至少一个第一数据集可包含与要求的覆盖区域有关的数据。如果由服务器数据库触发,则所述至少一个第一数据集可包含更新的数据和/或警告数据和/或应当由车辆验证的数据。优选地,每个第一数据集包括至少一个位置信息和详细的基于对象的信息。位置信息指定详细的基于对象的信息可应用于的位置、区域或地区。

在下一个步骤中,将第一数据集转发至车辆553并存储在车辆数据库中。接下来,车辆通过如上所述的至少一个传感器收集环境数据554。该收集可沿其路径的至少一个特定区段和/或在特定的时间和/或特定的对象处发生。优选地,环境数据集涉及驾驶相关对象、道路设施和地理对象中的至少一者。这种环境数据在第一对象数据处理步骤555中处理,以生成包括基于对象的信息的第二数据集。该处理可包括基于环境数据和/或第一数据集中的至少一个的统计评估。它可进一步包括如上所述的数据的分组、匹配和转换。在另外的步骤556中,优选地计算第三和第一数据集之间的差别,以生成包含与车辆路径的区段相关的第二数据集的基于对象的信息和第一数据集的基于对象的信息之间的差别的第三数据集。此外,至少一个第三数据集可包括代替与第一数据集的差别的至少一个第二数据集的基于对象的信息。如果需要和/或被服务器数据库请求,则这些第三数据集也可包含新数据和/或独立于已有的第一数据集的数据。在下一个步骤557中,将第三数据集转发至服务器数据库。服务器数据库储存接收的第三数据集558并且在第二对象数据处理步骤559中开始处理它们。这种处理优选地包括第三数据集的统计评估和进一步的后处理。另外,可使用存储在服务器数据库中的第四数据集。这种后处理可包括对象分组、对象匹配、组匹配、转换、统计计算和其它处理。随后,第四数据集可利用其结果来进行更新560。

在图12中,示出了作为步骤555的一部分的通过车辆精确配比与道路的同一部分相关的车辆路径数据的详细流程图。在步骤570中,车辆基于至少一个第二数据集来识别与道路的同一部分相关并且至少部分地彼此重叠的多个第一车辆路径区段。然后,在步骤571中,在每个车辆路径区段中识别多个对象基准点。基准点优选为可以容易和精确地识别的点。基准点在步骤572中被分组成使得,在多个第一车辆路径区段的至少两个车辆路径区段中,每个组包括相同的对象基准点。稍后,在步骤573中生成或计算用于匹配和/或配比与道路的同一部分相关的多个第一车辆路径区段的至少两个车辆路径区段中的至少一组对象基准点的配比功能。这种配比功能可包括线性平移和/或旋转或甚至更复杂的转化中的任一者。在步骤574中对相同的至少两个车辆路径区段的所有其它第二数据集应用相同的配比功能,以生成或更新包含驾驶相关对象数据的第四数据集。

在生成配比功能之后,可通过优选地计算第三或第二数据集的平均值和/或标准偏差来统计地处理第二数据集。

在图13中,示出了作为步骤559的一部分的通过服务器数据库精确配比与道路的同一部分相关的车辆路径数据的详细流程图。在步骤580中,服务器数据库基于至少一个第三数据集来识别与道路的同一部分相关并且至少部分地彼此重叠的多个第一车辆路径区段。然后,在步骤581中,在每个车辆路径区段中识别多个对象基准点。基准点优选为可以容易和精确地识别的点。基准点在步骤582中被分组成使得,在多个第一车辆路径区段的至少两个车辆路径区段中,每个组包括相同的对象基准点。稍后,在步骤583中生成或计算用于匹配和/或配比与道路的同一部分相关的多个第一车辆路径区段的至少两个车辆路径区段中的至少一组对象基准点的配比功能。这种配比功能可包括线性平移和/或旋转或甚至更复杂的转化中的任一者。在步骤584中对相同的至少两个车辆路径区段的所有其它第三数据集应用相同的配比功能,以生成或更新包含驾驶相关对象数据的第四数据集。

在生成配比功能之后,可通过优选地计算第四或第三数据集的平均值和/或标准偏差来统计地处理第三数据集。

在图14中,示出了精确定位的详细流程图。利用来自数据库的数据和由车辆在沿一路径行驶时所收集的数据来进行车辆的精确定位。在第一步骤590中,车辆从数据库接收第一数据集,所述第一数据集基于包括驾驶相关对象数据的第四数据集。这种驾驶相关对象数据可至少包括位置信息、可选的对象基准点以及与至少一个驾驶相关对象如道路对象、道路设施对象、地理对象或与驾驶相关的另外的对象有关的基于对象的详细信息。当行驶时,在步骤591中,车辆通过车辆的至少一个传感器生成至少沿其路径的多个区段的多个环境数据集。环境数据集涉及驾驶相关对象、道路设施和地理对象中的至少一者。在步骤592中,车辆通过评估所述至少一个环境数据集并基于评估结果生成驾驶相关对象数据的至少一个第二数据集来执行对象数据处理。在步骤593中,在行驶期间以及在生成第二数据集之后,车辆尝试在第二数据集中识别第一数据集中所包含的相同驾驶相关对象和/或对象基准点和/或多组驾驶相关对象和/或对象基准点。在步骤594中,车辆配比第二数据集与第一数据集之间的相同的驾驶相关对象和/或对象基准点和/或多组驾驶相关对象和/或对象基准点,并且在步骤595中计算或推导其自身位置的位置值。

图15示出了在减轻车辆中的总图像处理负荷并扩大高度自动化驾驶(had)和其它车辆控制应用的使用范围的同时建立道路数据库的基本2阶段方法。在图11的步骤553之后,车辆在步骤600中接收第一数据集。在比较步骤601中,将各个第一数据集的置信级别与极限值进行比较。如果置信级别超过极限值,则对第一数据集开始第二阶段,即阶段2。否则,利用所述第一数据集开始阶段1。

图16更详细地示出了阶段1。这里,在步骤610中收集另外的环境数据,如图4中更详细地示出的。稍后,利用环境数据在步骤611中开始离线数据处理。尽管优选的是例如在驾驶之后或当在不对数据进行采样以用于进一步的处理的路段上行驶时离线处理所收集的环境数据,但在可获得充分的处理能力的情况下也可在线进行处理。在步骤612中,选择处理选项。这种处理选项在上文中已被更详细地公开并且可包括:

缩放613:选择已接近对象的环境数据集以及更远的环境数据集,以进行该对象相对于其它对象的分步式三角测量和定位。这利用精益处理算法得到了良好的识别和精确定位结果。

特写614:在每个环境数据集中选择接近兴趣对象的环境数据集。

来回移动615:来回移动环境数据集以便从近距离或从不同视角和距离确定兴趣对象。

序列616:通过不同的算法组依次运行一系列的环境数据集。

回顾617:从最近的环境数据集向过去的环境数据集进行倒退处理。

在选择这些选项中的一个或多个之后,在步骤618中生成第三数据集。

图17更详细地示出了阶段2。首先,在步骤620中收集环境数据。在步骤621中,选择针对第二数据集生成驾驶相关对象的方法。步骤620和621可交换顺序。因此,可针对环境数据的类型或其它参数选择该方法或可通过该方法按需要收集数据。对方法的决定主要基于第一数据集的类型。如果第一数据集包括空道路的驾驶相关对象的对象描述,则选择第一方法。如果第一数据集包括允许以不同方式并从不同视角表现为图像的矢量图像格式,则选择第二方法。

如果选择方法1,则处理第一数据集的对象描述。如果选择方法2,则进行对图像级别的比较。以上公开了该方法的细节。通过使用任意方法,基于第一数据集生成624第二数据集。此外,可对相同数据集使用两种方法。

除了这里示出的步骤以外,车辆可探测并确认第一数据集。可经由第三数据集报告差别。

可进行方法的选择,从而开始收集环境数据。在这种情况下,不需要选择步骤621。

图18示出了具有多个驾驶相关对象的示例性道路的图像。

图19示出前一图像中的驾驶相关对象。存在道路701-704、街道标志710-717、红绿灯720和721以及交通标志730-733。可存储在车辆中的第一数据集优选地包括驾驶相关数对象数据。这种驾驶相关对象数据还可至少包括位置信息、可选的对象基准点和与至少一个驾驶相关对象如道路对象、道路设施对象、地理对象或与驾驶相关的另外的对象有关的基于对象的详细信息以及包括允许作为图像呈现的矢量图像格式的数据。第一数据集可进一步包括置信级别信息。

图20示出根据与驾驶相关的对象和包括优选地与前一附图的对象相关的第一数据集的矢量图形格式的数据所呈现的图像。这些呈现的图像可用于生成用于车辆控制的信息,和/或用于车辆定位的信息,和/或用于通过将图像级别上的至少一个环境数据集与图像或部分图像进行比较来生成和更新第一数据集的第二数据集。环境数据集可以预先沿其路径通过车辆的至少一个传感器收集,环境数据集优选地与驾驶相关对象、道路设施和地理对象中的至少一者相关。或者,可通过将所述至少一个环境数据集与包括空道路的驾驶相关对象的对象描述的所述至少一个第一数据集的对象描述进行比较来生成信息。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1