自主交通工具的实时定位误差校正的制作方法

1.本公开的实施例通常涉及自主驾驶的领域，并且具体地涉及自主交通工具(av)的实时定位误差校正。


背景技术：

2.在自主驾驶领域，高精度定位是关键问题。为了导航到目的地，av可能需要标识其在特定路段内的位置。av可以使用其世界坐标已知的地标来执行定位。想法在于，构建非常详细的地图(例如高清晰度(hd)地图)，该地图包含各种类型的地标。假设av配备有可以在其自己的参考帧中检测和定位地标的感测设备或图像捕获设备。一旦找到交通工具与地标之间的相对位置，就从地图数据库中取得地标的世界坐标，并且av就可以利用它们来计算自己的位置。


技术实现要素：

3.在一方面，提供了一种用于av的实时定位误差校正的处理器。该处理器被配置成用于从地图聚合服务器(mas)中检取出av周围的参考地标，其中，av被配置成用于与mas交互以用于实时定位；根据由安装在av上的一个或多个图像捕获设备捕获的图像数据、实时检测与参考地标相对应的基础事实地标；并且将基础事实地标与参考地标之间的偏差确定为用于av的实时定位的实时校正值。
4.在另一方面，提供了一种av。该av包括一个或多个图像捕获设备和上文所述的用于av的实时定位误差校正的处理器，并且av被配置成基于所确定的实时校正值与mas交互以进行实时定位。
5.在另一方面，提供了一种用于av的实时定位误差校正的方法。该方法包括：从mas中检取出av周围的参考地标，其中，av被配置成用于与mas交互以用于实时定位；根据由安装在av上的一个或多个图像捕获设备捕获的图像数据来实时检测与参考地标相对应的基础事实地标；并且将基础事实地标与参考地标之间的偏差确定为用于av的实时定位的实时校正值。
6.在另一方面，提供了一种非暂态计算机可读介质。该计算机可读介质包括存储在其上的指令。当该指令由av的处理器执行时，使处理器执行上文所述的用于av的实时定位误差校正的方法。
7.在又另一方面，提供了一种促进av的实时定位的mas。该mas被配置成：存储参考地标的数据库；从av接收用于实时定位的实时校正值，其中，实时校正值与其中av正在行进的路段相关联，并且实时校正值为由av实时检测到的路段上的基础事实地标与av从mas中检取出的对应的参考地标之间的偏差；并将实时校正值确定为用于在该路段上行进的av的实时定位的参考校正值。
附图说明
8.在所附附图的各图中，将以示例方式而非限制方式对本公开的实施例进行说明，其中相同的附图标记指代类似的要素。
9.图1是根据本公开的各种实施例的示例性系统的框图表示。
10.图2是包括根据本公开的各个实施例的系统的示例性自主交通工具(av)的示意性侧视图表示。
11.图3示意性地图示出根据本公开的各个实施例的、可用于av的实时定位的示例性hd地图经验管理系统(hdmems)。
12.图4图示出根据本公开的各种实施例的其中av正在行进的示例性路段。
13.图5示意性地图示出根据本公开的各种实施例的、来自hd地图聚合服务器的示例参考地标和由av针对图4的示例性路段实时检测到的对应的基础事实地标。
14.图6示意性地图示出根据本公开的各种实施例的、从图像平面投影到真实世界平面上的图5的示例参考地标和基础事实地标。
15.图7图示出根据本公开的各种实施例的、用于在av处进行实时定位误差校正的示例性过程的流程图。
16.图8图示出根据本公开的各种实施例的、用于在av处进行实时定位误差校正的示例性过程的流程图。
17.图9图示出根据本公开的各种实施例的、用于在av处进行实时定位误差校正的示例性过程的流程图。
18.图10图示出根据本公开的各种实施例的、用于在av处进行实时定位误差校正的示例性过程的流程图。
具体实施方式
19.将使用本领域技术人员通常所采用的术语来描述说明性实施例的各个方面，以将本公开的实质内容传达给本领域的其他技术人员。然而，对本领域技术人员将显而易见的是，可使用所描述的各方面中的一部分来实施许多替代实施例。出于解释的目的，阐述了具体的数量、材料以及配置，以便提供对说明性实施例的透彻理解。然而，对本领域技术人员将显而易见的是，在没有这些具体细节的情况下也可实现替代实施例。在其他实例中，可能以及忽略或简化了公知的特征以免使说明性实施例模糊。
20.进一步地，各操作将被描述为多个分立的操作，进而将以最有助于理解说明性实施例的方式描述这些操作；然而，描述的次序不应当被解释为暗示这些操作必然依赖于次序。具体而言，这些操作不必以展示的次序执行。
21.短语“在实施例中”、“在一个实施例中”和“在一些实施例中”在本文中反复使用。该短语通常不指代同一实施例；然而，它也可以指代同一实施例。术语“包含”、“具有”以及“包括”是同义的，除非上下文另作规定。短语“a或b”和“a/b”意指“(a)、(b)或(a和b)”。
22.系统概览
23.图1是根据本公开的各种实施例的示例性系统的框图表示。取决于特定实现方式的要求，系统100可以包括各种组件。在一些实施例中，系统100可以包括处理单元110、图像采集单元120、位置传感器130、一个或多个存储器单元140、150、地图数据库160、用户界面
170、和无线收发器172。处理单元110可以包括一个或多个处理设备。在一些实施例中，处理单元110可以包括应用处理器180、图像处理器190或任何其他合适的处理设备。类似地，取决于特定应用的要求，图像采集单元120可以包括任何数量的图像采集设备和组件。在一些实施例中，图像采集单元120可以包括一个或多个图像捕获设备(例如，相机)，诸如图像捕获设备122、图像捕获设备124、和图像捕获设备126。系统100还可以包括将处理单元110通信地连接到图像采集单元120的数据接口128。例如，数据接口128可以包括用于将由图像采集单元120采集的图像数据传送到处理单元110的任何一个或多个有线和/或无线链路链路。
24.无线收发器172可以包括一个或多个设备，该一个或多个设备被配置成通过使用射频、红外频率、磁场或电场通过空中接口向一个或多个网络(例如，蜂窝、互联网等)交换传输。无线收发器172可以使用任何已知的标准来传送和/或接收数据(例如，wi
‑
fi、蓝牙智能、802.15.4、zigbee等)。
25.应用处理器180和图像处理器190两者都可包括各种类型的处理设备。例如，应用处理器180和图像处理器190中的任一者或两者可以包括微处理器、预处理器(诸如图像预处理器)、图形处理器、中央处理单元(cpu)、支持电路、数字信号处理器、集成电路、存储器，或适用于运行应用以及适用于图像处理和分析的任何其他类型的设备。在一些实施例中，应用处理器180和/或图像处理器190可以包括任何类型的单核或多核处理器、移动设备微控制器、中央处理单元等。可以使用各种处理设备，并且可以包括各种架构。
26.在一些实施例中，应用处理器180和/或图像处理器190可包括一些类型的处理器设计。这些处理器设计各自包括具有本地存储器和指令集的多个处理单元。此类处理器可包括用于从多个图像传感器接收图像数据的视频输入，并且还可包括视频输出能力。在一个示例中，处理器使用在332mhz下操作的90纳米微米技术。处理器架构由两个浮点、超线程32位risc cpu(cpu(核)、五个视觉计算引擎(vce)、三个向量微码处理器denali 64位移动ddr控制器、128位内部声学互连、双16位视频输入和18位视频输出控制器、16个通道dma和若干外围设备组成。一个mips34k cpu管理五个vce、三个vmp
tm
和dma、另一个mips34k cpu和多通道dma以及其他外围设备。五个vce、三个和mips34k cpu可以执行多功能捆绑应用所需的密集的视觉计算。
27.本文所公开的处理设备中的任何处理设备都可以被配置成执行某些功能。配置处理设备(诸如，所描述的处理器或其他控制器或微处理器中的任一者)以执行某些功能可以包括对计算机可执行指令进行编程，并使这些指令可用于处理设备在处理设备的操作期间执行。在一些实施例中，配置处理设备可以包括直接利用架构指令对处理设备进行编程。在其他实施例中，配置处理设备可以包括将可执行指令存储在处理设备在操作期间可访问的存储器上。例如，处理设备可以在操作期间访问存储器以获得并且执行所存储的指令。
28.虽然图1描绘了处理单元110中包括两个分开的处理设备，但可以使用更多或更少的处理设备。例如，在一些实施例中，可以使用单个处理设备来完成应用处理器180和图像处理器190的任务。在其他实施例中，这些任务可以由多于两个的处理设备执行。进一步地，在一些实施例中，系统100可以在不包括其他组件(诸如，图像采集单元120)的情况下包括一个或多个处理单元110。
29.处理单元110可以包括各种类型的设备。例如，处理单元110可以包括各种设备，各种设备诸如，控制器、图像预处理器、中央处理单元(cpu)、支持电路、数字信号处理器、集成电路、存储器、或用于图像处理和分析的任何其他类型的设备。图像预处理器可以包括用于捕获、数字化和处理来自图像传感器的图像的视频处理器。cpu可以包括任何数量的微控制器或微处理器。支持电路可以是本技术领域中一般公知的任何数量的电路，包括高速缓存、电源、时钟和输入输出电路。存储器可以存储软件，当该软件由处理器执行时控制系统的操作。存储器可以包括数据库和图像处理软件。存储器可以包括任何数量的随机存取存储器、只读存储器、闪存、磁盘驱动器、光存储、磁带存储、可移动存储和其他类型的存储。在一个实例中，存储器可以与处理单元110分开。在另一实例中，存储器可以被集成到处理单元110中。
30.每个存储器140、150可以包括软件指令，当该软件指令由处理器(例如，应用处理器180和/或图像处理器190)执行时可以控制系统100的各个方面的操作。这些存储器单元可以包括各种数据库和图像处理软件。存储器单元可以包括随机存取存储器、只读存储器、闪存、盘驱动器、光存储、磁带存储、可移动存储和/或任何其他类型的存储。在一些实施例中，存储器单元140、150可以与应用处理器180和/或图像处理器190分开。在其他实施例中，这些存储器单元可以被集成到应用处理器180和/或图像处理器190中。
31.位置传感器130可以包括适于确定与系统100中的至少一个组件相关联的位置的任何类型的设备。在一些实施例中，位置传感器130可以包括gps接收器。此类接收器可以通过处理由全球定位系统卫星广播的信号来确定用户的位置和速度。来自位置传感器的位置信息可以对于应用处理器180和/或图像处理器190可用。
32.在一些实施例中，系统100可以包括诸如用于测量交通工具的速度的速度传感器(例如，转速计)和/或用于测量交通工具的加速度的加速度计(未示出)之类的组件。
33.用户界面170可包括适于将信息提供给系统100的一个或多个用户或从系统100的一个或多个用户接收输入的任何设备。在一些实施例中，用户界面170可以包括用户输入设备，包括例如触摸屏、麦克风、键盘、指点设备、轨迹轮、相机、旋钮、按钮等。通过此类输入设备，用户或许能够通过键入指令或信息、提供语音命令、使用按钮、指针、或眼球跟踪能力在屏幕上选择菜单选项、或通过用于将信息递送给系统100的任何其他合适的技术，来将信息输入或命令提供给系统100。
34.用户界面170可以配备有一个或多个处理设备，该一个或多个处理设备被配置成将信息提供给用户或从用户接收信息，并处理该信息以供例如应用处理器180使用。在一些实施例中，此类处理设备可执行用于识别和跟踪眼球移动、接收和解释语音命令、识别和解释在触摸屏上做出的触摸和/或手势、对键盘输入或菜单选择进行响应等的指令。在一些实施例中，用户界面170可以包括显示器、扬声器、触觉设备、和/或用于将输出信息提供给用户的任何其他设备。
35.地图数据库160可以包括用于存储对系统100有用的地图数据的任何类型的数据库。在一些实施例中，地图数据库160可以包括与各种项目(包括道路、水景、地理特征、商业、感兴趣的地点、餐馆、加油站等)在参考坐标系中的位置相关的数据。地图数据库160不仅可以存储此类项目的位置，还可以存储与这些项目相关的描述符，包括例如与存储的特征中的任何特征相关联的名称。在一些实施例中，地图数据库160可以与系统100的其他组
件在物理上一起被定位。可替代地或附加地，地图数据库160或其部分可以相对于系统100的其他组件(例如，处理单元110)远离定位。在此类实施例中，来自地图数据库160的信息可以通过至网络(例如，通过蜂窝网络和/或互联网等)的有线或无线数据连接来下载。
36.图像捕获设备122、124和126可以各自包括适于从环境中捕获至少一个图像的任何类型的设备。此外，可以使用任何数量的图像捕获设备来采集用于输入到图像处理器的图像。一些实施例可仅包括单个图像捕获设备，而其他实施例可包括两个、三个、甚至四个或更多的图像捕获设备。
37.系统100或其各种组件可以被并入到各种不同的平台中。在一些实施例中，系统100可被包括在交通工具200(例如，自主交通工具)上，如图2所示。例如，如上文相对于图1所述，交通工具200可以配备有处理单元110和系统100中的任何其他组件。虽然在一些实施例中，交通工具200可以仅配备有单个图像捕获设备(例如，相机)，但在其他实施例中，可以使用多个图像捕获设备。例如，如图2所示，交通工具200的图像捕获设备122和124中的任一者可以是adas(高级驾驶员辅助系统)成像集合的一部分。
38.交通工具200上包括的、作为图像采集单元120的一部分的图像捕获设备可以被定位在任何合适的位置。在一些实施例中，如图2所示，图像捕获设备122可以位于后视镜附近区域中。该位置可以提供与交通工具200的驾驶员的视线类似的视线，这可以帮助确定对驾驶员可见和不可见的事物。图像捕获设备122可被定位在后视镜附近的任何位置，但将图像捕获设备122放置在镜子的驾驶员侧可以进一步帮助获得表示驾驶员的视场和/或视线的图像。
39.针对图像采集单元120的图像捕获设备的其他位置也可以被使用。例如，图像捕获设备124可以位于交通工具200的保险杠上或保险杠中。此类位置可能特别适于具有宽视场的图像捕获设备。位于保险杠的图像捕获设备的视线可以与驾驶员的视线不同，并且因此，保险杠图像捕获设备和驾驶员可能并不总是看到相同的对象。图像捕获设备(例如，图像捕获设备122、124和126)也可以位于其他位置。例如，图像捕获设备可以位于交通工具200的一侧或两侧后视镜上或一侧或两侧后视镜中、交通工具200的车顶上、交通工具200的引擎盖上、交通工具200的后备箱上、交通工具200的侧部上、被安装在交通工具200的窗户中的任何窗户上、被定位在交通工具200的窗户中的任何窗户的后面或前面、以及被安装在交通工具200的前部和/或后部的灯具中或附近，等等。
40.除了图像捕获设备之外，交通工具200还可以包括系统100的各种其他组件。例如，处理单元110可以被包括在交通工具200上，要么与交通工具的引擎控制单元(ecu)集成、要么与其分开。交通工具200还可以配备有位置传感器130(诸如，gps接收器)，并且还可以包括地图数据库160以及存储器单元140和150。
41.如前所讨论，无线收发器172可通过一个或多个网络(例如，蜂窝网络、互联网等)传送和/或接收数据。例如，无线收发器172可以将系统100收集的数据上传到一个或多个服务器，并从一个或多个服务器下载数据。系统100可以经由无线收发器172接收例如对存储在地图数据库160、存储器140、和/或存储器150中的数据的周期性的更新或按需的更新或实时更新。类似地，无线收发器172可以将来自系统100的任何数据(例如，由图像采集单元120捕获的图像、由传感器单元130中的一个或多个传感器接收的数据、交通工具控制系统等)和/或由处理单元110处理的任何数据上传到一个或多个服务器。
42.系统100可以基于隐私级别设置来将数据上传到服务器(例如上传到云端)，以调节或限制发送到服务器的数据(包括元数据)的类型，这些类型可以唯一地标识交通工具和/或交通工具的驾驶员/所有者。此类设置可以由用户经由例如无线收发器172来设置、由工厂默认设置或由无线收发器172接收的数据来初始化。
43.另外，与系统100的组件及其在交通工具200中的可能的实现方式有关的更多细节可以参考于2017年5月30日授权的、标题为“用于自主交通工具导航的稀疏地图(sparse map for autonomous vehicle navigation)”的美国专利第9,665,100 b2号，该专利通过引用整体结合于此。
44.根据本公开的实施例，系统100可被包括在自主交通工具(av)上，并且如所提出的用于实时定位误差校正的处理器和方法可在av上使用。
45.在自主驾驶领域，高精度定位是关键问题。为了导航到目的地，av可能需要标识其在特定路段内的位置。av可以使用其世界坐标已知的地标来执行定位。想法在于，构建包含各种类型的地标的hd地图。假设av配备有可以在其自己的参考帧中检测和定位地标的感测设备或图像捕获设备。一旦找到交通工具与地标之间的相对位置，就可以从地图数据库中取得地标的世界坐标，并且av就可以利用它们来计算自己的位置。基于该想法，hd地图经验管理系统(hdmems)被提出以允许av实现高精度定位。
46.为了更好地理解本技术的实施例，下面将讨论av和hdmems的概述。同时，应当注意，仅将hdmems作为示例地图经验管理系统来解释本技术的实施例的原理，但当前可有的或未来将要开发的各种类型的地图经验管理系统都可应用于实现本技术的各种实施例。
47.自主交通工具概述
48.如贯穿本公开所使用的，术语“自主交通工具(av)”指代能够在不具有驾驶员输入的情况下实现至少一个导航改变的交通工具。“导航改变”指代交通工具的转向、制动、或加速中的一种或多种改变。要成为自主的，交通工具不需要是完全自动的(例如，在没有驾驶员或没有驾驶员输入的情况下完全地操作)。相反，av包括可以在某些时间段期间在驾驶员控制下操作、并且在其他时间段期间在没有驾驶员控制的情况下操作的那些交通工具。av还可以包括仅控制交通工具导航的一些方面(诸如转向(例如，在交通工具车道约束之间维持交通工具路线))、但可能将其他方面留给驾驶员(例如，制动)的交通工具。在一些情况下，av可以处置交通工具的制动、速度控制和/或转向的一些或所有方面。
49.由于人类驾驶员通常依赖于视觉提示和观察以便控制交通工具，因此交通基础设施被相应地构建，其中车道标记、交通标志、和交通灯都被设计成将视觉信息提供给驾驶员。鉴于交通基础设施的这些设计特性，av可以包括相机和处理单元，该处理单元分析从交通工具的环境中捕获的视觉信息。视觉信息可以包括例如交通基础设施的可被驾驶员观察到的组成部分(例如，车道标记、交通标志、交通灯等)和其他障碍物(例如，其他交通工具、行人、碎片等)。另外，av还可以使用所存储的信息，诸如，在导航时提供交通工具的环境的模型的信息。例如，交通工具可以使用gps数据、传感器数据(例如，来自加速计、速度传感器、悬挂传感器等)和/或其他地图数据来提供与其在行进时的环境相关的信息，并且交通工具(以及其他交通工具)可以使用该信息在模型上定位自身。
50.hd地图经验管理系统概述
51.对用于实现完全自主驾驶的hd地图的需要源于以下事实：功能安全性标准对于从
感测到致动的链中的所有要素都要求有备用传感器—“冗余”。虽然其他传感器(诸如雷达和激光雷达)可以为对象检测提供冗余，但相机是用于驾驶路径几何和其他静态场景语义(诸如交通标志、道路标记等)的仅有的实时传感器。因此，出于路径感测和预见的目的，hd地图可以用作冗余的源。另外，为了使地图成为可靠的冗余的源，它必须以超高刷新速率进行更新，以保证其低反映现实(ttrr)时间质量。
52.为了解决这些挑战，可以通过利用基于相机的adas系统的激增以接近实时地构建和维持真实环境的精确地图，从而构建hd地图经验管理系统(hdmems)。hdmems可以作为端到端建图和定位引擎进行操作，以实现完全的自主性。
53.图3示意性地图示出根据本公开的各种实施例的、可用于av的实时定位的示例性hdmems。如所示，该系统可以涉及三层：收获代理(任何配备有相机的交通工具)、地图聚合服务器(云)、和地图消费代理(自主交通工具)。
54.收获代理可以是任何配备有相机的交通工具。配备有相机的交通工具可以经由相机收集与驾驶路径的几何形状和交通工具周围的静止地标有关的数据，对所收集到的数据实现实时的几何分析和语义分析，将地图相关的数据压缩成小胶囊(例如，被称为路段数据(rsd))，并且然后将rsd发送到地图聚合服务器。
55.地图聚合服务器可以是云服务器，该云服务器聚合和调适连续的rsd的流，以构建高度准确的和低ttrr的地图。此类地图可以被视为hd地图，并且在本文中也称为“路程指南(roadbook)”。
56.然后，存储在地图聚合服务器中的hd地图可由地图消费代理(例如，av)用于实时定位。该av可与云服务器交互以通过实时检测存储在路程指南中的地标，从而在路程指南内自动地对其自身进行定位。
57.各种类型的地标可以辅助av执行实时定位。地标可被分类为两个类别：与驾驶直接相关的地标，以及与驾驶不直接相关的地标。例如，与驾驶直接相关的地标可以包括：交通标志、道路上的箭头、车道标记、交通灯、停止线等。又例如，与驾驶不直接相关的地标可以包括：灯柱、方向标志、商业标志或广告牌。
58.在大多数情况下，由于路程指南中的地标来自于相机捕获的图像，并且通常以超高刷新速率进行更新，因此hdmems可以适当地操作用于av的实时定位。尤其对于在包含被存储在路程指南中的大量地标的路段上行进的av而言，av通常可以通过检测地标而以高准确性对其自身进行定位。
59.然而，在一些路段，可能只有数个地标，或者地标可能非常小，或者地标可能由于照明不良而不清楚。在此类场景中，存储在路程指南中的、与路段相关的地标可能会偏离于真实地标，并且因此，基于路程指南中的地标的定位可能不准确。而且，应注意，虽然路程指南以超高的刷新速率进行更新，但实际上其并不是实时更新的。
60.鉴于这些问题，在本公开中提出了使用地图消费代理(例如，地图消费av)来实现实时定位误差校正。下面将参考图4至图9详细描述根据本公开的实施例的、使用av的实时定位误差校正的过程。
61.图4图示出根据本公开的各种实施例的、其中av正在行进的示例性路段。例如，路段可能是州际高速公路的一段并且仅具有非常少的地标。对于此类路段，存储在路程指南中的地标可能偏离于由av实时检测到的对应的地标。仅出于说明的目的，线401和线403分
别指示存储在路程指南中的道路边缘和车道边界，并且与存储在路程指南中的车道边界403相对应的真实车道边界由线413表示。如图4所示，参考地标403偏离于真实地标413。实际上，在此类路段上，其他参考地标也可能偏离于真实地标。
62.为了便于描述，在下文中，可将存储在路程指南中的地标称为参考地标，并且将由av实时检测到的地标称为基础事实地标。与参考地标相比，通常认为对应的基础事实地标更接近真实地标，因为基础事实地标是实时检测的结果，而参考地标可能没有被实时更新。
63.图5示意性地图示出根据本公开的各种实施例的、来自hd地图聚合服务器的示例参考地标和由av针对图4的示例路段实时检测到的对应的基础事实地标。
64.在图5中，从地图聚合服务器检取出的路段的三个参考地标作为示例被图示出，包括道路边缘501、车道左边界502和车道右边界503。当av在该路段上行进时，av可以检测与参考地标相对应的地标以执行实时定位。如所图示，实时检测到的地标可以偏离于参考地标。具体而言，实时检测到的道路边缘511与参考道路边缘501之间的偏差由d
edge
(d
边缘
)表示，实时检测到的左车道边界512与参考左车道边界502之间的偏差由d
left
(d
左
)表示，并且实时检测到的右车道边界513与参考右车道边界503之间的偏差由d
right
(d
右
)表示。
65.一般而言，由于参考地标由收获交通工具收集并且可能不会被实时更新，所以实时检测到的地标比存储在地图聚合服务器中的参考地标更值得信任。因此，提出通过计算参考地标与实时检测到的地标之间的偏差，并将该偏差用作用于av的实时定位的实时校正值，来实现实时定位误差校正。
66.图5中的偏差d
edge
、d
left
和d
right
在图像平面中被图示出。为了在现实世界平面中计算参考地标与实时检测到的地标之间的偏差，可能需要将检测到的路段从图像平面投影到现实世界平面上。可以使用透视投影矩阵来表征投影，该透视投影矩阵具有与物理属性相对应的元素，物理属性诸如检测到的路段的位置、斜率、曲率和曲率导数。
67.图6示意性地图示出根据本公开的各种实施例的、从图像平面投影到真实世界平面上的图5的示例参考地标和基础事实地标。
68.如图6所示，可参考av前方的距离d处的点来计算沿路段的垂直方向的偏差d
wedge
(d
w边缘
)、d
wleft
(d
w左
)和d
wright
(d
w右
)。根据本公开的实施例，偏差d
wedge
、d
wleft
和d
wright
中的任一者可以由av用作用于实时定位的实时校正值。
69.在一些实施例中，计算偏差d
wedge
、d
wleft
和d
wright
的平均值作为用于实时定位的实时校正值可能是有利的。也就是说，可以将平均偏差d
w
＝(d
wright
+d
wleft
+d
wedge
)/n计算为实时校正值。在此，数字n取决于要被检测的、用于定位误差校正的地标的数量。在该示例性实施例中，检测到包括道路边缘和车道的两个边界的3个地标，所以数字n为3。实际上，av可以检测更多的地标来计算平均实时校正值，以便更准确地实现定位误差校正。
70.在上文所说明的与使用地图消费av进行实时定位误差校正有关的思想的基础上，下面将详细描述在地图消费av处进行实时定位误差校正的一些示例性过程。
71.图7图示出根据本公开的各种实施例的、用于在地图消费交通工具(例如av)处进行实时定位误差校正的示例性过程的流程图。
72.实时定位误差校正的示例性过程可由av处的处理器执行。例如，av可以是配备有图1的系统100的图2的av 200。该过程可以包括操作710至730。
73.在710处，av可以从地图聚合服务器(mas)中检取出av周围的参考地标。mas可以是
上文所述的hd地图经验管理系统中的地图聚合服务器，并且av可以是地图消费交通工具。存储在mas中的地标在本文中可以被称为参考地标。av可以被配置成与mas交互以基于参考地标来执行实时定位。
74.在720处，av可以根据由安装在av上的一个或多个图像捕获设备捕获的图像数据、实时检测与参考地标相对应的基础事实地标。可以将实时检测到的地标称为基础事实地标，以便与存储在mas中的参考地标区分开来。如上文所示，基础事实地标可能偏离于对应的参考地标，并且可以将该偏差作为用于av的实时定位的实时校正值。
75.因此，在730处，av可以将基础事实地标与参考地标之间的偏差确定为用于av的实时定位的实时校正值。如图6所示，可以通过将相关路段从图像平面投影到真实世界平面而在真实世界平面中计算偏差。
76.在实施例中，可以将基础事实地标与参考地标之间的偏差确定为用于av的实时定位的实时校正值。在本公开的一些实施例中，可以将多个参考地标与对应的基础事实地标进行比较以将平均偏差计算为实时校正值，以便增加实时定位误差校正的准确性。
77.图8图示出根据本公开的各种实施例的、用于在av处进行实时定位误差校正的示例性过程的流程图。
78.类似于图7中的过程，图8中的示例性过程也可以由av处的处理器执行。例如，av可以是配备有图1的系统100的图2的av 200。该过程可以包括操作810至840。
79.在810处，av可以从mas中检取出av周围的n个参考地标，其中n是大于1的整数。例如，如图5所示，从mas中检取出三个参考地标，包括道路边缘501、车道左边界502和车道右边界503。在一些实施例中，可以从mas中检取出更多参考地标。例如，相邻车道的左边界和右边界可以作为附加的参考地标从mas中检取出。
80.在820处，av可以实时检测分别与该n个参考地标相对应的n个基础事实地标。在图5的示例中，av根据由安装在av上的一个或多个图像捕获设备捕获的图像数据而检测到三个基础事实地标，包括实时检测到的道路边缘511、实时检测到的车道左边界512和实时检测到的车道右边界513。
81.在830处，av可以将每对参考地标和对应的基础事实地标进行比较，以获得该n个参考地标与该n个对应的基础事实地标之间的n个偏差。在如图5和图6所图示出的示例中，通过分别地比较参考地标与对应的基础事实地标来获得沿路段的垂直方向的三个偏差d
wedge
、d
wleft
和d
wright
。
82.在840处，av可以将n个偏差的平均值确定为用于av的实时定位的实时校正值。例如，可以将平均偏差d
w
＝(d
wright
+d
wleft
+d
wedge
)/3计算为用于实时定位的实时校正值。
83.在本公开的实施例中，一旦确定了实时校正值，av就可以使用校正值来校正实时定位的误差。同时，av可以经由mas与av之间的通信接口将所确定的实时校正值报告给mas，使得该校正值可以作为用于其他av在同一路段行进时实现实时定位误差校正的参考校正值被存储在mas中。
84.在一些实施例中，上文所述的实时定位误差校正的过程可以在经过同一路段的多个av处实现。例如，在预定的时间段t期间，可能会有总数目m个av通过如图4和图5所示的路段，其中m为大于1的整数。每个av可以基于上文所述的实时定位误差校正的过程来计算实时校正值，并将实时校正值报告给mas。在这种情况下，可以向mas报告总数目m个实时校正
值，并且mas可以将这些实时校正值的平均值计算为在该路段上行进的所有av的参考校正值，以执行实时定位误差校正。
85.因此，在一些实施例中，av可以直接从mas中检取出参考校正值作为用于实时定位误差校正的校正值。在一些替代实施例中，av还可以执行上文所述的过程以确定实时校正值，并且将参考校正值与实时校正值的平均值计算为用于av的实时定位的最终实时校正值。
86.图9图示出根据本公开的各种实施例的、用于在av处进行实时定位误差校正的示例性过程的流程图。该过程可以包括操作910至950，其中操作920至940与图7中的操作710至730相同，并且因此在此不再重复描述。
87.在910处，av可以从mas中检取出与其中av正在行进的路段相关联的参考校正值。然后，可通过执行操作920至940来确定实时校正值。在950处，av可以将参考校正值与实时校正值的平均值确定为用于实时定位的最终实时校正值。而且，可以将最终实时校正值报告给mas。
88.在实施例中，参考校正值可以是由经过该路段的另一av报告给mas的实时校正值。可替代地，参考校正值可以是在预定时间段期间经过该路段的m个av分别报告的m个实时校正值的平均值，其中m是大于1的整数。
89.图10图示出根据本公开的各种实施例的、用于在av处进行实时定位误差校正的示例性过程的流程图。该过程可以包括操作1010至1060，其中操作1010和1060与图9的操作910和950相同，并且操作1020至1050与图8的操作810至840相同。因此，在此不再重复描述图10中的操作。
90.与图9的过程类似，在图10的过程中，参考校正值可以是由经过该路段的另一av向mas报告的实时校正值，或者是在预定时间段期间经过该路段的m个av分别报告的m个实时校正值的平均值，其中m是大于1的整数。
91.在上文所述的实施例中，图示出了要在av处执行的实时定位误差校正的示例性过程。av可以被配置成与mas交互，以基于所确定的实时校正值来实现实时定位。因此，mas可以被配置成促进av的实时定位。具体地，mas可以存储参考地标的数据库。参考地标可以来自由安装在收获交通工具上的相机捕获的真实图像数据。参考地标可以被存储在mas中，并以超高的刷新速率进行更新。
92.mas可以从av接收用于实时定位的实时校正值。实时校正值可与其中av正在行进的路段相关联。在一些实施例中，实时校正值可由av确定为由av实时检测到的基础事实地标与由av从mas检取出的对应的参考地标之间的偏差。mas可以将实时校正值确定为用于在该路段上行进的av的实时定位的参考校正值。
93.如上文所述，av可以被配置成用于：从mas中检取出av周围的n个参考地标；实时检测分别与该n个参考地标相对应的n个基础事实地标；将每对参考地标与对应的基础事实地标进行比较以获得该n个参考地标与该n个基础事实地标之间的n个偏差；并且将该n个偏差的平均值计算为实时校正值。因此，在一些实施例中，从av接收到的实时校正值可以是由av确定的n个偏差的平均值。
94.在一些实施例中，mas可以分别从在预定时间段期间经过该路段的数目m个av中接收数目m个实时校正值。在该情况下，mas可以将m个实时校正值的平均值确定为用于在该路
段上行进的av的实时定位的参考校正值。
95.根据本公开的实施例，由于参考地标与真实地标之间的偏差而引起的av的实时定位的误差可以通过由av确定的实时校正值来进行校正。此类解决方案对于在具有非常少的地标、小地标、或模糊的地标的路段上进行实时定位是尤其有利的。
96.下列段落描述各实施例的示例。
97.示例1包括一种用于自主交通工具(av)的实时定位误差校正的处理器，该处理器被配置成用于：从地图聚合服务器(mas)中检取出av周围的参考地标，其中，av被配置成用于与mas交互以用于实时定位；根据由安装在av上的一个或多个图像捕获设备捕获的图像数据、实时检测与参考地标相对应的基础事实地标；并且将基础事实地标与参考地标之间的偏差确定为用于av的实时定位的实时校正值。
98.示例2包括根据示例1所述的处理器，进一步被配置成用于：从mas中检取出av周围的n个参考地标；实时检测分别与n个参考地标相对应的n个基础事实地标；将每对参考地标与对应的基础事实地标进行比较以获得n个参考地标与n个基础事实地标之间的n个偏差；并且将目n个偏差的平均值确定为用于av的实时定位的实时校正值，其中n为大于1的整数。
99.示例3包括根据示例1或2所述的处理器，进一步被配置成用于：经由mas与av之间的通信接口将实时校正值报告给mas。
100.示例4包括根据示例1或2所述的处理器，进一步被配置成用于：从mas中检取出与其中av正在行进的路段相关联的参考校正值；并且将参考校正值和实时校正值的平均值确定为用于实时定位的最终实时校正值。
101.示例5包括根据示例4所述的处理器，其中，参考校正值是由经过该路段的另一av报告给mas的实时校正值。
102.示例6包括根据示例4所述的处理器，其中，参考校正值是在预定时间段期间经过该路段的m个av分别报告的m个实时校正值的平均值，其中m是大于1的整数。
103.示例7包括根据示例4所述的处理器，进一步被配置成用于：经由mas与av之间的通信接口将最终实时校正值报告给mas。
104.示例8包括根据示例1至7中任一项所述的处理器，其中，参考地标包括在mas中存储并周期性地更新的道路边缘或车道边界，并且基础事实地标包括由av根据由安装在av上的一个或多个图像捕获设备捕获的图像数据、实时检测到的对应的道路边缘或对应的车道边界。
105.示例9包括一种自主交通工具(av)，该自主交通工具(av)包括根据示例1至8中任一项所述的用于实时定位误差校正的处理器并且包括一个或多个图像捕获设备，其中av被配置成用于与地图聚合服务器(mas)交互，以用于基于所确定的实时校正值来进行实时定位。
106.示例10包括一种用于自主交通工具(av)的实时定位误差校正的方法，该方法包括：从地图聚合服务器(mas)中检取出av周围的参考地标，其中，av被配置成用于与mas交互以用于实时定位；根据由安装在av上的一个或多个图像捕获设备捕获的图像数据、来实时检测与参考地标相对应的基础事实地标；并且将基础事实地标与参考地标之间的偏差确定为用于av的实时定位的实时校正值。
107.示例11包括根据示例10所述的方法，进一步包括：从mas中检取出av周围的n个参
考地标；实时检测分别与n个参考地标相对应的n个基础事实地标；将每对参考地标与对应的基础事实地标进行比较以获得n个参考地标与n个基础事实地标之间的n个偏差；以及将n个偏差的平均值确定为用于av的实时定位的实时校正值，其中n为大于1的整数。
108.示例12包括根据示例10或11所述的方法，进一步包括：经由mas与av之间的通信接口将实时校正值报告给mas。
109.示例13包括根据示例10或11所述的方法，进一步包括：从mas中检取出与其中av正在行进的路段相关联的参考校正值；并且将参考校正值和实时校正值的平均值确定为用于实时定位的最终实时校正值。
110.示例14包括根据示例13所述的方法，其中，参考校正值是由经过该路段的另一av报告给mas的实时校正值。
111.示例15包括根据示例13所述的方法，其中，参考校正值是在预定时间段期间经过该路段的m个av分别报告的m个实时校正值的平均值，其中m是大于1的整数。
112.示例16包括根据示例13所述的方法，进一步包括：经由mas与av之间的通信接口将最终实时校正值报告给mas。
113.示例17包括根据示例10至16中任一项所述的方法，其中，参考地标包括在mas中存储并周期性地更新的道路边缘或车道边界，并且基础事实地标包括由av根据由安装在av上的一个或多个图像捕获设备捕获的图像数据、实时检测到的对应的道路边缘或对应的车道边界。
114.示例18包括一种用于促进自主交通工具(av)的实时定位的地图聚合服务器(mas)，该地图聚合服务器(mas)被配置成用于：存储参考地标的数据库；从av接收用于实时定位的实时校正值，其中，实时校正值与其中av正在行进的路段相关联，并且由av实时检测到的路段上的基础事实地标与av从mas中检取出的对应的参考地标之间的偏差由av确定并作为实时校正值报告给mas；并将实时校正值确定为用于在该路段上行进的av的实时定位的参考校正值。
115.示例19包括根据示例18所述的mas，其中，av被配置成用于从mas中检取出av周围的n个参考地标；实时检测分别与n个参考地标相对应的n个基础事实地标；将每对参考地标与对应的基础事实地标进行比较以获得n个参考地标与n个基础事实地标之间的n个偏差，其中n为大于1的整数，并且其中实时校正值为n个偏差的平均值。
116.示例20包括根据示例18或19所述的mas，进一步被配置成用于：分别从在预定时间段期间经过该路段的m个av中接收m个实时校正值，其中m为大于1的整数；并且将m个实时校正值的平均值确定为用于在该路段上行进的av的实时定位的参考校正值。
117.示例21包括根据示例20所述的mas，其中，av进一步被配置成用于从mas中检取出参考校正值，将参考校正值和实时校正值的平均值确定为用于实时定位的最终实时校正值，并将最终实时校正值报告给mas。
118.示例22包括根据示例18至21中任一项所述的mas，其中，参考地标包括在mas中存储并周期性地更新的道路边缘或车道边界，并且基础事实地标包括由av根据由安装在av上的一个或多个图像捕获设备捕获的图像数据、实时检测到的对应的道路边缘或对应的车道边界。
119.示例23包括一种具有存储在其上的指令的计算机可读介质，当该指令由自主交通
工具(av)的处理器执行时，使得处理器执行根据示例10至17中的任一项的用于av的实时定位误差校正的方法。
120.示例24包括一种用于自主交通工具(av)的实时定位误差校正的装置，该装置包括：用于从地图聚合服务器(mas)中检取出av周围的参考地标的装置，其中，av被配置成用于与mas交互以用于实时定位；用于根据由安装在av上的一个或多个图像捕获设备捕获的图像数据、来实时检测与参考地标相对应的基础事实地标的装置；以及用于将基础事实地标与参考地标之间的偏差确定为用于av的实时定位的实时校正值的装置。
121.示例25包括根据示例24所述的装置，进一步包括：用于从mas中检取出av周围的n个参考地标的装置；用于实时检测分别与n个参考地标相对应的n个基础事实地标的装置；用于将每对参考地标与对应的基础事实地标进行比较以获得n个参考地标与n个基础事实地标之间的n个偏差的装置；以及用于将n个偏差的平均值确定为用于av的实时定位的实时校正值的装置，其中n为大于1的整数。
122.示例26包括根据示例24或25所述的装置，进一步包括：用于经由mas与av之间的通信接口将实时校正值报告给mas的装置。
123.示例27包括根据示例24或25所述的装置，进一步包括：用于从mas中检取出与其中av正在行进的路段相关联的参考校正值的装置；以及用于将参考校正值和实时校正值的平均值确定为用于实时定位的最终实时校正值的装置。
124.示例28包括根据示例27所述的装置，其中，参考校正值是由经过该路段的另一av报告给mas的实时校正值。
125.示例29包括根据示例27所述的装置，其中，参考校正值是在预定时间段期间经过该路段的m个av分别报告的m个实时校正值的平均值，其中m是大于1的整数。
126.示例30包括根据示例27所述的装置，进一步包括：用于经由mas与av之间的通信接口将最终实时校正值报告给mas的装置。
127.示例31包括根据示例24至30中任一项的装置，其中，参考地标包括在mas中存储并周期性地更新的道路边缘或车道边界，并且基础事实地标包括由av根据由安装在av上的一个或多个图像捕获设备捕获的图像数据、实时检测到的对应的道路边缘或对应的车道边界。
128.虽然出于描述的目的已经说明和描述了某些实施例，但经计算以实现相同目的的各种各样的替代和/或等效实施例或实现方式可替代所示和所描述的实施例，而不背离本公开的范围。本技术旨在涵盖本文中所讨论的实施例的任何修改或变体。因此，很明确地旨在仅由所附权利要求和其等效方案来限定本技术中描述的诸实施例。