用于识别潜在通信障碍的系统和方法与流程

用于识别潜在通信障碍的系统和方法
相关申请的交叉引用
1.本技术要求于2019年8月26日提交的美国临时申请第62/891,652号的优先权。上述申请通过引用整体并入本文。背景
技术领域
2.本公开总体上涉及自主交通工具导航。


背景技术：

3.随着技术继续进步，能够在道路上导航的完全自主交通工具的目标即将实现。自主交通工具可能需要考虑各种因素，并且基于那些因素做出适当的决定，以安全地并且准确地到达预期目的地。例如，自主交通工具可能需要处理和解释视觉信息(例如，从相机捕获的信息)，并且还可能使用从其他源(例如，从gps设备、速率传感器、加速度计、悬架传感器等)获得的信息。同时，为了导航到目的地，自主交通工具可能还需要标识其在特定道路内的位置(例如，多车道道路内的特定车道)，在其他交通工具旁边导航，避开障碍物和行人，观察交通信号和标志，以及在适当的交叉口或立体交叉道路处从一条道路行驶到另一条道路。对在自主交通工具向其目的地行驶时由该交通工具收集的大量信息进行利用和解释提出了许多设计挑战。自主交通工具可能需要分析、访问和/或存储的绝对数量数据(例如，捕获的图像数据、地图数据、gps数据、传感器数据等)提出了事实上可能会限制甚至不利地影响自主导航的挑战。此外，如果自主交通工具依赖于传统的地图技术进行导航，则存储和更新地图所需要的绝对数据量提出了令人生畏的挑战。
4.传统的交通工具导航系统依赖于通过无线通信网络(例如，蜂窝网络)接收的数据，这些数据通常在交通工具处于运动中时被流送到交通工具。因此，许多交通工具取决于可靠的数据连接以在导航期间接收数据。薄弱或不存在的连接可能导致在交通工具处缺少导航数据。在交通工具是自主的或半自主的情况下，此类中断可能导致交通工具自主或半自主操作的挂起。
5.所公开的实施例可以解决上文所描述的问题中的一个或多个。


技术实现要素：

6.符合本公开的实施例提供了用于交通工具导航的系统和方法。所公开的实施例可以接收信号信息以确定用于交通工具或多个交通工具的路线。例如，符合所公开的实施例，所公开的系统可以包括导航系统，该导航系统可以基于从远程源接收的信号信息修改用于交通工具的路线。所公开的系统可以基于例如关于质量参数的信号信息的分析来提供导航响应。
7.在实施例中，用于交通工具的导航系统可以包括至少一个处理器。该至少一个处理器可被编程以：获得从交通工具的位置到目的地的路线；接收指示与沿路线的至少一个
位置相关联的信号的质量特性的信号信息；确定与通信系统相关联的至少一个操作特性的质量参数；以及基于该信号信息和该质量参数确定对用于该交通工具的路线的至少一个修改。
8.在实施例中，用于按照路线引导自主交通工具的系统可包括至少一个处理器。该至少一个处理器可以被编程为：接收第一自主交通工具的第一位置；接收第二自主交通工具的第二位置；接收目的地，其中该目的地相比距该第二自主交通工具的第二位置更靠近该第一自主交通工具的第一位置；确定从第一位置到目的地的第一路线和从第二位置到目的地的第二路线；接收指示与沿第一路线的至少一个位置相关联的第一信号的第一质量特性的第一信号信息；接收指示与沿第二路线的至少一个位置相关联的第二信号的第二质量特性的第二信号信息；接收与第一自主交通工具的第一通信系统和第二自主交通工具的第二通信系统相关联的至少一个操作特性的质量参数；基于该第一位置、该第二位置和该质量参数，确定是否将该第一自主交通工具或该第二自主交通工具按照路线引导到该目的地；以及传送指令信息，该指令信息被配置为使该第二自主交通工具从该第二位置行驶到该目的地。
9.与其他公开的实施例相一致的，非瞬态计算机可读存储介质可以存储程序指令，该程序指令由至少一个处理设备执行，并执行本文描述的方法中的任何方法。
10.上述总体描述和以下详细描述仅为示例性和解释性的，并且不是权利要求的限制。
附图说明
11.并入本公开并构成本公开一部分的所附附图示出了各个公开的实施例。在附图中：
12.图1是符合所公开的实施例的示例性系统的图解表示。
13.图2a是包括符合所公开的实施例的系统的示例性交通工具的图解侧视图表示；
14.图2b是符合所公开的实施例的图2a中所示的交通工具和系统的图解俯视图表示；
15.图2c是包括符合所公开的实施例的系统的交通工具的另一实施例的图解俯视图表示；
16.图2d是包括符合所公开的实施例的系统的交通工具的又一实施例的图解俯视图表示；
17.图2e是包括符合所公开的实施例的系统的交通工具的又一实施例的图解俯视图表示；
18.图2f是符合所公开的实施例的示例性交通工具控制系统的图解表示。
19.图3a是符合所公开的实施例的包括后视镜和用于交通工具成像系统的用户接口的交通工具的内部的图解表示；
20.图3b是符合所公开的实施例的被配置为定位在后视镜后面并抵靠交通工具挡风玻璃的相机支架示例的图示。
21.图3c是符合所公开的实施例的图3b中所示的相机支架从不同视角的图示。
22.图3d是符合所公开的实施例的被配置为定位在后视镜后面并抵靠交通工具挡风玻璃的相机支架示例的图示。
23.图4是符合所公开的实施例的被配置为存储用于执行一个或多个操作的指令的存储器的示例性框图。
24.图5a是示出了符合所公开的实施例的用于基于单目图像引起一个或多个导航响应的过程的流程图。
25.图5b是示出了符合所公开的实施例的用于在图像的集合中检测一个或多个交通工具和/或行人的示例性过程的流程图。
26.图5c是示出了符合所公开的实施例的用于检测图像的集合中的道路标记和/或车道几何形状信息的示例性过程的流程图。
27.图5d是示出了符合所公开的实施例的用于在图像的集合中检测交通信号灯的示例性过程的流程图。
28.图5e是示出了符合所公开的实施例的用于基于交通工具路径引起一个或多个导航响应的示例性过程的流程图。
29.图5f是示出了符合所公开的实施例的用于确定在前的交通工具是否正在改变车道的示例性过程的流程图。
30.图6是示出了符合所公开的实施例的用于基于立体图像分析引起一个或多个导航响应的示例性过程的流程图。
31.图7是示出了符合所公开的实施例的用于基于三个集合的图像的分析来引起一个或多个导航响应的示例性过程的流程图。
32.图8示出了符合所公开的实施例的用于提供自主交通工具导航的稀疏地图。
33.图9a示出了符合所公开的实施例的道路段的部分的多项式表示。
34.图9b示出了符合所公开的实施例的表示稀疏地图中所包括的针对特定道路段的交通工具的目标轨迹的三维空间中的曲线。
35.图10示出了符合所公开的实施例的可能被包括在稀疏地图中的示例地标。
36.图11a示出了符合所公开的实施例的轨迹的多项式表示。
37.图11b和图11c示出了符合所公开的实施例的沿多车道道路的目标轨迹。
38.图11d示出了符合所公开的实施例的示例的道路特色(signature)概况。
39.图12是符合所公开的实施例的使用从多个交通工具接收的众包数据进行自主交通工具导航的系统的示意图。
40.图13示出了符合所公开的实施例的由多个三维样条表示的示例自主交通工具道路导航模型。
41.图14示出了符合所公开的实施例的通过结合来自许多次驾驶的位置信息而生成的地图骨架。
42.图15示出了符合所公开的实施例的具有作为地标的示例标志的两次驾驶的纵向对齐的示例。
43.图16示出了符合所公开的实施例的具有作为地标的示例标志的许多次驾驶的纵向对齐的示例。
44.图17是符合所公开的实施例的用于使用相机、交通工具和服务器生成驾驶的数据的系统的示意图。
45.图18是符合所公开的实施例的用于众包稀疏地图的系统的示意图。
46.图19是示出了符合所公开的实施例的用于生成用于沿道路段的自主交通工具导航的稀疏地图的示例性过程的流程图。
47.图20示出了符合所公开的实施例的服务器的框图。
48.图21示出了符合所公开的实施例的存储器的框图。
49.图22示出了符合所公开的实施例的对与交通工具相关联的交通工具轨迹进行聚类的过程。
50.图23示出了符合所公开的实施例的可以用于自主导航的交通工具的导航系统。
51.图24a、24b、24c和24d示出了符合所公开的实施例的可以被检测的示例性车道标记。
52.图24e示出了符合所公开的实施例的示例性绘制的车道标记。
53.图24f示出了符合所公开的实施例的与检测车道标记相关联的示例性异常。
54.图25a示出了符合所公开的实施例的用于基于绘制的车道标记进行导航的交通工具的周围环境的示例性图像。
55.图25b示出了符合所公开的实施例的基于道路导航模型中的绘制的车道标记对交通工具的横向定位校正。
56.图26a是示出了符合所公开的实施例的用于绘制的车道标记以用于自主交通工具导航的示例性过程的流程图。
57.图26b是示出了符合所公开的实施例的用于使用绘制的车道标记沿道路段自主导航主交通工具的示例性过程的流程图。
58.图27是用于使用信号信息确定路线的系统的示意图。
59.图28是用于使用信号信息确定多个交通工具之间的路线的系统的示意图。
60.图29是用于使用来自交通工具的信号信息生成导航信息的系统的示意图。
61.图30是示出用于确定用于交通工具的路线信息的示例性过程的流程图。
62.图31是示出用于确定交通工具之间的路线的示例性过程的流程图。
具体实施方式
63.以下具体实施方式参考了所附附图。只要有可能，在附图和以下描述中使用相同的附图标记指代相同或相似的部分。虽然本文描述了若干说明性的实施例，但修改、改编和其他实现方式也是可能的。例如，可以对附图中图示出的组件进行替换、添加、或修改，并且可以通过对所公开的方法进行替换、重新排序、移除或添加步骤来修改本文所描述的说明性方法。因此，以下具体实施方式并不限于所公开的实施例和示例。相反，适当的范围由所附权利要求来限定。
64.自主交通工具概览
65.如贯穿本公开所使用，术语“自主交通工具”指代能够在不具有驾驶员输入的情况下实现至少一个导航改变的交通工具。“导航改变”指代交通工具的转向、制动、或加速中的一种或多种改变。要成为自主的，交通工具不需要是完全自动的(例如，在没有驾驶员或没有驾驶员输入的情况下完全地操作)。相反，自主交通工具包括可以在某些时间段期间在驾驶员控制下操作且在其他时间段期间在没有驾驶员控制的情况下操作的那些交通工具。自主交通工具也可以包括仅控制交通工具导航的一些方面(诸如，转向(例如，用于在交通工
具车道约束之间维持交通工具路线))、但可将其他方面留给驾驶员(例如，制动)的交通工具。在一些情况下，自主交通工具可处置交通工具的制动、速率控制和/或转向中的一些方面或所有方面。
66.由于人类驾驶员通常依赖于视觉提示和观察来控制交通工具，因此交通基础设施被相应地建立，其中车道标记、交通标志和交通信号灯全部都被设计成向驾驶员提供视觉信息。鉴于交通基础设施的这些设计特性，自主交通工具可以包括相机和处理单元，该处理单元分析从交通工具的环境捕获的视觉信息。视觉信息可以包括例如交通基础设施的可被驾驶员观察到的组成部分(例如，车道标记、交通标志、交通灯等)和其他障碍物(例如，其他交通工具、行人、碎片等)。附加地，自主交通工具还可以使用存储的信息，诸如在导航时提供交通工具的环境的模型的信息。例如，交通工具可以使用gps数据、传感器数据(例如，来自加速度计、速率传感器、悬挂传感器等)和/或其他地图数据以在该交通工具在行驶时提供与该交通工具的环境相关的信息，并且该交通工具(以及其他交通工具)可以使用该信息以在模型上定位自身。
67.在本公开的一些实施例中，自主交通工具可以使用在导航的同时(例如，从相机、gps设备、加速度计、速率传感器、悬架传感器等)获得的信息。在其他实施例中，自主交通工具可以在导航时使用从由交通工具(或其他交通工具)进行的过去导航中获得的信息。在另外的其他实施例中，自主交通工具可以使用在导航时获得的信息和从过去导航中获得的信息的组合。以下章节提供符合所公开的实施例的系统的概述，随后是符合该系统的前向成像系统和方法的概览。随后的章节公开了用于构造、使用和更新用于自主交通工具导航的稀疏地图的系统和方法。
68.系统概览
69.图1是符合所公开的示例性实施例的系统100的框图表示。取决于特定实现方式的要求，系统100可以包括各种组件。在一些实施例中，系统100可以包括处理单元110、图像采集单元120、位置传感器130、一个或多个存储器单元140、150、地图数据库160、用户接口170、和无线收发器172。处理单元110可以包括一个或多个处理设备。在一些实施例中，处理单元110可以包括应用处理器180、图像处理器190或任何其他合适的处理设备。类似地，取决于特定应用的要求，图像采集单元120可以包括任何数量的图像采集设备和组件。在一些实施例中，图像采集单元120可以包括一个或多个图像捕获设备(例如，相机)，诸如图像捕获设备122、图像捕获设备124、和图像捕获设备126。系统100还可以包括将处理设备110通信地连接到图像采集设备120的数据接口128。例如，数据接口128可以包括用于将由图像检举设备120获取的图像数据传送到处理单元110的任何一条或多条有线和/或无线链路。
70.无线收发器172可以包括一个或多个设备，该一个或多个设备被配置成通过使用射频、红外频率、磁场或电场通过空中接口向一个或多个网络(例如，蜂窝、互联网等)交换传输。无线收发器172可以使用任何已知的标准来传送和/或接收数据(例如，wi-fi、蓝牙智能、802.15.4、zigbee等)。此类传输可以包括从主交通工具到一个或多个远程定位的服务器的通信。此类传输也可以包括主交通工具与该主交通工具的环境中的一个或多个目标交通工具之间的通信(单向或双向)(例如，用于鉴于主交通工具的环境中的目标交通工具或与目标交通工具一起促进主交通工具的导航的协调)，或者甚至包括向进行传送的交通工具附近的未指定接收方进行的广播传输。
71.应用处理器180和图像处理器190两者都可以包括各种类型的处理设备。例如，应用处理器180和图像处理器190中的任一个或这两者可以包括微处理器、预处理器(例如图像预处理器)、图形处理单元(gpu)、中央处理单元(cpu)、支持电路、数字信号处理器、集成电路、存储器，或适用于运行应用以及用于图像处理和分析的任何其他类型的设备。在一些实施例中，应用处理器180和/或图像处理器190可以包括任何类型的单核或多核处理器、移动设备微控制器、中央处理单元等。各种处理设备可以被使用，包括例如可以从诸如等制造商处获得的处理器，或可以从诸如等制造商处获得的gpu，并且各种处理设备可以包括各种架构(例如，x86处理器、等)。
72.在一些实施例中，应用处理器180和/或图像处理器190可以包括可从获得的eyeq系列处理器芯片中的任何处理器芯片。这些处理器设计各自包括具有本地存储器和指令集的多个处理单元。此类处理器可包括用于从多个图像传感器接收图像数据的视频输入，并且还可包括视频输出能力。在一个示例中，使用在332mhz下操作的90nm微米技术。架构由两个浮点超线程32位risc cpu(核)、五个视觉计算引擎(vce)、三个向量微码处理器denali 64位移动ddr控制器、128位内部声学互连、双16位视频输入和18位视频输出控制器、16通道dma、以及若干外围设备组成。mips34k cpu管理五个vce、三个vmp
tm
和dma、第二mips34k cpu和多通道dma以及其他外围设备。五个vce、三个和mips34k cpu可以执行多功能捆绑应用所需的密集的视觉计算。在另一个示例中，作为第三代处理器并且比强大六倍的可在所公开的实施例中使用。在其他示例中，和/或可以在所公开的实施例中使用。当然，任何更新的或未来的eyeq处理设备也可以与所公开的实施例一起使用。
73.本文所公开的处理设备中的任何处理设备都可以被配置成执行某些功能。配置处理设备(诸如，所描述的eyeq处理器或其他控制器或微处理器中的任一者)以执行某些功能可以包括对计算机可执行指令进行编程，并使这些指令可供处理设备用来在处理设备的操作期间执行。在一些实施例中，配置处理设备可以包括直接利用架构指令对处理设备进行编程。例如，诸如现场可编程门阵列(fpga)，专用集成电路(asic)，以及类似的处理设备可以使用例如一种或多种硬件描述语言(hdl)来配置。
74.在其他实施例中，配置处理设备可以包括将可执行指令存储在处理设备在操作期间可访问的存储器上。例如，处理设备可以在操作期间访问存储器，以获得并且执行所存储的指令。在任一情况下，配置为执行本文公开的感测、图像分析和/或导航功能的处理设备表示控制主交通工具的多个基于硬件的组件的专用基于硬件的系统。
75.虽然图1描绘了处理单元110中包括的两个分开的处理设备，但可以使用更多或更少的处理设备。例如，在一些实施例中，可以使用单个处理设备来实现应用处理器180和图像处理器190的任务。在其他实施例中，这些任务可以由多于两个的处理设备执行。此外，在一些实施例中，系统100可以包括一个或多个处理单元110，而不包括其他组件，诸如图像采集单元120。
76.处理单元110可以包括各种类型的设备。例如，处理单元110可以包括各种设备，诸
如控制器、图像预处理器、中央处理单元(cpu)、图形处理单元(gpu)、支持电路、数字信号处理器、集成电路、存储器或用于图像处理和分析的任何其他类型的设备。图像预处理器可以包括用于捕获、数字化和处理来自图像传感器的成像的视频处理器。cpu可以包括任何数量的微控制器或微处理器。gpu也可以包括任何数量的微控制器或微处理器。支持电路可以是本技术领域中一般公知的任何数量的电路，包括高速缓存、电源、时钟和输入-输出电路。存储器可以存储软件，该软件当由处理器执行时控制系统的操作。存储器可以包括数据库和图像处理软件。存储器可以包括任何数量的随机存取存储器、只读存储器、闪存、磁盘驱动器、光存储、磁带存储、可移除存储和其他类型的存储。在一个实例中，存储器可以与处理单元110分开。在另一实例中，存储器可以被集成到处理单元110中。
77.每个存储器140、150可以包括软件指令，该软件指令当由处理器(例如，应用处理器180和/或图像处理器190)执行时可以控制系统100的各个方面的操作。这些存储器单元可以包括各种数据库和图像处理软件，以及例如诸如神经网络或深度神经网络之类的经训练的系统。存储器单元可以包括随机存取存储器(ram)、只读存储器(rom)、闪存、磁盘驱动器、光存储、磁带存储、可移除存储和/或任何其他类型的存储。在一些实施例中，存储器单元140、150可以与应用处理器180和/或图像处理器190分开。在其他实施例中，这些存储器单元可以被集成到应用处理器180和/或图像处理器190中。
78.位置传感器130可以包括适于确定与系统100的至少一个组件相关联的位置的任何类型的设备。在一些实施例中，位置传感器130可以包括gps接收器。此类接收器可以通过处理由全球定位系统卫星广播的信号来确定用户的位置和速度。可使来自位置传感器130的位置信息可用于应用处理器180和/或图像处理器190。
79.在一些实施例中，系统100可以包括诸如用于测量交通工具200的速率的速率传感器(例如，转速计、速率计)和/或用于测量交通工具200的加速度的加速度计(单轴或多轴)的组件。
80.用户接口170可包括适于将信息提供给系统100的一个或多个用户或从系统100的一个或多个用户接收输入的任何设备。在一些实施例中，用户接口170可以包括用户输入设备，包括例如触摸屏、麦克风、键盘、指点设备、轨迹轮、相机、旋钮、按钮等。利用此类输入设备，用户可能能够通过键入指令或信息、提供语音命令、使用按钮、指点器、或眼球跟踪能力在屏幕上选择菜单选项、或通过用于将信息传输至系统100的任何其他合适的技术来将信息输入或命令提供给系统100。
81.用户接口170可以配备有一个或多个处理设备，该一个或多个处理设备被配置成将信息提供给用户或从用户接收信息，并处理该信息以供由例如应用处理器180使用。在一些实施例中，此类处理设备可执行用于识别和跟踪眼球移动、接收和解释语音命令、识别和解释在触摸屏上做出的触摸和/或手势、对键盘输入或菜单选择进行响应等的指令。在一些实施例中，用户接口170可以包括显示器、扬声器、触觉设备和/或用于向用户提供输出信息的任何其他设备。
82.地图数据库160可以包括用于存储对系统100有用的地图数据的任何类型的数据库。在一些实施例中，地图数据库160可以包括与各种项目(包括道路、水景、地理特征、商业、感兴趣的地点、餐馆、加油站等)在参考坐标系中的位置相关的数据。地图数据库160可以不仅存储此类项目的位置，也存储与那些项目相关的描述符，包括例如与所存储的特征
中的任何特征相关联的名称。在一些实施例中，地图数据库160在物理上可以与系统100的其他组件一起被定位。替代地或附加地，地图数据库160或其部分可以相对于系统100的其他组件(例如，处理单元110)远程地定位。在此类实施例中，来自地图数据库160的信息可以通过至网络的有线或无线数据连接(例如，通过蜂窝网络和/或互联网等)来下载。在一些情况下，地图数据库160可以存储稀疏数据模型，该稀疏数据模型包括针对主交通工具的某些道路特征(例如，车道标记)或目标轨迹的多项式表示。下文参考图8-图19讨论生成此类地图的系统和方法。
83.图像捕获设备122、124和126可以各自包括适于从环境捕获至少一个图像的任何类型的设备。此外，可以使用任何数量的图像捕获设备来采集用于输入到图像处理器的图像。一些实施例可以仅包括单个图像捕获设备，而其他实施例可包括两个、三个、甚至四个或更多的图像捕获设备。下面将参考图2b-图2e进一步描述图像捕获设备122、124和126。
84.系统100或其各种组件可以并入各种不同平台。在一些实施例中，系统100可以被包括在交通工具200上，如图2a所示。例如，如上文相对于图1所述，交通工具200可以配备有处理单元110和系统100的其他组件中的任一者。虽然在一些实施例中，交通工具200可以仅配备有单个图像捕获设备(例如，相机)，但在其他实施例中(诸如，结合图2b-图2e所讨论的那些实施例中)可以使用多个图像捕获设备。例如，如图2a所示，交通工具200的图像捕获设备122和124中的任一者可以是adas(高级驾驶员辅助系统)成像集合的一部分。
85.交通工具200上所包括的、作为图像采集单元120的一部分的图像捕获设备可以被定位在任何合适的位置。在一些实施例中，如图2a-图2e和图3a-图3c所示，图像捕获设备122可以位于后视镜附近。该位置可以提供与交通工具200的驾驶员的视线类似的视线，这可以辅助确定对驾驶员可见和不可见的事物。图像捕获设备122可以被定位在后视镜附近的任何位置，但是将图像捕获设备122放置在后视镜的驾驶员侧可以进一步辅助获得表示驾驶员的视场和/或视线的图像。
86.也可以使用针对图像采集单元120的图像捕获设备的其他位置。例如，图像捕获设备124可以位于交通工具200的保险杠上或保险杠中。此类位置可能特别适于具有宽视场的图像捕获设备。位于保险杠的图像捕获设备的视线可能与驾驶员的视线不同，并且因此，保险杠图像捕获设备和驾驶员可能并不总是看到相同的对象。图像捕获设备(例如，图像捕获设备122、124和126)也可以位于其他位置。例如，图像捕获设备可以位于交通工具200的侧视镜(side mirror)中的一个或两个侧视镜之上或之中、交通工具200的车顶上、交通工具200的引擎盖上、交通工具200的后备箱上、交通工具200的侧部上，被安装在交通工具200的窗户中的任何窗户上，被定位在交通工具200的窗户中的任何窗户的后面或前面，以及被安装在交通工具200的前部和/或后部上的光像中或附近，等等。
87.除图像捕获设备外，交通工具200还可以包括系统100的各种其他组件。例如，处理单元110可以被包括在交通工具200上，与交通工具的引擎控制单元(ecu)集成或分开。交通工具200还可以配备有位置传感器130(诸如，gps接收器)，并且还可以包括地图数据库160以及存储器单元140和150。
88.如之前所讨论，无线收发器172可以和/或通过一个或多个网络(例如，蜂窝网络、互联网等)接收数据。例如，无线收发器172可以将由系统100收集的数据上传到一个或多个服务器，并从一个或多个服务器下载数据。经由无线收发器172，系统100可以接收例如对存
储在地图数据库160、存储器140和/或存储器150中的数据的周期性或按需更新。类似地，无线收发器172可以从系统100将任何数据(例如，由图像采集单元120捕获的图像、由位置传感器130或其他传感器、交通工具控制系统等接收的数据)上传到一个或多个服务器和/或将由处理单元110处理的任何数据上传到一个或多个服务器。
89.系统100可以基于隐私级别设置将数据上传到服务器(例如，上传到云)。例如，系统100可以实现隐私级别设置，以调节或限制发送到服务器的数据(包括元数据)的类型，这些数据的类型可以唯一地标识交通工具和/或交通工具的驾驶员/所有者。此类设置可以由用户经由例如无线收发器172来设置，通过工厂默认设置或通过由无线收发器172接收的数据来初始化。
90.在一些实施例中，系统100可以根据“高”隐私级别来上传数据，并且在对设置进行设置之下，系统100可以传送数据(例如，与路线相关的位置信息、捕获的图像等)，而没有关于特定交通工具和/或驾驶员/所有者的任何细节。例如，当根据“高”隐私设置上传数据时，系统100可以不包括交通工具标识号(vin)或交通工具驾驶员或所有者的姓名，并且可以替代地传送诸如捕获的图像和/或与路线相关的有限的位置信息之类的数据。
91.构想了其他隐私级别。例如，系统100可以根据“中间”隐私级别向服务器传送数据，并包括在“高”隐私级别下未被包括的附加信息，诸如交通工具的品牌和/或型号和/或交通工具类型(例如，乘用车、运动型多用途车、卡车等)。在一些实施例中，系统100可以根据“低”隐私级别来上传数据。在“低”隐私级别设置下，系统100可以上传数据，并包括足以唯一地标识特定交通工具、所有者/驾驶员和/或由交通工具行驶的路线的一部分或全部的信息。此类“低”隐私级别数据可以包括例如以下各项中的一项或多项：vin、驾驶员/所有者姓名、交通工具出发前的起点、交通工具的预期目的地、交通工具的品牌和/或型号、交通工具的类型等。
92.图2a是符合所公开的实施例的示例性交通工具成像系统的图解侧视图表示。图2b是图2a中所示的实施例的图解俯视图图示。如图2b所图示，所公开的实施例可以包括交通工具200，该交通工具200在其主体中包括系统100，该系统100具有被定位在交通工具200的后视镜附近和/或靠近交通工具200的驾驶员的第一图像捕获设备122、被定位在交通工具200的保险杠区域(例如，诸保险杠区域210中的一个)上或在保险杠区域中的第二图像捕获设备124、以及处理单元110。
93.如图2c所图示，图像捕获设备122和124两者均可以被定位在交通工具200的后视镜附近和/或靠近交通工具200的驾驶员。另外，虽然在图2b和图2c中示出了两个图像捕获设备122和124，但应当理解，其他实施例可以包括多于两个的图像捕获设备。例如，在图2d和图2e所示的实施例中，第一图像捕获设备122、第二图像捕获设备124、和第三图像捕获设备126被包括在交通工具200的系统100中。
94.如图2d所示，图像捕获设备122可以被定位在交通工具200的后视镜附近和/或靠近交通工具200的驾驶员，而图像捕获设备124和126可以被定位在交通工具200的保险杠区域(例如，保险杠区域210中的一个区域)上或在保险杠区域中。并且如图2e所示，图像捕获设备122、124和126可以被定位在交通工具200的后视镜附近和/或靠近交通工具200的驾驶员座椅。所公开的实施例不限于图像捕获设备的任何特定数量和配置，并且图像捕获设备可以被定位在交通工具200内和/或交通工具200上的任何适当位置。
95.应当理解，所公开的实施例不限于交通工具，并且可以应用于其他情境。还应理解，所公开的实施例不限于特定类型的交通工具200，并且可以可适用于所有类型的交通工具，包括汽车、卡车、拖车和其他类型的交通工具。
96.第一图像捕获设备122可以包括任何合适类型的图像捕获设备。图像捕获设备122可以包括光轴。在一个实例中，图像捕获设备122可以包括具有全局快门的aptina m9v024 wvga传感器。在其他实施例中，图像捕获设备122可以提供1280x960像素的分辨率，并且可以包括滚动快门。图像捕获设备122可以包括各种光学元件。在一些实施例中，可以包括一个或多个透镜，例如，从而为图像捕获设备提供期望的焦距和视场。在一些实施例中，图像捕获设备122可以与6mm透镜或12mm透镜相关联。在一些实施例中，图像捕获设备122可以被配置为捕获具有期望的视场(fov)202的图像，如图2d所示。例如，图像捕获设备122可以被配置为具有常规fov，诸如在40度到56度的范围内，包括46度fov、50度fov、52度fov或更大的fov。或者，图像捕获设备122可以被配置为具有23到40度范围内的窄fov，诸如28度fov或36度fov。此外，图像捕获设备122可以被配置为具有100到180度范围内的宽fov。在一些实施例中，图像捕获设备122可以包括广角保险杠相机或具有高达180度fov的相机。在一些实施例中，图像捕获设备122可以是具有约为2:1的纵横比(例如，hxv＝3800x1900像素)且具有约100度水平fov的7.2m像素图像捕获设备。可以使用此类图像捕获设备来代替三图像捕获设备配置。由于显著的透镜畸变，此类图像捕获设备的竖直fov在其中图像捕获设备使用径向对称透镜的实现方式中可以显著小于50度。例如，此类透镜可能不是径向对称的，这将在100度水平fov的情况下允许大于50度的竖直fov。
100.第一图像捕获设备122可以采集相对于与交通工具200相关联的场景的多个第一图像。多个第一图像中的每一个可以作为一系列图像扫描线被采集，这些图像扫描线可以使用滚动快门来捕获。每条扫描线可以包括多个像素。
101.第一图像捕获设备122可以具有与第一系列的图像扫描线中的每条图像扫描线的采集相关联的扫描速率。扫描速率可以指图像传感器能够以其来采集与被包括在特定扫描线中的每个像素相关联的图像数据的速率。
102.图像捕获设备122、124和126可以包含任何合适类型和数量的图像传感器，例如，包括ccd传感器或cmos传感器。在一个实施例中，cmos图像传感器可以与滚动快门一起被采用，使得行中的每个像素被一次读取一个，并且对行的扫描在逐行的基础上进行，直到整个图像帧已被捕获。在一些实施例中，行可以相对于帧从上到下顺序地被捕获。
103.在一些实施例中，本文公开的图像捕获设备(例如，图像捕获设备122、124和126)中的一个或多个可以构成高分辨率成像器，并且可以具有大于5m像素、7m像素、10m像素或更大的分辨率。
104.滚动快门的使用可能导致不同行中的像素在不同时间被曝光和捕获，这可能在被捕获的图像帧中导致歪斜和其他图像伪像。另一方面，当图像捕获设备122被配置为利用全局或同步快门操作时，所有像素都可以被曝光达相同的时间量并且在共同的曝光时段内被曝光。结果，从采用全局快门的系统收集的帧中的图像数据表示整个fov(诸如，fov 202)在特定时间的快照。相比之下，在滚动快门应用中，帧中的每一行在不同的时间被曝光，并且数据在不同的时间被捕获。因此，在具有滚动快门的图像捕获设备中，移动的对象可能显得失真。下文将更详细地描述这种现象。
105.第二图像捕获设备124和第三图像捕获设备126可以是任何类型的图像捕获设备。类似于第一图像捕获设备122，图像捕获设备124和126中的每一个可以包括光轴。在一个实施例中，图像捕获设备124和126中的每一个可以包括具有全局快门的aptina m9v024 wvga传感器。替代地，图像捕获设备124和126中的每一个可以包括滚动快门。类似于图像捕获设备122，图像捕获设备124和126可以被配置为包括各种透镜和光学元件。在一些实施例中，与图像捕获设备124和126相关联的透镜可以提供与同图像捕获设备122相关联的fov(诸如，fov 202)相同或比其更窄的fov(诸如，fov 204和206)。例如，图像捕获设备124和126可以具有40度、30度、26度、23度、20度或更小的fov。
106.图像捕获设备124和126可以获取与交通工具200相关联的场景的多个第二和第三图像。多个第二和第三图像中的每一个可以作为第二系列的图像扫描线和第三系列的图像扫描线而被采集，这些图像扫描线可以使用滚动快门捕获。每条扫描线或扫描行可以具有多个像素。图像捕获设备124和126可以具有与采集被包括在第二和第三系列中的图像扫描线中的每一条图像扫描线相关联的第二和第三扫描速率。
107.每个图像捕获设备122、124和126可以定位在相对于交通工具200的任何合适的位置和取向处。图像捕获设备122、124和126的相对定位可以被选择以辅助将从图像捕获设备采集的信息融合在一起。例如，在一些实施例中，同图像捕获设备124相关联的fov(诸如，fov 204)可以部分地或完全地与同图像捕获设备122相关联的fov(诸如，fov 202)以及同图像捕获设备126相关联的fov(诸如，fov 206)重叠。
108.图像捕获设备122、124和126可以位于交通工具200上的任何合适的相对高度处。在一个实例中，在图像捕获设备122、124和126之间可以存在高度差，这可以提供足够的视差信息以实现立体分析。例如，如图2a所示，两个图像捕获设备122和124处于不同的高度。在图像捕获设备122、124和126之间也可以存在横向位移差，从而例如为由处理单元110进行的立体分析给出附加的视差信息。横向位移的差可以用d
x
表示，如图2c-图2d所示。在一些实施例中，在图像捕获设备122、124和126之间可以存在前后位移(例如，范围位移)。例如，图像捕获设备122可以位于图像捕获设备124和/或图像捕获设备126后面0.5米至2米或更远。这种类型的位移可以使图像捕获设备中的一个能够覆盖其他(多个)图像捕获设备的潜在盲点。
109.图像捕获设备122可以具有任何合适的分辨率能力(例如，与图像传感器相关联的像素数量)，并且同图像捕获设备122相关联的(多个)图像传感器的分辨率可以高于、低于同图像捕获设备124和126相关联的(多个)图像传感器的分辨率，或者与同图像捕获设备124和126相关联的(多个)图像传感器的分辨率相同。在一些实施例中，与图像捕获设备122和/或图像捕获设备124和126相关联的(多个)图像传感器可以具有640x480、1024x768、1280x960的分辨率或任何其他合适的分辨率。
110.帧速率(例如，图像捕获设备在继续捕获与下一图像帧相关联的像素数据之前采集一个图像帧的像素数据的集合所按照的速率)可以是可控的。同图像捕获设备122相关联的帧速率可以高于、低于同图像捕获设备124和126相关联的帧速率，或者与同图像捕获设备124和126相关联的帧速率相同。与图像捕获设备122、124和126相关联的帧速率可以取决于可以影响帧速率的时序的各种因素。例如，图像捕获设备122、124和126中的一个或多个可以包括可选像素延迟时段，该可选像素延迟时段在对与图像捕获设备122、124和/或126
中的图像传感器的一个或多个像素相关联的图像数据的采集之前或之后被施加。一般地，可以根据设备的时钟速率(例如，每个时钟周期一个像素)来采集对应于每个像素的图像数据。附加地，在包括滚动快门的实施例中，图像捕获设备122、124和126中的一个或多个可以包括可选水平消隐时段，该可选水平消隐时段在对与图像捕获设备122、124和/或126中的图像传感器的像素的行相关联的图像数据的采集之前或之后被施加。此外，图像捕获设备122、124和/或126中的一个或多个可以包括可选竖直消隐时段，该可选竖直消隐时段在对与图像捕获设备122、124和126的图像帧相关联的图像数据的采集之前或之后被施加。
111.这些时序控制可以实现与图像捕获设备122、124和126相关联的帧速率的同步，即使在每个设备的线扫描速率不同的情形中。附加地，如下文将更详细地所讨论，除其他因素(例如，图像传感器分辨率、最大线扫描速率等)外，这些可选的时序控制可以实现从其中图像捕获设备122的fov与图像捕获设备124和126的一个或多个fov重叠的区域进行的图像捕获的同步，即使在图像捕获设备122的视场不同于图像捕获设备124和126的fov的情形中。
112.图像捕获设备122、124和126中的帧速率时序可以取决于相关联的图像传感器的分辨率。例如，假设针对两个设备的类似的线扫描速率，如果一个设备包括具有640x480的分辨率的图像传感器，并且另一个设备包括具有1280x960的分辨率的图像传感器，则将需要更多时间来从具有更高分辨率的传感器采集图像数据的帧。
113.可能影响图像捕获设备122、124和126中的图像数据采集的时序的另一因素是最大线扫描速率。例如，从被包括在图像捕获设备122、124和126中的图像传感器采集图像数据的行将需要某一最小的时间量。假设没有添加像素延迟时段，则用于采集图像数据的行的该最小时间量将与特定设备的最大线扫描速率相关。与具有较低的最大线扫描速率的设备相比，提供较高的最大线扫描速率的设备具有提供较高帧速率的潜力。在一些实施例中，图像捕获设备124和126中的一个或多个可以具有高于与图像捕获设备122相关联的最大线扫描速率的最大线扫描速率。在一些实施例中，图像捕获设备124和/或126的最大线扫描速率可以是图像捕获设备122的最大线扫描速率的1.25倍、1.5倍、1.75倍或2倍或更大。
114.在另一个实施例中，图像捕获设备122、124和126可以具有相同的最大线扫描速率，但是图像捕获设备122可以在小于或等于其最大扫描速率的扫描速率下操作。系统可以被配置为使得图像捕获设备124和126中的一个或多个以等于图像捕获设备122的线扫描速率的线扫描速率操作。在其他实例中，系统可以被配置为使得图像捕获设备124和/或图像捕获设备126的线扫描速率可以是图像捕获设备122的线扫描速率的1.25倍、1.5倍、1.75倍或2倍或更大。
115.在一些实施例中，图像捕获设备122、124和126可以是不对称的。也就是说，它们可以包括具有不同视场(fov)和焦距的相机。例如，图像捕获设备122、124和126的视场可以包括相对于交通工具200的环境的任何期望区域。在一些实施例中，图像捕获设备122、124和126中的一个或多个可以被配置为从交通工具200前方、交通工具200后方、交通工具200侧面或其组合的环境采集图像数据。
116.进一步地，与每个图像捕获设备122、124和/或126相关联的焦距可以是可选的(例如，通过包括适当的透镜等)，使得每个设备采集在相对于交通工具200的期望距离范围内的对象的图像。例如，在一些实施例中，图像捕获设备122、124和126可以采集距离交通工具几米以内的特写对象的图像。图像捕获设备122、124和126还可以被配置为采集距交通工具
更远的范围(例如，25m、50m、100m、150m或更长)内的对象的图像。进一步地，图像捕获设备122、124和126的焦距可以被选择成使得一个图像捕获设备(例如，图像捕获设备122)可以采集相对靠近交通工具(例如，在10m内或20m内)的对象的图像，而其他图像捕获设备(例如，图像捕获设备124和126)可以可以采集距交通工具200更远的(例如，距交通工具大于20m、50m、100m、150m等的)对象的图像。
117.根据一些实施例，一个或多个图像捕获设备122、124和126的fov可以具有广角。例如，具有140度的fov可能是有利的，对于可以用于捕获交通工具200邻近区域的图像的图像捕获设备122、124和126尤其如此。例如，图像捕获设备122可以用于捕获交通工具200右侧或左侧区域的图像，并且在此类实施例中，图像捕获设备122具有宽fov(例如，至少140度)可能是符合期望的。
118.与图像捕获设备122、124和126中的每一个相关联的视场可以取决于各自的焦距。例如，随着焦距增加，相应的视场减小。
119.图像捕获设备122、124和126可以被配置为具有任何合适的视场。在一个特定示例中，图像捕获设备122可以具有46度的水平fov，图像捕获设备124可以具有23度的水平fov，并且图像捕获设备126可以具有23度与46度之间的水平fov。在另一实例中，图像捕获设备122可以具有52度的水平fov，图像捕获设备124可以具有26度的水平fov，并且图像捕获设备126可以具有26度与52度之间的水平fov。在一些实施例中，图像捕获设备122的fov与图像捕获设备124和/或图像捕获设备126的fov的比率可以从1.5变化到2.0。在其他实施例中，该比率可以在1.25与2.25之间变化。
120.系统100可以被配置为使得图像捕获设备122的视场至少部分地或完全与图像捕获设备124和/或图像捕获设备126的视场重叠。在一些实施例中，系统100可以被配置为使得图像捕获设备124和126的视场例如落在图像捕获设备122的视场内(例如，窄于图像捕获设备122的视场)，并且与图像捕获设备122的视场共享共同的中心。在其他实施例中，图像捕获设备122、124和126可以捕获相邻的fov，或者可以在它们的fov中具有部分的重叠。在一些实施例中，图像捕获设备122、124和126的视场可以对齐，使得fov较窄的图像捕获设备124和/或126的中心可以位于fov较宽的设备122的视场的下半部分中。
121.图2f是符合所公开的实施例的示例性交通工具控制系统的图解表示。如图2f所指示，交通工具200可以包括节流系统220、制动系统230和转向系统240。系统100可以通过一个或多个数据链路(例如，用于传送数据的任何一个或多个有线和/或无线链路)向节流系统220、制动系统230、和转向系统240中的一个或多个提供输入(例如，控制信号)。例如，基于对由图像捕获设备122、124和/或126采集到的图像的分析，系统100可以向节流系统220、制动系统230、和转向系统240中的一个或多个提供控制信号以(例如，通过引起加速、转弯、车道偏移等)对交通工具200进行导航。进一步地，系统100可以从节流系统220、制动系统230和转向系统24中的一个或多个接收指示交通工具200的操作状况(例如，速率、交通工具200是否正在制动或转弯等)的输入。以下结合图4-图7提供进一步的细节。
122.如图3a所示，交通工具200还可以包括用于与交通工具200的驾驶员或乘客交互的用户接口170。例如，交通工具应用中的用户接口170可以包括触摸屏320、旋钮330、按钮340、以及麦克风350。交通工具200的驾驶员或乘客也可以使用手柄(例如，位于交通工具200的转向柱上或转向柱附近的手柄，包括例如转向信号灯手柄)、按钮(例如，位于交通工
具200的方向盘上的按钮)等来与系统100交互。在一些实施例中，麦克风350可以被定位成与后视镜310相邻。类似地，在一些实施例中，图像捕获设备122可以位于后视镜310附近。在一些实施例中，用户接口170还可以包括一个或多个扬声器360(例如，交通工具音频系统的扬声器)。例如，系统100可以经由扬声器360提供各种通知(例如，警报)。
123.图3b-图3d是符合所公开的实施例的示例性相机支架370的图示，该示例性相机支架370被配置为位于后视镜(例如，后视镜310)后面并抵靠交通工具挡风玻璃。如图3b所示，相机支架370可以包括图像捕获设备122、124和126。图像捕获设备124和126可以位于眩光屏蔽件380的后面，该眩光屏蔽件380可以齐平地抵靠交通工具挡风玻璃，并包括膜和/或抗反射材料的组合物。例如，眩光屏蔽件380可以被定位使得该屏蔽件抵靠具有匹配的坡度的交通工具挡风玻璃而对齐。在一些实施例中，图像捕获设备122、124和126中的每一个都可以被定位在眩光屏蔽件380后面，例如，如图3d中所描绘。所公开的实施例不限于图像捕获设备122、124和126、相机支架370和眩光屏蔽件380的任何特定配置。图3c是图3b中所示的相机支架370从前视视角的视图。
124.如受益于本公开的本领域技术人员将领会的，可以对前述公开的实施例做出很多的变型和/或修改。例如，并非所有组件对于系统100的操作都是必要的。进一步地，任何组件都可以位于系统100的任何适当部分中，并且组件可以被重新布置成各种配置，同时提供所公开的实施例的功能。因此，前面的配置是示例，并且不管上面讨论的配置如何，系统100都可以提供范围广泛的功能来分析交通工具200的周边并响应于该分析来对交通工具200进行导航。
125.如下文进一步详细地所讨论并且符合各个所公开实施例，系统100可以提供与自主驾驶和/或驾驶员辅助技术相关的各种特征。例如，系统100可以分析图像数据、位置数据(例如，gps位置信息)、地图数据、速率数据和/或来自被包括在交通工具200中的传感器的数据。系统100可以从例如图像采集单元120、位置传感器130、和其他传感器收集数据以用于分析。进一步地，系统100可以分析所收集的数据，以确定交通工具200是否应当采取某个动作，并且随后在没有人类干预的情况下自动地采取所确定的动作。例如，当交通工具200在没有人类干预的情况下导航时，系统100可以(例如，通过将控制信号发送到节流系统220、制动系统230、和转向系统240中的一者或多者)自动地控制交通工具200的制动、加速、和/或转向。进一步地，系统100可以分析所收集的数据，并基于对所收集的数据的分析向交通工具乘员发出警告和/或警报。下文提供关于由系统100提供的各实施例的附加细节。
126.前向多成像系统
127.如上文所讨论，系统100可以提供使用多相机系统的驾驶辅助功能。多相机系统可以使用面向交通工具前进方向的一个或多个相机。在其他实施例中，多相机系统可以包括面向交通工具侧面或交通工具后部的一个或多个相机。在一个实施例中，例如，系统100可以使用双相机成像系统，其中第一相机和第二相机(例如，图像捕获设备122和124)可以被定位在交通工具(例如，交通工具200)的前部和/或侧面。第一相机的视场可以大于、小于第二相机的视场，或部分地与第二相机的视场重叠。此外，第一相机可以被连接到第一图像处理器，该第一图像处理器用于对由第一相机提供的图像执行单目图像分析，并且第二相机可以被连接到第二图像处理器，该第二图像处理器用于对由第二相机提供的图像执行单目图像分析。可以组合第一和第二图像处理器的输出(例如，经处理的信息)。在一些实施例
中，第二图像处理器可以从第一相机和第二相机两者接收图像以执行立体分析。在另一实施例中，系统100可以使用三相机成像系统，其中这些相机中的每个相机具有不同的视场。因此，此类系统可以基于从位于交通工具前方和侧面的不同距离处的对象导出的信息做出决策。对单目图像分析的引用可以指基于从单个视点(例如，从单个相机)捕获的图像执行图像分析的实例。立体图像分析可以指基于利用图像捕获参数的一个或多个变体而捕获的两个或更多个图像执行图像分析的实例。例如，适于执行立体图像分析的被捕获的图像可以包括：从两个或更多个不同位置被捕获的图像、从不同视场被捕获的图像、使用不同焦距被捕获的图像、随着视差信息被捕获的图像等。
128.例如，在一个实施例中，系统100可以使用图像捕获设备122、124和126实现三相机配置。在此类配置中，图像捕获设备122可以提供窄视场(例如，34度或从大约20到45度范围中选择的其他值，等等)，图像捕获设备124可以提供宽视场(例如，150度或从大约100到大约180度的范围中选择的其他值)，并且图像捕获设备126可以提供中间视场(例如，46度或从大约35度到大约60度的范围中选择的其他值)。在一些实施例中，图像捕获设备126可以充当主相机或主要相机。图像捕获设备122、124和126可以被定位在后视镜310的后面，并且基本上并排地定位(例如，相隔6cm)。进一步地，在一些实施例中，如上文所讨论，图像捕获设备122、124和126中的一个或多个可以安装在与交通工具200的挡风玻璃齐平的眩光屏蔽件380后面。此类屏蔽可以用于最小化来自车内部的任何反射对图像捕获设备122、124和126的影响。
129.在另一个实施例中，如上文结合图3b和图3c所讨论，宽视场相机(例如，上述示例中的图像捕获设备124)可以安装成低于窄视场和主视场相机(例如，上述示例中的图像设备122和126)。此配置可以提供来自宽视场相机的自由视线。为了减少反射，相机可以安装在靠近交通工具200的挡风玻璃的位置，并可以在相机上包括偏振器，以抑制反射光。
130.三相机系统可以提供某些性能特性。例如，一些实施例可以包括基于来自另一个相机的检测结果来验证由一个相机对对象的检测的能力。在上文所讨论的三相机配置中，处理单元110可以包括例如三个处理设备(例如，如上文所讨论的三个eyeq系列处理器芯片)，其中每个处理设备专用于处理由图像捕获设备122、124和126中的一个或多个捕获的图像。
131.在三相机系统中，第一处理设备可以从主相机和窄视场相机两者接收图像，并对窄fov相机执行视觉处理，以例如检测其他交通工具、行人、车道标记、交通标志、交通灯和其他道路对象。进一步地，第一处理设备可以计算来自主相机的图像与来自窄相机的图像之间的像素的视差，并创建交通工具200的环境的3d重构。然后，第一处理设备可以将3d重构与3d地图数据或与基于来自另一相机的信息计算的3d信息相组合。
132.第二处理设备可以从主相机接收图像，并执行视觉处理以检测其他交通工具、行人、车道标记、交通标志、交通灯和其他道路对象。附加地，第二处理设备可以计算相机位移，并且基于该位移计算连续图像之间的像素的视差，并创建场景的3d重构(例如，运动恢复结构(structure from motion))。第二处理设备可以将基于运动恢复结构的3d重构发送到第一处理设备来与立体3d图像组合。
133.第三处理设备可以接收从宽fov相机接收图像，并对这些图像进行处理，以检测交通工具、行人、车道标记、交通标志、交通灯和其他道路对象。第三处理设备可以进一步执行
附加的处理指令以分析图像来标识图像中移动的对象，诸如正改变车道的交通工具、行人等。
134.在一些实施例中，使基于图像流的信息被独立地捕获和处理可以提供在系统中提供冗余的机会。此类冗余可以包括例如，使用第一图像捕获设备和来自该设备的经处理的图像来验证和/或补充通过捕获和处理来自至少第二图像捕获设备的图像信息而获得的信息。
135.在一些实施例中，系统100可以使用两个图像捕获设备(例如，图像捕获设备122和124)以为交通工具200提供导航辅助，并使用第三图像捕获设备(例如，图像捕获设备126)提供冗余并且验证对从其他两个图像捕获设备接收的数据的分析。例如，在此类配置中，图像捕获设备122和124可以提供用于由系统100进行立体分析来对交通工具200进行导航的图像，而图像捕获设备126可以提供用于由系统100进行单目分析的图像，以提供对基于从图像捕获设备122和/或图像捕获设备124捕获的图像获得的信息的冗余和验证。即，图像捕获设备126(和相应的处理设备)可以被认为提供冗余子系统，用于对从图像捕获设备122和124导出的分析提供检查(例如，以提供自动紧急制动(aeb)系统)。此外，在一些实施例中，可以基于从一个或多个传感器接收的信息(例如，雷达、激光雷达、声学传感器、从交通工具外部的一个或多个收发器接收的信息等)来补充接收的信息的冗余和验证。
136.本领域技术人员将认识到，上述相机配置、相机放置、相机数量、相机位置等仅为示例。这些组件和相对于整个系统描述的其他组件可以在各种不同的配置中组装和使用，而不背离所公开的实施例的范围。关于使用多相机系统来提供驾驶员辅助和/或自主交通工具功能的进一步细节如下文。
137.图4是可以存储/编程有用于执行符合所公开的实施例的一个或多个操作的指令的存储器140和/或150的示例性功能框图。尽管下文引用存储器140，但本领域技术人员将认识到，指令可以存储在存储器140和/或150中。
138.如图4所示，存储器140可以存储单目图像分析模块402、立体图像分析模块404、速度和加速度模块406以及导航响应模块408。所公开的实施例不限于存储器140的任何特定配置。进一步地，应用处理器180和/或图像处理器190可以执行存储在被包括在存储器140中的模块402、404、406和408中的任何一个中的指令。本领域技术人员将理解，在以下讨论中对处理单元110的引用可以单独或共同地指应用处理器180和图像处理器190。相应地，可以由一个或多个处理设备执行以下过程中的任何过程的步骤。
139.在一个实施例中，单目图像分析模块402可以存储在由处理单元110执行时对由图像捕获设备122、124和126中的一者采集的图像的集合执行单目图像分析的指令(诸如，计算机视觉软件)。在一些实施例中，处理单元110可以将来自图像的集合的信息与附加的传感信息(例如，来自雷达、激光雷达等的信息)组合以执行单目图像分析。如下文结合图5a-图5d所描述，单目图像分析模块402可以包括用于检测该图像的集合中的特征的集合的指令，该特征的集合诸如车道标记、交通工具、行人、道路标志、公路出口匝道、交通灯、危险对象以及与交通工具的环境相关联的任何其他特征。基于该分析，系统100(例如，经由处理单元110)可以引起交通工具200中的一个或多个导航响应，诸如转弯、车道偏移、加速度的变化等，如下文结合导航响应模块408所讨论。
140.在一个实施例中，立体图像分析模块404可以存储在由处理单元110执行时对从图
像捕获设备122、124和126中选择的图像捕获设备的组合所采集的第一组和第二组图像执行立体图像分析的指令(诸如，计算机视觉软件)。在一些实施例中，处理单元110可以将来自第一组和第二组图像的信息与附加的传感信息(例如，来自雷达的信息)组合以执行立体图像分析。例如，立体图像分析模块404可以包括用于基于由图像捕获设备124采集的图像的第一集合和由图像捕获设备126采集的图像的第二集合来执行立体图像分析的指令。如下文结合图6所描述，立体图像分析模块404可以包括用于检测图像的第一集合和第二集合内的特征的集合的指令，该组特征诸如车道标记、交通工具、行人、道路标志、公路出口匝道、交通灯、危险对象等。基于分析，处理单元110可以引起交通工具200中的一个或多个导航响应，诸如转弯、车道偏移、加速度的变化等，如下文结合导航响应模块408所讨论。此外，在一些实施例中，立体图像分析模块404可以实现与经训练的系统(诸如，神经网络或深度神经网络)或未经训练的系统相关联的技术，这些系统诸如，可以配置为使用计算机视觉算法以在捕获和处理来自其的传感信息的环境中检测和/或标示对象的系统。在一个实施例中，立体图像分析模块404和/或其他图像处理模块可以被配置为使用经训练的和未经训练的系统的组合。
141.在一个实施例中，速度和加速度模块406可以存储被配置为用于分析从交通工具200中的一个或多个计算和机电设备接收的数据的软件，这些计算和机电设备被配置为用于引起交通工具200的速度和/或加速度的变化。例如，处理单元110可以执行与速度和加速度模块406相关联的指令，以基于从单目图像分析模块402和/或立体图像分析模块404的执行中导出的数据来计算交通工具200的目标速率。此类数据可以包括例如目标位置、速度和/或加速度、交通工具200相对于附近交通工具、行人或道路对象的位置和/或速率、交通工具200相对于道路的车道标记的位置信息等。此外，处理单元110可以基于传感输入(例如，来自雷达的信息)和来自交通工具200的其他系统(诸如，交通工具200的节流系统220、制动系统230和/或转向系统240)的输入来计算交通工具200的目标速率。基于计算出的目标速率，处理单元110可以向交通工具200的节流系统220、制动系统230和/或转向系统240传送电子信号，以通过例如物理地压下交通工具200的制动器或松开交通工具200的加速器来触发速度和/或加速度的变化。
142.在一个实施例中，导航响应模块408可以存储处理单元110可执行以基于从单目图像分析模块402和/或立体图像分析模块404的执行中导出的数据来确定期望的导航响应的软件。此类数据可以包括与附近交通工具、行人和道路对象相关联的位置和速率信息、交通工具200的目标位置信息等。附加地，在一些实施例中，导航响应可以(部分地或完全)基于地图数据、交通工具200的预定位置、和/或交通工具200与从单目图像分析模块402和/或立体图像分析模块404的执行中检测到的一个或多个对象之间的相对速度或相对加速度。导航响应模块408还可以基于传感输入(例如，来自雷达的信息)和来自交通工具200的其他系统(诸如，交通工具200的节流系统220、制动系统230和转向系统240)的输入来确定期望的导航响应。基于期望的导航响应，处理单元110可以向交通工具200的节流系统220、制动系统230和转向系统240传送电子信号，以通过例如转动交通工具200的方向盘实现预定角度的旋转来触发期望的导航响应。在一些实施例中，处理单元110可以使用导航响应模块408的输出(例如，期望的导航响应)作为执行速度和加速度模块406的输入，以用于计算交通工具200的速率的变化。
143.此外，本文公开的模块(例如，模块402、404和406)中的任何模块可以实现与经训练的系统(诸如，神经网络或深度神经网络)或未经训练的系统相关联的技术。
144.图5a是示出了符合所公开的实施例的用于基于单目图像引起一个或多个导航响应的示例性过程500a的流程图。在步骤510，处理单元110可以经由处理单元110与图像采集单元120之间的数据接口128接收多个图像。例如，被包括在图像采集单元120中的相机(诸如，具有视场202的图像捕获设备122)可以捕获交通工具200前方(或例如交通工具侧面或后部)区域的多个图像，并且通过数据连接(例如，数字、有线、usb、无线、蓝牙等)将这些图像传送到处理单元110。在步骤520，处理单元110可以执行单目图像分析模块402以分析多个图像，如下文结合图5b-5d进一步详细地所描述。通过执行分析，处理单元110可以检测该图像的集合内的特征的集合，该特征的集合诸如车道标记、交通工具、行人、道路标志、公路出口匝道、交通灯等等。
145.在步骤520，处理单元110也可以执行单目图像分析模块402以检测各种道路危险，诸如例如卡车轮胎的零件、坠落的道路标志、松散货物、小动物等等。道路危险可能在结构、形状、大小和颜色上有所不同，这可能使检测此类危险更具挑战性。在一些实施例中，处理单元110可以执行单目图像分析模块402以对多个图像执行多帧分析来检测道路危险。例如，处理单元110可以估计连续图像帧之间的相机运动，并计算帧之间的像素的视差，以构造道路的3d地图。然后，处理单元110可以使用3d地图来检测道路表面以及存在于道路表面上的危险。
146.在步骤530，处理单元110可以执行导航响应模块408，以基于在步骤520执行的分析和如上文结合图4所描述的技术在交通工具200中引起一个或多个导航响应。导航响应可以包括例如转弯、车道偏移、加速度的变化等。在一些实施例中，处理单元110可以使用从速度和加速度模块406的执行中导出的数据来引起一个或多个导航响应。此外，多个导航响应可以同时发生、按顺序发生或以这些方式的任何组合来发生。例如，处理单元110可以通过例如顺序地向交通工具200的转向系统240和节流系统220传送控制信号来使交通工具200偏移通过一个车道并且然后加速。替代地，处理单元110可以通过例如同时向交通工具200的制动系统230和转向系统240传送控制信号来使交通工具200在偏移车道的同时制动。
147.图5b是示出符合所公开的实施例的用于检测图像的集合中的一个或多个交通工具和/或行人的示例性过程500b的流程图。处理单元110可以执行单目图像分析模块402以实现过程500b。在步骤540，处理单元110可以确定表示可能的交通工具和/或行人的候选对象的集合。例如，处理单元110可以扫描一个或多个图像，将图像与一个或多个预定模式进行比较，并在每个图像内标识可能包含感兴趣对象(例如，交通工具、行人或其部分)的可能位置。预定模式可以以实现高“误命中率”和低“未命中率”的方式来设计。例如，处理单元110可以将低相似度阈值用于预定模式，以将候选对象标识为可能的交通工具或行人。这样做可以允许处理单元110降低未命中(例如，未标识)表示交通工具或行人的候选对象的概率。
148.在步骤542，处理单元110可以基于分类准则来过滤候选对象的集合以排除某些候选(例如，无关或不太相关的对象)。此类准则可以从与存储在数据库(例如，存储在存储器140中的数据库)中的对象类型相关联的各种属性中导出。属性可以包括对象形状、尺寸、纹理、位置(例如，相对于交通工具200的位置)等等。因此，处理单元110可以使用一个或多个
集合的准则来拒绝来自候选对象的集合的假候选。
149.在步骤544，处理单元110可以分析图像的多个帧以确定候选对象的集合中的对象是否表示交通工具和/或行人。例如，处理单元110可以跨连续帧跟踪所检测的候选对象，并累积与所检测的对象相关联的逐帧数据(例如，大小、相对于交通工具200的位置等)。附加地，处理单元110可以估计所检测的对象的参数，并将对象的逐帧位置数据与所预测的位置进行比较。
150.在步骤546，处理单元110可以为所检测的对象构造测量的集合。此类测量可以包括例如与所检测的对象相关联的(相对于交通工具200的)位置、速度和加速度值。在一些实施例中，处理单元110可以基于使用一系列基于时间的观察的估计技术(诸如，卡尔曼滤波器或线性二次估计(lqe))和/或基于针对不同对象类型(例如，汽车、卡车、行人、自行车、道路标志等)的可用建模数据来构造测量。卡尔曼滤波器可以基于对象尺度的测量，其中尺度测量与碰撞时间(例如，交通工具200到达对象的时间量)成比例。因此，通过执行步骤540-546，处理单元110可以标识出现在所捕获的图像的集合中的交通工具和行人，并导出与交通工具和行人相关联的信息(例如，位置、速率、大小)。基于标识和导出的信息，处理单元110可以在交通工具200中引起一个或多个导航响应，如上文结合图5a所描述。
151.在步骤548，处理单元110可以执行对一个或多个图像的光流分析，以降低检测到“误命中率”和未命中表示交通工具或行人的候选对象的概率。光流分析可以指例如在与其他交通工具和行人相关联的一个或多个图像中分析相对于交通工具200的、不同于道路表面运动的运动模式。处理单元110可以通过观察跨在不同时间捕获的多个图像帧的对象的不同位置来计算候选对象的运动。处理单元110可以使用位置和时间值作为数学模型的输入来计算候选对象的运动。因此，光流分析可以提供检测交通工具200附近的交通工具和行人的另一方法。处理单元110可以结合步骤540-546执行光流分析，从而为检测交通工具和行人提供冗余，并增加系统100的可靠性。
152.图5c是示出符合所公开的实施例的用于检测图像的集合中的道路标记和/或车道几何信息的示例性过程500c的流程图。处理单元110可以执行单目图像分析模块402以实现过程500c。在步骤550，处理单元110可以通过扫描一个或多个图像来检测对象的集合。为了检测具有车道标记、车道几何信息和其他有关道路标记的段，处理单元110可以对该对象的集合进行过滤以排除那些被确定为无关的对象(例如，小坑洞、小岩石等)。在步骤552，处理单元110可以将在步骤550中检测到的属于相同道路标记或车道标记的段编组在一起。基于编组，处理单元110可以形成用于表示检测到的段的模型，诸如数学模型。
153.在步骤554，处理单元110可以构造与所检测的段相关联的测量的集合。在一些实施例中，处理单元110可以创建所检测的段从图像平面到真实世界平面的投影。可以使用具有与物理属性(诸如，所检测的道路的位置、坡度、曲率和曲率导数)相对应的系数的三次多项式来表征投影。在生成投影时，处理单元110可以考虑道路表面的变化以及与交通工具200相关联的俯仰和滚转速率。此外，处理单元110可以通过分析存在于道路表面上的位置和运动线索来对道路标高建模。进一步地，处理单元110可以通过跟踪一个或多个图像中的特征点的集合来估计与交通工具200相关联的俯仰和滚转速率。
154.在步骤556，处理单元110可以通过例如跨连续图像帧跟踪所检测的段并且累积与所检测的段相关联的逐帧数据来执行多帧分析。随着处理单元110执行多帧分析，在步骤
554处构造的该测量的集合可以变得更可靠并且与越来越高的置信度水平相关联。因此，通过执行步骤550、552、554和556，处理单元110可以标识出现在被捕获的图像的集合内的道路标记，并导出车道几何信息。基于标识和导出的信息，处理单元110可以在交通工具200中引起一个或多个导航响应，如上文结合图5a所描述。
155.在步骤558，处理单元110可以考虑附加信息源，以在交通工具200的周边的情境中进一步形成用于交通工具200的安全模型。处理单元110可以使用安全模型来定义其中系统100可以以安全方式执行交通工具200的自主控制的情境。为了形成安全模型，在一些实施例中，处理单元110可以考虑其他交通工具的位置和运动、检测到的道路边缘和障碍物，和/或从地图数据(诸如，来自地图数据库160的数据)中提取的一般道路形状描述。通过考虑附加的信息源，处理单元110可以提供用于检测道路标记和车道几何形状的冗余，并提高系统100的可靠性。
156.图5d是示出符合所公开的实施例的用于检测图像的集合中的交通灯的示例性过程500d的流程图。处理单元110可以执行单目图像分析模块402以实现过程500d。在步骤560，处理单元110可以扫描该图像的集合，并标识出现在图像中的可能包含交通灯的位置处的对象。例如，处理单元110可以过滤所标识的对象以构造候选对象的集合，从而排除那些不太可能对应于交通灯的对象。过滤可以基于与交通灯相关联的各种属性来完成，这些属性诸如形状、尺寸、纹理、位置(例如，相对于交通工具200)，等等。此类属性可以基于交通灯和交通控制信号的多个示例，并存储在数据库中。在一些实施例中，处理单元110可以对反映可能的交通灯的候选对象的集合执行多帧分析。例如，处理单元110可以跨连续图像帧跟踪候选对象，估计候选对象的真实世界位置，并过滤掉正在移动的那些对象(它们不太可能是交通灯)。在一些实施例中，处理单元110可以对候选对象执行颜色分析，并标识检测到的颜色出现在可能的交通灯内部的相对位置。
157.在步骤562，处理单元110可以分析交叉路口的几何形状。分析可以基于以下各项的任何组合：(i)在交通工具200任一侧检测到的车道的数量，(ii)在道路上检测到的标记(诸如，箭头标记)，以及(iii)从地图数据(诸如，地图数据库160中的数据)中提取的交叉路口的描述。处理单元110可以使用从单目分析模块402的执行中导出的信息来进行分析。此外，处理单元110可以确定在步骤560处检测到的交通灯和出现在交通工具200附近的车道之间的对应关系。
158.当交通工具200逐渐接近交叉路口时，在步骤564，处理单元110可以更新与所分析的交叉路口几何形状和检测到的交通灯相关联的置信水平。例如，估计出现在交叉路口的交通灯的数量与实际出现在交叉路口的交通灯的数量进行比较可能会影响置信水平。因此，基于置信水平，处理单元110可以将控制委托给交通工具200的驾驶员，以改善安全状况。通过执行步骤560、562和564，处理单元110可以标识出现在被捕获的图像的集合内的交通灯，并分析交叉路口几何信息。基于标识和分析，处理单元110可以在交通工具200中引起一个或多个导航响应，如上文结合图5a所描述。
159.图5e是示出符合所公开的实施例的用于基于交通工具路径在交通工具200中引起一个或多个导航响应的示例性过程500e的流程图。在步骤570，处理单元110可以构造与交通工具200相关联的初始交通工具路径。可以使用以坐标(x，z)表达的点的集合来表示交通工具路径，并且该点的集合中的两个点之间的距离di可能落在1米到5米的范围内。在一个
实施例中，处理单元110可以使用两个多项式(例如，左道路多项式和右道路多项式)来构造初始交通工具路径。处理单元110可以计算两个多项式之间的几何中点，并将所得到的交通工具路径中包括的每个点以预定的偏移(例如，智能车道偏移)进行偏移――如果有预定的偏移的话(零偏移可以对应于在车道中间的行驶)。偏移可以在垂直于交通工具路径中任何两点之间的段的方向上。在另一实施例中，处理单元110可以使用一个多项式和估计的车道宽度来将交通工具路径的每个点偏移所估计的车道宽度的一半加上预定的偏移(例如，智能车道偏移)。
160.在步骤572，处理单元110可以更新在步骤570处构造的交通工具路径。处理单元110可以使用更高的分辨率重构在步骤570处构造的交通工具路径，使得在表示交通工具路径的该点的集合中的两个点之间的距离dk小于上文描述的距离di。例如，距离dk可能落在0.1米到0.3米的范围内。处理单元110可以使用抛物线样条算法重构交通工具路径，抛物线样条算法可以产生与交通工具路径的总长度相对应的累计距离向量s(即，基于表示交通工具路径的该点的集合)。
161.在步骤574，处理单元110可以基于在步骤572处构造的经更新的交通工具路径来确定前瞻点(以坐标表达为(x
l
，z
l
))。处理单元110可以从累计距离向量s中提取前瞻点，并且前瞻点可以与前瞻距离和前瞻时间相关联。可以具有范围从10米到20米的下限的前瞻距离可以被计算为交通工具200的速率与前瞻时间的乘积。例如，随着交通工具200的速率减小，前瞻距离也可能减小(例如，直到前瞻距离到达下限)。范围可以从0.5秒至1.5秒的前瞻时间可以与同在交通工具200中引起导航响应相关联的一个或多个控制回路(诸如，航向误差跟踪控制回路)的增益成反比。例如，航向误差跟踪控制回路的增益可取决于偏航率回路的带宽、转向致动器回路、车辆横向动力学等。因此，航向误差跟踪控制回路的增益越高，前瞻时间就越短。
162.在步骤576，处理单元110可以基于在步骤574处确定的前瞻点来确定航向误差和偏航率命令。处理单元110可以通过计算前瞻点的反正切(例如，arctan(x
l
/z
l
))来确定航向误差。处理单元110可以将偏航率命令确定为航向误差和高水平控制增益的乘积。如果前瞻距离不处于下限，则高水平控制增益可以等于：(2/前瞻时间)。否则，高水平控制增益可以等于：(2*交通工具200的速率/前瞻距离)。
163.图5f是示出了符合所公开的实施例的用于确定在前的交通工具是否正在改变车道的示例性过程500f的流程图。在步骤580，处理单元110可以确定与在前的交通工具(例如，在交通工具200前面行驶的交通工具)相关联的导航信息。例如，处理单元110可以使用上文结合图5a和图5b所描述的技术来确定在前的交通工具的位置、速度(例如，方向和速率)和/或加速度。处理单元110也可以使用上文结合图5e描述的技术来确定一个或多个道路多项式、(与交通工具200相关联的)前瞻点和/或蜗牛踪迹(snail trail)(例如，描述由在前的交通工具采取的路径的点的集合)。
164.在步骤582，处理单元110可以分析在步骤580处确定的导航信息。在一个实施例中，处理单元110可以计算蜗牛踪迹和道路多项式(例如，沿着踪迹)之间的距离。如果该距离沿着踪迹的变化超过预定阈值(例如，在笔直道路上为0.1米到0.2米，在中等弯曲的道路上为0.3米到0.4米，并且在具有急弯的道路上为0.5米到0.6米)，则处理单元110可以确定在前的交通工具可能正在改变车道。在其中多个交通工具被检测到在交通工具200前面行
驶的情况下，处理单元110可以比较与每个交通工具相关联的蜗牛踪迹。基于该比较，处理单元110可以确定蜗牛踪迹与其他交通工具的蜗牛踪迹不匹配的交通工具可能正在改变车道。处理单元110可以附加地将(与在前的交通工具相关联的)蜗牛踪迹的曲率与该在前的交通工具正在其中行驶的道路段的预期曲率进行比较。预期曲率可以从地图数据(例如，来自地图数据库160的数据)、从道路多项式、从其他交通工具的蜗牛踪迹、从关于道路的先前知识等等中提取。如果蜗牛踪迹的曲率与道路段的预期曲率的差超过预定阈值，则处理单元110可以确定在前的交通工具可能正在改变车道。
165.在另一实施例中，处理单元110可以在特时序间段(例如，0.5秒到1.5秒)内将在前的交通工具的瞬时位置与(与交通工具200相关联的)前瞻点进行比较。如果在前的交通工具的瞬时位置和前瞻点之间的距离在特时序间时段期间变化，且累计变化总和超过预定阈值(例如，在笔直道路上为0.3米至0.4米，在中等弯曲的道路上为0.7米至0.8米，在具有急弯的道路上为1.3米至1.7米)，则处理单元110可以确定在前的交通工具可能正在改变车道。在另一个实施例中，处理单元110可以通过将沿着蜗牛踪迹行驶的横向距离与蜗牛踪迹的预期曲率进行比较来分析该踪迹的几何形状。预期曲率半径可以根据计算：(δ
z2
+δ
x2
)/2/(δ
x
)来确定,其中δ
x
表示行驶的横向距离，并且δz表示行驶的纵向距离。如果行驶的横向距离与预期曲率之间的差超过预定阈值(例如，500米到700米)，则处理单元110可以确定在前的交通工具可能在改变车道。在另一实施例中，处理单元110可以分析在前的交通工具的位置。如果在前的交通工具的位置遮挡了道路多项式(例如，在前的交通工具覆盖在道路多项式之上)，则处理单元110可以确定在前的交通工具可能正在改车道。在其中在前的交通工具的位置使得在该在前的交通工具前面检测到另一交通工具并且这两个交通工具的蜗牛踪迹不平行的情况下，处理单元110可以确定(更近的)在前的交通工具可能正在改变车道。
166.在步骤584，处理单元110可以基于在步骤582处执行的分析来确定在前的交通工具200是否正在改变车道。例如，处理单元110可以基于在步骤582处执行的各个分析的加权平均值来作出确定。在此类方案下，例如，由处理单元110基于特定类型的分析而作出的在前的交通工具可能正在改变车道的决策可以被分配值“1”(并且“0”用于表示在前的交通工具不太可能正在改变车道的确定)。在步骤582处执行的不同分析可以被分配不同的权重，并且所公开的实施例不限于分析和权重的任何特定组合。
167.图6是示出了符合所公开的实施例的用于基于立体图像分析引起一个或多个导航响应的示例性过程600的流程图。在步骤610，处理单元110可以经由数据接口128接收第一和第二多个图像。例如，被包括在图像采集单元120中的相机(诸如，具有视场202的图像捕获设备122和具有视场204的图像捕获设备124)可以捕获交通工具200前方的区域的第一和第二多个图像，并通过数字连接(例如，usb、无线、蓝牙等)将它们传送到处理单元100。在一些实施例中，处理单元110可以经由两个或更多个数据接口接收第一和第二多个图像。所公开的实施例不限于任何特定的数据接口配置或协议。
168.在步骤620，处理单元110可以执行立体图像分析模块404，以对第一和第二多个图像执行立体图像分析，以创建交通工具前方道路的3d地图，并检测图像内的特征，诸如车道标记、交通工具、行人、道路标志、公路出口匝道、交通灯、道路危险等等。立体图像分析可以以与上文结合图5a-图5d所描述的步骤相类似的方式来执行。例如，处理单元110可以执行立体图像分析模块404以检测第一和第二多个图像内的候选对象(例如，交通工具、行人、道
路标记、交通灯、道路危险等)，基于各种准则过滤掉候选对象的子集，并且执行多帧分析，构造测量，并确定剩余候选对象的置信水平。在执行以上步骤时，处理单元110可以考虑来自第一和第二多个图像两者的信息，而不是仅仅考虑来自图像的一个集合的信息。例如，处理单元110可以分析针对出现在第一和第二多个图像两者中的候选对象的像素级数据(或来自两个被捕获的图像流之中的其他数据子集)的差异。作为另一示例，处理单元110可以通过观察物体出现在多个图像中的一个图像而不是另一个图像中，或者相对于在两个图像流的情况下可能相对于出现的对象而存在的其他差异(来估计候选物体的位置和/或速度(例如，相对于交通工具200)。例如，可以基于与出现在这些图像流中的一者或这两者中的对象相关联的特征的轨迹、位置、移动特性等来确定相对于交通工具200的位置、速度和/或加速度。
169.在步骤630，处理单元110可以执行导航响应模块408，以基于在步骤620处执行的分析和如上文结合图4所描述的技术在交通工具200中引起一个或多个导航响应。导航响应可以包括例如转弯、车道偏移、加速度的变化、速度的变化、制动等等。在一些实施例中，处理单元110可以使用从速度和加速度模块406的执行中导出的数据来引起一个或多个导航响应。此外，多个导航响应可以同时发生、按顺序发生或以这些方式的任何组合来发生。
170.图7是示出符合所公开的实施例的用于基于对三个集合的图像的分析引起一个或多个导航响应的示例性过程700的流程图。在步骤710，处理单元110可以经由数据接口128接收第一、第二和第三多个图像。例如，被包括在图像采集单元120中的相机(诸如，具有视场202的图像捕获设备122、具有视场204的图像捕获设备124和具有视场206的图像捕获设备126)可以捕获交通工具200前方和/或侧面的区域的第一、第二和第三多个图像，并通过数字连接(例如，usb、无线、蓝牙等)将它们传送到处理单元110。在一些实施例中，处理单元110可以经由三个或更多个数据接口接收第一、第二和第三多个图像。例如，图像捕获设备122、124、126中的每一个可以具有用于向处理单元110传输数据的相关联的数据接口。所公开的实施例不限于任何特定的数据接口配置或协议。
171.在步骤720，处理单元110可以分析第一、第二和第三多个图像，以检测图像内的特征，诸如车道标记、交通工具、行人、道路标志、公路出口匝道、交通灯、道路危险等等。分析可以以类似于上文结合图5a-图5d和图6描述的步骤的方式执行。例如，处理单元110可以对第一、第二和第三多个图像中的每一者执行单目图像分析(例如，经由执行单目图像分析模块402，并且基于上文结合图5a-图5d描述的步骤)。替代地，处理单元110可以对第一和第二多个图像、第二和第三多个图像、和/或第一和第三多个图像执行立体图像分析(例如，经由执行立体图像分析模块404并基于上文结合图6描述的步骤)。可以组合与第一、第二和/或第三多个图像的分析相对应的经处理的信息。在一些实施例中，处理单元110可以执行单目图像分析和立体图像分析的组合。例如，处理单元110可以对第一多个图像执行单目图像分析(例如，经由执行单目图像分析模块402)并对第二和第三多个图像执行立体图像分析(例如，经由执行立体图像分析模块404)。包括它们各自的位置和视场202、204和206的图像捕获设备122、124和126的配置可以影响对第一、第二和第三多个图像进行的分析的类型。所公开的实施例不限于图像捕获设备122、124和126的特定配置，或对第一、第二和第三多个图像进行的分析的类型。
172.在一些实施例中，处理单元110可以基于在步骤710和720处采集和分析的图像对
系统100执行测试。此类测试可以提供针对图像捕获设备122、124和126的某些配置的系统100的总体性能的指标。例如，处理单元110可以确定“误命中率”(例如，在其中系统100错误地确定交通工具或行人的存在的情况)与“未命中率”的比例。
173.在步骤730，处理单元110可以基于从第一、第二和第三多个图像中的两者导出的信息在交通工具200中引起一个或多个导航响应。对第一、第二和第三多个图像中的两者的选择可以取决于各种因素，诸如例如在多个图像中的每一者中检测到的对象的数量、类型和大小。处理单元110还可以基于图像质量和分辨率、图像中反映的有效视场、所捕获帧的数量、一个或多个感兴趣对象实际出现在帧中的程度(例如，对象在其中出现的帧的百分比、出现在每个此类帧中的对象的比例等)等等来进行选择。
174.在一些实施例中，处理单元110可以通过确定从一个图像源导出的信息与从其他图像源导出的信息的一致的程度来选择从第一、第二和第三多个图像中的两者导出的信息。例如，处理单元110可以组合从图像捕获设备122、124和126中的每一个导出(无论是通过单目分析、立体分析还是这两者的任何组合)的经处理的信息，并确定跨从图像捕获设备122、124和126中的每一个图像捕获设备捕获的图像相一致的视觉指示符(例如，车道标记、检测到的交通工具及其位置和/或路径、检测到的交通灯等)。处理单元110还可以排除跨所捕获的图像不一致的信息(例如，正在改变车道的交通工具、指示过于靠近交通工具200的交通工具的车道模型等)。因此，处理单元110可以基于一致和不一致信息的确定来选择从第一、第二和第三多个图像中的两者导出的信息。
175.导航响应可以包括例如转弯、车道偏移、加速度的变化等。处理单元110可以基于在步骤720处执行的分析和如上文结合图4所描述的技术来引起一个或多个导航响应。处理单元110也可以使用从速度和加速度模块406的执行中导出的数据来引起一个或多个导航响应。在一些实施例中，处理单元110可以基于交通工具200与在第一、第二和第三多个图像中的任一者内检测到的对象之间的相对位置、相对速度和/或相对加速度来引起一个或多个导航响应。多个导航响应可以同时发生、按顺序发生或以以上方式的任何组合来发生。
176.用于自主交通工具导航的稀疏道路模型
177.在一些实施例中，所公开的系统和方法可以使用稀疏地图进行自主交通工具导航。具体地，稀疏地图可以用于沿道路段的自主交通工具导航。例如，稀疏地图可以提供用于导航自主交通工具的足够信息，而无需存储和/或更新大量数据。如下文进一步详细地所讨论，自主交通工具可以使用稀疏地图以基于一条或多条存储的轨迹来导航一条或多条道路。
178.用于自主交通工具导航的稀疏地图
179.在一些实施例中，所公开的系统和方法可以生成用于自主交通工具导航的稀疏地图。例如，稀疏地图可以为导航提供足够的信息，而不需要过多的数据存储或数据传输速率。如下文进一步详细地所讨论，交通工具(其可以是自主交通工具)可以使用稀疏地图来导航一条或多条道路。例如，在一些实施例中，稀疏地图可以包括与道路以及沿着道路的潜在地标相关的数据，该数据可能足以用于交通工具导航，但其也呈现出小的数据占用。例如，与包括详细地图信息(诸如，沿道路收集的图像数据)的数字地图相比，下文详细描述的稀疏数据地图可以需要显著更少的存储空间和数据传输带宽。
180.例如，稀疏数据地图可以存储沿道路的优选交通工具路径的三维多项式表示，而
不是存储道路段的详细表示。这些路径可能需要很少的数据存储空间。进一步地，在所描述的稀疏数据地图中，地标可以被标识并被包括在稀疏地图道路模型中以辅助导航。这些地标能以适于交通工具导航的任何间距来定位，但在一些情况下，此类地标不需要以高密度和短间距被标识并被包括在模型中。相反，在一些情况下，基于间隔开至少50米、至少100米、至少500米、至少1公里或至少2公里的地标的导航会是可能的。如将在其他部分中更详细地所讨论，当交通工具沿道路行驶时，可以基于配备各种传感器和设备(诸如，图像捕获设备、全球定位系统传感器、运动传感器等)的交通工具收集或测量的数据来生成稀疏地图。在一些情况下，稀疏地图可以基于一个或多个交通工具沿特定道路多次驾驶期间收集的数据而被生成。使用一个或多个交通工具的多次驾驶生成稀疏地图可以称为对稀疏地图进行“众包”。
181.与所公开的实施例一致，自主交通工具系统可以使用稀疏地图进行导航。例如，所公开的系统和方法可以分发用于生成自主交通工具的道路导航模型的稀疏地图，并且可以使用稀疏地图和/或生成的道路导航模型沿道路段导航自主交通工具。符合本公开的稀疏地图可以包括一个或多个三维轮廓，这一个或多个三维轮廓可以表示自主交通工具在它们沿着相关联的道路段移动时可以穿过的预定轨迹。
182.符合本公开的稀疏地图还可以包括表示一个或多个道路特征的数据。此类道路特征可以包括识别的地标、道路特色概况以及在导航交通工具时有用的任何其他道路相关特征。符合本公开的稀疏地图可以基于稀疏地图中包括的相对少量的数据实现交通工具的自主导航。例如，与包括道路的详细表示(诸如，道路边缘、道路曲率、与道路段相关联的图像或详细说明与道路段相关联的其他物理特征的数据)相反，稀疏地图的所公开的实施例可以需要相对较少的存储空间(并且当稀疏地图的部分被传输到交通工具时，需要相对较小的带宽)但是仍然可以充分地提供自主交通工具导航。下面进一步详细讨论的所公开的稀疏地图的小的数据占用在一些实施例中可以通过存储需要少量的数据但仍然能够实现自主导航的道路相关的元素的表示来实现。
183.例如，与存储道路的各个方面的详细表示不同，所公开的稀疏地图可以存储交通工具可以沿着道路遵循的一条或多条轨迹的多项式表示。因此，与存储(或必须传输)关于道路的物理性质的细节不同，使用所公开的稀疏地图，可以沿着特定道路段导航交通工具，在一些情况下，通过将其行驶路径与沿特定道路段的轨迹(例如，多项式样条)对齐，不必解释道路的物理方面。以此方式，可以主要基于存储的轨迹(例如，多项式样条)来导航交通工具，与涉及道路图像、道路参数、道路布局等的存储的方法相比，这可以需要少得多的存储空间。
184.除了所存储的沿道路段的轨迹的多项式表示外，所公开的稀疏地图还可以包括可表示道路特征的小数据对象。在一些实施例中，小数据对象可以包括数字签名，该数字签名是从由沿道路段行驶的交通工具上机载的传感器(例如，相机或其他传感器，例如悬架传感器)获得的数字图像(或数字信号)导出的。数字签名可以相对于由传感器采集的信号具有减小的大小。在一些实施例中，可以创建数字签名以与分类器功能兼容，分类器功能被配置为从由传感器例如在后续的驾驶期间采集的信号中检测和标识道路特征。在一些实施例中，可以创建数字签名，使得数字签名具有尽可能小的占用，同时保持基于由在后续时间沿相同道路段行驶的交通工具上机载的相机捕获的道路特征的图像(或由传感器生成的数字
信号，如果存储的签名不基于图像和/或包括其他数据)使道路特征与存储的签名相关或匹配的能力。
185.在一些实施例中，数据对象的大小可以进一步与道路特征的唯一性相关联。例如，对于可以由交通工具上机载的相机检测的道路特征，并且在交通工具上机载的相机系统耦合到能够将对应于该道路特征的图像数据区分为与特定类型的道路特征(例如，道路标志)相关联的分类器的情况下，并且在此类道路标志在该区域在局部是唯一(例如，附近没有相同的道路标志或相同类型的道路标志)的情况下，存储指示道路特征的类型及其位置的数据可能是足够的。
186.如下文将进一步详细地所讨论，道路特征(例如，沿道路段的地标)可以存储为小数据对象，该小数据对象能以相对较少的字节表示道路特征，同时提供足够的信息用于识别并使用此类特征进行导航。在一个示例中，道路标志可被标识为交通工具的导航可以基于的经识别的地标。道路标志的表示可以存储在稀疏地图中，以包括例如指示地标的类型(例如，停车标志)的一些字节的数据以及指示地标的位置(例如，坐标)的一些字节的数据。基于地标的此类数据光表示的导航(例如，使用足以基于地标定位、识别和导航的表示)可以提供与稀疏地图相关联的期望水平的导航功能，而不显著增加与稀疏地图相关联的数据开销。这种地标(和其他道路特征)的精益表示可以利用此类交通工具上机载的所包括的传感器和处理器，这些传感器和处理器配置为检测、标识和/或分类某些道路特征。
187.例如，当标志或特定类型的标志在给定区域内在局部是唯一的(例如，当没有其他标志或没有相同类型的其他标志时)时，稀疏地图可以使用指示地标的类型(标志或特定类型的标志)的数据，以及在导航(例如，自主导航)期间，当自主交通工具上机载的相机捕获到包括标志(或特定类型标志)的区域的图像时，处理器可以处理图像，检测标志(如果确实存在于图像中)，将图像分类为标志(或特定类型的标志)，并使图像的位置与存储在稀疏地图中的标志的位置相关。
188.生成稀疏地图
189.在一些实施例中，稀疏地图可以包括沿道路段延伸的道路表面特征的至少一条线表示以及与该道路段相关联的多个地标。在某些方面中，稀疏地图可以经由“众包”生成，例如，通过对在一个或多个交通工具穿过道路段时采集的多个图像的图像分析。
190.图8示出了一个或多个交通工具(例如，交通工具200(其可以是自主交通工具))可访问以提供自主交通工具导航的稀疏地图800。稀疏地图800可以被存储在存储器中，该存储器诸如存储器140或150。此类存储器设备可以包括任何类型的非瞬态存储设备或计算机可读介质。例如，在一些实施例中，存储器140或150可以包括硬盘驱动器、紧凑盘、闪存、基于磁性的存储器设备、基于光学的存储器设备等在一些实施例中，稀疏地图800可以存储在数据库(例如，地图数据库160)中，该数据库可以存储在存储器140或150或其他类型的存储设备中。
191.在一些实施例中，稀疏地图800可以存储在交通工具200上机载提供的存储设备或非瞬态计算机可读介质(例如，交通工具200上机载的导航系统中包括的存储设备)上。交通工具200上提供的处理器(例如，处理单元110)可以访问存储在交通工具200上机载提供的存储设备或计算机可以读介质中的稀疏地图800，以便在交通工具穿过道路段时生成用于引导自主交通工具200的导航指令。
192.但是，稀疏地图800不需要相对于交通工具在本地存储。在一些实施例中，稀疏地图800可以被存储在远程服务器上提供的存储设备或计算机可读介质上，该远程服务器与交通工具200或与交通工具200相关联的设备通信。交通工具200上提供的处理器(例如，处理单元110)可以从远程服务器接收稀疏地图800中包括的数据，并可以执行用于引导交通工具200的自主驾驶的数据。在此类实施例中，远程服务器可以存储稀疏地图800的全部或仅其一部分。相应地，交通工具200和/或一个或多个附加交通工具上机载的存储设备或计算机可读介质可以存储稀疏地图800的(多个)剩余部分。
193.此外，在此类实施例中，可以使得稀疏地图800可供穿过各种道路段的多个交通工具(例如，数十个、数百个、数千个或数百万个交通工具等)访问。还应当注意，稀疏地图800可以包括多个子地图。例如，在一些实施例中，稀疏地图800可包括可在导航交通工具时使用的数百个、数千个、数百万个或更多的子地图。此类子地图可以称为局部地图，并且沿道路行驶的交通工具可以访问与交通工具正在其中行驶的位置相关的任何数量的局部地图。稀疏地图800的局部地图部分可以与作为对稀疏地图800的数据库的索引的全球导航卫星系统(gnss)密钥一起存储。因此，虽然可以在不依赖于主交通工具的gnss位置、道路特征或地标的情况下执行用于在本系统中导航主交通工具的转向角的计算，但是此类gnss信息可以用于检取相关的局部地图。
194.一般地，稀疏地图800可以基于在一个或多个交通工具沿道路行驶时从它们收集的数据而生成。例如，使用一个或多个交通工具上机载的传感器(例如，相机、速率表、gps、加速度计等)，可以记录一个或多个交通工具沿道路行驶的轨迹，并且可以由基于一个或多个交通工具行驶的所收集轨迹来确定用于沿道路进行后续行驶的交通工具的优选轨迹的多项式表示。类似地，由一个或多个交通工具收集的数据可以辅助标识沿特定道路的潜在地标。从通过的交通工具收集的数据也可以用于标识道路概况信息，诸如，道路宽度概况、道路粗糙度概况、交通线间距概况、道路状况等。使用收集的信息，稀疏地图800可以被生成和被分发(例如，用于本地存储或经由运行中(on-the-fly)数据传输)用于在导航一个或多个自主交通工具时使用。然而，在一些实施例中，地图生成可以不在地图的初始生成时结束。如下文将更详细地所讨论，随着那些交通工具继续穿过稀疏地图800中包括的道路，稀疏地图800可以基于从交通工具收集的数据连续地或周期性地被更新。
195.稀疏地图800中记录的数据可以包括基于全球定位系统(gps)数据的位置信息。例如，位置信息可以被包括在稀疏地图800中，用于各种地图元素，包括例如地标位置、道路概况位置等。稀疏地图800中包括的地图元素的位置可以使用从穿过道路的交通工具收集的gps数据来获得。例如，通过被标识的地标的交通工具可以使用与交通工具相关联的gps位置信息、以及被标识的地标相对于交通工具的位置的确定(例如，基于从交通工具上机载的一个或多个相机收集的数据的图像分析)来确定被标识的地标的位置。随着附加的交通工具通过被标识的地标的位置时，可以重复被标识的地标(或稀疏地图800中包括的任何其他特征)的此类位置确定。附加位置确定中的与写或全部可以用于细化存储在稀疏地图800中的、相对于被标识的地标的位置信息。例如，在一些实施例中，相对于存储在稀疏地图800中的特定特征的多个位置测量可以一起求平均。然而，任何其他数学运算也可以用于基于地图元素的多个所确定的位置来细化地图元素的所存储的位置。
196.所公开的实施例的稀疏地图可以使用相对少量的所存储的数据实现交通工具的
自主导航。在一些实施例中，稀疏地图800可以具有小于每公里道路2mb、小于每公里道路1mb、小于每公里道路500kb或小于每公里道路100kb的数据密度(例如，包括表示目标轨迹、地标和任何其他存储的道路特征的数据)。在一些实施例中，稀疏地图800的数据密度可以小于每公里道路10kb，或者甚至小于每公里道路2kb(例如，每公里1.6kb)，或者不大于每公里道路10kb，或者不大于每公里道路20kb。在一些实施例中，美国的大多数(如果不是全部的话)道路可以使用具有总共4gb或更少的数据的稀疏地图来自主导航。这些数据密度值可以表示整个稀疏地图800上、稀疏地图800内的局部地图上和/或稀疏地图800内的特定道路段上的平均值。
197.如所提到，稀疏地图800可以包括多条目标轨迹810的表示，用于沿道路段引导自主驾驶或导航。此类目标轨迹可以存储为三维样条。例如，存储在稀疏地图800中的目标轨迹可以基于沿交通工具特定道路段的先前穿过的两个或更多个重构的轨迹来确定。道路段可以与单条目标轨迹或多条目标轨迹相关联。例如，在双车道道路上，可以存储第一目标轨迹以表示沿道路在第一方向上的预期行驶路径，并且可以存储第二目标轨迹以表示沿道路在另一方向(例如，与第一方向相反)上的预期行驶路径。可以存储关于特定道路段的附加目标轨迹。例如，在多车道道路上，可以存储一条或多条目标轨迹，这一条或多条目标轨迹表示与多车道道路相关联的一个或多个车道中的交通工具的预期行驶路径。在一些实施例中，多车道道路的每个车道可以与其自身的目标轨迹相关联。在其他实施例中，可能有比存在于多车道道路上的车道更少的所存储的目标轨迹。在此类情况下，对多车道道路导航的交通工具可以通过考虑从目标轨迹针对其被存储的车道的车道偏移的量来使用被存储的目标轨迹中的任何一个以引导其导航(例如，如果交通工具正在三车道公路的最左侧车道上行驶，并且仅针对公路的中间车道存储目标轨迹，则交通工具可以通过在生成导航指令时考虑中间车道与最左侧车道之间的车道偏移的量来使用中间车道的目标轨迹进行导航)。
198.在一些实施例中，目标轨迹可以表示在交通工具行驶时该交通工具应当采用的理想路径。例如，目标轨迹可以位于行驶车道的近似中心处。在其他情况下，目标轨迹可位于相对于道路段的其他位置。例如，目标轨迹可以近似地与道路的中心、道路的边缘或车道的边缘等重合。在此类情况下，基于目标轨迹的导航可以包括相对于目标轨迹的位置要保持的所确定的偏移量。此外，在一些实施例中，相对于目标轨迹的位置要保持的所确定的偏移量可以基于交通工具的类型而不同(例如，包括两个车轴的乘用交通工具沿目标轨迹的至少一部分可具有与包括多于两个的车轴的卡车不同的偏移量)。
199.稀疏地图800还可以包括与特定道路段、局部地图等相关联的多个预定地标820相关的数据。如下文更详细地所讨论，这些地标可以在自主交通工具的导航中被使用。例如，在一些实施例中，地标可以用于确定交通工具相对于被存储的目标轨迹的当前位置。利用该位置信息，自主交通工具可能能够调整航向以匹配被确定的位置处的目标轨迹的方向。
200.多个地标820能以任何合适的间隔被标识和存储在稀疏地图800中。在一些实施例中，地标能以相对高的密度(例如，每隔几米或更多)被存储。然而，在一些实施例中，可以采用显著更大的地标间距值。例如，在稀疏地图800中，所标识(或所识别)的地标可以间隔开10米、20米、50米、100米、1公里或2公里。在一些情况下，被标识的地标可位于间隔开甚至大于2公里的距离处。
201.在地标之间，以及因此在交通工具位置相对于目标轨迹的多次确定之间，交通工具可以基于航位推算进行导航，在该航位推算中，交通工具使用传感器确定其自我运动并估计其相对于目标轨迹的位置。由于误差在通过航位推算进行的导航期间会累积，因此随着时间的推移，相对于目标轨迹的位置确定可能会变得越来越不准确。交通工具可以使用稀疏地图800中出现的地标(及其已知位置)来消除位置确定中由航位推算引起的误差。以这种方式，被包括在稀疏地图800中的所标识的地标可以用作导航锚，可通过该导航锚确定交通工具相对于目标轨迹的准确位置。由于一定量的误差在位置定位中是可以接受的，因此被识别的地标不必总是可用于自主交通工具。相反，如上文所提到，甚至基于10米、20米、50米、100米、500米、1公里、2公里或更大的地标间距，合适的导航也是可能的。在一些实施例中，每1km道路1个被标识的地标的密度可能足以将纵向位置确定准确度维持在1m以内。因此，并非沿道路段出现的每个潜在地标都需要存储在稀疏地图800中。
202.此外，在一些实施例中，车道标记可以用于在地标间隔期间对交通工具进行定位。通过在地标间距期间使用车道标记，可以使在通过航位推算进行的导航期间的累积最小化。
203.除了目标轨迹和所标识的地标，稀疏地图800还可以包括与各种其他道路特征相关的信息。例如，图9a示出了可以存储在稀疏地图800中的沿着特定道路段的曲线的表示。在一些实施例中，道路的单个车道可以通过道路左侧和右侧的三维多项式描述来建模。图9a中示出了表示单个车道的左侧和右侧的此类多项式。不管道路可能具有多少个车道，该道路都可以按照类似于图9a所示的方式的方式、使用多项式来表示。例如，多车道道路的左侧和右侧可以由类似于图9a中所示的多项式的多项式来表示，并且被包括在多车道道路上的中间车道标记(例如，表示车道边界的虚线标记、表示在不同方向上行驶的车道之间边界的黄色实线等)也可以使用诸如图9a中所示的多项式的多项式来表示。
204.如图9a所示，车道900可以使用多项式(例如，一阶、二阶、三阶或任何合适阶的多项式)表示。为了说明，车道900被示为二维车道，多项式被示为二维多项式。如图9a所描绘，车道900包括左侧910和右侧920。在一些实施例中，可以使用多余一个的多项式来表示道路或车道边界的每一侧的位置。例如，左侧910和右侧920中的每一侧可以由任何合适长度的多个多项式表示。在一些情况下，多项式可具有约100m的长度，但也可以使用大于或小于100m的其他长度。附加地，多项式可以彼此重叠，以促进在主交通工具沿道路行驶时基于后续遇到的多项式进行导航时的无缝过渡。例如，左侧910和右侧920中的每一侧都可以由多个三阶多项式表示，这些三阶多项式被分成长度大约100(第一预定范围的示例)、并且彼此重叠大约50米的段。表示左侧910和右侧920的多项式可以具有相同的阶数，或可以不具有相同的阶数。例如，在一些实施例中，一些多项式可以是二阶多项式，一些可以是三阶多项式，而一些可以是四阶多项式。
205.在图9a所示的示例中，车道900的左侧910由两组三阶多项式表示。第一组包括多项式段911、912和913。第二组包括多项式段914、915和916。这两个组虽然基本上彼此平行，但遵循它们在道路的相应侧的位置。多项式段911、912、913、914、915和916具有大约100米的长度，并且与系列中的相邻段重叠大约50米。然而，如之前所提到，也可以使用不同长度和不同重叠量的多项式。例如，多项式可以具有500米、1公里或更长的长度，并且重叠量可以从0变化到50米、从50米变化到100米或变化到大于100米。附加地，虽然图9a被示出为表
示在2d空间(例如，在纸面上)中延伸的多项式，但是应当理解，这些多项式可以表示在三维(例如，包括高度分量)中延伸的曲线，以表示除了x-y曲率之外的道路段中的标高变化。在图9a所示的示例中，车道900的右侧920进一步由具有多项式段921、922和923的第一组和具有多项式段924、925和926的第二组表示。
206.回到稀疏地图800的目标轨迹，图9b示出了表示交通工具沿特定道路段行驶的目标轨迹的三维多项式。目标轨迹不仅表示主交通工具应当沿特定道路段行驶的x-y路径，还表示当沿该道路段行驶时该主交通工具将经历的标高变化。因此，稀疏地图800中的每个条目标轨迹可以由一个或多个三维多项式表示，如图9b中所示的三维多项式950。稀疏地图800可以包括多条轨迹(例如，数百万或数十亿或更多，以表示交通工具沿世界各地道路的各种道路段的轨迹)。在一些实施例中，每条目标轨迹可以对应于连接三维多项式段的样条。
207.关于存储在稀疏地图800中的多项式曲线的数据占用，在一些实施例中，每个三次多项式可以由四个参数表示，每个参数需要四个字节的数据。使用对于每100m需要大约192字节的数据的三次多项式可以获得合适的表示。对于大约100km/hr行驶的主交通工具，这可转化为数据使用/传输要求方面的大致200kb/小时。
208.稀疏地图800可以使用几何描述符和元数据的组合来描述车道网络。几何体可以通过如上文所描述的多项式或样条来描述。元数据可以描述车道数、特殊特性(诸如，车共用车道)以及可能的其他稀疏标签。此类指示符的总占用可以忽略不计。
209.相应地，根据本发明的实施例的稀疏地图可以包括沿道路段延伸的道路表面特征的至少一个线表示，每个线表示代表沿道路段的、基本上与道路表面特征对应的路径。在一些实施例中，如上文所讨论，道路表面特征的至少一个线表示可以包括样条、多项式表示或曲线。此外，在一些实施例中，道路表面特征可以包括道路边缘或车道标记中的至少一个。此外，如下文关于“众包”所讨论，可以通过对在一个或多个交通工具穿过道路段时采集的多个图像的图像分析来标识道路表面特征。
210.如之前所提到，稀疏地图800可以包括与道路段相关联的多个预定地标。与存储地标的实际图像和依赖例如基于捕获的图像和存储的图像的图像识别分析不同，稀疏地图800中的每个地标可以使用比存储的实际图像将需求的更少的数据来表示和识别。表示地标的数据仍然可以包括用于描述或标识沿道路的地标的足够信息。存储描述地标特性的数据而不是地标的实际图像可以减小稀疏地图800的大小。
211.图10示出了可以在稀疏地图800中表示的地标类型的示例。地标可以包括沿道路段的任何可见和可标识对象。地标可以被选择成使得它们是固定的，并且关于它们的位置和/或内容不经常改变。稀疏地图800中包括的地标在确定交通工具200在穿过特定道路段时该交通工具相对于目标轨迹的位置时可以是有用的。地标的示例可包括交通标志、方向标志、一般标志(例如，矩形标志)、路边固定装置(例如，灯杆、反光镜等)和任何其他合适的类别。在一些实施例中，道路上的车道标记也可以作为地标被包括在稀疏地图800中。
212.图10所示的地标的示例包括交通标志、方向标志、路边固定装置和一般标志。交通标志可以包括例如限速标志(例如，限速标志1000)、让行标志(例如，让行标志1005)、路线号标志(例如，路线号标志1010)、交通灯标志(例如，交通灯标志1015)、停车标志(例如，停车标志1020)。方向标志可以包括包含指示到不同地方的一个或多个方向的一个或多个箭
头的标志。例如，方向标志可以包括：公路标志1025，该公路标志1025具有用于将交通工具引导至不同道路或地点的箭头；出口标志1030，该出口标志1030具有引导交通工具离开道路的箭头，等等。相应地，多个地标中的至少一个可以包括道路标志。
213.一般标志可以与交通无关。例如，一般标志可以包括用于广告的广告牌，或与两个国家、州、县、市或城镇之间的边界相邻的欢迎牌。图10示出了一般标志1040(乔氏餐厅(joe’s restaurant)”)。尽管一般标志1040可以具有矩形形状，如图10所示，但一般标志1040可以具有其他形状，诸如正方形、圆形、三角形等。
214.地标还可包括路边固定装置。路边固定装置可以是不是标志的对象，并且也可以与交通或方向无关。例如，路边固定装置可以包括灯杆(例如，灯杆1035)、电线杆、交通灯杆等。
215.地标也可以包括可以被专门设计成用于在自主交通工具导航系统中使用的信标。例如，此类信标可以包括以预定间隔放置的独立式结构，以辅助导航主交通工具。此类信标也可以包括添加到现有道路标志(例如，图标、徽章、条形码等)上的视觉/图形信息，这些信息可以由沿道路段行驶的交通工具标识或识别。此类信标还可以包括电子组件。在此类实施例中，电子信标(例如，rfid标签等)可以用于将非视觉信息传送到主交通工具。此类信息可以包括例如主交通工具在确定其沿目标轨迹的位置时可以使用的地标标识和/或地标位置信息。
216.在一些实施例中，稀疏地图800中包括的地标可以由预定大小的数据对象表示。表示地标的数据可以包括用于标识特定地标的任何合适的参数。例如，在一些实施例中，存储在稀疏地图800中的地标可以包括诸如以下参数：地标的物理大小(例如，用于支持基于已知大小/尺度估计到地标的距离)、到先前地标的距离、横向偏移、高度、类型代码(例如，地标类型——什么类型的方向标志、交通标志等)、gps坐标(例如，用于支持全球定位)，以及任何其他合适的参数。每个参数都可以与数据大小相关联。例如，可以使用8字节的数据存储地标大小。可以使用12字节的数据指定到先前地标的距离、横向偏移和高度。与地标相关联的类型代码(诸如，方向标志或交通标志)可能需要大约2字节的数据。对于一般标志，可以使用50字节的数据存储来存储实现对一般标志的标识的图像签名。地标gps位置可以与16字节的数据存储相关联。每个参数的这些数据大小仅为示例，并且其他数据大小也可以被使用。
217.以这种方式在稀疏地图800中表示地标可以提供用于在数据库中高效地表示地标的精益解决方案。在一些实施例中，标志可被称为语义标志和非语义标志。语义标志可以包括针对其具有标准化含义的任何类别的标志(例如，限速标志、警告标志、方向标志等)。非语义标志可以包括与标准化含义不相关联的任何标志(例如，一般广告标志、标识商业机构的标志等)。例如，每个非标准语义标志可以用38字节的数据表示(例如，8字节用于大小；12字节用于到上一个地标的距离、横向偏移和高度；2字节用于类型代码；并且16字节用于gps坐标)。稀疏地图800可以使用标签系统来表示地标类型。在一些情况下，每个交通标志或方向标志可以与其自身的标签相关联，该标签可以作为地标标识的一部分被存储在数据库中。例如，数据库可以包括量级为1000个的不同标签来表示各种交通标志，以及量级为大约10000个的不同标签来表示方向标志。当然，可以使用任何合适数量的标签，并且可以根据需要创建附加的标签。在一些实施例中，通用标志可以使用小于大约100字节(例如，大约86
字节，包括用于大小的8字节；用于到先前地标的距离距离、横向偏移和高度的12字节；用于图像签名的50字节；以及用于gps坐标的16字节)来表示。
218.因此，对于不需要图像签名的语义标志，数据密度对稀疏地图800的影响，即使在大约每50米1个地标的相对较高的地标密度的情况下，也可以处于大约每公里760字节的量级(例如，每公里20个地标x每地标38字节＝760字节)。甚至对于包括图像签名分量的通用标志，数据密度影响大约为每公里1.72kb(例如，每公里20个地标x每个地标86字节＝1720字节)。对于语义道路标志，这相当于针对100km/hr行驶的交通工具的大约每小时76kb的数据使用。对于通用标志，这相当于针对100km/hr行驶的交通工具的大约每小时170kb。
219.在一些实施例中，总体上矩形的对象(诸如，矩形标志)可以在稀疏地图800中由不超过100字节的数据表示。稀疏地图800中的总体上矩形对象(例如，一般标志1040)的表示可以包括与总体上矩形的对象相关联的浓缩的图像签名(例如，浓缩的图像签名1045)。这种浓缩的图像签名可以例如用于辅助将通用标志标识为例如所识别的地标。此类浓缩的图像签名(例如，从表示对象的实际图像数据导出的图像信息)可以避免需要存储对象的实际图像或者需要对实际图像执行的比较性图像分析以识别地标。
220.参考图10，稀疏地图800可以包括或存储与一般标志1040相关联的浓缩的图像签名1045，而不是一般标志1040的实际图像。例如，在图像捕获设备(例如，图像捕获设备122、124或126)捕获一般标志1040的图像后，处理器(例如，图像处理器190或可以处理在主交通工具上的图像或相对于主交通工具远程定位的图像的任何其他处理器)可以执行图像分析以提取/创建浓缩的图像签名1045，该浓缩的图像签名1045包括与一般标志1040相关联的唯一签名或图案。在一个实施例中，浓缩的图像签名1045可以包括形状、颜色图案、亮度图案或可以从一般标志1040的图像中提取以用于描述一般标志1040的任何其他特征。
221.例如，在图10中，浓缩的图像签名1045中显示的圆、三角形和星形可以表示不同颜色的区域。由圆、三角形和星形表示的图案可以存储在稀疏地图800中，例如，存储在被指定为包括图像签名的50字节内。值得注意的是，圆、三角形和星形不一定旨在指示此类形状作为图像签名的一部分被存储。相反，这些形状旨在在概念上表示具有可辨别颜色差异的可识别区域、纹理区域、图形形状或可与通用标志相关联的特性的其他变化。此类浓缩的图像签名可以用于以一般标志的形式标识地标。例如，浓缩的图像签名可以用于基于所存储的浓缩的图像签名与例如使用自主交通工具上机载的相机捕获的图像数据的比较来执行相同-不相同(same-not-same)分析。
222.相应地，多个地标可以通过对当一个或多个交通工具穿过道路段时采集的多个图像进行的图像分析来标识。如下文关于“众包”所解释，在一些实施例中，用于标识多个地标的图像分析可以包括：当在其中地标确实出现的图像相比在其中地标不出现的图像的比率超过阈值时，接受潜在地标。此外，在一些实施例中，用于标识多个地标的图像分析可以包括：当在其中地标不出现的图像相比在其中地标确实出现的图像的比率超过阈值时，拒绝潜在地标。
223.返回主交通工具可用于导航特定道路段的目标轨迹，图11a示出了在构建或维护稀疏地图800的过程期间捕获的多项式表示轨迹。被包括在稀疏地图800中的目标轨迹的多项式表示可以基于交通工具沿相同道路段的先前穿过的两个或更多个重建的轨迹来确定。在一些实施例中，稀疏地图800中包括的目标轨迹的多项式表示可以是交通工具沿相同道
路段的先前穿过的两个或更多个重构的轨迹的聚合。在一些实施例中，稀疏地图800中包括的目标轨迹的多项式表示可以是交通工具沿相同道路段的先前穿过的两个或更多个重构的轨迹的平均。其他数学运算也可以用于基于从沿道路段穿过的交通工具收集的重构的轨迹来沿道路路径构造目标轨迹。
224.如图11a所示，道路段1100可以在不同时间由数个交通工具200行驶。每辆交通工具200可以收集与交通工具沿道路段所采用的路径有关的数据。由特定交通工具行驶的路径可以基于相机数据、加速度计信息、速率传感器信息和/或gps信息以及其他潜在源来确定。此类数据可以用于重构交通工具沿道路段行驶的轨迹，并且基于这些重构的轨迹，可以确定针对特定道路段的目标轨迹(或多个目标轨迹)。随着交通工具沿道路段行驶，此类目标轨迹可以表示主交通工具的优选路径(例如，由自主导航系统引导)。
225.在图11a所示的示例中，可以基于在第一时间段(例如，第1天)从穿过道路段1100的第一交通工具接收的数据确定第一重构的轨迹1101，可以在第二时间段(例如，第2天)从穿过道路段1100的第二交通工具获得第二重构的轨迹1102，并且可以从在第三时间段(例如，第3天)穿过道路段1100的第三交通工具获得第三重构的轨迹1103。每条轨迹1101、1102和1103可以由诸如三维多项式之类的多项式表示。应当注意，在一些实施例中，重构的轨迹中的任一个可以被机载地装配在穿过道路段1100的交通工具上。
226.附加地或替代地，此类重构的轨迹可以在服务器侧基于从穿过道路段1100的交通工具接收到的信息来确定。例如，在一些实施例中，交通工具200可以向一个或多个服务器传送与其沿道路段1100的运动相关的数据(例如，转向角、航向、时间、位置、速率，感测到的道路几何形状和/或感测到的地标，等等)。服务器可以基于接收到的数据重构用于交通工具200的轨迹。服务器也可以生成用于引导自主交通工具导航的目标轨迹，该自主交通工具将在稍后基于第一轨迹1101、第二轨迹1102和第三轨迹1103沿相同道路段1100行驶。虽然目标轨迹可以与道路段的单个先前穿过相关联，但是在一些实施例中，稀疏地图800中包括的每个目标轨迹可以基于穿过相同道路段的交通工具的两个或更多个重构的轨迹来确定。在图11a中，目标轨迹由1110表示。在一些实施例中，可以基于第一轨迹1101、第二轨迹1102和第三轨迹1103的平均值来生成目标轨迹1110。在一些实施例中，稀疏地图800中包括的目标轨迹1110可以是两个或更多个重构的轨迹的聚合(例如，加权组合)。
227.图11b和图11c进一步示出与存在于地理区域1111内的道路段相关联的目标轨迹的概念。如图11b所示，地理区域1111内的第一道路段1120可以包括多车道道路，其包括指定用于交通工具在第一方向上行驶的两个车道1122和指定用于交通工具在与第一方向相反的第二方向上行驶的两个附加车道1124。车道1122和车道1124可以由双黄线1123分隔。地理区域1111也可以包括与道路段1120相交的分支道路段1130。道路段1130可以包括双车道道路，每个车道被指定用于不同的行驶方向。地理区域1111也可以包括其他道路特征，诸如，停车线1132、停车标志1134、限速标志1136和危险标志1138。
228.如图11c所示，稀疏地图800可以包括局部地图1140，该局部地图1140包括用于辅助地理区域1111内的交通工具的自主导航的道路模型。例如，局部地图1140可以包括用于与地理区域1111内的道路段1120和/或1130相关联的一个或个个车道的目标轨迹。例如，局部地图1140可以包括自主交通工具在穿越车道1122时可以访问或依赖的目标轨迹1141和/或1142。类似地，局部地图1140可以包括自主交通工具在穿越车道1124时可以访问或依赖
的目标轨迹1143和/或1144。进一步地，局部地图1140可以包括自主交通工具在穿越道路段1130时可以访问或依赖的目标轨迹1145和/或1146。目标轨迹1147表示自主交通工具在从车道1120(具体地，相对于与车道1120中的最右侧车道相关联的目标轨迹1141)过渡到道路段1130(具体地，相对于与道路段1130第一侧相关联的目标轨迹1145)时应当遵循的优选路径。类似地，目标轨迹1148表示自主交通工具在从道路段1130(具体地，相对于目标轨迹1146)过渡到道路段1124的部分(具体地，如图所示，相对于与车道1124中的左车道相关联的目标轨迹1143)时应当遵循的优选路径。
229.稀疏地图800也可以包括与地理区域1111相关联的其他道路相关特征的表示。例如，稀疏地图800也可以包括在地理区域1111中标识的一个或多个地标的表示。此类地标可以包括与停车线1132相关联的第一地标1150、与停车标志1134相关联的第二地标1152、与限速标志1154相关联的第三个地标、以及与危险标志1138相关联的第四个地标1156。例如，此类地标可以用于辅助自主交通工具确定其相对于所示目标轨迹中的任一目标轨迹的当前位置，使得交通工具可以调整其航向以匹配所确定的位置处的目标轨迹的方向。
230.在一些实施例中，稀疏地图800还可以包括道路特色概况。此类道路特色概况可以与同道路相关联的至少一个参数中的任何可辨别/可测量变化相关联。例如，在一些情况下，此类概况可与道路表面信息的变化相关联，道路表面信息的变化诸如，特定道路段的表面粗糙度的变化、特定道路段上的道路宽度的变化、沿特定道路段绘制的虚线之间的距离的变化、沿特定道路段的道路曲率的变化，等等。图11d示出了道路特色概况1160的示例。虽然概况1160可以表示上文提及的参数中的任何参数或其他参数，但在一个示例中，概况1160可以表示如例如通过监测一个或多个传感器获得的道路表面粗糙度的测量，该一个或多个传感器提供指示当交通工具行驶特定道路段时悬架位移量的输出。
231.替代地或同时地，概况1160可以表示如基于经由在特定道路段行驶的交通工具上机载的相机获得的图像数据而确定的道路宽度的变化。例如，在确定自主交通工具相对于特定目标轨迹的特定位置时，此类概况可能是有用的。也就是说，当自主交通工具穿过道路段时，它可以测量与关联于该道路段的一个或多个参数相关联的概况。如果测量的概况可以与绘制关于沿道路段的位置的参数变化的预定概况相关/匹配，则可以使用测量的概况和预定概况(例如，通过叠加测量的概况和预定概况的相应部分)以确定沿道路段的当前位置，并由此确定相对于用于道路段的目标轨迹的当前位置。
232.在一些实施例中，稀疏地图800可以包括基于与自主交通工具的用户、环境状况和/或与驾驶相关的其他参数相关联的不同特性的不同轨迹。例如，在一些实施例中，可以基于不同的用户偏好和/或概况生成不同的轨迹。包括此类不同轨迹的稀疏地图800可以被提供给不同用户的不同自主交通工具。例如，一些用户可能偏好避开收费公路，而其他用户可能偏好选择最短或最快的路线，而无论该路线上是否有收费公路。所公开的系统可以基于此类不同的用户偏好或概况生成具有不同轨迹的不同稀疏地图。作为另一个示例，一些用户可能偏好在快速移动车道上行驶，而其他用户可能偏好始终在中心车道中维持位置。
233.基于不同的环境状况，诸如白天和黑夜、雪、雨、雾等，不同的轨迹可以被生成并且被包括在稀疏地图800中。可以向在不同的环境状况下驾驶的自主交通工具提供基于此类不同的环境状况而生成的稀疏地图800。在一些实施例中，在自主交通工具上提供的相机可以检测环境状况，并且可以将此类信息往回提供给生成和提供稀疏地图的服务器。例如，服
务器可以生成或更新已经生成的稀疏地图800，以包括对于在检测到的环境状况下的自主驾驶可能更适合或更安全的轨迹。基于环境状况的稀疏地图800的更新可以在自主交通工具正沿道路行驶时被动态地执行。
234.与驾驶相关的其他不同参数也可以被用作用来生成不同的稀疏地图并将其提供给不同的自主交通工具的基础。例如，当自主交通工具正以高速率行驶时，转弯可能会更困难。与特定车道而非道路相关联的轨迹可以被包括在稀疏地图800中，使得当交通工具遵循特定轨迹时，该自主交通工具可以维持在特定车道内。当自主交通工具上机载的相机捕获的图像指示交通工具已漂移到车道外(例如，跨越车道标记)时，可以在交通工具内触发动作，以根据特定轨迹将交通工具带回所指定的车道。
235.众包稀疏地图
236.在一些实施例中，所公开的系统和方法可以生成用于自主交通工具导航的稀疏地图。例如，所公开的系统和方法可以使用众包数据来生成稀疏，一个或多个自主交通工具可以使用该稀疏来沿道路系统导航。如本文中所使用，“众包”意指从在不同时间在道路段上行驶的各种交通工具(例如，自主交通工具)接收数据，并且此类数据用于生成和/或更新道路模型。该模型可以进而传送至交通工具或随后沿道路段行驶的其他交通工具，以辅助自主交通工具导航。道路模型可以包括多个目标轨迹，该多个目标轨迹表示自主交通工具在它们穿过道路段时应当遵循的优选轨迹。目标轨迹可以与从穿过道路段的交通工具收集的重构的实际轨迹相同，该重构的实际轨迹可以从交通工具传送到服务器。在一些实施例中，目标轨迹可与一个或多个交通工具先前在穿过道路段时采用的实际轨迹不同。可以基于实际轨迹(例如，通过求平均或任何其他适合的运算)生成目标轨迹。
237.交通工具可以上传到服务器的交通工具轨迹数据可以与交通工具的实际重构的轨迹相对应，或者可以与推荐轨迹相对应，该推荐轨迹可以基于交通工具的实际重构的轨迹或与交通工具的实际重构的轨迹相关，但可以与实际重构的轨迹不同。例如，交通工具可以修改其实际重构的轨迹，并向服务器提交(例如，推荐)经修改的实际轨迹。道路模型可以使用推荐的、经修改的轨迹作为用于其他交通工具的自主导航的目标轨迹。
238.除轨迹信息外，在构建稀疏数据地图800中潜在使用的其他信息可以包括与潜在地标候选相关的信息。例如，通过信息的众包，所公开的系统和方法可以标识环境中的潜在地标并细化地标位置。地标可以被自主交通工具的导航系统使用以确定和/或调整交通工具沿目标轨迹的位置。
239.交通工具在该交通工具沿道路行驶时可生成的重构的轨迹可以通过任何合适的方法获得。在一些实施例中，可以通过使用例如自我运动估计(例如，相机以及因此交通工具的主体的三维平移和三维旋转)将交通工具的运动段缝合在一起来形成重构的轨迹。旋转和平移估计可以基于对由一个或多个图像捕获设备捕获的图像连同来自其他传感器或设备(诸如，惯性传感器和速率传感器)的信息的分析来确定。例如，惯性传感器可以包括加速度计或配置用于测量交通工具主体的平移和/或旋转的变化的其他合适的传感器。交通工具可包括测量交通工具的速率的速率传感器。
240.在一些实施例中，可以基于被捕获的图像的光流分析来估计相机(以及因此交通工具主体)的自我运动。图像序列的光流分析标识来自图像序列的像素的运动，并基于所标识的运动来确定交通工具的运动。自我运动可以随时间推移并沿道路段被整合，以重构与
交通工具已遵循的道路段相关联的轨迹。
241.由不同交通工具在不同时间在沿道路段的多次驾驶中收集的数据(例如，重构的轨迹)可以用于构造稀疏数据地图800中包括的道路模型(例如，包括目标轨迹等)。还可以对由不同交通工具在不同时间沿道路段的多次驾驶中收集的数据进行平均，以提高模型的准确性。在一些实施例中，关于道路几何形状和/或地标的数据可以从在不同时间行驶通过共同的道路段的多个交通工具接收。从不同交通工具接收的此类数据可以被组合以生成道路模型和/或更新道路模型。
242.沿道路段的重构的轨迹(以及目标轨迹)的几何形状可以由三维空间中的曲线表示，该曲线可以是连接三维多项式的样条。重构的轨迹曲线可以根据对由安装在交通工具上的相机捕获的视频流或多个图像的分析来确定。在一些实施例中，在每个帧或图像中标识在交通工具的当前位置前方几米处的位置。该位置是期望交通工具在预定时间段内行驶到的位置。该操作可以逐帧地重复，并且同时，交通工具可以计算相机的自我运动(旋转和平移)。在每个帧或图像处，由交通工具在附接到相机的参考系中生成针对所需路径的短程模型。短程模型可以被缝合在一起，以获得某个坐标系中的道路的三维模型，该坐标系可以是任意或预定的坐标系。然后，可以通过样条拟合道路的三维模型，该样条可以包括或连接一个或多个合适阶的多项式。
243.为了在每一帧处总结出短程道路模型，可以使用一个或多个检测模块。例如，可以使用自底向上的车道检测模块。当在道路上绘制的车道标记时，自底向上的车道检测模块可以是有用的。该模块可以在图像中寻找边缘，并将它们组装在一起以形成车道标记。第二模块可以与自底向上的车道检测模块一起使用。第二模块是端到端的深度神经网络，可以对其进行训练以从输入图像预测正确的短程路径。在这两个模块中，可以在图像坐标系中检测道路模型，并将其变换到可以虚拟地附接到相机的三维空间。
244.尽管重构的轨迹建模方法可能会由于长时间段的自我运动的综合而引入误差的积累(该误差可包括噪声分量)，但此类误差可能无关紧要，因为生成的模型可以为在局部尺度上的导航提供足够的准确度。此外，通过使用诸如卫星图像或大地测量的外部信息源来消除综合误差是可能的。例如，所公开的系统和方法可以使用gnss接收器来消除累积误差。然而，gnss定位信号可能并不总是可用的和准确的。所公开的系统和方法可以实现弱依赖于gnss定位的可用性和准确度的操纵应用。在此类系统中，gnss信号的使用可能被限制。例如，在一些实施例中，所公开的系统可以将gnss信号仅使用于数据库索引目的。
245.在一些实施例中，针对自主交通工具导航操纵应用可能相关的范围尺度(例如，局部尺度)可以是50米、100米、200米、300米等的量级。此类距离可以被使用，因为几何道路模型主要被用于两个目的：规划前方轨迹、以及在道路模型上定位交通工具。在一些实施例中，当控制算法根据位于前方1.3秒(或任何其他时间，诸如1.5秒、1.7秒、2秒等)的目标点操纵交通工具时，规划任务可以对前方40米(或前方任何其他合适的距离，诸如20米、30米、50米)的典型范围使用模型。根据另一节中更详细地描述的称为“尾部对齐”的方法，定位任务对车辆后方60米(或任何其他合适的距离，诸如50米、100米、150米等)的典型范围使用道路模型。所公开的系统和方法可以生成对特定范围(诸如，100米)具有足够的准确度的几何模型，以使得规划的轨迹将不从车道中心偏离超过例如30cm。
246.如上文所解释，可以通过检测短程区段并将其缝合在一起来构造三维道路模型。
可以通过使用由相机捕获的视频和/或图像、来自惯性传感器的、反映交通工具运动的数据以及主交通工具速度信号计算六度自我运动模型来实现缝合。累积误差对某个局部范围尺度(诸如，100米的量级)可以足够小。所有这些都可以在对特定道路段的单次驾驶中完成。
247.在一些实施例中，可以使用多次驾驶来对所得的模型求平均，并进一步提高其准确度。相同的汽车可多次行驶同一路线，或者多辆汽车可将其收集的模型数据发送到中央服务器。在任何情况下，可以执行匹配过程以标识重叠的模型并实现平均以生成目标轨迹。一旦满足收敛准则，构造的模型(例如，包括目标轨迹)就可以被使用于操纵。后续驾驶可以被用于进一步的模型改进，以适应基础设施变化。
248.如果多辆汽车被连接到中央服务器，则在多辆汽车之间共享驾驶体验(诸如，感测的数据)变得可行。每个交通工具客户可以存储环球道路模型的部分副本，该副本针对其当前位置可以是相关的。交通工具与服务器之间的双向更新过程可以由交通工具和服务器执行。上文所讨论的小占用概念使所公开的系统和方法能够使用非常小的带宽来执行双向更新。
249.还可以确定与潜在地标相关的信息，并将其转发给中央服务器。例如，所公开的系统和方法可以基于包括该地标的一个或多个图像来确定潜在地标的一个或多个物理属性。物理属性可以包括地标的物理大小(例如，高度、宽度)、从交通工具到地标的距离、地标到先前地标的距离、地标的横向位置(例如，地标相对于行驶车道的位置)、地标的gps坐标、地标的类型，地标上的文本的标识等。例如，交通工具可分析由相机捕获的一个或多个图像，以检测潜在地标，诸如，限速标志。
250.交通工具可以基于对一个或多个图像的分析来确定从交通工具到地标的距离。在一些实施例中，可以基于使用合适的图像分析方法(诸如缩放方法和/或光流方法)对地标的图像的分析来确定距离。在一些实施例中，所公开的系统和方法可以被配置为确定潜在地标的类型或分类。在交通工具确定某个潜在地标对应于存储在稀疏地图中的预定的类型或分类的情况下，交通工具向服务器传达地标的类型或分类的指示以及其位置可以是足够的。服务器可以存储此类指示。稍后，其他交通工具可捕获该地标的图像，处理该图像(例如，使用分类器)，并将来自处理该图像的结果与存储在服务器中的关于地标的类型的指示进行比较。可以存在各种类型的地标，并且不同类型的地标可与要上传到服务器并存储在服务器中的不同类型的数据相关联，交通工具上机载的不同处理可检测地标，并将关于地标的信息传达给服务器，并且交通工具上机载的系统可以从服务器接收地标数据，并使用地标数据以在自主导航中标识地标。
251.在一些实施例中，在道路段上行驶的多个自主交通工具可以与服务器通信。交通工具(或客户端)可以在任意坐标系中生成描述其驾驶的曲线(例如，通过自我运动整合)交通工具可以检测地标，并在同一帧中定位这些地标。交通工具可以将曲线和地标上传至服务器。服务器可以从交通工具收集针对多次驾驶的数据，并生成统一的道路模型。例如，如下文关于图19所讨论，服务器可以使用上传的曲线和地标来生成具有统一道路模型的稀疏地图。
252.服务器还可以将模型分发给客户端(例如，交通工具)。例如，服务器可将稀疏地图分发给一个或多个交通工具。当从交通工具接收新数据时，服务器可连续地或周期性地更新模型。例如，服务器可处理新数据，以评估数据是否包括应当触发经更新的模型或服务器
上新数据的创建的信息。服务器可以将经更新的模型或更新分发给交通工具，以提供自主交通工具导航。
253.服务器可以使用一个或多个准则来确定从交通工具接收的新数据是否应当触发对模型的更新或触发新数据的创建。例如，当新数据指示特定位置处的先前识别的地标不再存在或被另一地标替换时，服务器可以确定新数据应当触发对模型的更新。作为另一个示例，当新数据指示道路段已被关闭，并且当这一点已通过从其他交通工具接收到的数据证实时，服务器可以确定新数据应当触发对模型的更新。
254.服务器可以将经更新的模型(或模型的经更新的部分)分发给正在道路段上行驶的、对模型的更新与之相关联的一个或多个交通工具。服务器还可以将经更新的模型分发给即将在道路段上行驶的交通工具、或其规划的行程包括对模型的更新与之相关联的道路段的交通工具。例如，当自主交通工具在到达更新与之相关联的道路段之前正沿着另一道路段行驶时，服务器可以在交通工具到达该道路段之前将更新或经更新的模型分发给自主交通工具。
255.在一些实施例中，远程服务器可以从多个客户端(例如，沿共同的道路段行驶的交通工具)收集轨迹和地标。服务器可以使用地标匹配曲线，并基于从多个交通工具收集的轨迹创建平均道路模型。服务器还可以计算道路图以及道路段的每个节点或连接处的最可能路径。例如，远程服务器可以对齐轨迹，以从收集的轨迹生成众包的稀疏地图。
256.服务器可以对从沿共同的道路段行驶的多个交通工具接收到的地标属性(诸如，由多个交通工具测量的一个地标到另一个地标(例如，沿道路段的先前地标)之间的距离)求平均，以确定弧长参数，并支持针对每个客户交通工具的沿路径的定位和速度校准。服务器可以对沿共同的道路段行驶并识别相同地标的多个交通工具测量的地标的物理尺寸求平均。平均物理尺寸可以被用于支持距离估计，诸如，从交通工具到地标的距离。服务器可以对由沿共同的道路段行驶并识别相同地标的多个交通工具测量的地标的横向位置(例如，从交通工具正要驶入的车道到地标的位置)求平均。平均横向位置可以用于支持车道分配。服务器可以对沿同一道路段行驶并识别相同路标的多个交通工具测量的地标的gps坐标求平均。地标的平均gps坐标可以被用于支持道路模型中地标的全球定位或就位。
257.在一些实施例中，服务器可以基于从交通工具接收的数据标识模型变化，诸如，施工、绕道、新标志、标志移除等。在从交通工具接收到新数据后，服务器可以连续地或周期性地或即时地更新模型。服务器可以将对模型的更新或经更新的模型分发给交通工具，以提供自主导航。例如，如下文进一步所讨论，服务器可以使用众包数据以过滤掉由交通工具检测到的“幽灵”地标。
258.在一些实施例中，服务器可以在自主驾驶期间分析驾驶员干预。服务器可以分析在干预发生的时间和地点从交通工具接收的数据，和/或在干预发生的时间之前接收的数据。服务器可以标识导致干预或与干预密切相关的数据的某些部分，例如，指示临时车道封闭设置的数据、指示道路中的行人的数据。服务器可以基于所标识的数据来更新模型。例如，服务器可以修改模型中存储的一条或多条轨迹。
259.图12是使用众包生成稀疏地图(以及使用众包稀疏地图分发和导航)的系统的示意图。图12示出了包括一个或多个车道的道路段1200。多个交通工具1205、1210、1215、1220和1225可以在相同时间或在不同时间在道路段1200上行驶(尽管在图12中示出为在相同时
间出现在道路段1200上)。交通工具1205、1210、1215、1220和1225中的至少一个可以是自主交通工具。为了本示例的简单性，假设所有交通工具1205、1210、1215、1220和1225都是自主交通工具。
260.每个交通工具可以类似于其他实施例中公开的交通工具(例如，交通工具200)，并可以包括在其他实施例中公开的交通工具中包括或与之相关联的组件或设备。每个交通工具可以配备有图像捕获设备或相机(例如，图像捕获设备122或相机122)。如虚线所指示，每个交通工具可以通过无线通信路径1235、经由一个或多个网络(例如，通过蜂窝网络和/或互联网等)与远程服务器1230通信。每个交通工具可以向服务器1230传送数据并从服务器1230接收数据。例如，服务器1230可以在不同的时间从在道路段1200上行驶的多个交通工具收集数据，并且可以处理收集的数据以生成自主交通工具道路导航模型、或者对模型的更新。服务器1230可以将自主交通工具道路导航模型或对模型的更新传送到向服务器1230传送数据的交通工具。服务器1230可以在稍后将自主交通工具道路导航模型或对模型的更新传送到在道路段1200上行驶的其他交通工具。
261.当交通工具1205、1210、1215、1220和1225在道路段1200上行驶时，可以将由交通工具1205、1210、1215、1220和1225收集的(例如，检测的、感测的或测量的)导航信息传送至服务器1230。在一些实施例中，导航信息可以与公共道路段1200相关联。导航信息可以包括当交通工具1205、1210、1215、1220和1225中的每个交通工具在道路段1200上行驶时与每个交通工具相关联的轨迹。在一些实施例中，可以基于由交通工具1205上提供的各种传感器和设备感测的数据来重构轨迹。例如，可以基于加速度计数据、速率数据、地标数据、道路几何形状或概况数据、交通工具定位数据和自我运动数据中的至少一个来重构轨迹。在一些实施例中，可以基于来自惯性传感器(诸如，加速度计)的数据和由速率传感器感测的交通工具1205的速度来重构轨迹。此外，在一些实施例中，可以基于所感测的相机的自我运动(例如，由交通工具1205、1210、1215、1220和1225中的每一个上机载的的处理器)确定轨迹，该所感测的相机的自我运动可以指示三维平移和/或三维旋转(或旋转运动)。可以通过分析由相机捕获的一个或多个图像来确定相机(以及因此交通工具主体)的自我运动。
262.在一些实施例中，交通工具1205的轨迹可以由交通工具1205上提供的处理器确定，并被传送至服务器1230。在其他实施例中，服务器1230可以接收由交通工具1205中提供的各种传感器和设备感测的数据，并基于从交通工具1205接收的数据确定轨迹。
263.在一些实施例中，从交通工具1205、1210、1215、1220和1225传送到服务器1230的导航信息可以包括关于道路表面、道路几何形状或道路概况的数据。道路段1200的几何形状可以包括车道结构和/或地标。车道结构可以包括道路段1200的车道的总数量、车道的类型(例如，单向车道、双向车道、驾驶车道、超车车道等)、车道上的标记、车道的宽度等。在一些实施例中，导航信息可以包括车道分配，例如，交通工具正在驶入多个车道中的哪一个车道。例如，车道分配可以与数值“3”相关联，该数值“3”指示交通工具在从左侧或右侧起的第三个车道上行驶。”作为另一示例，车道分配可以与指示交通工具正在中心车道上行驶的文本值“中心车道”相关联。
264.服务器1230可以将导航信息存储在非瞬态计算机可读介质上，诸如硬盘驱动器、紧凑盘、磁带、存储器等。服务器1230可以(例如，通过服务器1230中包括的处理器)基于从多个交通工具1205、1210、1215、1220和1225接收的导航信息生成用于共同的道路段1200的
自主交通工具道路导航模型的至少一部分，并且可以将该模型存储为稀疏地图的一部分。服务器1230可以基于从在不同时间在道路段的车道上行驶的多个交通工具(例如1205、1210、1215、1220和1225)接收的众包数据(例如，导航信息)来确定与每个车道相关联的轨迹。服务器1230可以基于多条轨迹生成自主交通工具道路导航模型或模型的一部分(例如，经更新的部分)，该多条轨迹基于众包导航数据而确定。服务器1230可以将模型或模型的经更新的部分传送到在道路段1200上行驶的自主交通工具1205、1210、1215、1220和1225中的一个或多个，或传送到稍后在道路段上行驶的任何其他自主交通工具，用于更新在交通工具的导航系统中提供的现有自主交通工具道路导航模型。自主交通工具道路导航模型可以由自主交通工具在沿共同的道路段1200自主导航时使用。
265.如上文所解释，自主交通工具道路导航模型可以被包括在稀疏地图(例如，图8中描绘的稀疏地图800)中。稀疏地图800可以包括与道路几何形状和/或沿道路线的地标相关的数据的稀疏记录，其可以提供用于引导自主交通工具的自主导航的足够信息，但不需要过多的数据存储。在一些实施例中，自主交通工具道路导航模型可以与稀疏地图800分开存储，并且可以在为导航执行模型时使用来自稀疏地图800的地图数据。在一些实施例中，自主交通工具道路导航模型可以使用稀疏地图800中包括的地图数据来确定沿道路段1200的目标轨迹，以引导自主交通工具1205、1210、1215、1220和1225或之后沿道路段1200行驶的其他交通工具的自主导航。例如，当自主交通工具道路导航模型由被包括在交通工具1205的导航系统中的处理器执行时，该模型可以使处理器基于从交通工具1205接收的导航信息而确定的轨迹与稀疏地图800中包括的预定轨迹进行比较，以验证和/或校正交通工具1205的当前行驶路线。
266.在自主交通工具道路导航模型中，道路特征或目标轨迹的几何形状可以通过三维空间中的曲线进行编码。在一个实施例中，曲线可以是包括一个或多个连接的三维多项式的三维样条。如本领域技术人员所理解，样条可以是由用于拟合数据的一系列多项式分段定义的数值函数。用于拟合道路的三维几何形状数据的样条可以包括线性样条(一阶)、二次样条(二阶)、三次样条(三阶)或任何其他样条(其他阶)、或其组合。样条可以包括连接(例如，拟合)道路的三维几何形状数据的数据点的一个或多个不同阶数的三维多项式。在一些实施例中，自主交通工具道路导航模型可以包括与沿共同的道路段(例如，道路段1200)或道路段1200的车道的目标轨迹相对应的三维样条。
267.如上文所解释，稀疏地图中包括的自主交通工具道路导航模型可以包括其他信息，诸如对沿道路段1200至少一个地标的标识。该地标在安装在交通工具1205、1210、1215、1220和1225中的每个交通工具上的相机(例如，相机122)的视场内可以是可见的。在一些实施例中，相机122可以捕获地标的图像。交通工具1205上提供的处理器(例如，处理器180、190或处理单元110)可以处理地标的图像以提取地标的标识信息。地标标识信息而不是地标的实际图像可以存储在稀疏地图800中。地标标识信息可能需要比实际图像少得多的存储空间。其他传感器或系统(例如，gps系统)也可以提供地标的某些标识信息(例如，地标的位置)。地标可以包括以下至少一个：交通标志、箭头标记、车道标记、虚线车道标记、交通灯、停车线、方向标志(例如，带有指示方向的箭头的公路出口标志、带有指向不同方向或位置的箭头的公路标志)、地标信标或灯杆。地标信标是指沿道路段安装的设备(例如，rfid设备)，该设备向安装在交通工具上的接收器发送或反射信号，使得当交通工具经过该设备
时，由交通工具接收的信标和该设备的位置(例如，从该设备的gps位置确定)可以被用作要被包括在自主交通工具道路导航模型和/或稀疏地图800中的地标。
268.至少一个地标的标识可以包括至少一个地标的位置。可以基于使用与多个交通工具1205、1210、1215、1220和1225相关联的传感器系统(例如，全球定位系统、基于惯性的定位系统、地标信标等)执行的位置测量来确定地标的位置。在一些实施例中，地标的位置可以通过对由通过多次驾驶的不同交通工具1205、1210、1215、1220和1225上的传感器系统检测、收集或接收的位置测量求平均来确定。例如，交通工具1205、1210、1215、1220和1225可以向服务器1230传送位置测量数据，服务器1230可以对位置测量求平均，并使用经平均的位置测量作为地标的位置。地标的位置可以通过从后续驾驶中的交通工具接收到的测量值来不断细化。
269.地标的标识可以包括地标的大小。交通工具(例如，1205)上提供的处理器可以基于对图像的分析来估计地标的物理大小。服务器1230可以从通过不同驾驶上的不同的交通工具接收相同地标的物理大小的多个估计。服务器1230可以对不同的估计求平均，以得出地标的物理大小，并将该地标大小存储在道路模型中。物理大小估计可以被使用于进一步确定或估计从交通工具到地标的距离。可以基于交通工具的当前速率和扩展尺度来估计到地标的距离，该扩展尺度基于图像中出现的地标相对于相机的扩展焦点的位置。例如，到地标的距离可以通过z＝v*dt*r/d来估计，其中v是交通工具的速率，r是图像中从时间t1的地标到扩展焦点的距离，而d是图像中从t1到t2针对地标的距离的变化。dt表示(t2-t1)。例如，到地标的距离可以通过z＝v*dt*r/d来估计，其中v是交通工具的速率，r是图像中地标与扩展焦点之间的距离，dt是时间间隔，而d是地标沿极线的图像位移。与上述等式等效的其他等式，诸如z＝v*ω/δω,可以被用于估计到地标的距离。在此，v是交通工具速率，ω是图像长度(与对象宽度类似)，并且δω是该图像长度在单位时间内的变化。
270.当已知地标的物理大小时，到地标的距离也可以基于以下等式确定：z＝f*w/ω，其中f是焦距，w是地标的大小(例如，高度或宽度)，ω是当地标离开图像时的像素的数量。通过以上等式，距离z的变化可以使用δz＝f*w*δω/ω2+f*δw/ω来计算，其中δw通过求平均衰减为零，并且其中δω是表示图像中的边界框准确度的像素数。可以通过对服务器侧的多个观察值求平均来计算估计地标物理大小的值。距离估计的结果误差可以非常小。当使用上文的公式时，存在可能会出现的两个误差源，即δw和δω。它们对距离误差的贡献由δz＝f*w*δω/ω2+f*δw/ω给出。然而，δw通过求平均衰减到零，因此δz由δω(例如，图像中边界框的不准确度)确定。
271.对于未知尺寸的地标，可以通过在连续帧之间跟踪地标上的特征点来估计到地标的距离。例如，可以在两个或更多个图像帧之间跟踪出现在限速标志上的某些特征。基于这些被跟踪的特征，可以生成逐特征点的距离分布。可以从距离分布中提取距离估计。例如，距离分布中出现得最频繁的距离可以被用作为距离估计。作为另一示例，可以使用距离分布的平均作为距离估计。
272.图13示出了由多个三维样条1301、1302和1303表示的示例自主交通工具道路导航模型。图13中所示的曲线1301、1302和1303仅用于说明目的。每个样条可以包括连接多个数据点1310的一个或多个三维多项式。每个多项式可以是一阶多项式、二阶多项式、三阶多项式或具有不同阶数的任何合适的多项式的组合。每个数据点1310可以与从交通工具1205、
1210、1215、1220和1225接收的导航信息相关联。在一些实施例中，每个数据点1310可以与同地标(例如，地标的大小、位置和标识信息)和/或道路特色概况(例如，道路几何形状、道路粗糙度概况、道路曲率概况、道路宽度概况)相关的数据相关联。在一些实施例中，一些数据点1310可以与同地标相关的数据相关联，而其他数据点可以与同道路特色概况相关的数据相关联。
273.图14示出了从五次分开的驾驶接收的原始位置数据1410(例如，gps数据)。如果一次驾驶由单独的交通工具在相同的时间经历、由相同的交通工具在分开的时间经历、或者由单独的交通工具在分开的时间经历，则这次驾驶可以与另一次驾驶分开。为了考虑位置数据1410中的误差以及交通工具在相同车道内的不同位置(例如，一个交通工具可能驾驶得比另一个交通工具更靠近车道的左侧)，服务器1230可以使用一个或多个统计技术来生成地图骨架1420，以确定原始位置数据1410中的变化是否实际分散还是统计误差。骨架1420内的每个路径可以往回链接到形成该路径的原始数据1410。例如，骨架1420内a与b之间的路径被链接到来自驾驶2、3、4和5、而不是来自驾驶1的原始数据1410。估计1420可能不够详细至足以用于导航交通工具(例如，因为与上文描述的样条不同，框架1420结合了来自相同道路上的多个车道的驾驶)，但可以提供有用的拓扑信息，并可以用于定义交叉口。
274.图15示出了通过其可以为地图骨架的段(例如，骨架1420内的段a到b)内的稀疏地图生成附加细节的示例。如图15所描绘，数据(例如，自我运动数据、道路标记数据等)可以被示出为沿驾驶的位置s(或s1或s2)的函数。服务器1230可以通过标识驾驶1510的地标1501、1503和1505与驾驶1520的地标1507和1509之间的唯一匹配来标识稀疏地图的地标。此类匹配算法可以导致对地标1511、1513和1515的标识。然而，本领域技术人员将认识到，可以使用其他匹配算法。例如，概率优化可以代替唯一匹配或与唯一匹配结合使用。服务器1230可以纵向地对齐驾驶以对齐匹配的地标。例如，服务器1230可以选择一次驾驶(例如，驾驶1520)作为参考驾驶，然后偏移和/或弹性拉伸另外一次(多次)驾驶(例如，驾驶1510)以进行对齐。
275.图16示出了用于在稀疏地图中使用的对齐的地标数据的示例。在图16的示例中，地标1610包括道路标志。图16的示例进一步描绘了来自多次驾驶1601、1603、1605、1607、1609、1611和1613的数据。在图16的示例中，来自驾驶1613的数据由“幽灵”地标组成，并且服务器1230可以按此来标识它，因为驾驶1601、1603、1605、1607、1609和1611中没有一个包括在驾驶1613中的所标识的地标附近的地标的标识。相应地，服务器1230可以在其中地标确实出现的图像相比在其中地标不出现的图像的比率超过阈值时接受潜在地标，和/或可以在其中地标不出现的图像相比在其中地标确实出现的图像的比率超过阈值时拒绝潜在地标。
276.图17描绘了用于生成驾驶数据的系统1700，该驾驶数据可以用于众包稀疏地图。如图17所描绘，系统1700可以包括相机1701和定位设备1703(例如，gps定位器)。相机1701和定位设备1703可以安装在交通工具(例如，交通工具1205、1210、1215、1220和1225中的一个)上。相机1701可以产生多个类型的多个数据，例如，自我运动数据、交通标志数据、道路数据，等等。相机数据和位置数据可以分割成驾驶段1705。例如，驾驶段1705可以各自具有来自少于1km的驾驶的相机数据和位置数据。
277.在一些实施例中，系统1700可以移除驾驶段1705中的冗余。例如，如果地标出现在
来自相机1701的多个图像中，则系统1700可以去除冗余的数据，使得驾驶段1705仅包含地标的位置以及与地标相关的任何元数据的一个副本。作为进一步的示例，如果车道标记出现在来自相机1701的多个图像中，则系统1700可以去除冗余的数据，使得驾驶段1705仅包含车道标记的位置以及与车道标记相关的任何元数据的一个副本。
278.1700还包括服务器(例如，服务器1230)。服务器1230可以从交通工具接收驾驶段1705，并将驾驶段1705重新组合到单个驾驶1707中。此类布置可以允许当在交通工具与服务器之间传输数据时降低带宽要求，同时还允许服务器存储与整个驾驶相关的数据。
279.图18描绘了进一步被配置用于众包稀疏地图的图17的系统。如图17中所示，系统1700包括交通工具1810，该交通工具1810使用例如相机(其产生例如自我运动数据、交通标志数据、道路数据等)和定位设备(例如，gps定位器)捕获驾驶数据。如在图17中那样，交通工具1810将收集的数据分段为驾驶段(在图18中被描绘为“ds1 1”、“ds2 1”、“dsn 1”)。然后，服务器1230接收驾驶段，并从接收到的段重构驾驶(在图18中被描绘为“驾驶1”)。
280.如图18进一步所描绘，系统1700还从附加交通工具接收数据。例如，交通工具1820还使用例如相机(其产生例如，自我运动数据、交通标志数据、道路数据等等)和定位设备(例如，gps定位器)捕获驾驶数据。与交通工具1810类似，交通工具1820将收集的数据分为驾驶段(在图18中描绘为“ds1 2”、“ds2 2”、“dsn 2”)。”然后，服务器1230接收路段并从接收到的段重构驾驶(在图18中被描绘为“驾驶2”)。任何数量的附加交通工具可以被使用。例如，图18还包括“车辆n”，其捕获驾驶数据、将其分段为驾驶段(在图18中被描绘为“ds1 n”、“ds2 n”、“dsn n”)，并将其发送到服务器1230以重构为驾驶(在图18中被描绘为“驾驶n”)。”281.如图18所描绘的，服务器1230可以使用从多个交通工具(例如，“汽车1”(也被标记为交通工具1810)、“汽车2”(也标记为交通工具1820)和“汽车n”)收集的重构的驾驶(例如，“驾驶1”、“驾驶2”和“驾驶n”)来构造稀疏地图(被描绘为“地图”)。”282.图19是示出用于生成用于沿道路段的自主交通工具导航的稀疏地图的示例过程1900的流程图。过程1900可以由服务器1230中包括的一个或多个处理设备执行。
283.过程1900可以包括：接收当一个或多个交通工具穿过道路段时采集的多个图像(步骤1905)。服务器1230可以从被包括在交通工具1205、1210、1215、1220和1225中的一个或多个内的相机接收图像。例如，当交通工具1205沿道路段1200行驶时，相机122可以捕获交通工具1205周围的环境的一个或多个图像。在一些实施例中，服务器1230还可以接收已由交通工具1205上的处理器移除冗余的精简的图像数据，如上文关于图17所讨论。
284.过程1900可以进一步包括：基于多个图像标识沿道路段延伸的道路表面特征的至少一个线表示(步骤1910)。每个线表示可以表示沿与道路表面特征基本对应的道路段的路径。例如，服务器1230可以分析从相机122接收的环境图像以标识道路边缘或车道标记，并确定沿与该道路边缘或车道标记相关联的道路段1200的行驶的轨迹。在一些实施例中，轨迹(或线表示)可以包括样条、多项式表示或曲线。服务器1230可以基于在步骤1905处接收到的相机自我运动(例如，三维平移和/或三维旋转运动)来确定交通工具1205的行驶的轨迹。
285.过程1900也可以包括：基于多个图像标识与道路段相关联的多个地标(步骤1910)。例如，服务器1230可以分析从相机122接收的环境图像以标识一个或多个地标，诸
如，沿道路段1200的道路标志。服务器1230可以使用对在一个或多个交通工具穿过道路段时采集的多个图像的分析来标识地标。为了实现众包，分析可能包括关于接受和拒绝与道路段相关联的可能地标的规则。例如该分析可以包括：当在其中地标确实出现的图像相比在其中地标不出现的图像的比率超过阈值时，接受潜在地标；和/或当在其中地标不出现的图像相比在其中地标确实出现的图像的比率超过阈值时，拒绝潜在地标。
286.过程1900可以包括：由服务器1230执行的其他操作或步骤。例如，导航信息可以包括用于交通工具沿道路段行驶的目标轨迹，并且过程1900可以包括：由服务器1230对与在道路段上行驶的多个交通工具相关的交通工具轨迹进行聚类；以及基于聚类的交通工具轨迹确定目标轨迹，如下文进一步详细地所讨论。对交通工具轨迹聚类可以包括：由服务器1230基于交通工具的绝对航向或交通工具的车道分配中的至少一个对与在道路段上行驶的交通工具相关的多条轨迹聚类为多个集群。生成目标轨迹可以包括：由服务器1230对聚类的轨迹求平均。作为进一步的示例，过程1900可以包括：对齐在步骤1905中接收的数据。如上文所描述的由服务器1230执行的其他过程或步骤也可以被包括在过程1900中。
287.所公开的系统和方法可以包括其他特征。例如，所公开的系统可以使用局部坐标，而不是全球坐标。对于自主驾驶，一些系统可能以世界坐标呈现数据。例如，可以使用地球表面上的经纬度坐标。为了使用地图进行操纵，主交通工具可以确定其相对于地图的位置和取向。为了在地图上定位交通工具并且为了找到主体参考系和世界参考系(例如，北、东和下)之间的旋转变换，使用机载gps设备似乎是自然的。一旦主体参考系与地图参考系对齐，就可以在主体参考系中表达所需路线，并可以计算或生成操纵命令。
288.所公开的系统和方法可以实现具有低占用模型的自主交通工具导航(例如，操纵控制)，该模型可以由自主交通工具自身收集而无需昂贵的调查装备的辅助。为了支持自主导航(例如，操纵应用)，道路模型可以包括具有道路的几何形状、其车道结构和地标的稀疏地图，该稀地标可以用于确定交通工具沿模型中包括的轨迹的位置或者定位。如上文所讨论，稀疏地图的生成可以由远程服务器执行，该远程服务器与在道路上行驶的交通工具通信，并从交通工具接收数据。该数据可以包括感测的数据、基于感测的数据重构的轨迹和/或可以表示经修改的重构的轨迹的推荐轨迹。如下文所讨论，服务器可以将模型往回传送到交通工具或者之后在道路上行驶的其他交通工具，以辅助自主导航。
289.图20示出了服务器1230的框图。服务器1230可以包括通信单元2005，其可以包括硬件组件(例如，通信控制电路、开关和天线)和软件组件(例如，通信协议、计算机代码)。例如，通信单元2005可以包括至少一个网络接口。服务器1230可以通过通信单元2005与交通工具1205、1210、1215、1220和1225通信。例如，服务器1230可以通过通信单元2005接收从交通工具1205、1210、1215、1220和1225传送的导航信息。服务器1230可以通过通信单元2005将自主交通工具道路导航模型分发给一个或多个自主交通工具。
290.服务器1230可以包括至少一个非瞬态存储介质2010，诸如，硬盘驱动器、紧凑盘、磁带等。存储设备1410可以被配置为存储数据，该数据诸如从交通工具1205、1210、1215、1220和1225接收的导航信息和/或服务器1230基于导航信息生成的自主交通工具道路导航模型。存储设备2010可以被配置为存储任何其他信息，诸如稀疏地图(例如，上文关于图8讨论的稀疏地图800)。
291.作为存储设备2010的附加或替代，服务器1230可以包括存储器2015。存储器2015
可以与存储器140或150类似或不同。存储器2015可以是非瞬态存储器，诸如，闪存、随机存取存储器等。存储器2015可以配置为存储数据，诸如，可以由处理器(例如，处理器2020)执行的计算机代码或指令、地图数据(例如，稀疏地图800的数据)、自主交通工具道路导航模型，和/或从交通工具1205、1210、1215、1220和1225接收的导航信息。
292.服务器1230可以包括至少一个处理设备2020，其被配置为执行存储在存储器2015中的计算机代码或指令以执行各种功能。例如，处理设备2020可以分析从交通工具1205、1210、1215、1220和1225接收的导航信息，并基于该分析生成自主交通工具道路导航模型。处理设备2020可以控制通信单元1405将自主交通工具道路导航模型分发给一个或多个自主交通工具(例如，交通工具1205、1210、1215、1220和1225中的一个或多个或稍后在道路段1200上行驶的任何交通工具)。处理设备2020可以与处理器180、190或处理单元110类似或不同。
293.图21示出了存储器2015的框图，存储器2015可以存储用于执行一个或多个操作以生成用于自主交通工具导航中使用的道路导航模型的计算机代码或指令。如图21所示，存储器2015可以存储用于执行用于处理交通工具导航信息的操作的一个或多个模块。例如，存储器2015可以包括模型生成模块2105和模型分发模块2110。处理器2020可以执行存储在存储器2015中包括的模块2105和2110中的任何一个中的指令。
294.模型生成模块2105可以存储指令，这些指令当处理器2020执行该指令时可以基于从交通工具1205、1210、1215、1220和1225接收到的导航信息来为共同的道路段(例如，道路段1200)生成自主交通工具道路导航模型的至少一部分。例如，在生成自主交通工具道路导航模型时，处理器2020可以将沿共同的道路段1200的交通工具轨迹聚类成不同的集群。处理器2020可以基于针对不同集群中的每一个集群的聚类的交通工具轨迹来确定沿共同的道路段1200的目标轨迹。此类操作可以包括：在每个集群中找到聚类的交通工具轨迹的均值或平均轨迹(例如，通过对表示聚类交通工具轨迹的数据求平均)。在一些实施例中，目标轨迹可以与共同的道路段1200的单个车道相关联。
295.道路模型和/或稀疏地图可以存储与道路段相关联的轨迹。这些轨迹可以被称为目标轨迹，这些目标轨被提供给自主交通工具用于自主导航。目标轨迹可以从多个交通工具接收，或者可以基于从多个交通工具接收的实际轨迹或推荐轨迹(具有一些修改的实际轨迹)来生成。道路模型或稀疏地图中包括的目标轨迹可以利用从其他交通工具接收的新轨迹持续地被更新(例如，求平均)。
296.在道路段上行驶的交通工具可以通过各种传感器收集数据。数据可以包括地标、道路特色概况、交通工具运动(例如，加速度计数据、速率数据)、交通工具位置(例如，gps数据)，并且可以重构实际轨迹本身，或者将数据传送到服务器，该服务器将重构交通工具的实际轨迹。在一些实施例中，交通工具可以将与轨迹(例如，任意参考系中的曲线)相关的数据、地标数据和沿行驶路径的车道分配传送到服务器1230。在多次驾驶时沿同一道路段行驶的各种交通工具可具有不同的轨迹。服务器1230可以通过聚类过程、从接收自交通工具的轨迹中标识与每个车道相关联的路线或轨迹。
297.图22示出了对与交通工具1205、1210、1215、1220和1225相关联的交通工具轨迹进行聚类，以确定用于共同的道路段(例如，道路段1200)的目标轨迹的过程。根据集群过程确定的目标轨迹或多条目标轨迹可以被包括在自主交通工具道路导航模型或稀疏地图800
中。在一些实施例中，沿道路段1200行驶的交通工具1205、1210、1215、1220和1225可以向服务器1230传送多条轨迹2200。在一些实施例中，服务器1230可以基于从交通工具1205、1210、1215、1220和1225接收的地标、道路几何形状和交通工具运动信息来生成轨迹。为了生成自主交通工具道路导航模型，服务器1230可以将交通工具轨迹1600聚类成多个集群2205、2210、2215、2220、2225和2230，如图22所示。
298.可以使用各种准则执行聚类。在一些实施例中，集群中的所有驾驶在沿道路段1200的绝对航向方面可以是类似的。绝对航向可以从由交通工具1205、1210、1215、1220和1225接收的gps信号中获得。在一些实施例中，可以使用航位推算获得绝对航向。如本领域技术人员将理解，航位推算可以被用于通过使用先前确定的位置、估计的速率等来确定交通工具1205、1210、1215、1220和1225的当前位置以及由此的航向。通过绝对航向聚类的轨迹可以用于标识沿道路的路线。
299.在一些实施例中，集群中的所有驾驶在沿道路段1200上的驾驶的车道分配方面可以是类似的(例如，在交叉路口之前和之后的同一车道中)。通过车道分配聚类的轨迹对于标识沿道路的车道可以是有用的。在一些实施例中，这两个准则(例如，绝对航向和车道分配)可以被用于聚类。
300.在每个集群2205、2210、2215、2220、2225和2230中，可以对轨迹求平均，以获得与特定集群相关联的目标轨迹。例如，可对来自与相同的车道集群相关联的多个驾驶的轨迹求平均。平均轨迹可以是与特定车道相关联的目标轨迹。为了对轨迹的集群求平均，服务器1230可以选择任意轨迹c0的参考系。对于所有其他轨迹(c1，，cn)，服务器1230可以找到将ci映射到c0的刚性变换，其中i＝1，2，
…
，n，其中n是正整数，对应于集群中包括的轨迹的总数量。服务器1230可以计算c0参考系中的均值曲线或轨迹。
301.在一些实施例中，地标可以定义不同驾驶之间的弧长匹配，其可以用于轨迹与车道的对齐。在一些实施例中，交叉路口之前和之后的车道标记可以被用于轨迹与车道的对齐。
302.为了从轨迹组装车道，服务器1230可以选择任意车道的参考系。服务器1230可以将部分重叠的车道绘制到所选参考系。服务器1230可以继续进行绘制，直到所有车道都在同一参考系中。彼此相邻的车道可以对齐，就像它们是相同车道一样，然后可以横向偏移这些车道。
303.沿道路段识别的地标可以绘制到共同的参考系，首先在车道水平，然后在交叉路口水平。例如，相同的地标可以由多个交通工具在多次驾驶中识别多次。在不同驾驶中接收到的关于相同地标的数据可能略有不同。此类数据可以被平均并被绘制到相同的参考系，例如c0参考系。另外地或者替代地，可以计算在多次驾驶中接收的相同地标的数据的方差。
304.在一些实施例中，道路段120的每个车道可以与目标轨迹和某些地标相关联。目标轨迹或多个此类目标轨迹可以被包括在自主交通工具道路导航模型中，该自主交通工具道路导航模型稍后可以由沿相同道路段1200行驶的其他自主交通工具使用。当交通工具1205、1210、1215、1220和1225沿道路段1200行驶时由交通工具标识的地标可以与目标轨迹相关联地记录。目标轨迹和地标的数据可以利用在后续驾驶中从其他交通工具接收的新数据来持续地或周期性地更新。
305.对于自主交通工具的定位，所公开的系统和方法可以使用扩展卡尔曼滤波器。交
通工具的位置可以基于三维位置数据和/或三维取向数据、通过整合自我运动对在交通工具的当前位置前方的未来位置的预测来确定。交通工具的定位可以通过对地标的图像观察进行校正或调整。例如，当交通工具检测到由相机捕获的图像内的地标时，该地标可以与存储在道路模型或稀疏地图800内的已知地标进行比较。已知地标可以具有沿存储在道路模型和/或稀疏地图800中的目标轨迹的已知位置(例如，gps数据)。根据当前速率和地标的图像，可以估计从交通工具到地标的距离。可以基于到地标的距离和地标的已知位置(存储在道路模型或稀疏地图800中)来调整交通工具沿目标轨迹的位置。存储在道路模型和/或稀疏地图800中的地标的位置/定位数据(例如，来自多次驾驶的平均值)可以被假定为准确的。
306.在一些实施例中，所公开的系统可以形成闭环子系统，其中交通工具六自由度位置(例如，三维位置数据加三维取向数据)的估计可以用于导航自主交通工具(例如，操纵自主交通工具的车轮)以达到所需点(例如，比所存储的提前1.3秒)。反过来，从操纵和实际导航测量的数据可以用于估计六自由度位置。
307.在一些实施例中，沿着道路的标杆(诸如，灯杆和电线杆或电缆杆)可以被用作定位交通工具的地标。其他地标(诸如，交通标志、交通灯、道路上的箭头、停车线、以及沿着道路段的对象的静态特征或特色)也可以被用作定位交通工具的地标。当使用标杆进行定位时，可以使用标杆的x观察(即，从交通工具的视角)，而不是y观察(即，到标杆的距离)，因为标杆底部可能被遮挡，并且有时它们不在道路平面上。
308.图23示出了用于交通工具的导航系统，该导航系统可以用于使用众包稀疏地图进行自主导航。为了说明，该交通工具被引用为交通工具1205。图23中示出的交通工具可以是本文公开的任何其他交通工具，包括例如交通工具1210、1215、1220和1225以及在其他实施例中示出的交通工具200。如图12所示，交通工具1205可以与服务器1230通信。交通工具1205可以包括图像捕获设备122(例如，相机122)。交通工具1205可以包括导航系统2300，其被配置用于为交通工具1205在道路(例如，道路段1200)上行驶提供导航引导。交通工具1205还可以包括其他传感器，诸如，速率传感器2320和加速度计2325。速率传感器2320可以被配置为检测交通工具1205的速率。加速度计2325可以被配置为检测交通工具1205的加速或减速。图23中所示的交通工具1205可以是自主交通工具，并且导航系统2300可以用于为自主驾驶提供导航引导。替代地，交通工具1205也可以是非自主、人为控制的交通工具，并且导航系统2300仍可以用于提供导航引导。
309.导航系统2300可以包括配置成通过通信路径1235与服务器1230通信的通信单元2305。导航系统2300还可以包括配置成接收和处理gps信号的gps单元2310。导航系统2300可以进一步包括配置成处理数据的至少一个处理器2315，该数据诸如，gps信号、来自稀疏地图800(其可以存储在交通工具1205上提供的存储设备上和/或从服务器1230接收)的地图数据、由道路概况传感器2330感测的道路几何形状、由相机122捕获的图像和/或从服务器1230接收的自主交通工具道路导航模型。道路概况传感器2330可以包括用于测量不同类型的道路概况的不同类型的设备，不同类型的道路概况诸如，道路表面粗糙度、道路宽度、道路标高、道路曲率等。例如，道路概况传感器2330可包括测量交通工具2305的悬挂的运动以导出道路粗糙度概况的设备。在一些实施例中，道路概况传感器2330可以包括雷达传感器，用于测量从交通工具1205到道路侧(例如，道路侧的障碍物)的距离，从而测量道路的宽
度。在一些实施例中，道路概况传感器2330可以包括配置用于测量道路的上下标高的设备。在一些实施例中，道路概况传感器2330可以包括被配置为测量道路曲率的设备。例如，相机(例如，相机122或另一相机)可以用于捕获示出道路曲率的道路的图像。交通工具1205可以使用此类图像检测道路曲率。
310.至少一个处理器2315可以编程为从相机122接收与交通工具1205相关联的至少一个环境图像。至少一个处理器2315可以分析至少一个环境图像以确定与交通工具1205相关的导航信息。导航信息可以包括与交通工具1205沿道路段1200的行驶相关的轨迹。至少一个处理器2315可以基于相机122(以及因此交通工具)的运动(诸如，三维平移和三维旋转运动)来确定轨迹。在一些实施例中，至少一个处理器2315可以基于对由相机122采集的多个图像的分析来确定相机122的平移和旋转运动。在一些实施例中，导航信息可以包括车道分配信息(例如，其中车道交通工具1205正沿道路段1200行驶)。可由服务器1230使用从交通工具1205传送到服务器1230的导航信息来生成和/或更新自主交通工具道路导航模型，该自主交通工具道路导航模型可以从服务器1230往回传送到交通工具1205，以便为交通工具1205提供自主导航引导。
311.至少一个处理器2315也可以编程为将导航信息从交通工具1205传送至服务器1230。在一些实施例中，导航信息可以连同道路信息一起传送到服务器1230。道路位置信息可以包括以下至少一个：由gps单元2310接收的gps信号；地标信息；道路几何形状；车道信息等。至少一个处理器2315可以从服务器1230接收自主交通工具道路导航模型或模型的部分。从服务器1230接收的自主交通工具道路导航模型可以包括基于从交通工具1205传送到服务器1230的导航信息的至少一个更新。从服务器1230传送到交通工具1205的模型的部分可以包括模型的经更新部分。至少一个处理器2315可以基于接收到的自主交通工具道路导航模型或模型的经更新的部分来引起由交通工具1205进行的至少一个导航操控(例如，操纵，诸如转弯、制动、加速、超过另一交通工具等)。
312.至少一个处理器2315可以配置为与交通工具1205中包括的各种传感器和组件进行通信，这些传感器和组件包括通信单元1705、gps单元2315、相机122、速率传感器2320、加速度计2325和道路概况传感器2330。至少一个处理器2315可以从各种传感器和组件收集信息或数据，并通过通信单元2305将信息或数据传送到服务器1230。替代地或者附加地，交通工具1205的各种传感器或组件还可以与服务器1230通信，并将由传感器或组件收集的数据或信息传送到服务器1230。
313.在一些实施例中，交通工具1205、1210、1215、1220和1225可以彼此通信，并且可以彼此共享导航信息，使得交通工具1205、1210、1215、1220和1225中的至少一个可以使用众包(例如，基于由其他交通工具共享的信息)生成自主交通工具道路导航模型。在一些实施例中，交通工具1205、1210、1215、1220和1225可以彼此共享导航信息，并且每个交通工具可以更新其自身的交通工具中提供的自主交通工具道路导航模型。在一些实施例中，交通工具1205、1210、1215、1220和1225中的至少一个(例如，交通工具1205)可以起到中枢交通工具的功能。中枢交通工具(例如，交通工具1205)的至少一个处理器2315可以执行由服务器1230执行的功能中的一些或全部。例如，中枢交通工具的至少一个处理器2315可以与其他交通工具通信，并从其他交通工具接收导航信息。中枢交通工具的至少一个处理器2315可以基于从其他交通工具接收的共享信息生成自主交通工具道路导航模型或对模型的更新。
中枢交通工具的至少一个处理器2315可以将自主交通工具道路导航模型或对模型的更新传送给其他交通工具以提供自主导航引导。
314.绘制车道标记以及基于绘制的车道标记的导航
315.如先前所讨论，自主交通工具道路导航模型和/或稀疏地图800可以包括与道路段相关联的多个绘制的车道标记。如下文更详细地所讨论，这些绘制的车道标记可在自主交通工具导航时被使用。例如，在一些实施例中，绘制的车道标记可以用于确定相对于规划的轨迹的横向位置和/或取向。利用该位置信息，自主交通工具可以能够调整航向以匹配所确定的位置处的目标轨迹的方向。
316.交通工具200可以配置为检测给定道路段中的车道标记。道路段可以包括道路上的、用于引导道路上的交通工具交通的任何标记。例如，车道标记可以是区分行驶车道的边缘的连续线或虚线。车道标记还可以包括双线，诸如，双连续线、双虚线、或连续线和虚线的组合，其例如指示相邻车道中是否准许超车。车道标记还可以包括高速公路入口和出口标记，其例如指示用于出口匝道的减速车道或点状线，该点状线指示车道是转弯专用的或车道结束。标记可以进一步指示工作区、临时车道偏移、通过交叉口的行驶路径、中央分隔带、专用车道(例如，自行车道、hov车道等)或其他杂项标记(例如，人行横道、减速带、铁路道口、停车线等)。
317.交通工具200可以使用相机来捕获周围车道标记的图像，该县级诸如被包括在图像采集单元120中的图像捕获设备122和124。交通工具200可以基于在被捕获的图像中的一个或多个被捕获的图像内标识的特征来分析图像以检测与车道标记相关联的点位置。这些点位置可以上传到服务器以表示稀疏地图800中的车道标记。取决于相机的位置和视场，可以从单个图像同时针对交通工具的两侧检测车道标记。在其他实施例中，可以使用不同的相机在交通工具的多个侧捕获图像。与上传车道标记的实际图像不同，标记可以作为样条或一系列点存储在稀疏地图800中，从而减小稀疏地图800和/或必须由交通工具远程上传的数据的大小。
318.图24a-图24d示出了可以由交通工具200检测以表示特定车道标记的示例性点位置。与上文所描述的地标类似，交通工具200可以使用各种图像识别算法或软件来标识被捕获的图像内的点位置。例如，交通工具200可以识别与特定车道标记相关联的一系列边缘点、角点或各种其他点位置。图24a示出了可以由交通工具200检测的连续车道标记2410。车道标记2410可以表示道路的外边缘，由连续的白线表示。如图24a所示，交通工具200可以被配置为检测沿车道标记的多个边缘位置点2411。可以收集位置点2411以便以在足以在稀疏地图中创建绘制的车道标记的任何间隔来表示车道标记。例如，车道标记可以通过检测到的边缘的每米一个点、检测到的边缘的每五米一个点、或其他合适的间距来表示。在一些实施例中，间隔可以由其他因素而不是以设定的间隔确定，诸如例如，基于其中交通工具200具有检测到的点的位置的最高置信度等级的点。尽管图24a示出了车道标记2410的内边缘上的边缘位置点，但可以在线的外边缘或沿这两个边缘收集点。进一步地，虽然在图24a中示出单条线，但是可以针对双连续线检测类似的边缘点。例如，可以沿连续线中的一条或两条的边缘检测点2411。
319.取决于车道标志的类型或形状，交通工具200也可以不同方式表示车道标志。图24b示出了可以由交通工具200检测的示例性虚线车道标记2420。与如在图24a中那样标识
边缘点不同，交通工具可以检测表示车道虚线的角的一系列角点2421，以定义虚线的完整边界。虽然图24b示出了给定虚线标记的每个角都被定位，但交通工具200可以检测或上传图中所示点的子集。例如，交通工具200可以检测给定虚线标记的前边缘或前缘角，或可以检测最接近车道内部的两个角点。进一步地，并非每个虚线标记都可以被捕获，例如，交通工具200可以捕获和/或记录表示虚线标记的样本的点(例如，每隔一个、每三个、每五个等)或以预定义间距(例如，每米、每五米、每十米等)捕获和/或记录虚线标记。对于类似的车道标记，还可以检测角点，诸如，示出车道用于出口匝道、特定车道正在结束的标记，或可能具有可检测角点的其他各种车道标记。对于由双虚线或连续线和虚线的组合组成的车道标记，也可以检测角点。
320.在一些实施例中，上传到服务器以生成绘制的车道标记的点可以表示除检测到的边缘点或角点之外的其他点。图24c示出了可以表示给定车道标记的中心线的一系列点。例如，连续车道2410可以由沿车道标记的中心线2440的中心线点2441表示。在一些实施例中，交通工具200可以被配置为使用各种图像识别技术(诸如，卷积神经网络(cnn)、尺度不变特征变换(sift)、定向梯度直方图(hog)特征或其他技术)来检测这些中心点。或者，交通工具200可以检测其他点(诸如，图24a中所示的边缘点2411)，并且可以例如通过沿每个边缘检测点并确定边缘点之间的中点来计算中心线点2411。类似地，虚线车道标记2420可以由沿车道标记的中心线2450的中心线点2451表示。中心线点可以位于短划线的边缘，如图24c所示，或位于沿中心线的各种其他位置。例如，每个短划线可以由短划线的几何形状中心的单个点表示。这些点也可以沿中心线以预定间隔隔开(例如，每米、每5米、每10米等)。中心线点2451可以直接由交通工具200检测，或可以基于其他检测到的参考点(诸如，角点2421，如图24b所示)来计算。中心线也可以被用于使用与上文类似的技术来表示其他车道标记类型，诸如，双线。
321.在一些实施例中，交通工具200可以标识表示其他特征的点，诸如，两个相交的车道标记之间的顶点。图24d示出了表示两个车道标记2460与2465之间的交叉的示例性点。交通工具200可以计算表示两个车道标记之间的交叉的顶点2466。例如，车道标志2460或2465中的一个可以表示道路段中的列车穿越区域或其他穿越区域。虽然车道标记2460和2465示出为彼此垂直地相交，但可以检测各种其他配置。例如，车道标记2460和2465可以以其他角度相交，或者车道标记中的一者或两者可以在顶点2466处终止。类似技术也可以应用于虚线或其他车道标记类型之间的交叉。除了顶点2466之外，还可以检测各种其他点2467，从而提供关于车道标记2460和2465的取向的进一步信息。
322.交通工具200可以将真实世界坐标与车道标记的每个检测到的点相关联。例如，可以生成位置标识符，以上传到服务器来绘制的车道标记，该位置标识符包括每个点的坐标。位置标识符还可以进一步包括关于这些点的其他标识信息，包括该点是否表示角点、边缘点、中心点等。因此，交通工具200可以被配置为基于对图像的分析来确定每个点的真实世界位置。例如，交通工具200可以检测图像中的其他特征，诸如上文所描述的各种地标，以定位车道标记的真实世界位置。这可涉及：确定图像中车道标记相对于检测到的地标的位置；或基于检测到的地标确定交通工具的位置，然后确定从交通工具(或交通工具的目标轨迹)到车道标记的距离。当地标不可用时，车道标记点的位置可以相对于基于航位推算确定的交通工具的位置来确定。被包括在位置标识符中的真实世界坐标可以被表示为绝对坐标
(例如，纬度/经度坐标)，或者可以相对于其他特征，诸如，基于沿目标轨迹的纵向位置和距目标轨迹的横向距离。然后，可以将位置标识符上传到服务器，以便在导航模型(诸如，稀疏地图800)中生成绘制的车道标记。在一些实施例中，服务器可以构造表示道路段的车道标记的样条。替代地，交通工具200可以生成样条，并将其上传到服务器以便被记录在导航模型中。
323.图24e示出了用于相应道路段的示例性导航模型或稀疏地图，该相应道路段包括绘制的车道标记。稀疏地图可以包括用于供交通工具沿道路段遵循的目标轨迹2475。如上文所描述，目标轨迹2475可以表示当交通工具在相应道路段行驶时该交通工具采取的用于该交通工具的理想路径，或者可位于道路上的别处(例如，道路的中心线等)。目标轨迹2475能以上文描述的各种方法来计算，这些方法例如，基于穿过相同道路段的交通工具的两个或更多个重构的轨迹的聚合(例如，加权组合)。
324.在一些实施例中，对于所有交通工具类型并且对于所有道路、交通工具和/或环境状况，可以平等地生成目标轨迹。然而，在其他实施例中，在生成目标轨迹时也可以考虑各种其他因素或变量。可以为不同类型的交通工具(例如，私家车、轻型卡车和全挂车)生成不同的目标轨迹。例如，与较大的半挂车卡车相比，可针对小型私家车生成具有相对较窄的转弯半径的目标轨迹。在一些实施例中，还可以考虑道路、交通工具和环境状况。例如，可以针对不同的道路状况(例如，潮湿、下雪、结冰、干燥等)、交通工具状况(例如，轮胎状况或估计的轮胎状况、制动状况或估计的制动状况、剩余燃油量等)或环境因素(例如，一天中的时间、能见度、天气等)生成不同的目标轨迹。目标轨迹也可取决于特定道路段的一个或多个方面或特征(例如，速度限制、转弯的频率和大小、坡度等)。在一些实施例中，各种用户设置也可以被使用于确定目标轨迹，这些用户设置诸如，设定的驾驶模式(例如，期望的驾驶积极性、经济模式等)。
325.稀疏地图也可以包括表示沿道路段的车道标记的绘制的车道标记2470和2480。绘制的车道标记可以由多个位置标识符2471和2481表示。如上文所描述，位置标识符可以包括与检测到的车道标记相关联的点的真实世界坐标中的位置。与模型中的目标轨迹类似，车道标记也可包括标高数据，并且可被表示为三维空间中的曲线。例如，曲线可以是连接合适阶数的三维多项式的样条，可以基于位置标识符计算曲线。绘制的车道标记还可以包括关于车道标记的其他信息或元数据，诸如，车道标记的类型的标识符(例如，在具有相同行驶方向的两个车道之间、在具有相反行驶方向的两个车道之间、道路的边缘等)和/或车道标记的其他特性(例如，连续线、虚线、单线、双线、黄色、白色等)。在一些实施例中，可例如使用众包技术在模型内持续更新绘制的车道标记。相同的交通工具可以在相同道路段多次行驶场合期间上传位置标识符，或数据可以从在不同的时间在道路段上行驶的多个交通工具(诸如，1205、1210、1215、1220和1225)中选择。然后，可以基于从交通工具接收并存储在系统中的后续位置标识符更新或细化稀疏地图800。当更新和细化绘制的车道标记时，可以将经更新的道路导航模型和/或稀疏地图分发给多个自主交通工具。
326.在稀疏地图中生成绘制的车道标记还可以包括：基于图像或实际车道标记自身中的异常来检测和/或减轻错误。图24f示出了与检测车道标记2490相关联的示例性异常2495。异常2495可能出现在由交通工具200捕获的图像中，例如，来自妨碍相机查看车道标志的对象、镜头上的碎片等。在一些实例中，异常可能是由于车道标志本身造成的，车道标
志本身可能受损或磨损，或者例如被灰尘、碎片、水、雪或道路上的其他材料等部分地覆盖。异常2495可能导致由交通工具200检测到错误点2491。稀疏地图800可以提供对绘制的车道标记的校正并排除错误。在一些实施例中，交通工具200可以例如通过检测图像中的异常2495或通过基于异常之前和之后的检测到的车道标记点标识错误来检测错误点2491。基于检测到异常，交通工具可忽略点2491，或将其调整为与其他检测到的点一致。在其他实施例中，可以在已上传该点之后校正该错误，例如，通过基于在相同行程期间上传的其他点或基于来自沿相同道路段的先前行程的数据的聚合来确定该点在预期阈值之外。
327.导航模型和/或稀疏地图中的绘制的车道标记也可以用于供穿过相应道路的自主交通工具进行导航。例如，沿目标轨迹导航的交通工具可以周期性地使用稀疏地图中的绘制的车道标记以将自身与目标轨迹对齐。如上文所提到，在地标之间，交通工具可以基于航位推算进行导航，根据航位推算交通工具使用传感器来确定其自我运动并估计其相对于目标轨迹的位置。随着时间的推移，误差可能会累积，并且交通工具相对于目标轨迹的位置确定可能会变得越来越不准确。相应地，交通工具可以使用在稀疏地图800中出现的车道标记(以及它们的已知位置)以减少位置确定中由航位推算引起的误差。以这种方式，被包括在稀疏地图800中的所标识的车道标记可以用作导航锚，通过该导航锚可以确定交通工具相对于目标轨迹的准确位置。
328.图25a示出了交通的工具周围环境的示例性图像2500，该图像2500可以被用于基于绘制的车道标记的导航。例如，图像2500可以由交通工具200通过被包括在图像采集单元120中的图像捕获设备122和124来捕获。图像2500可以包括至少一个车道标记2510的图像，如图25a所示。图像2500也可以包括一个或多个地标2521，诸如，道路标志，用于如上文所描述的导航。图25a中所示的一些元素也被示出以供参考，这些元素诸如元件2511、2530和2520，它们不出现在被捕获的图像2500中，但是被交通工具200检测到和/或确定。
329.使用上文所描述的关于图24a-图24d和图24f的各种技术，交通工具可以分析图像2500以标识车道标记2510。可以检测与图像中的车道标记的特征相对应的各个点2511。例如，点2511可以对应于车道标记的边缘、车道标记的角、车道标记的中点、两个相交车道标记之间的顶点或各种其他特征或位置。点2511可以被检测为对应于从服务器接收的导航模型中存储的点的位置。例如，如果接收到包含表示绘制的车道标记的中心线的点的稀疏地图，则点2511还可以基于车道标记2510的中心线来检测。
330.交通工具还可以确定由元素2520表示、并沿目标轨迹定位的纵向位置。可以从图像2500确定纵向位置2520，例如，通过检测图像2500内的地标2521并将测量的位置与存储在道路模型或稀疏地图800中的已知地标位置进行比较。然后，可以基于到地标的距离和地标的已知位置来确定交通工具沿目标轨迹的位置。纵向位置2520也可以通过除用于确定车道标记的位置的那些图像之外的图像来确定。例如，纵向位置2520可以通过检测来自图像采集单元120内的其他相机的、与图像2500同时或接近同时被拍摄的图像中的地标来确定。在一些实例中，交通工具可能不在任何地标或用于确定纵向位置2520的其他参考点附近。在此类实例中，交通工具可以基于航位推算进行导航，并且因此可以使用传感器确定其自我运动并估计相对于目标轨迹的纵向位置2520。交通工具还可以确定距离2530，该距离2530表示交通工具与在被捕获的(多个)图像中观察到的车道标记2510之间的实际距离。在确定距离2530时，可以考虑相机角度、交通工具的速率、交通工具的宽度或各种其他因素。
331.图25b示出了基于道路导航模型中绘制的车道标记的交通工具的横向定位校正。如上文所描绘，交通工具200可以使用由交通工具200捕获的一个或多个图像确定交通工具200与车道标记2510之间的距离2530。交通工具200也可以具有对道路导航模型的访问权，该到了模型诸如稀疏地图800，其可以包括绘制的车道标记2550和目标轨迹2555。绘制的车道标记2550可以使用上文所描述的技术建模，例如使用由多个交通工具捕获的众包的位置标识符。还可以使用之前描述的各种技术生成目标轨迹2555。如上文关于图25a所描述，交通工具200也可以沿目标轨迹2555确定或估计纵向位置2520。然后，交通工具200可以基于目标轨迹2555与对应于纵向位置2520的绘制的车道标记2550之间的横向距离来确定预期距离2540。交通工具200的横向定位可以通过将使用被捕获的(多个)图像测量的实际距离2530与来自模型的预期距离2540进行比较来校正或调整。
332.图26a是示出了符合所公开的实施例的用于绘制车道标记以用于自主交通工具导航中使用的示例性过程2600a。在步骤2610，过程2600a可以包括：接收与检测到的车道标记相关联的两个或更多个位置标识符。例如，步骤2610可以由服务器1230或与服务器相关联的一个或多个处理器执行。如上文关于图24e所描述，位置标识符可以包括与检测到的车道标记相关联的点的真实世界坐标中的位置。在一些实施例中，位置标识符还可以包含其他数据，诸如，关于道路段或车道标记的附加信息。在步骤2610期间还可以接收附加数据，诸如，加速度计数据、速率数据、地标数据、道路几何形状或概况数据、交通工具定位数据、自我运动数据或上文所描述的各种其他形式的数据。位置标识符可以由交通工具(诸如，交通工具1205、1210、1215、1220和1225)基于由交通工具捕获的图像生成。例如，可以基于以下各项来确定标识符：从与主交通工具相关联的相机采集表示主交通工具环境的至少一个图像；分析至少一个图像以检测主交通工具的环境中的车道标记；以及分析对该至少一个图像以确定检测到的车道标记相对于与该主交通工具相关联的位置的位置。如上文所描述，车道标记可以包括各种不同的标记类型，并且位置标识符可以对应于相对于车道标记的各种点。例如，在检测到的车道标记是标记车道边界的虚线的一部分的情况下，这些点可对应于车道标记的检测到的角。在检测到的车道标记是标记车道边界的连续线的一部分的情况下，这些点可以对应于车道标记的检测到的边缘，具有如上文所描述的各种间距。在一些实施例中，如图24c所示，这些点可以对应于检测到的车道标记的中心线，或者如图24d所示，这些点可以对应于两个相交车道标记之间的顶点以及与相交车道标记相关联的至少一个两个其他点。
333.在步骤2612，过程2600a可以包括：将检测到的车道标记与相应的道路段相关联。例如，服务器1230可以分析在步骤2610期间接收的真实世界坐标或其他信息，并将坐标或其他信息与存储在自主交通工具道路导航模型中的位置信息进行比较。服务器1230可以确定模型中与检测到车道标记之处的真实世界道路段相对应的道路段。
334.在步骤2614，过程2600a可以包括：基于与检测到的车道标记相关联的两个或更多个位置标识符，更新相对于相应道路段的自主交通工具道路导航模型。例如，自主道路导航模型可以是稀疏地图800，并且服务器1230可以更新稀疏地图以包括或调整模型中的绘制的车道标记。服务器1230可以基于上文关于图24e描述的各种方法或过程来更新模型。在一些实施例中，更新自主交通工具道路导航模型可以包括：在检测到的车道标记的真实世界坐标中存储一个或多个位置的指示符。如图24e所示，自主交通工具道路导航模型还可以包
括至少一个目标轨迹以供交通工具沿相应道路段来遵循。
335.在步骤2616，过程2600a可以包括：将经更新的自主交通工具道路导航模型分发给多个自主交通工具。例如，服务器1230可以将经更新的自主交通工具道路导航模型分发给交通工具1205、1210、1215、1220和1225，这些交通工具可以使用该模型进行导航。自主交通工具道路导航模型可以经由一个或多个网络(例如，通过蜂窝网络和/或互联网等)、通过无线通信路径1235来分发，如图12所示。
336.在一些实施例中，车道标记可以使用从多个交通工具接收的数据(诸如，通过众包技术，如上文关于图24e所描述)来绘制。例如，过程2600a可以包括：从第一主交通工具接收第一通信，该第一通信包括与检测到的车道标记相关联的位置标识符；以及从第二主交通工具接收第二通信，该第二通信包括与检测到的车道标记相关联的附加的位置标识符。例如，第二通信可以从在相同道路段上行驶的后续交通工具接收，或从沿相同道路段的后续行程的相同的交通工具接收。过程2600a可以进一步包括：基于在第一通信中接收到的位置标识符并基于在第二通信中接收到的附加的位置标识符来细化对与检测到的车道标记相关联的至少一个位置的确定。这可以包括：使用多个位置标识符的平均值，和/或过滤掉可能不反映车道标记的真实世界位置的“幽灵”标识符。
337.图26b是示出了用于使用绘制的车道标记来沿道路段自主地导航主交通工具的示例性过程2600b的流程图。过程2600b可以例如由自主交通工具200的处理单元110执行。在步骤2620，过程2600b可以包括：从基于服务器的系统接收自主交通工具道路导航模型。在一些实施例中，自主交通工具道路导航模型可以包括用于主交通工具沿道路段的目标轨迹和与关联于道路段的一个或多个车道标记相关联的位置标识符。例如，交通工具200可以接收稀疏地图800或使用过程2600a形成的另一道路导航模型。在一些实施例中，目标轨迹可以表示为三维样条，例如，如图9b所示。如上文关于图24a-图24f所描述，位置标识符可以包括与车道标记相关联的点(例如，虚线车道标记的角点、连续车道标记的边缘点、两个相交车道标记之间的顶点和与相交车道标记关联的其他点、与车道标记关联的中心线等)的真实世界坐标中的位置。
338.在步骤2621，过程2600b可以包括：接收表示交通工具的环境的至少一个图像。该图像可以从交通工具的图像捕获设备接收，诸如，通过被包括在图像采集单元120中的图像捕获设备122和124。该图像可以包括一个或多个车道标记的图像，类似于上文所描述的图像2500。
339.在步骤2622，过程2600b可以包括：确定主交通工具沿目标轨迹的纵向位置。如上文关于图25a所描述，这可以基于被捕获的图像中的其他信息(例如，地标等)，或者通过对检测到的地标之间的交通工具进行航位推算。
340.在步骤2623，过程2600b可以包括：基于主交通工具沿目标轨迹的所确定的纵向位置并且基于与至少一个车道标记相关联的两个或更多个位置标识符，确定到车道标记的预期横向距离。例如，交通工具200可以使用稀疏地图800来确定到车道标记的预期横向距离。如图25b所示，可以在步骤2622中确定沿目标轨迹2555的纵向位置2520。使用稀疏地图800，交通工具200可以确定到与纵向位置2520相对应的绘制的车道标记2550的预期距离2540。
341.在步骤2624，过程2600b可以包括：分析至少一个图像以标识至少一个车道标记。例如，如上文所描述，交通工具200可以使用各种图像识别技术或算法来标识图像内的车道
标记。例如，如图25a所示，车道标记2510可以通过对图像2500的图像分析来检测。
342.在步骤2625，过程2600b可以包括：基于对至少一个图像的分析确定到至少一个车道标记的实际横向距离。例如，交通工具可以确定表示交通工具与车道标记2510之间的实际距离的距离2530，如图25a所示。在确定距离2530时，可以考虑相机角度、交通工具的速率、交通工具的宽度、相机相对于交通工具的位置或各种其他因素。
343.在步骤2626，过程2600b可以包括：基于到至少一个车道标记的预期横向距离和到至少一个车道标记的所确定的实际横向距离之间的差异来确定主交通工具的自主操纵动作。例如，如上文关于图25b所描述，交通工具200可以将实际距离2530与预期距离2540进行比较。实际距离和预期距离之间的差异可指示交通工具的实际位置与要由交通工具遵循的目标轨迹之间的误差(及其幅值)。相应地，交通工具可以基于差异确定自主操纵动作或其他自主动作。例如，如果实际距离2530小于预期距离2540，如图25b所示，则交通工具可以确定自主操纵动作，以引导交通工具离开车道标记2510。因此，交通工具相对于目标轨迹的位置可以被校正。例如，过程2600b可以用于改善交通工具在地标之间的导航。
344.标识潜在的通信障碍
345.图27是符合所公开的实施例的用于使用信号信息确定路线的系统2700的示意图。在一些实施例中，本文讨论的系统2700和/或设备可以执行本文讨论的过程(例如，过程3000、过程3001)的全部或部分。路线可以为单个交通工具(诸如，交通工具2702)或者多个交通工具(诸如，多个交通工具2702)确定。交通工具2702可以自主或半自主地行驶，和/或包括使用各种不同设备的导航系统。在一些实施例中，交通工具可包括用于传送、接收和/或处理在交通工具处接收或从交通工具发送的通信的通信系统。通信系统可以是作为交通工具本身的部分的设备或系统，可以是连接到另一交通工具系统(例如，导航系统)的设备或系统，或者可以是与交通工具分离且不通信地连接到交通工具的设备(例如，智能手机)。在一些示例中，通信系统可与同交通工具相关联的功能(例如，导航系统、遥操作系统)有关，和/或可连接至可与交通工具相关联的服务(例如，可与交通工具关联和/或可作为机器人出租车服务的部分来操作的多媒体供应服务)。例如，交通工具2702中的导航系统可以连接到通信系统，该通信系统可以包括天线、联网控制器、gps设备、蜂窝网络收发器和/或wi-fi收发器，等等此类事物。导航系统可以利用由那些设备中的一个或多个设备提供的信息(或结合由其他设备(诸如，捕获交通工具2702的环境的图像的一个或多个相机)提供的其他信息)来导航。此外，通信系统可以使用gps设备、蜂窝网络收发器和/或wi-fi收发器、通过一个或多个网络来接收导航信息并将导航信息传送到一个或多个远程服务器(例如，服务器1230)。导航信息可包括捕获的图像或者关于交通工具2702的环境的其他信息(例如，道路体验管理或rem、地图、图像帧、视频内容(包括实时流)、深度信息(点云)、遥测数据、对象分类和位置、错误报告、使用/操作统计数据和/或由交通工具上机载的(多个)传感器收集的各种其他类型的数据)。
346.附加地，导航系统可以确定交通工具2702相对于一个或多个地图的当前的局部位置，交通工具2720具有对着一个或多个地图的访问权。在一些情况下，地图可包括rem地图。此类rem地图可以包括稀疏地图，该稀疏地图存储由rem地图表示的、用于主交通工具(例如，交通工具2702)沿道路段和/或沿道路段的可导航道路车道(或任何其他绘制的表面，诸如，停车场等)的目标轨迹的表示(例如，三维样条表示)。rem地图还可以存储地标标识符和
那些地标的相关联的细化的位置。车道识别、地标识别、地标位置确定、对象识别和对象位置确定全都可以通过在多个交通工具沿可导航道路/区域的多次驾驶期间收集此类信息来确定。收集的信息(例如，众包信息)可以被整合和/或对齐(例如，通过远程服务器)，以便能够确定细化的目标轨迹、细化的地标位置等，以便存储在rem地图中。随后，相对于rem地图导航的主交通工具可例如通过以下步骤来操作：捕获主交通工具的环境的图像，在捕获的图像中识别潜在地标，基于rem地图中存储的信息确认地标标识，基于rem地图确定地标位置，然后使用那些所确定的地标位置、通过(多个)rem地图确定主交通工具沿目标轨迹的局部化位置。在其他示例中，地图可包括向其添加了附加信息层(诸如，商业信息、信息娱乐服务等)的hd地图和/或rem地图。
347.主交通工具(例如，交通工具2702)可以通过主交通工具与服务器(例如，服务器1230)之间的无线连接(例如，蜂窝、wi-fi等)接收地图信息(例如，rem地图)。附加地，主交通工具可使用gps进行相对于地图信息的交通工具定位。当此类无线连接中断、不可用或降级时，可能会导致自主交通工具操作中的中断或自主驾驶交通工具能力的丧失。其他操作也可能受到影响，诸如，非自主导航通信、多媒体通信、以及其他通信，如下文所讨论的。在进一步的示例中，主交通工具(例如，交通工具2702)可以是数据收集或收获服务的部分，并且可以被配置为通过主交通工具与服务器(例如，服务器1230)之间的无线连接(例如，蜂窝、wi-fi等)发送由主交通工具收集的数据。此类数据的示例可包括图像帧、视频内容(包括实时流)、深度信息(点云、深度地图等)、遥测数据、对象分类和位置，和/或由交通工具上机载的传感器和/或从附近数据源(例如，智能道路基础设施)收集的各种其他类型的数据。
348.例如，由交通工具系统(例如，导航系统、通信系统等)接收的信号的质量特性可能出于各种原因而变化。在一些实施例中，信号质量的差异可以被归因于地理状况(例如，天然或人造物体阻挡了从信号源到交通工具的直接视线)或缺乏可以向导航系统广播信号并从导航系统接收传输的收发器的覆盖范围(例如，在特定区域(诸如，农村地区)缺乏蜂窝塔或wi-fi热点，而城市环境能包括道路附近的wi-fi热点、更多蜂窝塔、密集用户集中在相对较小的区域中等)。附加地，诸如区域内的电磁(emi)发射的其他不想要的信号可能会影响导航系统的操作。相应地，交通工具有能力考虑并在必要时避免(或改变导航规划以考虑)以下区域将是有益的：可能具有降低的信号质量的区域、完全没有信号源的区域、具有可能干扰交通工具系统的emi发射的区域、或者以其他方式不与同对象一致的一个或多个通信信号特性相关联的区域。
349.在一些实施例中，交通工具2702可以包括可以访问地图信息(例如，使用交通工具的通信系统)的导航系统(例如，自主驾驶导航系统)。地图信息可以提供与沿路线的或地理区域内的道路和/或地标(例如，标志、建筑物、交通灯等)有关的位置信息。地图信息可以在本地存储(例如，存储在机载于交通工具2702上的数据库中)和/或远程地存储(例如，存储在可通过网络访问的远程服务器中存储的数据库中)。导航系统可进一步使用机载于交通工具2702上的一个或多个相机，以参考地图信息(例如，上文所讨论的rem地图)确定其位置。例如，交通工具2702可以包括一个或多个相机，并且可以参考地图信息、基于图像分析来确定交通工具的位置。在一些实现中，绘图系统可包括道路体验管理(rem)技术。导航系统可以进一步附加于或替代于由图像捕获的图像来使用一个或多个设备，诸如，gps设备、蜂窝网络收发器和/或wi-fi收发器(如本文进一步所讨论)。如之前所讨论，交通工具系统
(例如，导航系统)的性能可能在其中这些设备无法成功地接收或发送、或者其中出现可能干扰导航系统电子设备和/或其他交通工具系统的emi发射的区域中不利地受影响。
350.在一些实施例中，交通工具2702可以正导航(例如，沿所确定的路线行驶)或准备导航(例如，确定初始路线)到目的地2708(例如，街道地址、坐标位置、所定义的区域内的点等)。例如，交通工具2702和/或远程服务器可确定交通工具2702可用于导航到目的地2708的导航信息、地图信息、信号信息等。在一些实施例中，交通工具2702可沿道路网络2704导航，该道路网络2704可允许到达目的地2708的多个潜在路线，诸如，路线2706a和路线2706b。在一些实施例中，如上文所提及，路线可以与至少一个位置重合或落在至少一个位置的预定距离内，该至少一个位置与降低的、不存在的或以其他方式不期望的质量特性(下文将进一步讨论)相关联。例如，路线2706a可通过位置2710，该位置2710可与降低的质量特性(例如，降低的信号强度)相关联。在一些实施例中，设备(例如，服务器1230)可以确定位置(例如，位置2710)与特定信号信息相关联(例如，根据过程3000和/或3001)。基于该确定，可确定路线2706b(例如，根据过程3000)，该路线2706b可与路线2706a不同。在一些实施例中，路线2706b可以比路线2706a更如人意。例如，路线2706b可以不经过位置2710，可以比路线2706a更避开位置2710，可以比路线2706a具有至少一个更期望的特性，可以比路线2706a具有更优化的特性组合(例如，如关于图30所讨论的)，等等。在一些实施例中，路线2706a可以是路线2706a的修改。例如，路线2706a可能与路线2706b部分重叠。在其他实施例中，路线2706a可与路线2706b完全不重叠。在一些实施例中，可以在交通工具2702在本地和/或在远程源(例如，服务器1230)处确定修改(例如，根据过程3000和/或过程3100)。在一些实施例中，经修改的路线可发送至交通工具2702和/或由交通工具2702确定，并且交通工具2702可将当前路线(例如，路线2706a)更改成为修改后的路线(例如，路线2706b)。此类修改可以包括：更改交通工具2702处的数据(例如，改变当前导航数据、改变在交通工具的显示器上显示的信息、改变交通工具的自主操作、改变估计的到达时间、向驾驶员发出警报、向与目的地相关联的实体发出警报等)。
351.图28是符合所公开的实施例的、用于使用信号信息确定多个交通工具之间的路线的系统2800的示意图。在一些实施例中，本文讨论的系统2800和/或设备可以执行本文讨论的过程(例如，过程3000、过程3001)的全部或部分。在一些实施例中，符合所公开的实施例，交通工具2802a可以正导航和/或准备导航到目的地，诸如，目的地2806。例如，交通工具2802a和/或远程服务器(例如，服务器1230)可确定路线2808a，交通工具2802a可沿着该路线2808a行驶以到达目的地2806。在一些实施例中，交通工具2802可以沿着道路网络2804导航，该道路网络2804可以允许到达目的地2806的多个潜在路线，诸如，路线2808a。在一些实施例中，目的地2806可以与特定任务相关联，该任务可以由多个交通工具(例如，交通工具2802a、交通工具2802b等)中的任何一个来完成。例如，目的地2806可以与接载乘客(例如，出租车或共乘服务)、产品交付、服务交付等相关联。
352.在一些实施例中，路线2808a可以通过或靠近位置2810，该位置2810可与降低的质量特性(例如，降低的信号强度)或优选的质量特性(例如，基于一个或多个参数确定，如下文所讨论)相关联。在一些实施例中，设备(例如，服务器1230)可以确定位置(例如，位置2810)与特定信号信息相关联(例如，根据过程3000或3100)。基于该确定，设备可确定另一交通工具和/或路线更适合按照线路引导到目的地2806。例如，远程服务器可以确定交通工
具2802b也可以到达目的地2806和/或完成与目的地相关联的任务，并且可以确定交通工具2802b可以沿着其到达目的地2806的路线2808b。作为进一步的示例，远程服务器和/或交通工具可以确定(例如，根据过程3000或3001)路线2808b比路线2808a更如人意。例如，路线2808b可以不经过位置2810，可以比路线2808a更避开位置2810，可以比路线2808a具有至少一个更期望的特性，可以比路线2808a具有更优化的特性组合(如关于图30、图31等所讨论)，等等。在一些实施例中，路线2808a可与路线2808b部分重叠。在其他实施例中，路线2808a可以不与路线2808b重叠。在一些实施例中，交通工具2808b可被按照路线引导至目的地2806，和/或交通工具2808a可被指令不前往目的地2806(例如，其路线可被取消)。关于例如图31讨论这些方面的进一步示例。
353.图29是符合所公开的实施例的用于使用来自交通工具的信号信息生成导航信息的系统2900的示意图。在一些实施例中，本文讨论的系统2900和/或设备可以执行本文讨论的过程(例如，过程3000、过程3001)的全部或部分。例如，交通工具的车队，诸如，交通工具2910、交通工具2912和交通工具2914，可以从gps、蜂窝或wi-fi源或具有emi发射的区域收集信息，该信息与具有高质量信号(例如，超过预定阈值特定裕度的信号)、足够的信号(例如，满足预定阈值的信号)、降级的信号，或者没有信号的区域相关。例如，交通工具可以基于从网络设备2904(例如，蜂窝网络塔、wi-fi热点和/或任何其他通信联网设备)检测到的信号和/或接收到的信息来确定与信号有关的信息。然后，交通工具(例如，交通工具2910)可将标识这些位置的此类信息传送(例如，提供报告)至远程系统(例如，系统2902)，该远程系统可以用于更新信息(例如，信号信息、地图信息、导航信息)，并可由交通工具(例如，车队的交通工具)使用。
354.在一些实施例中，符合所公开的实施例，系统2902可以包括服务器、多个或服务器和/或用于更新用于交通工具的信息的其他合适的设备。在一些实施例中，用于交通工具的信号信息或其他信息可以从提供方2920(例如，脱离系统2902的分开的设备和/或系统)传送到系统2902。例如，提供方2920可以是与网络通信提供方(例如，蜂窝网络主机、卫星主机等)相关联的系统，该网络通信提供方可以与网络设备2904相关联。以这种方式，系统2902可以从它连接到的交通工具接收信息，但也可以从该系统系统2902可能未连接到的、但是可将信息(例如，信号信息)发送到另一源(例如，提供方2920)的其他交通工具(例如，交通工具2914)接收附加信息(例如，信号信息)。相应地，信息可被持续地众包，并且被考虑到。例如所公开的实施例可以考虑不仅是基于地理的而且还是基于时间的信号的质量特性的改变(例如，没有蜂窝塔的区域可能已经安装了一个蜂窝塔，因此不再是指定为缺少蜂窝服务的区域，一区域可能出现网络中断并且可能指定为缺少蜂窝服务)。
355.在一些实施例中，交通工具可以确定信号信息，该信号信息可以用标识一个或多个位置的信息来补充由导航系统使用的地图信息，上文所讨论信号源(例如，gps、蜂窝、卫星和/或wi-fi网络)在该一个或多个位置处具有至少一个特定质量特性(例如，信号强度、带宽、等待时间、降低的信号质量、完全没有信号等)。如上文所讨论，在交通工具导航期间可生成稀疏地图(例如，rem地图)。例如，主交通工具(例如，交通工具2912)可以从交通工具驾驶收集信息，并聚合该信息以填充地图(例如，rem地图)。此类信息可从配备此类导航系统的交通工具的车队(例如，交通工具2910、交通工具2912和交通工具2914)收集，此类导航系统进而可以将交通工具驾驶信息(例如，包括信号信息、图像信息、传感器信息、计算等)
上传至服务器。在一些情况下，如下文进一步所讨论，由交通工具的车队提供的聚合信息可包括一下各项的指示符：gps位置数据、gps信号强度和/或准确度、wi-fi强度和/或可用性、蜂窝强度和/或可用性、与emi发射相关联的位置，等等。由于地图信息和/或信号信息可以标识在其中信号质量低于标准或不存在的位置、路线或区域(例如，基于信号信息)，因此导航系统可选择避开此类区域或减少穿越此类区域所花费的时间的路线。
356.图30是示出符合所公开的实施例的用于确定用于交通工具的路线信息的示例性过程3000的流程图。过程3000可以由处理设备的处理器执行，该处理设备的处理器例如以下各项的处理器，导航系统(例如，带交通工具的导航系统)、远程服务器(例如，服务器1230)、多个服务器、远程系统(例如，系统2902)、或这些的任何组合。过程3000中的任何和所有步骤都是任选的，并且可以以任何组合移除、重新布置和/或重新排序。
357.在一些实施例中，过程3000可以执行步骤3010。在步骤3010，过程3000可以获得交通工具的位置。在一些实施例中，获得交通工具的位置可以包括：基于与交通工具相关联的gps数据或其他位置数据来确定位置。此类数据可以由交通工具(例如，交通工具2702)、远程服务器、卫星和/或其他计算设备生成，和/或可在交通工具(例如，交通工具2702)、远程服务器、卫星和/或其他计算设备处接收。例如，远程服务器可以基于从交通工具接收的位置数据来确定交通工具的位置，该位置数据进而可以已经通过可连接至通信网络的交通工具与连接到通信网络的至少一个设备(例如，蜂窝、卫星、其他交通工具、wi-fi热点、路线器等)之间的通信而确定。在一些实施例中，可以使用由相机捕获的至少一个图像来确定交通工具的位置，该图像可以被包括在交通工具中或交通工具上。
358.在一些实施例中，过程3000可以执行步骤3020。在步骤3020，过程300可以访问上文所讨论的地图信息。在一些实施例中，所访问的地图信息可以存储在交通工具处(例如，存储在交通工具的导航系统的存储器组件中)、存储在远程源(例如，远程服务器)处、和/或存储在这些设备的组合中。在一些实施例中，远程源可以向交通工具传送地图信息，该地图信息可由交通工具的导航系统使用(例如，以自主地将交通工具驾驶到目的地)。
359.在步骤3030，过程300可以确定路线，该路线可以是从交通工具(例如，交通工具2702)的位置到目的地(例如，目的地2708)的路线。在一些实施例中，路线可由针对其计划路线的交通工具确定。附加地或替代地，路线(例如，从交通工具的位置到目的地的路线)可以由远程源(例如，远程服务器，诸如，服务器1230)确定和/或可从远程源(例如，由交通工具2702)获得。在一些实施例中，可以基于从至少一个远程服务器接收的地图信息来确定路线。在一些实施例中，交通工具可以被配置为用于自主或半自主驾驶。
360.在步骤3040，过程3000可以接收信号信息，该信号信息可指示与沿着路线的至少一个位置相关联的信号的至少一个方面的质量特性和/或可用性。在一些实施例中，信号信息可以指示多个质量特性。信号可以包括卫星信号、蜂窝信号、wi-fi信号、无线电信号和/或任何数据传输信号。质量特性可包括信号的、可影响与交通工具相关联的设备、交通工具的驾驶员、交通工具的乘客的操作、和/或与交通工具相关联的任务(例如，乘客的接载)。例如，质量特性可以包括以下至少一项：信号强度、带宽、频率、振幅、调制、信号格式、通信标准、上传速率、下载速率、信号质量(例如，丢包率)、网络类型(4g、5g等)、漫游或本机网络特性，网络安全等级、移动qos等级、或等待时间。在一些实施例中，信号的质量特性可能受与位置相关联的(例如，在该位置的预定半径内的、在该位置处或该位置附近检测到的，等等)
电磁发射影响。在一些实施例中，可将电磁发射确定为信号干扰的潜在源(例如，架空电力线)。
361.在一些实施例中，信号信息可包括指示位置(例如，交通工具的位置、沿路线的位置、沿道路的位置等)的预定半径内的信号的质量特性的信息。在一些实施例中，信号信息可以基于从多个交通工具收集的信息(例如，如关于图29所讨论)。替代地或者附加地，信号信息可以基于来自至少一个网络提供方(诸如，提供方2920(例如，如关于图29所讨论))的信息。
362.在一些实施例中，信号信息(例如，在步骤3040处接收到的信号信息)可以是第一信号信息，并且过程3000可以基于由交通工具(例如，在步骤3030处针对其确定路线的交通工具)接收到的第二信号信息更新第一信号信息。在一些实施例中，可从另一交通工具(例如，除在步骤3030处针对其确定路线的交通工具以外的交通工具)接收第二信号信息。
363.在步骤3050，过程3000可确定质量参数，该质量参数可以是与通信系统(例如，与传送、接收和/或处理到交通工具的通信和/或来自交通工具的通信相关联的交通工具的系统，如关于图27所讨论的)相关联的至少一个操作特性的质量参数。在一些实施例中，通信系统可以与导航系统(例如，如关于图12所讨论的)、传感器和/或与交通工具相关联的另一设备或系统相关联。在一些实施例中，导航系统可以被配置为经由通信系统接收地图信息。在一些实施例中，通信系统可包括交通工具内的移动设备。例如，通信系统可以包括用户的移动设备，诸如但不限于智能手机、平板电脑、智能手表、虚拟和/或增强现实可穿戴设备、便携式游戏设备和/或多媒体设备(例如，dvd或蓝光播放器、电视、音乐播放器、收音机、卫星收音机等)。
364.操作特性可包括与由交通工具系统和/或所连接的设备执行的操作的性能相关的任何方面，包括但不限于：交通工具驾驶操作(例如，加速操作、制动操作、转向操作)或数据操作(例如，将导航和/或信号信息下载至交通工具，从交通工具上传导航和/或信号信息，将数据下载至交通工具内的用户设备，从交通工具内的用户设备上传数据)。作为进一步的示例，操作特性可以包括：接收用于导航交通工具的地图信息、接收视频或音频信息(例如，导航指令、电话呼叫数据、视频呼叫数据等)和/或接收遥操作通信信息或多媒体信息。
365.质量参数可以是用于(例如，使用信号信息)确定路线的适用性的限制、范围、算法、值、变量或其他表示。在一些实施例中，质量参数可基于以下至少一项：预定的系统参数(例如，由交通工具系统定义的参数、由远程管理源定义的参数等)、用户偏好(例如，由用户诸如在交通工具中的用户接口处设置的参数)，或网络活动(例如，交通工具系统与另一联网设备之间的网络通信)。在一些实施例中，网络活动可包括使用交通工具内的无线网络连接的设备(例如，如上文所讨论的移动设备)。作为示例，质量参数可以包括以下至少一项：信号强度、带宽、频率、振幅、调制、信号格式、通信标准、上传速率、下载速度、信号质量(例如，丢包率)、网络类型(4g、5g等)、漫游或本机网络特性，网络安全等级、移动qos等级或等待时间。
366.在一些实施例中，质量参数可包括以下至少一项的测量：信号强度、带宽、频率、振幅、调制、信号格式、上传速率、下载速率、信号质量(例如，丢包率)、网络类型(4g、5g等)、漫游或本机网络特性、网络安全等级，移动qos等级或等待时间。在一些实施例中，测量可以是基于来自一个或多个交通工具的数据的统计测量。例如，测量可以是中位数、平均值、范围、
百分位值、加权值、时间相关值和/或上下文相关值(例如，取决于交通工具的操作上下文，诸如，行驶速率、交通灯位置、天气状况等)。作为进一步的示例，可以基于多个值(例如，信号强度的值)来确定测量，该多个值可以与相同或类似的位置相关联，和/或可由单个交通工具、多个交通工具和/或网络设备获得。随着新数据(例如，从交通工具的车队)被收集，测量可以(例如，由系统2902)动态地更新。在一些实施例中，质量参数可包括简档，其可以在时间上或空间上变化，使得在某些时间和/或位置/区域存在针对信号的不同参数和/或权重(例如，用于与信号信息进行比较)。
367.在一些实施例中，交通工具(例如，在步骤3030处针对其确定路线的交通工具)和/或远程服务器(例如，服务器1230)可以确定信号信息(例如，在步骤3040处接收的信号信息)是否满足质量参数(例如，在步骤3050处确定的质量参数)。在一些实施例中，信号信息可能不满足质量参数，这可能影响用于交通工具的路线(如下文所讨论)。
368.在步骤3060，过程3000可以确定对用于交通工具的路线的至少一个修改，该至少一个修改可基于信号信息(例如，在步骤3040处接收到的信号信息)和质量参数(例如，在步骤3050处确定的质量参数)，。例如，可以基于路线参数与阈值的比较来确定至少一个修改。作为另一示例，可以基于参数(例如，质量参数、下文进一步讨论的路线参数、阈值等)与同经修改的路线相关联的值和/或值的组合的比较来确定至少一个修改。作为示例，质量参数的阈值(例如，信号强度、带宽等的阈值)可与至少一个路线特性(例如，与经修改的路线相关联的值)相比较。例如，可以对照预定阈值来评估信号信息。作为进一步的示例，预定阈值可以表示先前确定为为一个或多个预定任务(例如，将视频信息流传输到可通信地连接到交通工具的移动设备)提供足够信号强度的质量水平(例如，质量特性的水平)。导航系统可以选择替代的或经修改的路线，以便在从一个或多个这些源(例如gps源、蜂窝源和/或wi-fi源)提供足够信号强度的区域内行驶。例如，导航系统可以选择具有更好的gps、蜂窝或wi-fi信号的路线，或者可以选择具有更多蜂窝塔或更多wi-fi热点的路线。类似地，由于信号信息可以识别在其中电磁(emi)发射可能影响导航系统和/或通信系统的电子设备的操作的区域，因此导航系统可以避开此类区域并选择替代路线。替代地或者附加地，过程3000可以基于多个质量参数确定对用于交通工具的路线的至少一个修改。
369.在一些实施例中，可以确定多个经修改的路线，并且可以诸如基于质量参数、路线参数和/或用户选择来选择多个路线中的一个。例如，过程3000可以搜索最佳匹配(例如，满足质量和/或路线参数的组合)，或从匹配的路线或最佳路线(或者可以由可用的路径连接以提供路线的点)之中选择。在一些实施例中，可以基于从至少一个远程服务器接收的地图信息来确定修改。
370.在一些实施例中，可以基于路线参数(例如，与同信号信息的质量特性相关联的质量参数不同的参数)来确定修改。例如，在步骤3040处接收的信号信息可以是第一信号信息，并且路线参数可以包括以下至少一个：指示与沿第二路线的至少第二位置相关联的信号的第二质量特性的第二信号信息、行驶时间、距离、能源消耗程度、潜在额外乘客的数量、导航偏好(例如，避免左转的偏好、避免右转的偏好、避免收费公路的偏好、避免繁忙交叉口的偏好、避免公路的偏好、避免交通的偏好等)，安全偏好(例如，避免高事故区域的偏好)、网络类型偏好(例如，4g网络、5g网络、wi-fi网络、卫星星座等)、或网络提供方偏好(例如，相对于其他网络提供方优先考虑特定网络提供方的偏好)。在一些实施例中，可以将路线参
数与路线特性(例如，与确定的路线相关联的预期值，诸如，预期行驶时间)进行比较。在一些实施例中，可以基于此类比较来确定修改。替代地或者附加地，过程3000可以基于多个路线参数确定对用于交通工具的路线的至少一个修改。
371.在一些实施例中，可以根据评分方案对质量参数和路线参数进行加权。例如，计算设备(例如，具有交通工具的处理设备、服务器1230等)可以使至少一个质量参数和至少一个路线参数彼此相关，它们可以具有不同的权重。在一些实施例中，计算设备可以根据参数的权重来优化参数。在一些实施例中，质量参数可以取决于路线参数。例如，可以在路线参数(例如，对于经修改的路线)达到预定阈值之后优化质量参数。在其他实施例中，路线参数可以取决于质量参数。例如，可以在质量参数(例如，对于经修改的路线)达到预定阈值之后优化路线参数。
372.附加地，导航系统可以对路线或位置进行排序，并决定是否在此类区域内行驶。相应地，所公开的系统和方法可以使用评分方案(例如，加权方法)来决定是否行驶特定路线或经过特定区域。例如，如果区域经受了降级的蜂窝信号但具有wi-fi热点，则可能没有理由避开该区域。作为另一个示例，如果路线具有足够的gps覆盖但是没有蜂窝塔，则行驶该路线可以是可接受的。在此类示例中，尽管如此，由于一个或多个预定准则(例如，路线可能涉及延长的行驶时间和/或延长的距离、更大的风险、在收费公路上行驶等)，具有良好的gps接收和蜂窝覆盖的替代路线可能被确定为总体上不那么优选。在一些实施例中，预定准则可由用户确定(例如，使用交通工具的信息娱乐中心接口输入到导航系统中)。
373.此外，过程3000也可以使用标识没有信号源(或具有降低的信号)的区域的信号信息来决定何时切换网络。例如，如果信号信息指示区域没有wi-fi覆盖但具有蜂窝服务，则导航系统在行驶到该区域时可以将通信从wi-fi网络切换到蜂窝网络(如下文进一步所讨论)。作为另一示例，可以基于可用信号强度来选择路线(例如，在路线选择中，可以向更高的信号强度分配更多权重)。作为又一示例，可以基于预定的服务提供方或承载方(例如，如上文所讨论的优选的蜂窝提供方的网络)来选择路线。相应地，例如，不同的服务提供方或承载方可以与不同的分数(或权重)相关联，并且相应地被选择。例如，如果沿着路线的优选承载方的网络的信号强度满足预定阈值，则可以相对于具有由第二承载方提供的覆盖的路线来选择具有优选承载方提供的覆盖的路线，即使对于替代的路线而言，第二承载方的信号强度更强。
374.可以确定修改，以向交通工具提供具有改善的质量特性的信号。例如对路线的至少一个修改可以包括绕着沿路线的至少一个位置行驶(例如，避开落在该位置的预定距离内的路线，该路线可能与降低的或者以其他方式不期望的信号的质量特性相关联，或选择此类路线以便例如为对此类信号有更高要求的交通工具减少负载)。在一些实施例中，对路线的至少一个修改可以减少沿着路线的至少一个位置的附近的行驶时间。然而，在其他实施例中，诸如在其中行驶时间与其他因素一起考虑的那些实施例(如本文所讨论的)，对路线的至少一个修改可以维持或增加沿着路线的至少一个位置附近的行驶时间。其他方面(诸如，行驶安全、行驶舒适性、数字服务的信号质量，或本文所讨论的任何其他参数或操作)可能取决于参数之间的优先级和/或相互作用(例如，通过评分方案，如上文所讨论)而受积极或消极的影响。
375.在一些实施例中，过程3000可以确定沿着路线的至少一个点，在该至少一个点处，
交通工具的通信从第一网络被切换到第二网络。例如，过程300可以确定沿着路线的至少一个点，在该至少一个点处断开交通工具与第一网络之间的第一连接，并且连接交通工具与第二网络之间的第二连接。在一些实施例中，用于切换通信的信息(例如，指令)可以用于与(例如，由远程服务器和/或交通工具系统生成和/或传送的)经修改的路线的导航信息相关联。
376.在一些实施例中，过程300可以分析多个报告(例如，使用来自多个交通工具的信息生成的报告)。在一些实施例中，多个报告可响应于从交通工具的车队的众包而来的数据而生成(例如，如关于图29所讨论的)。过程300还可以基于对多个报告的分析来确定优化路线(例如，初始路线、经修改的路线、经修改的路线后续的路线等)。在一些实施例中，确定优化的路线可以包括在优化之前对于沿路线的至少一个位置确定以下各项：与在确定优化路线之前沿着路线的至少一个位置(例如，交通工具已经穿过的位置)相关联的信号的质量特性、以及与优化路线的至少一个位置(例如，沿尚未由沿路线行驶的交通工具穿过的优化路线的位置)相关联的信号的质量特性。
377.图31是示出符合所公开的实施例的用于确定交通工具之间路线的示例性过程3100的流程图。过程3100可以由处理设备的处理器执行，该处理设备的处理器例如以下各项的处理器：导航系统(例如，带交通工具的导航系统)、远程服务器(例如，服务器1230)、多个服务器、远程系统(例如，系统2902)的处理器、或这些设备的任何组合。过程3000的各个方面可以与过程3100相结合，并且反之亦然。附加地，尽管结合自主交通工具的示例进行了讨论，但过程3100同样适用于半自主或非自主交通工具。
378.在步骤3110，过程3100可以接收第一位置，该第一位置可以是第一交通工具(例如，自主交通工具)的位置。在一些实施例中，第一位置可以如关于过程3000(例如，步骤3010)所讨论的那样被接收和/或确定。
379.在步骤3120，过程3100可以接收第二位置，该第二位置可以是第二交通工具(例如，自主交通工具)的位置。在一些实施例中，第二位置可以如关于过程3000(例如，步骤3010)所讨论的那样被接收和/或确定。
380.在步骤3130，过程3100可以接收目的地，该目的地相比距第二交通工具的第二位置可以更靠近(例如，基于距离和/或行驶时间)第一交通工具的第一位置。在一些实施例中，目的地可以基于用户输入(例如，在交通工具、在用户设备等处)。替代地或者附加地，目的地可以与任务(例如，乘客接载、产品交付、服务交付等)相关联。
381.在步骤3140，过程3100可以确定路线，该路线可为第一路线(例如，从第一位置到目的地)或第二路线(例如，从第二位置到目的地)。在一些实施例中，过程3100可确定第一路线和第二路线。在一些实施例中，第一路线和第二路线可以在某种程度上重叠，或者完全不重叠(例如，参见图28)。
382.在步骤3150，过程3100可接收第一信号信息(例如，指示与沿着第一路线的至少一个位置相关联的第一信号的第一质量特性的信号信息)。符合所公开的实施例，步骤3150的信号、信号信息、质量特性、位置、路线和/或任何其他方面可以共享关于图30描述的方面或多个方面的组合。例如，第一信号信息可以基于从多个交通工具收集的信息。
383.在步骤3160，过程3100可以接收第二信号信息(例如，指示与沿着第二路线的至少一个位置相关联的第二信号的第二质量水平的信号信息)。符合所公开的实施例，步骤3150
的信号、信号信息、质量特性、位置、路线和/或任何其他方面可以共享关于图30描述的方面或多个方面的组合。例如，第二信号信息可以基于从多个交通工具收集的信息。
384.在步骤3170，过程3100可以接收质量参数，该质量参数可以是与第一交通工具的第一通信系统和第二交通工具的第二通信系统相关联的至少一个操作特性的质量参数。符合所公开的实施例，步骤3170的质量参数、操作特性、通信系统和/或任何其他方面可以共享关于图30描述的方面或多个方面的组合。
385.在步骤3180，过程3100可确定是否将第一交通工具或自主交通工具按照路线引导到目的地。过程3100可以基于第一位置、第二位置和质量参数来确定是否将第一交通工具或第二交通工具按照路线引导到目的地。在一些实施例中，确定是否按照路线发送第一交通工具和第二交通工具中的一个可以包括确定第一信号信息不满足质量参数。在一些实施例中，确定是否按照路线引导第一交通工具和第二交通工具中的一个可以包括：确定第一信号信息不满足多个质量参数。在其他实施例中，确定是否按照路线引导第一交通工具和第二交通工具中的一个可以包括：确定第二路线(例如，在步骤处3140确定)比第一路线(例如，在步骤3140处确定)更高程度地满足质量和/或路线参数(例如，如关于过程3000所讨论)的组合。在一些实施例中，可以基于至少一个质量参数和至少一个路线参数(例如，如关于过程3000所讨论)来确定是否按照路线引导第一交通工具和第二交通工具中的一个。
386.在一些实施例中，按照路线引导可能受其他代理(例如，交通工具)影响，这些代理可能正在类似的附近区域中或在类似的时间导航。此类代理可能影响信号的任何数量的参数(例如，质量参数、路线参数等)的改变。在一些实施例中，优化算法可以用于基于由多代理场景(例如，参数的间接性变化)产生的复杂性来确定要按照路线引导的最佳交通工具或优选交通工具。代理可具有不同的能力和/或可被分配有具有不同参数简档的不同任务。在一些实施例中，代理可能能够在特定距离(例如，预定半径)内支持代理中的一些或全部或以其他方式与代理中的一些或全部合作。在一些实施例中，代理可能不利地影响附近的代理(例如，通过对系统或网络资源等竞争)。相应地，过程3100可以基于从其他代理确定的信息来确定要按照路线引导的交通工具。在一些实施例中，当代理进入或离开特定区域(例如，在已被按照路线引导到目的地的交通工具附近的区域)时，可以改变确定(例如，使用参数信息)。作为示例但不作为限制，消耗或计划消耗低数据量的第一交通工具可能正在区域内驾驶，并且当消耗或计划消耗大量数据的第二交通工具可能进入该区域时，该第一交通工具可使其路线、带宽等改变。通过这种方式，可以维持数据操作的期望质量，同时潜在地引起对交通工具路线的可容忍改变。
387.在步骤3190，过程3100可传送指令信息，该指令信息可被配置为使第二交通工具从第二位置行驶到目的地(例如，根据第二路线)。例如，过程3100可以传送用于第二交通工具导航到目的地的地图信息、坐标、驾驶操作指令、显示信息和/或任何其他导航信息。在一些实施例中，可以配置指令信息，以使第二交通工具的一个或多个系统组件(例如，转向、制动和/或节流系统)实现一个或多个导航动作(例如，转弯、制动和/或加速)。
388.前述描述已经出于说明的目的被呈现。其并非是穷尽性的，并且不限于所公开的精确形式或实施例。通过考虑说明书和所公开的实施例的实施，修改和改编对于本领域技术人员来说将是显而易见的。另外，尽管所公开的实施例的方面被描述为存储在存储器中，但本领域技术人员将会领会，这些方面也可以存储在其他类型的计算机可读介质上，诸如，
辅助存储设备，例如，硬盘或cd rom，或其他形式的ram或rom、usb介质、dvd、蓝光、4k超高清蓝光或其他光驱介质。
389.基于书面描述和所公开的方法的计算机程序在经验丰富的开发人员的技能范围内。各种程序或程序模块可以使用本领域技术人员已知的任何技术来创建，或者可以结合现有软件来设计。例如，程序段或程序模块可以通过或借助.net框架和.net紧凑框架(以及相关语言，诸如visual basic、c等)、java、c++、面向对象的c、html、html/ajax组合、xml或包括java小程序的html来设计。
390.此外，尽管本文已经描述了说明性实施例，但是本领域技术人员基于本公开将会领会具有的等效的要素、修改、省略、组合(例如，跨各个实施例的方面的组合)、改编和/或变更的任何和所有实施例的范围。权利要求中的限制将基于权利要求中使用的语言进行广义解释，而不限于在本说明书中或在本技术的审查期间描述的示例。这些示例将被解释为非排他性的。此外，可以以任何方式修改所公开方法的步骤，包括通过对步骤重新排序、插入步骤和/或删除步骤。因此，本说明书和示例旨在仅被视为说明性的，其中真正的范围和精神由所附权利要求及其等效方案的全部范围来指示。