用于车辆导航的系统和方法与流程

用于车辆导航的系统和方法
1.相关申请的交叉引用
2.本技术要求于2018年4月3日提交的美国临时专利申请no.62/652,044的优先权权益，其全部内容通过引用并入本文。
技术领域
3.本公开总体上涉及自主车辆导航。


背景技术：

4.随着技术的不断进步，能够在道路上导航的完全自主车辆的目标即将出现。自主车辆可能需要考虑各种各样的因素，并且基于那些因素做出适当的决定，以安全和精确地到达预期的目的地。例如，自主车辆可能需要处理和解释可视信息(例如，从相机捕获的信息)、来自雷达或激光雷达的信息，并且也可能使用从其他源(例如，从gps装置、速度传感器、加速度计、悬架传感器等)获得的信息。同时，为了导航到目的地，自主车辆可能还需要识别其在特定道路(例如，多车道道路中的具体车道)内的位置，与其他车辆并排导航，避开障碍物和行人，观察交通信号和标志，并在适当的交叉路口或交汇处从一条道路行驶到另一条道路。当自主车辆行驶到其目的地时利用(harness)和解释由该车辆收集的大量信息造成了许多设计挑战。自主车辆可能需要分析、访问和/或存储的海量数据(例如，捕获的图像数据、地图数据、gps数据、传感器数据等)造成了实际上可能限制甚至不利地影响自主导航的挑战。此外，如果自主车辆依靠传统的绘制(mapping)技术来导航，那么存储和更新地图所需的海量数据将造成巨大的挑战。


技术实现要素：

5.与本公开一致的实施例提供了用于自主车辆导航的系统和方法。所公开的实施例可以使用相机来提供自主车辆导航特征。例如，与所公开的实施例一致，所公开的系统可以包含一个、两个或更多个监控车辆的环境的相机。所公开的系统可以基于，例如对由一个或多个相机捕获的图像的分析来提供导航响应。
6.在一个实施例中，用于选择性地从主车辆收集信息的系统可以包括至少一个处理设备，该至少一个处理设备被编程为使得收集与主车辆穿越的环境相关联的导航信息。至少一个处理设备还可以被编程为存储所收集的导航信息。至少一个处理设备可以被编程为基于至少一个导航传感器的输出来确定主车辆的位置。至少一个处理设备可以被编程为将主车辆的确定的位置发送到服务器。至少一个处理设备可以被编程为从服务器并且响应于所发送的确定的位置，接收对发送由主车辆收集的导航信息的选择的子集的请求。至少一个处理设备可以被编程为将导航信息的选择的子集发送到服务器。
7.在一个实施例中，用于选择性地从主车辆收集信息的方法可以包括使得收集与主车辆穿越的环境相关联的导航信息。该方法可以包括存储收集的导航信息。该方法可以包括基于至少一个导航传感器的输出来确定主车辆的位置。该方法可以包括将主车辆的确定
的位置发送到服务器。该方法可以包括从服务器并且响应于所发送的确定的位置，接收对发送由主车辆收集的导航信息的选择的子集的请求。该方法可以包括将导航信息的选择的子集发送到服务器。
8.在一个实施例中，用于从主车辆收集信息的系统可以包括至少一个处理设备，该至少一个处理设备被编程为基于从主车辆的至少一个导航传感器接收的输出来确定主车辆的位置指示符。至少一个处理设备还可以被编程为将主车辆的确定的位置的指示符发送到服务器。至少一个处理设备可以被编程为从服务器接收对与确定的位置相关的导航信息的请求，其中该请求包括信息收集参数。至少一个处理设备可以被编程为根据信息收集参数获得与确定的位置相关的导航信息。至少一个处理设备可以被编程为将所获得的导航信息发送到服务器。
9.在一个实施例中，用于从主车辆收集信息的系统可以包括至少一个处理设备，该至少一个处理设备被编程为接收触发，该触发被配置为发起从主车辆的导航信息收集。至少一个处理设备可以被编程为向主车辆发送对与主车辆的位置相关的导航信息的请求，其中该请求包括指示将由主车辆在该位置处收集的信息的类型的信息收集参数。至少一个处理设备可以被编程为从主车辆接收由主车辆相对于该位置并根据信息收集参数收集的导航信息。
10.在一个实施例中，用于验证和补充从主车辆接收的信息的系统可以包括存储数据库的存储器设备和至少一个处理设备，该至少一个处理设备被编程为从主车辆接收基于对主车辆穿越的环境的获得的图像的分析而确定的特征坐标信息。至少一个处理设备还可以被编程为将接收的特征坐标信息和与主车辆的环境相关联的地图信息进行比较，其中地图信息被存储在数据库中。至少一个处理设备可以被编程为基于该比较来确定特征图像坐标信息和地图信息之间的方差(variance)。至少一个处理设备还可以被编程以确定该方差是否超过可接受的水平。至少一个处理设备可以被编程为当该方差超过可接受的水平时，向主车辆发送补充信息请求。
11.与其他公开的实施例一致，非暂时性计算机可读存储介质可以存储由至少一个处理装置执行的程序指令，并且可以进行本文中所描述的任何方法。
12.前述的总体描述和下面的详细描述仅仅是示例性和说明性的，并不是对权利要求的限制。
附图说明
13.并入本公开中并构成本公开的一部分的附图图示了各种所公开的实施例。在附图中：
14.图1是与所公开的实施例一致的示例性系统的图示性表示。
15.图2a是包含与所公开的实施例一致的系统的示例性车辆的图示性侧视图表示。
16.图2b是与所公开的实施例一致的图2a中所示的车辆和系统的图示性顶视图表示。
17.图2c是包含与所公开的实施例一致的系统的车辆的另一实施例的图示性顶视图表示。
18.图2d是包含与所公开的实施例一致的系统的车辆的又一实施例的图示性顶视图表示。
19.图2e是包含与所公开的实施例一致的系统的车辆的又一实施例的图示性顶视图表示。
20.图2f是与所公开的实施例一致的示例性车辆控制系统的图示性表示。
21.图3a是与所公开的实施例一致的包含后视镜和用于车辆成像系统的用户界面的车辆的内部的图示性表示。
22.图3b是与所公开的实施例一致的配置为定位在后视镜后面并抵靠车辆风挡的相机安装的示例的图示。
23.图3c是与所公开的实施例一致的图3b中所示的相机安装从不同的视角的图示。
24.图3d是与所公开的实施例一致的配置为定位在后视镜后面并抵靠车辆风挡的相机安装的示例的图示。
25.图4是与所公开的实施例一致的配置为存储用于进行一个或多个操作的指令的存储器的示例性框图。
26.图5a是示出与所公开的实施例一致的用于基于单目图像分析来引起一个或多个导航响应的示例性过程的流程图。
27.图5b是示出与所公开的实施例一致的用于在一组图像中检测一个或多个车辆和/或行人的示例性过程的流程图。
28.图5c是示出与所公开的实施例一致的用于在一组图像中检测道路标记和/或车道几何结构信息的示例性过程的流程图。
29.图5d是示出与所公开的实施例一致的用于在一组图像中检测交通灯的示例性过程的流程图。
30.图5e是示出与所公开的实施例一致的用于基于车辆路径来引起一个或多个导航响应的示例性过程的流程图。
31.图5f是示出与所公开的实施例一致的用于确定前方车辆是否正在改变车道的示例性过程的流程图。
32.图6是示出与所公开的实施例一致的用于基于立体图像分析来引起一个或多个导航响应的示例性过程的流程图。
33.图7是示出与所公开的实施例一致的用于基于三组图像的分析来引起一个或多个导航响应的示例性过程的流程图。
34.图8示出了与所公开的实施例一致的用于提供自主车辆导航的稀疏地图。
35.图9a示出了与所公开的实施例一致的道路段的部分的多项式表示。
36.图9b示出了与所公开的实施例一致的三维空间中的曲线，该曲线表示稀疏地图中包含的特定道路段的车辆的目标轨迹。
37.图10示出了与所公开的实施例一致的可以包含在稀疏地图中的示例地标。
38.图11a示出了与所公开的实施例一致的轨迹的多项式表示。
39.图11b和11c示出了与所公开的实施例一致的沿着多车道道路的目标轨迹。
40.图11d示出了与所公开的实施例一致的示例道路签名(signature)轮廓(profile)。
41.图12是与所公开的实施例一致的系统的示意图示，该系统使用从多个车辆接收的众包(crowd sourcing)数据用于自主车辆导航。
42.图13示出了与所公开的实施例一致的由多个三维样条(spline)表示的示例自主车辆道路导航模型。
43.图14示出了与所公开的实施例一致的根据组合来自多个驾驶的位置信息而生成的地图骨架(skeleton)。
44.图15示出了与所公开的实施例一致的两个驾驶的纵向对齐的示例，其中示例标志作为地标。
45.图16示出了与所公开的实施例一致的具有作为地标的示例标志的多个驾驶的纵向对齐的示例。
46.图17是与所公开的实施例一致的用于使用相机、车辆和服务器生成驾驶数据的系统的示意图示。
47.图18是与所公开的实施例一致的用于众包稀疏地图的系统的示意图示。
48.图19是示出与所公开的实施例一致的用于生成用于沿着道路段的自主车辆导航的稀疏地图的示例性过程的流程图。
49.图20示出了与所公开的实施例一致的服务器的框图。
50.图21示出了与所公开的实施例一致的存储器的框图。
51.图22示出了与所公开的实施例一致的聚类与车辆相关联的车辆轨迹的过程。
52.图23示出了与所公开的实施例一致的用于车辆的导航系统，该导航系统可以用于自主导航。
53.图24是示出了与所公开的实施例一致的用于选择性地从主车辆上传信息的示例性过程的流程图。
54.图25示出了与所公开的实施例一致的用于选择性地从主车辆上传信息的系统。
55.图26是示出了与所公开的实施例一致的用于选择性地从主车辆上传信息的示例性方法的流程图。
56.图27a是与所公开的实施例一致的被配置为存储用于执行一个或多个操作的指令的存储器的示例性框图。
57.图27b是与所公开的实施例一致的被配置为存储用于执行一个或多个操作的指令的存储器的示例性框图。
58.图28是示出了与所公开的实施例一致的用于从主车辆收集信息的示例性过程的流程图。
59.图29是示出了与所公开的实施例一致的用于从主车辆收集信息的示例性方法的流程图。
60.图30是示出了与所公开的实施例一致的用于从主车辆收集信息的示例性方法的流程图。
61.图31是与所公开的实施例一致的被配置为存储用于执行一个或多个操作的指令的存储器的示例性框图。
62.图32示出了与所公开的实施例一致的验证和补充从主车辆接收的信息的示例。
63.图33是示出了与所公开的实施例一致的用于验证和补充从主车辆接收的信息的示例性方法的流程图。
具体实施方式
64.以下的详细描述参考附图。只要可能，在附图和以下的描述中使用相同的参考标号来指代相同或相似的部分。虽然本文描述了数个说明性实施例，但是修改、改编和其他实现方式是可能的。例如，可以对附图中图示的组件做出替换、添加或修改，并且可以通过对所公开的方法进行步骤的替换、重新排序、移除或添加，来对本文所描述的说明性方法进行修改。因此，以下的详细描述并不限于所公开的实施例和示例。代替地，适当的范围由所附权利要求限定。
65.自主车辆概览
66.如贯穿本公开所使用的，术语“自主车辆”指代在没有驾驶员输入的情况下能够实现至少一个导航改变的车辆。“导航改变”指代车辆的转向、制动、或加速中的一个或多个改变。为了实现自主，车辆不需要是完全自动的(例如，在没有驾驶员或没有驾驶员输入的情况下完全可操作的)。相反，自主车辆包含能够在某些时间段期间在驾驶员的控制下操作，且在其他时间段期间无需驾驶员控制而操作那些车辆。自主车辆还可以包含仅控制车辆导航的一些方面的车辆，诸如转向(例如，在车辆车道限制之间维持车辆路线(course))，但是可以将其他方面留给驾驶员(例如，制动)。在一些情况下，自主车辆可以处理车辆的制动、速度控制和/或转向中的一些或全部方面。
67.由于人类驾驶员通常依赖于可视线索和观察以便控制车辆，因此相应地建造了交通基础设施，其中车道标记、交通标志和交通灯所有都被设计为向驾驶员提供可视信息。鉴于交通基础设施的这些设计特性，自主车辆可以包含相机以及分析从车辆的环境捕获的可视信息的处理单元。可视信息可以包含，例如，可由驾驶员观察到的交通基础设施(例如，车道标记、交通标志、交通灯等)的组件以及其他障碍物(例如，其他车辆、行人、碎片等)。此外，自主车辆还可以使用存储的信息，诸如在导航时提供车辆环境的模型的信息。例如，车辆可以使用gps数据、传感器数据(例如，来自加速度计、速度传感器、悬架传感器等)和/或其他地图数据，以在车辆正在行驶时提供与其环境相关的信息，并且该车辆(以及其他车辆)可以使用该信息在模型上对其自身定位。
68.在本公开的一些实施例中，自主车辆可以使用在导航时(从相机、gps装置、加速度计、速度传感器、悬架传感器等)获得的信息。在其他实施例中，自主车辆可以在导航时使用从该车辆(或其他车辆)过去的导航中获得的信息。在其他实施例中，自主车辆可以使用在导航时获得的信息和从过去的导航中获得的信息的组合。以下部分提供了与所公开的实施例一致的系统的概述，随后是与该系统一致的前向成像系统和方法的概述。以下部分公开了用于构建、使用和更新用于自主车辆导航的稀疏地图的系统和方法。
69.系统概览
70.图1是与所公开的示例性实施例一致的表示系统100的框图。系统100可以取决于特定实现方式的要求而包含各种组件。在一些实施例中，系统100可以包含处理单元110，图像获取单元120，位置传感器130，一个或多个存储器单元140、150，地图数据库160，用户界面170和无线收发器172。处理单元110可以包含一个或多个处理装置。在一些实施例中，处理单元110可以包含应用处理器180、图像处理器190或任何其他合适的处理装置。类似地，图像获取单元120可以取决于特定应用的要求而包含任何数目的图像获取装置和组件。在一些实施例中，图像获取单元120可以包含一个或多个图像捕获装置(例如，相机)，诸如图
像捕获装置122、图像捕获装置124和图像捕获装置126。系统100还可以将处理装置110通信地连接到图像获取装置120的数据接口128。例如，数据接口128可以包含用于将由图像获取装置120获取的图像数据发送到处理单元110的任何有线和/或无线的一个或多个链路。
71.无线收发器172可以包含一个或多个装置，其被配置为通过使用射频、红外频率、磁场或电场通过空中接口将传输交换到一个或多个网络(例如，蜂窝、互联网等)。无线收发器172可以使用任何已知的标准来发送和/或接收数据(例如，wi-fi、蓝牙智能、802.15.4、zigbee等)。这样的传输可以包含从主车辆到一个或多个位于远处的服务器的通信。这样的传输还可以包含主车辆与主车辆环境中的一个或多个目标车辆之间(单向或双向)的通信(例如，以便于鉴于或连同在主车辆的环境中的目标车辆来协调主车辆的导航)，或者甚至包含在发送车辆附近的向未指定的接收者的广播传输。
72.应用处理器180和图像处理器190两者都可以包含各种类型的基于硬件的处理装置。例如，应用处理器180和图像处理器190中的任一者或两者可以包含微处理器、预处理器(诸如图像预处理器)、图形处理器、中央处理单元(cpu)、支持电路、数字信号处理器、集成电路、存储器或者适用于运行应用和适用于图像处理和分析的任何其他类型的装置。在一些实施例中，应用处理器180和/或图像处理器190可以包含任何类型的单核或多核处理器、移动装置微控制器、中央处理单元等。可以使用各种处理装置，包含，例如，可以从诸如等制造商获得的处理器或者可以从诸如等制造商获得的gpu，并且可以包含各种架构(例如，x86处理器、等)。
73.在一些实施例中，应用处理器180和/或图像处理器190可以包含可从获得的任何eyeq系列处理器芯片。这些处理器设计各自包含具有本地存储器和指令集的多个处理单元。这样的处理器可以包含用于从多个图像传感器接收图像数据的视频输入，并且还可以包含视频输出能力。在一个示例中，使用在332mhz下操作的90纳米-微米技术。架构由两个浮点式超线程32位risc cpu五个视觉计算引擎(vce)、三个矢量微代码处理器丹那利(denali)64位移动ddr控制器、128位内部超音速互连(sonics interconnect)、双16位视频输入和18位视频输出控制器、16通道dma和数个外围设备组成。mips34k cpu管理这五个vce、三个vmp
tm
和dma、第二mips34k cpu和多通道dma以及其他外围设备。这五个vce、三个阳mips34k cpu可以进行多功能捆绑应用所需要的密集视觉计算。在另一个实例中，可以在所公开的实施例中使用作为第三代处理器并且比虽六倍的在其他示例中，可以在所公开的实施例中使用和/或当然，任何更新的或未来的eyeq处理装置也可以与所公开的实施例一起使用。
74.任何本文所公开的处理装置可以被配置为进行某些功能。配置处理装置(诸如任何所描述的eyeq处理器或其他控制器或微处理器)以进行某些功能可以包含计算机可执行指令的编程并使这些指令可用于处理装置以在处理装置的操作期间执行。在一些实施例中，配置处理装置可以包含直接利用架构指令对处理装置进行编程。例如，可以使用例如一个或多个硬件描述语言(hdl)来配置诸如现场可编程门阵列(fpga)、专用集成电路(asic)
等的处理装置。
75.在其他实施例中，配置处理装置可以包含将可执行指令存储在操作期间处理装置可访问的存储器上。例如，处理装置在操作期间可以访问该存储器以获得并执行所存储的指令。在任一种情况下，配置为进行本文公开的感测、图像分析和/或导航功能的处理装置表示基于硬件的专用系统，其控制主车辆的多个基于硬件的组件。
76.虽然图1描绘了包含在处理单元110中的两个分离的处理装置，但是可以使用更多或更少的处理装置。例如，在一些实施例中，可以使用单个处理装置完成应用处理器180和图像处理器190的任务。在其他实施例中，可以由多于两个处理装置来进行这些任务。此外，在一些实施例中，系统100可以在不包含其他组件(诸如图像获取单元120)的情况下包含处理单元110中的一个或多个。
77.处理单元110可以包括各种类型的装置。例如，处理单元110可以包含各种装置，诸如控制器、图像预处理器、中央处理单元(cpu)、图形处理单元(gpu)、支持电路、数字信号处理器、集成电路、存储器或用于图像处理和分析的任何其他类型的装置。图像预处理器可以包含用于捕获、数字化和处理来自图像传感器的影像的视频处理器。cpu可以包括任何数目的微控制器或微处理器。gpu还可以包括任何数目的微控制器或微处理器。支持电路可以是本领域公知的任何数目的电路，包含高速缓存、电源，时钟和输入输出电路。存储器可以存储软件，该软件在由处理器执行时控制系统的操作。存储器可以包含数据库和图像处理软件。存储器可以包括任何数目的随机存取存储器、只读存储器、闪速存储器、磁盘驱动器、光存储装置、磁带存储装置、可移动存储装置和其他类型的存储装置。在一个实例中，存储器可以与处理单元110分离。在另一实例中，存储器可以被集成到处理单元110中。
78.每个存储器140、150可以包含软件指令，该软件指令在由处理器(例如，应用处理器180和/或图像处理器190)执行时可以控制系统100的各个方面的操作。这些存储器单元可以包含各种数据库和图像处理软件，以及经训练的系统，诸如神经网络或例如深度神经网络。存储器单元可以包含随机存取存储器(ram)、只读存储器(rom)、闪速存储器、磁盘驱动器、光存储装置、磁带存储装置、可移动存储装置和/或任何其他类型的存储装置。在一些实施例中，存储器单元140、150可以是与应用处理器180和/或图像处理器190分离的。在其他实施例中，这些存储器单元可以被集成到应用处理器180和/或图像处理器190中。
79.位置传感器130可以包含适用于确定与系统100的至少一个组件相关联的位置的任何类型的装置。在一些实施例中，位置传感器130可以包含gps接收器。这样的接收器可以通过处理由全球定位系统卫星广播的信号来确定用户位置和速度。可以使得来自位置传感器130的位置信息对于应用处理器180和/或图像处理器190可用。
80.在一些实施例中，系统100可以包含诸如用于测量车辆200的速度的速度传感器(例如，转速表、速度计)和/或用于测量车辆200的加速度的加速度计(单轴或多轴)的组件。
81.用户界面170可以包含适用于向系统100的一个或多个用户提供信息或从系统100的一个或多个用户接收输入的任何装置。在一些实施例中，用户界面170可以包含用户输入装置，包含例如触摸屏、麦克风、键盘、指针装置、跟踪转轮、相机、旋钮、按钮等。使用这样的输入装置，用户能够通过键入指令或信息，提供语音命令，使用按钮、指针或眼跟踪能力在屏幕上选择菜单选项，或通过任何其他适用于向系统100通信信息的技术来向系统100提供信息输入或命令。
82.用户界面170可以配备有一个或多个处理装置，其配置为向用户提供和从用户接收信息，并处理该信息以由例如应用处理器180使用。在一些实施例中，这样的处理装置可以执行指令以用于辨识和跟踪眼睛运动、接收和解释语音命令、辨识和解释在触摸屏上做出的触摸和/或手势、响应键盘输入或菜单选择等。在一些实施例中，用户界面170可以包含显示器、扬声器、触觉装置和/或用于向用户提供输出信息的任何其他装置。
83.地图数据库160可以包含用于存储对系统100有用的地图数据的任何类型的数据库。在一些实施例中，地图数据库160可以包含与各种项目在参考坐标系统中的位置相关的数据，各种项目包含道路、水特征、地理特征、商业区、感兴趣的点、餐馆、加油站等。地图数据库160不仅可以存储这样的项目的位置，还可以存储与这样的项目相关的描述符，包含例如与任何所存储的特征相关联的名称。
84.在一些实施例中，地图数据库160可以与系统100的其他组件物理上位于一起。替代地或附加地，地图数据库160或其一部分可以相对于系统100的其他组件(例如，处理单元110)位于远处。在这样的实施例中，来自地图数据库160的信息可以通过与网络的有线或无线数据连接(例如，通过蜂窝网络和/或互联网等)而下载。在一些情况下，地图数据库160可以存储稀疏数据模型，该稀疏数据模型包含某些道路特征(例如，车道标记)或主车辆的目标轨迹的多项式表示。下面参考图8至图19讨论生成这种地图的系统和方法。
85.图像捕获装置122、124和126可以各自包含适用于从环境捕获至少一个图像的任何类型的装置。此外，可以使用任何数目的图像捕获装置来获取用于输入到图像处理器的图像。一些实施例可以仅包含单个图像捕获装置，而其他实施例可以包含两个、三个、或者甚至四个或更多个图像捕获装置。以下将参考图2b至图2e进一步描述图像捕获装置122、124和126。
86.系统100或其各种组件可以合并到各种不同的平台中。在一些实施例中，系统100可以被包含在车辆200上，如图2a所示。例如，车辆200可以配备有如上关于图1所述的系统100的处理单元110和任何其他组件。虽然在一些实施例中，车辆200可以仅配备有单个图像捕获装置(例如，相机)，但是在其他实施例中，诸如结合图2b-2e讨论的那些，可以使用多个图像捕获装置。例如，如图2a所示，车辆200的图像捕获装置122和124中的任一个可以是adas(advanced driver assistance system，高级驾驶员辅助系统)成像集的一部分。
87.作为图像获取单元120的一部分的被包含在车辆200上的图像捕获装置，可以被定位在任何合适的位置。在一些实施例中，如图2a至图2e以及图3a至图3c所示，图像捕获装置122可以位于后视镜的附近。此位置可以提供与车辆200的驾驶员相似的视线，这可以帮助确定对驾驶员而言什么是可见和不可见的。图像捕获装置122可以被定位在靠近后视镜的任何位置，而将图像捕获装置122放置在镜子的驾驶员侧可以进一步帮助获得表示驾驶员的视场和/或视线的图像。
88.对于图像获取单元120的图像捕获装置还可以使用其他的位置。例如，图像捕获装置124可以位于车辆200的保险杠上或保险杠中。这样的位置可以尤其适用于具有宽视场的图像捕获装置。位于保险杠的图像捕获装置的视线可以与驾驶员的视线不同，并且因此，保险杠图像捕获装置和驾驶员可能不总是看到相同的对象。图像捕获装置(例如，图像捕获装置122、124和126)还可以位于其他的位置。例如，图像捕获装置可以位于车辆200的侧视镜中的一者或两者之上或之中、车辆200的车顶上、车辆200的引擎盖上、车辆200的后备箱上、
车辆200的侧面上，安装在车辆200的任何车窗上、定位在车辆200的任何车窗的后面、或定位在车辆200的任何车窗的前面，以及安装在车辆200的前部和/或后部上的灯具中或附近等。
89.除了图像捕获装置之外，车辆200还可以包含系统100的各种其他组件。例如，处理单元110可以被包含在车辆200上，与车辆的引擎控制单元(engine contro lunit，ecu)集成或分离。车辆200还可以配备有诸如gps接收器的位置传感器130，并且还可以包含地图数据库160以及存储器单元140和150。
90.如早先讨论的，无线收发器172可以通过一个或多个网络(例如，蜂窝网络、互联网等)和/或接收数据。例如，无线收发器172可以将由系统100收集的数据上传到一个或多个服务器，并且从一个或多个服务器下载数据。例如，经由无线收发器172，系统100可以接收对存储在地图数据库160、存储器140和/或存储器150中的数据的周期性或按需的更新。类似地，无线收发器172可以将来自系统100的任何数据(例如，由图像获取单元120捕获的图像、由位置传感器130或其他传感器、车辆控制系统接收的数据等)和/或由处理单元110处理的任何数据上传到一个或多个服务器。
91.系统100可以基于隐私等级设置将数据上传到服务器(例如，上传到云)。例如，系统100可以实现隐私等级设置，以规定或限制传送到服务器的、可以唯一地识别车辆和/或车辆的驾驶员/所有者的数据(包含元数据)的类型。这样的设置可以由用户经由例如无线收发器172来设置，可以由出厂默认设置、或由无线收发器172接收的数据来初始化。
92.在一些实施例中，系统100可以根据“高”隐私等级上传数据，并且在设置设置的情况下，系统100可以发送数据(例如，与路途相关的位置信息、捕获的图像等)，而不带有任何关于特定车辆和/或驾驶员/所有者的细节。例如，当根据“高”隐私设置来上传数据时，系统100可以不包含车辆标识编号(vehicle identification number，vin)或者车辆的驾驶员或所有者的名字，并且可以代替地发送数据，诸如，捕获的图像和/或与路途相关的受限的位置信息。
93.可以预期其他隐私等级。例如，系统100可以根据“中间”隐私等级将数据发送到服务器，并且可以包含在“高”隐私等级下不包含的附加信息，诸如车辆的品牌和/或型号和/或车辆类型(例如，乘用车、运动型多用途车、卡车等)。在一些实施例中，系统100可以根据“低”隐私等级上传数据。在“低”隐私等级设置的情况下，系统100可以上传数据，并且包含足以唯一地识别具体车辆、所有者/驾驶员和/或车辆行驶过的部分或整个路途的信息。这样的“低”隐私等级数据可以包含以下中的一个或多个：例如vin、驾驶员/所有者名字、出发之前车辆的始发点、车辆的预期目的地、车辆的品牌和/或型号、车辆类型等。
94.图2a是与所公开的实施例一致的示例性车辆成像系统的图示性侧视图表示。图2b是图2a中所示的实施例的图示性顶视图图示。如图2b所示，所公开的实施例可以包含车辆200，该车辆200在其车体中包含系统100，该系统100具有定位在车辆200的后视镜附近和/或靠近驾驶员的第一图像捕获装置122、定位在车辆200的保险杠区域(例如，保险杠区域210中的一个)之上或之中的第二图像捕获装置124、以及处理单元110。
95.如图2c所示，图像捕获装置122和124两者可以都定位在车辆200的后视镜附近和/或靠近驾驶员。此外，虽然图2b和图2c示出了两个图像捕获装置122和124，应理解的是，其他实施例可以包含多于两个的图像捕获装置。例如，在图2d和2e所示的实施例中，第一图像
捕获装置122、第二图像捕获装置124和第三图像捕获装置126被包含在车辆200的系统100中。
96.如图2d所示，图像捕获装置122可以定位在车辆200的后视镜附近和/或靠近驾驶员，并且图像捕获装置124和126可以定位在车辆200的保险杠区域(例如，保险杠区域210中的一个)之上或之中。并且如图2e所示，图像捕获装置122、124和126可以定位在车辆200的后视镜附近和/或靠近驾驶员座。所公开的实施例不限于任何特定数目和配置的图像捕获装置，并且图像捕获装置可以定位在车辆200内或车辆200上的任何适当的位置中。
97.应理解的是，所公开的实施例不限于车辆，并且可以被应用在其他情景中。还应理解，所公开的实施例不限于特定类型的车辆200，并且可以适用于所有类型的车辆，包含汽车、卡车、拖车和其他类型的车辆。
98.第一图像捕获装置122可以包含任何合适类型的图像捕获装置。图像捕获装置122可以包含光轴。在一个实例中，图像捕获装置122可以包含具有全局快门的aptinam9v024wvga传感器。在其他实施例中，图像捕获装置122可以提供1280
×
960像素的分辨率，并且可以包含滚动快门(rolling shutter)。图像捕获装置122可以包含各种光学元件。在一些实施例中，可以包含一个或多个镜头，例如用于为图像捕获装置提供期望的焦距和视场。在一些实施例中，图像捕获装置122可以与6毫米镜头或12毫米镜头相关联。在一些实施例中，如图2d所示，图像捕获装置122可以配置为捕获具有期望的视场(fov)202的图像。例如，图像捕获装置122可以配置为具有常规fov，诸如在40度至56度的范围内，包含46度fov、50度fov、52度fov，或更大的fov。替代地，图像捕获装置122可以配置为具有在23度至40度的范围内的窄fov，诸如28度fov或36度fov。另外，图像捕获装置122可以配置为具有在100度至180度的范围内的宽fov。在一些实施例中，图像捕获装置122可以包含广角保险杠相机或者具有高达180度fov的相机。在一些实施例中，图像捕获装置122可以是7。2m像素图像捕获装置，其纵横比为约2∶1(例如，hxv＝3800
×
1900像素)，具有约100度的水平fov。这样的图像捕获装置可以被用来代替三个图像捕获装置配置。由于显著的镜头畸变，在图像捕获装置使用径向对称镜头的实现方式中，这样的图像捕获装置的垂直fov可显著地小于50度。例如，这样的镜头可以不是径向对称的，这将允许在100度水平fov情况下垂直fov大于50度。
99.第一图像捕获装置122可以获取关于与车辆200相关联的场景的多个第一图像。可以获取多个第一图像中的每个作为一系列图像扫描线，其可以使用滚动快门来捕获。每个扫描线可以包含多个像素。
100.第一图像捕获装置122可以具有与第一系列图像扫描线中的每个的获取相关联的扫描速率。扫描速率可以指图像传感器可以获取与包含在特定扫描线中的每个像素相关联的图像数据的速率。
101.图像捕获装置122、124和126可以含有任何合适的类型和数目的图像传感器，例如，包含ccd传感器或cmos传感器等。在一个实施例中，cmos图像传感器可以与滚动快门一起采用，使得一次一个地读取一行中的每个像素，并且行的扫描在逐行的基础上进行，直到已捕获整个图像帧。在一些实施例中，可以相对于帧从顶部到底部顺序地捕获行。
102.在一些实施例中，本文公开的图像捕获装置中的一个或多个(例如，图像捕获装置122、124和126)可以构成高分辨率成像器，并且可以具有大于5m像素、7m像素、10m像素或更
大像素的分辨率。
103.滚动快门的使用可能导致不同行中的像素在不同的时间被曝光和捕获，这可能引起所捕获的图像帧中的歪斜和其他图像伪影。另一方面，当图像捕获装置122配置为利用全局或同步快门操作时，所有像素可以以相同量的时间并且在共同曝光时段期间被曝光。结果，从采用全局快门的系统收集的帧中的图像数据表示在特定时间的整个fov(诸如fov202)的快照。相比之下，在滚动快门应用中，在不同的时间，帧中的每行被曝光并且数据被捕获。因此，在具有滚动快门的图像捕获装置中，移动对象可能出现失真。这种现象将在下面更详细地描述。
104.第二图像捕获装置124和第三图像捕获装置126可以是任何类型的图像捕获装置。类似于第一图像捕获装置122，图像捕获装置124和126中的每个可以包含光轴。在一个实施例中，图像捕获装置124和126中的每个可以包含具有全局快门的aptinam9v024 wvga传感器。替代地，图像捕获装置124和126中的每个可以包含滚动快门。类似于图像捕获装置122，图像捕获装置124和126可以配置为包含各种镜头和光学元件。在一些实施例中，与图像捕获装置124和126相关联的镜头可以提供fov(诸如fov 204和206)，其等于或窄于与图像捕获装置122相关联的fov(诸如fov 202)。例如，图像捕获装置124和126可以具有40度、30度、26度、23度、20度或更小的fov。
105.图像捕获装置124和126可以获取关于与车辆200相关联的场景的多个第二图像和第三图像。可以获取多个第二和第三图像中的每个作为第二和第三系列图像扫描线，其可以使用滚动快门来捕获。每个扫描线或行可以具有多个像素。图像捕获装置124和126可以具有与包含在第二和第三系列中的每个图像扫描线的获取相关联的第二和第三扫描速率。
106.每个图像捕获装置122、124和126可以定位在相对于车辆200的任何合适的位置和方向处。可以选择图像捕获装置122、124和126的相对位置以帮助将从图像捕获装置获取的信息融合在一起。例如，在一些实施例中，与图像捕获装置124相关联的fov(诸如fov 204)可能部分地或完全地和与图像捕获装置122相关联的fov(例如fov 202)以及与图像捕获装置126相关联的fov(例如fov 206)重叠。
107.图像捕获装置122、124和126可以位于车辆200上的任何合适的相对高度处。在一个实例中，在图像捕获装置122、124和126之间可以存在高度差，其可以提供足够的视差信息以使能立体分析。例如，如图2a所示，两个图像捕获装置122和124在不同的高度处。例如，在图像捕获装置122、124和126之间还可以存在横向位移差，以为处理单元110的立体分析给出附加的视差信息。横向位移的差异可以用dx表示，如图2c和2d所示。在一些实施例中，图像捕获装置122、124和126之间可以存在前向或后向位移(例如，范围位移)。例如，图像捕获装置122可以位于图像捕获装置124和/或图像捕获装置126后面0.5到2米或更远处。这样的类型的位移可以使得图像捕获装置中的一个能够覆盖其他(一个或多个)图像捕获装置的潜在盲点。
108.图像捕获装置122可以具有任何合适的分辨率能力(例如，与图像传感器相关联的像素的数目)，并且与图像捕获装置122相关联的(一个或多个)图像传感器的分辨率可以比与图像捕获装置124和126相关联的(一个或多个)图像传感器的分辨率更高、更低、或者与之相同。在一些实施例中，与图像捕获装置122和/或图像捕获装置124和126相关联的(一个或多个)图像传感器可以具有640
×
480、1024
×
768、1280
×
960的分辨率，或任何其他合适
的分辨率。
109.帧速率(例如，图像捕获装置在继续捕获与下一图像帧相关联的像素数据之前获取一个图像帧的一组像素数据的速率)可以是可控的。与图像捕获装置122相关联的帧速率可以比与图像捕获装置124和126相关联的帧速率更高、更低或与之相同。与图像捕获装置122、124和126相关联的帧速度可以取决于可能影响帧速率的定时的各种因素。例如，图像捕获装置122、124和126中的一个或多个可以包含可选择的像素延迟时段，其在获取与图像捕获装置122、124和/或126中的图像传感器的一个或多个像素相关联的图像数据之前或之后施加。通常，可以根据用于该装置的时钟速率来获取对应于每个像素的图像数据(例如，每个时钟周期一个像素)。此外，在包含滚动快门的实施例中，图像捕获装置122、124和126中的一个或多个可以包含可选择的水平消隐时段，其在获取与图像捕获装置122、124和/或126中的图像传感器的一行像素相关联的图像数据之前或之后施加。此外，图像捕获装置122、124和/或126中的一个或多个可以包含可选择的垂直消隐时段，其在获取与图像捕获装置122、124和126的图像帧相关联的图像数据之前或之后施加。
110.这些定时控制可以使能与图像捕获装置122、124和126相关联的帧速率的同步，即便每个的线扫描率速率不同。此外，如将在下面更详细地讨论的，这些可选择的定时控制以及其他因素(例如，图像传感器分辨率、最大线扫描速率等)可以使能从图像捕获装置122的fov与图像捕获装置124和126的一个或多个fov重叠的区域的图像捕获的同步，即便图像捕获装置122的视场不同于图像捕获装置124和126的fov。
111.图像捕获装置122、124和126中的帧速率定时可以取决于相关联的图像传感器的分辨率。例如，假定对于两个装置，线扫描速率类似，如果一个装置包含具有640
×
480的分辨率的图像传感器，并且另一个装置包含具有1280
×
960的分辨率的图像传感器，则需要更多的时间来从具有更高分辨率的传感器获取一帧图像数据。
112.可以影响图像捕获装置122、124和126中的图像数据获取的定时的另一个因素是最大线扫描速率。例如，从被包含在图像捕获装置122、124和126中的图像传感器获取一行图像数据将需要某个最低时间量。假定没有添加像素延迟时段，则用于获取一行图像数据的此最低时间量将与用于特定装置的最大线扫描速率相关。提供较高的最大线扫描速率的装置比具有较低的最大线扫描速率的装置具有提供更高的帧速率的潜力。在一些实施例中，图像捕获装置124和126中的一个或多个可以具有高于与图像捕获装置122相关联的最大线扫描速率的最大线扫描速率。在一些实施例中，图像捕获装置124和/或126的最大线扫描速率可以是图像捕获装置122的最大线扫描速率的1.25、1.5、1.75或2倍或更多倍。
113.在另一个实施例中，图像捕获装置122、124和126可以具有相同的最大线扫描速率，但图像捕获装置122可以以小于或等于其最大扫描扫描速率的扫描速率而操作。系统可以配置为使得图像捕获装置124和126中的一个或多个以等于图像捕获装置122的线扫描速率的线扫描速率而操作。在其他实例中，系统可以配置为使得图像捕获装置124和/或图像捕获装置126的线扫描速率可以是图像捕获装置122的线扫描速率的1.25、1.5、1.75、或2倍或更多倍。
114.在一些实施例中，图像捕获装置122、124和126可以是不对称的。换言之，它们可包含具有不同视场(fov)和焦距的相机。例如，图像捕获装置122、124和126的视场可以包含关于车辆200的环境的任何期望的区域。在一些实施例中，图像捕获装置122、124和126中的一
个或多个可以配置为从在车辆200前面、车辆200后面、车辆200的侧面、或其组合的环境获取图像数据。
115.此外，与每个图像捕获装置122、124和/或126相关联的焦距可以是可选择的(例如，通过包含适当的镜头等)，使得每个装置在相对于车辆200的期望的距离范围处获取对象的图像。例如，在一些实施例中，图像捕获装置122、124和126可以获取离车辆几米之内的接近对象的图像。图像捕获装置122、124和126还可以配置为获取离车辆更远的范围处(例如，25米、50米、100米、150米或更远)的对象的图像。此外，图像捕获装置122、124和126的焦距可以被选择以使得一个图像捕获装置(例如，图像捕获装置122)可以获取相对靠近车辆(例如，在10米内或20米内的)对象的图像，而其他图像捕获装置(例如，图像捕获装置124和126)可以获取离车辆200较远的(例如，大于20米、50米、100米、150米等的)对象的图像。
116.根据一些实施例，一个或多个图像捕获装置122、124和126的fov可以具有广角。例如，具有140度的fov可能是有利的，尤其是对于可以被用于捕获车辆200附近的区域的图像的图像捕获装置122、124和126。例如，图像捕获装置122可以被用于捕获车辆200的右侧或左侧的区域的图像，并且在这样的实施例中，可能期望图像捕获装置122具有宽fov(例如，至少140度)。
117.与图像捕获装置122、124和126中的每个相关联的视场可以取决于相应的焦距。例如，随着焦距增加，对应的视场减小。
118.图像捕获装置122、124和126可以配置为具有任何合适的视场。在一个特定示例中，图像捕获装置122可以具有46度的水平fov，图像捕获装置124可以具有23度的水平fov，并且图像捕获装置126可以具有在23度和46度之间的水平fov。在一个特定示例中，图像捕获装置122可以具有52度的水平fov，图像捕获装置124可以具有26度的水平fov，并且图像捕获装置126可以具有在26度和52度之间的水平fov。在一些实施例中，图像捕获装置122的fov与图像捕获装置124和/或图像捕获装置126的fov的比率可以从1.5到2.0变化。在其他实施例中，该比率可以在1.25与2.25之间变化。
119.系统100可以配置为使得图像捕获装置122的视场至少部分地或完全地与图像捕获装置124和/或图像捕获装置126的视场重叠。在一些实施例中，系统100可以配置为使得图像捕获装置124和126的视场例如落入(例如，窄于)图像捕获装置122的视场并且与图像捕获装置122的视场共享共同的中心。在其他实施例中，图像捕获装置122、124和126可以捕获相邻的fov，或者可以在它们fov中具有部分重叠。在一些实施例中，图像捕获装置122、124和126的视场可以对齐，以使得较窄fov图像捕获装置124和/或126的中心可以位于较宽fov装置122的视场的下半部分中。
120.图2f是与所公开的实施例一致的示例性车辆控制系统的图示性表示。如图2f所指示的，车辆200可以包含油门调节系统220、制动系统230和转向系统240。系统100可以经过一个或多个数据链路(例如，用于传输数据的任何有线和/或无线链路)向油门调节系统220、制动系统230和转向系统240中的一个或多个提供输入(例如，控制信号)。例如，基于对由图像捕获装置122、124和/或126获取的图像的分析，系统100可以向油门调节系统220、制动系统230和转向系统240中的一个或多个提供控制信号以导航车辆200(例如，通过引起加速、转向、车道变换(shift)等)。此外，系统100可以从油门调节系统220、制动系统230和转向系统240中的一个或多个接收输入，该输入指示车辆200的运行状况(例如，速度、车辆200
是否正在制动和/或转向等)。以下结合图4至图7提供进一步的细节。
121.如图3a所示，车辆200还可以包含用于与车辆200的驾驶员或乘客进行交互的用户界面170。例如，车辆应用中的用户界面170可以包含触摸屏320、旋钮330、按钮340和麦克风350。车辆200的驾驶员或乘客还可以使用手柄(例如，位于车辆200的转向杆上或附近，包含例如转向信号手柄)、按钮(例如，位于车辆200的方向盘上)等与系统100交互。在一些实施例中，麦克风350可以定位为与后视镜310相邻。类似地，在一些实施例中，图像捕获装置122可以位于靠近后视镜310。在一些实施例中，用户界面170还可以包含一个或多个扬声器360(例如，车辆音频系统的扬声器)。例如，系统100可以经由扬声器360提供各种通知(例如，警报)。
122.图3b至图3d是与所公开的实施例一致的配置为定位在后视镜(例如，后视镜310)后面并抵靠车辆风挡的示例性相机安装370的图示。如图3b所示，相机安装370可以包含图像捕获装置122、124和126。图像捕获装置124和126可以定位在遮光板380的后面，遮光板380可以与车辆风挡齐平(flush)并且包含薄膜和/或防反射材料的合成物。例如，遮光板380可被定位为使得遮挡相对于具有匹配斜面的车辆风挡对齐。在一些实施例中，图像捕获装置122、124和126的每个可以定位在遮光板380的后面，例如在图3d中所描绘的。所公开的实施例不限于图像捕获装置122、124和126、相机安装370和遮光板380的任何特定配置。图3c是图3b所示的相机安装370从前面视角的图示。
123.如受益于本公开的本领域技术人员将理解的，可以对前述所公开的实施例做出许多变化和/或修改。例如，并非所有组件对于系统100的操作是必要的。此外，在提供所公开的实施例的功能时，任何组件可以位于系统100的任何适当的部分中并且组件可以被重新布置成各种配置。因此，前述配置是示例性的，并且不管上述讨论的配置如何，系统100都可以提供广阔范围的功能以分析车辆200的周围并响应于该分析而导航车辆200。
124.如在下面更详细讨论的并且根据各种所公开的实施例，系统100可以提供各种关于自主驾驶和/或驾驶员辅助技术的特征。例如，系统100可以分析图像数据、位置数据(例如，gps位置信息)、地图数据、速度数据和/或来自包含在车辆200中的传感器的数据。系统100可以从例如图像获取单元120、位置传感器130以及其他传感器收集数据用于分析。此外，系统100可以分析所收集的数据以确定车辆200是否应该采取某个动作，并且然后在没有人工干预的情况下自动采取所确定的动作。例如，当车辆200在没有人工干预的情况下导航时，系统100可以自动地控制车辆200的制动、加速、和/或转向(例如，通过向油门调节系统220、制动系统230和转向系统240中的一个或多个传送控制信号)。此外，系统100可以分析所收集的数据，并基于对所收集的数据的分析向车辆乘员发出警告和/或警报。下面提供关于系统100提供的各种实施例的附加的细节。
125.前向多成像系统
126.如上所讨论的，系统100可以提供使用多相机系统的驾驶辅助功能。多相机系统可以使用面向车辆前方的一个或多个相机。在其他实施例中，多相机系统可以包含面向车辆的侧方或面向车辆的后方的一个或多个相机。在一个实施例中，例如系统100可以使用双相机成像系统，其中，第一相机和第二相机(例如，图像捕获装置122和124)可以被定位在车辆(例如，车辆200)的前面和/或侧面处。第一相机可以具有大于、小于、或部分重叠于第二相机的视场的视场。此外，第一相机可以连接到第一图像处理器以进行对由第一相机提供的
图像的单目图像分析，并且第二相机可以连接到第二图像处理器以进行对由第二相机提供的图像的单目图像分析。第一和第二图像处理器的输出(例如，处理后的信息)可以被组合。在一些实施例中，第二图像处理器可以从第一相机和第二相机两者接收图像以执行立体分析。在另一个实施例中，系统100可以使用三相机成像系统，其中每个相机具有不同的视场。因此，这样的系统可以基于从位于车辆前方和侧方的不同距离处的对象导出的信息来做出决定。对单目图像分析的参考可以参考基于从单个视点(例如，从单个相机)捕获的图像进行图像分析的实例。立体图像分析可以参考基于使用图像捕获参数的一个或多个变化而捕获的两个或更多个图像而进行图像分析的实例。例如，适合于进行立体图像分析的所捕获的图像可以包含从两个或更多个不同位置、从不同视野、使用不同焦距以及与视差信息一起等捕获的图像。
127.例如，在一个实施例中，系统100可以使用图像捕获装置122、124和126来实现三相机配置。在这样的配置中，图像捕获装置122可以提供窄视场(例如，34度或从大约20度至45度的范围选择的其他值等)，图像捕获装置124可以提供宽视场(例如，150度或从大约100度至大约180度的范围选择的其他值)，并且图像捕获装置126可以提供中间的视场(例如，46度或从大约35度至大约60度的范围选择的其他值)。在一些实施例中，图像捕获装置126可以作为主相机或基本相机。图像捕获装置122、124和126可以被定位在后视镜310的后面并且基本上并排定位(例如，相距6厘米)。此外，在一些实施例中，如以上所讨论的，图像捕获装置122、124和126中的一个或多个可以被安装在与车辆200的风挡齐平的遮光板380的后面。这样的遮挡可以用于最小化来自汽车内部的任何反射对图像捕获装置122、124和126的影响。
128.在另一个实施例中，如以上结合图3b和3c所讨论的，宽视场相机(例如，上述示例中的图像捕获装置124)可以被安装得低于窄视场相机和主视场相机(例如，上述的示例中的图像捕获装置122和126)。这样的配置可以提供来自宽视场相机的自由视线。为减少反射，相机可以被安装得靠近车辆200的风挡，并且在相机上可以包含偏振器以衰减(damp)反射光。
129.三相机系统可以提供某些性能特性。例如，一些实施例可以包含由一个相机基于来自另一个相机的检测结果来验证对象的检测的能力。在上面讨论的三相机配置中，处理单元110可以包含例如三个处理装置(例如，三个如以上所讨论的eyeq系列处理器芯片)，其中每个处理装置专用于处理由图像捕获装置122、124和126中的一个或多个捕获的图像。
130.在三相机系统中，第一处理装置可以从主相机和窄视场相机两者接收图像，并且进行对窄fov相机的视觉处理，例如以检测其他车辆、行人、车道标记、交通标志、交通灯以及其他道路对象。此外，第一处理装置可以计算来自主相机和窄相机的图像之间的像素的视差，并且创建车辆200的环境的3d重建。然后第一处理装置可以组合3d重建与3d地图数据、或组合3d重建与基于来自另一个相机的信息计算出的3d信息。
131.第二处理装置可以从主相机接收图像并进行视觉处理以检测其他车辆、行人、车道标记、交通标志、交通灯和其他道路对象。此外，第二处理装置可以计算相机位移，并且基于该位移计算连续图像之间的像素的视差，并创建场景的3d重建(例如，运动恢复结构(structure from motion))。第二处理装置可以将基于3d重建的运动恢复结构传送到第一处理装置以与立体3d图像进行组合。
132.第三处理装置可以从宽fov相机接收图像，并处理该图像以检测车辆、行人、车道标记、交通标志、交通灯和其他道路对象。第三处理装置可以进一步执行附加的处理指令来分析图像，以识别图像中移动的对象，诸如正改变车道的车辆、行人等。
133.在一些实施例中，使得基于图像的信息的流被独立地捕获和处理可以提供用于在系统中提供冗余的机会。这样的冗余可以包含例如使用第一图像捕获装置和从该装置处理的图像来验证和/或补充通过从至少第二图像捕获装置捕获和处理图像信息而获得的信息。
134.在一些实施例中，系统100可以使用两个图像捕获装置(例如，图像捕获装置122和124)来为车辆200提供导航辅助，并使用第三图像捕获装置(例如，图像捕获装置126)来提供冗余和验证从其他两个图像捕获装置接收的数据的分析。例如，在这样的配置中，图像捕获装置122和124可以提供用于由系统100进行立体分析的图像以用于导航车辆200，而图像捕获装置126可以提供用于由系统100进行单目分析的图像，以提供冗余和基于从图像捕获装置122和/或图像捕获装置124捕获的图像而获得的信息的验证。换言之，可以认为图像捕获装置126(和对应的处理装置)提供冗余子系统，以用于提供对从图像捕获装置122和124导出的分析的检查(例如，以提供自动紧急制动(aeb)系统)。此外，在一些实施例中，可基于从一个或多个传感器接收的信息(例如，雷达、激光雷达、声学传感器、从车辆外部的一个或多个收发器接收的信息等)来补充冗余和接收的数据的验证。
135.本领域的技术人员将认识到，上述相机配置、相机放置、相机数目、相机位置等仅为示例。在不脱离所公开的实施例的范围下，这些组件和关于整个系统描述的其他组件可以在各种不同的配置中被组装和使用。关于使用多相机系统以提供驾驶员辅助和/或自主车辆功能的进一步的细节如下。
136.图4是存储器140和/或存储器150的示例性功能性框图，该存储器140和/或存储器150可以被存储/被编程指令以用于进行与本公开实施例一致的一个或多个操作。尽管以下指代存储器140，但是本领域技术人员将认识到指令可以存储在存储器140和/或150中。
137.如图4所示，存储器140可以存储单目图像分析模块402、立体图像分析模块404、速度和加速度模块406以及导航响应模块408。所公开的实施例不限于存储器140的任何特定配置。此外，应用处理器180和/或图像处理器190可以执行包含在存储器140中的任何模块402、404、406和408所存储的指令。本领域技术人员将理解，在以下讨论中对处理单元110的参考可以分离地或共同地指代应用处理器180和图像处理器190。因此，可以由一个或多个处理装置来进行任何以下过程的步骤。
138.在一个实施例中，单目图像分析模块402可以存储指令(诸如计算机视觉软件)，当由处理单元110执行该指令时，对由图像捕获装置122、124和126中的一个获取的一组图像进行单目图像分析。在一些实施例中，处理单元110可以将来自一组图像的信息与附加的感觉信息(例如，来自雷达、激光雷达等的信息)组合以进行单目图像分析。如以下结合图5a至图5d所描述的，单目图像分析模块402可以包含用于在一组图像内检测该组特征的指令，所述特征诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯、危险对象以及与车辆的环境相关联的任何其他特征。基于该分析，系统100(例如，经由处理单元110)可以引起车辆200中的一个或多个导航响应，诸如转向、车道变换、加速度的改变等，如以下结合导航响应模块408所讨论的。
139.在一个实施例中，立体图像分析模块404可以存储指令(诸如，计算机视觉软件)，当由处理单元110执行该指令时，对由从任何图像捕获装置122、124和126中选择的图像捕获装置的组合而获取的第一组和第二组图像进行立体图像分析。在一些实施例中，处理单元110可以将来自第一组和第二组图像的信息与附加的感觉信息(例如，来自雷达的信息)组合以进行立体图像分析。例如，立体图像分析模块404可以包含指令，该指令用于基于由图像捕获装置124获取的第一组图像和由图像捕获装置126获取的第二组图像而进行立体图像分析。如下面结合图6所描述的，立体图像分析模块404可以包含指令，该指令用于检测第一组和第二组图像内的一组特征，诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯、危险对象等。基于该分析，处理单元110可以引起车辆200中的一个或多个导航响应，诸如转向、车道变换、加速度的改变等，如以下结合导航响应模块408所讨论的。此外，在一些实施例中，立体图像分析模块404可以实现与经训练的系统(诸如神经网络或深度神经网络)或未经训练的系统相关联的技术，诸如系统可以被配置为使用计算机视觉算法来检测和/或标记捕获和处理感觉信息的环境中的对象。在一个实施例中，立体图像分析模块404和/或其他图像处理模块可以被配置为使用经训练和未经训练系统的组合。
140.在一个实施例中，速度和加速度模块406可以存储软件，该软件被配置为分析从车辆200中的一个或多个计算和机电装置接收的数据，该一个或多个计算和机电装置被配置为引起车辆200的速度和/或加速度的改变。例如，处理单元110可以执行与速度和加速度模块406相关联的指令，以基于从执行单目图像分析模块402和/或立体图像分析模块404导出的数据来计算车辆200的目标速度。这样的数据可以包含，例如目标位置，速度和/或加速度，车辆200相对于附近车辆、行人或道路对象的位置和/或速度，车辆200相对于道路的车道标记的位置信息等。另外，处理单元110可以基于感觉输入(例如，来自雷达的信息)和来自车辆200的其他系统(诸如油门调节系统220、制动系统230和/或转向系统240)的输入来计算车辆200的目标速度。基于计算出的目标速度，处理单元110可以向车辆200的油门调节系统220、制动系统230和/或转向系统的240发送电信号，以通过例如物理地压下制动器或松开车辆200的加速器来触发速度和/或加速度的改变。
141.在一个实施例中，导航响应模块408可以存储软件，该软件可由处理单元110执行以基于从执行单目图像分析模块402和/或立体图像分析模块404导出的数据来确定期望的导航响应。这样的数据可以包含与附近的车辆、行人和道路对象相关联的位置和速度信息，车辆200的目标位置信息等。此外，在一些实施例中，导航响应可以(部分地或完全地)基于地图数据、车辆200的预定位置、和/或车辆200与从单目图像分析模块402和/或立体图像分析模块404的执行检测到的一个或多个对象之间的相对速度或相对加速度。导航响应模块408还可以基于感觉输入(例如，来自雷达的信息)和来自车辆200的其他系统(诸如车辆200的油门调节系统220、制动系统230和转向系统240)的输入确定期望的导航响应。基于期望的导航响应，处理单元110可以向车辆200的油门调节系统220、制动系统230和转向系统240发送电信号，以通过例如转动车辆200的方向盘来实现预定角度的旋转，从而触发期望的导航响应。在一些实施例中，处理单元110可以使用导航响应模块408的输出(例如，期望的导航响应)作为执行速度和加速度模块406的输入，以用于计算车辆200的速度的改变。
142.此外，本文公开的任何模块(例如，模块402、404和406)可以实现与经训练的系统(诸如神经网络或深度神经网络)或未经训练的系统相关联的技术。
143.图5a是示出与所公开的实施例一致的用于基于单目图像分析来引起一个或多个导航响应的示例性过程500a的流程图。在步骤510处，处理单元110可以经由在处理单元110和图像获取单元120之间的数据接口128接收多个图像。例如，包含在图像获取单元120中的相机(诸如具有视场202的图像捕获装置122)可以捕获车辆200的前方(例如，或者车辆的侧方或后方)区域的多个图像并通过数据连接(例如，数字、有线、usb、无线、蓝牙等)将它们发送到处理单元110。在步骤520处，处理单元110可以执行单目图像分析模块402来分析该多个图像，如以下结合图5b至5d所进一步详细描述的。通过进行该分析，处理单元110可以检测在该组图像内的一组特征，诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯等。
144.在步骤520处，处理单元110还可以执行单目图像分析模块402来检测各种道路危险，诸如例如卡车轮胎的部件、倒下的道路标志、松散货物、小动物等。道路危险可能在结构、形状、大小和颜色上变化，这可能使这样的危险的检测更加困难。在一些实施例中，处理单元110可以执行单目图像分析模块402来对多个图像进行多帧分析以检测道路危险。例如，处理单元110可以估计连续图像帧之间的相机运动，并计算帧之间的像素中的视差来构建道路的3d地图。然后，处理单元110可以使用该3d地图来检测路面、以及存在于路面上的危险。
145.在步骤530处，处理单元110可以执行导航响应模块408以基于在步骤520处执行的分析和如以上结合图4所描述的技术来引起一个或多个导航响应。导航响应可以包含例如转向、车道变换、制动、加速度的改变等。在一些实施例中，处理单元110可以使用从执行速度和加速度模块406导出的数据来引起该一个或多个导航响应。此外，多个导航响应可以同时地、按照顺序地、或以其任何组合而发生。例如，处理单元110可以通过例如按照顺序地向车辆200的转向系统240和油门调节系统220发送控制信号，使得车辆200变换一个车道然后加速。替代地，处理单元110可以通过例如同时向车辆200的制动系统230和转向系统240发送控制信号，使得车辆200在变换车道的同时制动。
146.图5b是示出与所公开的实施例一致的用于在一组图像中检测一个或多个车辆和/或行人的示例性过程500b的流程图。处理单元110可以执行单目图像分析模块402来实现过程500b。在步骤540处，处理单元110可以确定表示可能的车辆和/或行人的一组候选对象。例如，处理单元110可以扫描一个或多个图像，将该图像与一个或多个预定模式比较，并且在每个图像内识别可能含有感兴趣的对象(例如，车辆、行人或其部分)的可能的位置。预定模式可以以实现高“伪命中”率和低“漏掉”率的这样的方式来设计。例如，处理单元110可以将低的相似性阈值用在预定模式以将候选对象识别为可能的车辆或行人。这样做可以允许处理单元110减少漏掉(例如，未识别出)表示车辆或行人的候选对象的可能性。
147.在步骤542处，处理单元110可以基于分类标准过滤该组候选对象以排除某些候选(例如，不相关或较不相关的对象)。可以从与存储在数据库(例如，存储在存储器140中的数据库)中的对象类型相关联的各种属性导出这样的标准。属性可以包含对象形状、尺寸、纹理、位置(例如，相对于车辆200)等。因此，处理单元110可以使用一组或多组标准来从该组候选对象中拒绝伪候选。
148.在步骤544处，处理单元110可以分析多帧图像，以确定在该组候选对象中的对象是否表示车辆和/或行人。例如，处理单元110可以跨连续帧来跟踪检测到的候选对象并累
积与检测到的对象相关联的逐帧数据(例如，大小、相对于车辆200的位置等)。此外，处理单元110可以估计检测到的对象的参数并将该对象的逐帧位置数据与预测的位置比较。
149.在步骤546处，处理单元110可以为检测到的对象构建一组测量。这样的测量可以包含例如与检测到的对象相关联的位置、速度和加速度值(相对于车辆200)。在一些实施例中，处理单元110可以基于使用一系列基于时间的检测到的诸如卡尔曼滤波器或线性二次估计(lqe)的估计技术和/或基于对于不同对象类型(例如，汽车、卡车、行人、自行车、道路标志等)可用的建模数据，来构建该测量。卡尔曼滤波器可以基于对象的比例的测量，其中该比例测量与要碰撞的时间(例如，车辆200到达对象的时间量)成比例。因此，通过进行步骤540至546，处理单元110可以识别在该组捕获图像内出现的车辆和行人，并导出与该车辆和行人相关联的信息(例如，位置、速度、大小)。基于该识别和所导出的信息，处理单元110可以引起车辆200中的一个或多个导航响应，如以上结合图5a所描述的。
150.在步骤548处，处理单元110可以进行对一个或多个图像的光流分析，以减少检测到“伪命中”和漏掉表示车辆或行人的候选对象的可能性。光流分析可以指代，例如在一个或多个图像中分析相对于车辆200的、与其他车辆和行人相关联的并且区别于路面运动的运动模式。处理单元110可以通过跨越在不同时间捕获到的多个图像帧观察对象的不同位置，来计算候选对象的运动。处理单元110可以使用该位置和时间值作为用于计算候选对象的运动的数学模型的输入。因此，光流分析可以提供检测车辆200附近的车辆和行人的另一种方法。处理单元110可以结合步骤540至546进行光流分析，以提供用于检测车辆和行人的冗余，并提高系统100的可靠性。
151.图5c是示出与所公开的实施例一致的用于在一组图像中检测道路标记和/或车道几何结构信息的示例性过程500c的流程图。处理单元110可以执行单目图像分析模块402来实现过程500c。在步骤550处，处理单元110可以通过扫描一个或多个图像来检测一组对象。为了检测车道标记、车道几何结构信息以及其他相关的道路标记的段，处理单元110可以过滤该组对象以排除被确定为不相关的对象(例如，小坑洼、小石块等)。在步骤552处，处理单元110可以将在步骤550中检测到的属于相同的道路标记或车道标记的段分组在一起。基于该分组，处理单元110可以产生表示所检测到的段的模型，诸如数学模型。
152.在步骤554处，处理单元110可以构建与所检测到的段相关联的一组测量。在一些实施例中，处理单元110可以创建所检测到的段从图像平面到现实世界平面上的投影。可以使用具有与诸如所检测到的道路的位置、斜率、曲率和曲率导数的物理属性对应的系数的三次多项式来表征该投影。在生成投影时，处理单元110可以考虑路面的改变，以及与车辆200相关的俯仰(pitch)和滚转速率(roll rate)。此外，处理单元110可以通过分析呈现在路面上的位置和运动线索来对道路标高进行建模。此外，处理单元110可以通过跟踪一个或多个图像中的一组特征点来估计与车辆200相关联的俯仰和滚转速率。
153.在步骤556处，处理单元110可以通过例如跨连续图像帧跟踪所检测到的段并累积与检测到的段相关联的逐帧数据来进行多帧分析。由于处理单元110进行多帧分析，在步骤554构建的该组测量可以变得更可靠并且与越来越高的置信水平相关联。因此，通过进行步骤550、552、554和556，处理单元110可以识别在该组捕获图像中出现的道路标记并导出车道几何结构信息。基于该识别和所导出的信息，处理单元110可以引起车辆200中的一个或多个导航响应，如以上结合图5a所描述的。
154.在步骤558处，处理单元110可以考虑附加的信息源，以进一步产生车辆200的在其周围的环境中的安全模型。处理单元110可以使用安全模型来限定系统100可以以安全方式执行车辆200的自主控制的上下文。为产生该安全模型，在一些实施例中，处理单元110可以考虑其他车辆的位置和运动、所检测的路缘和护栏、和/或从地图数据(诸如来自地图数据库160的数据)提取的一般道路形状描述。通过考虑附加的信息源，处理单元110可以提供用于检测道路标记和车道几何的冗余，并增加系统100的可靠性。
155.图5d是示出与所公开的实施例一致的用于在一组图像中检测交通灯的示例性过程500d的流程图。处理单元110可以执行单目图像分析模块402来实现过程500d。在步骤560处，处理单元110可以扫描该组图像，并识别出现在图像中的可能含有交通灯的位置处的对象。例如，处理单元110可以过滤所识别的对象来构建一组候选对象，而排除不可能对应于交通灯的那些对象。可以基于与交通灯相关联的各种属性来完成过滤，诸如形状、尺寸、纹理、位置(例如，相对于车辆200)等。这样的属性可以基于交通灯和交通控制信号的多个示例，并存储在数据库中。在一些实施例中，处理单元110可以对反映可能的交通灯的该组候选对象进行多帧分析。例如，处理单元110可以跨连续图像帧跟踪候选对象，估计候选对象的现实世界位置，并过滤掉那些移动的对象(其不可能是交通灯)。在一些实施例中，处理单元110可以对候选对象进行颜色分析，并识别出现在可能的交通灯内的所检测到的颜色的相对位置。
156.在步骤562处，处理单元110可以分析交叉口的几何结构。分析可以基于以下各项的任意组合：(i)在车辆200的任一侧检测到的车道数，(ii)在道路上检测到的标记(例如箭头标记)，以及(iii)从地图数据(例如来自地图数据库160的数据)中提取的交叉口的描述。处理单元110可以使用从执行单目分析模块402导出的信息来进行分析。此外，处理单元110可以确定在步骤560检测到的交通灯和在车辆200附近出现的车道之间的对应性。
157.在步骤564处，随着车辆200接近交叉口，处理单元110可以更新与所分析的交叉口几何结构和所检测到的交通灯相关联的置信度等级。例如，被估计为出现在交叉口处的交通灯的数目与实际出现在交叉口处的交通灯的数目比较可以影响置信度等级。因此，基于该置信度等级，处理单元110可以将控制委托给车辆200的驾驶员以便改善安全状况。通过进行步骤560、562和564，处理单元110可以识别出现在该组捕获图像内的交通灯，并分析交叉口几何结构信息。基于该识别和分析，处理单元110可以引起车辆200中的一个或多个导航响应，如以上结合图5a所描述的。
158.图5e是示出与所公开的实施例一致的用于基于车辆路径来引起车辆200中的一个或多个导航响应的示例性过程500e的流程图。在步骤570处，处理单元110可以构建与车辆200相关联的初始车辆路径。车辆路径可以使用以坐标(x，z)表达的一组点来表示，并且该组点中两个点之间的距离di可以落入1至5米的范围中。在一个实施例中，处理单元110可以使用诸如左道路多项式和右道路多项式的两个多项式来构建初始车辆路径。处理单元110可以计算该两个多项式之间的几何中点，并且将被包含在得到的车辆路径中的每个点偏移预定的偏移(例如，智能车道偏移)，如果有的话(零偏移可以对应于在车道的中间行驶)。该偏移可以在垂直于在车辆路径中的任何两点之间的线段的方向上。在另一个实施例中，处理单元110可以使用一个多项式和估计的车道宽度，来将车辆路径的每个点偏移估计的车道宽度的一半加上预定偏移(例如，智能车道偏移)。
159.在步骤572处，处理单元110可以更新在步骤570构建的车辆路径。处理单元110可以使用更高的分辨率来重建在步骤570构建的车辆路径，以使得表示车辆路径的该组点中两个点之间的距离dk小于上述距离di。例如，该距离dk可以落入0.1至0.3米的范围中。处理单元110可以使用抛物线样条算法(parabolic spline algorithm)重建车辆路径，这可以产生对应于车辆路径的总长度的累积距离向量s(即，基于表示车辆路径的该组点)。
160.在步骤574处，处理单元110可以基于在步骤572处构建的更新的车辆路径来确定前视点(look-ahead point)(以坐标表达为(x1，z1))。处理单元110可以从累积距离向量s提取前视点，并且该前视点可以与前视距离和前视时间相关联。前视距离可以具有范围为从10米至20米的下限，可以被计算为车辆200的速度和前视时间的乘积。例如，随着车辆200的速度下降，前视距离也可以减小(例如，直到它到达下限)。前视时间的范围可以从0.5到1.5秒，可以与关联于引起车辆200中的导航响应的诸如航向误差(heading error)跟踪控制环路的一个或多个控制环路的增益成反比。例如，该航向误差跟踪控制环路的增益可以取决于偏航率(yaw rate)环路、转向致动器环路、汽车横向动力学等的带宽。因此，航向误差跟踪控制环路的增益越高，前视时间越短。
161.在步骤576处，处理单元110可以基于在步骤574确定的前视点来确定航向误差和偏航率命令。处理单元110可以通过计算前视点的反正切，例如arctan(x1/z1)来确定航向误差。处理单元110可以将横摆角速率命令确定为航向误差和高水平控制增益的乘积。如果前视距离不在下限处，则高水平控制增益可以等于：(2/前视时间)。否则，高水平控制增益可以等于：(2
×
车辆200的速度/前视距离)。
162.图5f是示出与所公开的实施例一致的用于确定前方车辆是否正在改变车道的示例性过程500f的流程图。在步骤580处，处理单元110可以确定与前方车辆(例如，在车辆200前方行驶的车辆)相关联的导航信息。例如，处理单元110可以使用以上结合图5a和图5b所描述的技术来确定前方车辆的位置、速度(例如，方向和速度)和/或加速度。处理单元110还可以使用以上结合图5e所描述的技术来确定一个或多个道路多项式、前视点(与车辆200相关联)和/或追踪轨迹(例如，描述由前方车辆所采取的路径的一组点)。
163.在步骤582处，处理单元110可以分析在步骤580确定的导航信息。在一个实施例中，处理单元110可以计算追踪轨迹和道路多项式之间的距离(例如，沿着该轨迹)。如果沿着该轨迹的这个距离的方差超过预定的阈值(例如，在直路上0.1至0.2米，在适度弯曲道路上0.3至0.4米，以及在急转弯道路上0.5至0.6米)，则处理单元110可以确定前方车辆很可能正在改变车道。在检测到多个车辆在车辆200前方行驶的情形中，处理单元110可以比较与每个车辆相关联的追踪轨迹。基于该比较，处理单元110可以确定追踪轨迹与其他车辆的追踪轨迹不匹配的车辆很可能正在改变车道。处理单元110可以附加地将(与前方车辆相关联的)追踪轨迹的曲率与前方车辆正在其中行驶的道路段的期望曲率相比较。该期望曲率可以从地图数据(例如，来自地图数据库160的数据)、从道路多项式、从其他车辆的追踪轨迹、从关于道路现有知识等提取。如果追踪轨迹的曲率和道路段的期望曲率的差异超过预定的阈值，则处理单元110可以确定前方车辆很可能正在改变车道。
164.在另一个实施例中，处理单元110可以在具体时间段(例如，0.5至1.5秒)将前方车辆的瞬时位置与前视点(与车辆200相关联)相比较。如果前方车辆的瞬时位置与前视点之间的距离在该具体时间段期间变化，并且变化的累积总和超过预定阈值(例如，在直路上
0.3至0.4米，在适度弯曲道路上0.7至0.8米，以及在急转弯道路上1.3至1.7米)，则处理单元110可以确定前方车辆很可能正在改变车道。在另一个实施例中，处理单元110可以通过将沿着追踪轨迹行驶的横向距离与该追踪路径的期望曲率相比较，米分析该追踪轨迹的几何结构。可以根据计算确定预期的曲率半径：(δ
22
+δ
x2
)/2/(δ
x
)，其中δ
x
表示横向行驶的距离和δz表示的纵向行驶的距离。如果行驶的横向距离和期望曲率之间的差异超过预定阈值(例如，500至700米)，则处理单元110可以确定前方车辆很可能正在改变车道。在另一个实施例中，处理单元110可以分析前方车辆的位置。如果前方车辆的位置遮挡了道路多项式(例如，前车覆盖在道路多项式的上方)，则处理单元110可以确定前方车辆很可能正在改变车道。在前方车辆的位置是使得在前方车辆的前方检测到另一车辆并且这两个车辆的追踪轨迹不平行的情况下，处理单元110可以确定(较近的)前方车辆很可能正在改变车道。
165.在步骤584，处理单元110可以基于在步骤582进行的分析来确定前方车辆200是否正在改变车道。例如，处理单元110可以基于在步骤582进行的各个分析的加权平均来做出该确定。在这样的方案下，例如，由处理单元110基于特定类型的分析做出的前方车辆很可能正在改变车道的决定可以被分配值“1”(以及“0”用来表示前方车辆不太可能正在改变车道的确定)。在步骤582处进行的不同分析可以被分配不同的权重，并且所公开的实施例不限于分析和权重的任何特定组合。
166.图6是示出与所公开的实施例一致的用于基于立体图像分析来引起一个或多个导航响应的示例性过程600的流程图。在步骤610处，处理单元110可以经由数据接口128接收第一和第二多个图像。例如，被包含在图像获取单元120的相机(诸如具有视场202和204的图像捕获装置122和124)可以捕获在车辆200前方的区域的第一和第二多个图像，并经过数字连接(例如，usb、无线、蓝牙等)将它们发送到处理单元110。在一些实施例中，处理单元110可以经由两个或多个数据接口接收该第一和第二多个图像。所公开的实施例不限于任何特定的数据接口配置或协议。
167.在步骤620处，处理单元110可以执行立体图像分析模块404来进行对第一和第二多个图像的立体图像分析，以创建在车辆前方的道路的3d地图并检测图像内的特征，诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯、道路危险等。可以以与上面结合图5a至5d描述的步骤类似的方式进行立体图像分析。例如，处理单元110可以执行立体图像分析模块404以在第一和第二多个图像内检测候选对象(例如，车辆、行人、道路标记、交通灯、道路危险等)，基于各种标准过滤掉候选对象的子集，并进行多帧分析、构建测量，以及为剩余的候选对象确定置信度等级。在进行上述步骤时，处理单元110可以考虑来自第一和第二多个图像两者的信息，而不是仅考虑来自一组图像的信息。例如，处理单元110可以分析出现在第一和第二多个图像两者中的候选对象的像素级数据(或来自捕获图像的两个流中的其他数据子集)的差异。作为另一个示例，处理单元110可以通过观察对象在多个图像中的一个出现而未在另一个图像中出现，或相对于出现在两个图像流中的对象可能存在的其他差异，来估计候选对象(例如，相对于车辆200)的位置和/或速度。例如，可以基于与出现在图像流的一个或两者中的对象相关联的轨迹、位置、移动特性等特征，来确定相对于车辆200的位置、速度和/或加速度。
168.在步骤630处，处理单元110可以执行导航响应模块408，以基于在步骤620进行的分析和如以上结合图4所描述的技术而引起车辆200中的一个或多个导航响应。导航响应可
以包含例如转向、车道变换、加速度的改变、速度的改变、制动等。在一些实施例中，处理单元110可以使用从执行速度和加速度模块406导出的数据来引起该一个或多个导航响应。此外，多个导航响应可以同时地、按照顺序地、或以其任何组合而发生。
169.图7是示出与所公开的实施例一致的用于基于三组图像的分析来引起一个或多个导航响应的示例性过程700的流程图。在步骤710处，处理单元110可以经由数据接口128接收第一、第二和第三多个图像。例如，被包含在图像获取单元120的相机(诸如具有视场202、204和206的图像捕获装置122、124和126)可以捕获在车辆200前方和/或侧方的区域的第一、第二和第三多个图像，并且经过数字连接(例如，usb、无线、蓝牙等)将它们发送到处理单元110。在一些实施例中，处理单元110可以经由三个或更多个数据接口接收第一、第二和第三多个图像。例如，图像捕获装置122、124、126中的每个可以具有用于向处理单元110通信数据的相关联的数据接口。所公开的实施例不限于任何特定的数据接口配置或协议。
170.在步骤720处，处理单元110可以分析该第一、第二和第三多个图像以检测图像内的特征，诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯、道路危险等。该分析可以以类似于以上结合图5a-图5d和图6所描述的步骤的方式来进行。例如，处理单元110可以对第一、第二和第三多个图像中的每个进行单目图像分析(例如，经由单目图像分析模块402的执行以及基于以上结合图5a至图5d所描述的步骤)。替代地，处理单元110可对第一和第二多个图像、第二和第三多个图像、和/或第一和第三多个图像进行立体图像分析(例如，经由立体图像分析模块404的执行以及基于以上结合图6所描述的步骤)。可以组合对应于第一、第二和/或第三多个图像的分析的处理后的信息。在一些实施例中，处理单元110可以进行单目和立体图像分析的组合。例如，处理单元110可以对第一多个图像进行单目图像分析(例如，经由单目图像分析模块402的执行)并且对第二和第三多个图像进行立体图像分析(例如，经由立体图像分析模块404的执行)。图像捕获装置122、124和126——包含它们各自的位置和视场202、204和206——的配置可以影响对第一、第二和第三多个图像进行的分析的类型。所公开的实施例不限于图像捕获装置122、124和126的特定配置或对第一、第二和第三多个图像进行的分析的类型。
171.在一些实施例中，处理单元110可以基于在步骤710和720所获取和分析的图像对系统100进行测试。这样的测试可以提供对于图像获取装置122、124和126的某些配置的系统100的整体性能的指示符。例如，处理单元110可以确定“伪命中”(例如，系统100不正确地确定车辆或行人的存在的情况)和“漏掉”的比例。
172.在步骤730处，处理单元110可以基于从第一、第二和第三多个图像中的两个导出的信息来引起车辆200中的一个或多个导航响应。对第一、第二和第三多个图像中的两个的选择可以取决于各种因素，诸如例如在多个图像的每个中检测到的对象的数目、类型和大小。处理单元110还可以基于图像质量和分辨率、在图像中反映的有效视场、捕获的帧的数目、一个或多个感兴趣的对象实际出现在帧中的程度(例如，对象出现的帧的百分比、每个这样的帧中出现的对象的比例)等来进行选择。
173.在一些实施例中，处理单元110可以通过确定从一个图像源导出的信息与从其他图像源导出的信息的相一致的程度，选择从第一、第二和第三多个图像中的两个导出的信息。例如，处理单元110可以将从图像捕获装置122、124和126中的每个导出的处理后的信息组合(无论通过单目分析、立体分析、还是两者的任何组合)，并确定在从图像捕获装置122、
124和126的每个捕获到的图像之间相一致的视觉指示符(例如，车道标记、检测到的车辆及其位置和/或路径、检测到的交通灯等)。处理单元110还可以排除在捕获到的图像之间不一致的信息(例如，正改变车道的车辆、指示车辆太靠近车辆200的车道模型等)。因此，处理单元110可以基于确定相一致和不一致的信息，来选择从第一、第二和第三多个图像中的两个导出的信息。
174.导航响应可以包含例如转向、车道变换、制动、加速度的改变等。处理单元110可以基于在步骤720所进行的分析和如以上结合图4所描述的技术来引起一个或多个导航响应。处理单元110还可以使用从执行速度和加速度模块406导出的数据来引起一个或多个导航响应。在一些实施例中，处理单元110可以基于在车辆200与在第一、第二和第三多个图像的任一者内检测到的对象之间的相对位置、相对速度和/或相对加速度来引起一个或多个导航响应。多个导航响应可以同时地、按顺序地或以其任何组合而发生。
175.用于自主车辆导航的稀疏道路模型
176.在一些实施例中，所公开的系统和方法可以使用用于自主车辆导航的稀疏地图。特别地，稀疏地图可以用于沿着道路段的自主车辆导航。例如，稀疏地图可以在不存储和/或更新大量数据的情况下为导航自主车辆提供足够的信息。如下文更详细讨论的，自主车辆可以基于一个或多个存储的轨迹使用稀疏地图来导航一条或多条道路。
177.用于自主车辆导航的稀疏地图
178.在一些实施例中，所公开的系统和方法可以生成用于自主车辆导航的稀疏地图。例如，稀疏地图可以在不需要过多的数据存储或数据传输速率的情况下为导航提供足够的信息。如下文更详细讨论的，车辆(其可以是自主车辆)可以使用稀疏地图来导航一条或多条道路。例如，在一些实施例中，稀疏地图可以包含与道路和沿着道路的潜在地标相关的数据，这些数据对于车辆导航来说可能是足够的，但是也表现出小的数据足迹(footprint)。例如，下面详细描述的稀疏数据地图与包含详细地图信息(诸如沿着道路收集的图像数据)的数字地图相比，可能需要显著更少的存储空间和数据传输带宽。
179.例如，稀疏数据地图可以存储沿着道路的优选车辆路径的三维多项式表示，而不是存储道路段的详细表示。这些路径可能需要非常少的数据存储空间。此外，在所描述的稀疏数据地图中，地标可以被识别并被包含在稀疏地图道路模型中以帮助导航。这些地标可以以适合于使能车辆导航的任何间距被定位，但是在一些情况下，这些地标不需要以高密度和短间距被识别并被包含在模型中。相反，在一些情况下，基于间距开至少50米、至少100米、至少500米、至少1千米或至少2千米的地标的导航是可能的。如将在其他部分中更详细讨论的，稀疏地图可以基于由配备有各种传感器和装置(诸如图像捕获装置、全球定位系统传感器、运动传感器等)的车辆在该车辆沿着道路行驶时收集或测量的数据来生成。在一些情况下，稀疏地图可以基于在一个或多个车辆沿着特定道路多次驾驶期间收集的数据来生成。使用一个或多个车辆的多次驾驶生成稀疏地图可以被称为“众包”稀疏地图。
180.与所公开的实施例一致，自主车辆系统可以使用用于导航的稀疏地图。例如，所公开的系统和方法可以分发稀疏地图用于为自主车辆生成道路导航模型，并且可以使用稀疏地图和/或生成的道路导航模型沿着道路段导航自主车辆。与本公开一致的稀疏地图可以包含一个或多个三维轮廓，这些三维轮廓可以表示自主车辆在它们沿着相关联的道路段移动时可以穿越(traverse)的预定轨迹。
181.与本公开一致的稀疏地图还可以包含表示一个或多个道路特征的数据。这样的道路特征可以包含辨识的地标、道路签名轮廓以及在车辆导航中有用的任何其他道路相关特征。与本公开一致的稀疏地图可以基于包含在稀疏地图中的相对少量的数据来使能车辆的自主导航。例如，稀疏地图的所公开的实施例可以需要相对小的存储空间(并且当稀疏地图的部分被传输到车辆时需要相对小的带宽)，但是仍然可以充分地提供自主车辆导航，而不是包含道路的详细表示，诸如道路边缘、道路曲率、与道路段相关联的图像、或详细描述与道路段相关联的其他物理特征的数据。在一些实施例中，可以通过存储需要少量数据但仍然使能够自主导航的道路相关元素的表示来实现所公开的稀疏地图的小数据足迹，这将在下面进一步详细讨论。
182.例如，所公开的稀疏地图可以存储车辆可以沿着道路遵循的一个或多个轨迹的多项式表示，而不是存储道路的各个方面的详细表示。因此，使用所公开的稀疏地图，可以沿着特定道路段导航车辆，而不是存储(或必须传输)关于道路的物理性质的细节以使能沿着道路的导航，在某些情况下，不必解释道路的物理方面，而是通过将其行驶的路径与沿着特定道路段的轨迹(例如，多项式样条)对齐。以这种方式，可以主要基于存储的轨迹(例如，多项式样条)来导航车辆，与涉及道路图像、道路参数、道路布局等的存储的方法相比，该存储的轨迹可以需要少得多的存储空间。
183.除了存储的沿着道路段的轨迹的多项式表示之外，所公开的稀疏地图还可以包含可以表示道路特征的小数据对象。在一些实施例中，小数据对象可以包含数字签名，该数字签名从沿着道路段行驶的车辆上的传感器(例如，相机或其他传感器，诸如悬架传感器)获得的数字图像(或数字信号)中导出。相对于由传感器获取的信号，数字签名可以具有减小的大小。在一些实施例中，数字签名可以被创建为与分类器功能兼容，该分类器功能被配置为例如在后续驾驶期间从由传感器获取的信号中检测和识别道路特征。在一些实施例中，可以创建数字签名，使得数字签名具有尽可能小的足迹，同时保留基于道路特征的图像(或者如果所存储的签名不是基于图像和/或包含其他数据，则是由传感器生成的数字信号)将道路特征与所存储的签名相关联或匹配的能力，该道路特征的图像由后续沿相同道路段行驶的车辆上的相机捕获。
184.在一些实施例中，数据对象的大小可以进一步与道路特征的唯一性相关联。例如，对于可由车辆上的相机检测的道路特征，并且其中车辆上的相机系统耦合到分类器，该分类器能够将对应于该道路特征的图像数据区分为与特定类型的道路特征(例如，道路标志)相关联，并且其中这种道路标志在该区域中是本地唯一的(例如，附近没有相同的道路标志或相同类型的道路标志)，存储指示道路特征的类型及其位置的数据可以是足够的。
185.如下面将进一步详细讨论的，道路特征(例如，沿着道路段的地标)可以被存储为小数据对象，该小数据对象可以以相对较少的字节来表示道路特征，同时提供足够的信息用于辨识和使用这样的特征进行导航。在一个示例中，道路标志可以被识别为车辆的导航可以基于的辨识的地标。道路标志的表示可以被存储在稀疏地图中，以包含例如指示地标的类型(例如，停车标志)的几个字节的数据和指示地标的位置(例如，坐标)的几个字节的数据。基于地标的这种轻数据(data-light)表示的导航(例如，使用足以基于地标定位、辨识和导航的表示)可以提供与稀疏地图相关联的期望等级的导航功能，而不会显著增加与稀疏地图相关联的数据开销。地标(和其他道路特征)的这种精简表示可以利用包含在这种
车辆上的被配置为检测、识别和/或分类特定道路特征的传感器和处理器。
186.例如，当给定区域中的标志或者甚至特定类型的标志是本地唯一的(例如，当没有其他标志或者没有相同类型的其他标志时)，稀疏地图可以使用指示地标的类型(标志或者特定类型的标志)的数据，并且在导航(例如，自主导航)期间当自主车辆上的相机捕获包含标志(或特定类型的标志)的区域的图像时，处理器可以处理图像，检测标志(如果确实存在于图像中)，将图像分类为标志(或特定类型的标志)，并将图像的位置与存储在稀疏地图中的标志的位置相关联。
187.生成稀疏地图
188.在一些实施例中，稀疏地图可以包含沿着道路段延伸的路面特征的至少一个线表示以及与该道路段相关联的多个地标。在某些方面，稀疏地图可以经由“众包”来生成，例如，通过对当一个或多个车辆穿越道路段时获取的多个图像进行图像分析。
189.图8示出了一个或多个车辆，例如车辆200(其可以是自主车辆)可以访问以用于提供自主车辆导航的稀疏地图800。稀疏地图800可以被存储在存储器中，诸如存储器140或150中。这种存储器装置可以包含任何类型的非暂时性存储装置或计算机可读介质。例如，在一些实施例中，存储器140或150可以包含硬盘驱动器、光盘、闪速存储器、基于磁的存储器装置、基于光的存储器装置等。在一些实施例中，稀疏地图800可以存储在数据库(例如，地图数据库160)中，该数据库可以存储在存储器140或150或其他类型的存储装置中。
190.在一些实施例中，稀疏地图800可以存储在车辆200上提供的存储装置或非暂时性计算机可读介质上(例如，包含在车辆200上的导航系统中的存储装置)。车辆200上提供的处理器(例如，处理单元110)可以访问存储在车辆200上提供的存储装置或计算机可读介质中的稀疏地图800，以便在车辆穿越道路段时生成用于引导自主车辆200的导航指令。
191.然而，稀疏地图800不需要相对于车辆被本地存储。在一些实施例中，稀疏地图800可以存储在存储装置或计算机可读介质上，在与车辆200或与车辆200相关联的装置通信的远程服务器上提供该存储装置或计算机可读介质。车辆200上提供的处理器(例如，处理单元110)可以从远程服务器接收稀疏地图800中包含的数据，并且可以执行用于引导车辆200的自主驾驶的数据。在这样的实施例中，远程服务器可以存储稀疏地图800的全部或仅其一部分。因此，在车辆200上和/或在一个或多个附加车辆上提供的存储装置或计算机可读介质可以存储稀疏地图800的(多个)剩余部分。
192.此外，在这样的实施例中，稀疏地图800可被穿越不同道路段的多个车辆(例如，数十、数百、数千或数百万车辆等)访问。还应当注意，稀疏地图800可以包含多个子地图。例如，在一些实施例中，稀疏地图800可以包含可用于导航车辆的数百、数千、数百万或更多的子地图。这种子地图可以被称为局部地图，并且沿着道路行驶的车辆可以访问与车辆正在行驶的位置相关的任意数量的局部地图。稀疏地图800的局部地图部分可以与全球导航卫星系统(gnss)密钥一起存储作为到稀疏地图800的数据库的索引。因此，虽然在本系统中用于导航主车辆的转向角的计算可以在不依赖于主车辆的gnss位置、道路特征或地标的情况下执行，但是这种gnss信息可以用于检索相关的局部地图。
193.一般来说，稀疏地图800可以基于从一个或多个车辆在它们沿着道路行驶时收集的数据来生成。例如，使用一个或多个车辆上的传感器(例如，相机、速度计、gps、加速度计等)，可以记录一个或多个车辆沿着道路行驶的轨迹，并且可以基于由一个或多个车辆行驶
的收集到的轨迹来确定沿着道路进行后续行程的车辆的优选轨迹的多项式表示。类似地，由一个或多个车辆收集的数据可以帮助识别沿着特定道路的潜在地标。从穿越车辆收集的数据也可以用于识别道路轮廓信息，诸如道路宽度轮廓、道路粗糙度轮廓、交通线间距轮廓、道路状况等。使用收集的信息，稀疏地图800可以被生成和分发(例如，用于本地存储或经由飞行中的数据传输)，以用于导航一个或多个自主车辆。然而，在一些实施例中，地图生成可能不会在地图的初始生成时结束。如下面将更详细讨论的，当车辆继续穿越稀疏地图800中包含的道路时，稀疏地图800可以基于从车辆收集的数据被连续地或周期性地更新。
194.稀疏地图800中记录的数据可以包含基于全球定位系统(gps)数据的位置信息。例如，位置信息可以包含在稀疏地图800中，以用于各种地图元素，包含例如地标位置、道路轮廓位置等。稀疏地图800中包含的地图元素的位置可以使用从穿越道路的车辆收集的gps数据来获得。例如，经过所识别的地标的车辆可以使用与车辆相关联的gps位置信息和所识别的地标相对于车辆的位置的确定(例如，基于从车辆上的一个或多个相机收集的数据的图像分析)来确定所识别的地标的位置。当附加的车辆经过所识别的地标的位置时，可以重复对所识别的地标(或稀疏地图800中包含的任何其他特征)的这种位置确定。一些或所有附加位置确定可用于相对于所识别的地标细化存储在稀疏地图800中的位置信息。例如，在一些实施例中，相对于存储在稀疏地图800中的特定特征的多个位置测量可以一起被平均。然而，任何其他数学运算也可用于基于地图元素的多个确定的位置来细化地图元素的所存储的位置。
195.所公开的实施例的稀疏地图可以使用相对少量的存储数据来使能车辆的自主导航。在一些实施例中，稀疏地图800可以具有小于每千米道路2mb、小于每千米道路1mb、小于每千米道路500kb或小于每千米道路100kb的数据密度(例如，包含表示目标轨迹、地标和任何其他存储的道路特征的数据)。在一些实施例中，稀疏地图800的数据密度可以小于每千米道路10kb，或者甚至小于每千米道路2kb(例如，每千米1.6kb)，或者不超过每千米道路10kb，或者不超过每千米道路20kb。在一些实施例中，也可以使用总共具有4gb或更少数据的稀疏地图来自主导航美国的大部分道路(如果不是全部的话)。这些数据密度值可以表示整个稀疏地图800、稀疏地图800内的局部地图和/或稀疏地图800内的特定道路段上的平均。
196.如上所述，稀疏地图800可以包含多个目标轨迹的表示810，以用于沿着道路段引导自主驾驶或导航。这种目标轨迹可以被存储为三维样条。例如，存储在稀疏地图800中的目标轨迹可以基于车辆沿着特定道路段的先前穿越(traversal)的两个或多个重建轨迹来确定。道路段可以与单个目标轨迹或多个目标轨迹相关联。例如，在双车道道路上，可以存储第一目标轨迹以表示在第一方向上沿着道路行驶的预期路径，并且可以存储第二目标轨迹以表示在另一方向上(例如，与第一方向相反)沿着道路行驶的预期路径。可以存储关于特定道路段的附加目标轨迹。例如，在多车道道路上，可以存储一个或多个目标轨迹，其表示与多车道道路相关联的一个或多个车道中的车辆的行驶的预期路径。在一些实施例中，多车道道路的每个车道可以与其自己的目标轨迹相关联。在其他实施例中，存储的目标轨迹可以比多车道道路上存在的车道少。在这种情况下，在多车道道路上导航的车辆可以使用任何存储的目标轨迹来通过考虑从存储目标轨迹的车道的车道偏移来引导其导航(例如，如果车辆在三车道公路的最左侧车道上行驶，并且目标轨迹仅针对公路的中间车道存
储，当生成导航指令时，通过考虑中间车道和最左侧车道之间的车道偏移，车辆可以使用中间车道的目标轨迹导航)。
197.在一些实施例中，目标轨迹可以表示车辆行驶时应该走的理想路径。目标轨迹可以位于例如行驶的车道的近似中心。在其他情况下，目标轨迹可以位于相对于道路段的其他地方。例如，目标轨迹可以与道路的中心、道路的边缘或车道的边缘等近似重合。在这种情况下，基于目标轨迹的导航可以包含相对于目标轨迹的位置维持的确定的偏移量。此外，在一些实施例中，相对于目标轨迹的位置维持的确定的偏移量可以基于车辆的类型而不同(例如，沿着目标轨迹的至少一部分，包含两个轴的客车可以与包含多于两个轴的卡车具有不同的偏移)。
198.稀疏地图800还可以包含与多个预定地标820相关的数据，多个预定地标820与特定道路段、局部地图等相关联。如下文更详细讨论的，这些地标可以用于自主车辆的导航。例如，在一些实施例中，地标可用于确定车辆相对于所存储的目标轨迹的当前位置。利用该位置信息，自主车辆能够调整航向方向，以匹配在确定的位置处的目标轨迹的方向。
199.多个地标820可以以任何合适的间距被识别并存储在稀疏地图800中。在一些实施例中，地标可以以相对高的密度被存储(例如，每隔几米或更多)。然而，在一些实施例中，可以采用显著更大的地标间距值。例如，在稀疏地图800中，所识别的(或所辨识的)地标可以间距10米、20米、50米、100米、1千米或2千米。在一些情况下，所识别的地标可以位于相距甚至超过2千米的距离处。
200.在地标之间，并因此在相对于目标轨迹的车辆位置的确定之间，车辆可以基于航位推算来导航，在该航位推算中，车辆使用传感器来确定其自我(ego)运动并估计其相对于目标轨迹的位置。由于在通过航位推算的导航期间误差可以累积，随着时间的推移，相对于目标轨迹的位置确定可能变得越来越不精确。车辆可以使用出现在稀疏地图800中的地标(以及它们的已知位置)来消除位置确定中由航位推算引起的误差。以这种方式，稀疏地图800中包含的所识别的地标可以用作导航锚，从该导航锚可以确定车辆相对于目标轨迹的精确位置。因为在位置定位中一定量的误差可以是可接受的，所以识别的地标不需要总是对自主车辆可用。相反，合适的导航甚至可以基于如上所述的10米、20米、50米、100米、500米、1千米、2千米或更多的地标间距。在一些实施例中，每1千米的道路的1个识别地标的密度足以将纵向位置确定精度维持在1米内。因此，不需要将沿着道路段出现的每个潜在地标存储在稀疏地图800中。
201.此外，在一些实施例中，车道标记可以用于在地标间距期间的车辆的定位。通过在地标间距期间使用车道标记，通过航位推算的导航期间的累积可以被最小化。
202.除了目标轨迹和识别的地标之外，稀疏地图800可以包含与各种其他道路特征相关的信息。例如，图9a示出了可以存储在稀疏地图800中的沿着特定道路段的曲线的表示。在一些实施例中，道路的单个车道可以由道路左侧和右侧的三维多项式描述来建模。图9a中示出了表示单个车道的左侧和右侧的这样的多项式。不管道路可以有多少车道，道路可以以类似于图9a所示的方式使用多项式来表示。例如，多车道道路的左侧和右侧可以由类似于图9a所示的多项式来表示，并且包含在多车道道路上的中间车道标记(例如，表示车道边界的虚线标记、表示在不同方向上行驶的车道之间的边界的黄色实线等)也可以使用诸如图9a所示的多项式来表示。
203.如图9a所示，可以使用多项式(例如，一阶、二阶、三阶或任何合适阶的多项式)来表示车道900。为了说明，车道900被示出为二维车道，并且多项式被显示为二维多项式。如图9a所示，车道900包含左侧910和右侧920。在一些实施例中，可以使用一个以上的多项式来表示道路或车道边界的每一侧的位置。例如，左侧910和右侧920中的每一个可以由任意合适长度的多个多项式来表示。在一些情况下，多项式可以具有大约100m的长度，尽管也可以使用大于或小于100m的其他长度。此外，多项式可以彼此重叠，以便当主车辆沿着道路行驶时，基于后续遇到的多项式来促进导航中的无缝过渡。例如，左侧910和右侧920中的每一个可以由多个三阶多项式表示，这些三阶多项式被分成大约100米长的段(第一预定范围的示例)，并且彼此重叠大约50米。表示左侧910和右侧920的多项式可以具有或不具有相同的顺序。例如，在一些实施例中，一些多项式可以是二阶多项式，一些可以是三阶多项式，以及一些可以是四阶多项式。
204.在图9a所示的示例中，车道900的左侧910由两组三阶多项式表示。第一组包含多项式段911、912和913。第二组包含多项式段914、915和916。这两个组虽然基本上彼此平行，但是遵循它们各自的道路侧的位置。多项式段911、912、913、914、915和916具有大约100米的长度，并且与系列中与相邻段重叠大约50米。然而，如前所述，也可以使用不同长度和不同重叠量的多项式。例如，多项式可以具有500m、1km或更长的长度，并且重叠量可以从0到50m、50m到100m或大于100m变化。另外，虽然图9a被示为表示在2d空间(例如，在纸的表面上)中延伸的多项式，但是应当理解，这些多项式可以表示在三维中延伸的曲线(例如，包含高度分量)，以表示除了x-y曲率之外的道路段中的标高改变。在图9a所示的示例中，车道900的右侧920进一步由具有多项式段921、922和923的第一组和具有多项式段924、925和926的第二组表示。
205.回到稀疏地图800的目标轨迹，图9b示出了表示沿着特定道路段行驶的车辆的目标轨迹的三维多项式。目标轨迹不仅表示主车辆应该沿着特定道路段行驶的x-y路径，还表示主车辆沿着该道路段行驶时将经历的标高改变。因此，稀疏地图800中的每个目标轨迹可以由一个或多个三维多项式表示，如图9b中所示的三维多项式950。稀疏地图800可以包含多个轨迹(例如，数百万或数十亿或更多，以表示沿着沿着世界各地的道路的各个道路段的车辆的轨迹)。在一些实施例中，每个目标轨迹可以对应于连接三维多项式段的样条。
206.关于存储在稀疏地图800中的多项式曲线的数据足迹，在一些实施例中，每个三次多项式可以由四个参数表示，每个参数需要四个字节的数据。可以使用需要每100m约192字节数据的三次多项式来获得合适的表示。对于行驶约100km/hr的主车辆，这可以转化为每小时约200kb的数据使用/传输要求。
207.稀疏地图800可以使用几何描述符和元数据的组合来描述车道网络。几何结构可以用如上所述的多项式或样条来描述。元数据可以描述车道的数量、特殊特性(诸如合乘车辆车道)以及可能的其他稀疏标签。这种指示符的总足迹可能可以忽略不计。
208.因此，根据本公开的实施例的稀疏地图可以包含沿着道路段延伸的路面特征的至少一个线表示，每个线表示表示沿着道路段基本上对应于路面特征的路径。在一些实施例中，如上所述，路面特征的至少一个线表示可以包含样条、多项式表示或曲线。此外，在一些实施例中，路面特征可以包含道路边缘或车道标记中的至少一个。此外，如下面关于“众包”所讨论的，可以通过对当一个或多个车辆穿越道路段时获取的多个图像的图像分析来识别
路面特征。
209.如前所述，稀疏地图800可以包含与道路段相关联的多个预定地标。稀疏地图800中的每个地标可以使用比存储的实际图像所需的更少的数据米表示和识别，而不是存储地标的实际图像并依赖于例如基于捕获的图像和存储的图像的图像辨识分析。表示地标的数据仍然可以包含用于描述或识别沿着道路的地标的足够信息。存储描述地标的特性的数据，而不是地标的实际图像，可以减小稀疏地图800的大小。
210.图10示出了可以在稀疏地图800中表示的地标的类型的示例。地标可以包含沿着道路段的任何可见且可识别的对象。可以选择地标，使得它们是固定的，并且相对于它们的位置和/或内容不会经常改变。稀疏地图800中包含的地标在车辆穿越特定道路段时确定车辆200相对于目标轨迹的位置是有用的。地标的示例可以包含交通标志、方向标志、一般标志(例如，矩形标志)、路边固定装置(例如，灯柱、反射器等)以及任何其他合适的类别。在一些实施例中，道路上的车道标记也可以作为地标被包含在稀疏地图800中。
211.图10中示出的地标的示例包含交通标志，方向标志，路边固定装置和一般标志。交通标志可以包含，例如限速标志(例如，限速标志1000)、让行标志(例如，让行标志1005)、路线(route)号标志(例如，路线号标志1010)、交通灯标志(例如，交通灯标志1015)、停车标志(例如，停车标志1020)。方向标志可以包含标志，该标志包含一个或多个箭头，该箭头指示到不同地方的一个或多个方向。例如，方向标志可以包含具有用于将车辆引导到不同道路或地方的箭头的高速公路标志1025、具有将车辆引导离开道路的箭头的出口标志1030等等。因此，多个地标中的至少一个可以包含道路标志。
212.一般标志可以与交通无关。例如，一般标志可能包含用于广告的广告牌，或两国、州、县、市或城镇之间边界附近的欢迎板。图10示出了一般标志1040(“乔的餐厅”)。尽管一般标志1040可以具有矩形形状，如图10所示，但是一般标志1040可以具有其他形状，诸如正方形，圆形，三角形等。
213.地标还可能包含路边固定装置。路边固定装置可以不是标志，也可以与交通或方向无关。例如，路边固定装置可以包含灯柱(例如，灯柱1035)、电力线柱、交通灯柱等。
214.地标还可以包含专门设计用于自主车辆导航系统的信标。例如，这种信标可以包含以预定间隔放置的独立结构，以帮助导航主车辆。这种信标还可以包含添加到现有道路标志的可视/图形信息(例如，图标、徽章、条形码等)，该可视/图形信息可以被沿着道路段行驶的车辆识别或辨识。这种信标还可以包含电子组件。在这样的实施例中，电子信标(例如，rfid标签等)可用于向主车辆传输非可视信息。这种信息可以包含例如主车辆在确定其沿目标轨迹的位置时可以使用的地标标识和/或地标位置信息。
215.在一些实施例中，稀疏地图800中包含的地标可以由预定大小的数据对象来表示。表示地标的数据可以包含用于识别特定地标的任何合适的参数。例如，在一些实施例中，存储在稀疏地图800中的地标可以包含参数，诸如地标的物理大小(例如，以支持基于已知大小/比例的到地标的距离的估计)、到先前地标的距离、横向偏移、高度、类型代码(例如，地标类型——什么类型的方向标志、交通标志等)、gps坐标(例如，支持全球定位)和任何其他合适的参数。每个参数可以与数据大小相关联。例如，可以使用8字节的数据来存储地标大小。可以使用12字节的数据来指定到先前地标的距离、横向偏移和高度。与诸如方向标志或交通标志的地标相关联的类型代码可以需要大约2字节的数据。对于一般标志，可以使用50
字节的数据存储装置来存储使能识别一般标志的图像签名。地标gps位置可以与16字节的数据存储装置相关联。每个参数的这些数据大小只是示例，也可以使用其他数据大小。
216.以这种方式在稀疏地图800中表示地标可以提供用于在数据库中有效地表示地标的精简方案。在一些实施例中，标志可以被称为语义标志和非语义标志。语义标志可以包含具有标准化含义的任何类别的标志(例如，限速标志、警告标志、方向标志等)。非语义标志可以包含与标准化含义不相关联的任何标志(例如，一般广告标志、标识商业机构的标志等)。例如，每个语义标志可以用38字节的数据来表示(例如，8字节用于大小；12字节用于到先前地标的距离、横向偏移和高度；2字节用于类型代码；以及16字节用于gps坐标)。稀疏地图800可以使用标签系统来表示地标类型。在一些情况下，每个交通标志或方向标志可以与其自己的标签相关联，该标签可以作为地标标识的一部分存储在数据库中。例如，数据库可以包含大约1000个不同的标签来表示各种交通标志，以及大约10000个不同的标签来表示方向标志。当然，可以使用任何合适数量的标签，并且可以根据需要创建附加标签。在一些实施例中，一般用途标志可以使用小于约100字节(例如，约86字节，包含8字节用于大小；12字节用于到先前地标的距离、横向偏移和高度；50字节用于图像签名；以及16字节用于gps坐标)。
217.因此，对于不需要图像签名的语义道路标志，即使以大约每50米1个的相对高的地标密度，对稀疏地图800的数据密度影响也可以是大约每千米760字节(例如，每千米20个地标
×
每地标38字节＝760字节)。即使对于包含图像签名组件的一般用途标志，数据密度影响也约为每千米1.72千字节(例如，每千米20个地标
×
每地标86字节＝1,720字节)。对于语义道路标志，这相当于对于行驶100千米/hr的车辆的每小时约76kb的数据使用。对于一般用途标志，这相当于对于行驶100千米/hr的车辆的每小时约170kb的数据使用。
218.在一些实施例中，诸如矩形标志的一般矩形对象可以在稀疏地图800中由不超过100字节的数据来表示。稀疏地图800中的一般矩形对象(例如，一般标志1040)的表示可以包含与一般矩形对象相关联的压缩(condensed)图像签名(例如，压缩图像签名1045)。这种压缩图像签名可以用于例如帮助一般标志的识别，例如作为识别的地标。这种压缩图像签名(例如，从表示对象的实际图像数据导出的图像信息)可以避免存储对象的实际图像的需要，或者避免对实际图像执行比较图像分析以识别地标的需要。
219.参考图10，稀疏地图800可以包含或存储与一般标志1040相关联的压缩图像签名1045，而不是一般标志1040的实际图像。例如，在图像捕获装置(例如，图像捕获装置122、124或126)捕获一般标志1040的图像之后，处理器(例如，可以处理图像的图像处理器190或任何其他处理器，其在主车辆上或相对于主车辆位于远处)可以执行图像分析以提取/创建包含与一般标志1040相关联的唯一签名或图案的压缩图像签名1045。在一个实施例中，压缩图像签名1045可以包含形状、颜色图案、亮度图案或可以从一般标志1040的图像中提取的用于描述一般标志1040的任何其他特征。
220.例如，在图10中，压缩图像签名1045中所示的圆形、三角形和星形可以表示不同颜色的区域。由圆形、三角形和星形表示的图案可以存储在稀疏地图800中，例如，在被指定为包含图像签名的50个字节内。值得注意的是，圆形、三角形和星形不一定意图指示这些形状作为图像签名的一部分被存储。相反，这些形状意图在概念上表示具有可辨别的颜色差异的可辨识区域、文本区域、图形形状或者可以与一般标志相关联的特性的其他变化。这种压
缩图像签名可用于以一般标志的形式识别地标。例如，压缩图像签名可用于基于存储的压缩图像签名与例如使用自主车辆上的相机捕获的图像数据的比较来执行相同或不同的分析。
221.因此，可以通过对当一个或多个车辆穿越道路段时获取的多个图像进行图像分析来识别多个地标。如下面关于“众包”所解释的，在一些实施例中，识别多个地标的图像分析可以包含当地标确实出现的图像与地标没有出现的图像的比率超过阈值时接受潜在地标。此外，在一些实施例中，识别多个地标的图像分析可以包含当地标没有出现的图像与地标确实出现的图像的比率超过阈值时拒绝潜在地标。
222.回到主车辆可以用来导航特定道路段的目标轨迹，图11a示出了在建造或维持稀疏地图800的过程中捕获的多项式表示轨迹。稀疏地图800中包含的目标轨迹的多项式表示可以基于车辆沿着相同道路段的先前穿越的两个或更多个重建轨迹来确定。在一些实施例中，稀疏地图800中包含的目标轨迹的多项式表示可以是沿着相同道路段的车辆的先前穿越的两个或更多个重建轨迹的聚合。在一些实施例中，稀疏地图800中包含的目标轨迹的多项式表示可以是车辆沿着相同道路段的先前穿越的两个或更多个重建轨迹的平均。其他数学运算也可以用于基于从沿着道路段穿越的车辆收集的重建轨迹来构建沿着道路路径的目标轨迹。
223.如图11a所示，道路段1100可以由多个车辆200在不同时间处行驶。每个车辆200可以收集与车辆沿着道路段所走的路径相关的数据。由特定车辆行驶的路径可以基于相机数据、加速度计信息、速度传感器信息和/或gps信息以及其他潜在来源来确定。这种数据可用于重建沿着道路段行驶的车辆的轨迹，并且基于这些重建轨迹，可为特定道路段确定目标轨迹(或多个目标轨迹)。这种目标轨迹可以表示主车辆沿着道路段行驶时的(例如，由自主导航系统所引导的)该车辆的优选路径。
224.在图11a所示的示例中，第一重建轨迹1101可以基于从在第一时间段(例如，第一天)穿越道路段1100的第一车辆接收的数据来确定，第二重建轨迹1102可以从在第二时间段(例如，第二天)穿越道路段1100的第二车辆获得，第三重建轨迹1103可以从在第三时间段(例如，第三天)穿越道路段1100的第三车辆获得。每个轨迹1101、1102和1103可以由多项式表示，诸如三维多项式。应当注意，在一些实施例中，任何重建轨迹可以在穿越道路段1100的车辆上组装。
225.附加地或替代地，可以基于从穿越道路段1100的车辆接收的信息在服务器侧确定这样的重建轨迹。例如，在一些实施例中，车辆200可以向一个或多个服务器发送与它们沿着道路段1100的运动相关的数据(例如，转向角、航向、时间、位置、速度、感测的道路几何结构和/或感测的地标等)。服务器可以基于接收的数据重建车辆200的轨迹。服务器还可以基于第一轨迹1101、第二轨迹1102和第三轨迹1103生成用于引导将在稍后的时间沿着相同道路段1100行驶的自主车辆的导航的目标轨迹。虽然目标轨迹可以与道路段的单个先前穿越相关联，但是在一些实施例中，稀疏地图800中包含的每个目标轨迹可以基于穿越相同道路段的车辆的两个或更多个重建轨迹来确定。在图11a中，目标轨迹由1110表示。在一些实施例中，目标轨迹1110可以基于第一轨迹1101、第二轨迹1102和第三轨迹1103的平均来生成。在一些实施例中，稀疏地图800中包含的目标轨迹1110可以是两个或更多个重建轨迹的聚合(例如，加权组合)。
226.图11b和11c进一步示出了与地理区域1111内存在的道路段相关联的目标轨迹的概念。如图11b所示，地理区域1111内的第一道路段1120可以包含多车道道路，该多车道道路包含指定用于车辆在第一方向上行驶的两条车道1122和指定用于车辆在与第一方向相反的第二方向上行驶的两条附加车道1124。车道1122和车道1124可以由双黄线1123分开。地理区域1111还可以包含与道路段1120相交的分支道路段1130。道路段1130可以包含双车道道路，每个车道被指定用于不同的行驶方向。地理区域1111还可以包含其他道路特征，诸如停车线1132、停车标志1134、限速标志1136和危险标志1138。
227.如图11c所示，稀疏地图800可以包含局部地图1140，该局部地图1140包含用于帮助地理区域1111内的车辆的自主导航的道路模型。例如，局部地图1140可以包含与地理区域1111内的道路段1120和/或1130相关联的一个或多个车道的目标轨迹。例如，局部地图1140可以包含自主车辆在穿越车道1122时可以访问或依赖的目标轨迹1141和/或1142。类似地，局部地图1140可以包含自主车辆在穿越车道1124时可以访问或依赖得到目标轨迹1143和/或1144。此外，局部地图1140可以包含自主车辆在穿越道路段1130时可以访问或依赖的目标轨迹1145和/或1146。目标轨迹1147表示当从车道1120(具体而言，相对于与车道1120的最右侧车道相关联的目标轨迹1141)过渡到道路段1130(具体而言，相对于与道路段1130的第一侧相关联的目标轨迹1145)时，自主车辆应该遵循的优选路径。类似地，目标轨迹1148表示当从道路段1130(具体地，相对于目标轨迹1146)过渡到道路段1124的一部分(具体地，如图所示，相对于与车道1124的左车道相关联的目标轨迹1143)时，自主车辆应该遵循的优选路径。
228.稀疏地图800还可以包含与地理区域1111相关联的其他道路相关特征的表示。例如，稀疏地图800还可以包含在地理区域1111中识别的一个或多个地标的表示。这些地标可以包含与停车线1132相关联的第一地标1150、与停车标志1134相关联的第二地标1152、与限速标志1154相关联的第三地标以及与危险标志1138相关联的第四地标1156。这种地标可以用于例如帮助自主车辆确定其相对于任何所示目标轨迹的当前位置，使得车辆可以调整其航向以匹配在确定的位置处的目标轨迹的方向。
229.在一些实施例中，稀疏地图800还可以包含道路签名轮廓。这种道路签名轮廓可以与至少一个与道路相关联的参数的任何可辨别/可测量的变化相关联。例如，在一些情况下，这种轮廓可以与路面信息的变化相关联，诸如特定道路段的表面粗糙度的变化、特定道路段上道路宽度的变化、沿着特定道路段绘制的虚线之间的距离的变化、沿着特定道路段的道路曲率的变化等。图11d示出了道路签名轮廓1160的示例。虽然轮廓1160可以表示上述参数中的任意参数或其他参数，但是在一个示例中，轮廓1160可以表示路面粗糙度的测量，例如，如通过监控一个或多个传感器来获得，该一个或多个传感器提供指示车辆在特定道路段上行驶时悬架位移量的输出。
230.替代地或同时地，轮廓1160可以表示道路宽度的变化，如基于经由在特定道路段上行驶的车辆上的相机获得的图像数据来确定的。例如，这种轮廓在确定自主车辆相对于特定目标轨迹的特定位置时是有用的。也就是说，当它穿越道路段时，自主车辆可以测量与道路段相关联的一个或多个参数相关联的轮廓。如果测量的轮廓可以与相对于沿着道路段的位置绘制参数变化的预定轮廓相关/匹配，则可以使用测量的和预定的轮廓(例如，通过覆盖测量的和预定的轮廓的对应部分)，以便确定沿着道路段的当前位置，并且因此确定相
对于道路段的目标轨迹的当前位置。
231.在一些实施例中，稀疏地图800可以包含基于与自主车辆的用户相关联的不同特性、环境状况和/或与驾驶相关的其他参数的不同轨迹。例如，在一些实施例中，可以基于不同的用户偏好和/或轮廓来生成不同的轨迹。包含这种不同轨迹的稀疏地图800可以被提供给不同用户的不同自主车辆。例如，一些用户可能偏好避开收费公路，而其他用户可能偏好走最短或最快的路线，而不管路线上是否有收费公路。所公开的系统可以基于这种不同的用户偏好或轮廓生成具有不同轨迹的不同稀疏地图。作为另一个示例，一些用户可能偏好在快速移动的车道上行驶，而其他用户可能偏好始终维持在中心车道上的位置。
232.基于不同的环境状况，诸如白天和黑夜、雪、雨、雾等，可以生成不同的轨迹并将其包含在稀疏地图800中。在不同环境状况下行驶的自主车辆可以被提供有基于这种不同环境状况生成的稀疏地图800。在一些实施例中，在自主车辆上提供的相机可以检测环境状况，并且可以将这种信息提供回生成并提供稀疏地图的服务器。例如，服务器可以生成或更新已经生成的稀疏地图800，以包含在检测到的环境状况下可能更适合或更安全用于自主驾驶的轨迹。当自主车辆沿着道路行驶时，可以动态地执行基于环境状况的稀疏地图800的更新。
233.与驾驶相关的其他不同参数也可以用作生成不同的稀疏地图并将不同的稀疏地图提供给不同的自主车辆的基础。例如，当自主车辆以高速行驶时，转弯可能会更困难(tighter)。与特定车道而不是道路相关联的轨迹可以被包含在稀疏地图800中，使得当车辆遵循特定轨迹时，自主车辆可以维持在特定车道内。当由自主车辆上的相机捕获的图像指示车辆已经漂移到车道之外(例如，越过车道标记)时，可以在车辆内触发动作，以根据特定轨迹将车辆带回指定车道。
234.众包稀疏地图
235.在一些实施例中，所公开的系统和方法可以生成用于自主车辆导航的稀疏地图。例如，所公开的系统和方法可以使用众包数据来生成稀疏，一个或多个自主车辆可以使用该稀疏来沿着道路的系统导航。如本文所使用的，“众包”意味着从在不同时间处在道路段上行驶的各种车辆(例如，自主车辆)接收数据，并且这些数据被用于生成和/或更新道路模型。模型又可以被发送到稍后沿着道路段行驶的车辆或其他车辆，以用于辅助自主车辆导航。道路模型可以包含多个目标轨迹，这些目标轨迹表示自主车辆在穿越道路段时应该遵循的优选轨迹。目标轨迹可以与从穿越道路段的车辆收集的重建的实际轨迹相同，其可以从车辆发送到服务器。在一些实施例中，目标轨迹可以不同于一个或多个车辆先前在穿越道路段时所采用的实际轨迹。目标轨迹可以基于实际轨迹生成(例如，通过平均或任何其他合适的操作)。
236.车辆可以上传到服务器的车辆轨迹数据可以与车辆的实际重建轨迹对应，或者可以对应于推荐轨迹，该推荐轨迹可以基于车辆的实际重建轨迹或与之相关，但是可以不同于实际重建轨迹。例如，车辆可以修改它们的实际重建轨迹，并且向服务器提交(例如，推荐)修改的实际轨迹。道路模型可以使用推荐的、修改的轨迹作为其他车辆自主导航的目标轨迹。
237.除了轨迹信息之外，在建造稀疏数据地图800中潜在使用的其他信息可以包含与潜在地标候选相关的信息。例如，通过信息的众包，所公开的系统和方法可以识别环境中的
潜在地标并细化地标位置。自主车辆的导航系统可以使用这些地标来确定和/或调整车辆沿着目标轨迹的位置。
238.车辆沿着道路行驶时可以生成的重建轨迹可以通过任何合适的方法获得。在一些实施例中，重建轨迹可以通过使用例如自我运动估计(例如，相机(以及由此的车身)的三维平移和三维旋转)将车辆的运动段拼接(stitch)在一起来产生。旋转和平移估计可以基于对由一个或多个图像捕获装置捕获的图像以及来自其他传感器或装置(诸如惯性传感器和速度传感器)的信息的分析来确定。例如，惯性传感器可以包含加速度计或其他合适的传感器，其被配置为测量车身平移和/或旋转的改变。车辆可以包含测量车辆的速度的速度传感器。
239.在一些实施例中，可以基于所捕获图像的光流分析来估计相机(以及由此的车身)的自我运动。图像序列的光流分析从图像序列中识别像素的移动，并且基于所识别的运动，确定车辆的运动。自我运动可以随着时间和沿着道路段被积分，以重建与车辆已经遵循的道路段相关联的轨迹。
240.沿着道路段在不同时间处由多个驾驶中的多个车辆收集的数据(例如，重建轨迹)可用于构建包含在稀疏数据地图800中的道路模型(例如，包含目标轨迹等)。还可以对沿着道路段在不同时间处由多个驾驶中的多个车辆收集的数据进行平均，以提高模型的精度。在一些实施例中，可以从在不同时间处穿越公共道路段的多个车辆接收关于道路几何结构和/或地标的数据。从不同车辆接收的这种数据可以被组合以生成道路模型和/或更新道路模型。
241.沿着道路段的重建轨迹(以及目标轨迹)的几何结构可以由三维空间中的曲线表示，该曲线可以是连接三维多项式的样条。重建轨迹曲线可以通过分析由安装在车辆上的相机捕获的视频流或多个图像来确定。在一些实施例中，在车辆当前位置前方几米的每个帧或图像中识别位置。该位置是车辆预期在预定时间段内行驶的位置。该操作可以逐帧重复，同时，车辆可以计算相机的自我运动(旋转和平移)。在每一帧或每一个图像中，车辆在附接到相机的参考帧中生成期望路径的短程模型。短程模型可以被拼接在一起，以在某个坐标帧中获得道路的三维模型，该坐标帧可以是任意的或预定的坐标帧。然后，道路的三维模型可以由样条拟合，该样条可以包含或连接一个或多个合适阶数的多项式。
242.为了在每个帧处总结短程道路模型，可以使用一个或多个检测模块。例如，可以使用自底向上(bottom-up)的车道检测模块。当在道路上绘制车道标记时，自底向上的车道检测模块可以是有用的。该模块可以在图像中寻找边缘，并将它们组装在一起以形成车道标记。第二模块可以与自底向上车道检测模块一起使用。第二模块是端到端深度神经网络，其可以被训练以从输入图像预测正确的短程路径。在这两个模块中，道路模型可以在图像坐标帧中被检测，并且被转换成可以虚拟地附接到相机的三维空间。
243.尽管重建轨迹建模方法可能由于长时间段的自我运动的积分而引入误差的累积，这可能包含噪声分量，但是这种误差可能是无关紧要的，因为生成的模型可以为局部比例上的导航提供足够的精度。此外，还可以通过使用卫星图像或大地测量等外部信息源来消除积分误差。例如，所公开的系统和方法可以使用gnss接收器来消除累积误差。然而，gnss定位信号可能并不总是可用和精确的。所公开的系统和方法可以使能弱依赖于gnss定位的可用性和精度的转向应用。在这种系统中，gnss信号的使用可能受到限制。例如，在一些实
施例中，所公开的系统可以将gnss信号仅用于数据库索引目的。
244.在一些实施例中，与自主车辆导航转向应用相关的范围比例(例如，局部比例)可以大约为50米、100米、200米、300米等。可以使用这样的距离，因为几何道路模型主要用于两个目的：计划前方轨迹和在道路模型上定位车辆。在一些实施例中，当控制算法根据位于前方1.3秒(或任何其他时间，例如1.5秒、1.7秒、2秒等)的目标点使车辆转向时，计划任务可以使用在前方40米(或任何其他合适的前方距离，例如20米、30米、50米)的典型范围内的模型。定位任务使用在汽车后60米(或任何其他合适的距离，诸如50米、100米、150米等)的典型范围内的道路模型。根据另一节中更详细描述的称为“尾部对齐”的方法。所公开的系统和方法可以生成在特定范围(诸如100米)上具有足够精度的几何模型，使得计划的轨迹不会偏离车道中心超过例如30厘米。
245.如上所述，可以根据检测短程道路段并将它们拼接在一起来构建三维道路模型。可以通过使用相机捕获的视频和/或图像、来自反映车辆的运动的惯性传感器的数据以及主车辆速度信号来计算六度自我运动模型来使能拼接。累积误差在某个局部范围比例(诸如大约100米)上可能足够小。所有这些都可以在特定道路段上的单个驾驶中完成。
246.在一些实施例中，可以使用多个驾驶来对得到的模型进行平均，并进一步提高其精度。相同汽车可以多次行驶相同路线，或者多个汽车可以将它们收集到的模型数据传送到中央服务器。在任何情况下，可以执行匹配过程来识别重叠的模型并使能平均，以便生成目标轨迹。一旦满足收敛标准，构建的模型(例如，包含目标轨迹)可用于转向。后续驾驶可用于进一步的模型改进和适应基础设施改变。
247.如果多个汽车连接到一个中央服务器，则它们之间共享驾驶经验(诸如感测的数据)变得可行。每个车辆客户端可以存储一般道路模型的部分副本，该副本可以与其当前位置相关。车辆和服务器之间的双向更新过程可以由车辆和服务器执行。上面讨论的小足迹概念使得所公开的系统和方法能够使用非常小的带宽来执行双向更新。
248.还可以确定与潜在地标相关的信息，并将其转发给中央服务器。例如，所公开的系统和方法可以基于包含地标的一个或多个图像来确定潜在地标的一个或多个物理属性。物理属性可以包含地标的物理大小(例如，高度、宽度)、从车辆到地标的距离、地标到先前地标之间的距离、地标的横向位置(例如，地标相对于行驶的车道的位置)、地标的gps坐标、地标的类型、地标上的文本标识等。例如，车辆可以分析由相机捕获的一个或多个图像，以检测潜在地标，诸如限速标志。
249.车辆可以基于对一个或多个图像的分析来确定从车辆到地标的距离。在一些实施例中，可以使用合适的图像分析方法，例如缩放方法和/或光流方法，基于对地标的图像的分析来确定距离。在一些实施例中，所公开的系统和方法可以被配置为确定潜在地标的类型或分类。在车辆确定某潜在地标对应于存储在稀疏地图中的预定类型或分类的情况下，车辆将地标的类型或分类的指示连同其位置传送给服务器就足够了。服务器可以存储这样的指示。在稍后的时间，其他车辆可以捕获地标的图像，处理该图像(例如，使用分类器)，并将处理该图像的结果与存储在服务器中的关于地标类型的指示进行比较。可以有各种类型的地标，并且不同类型的地标可以与上传到服务器并存储在服务器中的不同类型的数据相关联，车辆上的不同处理可以检测地标并将关于地标的信息传送到服务器，并且车辆上的系统可以从服务器接收地标数据并使用地标数据以用于在自主导航中识别地标。
250.在一些实施例中，在道路段上行驶的多个自主车辆可以与服务器通信。车辆(或客户端)可以在任意坐标帧中生成描述其驾驶的曲线(例如，通过自我运动积分)。车辆可以检测地标并在相同帧中定位它们。车辆可以将曲线和地标上传到服务器。服务器可以通过多个驾驶从车辆收集数据，并生成统一的道路模型。或者例如，如下面参考图19所讨论的，服务器可以使用上传的曲线和地标生成具有统一道路模型的稀疏地图。
251.服务器还可以将模型分发给客户端(例如，车辆)。例如，服务器可以将稀疏地图分发给一个或多个车辆。当从车辆接收到新数据时，服务器可以连续或周期性地更新模型。例如，服务器可以处理新数据以评估该数据是否包含应该触发服务器上新数据的更新或创建的信息。服务器可以将更新的模型或更新分发给车辆，以用于提供自主车辆导航。
252.服务器可以使用一个或多个标准来确定从车辆接收的新数据是否应该触发对模型的更新或者触发新数据的创建。例如，当新数据指示在特定位置的先前识别的地标不再存在，或者被另一个地标替换时，服务器可以确定新数据应该触发对模型的更新。作为另一个示例，当新数据指示道路段已经关闭，并且当这已经被从其他车辆接收的数据证实时，服务器可以确定新数据应该触发对模型的更新。
253.服务器可以将更新的模型(或模型的更新部分)分发给在与模型更新相关联的道路段上行驶的一个或多个车辆。服务器还可以将更新后的模型分发给将要在道路段上行驶的车辆，或者其计划行程包含与模型更新相关联的道路段的车辆。例如，当自主车辆在到达与更新相关联的道路段之前沿着另一道路段行驶时，服务器可以在车辆到达道路段之前将更新或更新的模型分发到自主车辆。
254.在一些实施例中，远程服务器可以从多个客户端(例如，沿着公共道路段行驶的车辆)收集轨迹和地标。服务器可以使用地标匹配曲线，并基于从多个车辆收集的轨迹创建平均道路模型。服务器还可以计算道路的图和道路段的每个节点或连接处的最可能路径。例如，远程服务器可以对齐轨迹以从收集的轨迹生成众包稀疏地图。
255.服务器可以对从沿着公共道路段行驶的多个车辆接收的地标属性进行平均，诸如由多个车辆测量的一个地标到另一个地标(例如，沿着道路段的前一个地标)之间的距离，以确定弧长参数并支持每个客户端车辆沿着路径的定位和速度校准。服务器可以对由沿着公共道路段行驶并辨识相同地标的多个车辆测量的地标的物理尺寸进行平均。平均物理尺寸可用于支持距离估计，诸如从车辆到地标的距离。服务器可以对由沿着公共道路段行驶并辨识相同地标的多个车辆测量的地标的横向位置(例如，从车辆正在行驶的车道到地标的位置)进行平均。平均横向部分可用于支持车道分配。服务器可以对由沿着相同道路段行驶并辨识相同地标的多个车辆测量的地标的gps坐标进行平均。地标的平均gps坐标可用于支持道路模型中地标的全球定位(localization)或定位(positioning)。
256.在一些实施例中，基于从车辆接收的数据，服务器可以识别模型改变，诸如构建、绕行、新标志、标志的移除等。当从车辆接收到新数据时，服务器可以连续地或周期性地或瞬时地更新模型。服务器可以将对模型的更新或更新后的模型分发给车辆，以用于提供自主导航。例如，如下面进一步讨论的，服务器可以使用众包数据来过滤掉由车辆检测到的“幽灵(ghost)”地标。
257.在一些实施例中，服务器可以分析自主驾驶期间的驾驶员干预。服务器可以分析在干预发生的时间和位置从车辆接收的数据，和/或在干预发生的时间之前接收的数据。服
务器可以识别引起干预或与干预密切相关的数据的某些部分，例如，指示临时车道封闭设置的数据、指示道路中行人的数据。服务器可以基于识别的数据更新模型。例如，服务器可以修改存储在模型中的一个或多个轨迹。
258.图12是使用众包生成稀疏地图(以及使用众包稀疏地图分发和导航)的系统的示意图。图12示出了包含一个或多个车道的道路段1200。多个车辆1205、1210、1215、1220和1225可以在相同时间或在不同时间在道路段1200上行驶(尽管在图12中显示为在相同时间出现在道路段1200上)。车辆1205、1210、1215、1220和1225中的至少一个可以是自主车辆。为了简化本示例，假定所有车辆1205、1210、1215、1220和1225都为自主车辆。
259.每个车辆可以类似于在其他实施例中公开的车辆(例如，车辆200)，并且可以包含被包含在其他实施例中公开的车辆中或者与其他实施例中公开的车辆相关联的组件或装置。每个车辆可以配备有图像捕获装置或相机(例如，图像捕获装置122或相机122)。每个车辆可以经由一个或多个网络(例如，通过蜂窝网络和/或互联网等)通过如虚线所示的无线通信路径1235与远程服务器1230通信。每个辆车可以将数据发送到服务器1230，并从服务器1230接收数据。例如，服务器1230可以从在不同时间在道路段1200上行驶的多个车辆收集数据，并且可以处理所收集的数据以生成自主车辆道路导航模型，或者对模型的更新。服务器1230可以将自主车辆道路导航模型或对模型的更新发送到将数据发送到服务器1230的车辆。服务器1230可以将自主车辆道路导航模型或对模型的更新发送给稍后在道路段1200上行驶的其他车辆。
260.当车辆1205、1210、1215、1220和1225在道路段1200上行驶时，由车辆1205、1210、1215、1220和1225收集(例如，检测、感测或测量)的导航信息可以被发送到服务器1230。在一些实施例中，导航信息可以与公共道路段1200相关联。导航信息可以包含当每个车辆在道路段1200上行驶时与每个车辆1205、1210、1215、1220和1225相关联的轨迹。在一些实施例中，可以基于由车辆1205上提供的各种传感器和装置感测的数据来重建轨迹。例如，可以基于加速度计数据、速度数据、地标数据、道路几何结构或轮廓数据、车辆位置数据和自我运动数据中的至少一个来重建轨迹。在一些实施例中，可以基于来自惯性传感器(诸如加速度计)的数据和由速度传感器感测的车辆1205的速度来重建轨迹。此外，在一些实施例中，可以基于感测的相机的自我运动来确定轨迹(例如，通过车辆1205、1210、1215、1220和1225中的每一个上的处理器)，该感测的相机的自我运动可以指示三维平移和/或三维旋转(或旋转运动)。相机(以及由此的车身)的自我运动可以通过对相机捕获的一个或多个图像的分析来确定。
261.在一些实施例中，车辆1205的轨迹可以由在车辆1205上提供的处理器确定，并被发送到服务器1230。在其他实施例中，服务器1230可以接收由在车辆1205中提供的各种传感器和装置感测的数据，并基于从车辆1205接收的数据确定轨迹。
262.在一些实施例中，从车辆1205、1210、1215、1220和1225发送到服务器1230的导航信息可以包含关于路面、道路几何结构或道路轮廓的数据。道路段1200的几何结构可以包含车道结构和/或地标。车道结构可以包含道路段1200的车道总数、车道类型(例如，单车道、双车道、行驶车道、超车车道等)、车道上的标记，车道宽度等。在一些实施例中，导航信息可以包含车道分配，例如，车辆正在多个车道中的哪个车道中行驶。例如，车道分配可以与数字值“3”相关联，该数字值“3”指示车辆正在从左侧或右侧的第三车道上行驶。作为另
一个示例，车道分配可以与文本值“中心车道”相关联，该文本值指示车辆正在中心车道上行驶。
263.服务器1230可以将导航信息存储在非暂时性计算机可读介质上，诸如硬盘驱动器、光盘、磁带、存储器等。服务器1230可以基于从多个车辆1205、1210、1215、1220和1225接收的导航信息，为公共道路段1200生成(例如，通过包含在服务器1230中的处理器)自主车辆道路导航模型的至少一部分，并且可以将该模型存储为稀疏地图的一部分。服务器1230可以基于从在不同时间在道路段的车道上行驶的多个车辆(例如，1205、1210、1215、1220和1225)接收的众包数据(例如，导航信息)来确定与每个车道相关联的轨迹。服务器1230可以基于基于众包导航数据确定的多个轨迹来生成自主车辆道路导航模型或模型的一部分(例如，更新部分)。服务器1230可以将模型或模型的更新部分发送到在道路段1200上行驶的自主车辆1205、1210、1215、1220和1225中的一个或多个，或者在稍后的时间在道路段上行驶的任何其他自主车辆，以用于更新在车辆的导航系统中提供的现有自主车辆道路导航模型。自主车辆道路导航模型可以被自主车辆用于沿着公共道路段1200的自主导航。
264.如上所述，自主车辆道路导航模型可以包含在稀疏地图(例如，图8中描绘的稀疏地图800)中。稀疏地图800可以包含与沿着道路的道路几何结构和/或地标相关的数据的稀疏记录，这可以为引导自主车辆的自主导航提供足够的信息，但是不需要过多的数据存储。在一些实施例中，自主车辆道路导航模型可以与稀疏地图800分开存储，并且当该模型被执行用于导航时，可以使用来自稀疏地图800的地图数据。在一些实施例中，自主车辆道路导航模型可以使用稀疏地图800中包含的地图数据来确定沿着道路段1200的目标轨迹，以用于引导自主车辆1205、1210、1215、1220和1225或稍后沿着道路段1200行驶的其他车辆的自主导航。例如，当自主车辆道路导航模型由包含在车辆1205的导航系统中的处理器执行时，该模型可以使处理器将基于从车辆1205接收的导航信息确定的轨迹与包含在稀疏地图800中的预定轨迹进行比较，以验证和/或校正车辆1205的当前行驶路线。
265.在自主车辆道路导航模型中，道路特征或目标轨迹的几何结构可以由三维空间中的曲线编码。在一个实施例中，曲线可以是三维样条，包含一个或多个连接三维多项式。如本领域技术人员所理解的，样条可以是由一系列多项式逐段定义的用于拟合数据的数值函数。用于拟合道路的三维几何数据的样条可以包含线性样条(一阶)、二次样条(二阶)、三次样条(三阶)、或任何其他样条(其他阶)、或其组合。样条可以包含连接(例如，拟合)道路的三维几何数据的数据点的不同阶的一个或多个三维多项式。在一些实施例中，自主车辆道路导航模型可以包含对应于沿着公共道路段(例如，道路段1200)或道路段1200的车道的目标轨迹的三维样条。
266.如上所述，稀疏地图中包含的自主车辆道路导航模型可以包含其他信息，诸如沿着道路段1200的至少一个地标的标识。地标可以在安装在车辆1205、1210、1215、1220和1225中的每一个上的相机(例如，相机122)的视场内可见。在一些实施例中，相机122可以捕获地标的图像。车辆1205上提供的处理器(例如，处理器180、190或处理单元110)可以处理地标的图像以提取地标的识别信息。地标识别信息，而不是地标的实际图像，可以存储在稀疏地图800中。地标识别信息可以需要比实际图像少得多的存储空间。其他传感器或系统(例如，gps系统)也可以提供地标的某些识别信息(例如，地标的位置)。地标可以包含交通标志、箭头标记、车道标记、虚线车道标记、交通灯、停车线、方向标志(例如，具有指示方向
的箭头的高速公路出口标志、具有指向不同方向或地方的箭头的高速公路标志)、地标信标或灯柱中的至少一个。地标信标是指沿着道路段安装的装置(例如，rfid装置)，其向安装在车辆上的接收器发送或反射信号，使得当车辆经过该装置时，由车辆接收的信标和(例如，从装置的gps位置确定的)装置的位置可以被用作要被包含在自主车辆道路导航模型和/或稀疏地图800中的地标。
267.至少一个地标的标识可以包含至少一个地标的位置。地标的位置可以基于使用与多个车辆1205、1210、1215、1220和1225相关联的传感器系统(例如，全球定位系统、基于惯性的定位系统、地标信标等)执行的位置测量来确定。在一些实施例中，地标的位置可以通过对不同车辆1205、1210、1215、1220和1225上的传感器系统通过多次驾驶检测、收集或接收的位置测量进行平均来确定。例如，车辆1205、1210、1215、1220和1225可以向服务器1230发送位置测量，服务器1230可以对位置测量进行平均，并将平均的位置测量用作地标的位置。地标的位置可以通过从后续驾驶中的车辆接收的测量来不断地细化。
268.地标的标识可以包含地标的大小。车辆(例如1205)上提供的处理器可以基于图像的分析来估计地标的物理大小。服务器1230可以通过不同的驾驶从不同的车辆接收相同地标的物理大小的多个估计。服务器1230可以对不同的估计进行平均，以得出地标的物理大小，并将地标大小存储在道路模型中。物理大小估计可用于进一步确定或估计从车辆到地标的距离。到地标的距离可以基于车辆的当前速度和基于图像中出现的地标相对于相机的扩展的焦点的位置的扩展比例来估计。例如，到地标的距离可以通过z＝v*dt*r/d来估计，其中v是车辆的速度，r是图像中从时间t1处的地标到扩展的焦点的距离，并且d是图像中从t1到t2的地标的距离改变。dt表示(t2-t1)。例如，到地标的距离可以通过z＝v*dt*r/d来估计，其中v是车辆的速度，r是图像中地标和扩展焦点之间的距离，dt是时间间隔，d是地标沿着核线的图像位移。与上述等式等效的其他等式，诸如z＝v*ω/δω，可以用于估计到地标的距离。这里，v是车辆速度，ω是图像长度(类似对象宽度)，δω是该图像长度在单位时间内的改变。
269.当地标的物理大小已知时，到地标的距离也可以基于以下等式来确定：z＝f*w/ω，其中f为焦距，w为地标的大小(如高度或宽度)，ω为地标离开图像时的像素数。根据上述等式，可以使用δz＝f*w*δω/ω2+f*δw/ω来计算距离z的改变，其中δw通过平均而衰减到零，并且其中δω是表示图像中边界框精度的像素数。可以通过平均服务器侧的多个观测来计算估计地标的物理大小的值。距离估计的最终误差可以非常小。使用上述等式时，可能出现两个误差源，即δw和δω。它们对距离误差的贡献由δz＝f*w*δω/ω2+f*δw/ω给出。然而，δw通过平均衰减到零；因此δz由δω确定(例如，图像中边界框的不精确性)。
270.对于未知尺寸的地标，可以通过在连续帧之间跟踪地标上的特征点来估计到地标的距离。例如，可以在两个或多个图像帧之间跟踪出现在限速标志上的某些特征。基于这些跟踪的特征，可以生成每特征点的距离分布。距离估计可以从距离分布中提取。例如，距离分布中最频繁出现的距离可以用作距离估计。作为另一个示例，距离分布的平均可以用作距离估计。
271.图13示出了由多个三维样条1301、1302和1303表示的示例自主车辆道路导航模型。图13中所示的曲线1301、1302和1303仅用于说明目的。每个样条可以包含连接多个数据
点1310的一个或多个三维多项式。每个多项式可以是一阶多项式、二阶多项式、三阶多项式或具有不同阶数的任何合适多项式的组合。每个数据点1310可以与从车辆1205、1210、1215、1220和1225接收的导航信息相关联。在一些实施例中，每个数据点1310可以和与地标(例如，地标的大小、位置和识别信息)和/或道路签名轮廓(例如，道路几何结构、道路粗糙度轮廓、道路曲率轮廓、道路宽度轮廓)相关的数据相关联。在一些实施例中，一些数据点1310可以与地标相关的数据相关联，而其他数据点可以与道路签名轮廓相关的数据相关联。
272.图14示出了从五个分离的驾驶接收的原始位置数据1410(例如，gps数据)。如果一个驾驶同时被分离的车辆在相同的时间、被相同车辆在分离的时间、或被分离的车辆在分离的时间穿越，则该驾驶可以与另一驾驶分开。为了考虑位置数据1410中的误差以及相同车道内车辆的不同位置(例如，一个车辆可能比另一车辆更靠近车道的左侧)，服务器1230可以使用一个或多个统计技术来生成地图骨架1420，以确定原始位置数据1410中的变化是否表示实际的偏离或统计误差。骨架1420内的每个路径可以链接回形成该路径的原始数据1410。例如，骨架1420内的a和b之间的路径链接到来自驾驶2、3、4和5而不是来自驾驶1的原始数据1410。骨架1420可以不足够详细以用于导航车辆(例如，因为与上述样条不同，骨架1420组合了相同道路上多个车道的驾驶)，但是可以提供有用的拓扑信息并且可以用于定义交叉路口。
273.图15示出了通过其可以为地图骨架的段内的稀疏地图(例如，骨架1420内的段a至段b)生成附加细节的示例。如图15所示，数据(例如自我运动数据、道路标记数据等)可以示出为沿驾驶的位置s(或s1或s2)的函数。服务器1230可以通过识别驾驶1510的地标1501、1503和1505与驾驶1520的地标1507和1509之间的唯一匹配来识别稀疏地图的地标。这种匹配算法可以得到地标1511、1513和1515的识别。然而，本领域技术人员将认识到，可以使用其他匹配算法。例如，概率优化可以用来代替唯一匹配或者与唯一匹配相结合。服务器1230可以纵向对齐驾驶以对齐匹配的地标。例如，服务器1230可以选择一个驾驶(例如，驾驶1520)作为参考驾驶，然后变换和/或弹性拉伸(多个)其他驾驶(例如，驾驶1510)以用于对齐。
274.图16示出了在稀疏地图中使用的对齐地标数据的示例。在图16的示例中，地标1610包括道路标志。图16的示例进一步描绘了来自多个驾驶1601、1603、1605、1607、1609、1611和1613的数据。在图16的示例中，来自驾驶1613的数据包含“幽灵”地标，并且服务器1230可以这样识别它，因为驾驶1601、1603、1605、1607、1609和1611都不包含驾驶1613中识别的地标附近的地标的标识。因此，当地标确实出现的图像与地标没有出现的图像的比率超过阈值时，服务器1230可以接受潜在地标，和/或当地标没有出现的图像与地标确实出现的图像的比率超过阈值时，服务器1230可以拒绝潜在地标。
275.图17描绘了用于生成驾驶数据的系统1700，其可用于众包稀疏地图。如图17所示，系统1700可以包含相机1701和定位(locating)装置1703(例如，gps定位器)。相机1701和定位装置1703可以安装在车辆上(例如，车辆1205、1210、1215、1220和1225之一)。相机1701可以产生多个多种类型的数据，例如，自我运动数据、交通标志数据、道路数据等。相机数据和位置数据可以被分段成驾驶段1705。例如，驾驶段1705可以各自具有来自少于1千米的驾驶的相机数据和位置数据。
276.在一些实施例中，系统1700可以移除驾驶段1705中的冗余。例如，如果地标出现在来自相机1701的多个图像中，则系统1700可以去除冗余数据，使得驾驶段1705仅包含地标的位置的一个副本和与地标相关的任何元数据。作为进一步的示例，如果车道标记出现在来自相机1701的多个图像中，系统1700可以去除冗余数据，使得驾驶段1705仅包含车道标记的位置的一个副本和与车道标记相关的任何元数据。
277.系统1700还包含服务器(例如，服务器1230)。服务器1230可以从车辆接收驾驶段1705，并将驾驶段1705重组为单个驾驶1707。当在车辆和服务器之间传输数据时，这种布置可以减少带宽需求，同时还允许服务器存储与整个驾驶相关的数据。
278.图18描绘了进一步被配置用于众包稀疏地图的图17的系统1700。如图17所示，系统1700包含车辆1810，其使用例如相机(其产生例如自我运动数据、交通标志数据、道路数据等)和定位装置(例如gps定位器)来捕获驾驶数据。如图17所示，车辆1810将收集的数据分段成驾驶段(在图18中描绘为“ds1 1”、“ds2 1”、“dsn 1”)。然后，服务器1230接收驾驶段，并从接收的段重建驾驶(在图18中被描述为“驾驶1”)。
279.如图18中进一步描绘的，系统1700还从附加车辆接收数据。例如，车辆1820还使用例如相机(其产生例如自我运动数据、交通标志数据、道路数据等)和定位装置(例如gps定位器)来捕获驾驶数据。类似于车辆1810，车辆1820将收集的数据分段成驾驶段(在图18中描绘为“ds1 2”、“ds22”、“dsn 2”)。然后，服务器1230接收驾驶段，并从接收的段重建驾驶(在图18中被描述为“驾驶2”)。可以使用任何数量的附加车辆。例如，图18还包括“汽车n”，该“汽车n”捕获驾驶数据，将其分段成驾驶段(在图18中描绘为“ds1 n”、“ds2 n”、“dsn n”)，以及将其传送到服务器1230以用于重建成驾驶(在图18中描绘为“驾驶n”)。
280.如图18所示，服务器1230可以使用从多个车辆(例如，”汽车1”(也标记为车辆1810)、”汽车2”(也标记为车辆1820)和”汽车n”)收集的重建驾驶(例如，“驾驶1”、“驾驶2”和“驾驶n”)来构建稀疏地图(描绘为“地图”)。
281.图19是示出用于生成用于沿着道路段的自主车辆导航的稀疏地图的示例过程1900的流程图。过程1900可以由服务器1230中包含的一个或多个处理装置来执行。
282.过程1900可以包含接收当一个或多个车辆穿越道路段时获取的多个图像(步骤1905)。服务器1230可以从包含在车辆1205、1210、1215、1220和1225中的一个或多个内的相机接收图像。例如，当车辆1205沿着道路段1200行驶时，相机122可以捕获车辆1205周围的环境的一个或多个图像。在一些实施例中，服务器1230还可以接收已经被车辆1205上的处理器移除冗余的被剥离(stripped down)的图像数据，如上文参考图17所讨论的。
283.过程1900可以进一步包含基于多个图像识别沿着道路段延伸的路面特征的至少一个线表示(步骤1910)。每个线表示可以表示沿着基本上对应于路面特征的道路段的路径。例如，服务器1230可以分析从相机122接收的环境图像以识别道路边缘或车道标记，并确定沿着与道路边缘或车道标记相关联的道路段1200的行驶轨迹。在一些实施例中，轨迹(或线表示)可以包含样条、多项式表示或曲线。服务器1230可以基于在步骤1905处接收的相机自我运动(例如，三维平移和/或三维旋转运动)来确定车辆1205的行驶的轨迹。
284.过程1900还可以包含基于多个图像识别与道路段相关联的多个地标(步骤1910)。例如，服务器1230可以分析从相机122接收的环境图像，以识别一个或多个地标，诸如沿着道路段1200的道路标志。服务器1230可以使用对当一个或多个车辆穿越道路段时获取的多
个图像的分析来识别地标。为了使能众包，分析可以包含关于接受和拒绝与道路段相关联的可能地标的规则。例如，分析可以包含当地标确实出现的图像与地标没有出现的图像的比率超过阈值时接受潜在地标，和/或当地标没有出现的图像与地标确实出现的图像的比率超过阈值时拒绝潜在地标。
285.过程1900可以包含由服务器1230执行的其他操作或步骤。例如，导航信息可以包含车辆沿着道路段行驶的目标轨迹，并且过程1900可以包含由服务器1230聚类与在道路段上行驶的多个车辆相关的车辆轨迹，并且基于聚类的车辆轨迹确定目标轨迹，如下面进一步详细讨论的。聚类车辆轨迹可以包含由服务器1230基于车辆的绝对航向或车辆的车道分配中的至少一个，将与在道路段上行驶的车辆相关的多个轨迹聚类成多个聚类。生成目标轨迹可以包含由服务器1230平均聚类的轨迹。作为进一步的示例，过程1900可以包含对齐在步骤1905中接收的数据。如上所述，由服务器1230执行的其他过程或步骤也可以包含在过程1900中。
286.所公开的系统和方法可以包含其他特征。例如，所公开的系统可以使用局部坐标，而不是全局坐标。对于自动驾驶，一些系统可能以世界坐标呈现数据。例如，可以使用地球表面上的经度和纬度坐标。为了使用地图进行转向，主车辆可以确定其相对于地图的位置和方向。在车上使用gps装置似乎是很自然的，以便在地图上定位车辆，并以便找到本体参考帧和世界参考帧(例如，北、东和下)之间的旋转变换。一旦本体参考帧与地图参考帧对齐，则期望的路线可以在本体参考帧中表达，并且可以计算或生成转向命令。
287.所公开的系统和方法可以实现使能低足迹模型的自主车辆导航(例如，转向控制)，这些模型可以由自主车辆自己收集，而无需昂贵的勘测仪器的帮助。为了支持自主导航(例如，转向应用)，道路模型可以包含稀疏地图，该稀疏地图具有道路的几何结构、其车道结构和地标，该地标可以用于确定车辆沿着包含在模型中的轨迹的位置或定位。如上所述，稀疏地图的生成可以由远程服务器来执行，该远程服务器与在道路上行驶的车辆通信并从车辆接收数据。数据可以包含感测的数据、基于感测数据重建的轨迹、和/或可以表示修改的重建轨迹的推荐轨迹。如下所述，服务器可以将模型发送回车辆或稍后在道路上行驶的其他车辆，以帮助自主导航。
288.图20示出了服务器的框图。服务器1230可以包含通信单元2005，该通信单元2005可以包含硬件组件(例如，通信控制电路、开关和天线)和软件组件(例如，通信协议、计算机代码)。例如，通信单元2005可以包含至少一个网络接口。服务器1230可以通过通信单元2005与车辆1205、1210、1215、1220和1225通信。例如，服务器1230可以通过通信单元2005接收从车辆1205、1210、1215、1220和1225发送的导航信息。服务器1230可以通过通信单元2005将自主车辆道路导航模型分发给一个或多个自主车辆。
289.服务器1230可以包含至少一个非暂时性存储介质2010，诸如硬盘驱动器、光盘、磁带等。存储装置1410可以被配置为存储数据，诸如从车辆1205、1210、1215、1220和1225接收的导航信息和/或服务器1230基于导航信息生成的自主车辆道路导航模型。存储装置2010可以被配置为存储任何其他信息，诸如稀疏地图(例如，上面参考图8讨论的稀疏地图800)。
290.除了或代替存储装置2010，服务器1230可以包含存储器2015。存储器2015可以类似于或不同于存储器140或150。存储器2015可以是非暂时性存储器，诸如闪速存储器、随机存取存储器等。存储器2015可被配置为存储数据，诸如可由处理器(例如，处理器2020)执行
的计算机代码或指令、地图数据(例如，稀疏地图800的数据)、自主车辆道路导航模型和/或从车辆1205、1210、1215、1220和1225接收的导航信息。
291.服务器1230可以包含至少一个处理装置2020，该至少一个处理装置2020被配置为执行存储在存储器2015中的计算机代码或指令，以执行各种功能。例如，处理装置2020可以分析从车辆1205、1210、1215、1220和1225接收的导航信息，并基于该分析生成自主车辆道路导航模型。处理装置2020可以控制通信单元1405以将自主车辆道路导航模型分发给一个或多个自主车辆(例如，车辆1205、1210、1215、1220和1225中的一个或多个或者稍后在道路段1200上行驶的任何车辆)。处理装置2020可以类似于或不同于处理器180、190或处理单元110。
292.图21示出了存储器2015的框图，存储器2015可以存储用于执行一个或多个操作的计算机代码或指令，以用于生成用于自主车辆导航的道路导航模型。如图21所示，存储器2015可以存储用于执行用于处理车辆导航信息的操作的一个或多个模块。例如，存储器2015可以包含模型生成模块2105和模型分发模块2110。处理器2020可以执行存储在包含在存储器2015中的任何模块2105和2110中的指令。
293.模型生成模块2105可以存储指令，当由处理器2020执行时，该指令可以基于从车辆1205、1210、1215、1220和1225接收的导航信息，为公共道路段(例如，道路段1200)生成自主车辆道路导航模型的至少一部分。例如，在生成自主车辆道路导航模型时，处理器2020可以将沿着公共道路段1200的车辆轨迹聚类成不同的聚类。处理器2020可以基于对于每个不同聚类的聚类的车辆轨迹来确定沿着公共道路段1200的目标轨迹。这样的操作可以包含在每个聚类中找到聚类的车辆轨迹的平均(mean)或平均(average)轨迹(例如，通过平均表示聚类的车辆轨迹的数据)。在一些实施例中，目标轨迹可以与公共道路段1200的单个车道相关联。
294.道路模型和/或稀疏地图可以存储与道路段相关联的轨迹。这些轨迹可以被称为目标轨迹，其被提供给自主车辆用于自主导航。目标轨迹可以从多个车辆接收，或者可以基于从多个车辆接收的实际轨迹或推荐轨迹(具有一些修改的实际轨迹)生成。道路模型或稀疏地图中包含的目标轨迹可以用从其他车辆接收的新轨迹连续更新(例如，平均)。
295.在道路段上行驶的车辆可以通过各种传感器收集数据。该数据可以包含地标、道路签名轮廓、车辆运动(例如，加速度计数据、速度数据)、车辆位置(例如，gps数据)，并且可以重建实际轨迹本身，或者将数据发送到服务器，该服务器将重建车辆的实际轨迹。在一些实施例中，车辆可以向服务器1230发送与轨迹(例如，任意参考帧中的曲线)、地标数据和沿着行驶路径的车道分配相关的数据。以多种驾驶方式沿相同道路段行驶的各种车辆可以具有不同的轨迹。服务器1230可以从通过聚类过程从车辆接收的轨迹中识别与每个车道相关联的路线或轨迹。
296.图22示出了聚类与车辆1205、1210、1215、1220和1225相关联的车辆轨迹以用于确定公共道路段(例如，道路段1200)的目标轨迹的过程。从聚类过程确定的目标轨迹或多个目标轨迹可以包含在自主车辆道路导航模型或稀疏地图800中。在一些实施例中，沿着道路段1200行驶的车辆1205、1210、1215、1220和1225可以向服务器1230发送多个轨迹2200。在一些实施例中，服务器1230可以基于从车辆1205、1210、1215、1220和1225接收的地标、道路几何结构和车辆运动信息来生成轨迹。为了生成自主车辆道路导航模型，服务器1230可以
将车辆轨迹1600聚类成多个聚类2205、2210、2215、2220、2225和2230，如图22所示。
297.可以使用各种标准来执行聚类。在一些实施例中，聚类中的所有驾驶在沿着道路段1200的绝对航向方面可以是相似的。绝对航向可以从车辆1205、1210、1215、1220和1225接收的gps信号中获得。在一些实施例中，可以使用航位推算来获得绝对航向。如本领域技术人员所理解的，航位推算可用于通过使用先前确定的位置、估计速度等来确定车辆1205、1210、1215、1220和1225的当前位置并因此确定其航向。按绝对航向聚类的轨迹可以有助于沿着道路识别路线。
298.在一些实施例中，关于沿着道路段1200上的驾驶的车道分配(例如，在交叉口之前和之后的相同车道中)，聚类中的所有驾驶可以是相似的。通过车道分配聚类的轨迹可以有助于沿着道路识别车道。在一些实施例中，两个标准(例如，绝对航向和车道分配)都可以用于聚类。
299.在每个聚类2205、2210、2215、2220、2225和2230中，轨迹可以被平均以获得与特定聚类相关联的目标轨迹。例如，可以对来自与相同车道聚类相关联的多个驾驶的轨迹进行平均。平均轨迹可以是与特定车道相关联目标轨迹。为了平均一组轨迹，服务器1230可以选择任意轨迹c0的参考帧。对于所有其他轨迹(c1，
…
，cn)，服务器1230可以找到将ci映射到c0的刚性变换，其中i＝1，2，
…
，n，其中n是正整数，对应于包含在聚类中的轨迹的总数。服务器1230可以计算c0参考帧中的平均曲线或轨迹。
300.在一些实施例中，地标可以定义不同驾驶之间的弧长匹配，这可以用于轨迹与车道的对齐。在一些实施例中，交叉口之前和之后的车道标记可用于轨迹与车道的对齐。
301.为了从轨迹组装车道，服务器1230可以选择任意车道的参考帧。服务器1230可以将部分重叠的车道映射到选择的参考帧。服务器1230可以继续映射，直到所有车道都在相同的参考帧中。彼此相邻的车道可以对齐，就好像它们是相同的车道，稍后它们可以被横向变换。
302.沿着道路段辨识的地标可以首先在车道级，然后在交叉口级被映射到公共参考帧。例如，相同的地标可以被多个驾驶中的多个车辆辨识多次。不同驾驶中接收的关于相同地标的数据可能略有不同。这样的数据可以被平均并映射到相同的参考帧，诸如c0参考帧。附加地或替代地，可以计算在多个驾驶中接收的相同地标的数据的方差。
303.在一些实施例中，道路段120的每个车道可以与目标轨迹和某些地标相关联。目标轨迹或多个这样的目标轨迹可以被包含在自主车辆道路导航模型中，其可以稍后被沿着相同道路段1200行驶的其他自主车辆使用。当车辆沿着道路段1200行驶时，由车辆1205、1210、1215、1220和1225识别的地标可以与目标轨迹相关联地被记录。目标轨迹和地标的数据可以利用在后续驾驶中从其他车辆接收的新数据被连续地或周期性地更新。
304.对于自主车辆的定位，所公开的系统和方法可以使用扩展卡尔曼滤波器。车辆的位置可以基于三维位置数据和/或三维方位数据、通过自我运动的积分对车辆的当前位置前方的未来位置的预测来确定。可以通过地标的图像观察来校正或调整车辆的定位。例如，当车辆检测到由相机捕获的图像内的地标时，该地标可以与存储在道路模型或稀疏地图800内的已知地标进行比较。已知地标可以具有存储在道路模型和/或稀疏地图800中的沿着目标轨迹的已知位置(例如，gps数据)。基于地标的当前速度和图像，可以估计从车辆到地标的距离。车辆沿着目标轨迹的位置可以基于到地标的距离和地标的已知位置(存储在
道路模型或稀疏地图800中)来调整。存储在道路模型和/或稀疏地图800中的地标的位置/位置数据(例如，来自多个驾驶的平均值)可以被假定为精确的。
305.在一些实施例中，所公开的系统可以形成闭环子系统，其中车辆六个自由度位置(例如，三维位置数据加上三维方位数据)的估计可以用于自主车辆的导航(例如，对自主车辆的车轮进行转向)以到达期望的点(例如，存储的前方1.3秒)。反过来，从转向和实际导航测量的数据可用于估计六个自由度的位置。
306.在一些实施例中，沿着道路的杆，诸如灯柱和电力或电缆线杆可以用作定位车辆的地标。诸如交通标志、交通灯、道路上的箭头、停车线以及沿着道路段的对象的静态特征(feature)或签名(signature)的其他地标也可以用作定位车辆的地标。当杆用于定位时，可以使用杆的x观察(即从车辆的视角)，而不是y观察(即到杆的距离)，因为杆的底部可能被遮挡，有时它们不在道路平面上。
307.图23示出了用于车辆的导航系统，其可以用于使用众包稀疏地图的自主导航。为了说明，车辆被称为车辆1205。图23中所示的车辆可以是本文公开的任何其他车辆，包含例如车辆1210、1215、1220和1225，以及其他实施例中所示的车辆200。如图12所示，车辆1205可以与服务器1230通信。车辆1205可以包含图像捕获装置122(例如，相机122)。车辆1205可以包含导航系统2300，该导航系统2300被配置用于为车辆1205在道路(例如，道路段1200)上行驶提供导航引导。车辆1205还可以包含其他传感器，例如速度传感器2320和加速度计2325。速度传感器2320可以被配置为检测车辆1205的速度。加速度计2325可以被配置为检测车辆1205的加速或减速。图23中所示的车辆1205可以是自主车辆，并且导航系统2300可以用于为自主驾驶提供导航引导。替代地，车辆1205也可以是非自主的、人类控制的车辆，并且导航系统2300仍然可以用于提供导航引导。
308.导航系统2300可以包含被配置为通过通信路径1235与服务器1230通信的通信单元2305。导航系统2300还可以包含配置为接收和处理gps信号的gps单元2310。导航系统2300还可以包含至少一个处理器2315，该至少一个处理器2315被配置为处理数据，诸如gps信号、来自稀疏地图800的地图数据(其可以存储在车辆1205上提供的存储装置上和/或从服务器1230接收)、由道路轮廓传感器2330感测的道路几何结构、由相机122捕获的图像和/或从服务器1230接收的自主车辆道路导航模型。道路轮廓传感器2330可以包含用于测量不同类型的道路轮廓(诸如路面粗糙度、道路宽度、道路高度、道路曲率等)的不同类型的装置。例如，道路轮廓传感器2330可以包含测量车辆的悬架2305的运动以推导道路粗糙度轮廓的装置。在一些实施例中，道路轮廓传感器2330可以包含雷达传感器，以测量从车辆1205到道路侧(例如，道路侧上的障碍物)的距离，从而测量道路的宽度。在一些实施例中，道路轮廓传感器2330可以包含被配置用于测量道路的上下标高的装置。在一些实施例中，道路轮廓传感器2330可以包含被配置为测量道路曲率的装置。例如，相机(例如，相机122或另一个相机)可以用于捕获示出道路曲率的道路图像。车辆1205可以使用这样的图像来检测道路曲率。
309.至少一个处理器2315可以被编程为从相机122接收与车辆1205相关联的至少一个环境图像。至少一个处理器2315可以分析至少一个环境图像以确定与车辆1205相关的导航信息。导航信息可以包含与车辆1205沿着道路段1200行驶相关的轨迹。至少一个处理器2315可以基于相机122(以及由此的车辆)的运动来确定轨迹，例如三维平移和三维旋转运
动。在一些实施例中，至少一个处理器2315可以基于对由相机122获取的多个图像的分析来确定相机122的平移和旋转运动。在一些实施例中，导航信息可以包含车道分配信息(例如，车辆1205沿着道路段1200行驶在哪个车道中)。从车辆1205发送到服务器1230的导航信息可以被服务器1230用来生成和/或更新自主车辆道路导航模型，该模型可以从服务器1230发送回车辆1205，以用于为车辆1205提供自主导航引导。
310.至少一个处理器2315还可以被编程为将导航信息从车辆1205发送到服务器1230。在一些实施例中，导航信息可以与道路信息一起被发送到服务器1230。道路位置信息可以包含由gps单元2310接收的gps信号、地标信息、道路几何结构、车道信息等中的至少一个。至少一个处理器2315可以从服务器1230接收自主车辆道路导航模型或模型的一部分。从服务器1230接收的自主车辆道路导航模型可以包含基于从车辆1205发送到服务器1230的导航信息的至少一个更新。从服务器1230发送到车辆1205的模型部分可以包含模型的更新部分。至少一个处理器2315可以基于接收的自主车辆道路导航模型或模型的更新部分来引起车辆1205的至少一个导航操纵(例如，转向，诸如转弯、制动、加速、经过另一车辆等)。
311.至少一个处理器2315可以被配置为与车辆1205中包含的各种传感器和组件通信，包含通信单元1705、gps单元2315、相机122、速度传感器2320、加速度计2325和道路轮廓传感器2330。至少一个处理器2315可以从各种传感器和组件收集信息或数据，并通过通信单元2305将信息或数据发送到服务器1230。替代地或附加地，车辆1205的各种传感器或组件也可以与服务器1230通信，并将由传感器或组件收集的数据或信息发送到服务器1230。
312.在一些实施例中，车辆1205、1210、1215、1220和1225可以彼此通信，并且可以彼此共享导航信息，使得车辆1205、1210、1215、1220和1225中的至少一个可以例如基于由其他车辆共享的信息，使用众包生成自主车辆道路导航模型。在一些实施例中，车辆1205、1210、1215、1220和1225可以彼此共享导航信息，并且每个车辆可以更新其自己的车辆中提供的自主车辆道路导航模型。在一些实施例中，车辆1205、1210、1215、1220和1225中的至少一个(例如，车辆1205)可以用作中枢车辆。中枢车辆(例如，车辆1205)的至少一个处理器2315可以执行由服务器1230执行的一些或所有功能。例如，中枢车辆的至少一个处理器2315可以与其他车辆通信，并从其他车辆接收导航信息。中枢车辆的至少一个处理器2315可以基于从其他车辆接收的共享信息生成自主车辆道路导航模型或对模型的更新。中枢车辆的至少一个处理器2315可以将自主车辆道路导航模型或对模型的更新发送到其他车辆，以提供自主导航引导。
313.从主车辆选择性检索导航信息
314.如上所述，可以使用在一个或多个车辆的多次驾驶期间收集的“众包”数据来生成稀疏地图。然而，传输由一个或多个不同的传感器和设备(例如，图像捕获设备、全球定位系统(global positioning system，gps)传感器、运动传感器等)生成的导航数据可能会消耗大量的带宽。为了避免在主车辆和服务器之间传输导航数据时不必要的带宽使用，车辆可以将导航信息可用的信号发送到服务器。服务器然后可以根据需要根据来自车辆的请求选择性地上传信息。在一些实施例中，服务器可以从可用信息中进行选择，并上传可用数据的子集。例如，服务器可以上传与特定道路、道路段或特定地理区域相关的导航信息。
315.导航信息可以包括与主车辆行驶的环境相关的数据，诸如与地标、道路、道路段或地理区域相关的信息。在一些实施例中，导航信息可以包括驾驶数据。驾驶数据可以包括道
路几何形状、道路特征、定位(例如，自我运动)数据和地标数据的紧凑表示，它们可以以紧凑的格式编码和存储。驾驶数据可用于创建地图，诸如先前描述的稀疏地图。
316.在一个实施例中，系统可以选择性地从主车辆(例如，车辆200)收集信息。主车辆的处理设备(例如，处理器110)可以被编程为使得收集与主车辆穿越的环境相关联的导航信息。导航信息可以由主车辆的导航系统(例如，系统100)的一个或多个设备或传感器来收集。例如，这样的设备或传感器可以包括图像捕获设备、gps传感器、运动传感器等。处理器110可以被编程为将所收集的导航信息存储在导航系统的存储器(例如，存储器140和/或存储器150)中。导航系统可以收集导航数据，例如，如上参考图1所述。
317.在一些实施例中，处理器110可以被编程为基于至少一个导航传感器的输出来确定主车辆的位置。至少一个导航传感器可以包括gps设备、速度传感器、加速度计或相机中的至少一个。在一些实施例中，处理设备可以被编程为将主车辆的确定的位置发送到服务器。例如，经由系统100的收发器，例如，收发器172。所发送的确定的位置可以包括例如gps坐标、主车辆穿越的相关道路段的指示、一个或多个识别的地标的指示、和/或与主车辆的位置相关联的其他地理信息。所发送的确定的位置还可以包括主车辆的位置信息，如相对于稀疏地图定位(例如，rem图)的位置信息。例如，主车辆的定位位置信息可以指示主车辆相对于存储在稀疏地图中的至少一个轨迹的一个或多个位置。例如，这种位置信息可以基于上述稀疏地图定位技术来确定，该稀疏地图定位技术可以包括基于由主车辆接收的一个或多个图像中识别的识别地标的定位。在一些实施例中，服务器可以是如参考图12所述的服务器，例如，服务器1230。
318.在一些实施例中，服务器可以基于确定的位置来识别主车辆正在穿越不经常行驶的道路，因此，可以请求关于道路的附加导航信息(例如，识别的对象的位置和类型-车道标记、箭头、人行横道、交通灯、交通标志、车道宽度、障碍物类型和位置等)。不经常行驶的道路或道路段的识别可以基于预定阈值，例如，如果低于每小时、每天、每周等在道路上行驶的车辆的阈值数量、或者如果低于与系统100或服务器1230存储的道路相关联的数据点的阈值数量。在一些实施例中，对关于道路的附加导航信息的请求可以与以下一个或多个相关联：报告的关于道路或道路段的最近变化；与关于某条道路或道路段的先前报告相关的不一致或其他地图创建挑战；先前报告中相对较低的数据质量的指示(例如，该报告可能是由可能使用了不太精确的传感器等的过时的模型获得的)；可从附加报告中获益的相对复杂或低复杂性的段；或由于对进一步报告信息的特定兴趣而按需请求的任何其他报告。
319.在其他实施例中，确定的位置可以与大量数据或与高交通量相关联，并且被识别为经常行驶的道路。在一些实施例中，服务器可以阻止从与经常行驶的道路或道路段相关联的主车辆上传导航信息。经常行驶的道路段的标识可以基于例如系统100或服务器1230是否存储了与道路相关联的、高于最小阈值量的地图数据，或者道路或道路段上的交通量或交通频率是否高于阈值。
320.在一些实施例中，服务器可以生成对主车辆收集的可用信息的子集的请求。例如，服务器可以请求相对于一个或多个地标或所选择的对象类别的连续位置信息，以继续细化关于一个或多个地标或对象类别的一个或多个地图。服务器还可以请求与道路状况的变化相关的信息(例如，新识别的凹坑、施工区域、丢失的对象或相对于绘制的信息的任何其他变化)。因此，服务器可以请求车辆收集的驾驶信息的子集。
321.在一些实施例中，至少一个处理设备可以被编程为从服务器并响应于所发送的确定的位置，接收对于发送由主车辆收集的导航信息的选择的子集的请求。在一些实施例中，如上所述，请求可以包括信息类型的指示，例如，位置信息、对象信息等。请求可以经由无线通信网络被发送，例如，如参考图12所述。例如，主车辆可以通过无线通信路径1235接收数据以及将数据发送到服务器，例如，服务器1230。在一些实施例中，请求可以包括地理区域的标识符、道路的标识、地标的标识和/或导航信息收集速率。导航信息收集速率可以是主车辆的至少一个相机的图像收集的速率。
322.在一些实施例中，服务器可以选择性地控制主车辆的驾驶数据收集速率。例如，请求可以包括当主车辆行驶在绘制良好、或经常行驶的道路段时，使得收集速率降低的指令。请求可以包括当主车辆行驶在不经常行驶的道路上时，使得收集速率增加的指令。主车辆的收集速率可以包括图像捕获或图像存储速率、或图像传输速率。在一些实施例中，收集速率可以包括系统100(例如，雷达、gps、lidar等)收集的其他类型信息的存储/传输速率。
323.基于从服务器接收的请求，系统可以从存储器140和/或存储器150检索对应于该请求的导航信息的子集。例如，系统可以通过从存储器(例如，存储器140和/或存储器150)检索与一个或多个地标和/或一个或多个道路特征相关联的导航信息生成导航信息的子集。导航信息可以对应于在来自服务器的请求中指示的地理区域、地标、道路等。在一些实施例中，所收集的导航信息可以涉及识别的地标、潜在地标、或经由图像分析或经由对一个或多个其他传感器(例如，lidar、雷达等)的输出的分析识别的任何其他对象的确定的位置。
324.在一些实施例中，至少一个处理设备可以被编程为响应于从服务器接收的请求，将导航信息的选择的子集发送到服务器。例如，导航信息可以经由被包括在主车辆中的收发器被发送到服务器，并且可以经由无线通信网络被发送。
325.在另一实施例中，主车辆可以在预定的时间段将导航信息发送到服务器，或者可以以预定的时间间隔从服务器接收请求。例如，系统100可以被配置为每小时一次、每天一次、每周两次等发送导航信息。在另一示例中，服务器可以每周一次、每月两次等生成并发送导航信息请求。在另一实施例中，该系统可以被配置为在主车辆不操作期间发送导航信息或响应于请求。
326.因此，通过选择性地请求信息，服务器1230可以有效地接收所需的导航信息，例如，以生成地图或者以细化或更新稀疏地图，并且可以使用减少的带宽来接收所需的导航信息。例如，如上所述的用于选择性地从主车辆收集导航信息的方法允许导航系统100发送服务器1230所需的导航数据并且应服务器1230的请求，而不是连续地流式传输所有收集的导航信息。在一些实施例中，主车辆可以以预定的时间间隔将其位置发送到服务器，或者服务器可以以预定的时间间隔请求信息。在其他实施例中，系统100可以在主车辆处于空闲或其他非操作状态(例如，主车辆停在车道或停车场上)时发送所请求的数据。因此，当车辆在操作中时，带宽不用于发送数据，允许导航系统100接收导航主车辆环境所需的其他信号或无线通信。在另一示例中，系统100可以在一天的某些时间、或者是预定义的(例如，早上、午夜后、营业时间结束时等)、或者当系统100资源最优地可用于接收通信并处理通信时(诸如当其他存储和/或处理任务完成时)发送所请求的数据。
327.图24示出了与所公开的实施例一致的用于选择性地从主车辆收集信息的过程
2400。参考图1详细描述的导航系统100可以被配置为为主车辆提供导航指导。导航系统100可包括传感器和设备2401，其共同指代为被配置为检测主车辆的速度的速度传感器、被配置为检测主车辆的加速度或减速度的加速度计、被配置为接收和处理gps信号的gps单元、被配置为测量主车辆的悬架的运动的道路轮廓传感器、被配置为捕获主车辆的环境的图像的图像捕获设备(例如，图像捕获设备122、124、126)、和/或上述的任何其他数据捕获设备。
328.在一些实施例中，导航系统100可以从传感器和设备2401接收导航信息。在步骤2402，导航系统100可以将导航信息存储在一个或多个存储器设备140、150中。在一些实施例中，在存储导航信息之前，输入数据可以由应用处理器180、图像处理器190和处理器110中的一个或多个来分析。在其他实施例中，存储器设备140、150可以存储原始输入数据或者原始数据和分析数据的组合。在一些实施例中，所存储的导航信息可以包括在一个或多个道路段上的驾驶的过程期间由主车辆的一个或多个传感器或设备收集的任何数据或信息。例如，导航信息可以用先前参考生成稀疏地图(例如，稀疏地图800)描述的任何方法中的一种或多种来收集和分析。
329.在步骤2404，处理器110可以基于由传感器和设备2401接收的导航信息来确定主车辆的位置。该位置可以包括gps数据、gps坐标和/或道路、地标、道路特征等的指示。在步骤2406，系统100可以将确定的位置发送到服务器1230。在一些实施例中，主车辆的位置可以基于稀疏地图定位。例如，主车辆的定位位置信息可以指示主车辆相对于存储在稀疏地图中的至少一个轨迹的一个或多个位置。例如，这种位置信息可以基于上述稀疏地图定位技术来确定，该稀疏地图定位技术可以包括基于由主车辆接收的一个或多个图像中识别的识别地标的定位。系统100可以经由无线通信网络上的收发器(例如，经由无线通信路径1235)发送位置。
330.在步骤2408，服务器1230可以生成对导航信息的子集的请求，并将该请求发送给导航系统100。该请求可以全部或部分基于主车辆的位置。例如，如果主车辆的位置在感兴趣的地理区域或路段附近，则服务器1230可以生成对与该地理区域或道路段相关的导航信息的子集的请求。在一些实施例中，所请求的导航信息的子集可以基于服务器1230生成该地理区域或路段的稀疏地图所需的数据。在一些实施例中，该请求可以包括导航信息收集速率，例如，主车辆或系统100的至少一个相机的图像收集的速率。
331.在一些实施例中，用于从主车辆选择性上传信息的请求可以基于服务器1230的要求。例如，服务器1230可以识别对导航信息填充不经常行驶的道路或道路段的地图中的间隙、从而进一步细化稀疏地图中的对象或地标的位置的需求。在一些实施例中，服务器1230可以确定稀疏地图是否具有足够的数据(例如，数据点的量或对数据有贡献的车辆的数量高于预定阈值)，并且可以排除对与相对于稀疏地图的检测到的差异相关联的导航信息之外的导航信息的传输。
332.由服务器1230生成的对信息的请求也可以基于道路段中识别的潜在变化。例如，服务器1230可以生成对于主车辆上传在基于由传感器2401收集的信息的、观察到的状况和存储的地图之间的检测到的差异的请求。在一些实施例中，基于从一个主车辆接收到不一致数据的指示，服务器1230可以生成并向一个或多个其他主车辆发送对于与与不一致性相关联的道路、道路段和/或对象相关的导航信息的请求。由服务器1230响应于对进一步导航数据的请求而接收的数据可以使服务器1230能够确定不一致性是否为真(即，指示道路或
道路段的实际变化)或者是假阳性(false positive)。
333.在步骤2410，响应于接收的请求，处理器110可以从导航系统100的存储器(例如，存储器140和/或存储器150)中检索所请求的导航信息的子集。导航信息的子集可以包括例如来自传感器和设备2401的原始数据、分析的图像数据、分析的gps数据等。在一些实施例中，处理器110和/或处理器180和190可以在发送导航信息的子集之前分析存储的导航信息。例如，基于该请求，系统100可以分析收集的数据以确定与该请求相关联的一个或多个度量。
334.在步骤2412，系统100可以将导航信息的子集发送到服务器1230。系统100可以经由被包括在主车辆中或包括在系统100中的收发器来发送导航信息的子集。导航信息的子集可以是数据集，该数据集小于主车辆在一个或多个道路段上的驾驶期间收集的全部驾驶数据集(并且该全部驾驶数据集本身是处理和编码传感器数据的结果)。
335.图25是与所公开的实施例一致的用于选择性地从主车辆200收集信息的系统2500的图示。主车辆200可以包括导航系统100，该导航系统100被配置为经由一个或多个传感器和设备收集指示主车辆200的环境中和周围的对象的数据。系统100还可以收集与主车辆200相关的数据，包括来自主车辆200和/或系统100的一个或多个设备或传感器的数据。与主车辆200相关的数据可以包括例如gps数据、主车辆的速度、主车辆的轨迹、主车辆行驶路线的导航信息等。
336.在操作期间，主车辆200或系统100的收发器可以将主车辆200的位置发送到服务器1230(2502)。在一些实施例中，可以以预定的间隔发送位置信息，例如，以某时间间隔或者在主车辆200已经行驶了某距离之后。所发送的位置信息可以包括主车辆200的gps坐标，或者可以包括地标2504和/或道路标志2506的gps坐标或指示。如上所述，位置信息可以是基于稀疏地图定位确定的主车辆的位置。
337.在一些实施例中，服务器1230可以请求与地标2504相关联的导航信息的子集。该子集可以包括地标2504存在于其中的图像数据或者地标2504周围的预定区域的图像数据。在其他实施例中，服务器1230可以请求与地标2504的某距离内的主车辆200的速度和/或轨迹相关联的数据子集。
338.在一些实施例中，服务器1230可以请求与道路标志2506相关联的导航信息的子集。例如，主车辆200的位置可以包括指示主车辆在地理位置或路段附近的信息。例如，基于识别道路标志2506和/或gps信息的图像分析，位置信息可以指示主车辆200正在接近地理区域或路段。对与该地理区域或路段相关联的信息的请求可以基于对与众包数据生成所请求区域的稀疏地图的需求。例如，该请求可以基于主车辆正在不经常行驶的道路或道路段上行驶的指示。服务器1230可以生成对与不经常行驶的道路或道路段相关的导航信息的请求。在一些实施例中，请求可以指定所请求的导航信息的类型。
339.基于车辆200的位置的接收，服务器1230可以生成对导航信息的子集的请求，并且经由无线网络或其他无线通信方法将该请求发送到系统100或主车辆200的收发器(2508)。一旦接收到该请求，系统100可以从存储器140和/或存储器150中检索所请求的导航信息的子集。导航信息的子集可以包括与由主车辆的环境中的一个或多个图像捕获设备(例如，图像捕获设备122、124、126)捕获的图像相关联的数据。然后，系统100可以经由主车辆200或系统100的收发器将所请求的数据子集发送到服务器1230。服务器1230可以从主车辆200接
收所请求的信息，并且可以使用数据来生成地图或者更新或填充稀疏地图。
340.图26是与所公开的实施例一致的用于选择性地从主车辆收集信息的方法2600的示例性流程图。方法2600用于解释目的，并不旨在进行限制。受益于本公开的本领域普通技术人员可以理解，方法2600可以包括附加步骤，可以排除某些步骤，或者可以另外以与本公开一致的方式进行修改。
341.方法2600可以包括步骤2602，用于使得收集与主车辆穿越的环境相关联的导航信息。例如，在操作期间，系统100可以使用图像捕获设备(例如，设备122、124、126)、gps传感器(例如，位置传感器130)、运动传感器等收集导航信息。
342.方法2600可以包括步骤2604，用于存储收集的导航信息。例如，系统100可以将捕获的导航信息存储在存储器140和/或存储器150中。在另一实施例中，从一个或多个传感器收集的数据可以例如由应用处理器180和/或图像处理器190分析，并且分析的结果可以存储在存储器140和/或存储器150中。
343.方法2600可以包括步骤2606，用于基于至少一个导航传感器的输出来确定主车辆的位置。例如，系统100可以基于由gps设备确定的坐标来确定主车辆的位置。在另一实施例中，例如，如果图像分析指示主车辆的环境中的地标、道路特征或道路标志，则可以基于图像数据的分析来确定位置。在另一实施例中，位置可以基于存储在地图数据库160中的地图数据。主车辆的位置可以基于由系统100的一个或多个传感器或设备的任意组合收集的导航信息和/或存储在存储器140、存储器150和/或地图数据库160中的数据的任意组合来确定。
344.方法2600可以包括步骤2608，用于将主车辆的确定的位置发送到服务器。如前所述，系统100或主车辆200的收发器(例如，收发器172)可以将主车辆200的位置发送到服务器1230。
345.方法2600可以包括步骤2610，用于从服务器并且响应于所发送的确定的位置，接收对于发送由主车辆收集的导航信息的选择的子集的请求。响应于接收到该请求，系统100可以从存储器140和/或存储器150中检索所请求的导航信息的子集。
346.在一些实施例中，如前所述，服务器1230可以基于主车辆200的位置生成对导航信息的请求。例如，确定的位置可以指示主车辆在附近、正在接近或已经驶过地理区域。服务器1230可以请求关于该地理区域的导航信息的子集。该请求可以进一步指定所请求的导航信息的类型，例如，图像数据、gps坐标、运动数据等。
347.方法2600可以包括步骤2612，用于将导航信息的选择的子集发送到服务器。在一些实施例中，接收的导航信息可以被服务器1230用来生成道路或道路段的一个或多个地图。在一些实施例中，服务器1230可以使用接收的导航信息来填充间隙或者另外补充现有的稀疏地图。在一些实施例中，服务器1230可以接收存储的地图数据和由主车辆收集的数据之间不一致性的指示。服务器1230可以生成对与该不一致性的位置相关联的信息的附加请求，并将这些附加请求发送到一个或多个其他主车辆。
348.如前所述，系统100可以经由收发器172或经由其他无线通信方法发送导航信息的子集。方法2600允许系统100通过允许服务器请求基于主车辆的位置的信息的子集，而不是系统100连续发送导航信息或发送所有收集的导航信息来节省带宽和处理功率。
349.导航系统的主动图像感测
350.为了获取用于生成地图或用于验证现有地图的导航信息，系统可以基于所需的导航信息来调整图像感测参数。如上所述，可以使用在一个或多个车辆的多次驾驶期间收集的“众包”数据来生成稀疏地图。然而，这些稀疏地图可能会变得过时，例如，由于道路建设，或者可能需要生成来自不同车辆的某阈值数量的数据点。为了收集生成、补充或验证稀疏地图或稀疏地图的一部分所需的信息，服务器或主车辆可以基于触发的检测来收集导航信息。例如，响应于触发，系统可以经由服务器或者经由主车辆的系统，发起导航信息收集，调整图像收集的速率，请求记录特定类型的特征，和/或改变其他类型的信息收集参数。示例性触发可以包括对于特定区域的不存在的地图数据或者低质量或低数量的地图数据、或者对于特定区域的地图中的潜在不精确性的指示。示例性特征可以包括车道标记位置/特性、道路边缘位置/特性、地标位置等。
351.在一些实施例中，一个或多个图像传感器参数可以由服务器选择性地设置以响应于各种因素。例如，一个或多个图像传感器参数可以由服务器基于车辆是否正在穿越地图(例如，稀疏地图)中未示出的道路段或者服务器是否没有收集对该道路段的先前驾驶(例如，更高的捕获和传输速率)来选择性地设置。此外，在一些实施例中，服务器可以响应于相对于存储的地图已经发生变化的指示(例如，坑洞已经形成，车道已经移动，施工区域已经建立，新的障碍物已经放置，标志丢失，新的交通灯被识别，识别的地标已经移动或丢失，道路标记已经改变，道路边缘位置已经响应于铺路而改变等)请求更高的捕获和/或传输速率。任何一个或多个事件都可能使得服务器请求传感器收集速率、分辨率、数据传输速率的改变，一个或多个相机的fov改变，从周围相机(面向后面、面向侧面等)捕获。在一个示例中，触发服务器响应的事件可以是预定义的事件集中的一个，并且服务器响应以及通信传达到主车辆的请求也可以是预设的，或者事件可以是非独特的(但是在道路或其周围环境的条件下产生的事件)，并且服务器响应可以是通用响应或者根据事件的可用特性(例如，其位置、大小、性质等)选择的响应。此外，在一些实施例中，除了作为相机的替代，图像传感器参数可以根据请求相对于lidar、雷达等进行改变。
352.在一些实施例中，用于从主车辆(例如，车辆200)收集信息的系统可以包括至少一个处理设备(例如，处理器110)，其被编程为基于从主车辆的至少一个导航传感器接收的输出来确定主车辆的位置的指示符。在一些实施例中，至少一个导航传感器可以包括gps设备、速度传感器、加速度计或相机。例如，这样的设备或传感器可以包括图像捕获设备、gps传感器、运动传感器等。处理器110可以被编程为将收集的导航信息存储在导航系统的存储器中，例如，存储器140和/或存储器150。导航系统可以收集导航数据，例如，如上参考图1所述。
353.基于由至少一个导航传感器收集的数据，系统可以确定主车辆的位置的指示符。例如，位置信息可以包括由gps设备确定的坐标、由对主车辆的环境的捕获图像的图像分析确定的道路或地标的指示符、或者指示由一个或多个传感器或设备捕获的主车辆的地理位置的其他信息。在一些实施例中，如前所述，车辆的位置可以基于三维位置数据和/或三维方位数据、车辆的当前位置的前方的未来位置的预测(例如，通过自我运动的整合)来确定。确定的位置还可以包括相对于稀疏地图定位的主车辆的位置信息。例如，主车辆的定位位置信息可以指示主车辆相对于存储在稀疏地图中的至少一个轨迹的一个或多个位置。例如，这种位置信息可以基于上述稀疏地图定位技术来确定，该稀疏地图定位技术可以包括
基于由主车辆接收的一个或多个图像中识别的识别地标的定位。
354.在一些实施例中，系统可以将主车辆的确定的位置指示符发送到服务器。位置指示符可以经由被包括在主车辆中的收发器被发送到服务器，并且可以经由无线通信网络被发送。在一些实施例中，位置指示符可以包括被配置为发起从主车辆收集导航信息的触发。基于这种触发的接收，服务器可以向主车辆发送对与主车辆的位置相关的导航信息的请求。
355.在一些实施例中，系统可以从服务器接收对与包括信息收集参数的所确定的位置相关的导航信息的请求。该请求可以经由无线通信网络被发送，例如，如参考图12所述。例如，主车辆可以通过无线通信路径1235接收数据并将该数据发送到服务器，例如，服务器1230。在一些实施例中，请求可以包括地理区域的标识符、道路的标识、地标的标识和/或导航信息收集速率。
356.在一些实施例中，由服务器请求的导航信息可以基于主车辆的位置。例如，该位置可以与具有不完整地图或不存在地图的稀疏地图相关联。在一些实施例中，服务器可以基于位置来识别主车辆正在穿越不经常行驶的道路，因此可以请求关于该道路的附加导航信息(例如，所有识别的对象的位置和类型-车道标记、箭头、人行横道、交通灯、交通标志、车道宽度、障碍物类型和位置等)。不经常行驶的道路或道路段的识别可以基于预定阈值，例如，如果低于每小时、每天、每周等在道路上行驶的车辆阈值的数量，或者如果低于与系统100或服务器1230存储的道路相关联的数据点的阈值数量。
357.在其他实施例中，主车辆的位置可以与大量数据或高交通量相关联，并且被识别为经常行驶的道路。在一些实施例中，服务器可以阻止从与经常行驶的道路或道路段相关联的主车辆上传导航信息。经常行驶的道路段的标识可以基于例如系统100或服务器1230是否存储了与道路相关联的、高于最小阈值量的地图数据，或者道路或道路段上的交通量或交通频率是否高于阈值。
358.在一些实施例中，服务器可以响应于主车辆相对于一个或多个地标或者相对于所选择的对象类别的位置的指示，生成包括信息收集参数的请求，以继续细化关于一个或多个地标或者对象类别的一个或多个地图。服务器还可以请求与道路状况的变化相关的信息(例如，新识别的凹坑、施工区域、丢失的对象或相对于绘制的信息的任何其他变化)。
359.信息收集参数可以调整导航系统或主车辆的一个或多个传感器的参数或设置。例如，信息收集参数可以是发起从主车辆的导航信息收集的指令、调整通过主车辆的至少一个相机的图像收集的速率的指令、请求主车辆记录与道路特征类型相关联的信息的指令、和/或调整用于收集至少一种道路特征类型的信息的速率的指令。道路特征可以是车道标记位置、车道标记特性、道路边缘位置、道路边缘特性、道路表面特性(例如，坑洞)或地标位置中的至少一个。在一些实施例中，如上所述，信息收集参数可以与信息的类型相关，例如，位置信息、对象信息等。
360.在一些实施例中，服务器可以使用生成的信息收集参数来选择性地控制主车辆的驾驶数据收集速率。例如，请求可以包括当主车辆行驶在绘制良好或经常行驶的道路段时使得收集速率降低的信息收集参数。请求可以包括当主车辆在不经常行驶的道路上行驶时使得收集速率增加的信息收集参数。主车辆的收集速率可以包括图像捕获速率或图像存储速率或图像传输速率。在一些实施例中，收集速率可以包括系统100(例如，雷达、gps、lidar
等)收集的其他类型的信息的存储/传输速率。
361.响应于接收的请求，系统可以根据信息收集参数获得与确定的位置相关的导航信息。例如，系统可以调整一个或多个传感器的一个或多个参数(例如，收集速率、分辨率等)或者分析图像数据以识别道路特征类型。在一些实施例中，所收集的导航信息可以涉及识别的地标、潜在地标、或经由图像分析或经由对来自一个或多个其他传感器(例如，lidar、雷达等)的输出的分析识别的任何其他对象的确定的位置。
362.系统然后可以响应于从服务器接收的请求，将所获得的导航信息发送到服务器，从而提供必要的导航数据以生成或完成稀疏地图，或者更新或细化稀疏地图。在一些实施例中，导航信息可以包括在一个或多个道路段上的驾驶的过程期间由主车辆的一个或多个传感器或设备收集的任何数据或信息。例如，导航信息可以用先前参考生成稀疏地图(例如，稀疏地图800)描述的方法中的任何一种或多种来收集和分析。
363.图27a是与所公开的实施例一致的、可以被存储/编程有用于执行一个或多个操作的指令的服务器1230的存储器2015的示例性框图。
364.如图27a所示，存储器2015可以存储信息请求模块2702和地图生成模块2704。信息请求模块2702可以存储指令，当由处理器2020执行时，该指令可以生成对导航信息的请求，该导航信息包括指示将由主车辆在给定位置处收集的信息的类型的信息收集参数。例如，服务器1230可以从主车辆接收包括触发的位置指示符。信息请求模块2702可以确定该触发与对于该位置的稀疏或不存在的地图数据的指示，或者对于该位置的地图中的潜在不精确性相关联。在一些实施例中，位置可以是特定地图位置或位置的范围。
365.基于这种确定，信息请求模块2702可以生成包括收集参数的请求，该收集参数指示将由主车辆在位置处收集的信息的类型。例如，基于服务器1230所需的导航信息，收集参数可以是发起从主车辆的导航信息收集的指令、调整通过主车辆的图像收集的速率的指令、请求主车辆记录与道路特征类型相关联的信息的指令、或调整用于收集至少一种道路特征类型的信息的速率的指令。道路特征类型可以是车道标记位置、车道标记特性、道路边缘位置、道路边缘特性或地标位置中的至少一个。如前所述，收集参数可以与一个或多个传感器(例如，图像捕获设备、lidar、雷达等)的收集速率相关。
366.在由信息请求模块2702生成请求之后，服务器1230可以经由无线网络或其他无线通信方法将请求发送到主车辆或主车辆的导航系统。
367.地图生成模块2704可以存储指令，当由处理器2020执行时，该指令可以基于从主车辆接收到所请求的导航信息来生成稀疏地图或者更新现有的稀疏地图。地图生成模块2704可以基于例如当主车辆沿着道路行驶时从主车辆收集的导航数据来生成或更新稀疏地图。例如，如先前参考图8所述，用于生成稀疏地图的数据可以由导航系统使用主车辆上的传感器(例如，相机、速度计、gps、加速度计等)来收集。
368.图27b是与所公开的实施例一致的、可以被存储/编程有用于执行一个或多个操作的指令存储器140和/或150的示例性框图。尽管下文涉及存储器140，但是本领域技术人员将认识到，指令可以存储在存储器140和/或150中。
369.如图27b所示，存储器140可以存储传感器控制模块2706和数据收集模块2708。所公开的实施例不限于存储器140的任何特定配置。此外，应用处理器180和/或图像处理器190可以执行存储在存储器140中包括的模块2706和2708中的任何一个的指令。本领域的技
术人员将理解，在下面的讨论中，对处理单元110的引用可以单独或共同指应用处理器180和图像处理器190。因此，以下过程的任何一个的步骤可以由一个或多个处理设备来执行。
370.传感器控制模块2706可以存储指令，当由处理器110执行时，这些指令使得系统100修改一个或多个传感器的一个或多个收集参数。例如，系统100可以包括一个或多个图像捕获设备(例如，设备122、124、126)、gps传感器(例如，位置传感器130)、运动传感器等。系统100可以从服务器1230接收包括收集参数的请求。传感器控制模块2706可以基于接收的收集参数引起一个或多个传感器的操作的改变。例如，传感器控制模块2706可以修改一个或多个图像捕获设备的收集速率。在一些实施例中，传感器控制模块2706还可以修改包括雷达、lidar和/或声学传感器的其他传感器的操作。
371.数据收集模块2708可以存储指令，当由处理器110执行时，这些指令使得系统100收集由服务器1230请求的导航信息。例如，数据收集模块2708可以使单目图像分析模块402和/或立体图像分析模块404识别由图像捕获设备122、124、126收集的图像中的所请求的道路特征类型。数据收集模块2708还可以收集并存储包括例如gps定位数据或运动数据的其他请求的导航信息，例如存储在存储器140或150中。
372.在一些实施例中，数据收集模块2708还可以从一个或多个传感器(例如，雷达、lidar、声学传感器、从主车辆外部的一个或多个收发器接收的信息等)接收信息。收集的信息还可以包括如相对于稀疏地图定位的主车辆的位置信息。例如，主车辆的信息可以指示主车辆相对于存储在稀疏地图中的至少一个轨迹的一个或多个位置。例如，这种位置信息可以基于上述稀疏地图定位技术来确定，该稀疏地图定位技术可以包括基于由主车辆接收的一个或多个图像中识别的识别地标的定位。
373.图28示出了与所公开的实施例一致的用于从主车辆收集信息的过程2800。参考图1详细描述的导航系统100可以被配置为为主车辆200提供导航指导。导航系统100可包括传感器2802，其共同指代为被配置为检测主车辆速度的速度传感器、被配置为检测主车辆加速度或减速度的加速度计、被配置为接收和处理gps信号的gps单元、被配置为测量主车辆的悬架的运动的道路轮廓传感器、被配置为捕获主车辆的环境的图像的图像捕获设备(例如，图像捕获设备122、124、126)、和/或上述的任何其他数据捕获设备。
374.在一些实施例中，导航系统100可以在操作期间从传感器2802接收导航信息。在步骤2804，基于传感器2802的输出，导航系统100可以确定主车辆的位置的指示符。在一些实施例中，确定指示符可以包括由应用处理器180、图像处理器190和处理器110中的一个或多个分析由一个或多个传感器输出的收集的数据。主车辆的位置的指示符可以包括gps数据、gps坐标和/或道路、地标、道路特征等的指示。在一些实施例中，系统100可以存储收集导航信息，该收集导航信息包括在一个或多个道路段上的驾驶的过程期间由主车辆的一个或多个传感器或设备收集的任何数据或信息。例如，导航信息可以用先前参考生成稀疏地图(例如，稀疏地图800)描述的任何一种或多种方法来收集和分析，并存储在系统100的存储器或数据库中。
375.在一些实施例中，主车辆的位置指示符可以基于稀疏地图定位。例如，主车辆的定位位置信息可以指示主车辆相对于存储在稀疏地图中的至少一个轨迹的一个或多个位置。例如，这种位置信息可以基于上述稀疏地图定位技术来确定，该稀疏地图定位技术可以包括基于由主车辆接收的一个或多个图像中识别的识别地标的定位。
376.在步骤2806，系统100可以经由系统100或主车辆的收发器将位置指示符发送到服务器1230。一旦接收到位置指示符，服务器1230可以识别与位置相关联的触发。例如，该触发可以是与该位置相关联的稀疏或不存在的地图数据或者潜在不精确的地图数据的指示。基于所识别的触发，在步骤2808，服务器1230可以生成并发送对导航信息的请求和收集参数。如前所述，收集参数可被配置为使传感器2802收集生成或更新稀疏地图所需的数据。例如，如果主车辆的位置靠近服务器1230对其几乎没有地图数据的地理区域，则服务器1230可以生成对与特定地理区域相关的导航信息的请求。在一些实施例中，该请求可以包括导航信息收集速率(例如，主车辆或系统100的至少一个相机的图像收集的速率)、期望的图像分辨率、或为其收集数据的fov的区域的指示。
377.在步骤2810，基于接收的请求，处理器110可以基于收集参数引起一个或多个传感器2802的操作的改变。例如，处理器110可以调整图像捕获设备的收集速率和/或可以发起图像分析以识别请求中指定的特定道路特征。在一些实施例中，处理器110可以使传感器2802收集所请求的数据达预定时间段或达在该请求中指示的时间段。在其他实施例中，当主车辆处于特定地理区域或在地理区域的某距离内时，处理器110可以使传感器2802收集所请求的数据。
378.在一些实施例中，收集参数可以基于服务器1230的要求。例如，服务器1230可以识别对导航信息填充不经常行驶的道路或道路段的地图中的间隙、从而进一步细化稀疏地图中的对象或地标的位置的需求。在一些实施例中，服务器1230可以确定稀疏地图是否具有足够的数据(例如，数据点的量或对数据有贡献的车辆的数量高于预定阈值)，并且可以降低收集速率或排除对与相对于稀疏地图的检测到的差异相关联的导航信息之外的导航信息的传输。
379.由服务器1230生成的对信息的请求也可以基于道路段中识别的潜在变化。例如，服务器1230可以生成对于主车辆上传在基于由传感器2802收集的信息的、观察到的状况和存储的地图之间的检测到的差异的请求。在一些实施例中，基于从一个主车辆接收到不一致数据的指示，服务器1230可以生成并向一个或多个其他主车辆发送请求，以修改与与不一致性相关联的道路、道路段和/或对象相关的收集参数。由服务器1230响应于对进一步导航数据的请求而接收的数据可以使服务器1230能够确定不一致性是否为真(即，指示道路或道路段的实际变化)或者是假阳性。
380.在步骤2812，处理器110可以从系统100的存储器(例如，存储器140或存储器150)中检索收集的数据。所检索的请求的导航信息可以包括由传感器2802输出的原始数据、分析的图像数据、分析的gps数据等。在一些实施例中，处理器110和/或处理器180和190可以在发送所请求的导航信息之前分析存储的导航信息。
381.在步骤2814，系统100可以将收集的导航信息发送到服务器1230。系统100可以经由被包括在主车辆中或包括在系统100中的收发器来发送导航信息的子集。导航信息可以是数据集，该数据集小于主车辆在一个或多个道路段上的驾驶期间收集的全部驾驶数据集。
382.图29是与所公开的实施例一致的用于从主车辆收集信息的方法2900的示例性流程图。方法2900用于解释目的，并不旨在进行限制。受益于本公开的本领域普通技术人员可以理解，方法2900可以包括附加步骤，可以排除某些步骤，或者可以另外以与本公开一致的
方式进行修改。
383.方法2900可以包括步骤2902，用于基于从主车辆的至少一个导航传感器接收的输出来确定主车辆的位置的指示符。例如，在操作期间，系统100可以收集由包括图像捕获设备(例如，设备122、124、126)、gps传感器(例如，位置传感器130)、运动传感器等的一个或多个传感器输出的导航信息。基于传感器输出，系统100可以确定主车辆的位置的指示符。例如，指示符可以基于由gps设备确定的坐标。在另一实施例中，可以基于对收集的图像数据的分析(例如，图像分析可以指示与特定地理区域相关联的主车辆环境中的地标、道路特征或道路标志)来确定位置。在另一实施例中，位置可以基于存储在地图数据库160中的地图数据。主车辆的位置可以基于由系统100的一个或多个传感器或设备的任意组合收集的导航信息和/或存储在存储器140、存储器150和/或地图数据库160中的数据的任意组合来确定。如上所述，位置指示符可以是基于稀疏地图定位确定的主车辆的位置。
384.方法2900可以包括步骤2904，用于将主车辆的确定的位置指示符发送到服务器。如前所述，系统100或主车辆200的收发器(例如，收发器172)可以将主车辆200的位置的指示符发送到服务器1230。
385.方法2900可以包括步骤2906，用于从服务器并且响应于所发送的位置指示符，接收对与确定的位置相关的导航信息的请求，其中该请求包括信息收集参数。信息收集参数可以基于主车辆的位置包括发起从主车辆收集导航信息的指令、调整通过主车辆的至少一个相机的图像收集的速率的指令、请求主车辆记录与道路特征类型相关联的信息的指令、或调整用于收集至少一种道路特征类型的信息的速率的指令。例如，请求可以基于主车辆正在不经常行驶的道路或道路段上行驶的指示。服务器1230可以生成对于与不经常行驶的道路或道路段相关的导航信息的请求，该请求使得与一个或多个传感器相关联的收集参数增加一个或多个传感器的收集的速率。在一些实施例中，该请求可以指定所请求的导航信息的类型。
386.方法2900可以包括步骤2908，用于根据信息收集参数获得与确定的位置相关的导航信息。如前所述，系统100可以基于收集参数来修改或调整一个或多个导航传感器的参数。例如，如果收集参数包括对于主车辆记录与道路特征类型(例如，车道标记位置、车道标记特性、道路边缘位置、道路边缘特性或地标位置)相关联的信息的指令，则处理器110可以使图像捕获设备在fov的特定区域中收集更高分辨率的图像，或者使图像分析模块识别由图像捕获设备122、124、126收集的图像中的道路特征。
387.在一些实施例中，系统100可以在收集期间存储收集的导航信息，并且一旦收集的时间段已经结束或者一旦车辆已经离开为其请求信息的区域，就发送数据。在一些实施例中，系统100可以将捕获的导航信息存储在存储器140和/或存储器150中。在另一实施例中，从一个或多个传感器收集的数据可以例如由应用处理器180和/或图像处理器190进行分析，并且分析的结果可以存储在存储器140和/或存储器150中。
388.方法2900可以包括的步骤2910，用于将收集的导航信息发送到服务器。如前所述，系统100可以经由收发器172或其他无线通信方法发送导航信息。在一些实施例中，收集参数可以包括发起从主车辆的导航信息收集的指令，使得系统100将导航信息连续地发送到服务器1230。服务器1230可以从主车辆200接收所请求的信息，并且可以使用数据来生成地图或者更新或填充稀疏地图。
389.图30是与所公开的实施例一致的用于从主车辆收集信息的方法3000的示例性流程图。方法3000用于解释的目的，而不是进行限制。受益于本公开的本领域普通技术人员可以理解，方法3000可以包括附加步骤，可以排除某些步骤，或者可以另外以与本公开一致的方式进行修改。
390.方法3000可以包括步骤3002，用于由服务器1230接收被配置为发起从主车辆收集导航信息的触发。例如，服务器1230可以接收与触发相关联的主车辆的位置的指示符。在一些实施例中，触发可以是对于主车辆周围的区域的稀疏或不存在的地图位置、或者对于主车辆周围的区域的潜在不精确的地图数据的指示。在一些实施例中，触发可以是服务器1230对其需要附加的数据的不经常行驶的道路或道路段的指示。在一些实施例中，主车辆的位置可以是指示与主车辆的当前或未来位置相关联的不完整地图或不存在地图的触发。
391.在一些实施例中，触发可以与沿着主车辆的轨迹的地理区域相关联。在一些实施例中，触发可以指示主车辆在附近、正在接近或已经驶过与不完整或不存在的地图数据相关联的地理区域。触发的识别可以基于接收的位置信息，例如，图像数据、gps坐标、运动数据等。
392.方法3000可以包括步骤3004，用于向主车辆发送对于与主车辆的位置相关的导航信息的请求，该请求包括信息收集参数。信息收集参数可以指示将由主车辆在位置处收集的信息的类型。如前所述，服务器1230可以确定生成或更新地图所需的信息，并且可以生成包括对于系统100基于收集参数调整一个或多个传感器的操作以生成所需数据的指令的请求。
393.方法3000可以包括步骤3006，用于从主车辆接收由主车辆相对于该位置并且根据信息收集参数收集的导航信息。在一些实施例中，系统100可以在收集期间将所请求的导航信息连续地发送到服务器1230。在其他实施例中，系统100可以在主车辆不操作时(例如，主车辆被停放)发送导航信息。
394.方法3000可以包括步骤3008，用于基于收集的导航信息生成或更新稀疏地图。如先前参考图8所讨论的，服务器1230可以使用收集的导航信息来生成或更新稀疏地图。在一些实施例中，所请求的导航信息可以补充由一个或多个其他车辆收集的众包信息。
395.方法2900和3000允许系统100通过仅为服务器1230所需的那些地理区域收集和发送所需的导航信息来节省带宽和处理功率。方法2900和3000还允许服务器1230生成完整和精确的地图，并且如果例如施工已经使得道路或公路的改变，则持续更新和维护精确的地图。
396.基于收集的图像坐标的地图验证
397.如前所述，服务器(例如，服务器1230)可以通过从主车辆的一个或多个导航系统收集的导航信息生成稀疏地图来“众包”所述地图。在该系统中，可以通过比较从主车辆收集的特征坐标信息来验证现有地图。如本文所使用的，特征坐标信息指的是与从由导航系统(例如，系统100)的图像捕获设备(例如，图像捕获设备122、124、126)收集的图像中提取的感兴趣的特征相关的坐标。在一些实施例中，可以将现有地图与图像坐标信息进行比较以确定方差，使得如果方差在可接受的水平之外，则服务器可以采取行动。例如，服务器可以向一个或多个车辆请求附加数据、更新地图、向关于地图的区域内的车辆发出警告等。因此，服务器可以通过利用由装备有导航系统的车辆收集的数据来持续更新和验证存储的地
图。
398.在一些实施例中，用于验证和补充从主车辆(例如，主车辆200)接收的信息的系统，可以包括存储数据库的存储器设备和至少一个处理设备。处理设备可以被编程为从主车辆接收基于对主车辆穿越的环境的所获取的图像的分析而确定的特征坐标信息。在一些实施例中，图像坐标信息包括从主车辆收集的一个或多个图像中提取的一个或多个感兴趣的特征的坐标。感兴趣的特征可以包括例如车道标记位置、车道标记特性、道路边缘位置、道路边缘特性、地标位置等。
399.处理设备可以将接收的特征坐标信息和与主车辆的环境相关联的地图信息进行比较。在一些实施例中，地图信息存储在数据库中，例如，存储设备2010和/或存储器2015。在其他实施例中，地图信息包括根据从多个主车辆收集的信息确定的一个或多个道路特征的坐标。一个或多个道路特征的坐标可以例如基于对由图像捕获设备122、124、126收集的图像执行的立体和/或单目图像分析来确定。
400.在一些实施例中，处理设备可以基于比较来确定特征图像坐标信息和地图信息之间的方差。处理设备可以确定方差是否超过可接受的水平。例如，可接受的水平可以是根据平均坐标值的预定标准偏差。在一些实施例中，可接受的方差可以基于对于坐标的收集的数据点的数量。在一些实施例中，可接受的方差可以与特定的置信区间相关联。
401.当方差超过可接受的水平时，处理设备可以向主车辆发送补充信息请求。在一些实施例中，补充信息请求可以经由收发器172或经由另一种无线通信方法被发送到主车辆的导航系统。补充信息请求可以被发送到主车辆，并且可以包括对主车辆增加与主车辆上的相机相关联的数据收集速率的请求。例如，该请求可以包括当主车辆行驶在绘制良好或经常行驶的道路段时使得收集速率降低的指令。该请求可以包括当主车辆行驶在不经常行驶的道路上时使得收集速率增加的指令。主车辆的收集速率可以包括图像捕获速率或图像存储速率或图像传输速率。在一些实施例中，收集速率可以包括系统100(例如，雷达、gps、lidar等)收集的其他类型的信息的存储/传输速率。
402.在一些实施例中，补充信息请求可以包括对主车辆获取相对于至少一种类型的道路特征的位置信息的请求，例如，与特征图像坐标相关联的道路特征。补充信息可以被发送到主车辆，并且可以包括关于由主车辆存储的地图的精度的警告。在一些实施例中，补充信息请求被发送到多个其他主车辆中的一个或多个主车辆，并且包括对来自多个其他主车辆中的至少一个主车辆的信息的请求。
403.在一些实施例中，服务器可以基于确定的位置来识别主车辆正在穿越不经常行驶的道路，因此，可以请求关于该道路的附加导航信息(例如，所有识别的对象的位置和类型-车道标记、箭头、人行横道、交通灯、交通标志、车道宽度、障碍物类型和位置等)。不经常行驶的道路或道路段的识别可以基于预定阈值，例如，如果低于每小时、每天、每周等在道路上行驶的车辆的阈值数量。或者如果低于与系统100或服务器1230存储的道路相关联的数据点的阈值数量。
404.在一些实施例中，服务器可以生成对主车辆收集的补充信息的请求。例如，服务器可以请求相对于一个或多个地标或相对于所选择的对象类别的连续位置信息，以继续细化关于一个或多个地标或对象类别的一个或多个地图。服务器还可以请求与道路状况变化相关的信息(例如，新识别的凹坑、施工区域、丢失的对象或相对于绘制的信息的任何其他变
化)。因此，服务器可以请求车辆收集的驾驶信息的子集。
405.在一些实施例中，至少一个处理设备还被配置为使得向包括主车辆的多个车辆中的一个或多个车辆发送用于更新由多个车辆中的至少一个车辆存储的地图的信息。在另一实施例中，至少一个处理设备还被配置为使得向包括主车辆的多个车辆中的一个或多个车辆发送与由多个车辆中的一个或多个车辆存储的地图的精度相关的信息。
406.图31是与所公开的实施例一致的、可以被存储/编程有用于执行一个或多个操作的指令的服务器1230的存储器2015的示例性功能框图。
407.如图31所示，存储器2015可以存储比较模块3102和请求生成模块3104。比较模块3102可以存储指令，当由处理器2020执行时，该指令可以将从一个或多个主车辆接收的图像数据和/或特征坐标信息和与主车辆的环境相关联的对应地图信息进行比较。例如，比较模块3102还可以将接收的特征坐标信息与存储在存储设备2010和/或存储器2015中的一个或多个地图进行比较。比较模块3102可以根据特定特征的存储的地图信息来确定接收的特征坐标信息的方差。例如，特征坐标信息可以指示主车辆的环境中的车道标记的位置。如果由比较模块3102确定的方差落在预定方差之外，则与特征相关联的地图信息可能不精确。例如，道路特征可能会因施工而随时间变化。因此，比较模块3102可以允许系统基于主车辆收集的数据来确定道路特征是否已经改变以及存储的地图是否需要更新。
408.基于接收的特征坐标信息是否落在与地图信息或者从多个其他主车辆接收的特征坐标信息的预定方差之外的确定，请求生成模块3104可以生成对补充信息的请求。例如，补充信息请求可以包括对主车辆增加与主车辆上的相机相关联的数据收集速率，使得导航系统捕获与特征相关联的大量图像的请求。在其他实施例中，该请求可以包括使得主车辆获取相对于与特征坐标信息相关联的至少一种类型的道路特征的位置信息的指令。在一些实施例中，补充信息请求可以被发送到多个主车辆，例如，到与特征坐标信息相关联的道路特征的某距离内的主车辆。
409.在一些实施例中，请求生成模块3104还可以生成与补充信息请求一起发送到主车辆的警告。例如，警告可以包括使主车辆的导航系统向主车辆的操作者提供音频和/或视觉警报的指令。该警报可以指示与一个或多个道路特征相关联的不一致的地图数据。在一些实施例中，请求生成模块3104可以使服务器1230向多个主车辆发送基于响应于一个或多个补充信息请求而用特征坐标信息生成或更新的地图的、更新的地图信息。在另一实施例中，请求生成模块3104可以使服务器1230向一个或多个主车辆发送与由一个或多个主车辆存储在例如地图数据库160中的地图的精度的相关的信息。
410.图32是与所公开的实施例一致的用于验证和补充从主车辆接收的信息的系统3200的图示。
411.在图32中，主车辆200可以包括导航系统100，该导航系统100被配置为经由一个或多个传感器和设备收集指示主车辆200的环境中和周围的对象的数据。系统100还可以收集与主车辆200相关的数据，该数据包括来自主车辆200和/或系统100的一个或多个设备或传感器的数据。与主车辆200相关的数据可以包括例如gps数据、主车辆的速度、主车辆的轨迹、主车辆行驶路线的导航信息等。
412.在操作期间，主车辆200或系统100的收发器可以将系统100收集的数据发送到服务器1230。在一些实施例中，可以以预定的间隔发送数据，例如，以某时间间隔或者在主车
辆200已经行驶了某距离之后。所发送的数据可以包括主车辆200的特征坐标信息和/或gps坐标。在该示例中，特征坐标信息可以指示让行标志3202、道路施工标志3204、车道标记3206和虚线车道标记3208。在一些实施例中，收集的数据可以包括主车辆基于稀疏地图定位的位置。例如，主车辆的定位位置信息可以指示主车辆相对于存储在稀疏地图中的至少一个轨迹的一个或多个位置。例如，这种位置信息可以基于上述稀疏地图定位技术来确定，该稀疏地图定位技术可以包括基于由主车辆接收的一个或多个图像中识别的识别地标的定位。
413.服务器1230可以接收数据(3210)，并且可以将特征坐标信息与存储在服务器1230的数据库(例如，存储器2015和/或存储设备2010)中的地图信息进行比较。比较模块3102可以例如确定接收的与车道标记3206相关联的特征坐标信息和存储的车道标记坐标信息之间的零方差或低方差。在一些实施例中，低方差可以是小于或等于阈值可接受方差的方差。比较模块3102可以分析存储的主车辆200的环境的地图信息，并确定包含让行标志3202、道路施工标志3204和虚线车道标记3208的环境的区域的方差超过预定阈值。例如，可以将这些接收的特征坐标指示符与在道路的施工或维护之前生成的存储的地图进行比较，该存储的地图不包括让行标志3202、道路施工标志3204或虚线车道标记3208的坐标信息。在一些实施例中，阈值可接受的方差可以取决于道路段的结构和其他局部特性。例如，在直线、单向、单车道道路的情况下，精度可能不是很关键，但是在具有多个车道和反向交通的车道的急转弯上，更高的精度可以是优选的。作为另一示例，与例如郊区或农村地区相比，城市地区的精度在更高的水平上可以是优选的。
414.基于比较，服务器1230的请求生成模块3104可以生成补充信息请求，并且向主车辆200和其他主车辆(例如，车辆3214)发送请求。补充信息请求可以包括使车辆(例如，车辆200和3214)的导航系统增加收集参数或获取相对于与特征坐标信息(例如，让行标志3202、道路施工标志3204或虚线车道标记3208)相关联的道路特征的位置信息。在一些实施例中，发送的请求可以包括使车辆的导航系统向每个车辆的操作者提供不精确性的警报的指令。
415.图33是与所公开的实施例一致的用于验证和补充从主车辆接收的信息的方法3300的示例性流程图。方法3300用于解释目的，并不旨在进行限制。受益于本公开的本领域普通技术人员可以理解，方法3300可以包括附加步骤，可以排除某些步骤，或者可以另外以与本公开一致的方式进行修改。
416.方法3300可以包括步骤3302，用于从主车辆接收基于对主车辆穿越的环境的获取的图像的分析而确定的特征坐标信息。例如，在操作期间，系统100可以使用图像捕获设备(例如，设备122、124、126)、gps传感器(例如，位置传感器130)、运动传感器等来收集导航信息。由系统的处理器(例如，处理器110、180、190)执行的捕获信息的分析可以识别指示主车辆的环境中存在的一个或多个道路特征的特征坐标信息。
417.方法3300可以包括步骤3304，用于将接收的特征坐标信息和与主车辆的环境相关联的地图信息进行比较。在一些实施例中，地图信息存储在服务器1230的数据库中，例如，存储器2015、存储设备2010或其他存储器设备。
418.方法3300可以包括步骤3306，用于基于比较来确定特征图像坐标信息和地图信息之间的方差。例如，服务器1230的比较模块3102可以将特征坐标信息与先前生成的地图信息进行比较。
419.方法3300可以包括步骤3308，用于确定方差是否超过可接受的水平。可接受的水平可以是存储在存储器2015或存储设备2010中的预定值。在一些实施例中，不同类型的道路特征可以与不同的可接受的方差水平相关联。
420.方法3300可以包括步骤3310，用于当方差超过可接受的水平时，向主车辆发送补充信息请求。在一些实施例中，补充信息请求可以包括关于由主车辆存储的地图的精度的警告、对主车辆获取相对于至少一种类型的道路特征的位置信息的请求、和/或对主车辆增加与主车辆上的相机相关联的数据收集速率的请求。
421.在一些实施例中，补充信息请求可以基于服务器1230的要求。例如，服务器1230可以识别对导航信息填充不经常行驶的道路或道路段的地图中的间隙、从而进一步细化稀疏地图中的对象或地标的位置的需求。在一些实施例中，服务器1230可以确定稀疏地图是否具有足够的数据(例如，数据点的量或对数据有贡献的车辆的数量高于预定阈值)，并且可以排除对与相对于稀疏地图的检测到的差异相关联的导航信息之外的导航信息的传输。
422.由服务器1230生成的对信息的补充请求也可以基于道路段中识别的潜在变化。例如，服务器1230可以生成对于主车辆上传在基于由传感器2401收集的信息的、观察到的状况和存储的地图之间的检测到差异的请求。在一些实施例中，基于从一个主车辆接收到不一致数据的指示，服务器1230可以生成并向一个或多个其他主车辆发送对于与与不一致性相关联的道路、道路段和/或对象相关的导航信息的请求。服务器1230响应于对进一步导航数据的请求而接收的数据可以使服务器1230能够确定不一致性是否为真(即，指示道路或道路段的实际变化)或者是假阳性。
423.出于说明的目的已经呈现了前面的描述。它不是穷举性的并且不限于所公开的精确形式或实施例。考虑到所公开实施例的说明书和实践，修改和改编对于本领域技术人员来说是显而易见的。另外，尽管所公开的实施例的方面被描述为存储在存储器中，但本领域的技术人员将理解，这些方面也可以存储在其他类型的计算机可读介质上，诸如辅助存储装置，例如，硬盘或cdrom、或其他形式的ram或rom、usb介质、dvd、蓝光、4k超高清蓝光、或其他光驱动介质。
424.基于书面说明和所公开的方法的计算机程序在有经验的开发人员的技术范围内。可以使用任何本领域技术人员已知的技术来创建或可以结合现有的软件来设计各种程序或程序模块。例如，程序段或程序模块可以以或通过.net framework、.net compact framework(以及相关的语言，诸如visual basic，c等)、java、c++、objective-c、html、html/ajax组合、xml或者包含java小程序的html来设计。
425.此外，虽然已经在本文中描述了说明性实施例，但是本领域技术人员基于本公开将认识到具有等同的要素、修改、省略、组合(例如，遍及各个实施例的方面的)、改编和/或变化的任何以及所有实施例的范围。权利要求书中的限定将基于权利要求书中采用的语言宽泛地解释，并且不限于在本说明书中或在本技术的审查期间所描述的示例。示例将被解释为非排他性的。此外，所公开的方法的步骤可以以任何方式修改，包含通过重新排序步骤和/或插入或删除步骤。因此，意图是说明书和示例被视为仅是说明性的，真正的范围和精神由以下权利要求及其等同物的全部范围来表示。