对切入车道的车辆的自动预测和利他响应的制作方法

对切入车道的车辆的自动预测和利他响应
1.本技术是申请日为2016年11月23日，申请号为201680079913.4，发明名称“对切入车道的车辆的自动预测和利他响应”的发明专利申请的分案申请。
2.相关申请的交叉引用
3.本技术要求于2015年11月26日提交的美国临时专利申请no.62/260,281以及于2016年7月12日提交的美国临时专利申请no.62/361,343的优先权权益。所有前述申请的全部内容通过引用并入本文。
技术领域
4.本公开总体上涉及自主车辆导航。此外，本公开涉及用于检测和响应切入车辆、以及进行导航的同时考虑利他行为参数的系统和方法。


背景技术：

5.随着技术的不断进步，能够在道路上导航的完全自主车辆的目标即将出现。自主车辆可能需要考虑各种各样的因素，并且基于那些因素做出适当的决定，以安全和准确地到达期望的目的地。例如，自主车辆可能需要处理和解释可视信息(例如，从相机捕捉的信息)，并且也可能使用从其它源(例如，从gps设备、速度传感器、加速计、悬架传感器等)获得的信息。同时，为了导航到目的地，自主车辆还可能需要识别其在特定道路内(例如，在多车道道路内的特定车道)的位置、沿着其它车辆旁边导航、避开障碍物和行人、观察交通信号和标志、在适当的交叉路口或交汇处从一条道路行进到另一条道路。
6.在导航期间，自主车辆可能会遇到另一辆尝试车道变换的车辆。例如，在自主车辆行驶的车道的左侧或右侧的车道中的车辆可以尝试变换或切入自主车辆正在行驶的车道。当发生这样的切入时，自主车辆必须做出导航响应，例如通过改变其速度或加速度和/或变换到另一车道，以避免其他车辆的切入。
7.在一些情况下，其他车辆可能看起来在尝试切入，但该切入可能最终不会完成(例如，因为其他车辆的驾驶员改变了他或她的想法或者其他车辆仅仅是在漂移)。尽管延迟实施导航响应直到其他车辆的切入足够可能发生，可以防止不必要的制动，但是这样的延迟也可能增加碰撞的风险和/或导致可以导致自主车辆中的人不适的制动。因此，需要对于车辆何时尝试切入的改进的预测。
8.此外，在一些情况下，例如按照道路和/或交通规则，其他车辆的切入可能是必要的。然而，在其他情况下，切入可以是可选的，诸如当其他车辆仅希望经过较慢移动的车辆时。因为自主车辆可以被编程为以及时和安全的方式行驶到目的地，所以自主车辆可以在切入并非是必要的情况下并不必要地允许其他车辆的切入。然而，在一些情况下，对于自主车辆的操作者和/或对于总体交通效率，允许这样的切入可能是优选的。因此，需要包含利他行为的切入过程。


技术实现要素：

9.根据本公开的实施例提供用于自主车辆导航的系统和方法。所公开的实施例可以使用相机来提供自主车辆导航特征。例如，根据所公开的实施例，所公开的系统可以包含监视车辆的环境的一个、两个或更多个相机。所公开的系统可以基于例如对由一个或多个相机捕捉的图像的分析而提供导航响应。导航响应还可以考虑其他数据，包含例如全球定位系统(gps)数据、传感器数据(例如，来自加速度计、速率传感器、悬架传感器等)和/或其他地图数据。
10.根据所公开的实施例，提供了一种用于主车辆的车辆切入检测和响应系统。该系统可以包含数据接口和至少一个处理装置。至少一个处理装置可以被编程为：经由数据接口从与主车辆相关联的至少一个图像捕捉装置接收多个图像；在多个图像中识别在与主车辆正在行驶的第二车道不同的第一车道中行驶的目标车辆的表示；基于对多个图像的分析，识别目标车辆将从第一车道改变到第二车道的至少一个指示符；检测主车辆的环境中是否存在至少一个预定切入灵敏度改变因素；在未检测到预定切入灵敏度改变因素的情况下，基于至少一个指示符的识别且基于与第一切入灵敏度参数相关联的值，引起主车辆中的第一导航响应；以及在检测到至少一个预定切入灵敏度改变因素的情况下，基于至少一个指示符的识别且基于与第二切入灵敏度参数相关联的值，引起主车辆中的第二导航响应，第二切入灵敏度参数与第一切入灵敏度参数不同。
11.根据另一公开的实施例，主车辆可包含主体、至少一个图像捕捉装置和至少一个处理装置。至少一个处理装置可以被编程为：从至少一个图像捕捉装置接收多个图像；在多个图像中识别在与主车辆正在行驶的第二车道不同的第一车道中行驶的目标车辆的表示；基于对多个图像的分析，识别目标车辆将从第一车道改变到第二车道的至少一个指示符；检测主车辆的环境中是否存在至少一个预定切入灵敏度改变因素；在未检测到预定切入灵敏度改变因素的情况下，基于至少一个指示符的识别且基于与第一切入灵敏度参数相关联的值，引起主车辆中的第一导航响应；以及在检测到至少一个预定切入灵敏度改变因素的情况下，基于至少一个指示符的识别且基于与第二切入灵敏度参数相关联的值，引起主车辆中的第二导航响应，第二切入灵敏度参数与第一切入灵敏度参数不同。
12.根据又一个公开的实施例，提供了一种用于检测和响应目标车辆的切入的方法。该方法可以包含：从与主车辆相关联的至少一个图像捕捉装置接收多个图像；在多个图像中识别在与主车辆正在行驶的第二车道不同的第一车道中行驶的目标车辆的表示；基于对多个图像的分析，识别目标车辆将从第一车道改变到第二车道的至少一个指示符；检测主车辆的环境中是否存在至少一个预定切入灵敏度改变因素；在未检测到预定切入灵敏度改变因素的情况下，基于至少一个指示符的识别且基于与第一切入灵敏度参数相关联的值，引起主车辆中的第一导航响应；以及在检测到至少一个预定切入灵敏度改变因素的情况下，基于至少一个指示符的识别且基于与第二切入灵敏度参数相关联的值，引起主车辆中的第二导航响应，第二切入灵敏度参数与第一切入灵敏度参数不同。
13.根据所公开的实施例，为主车辆提供导航系统。该系统可以包含数据接口和至少一个处理装置。至少一个处理装置可以被编程为：经由数据接口从与主车辆相关联的至少一个图像捕捉装置接收多个图像；基于对多个图像的分析，识别主车辆的环境中的至少一个目标车辆；基于对多个图像的分析，确定与目标车辆相关联的一个或多个情境情形特征；
确定与利他行为参数相关联的当前值；以及基于与目标车辆相关联的一个或多个情境情形特征，确定不需要改变主车辆的导航状态，但是基于与利他行为参数相关联的当前值且基于与目标车辆相关联的一个或多个情境情形特征，引起主车辆中的至少一个导航改变。
14.根据另一公开的实施例，主车辆可包含主体、至少一个图像捕捉装置和至少一个处理装置。至少一个处理装置可以配置为：从至少一个图像捕捉装置接收多个图像；基于对多个图像的分析，识别主车辆的环境中的至少一个目标车辆；基于对多个图像的分析，确定与目标车辆相关联的一个或多个情境情形特征；确定与利他行为参数相关联的当前值；以及基于与目标车辆相关联的一个或多个情境情形特征，确定不需要改变主车辆的导航状态，但是基于与利他行为参数相关联的当前值且基于与目标车辆相关联的一个或多个情境情形特征，引起主车辆中的至少一个导航改变。
15.根据又一个公开的实施例，提供了一种用于导航主车辆的方法。该方法可以包含：从与车辆相关联的至少一个图像捕捉装置接收多个图像；基于对多个图像的分析，识别主车辆的环境中的至少一个目标车辆；基于对多个图像的分析，确定与目标车辆相关联的一个或多个情境情形特征；确定与利他行为参数相关联的当前值；以及基于与目标车辆相关联的一个或多个情境情形特征，确定不需要改变主车辆的导航状态，但是基于与利他行为参数相关联的当前值且基于与目标车辆相关联的一个或多个情境情形特征，引起主车辆中的至少一个导航改变。
16.根据其它所公开的实施例，非暂时性计算机可读存储介质可以存储程序指令，该程序指令由至少一个处理装置执行并执行任何本文所描述的方法。
17.根据其它所公开的实施例，提供了一种车辆导航系统，包括：包括指令的存储器；和电路，当运行时，由指令配置为：识别包括车辆导航系统的车辆的环境中的目标车辆；从车辆的至少一个图像捕捉设备接收目标车辆的图像数据；基于图像数据的分析，识别目标车辆的一个或多个情形特征，目标的情形特征包括目标车辆具有激活的转向器的指示；和改变车辆的导航状态以允许目标车辆的动作，车辆被配置为基于包括激活的转向器在内的一个或多个情形特征指示目标车辆将受益于导航状态的改变的确定来引起导航状态的改变。
18.根据其它所公开的实施例，提供了一种车辆，包括：至少一个图像捕捉设备；和车辆导航系统，被配置为：识别车辆的环境中的目标车辆；从至少一个图像捕捉设备接收目标车辆的图像数据；基于图像数据的分析，识别目标车辆的一个或多个情形特征，目标的情形特征包括目标车辆具有激活的转向器的指示；和改变车辆的导航状态以允许目标车辆的动作，车辆被配置为基于包括激活的转向器在内的一个或多个情形特征指示目标车辆将受益于导航状态的改变的确定来引起导航状态的改变。
19.根据其它所公开的实施例，提供了至少一个非暂时性机器可读介质，其包括指令，当由车辆的车辆组件的电路执行时，指令使得电路执行操作，操作包括：识别车辆的环境中的目标车辆；从车辆的至少一个图像捕捉设备接收目标车辆的图像数据；基于图像数据的分析，识别目标车辆的一个或多个情境特征，目标的情境特征包括目标车辆具有激活的转向器的指示；和改变车辆的导航状态以允许目标车辆的动作，车辆被配置为基于包括激活的转向器在内的一个或多个情况特征指示目标车辆将受益于导航状态的改变的确定来引起导航状态的改变。
20.前面的一般性描述和接下来的详细描述仅是示例性和说明性的，并不限制权利要求。
附图说明
21.并入本公开中并构成本公开的一部分的附图图示了各种所公开的实施例。在附图中：
22.图1是与所公开的实施例一致的示例系统的图示性表示。
23.图2a是包括与所公开的实施例一致的系统的示例车辆的图示性侧视图表示。
24.图2b是与所公开的实施例一致的图2a中所示的车辆和系统的图示性顶视图表示。
25.图2c是包括与所公开的实施例一致的系统的车辆的另一实施例的图示性顶视图表示。
26.图2d是包括与所公开的实施例一致的系统的车辆的又一实施例的图示性顶视图表示。
27.图2e是包括与所公开的实施例一致的系统的车辆的又一实施例的图示性顶视图表示。
28.图2f是与所公开的实施例一致的示例车辆控制系统的图示性表示。
29.图3a是与所公开的实施例一致的、包括后视镜和用于车辆成像系统的用户界面的车辆的内部的图示性表示。
30.图3b是与所公开的实施例一致的、配置为位置在后视镜之后并抵靠车辆风挡的相机安装的示例的图示。
31.图3c是与所公开的实施例一致的图3b中所示的相机安装从不同的视角的图示。
32.图3d是与所公开的实施例一致的、配置为位置在后视镜之后并抵靠车辆风挡的相机安装的示例的图示。
33.图4是与所公开的实施例一致的、配置为存储用于执行一个或多个操作的指令的存储器的示例框图。
34.图5a是示出与所公开的实施例一致的、用于基于单目图像分析引起一个或多个导航响应的示例处理的流程图。
35.图5b是示出与所公开的实施例一致的、用于在一组图像中检测一个或多个车辆和/或行人的示例处理的流程图。
36.图5c是示出与所公开的实施例一致的、用于在一组图像中检测道路标记和/或车道几何信息的示例处理的流程图。
37.图5d是示出与所公开的实施例一致的、用于在一组图像中检测交通灯的示例处理的流程图。
38.图5e是示出与所公开的实施例一致的、用于基于车辆路径引起一个或多个导航响应的示例处理的流程图。
39.图5f是示出与所公开的实施例一致的、用于确定前方车辆是否正在改变车道的示例处理的流程图。
40.图6是示出与所公开的实施例一致的、用于基于立体图像分析引起一个或多个导航响应的示例处理的流程图。
41.图7是示出与所公开的实施例一致的、用于基于三组图像的分析引起一个或多个导航响应的示例处理的流程图。
42.图8是根据所公开实施例的配置为存储用于执行一个或多个操作的指令的存储器的另一示例性功能框图。
43.图9a是根据所公开的实施例的车辆可以检测和响应切入的示例性情形的例示。
44.图9b-9e图示了根据所公开的实施例的示例性预定切入灵敏度改变因素。
45.图10是根据所公开的实施例的车辆可以参与利他行为的示例性情形的例示。
46.图11是示出根据所公开的实施例的用于车辆切入检测和响应的示例性过程的流程图。
47.图12是示出根据所公开的实施例的用于进行导航的同时考虑利他行为考量的示例性过程1200的流程图。
具体实施方式
48.接下来的详细描述参考附图。只要可能，在附图和接下来的描述中使用相同的参考标号来指代相同或相似的部分。尽管本文描述了若干示例性实施例，但是修改、调节和其它实施方式是可能的。例如，可以对附图中示出的组件做出替换、添加或修改，并且可以通过对所公开的方法进行步骤的替换、重新排序、移除或添加，来对本文描述的示例性方法进行修改。因此，接下来的详细描述并不限于所公开的实施例和示例。相反，适当的范围由所附权利要求限定。
49.自主车辆概览
50.如贯穿本公开所使用的，术语“自主车辆”是指在没有驾驶员输入的情况下能够实施至少一个导航改变的车辆。“导航改变”是指车辆的转向、制动、或加速中的一个或多个。所谓自主，是指车辆不需要是完全自动的(例如，在没有驾驶员或没有驾驶员输入的情况下完全可操作的)。相反，自主车辆包括能够在某些时间段期间在驾驶员的控制下操作，且在其他时间段期间无需驾驶员控制而操作那些车辆。自主车辆还可以包括仅控制车辆导航的一些方面，诸如转向(例如，在车辆车道约束之间维持车辆路线)，但可以将其它方面交给驾驶员(例如，制动)的车辆。在一些情况下，自主车辆可以处理车辆的制动、速率控制和/或转向的一些或全部方面。
51.由于人类驾驶员通常依赖于可视线索和观察以便控制车辆，因此而建造了交通基础设施，其具有被设计为向驾驶员提供可视信息的车道标记、交通标志和交通灯。鉴于交通基础设施的这些设计特性，自主车辆可以包括相机以及分析从车辆的环境捕捉的可视信息的处理单元。可视信息可以包括，例如表示可由驾驶员观察到的交通基础设施(例如，车道标记、交通标志、交通灯等)的组件以及其它障碍物(例如，其它车辆、行人、碎片等)的图像。此外，自主车辆还可以使用存储的信息，诸如在导航时提供车辆环境的模型的信息。例如，车辆可以使用gps数据、传感器数据(例如，来自加速计、速率传感器、悬架传感器等)和/或其它地图数据，以在车辆正在行驶的同时提供与其环境有关的信息，并且该车辆(以及其它车辆)可以使用该信息在模型上对其自身定位。
52.系统概览
53.图1是根据所公开的示例实施例的系统100的框图表示。取决于特定实施方式的要
求，系统100可以包括各种组件。在一些实施例中，系统100可以包括处理单元110、图像获取单元120、位置传感器130、一个或多个存储器单元140、150、地图数据库160、用户界面170和无线收发器172。处理单元110可以包括一个或多个处理设备。在一些实施例中，处理单元110可以包括应用处理器180、图像处理器190或任何其它合适的处理设备。类似地，取决于特定应用的要求，图像获取单元120可以包括任意数量的图像获取设备和组件。在一些实施例中，图像获取单元120可以包括一个或多个图像捕捉设备(例如，相机)，诸如图像捕捉设备122、图像捕捉设备124和图像捕捉设备126。系统100还可以包括将处理单元110通信地连接到图像获取单元120的数据接口128。例如，数据接口128可以包括用于将由图像获取单元120获取的图像数据传输到处理单元110的任何有线和/或无线的链路或多个链路。
54.无线收发器172可以包括被配置为通过使用射频、红外频率、磁场、或电场通过空中接口来交换传输到一个或多个网络(例如，蜂窝、因特网等)的一个或多个设备。无线收发器172可以使用任何熟知的标准来发送和/或接收数据(例如，wi-fi、蓝牙智能、802.15.4、zigbee等)。
55.应用处理器180和图像处理器190两者都可以包括各种类型的处理设备。例如，应用处理器180和图像处理器190中的任一者或两者可以包括微处理器、预处理器(诸如图像预处理器)、图形处理器、中央处理单元(cpu)、辅助电路、数字信号处理器、集成电路、存储器或适用于运行应用和适用于图像处理和分析的任何其它类型的设备。在一些实施例中，应用处理器180和/或图像处理器190可以包括任何类型的单核或多核处理器、移动设备微控制器、中央处理单元等。可以使用各种处理设备，包括例如可从诸如控制器、中央处理单元等。可以使用各种处理设备，包括例如可从诸如等制造商获得的处理器，并且可以包括各种架构(例如，x86处理器、等)。
56.在一些实施例中，应用处理器180和/或图像处理器190可以包括可从获得的任何eyeq系列处理器芯片。这些处理器设计均包括具有本地存储器和指令集的多个处理单元。这样的处理器可以包括用于从多个图像传感器接收图像数据的视频输入，并且还可以包括视频输出能力。在一个示例中，使用在332兆赫兹下操作的90纳米-微米技术。架构由两个浮点式超线程32位risc cpu(核)、五个视觉计算引擎(vce)、三个矢量微代码处理器丹那利(denali)64位移动ddr控制器、128位内部声能互连(sonics interconnect)、双16位视频输入和18位视频输出控制器、16通道dma和若干外围设备构成。mips34k cpu管理这五个vce、三个vmp
tm
和dma、第二mips34k cpu和多通道dma以及其它外围设备。这五个vce、三个和mips34k cpu可以执行多功能捆绑应用所需要的密集视觉计算。在另一实例中，作为第三代处理器并且比强六倍的可以在所公开的实施例中使用。
57.任何本文所公开的处理设备可以被配置为执行某些功能。配置处理设备(诸如任何所描述的eyeq处理器或其它控制器或微处理器)以执行某些功能可以包括对计算机可执行指令的编程，并使处理设备在其操作期间可获得这些指令以用于执行。在一些实施例中，配置处理设备可以包括直接利用架构指令对处理设备编程。在其它实施例中，配置处理设备可以包括将可执行指令存储在操作期间处理设备可访问的存储器上。例如，处理设备在
操作期间可以访问该存储器以获得并执行所存储的指令。
58.尽管图1描绘了包含在处理单元110中的两个单独的处理设备，但是可以使用更多或更少的处理设备。例如，在一些实施例中，可以使用单个处理设备完成应用处理器180和图像处理器190的任务。在其它实施例中，这些任务可以由两个以上的处理设备执行。另外，在一些实施例中，系统100可以包括处理单元110中的一个或多个，而不包括诸如图像获取单元120的其它组件。
59.处理单元110可以包括各种类型的设备。例如，处理单元110可以包括各种设备，诸如控制器、图像预处理器、中央处理单元(cpu)、辅助电路、数字信号处理器、集成电路、存储器或任何其它类型的用于图像处理和分析的设备。图像预处理器可以包括用于捕捉、数字化和处理来自图像传感器的影像的视频处理器。cpu可以包括任何数量的微控制器或微处理器。辅助电路可以是任何数量的本领域公知的电路，包括高速缓存、电力供给、时钟和输入输出电路。存储器可以存储软件，该软件在由处理器执行时控制系统的操作。存储器可以包括数据库和图像处理软件。存储器可以包括任何数量的随机存取存储器、只读存储器、闪速存储器、磁盘驱动器、光存储、磁带存储、可移动存储和其它类型的存储。在一个实例中，存储器可以与处理单元110分离。在另一实例中，存储器可以被集成到处理单元110中。
60.每个存储器140、150可以包括软件指令，该软件指令在由处理器(例如，应用处理器180和/或图像处理器190)执行时可以控制系统100的各个方面的操作。这些存储器单元可以包括各种数据库和图像处理软件。存储器单元可以包括随机存取存储器、只读存储器、闪速存储器、磁盘驱动器、光存储、磁带存储、可移动存储和/或任何其它类型的存储。在一些实施例中，存储器单元140、150可以与应用处理器180和/或图像处理器190分离。在其它实施例中，这些存储器单元可以被集成到应用处理器180和/或图像处理器190中。
61.位置传感器130可以包括适用于确定与系统100的至少一个组件相关联的位置的任何类型的设备。在一些实施例中，位置传感器130可以包括gps接收器。这种接收器可以通过处理由全球定位系统卫星广播的信号来确定用户位置和速度。可以使得来自位置传感器130的位置信息对于应用处理器180和/或图像处理器190可用。
62.在一些实施例中，系统100可以包括诸如用于测量车辆200的速率的速率传感器(例如，速率计)的组件。
63.用户界面170可以包括适用于向系统100的一个或多个用户提供信息或从系统100的一个或多个用户接收输入的任何设备。在一些实施例中，用户界面170可以包括用户输入设备，包括例如触摸屏、麦克风、键盘、指针设备、跟踪转轮、相机、旋钮、按钮等。利用这种输入设备，用户能够通过键入指令或信息、提供语音命令、使用按钮、指针或眼睛跟踪能力在屏幕上选择菜单选项、或通过任何其它适用于向系统100传送信息的技术来向系统100提供信息输入或命令。
64.用户界面170可以配备有一个或多个处理设备，其配置为向用户提供和从用户接收信息，并处理该信息以由例如应用处理器180使用。在一些实施例中，这种处理设备可以执行指令以辨识和跟踪眼睛运动、接收和解释语音命令、辨识和解释在触摸屏上做出的触摸和/或手势、响应键盘输入或菜单选择等。在一些实施例中，用户界面170可以包括显示器、扬声器、触觉设备和/或任何其它用于向用户提供输出信息的设备。
65.地图数据库160可以包括任何类型的用于存储对系统100有用的地图数据的数据
库。在一些实施例中，地图数据库160可以包括与各种项目在参考坐标系统中的位置有关的数据，各种项目包括道路、水特征、地理特征、商业区、感兴趣的点、餐馆、加油站等。地图数据库160不仅可以存储这些项目的位置，而且可以存储与这些项目有关的描述符，包括例如与任何所存储的特征相关联的名称。在一些实施例中，地图数据库160可以与系统100的其它部件物理上位置在一起。替代或附加地，地图数据库160或其一部分可以相对于系统100的其它组件(例如，处理单元110)远程地定位。在这种实施例中，来自地图数据库160的信息可以通过与网络的有线或无线数据连接(例如，通过蜂窝网络和/或因特网等)而下载。
66.图像捕捉设备122、124和126均可以包括任何类型的适用于从环境捕捉至少一个图像的设备。此外，可以使用任何数量的图像捕捉设备来获取用于输入到图像处理器的图像。一些实施例可以仅包括单个图像捕捉设备，而其它实施例可以包括两个、三个、或甚至四个、或更多个图像捕捉设备。以下将参考图2b至图2e进一步描述图像捕捉设备122、124和126。
67.系统100或其各种组件可以合并到各种不同的平台中。在一些实施例中，系统100可以被包括在车辆200上，如图2a所示。例如，车辆200可以配备有如上关于图1描述的系统100的处理单元110和任何其它组件。在一些实施例中，车辆200可以仅配备有单个图像捕捉设备(例如，相机)，而在其它实施例中，诸如结合图2b至图2e所讨论的那些，可以使用多个图像捕捉设备。例如，图2a中所示的车辆200的图像捕捉设备122和124中的任一个可以是adas(advanced driver assistance system，高级驾驶员辅助系统)成像集的一部分。
68.作为图像获取单元120的一部分的、被包括在车辆200上的图像捕捉设备，可以被置于任何合适的位置。在一些实施例中，如图2a至图2e，以及图3a至图3c中所示，图像捕捉设备122可以位于后视镜的附近。此位置可以提供与车辆200的驾驶员相似的视线，这可以辅助确定对驾驶员而言什么是可视和不可视的。图像捕捉设备122可以被置于靠近后视镜的任何位置，而将图像捕捉设备122放置在镜子的驾驶员侧还可以辅助获得表示驾驶员的视场和/或视线的图像。
69.还可以使用图像获取单元120的图像捕捉设备的其它位置。例如，图像捕捉设备124可以位于车辆200的保险杠上或保险杠中。这种位置尤其可以适用于具有宽视场的图像捕捉设备。位于保险杠的图像捕捉设备的视线可以与驾驶员的视线不同，并且因此，保险杠图像捕捉设备和驾驶员可能不总是看到相同的对象。图像捕捉设备(例如，图像捕捉设备122、124和126)还可以位于其它位置中。例如，图像捕捉设备可以位于车辆200的侧视镜中的一者或两者之上或之中、车辆200的车顶上、车辆200的引擎盖上、车辆200的后备箱上、车辆200的侧面上、安装在车辆200的任何车窗上、置于车辆200的任何车窗的后面、或置于在任何车窗的前面、以及安装在车辆200的前部和/或后部上的照明设备中或附近。
70.除了图像捕捉设备，车辆200还可以包括系统100的各种其它组件。例如，处理单元110可以被包括在车辆200上，与车辆的引擎控制单元(engine control unit，ecu)集成或分离。车辆200还可以配备有诸如gps接收器的位置传感器130，并且还可以包括地图数据库160以及存储器单元140和150。
71.如早先讨论的，无线收发器172可以通过一个或多个网络(例如，蜂窝网络、因特网等)和/或接收数据。例如，无线收发器172可以将系统100收集的数据上传到一个或多个服务器，并且从一个或多个服务器下载数据。经由无线收发器172，系统100可以接收，例如对
存储在地图数据库160、存储器140和/或存储器150中存储的数据的周期性更新或按需求更新。类似地，无线收发器172可以将来自系统100的任何数据(例如，由图像获取单元120捕捉的图像、由位置传感器130或其它传感器、车辆控制系统接收的数据等)和/或由处理单元110处理的任何数据上传到一个或多个服务器。
72.系统100可以基于隐私等级设置将数据上传到服务器(例如，上传到云)。例如，系统100可以实施隐私等级设置，以规定或限制发送到服务器的、可以唯一地标识车辆和/或车辆的驾驶员/所有者的数据(包括元数据)的类型。这种设置可以由用户经由例如无线收发器172来设置、可以由出厂默认设置、或由无线收发器172接收的数据来初始化。
73.在一些实施例中，系统100可以根据“高”隐私等级上传数据，并且在设定了设置的情况下，系统100可以传输数据(例如，与路途有关的位置信息、捕捉的图像等)，而不带有任何关于特定车辆和/或驾驶员/所有者的细节。例如，当根据“高”隐私设置来上传数据时，系统100可以不包括车辆标识编号(vehicle identification number，vin)或车辆的驾驶员或所有者的名字，并且可以代替地传输数据(诸如，捕捉的图像和/或与路途有关的受限的位置信息)。
74.也可以考虑其它隐私等级。例如，系统100可以根据“中间”隐私等级向服务器传输数据，并且可以包括在“高”隐私等级下不包括的额外信息，诸如车辆的型号和/或模型和/或车辆类型(例如载客车辆、运动型多用途车辆、卡车等)。在一些实施例中，系统100可以根据“低”隐私等级上传数据。在“低”隐私等级设置下，系统100可以上传数据，并且包括足以唯一地标识特定车辆、所有者/驾驶员和/或车辆行驶过的部分或整个路途的信息。这种“低”隐私等级数据可以包括以下中的一个或多个：例如vin、驾驶员/所有者姓名、出发之前车辆的源点、车辆的期望目的地、车辆的型号和/或模型、车辆类型等。
75.图2a是根据所公开的实施例的示例车辆成像系统的图示性侧视图表示。图2b是图2a中所示的实施例的图示性顶视图例示。如图2b所示，所公开的实施例可以包括车辆200，该车辆200在其车体中包括系统100，该系统100具有位于车辆200的后视镜附近和/或靠近驾驶员的第一图像捕捉设备122、位于车辆200的保险杠区域(例如，保险杠区域210中的一个)之上或之中的第二图像捕捉设备124、以及处理单元110。
76.如图2c所示，图像捕捉设备122和124两者可以都位于车辆200的后视镜附近和/或靠近驾驶员。此外，尽管图2b和图2c示出了两个图像捕捉设备122和124，应理解的是，其它实施例可以包括两个以上的图像捕捉设备。例如，在图2d和图2e中所示的实施例中，第一图像捕捉设备122、第二图像捕捉设备124和第三图像捕捉设备126被包括在车辆200的系统100中。
77.如图2d所示，图像捕捉设备122可以位于车辆200的后视镜附近和/或靠近驾驶员，并且图像捕捉设备124和126可以位于车辆200的保险杠区域(例如，保险杠区域210中的一个)之上或之中。并且如图2e所示，图像捕捉设备122、124和126可以位于车辆200的后视镜附近和/或靠近驾驶席。所公开的实施例不限于图像捕捉设备的任何特定数量和配置，并且图像捕捉设备可以位于车辆200内或车辆200上的任何合适的位置中。
78.应理解的是，所公开的实施例不限于车辆，并且可以被应用在其它情景中。还应理解，所公开的实施例不限于车辆200的特定类型，并且可以适用于所有类型的车辆，包括汽车、卡车、拖车和其它类型的车辆。
79.第一图像捕捉设备122可以包括任何合适类型的图像捕捉设备。图像捕捉设备122可以包括光轴。在一个实例中，图像捕捉设备122可以包括具有全局快门的aptina m9v024 wvga传感器。在其它实施例中，图像捕捉设备122可以提供1280
×
960像素的分辨率，并且可以包括滚动快门。图像捕捉设备122可以包括各种光学元件。在一些实施例中，可以包括一个或多个镜头，例如用于为图像捕捉设备提供期望的焦距和视场。在一些实施例中，图像捕捉设备122可以与6毫米镜头或12毫米镜头相关联。在一些实施例中，如图2d所示，图像捕捉设备122可以配置为捕捉具有期望的视场(fov)202的图像。例如，图像捕捉设备122可以配置为具有常规fov，诸如在40度到56度的范围内，包括46度fov、50度fov、52度fov，或更大的fov。可替代地，图像捕捉设备122可以配置为具有在23至40度的范围内的窄fov，诸如28度fov或36度fov。此外，图像捕捉设备122可以配置为具有在100至180度的范围内的宽fov。在一些实施例中，图像捕捉设备122可以包括广角保险杠相机或者具有高达180度的fov的相机。在一些实施例中，图像捕捉设备122可以是具有大约2：1的高宽比(例如，h
×
v＝3800
×
1900像素)、具有大约100度水平fov的7.2m(百万)像素图像捕捉设备。这种图像捕捉设备可以被用来替代三个图像捕捉设备配置。由于显著的镜头失真，在图像捕捉设备使用径向对称镜头的实施方式中，这种图像捕捉设备的垂直fov可以显著地小于50度。例如，这种镜头可以不是径向对称的，这将允许在100度水平fov情况下垂直fov大于50度。
80.第一图像捕捉设备122可以获取关于与车辆200相关联的场景的多个第一图像。多个第一图像中的每一个可以作为一系列的图像扫描线而被获取，其可使用滚动快门来捕捉。每个扫描线可以包括多个像素。
81.第一图像捕捉设备122可以具有与第一系列图像扫描线中的每一个的获取相关联的扫描速率。扫描速率可以指，图像传感器可以以该扫描速率获取与包含在特定扫描线中的每个像素相关联的图像数据。
82.图像捕捉设备122、124和126可以包含任何合适的类型和数量的图像传感器，例如，包括ccd传感器或cmos传感器等。在一个实施例中，可以采用cmos图像传感器以及滚动快门，以使得一行中的每个像素一次被读取一个，并且各行的扫描在逐行的基础上继续进行，直到已经捕捉了整个图像帧。在一些实施例中，可以相对于帧从顶部到底部顺序地捕捉各行。
83.在一些实施例中，本文公开的图像捕捉设备中的一个或多个(例如，图像捕捉设备122、124和126)可以构成高分辨率成像器，并且可以具有大于5m像素、7m像素、10m像素或更大像素的分辨率。
84.滚动快门的使用可能导致不同行中的像素在不同的时间被曝光和捕捉，这可能引起所捕捉的图像帧中的扭曲和其它图像伪像。另一方面，当图像捕捉设备122配置为利用全局或同步快门操作时，所有像素可以以相同量的时间并且在共同曝光时段期间被曝光。其结果是，在从采用全局快门的系统收集的帧中的图像数据表示在一特定时间的整个fov(诸如fov 202)的快照。与之相比，在滚动快门应用中，在不同的时间，帧中的每行被曝光并且数据被捕捉。因此，在具有滚动快门的图像捕捉设备中，移动对象可能出现失真。将在下面更详细地描述这种现象。
85.第二图像捕捉设备124和第三图像捕捉设备126可以是任何类型的图像捕捉设备。类似于第一图像捕捉设备122，图像捕捉设备124和126中的每一个可以包括光轴。在一个实
施例中，图像捕捉设备124和126中的每一个可以包括具有全局快门的aptina m9v024 wvga传感器。可替代地，图像捕捉设备124和126中的每一个可以包括滚动快门。类似于图像捕捉设备122，图像捕捉设备124和126可以配置为包括各种镜头和光学元件。在一些实施例中，与图像捕捉设备124和126相关联的镜头可以提供fov(诸如fov 204和206)，其等于或窄于与图像捕捉设备122相关联的fov(诸如fov 202)。例如，图像捕捉设备124和126可以具有40度、30度、26度、23度、20度或更小的fov。
86.图像捕捉设备124和126可以获取关于与车辆200相关联的场景的多个第二图像和第三图像。该多个第二图像和第三图像中的每一个可以作为第二系列和第三系列的图像扫描线而被获取，这可以使用滚动快门进行捕捉。每个扫描线或行可以具有多个像素。图像捕捉设备124和126可以具有与被包含在第二系列和第三系列中的每个图像扫描线的获取相关联的第二扫描速率和第三扫描速率。
87.每个图像捕捉设备122、124和126可以放置在相对于车辆200的任何合适的位置和方向处。可以选择图像捕捉设备122、124和126的相对位置以帮助将从图像捕捉设备获取的信息融合在一起。例如，在一些实施例中，与图像捕捉设备124相关联的fov(诸如fov 204)可能部分地或完全地和与图像捕捉设备122相关联的fov(例如fov 202)以及与图像捕捉设备126相关联的fov(例如fov 206)重叠。
88.图像捕捉设备122、124和126可以位于车辆200上的任何合适的相对高度处。在一个实例中，在图像捕捉设备122、124和126之间可以存在高度差，其可以提供足够的视差信息以使能立体分析。例如，如图2a所示，两个图像捕捉设备122和124在不同的高度处。例如，在图像捕捉设备122、124和126之间还可以存在横向位移差，为处理单元110的立体分析给出了额外的视差信息。如图2c和图2d所示，横向位移的差异可以通过d
x
表示。在一些实施例中，图像捕捉设备122、124和126之间可能存在前向或后向位移(例如，范围位移)。例如，图像捕捉设备122可以位于图像捕捉设备124和/或图像捕捉设备126之后0.5到2米或以上。这种类型的位移可以使得图像捕捉设备之一能够覆盖其它(一个或多个)图像捕捉设备的潜在盲点。
89.图像捕捉设备122可以具有任何合适的分辨率能力(例如，与图像传感器相关联的像素的数量)，并且与图像捕捉设备122相关联的(一个或多个)图像传感器的分辨率可以比与图像捕捉设备124和126相关联的(一个或多个)图像传感器的分辨率更高、更低、或者与之相同。在一些实施例中，与图像捕捉设备122和/或图像捕捉设备124和126相关联的(一个或多个)图像传感器可以具有640
×
480、1024
×
768、1280
×
960的分辨率，或任何其它合适的分辨率。
90.帧速率(例如，在该速率下，图像捕捉设备获取一个图像帧的一组像素数据，然后继续捕捉与下一个图像帧相关联的像素数据)可以是可控的。与图像捕捉设备122相关联的帧速率可以比与图像捕捉设备124和126相关联的帧速率更高、更低或与之相同。与图像捕捉设备122、124和126相关联的帧速率可以取决于可能影响帧速率的定时的各种因素。例如，图像捕捉设备122、124和126中的一个或多个可以包括可选择的像素延迟时段，其在获取与图像捕捉设备122、124和/或126中的图像传感器的一个或多个像素相关联的图像数据之前或之后施加。通常，可以根据用于该设备的时钟速率来获取对应于每个像素的图像数据(例如，每个时钟周期一个像素)。另外，在包括滚动快门的实施例中，图像捕捉设备122、
124和126中的一个或多个可以包括可选择的水平消隐时段，其在获取与图像捕捉设备122、124和/或126中的图像传感器的一行像素相关联的图像数据之前或之后施加。此外，图像捕捉设备122、124和126的一个或多个图像可以包括可选择的垂直消隐时段，其在获取与图像捕捉设备122、124和126的图像帧相关联的图像数据之前或之后施加。
91.这些定时控制可以使能与图像捕捉设备122、124和126相关联的帧速率的同步，即便每个的线扫描率速率不同。此外，如将在下面更详细地讨论的，这些可选择的定时控制以及其它因素(例如，图像传感器分辨率、最大线扫描速率等)可以使能从图像捕捉设备122的fov与图像捕捉设备124和126的一个或多个fov重叠的区域的图像捕捉的同步，即便图像捕捉设备122的视场不同于图像捕捉设备124和126的fov。
92.图像捕捉设备122、124和126中的帧速率定时可以取决于相关联的图像传感器的分辨率。例如，假定对于两个设备，线扫描速率类似，如果一个设备包括具有640
×
480的分辨率的图像传感器，并且另一设备包括具有1280
×
960的分辨率的图像传感器，则需要更多的时间来从具有更高分辨率的传感器获取一帧图像数据。
93.可能影响图像捕捉设备122、124和126中的图像数据获取的定时的另一个因素是最大线扫描速率。例如，从被包含在图像捕捉设备122、124和126中的图像传感器获取一行图像数据将需要某个最低时间量。假定没有添加像素延迟时段，则用于获取一行图像数据的此最低时间量将与用于特定设备的最大线扫描速率有关。提供较高的最大线扫描速率的设备具有提供比具有较低的最大线扫描速率的设备更高的帧速率的潜力。在一些实施例中，图像捕捉设备124和126的一个或多个可以具有高于与图像捕捉设备122相关联的最大线扫描速率的最大线扫描速率。在一些实施例中，图像捕捉设备124和/或126的最大线扫描速率可以是图像捕捉设备122的最大线扫描速率的1.25、1.5、1.75或2倍或更多倍。
94.在另一实施例中，图像捕捉设备122、124和126可以具有相同的最大线扫描速率，但图像捕捉设备122可以以小于或等于其最大扫描速率的扫描速率而操作。该系统可以配置为使得图像捕捉设备124和126的一个或多个以等于图像捕捉设备122的线扫描速度的线扫描速率而操作。在其它实例中，该系统可以配置为使得图像捕捉设备124和/或图像捕捉设备126的线扫描速率可以是图像捕捉设备122的线扫描速度的1.25、1.5、1.75、或2倍或更多倍。
95.在一些实施例中，图像捕捉设备122、124和126可以是不对称的。也就是说，它们可包括具有不同视场(fov)和焦距的相机。例如，图像捕捉设备122、124和126的视场可以包括关于车辆200的环境的任何期望的区域。在一些实施例中，图像捕捉设备122、124和126的一个或多个可以配置为从在车辆200前面、车辆200后面、车辆200的侧面、或其组合的环境获取图像数据。
96.此外，与每个图像捕捉设备122、124和/或126相关联的焦距可以是可选择的(例如，通过包括适当的镜头等)，使得每个设备在相对于车辆200的期望的距离范围处获取对象的图像。例如，在一些实施例中，图像捕捉设备122、124和126可以获取离车辆几米之内的接近对象的图像。图像捕捉设备122、124和126还可以配置为获取离车辆更远的范围处(例如，25米、50米、100米、150米或更远)的对象的图像。此外，图像捕捉设备122、124和126的焦距可以被选择以使得一个图像捕捉设备(例如，图像捕捉设备122)可以获取相对靠近车辆(例如，在10米内或20米内的)对象的图像，而其它图像捕捉设备(例如，图像捕捉设备124和
126)可以获取离车辆200较远的(例如，大于20米、50米、100米、150米等的)对象的图像。
97.根据一些实施例，一个或多个图像捕捉设备122、124和126的fov可以具有广角。例如，具有140度的fov可能是有利的，尤其是对于可以被用于捕捉车辆200附近的区域的图像的图像捕捉设备122、124和126。例如，图像捕捉设备122可以被用来捕捉车辆200的右侧或左侧的区域的图像，并且在这种实施例中，可能期望图像捕捉设备122具有宽fov(例如，至少140度)。
98.与每个图像捕捉设备122、124和126相关联的fov可以取决于各自的焦距。例如，随着焦距增加，对应的视场减小。
99.图像捕捉设备122、124和126可以配置为具有任何合适的视场。在一个特定示例中，图像捕捉设备122可以具有46度的水平fov，图像捕捉设备124可以具有23度的水平fov，并且图像捕捉设备126可以具有在23度和46度之间的水平fov。在另一实例中，图像捕捉设备122可以具有52度的水平fov，图像捕捉设备124可以具有26度的水平fov，并且图像捕捉设备126可以具有在26度和52度之间的水平fov。在一些实施例中，图像捕捉设备122的fov与图像捕捉设备124和/或图像捕捉设备126的fov的比率可以从1.5到2.0变化。在其它实施例中，该比率可以在1.25与2.25之间变化。
100.系统100可以配置为使得图像捕捉设备122的视场至少部分地或完全地与图像捕捉设备124和/或图像捕捉设备126的视场重叠。在一些实施例中，系统100可以配置为使得图像捕捉设备124和126的视场例如落入(例如，窄于)图像捕捉设备122的视场并且与图像捕捉设备122的视场共享共同的中心。在其它实施例中，图像捕捉设备122、124和126可以捕捉相邻的fov，或者可以在它们fov中具有部分重叠。在一些实施例中，图像捕捉设备122、124和126的视场可以对齐，以使得较窄fov图像捕捉设备124和/或126的中心可以位于较宽fov设备122的视场的下半部分中。
101.图2f是根据所公开的实施例的示例车辆控制系统的图示性表示。如图2f所指示的，车辆200可以包括油门调节系统220、制动系统230和转向系统240。系统100可以经过一个或多个数据链路(例如，任何用于传输数据的有线和/或无线链路)向油门调节系统220、制动系统230和转向系统240的一个或多个提供输入(例如，控制信号)。例如，基于对由图像捕捉设备122、124和/或126获取的图像的分析，系统100可以向油门调节系统220、制动系统230和转向系统240的一个或多个提供控制信号以导航车辆200(例如，通过引起加速、转向、车道变换等)。此外，系统100可以从油门调节系统220、制动系统230和转向系统240的一个或多个接收指示车辆200的运行条件(例如，速度、车辆200是否正在制动和/或转向等)的输入。以下结合图4至图7提供进一步的细节。
102.如图3a所示，车辆200还可以包括用于与车辆200的驾驶员或乘客进行交互的用户界面170。例如，车辆应用中的用户界面170可以包括触摸屏320、旋钮330、按钮340和麦克风350。车辆200的驾驶员或乘客还可以使用手柄(例如，位于车辆200的转向杆上或附近，包括例如转向信号手柄)、按钮(例如，位于车辆200的方向盘上)等与系统100交互。在一些实施例中，麦克风350可以位于与后视镜310相邻。类似地，在一些实施例中，图像捕捉设备122可以位于靠近后视镜310。在一些实施例中，用户界面170还可以包括一个或多个扬声器360(例如，车辆音频系统的扬声器)。例如，系统100可以经由扬声器360提供各种通知(例如，警报)。
103.图3b至图3d是根据所公开的实施例的配置为位于后视镜(例如，后视镜310)后面并与车辆风挡相对的示例相机安装370的例示。如图3b所示，相机安装370可以包括图像捕捉设备122、124和126。图像捕捉设备124和126可以位于遮光板380的后面，其中遮光板380可以相对于车辆风挡齐平(flush)并且包括薄膜和/或防反射材料的合成物。例如，遮光板380可被放置为使得它相对于具有匹配斜面的车辆的风挡对齐。在一些实施例中，图像捕捉设备122、124和126的每个可以位于遮光板380的后面，例如在图3d中所描绘的。所公开的实施例不限于图像捕捉设备122、124和126、相机安装370和遮光板380的任何特定配置。图3c是图3b所示的相机安装370从前面视角的例示。
104.如受益于本公开的本领域技术人员将理解的，可以对前述所公开的实施例做出许多变型和/或修改。例如，并非所有组件对于系统100的操作是必要的。此外，任何组件可以位于系统100的任何适当的部件中并且组件可以被重新布置成各种配置同时提供所公开的实施例的功能。因此，前述配置是示例性的，并且不管上述讨论的配置如何，系统100都可以提供广阔范围的功能以分析车辆200的周围并响应于该分析而导航车辆200。
105.如在下面更详细讨论的并且根据各种所公开的实施例，系统100可以提供各种关于自主驾驶和/或驾驶员辅助技术的特征。例如，系统100可以分析图像数据、位置数据(例如，gps位置信息)、地图数据、速度数据和/或来自包含在车辆200中的传感器的数据。系统100可以从例如图像获取单元120、位置传感器130以及其它传感器收集数据用于分析。此外，系统100可以分析所收集的数据以确定车辆200是否应该采取某个动作，然后无需人工干预而自动采取所确定的动作。例如，当车辆200无需人工干预而导航时，系统100可以自动地控制车辆200的制动、加速、和/或转向(例如，通过向油门调节系统220、制动系统230和转向系统240的一个或多个发送控制信号)。此外，系统100可以分析所收集的数据，并基于对所收集的数据的分析向车辆乘员发出警告和/或警报。下面提供关于系统100提供的各种实施例的额外的细节。
106.前向多成像系统
107.如上所讨论的，系统100可以提供使用多相机系统的驾驶辅助功能。多相机系统可以使用面向车辆的前方的一个或多个相机。在其它实施例中，多相机系统可以包括面向车辆的侧方或面向车辆的后方的一个或多个相机。在一个实施例中，例如系统100可以使用双相机成像系统，其中，第一相机和第二相机(例如，图像捕捉设备122和124)可以位于车辆(例如，车辆200)的前面和/或侧面处。第一相机可以具有大于、小于、或部分重叠于第二相机的视场的视场。此外，第一相机可以连接到第一图像处理器以执行对由第一相机提供的图像的单目图像分析，并且第二相机可以连接到第二图像处理器以执行对由第二相机提供的图像的单目图像分析。第一和第二图像处理器的输出(例如，处理后的信息)可以被组合。在一些实施例中，第二图像处理器可以从第一相机和第二相机两者接收图像以执行立体分析。在另一实施例中，系统100可以使用三相机成像系统，其中每个相机具有不同的视场。因此，这种系统可以基于从位于车辆的前方和侧方的变化距离处的对象得到的信息做出决定。对单目图像分析的参考可以参考基于从单个视点(例如，从单个相机)捕捉的图像执行图像分析的实例。立体图像分析可以参考基于利用图像捕捉参数的一个或多个变化而捕捉的两个或多个图像执行图像分析的实例。例如，捕捉到的适用于执行立体图像分析的图像可以包括以下捕捉图像：从两个或多个不同的位置、从不同的视场、使用不同的焦距、与视
差信息一起等捕捉的图像。
108.例如，在一个实施例中，系统100可以使用图像捕捉设备122至126实现三相机配置。在这种配置中，图像捕捉设备122可以提供窄视场(例如，34度或从大约20度至45度的范围选择的其它值等)，图像捕捉设备124可以提供宽视场(例如，150度或从大约100度至大约180度的范围选择的其它值)，并且图像捕捉设备126可以提供中间的视场(例如，46度或从大约35度至大约60度的范围选择的其它值)。在一些实施例中，图像捕捉设备126可以作为主相机或基本相机。图像捕捉设备122至126可以位于后视镜310的后面并且基本上并排(例如，相距6厘米)。此外，在一些实施例中，如以上所讨论的，图像捕捉设备122至126的一个或多个可以被安装在与车辆200的风挡齐平的遮光板380的后面。这种遮挡可以作用以减少任何来自车内的反射对图像捕捉设备122至126的影响。
109.在另一实施例中，如以上结合图3b和3c所讨论的，宽视场相机(例如，上述示例中的图像捕捉设备124)可以被安装得低于窄视场相机和主视场相机(例如，上述的示例中的图像捕捉设备122和126)。这种配置可以提供来自宽视场相机的自由视线。为减少反射，相机可以被安装得靠近车辆200的风挡，并且在相机上可以包括偏振器以衰减(damp)反射光。
110.三相机系统可以提供某些性能特性。例如，一些实施例可以包括通过一个相机基于来自另一相机的检测结果来验证对象的检测的能力。在上面讨论的三相机配置中，处理单元110可以包括例如三个处理设备(例如，三个如以上所讨论的eyeq系列处理器芯片)，其中每个处理设备专用于处理由图像捕捉设备122至126的一个或多个捕捉的图像。
111.在三相机系统中，第一处理设备可以从主相机和窄视场相机两者接收图像，并且执行对窄fov相机的视觉处理，例如以检测其它车辆、行人、车道标记、交通标志、交通灯以及其它道路对象。另外，第一处理设备可以计算来自主相机和窄相机的图像之间的像素的视差，并且创建车辆200的环境的3d重建。然后第一处理设备可以组合3d重建与3d地图数据、或组合3d重建与基于来自另一相机的信息计算出的3d信息。
112.第二处理设备可以从主相机接收图像，并执行视觉处理以检测其它车辆、行人、车道标记、交通标志、交通灯和其它道路对象。另外，第二处理设备可以计算相机位移，并且基于该位移计算连续图像之间的像素的视差，并创建场景的3d重建(例如，运动恢复结构(structure from motion))。第二处理设备可以将基于3d重建的运动恢复结构发送到第一处理设备以与立体3d图像进行组合。
113.第三处理设备可以从宽fov相机接收图像，并处理该图像以检测车辆、行人、车道标记、交通标志、交通灯和其它道路对象。第三处理设备还可以执行额外的处理指令来分析图像，以识别图像中移动的对象，诸如正改变车道的车辆、行人等。
114.在一些实施例中，使得基于图像的信息的流被独立地捕捉和处理可以提供用于在系统中提供冗余的机会。这种冗余可以包括例如使用第一图像捕捉设备和从该设备处理的图像来验证和/或补充通过从至少第二图像捕捉设备捕捉和处理图像信息而获得的信息。
115.在一些实施例中，系统100将两个图像捕捉设备(例如，图像捕捉设备122和124)用在为车辆200提供导航辅助中，并使用第三图像捕捉设备(例如，图像捕捉设备126)来提供冗余并验证对从其它两个图像捕捉设备接收到的数据的分析。例如，在这种配置中，图像捕捉设备122和124可以提供用于通过系统100进行立体分析的图像以导航车辆200，而图像捕捉设备126可以提供用于通过系统100进行单目分析的图像以提供对基于从图像捕捉设备
122和/或图像捕捉设备124捕捉的图像而获得的信息的冗余和验证。即，图像捕捉设备126(和对应的处理设备)可以被视为提供用于提供对从图像捕捉设备122和124得到的分析的检查的冗余子系统(例如，以提供自动紧急制动(aeb)系统)。
116.本领域的技术人员将认识到，上述相机配置、相机放置、相机数量、相机位置等仅为示例。在不脱离所公开的实施例的范围下，这些组件和关于整个系统描述的其它组件可以被组装并且在各种不同的配置中使用。关于使用多相机系统以提供驾驶员辅助和/或自主车辆功能的进一步的细节如下。
117.图4是可以被存储/被编程具有用于执行与本公开实施例一致的一个或多个操作的指令的存储器140和/或存储器150的示范性功能性框图。虽然下面指代存储器140，但是本领域技术人员将认识到指令可以被存储在存储器140和/或存储器150中。
118.如图4所示，存储器140可以存储单目图像分析模块402、立体图像分析模块404、速度和加速度模块406以及导航响应模块408。所公开的实施例不限于存储器140的任何特定配置。此外，应用处理器180和/或图像处理器190可以执行在被包含在存储器140中的任何模块402至408中所存储的指令。本领域的技术人员将理解，在下面的讨论中，对处理单元110的参考可以单独地或统一地指代应用处理器180和图像处理器190。因此，任何以下处理的步骤可以由一个或多个处理设备来执行。
119.在一个实施例中，单目图像分析模块402可以存储指令(诸如计算机视觉软件)，该指令在由处理单元110执行时，执行对由图像捕捉设备122、124和126的一个获取的一组图像的单目图像分析。在一些实施例中，处理单元110可以将来自一组图像的信息与额外的传感信息(例如，来自雷达的信息)组合以执行单目图像分析。如以下结合图5a至图5d所描述的，单目图像分析模块402可以包括用于在该组图像内检测一组特征的指令，所述特征诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯、危险对象以及任何其它与车辆的环境相关联的特征。基于该分析，系统100(例如，经由处理单元110)可以引起车辆200中的一个或多个导航响应，诸如转向、车道变换、加速度的改变等，如以下结合导航响应模块408所讨论的。
120.在一个实施例中，单目图像分析模块402可以存储指令(诸如计算机视觉软件)，该指令在由处理单元110执行时，执行对由图像捕捉设备122、124和126的一个获取的一组图像的单目图像分析。在一些实施例中，处理单元110可以将来自一组图像的信息与额外的传感信息(例如，来自雷达、激光雷达等的信息)组合以执行单目图像分析。如以下结合图5a至图5d所描述的，单目图像分析模块402可以包括用于在该组图像内检测一组特征的指令，所述特征诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯、危险对象以及任何其它与车辆的环境相关联的特征。基于该分析，系统100(例如，经由处理单元110)可以引起车辆200中的一个或多个导航响应，诸如转向、车道变换、加速度的改变等，如以下结合确定导航响应所讨论的。
121.在一个实施例中，立体图像分析模块404可以存储指令(诸如，计算机视觉软件)，该指令在由处理单元110执行时，执行对由从任意图像捕捉设备122、124和126中选择的图像捕捉设备的组合而获取的第一组和第二组图像的立体图像分析。在一些实施例中，处理单元110可以将来自第一组和第二组图像的信息与额外的传感信息(例如，来自雷达的信息)组合以执行立体图像分析。例如，立体图像分析模块404可以包括用于基于由图像捕捉
设备124获取的第一组图像和由图像捕捉设备126获取的第二组图像执行立体图像分析的指令。如下面结合图6所描述的，立体图像分析模块404可以包括用于检测第一组和第二组图像内的一组特征的指令，所述特征诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯、危险对象等。基于该分析，处理单元110可以引起车辆200中的一个或多个导航响应，诸如转向、车道变换、加速度的改变等，如以下结合导航响应模块408所讨论的。
122.在一个实施例中，速度和加速度模块406可以存储被配置为对从车辆200中配置为引起车辆200的速度和/或加速度的改变的一个或多个计算和机电设备收到的数据进行分析的软件。例如，处理单元110可以执行与速度和加速度模块406相关联的指令，以基于从单目图像分析模块402和/或立体图像分析模块404的执行而得到的数据来计算车辆200的目标速度。这种数据可以包括例如目标位置、速度和/或加速度、车辆200相对于附近车辆、行人或道路对象的位置和/或速度、车辆200相对于道路的车道标记等的位置信息等。此外，处理单元110可以基于传感输入(例如，来自雷达的信息)和来自车辆200的其它系统、诸如油门调节系统220、制动系统230和/或转向系统240的输入来计算车辆200的目标速度。基于计算的目标速度，处理单元110可以向车辆200的油门调节系统220、制动系统230和/或转向系统的240传输电子信号，例如通过物理地压下制动器或松开车辆200的加速器，来触发速度和/或加速度的变化。
123.在一个实施例中，导航响应模块408可以存储可由处理单元110执行以基于从单目图像分析模块402和/或立体声图像分析模块404的执行而得到的数据来确定期望的导航响应的软件。这种数据可以包括与附近的车辆、行人和道路对象相关联的位置和速度信息、车辆200的目标位置信息等。另外，在一些实施例中，导航响应可以(部分地或完全地)基于地图数据、车辆200的预定位置、和/或车辆200与从单目图像分析模块402和/或立体声图像分析模块404的执行检测到的一个或多个对象之间的相对速度或相对加速度。导航响应模块408还可以基于传感输入(例如，来自雷达的信息)和来自车辆200的其它系统、诸如车辆200的油门调节系统220、制动系统230和转向系统240的输入确定期望的导航响应。基于期望的导航响应，处理单元110可以向车辆200的油门调节系统220、制动系统230和转向系统240传输电子信号以触发期望的导航响应，例如通过转动车辆200的方向盘以实现预定角度的旋转。在一些实施例中，处理单元110可以使用导航响应模块408的输出(例如，期望的导航响应)作为对速度和加速度模块406的执行的输入，用于计算车辆200的速度的改变。
124.图5a是示出根据所公开的实施例的用于基于单目图像分析引起一个或多个导航响应的示例过程500a的流程图。在步骤510，处理单元110可以经由在处理单元110和图像获取单元120之间的数据接口128接收多个图像。例如，包含在图像获取单元120中的相机(诸如具有视场202的图像捕捉设备122)可以捕捉车辆200的前方(例如，或者车辆的侧方或后方)区域的多个图像并经过数据连接(例如，数字、有线、usb、无线、蓝牙等)将它们传输到处理单元110。在步骤520，处理单元110可以执行单目图像分析模块402来分析该多个图像，如以下结合图5b至5d进一步详细描述的。通过执行该分析，处理单元110可以在该组图像内检测一组特征，诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯等。
125.在步骤520，处理单元110还可以执行单目图像分析模块402来检测各种道路危险，诸如例如卡车轮胎的部件、倒下的道路标志、松散货物、小动物等。道路危险可能在结构、形状、大小和颜色上变化，这可能使这种危险的检测更加困难。在一些实施例中，处理单元110
可以执行单目图像分析模块402来对该多个图像执行多帧分析以检测道路危险。例如，处理单元110可以估计连续图像帧之间的相机运动，并计算帧之间的像素中的视差来构建道路的3d地图。然后，处理单元110可以使用该3d地图来检测路面、以及存在于路面上的危险。
126.在步骤530，处理单元110可以执行导航响应模块408以基于在步骤520中执行的分析和如以上结合图4描述的技术引起一个或多个导航响应。导航响应可以包括例如转向、车道变换、加速度变化等。在一些实施例中，处理单元110可以使用从速度和加速度模块406的执行得到的数据来引起一个或多个导航响应。此外，多个导航响应可能同时地、按照顺序地或以其任意组合而发生。例如，处理单元110可以通过例如按照顺序地向车辆200的转向系统240和油门调节系统220传输控制信号，使得车辆200变换一个车道然后加速。可替代地，处理单元110可以通过例如同时向车辆200的制动系统230和转向系统240传输控制信号，使得车辆200制动同时变换车道。
127.图5b是示出根据所公开的实施例的用于在一组图像中检测一个或多个的车辆和/或行人的示例过程500b的流程图。处理单元110可以执行单目图像分析模块402来实现过程500b。在步骤540，处理单元110可以确定表示可能的车辆和/或行人的一组候选对象。例如，处理单元110可以扫描一个或多个图像，将该图像与一个或多个预定模式比较，并且在每个图像内识别可能包含感兴趣的对象(例如，车辆、行人或其部分)的可能的位置。预定模式可以以实现高“伪命中”率和低“漏掉”率的这种方式来设计。例如，处理单元110可以将低的相似性的阈值用在预定模式以将候选对象识别为可能的车辆或行人。这样做可以允许处理单元110减少漏掉(例如，未识别出)表示车辆或行人的候选对象的可能性。
128.在步骤542，处理单元110可以基于分类标准过滤该组候选对象以排除某些候选(例如，不相关或较不相关的对象)。这种标准可以从与存储在数据库(例如，存储在存储器140中的数据库)中的对象类型相关联的各种属性得到。属性可以包括对象形状、尺寸、纹理、位置(例如，相对于车辆200)等。因此，处理单元110可以使用一组或多组标准来从该组候选对象中拒绝伪候选。
129.在步骤544，处理单元110可以分析多帧图像，以确定在该组候选对象中的对象是否表示车辆和/或行人。例如，处理单元110可以跨连续帧来跟踪检测到的候选对象并累积与检测到的对象相关联的逐帧数据(例如，尺寸、相对于车辆200的位置等)。此外，处理单元110可以估计检测到的对象的参数并将该对象的逐帧位置数据与预测的位置比较。
130.在步骤546，处理单元110可以对于检测到的对象构建一组测量。这种测量可以包括例如与检测到的对象相关联的位置、速度和加速度值(相对于车辆200)。在一些实施例中，处理单元110可以基于使用一系列基于时间的观察的、诸如卡尔曼滤波器或线性二次估计(lqe)的估计技术和/或基于对于不同对象类型(例如，汽车、卡车、行人、自行车、道路标志等)可用的建模数据，来构建该测量。卡尔曼滤波器可以基于对象的比例的测量，其中该比例测量与要碰撞的时间(例如，车辆200到达对象的时间量)成比例。因此，通过执行步骤540至546，处理单元110可以识别在该组捕捉图像内出现的车辆和行人，并得到与该车辆和行人相关联的信息(例如，位置、速度、大小)。基于该识别和所得到的信息，处理单元110可以引起车辆200中的一个或多个导航响应，如以上结合图5a所描述的。
131.在步骤548，处理单元110可以执行对一个或多个图像的光流分析，以减少检测到“伪命中”和漏掉表示车辆或行人的候选对象的可能性。光流分析可以指，例如在一个或多
个图像中分析相对于车辆200的、与其它车辆和行人相关联的并且区别于路面运动的运动模式。处理单元110可以通过跨越在不同时间捕捉到的多个图像帧观察对象的不同位置，来计算候选对象的运动。处理单元110可以使用该位置和时间值作为对用于计算候选对象的运动的数学模型的输入。因此，光流分析可以提供检测车辆200附近的车辆和行人的另一种方法。处理单元110可以结合步骤540至546执行光流分析，以提供检测车辆和行人的冗余，并提高系统100的可靠性。
132.图5c是示出根据所公开的实施例的用于在一组图像中检测道路标记和/或车道几何信息的示例过程500c的流程图。处理单元110可以执行单目图像分析模块402来实现处理500c。在步骤550，处理单元110可以通过扫描一个或多个图像来检测一组对象。为了检测车道标记、车道几何信息以及其它相关的道路标记的片段，处理单元110可以过滤该组对象以排除那些被确定为不相关的(例如，小坑洼、小石块等)。在步骤552，处理单元110可以将在步骤550中检测到的属于相同的道路标记或车道标记的片段分组在一起。基于该分组，处理单元110可以产生表示所检测到的片段的模型，诸如数学模型。
133.在步骤554，处理单元110可以构建与所检测的片段相关联的一组测量。在一些实施例中，处理单元110可以创建所检测的片段从图像平面到现实世界平面上的投影。该投影可以使用具有与诸如所检测的道路的位置、斜率、曲率和曲率导数的物理属性对应的系数的三次多项式来表征。在产生该投影中，处理单元110可以考虑路面的变化、以及与车辆200相关联的俯仰(pitch)和滚转(roll)速率。此外，处理单元110可以通过分析出现在路面上的位置和运动线索来对道路标高进行建模。此外，处理单元110可以通过跟踪一个或多个图像中的一组特征点来估计与车辆200相关联的俯仰和滚转速率。
134.在步骤556，处理单元110可以通过例如跨连续图像帧跟踪所检测到的片段并累积与检测到的片段相关联的逐帧数据来执行多帧分析。由于处理单元110执行多帧分析，在步骤554中构建的该组测量可以变得更可靠并且与越来越高的置信水平相关联。因此，通过执行步骤550至556，处理单元110可以识别在该组捕捉图像中出现的道路标记并得到车道几何信息。基于该识别和所得到的信息，处理单元110可以引起车辆200中的一个或多个导航响应，如以上结合图5a所描述的。
135.在步骤558，1处理单元110可以考虑额外的信息源，以进一步产生车辆200的在其周围的环境中的安全模型。处理单元10可以使用该安全模型来定义系统100可以在其中以安全的方式执行车辆200的自主控制的环境。为产生该安全模型，在一些实施例中，处理单元110可以考虑其它车辆的位置和运动、所检测的路缘和护栏、和/或从地图数据(诸如来自地图数据库160的数据)提取的一般道路形状描述。通过考虑额外的信息源，处理单元110可以提供用于检测道路标记和车道几何结构的冗余，并增加系统100的可靠性。
136.图5d是示出了根据所公开的实施例的用于在一组图像中检测交通灯的示例过程500d的流程图。处理单元110可以执行单目图像分析模块402来实现处理500d。在步骤560，处理单元110可以扫描该组图像，并识别出现在图像中的可能包含交通灯的位置处的对象。例如，处理单元110可以过滤所识别的对象来构造一组候选对象，排除不可能对应于交通灯的那些对象。过滤可以基于与交通灯相关联的诸如形状、尺寸、纹理、位置(例如，相对于车辆200)等的各种属性来进行。这种属性可以基于交通灯和交通控制信号的多个示例并存储在数据库中。在一些实施例中，处理单元110可以对反映可能的交通灯的该组候选对象执行
多帧分析。例如，处理单元110可以跨连续图像帧跟踪候选对象，估计候选对象的现实世界位置，并过滤掉那些移动的对象(其不可能是交通灯)。在一些实施例中，处理单元110可以对候选对象执行颜色分析，并识别出现在可能的交通灯内的所检测到的颜色的相对位置。
137.在步骤562，处理单元110可以分析交叉口的几何形状。该分析可以基于以下的任意组合：(i)在车辆200的任一侧检测到的车道的数量、(ii)在道路上检测到的标记(如箭头标记)、和(iii)从地图数据(例如，来自地图数据库160的数据)提取的交叉口的描述。处理单元110可以使用从单目分析模块402的执行得到的信息进行分析。此外，处理单元110可以确定在步骤560中检测到的交通灯和在车辆200附近出现的车道之间的对应性。
138.在步骤564，随着车辆200接近交叉口，处理单元110可以更新与所分析的交叉口几何形状和所检测到的交通灯相关联的置信度水平。例如，被估计为出现在交叉口处的交通灯的数量与实际出现在交叉口处的交通灯的数量比较可能影响置信度水平。因此，基于该置信度水平，处理单元110可以将控制委托给车辆200的驾驶员以便改进安全条件。通过执行步骤560至564，处理单元110可以识别出现在该组捕捉图像内的交通灯，并分析交叉口几何形状信息。基于该识别和分析，处理单元110可以引起车辆200中一个或多个导航响应，如以上结合图5a所描述的。
139.图5e是示出了根据所公开的实施例的用于基于车辆路径引起车辆中的一个或多个导航响应的示例过程500e的流程图。在步骤570，处理单元110可以构建与车辆200相关联的初始车辆路径。车辆路径可以使用以坐标(x,z)表达的一组点来表示，并且该组点中两个点之间的距离di可以落入1至5米的范围中。在一个实施例中，处理单元110可以使用诸如左道路多项式和右道路多项式的两个多项式来构建初始车辆路径。处理单元110可以计算该两个多项式之间的几何中点，并且将被包含在得到的车辆路径中的每个点偏移预定的偏移(例如，智能车道偏移)，如果有的话(零偏移可以对应于在车道的中间行驶)。该偏移可以在垂直于在车辆路径中的任何两点之间的线段的方向上。在另一个实施例中，处理单元110可以使用一个多项式和估计的车道宽度，来将车辆路径的每个点偏移估计的车道宽度的一半加上预定偏移(例如，智能车道偏移)。
140.在步骤572，处理单元110可以更新在步骤570构建的车辆路径。处理单元110可以使用更高的分辨率来重建在步骤570构建的车辆路径，以使得表示车辆路径的该组点中两个点之间的距离dk小于上述距离di。例如，该距离dk可以落入0.1至0.3米的范围中。处理单元110可以使用抛物线样条算法(parabolic spline algorithm)重建车辆路径，这可以产生对应于车辆路径的总长度的累积距离向量s(即，基于表示车辆路径的该组点)。
141.在步骤574，处理单元110可以基于在步骤572构建的更新的车辆路径来确定前视点(look-ahead point)(以坐标表达为(xi,zi))。处理单元110可以从累积距离向量s提取前视点，并且该前视点可以与前视距离和前视时间相关联。前视距离可以具有范围为从10米至20米的下限，可以被计算为车辆200的速度和前视时间的乘积。例如，随着车辆200的速度下降，前视距离也可以减小(例如，直到它到达下限)。前视时间的范围可以从0.5到1.5秒，可以与关联于引起车辆200中的导航响应的诸如航向误差(heading error)跟踪控制环路的一个或多个控制环路的增益成反比。例如，该航向误差跟踪控制环路的增益可以取决于横摆角速率环路、转向致动器环路、汽车横向动力学等的带宽。因此，航向误差跟踪控制环路的增益越高，前视时间越短。
142.在步骤576，处理单元110可以基于在步骤574中确定的前视点来确定航向误差和横摆角速率命令。处理单元110可以通过计算前视点的反正切，例如arctan(xi/zi)来确定航向误差。处理单元110可以将横摆角率命令确定为航向误差和高水平控制增益的乘积。如果前视距离不在下限处，则高水平控制增益可以等于：(2/前视时间)。否则，高水平控制增益可以等于：(2
×
车辆200的速度/前视距离)。
143.图5f是示出了根据所公开的实施例的用于确定前方车辆是否正在改变车道的示例过程500f的流程图。在步骤580，处理单元110可以确定与前方车辆(例如，在车辆200前方行驶的车辆)相关联的导航信息。例如，处理单元110可以使用以上结合图5a和图5b所描述的技术来确定前方车辆的位置、速度(例如，方向和速度)和/或加速度。处理单元110还可以使用以上结合图5e所描述的技术来确定一个或多个道路多项式、前视点(与车辆200相关联)和/或追踪轨迹(snail trail)(例如，描述前方车辆所采取的路径的一组点)。
144.在步骤582，处理单元110可以分析在步骤580中确定的导航信息。在一个实施例中，处理单元110可以计算追踪轨迹和道路多项式之间的距离(例如，沿着该轨迹)。如果沿着该轨迹的这个距离的变化(variance)超过预定的阈值(例如，在直路上0.1至0.2米，在适度弯曲道路上0.3至0.4米，以及在急转弯道路上0.5至0.6米)，则处理单元110可以确定前方车辆很可能正在改变车道。在检测到多个车辆在车辆200前方行驶的情形中，处理单元110可以比较与每个车辆相关联的追踪轨迹。基于该比较，处理单元110可以确定追踪轨迹与其它车辆的追踪轨迹不匹配的车辆很可能正在改变车道。处理单元110可以额外地将(与前方车辆相关联的)追踪轨迹的曲率与前方车辆正在其中行驶的道路段的期望曲率相比较。该期望曲率可以从地图数据(例如，来自地图数据库160的数据)、从道路多项式、从其它车辆的追踪轨迹、从关于道路现有知识等提取。如果追踪轨迹的曲率和道路段的期望曲率的差异超过预定的阈值，则处理单元110可以确定前方车辆很可能正在改变车道。
145.在另一个实施例中，处理单元110可以在特定时间段(例如，0.5至1.5秒)将前方车辆的瞬时位置与(与车辆200相关联的)前视点相比较。如果前方车辆的瞬时位置与前视点之间的距离在该特定时间段期间变化，并且变化的累积总和超过预定阈值(例如，直路上0.3至0.4米，适度弯曲道路上0.7至0.8米，以及急转弯道路上1.3至1.7米)，则处理单元110可以确定前方车辆很可能正在改变车道。在另一实施例中，处理单元110可以通过将沿着追踪轨迹行驶的横向距离与该追踪路径的期望曲率相比较，来分析该追踪轨迹的几何形状。期望曲率半径可以根据公式确定：(δ
z2
+δ
x2
)/2/(δ
x
)，其中δ
x
表示行驶的横向距离以及δz表示的行驶的纵向距离。如果行驶的横向距离和期望曲率之间的差异超过预定阈值(例如，500至700米)，则处理单元110可以确定前方车辆很可能正在改变车道。在另一个实施例中，处理单元110可以分析前方车辆的位置。如果前方车辆的位置遮挡了道路多项式(例如，前车覆盖在道路多项式的上方)，则处理单元110可以确定前方车辆很可能正在改变车道。在前方车辆的位置是使得在前方车辆的前方检测到另一车辆并且这两个车辆的追踪轨迹不平行的情况下，处理单元110可以确定(较近的)前方车辆很可能正在改变车道。
146.在步骤584，处理单元110可以基于在步骤582进行的分析确定前方车辆200是否正在改变车道。例如，处理单元110可以基于在步骤582执行的各个分析的加权平均来做出该确定。在这种方案下，例如，由处理单元110基于特定类型的分析做出的前方车辆很可能正在改变通道的决定可以被分配值“1”(以及“0”用来表示前方车辆不太可能正在改变车道的
确定)。在步骤582中执行的不同分析可以被分配不同的权重，并且所公开的实施例不限于分析和权重的任何特定组合。
147.图6是示出了根据所公开的实施例的用于基于立体图像分析引起一个或多个导航响应的示例过程600的流程图。在步骤610，处理单元110可以经由数据接口128接收第一和第二多个图像。例如，被包含在图像获取单元120的相机(诸如具有视场202和204的图像捕捉设备122和124)可以捕捉在车辆200前方的区域的第一和第二多个图像，并经过数字连接(例如，usb、无线、蓝牙等)将它们传输到处理单元110。在一些实施例中，处理单元110可以经由两个或多个数据接口接收该第一和第二多个图像。所公开的实施例不限于任何特定的数据接口配置或协议。
148.在步骤620，处理单元110可以执行立体图像分析模块404来执行对第一和第二多个图像的立体图像分析，以创建在车辆前方的道路的3d地图并检测图像内的特征，诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯、道路危险等。立体图像分析可以以类似于以上结合图5a-图5d描述的步骤的方式来执行。例如，处理单元110可以执行立体图像分析模块404以在第一和第二多个图像内检测候选对象(例如，车辆、行人、道路标志、交通灯、道路危险等)，基于各种标准过滤掉候选对象的子集，并对剩余的候选对象执行多帧分析、构建测量、并确定置信度水平。在执行上述步骤中，处理单元110可以考虑来自第一和第二多个图像二者的信息，而不是来自单独一组图像的信息。例如，处理单元110可以分析出现在第一和第二多个图像二者中的候选对象的像素级数据(或来自捕捉图像的两个流中的其它数据子集)的差异。作为另一示例，处理单元110可以通过观察候选对象在多个图像的一个中出现而未在另一个中出现，或相对于可能相对于出现在两个图像流中的对象而存在的其它差异，来估计候选对象(例如，相对于车辆200)的位置和/或速度。例如，可以基于与出现在图像流的一个或两者中的对象相关联的轨迹、位置、移动特性等特征，来确定相对于车辆200的位置、速度和/或加速度。
149.在步骤630中，处理单元110可以执行导航响应模块408，以基于在步骤620中执行的分析和如以上结合图4所描述的技术而引起车辆200中的一个或多个导航响应。导航响应可以包括例如转向、车道变换、加速度的改变、速度的改变、制动等。在一些实施例中，处理单元110可以使用从速度和加速度模块406的执行得到的数据来引起该一个或多个导航响应。此外，多个导航响应可以同时地、按照顺序地、或以其任意组合而发生。
150.图7是示出了根据所公开的实施例的用于基于三组图像的分析来引起一个或多个导航响应的示例过程700的流程图。在步骤710中，处理单元110可以经由数据接口128接收第一、第二和第三多个图像。例如，被包含在图像获取单元120的相机(诸如具有视场202、204和206的图像捕捉设备122、124和126)可以捕捉在车辆200前方和/或侧方的区域的第一、第二和第三多个图像，并且经过数字连接(例如，usb、无线、蓝牙等)将它们传输到处理单元110。在一些实施例中，处理单元110可以经由三个或更多数据接口接收第一、第二和第三多个图像。例如，图像捕捉设备122、124、126的每个可以具有用于向处理单元110传送数据的相关联的数据接口。所公开的实施例不限于任何特定的数据接口配置或协议。
151.在步骤720，处理单元110可以分析该第一、第二和第三多个图像以检测图像内的特征，诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯、道路危险等。该分析可以以类似于以上结合图5a-图5d和图6所描述的步骤的方式来执行。例如，处理单元110
可以对第一、第二和第三多个图像的每个执行单目图像分析(例如，经由单目图像分析模块402的执行以及基于以上结合图5a-图5d所描述的步骤)。可替代地，处理单元110可对第一和第二多个图像、第二和第三多个图像、和/或第一和第三多个图像执行立体图像分析(例如，经由立体图像分析模块404的执行以及基于以上结合图6所描述的步骤)。对应于第一、第二和/或第三多个图像的分析的处理后的信息可以进行组合。在一些实施例中，处理单元110可以执行单目和立体图像分析的组合。例如，处理单元110可以对第一多个图像执行单目图像分析(例如，经由单目图像分析模块402的执行)并且对第二和第三多个图像执行立体图像分析(例如，经由立体图像分析模块404的执行)。图像捕捉设备122、124和126—包括它们各自的位置和视场202、204和206—的配置可以影响对第一、第二和第三多个图像进行的分析的类型。所公开的实施例不限于图像捕捉设备122、124和126的特定配置或对第一、第二和第三多个图像进行的分析的类型。
152.在一些实施例中，处理单元110可以基于在步骤710和720所获取和分析的图像对系统100执行测试。这种测试可以提供对于图像获取设备122、124和126的某些配置的系统100的整体性能的指示符。例如，处理单元110可以确定“伪命中”(例如，系统100不正确地确定车辆或行人的存在的情况)和“漏掉”的比例。
153.在步骤730，处理单元110可以基于从第一、第二和第三多个图像中的两个得到的信息引起车辆200中的一个或多个导航响应。对第一、第二和第三多个图像中的两个的选择可以取决于各种因素，诸如例如在多个图像的每个中检测到的对象的数量、类型和大小。处理单元110还可以基于图像质量和分辨率、图像中反映的有效视场、捕捉的帧的数量、实际出现在帧中的一个或多个感兴趣的对象的程度(例如，其中出现有对象的帧的百分比、出现在每个这种帧中的对象的比例)等进行选择。
154.在一些实施例中，处理单元110可以通过确定从一个图像源得到的信息与从其它图像源得到的信息的相一致的程度，选择从第一、第二和第三多个图像中的两个得到的信息。例如，处理单元110可以将从图像捕捉设备122、124和126的每个得到的处理后的信息组合(无论通过单目分析、立体分析、还是两者的任意组合)，并确定在从图像捕捉设备122、124和126的每个捕捉到的图像之间相一致的视觉指示符(例如，车道标记、检测到的车辆及其位置和/或路径、检测到的交通灯等)。处理单元110还可以排除在捕捉到的图像之间不一致的信息(例如，正改变车道的车辆、指示车辆太靠近车辆200的车道模型等)。因此，处理单元110可以基于相一致和不一致的信息的确定，来选择从第一、第二和第三多个图像的两个得到的信息。
155.导航响应可以包括例如转向、车道变换、制动、加速度的改变等。处理单元110可以基于在步骤720所执行的分析和如以上结合图4所描述的技术引起一个或多个导航响应。处理单元110还可以使用从速度和加速度模块406的执行得到的数据引起一个或多个导航响应。在一些实施例中，处理单元110可以基于在车辆200与在第一、第二和第三多个图像的任一者内检测到的对象之间的相对位置、相对速度和/或相对加速度来引起一个或多个导航响应。多个导航响应可以同时地、按顺序地或以其任意组合而发生。
156.预测切入车辆和利他行为响应
157.在导航期间，诸如车辆200的自主车辆可能会遇到另一辆尝试车道变换的车辆。例如，在车辆200所行驶的车道的左侧或右侧的车道(例如，由道路上的标记指定的车道、或在
没有道路上的标记的情况下与车辆200的路径对齐的车道)中的车辆可以尝试变换到或切入(cut in)到车辆200行驶的车道。这样的车辆可以称为目标车辆。当发生这样的切入时，车辆200可能需要做出导航响应。例如，车辆200可以改变其速度或加速度和/或变换到另一车道，以避免目标车辆的切入。
158.在一些情况下，目标车辆可能看起来在尝试切入，但该切入可能最终不会完成。目标车辆的驾驶员(或者甚至与目标车辆相关联的完全或部分自主的导航系统)例如可以改变他或她的想法或以其他方式改变远离车道改变的导航计划，或者目标车辆可以简单地一直在漂移。因此，为了避免频繁的不必要的制动和/或加速，可能期望车辆200延迟实施(effect)导航响应，直到目标车辆的切入被确定为是足够可能的。另一方面，在一些情况下(特别是在预期到目标车辆的路线的改变成主车辆的路径的情况下)，可能期望车辆200更早地实施导航响应。这种至少部分基于预期到的行为的导航可以帮助避免突然的制动并且可以提供甚至进一步增加的安全裕度。对目标车辆何时尝试切入的改进的预测可以有助于减少不必要的制动和突然制动。这种改进的预测可以称为切入检测，并且当检测到切入时所采用的导航响应可以称为切入响应。
159.在一些实施例中，这样的改进的预测可以依赖单眼和/或立体图像分析和/或从其他源(例如，从gps装置、速率传感器、加速度计、悬架传感器等)获得的信息来检测，例如，静态道路特征(例如，车道结束(ending)、道路分岔(spilt))、动态道路特征(例如，车辆前方存在其他车辆可能尝试切入)、和/或在地理区域中的交通规则和驾驶习惯。这些静态道路特征、动态道路特征和/或交通规则和驾驶习惯可以称为预定切入灵敏度改变因素，并且一个或多个预定切入灵敏度改变因素的存在可以引起车辆200修改其对目标车辆尝试的切入的灵敏度。例如，当在环境中存在预定切入灵敏度改变因素(例如，目标车辆紧紧地尾随着以较低速率移动的另一车辆)时，车辆200可以依赖第一切入灵敏度参数，并且在环境中不存在预定切入灵敏度改变因素(例如，目标车辆是其车道中唯一的车辆)时，车辆200可以依赖第二切入灵敏度参数。第二切入灵敏度参数可以不同于(例如，更灵敏于)第一切入灵敏度参数。
160.在一些情况下，目标车辆的切入可以是必要的。例如，目标车辆正在行驶的车道可能结束，道路可能分岔，或者在目标车辆正在行驶的车道中可能存在障碍物(例如，停止的车辆、对象或其他类型的障碍物)。然而，在其他情况下，目标车辆的切入可以是可选的。例如，目标车辆可能尝试切入，仅为了经过较慢移动的车辆。当切入是可选的时，目标车辆是否尝试切入可以取决于车辆200(例如主车辆)的行为。例如，车辆200可以减速以发信号通知目标车辆可以切入，或者可以加速以发信号通知目标车辆不可以切入。尽管在许多情形下，在加速会允许车辆200更快地到达目的地的情况下，加速可能对于车辆200是期望的，但车辆200的操作者(或者完全或部分控制车辆200的导航系统)在一些或所有情况下可以倾向于允许切入。这可以称为利他行为。因此，可以期望车辆200在确定是否允许目标车辆切入时考虑利他行为考量。
161.图8是根据所公开实施例的存储器140和/或150的另一个示例性功能框图，其可以被存储/编程有用于执行一个或多个操作的指令。尽管以下参考存储器140，但是本领域的技术人员将认识到，指令可以存储在存储器140和/或150中，并且指令可以由系统100的处理单元110执行。
162.如图8所示，存储器140可以存储单眼图像分析模块402、立体图像分析模块404、速度和加速度模块406以及导航响应模块408，其可以采用上文结合图4所描述的任何形式的模块。存储器140可以进一步存储切入检测模块802、切入响应模块804以及利他行为模块806。所公开的实施例不限于存储器140的任何特定配置。此外，应用处理器180和/或图像处理器190可以执行包含于存储器140中的任何模块402-408和802-806所存储的指令。本领域的技术人员将理解，在下面的讨论中，对处理单元110的参考可以单独地或统一地指代应用处理器180和图像处理器190。因此，任何以下处理的步骤可以由一个或多个处理装置来执行。此外，模块402-408和802-806中的任何一个可以远离于车辆200而被存储(例如，分布在与网络通信并且可以经由车辆200的无线收发器172通过网络而访问的一个或多个服务器上)。
163.在一些实施例中，切入检测模块802可以存储指令，该指令在由处理单元110执行时使得能够检测目标车辆。目标车辆可以是在与车辆200正在行驶的车道相邻的车道中行驶的车辆，并且在一些情况下，该车辆可以是前方车辆。在一些实施例中，切入检测模块802可以通过对由图像捕捉装置122、124和126中的一个获取的一组图像执行单眼图像分析来检测目标车辆，如上面结合单眼图像分析模块402所描述的。在一些实施例中，处理单元110可以将来自一组图像的信息与附加的传感信息(例如，来自雷达或激光雷达的信息)组合以执行单眼图像分析。如上面结合图5a-5d所描述的，这样的单眼图像分析可以涉及检测该组图像内的一组特征，诸如车辆边缘特征、车灯(或与车辆相关联的其他元件)、车道标记、车辆或道路标志。例如，可以如结合图5b所描述的来实现检测目标车辆，包含：确定包含目标车辆的一组候选对象，过滤该组候选对象，执行对该组候选对象的多帧分析，为检测到的对象(包含目标车辆)构建一组测量结果，并执行光流分析。这样的测量可以包含例如与目标车辆相关联的位置、速度和加速度值(相对于车辆200)。
164.替代地或附加地，在一些实施例中，切入检测模块802可以通过对由图像捕捉装置的组合获取的第一和第二组图像执行立体图像分析来检测目标车辆，如上面结合立体图像分析模块404所描述的，该图像捕捉装置的组合从图像捕捉装置122、124和126中的任一中选择。在一些实施例中，处理单元110可以将来自第一组和第二组图像的信息与附加的传感信息(例如，来自雷或激光雷达的达信息)组合以执行立体图像分析。例如，立体图像分析模块404可以包含用于基于由图像捕捉装置124获取的第一组图像和由图像捕捉装置126获取的第二组图像执行立体图像分析的指令。如上面结合图6所描述的，立体图像分析可以涉及检测该第一组和第二组图像内的一组特征，诸如车辆边缘特征、车灯(或与车辆相关联的其他元件)、车道标记、车辆或道路标志。
165.在其他实施例中，作为通过分析由图像捕捉装置122、124和126中的任一获取的图像来检测一个或多个车辆(例如，目标车辆)的替代，切入检测模块802可以替代地通过分析传感信息来检测车辆，传感信息诸如经由包含于系统100中的雷达装置或激光雷达装置获取的信息。
166.在一些实施例中，切入检测模块802可以进一步存储指令，该指令当由处理单元110执行时使得能够识别目标车辆将尝试切入的指示符(即，目标车辆将尝试将车道改变为车辆200正在行驶的车道，或以其他方式移动到主车辆的行驶路径中)。在一些实施例中，对该指示符的识别可以涉及使用单眼和/或立体图像分析来检测目标车辆的位置和/或速率，
如上面结合图5b所述。在一些实施例中，对该指示符的识别可以进一步涉及检测一个或多个道路标记，如上面结合图5c所述。并且在一些实施例中，对该指示符的识别可以进一步涉及检测目标车辆正在改变车道，如上面结合图5f所述。特别地，处理单元110可以使用以上结合图5a和图5b所描述的技术来确定与目标车辆相关联的导航信息，诸如前方车辆的位置、速度(例如，方向和速率)和/或加速度。处理单元110还可以使用以上结合图5e所描述的技术来确定一个或多个道路多项式、前视点(与车辆200相关联)和/或追踪轨迹(例如，描述前方车辆所采取的路径的一组点)。此外，处理单元110可以通过例如计算追踪轨迹和道路多项式之间的距离(例如，沿着轨迹)或者在具体时间段(例如，0.5至1.5秒)期间将前方车辆的瞬时位置与(与车辆200相关联的)前视点相比较，来分析导航信息，如以上结合图5f所述。基于该分析，处理单元110可以识别前方车辆正在尝试切入的指示符是否存在。
167.切入检测模块802可进一步存储指令，当由处理单元110执行时，使得能够检测到在车辆200的环境中存在预定切入灵敏度改变因素。预定切入灵敏度改变因素可以包含任何暗示目标车辆保持在当前路线上或者将路线改变为主车辆的路径的倾向的指示符。这样的灵敏度改变因素可以包含静态道路特征(例如车道结束、道路分岔、障碍物、对象)、动态道路特征(例如，车辆前方存在其他车辆可能尝试切入)、和/或在地理区域中的交通规则和驾驶习惯。在一些实施例中，对预定切入灵敏度改变因素的检测可以涉及使用单眼和/或立体图像分析来检测该组图像内的一组特征，诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯、危险对象以及与车辆的环境相关联的任何其他特征，如上结合图5a-5d和6所述的。替代地或附加地，在一些实施例中，对预定切入灵敏度改变因素的检测可以涉及使用其它传感信息，诸如gps数据。例如，可以基于地图数据来确定车道结束、高速公路分岔等。作为另一个示例，可以基于gps位置数据来确定交通规则。
168.切入响应模块804可以存储指令，当由处理单元110执行时，使得切入响应能够被实施。如以下结合导航响应模块408所讨论的，切入响应可以采用上述用于导航响应的任何形式，诸如转向、车道变换、加速度改变等。
169.在一些实施例中，是否实施切入响应可以取决于在环境中存在或不存在预定切入灵敏度改变因素。例如，在环境中不存在预定切入灵敏度改变因素的情况下(例如，试图切入的车辆是其车道中唯一的车辆、通过图像分析或查看gps/地图/交通数据等未检测到车道变换或障碍物)，车辆200可以依赖第一切入灵敏度参数。在一些实施例中，在环境中不存在预定切入灵敏度改变因素的情况下，车辆200可以依赖与第一切入灵敏度参数相关联的值。该值可以包含相对于第一切入灵敏度参数直接相关联和/或测量的任何值，或者可以是与第一切入灵敏度参数间接有关的一个或多个值。
170.另一方面，在环境中存在一个或多个预定切入灵敏度改变因素的情况下(例如，目标车辆正在高速移动并且接近其车道中较低速度的另一车辆、通过图像分析可视地或通过参考gps/地图/交通信息而检测到车道变换或车道结束条件、局部区域是不鼓励左侧车道驾驶的区域)，车辆200可以依赖第二切入灵敏度参数。第二切入灵敏度参数可以不同于(例如，更敏感于)第一切入灵敏度参数。在一些实施例中，在环境中存在一个或多个预定切入灵敏度改变因素的情况下，车辆200可以依赖与第二切入灵敏度参数相关联的值。类似于上面关于与第一切入灵敏度参数相关联的值的讨论，与第二切入灵敏度参数相关联的值可以包含相对于第二切入灵敏度参数直接相关联和/或测量的任何值，或者可以是与第二切入
灵敏度参数间接有关的一个或多个值
171.第一切入灵敏度参数和第二切入灵敏度参数可以建立两种操作状态：第一操作状态下主车辆可以对目标车辆的移动或路线改变较不灵敏，以及第二操作状态下主车辆可以对目标车辆的移动或路线改变更灵敏。在第一状态下，当基于任何环境条件未预期到目标车辆的路线改变时，这样的状态方法可以减少减速、加速或路线改变的次数或程度。然而，在第二状态下，在目标车辆的环境中检测到或确定预期会导致目标车辆的路线改变(或其他导航响应)的至少一个条件的情况下，主车辆可以对目标车辆的路线改变或导航改变更灵敏，并且可以基于在目标车辆的导航中识别的甚至很小的改变来修改路线、加速、减速等。在第二状态下，这种小的改变可以被解释为与目标车辆的预期的导航改变相一致，并且因此可以准许与第一状态内的导航相比更早的响应。
172.进一步可能的是，在第二状态中，可以仅基于灵敏度改变因素的检测并且无需对目标车辆的导航响应或改变的检测的情况下，进行主车辆的路线变化。例如，在主车辆系统中的图像分析指示存在灵敏度改变因素的情况下(例如，通过在捕捉的图像中识别指示车道结束条件的道路标志、在图像中识别目标车辆前方的车道结束、识别目标车辆前方的对象或行驶较慢的车辆、或任何其他灵敏度改变因素)，主车辆即使不检测目标车辆的导航改变，也可以采取一个或多个抢先行动(减慢、加速、改变路线等)。基于目标车辆将来需要进行导航改变的预期，可以准许这样的改变。这样的改变可以增加或最大化主车辆导航改变和预期的目标车辆导航改变之间的时间量。
173.切入灵敏度参数可以采取门限的形式(例如，追踪轨迹与道路多项式之间的门限距离(例如，沿着轨迹)、或在具体时间段(例如，0.5至1.5秒)期间目标车辆的瞬时位置与(与车辆200相关联的)前视点的门限距离)、这样的门限的组合的形式(例如，目标车辆的横向门限速率与车辆相对于车辆200的横向门限位置的组合)、和/或这样的门限的加权平均的形式，如上面结合图5f所述。如以上所讨论的，在一些实施例中，切入灵敏度参数也可以是任何任意地指定的变量，该变量的值与该参数相关联，或者任何与该参数的值间接相关的值可以用于创建上述的两个(或更多个)灵敏度状态。例如，这样的变量可以与指示没有检测到灵敏度改变因素的低灵敏度状态的第一值相关联，并且可以与指示在目标车辆的环境中发现灵敏度改变因素的较高灵敏度状态的第二值相关联。
174.在一些实施例中，切入响应模块804可以评估从车辆200到行驶在车辆200后面的车辆的距离并且将该距离作为因素计入切入灵敏度参数。例如，车辆200可以包含一个或多个后向传感器(例如，雷达传感器)以确定从车辆200到行驶在车辆200后面的车辆的距离。另外，在一些实施例中，车辆200可以包含一个或多个后向相机，其向系统100提供图像以用于分析以确定从车辆200到行驶在车辆200后面的车辆的距离。在其他实施例中，系统100可以使用来自一个或多个传感器和一个或多个后向相机的数据来确定从车辆200到行驶在车辆200后面的车辆的距离。基于距车辆200的距离，切入响应模块804可以基于车辆200与在车辆200后面行驶的车辆之间的距离来评估车辆200的减速是否安全。
175.替代地或附加地，可以由使用诸如神经网络的机器学习技术的示例得到切入灵敏度参数。例如，可以训练神经网络，以基于场景来确定切入灵敏度参数。作为一个示例，可以对于以下场景来训练神经网络：道路包含三条行驶车道，车辆200位于中心车道，中心车道有前方车辆，两辆车辆在左车道并且一辆车辆在右侧车道。该场景可以向神经网络指定车
辆每个的纵向位置、纵向速率、横向位置和横向速率。基于该场景，神经网络可以确定例如二进制输出(例如，目标车辆是否将尝试在接下来的n帧中切入)或值输出(例如，直到目标车辆尝试切入到中心车道要多久)。二进制或值输出或从这些输出得到的另一个值可以用作切入灵敏度参数。可以类似地对于其他场景训练神经网络，诸如道路仅包含两条行驶车道，中间车道没有前方车辆，或右车道没有车辆的场景。在一些实施例中，神经网络可以经由存储在存储器140和/或150中的一个或多个编程模块来提供。在其他实施例中，除了存储器140和/或150之外或者作为存储器140和/或150的替代，神经网络(或神经网络的方面)可以经由位于远离车辆200并且可以经由无线收发器172通过网络而访问的一个或多个服务器提供。
176.在一些实施例中，为了最小化场景的数目，可以根据道路中车道的数目和车辆200的位置对场景进行分组。例如，场景可以包含：具有两条车道的并且车辆200在左车道的场景、具有两条车道并且车辆200在右车道的场景、具有三条车道并且车辆200在左车道的场景、具有三条车道并且车辆200在中心车道的场景、具有三条车道并且车辆200在右车道的场景、具有四条车道并且车辆200在最左车道的场景、具有四条车道并且车辆200在中心左车道的场景等。在每种场景下，前方车辆可以行驶在与车辆200相同的车道上，并且两辆车辆可以行驶在其他车道中的每条车道上。为了应对这些其他车辆中的一辆或多辆车辆不存在的场景(例如，没有前方车辆，仅在右车道中存在一辆车等)，可以将不存在的车辆的纵向距离设定为无穷大。
177.一旦车辆200已经检测到目标车辆(例如，已经识别出目标车辆正在尝试切入的指示符)并且检测到环境中是否存在任何切入灵敏度改变因素，如上所述，切入响应模块804可向神经网络提供目标车辆、指示符和/或(是否存在)灵敏度改变因素，并且神经网络可选择与车辆200的情况最相似的场景。基于选定的场景，神经网络可以指示二进制输出(例如，目标车辆是否将尝试在接下来的n帧中切入)或值输出(例如，直到目标车辆尝试切入到中心车道要多久)，如上所述，可以从中得到切入灵敏度参数。基于切入灵敏度参数，切入响应模块804使得切入响应能够被实施。
178.如以下结合导航响应模块408所讨论的，切入响应可以采用上述用于导航响应的任何形式，诸如转向、车道变换、加速度改变等。在一些实施例中，处理单元110可以使用从如上所述的速度和加速度模块406的执行得到的数据，来引起一个或多个切入响应。此外，多个切入响应可以同时地、按照顺序地或以其任何组合而发生。例如，处理单元110可以通过例如按照顺序地向车辆200的转向系统240和油门调节系统220发送控制信号，使得车辆200变换一个车道然后加速。替代地，处理单元110可以通过例如同时向车辆200的制动系统230和转向系统240发送控制信号，使得车辆200制动同时变换车道。在一些实施例中，切入响应模块804可以分析由图像捕捉装置122、124和126中的一个获取的图像，以检测在车辆200的环境中是否存在任何切入灵敏度改变因素。在其他实施例中，除了分析图像之外或作为分析图像的替代，切入响应模块804可以通过分析传感信息(诸如经由包含于系统100中的雷达装置或激光雷达装置获取的信息)来检测在车辆200的环境中是否存在任何切入灵敏度改变因素。
179.在一些实施例中，上面描述的神经网络还可以配置为也确定切入响应。例如，神经网络可以基于检测到的目标车辆、指示符和/或(是否存在)灵敏度改变因素来确定并且输
出指示应该实施什么导航响应。在一些实施例中，这样的输出可以基于先前检测到的驾驶员行为来确定。在一些实施例中，可以使用代价函数分析来过滤先前检测到的驾驶员行为，该代价函数分析优选平滑驾驶行为(例如，平滑驾驶行为可以被测量为使一段时间内的减速度或加速度积分的平方最小化)。
180.切入检测模块802和切入响应模块804将以下结合图9a-9e和11进一步描述。
181.利他行为模块806可存储指令，指令在由处理单元110执行时，考虑利他行为考量以确定车辆200是否应允许目标车辆切入到车辆200正在行驶的车道。为此，处理单元110可以以上面结合切入检测模块802描述的任何方式来检测目标车辆。
182.此外，处理单元110可以确定与目标车辆相关联的一个或多个情形(situational)特征。情形特征可以是例如指示目标车辆将受益于将车道改变到车辆200正在行驶的车道的任何特征。例如，情形特征可以指示目标车辆在与车辆200正在行驶的车道相邻的车道中行驶，并且目标车辆在比目标车辆行驶得更慢的另一车辆后面。通常，该情形特征可以指示，虽然目标车辆的切入或其他导航响应可能不是必要的，但切入将有利于目标车辆。其他这样的情况可以发生在例如交通拥堵、拥挤的环状交叉路口、车道结束情形下、或目标车辆可以期望移动到主车辆的路径中的任何其他条件下。
183.在一些实施例中，检测(多个)情形特征可以涉及使用单眼和/或立体图像分析来检测该一组图像内的一组特征，诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯、危险对象以及与车辆的环境相关联的任何其他特征，如上结合图5a-5d和6所述的。例如，识别(多个)情形特征可以涉及使用单眼和/或立体图像分析来检测目标车辆和/或一个或多个其他车辆的位置和/或速率，如上面结合图5b所述。在一些实施例中，识别(多个)情形特征可以进一步涉及检测一个或多个道路标记，如上面结合图5c所述。替代地或附加地，在一些实施例中，检测(多个)情形特征可以涉及使用其它传感信息，诸如gps数据。例如，可以基于地图数据确定道路上的入口坡道。在一些情况下，检测情形特征可以涉及从捕捉的图像确定目标车辆相对于其他车辆和/或目标车辆附近的多个车辆的位置等。在其他实施例中，检测(多个)情形特征可以涉及使用其他传感信息，诸如经由包含于系统100中的雷达装置或激光雷达装置获取的信息。
184.利他行为模块806可进一步存储指令，指令在由处理单元110执行时，确定是否要引起将允许目标车辆切入到车辆200正在行驶的车道的导航改变(例如，上述的导航响应中的任何导航响应)。可以基于利他行为参数而做出这样的确定。
185.例如，可以基于来自车辆200的操作者的输入来设定利他行为参数。例如，操作者可以设定利他行为参数：以允许所有目标车辆切入到车辆200正行驶的车道中，以仅允许每n个目标车辆中的一个切入到车辆200正行驶的车道中，以允许目标车辆仅当目标车辆前方的另一车辆正行驶在某一速度以下时切入到车辆200正行驶的车道等。替代地或附加地，在一些实施例中，在导航之前或期间，利他行为参数可以是用户可选择的(例如，用户可选择的值或状态)。例如，用户可以在进入车辆200时选择(例如，通过用户界面170)在导航期间是否是利他的。作为另一个示例，用户可以在检测到一个或多个情形特征时选择(例如，通过用户界面170)在这种情况下是否是利他的。
186.在一些实施例中，利他行为参数可以基于至少一个信息元素来设定，该至少一个信息元素是通过解析车辆200的操作者或乘客的日历条目来确定的。例如，在一些实施例
中，只要车辆200将会在车辆200的操作者可接受的时间范围内到达目的地，利他行为参数可以指示应允许目标车辆切入到车辆200正行驶的车道中。例如，当操作者或乘客不着急时，标准可以允许更多目标车辆切入，但是当操作者或乘客着急时，标准可以允许更少的目标车辆切入或可以根本不允许任何目标车辆切入。处理单元110可以基于例如与操作者或乘客相关联的日历条目(例如，指示用户希望在某一时间到达某一位置的日历事件)和车辆200的导航数据(例如，估计位置的到达时间的gps和/或地图数据)来确定操作者或乘客是否着急。
187.在一些实施例中，可以基于随机数发生器函数的输出来设定利他行为参数。例如，随机数发生器函数的某些输出可以引起车辆200允许目标车辆1002切入到第一车道1004，而随机数发生器函数的其他输出可以引起车辆200不允许目标车辆1002切入到第一车道1004。仍然替代地或附加地，可以基于所确定的、与目标车辆遇到的数目来设定利他行为参数，对于目标车辆而言，一个或多个情形特征指示目标车辆将受益于路线改变为第一车道1004。
188.在一些实施例中，利他行为参数可以是固定的。或者，利他行为参数可以被更新，使得在与目标车辆遇到的至少预定百分比中，引起车辆200中的导航改变，对于目标车辆而言，一个或多个情形特征指示目标车辆将受益于路线改变为车辆200的路径。例如，预定百分比可以是例如至少10％、至少20％、至少30％等。
189.在一些实施例中，利他行为参数可以指定规则，使得如果满足某些标准，则应当实施导航改变。例如，预定利他行为参数可以指示，如果车辆200正在接近相邻车道中的目标车辆并且目标车辆正在行驶在比目标车辆更慢移动的另一车辆后面，则车辆200应该减速以允许目标车辆切入，只要：目标车辆已经表明期望切入(例如，通过使用转向器或通过朝向车辆200正行驶的车道的横向运动)，车辆200的减速低于某一门限(例如，以避免太迅速地制动)，并且在车辆200后面不存在会使减速不安全的车辆。
190.在一些实施例中，利他行为参数可以被设计为不一致的，使得相同的(多个)情形特征和标准可以引起不同的导航改变或根本不引起导航改变。例如，利他行为参数可能引起随机的和/或周期性的利他变型。作为示例，利他行为参数可以允许每n个目标车辆中只有一个切入。在一些实施例中，n可以随机选择、可以随机变化、可以每次检测到(多个)情形特征时增加、和/或当允许切入时可以重置为低值。作为另一示例，利他行为参数可以基于随机产生的数与预定门限的比较来确定是否允许目标车辆切入。
191.在一些实施例中，利他行为模块804可以考虑有多少车辆在车辆200后面行驶并且将该信息作为因素计入利他行为参数。例如，车辆200可以包含一个或多个后向传感器(例如，雷达传感器)以检测尾随车辆、和/或提供图像给系统100以用于分析的一个或多个后向相机、和/或通过无线连接的交通信息。基于在车辆200后面行驶的车辆的数目，利他行为模块804然后可以评估车辆200是否允许目标车辆切入的潜在影响。例如，如果一长排车辆(例如，5辆、10辆或更多车辆)被确定为在车辆200后面行驶，如果车辆200不允许目标车辆切入，则目标车辆潜在地不太可能将有机会切入，直到尾随车辆已经过去，这可能需要大量时间。然而，如果少量车辆(例如，1辆或2辆)在车辆200后面行驶，如果车辆200不允许目标车辆切入，则目标车辆将有机会在短时间之后(例如，在少量车辆经过之后)切入。
192.在一些实施例中，利他行为参数可以从使用诸如神经网络的机器学习技术的示例
获得。例如，可以训练神经网络以基于场景来确定利他行为参数，如上所述。在一些实施例中，可以基于先前检测到的驾驶员行为来确定利他行为参数。例如，驾驶者的利他行为可以被正向加权，引起神经网络优选利他行为。如上所述，可以通过如上所述的随机或周期性变型来添加不一致性。
193.利他行为模块806将以下结合图10和图12进一步描述。
194.图9a是车辆200可以对切入进行检测和响应的示例情况的例示。如图所示，车辆200可以与目标车辆902一起在道路900上行驶。目标车辆902可以在第一车道904中行驶，而车辆200可以在第二车道906中行驶。尽管第一车道904被示出为左车道并且第二车道906被示出为右车道，但将理解，第一车道904和第二车道906可以是道路900上的任何相邻车道。此外，虽然在道路900上仅示出了两条车道904、906，但应该理解，更多车道也是可以的。尽管为了方便而使用术语“车道”，但是在一些情况下(例如，车道可能不清楚地标记有车道标记)，术语“车道”可以被理解为更一般地指代车辆200和目标车辆902正在沿着行驶的路径。例如，在一些实施例中，对“车道”的参考可以指代与车辆200的行驶方向或路径对齐的路径。
195.车辆200可以配置为从例如与车辆200相关联的一个或多个图像捕捉装置(诸如，图像捕捉装置122、124和/或126)接收道路900周围的环境的图像。车辆200还可以接收其他传感信息，例如gps数据、地图数据、雷达数据或激光雷达数据。基于图像和/或其他传感信息，车辆200可以检测目标车辆902。例如，车辆200可以识别多个图像中的目标车辆902的表示。车辆200也可以以其他方式检测目标车辆902，包含上述结合切入检测模块802所描述的方式中的任何方式。
196.进一步基于图像和/或其他传感信息，车辆200可以识别目标车辆902将从第一车道904改变到第二车道906的至少一个指示符。例如，车辆200可以基于该图像的单眼和/或立体图像分析(或基于诸如雷达数据或激光雷达数据的其他传感数据)来检测目标车辆902的位置和/或速率(如结合图5b所述)，和/或一个或多个道路标记在道路900上的位置(如结合图5c所述)。作为另一个示例，车辆200可以检测到目标车辆902已经开始改变车道，如上面结合图5f所述。作为又一示例，车辆200可基于地图数据检测到第一车道904将结束。车辆200也可以以其他方式识别至少一个指示符，包含上述结合切入检测模块802所描述的方式中的任何。
197.如上所述，一旦检测到指示符，车辆200就可以确定是否进行导航响应。为了最小化不必要的制动和突然制动，车辆200在进行该确定时可以考虑影响目标车辆902将切入到第二车道906的可能性的预定切入灵敏度改变因素存在或不存在。在没有检测到预定切入灵敏度改变因素的情况下，可以基于指示符的识别和基于第一切入灵敏度参数，在车辆200中引起导航响应。另一方面，在检测到预定灵敏度因素的情况下，可以基于指示符的识别和基于第二切入灵敏度参数，在车辆200中引起导航响应。第二切入灵敏度参数可以不同于(例如，更灵敏于)第一切入灵敏度参数。
198.图9b-9e图示了涉及预定切入灵敏度改变因素的其他示例性情况。
199.图9b图示了采取第一车道904中的障碍物的形式的示例性预定切入灵敏度改变因素。如图所示，目标车辆902正在第一车道904中行驶，并且车辆200正在第二车道906中行驶。障碍物可以充当预定切入灵敏度改变因素，在这种情形中障碍物引起目标车辆902比障
碍物不存在时更可能尝试切入。
200.如图所示，可以通过检测第一车道904中在目标车辆902前方行驶的另一车辆908，来检测障碍物。虽然障碍物被图示为另一车辆908，但是在一些实施例中，障碍物可以采取停止的车辆、事故、危险，行人等的形式。在障碍物是另一车辆908的实施例中，车辆200可以通过检测到另一车辆908比目标车辆902更慢地行驶，来检测障碍物。这是因为当另一车辆908比目标车辆902更慢地行驶时，另一车辆908的较慢速度使得目标车辆902将更可能尝试切入到第二车道906。这样的障碍物可以构成预定切入灵敏度改变因素。
201.车辆200可以以上述用于结合图8检测灵敏度改变因素的方式中的任何方式来检测障碍物。例如，车辆200可以基于图像的单眼和/或立体图像分析，除了检测目标车辆902的的位置和/或速率之外还检测另一车辆908的位置和/或速率。也可以基于其他传感信息来检测另一车辆908的位置和/或速率。作为另一个示例，车辆200可以基于gps数据、地图数据和/或来自例如诸如waze的交通应用的交通数据，来检测障碍物(例如，另一车辆908)。作为又一示例，车辆200可以经由分析雷达或激光雷达数据来检测障碍物。
202.当检测到预定切入灵敏度改变因素时(即，当车辆200检测到第一车道904中存在障碍物时)，车辆200可以基于指示符的识别和基于第二切入灵敏度参数来引起导航响应。导航响应可以包含例如车辆200的加速、车辆200的减速、或者(如果可能)车辆200的车道改变。第二切入灵敏度参数可以比在没有检测到预定切入灵敏度改变因素的情况下的第一切入灵敏度参数更灵敏，因为预定切入灵敏度改变因素的存在使得目标车辆902将更可能尝试切入到第二车道906。
203.在一些实施例中，第二切入灵敏度参数可以取决于车辆200周围的车辆的存在和行为。例如，第二切入灵敏度参数可以考虑目标车辆902的横向速率和横向位置，并且第二切入灵敏度参数的灵敏度可以与用于目标车辆902的横向速率和横向位置中的每个的门限有关。例如，与可以导致更高的灵敏度和更快的导航响应的低的横向速率门限和/或高的横向位置门限相比，高的横向速率门限和/或低的横向位置门限可以导致低的灵敏度，延迟导航响应。
204.在某些情况下，可以期望更高的灵敏度(即，更灵敏的切入灵敏度参数)。例如，在目标车辆902比车辆200更快地移动并且另一车辆908比第一车道904中的目标车辆902显著更慢地移动的情况下，显而易见的是，目标车辆902可能不得不修改其行为，或者通过减速并停留在第一车道904中，减速并且在车辆200后面改变到第二车道906，改变到第一车道904左侧的另一车道(如果存在这样的车道)，或者切入到第二车道906。如果目标车辆902将不得不急剧减速以避免与另一车辆908碰撞，则更可能切入到第二车道906。类似地，如果目标车辆902将不得不急剧减速以在车辆200后面改变为第二车道906，则更可能切入到第二车道906。
205.第二切入灵敏度参数的灵敏度可以进一步取决于车辆200周围的其他车辆的存在和行为。例如，在第一车道904中不存在其它车辆908并且车辆200与在第二车道906中的在车辆200前方的最靠近车辆之间的距离短的情况下，灵敏度可以降低。作为另一个示例，如果在第一车道904中的另一车辆908以与目标车辆902大约相同的速率和/或以比目标车辆902更快的速率移动，并且车辆200与在第二车道906中的在车辆200前方的最靠近车辆之间的距离短，灵敏度可以降低。作为又一示例，如果目标车辆902在超车道中(例如，如果在车
辆在道路900的右侧行驶的国家，第一车道904在第二车道906的左侧)，则在第一车道904中的另一车辆908以与目标车辆902大约相同的速率和/或以比目标车辆902更快的速率移动，并且车辆200与在第二车道906中在车辆200前方最靠近的车辆之间的距离大，灵敏度可以略微升高(例如，低到中等的灵敏度)。如果在相同情况下目标车辆902不在超车道中(例如，如果在车辆在道路900的右侧行驶的国家，第一车道904在第二车道906的左侧)，则灵敏度可以降低。
206.第二切入灵敏度参数的灵敏度可以进一步考虑目标车辆902的任何减速或加速。例如，如果目标车辆902比在第一车道904中的其它车辆908更快地移动并且目标车辆902加速，则灵敏度可以提高。作为另一示例，如果目标车辆902比第一车道904中的另一车辆908移动更快，为了避免与另一车辆908碰撞的目标车辆902所需的减速度大于例如0.1g，并且目标车辆902并未减速，则灵敏度可以升高，但不会处于最高级别。作为另一示例，如果目标车辆902比第一车道904中的另一车辆908移动更快，为了避免与另一车辆908碰撞的目标车辆902所需的减速度大于例如0.5g，并且目标车辆902并未减速，灵敏度可以处于其最高。但是，如果在相同情况下第二车道906中在车辆200前方的最靠近车辆正在比目标车辆902移动得更慢，并且为了避免与第二车道906中在车辆200前方最靠近车辆碰撞的目标车辆902所需的减速度大于为了避免碰到另一车辆908所需的减速度，则灵敏度可以是高的，但不是最高的。然而，在相同的情况下，如果第二车道906的另一侧的车道足够空闲以允许目标车辆902更逐渐地减速，则灵敏度可以处于其最高，因为目标车辆902将可能会尝试切入到第二车道906以到达第二车道906的另一侧的车道。应该注意的是，上述和整个公开内容中描述的灵敏度级别可以存在于包含任何数目的灵敏度级别的频谱上，例如，任何数目的灵敏度级别以沿着频谱的任何期望的相对布置而被布置。
207.作为另一示例，如果目标车辆902比第一车道904中的另一车辆908移动更快，为了避免与另一车辆908碰撞的目标车辆902所需的减速度大于例如0.2g，并且目标车辆902减速至车辆200的速率和/或在第二车道906中在车辆200前方的最靠近车辆的速率，则灵敏度可能最高。作为又一示例，如果目标车辆902比第一车道904中的另一车辆908更快地移动并且目标车辆902减速到低于车辆200的速率和/或在第二车道906中在车辆200前方的最靠近车辆的速率，则灵敏度可以是低的。作为另一示例，如果目标车辆902比第一车道904中的另一车辆908移动更快，为了避免与另一车辆908碰撞的目标车辆902所需的减速度小于例如0.2g，并且目标车辆902在减速，灵敏度可以是低的。
208.在一些实施例中，车辆200可以在确定第二切入灵敏度参数时考虑目标车辆902的其他行为。例如，如果目标车辆902在超车道中(例如，如果在车辆在道路900的右侧行驶的国家，第一车道904在第二车道906的左侧)，第一车道904中的另一车辆908比目标车辆902更慢地行驶，并且目标车辆902在另一车辆908处闪烁其头灯，可以使用较低的灵敏度，这是因为目标车辆902已经表明其意图保持在第一车道904中。作为另一个示例，如果目标车辆902激活其转向信号，表明它意图尝试切入到第二车道906，灵敏度可以是高的但不是最高的，这是因为目标车辆902已经表明它不仅意图切入到第二车道906而且它正在小心地驾驶或者被驾驶。例如，在转向信号的激活之后，仅在目标车辆902呈现显著的横向运动(例如，朝向车道标记0.5m)的情况下可以检测到切入。
209.由车辆200采取的导航响应同样可以取决于车辆200周围的车辆的存在和行为。例
如，尽管在一些情况下，车辆200可以减速以允许目标车辆902切入到第二车道906，但是在其他情况下，车辆200可以加速以允许目标车辆902在车辆200后面改变到第二车道906。例如当以下情况时车辆200可以加速：车辆200在允许的速率下行驶时，车辆200和目标车辆902并排并且以大约相同的速度移动，不存在在第二车道906中在车辆200前方的车辆或在第二车道906中在车辆200前方的最靠近的车辆处于安全距离处，在目标车辆902的前方不存在其他车辆908(或者另一车辆908没有比目标车辆902更慢地移动)，或者不存在目标车辆902可以改变进入的其他自由车道。在一些情况下，如果需要(例如，如果为了在车辆200后面改变到第二车道906的目标车辆902所需的减速度大于例如0.5g)，则车辆200可以快速加速。
210.图9c图示了采取地理区域的形式的示例性预定切入灵敏度改变因素。如图所示，目标车辆902正在第一车道904中行驶，并且车辆200正在第二车道906中行驶。在地理区域(例如，地理区域中的交通规则和/或驾驶习惯)使得与目标车辆902如果不位于该地理区域相比而言目标车辆902更可能会尝试切入情况下，地理区域可以充当预定切入灵敏度改变因素902。在一些实施例中，地理区域可以包含具有管理驾驶的特定法律规则和/或驾驶习惯的国家或其他地区。
211.如图所示，可以通过检测可以从中确定地理区域的道路标志910(例如，使用单眼和/或立体图像分析道路标志910)，来检测地理区域。替代地或附加地，在一些实施例中，可以以其他方式来确定地理区域，诸如通过检测一个或多个地理指示符或地标、使用gps或地图数据(或与车辆200相关联的其他位置确定系统)等。通过检测地理区域，车辆200可以确定该地理区域中的交通规则和/或驾驶习惯是否将引起与目标车辆902如果不处于该地理区域相比而言目标车辆902更可能会尝试切入。如果是这样，地理区域可以构成预定切入灵敏度改变因素。
212.当检测到预定切入灵敏度改变因素时(即，当车辆200检测到目标车辆902在地理区域中行驶时)，车辆200可以基于指示符的识别和基于第二切入灵敏度参数来引起导航响应。导航响应可以包含例如车辆200的加速、车辆200的减速、或者(如果可能)车辆200的车道改变。第二切入灵敏度参数可以比在没有检测到预定切入灵敏度改变因素的情况下的第一切入灵敏度参数更灵敏，因为切入灵敏度改变因素的存在使得目标车辆902将更可能尝试切入到第二车道906。
213.图9d图示了采取车道结束条件的形式的示例性预定切入灵敏度改变因素。如图所示，目标车辆902正在第一车道904中行驶，并且车辆200正在第二车道906中行驶。在车道结束条件使得与如果第一车道904不结束时目标车辆902的可能性相比而言目标车辆902更可能尝试切入的情况下，车道结束可以充当预定切入灵敏度改变因素。
214.如图所示，可以通过检测可以从中确定车道结束条件的道路标志912(例如，使用单眼和/或立体图像分析道路标志912)和/或检测道路标记914(例如，使用单眼和/或立体图像分析道路标志912)，来检测车道结束条件。替代地或附加地，在一些实施例中，可以以其他方式确定车道结束条件，诸如通过使用gps或地图数据(或与车辆200相关联的其他位置确定系统)。通过检测车道结束条件，车辆200可以确定与如果第一车道904不结束时目标车辆902的可能性相比而言目标车辆902更可能尝试切入。因此，车道结束条件可以构成预定切入灵敏度改变因素。
215.当检测到预定切入灵敏度改变因素时(即，当车辆200检测到第一车道904结束时)，车辆200可以基于指示符的识别和基于第二切入灵敏度参数来引起导航响应。导航响应可以包含例如车辆200的加速、车辆200的减速、或者(如果可能)车辆200的车道改变。第二切入灵敏度参数可以比在没有检测到预定切入灵敏度改变因素的情况下的第一切入灵敏度参数更灵敏，因为切入灵敏度改变因素的存在使得目标车辆902将更可能尝试切入到第二车道906。
216.图9e图示了采取分岔条件的形式的示例性预定切入灵敏度改变因素。如图所示，目标车辆902正在第一车道904中行驶，并且车辆200正在第二车道906中行驶。道路900可能分岔。在道路分岔条件引起与如果第一车道904不结束时目标车辆902的可能性相比而言目标车辆902更可能尝试切入的情况下，道路分岔条件可以充当预定切入灵敏度改变因素。
217.如图所示，可以通过可以从中确定道路分岔条件的检测道路标志912(例如，使用单眼和/或立体图像分析道路标志912)和/或检测道路标记918a、918b(例如，使用单眼和/或立体图像分析道路标志912)，来检测道路分岔条件。替代地或附加地，在一些实施例中，可以以其他方式确定道路分岔条件，诸如通过使用gps或地图数据(或与车辆200相关联的其他位置确定系统)。通过检测道路分岔条件，车辆200可以确定与如果道路不分岔时目标车辆902的可能性相比而言目标车辆902更可能尝试切入。因此，道路分岔条件可以构成预定切入灵敏度改变因素。
218.当检测到预定切入灵敏度改变因素时(即，当车辆200检测到道路900分岔时)，车辆200可以基于指示符的识别和基于第二切入灵敏度参数来引起导航响应。导航响应可以包含例如车辆200的加速、车辆200的减速、或者(如果可能)车辆200的车道改变。第二切入灵敏度参数可以比在没有检测到预定切入灵敏度改变因素的情况下的第一切入灵敏度参数更灵敏，因为预定切入灵敏度改变因素的存在使得目标车辆902将更可能尝试切入到第二车道906。
219.虽然已经说明了某些预定切入灵敏度改变因素，但是应该理解的是，其他预定切入灵敏度改变因素也是可以的，包含可以引起和/或促成条件的任何环境因素，该条件引起与如果在其他情况下的可能性相比而言目标车辆902的更加可能或不太可能的切入。
220.图10是根据所公开的实施例的车辆200可以参与利他行为的示例性情况的例示。如图所示，车辆200可以与目标车辆1002一起在道路1000上行驶。车辆200可以在第一车道1004中行驶，而目标车辆1002可以在第二车道1006中行驶。尽管第一车道1004被示出为左车道并且第二车道1006被示出为右车道，但将理解，第一车道1004和第二车道1006可以是道路1000上的任何相邻车道。此外，虽然在道路1000上仅示出了两条车道1004、1006，但应该理解，更多车道也是可以的。尽管为了方便而使用术语“车道”，但是在一些情况下(例如，车道可能不清楚地标记有车道标记)，术语“车道”可以被理解为更一般地指代车辆200和目标车辆1002正在沿着行驶的路径。
221.车辆200可以配置为从例如与车辆200相关联的一个或多个图像捕捉装置(诸如，图像捕捉装置122、124和/或126)接收道路1000周围的环境的图像。车辆200也可以接收其他传感信息，诸如gps或地图数据。此外，在一些实施例中，车辆200可以接收其他传感信息，诸如经由包含于系统100中的雷达装置或激光雷达装置获取的信息。基于图像和/或其他传感信息，车辆200可以检测目标车辆1002。例如，车辆200可以识别多个图像中的目标车辆
1002的表示。车辆200也可以以其他方式检测目标车辆1002，包含上述结合切入检测模块802所描述的方式中的任何方式。
222.进一步基于图像和/或其他传感信息，车辆200可以确定与目标车辆1002相关联的一个或多个情形特征。情形特征可以是例如指示目标车辆1002将会受益于将车道改变到车辆200正行驶的车道中的任何特征。例如，如图所示，情形特征可以指示目标车辆1002正在行驶在比目标车辆1002更慢行驶的另一辆车1008后面。通常，该情形特征可以指示，虽然目标车辆1002的切入或其他导航响应可能不是必要的，但切入将有利于目标车辆1002。
223.在一些实施例中，车辆200可以基于该图像的单眼和/或立体图像分析来检测目标车辆1002的位置和/或速率(如结合图5b所述)，和/或一个或多个道路标记在道路900上的位置(如结合图5c所述)。作为另一个示例，车辆200可以检测到目标车辆1002已经开始改变车道，如上面结合图5f所述。作为又一个示例，车辆200可以基于分析其他传感信息(诸如经由包含于系统100中的雷达装置或激光雷达装置获取的信息)，检测到目标车辆1002已经开始改变车道。车辆200也可以以其他方式识别一个或多个情形特征，包含上述结合利他行为模块806所描述的方式中的任何方式。
224.当检测到一个或多个情形特征时，车辆200可以确定与利他行为参数相关联的当前值，以便确定车辆200是否将允许目标车辆1002切入到第一车道1004。利他行为参数可以采取上述结合利他行为模块806所描述的形式中的任何形式。例如，可以以如下方式设定利他行为参数：基于来自车辆200的操作者的输入，基于通过解析车辆200的操作者或乘客的日历条目而确定的至少一个信息元素，基于随机数发生器函数的输出，和/或基于所确定的与目标车辆遇到的数目，其中对于目标车辆而言，一个或多个情形特征指示目标车辆将受益于路线改变为第一车道1004。利他行为参数可以是固定的或可以被更新，使得在与目标车辆遇到的至少预定百分比中，引起车辆200中的导航改变，对于目标车辆而言，一个或多个情形特征指示目标车辆将受益于路线改变为车辆200的路径。例如，预定百分比可以是例如至少10％、至少20％、至少30％等。
225.车辆200可以基于与目标车辆1002相关联的一个或多个情形特征，确定车辆200的导航状态的改变可以不是必要的。换言之，一个或多个情形特征可以指示，虽然切入第一车道1004有利于目标车辆1002，但这样的切入可以不是必要的(例如，按照交通规则或为了安全)。然而，在一些情况下，目标车辆1002可以基于利他行为参数和一个或多个情形特征，引起车辆200中的至少一个导航改变，以允许目标车辆1002切入到第一车道1004。
226.例如，在可以基于来自车辆200的操作者的输入来设定利他行为参数的情况下，操作者可以提供指示车辆200应当允许目标车辆1002切入的输入。基于利他行为参数和一个或多个情形特征，目标车辆1002可以更改其速率以允许目标车辆1002切入到第一车道1004。作为另一个示例，在可以基于随机数发生器函数的输出来设定利他行为参数的情况下，随机数发生器函数可以提供指示车辆200可以不允许目标车辆1002切入到第一车道1004的输出。例如，随机数发生器函数可以输出二进制输出(例如，“否”或“0”)，或者可以输出不满足某一门限的值输出(例如，可以输出“2”，其中门限是“》＝5”)。基于利他行为参数和一个或多个情形特征，目标车辆1002可以保持其速率以防止目标车辆1002切入到第一车道1004。作为又一示例，在可以基于通过解析车辆200的操作者的日历条目所确定的至少一个信息元素来设定利他参数的情形下，操作者的日历条目可以指示操作者希望在期望的时
间前到达目的地。利他行为参数可以指示只要操作者仍然会在期望的时间前到达目的地，目标车辆1002就应该被放入。基于利他行为参数和一个或多个情形特征，目标车辆1002实施导航改变以允许目标车辆1002切入到第一车道1004，如果这样做将不会阻止操作者在期望的时间到达目的地；但如果这样做将阻止操作者在期望的时间到达目的地，则目标车辆1002将不允许目标车辆1002切入到第一车道1004。
227.在一些情况下，多于一个目标车辆可以受益于切入到第一车道1004。例如，如图所示，除了目标车辆1002之外，附加目标车辆1010可以在第二车道1006中在另一辆车1008后面行驶。一个或多个情形特征可以指示，如同目标车辆1002一样，虽然附加目标车辆1010的切入或其他导航响应可以不是必要的，但切入将有利于附加目标车辆1010。例如，如图所示，附加目标车辆1010也可以在另一辆车辆1008后面行驶，并且另一辆车辆1008可以比附加目标车辆1010行驶得更慢。在这些情况下，利他行为参数可以引起车辆200相同地对待目标车辆1002和附加目标车辆1010中的每个(即，允许两者或都不允许切入到第一车道1004)，或者利他行为参数可以引起车辆200不一致地对待目标车辆1002和附加目标车辆1010。
228.例如，可以基于与目标车辆(诸如车辆1002、1010)遇到的次数来设定利他行为参数，其中情形特征指示目标车辆1002或1010将受益于路线改变为第一车道1004。例如，在两个目标车辆1002、1010的情况下，利他行为参数可以引起车辆200仅让目标车辆1002切入到第一车道1004，而不让附加目标车辆1010切入到第一车道1004(而如果单独遇到目标车辆1002和附加目标车辆1010，利他行为参数可能已经允许目标车辆1002和附加目标车辆1010两者切入)。
229.作为另一个示例，在这些情况下，利他行为参数可以被更新，使得在与目标车辆1002、1010遇到的至少预定百分比中，引起车辆200中的导航改变，其中目标车辆情形特征指示目标车辆1002或1010将受益于路线改变为第一车道1004。例如，利他行为参数可以指定车辆200应该在遇到的至少10％的百分比中，实施导航改变。基于利他行为参数，车辆200可以允许目标车辆1002和附加目标车辆1010中的一者或两者，只要持续确定的遇到的总体百分比引起车辆200在遇到的至少10％的百分比中实施导航改变。
230.此外，虽然以上已经结合图10中所示的示例讨论了利他行为参数的考虑，但是在以上结合图9a-9e讨论的任何示例下可以考虑利他行为参数。
231.图11是示出根据所公开的实施例的用于车辆切入检测和响应的示例性过程1100的流程图。在一些实施例中，系统100的处理单元110可以执行模块402-408和802-806中的一个或多个。在其他实施例中，存储在模块402-408和802-806中的一个或多个的指令可以从系统100远程执行(例如，可以经由无线收发器172通过网络访问的服务器)。在又一些实施例中，与模块402-408和802-806中的一个或多个相关联的指令可以由处理单元110和远程服务器执行。
232.如图所示，过程1100包含：在步骤1102，接收图像。例如，车辆200可以经由数据接口从与车辆200相关联的至少一个图像捕捉装置(例如，图像捕捉装置122、124、126)接收多个图像。如上所述，在其他实施例中，作为分析图像的替代或除了分析图像之外，车辆200可以替代地分析其他传感信息，诸如经由包含于系统100中的雷达装置或激光雷达装置获取的信息。
233.在步骤1104，过程1100包含识别目标车辆。例如，车辆200可以在多个图像中识别在与车辆200行驶的第二车道不同的第一车道中行驶的目标车辆的表示。识别目标车辆的表示可以涉及例如单眼或立体图像分析和/或其他传感信息，如上面结合检测模块802中所述。在其它实施例中，如上所述，作为分析图像的替代或除了分析图像之外，识别目标车辆的表示可以涉及分析其它传感信息，诸如经由包含于系统100中的雷达装置或激光雷达装置获取的信息。
234.在步骤1106，过程1100包含识别目标车辆将改变车道的指示符。例如，车辆200可以基于对多个图像的分析来识别目标车辆将从第一车道改变到第二车道的至少一个指示符。识别指示符可以涉及例如单眼或立体图像分析和/或其他传感信息(例如，雷达或激光雷达数据)，如上面结合检测模块802中所述。
235.在步骤1108，过程1100包含确定是否存在预定切入灵敏度改变因素。例如，车辆200可以确定在车辆200的环境中是否存在至少一个预定切入灵敏度改变因素。例如，至少一个预定切入灵敏度改变因素可以采取上面结合图9a-e所述的任何形式。预定切入灵敏度改变因素可以包含例如车道结束条件、目标车辆的路径中的障碍物、道路分岔或地理区域。检测至少一个预定切入灵敏度改变因素可以涉及例如单眼或立体图像分析和/或其他传感信息(例如，雷达或激光雷达数据)，如上面结合检测模块802中所述。
236.如果没有检测到预定切入灵敏度改变因素，则过程1100可以在步骤1110继续，其中基于指示符和第一切入灵敏度参数引起第一导航响应。例如，在未检测到切入灵敏度改变因素的情况下，车辆200可以基于至少一个指示符的识别且基于第一切入灵敏度参数来引起车辆中的第一导航响应。第一切入灵敏度参数可以采取上面结合切入响应模块804所述的任何形式。此外，如上所述，在一些实施例中，步骤1110可以替代地包含基于指示符和与第一预定切入灵敏度参数相关联的值引起第一导航响应，第一导航响应可以采取结合图4对导航响应所描述的任何形式。
237.另一方面，如果检测到至少一个预定切入灵敏度改变因素，则过程1100可以在步骤1112处继续，其中基于该指示符和第二切入灵敏度参数引起第二导航响应。例如，在检测到切入灵敏度改变因素的情况下，车辆200可以基于至少一个指示符的识别且基于第二切入灵敏度参数来引起车辆中的第二导航响应。第二切入灵敏度参数可以采取上面结合切入响应模块804所述的任何形式。第二切入灵敏度参数可以不同于(例如，更灵敏于)第一切入灵敏度参数。此外，如上所述，在一些实施例中，步骤1112可以替代地包含基于指示符和与第二预定切入灵敏度参数相关联的值引起第二导航响应，第二导航响应可以采取结合图4对导航响应所描述的任何形式。
238.图12是示出根据所公开的实施例的用于导航的同时考虑利他行为考量的示例性过程1200的流程图。在一些实施例中，系统100的处理单元110可以执行模块402-408和802-806中的一个或多个。在其他实施例中，存储在模块402-408和802-806中的一个或多个的指令可以从系统100远程执行(例如，可以经由无线收发器172通过网络访问的服务器)。在又一些实施例中，与模块402-408和802-806中的一个或多个相关联的指令可以由处理单元110和远程服务器执行。
239.如图所示，过程1200包含：在步骤1202接收图像。例如，车辆200可以经由数据接口从与车辆200相关联的至少一个图像捕捉装置(例如，图像捕捉装置122、124、126)接收多个
图像。如上所述，在其他实施例中，作为分析图像的替代或除了分析图像之外，车辆200可以替代地分析其他传感信息，诸如经由包含于系统100中的雷达装置或激光雷达装置获取的信息。
240.过程1200包含在步骤1204识别目标车辆。例如，车辆200可以基于对多个图像的分析来识别车辆200的环境中的至少一个目标车辆。识别目标车辆可以涉及例如单眼或立体图像分析和/或其他传感信息(例如，雷达或激光雷达数据)，如上面结合利他行为模块806中所述。
241.在步骤1206，过程1200包含确定与目标车辆相关联的一个或多个情形特征。例如，车辆200可以基于对多个图像的分析来确定与目标车辆相关联的一个或多个情形特征。(多个)情形特征可以采取上面结合利他行为模块806和/或图9a-e和10所述的任何形式。例如，(多个)情形特征可以指示目标车辆将受益于路线改变为车辆200的路径。作为另一示例，(多个)情形特征可指示目标车辆在与车辆200正在行驶的车道相邻的车道中行驶，并且目标车辆在比目标车辆移动得更慢且比车辆200移动的更慢的车辆后面。确定(多个)情形特征可以涉及例如单眼或立体图像分析和/或其他传感信息(例如，雷达或激光雷达数据)，如上面结合利他行为模块806中所述。
242.在步骤1208，过程1200包含确定利他行为参数的当前值。例如，车辆200可以确定与利他行为参数相关联的当前值。利他行为参数可以采取上面结合利他行为模块806和/或图10所述的任何形式，并且可以以上面结合利他行为模块806和/或图10所述的任何方式来确定利他行为参数。可以通过以下方式设定利他行为参数的值：基于来自车辆200的操作者的输入，基于通过解析车辆200的操作者的日历条目而确定的至少一个信息元素，基于随机数发生器函数的输出，和/或基于所确定的与目标车辆遇到的数目，对于目标车辆而言，一个或多个情形特征指示目标车辆将受益于路线改变为车辆200的路径。可选地或附加地，利他行为参数的值可以被更新，使得在与目标车辆遇到的至少预定百分比中(例如，10％、20％、30％等)，引起车辆200中的导航改变，其中一个或多个情形特征指示目标车辆将受益于路线改变为车辆200的路径。
243.在步骤1210，过程1200包含基于一个或多个情形特征和利他行为参数的当前值引起导航改变。例如，车辆200可以基于与目标车辆相关联的一个或多个情形特征来确定车辆200的导航状态的改变可能是不必要的，但是仍然可以基于与利他行为参数相关联的当前值并基于与目标车辆相关联的一个或多个情形特征来引起车辆200中的至少一个导航改变。引起导航改变可以以上面结合利他行为模块806和/或图10所述的任何方式完成。
244.如上所述，在本公开中所述的任何过程或过程步骤中，除了对从一个或多个前向和/或后向相机捕捉的图像执行图像分析之外，系统100(包含于车辆200中)可以分析其他传感信息，诸如经由雷达装置和/或激光雷达装置获取的信息。
245.出于说明的目的已经呈现了前面的描述。它不是穷举性的并且不限于所公开的实施例的精确形式。本领域技术人员通过考虑所公开的实施例的说明和实践，修改和改编将是显而易见的。另外，尽管所公开的实施例的方面被描述为存储在存储器中，本领域的技术人员将理解，这些方面也可以存储在其它类型的计算机可读介质上，诸如辅助存储设备，例如，硬盘或cd rom、或其它形式的ram或rom、usb介质、dvd、蓝光、4k超hd蓝光、或其它光驱动介质。
246.基于书面说明和所公开的方法的计算机程序在有经验的开发人员的技术范围内。可以使用任何本领域技术人员已知的技术来创建或可以结合现有的软件来设计各种程序或程序模块。例如，程序段或程序模块可以以或通过.net framework、.net compact framework(以及相关的语言，诸如visual basic，c等)、java、c++、objective-c、html、html/ajax组合、xml或者包含java小程序的html来设计。
247.此外，虽然已经在本文中描述了说明性实施例，但是本领域技术人员基于本公开将认识到具有等同的要素、修改、省略、组合(例如，遍及各个实施例的方面的)、改编和/或改变的任何以及所有实施例的范围。权利要求书中的限定将基于权利要求书中采用的语言宽泛地解释，并且不限于在本说明书中或在本技术的审查期间所描述的示例。示例将被理解为非排他性的。此外，所公开的方法的步骤可以以任何方式修改，包括通过重新排序步骤和/或插入或删除步骤。因此，意图是说明书和示例被视为仅是说明性的，真正的范围和精神由以下权利要求及其等同物的全部范围来表示。