相关申请的交叉引用
本申请要求2012年3月26日递交的序列号为13/430,150的美国专利申请的优先权，特此通过引用并入该申请的内容。
背景技术：
一些车辆被配置为在自主模式中运转，其中车辆在几乎没有或没有来自驾驶员的输入的情况下导航经过一环境。这种车辆可包括被配置为感测关于该环境的信息的一个或多个传感器。车辆可使用感测到的信息来导航经过该环境。
例如，如果传感器的输出指示出车辆正在接近障碍物，则车辆可导航绕过该障碍物。此外，车辆可感测关于交通标志和交通信号的信息。例如，交通标志可提供监管信息或警告信息，而位于道路交叉口、人行横道和其他位置的交通信号可用于控制竞争的交通流。
技术实现要素：
在一个示例方面中，公开了一种方法，其包括利用车辆的一个或多个传感器扫描目标区域以获得目标区域信息。车辆可被配置为在自主模式中运转并且目标区域可以是交通信号通常所位于的一类区域。该方法还可包括在目标区域信息中检测交通信号并且确定交通信号的位置。此外，可确定交通信号的状态和对交通信号的置信度。确定对交通信号的置信度可包括但不限于将交通信号的位置与交通信号的一个或多个已知位置相比较。根据该方法，可基于交通信号的状态和对交通信号的置信度来在自主模式中控制车辆。
在另一示例方面中，公开了一种非暂态计算机可读介质，其中存储有指令，这些指令可被计算设备执行来使得该计算设备执行功能。这些功能可包括利用车辆的一个或多个传感器扫描目标区域以获得目标区域信息。车辆可被配置为在自主模式中运转并且目标区域可以是交通信号通常所位于的一类区域。这些功能还可包括在目标区域信息中检测交通信号并且确定交通信号的位置。此外，基于这些功能，可以确定交通信号的状态和对交通信号的置信度。确定对交通信号的置信度可包括但不限于将交通信号的位置与交通信号的一个或多个已知位置相比较。根据这些功能，可基于交通信号的状态和对交通信号的置信度来在自主模式中控制车辆。
在另一示例方面中，公开了一种被配置为在自主模式中运转的示例车辆。该车辆可包括一个或多个传感器、存储器、处理器以及存储在存储器中并可被处理器执行的指令。指令可被执行来使得一个或多个传感器扫描目标区域以获得目标区域信息。目标区域可以包括交通信号通常所位于的一类区域。指令还可被执行来在目标区域信息中检测交通信号，确定交通信号的位置，并且确定交通信号的状态。此外，指令可被执行来确定对交通信号的置信度。确定对交通信号的置信度可包括将交通信号的位置与交通信号的一个或多个已知位置相比较。指令还可被执行来基于交通信号的状态和对交通信号的置信度来在自主模式中控制车辆。
在另一示例方面中，公开了一种方法。该方法包括确定检测的交通信号的位置；确定在检测的交通信号的确定的位置的阈值距离内是否存在交通信号的已知位置；确定检测的交通信号的状态；基于检测的交通信号的确定的状态以及对在检测的交通信号的确定的位置的阈值距离内是否存在交通信号的已知位置的确定来确定用于车辆的控制命令；以及依照确定的控制命令控制车辆的运动。
在另一示例方面中，公开了一种控制器。该控制器包括：存储器；处理器；以及指令，所述指令存储在存储器中并且可被处理器执行来使控制器执行功能，所述功能包括：确定检测的交通信号的位置；确定在检测的交通信号的确定的位置的阈值距离内是否存在交通信号的已知位置；确定检测的交通信号的状态；基于检测的交通信号的确定的状态以及对在检测的交通信号的确定的位置的阈值距离内是否存在交通信号的已知位置的确定来确定用于车辆的控制命令；以及依照确定的控制命令控制车辆的运动。
在另一示例方面中，公开了一种方法。该方法包括使用车辆检测交通信号；确定在车辆的位置的阈值距离内是否存在交通信号的已知位置；确定检测的交通信号的状态；基于检测的交通信号的确定的状态以及对在车辆的位置的阈值距离内是否存在交通信号的已知位置的确定来确定用于车辆的控制命令；以及依照确定的控制命令控制车辆的运动。
前述发明内容只是说明性的，而并不打算以任何方式进行限定。除了以上描述的说明性方面、实施例和特征以外，通过参考附图和以下详细描述，另外的方面、实施例和特征将变得清楚。
附图说明
图1是控制车辆的示例方法的框图。
图2a-2c是扫描目标区域的车辆的示例概念图示。
图3a-3b是用于控制车辆的示例流程图和关联状态表。
图4是用于控制车辆的另一示例流程图。
图5a-5c是扫描目标区域的车辆的更多示例概念图示。
图6根据实施例示出了示例车辆。
图7是根据实施例的示例车辆的简化框图。
图8是示出根据本文给出的至少一些实施例布置的包括用于在计算设备上执行计算机过程的计算机程序的示例计算机程序产品的概念性部分视图的示意图。
具体实施方式
在以下详细描述中，参考形成描述的一部分的附图。在附图中，相似的符号通常标识相似的组件，除非上下文另有规定。详细描述、附图和权利要求中描述的说明性实施例并不欲进行限定。可以利用其他实施例，并且可以作出其他改变，而不脱离本文给出的主题的范围。容易理解，本文概括描述的以及附图中示出的本公开的各方面可按许多种不同的配置来布置、替换、组合、分离和设计，所有这些在这里都已明确设想到。
车辆，例如被配置为自主运转的车辆，可被配置为扫描目标区域以获得目标区域信息。车辆的一个或多个传感器可扫描目标区域。在一个示例中，目标区域可以是交通信号通常位于其中的一类区域。例如，关于交通信号通常出现之处的一般信息，例如接近交叉口、高度范围、接近道路边缘等等，可用于确定目标区域。在一些示例中，车辆的传感器可连续地扫描目标区域以找到被临时或永久移动的交通灯，和/或找到新的交通灯，例如没有关于其的在先信息可得的交通灯。
作为示例，与交通信号的已知位置相关联的数据可指示出给定百分比的交通灯出现在由地面之上的高度下限和高度上限定义的高度范围内。车辆可使用该高度范围来扫描即将来到的区域以获得高度下限与高度上限之间的目标区域信息。
在一些情况中，可在目标区域信息中检测交通信号。在交通信号的地图暗示出交通信号存在于环境的某一区域中的情况中，车辆可预期在目标区域信息中找到交通信号。或者，如果交通信号的地图没有在目标区域中指示出任何交通信号，那么车辆仍可在交通信号实际存在的情况下扫描目标区域。此外，可以确定与检测到的交通信号相关联的状态。关联状态随后可用于控制自主模式中的车辆。
在另一情况中，可以基于检测到交通信号的场景来确定检测到的交通信号和交通信号的关联状态的置信度。例如，车辆可以对于在车辆预期检测到交通信号的位置中检测到的交通信号的置信度更高，并且对于在车辆未预期检测到交通信号的位置中检测到的交通信号的置信度更低。因此，在一些示例中，可基于对交通信号的置信度来修改对车辆的控制。
图1是控制车辆的示例方法100的框图。图1所示的方法100表示例如可用于本文描述的车辆的方法，并且可由车辆或车辆的组件来执行，或者更一般而言由服务器或其他计算设备来执行。方法100可包括如方框102-112中的一个或多个所示的一个或多个操作、功能或动作。虽然这些方框是按先后顺序示出的，但这些方框可被并行执行，和/或按与本文描述的那些不同的顺序执行。另外，基于期望的实现方式，各种方框可被组合成更少的方框，划分成额外的方框，和/或被去除。
此外，对于方法100和本文公开的其他过程和方法，框图示出了所呈现实施例的一种可能实现方式的功能和操作。在此，每个方框可表示程序代码的模块、片段或部分，程序代码包括可由处理器执行来实现该过程中的特定逻辑功能或步骤的一个或多个指令。程序代码可被存储在任何类型的计算机可读介质上，例如包括盘或硬盘驱动器的存储设备。计算机可读介质可包括非暂态计算机可读介质，例如像寄存存储器、处理器缓存和随机访问存储器(randomaccessmemory，ram)那样短时间存储数据的计算机可读介质。计算机可读介质还可包括非暂态介质，例如次级或永久长期存储装置，比如只读存储器(readonlymemory，rom)、光盘或磁盘以及致密盘只读存储器(compact-discreadonlymemory，cd-rom)。计算机可读介质还可以是任何其他易失性或非易失性存储系统。计算机可读介质可被认为是例如计算机可读存储介质、有形存储设备或者其他制品。
此外，对于方法100和本文公开的其他过程和方法，每个方框可表示被配置为执行该过程中的特定逻辑功能的电路。
如图所示，最初，在方框102，方法100包括利用车辆的一个或多个传感器扫描目标区域以获得目标区域信息。在一些情况中，车辆可被配置为在自主模式中运转。参考图6和图7描述的车辆是可被配置为自主运转的车辆的一个这种示例。在一些情况中，基于交通信号的状态和位置确定的控制命令可用于辅助车辆的驾驶员或作为输入被提供到车辆的控制系统。
在一个示例中，目标区域可以是交通信号通常位于其中的一类区域。例如，目标区域可包括对于交通信号来说典型的高度和或宽度的范围。目标区域可以与车辆的行进方向相对应的即将来到的区域的一部分。在一种情况中，关于交通信号的已知位置的统计信息可指示出给定百分比的交通信号出现在地面以上的某一高度范围之间。作为示例，收集的关于交通信号的数据可指示出90％的交通信号被升高在地面以上的10到16英尺之间。类似地，关于交通信号的已知位置的信息可指示出给定百分比的交通信号位于行车道或道路的左侧或右侧的给定量以内。基于关于交通信号的位置的统计资料，可以选择预定的目标区域。
因此，在一个示例中，车辆可不断地扫描目标区域。在一些情况中，目标区域可基于车辆或者车辆位于其中的环境的状况而变化。作为示例，可基于车辆的速度或朝向来加宽或缩窄目标区域。车辆可包括gps接收器(或其他地理定位组件)来确定地理位置，并且包括加速度计、陀螺仪或其他加速度设备来确定与重力的方向有关的俯仰、偏航和滚转(或者其变化)。在一些情况中，如果车辆在转向，则可加宽目标区域。在另一情况中，当车辆的地理位置正接近交叉口时，可以扩展目标区域。在一些情况中，可以将车辆的地理位置与包括关于道路的交叉口的信息的环境的地图相比较来确定车辆接近交叉口。
车辆的一个或多个传感器可包括成像组件和/或非成像组件。例如，各种类型的相机可按各种配置被安装到车辆以获得目标区域信息。在一种情况中，相机可被定位为正对前方并且安装在后视镜后面或附近。此外，相机可利用具有30度视野的固定镜头来捕捉相机的感兴趣的特定区域，例如2040x1080区域。可以校准相机来在各种距离检测交通信号以确保合理的刹车距离。在另一示例中，可以设定相机的增益和快门速度来避免在日间和/或夜间期间交通灯的饱和。
在另一示例中，一个或多个传感器可包括被配置为确定到目标区域中的物体的表面的距离的三维(3d)扫描设备。在一种情况中，结构化光投影设备和相机可用于确定描述目标区域的三维点云。在另一情况中，诸如lidar或激光测距仪之类的激光和/或雷达设备可扫描目标区域以确定到物体的距离。在其他情况中，立体相机或飞行时间相机可用于距离成像。从而，目标区域信息可包括二维图像和描述目标区域的三维点云的任何组合。
目标区域信息也可被存储在一个或多个短期或长期存储器中。在方框104，方法100包括在目标区域信息中检测交通信号。在一些情况中，可在目标区域信息中识别对于交通信号预期的图案、模板、形状或签名。作为示例，交通信号分类器可找到具有适当大小和纵横比的红、黄、绿物体的图案，并且将该图案标记为潜在的交通信号。示例图像处理技术可用于识别图像的与已知图案匹配的一个或多个部分。模板匹配是一个可能的示例。虽然本公开是结合具有一组红、黄、绿灯的典型垂直或水平交通信号来描述的，但应理解这种特定结构只是用作示例。交通信号可能有所变化并且有时候可能有复杂的几何结构，并且这些额外的几何结构也可被检测。
在目标区域信息包括三维点云的示例中，可以检测3d点云中的可具有对于交通信号预期的形状的物体。例如，基于3d点云的物体识别系统可用于识别描述3d点云内的兴趣点的特征。随后可将这些特征与对于一类或多类交通信号的3d模型预期的特征相比较来识别兴趣点的群组作为3d点云内的是交通信号的物体。
在方框106，方法100包括确定交通信号的位置。在一些情况中，车辆的地理位置信息和/或朝向信息可与目标区域信息相关联。例如，在目标区域信息包括图像的情况中，与图像相关联的元数据可指示出在获得该目标区域信息时车辆(或者车辆的用于获得目标区域信息的传感器)的地理位置和朝向。基于车辆和/或车辆的传感器的地理位置和朝向，可以估计检测到的交通信号的位置。
作为示例，可以基于车辆(或者车辆的传感器)的位置来估计交通信号的位置。例如，可以对于获得目标区域信息的时刻确定车辆的gps坐标以及前进方向或行进方向。车辆的位置和行进方向可与区域的道路线路图相关联，并且可以识别该道路线路图上的最近的即将来到的交叉口。交通信号的位置可被确定为是该交叉口的位置。
在另一示例中，可利用三角测量来以3d估计交通信号的位置。为了经由三角测量来以3d估计位置，可以使用检测到的交通信号的两个或更多个图像。例如，可在两个或更多个图像中检测一交通信号(或多个交通信号)。在一些情况中，可以确定第一图像的交通信号是与第二图像中的交通信号相同的交通信号。在近仿射运动和/或高帧速率的情况中，模板跟踪器可用于关联后续图像中的检测到的交通信号。
在帧速率较低(例如，4fps)的情况下，可以使用直接运动补偿。如果对于每个图像已知车辆的确切姿态，则利用描述相机的运动的相机模型来在图像之间对图像之间的俯仰、偏航和滚转的变化进行校正可能是简单明了的。然而，对交通信号的位置的估计可能需要考虑到由于车辆的移动(例如，向前运动)引起的图像之间物体的表观运动。在一个示例中，假定交通灯具有约0.3米的直径。到具有w的真实宽度和在由具有焦距f的相机拍摄的图像中具有表观宽度wa的交通灯的距离d可如下得出：
此外，可利用相机模型来计算方向向量x＝[u,v]t，使得交通灯的近似3d位置为：
y＝sin(arctan(-u))d,
z＝sin(arctan(-v))d,
继续，如果t1和t2是用于从车辆的帧到局部平滑坐标帧的两个不同时间的4x4变换矩阵，则交通信号从一个图像到另一个图像的相对运动可被校正为：
其中c是从车辆帧到相机坐标帧的变换。在一些示例中，可以进一步调整图像坐标以考虑到径向失真。
在一种情况中，如果来自第一图像的交通信号的经运动校正的位置落在第二图像的交通信号的关联距离内，则有可能检测到的交通信号对应于同一物体。如果确定了第一图像中检测到的交通信号对应于第二图像中检测到的交通信号，则可以使用最小二乘三角测量来基于交通信号在第一和第二图像中的位置以及在获得图像时对于第一和第二图像的相机朝向来估计交通信号的3d位置。
在一些示例中，也可识别交通信号适用的实际车道。例如，一些交通信号可适用于左转或右转车道。这个信息可用于基于车辆的当前车道来确定车辆应当服从哪个(哪些)交通信号。基于估计的交通信号朝向或位置、平均交叉口宽度和平均车道宽度的简单试探可用于作出对交通信号与车道之间的关联的估计。
在一个示例中，交通信号的位置也可被存储在存储器中。任何目标区域信息或其他情境信息(例如，速度、位置、朝向、时间、日期等等)也可与交通信号的位置一起被存储。在一种情况中，存储的信息可用于为一区域更新交通信号的位置的地图。
在方框108，方法100包括确定交通信号的状态。在于目标区域信息中检测到多个交通信号的情况中，可确定与车辆的车道相对应的交通信号的状态。确定交通信号的状态可包括确定交通信号的图像的红、黄、绿物体的图案中的哪个物体被照明。在一种情况中，可以使用成像处理方法来确定红、黄、绿物体的亮度之间的区别以确定具有最高亮度的物体。可以假定具有最高亮度的物体是开启的，例如指示出交通信号的状态。在一个示例中，如果红、黄和绿物体之间的相对区别不清楚，则可以假定黄物体被照明。类似地，对于观察到的明亮绿物体的置信度可随着时间的流逝而被降低，并且如果在预定时间范围内没有再次检测到绿物体则默认假定交通信号是黄色的。
在确定交通信号的3d位置的情况中，可以使用对于交通信号应当出现在后续图像中的何处的预测来确定交通信号的另一图像。例如，基于对相对于3d位置的车辆的位置的估计，预测位置可被投影到车辆的相机的图像帧中。在一个示例中，预测位置可以是选择图像的一部分的轴对齐的定界框。然而，其他示例区域或形状也是可能的，并且预测位置的几何结构可基于交通信号的朝向或几何结构来确定。然后可分析预测位置内的图像部分来确定交通信号的状态。例如，可以处理预测位置来识别颜色明亮的红或绿物体，并且预测位置可随着车辆的位置接近交通信号而变化。
在方框110，方法100包括确定对交通信号的置信度。当作出关于交通信号的存在和随后对于交通信号的状态估计的结论时，车辆的计算系统的处理器可确定对该结论的置信度。作为示例，所确定的置信度可以是：与在没有预期有交通信号的位置中相比，对于在预期有交通信号的位置中检测到交通灯的置信度可以更高。在一种情况中，如果车辆的位置接近交叉口(例如，在交叉口的预定阈值内，例如150米内)，则对于该位置可预期有交通信号。在一种情况中，通过将车辆的位置与环境的地图上的交叉口或节点的位置相比较，可以确定到交叉口的距离。例如，k维树(“k-d树”)可用于组织交叉口的节点以促进最近邻居搜索。
在另一情况中，确定对交通信号的置信度可包括将交通信号的位置与交通信号的一个或多个已知位置相比较。例如，车辆可能够访问存储在车辆本地或远程的交通信号的已知位置的地图。基于车辆的地理位置，可以确定在附近的交通信号的一个或多个已知位置。在一些情况中，k-d树可用于组织交通信号的已知位置以促进最近邻居搜索。
在方框112，方法100包括基于交通信号的状态和对交通信号的置信度来控制自主模式中的车辆。交通信号的状态和/或位置在一些场景中可用于辅助车辆，或者车辆的驾驶员或乘客。
当车辆被用户驾驶时，可以提供关于交通信号的状态的信息。例如，可以提供指出灯为红、黄或绿的视觉或听觉指示。在其他情况中，可以向用户提供指令或警告，例如“踩刹车，红灯了”。也可在交通信号的状态变化之后提供视觉或听觉指示。
当车辆自主运转时，车辆的控制系统可基于交通信号的状态和所确定的置信度来决定车辆的路线。例如，如果在的交通信号的预期位置中对于该交通信号检测到了绿物体，则车辆可穿过交通交叉口。如果在交通信号的非预期区域中对于交通信号检测到了黄物体，则车辆可减小其速度并且确定关于该区域的额外信息以便确认交通信号的存在和估计状态。
从而，示例方法100可使得车辆能够确定在预期位置和/或非预期位置中交通信号的位置和状态。方法100的若干个示例实现方式在下文中联系图2a-5c来描述。
为了说明，描述了若干个示例实现方式。然而，要理解，示例实现方式只是说明性的，而并不欲进行限定。其他示例实现方式也是可能的。
图2a-2c是扫描目标区域的车辆200的示例概念图示。例如，图2a-2c示出了扫描目标区域的车辆200的侧视图和两个透视图。即使对于一位置没有预期有交通信号，车辆200也可扫描目标区域。例如，图2b示出了车辆200扫描不接近交叉口的目标区域，而图2c示出了车辆200扫描接近交叉口的目标区域。在一些示例中，扫描目标区域可使得车辆200能够获得关于交通信号通常位于的区域的类型的目标区域信息。
如图2a所示，车辆200对于即将来到的区域可以扫描地面以上的第一高度202与第二高度204之间的区域。在一个示例中，可以对车辆前方的预定距离(例如，100米)确定地面以上的第一高度202和第二高度204。在一种情况中，第一高度202和第二高度204对于出现在与车辆200的距离小于预定距离处的物体可形成更小的目标区域(例如，更窄的高度范围)，并且对于出现在大于预定距离的距离处的物体可形成更大的目标区域(例如，更高的高度范围)。
在一种情况中，车辆200的成像组件和/或雷达组件可用于获得关于目标区域的目标区域信息。成像组件和雷达组件可安装在后视镜后面或邻近后视镜，使得在车辆200包括驾驶员和/或(一个或多个)乘客的场景中，成像组件或雷达组件最低限度地妨碍驾驶员和/或(一个或多个)乘客的视野。
在一些示例中，也可获得关于目标区域之上、之下和/附近的区域的额外信息。例如，成像组件可以是被配置为捕捉目标区域信息的一个或多个图像的相机，并且这一个或多个图像可包括关于不是目标区域的一部分的区域的信息。在一种情况中，处理组件可分析目标区域信息，同时忽略额外信息。在其他示例中，可以修改相机的视野和/或焦距以使得相机只捕捉关于目标区域的信息。
此外，目标区域信息可包括关于从车辆起的任何距离范围的信息。例如，成像组件的焦点可以是固定的或可变的。在一种情况中，成像组件可包括测距组件，其被配置为检测到视野中的物体的距离并且相应地调整成像组件的焦点。在另一示例中，成像组件的焦点可基于车辆的速度而变化。例如，当速度是第一速度时可在更大的距离检测交通信号，而当速度低于第一速度时可在更短的距离检测交通信号。
图3a-3b是用于控制车辆的示例流程图300和关联状态表314。如图3a所示，最初在方框302，可扫描目标区域。例如，可以扫描交通信号通常位于的一类区域以获得目标区域信息。在一个示例中，在方框304可检测交通信号。例如，目标区域信息可包括指示出交通信号的存在的信息。
在方框306，可确定交通信号的位置。在一种情况中，可基于车辆的位置和/或朝向来确定交通信号的位置，并且交通信号的位置可以是二维位置(例如，由纬度和经度描述的位置)或三维位置(例如，由纬度、经度和地面以上的高度描述的位置)。
此外，根据流程图300，在方框308，可以确定到交通信号的已知位置的最小距离。在一个示例中，可将交通信号的已知位置可存储在k-d树内，并且可执行最近邻居搜索来确定在车辆的位置和/或检测到的交通信号的所确定位置附近的交通信号的已知位置。在一种情况中，可计算车辆的位置与交通信号的已知位置之间的距离，并且可确定最小距离。在另一情况中，可计算检测到的交通信号的所确定位置与交通信号的已知位置之间的距离，并且可确定最小距离。同时，在方框310，可确定检测到的交通信号的状态。
在一个示例中，可以确定最小距离与预定阈值之间的关系(例如，最小距离与预定阈值的接近度或者对于最小距离是大于还是小于预定阈值的判定)。在方框312，基于所确定的关系和所确定的交通信号的状态，可以确定对于车辆的控制命令。图3b所示的示例状态表314描述了可如何确定控制命令的一个示例。
如图3b所示，基于交通信号的状态，以及最小距离和预定阈值之间的关系，可以选择各种控制命令。在一些情况中，最小距离与预定阈值之间的关系可暗示出对于检测到的交通信号的置信度。
在第一情况316中，交通信号的状态可以为红，并且最小距离可大于预定阈值。状态表314示出了可以选择第一控制命令318。第一情况316可暗示出交通信号是非预期的。因此，第一控制命令318指示刹车并且确定关于交通信号的存在和交通信号的随后状态的额外信息。在一个示例中，确定额外信息可涉及监视交通信号的状态以及附近的交通和/或交叉车流的行为。
图4是用于控制车辆的另一示例流程图400。如图所示，在方框402，可以判定是否预期有交通信号。在一个示例中，该判定可基于车辆的位置是否接近交叉口或者先前地图是否暗示在车辆的位置附近(例如在车辆正在行进的方向上)存在交通信号来作出。
基于该判定，如果未预期有交通信号，则在块404，车辆可扫描目标区域以获得目标区域信息。随后，在方框406可判定是否在目标区域信息中检测到交通信号。如果未检测到交通信号，则流程图过程可重启。如果判定检测到交通信号，则在方框408和410可分别确定交通信号的状态和控制命令。
如果在方框402判定预期有交通信号，则车辆在410可扫描目标区域以获得目标区域信息。在一个示例中，目标区域可以就是在方框404扫描的那同一个目标区域。在另一示例中，目标区域可不同于在方框404扫描的目标区域。在在已知位置处预期有交通信号的情况中，在方框410扫描的目标区域可以是围绕该已知位置的区域。
随后，在方框412，判定在目标区域信息中是否检测到交通信号。如果检测到交通信号，则在方框408和410可分别确定交通信号的状态和控制命令。在一个示例中，控制命令对于预期有交通信号的情况和未预期有交通信号的情况可以不同。如果未检测到交通信号，则车辆可减速，并且在方框414可确定额外信息。例如，车辆可确定关于交通和附近的交叉车流的行为的信息或者向车辆的乘客或驾驶员请求更多信息。在方框416，可调整目标区域。例如，可以将目标区域加宽，并且在方框410可以重扫描目标区域。在一些情况中，加宽目标区域可使得能够检测到临时迁移位置的交通信号和或在风中摇摆的交通信号。
图5a-5c是扫描目标区域的车辆500的更多示例概念图示。在一些示例中，车辆500可扫描多个目标区域。如图5a所示，车辆500可扫描第一目标区域502和第二目标区域504。在一种情况中，除了道路上方以外还扫描邻近道路的一个或多个区域可使得能够检测更多交通信号或者除了交通信号以外的物体。例如，可以检测由于人行横道、施工警告、铁路道口而闪烁的交通信号或其他信息。
如图5b所示，在已知关于交通信号的预期位置的更精确信息的情况中，除了目标区域502以外还可扫描子区域506。如图5c所示，在预期交通信号的位置已被移动的情况中，在子区域506内可能检测不到交通信号。然而，扫描更大的目标区域502可促进对新位置中的交通信号的检测。
现在将更详细描述以上示例方法的示例实施例可在其中实现的系统。一般地，示例系统可实现在车辆中或采取车辆的形式。车辆可采取若干种形式，例如包括汽车、轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、割草机、挖土机、雪地机动车、休旅车、游乐园车辆、农场设备、施工设备、电车、高尔夫球车、火车和有轨电车。其他车辆也是可能的。
另外，另一示例系统可采取非暂态计算机可读介质的形式，其上存储有程序指令，这些程序指令可被至少一个处理器执行来提供本文描述的功能。示例系统也可采取包括这种其上存储有这种程序指令的非暂态计算机可读介质的车辆或车辆的子系统的形式。
图6根据实施例示出了示例车辆600。具体地，图6示出了车辆600的右侧视图、前视图、后视图和顶视图。虽然车辆600在图6中被示为轿车，但其他实施例是可能的。例如，车辆600可表示卡车、厢式货车、半挂卡车、摩托车、高尔夫球车、越野车或者农场车辆，以及其他示例。如图所示，车辆600包括第一传感器单元602、第二传感器单元604、第三传感器单元606、无线通信系统608和相机610。
第一、第二和第三传感器单元602-606中的每一个可包括全球定位系统传感器、惯性测量单元、无线电检测和测距(radiodetectionandranging，radar)单元、激光测距仪、光检测和测距(lightdetectionandranging，lidar)单元、相机和声学传感器的任何组合。其他类型的传感器也是可能的。
虽然第一、第二和第三传感器单元602被示为安装在车辆600上的特定位置中，但在一些实施例中，传感器单元602可安装在车辆600上的别处，在车辆600内部或外部。另外，虽然只示出了三个传感器单元，但在一些实施例中，车辆600中可包括更多或更少的传感器单元。
在一些实施例中，第一、第二和第三传感器单元602-606中的一个或多个可包括一个或多个可移动底座，传感器可以可移动地安装在这些底座上。可移动底座可包括例如旋转平台。安装在旋转平台上的传感器可被旋转以使得传感器可获得来自车辆600周围的每个方向的信息。替换地或额外地，可移动底座可包括倾斜平台。安装在倾斜平台上的传感器可在特定的角度和/或方位范围内被倾斜以使得传感器可获得来自各种角度的信息。可移动底座也可采取其他形式。
另外，在一些实施例中，第一、第二和第三传感器单元602-606中的一个或多个可包括一个或多个致动器，其被配置为通过移动传感器和/或可移动底座来调整传感器单元中的传感器的位置和/或朝向。示例致动器包括电机、气动致动器、液压活塞、继动器、螺线管和压电致动器。其他致动器也是可能的。
无线通信系统608可以是被配置为直接地或者经由通信网络来无线地耦合到一个或多个其他车辆、传感器或其他实体的任何系统。为此，无线通信系统608可包括天线和芯片集，用于直接地或经由通信网络与其他车辆、传感器或其他实体通信。一般来说芯片集或无线通信系统608可被布置为根据一个或多个其他类型的无线通信(例如，协议)来通信，例如蓝牙、ieee802.11(包括任何ieee802.11修订版)中描述的通信协议、蜂窝技术(例如gsm、cdma、umts、ev-do、wimax或lte)、zigbee、专用短程通信(dedicatedshortrangecommunication，dsrc)以及射频识别(radiofrequencyidentification，rfid)通信，等等。无线通信系统608也可采取其他形式。
虽然无线通信系统608被示为位于车辆600的顶盖上，但在其他实施例中，无线通信系统608可以完全或部分地位于别处。
相机610可以是被配置为捕捉车辆600所位于的环境的图像的任何相机(例如，静止相机、视频相机等等)。为此，相机610可被配置为检测可见光，或者可被配置为检测来自光谱的其他部分的光，例如红外或紫外光。其他类型的相机也是可能的。相机610可以是二维检测器，或者可具有三维空间范围。在一些实施例中，相机610可以例如是测距器，其被配置为生成指示出从相机610到环境中的若干个点的距离的二维图像。为此，相机610可使用一个或多个测距技术。例如，相机610可使用结构化光技术，其中车辆600利用预定的光图案——例如网格或棋盘格图案——来照射环境中的物体，并且使用相机610来检测该预定光图案从物体的反射。基于反射的光图案中的失真，车辆600可确定到物体上的点的距离。预定的光图案可包括红外光，或者另一波长的光。作为另一示例，相机610可使用激光扫描技术，其中车辆600发射激光并且扫描环境中的物体上的若干个点。在扫描物体的同时，车辆600使用相机610来对于每个点检测激光从物体的反射。基于激光在每个点处从物体反射所花的时间长度，车辆600可确定到物体上的这些点的距离。作为另一示例，相机610可使用飞行时间技术，其中车辆600发射光脉冲并且使用相机610来检测在物体上的若干个点处光脉冲从物体的反射。具体地，相机610可包括若干个像素，并且每个像素可检测光脉冲从物体上的一点的反射。基于光脉冲在每个点处从物体反射所花的时间长度，车辆600可确定到物体上的这些点的距离。光脉冲可以是激光脉冲。其他测距技术也是可能的，包括立体三角测量、片光三角测量、干涉法以及编码孔径技术，等等。相机610也可采取其他形式。
在一些实施例中，相机610可包括如上所述的被配置为通过移动相机610和/或可移动底座来调整相机610的位置和/或朝向的可移动底座和/或致动器。
虽然相机610被示为安装在车辆600的前挡风玻璃内部，但在其他实施例中，相机610可安装在车辆600上的别处，在车辆600内部或外部。
除了所示出的那些以外，或者取代所示出的那些，车辆600可包括一个或多个其他组件。
图7是根据实施例的示例车辆700的简化框图。车辆700例如可类似于以上联系图6描述的车辆600。车辆700也可采取其他形式。
如图所示，车辆700包括推进系统702、传感器系统704、控制系统706、外围设备708和包括处理器712、数据存储装置714和指令716的计算机系统710。在其他实施例中，车辆700可包括更多、更少或不同的系统，并且每个系统可包括更多、更少或不同的组件。此外，可按任意数目的方式来组合或分割所示出的系统和组件。
推进系统702可被配置成为车辆700提供动力运动。如图所示，推进系统702包括引擎/电机718、能量源720、传动装置722和车轮/轮胎724。
引擎/电机718可以是或者包括内燃引擎、电动机、蒸汽机和斯特林引擎的任何组合。其他电机和引擎也是可能的。在一些实施例中，推进系统702可包括多种类型的引擎和/或电机。例如，气电混合动力车可包括汽油引擎和电动机。其他示例是可能的。
能量源720可以是完全或部分地为引擎/电机718提供动力的能量的来源。也就是说，引擎/电机718可被配置为将能量源720转换成机械能量。能量源720的示例包括汽油、柴油、丙烷或者其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。(一个或多个)能量源720可以额外地或替换地包括燃料箱、电池、电容器和/或飞轮的任何组合。在一些实施例中，能量源720也可以为车辆700的其他系统提供能量。
传动装置722可被配置为把机械动力从引擎/电机718传送到车轮/轮胎724。为此，传动装置722可包括变速箱、离合器、差速器、驱动轴和/或其他元件。在传动装置722包括驱动轴的实施例中，驱动轴可包括被配置为耦合到车轮/轮胎724的一个或多个轴。
车辆700的车轮/轮胎724可配置为各种形式，包括单轮车、两轮车/摩托车、三轮车或者轿车/卡车的四轮形式。其他车轮/轮胎形式也是可能的，例如包括六个或更多个车轮的那些。在任何情况下，车辆700的车轮/轮胎724可被配置为相对于其他车轮/轮胎724差速地旋转。在一些实施例中，车轮/轮胎724可包括固定地附着到传动装置722的至少一个车轮和耦合到车轮的边缘的可与驱动面接触的至少一个轮胎。车轮/轮胎724可包括金属和橡胶的任何组合，或者其他材料的组合。
推进系统702可以额外地或替换地包括除了所示出的那些以外的组件。
传感器系统704可包括被配置为感测关于车辆700所位于的环境的信息的若干个传感器，以及被配置为修改传感器的位置和/或朝向的一个或多个致动器736。如图所示，传感器系统的传感器包括全球定位系统(globalpositioningsystem，gps)726、惯性测量单元(inertialmeasurementunit，imu)728、radar单元730、激光测距仪和/或lidar单元732以及相机734。传感器系统704也可包括额外的传感器，包括例如监视车辆700的内部系统的传感器(例如，o2监视器、燃油量表、机油温度，等等)。其他传感器也是可能的。
gps726可以是被配置为估计车辆700的地理位置的任何传感器。为此，gps726可包括被配置为估计车辆700相对于地球的位置的收发器。gps726也可采取其他形式。
imu728可以是被配置为基于惯性加速度来感测车辆700的位置和朝向变化的传感器的任何组合。在一些实施例中，传感器的组合可包括例如加速度计和陀螺仪。传感器的其他组合也是可能的。
radar单元730可以是被配置为利用无线电信号来感测车辆700所位于的环境中的物体的任何传感器。在一些实施例中，除了感测物体以外，radar单元730还可额外地被配置为感测物体的速度和/或前进方向。
类似地，激光测距仪或lidar单元732可以是被配置为利用激光来感测车辆700所位于的环境中的物体的任何传感器。具体地，激光测距仪或lidar单元732可包括被配置为发射激光的激光源和/或激光扫描仪和被配置为检测激光的反射的检测器。激光测距仪或lidar单元732可被配置为在相干(例如，利用外差检测)或非相干检测模式中操作。
相机734可以是被配置为捕捉车辆700所位于的环境的图像的任何相机(例如，静止相机、视频相机，等等)。为此，相机可采取上述任何形式。
传感器系统704可以额外地或替换地包括除了所示出的那些以外的组件。
控制系统706可被配置为控制车辆700及其组件的操作。为此，控制系统706可包括转向单元738、油门740、刹车单元742、传感器融合算法744、计算机视觉系统746、导航或路线控制系统748以及障碍物避免系统750。
转向单元738可以是被配置为调整车辆700的前进方向的机构的任何组合。
油门740可以是被配置为控制引擎/电机718的运转速度并进而控制车辆700的速度的机构的任何组合。
刹车单元742可以是被配置为将车辆700减速的机构的任何组合。例如，刹车单元742可使用摩擦力来减慢车轮/轮胎724。作为另一示例，刹车单元742可将车轮/轮胎724的动能转换为电流。刹车单元742也可采取其他形式。
传感器融合算法744可以是被配置为接受来自传感器系统704的数据作为输入的算法(或者存储算法的计算机程序产品)。该数据可包括例如表示在传感器系统704的传感器处感测的信息的数据。传感器融合算法744可包括例如卡尔曼滤波器、贝叶斯网络或者另外的算法。传感器融合算法744还可被配置为基于来自传感器系统704的数据来提供各种评价，包括例如对车辆700所位于的环境中的个体物体和/或特征的评估、对特定情形的评估和/或基于特定情形对可能影响的评估。其他评价也是可能的。
计算机视觉系统746可以是被配置为处理和分析由相机734捕捉的图像以便识别车辆700所位于的环境中的物体和/或特征的任何系统，所述物体和/或特征包括例如交通信号和障碍物。为此，计算机视觉系统746可使用物体识别算法、运动中恢复结构(structurefrommotion，sfm)算法、视频跟踪或其他计算机视觉技术。在一些实施例中，计算机视觉系统746可以额外地被配置成为环境绘制地图、跟踪物体、估计物体的速度，等等。
导航和路线控制系统748可以是被配置为确定车辆700的驾驶路线的任何系统。导航和路线控制系统748可以额外地被配置为在车辆700处于运转中的同时动态地更新驾驶路线。在一些实施例中，导航和路线控制系统748可被配置为结合来自传感器融合算法744、gps726和一个或多个预定地图的数据以为车辆700确定驾驶路线。
障碍物避免系统750可以是被配置为识别、评估和避免或者以其他方式越过车辆700所位于的环境中的障碍物的任何系统。
控制系统706可以额外地或替换地包括除了所示出的那些以外的组件。
外围设备708可被配置为允许车辆700与外部传感器、其他车辆和/或用户交互。为此，外围设备708可包括例如无线通信系统752、触摸屏754、麦克风756和/或扬声器758。
无线通信系统752可采取上述形式中的任何一种。
触摸屏754可被用户用来向车辆700输入命令。为此，触摸屏754可被配置为经由电容感测、电阻感测或者表面声波处理等等来感测用户的手指的位置和移动中的至少一个。触摸屏754可能够感测在与触摸屏表面平行或共面的方向上、在与触摸屏表面垂直的方向上或者在这两个方向上的手指移动，并且还可能够感测施加到触摸屏表面的压力的水平。触摸屏754可由一个或多个半透明或透明绝缘层和一个或多个半透明或透明导电层形成。触摸屏754也可采取其他形式。
麦克风756可被配置为从车辆700的用户接收音频(例如，语音命令或其他音频输入)。类似地，扬声器758可被配置为向车辆700的用户输出音频。
外围设备708可以额外地或替换地包括除了所示出的那些以外的组件。
计算机系统710可被配置为向推进系统702、传感器系统704、控制系统706和外围设备708中的一个或多个发送数据和从它们接收数据。为此，计算机系统710可以通过系统总线、网络和/或其他连接机构(未示出)通信地链接到推进系统702、传感器系统704、控制系统706和外围设备708中的一个或多个。
计算机系统710还可被配置为与推进系统702、传感器系统704、控制系统706和/或外围设备708的一个或多个组件交互并控制这些组件。例如，计算机系统710可被配置为控制传动装置722的操作以提高燃料效率。作为另一示例，计算机系统710可被配置为使得相机734捕捉环境的图像。作为另外一个示例，计算机系统710可被配置为存储并执行与传感器融合算法744相对应的指令。作为又一个示例，计算机系统710可被配置为存储并执行用于在触摸屏754上显示出显示屏的指令。其他示例也是可能的。
如图所示，计算机系统710包括处理器712和数据存储装置714。处理器712可包括一个或多个通用处理器和/或一个或多个专用处理器。就处理器712包括多于一个处理器来说，这种处理器可以单独工作或者组合工作。数据存储装置714进而可包括一个或多个易失性和/或一个或多个非易失性存储组件，例如光、磁和/或有机存储装置，并且数据存储装置714可以全部或部分与处理器712集成。
在一些实施例中，数据存储装置714可包含指令716(例如，程序逻辑)，指令716可被处理器712执行来执行各种车辆功能，包括以上联系图1描述的那些。另外，数据存储装置714可包含对于车辆700的约束760，约束760可采取上述任何形式。数据存储装置714也可包含额外的指令，包括向推进系统702、传感器系统704、控制系统706和外围设备708中的一个或多个发送数据、从推进系统702、传感器系统704、控制系统706和外围设备708中的一个或多个接收数据、与推进系统702、传感器系统704、控制系统706和外围设备708中的一个或多个交互和/或控制推进系统702、传感器系统704、控制系统706和外围设备708中的一个或多个的指令。
计算机系统702可以额外地或替换地包括除了所示出的那些以外的组件。
如图所示，车辆700还包括电源710，其可被配置为向车辆700的一些或所有组件提供电力。为此，电源710可包括例如可再充电锂离子或铅酸电池。在一些实施例中，一个或多个电池组可被配置为提供电力。其他电源材料和配置也是可能的。在一些实施例中，电源710和能量源720可一起实现，如一些全电动车中那样。
在一些实施例中，推进系统702、传感器系统704、控制系统706和外围设备708中的一个或多个可被配置为与其各自系统内和/或外的其他组件以互连的方式工作。
另外，除了所示出的那些或者取代所示出的那些，车辆700可包括一个或多个元件。例如，车辆700可包括一个或多个额外的接口和/或电源。其他额外的组件也是可能的。在这种实施例中，数据存储装置714还可包括可被处理器712执行来控制这些额外组件和/或与这些额外组件通信的指令。
此外，虽然每个组件和系统被示为集成在车辆700中，但在一些实施例中，可以利用有线或无线连接将一个或多个组件或系统可移除地安装在车辆700上或者以其他方式(机械地或电气地)连接到车辆700。
车辆700也可采取其他形式。
在一些实施例中，公开的方法可实现为以机器可读格式编码在非暂态计算机可读存储介质上或者其他非暂态介质或制品上的计算机程序指令。图8是示出根据本文给出的至少一些实施例布置的包括用于在计算设备上执行计算机过程的计算机程序的示例计算机程序产品800的概念性部分视图的示意图。
在一个实施例中，利用信号承载介质802来提供示例计算机程序产品800。信号承载介质802可包括一个或多个编程指令804，这些编程指令804在被一个或多个处理器执行时可提供以上参考图1-7描述的功能或功能的部分。
在一些实施例中，信号承载介质802可包含计算机可读介质806，例如但不限于硬盘驱动器、致密盘(compactdisc，cd)、数字视频盘(digitalvideodisk，dvd)、数字磁带、存储器，等等。另外，在一些实施例中，信号承载介质802可包含计算机可记录介质808，例如但不限于存储器、读/写(r/w)cd、r/wdvd，等等。此外，在一些实施例中，信号承载介质802可包含通信介质810，例如但不限于数字和/或模拟通信介质(例如，光缆、波导、有线通信链路、无线通信链路，等等)。从而，例如，信号承载介质802可由无线形式的通信介质810来传达。
一个或多个编程指令804可以例如是计算机可执行和/或逻辑实现的指令。在一些示例中，例如图7的计算系统710那样的计算系统可被配置为响应于编程指令804被计算机可读介质806、计算机可记录介质808和/或通信介质810中的一个或多个传达到计算系统710而提供各种操作、功能或动作。
应当理解，本文描述的布置只是用于示例的。这样，本领域技术人员将会明白，可以改为使用其他布置和其他元件(例如，机器、接口、功能、顺序和功能的群组，等等)，并且根据期望的结果可以完全省略一些元件。另外，所描述的元件中的许多是可实现为分立或分布式组件或者可按任何适当的组合和位置与其他组件结合实现的功能实体。
虽然本文已公开了各种方面和实施例，但本领域技术人员将清楚其他方面和实施例。本文公开的各种方面和实施例是用于说明的，而并不打算进行限定，真实和范围和精神由所附权利要求指示。