基于感知数据在交叉口处自主驾驶的制作方法

本公开总体上涉及用于自动驾驶或用于辅助驾驶员的方法、系统和装置，并且更具体地涉及用于利用周围车辆的行为的预测建模在交叉口处自主决策的方法、系统和装置，周围车辆的行为的预测建模通过感知车辆运动、转向信号、驾驶员肢体语言和/或关于车辆的过去状态的车辆与车辆(V2V)或车辆与基础设施(V2X)信息来实现。

背景技术：

机动车辆为商业、政府和私营企业提供很大一部分运输。自主车辆和驾驶辅助系统目前正在被开发和部署以提供安全性、减少所需的用户输入的量、或甚至完全消除用户参与。例如，一些驾驶辅助系统，例如防撞系统，当人正在驾驶时可以监测车辆和其他对象的行驶、位置和速度。当系统检测到碰撞或撞击即将发生时，防撞系统可以干预并施加制动，使车辆转向，或执行其他避免或安全操纵。作为另一个示例，自主车辆可以在很少或没有用户输入的情况下驾驶和导航车辆。然而，由于驾驶涉及的危险和车辆的费用，非常重要的是，即使在自主车辆和人驾驶的车辆都存在的情况下，自主车辆和驾驶辅助系统安全地操作并且能够准确地导航道路并避开其他车辆。

技术实现要素：

根据本发明，提供一种系统，该系统包含：

交叉口部件，该交叉口部件被配置为确定母车辆在交叉口附近；

摄像机系统，该摄像机系统被配置为拍摄邻近车辆的图像；

边界部件，该边界部件被配置为识别图像包含邻近车辆上的转向信号指示器的子部分；以及

预测部件，该预测部件被配置为基于转向信号指示器的状态来预测邻近车辆通过交叉口的未来运动。

根据本发明的一个实施例，进一步包含转向信号部件，该转向信号部件被配置为处理图像的子部分中的图像数据以确定转向信号指示器的状态。

根据本发明的一个实施例，该系统进一步包含先前状态部件，该先前状态部件被配置为基于指示邻近车辆的一个或多个先前状态的无线通信来确定邻近车辆的一个或多个先前状态，其中预测部件被配置为基于邻近车辆的一个或多个先前状态来预测邻近车辆的未来运动。

根据本发明的一个实施例，其中无线通信包含车辆与车辆(V2V)通信和车辆与基础设施(V2X)通信中的一个或多个。

根据本发明的一个实施例，其中一个或多个先前状态指示邻近车辆已经位于交叉口附近的持续时间。

根据本发明的一个实施例，该系统进一步包含车辆运动部件，该车辆运动部件被配置为确定邻近车辆的一个或多个车辆运动，其中预测部件被配置为基于邻近车辆的一个或多个车辆运动来预测邻近车辆的未来运动。

根据本发明的一个实施例，其中边界部件被进一步配置为识别图像对应于驾驶员的位置的子部分，该系统进一步包含肢体语言部件，该肢体语言部件被配置为通过识别驾驶员的头部取向、视线方向和姿势中的一个或多个来检测驾驶员的肢体语言，其中预测部件被配置为基于驾驶员的肢体语言来预测邻近车辆的未来运动。

根据本发明，提供一种计算机实施的方法，该方法包含：

接收交叉口附近的邻近车辆的图像并且将图像存储在计算机存储器中；

利用一个或多个处理器来识别图像包含邻近车辆上的转向信号指示器的子部分；

利用一个或多个处理器来识别图像包含邻近车辆的驾驶员的子部分；

利用一个或多个处理器基于转向信号指示器的状态和驾驶员的肢体语言来预测邻近车辆通过交叉口的未来运动；

利用一个或多个处理器基于邻近车辆的预测到的未来运动来确定母车辆行进通过交叉口的时间；以及

使母车辆基于所确定的行进通过交叉口的时间来执行驾驶操纵。

根据本发明的一个实施例，该方法进一步包含确定母车辆在交叉口附近。

根据本发明的一个实施例，该方法进一步包含处理图像包含转向信号指示器的子部分中的图像数据以确定转向信号指示器的状态并且处理图像包含邻近车辆的驾驶员的子部分中的图像数据以确定驾驶员的肢体语言。

根据本发明的一个实施例，其中确定驾驶员的肢体语言包含识别驾驶员的头部取向、视线方向和姿势中的一个或多个。

根据本发明的一个实施例，进一步包含基于无线通信来确定邻近车辆的一个或多个先前状态，其中预测邻近车辆的未来运动包含基于邻近车辆的一个或多个先前状态来预测。

根据本发明的一个实施例，其中无线通信包含车辆与车辆(V2V)通信和车辆与基础设施(V2X)通信中的一个或多个。

根据本发明的一个实施例，该方法进一步包含检测邻近车辆的一个或多个车辆运动，其中预测邻近车辆的未来运动包含基于邻近车辆的一个或多个车辆运动来预测。

根据本发明的一个实施例，该方法进一步包含访问或处理将转向信号指示器的状态和驾驶员的肢体语言与预测的未来运动相关联的模型或数据库。

根据本发明的一个实施例，其中模型或数据库包含基于一个或多个车辆的运动、驾驶员肢体语言和在先前的交叉口驾驶情景期间的转向信号信息的机器学习值或相关性。

根据本发明，提供一种计算机可读存储介质，该计算机可读存储介质存储指令，当该指令由一个或多个处理器执行时，该指令使处理器：

确定母车辆在交叉口附近；

拍摄邻近车辆的多个图像；

识别多个图像中的每一个包含邻近车辆上的转向信号指示器的子部分；以及

基于转向信号指示器的状态来预测邻近车辆通过交叉口的未来运动。

根据本发明的一个实施例，其中该指令进一步使处理器处理多个图像的子部分中的图像数据以确定转向信号指示器的状态。

根据本发明的一个实施例，其中该指令进一步使处理器：

基于指示邻近车辆的一个或多个先前状态的无线通信来确定邻近车辆的一个或多个先前状态；以及

基于邻近车辆的一个或多个先前状态来预测邻近车辆的未来运动。

根据本发明的一个实施例，其中指令进一步使处理器：

识别图像对应于驾驶员的位置的子部分；

通过识别驾驶员的头部取向、视线方向和姿势中的一个或多个来检测驾驶员的肢体语言；以及

基于驾驶员的肢体语言来预测邻近车辆的未来运动。

附图说明

本发明的非限制性和非穷尽性的实施方式参照以下附图进行描述，贯穿几个视图，附图中相同的附图标记指代相同的部件，除非另有说明。参考以下说明书和附图，本发明的优点将变得更好理解，附图中：

图1是说明包括自动驾驶/辅助系统的车辆控制系统的实施方式的示意性框图；

图2说明了车辆的透视图；

图3是说明示例道路环境的俯视图的示意图；

图4是根据一个实施方式说明未来车辆运动的预测的示意性框图；

图5是根据一个实施方式说明驾驶员意图部件的示例部件的示意性框图；

图6是根据一个实施方式说明用于预测车辆运动的方法的示意性框图；以及

图7是根据一个实施方式说明用于预测车辆运动的另一种方法的示意性框图。

具体实施方式

申请人已经认识到，第一代自主车辆必须在人类驾驶员存在下安全地驾驶。具体地，交叉口——包括四向停靠点——是自主车辆处理的更具挑战性的情景之一，因为关于何时进入交叉口的决定必须在人类驾驶员存在下根据具体情况而做出，人类驾驶员的行为不是标准化的。

因此，期望的是，这些自主车辆能够预测周围车辆的运动，即使它们是人驾驶的。申请人已经认识到，基于其他车辆的运动、驾驶员的肢体语言、车辆转向信号(或没有)以及无线通信(例如车辆与车辆(V2V)或车辆与基础设施(V2X))，自主车辆可以更精确地预测人类驾驶员将做什么或打算做什么。例如，自主车辆可以解释人类驾驶员的肢体语言或者关于与自主车辆不同的车辆的其他上述信息。因此，自主车辆不依赖于其他车辆或其他车辆的驾驶员提供关于人类驾驶员打算做什么的特定信息。此外，自主车辆能够适应人类驾驶员的相比于自主驾驶系统中的更标准化的行为可能不可预测的动作。

本公开提出了用于自主驾驶系统或驾驶辅助系统以利用来自V2V或V2X的信息、来自感知系统的关于其他车辆中的驾驶员的肢体语言的信息、以及其他车辆的运动和转向信号的系统、方法和装置，来自V2V或V2X的信息包括关于不能单独经由感知而知道的其他车辆的过去状态的信息。这些各种类型的信息可以被融合以形成关于在交叉口处的其他车辆的运动的预测。这些预测然后可以帮助自主决定是等待还是进入交叉口的过程。在一个实施例中，神经网络或其他模型可以被训练以将车辆的过去运动、驾驶员肢体语言、当前车辆运动和/或转向信号信息与这些周围车辆的一个或多个预期的后续运动相关联。感知可以通过摄像机、光测距和检测(LIDAR)、雷达、超声或其他距离传感器来进行以帮助确定给定的摄像机图像内的关注区域。

在一个实施例中，感知算法连同经由V2V或V2X通信获得的过去车辆状态提供其他车辆的位置并且利用该信息来跟踪车辆。在一个实施例中，系统可以识别关注区域以提取与驾驶员意图有关的信息，例如头部取向、视线方向、转向信号和车辆运动。根据一个实施例，自主车辆可以在所有数据传感器的当前360度画面内定位车辆。自主车辆可以确定图像上将找到那些车辆的驾驶员的区域周围的边界框并且将边界框内的图像数据和距离传感器数据提供至算法，该算法将估计驾驶员头部取向和视线方向并且还识别驾驶员姿势。该信息可以被解释以确定就预测的其他车辆的后续车辆运动而言的驾驶员意图。这些预测可以被考虑以决定何时进入交叉口。

在一个实施例中，用于基于肢体语言或其他信息来预测人类驾驶员将做什么的预测算法可以是硬编码的，或者可以利用人工智能来学习和修改。例如，在驾驶事件期间人类驾驶员的姿势或肢体语言可以被监测或学习，并且然后姿势或肢体语言可以与产生的车辆运动或车辆运动的时间相关联。

在下面的公开内容中，参考附图，附图形成公开的一部分并且在附图中通过例证示出可以实践本发明的特定实施方式。应当理解的是，在不脱离本发明的范围的前提下，可以利用其他实施方式并且可以进行结构变化。说明书中引用“一个实施例”、“一实施例”，“一个示例实施例”等表明所描述的实施例可以包括特定特征、结构或特性，但每一个实施例可能未必包括特定特征、结构或特性。另外，这样的短语未必是指同一实施例。此外，当特定特征、结构、或特性关于一个实施例进行描述时，可以主张的是，无论是否明确描述，关于其他实施例改变这样的特征、结构或特性在本领域技术人员的知识的范围之内。

如本文所使用的，“自主车辆”可以是完全不受人类驾驶员的支配作用或操作的车辆；或者可以是在一些情况下不受人类驾驶员的支配作用或操作而在其他情况下人类驾驶员能够操作车辆的车辆；或者可以是主要由人类驾驶员但在自动驾驶/辅助系统的辅助下操作的车辆。

本文所公开的系统、装置和方法的实施方式可以包含或利用专用或通用计算机，专用或通用计算机包括计算机硬件，诸如，例如，一个或多个处理器和系统存储器，如下面更详细讨论的。在本发明的范围内的实施方式还可以包括用于承载或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可以由通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(装置)。承载计算机可执行指令的计算机可读介质是传输介质。因此，举例来说，而非限制，本发明的实施方式可以包含至少两种明显不同种类的计算机可读介质：计算机存储介质(装置)和传输介质。

计算机存储介质(装置)包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、只读光盘存储器(CD-ROM)、固态驱动器(“SSD”)(例如，基于RAM)、闪速存储器、相变存储器(“PCM”)、其他类型的存储器、其它光盘存储器、磁盘存储器或其它磁性存储设备、或者可以被用于存储以计算机可执行指令或数据结构的形式的所需的程序代码手段并且可以由通用或专用计算机访问的任何其它介质。

本文所公开的装置、系统和方法的实施方式可以在计算机网络上进行通信。“网络”被定义为允许电子数据在计算机系统和/或模块和/或其他电子设备之间传输的一个或多个数据链路。当信息通过网络或另一通信连接(硬线连接、无线、或硬线连接或无线的组合)被传送或提供至计算机时，计算机适当地将该连接视为传输介质。传输介质可以包括网络和/或数据链路，网络和/或数据链路可以被用于承载以计算机可执行指令或数据结构的形式的所需的程序代码手段并且可以由通用或专用计算机来访问。上述组合也应该被包括在计算机可读介质的范围之内。

计算机可执行指令包含例如指令和数据，当该指令和数据在处理器中执行时，使通用计算机、专用计算机、或专用处理设备来执行某些功能或功能组。计算机可执行指令可以是例如二进制、例如汇编语言的中间格式指令、或甚至源代码。虽然本发明主题已经以针对结构特征和/或方法论动作的语言进行了描述，但是应当理解的是，在所附权利要求中限定的发明主题不一定局限于所描述的特征或以上所述的动作。相反，所描述的特征和动作被公开作为实施权利要求的示例形式。

本领域技术人员将领会的是，本发明可以在网络计算环境中通过许多类型的计算机系统配置来实践，包括仪表板计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持式设备、多处理器系统、基于微处理器或可编程的消费者电子产品、网络个人电脑(PC)、小型计算机、大型计算机、移动电话、个人数字助理(PDA)、平板电脑、寻呼机、路由器、交换机、各种存储设备和诸如此类。本发明也可以在本地和远程计算机系统都执行任务的分布式系统环境中实践，本地和远程计算机系统通过网络链接(或者通过硬线数据链路、无线数据链路或者通过硬线和无线数据链路的组合)。在分布式系统环境中，程序模块可以位于本地和远程存储器存储设备中。

此外，在适当情况下，本文所描述的功能可以在下列中的一种或多种中执行：硬件、软件、固件、数字部件、或模拟部件。例如，一个或多个专用集成电路(ASIC)可以被编程为执行本文所描述的系统和程序中的一个或多个。在整个以下说明书和权利要求书中，某些术语被用来指代特定的系统部件。本领域技术人员将领会的是，部件可以通过不同的名称来称呼。本文不旨在区分名称不同但作用相同的部件。

现在参照附图，图1说明了车辆控制系统100，车辆控制系统100包括自动驾驶/辅助系统102。自动驾驶/辅助系统102可以被用于自动或控制车辆——例如，小汽车、卡车、厢式货车、公共汽车、大卡车、应急车辆或用于运输人或货物的任何其他机动车辆——的操作，或给人类驾驶员提供辅助。例如，自动驾驶/辅助系统102可以控制制动、转向、加速、灯、警报、驾驶员通知、无线电或车辆的任何其它辅助系统中的一个或多个。在另一个示例中，自动驾驶/辅助系统102可能无法提供对驾驶(例如，转向、加速或制动)的任何控制，但可以提供通知和警报以帮助人类驾驶员安全地驾驶。自动驾驶/辅助系统102包括驾驶员意图部件104，驾驶员意图部件104可以基于下列中的一个或多个来预测不同车辆的未来运动：V2V或V2X通信、转向信号指示器、驾驶员肢体语言以及车辆运动。例如，驾驶员意图部件104可以基于转向信号状态、驾驶员姿势、驾驶员视线方向、和/或驾驶员头部取向来估计不同车辆(例如，不包括车辆控制系统100的车辆)的驾驶员的意图。

车辆控制系统100还包括用于检测附近对象的存在或确定母车辆(例如，包括车辆控制系统100的车辆)或附近对象的位置的一个或多个传感器系统/设备。例如，车辆控制系统100可以包括一个或多个雷达系统106、一个或多个LIDAR系统108、一个或多个摄像机系统110、全球定位系统(GPS)112和/或一个或多个超声系统114。车辆控制系统100可以包括数据存储器116，用于存储用于导航和安全性的相关或有用数据，例如地图数据、驾驶历史或其他数据。车辆控制系统100还可以包括用于与移动或无线网络、其他车辆、基础设施或任何其它通信系统进行无线通信的收发器118。车辆控制系统100可以包括车辆控制致动器120以控制车辆的驾驶的各个方面，例如电动马达、开关或其它致动器，以控制制动、加速、转向或诸如此类。车辆控制系统100还可以包括一个或多个显示器122、扬声器124、或其它设备以便可以向人类驾驶员或乘客提供通知。显示器122可以包括抬头显示器、仪表板显示器或指示器、显示屏幕、或任何其它视觉指示器，其可以被车辆的驾驶员或乘客看到。扬声器124可以包括车辆的音响系统的一个或多个扬声器，或者可以包括专用于驾驶员通知的扬声器。

可以领会的是，图1的实施例仅通过举例的方式给出。在不脱离本发明的范围的前提下，其他实施例可以包括更少或附加的部件。此外，示出的部件可以被组合或包括在其它部件内，而非限制。例如，驾驶员意图部件104可以与自动驾驶/辅助系统102分开并且数据存储器116可以被包括作为自动驾驶/辅助系统102的一部分和/或驾驶员意图部件104的一部分。

雷达系统106可以包括本领域中公知的任何雷达系统。一般情况下，雷达系统106通过发送无线电信号和探测对象的反射来操作。在地面应用中，雷达可以被用于探测物理对象，例如其他车辆、停车障碍或停车轮挡、风景(例如树、悬崖、岩石、山或诸如此类)、道路边缘、标志、建筑物或其他对象。雷达系统106可以利用反射的无线电波来确定关于物理对象或材料的大小、形状、距离、表面纹理、或其他信息。例如，雷达系统106可以扫描区域以获得特定范围和雷达系统106的视角内关于对象的数据。在一个实施例中，雷达系统106被配置为生成来自车辆附近的区域——例如车辆附近或周围的一个或多个区域——的感知信息。例如，雷达系统106可以获取关于紧邻或靠近车辆的地面或垂直区域的区域的数据。雷达系统106可以包括许多广泛市售的雷达系统之一。在一个实施例中，雷达系统106可以将包括二维或三维地图或模型的感知数据提供到自动驾驶/辅助系统102，以供参考或处理。

LIDAR系统108可以包括本领域的任何LIDAR系统。一般情况下，LIDAR系统108通过发射可见波长或红外波长激光并探测从对象反射的激光来操作。在地面应用中，激光可以被用于探测物理对象，例如其他车辆、停车障碍或停车轮挡、风景(例如树、悬崖、岩石、山或诸如此类)、道路边缘、标志、建筑物或其他对象。LIDAR系统108可以利用反射的激光来确定关于物理对象或材料的大小、形状、距离、表面纹理、或其他信息。例如，LIDAR系统108可以扫描区域以获取LIDAR系统108的特定范围和视角内的数据或对象。例如，LIDAR系统108可以获取关于紧邻或靠近车辆的地面或垂直区域的区域的数据。LIDAR系统108可以包括许多广泛市售的LIDAR系统之一。在一个实施例中，LIDAR系统108可以提供包括探测到的对象或表面的二维或三维模型或地图的感知数据。

摄像机系统110可以包括一个或多个摄像机，例如可见波长摄像机或红外摄像机。摄像机系统110可以提供视频馈送或周期性图像，该视频馈送或周期性图像可以被处理用于对象检测、道路识别和定位、或其他检测或定位。在一个实施例中，摄像机系统110可以包括两个或更多个摄像机，该两个或更多个摄像机可以被用于提供视野内对象的测距(例如，检测距离)。在一个实施例中，图像处理可以被用于拍摄的摄像机图像或视频上以检测车辆、转向信号、驾驶员、驾驶员的姿势和/或肢体语言。在一个实施例中，摄像机系统100可以包括获取车辆周围的两个或更多个方向的图像的摄像机。

GPS系统112是可以基于卫星或无线电塔信号来提供车辆的地理位置的定位系统的一个实施例。GPS系统112是公知的并且在本领域中广泛可用的。虽然GPS系统112可以提供非常准确的定位信息，但是GPS系统112总体上提供关于车辆与其他对象之间的距离的很少的信息或不提供关于车辆与其他对象之间的距离的信息。相反，它们仅提供位置，该位置然后可以与其它数据——例如地图——进行比较以确定与其他对象、道路、或关注的位置的距离。

超声系统114可以被用于利用超声波来检测对象或车辆与对象之间的距离。例如，超声系统114可以从车辆的保险杠或侧板位置上或附近的位置发射超声波。超声波——其可以通过空气传播短距离——可以从其它对象反射并且被超声系统114检测到。基于发射和反射的超声波的接收之间的时间的量，超声系统114可以能够检测保险杠或侧板与任何其它对象之间的准确距离。由于其较短的范围，超声系统114对于在驻车期间检测对象或在行驶期间检测即将发生的碰撞可能更有用。

在一个实施例中，雷达系统106、LIDAR系统108、摄像机系统110和超声系统114可以检测车辆附近的环境属性或障碍物。例如，系统106-110和114可以检测其他车辆、行人、人、动物、多条车道、车道宽度、路肩宽度、路面曲率、道路方向曲率、停车振动带(rumble strip)、车道标记、交叉口的存在、道路标志、桥梁、天桥、障碍物、中央分离帯(median)、路缘、或关于道路的任何其他细节。作为另一示例，系统106-110和114可以检测环境属性，该环境属性包括关于道路附近的结构、对象或表面的信息，例如驾驶道、停车场、停车场出口/入口、人行道、通道、树木、栅栏、建筑物、停放的车辆(在道路上或道路附近)、门、标志、停车带或任何其它结构或对象的存在。

数据存储器116存储地图数据、驾驶历史和其他数据，该其他数据可以包括用于自动驾驶/辅助系统102的其他导航数据、设置或操作指令。地图数据可以包括道路、停车场、停车位、或车辆可以被驾驶或停放的其他位置的位置数据，例如GPS位置数据。例如，道路的位置数据可以包括特定车道的位置数据，例如车道方向、合并车道、公路或高速公路车道、出口车道或任何其他车道或道路的分支。位置数据也可以包括停车场中一个或多个停车位或沿着道路的停车位位置。在一个实施例中，地图数据包括关于道路或停车位置上或附近的一个或多个结构或对象的位置数据。例如，地图数据可以包括关于GPS标志位置、桥位置、建筑物或其他结构位置或诸如此类的数据。在一个实施例中，地图数据可以包括精度在几米范围内或在亚米精度范围内的准确位置数据。地图数据还可以包括用于陆地车辆可以行驶的路径、土路、或其他道路或路径的位置数据。

驾驶历史(或行驶历史)可以包括车辆的过去的行程或停车位置的位置数据。例如，驾驶历史可以包括用于先前进行的行程或路径的GPS位置数据。作为一个示例，驾驶历史可以包括关于车道线、标志、道路边界线或道路上或道路附近的其他对象或特征的距离或相对位置数据。距离或相对位置数据可以基于GPS数据、雷达数据、LIDAR数据、摄像机数据或在车辆先前或过去进行的行程期间收集到的其他传感器数据来确定。在一个实施例中，自动驾驶/辅助系统102被配置为将车辆进行的任何行程或驾驶的驾驶数据记录到数据存储器116中并且在车辆进行的任何行程或驾驶期间将驾驶数据记录到数据存储器116中。

收发器118被配置为从一个或多个其它数据或信号源接收信号。收发器118可以包括被配置为根据多种通信标准和/或使用多种不同的频率进行通信的一个或多个无线电装置。例如，收发器118可以从其他车辆接收信号。从另一车辆接收信号在此指代车辆与车辆(V2V)通信。在一个实施例中，收发器118也可以被用来将信息传送到其它车辆，以潜在辅助它们定位车辆或对象。在V2V通信期间，收发器118可以接收来自其他车辆有关其位置、先前位置或状态、其他交通、事故、道路条件、停车障碍或停车轮挡的位置、或可以辅助车辆和/或自动驾驶/辅助系统102准确或安全驾驶的任何其他详细信息。例如，收发器118可以接收更新的模型或算法以便通过驾驶员意图部件104用于检测车辆运动、转向信号、或另一车辆的驾驶员的肢体语言。

收发器118可以从固定位置处的其他信号源接收信号。基础设施收发器可以被定位在特定地理位置处并且可以传送带时间戳的其特定地理位置。因此，自动驾驶/辅助系统102可以能够基于时间戳来确定距基础设施收发器的距离，并且然后基于基础设施收发器的位置来确定其位置。在一个实施例中，从固定位置处的设备或塔接收或发送位置数据在此指代车辆与基础设施(V2X)通信。V2X通信也可以被用于提供关于其他车辆的位置、它们的先前状态或诸如此类的信息。例如，V2X通信可以包括关于在交叉口处车辆已停车或等待多长时间的信息。在一个实施例中，术语V2X通信也可以包含V2V通信。

在一个实施例中，收发器118可以经由移动网络或蜂窝连接来发送和接收位置数据。例如，随着车辆沿着道路行驶，收发器118可以接收特定区域的更新的位置数据。同样地，收发器118可以接收已沿着道路行驶或已停放在停车场该位置处或该停车位处的母车辆(parent vehicle)或其他车辆的历史驾驶数据。例如，收发器118可以接收表明标志、停车障碍或停车轮挡、或其他对象的位置的数据，该数据可以使用雷达系统106、LIDAR系统108、摄像机系统110、GPS系统112或超声系统114可探测到。如果收发器118能够接收来自三个或更多个基础设施收发器的信号，则自动驾驶/辅助系统102可以能够三角测量其地理位置。

在一个实施例中，收发器118可以发送和接收关于驾驶员的肢体语言的数据。例如，在事件期间检测到的一个或多个姿势或视线方向以及驾驶员的最终动作可以被更新到服务器进行处理作为驾驶员意图估计的机器学习的一部分。

在一个实施例中，自动驾驶/辅助系统102被配置为控制母车辆的驾驶或导航。例如，自动驾驶/辅助系统102可以控制车辆控制致动器120以在道路、停车场、通过交叉口、车道或其它位置的路径上行驶。例如，自动驾驶/辅助系统102可以基于由部件106-118中的任何一个提供的信息或感知数据来确定路径和行驶速度。作为另一个示例，自动驾驶/辅助系统102可以确定何时在交叉口处等待或行进、何时变道、何时为另一车辆变道留下空间、或诸如此类。

在一个实施例中，驾驶员意图部件104被配置为确定附近车辆的驾驶员的意图和/或预测在人类驾驶员的控制下车辆的未来运动和运动的时间。

图2说明了由车辆或自主车辆的摄像机或其他传感器拍摄的图像200。图像200包括具有人类驾驶员204的车辆202的透视图。例如，车辆202的视图可以在交叉口处或交叉口附近由摄像机拍摄。驾驶员意图部件104可以将车辆202识别为拍摄的图像200内的车辆。驾驶员意图部件104可以确定图像200的对应于驾驶员204的位置或可能位置的子区域206。例如，驾驶员意图部件104可以识别车辆202的驾驶员204通常就坐的一部分，例如驾驶员的座椅将被定位的位置等。

在一个实施例中，驾驶员意图部件104可以识别车辆202的一个或多个车窗，例如驾驶员侧车窗208和/或挡风玻璃210。在一个实施例中，驾驶员意图部件104可以基于驾驶员204的位置或可能位置、车辆202的一个或多个车窗208、210或通过检测驾驶员204的面部来限定车辆202的子区域206。包括驾驶员204可以位于或按理期望位于的位置的子区域206可以足够大以应对驾驶员204的运动(例如，驾驶员204的手臂和/或头部的运动)。通过选择或限定子区域206，驾驶员意图部件104可以降低计算容量，因为可以分析比整个图像200更小的面积或更少的像素来检测驾驶员204、视线方向、头部取向和/或姿势。

驾驶员意图部件104可以确定图像200上对应于转向信号指示器214的位置或可能位置的一个或多个子区域212。转向信号指示器214可以包括左或右闪光信号灯(blinker light)或指示未来转向、并道或变道的其他指示器。例如，驾驶员204可以具有控制器以激活或停用一个或多个转向信号以指示驾驶员204打算转向或驾驶车辆202的方向。在一个实施例中，驾驶员意图部件104可以通过识别前照灯(headlight)、尾灯、保险杠或诸如此类中的一个或多个来确定一个或多个子区域212。例如，驾驶员意图部件104可以识别车辆202上可能包括灯或转向信号指示器的区域。作为另一个示例，驾驶员意图部件104可以执行边缘检测和/或另一种算法以识别车辆202上的闪光信号灯、前照灯、尾灯、或诸如此类。驾驶员意图部件104可以限定转向信号指示器周围的边界，该边界可以被处理以检测转向信号指示器的状态(例如，信号是否正在闪烁、关闭、或诸如此类)。

在一个实施例中，驾驶员意图部件104可以确定包括驾驶员204和一个或多个转向信号指示器214的一个子区域。例如，驾驶员意图部件104可以确定车辆202包括驾驶员204和转向信号指示器214两者的单个子区域。在一个实施例中，驾驶员意图部件104可以选择图像200上包含车辆202的全部或大部分的子区域。例如，包括车辆202的子区域可以被处理以检测驾驶员204的肢体语言和指示器214的状态二者。

图3是道路300的示意性俯视图，车辆302在道路上行驶。车辆302可以包括图1的系统100。在一个实施例中，一个或多个传感器(例如摄像机系统110)可以收集道路300和车辆302周围的区域的感知数据。摄像机系统110、LIDAR系统108、雷达系统106或其它系统的观察区域可以在车辆302周围的任何方向或所有方向上延伸。车辆302或车辆302的驾驶员意图部件104可以接收来自传感器的感知数据并且检测车辆302的观察方向内其他车辆、对象、表面或诸如此类的存在。例如，车辆302可以检测车辆304并将车辆304识别为不同的车辆。

在一个实施例中，车辆302可以识别感知数据的对应于驾驶员将可能位于的位置——例如车辆的车窗或驾驶员将可能就坐的车辆的区域——的子部分。车辆302可以分析感知数据的子部分以推断驾驶员的意图。例如，车辆302或车辆302的驾驶员意图部件104可以推断驾驶员行驶、停止、等待或执行任何其他驾驶操纵的意图。在一个实施例中，车辆302可以识别感知数据的对应于转向信号位于或可能位于的位置的子部分，例如，在车辆304的前侧或后侧上或其附近、在保险杠附近、在前照灯或尾灯附近、或诸如此类。车辆302可以分析感知数据的子部分以确定转向信号指示器的状态。例如，车辆302或车辆302的驾驶员意图部件104可以确定车辆304的闪光信号灯关闭或打开并且可以确定对应于闪光信号灯的方向(例如，左或右)。车辆302可以基于转向信号指示器的状态来推断车辆304的驾驶员的意图。基于推断出的意图，车辆302可以减速、加速和/或转向以避免潜在碰撞。

除了感知数据之外，车辆302可以从存储的地图、存储的驾驶历史或从无线信号获取信息。例如，基础设施发射器306被示出在道路300附近，其可以向车辆302提供特定的定位、环境属性细节或其他信息。作为另外的示例，车辆302可以接收来自其他车辆(例如车辆304)或来自无线通信网络(例如移动通信网络)的信息。在一个实施例中，车辆302可以接收关于车辆304的过去状态或位置的信息。例如，车辆302可以从车辆304或基础设施收发器306接收车辆304已经在交叉口处等待的时间长度的指示。

图4是说明用于确定另一车辆中的驾驶员的意图的方法400的示意性框图。在402，获取感知数据，例如摄像机数据、LIDAR数据、雷达数据和超声数据，并且在404，驾驶员意图部件104基于感知数据来识别和定位车辆。例如，驾驶员意图部件104可以识别对应于车辆的观察区域的区域或对应于车辆的图像的区域。在406，驾驶员意图部件104找到包括车辆的驾驶员的关注区域。关注区域可以包括车窗、对应于驾驶员的座椅的车辆的区域、以及诸如此类。在408，驾驶员意图部件104还找到包括转向信号指示器的关注区域，例如前保险杠或后保险杠、前照灯和/或尾灯附近的区域。在410，驾驶员意图部件104估计头部姿势和视线方向，并且在412，执行姿势识别。在414，驾驶员意图部件104还确定转向信号状态。例如，在414，驾驶员意图部件104可以确定转向信号指示器是否关闭或正在闪烁。

在416，驾驶员意图部件104检测一个或多个车辆运动。例如，在416，可以检测加速事件、减速事件、停车事件、转向事件或车辆的任何其他运动。在418，驾驶员意图部件104还可以基于在420的V2V或V2X数据来确定检测到的车辆的一个或多个先前车辆状态。例如，先前车辆状态可以包括车辆已经在一位置处的时间长度、一个或多个先前位置、加速度、减速度或诸如此类。基于头部姿势、视线方向、检测到的姿势、转向信号状态、检测到的车辆运动和/或先前车辆状态，驾驶员意图部件104解释422驾驶员的意图和/或预测驾驶员的车辆的未来运动。

图5是根据一个实施例说明驾驶员意图部件104的部件的示意性框图。驾驶员意图部件104包括感知数据部件502、边界部件504、肢体语言部件506、转向信号部件508、先前状态部件510、车辆运动部件512、交叉口部件514、预测部件516和驾驶操纵部件518。部件502-518仅以说明的方式给出，并且可以不全部都被包括在所有实施例中。实际上，一些实施例可以包括部件502-518中的仅一个或两个或更多个的任何组合。部件502-518中的一些可以位于驾驶员意图部件104外部，例如在自动驾驶/辅助系统102内或其他地方。

感知数据部件502被配置为接收来自车辆的一个或多个传感器系统的传感器数据。例如，感知数据部件502可以接收来自雷达系统106、LIDAR系统108、摄像机系统110、GPS 112、超声系统114以及诸如此类的数据。在一个实施例中，感知数据可以包括车辆附近的一个或多个区域的感知数据。例如，车辆的传感器可以提供车辆周围的360度视野。在一个实施例中，摄像机系统110拍摄车辆的图像。例如，车辆可以接近驾驶员意图部件104的母车辆。在一个实施例中，摄像机系统110拍摄交叉口附近的邻近车辆的图像。

边界部件504被配置为识别感知数据的对应于车辆的驾驶员或车辆的驾驶员附近的区域的子区域。例如，边界部件504可以识别图像或其他传感器数据画面的将可能包含车辆的驾驶员(如果存在的话)的子区域。子区域可以足够大以允许驾驶员的运动，例如姿势。在一个实施例中，子区域可以对应于肢体语言算法可以被应用而不浪费处理容量来在它们可能不位于的区域中检测姿势或驾驶员的区域。

在一个实施例中，边界部件504被配置为在图像或其他感知数据内定位一个或多个车辆。例如，对象识别算法可以被用于将检测到的对象或障碍物识别车辆。在一个实施例中，边界部件504可以识别车辆的边界并且识别该区域中对应于车辆的像素或对象。边缘或边界发现图像处理算法可以被用于找到车辆的边缘。

在一个实施例中，边界部件504可以识别或限定图像上对应于车辆的驾驶员位于或可能位于的区域的子部分。在一个实施例中，边界部件504可以在车辆的边界内查找以定位或限定对应于驾驶员位置的边界。在一个实施例中，边界部件504被配置为基于一个或多个车窗的位置、车辆的驾驶员座椅或方向盘的位置和/或检测到的车辆中的人的位置来识别图像的子部分。在一个实施例中，边界部件504可以识别一个或多个车窗的边界或者可以估计车辆的驾驶员侧前座椅的位置。在一个实施例中，子区域可以对应于或包括车窗的边界。例如，子区域可以具有跟随一个或多个车窗的边界的边界。在一个实施例中，子区域可以具有稍大于驾驶员位于的可能区域的边界以允许运动或允许限定边界的误差。

在一个实施例中，边界部件504被配置为识别图像上包含车辆的转向信号指示器的子部分。例如，图像的子部分可以包括定位在车辆的前部、后部或任何其它位置上的转向信号指示灯。在一个实施例中，子部分可以包括保险杠上或其附近的区域、和/或车辆的前照灯或尾灯附近的区域。在一个实施例中，边界部件504可以利用对象识别或边缘检测图像处理算法来识别图像包含转向信号的子部分。例如，边界部件504可以识别指示灯、前照灯、尾灯或诸如此类的边缘或边界。在一个实施例中，边界部件504可以确定转向信号指示器周围的区域或者大于转向信号指示器的区域，以便即使边界没有被完全对齐或者在转向信号指示器上居中，转向信号指示器的状态也可以被准确地确定。

肢体语言部件506被配置为检测驾驶员的肢体语言。肢体语言部件506可以通过识别驾驶员的头部取向、视线方向和姿势中的一个或多个来检测驾驶员的肢体语言。头部取向可以是人的头部的取向。例如，头部取向可以描述驾驶员的面部所在的方向。头部取向可以被描述为相对于驾驶员意图部件104的母车辆的位置的一个或多个角度。例如，角度可以包括视线方向相对于在车辆的中心(或由自动驾驶/辅助系统102使用的其他零原点位置)与人类驾驶员之间的绘制出的线的角度。视线方向可以包括驾驶员正在看向的方向。在一些情况下，视线方向可以匹配头部取向，但是如果驾驶员的眼睛没有直视前方，则视线方向也可以不同。视线方向可以被描述为从头部取向偏移一个或多个角度，或者可以被描述为独立于头部取向的角度方向。

姿势可以包括任何其他类型的肢体语言，包括由手、手臂、肩膀、颈部、腹部、面部、头部或驾驶员的身体的其他部分所做出的姿势、运动或位置。示例姿势可以包括：在交叉口、道路交叉口或车道合并处向另一驾驶员、行人或骑自行车的人挥手的挥手姿势；表明否或是的头部运动；停止或中止手部信号，其中手被举起、手掌面向另一车辆或人、手指正面向上；耸肩；从一侧到另一侧的头部运动以检查横穿的车辆；或任何其他姿势。另外的姿势可以被识别，包括经由机器学习或对传感器数据的分析检测到的姿势。在一个实施例中，肢体语言部件506可以检测由附近车辆的驾驶员执行的这些姿势或其他姿势中的一个或多个。

在一个实施例中，肢体语言部件506可以通过至少最初仅尝试在由边界部件504确定的图像或其他感知数据画面的边界内检测肢体语言来节省处理容量。例如，仅边界内的像素或诸如此类可以通过肢体语言检测算法来处理。因为姿势识别或其他肢体语言的识别可以是计算密集型的，这可能导致驾驶员意图部件104或自动驾驶/辅助系统102节省大量时间、处理和能量。

转向信号部件508被配置为确定邻近车辆的转向信号的状态。例如，转向信号部件508可以确定位于交叉口处母车辆附近的车辆的一个或多个转向信号的状态。在一个实施例中，转向信号部件508可以处理由边界部件504确定的一个或多个子区域以确定转向信号指示器的状态。例如，转向信号部件508可以基于转向信号指示器的一个或多个图像来检测转向信号指示器是否正在发光或闪烁。在一个实施例中，转向信号部件508可以确定是否左转向信号指示器和右转向指示器中的一个或多个被打开或正在闪烁。例如，转向信号指示器508可以确定是否仅左转向信号指示器正在闪烁、仅右转向信号指示器正在闪烁、左转向信号指示器和右转向信号指示器都正在闪烁、或者左转向信号指示器和右转向信号指示器都不闪烁。

先前状态部件510被配置为确定车辆——例如交叉口处的邻近车辆——的一个或多个先前状态。在一个实施例中，先前状态部件510可以基于感知数据来确定未被确定或不能被确定的先前状态。例如，先前状态部件510可以基于指示邻近车辆的一个或多个先前状态的无线通信来确定邻近车辆的一个或多个先前状态。无线通信可以包括V2V或V2X通信。无线通信可以指示邻近车辆的先前位置、邻近车辆的先前速度、邻近车辆已经位于交叉口附近的持续时间、或关于邻近车辆的先前运动、位置或状态的任何其它信息。

车辆运动部件512被配置为检测邻近车辆的一个或多个运动。例如，车辆运动部件512可以基于由感知数据部件502接收到的感知数据或其他传感器数据来检测邻近车辆的运动。在一个实施例中，车辆运动部件512可以确定邻近车辆的加速度、减速度、转向或诸如此类中的一个或多个。在一个实施例中，车辆运动部件512可以检测邻近车辆的特定运动，例如快速跟随减速的加速。例如，快速跟随减速的加速可以指示人类驾驶员即将移动或者人类驾驶员正在犹豫行进通过交叉口。在一个实施例中，人驾驶的车辆的运动与未来动作之间的相关性可以由预测部件516来确定。

肢体语言部件506、转向信号部件508和/或车辆运动部件512可以包括模型、神经网络、机器学习的参数或诸如此类以检测肢体语言、转向信号状态和车辆运动。例如，引导或非引导的机器学习算法可以处理来自真实世界或虚拟环境的感知数据以学习对应于肢体语言、转向信号状态或车辆运动的形状、运动或其他图像内容。这些机器学习算法的结果可以被包括在模型或数据库中，以供相应的部件使用，以在车辆行驶期间检测肢体语言、转向信号状态或车辆运动。

交叉口部件514被配置为确定母车辆位于交叉口附近。例如，交叉口部件514可以处理传感器数据以定位交叉道路、标志、道路标记或涂漆线、停止的车辆或可以与交叉口相关的其他方面。在一个实施例中，交叉口部件514可以参考地图和GPS位置来确定母车辆处于或正在接近交叉口。因为自主车辆在交叉口处做出驾驶决定可以是困难的，所以交叉口部件514可以具体识别车辆应当根据交叉口情景操作。例如，特定驾驶规则可以应用于交叉口或其他驾驶情景。

预测部件516可以基于肢体语言部件506、转向信号部件508、先前状态部件510、车辆运动部件512和/或交叉口部件514来推断驾驶员的意图或预测附近车辆的未来运动。例如，预测部件516可以基于驾驶员的肢体语言、转向信号指示器的状态、车辆的先前状态和/或检测到的车辆运动来预测未来运动和/或未来运动的时间。

在一个实施例中，预测部件516基于由肢体语言部件506检测到的肢体语言来确定驾驶员的意图或预测未来运动。例如，预测部件516可以确定驾驶员打算执行的时间和运动。示例运动可以包括转向到不同的道路上、在交叉口处等待、与车流合并、变道、离开道路、进入道路、停放车辆、离开停车位、或诸如此类。

在一个实施例中，预测部件516参考或处理数据库或模型以确定另一车辆的预测的运动或预期的运动。例如，预测部件516可以包括或访问将肢体语言与一个或多个未来车辆运动相关联的数据库或模型。在一个实施例中，数据库或模型可以将头部取向、视线方向和姿势中的一个或多个与可能在头部取向、视线方向和/或姿势之后发生的一个或多个车辆运动相关联。

在一个实施例中，数据库或模型可以将未来车辆运动与下列中的一个或多个相关联：手的挥动运动、包含手掌面向车辆而手指向上的手势、驾驶员在阈值时间段内的视线方向(例如当驾驶员正盯着另一车辆等待该车辆开走时或者当驾驶员直视前方以正在或继续向前驾驶时)、一系列头部运动、以及视线方向的一系列快速变化(例如，检查交叉车流)。在一个实施例中，数据库或模型可以包括视线方向与未来驾驶方向之间的相关性。例如，模型可以指示驾驶员看向特定方向之后车辆在该特定方向移动之间的相关性。在一个实施例中，数据库或模型将看向路肩上方与包含车道改变或转向的未来车辆运动相关联。在一个实施例中，数据库或模型可以包括一个或多个机器学习的规则或相关性。例如，数据库或模型可以包括基于实际传感器数据、头部取向、视线方向和由机器学习的姿势的相关性和可能性。

在一个实施例中，数据库或模型还基于当前驾驶情景关联驾驶员的意图或未来驾驶操作。例如，基于附近车辆或母车辆是否停在交叉口处、接近交叉口、随着一个或多个附近车辆驶离道路、合并到道路上、离开道路、进入停车场或停车位、离开停车场或停车位、或诸如此类，相同的姿势可以是指不同的意思。因此，姿势和当前驾驶情景可以被用于精确地推断驾驶员的意图或预测未来驾驶操作。预测部件516可以向驾驶操纵部件518或自动驾驶/辅助系统102提供预测的驾驶操作或驾驶员意图以使其做出由自动驾驶/辅助系统102或母车辆采取的操作或动作的决定。

在一个实施例中，预测部件516基于由转向信号部件508确定的转向信号指示器的状态来确定驾驶员的意图或预测车辆的未来运动。例如，预测部件516可以预测车辆移动通过交叉口的行驶时间和方向。在一个实施例中，预测部件516参考或处理数据库或模型以确定另一车辆的预测的运动或预期的运动。例如，预测部件516可以包括或访问将转向信号状态与一个或多个未来车辆运动相关联的数据库或模型。在一个实施例中，数据库或模型可以将闪光信号灯方向与车辆在该方向上转向通过交叉口相关联。在一个实施例中，数据库或模型可以将危险灯的闪烁(例如，两个转向信号指示器都闪烁)与车辆在不可预测的方向上快速移动通过交叉口而没有根据标准协议等待相关联。因此，通过闪烁的危险灯可以预测车辆移动通过交叉口的较早时间。

在一个实施例中，预测部件516基于由先前状态部件510确定的邻近车辆的一个或多个先前状态来确定驾驶员的意图或预测车辆的未来运动。例如，预测部件516可以预测车辆移动通过交叉口的行驶时间和方向。在一个实施例中，预测部件516参考或处理数据库或模型以确定另一车辆的预测的运动或预期的运动。例如，预测部件516可以包括或访问将车辆的先前状态与一个或多个未来车辆运动相关联的数据库或模型。在一个实施例中，数据库或模型可以将车辆在交叉口处的较长等待时间与通过交叉口的较快时间的运动相关联。在一个实施例中，已经位于交叉口附近超过阈值时间量的车辆可以被确定为被停放或不能正常工作。因此，预测部件516可以确定已经等待长于阈值时间的车辆可以在行进通过交叉口之前等待更长的时间。预测部件516还可以基于先前的位置、加速度、减速度或诸如此类来预测邻近车辆的未来运动。

在一个实施例中，预测部件516基于由车辆运动部件512确定的检测到的车辆运动来确定驾驶员的意图或预测未来运动。例如，预测部件516可以预测车辆移动通过交叉口的行驶时间和方向。在一个实施例中，预测部件516参考或处理数据库或模型以确定另一车辆的预测的运动或预期的运动。例如，预测部件516可以包括或访问将一个或多个检测到的运动与一个或多个未来运动相关联的数据库或模型。例如，数据库可以包括预测的通过交叉口的进一步运动的加速度、速度、减速度或其它运动信息。

在一个实施例中，预测部件516可以基于来自肢体语言部件506、转向信号部件508、先前状态部件510、车辆运动部件512以及交叉口部件514的数据的组合来确定驾驶员的意图或车辆的未来运动。例如，模型或数据库可以包括基于一个或多个车辆的运动、驾驶员肢体语言、先前车辆状态和在先前的交叉口驾驶情景期间转向信号信息的机器学习值或相关性。因此，预测部件516可以基于肢体语言、转向信号指示器状态、先前状态、车辆运动和在交叉口处的位置中的一个或多个的组合来预测未来运动。

驾驶操纵部件518被配置为基于另一车辆的预测的驾驶员意图或未来驾驶操纵来选择母车辆的驾驶操纵。例如，驾驶操纵部件518可以从预测部件516接收一个或多个附近车辆的一个或多个预测的驾驶操纵。驾驶操纵部件518可以确定行驶路径以避免在其执行预测的驾驶操纵的情况下与其他车辆碰撞。例如，驾驶操纵部件518可以确定是否减速、加速和/或转动母车辆的方向盘。在一个实施例中，驾驶操纵部件518可以确定驾驶操纵的时间。例如，驾驶操纵部件518可以确定母车辆应当在交叉口处等待一段时间，因为在这段时间期间另一车辆可能行进通过交叉口。作为另一个示例，驾驶操纵部件518可以基于邻近车辆的预测的未来运动来确定母车辆行进通过交叉口的时间。

现在参照图6，说明了根据一个实施例用于预测车辆的运动的方法600的示意性流程图。方法600可以由自动驾驶/辅助系统或驾驶员意图部件——例如图1的自动驾驶/辅助系统102或图1或5的驾驶员意图部件104——来执行。

在602，方法600开始并且交叉口部件514确定母车辆在交叉口附近。在604，边界部件504识别图像包含邻近车辆上的转向信号指示器的子部分。在606，预测部件516基于转向信号指示器的状态来预测邻近车辆通过交叉口的未来运动。

现在参考图7，说明了根据一个实施例用于预测车辆的运动的方法700的示意性流程图。方法700可以由自动驾驶/辅助系统或驾驶员意图部件——例如图1的自动驾驶/辅助系统102或图1或5的驾驶员意图部件104——来执行。

在702，方法700开始并且感知数据部件502接收交叉口附近的邻近车辆的图像。例如，邻近车辆可以是在驾驶员意图部件104的母车辆附近。在704，边界部件504识别图像包含邻近车辆上的转向信号指示器的子部分。在706，边界部件504识别图像包含邻近车辆的驾驶员的子部分。在708，预测部件516基于转向信号指示器的状态和驾驶员的肢体语言来预测邻近车辆通过交叉口的未来运动。在710，驾驶操纵部件518基于邻近车辆的预测的未来运动来确定母车辆行进通过交叉口的时间。

示例

以下示例涉及另外的实施例。

示例1是一种系统，该系统包括交叉口部件、摄像机系统、边界部件和预测部件。该交叉口部件被配置为确定母车辆在交叉口附近。该摄像机系统被配置为拍摄邻近车辆的图像。该边界部件被配置为识别图像包含邻近车辆上的转向信号指示器的子部分。该预测部件被配置为基于转向信号指示器的状态来预测邻近车辆通过交叉口的未来运动。

在示例2中，示例1的系统进一步包括转向信号部件，该转向信号部件被配置为处理图像的子部分中的图像数据以确定转向信号指示器的状态。

在示例3中，示例1-2中任一个的系统进一步包括先前状态部件，该先前状态部件被配置为基于指示邻近车辆的一个或多个先前状态的无线通信来确定邻近车辆的一个或多个先前状态。预测部件被配置为基于邻近车辆的一个或多个先前状态来预测车辆的未来运动。

在示例4中，示例3中的无线通信包括V2V通信和V2X通信中的一个或多个。

在示例5中，示例3-4中任一个中的一个或多个先前状态指示邻近车辆已经位于交叉口附近的持续时间。

在示例6中，示例1-5中任一个的系统进一步包括车辆运动部件，该车辆运动部件被配置为确定邻近车辆的一个或多个车辆运动。预测部件被配置为基于邻近车辆的一个或多个车辆运动来预测邻近车辆的未来运动。

在示例7中，示例1-6中任一个中的边界部件被进一步配置为识别图像对应于驾驶员的位置的子部分。该系统进一步包括肢体语言部件，该肢体语言部件被配置为通过识别驾驶员的头部取向、视线方向和姿势中的一个或多个来检测驾驶员的肢体语言。预测部件被配置为基于驾驶员的肢体语言来预测车辆的未来运动。

示例8是一种计算机实施的方法。该方法包括接收交叉口附近的邻近车辆的图像并且将该图像存储在计算机存储器中。该方法包括利用一个或多个处理器来识别图像包含邻近车辆上的转向信号指示器的子部分，并且利用一个或多个处理器来识别图像包含邻近车辆的驾驶员的子部分。该方法包括利用一个或多个处理器基于转向信号指示器的状态和驾驶员的肢体语言来预测邻近车辆通过交叉口的未来运动。该方法包括利用一个或多个处理器基于邻近车辆的预测到的未来运动来确定母车辆行进通过交叉口的时间。该方法包括使母车辆基于所确定的行进通过交叉口的时间来执行驾驶操纵。

在示例9中，示例8的方法进一步包括确定母车辆在交叉口附近。

在示例10中，示例8-9中任一个的方法进一步包括处理图像包含转向信号指示器的子部分中的图像数据以确定转向信号指示器的状态并且处理图像包含邻近车辆的驾驶员的子部分中的图像数据以确定驾驶员的肢体语言。

在示例11中，示例10中确定驾驶员的肢体语言包括识别驾驶员的头部取向、视线方向和姿势中的一个或多个。

在示例12中，示例8-11中任一个的方法进一步包括基于无线通信来确定邻近车辆的一个或多个先前状态。预测邻近车辆的未来运动包括基于邻近车辆的一个或多个先前状态来预测。

在示例13中，示例12的无线通信包括V2V通信和V2X通信中的一个或多个。

在示例14中，示例8-13中任一个的方法进一步包括检测邻近车辆的一个或多个车辆运动。预测邻近车辆的未来运动包括基于邻近车辆的一个或多个车辆运动来预测。

在示例15中，示例8-14中任一个的方法进一步包括访问或处理将转向信号指示器的状态和驾驶员的肢体语言与预测的未来运动相关联的模型或数据库。

在示例16中，示例15的模型或数据库包括基于一个或多个车辆的运动、驾驶员肢体语言和在先前的交叉口驾驶情景期间的转向信号信息的机器学习值或相关性。

示例17是一种计算机可读存储介质，该计算机可读存储介质存储指令，当指令由一个或多个处理器执行时，该指令使处理器确定母车辆在交叉口附近。该指令使处理器拍摄邻近车辆的多个图像。该指令使处理器识别多个图像中的每一个包含邻近车辆上的转向信号指示器的子部分。该指令进一步使处理器基于转向信号指示器的状态来预测邻近车辆通过交叉口的未来运动。

在示例18中，示例17的指令进一步使处理器处理多个图像的子部分中的图像数据以确定转向信号指示器的状态。

在示例19中，示例17-18中任一个的指令进一步使处理器：基于指示邻近车辆的一个或多个先前状态的无线通信来确定邻近车辆的一个或多个先前状态；并且基于邻近车辆的一个或多个先前状态来预测车辆的未来运动。

在示例20中，示例17-19中任一个的指令进一步使处理器：识别图像对应于驾驶员的位置的子部分；通过识别驾驶员的头部取向、视线方向和姿势中的一个或多个来检测驾驶员的肢体语言；并且基于驾驶员的肢体语言来预测车辆的未来运动。

应当指出的是，以上所讨论的传感器实施例可以包含计算机硬件、软件、固件或其任何组合以执行其功能的至少一部分。例如，传感器可以包括被配置为在一个或多个处理器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑/电子电路。本文提供这些示例设备是为了说明的目的，并不旨在进行限制。本发明的实施例可以在其他类型的设备中实施，如相关领域技术人员将已知的那样。

本发明的实施例涉及包含存储在任何计算机可用介质上的这样的逻辑(例如，以软件的形式)的计算机程序产品。这样的软件，当在一个或多个数据处理设备中执行时，使设备如本文所描述的那样操作。

虽然以上已经描述了本发明的各种实施例，但是应当理解的是，它们已仅通过举例的方式呈现，而非限制。对相关领域的技术人员来说将显而易见的是，形式和细节的各种改变可以在不脱离本发明的精神和范围的前提下进行。因此，本发明的广度和范围不应该被上述示例性实施例中的任一个限制，而是应该仅根据下面的权利要求书及其等同物来限定。为了说明和描述的目的，前面的描述已被呈现。它不旨在是穷尽或将本发明限制为所公开的精确形式。鉴于以上教导，许多修改和变化是可能的。此外，应该指出的是，上述替代实施方式中的任一个或全部可以以任意所需的组合使用以形成本发明的附加混合实施方式。

此外，虽然本发明的特定实施方式已被描述和说明，但是本发明不被限于所描述和所说明的特定的形式或部件的布置。本发明的范围由所附的权利要求、本申请中和不同申请中所提交的任何未来的权利要求及其等同物来限定。