车辆转向信号检测的制作方法

本公开总体上涉及用于自动驾驶或用于辅助驾驶员的方法、系统和装置，并且更具体地涉及用于检测车辆的转向信号状态以避免在车道切换操纵或其他情况期间发生碰撞的方法、系统和装置。

背景技术：

机动车辆为商业、政府和私营企业提供很大一部分运输。自主车辆和驾驶辅助系统目前正在被开发和部署以提供安全性、减少所需的用户输入的量、或甚至完全消除用户参与。例如，一些驾驶辅助系统，例如防撞系统，当人正在驾驶时可以监测车辆和其他对象的行驶、位置和速度。当系统检测到碰撞或撞击即将发生时，防撞系统可以干预并施加制动，使车辆转向，或执行其他避免或安全操纵。作为另一个示例，自主车辆可以在很少或没有用户输入的情况下驾驶和导航车辆。然而，由于驾驶涉及的危险和车辆的费用，非常重要的是，即使在自主车辆和人驾驶的车辆都存在的情况下，自主车辆和驾驶辅助系统安全地操作并且能够准确地导航道路并避开其他车辆。在两辆车辆(例如自主车辆和非自主车辆)可能试图合并到同一车道中或在彼此附近变道的车道切换、合并、或其他道路操纵的情况下，重要的是，检测其他车辆的状态——包括其转向信号状态——以避免碰撞。

技术实现要素：

根据本发明，提供一种方法，该方法包含：

在第一车辆处检测相邻车道中第二车辆的存在；

在第二车辆的图像中识别包含第二车辆的转向信号指示器的子部分；

处理图像的子部分以确定转向信号指示器的状态；以及

基于转向信号指示器的状态而在第一车辆处通知驾驶员或执行驾驶操纵。

根据本发明的一个实施例，其中：

识别包含转向信号指示器的子部分包含利用经训练的神经网络来处理第二车辆的图像以识别一个或多个关注的转向信号区域；以及

处理图像的子部分包含处理图像中包含一个或多个关注的转向信号区域的一部分。

根据本发明的一个实施例，其中处理图像的子部分包含利用经训练的神经网络来处理子部分以确定一个或多个转向信号指示器的状态。

根据本发明的一个实施例，该方法进一步包含基于转向信号指示器的状态来确定第一车辆的驾驶操纵。

根据本发明的一个实施例，其中确定驾驶操纵包含将转向信号指示器的状态提供至变道决策矩阵并且处理变道决策矩阵以选择驾驶操纵。

根据本发明的一个实施例，其中通知驾驶员包含通知驾驶员所确定的驾驶操纵。

根据本发明的一个实施例，该方法进一步包含基于转向信号指示器的状态来预测第二车辆的未来运动。

根据本发明的一个实施例，其中预测未来运动包含预测从相邻车道变道至与第一车辆相同的车道。

根据本发明的一个实施例，其中通知驾驶员包含通知驾驶员预测到的第二车辆的未来运动。

根据本发明的一个实施例，该方法进一步包含确定对应于转向信号指示器的状态的第一车辆的运动方向。

根据本发明，提供一种用于车辆的驾驶控制系统，该系统包含：

一个或多个传感器，该一个或多个传感器用于获取车辆附近的区域中的传感器数据，该一个或多个传感器包含摄像机；

边界部件，该边界部件被配置为识别图像中包含邻近车辆的转向信号指示器的子部分；

转向信号部件，该转向信号部件被配置为处理图像的子部分以确定转向信号指示器的状态；以及

驾驶操纵部件，该驾驶操纵部件被配置为基于转向信号指示器的状态来确定第一车辆的驾驶操纵。

根据本发明的一个实施例，其中驾驶操纵包含建议的驾驶操纵，该驾驶控制系统进一步包含通知部件，该通知部件被配置为向人类驾驶员或自动驾驶系统提供建议的驾驶操纵。

根据本发明的一个实施例，其中：

边界部件被配置为通过利用经训练的神经网络来处理邻近车辆的图像以识别一个或多个关注的转向信号区域以识别包含转向信号指示器的子部分；以及

转向信号部件被配置为通过处理图像中包含一个或多个关注的转向信号区域的一部分来处理图像的子部分。

根据本发明的一个实施例，进一步包含检测部件，该检测部件被配置为确定邻近车辆在相对于车辆的危险区域内，其中该驾驶控制系统被进一步配置为响应于检测部件确定邻近车辆在危险区域内而获取图像。

根据本发明的一个实施例，该驾驶控制系统进一步包含检测部件，该检测部件被配置为确定车辆和邻近车辆中的一个或多个的车道。

一种计算机可读存储介质，该计算机可读存储介质存储指令，当指令由一个或多个处理器执行时，使一个或多个处理器：

在第一车辆处获取第一车辆附近的道路上第二车辆的多个图像；

识别多个图像中包含第二车辆的转向信号指示器的子部分；

处理多个图像的子部分以确定转向信号指示器的状态；以及

基于转向信号指示器的状态来预测第二车辆的驾驶操纵。

根据本发明的一个实施例，其中指令进一步使一个或多个处理器基于预测到的第二车辆的驾驶操纵来确定第一车辆的驾驶操纵。

根据本发明的一个实施例，其中指令进一步使一个或多个处理器基于转向信号指示器来确定是否使第一车辆执行变道。

根据本发明的一个实施例，其中指令进一步使一个或多个处理器确定第二车辆是以下情况中的一种或多种：

在紧邻第一车辆的车道的车道中；

在沿着道路与第一车辆类似的方向上行驶；以及

在第一车辆的危险区域内，其中危险区域对应于第一车辆与第二车辆之间存在碰撞风险的区域。

根据本发明的一个实施例，其中指令进一步使一个或多个处理器确定转向信号指示器的状态对应于第一车辆的运动方向。

附图说明

本发明的非限制性和非穷尽性的实施方式参照以下附图进行描述，贯穿几个视图，附图中相同的附图标记指代相同的部件，除非另有说明。参考以下说明书和附图，本发明的优点将变得更好理解，附图中：

图1是说明包括自动驾驶/辅助系统的车辆控制系统的实施方式的示意性框图；

图2是说明多车道道路上的车辆的俯视图的示意图；

图3说明了道路上的车辆的透视图；

图4说明了道路上的车辆的透视图；

图5是根据一个实施方式说明做出驾驶操纵决策的示意性框图；

图6是根据一个实施方式说明驾驶员意图部件的示例部件的示意性框图；以及

图7是根据一个实施方式说明用于做出驾驶员决策的一种方法的示意性框图。

具体实施方式

申请人已经认识到，至少在自主和手动驾驶的车辆都将在道路上的任何过渡时期期间，重要的是，自主车辆准确地预测人类驾驶员的动作。另一驾驶员所使用的车辆的转向信号的检测增加对操纵机动车辆的那个驾驶员的未来动作的确定性。这在两辆车辆(例如自主车辆和非自主车辆)可能试图合并到同一车道中或在彼此附近变道的公路车道切换的情况下可能是有用的。通过检测其他车辆的转向信号，自主车辆可以检测其他车辆是否正在试图进入其预期的路径并且因此避免可能的碰撞。对于正在执行变道或其他操作的驾驶员辅助的车辆而言，这种检测可能也是有益的。一旦识别出其驾驶员意图变道(例如，基于辅助的车辆上转向信号的激活)，如果预测另一车辆移动进入同一车道，则辅助的车辆就可以通知其驾驶员。

本公开提供了用于自主驾驶系统或驾驶辅助系统以预测或检测附近车辆的变道的系统、方法和装置。在一个实施例中，系统利用外部车辆的转向信号的状态以便预测该车辆在公路变道操纵中做出决策的运动。辅助的车辆可以配备有360度感测系统，包括但不限于，摄像机、激光雷达(LIDAR)、雷达、和/或其他测距或成像传感器。利用深层神经网络的计算机视觉和传感器融合算法可以被训练以识别车辆上关注的转向信号区域。神经网络也可以被用来识别转向信号是否打开，可能通过比较车辆的可见的转向信号，车辆的可见的转向信号可能不是同时被全部激活。在一个实施例中，该系统可以被配置为执行以下操作：定位在相邻车道中移动的附近车辆；定位和确定相邻车辆上可见的转向信号的边界框；将转向信号边界框内的图像数据发送到计算机视觉算法以识别哪一个信号正在使用中；并且将转向信号状态输入到变道决策矩阵中使得该系统、或另一系统可以做出变道或驾驶操纵决策。即使在另一车辆错误地打开转向信号指示器或驾驶员只是忘了将其关闭的条件下，该信息由于对以下情况的指示可能是有用的：过多关注该车辆并且密切跟踪它的潜在同时合并直到转向信号指示器被关闭或另一车辆在可能的危险区域之外。

在下面的公开内容中，参考附图，附图形成公开的一部分并且在附图中通过例证示出可以实践本发明的特定实施方式。应当理解的是，在不脱离本发明的范围的前提下，可以利用其他实施方式并且可以进行结构变化。说明书中引用“一个实施例”、“一实施例”，“一个示例实施例”等表明所描述的实施例可以包括特定特征、结构或特性，但每一个实施例可能未必包括特定特征、结构或特性。另外，这样的短语未必是指同一实施例。此外，当特定特征、结构、或特性关于一个实施例进行描述时，可以主张的是，无论是否明确描述，关于其他实施例改变这样的特征、结构或特性在本领域技术人员的知识的范围之内。

如本文所使用的，“自主车辆”可以是完全不受人类驾驶员的支配作用或操作的车辆；或者可以是在一些情况下不受人类驾驶员的支配作用或操作而在其他情况下人类驾驶员能够操作车辆的车辆；或者可以是主要由人类驾驶员但在自动驾驶/辅助系统的辅助下操作的车辆。

本文所公开的系统、装置和方法的实施方式可以包含或利用专用或通用计算机，专用或通用计算机包括计算机硬件，诸如，例如，一个或多个处理器和系统存储器，如下面更详细讨论的。在本发明的范围内的实施方式还可以包括用于承载或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可以由通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(装置)。承载计算机可执行指令的计算机可读介质是传输介质。因此，举例来说，而非限制，本发明的实施方式可以包含至少两种明显不同种类的计算机可读介质：计算机存储介质(装置)和传输介质。

计算机存储介质(装置)包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、只读光盘存储器(CD-ROM)、固态驱动器(“SSD”)(例如，基于RAM)、闪速存储器、相变存储器(“PCM”)、其他类型的存储器、其它光盘存储器、磁盘存储器或其它磁性存储设备、或者可以被用于存储以计算机可执行指令或数据结构的形式的所需的程序代码手段并且可以由通用或专用计算机访问的任何其它介质。

本文所公开的装置、系统和方法的实施方式可以在计算机网络上进行通信。“网络”被定义为允许电子数据在计算机系统和/或模块和/或其他电子设备之间传输的一个或多个数据链路。当信息通过网络或另一通信连接(硬线连接、无线、或硬线连接或无线的组合)被传送或提供至计算机时，计算机适当地将该连接视为传输介质。传输介质可以包括网络和/或数据链路，网络和/或数据链路可以被用于承载以计算机可执行指令或数据结构的形式的所需的程序代码手段并且可以由通用或专用计算机来访问。上述组合也应该被包括在计算机可读介质的范围之内。

计算机可执行指令包含例如指令和数据，当该指令和数据在处理器中执行时，使通用计算机、专用计算机、或专用处理设备来执行某些功能或功能组。计算机可执行指令可以是例如二进制、例如汇编语言的中间格式指令、或甚至源代码。虽然本发明主题已经以针对结构特征和/或方法论动作的语言进行了描述，但是应当理解的是，在所附权利要求中限定的发明主题不一定局限于所描述的特征或以上所述的动作。相反，所描述的特征和动作被公开作为实施权利要求的示例形式。

本领域技术人员将领会的是，本发明可以在网络计算环境中通过许多类型的计算机系统配置来实践，包括仪表板计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持式设备、多处理器系统、基于微处理器或可编程的消费者电子产品、网络个人电脑(PC)、小型计算机、大型计算机、移动电话、个人数字助理(PDA)、平板电脑、寻呼机、路由器、交换机、各种存储设备和诸如此类。本发明也可以在本地和远程计算机系统都执行任务的分布式系统环境中实践，本地和远程计算机系统通过网络链接(或者通过硬线数据链路、无线数据链路或者通过硬线和无线数据链路的组合)。在分布式系统环境中，程序模块可以位于本地和远程存储器存储设备中。

此外，在适当情况下，本文所描述的功能可以在下列中的一种或多种中执行：硬件、软件、固件、数字部件、或模拟部件。例如，一个或多个专用集成电路(ASIC)可以被编程为执行本文所描述的系统和程序中的一个或多个。在整个以下说明书和权利要求书中，某些术语被用来指代特定的系统部件。本领域技术人员将领会的是，部件可以通过不同的名称来称呼。本文不旨在区分名称不同但作用相同的部件。

现在参照附图，图1说明了车辆控制系统100，该车辆控制系统100包括自动驾驶/辅助系统102。该自动驾驶/辅助系统102可以被用于自动、辅助或控制车辆——例如，小汽车、卡车、厢式货车、公共汽车、大卡车、应急车辆或用于运输人或货物的任何其他机动车辆——的操作，或给人类驾驶员提供辅助。例如，该自动驾驶/辅助系统102可以控制制动、转向、加速、灯、警报、驾驶员通知、无线电或车辆的任何其它辅助系统中的一个或多个。在另一个示例中，自动驾驶/辅助系统102可能无法提供对驾驶(例如，转向、加速或制动)的任何控制，但可以提供通知和警报以帮助人类驾驶员安全地驾驶。自动驾驶/辅助系统102包括驾驶员意图部件104，该驾驶员意图部件104可以基于下列中的一个或多个来预测其他车辆的未来运动：转向信号指示器和车辆运动。例如，驾驶员意图部件104可以基于不同车辆的转向信号状态来估计不同车辆(例如，不包括车辆控制系统100的车辆)的驾驶员的意图。

车辆控制系统100还包括用于检测附近对象的存在或确定母车辆(例如，包括车辆控制系统100的车辆)或附近对象的位置的一个或多个传感器系统/设备。例如，车辆控制系统100可以包括一个或多个雷达系统106、一个或多个LIDAR系统108、一个或多个摄像机系统110、全球定位系统(GPS)112和/或一个或多个超声系统114。车辆控制系统100可以包括数据存储器116，该数据存储器116用于存储用于导航和安全性的相关或有用数据，例如地图数据、驾驶历史或其他数据。车辆控制系统100还可以包括用于与移动或无线网络、其他车辆、基础设施或任何其它通信系统进行无线通信的收发器118。车辆控制系统100可以包括车辆控制致动器120以控制车辆的驾驶的各个方面，例如电动马达、开关或其它致动器，以控制制动、加速、转向或诸如此类。车辆控制系统100还可以包括一个或多个显示器122、扬声器124、或其它设备以便可以向人类驾驶员或乘客提供通知。显示器122可以包括抬头显示器、仪表板显示器或指示器、显示屏幕、或任何其它视觉指示器，其可以被车辆的驾驶员或乘客看到。扬声器124可以包括车辆的音响系统的一个或多个扬声器，或者可以包括专用于驾驶员通知的扬声器。

可以领会的是，图1的实施例仅通过举例的方式给出。在不脱离本发明的范围的前提下，其他实施例可以包括更少或附加的部件。此外，示出的部件可以被组合或包括在其它部件内，而非限制。例如，驾驶员意图部件104可以与自动驾驶/辅助系统102分开并且数据存储器116可以被包括作为自动驾驶/辅助系统102的一部分和/或驾驶员意图部件104的一部分。

雷达系统106可以包括本领域中公知的任何雷达系统。一般情况下，雷达系统106通过发送无线电信号和探测对象的反射来操作。在地面应用中，雷达可以被用于探测物理对象，例如其他车辆、停车壁障或停车轮挡、风景(例如树、悬崖、岩石、山或诸如此类)、道路边缘、标志、建筑物或其他对象。雷达系统106可以利用反射的无线电波来确定关于物理对象或材料的大小、形状、距离、表面纹理、或其他信息。例如，雷达系统106可以扫描区域以获得特定范围和雷达系统106的视角内关于对象的数据。在一个实施例中，雷达系统106被配置为生成来自车辆附近的区域——例如车辆附近或周围的一个或多个区域——的感知信息。例如，雷达系统106可以获取关于紧邻或靠近车辆的地面或垂直区域的区域的数据。雷达系统106可以包括许多广泛市售的雷达系统之一。在一个实施例中，雷达系统106可以将包括二维或三维地图或模型的感知数据提供到自动驾驶/辅助系统102，以供参考或处理。

LIDAR系统108可以包括本领域的任何LIDAR系统。一般情况下，LIDAR系统108通过发射可见波长或红外波长激光并探测从对象反射的激光来操作。在地面应用中，激光可以被用于探测物理对象，例如其他车辆、停车壁障或停车轮挡、风景(例如树、悬崖、岩石、山或诸如此类)、道路边缘、标志、建筑物或其他对象。LIDAR系统108可以利用反射的激光来确定关于物理对象或材料的大小、形状、距离、表面纹理、或其他信息。例如，LIDAR系统108可以扫描区域以获取LIDAR系统108的特定范围和视角内的数据或对象。例如，LIDAR系统108可以获取关于紧邻或靠近车辆的地面或垂直区域的区域的数据。LIDAR系统108可以包括许多广泛市售的LIDAR系统之一。在一个实施例中，LIDAR系统108可以提供包括探测到的对象或表面的二维或三维模型或地图的感知数据。

摄像机系统110可以包括一个或多个摄像机，例如可见波长摄像机或红外摄像机。摄像机系统110可以提供视频馈送或周期性图像，该视频馈送或周期性图像可以被处理用于对象检测、道路识别和定位、或其他检测或定位。在一个实施例中，摄像机系统110可以包括两个或更多个摄像机，该两个或更多个摄像机可以被用于提供视野内对象的测距(例如，检测距离)。在一个实施例中，图像处理可以被用于拍摄的摄像机图像或视频上以检测车辆、转向信号、驾驶员、驾驶员的姿势和/或肢体语言。在一个实施例中，摄像机系统100可以包括获取车辆周围的两个或更多个方向的图像的摄像机。

GPS系统112是可以基于卫星或无线电塔信号来提供车辆的地理位置的定位系统的一个实施例。GPS系统112是公知的并且在本领域中广泛可用的。虽然GPS系统112可以提供非常准确的定位信息，但是GPS系统112总体上提供关于车辆与其他对象之间的距离的很少的信息或不提供关于车辆与其他对象之间的距离的信息。相反，它们仅提供位置，该位置然后可以与其它数据——例如地图——进行比较以确定与其他对象、道路、或关注的位置的距离。

超声系统114可以被用于利用超声波来检测对象或车辆与对象之间的距离。例如，超声系统114可以从车辆的保险杠或侧板位置上或附近的位置发射超声波。超声波——其可以通过空气传播短距离——可以从其它对象反射并且被超声系统114检测到。基于发射和反射的超声波的接收之间的时间的量，超声系统114可以能够检测保险杠或侧板与任何其它对象之间的准确距离。由于其较短的范围，超声系统114对于在驻车期间检测对象或在行驶期间检测即将发生的碰撞可能更有用。

在一个实施例中，雷达系统106、LIDAR系统108、摄像机系统110和超声系统114可以检测车辆附近的环境属性或障碍物。例如，系统106-110和114可以检测其他车辆、行人、人、动物、多个车道、车道宽度、路肩宽度、路面曲率、道路方向曲率、停车振动带(rumble strip)、车道标记、交叉口的存在、道路标志、桥梁、天桥、壁障、中央隔离帯(median)、路缘、或关于道路的任何其他细节。作为另一示例，系统106-110和114可以检测环境属性，该环境属性包括关于道路附近的结构、对象或表面的信息，例如驾驶道、停车场、停车场出口/入口、人行道、通道、树木、栅栏、建筑物、停放的车辆(在道路上或道路附近)、门、标志、停车带或任何其它结构或对象的存在。

数据存储器116存储地图数据、驾驶历史和其他数据，该其他数据可以包括用于自动驾驶/辅助系统102的其他导航数据、设置或操作指令。地图数据可以包括道路、停车场、停车位、或可以驾驶或停放车辆的其他位置的位置数据，例如GPS位置数据。例如，道路的位置数据可以包括特定车道的位置数据，例如车道方向、合并车道、公路或高速公路车道、出口车道或任何其他车道或道路的分支。位置数据也可以包括停车场中一个或多个停车位位置或沿着道路的停车位位置。在一个实施例中，地图数据包括关于道路或停车位置上或附近的一个或多个结构或对象的位置数据。例如，地图数据可以包括关于GPS标志位置、桥位置、建筑物或其他结构位置或诸如此类的数据。在一个实施例中，地图数据可以包括精度在几米范围内或在亚米精度范围内的准确位置数据。地图数据还可以包括用于陆地车辆可以行驶的路径、土路、或其他道路或路径的位置数据。

收发器118被配置为从一个或多个其它数据或信号源接收信号。收发器118可以包括被配置为根据多种通信标准和/或使用多种不同的频率进行通信的一个或多个无线电装置。例如，收发器118可以从其他车辆接收信号。从另一车辆接收信号在此指代车辆与车辆(V2V)通信。在一个实施例中，收发器118也可以被用来将信息传送到其它车辆，以潜在辅助它们定位车辆或对象。在V2V通信期间，收发器118可以接收来自其他车辆有关其位置、先前位置或状态、其他交通、事故、道路条件、停车壁障或停车轮挡的位置、或可以辅助车辆和/或自动驾驶/辅助系统102准确或安全驾驶的任何其他详细信息。例如，收发器118可以接收更新的模型或算法以便通过驾驶员意图部件104用于检测车辆运动、转向信号、或另一车辆的驾驶员的肢体语言。

收发器118可以从固定位置处的其他信号源接收信号。基础设施收发器可以被定位在特定地理位置处并且可以传送带时间戳的其特定地理位置。因此，自动驾驶/辅助系统102可以能够基于时间戳来确定距基础设施收发器的距离，并且然后基于基础设施收发器的位置来确定其位置。在一个实施例中，从固定位置处的设备或塔接收或发送位置数据在此指代车辆与基础设施(V2X)通信。V2X通信也可以被用于提供关于其他车辆的位置、它们的先前状态或诸如此类的信息。例如，V2X通信可以包括关于在交叉口处车辆已停车或等待多长时间、公路入口匝道信号或诸如此类的信息。在一个实施例中，术语V2X通信也可以包含V2V通信。

在一个实施例中，自动驾驶/辅助系统102被配置为控制母车辆的驾驶或导航。例如，自动驾驶/辅助系统102可以控制车辆控制致动器120以在道路、停车场、通过交叉口、行车道或其它位置的路径上行驶。例如，自动驾驶/辅助系统102可以基于由部件106-118中的任何一个提供的信息或感知数据来确定行驶路径和速度。作为另一个示例，自动驾驶/辅助系统102可以确定何时变道、合并、或何时为另一车辆变道留下空间、或诸如此类。

在一个实施例中，驾驶员意图部件104被配置为确定附近车辆的驾驶员的意图和/或预测车辆在人类驾驶员的控制下的未来运动和运动的时间。例如，驾驶员意图部件104被配置为确定是否变道或确定变道的时间。

图2是道路200的示意性俯视图，车辆202在该道路上行驶。车辆202正在道路200的第一车道208中行驶。道路还包括具有与第一车道208相同的行驶方向的第二车道210和第三车道212。附加车辆204和206也沿着道路200在第三车道212中行驶。车辆202可以包括图1的系统100。在一个实施例中，一个或多个传感器(例如摄像机系统110)可以收集道路200和车辆202周围的区域的感知数据。摄像机系统110、LIDAR系统108、雷达系统106或其它系统的观察区域可以在车辆202周围的任何方向或所有方向上延伸。车辆202或车辆202的驾驶员意图部件104可以接收来自传感器的感知数据并且检测车辆202的观察范围内其他车辆、对象、表面或诸如此类的存在。例如，车辆202可以检测和识别作为附近车辆的附加车辆204和206。

在一个实施例中，车辆202可以检测在道路200的其他车道中附加车辆204和206的存在。在一个实施例中，车辆202可以拍摄附加车辆的一个或多个图像并且识别拍摄到的图像中对应于图像中可见的其他车辆上的转向信号的位置的子部分。例如，车辆202可以利用神经网络来处理拍摄到的图像以识别可能对应于转向信号的位置的区域。车辆202可以分析或处理感知数据(或图像)的子部分以确定转向信号的状态。基于转向信号的状态，车辆202可以通知驾驶员延迟变道进入第二车道210或可以使自主驾驶系统延迟变道进入第二车道210。

图1的车辆控制系统100可以帮助提醒或阻止车辆202与另一车辆同时合并进入车道中，或者可以提醒驾驶员或使车辆202减速或加速以允许另一车辆合并进入车辆202的当前车道中，例如208。车辆正在变道的通知和确定可以帮助减少沿着道路在相同或类似的方向上行驶的移动车辆之间的事故。例如，车辆202可以检测附加车辆204何时打开左转信号，并且因此车辆202应该等待或避免变道进入第二车道210。如果附加车辆204已经在第二车道210中，则车辆202可以检测车辆204的左转信号并且通知驾驶员(或自动驾驶系统)车辆202应该减速以让附加车辆204进入到车辆202前方的第一车道208中。作为另一个示例，车辆202可以检测附加车辆206正在从第三车道212变到第二车道210。如果附加车辆206在第二车道210内左转信号打开，则车辆202可以加速以允许附加车辆206进入到第一车道208中在车辆202后方。

除了转向信号状态之外，车辆控制系统100可以确定关于附加车辆204和206的运动的一个或多个细节。例如，车辆控制系统100可以检测附加车辆204和206的相对速度、方向、或其他运动。这些运动细节可以进一步告知车辆202是否应该执行变道、减速、加速、或其他驾驶操纵以避免碰撞或保持车辆之间的安全行驶距离。

图3说明了可以通过车辆控制系统100的摄像机拍摄的图像300的透视图。图像300示出了车辆302的后侧。图像的子部分304包括车辆302的转向信号。在一个实施例中，车辆控制系统100可以将子区域304识别为待处理用于确定转向信号的状态的区域。例如，车辆控制系统100可以产生包括子区域304的边界框并且将边界框内的图像内容馈送到已被训练的神经网络以检测转向信号状态。基于转向信号指示器的状态，车辆控制系统100可以确定车辆302即将变道或可以留出距离以允许车辆302变道。即使转向信号被无意中打开或忘关，车辆控制系统100为车辆302留下一些空间可以是有益的。例如，疏忽的转向信号可能表明，由于疏忽的人类操作员或自动驾驶系统的软件错误，车辆302的运动可能是不可预测的。

图4说明了可以通过车辆控制系统100的摄像机拍摄的图像400的另一透视图。图像400示出了车辆402的左前视图。例如，当车辆402在母车辆后方并且在其右侧时，车辆上的后向或侧向摄像机可以拍摄到该图像400。在一个实施例中，车辆控制系统100可以将第一子区域404和第二子区域406识别为待处理用于确定转向信号的状态的区域。例如，车辆控制系统100可以产生包括子区域404和406的边界框，并且将边界框内的图像内容馈送到已被训练的神经网络以检测转向信号状态。

在图像400中，仅第二子区域406包括转向信号，特别是车辆402的左转信号408。车辆402的右转信号在视野之外，并且在第一子区域404中实际上不可见。因此，仅转向信号中的一个的状态可以被检测到，即左转信号408。车辆控制系统100可以检测左转信号408的状态并且确定其他转向信号无法检测到。基于左转信号408的状态，车辆控制系统100可以能够预测车辆402的一个或多个动作。例如，如果左转信号408正在闪烁，则车辆控制系统100可以确定车辆402正在准备切换到车辆402左侧的车道中，或者可以确定车辆402的危险灯闪烁，并且因此车辆的驾驶员可能很匆忙并且应该提供空间以允许车辆402行驶。另一方面，如果左转信号408不闪烁，则车辆控制系统100可以确定车辆402将可能保持在同一车道或移动到车辆的右侧的车道。因为呆在同一车道或向右移动可以表明车辆402不太可能做出对拍摄图像400的车辆构成威胁或不安全的运动。

图5是说明用于对驾驶操纵做出决策的方法500的示意性框图。在502，获取感知数据，例如摄像机数据、LIDAR数据、雷达数据和超声数据，并且在504，驾驶员意图部件104基于感知数据来识别和定位车辆。例如，驾驶员意图部件104可以识别对应于车辆的观察区域的区域或对应于车辆的图像的区域，并且可以定位同一车道或相邻车道中的车辆。例如，驾驶员意图部件104可以识别其他车辆相对于驾驶员意图部件104的母车辆的车道。相邻车道可以包括紧邻车道(例如，在车辆的当前车道的右侧或左侧)或可以包括从车辆偏移一个或多个车道的车道(例如，在当前车道的右侧或左侧的两个车道)。在506，驾驶员意图部件104找到摄像机数据中的图像上包括或可能包括定位的车辆的可见的转向信号的关注区域。例如，驾驶员意图部件104可以将由摄像机拍摄到的图像馈送到神经网络，该神经网络识别包括或可能包括车辆转向信号的区域。

关注区域可以包括前保险杠或后保险杠、前照灯、和/或尾灯附近的区域。在508，驾驶员意图部件104还确定转向信号状态或识别可见的转向信号的状态。例如，在508，驾驶员意图部件104可以确定转向信号指示器是否关闭或正在闪烁。此外，驾驶员意图部件104可以确定作为左前、右前、左后和/或右后转向信号的可见的转向信号的识别。此外，驾驶员意图部件104可以确定不可见的转向信号的识别(例如，左前、右前、左后和/或右后转向信号)。在510，驾驶员意图部件104然后可以将转向信号状态和/或转向信号识别提供至决策矩阵。该决策矩阵可以包括在确定车辆的未来操纵时可以考虑的多个值。例如，矩阵可以被用来确定是否变道、加速、减速或执行任何其他操纵或操纵的组合。在一个实施例中，矩阵可以被用来确定提供给车辆的驾驶员什么通知。例如，可能的通知可以包括盲点提醒、变道指令、或对人类驾驶员的任何其他通知或警告。

图6是根据一个实施例说明驾驶员意图部件104的部件的示意性框图。驾驶员意图部件104包括感知数据部件602、检测部件604、边界部件606、转向信号部件608、车辆运动部件610、预测部件612、驾驶操纵部件614和通知部件616。部件602-616仅以说明的方式给出，并且可以不全部都被包括在所有实施例中。实际上，一些实施例可以包括部件602-616中的仅一个或两个或更多个的任何组合。部件602-616中的一些可以位于驾驶员意图部件104外部，例如在自动驾驶/辅助系统102内或其他地方。

感知数据部件602被配置为接收来自车辆的一个或多个传感器系统的传感器数据。例如，感知数据部件602可以接收来自雷达系统106、LIDAR系统108、摄像机系统110、GPS 112、超声系统114以及诸如此类的数据。在一个实施例中，感知数据可以包括车辆附近的一个或多个区域的感知数据。例如，车辆的传感器可以提供车辆周围的360度视野。在一个实施例中，摄像机系统110拍摄车辆的图像。例如，拍摄到的图像的车辆可以接近驾驶员意图部件104的母车辆。在一个实施例中，摄像机系统110拍摄邻近车辆的图像，该邻近车辆在与母车辆相同的车道中或在车辆附近的车道中并且正在与母车辆相同的方向上行驶。

检测部件604被配置为检测一个或多个附近车辆的存在。在一个实施例中，检测部件604基于由感知数据部件602收集到的感知数据来检测附近车辆。例如，检测部件604可以检测关于车辆的大小的移动对象，或者可以利用由摄像机系统110获取的图像上的对象识别来检测车辆。在一个实施例中，检测部件604可以检测车道线或诸如此类，以检测车道或其它物理特征以相对于母车辆定位车辆。

在一个实施例中，检测部件604被配置为确定车辆和邻近车辆中的一个或多个的车道。例如，检测部件604可以确定母车辆是在第一车道中，并且检测到的邻近车辆是在邻近第一车道的第二车道或第三车道中。在一个实施例中，检测部件604被配置为确定邻近车辆是否处于母车辆的当前车道的相邻车道中。相邻车道可以是紧邻当前车道的车道，或者可以偏离一个或多个中间车道。

在一个实施例中，检测部件604可以确定检测到的车辆是否在母车辆的危险区域内。该危险区域可以是母车辆的阈值距离内的区域。在一个实施例中，阈值距离可以基于速度或当前道路条件而改变。该危险区域可以包括母车辆和检测到的车辆之间存在碰撞风险的区域。在一个实施例中，检测部件604还可以确定车辆是否正在与母车辆相同或类似的方向上移动。例如，检测部件604可以确定邻近车辆是否正在沿着道路与母车辆相同的方向上行驶。

边界部件606被配置为识别感知数据中对应于或可能对应于转向信号的位置的子区域。在一个实施例中，边界部件606被配置为在图像或其他感知数据内定位一个或多个车辆。例如，对象识别算法可以被用于将检测到的对象或障碍物识别为车辆。在一个实施例中，边界部件606可以识别车辆的边界并且识别该区域中对应于车辆的像素或对象。边缘或边界发现图像处理算法可以被用于找到车辆的边缘。

在一个实施例中，边界部件606被配置为识别图像(或多个图像)上包含车辆的转向信号指示器的子部分。例如，图像的子部分可以包括定位在车辆的前部、后部或任何其它位置上的转向信号指示灯。在一个实施例中，子部分可以包括保险杠上或其附近的区域、和/或车辆的前照灯或尾灯附近的区域。在一个实施例中，边界部件606可以利用对象识别或边缘检测图像处理算法来识别图像上包含转向信号的子部分。例如，边界部件606可以识别指示灯、前照灯、尾灯或诸如此类的边缘或边界。在一个实施例中，边界部件606被配置为通过利用经训练的神经网络处理邻近车辆的图像以识别一个或多个关注的转向信号区域来识别包含转向信号指示器的子部分。在一个实施例中，边界部件606可以确定转向信号指示器周围的区域或者大于转向信号指示器的区域，以便即使边界没有被完全对齐或者在转向信号指示器上居中，转向信号指示器的状态也可以被准确地确定。

转向信号部件608被配置为确定邻近车辆的转向信号的状态。例如，转向信号部件608可以确定位于母车辆附近相同或相邻车道中的车辆的一个或多个转向信号的状态。在一个实施例中，转向信号部件608可以处理由边界部件606确定的一个或多个子区域以确定转向信号指示器的状态。例如，转向信号部件608可以基于转向信号指示器的一个或多个图像来检测转向信号指示器是否正在发光或闪烁。在一个实施例中，转向信号部件608被配置为利用经训练的神经网络来处理图像的子部分以确定一个或多个转向信号指示器的状态。

在一个实施例中，转向信号部件608可以确定左转向信号指示器和右转向指示器中的一个或多个是否打开或正在闪烁。例如，转向信号指示器608可以确定是否仅左转向信号指示器正在闪烁、仅右转向信号指示器正在闪烁、左转向信号指示器和右转向信号指示器都正在闪烁、或者左转向信号指示器和右转向信号指示器都不闪烁。在一个实施例中，转向信号部件608也可以确定车辆的转向信号指示器中的一些是否在图像中不可见。例如，转向信号部件608可以确定特定的转向信号指示器具有未知的状态，因为它不可见，或由于一些其他原因而未知。

车辆运动部件610被配置为检测邻近车辆的一个或多个运动。例如，车辆运动部件610可以基于由感知数据部件602接收到的感知数据或其他传感器数据来检测邻近车辆的运动。在一个实施例中，车辆运动部件610可以确定邻近车辆的加速度、减速度、转向或诸如此类中的一个或多个。在一个实施例中，车辆运动部件610可以检测到车辆正在与母车辆相同或相似的方向上行驶。例如，车辆运动部件610可以确定邻近车辆正在相同方向上沿着道路行驶，尽管车辆在与母车辆相同或不同的车道中。

边界部件606、转向信号部件608和/或车辆运动部件610可以包括模型、神经网络、机器学习的参数或诸如此类以检测肢体语言、转向信号状态和车辆运动。例如，引导或非引导的机器学习算法可以处理来自真实世界或虚拟环境的感知数据以学习对应于肢体语言、转向信号状态或车辆运动的形状、运动或其他图像内容。这些机器学习算法的结果可以被包括在模型或数据库中，以供相应的部件使用，以在车辆行驶期间检测肢体语言、转向信号状态或车辆运动。

预测部件612可以基于转向信号部件608、车辆运动部件610和/或其他信息的确定来推断驾驶员的意图或预测附近车辆的未来运动。例如，预测部件612可以基于转向信号指示器的状态和/或检测到的车辆运动来预测未来运动和/或未来运动的时间。在一个实施例中，预测部件612确定驾驶员的意图或预测未来运动。例如，预测部件612可以确定驾驶员打算执行的时间和运动。示例运动可以包括转向到不同的道路上、在交叉口处等待、与车流合并、变道、离开道路、进入道路、停放车辆、离开停车位或诸如此类。

在一个实施例中，预测部件612参考或处理数据库或模型以确定另一车辆的预测的运动或预期的运动。例如，预测部件612可以基于检测到的车辆运动和/或转向信号的状态利用已被训练的神经网络来确定未来车辆运动。在一个实施例中，数据库或模型还基于当前驾驶情景关联驾驶员的意图或未来驾驶操纵。例如，基于附近车辆或母车辆是否停在交叉口处、接近交叉口、随着一个或多个附近车辆驶离道路、合并到道路上、离开道路、进入停车场或停车位、离开停车场或停车位、或诸如此类，相同的姿势可以是指不同的意思。因此，姿势和当前驾驶情景可以被用于精确地推断驾驶员的意图或预测未来驾驶操作。预测部件612可以向驾驶操纵部件614或自动驾驶/辅助系统102提供预测的驾驶操纵或驾驶员意图以使其做出由自动驾驶/辅助系统102或母车辆采取的操纵或动作的决策。

在一个实施例中，预测部件612基于由转向信号部件608确定的转向信号指示器的状态来确定驾驶员的意图或预测车辆的未来运动。例如，预测部件612可以预测车辆变道、合并或离开道路的时间和行驶方向。在一个实施例中，预测部件612基于神经网络来参考或处理数据以确定另一车辆的预测的运动或预期的运动。例如，预测部件612可以包括或访问将转向信号状态与一个或多个未来车辆运动相关联的数据库或模型。在一个实施例中，数据库或模型可以将闪光信号灯方向与车辆在该方向上改变方向相关联。在一个实施例中，数据库或模型可以将危险灯的闪烁(例如，两个或所有可检测到的转向信号指示器都闪烁)与车辆在不可预测的方向上快速移动通过道路而没有根据标准协议等待相关联。因此，通过闪烁的危险灯(或闪烁的紧急灯)可以向车辆提供额外距离和余地以移动通过道路。

在一个实施例中，预测部件612基于由车辆运动部件610确定的检测到的车辆的运动来确定驾驶员的意图或预测未来运动。例如，预测部件612可以预测车辆移动通过交叉口的时间和行驶方向。在一个实施例中，预测部件612参考或处理数据库或模型以确定另一车辆的预测的运动或预期的运动。例如，预测部件612可以包括或访问将一个或多个检测到的运动与一个或多个未来运动相关联的数据库或模型。例如，数据库可以包括预测的通过交叉口的未来运动的加速度、速度、减速度或其它运动信息。在一个实施例中，预测部件612可以预测从相邻车道变道进入与第一车辆相同的车道。在一个实施例中，预测部件612可以预测邻近车辆可以在对应于车辆的一侧的方向上变道，在该侧上，转向信号指示器是激活的或闪烁的。

在一个实施例中，预测部件612可以基于来自转向信号部件608、车辆运动部件610的数据以及其他数据的组合来确定驾驶员的意图或车辆的未来运动。例如，神经网络或图解模型可以包括用于转向信号信息和车辆运动中的一个或多个的机器学习值或相关性。

驾驶操纵部件614被配置为基于另一车辆的预测的驾驶员意图或未来驾驶操纵来选择母车辆的驾驶操纵。例如，驾驶操纵部件614可以从预测部件612接收一个或多个附近车辆的一个或多个预测的驾驶操纵。驾驶操纵部件614可以确定行驶路径以避免在其执行预测的驾驶操纵的情况下与其他车辆碰撞。例如，驾驶操纵部件614可以确定是否减速、加速和/或转动母车辆的方向盘。在一个实施例中，驾驶操纵部件614可以确定驾驶操纵的时间。例如，驾驶操纵部件614可以确定母车辆应当等待以执行变道或在特定时间执行变道，因为在该车道中另一车辆可能该车辆附近。

在一个实施例中，驾驶操纵部件614可以直接基于由转向信号部件608、车辆运动部件610和/或驾驶员意图部件104的其他部件收集到的数据来选择驾驶操纵。例如，驾驶操纵部件614可以基于转向信号指示器的状态和/或另一车辆的位置和速度来选择驾驶操纵。在一个实施例中，所选择的驾驶操纵可以是被提供给驾驶员或系统做出驾驶或导航操纵的建议的驾驶操纵。在一个实施例中，驾驶操作部件614可以在决策矩阵中输入或包括来自转向信号部件608、车辆运动部件610、和/或预测部件612的数据或确定。例如，该决策矩阵可以包括被利用神经网络或处理算法处理以确定母车辆应该执行的操纵的矩阵。在一个实施例中，决策矩阵可以包括用于决定是否和/或何时执行变道的矩阵。

通知部件616被配置为向车辆的驾驶员或自动驾驶系统提供一个或多个通知。在一个实施例中，通知部件616可以使用显示器122或扬声器124来向驾驶员提供通知。在一个实施例中，通知可以包括执行操纵的指令或可以提醒另一车辆很可能执行特定操纵或在预测的时间在特定位置。在一个实施例中，通知部件616可以通知驾驶员或自动驾驶系统由驾驶操纵部件614选择或建议的驾驶操纵。在一个实施例中，通知部件616可以通知驾驶员或自动驾驶系统由预测部件612确定的预测到的另一车辆的未来运动。

现在参照图7，说明了根据一个实施例用于做出车辆操纵决策的方法700的示意性流程图。方法700可以由自动驾驶/辅助系统或驾驶员意图部件——例如图1的自动驾驶/辅助系统102或图1或6的驾驶员意图部件104——来执行。

在702，当边界部件606在邻近车辆的图像中识别包含邻近车辆的转向信号指示器的子部分时，方法700开始。在704，转向信号部件608处理图像的子部分以确定转向信号指示器的状态。在706，基于邻近车辆的转向信号指示器的状态，通知部件616通知驾驶员或驾驶操纵部件614使车辆执行驾驶操纵。

示例

以下示例涉及另外的实施例。

示例1是一种方法，该方法包括在第一车辆处检测相邻车道中第二车辆的存在。该方法还包括在第二车辆的图像中识别包含第二车辆的转向信号指示器的子部分。该方法进一步包括处理图像的子部分以确定转向信号指示器的状态。该方法还包括基于转向信号指示器的状态而在第一车辆处通知驾驶员或执行驾驶操纵。

在示例2中，示例1中识别包含转向信号指示器的子部分包括利用经训练的神经网络来处理第二车辆的图像以识别一个或多个关注的转向信号区域。此外，处理图像的子部分包括处理图像中包含一个或多个关注的转向信号区域的一部分。

在示例3中，示例1-2中任一个中处理图像的子部分包括利用经训练的神经网络来处理子部分以确定一个或多个转向信号指示器的状态。

在示例4中，示例1-3中任一个中的方法进一步包括基于转向信号指示器的状态来确定第一车辆的驾驶操纵。

在示例5中，示例4中确定驾驶操纵包括将转向信号指示器的状态提供至变道决策矩阵并且处理该变道决策矩阵以选择驾驶操纵。

在示例6中，示例4中通知驾驶员包括通知驾驶员所确定的驾驶操纵。

在示例7中，示例1-6中任一个的方法进一步包括基于转向信号指示器的状态来预测第二车辆的未来运动。

在示例8中，示例7中预测未来运动包括预测从相邻车道变道进入与第一车辆相同的车道。

在示例9中，示例7中通知驾驶员包括通知驾驶员预测到的第二车辆的未来运动。

在示例10中，示例1-9中任一个的方法进一步包括确定对应于转向信号指示器的状态的第一车辆的运动方向。

示例11是一种用于车辆的驾驶控制系统，该驾驶控制系统包括用于获取车辆附近的区域中的传感器数据的包括摄像机的一个或多个传感器。该驾驶控制系统还包括边界部件、转向信号部件和驾驶操纵部件。该边界部件被配置为识别图像中包含邻近车辆的转向信号指示器的子部分。该转向信号部件被配置为处理图像的子部分以确定转向信号指示器的状态。该驾驶操纵部件被配置为基于转向信号指示器的状态来确定第一车辆的驾驶操纵。

在示例12中，示例11中的驾驶操纵包括建议的驾驶操纵，并且该驾驶控制系统进一步包括通知部件，该通知部件被配置为向人类驾驶员或自动驾驶系统提供建议的驾驶操纵。

在示例13中，示例11-12中任一个的边界部件被配置为通过利用经训练的神经网络处理邻近车辆的图像以识别一个或多个关注的转向信号区域来识别包含转向信号指示器的子部分。转向信号部件被配置为通过处理图像中包含一个或多个关注的转向信号区域的一部分来处理图像的子部分。

在示例14中，示例11-13中任一个中的驾驶控制系统进一步包括被配置为确定邻近车辆在相对于车辆的危险区域内的检测部件。该驾驶控制系统被配置为响应于检测部件确定邻近车辆在危险区域内而获取图像。

在示例15中，示例11-14中任一个的驾驶控制系统进一步包括被配置为确定车辆和邻近车辆中的一个或多个的车道的检测部件。

示例16是一种计算机可读存储介质，该计算机可读存储介质存储指令，当该指令由一个或多个处理器执行时，该指令使一个或多个处理器在第一车辆处获取第一车辆附近的道路上第二车辆的多个图像。该指令进一步使一个或多个处理器识别多个图像中包含第二车辆的转向信号指示器的子部分。该指令进一步使一个或多个处理器处理多个图像的子部分以确定转向信号指示器的状态。该指令进一步使一个或多个处理器基于转向信号指示器的状态来预测第二车辆的驾驶操纵。

在示例17中，示例16的指令进一步使一个或多个处理器基于预测到的第二车辆的驾驶操纵来确定第一车辆的驾驶操纵。

在示例18中，示例16-17中任一个中的指令进一步使一个或多个处理器基于转向信号指示器来确定是否使第一车辆执行变道。

在示例19中，示例16-18中任一个中的指令进一步使一个或多个处理器确定第二车辆是以下情况中的一种或多种：在紧邻第一车辆的车道的车道中；在沿着道路与第一车辆类似的方向上行驶；以及在第一车辆的危险区域内，其中该危险区域对应于第一车辆和第二车辆之间存在碰撞危险的区域。

在示例20中，示例16-19中任一个中的指令进一步使一个或多个处理器确定转向信号指示器的状态对应于第一车辆的运动方向。

示例21是一种系统或装置，该系统或装置包括用于实施示例1-20中任一个的方法或实现示例1-20中任一个的系统或装置的手段。

应当指出的是，以上所讨论的传感器实施例可以包含计算机硬件、软件、固件或其任何组合以执行其功能的至少一部分。例如，传感器可以包括被配置为在一个或多个处理器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑/电子电路。本文提供这些示例设备是为了说明的目的，并不旨在进行限制。本发明的实施例可以在其他类型的设备中实施，如相关领域技术人员将已知的那样。

本发明的实施例涉及包含存储在任何计算机可用介质上的这样的逻辑(例如，以软件的形式)的计算机程序产品。这样的软件，当在一个或多个数据处理设备中执行时，使设备如本文所描述的那样操作。

虽然以上已经描述了本发明的各种实施例，但是应当理解的是，它们已仅通过举例的方式呈现，而非限制。对相关领域的技术人员来说将显而易见的是，形式和细节的各种改变可以在不脱离本发明的精神和范围的前提下进行。因此，本发明的广度和范围不应该被上述示例性实施例中的任一个限制，而是应该仅根据下面的权利要求书及其等同物来限定。为了说明和描述的目的，前面的描述已被呈现。它不旨在是穷尽或将本发明限制为所公开的精确形式。鉴于以上教导，许多修改和变化是可能的。此外，应该指出的是，上述替代实施方式中的任一个或全部可以以任意所需的组合使用以形成本发明的附加混合实施方式。

此外，虽然本发明的特定实施方式已被描述和说明，但是本发明不被限于所描述和所说明的特定的形式或部件的布置。本发明的范围由所附的权利要求、本申请中和不同申请中所提交的任何未来的权利要求及其等同物来限定。