用于车辆信号灯检测的系统和方法与流程

本公开总体上涉及自主车辆，并且更具体地涉及用于自主车辆中的车辆信号灯检测的系统和方法。

背景技术：

自主车辆是能够感测其环境并且以很少或不需要用户输入进行导航的车辆。自主车辆使用诸如雷达、激光雷达、图像传感器等感测装置来感测其环境。自主车辆系统进一步使用来自全球定位系统(gps)技术、导航系统、车对车通信、车对基础设施技术和/或线控驱动系统的信息来对车辆进行导航。

车辆自动化已经被分类为从零(对应于全人为控制的非自动化)到五(对应于无人为控制的全自动化)的范围中的数值等级。各种自动驾驶员辅助系统(诸如巡航控制、自适应巡航控制以及停放辅助系统)对应于较低自动化等级，而真正的“无人驾驶”车辆对应于较高自动化等级。

一些自主车辆可以包括检测驾驶环境内的车辆的信号灯的系统。在这些系统中，通常搜索从相机获得的整个图像以寻找需要检测的车辆信号。这种用于车辆信号检测的方法是计算密集的且昂贵的，这使得其缓慢且非常耗时。

因此，期望提供可以加速车辆信号检测的过程的系统和方法。另外，从以下结合附图和前面的技术领域及背景技术进行的实施方式和所附权利要求书中将更清楚地明白本发明的其它期望特征和特性。

技术实现要素：

提供了用于分析车辆信号灯以便操作自主车辆的系统和方法。在一个实施例中，一种系统和方法包括由一个或多个数据处理器从相机接收关于邻近自主车辆的车辆的图像。使用来自激光雷达传感器的关于邻近车辆的数据以确定用于识别相机图像内的子部分的对象信息。识别的子部分对应于包含一个或多个车辆信号的邻近车辆的区域。通过使用识别的相机图像子部分作为焦点区域来定位邻近车辆的一个或多个车辆信号灯。

在一个实施例中，一种系统和方法包括由一个或多个数据处理器从相机接收关于邻近自主车辆的车辆的图像。使用来自激光雷达传感器的关于邻近车辆的数据以确定用于识别相机图像内的子部分的对象几何形状和位置信息。识别的子部分对应于包含一个或多个车辆信号的邻近车辆的区域。一个或多个处理器通过使用识别的相机图像子部分作为焦点区域来定位邻近车辆的一个或多个车辆信号灯。邻近车辆的跟踪基于邻近车辆的定位的一个或多个车辆信号灯。

附图说明

下文将结合以下附图描述示例性实施例，其中相同标号表示相同元件，且其中：

图1是说明根据各种实施例的自主车辆的功能框图；

图2是说明根据各种实施例的具有如图1中所示的一台或多台自主车辆的运输系统的功能框图；

图3是说明根据各种实施例的与自主车辆相关联的自主驾驶系统(ads)的功能框图；

图4和5是描绘根据各种实施例的车辆信号处理系统的功能框图；

图6描绘了根据本公开的各种实施例的示例性车辆，其包括分布在车辆周围的多个雷达装置、相机以及激光雷达装置；

图7是描绘涉及车辆信号检测的操作场景的流程图；并且

图8是描绘根据各种实施例的使用固定曝光相机的车辆信号处理系统的功能框图。

具体实施方式

具体实施方式本质上仅仅是示例性的，并且不旨在限制应用和用途。另外，不存在被任何前述的技术领域、背景技术、发明内容或具体实施方式中提出的任何明确的或暗示的理论约束的意图。如本文所使用，术语“模块”是指单独地或呈任何组合的任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器装置，包括但不限于：专用集成电路(asic)、现场可编程门阵列(fpga)、电子电路、处理器(共享、专用或成组)以及执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所述功能性的其它合适部件。

本公开的实施例在本文可以依据功能和/或逻辑块部件和各个处理步骤来描述。应当明白的是，这些块部件可以由被配置为执行指定功能的任何数量的硬件、软件和/或固件部件来实施。例如，本公开的实施例可以采用各种集成电路部件(例如，存储器元件、数字信号处理元件、逻辑元件、查找表等，其可以在一个或多个微处理器或其它控制装置的控制下执行多种功能)。另外，本领域技术人员将明白的是，本公开的实施例可以结合任何数量的系统来实践，并且本文所述的系统仅仅是本公开的示例性实施例。

为了简明起见，本文可以不详细描述与信号处理、数据传输、信令、控制、机器学习、图像分析以及该系统(和该系统的单个操作部件)的其它功能方面有关的常规技术。另外，本文所包括的各个图式中所示的连接线旨在表示各个元件之间的示例功能关系和/或物理联接。应当注意的是，在本公开的实施例中可以存在许多替代或附加的功能关系或物理连接。

参考图1，根据各种实施例，总体上示为100的用于执行自主车辆控制的系统与车辆10相关联。通常，系统100提供对车辆10的周围环境的点云形式的三维图像的低级处理以确定用于控制车辆10的周围对象的速度。

如图1中所描绘，车辆10通常包括底盘12、车身14、前轮16和后轮18。车身14被布置在底盘12上并且大致上包围车辆10的部件。车身14和底盘12可以共同形成框架。车轮16到18各自在车身14的相应拐角附近旋转地联接到底盘12。

在各种实施例中，车辆10是自主车辆，并且系统100和/或其部件被结合到自主车辆10(在下文中被称为自主车辆10)中。自主车辆10例如是被自动控制以将乘客从一个位置运送到另一个位置的车辆。在所说明的实施例中，车辆10被描绘为乘用车，但是应当明白的是，也可以使用包括摩托车、卡车、运动型多用途车辆(suv)、休闲车辆(rv)、船舶、飞行器等任何其它车辆。

在示例性实施例中，自主车辆10对应于汽车工程师协会(sae)“j3016”标准分类的自动驾驶等级下的四级或五级自动化系统。使用该术语，四级系统指示“高度自动化”，其指代自动驾驶系统执行动态驾驶任务的所有方面的驾驶模式，即使人类驾驶员对干预请求没有做出适当响应。另一方面，五级系统指示“全自动化”，其指代自动驾驶系统在可由人类驾驶员管理的所有道路和环境状况下在动态驾驶任务的所有方面的全面性能的驾驶模式。然而，应当明白的是，根据本主题的实施例不限于自动化类别的任何特定的分类学或标题。另外，根据本实施例的系统可以与利用导航系统和/或其它系统提供路线引导和/或实施的任何自主车辆或其它车辆结合使用。

如图所示，自主车辆10通常包括推进系统20、变速器系统22、转向系统24、制动系统26、传感器系统28、致动器系统30、至少一个数据存储装置32、至少一个控制器34以及通信系统36。推进系统20在各种实施例中可以包括内燃机、诸如牵引电动机等电机和/或燃料电池推进系统。变速器系统22被配置为根据可选速比将来自推进系统20的动力传输到车轮16和18。根据各种实施例，变速器系统22可以包括分级传动比自动变速器、无级变速器或其它适当的变速器。

制动系统26被配置为向车轮16和18提供制动转矩。在各种实施例中，制动系统26可以包括摩擦制动器、线控制动器、诸如电机等再生制动系统，和/或其它适当的制动系统。

转向系统24影响车轮16和/或18的位置。虽然为了说明目的而被描绘为包括方向盘25，但是在本公开的范围内预期的一些实施例中，转向系统24可以不包括方向盘。

传感器系统28包括感测自主车辆10的外部环境和/或内部环境的可观察状况的一个或多个感测装置40a到40n。感测装置40a到40n可以包括但不限于雷达、激光雷达、全球定位系统、光学相机、热像仪、超声波传感器和/或其它传感器。致动器系统30包括一个或多个致动器装置42a到42n，其控制一个或多个车辆特征，诸如但不限于推进系统20、变速器系统22、转向系统24以及制动系统26。在各种实施例中，自主车辆10还可以包括图1中未说明的内部和/或外部车辆特征，诸如各种车门、行李箱以及诸如无线电、音乐、照明、触摸屏显示部件(诸如与导航系统连接中所使用的部件)等驾驶室特征。

数据存储装置32存储用于自动控制自主车辆10的数据。在各种实施例中，数据存储装置32存储可导航环境的定义地图。在各种实施例中，定义地图可以由远程系统预定义并且从远程系统获取(关于图2进一步详细描述)。例如，定义地图可以由远程系统组装并且(以无线方式和/或以有线方式)传送到自主车辆10并存储在数据存储装置32中。路线信息也可以被存储在数据装置32内，即，一组路段(在地理上与一个或多个定义地图相关联)，其一起限定了用户可以从起始位置(例如，用户的当前位置)行驶到目标位置所采取的路线。同样在各种实施例中，数据存储装置32存储用于处理三维点云的处理算法和数据以逐帧地确定周围环境中的对象的速度。如将明白的是，数据存储装置32可以为控制器34的一部分，与控制器34分开，或作为控制器34的一部分以及单独系统的一部分。

控制器34包括至少一个处理器44和计算机可读存储装置或介质46。处理器44可以为任何定制的或商业上可用的处理器、中央处理单元(cpu)、图形处理单元(gpu)、与控制器34相关联的若干处理器中的辅助处理器、基于半导体的微处理器(呈微芯片或芯片集的形式)、它们的任何组合或通常用于执行指令的任何装置。计算机可读存储装置或介质46可以包括例如只读存储器(rom)、随机存取存储器(ram)和保活存储器(kam)中的易失性和非易失性存储器。kam是一种持久或非易失性存储器，其可以在处理器44断电时用于存储各种操作变量。计算机可读存储装置或介质46可以使用诸如prom(可编程只读存储器)、eprom(电prom)、eeprom(电可擦除prom)、闪速存储器或能够存储数据的任何其它电动、磁性、光学或组合存储器装置的许多已知存储器中的任何一种来实施，其中的某些数据表示由控制器34用于控制自主车辆10的可执行指令。

指令可以包括一个或多个单独的程序，每个程序包括用于实施逻辑功能的可执行指令的有序列表。指令在由处理器44执行时接收并处理来自传感器系统28的信号，执行用于自动控制自主车辆10的部件的逻辑、计算、方法和/或算法，并且产生控制信号，其被传输到致动器系统30以基于逻辑、计算、方法和/或算法来自动地控制自主车辆10的部件。虽然图1中仅示出了一个控制器34，但是自主车辆10的实施例可以包括通过任何合适的通信介质或通信介质的组合进行通信并且协作以处理传感器信号、执行逻辑、计算、方法和/或算法且产生控制信号以自动控制自主车辆10的特征的任意数量的控制器34。在一个实施例中，如下面详细讨论的，控制器34被配置用于处理车辆10的周围环境的点云形式的三维成像数据以逐帧地确定速度以用于自主地控制车辆。

通信系统36被配置为向和从其它实体48(诸如但不限于其它车辆(“v2v”通信)、基础设施(“v2i”通信)、远程运输系统和/或用户装置(关于图2更详细描述)无线地传送信息。在示例性实施例中，通信系统36是被配置为经由使用ieee802.11标准的无线局域网(wlan)或通过使用蜂窝数据通信来进行通信的无线通信系统。然而，诸如专用短程通信(dsrc)信道等附加或替代通信方法也被认为在本公开的范围内。dsrc信道是指专门为汽车使用而设计的单向或双向短程到中程无线通信信道，以及对应的一组协议和标准。

现在参考图2，在各种实施例中，关于图1描述的自主车辆10可以适用于在某个地理区域(例如，城市、学校或商业园区、购物中心、游乐园，活动中心等)的出租车或班车系统的背景下或可以只需由远程系统管理。例如，自主车辆10可以与基于自主车辆的远程运输系统相关联。图2说明了总体上以50示出的操作环境的示例性实施例，该操作环境包括基于自主车辆的远程运输系统(或简称为“远程运输系统”)52，其与关于图1所描述的一台或多台自主车辆10a到10n相关联。在各种实施例中，操作环境50(其全部或部分可对应于图1中所示的实体48)进一步包括经由通信网络56与自主车辆10和/或远程运输系统52进行通信的一个或多个用户装置54。

通信网络56根据需要支持在由操作环境50支持的装置、系统和部件之间(例如，经由有形的通信链路和/或无线通信链路)的通信。例如，通信网络56可以包括无线载波系统60，诸如蜂窝电话系统，其包括多个手机信号塔(未示出)、一个或多个移动交换中心(msc)(未示出)以及将无线载波系统60与陆地通信系统连接所需要的任何其它联网部件。每个手机信号塔都包括发送和接收天线以及基站，其中来自不同手机信号塔的基站直接或经由诸如基站控制器等中间设备连接到msc。无线载波系统60可以实施任何合适的通信技术，包括(例如)诸如cdma(例如，cdma2000)、lte(例如，4glte或5glte)、gsm/gprs或其它当前或正涌现的无线技术等数字技术。其它手机信号塔/基站/msc布置是可能的并且可以结合无线载波系统60使用。例如，基站和手机信号塔可以共同位于相同站点处或它们可以远离彼此，每个基站可以负责单个手机信号塔或单个基站可以服务于各个手机信号塔，且各个基站可以联接到单个msc，这里仅列举几种可能布置。

除包括无线载波系统60外，可以包括呈卫星通信系统64的形式的第二无线载波系统来提供与自主车辆10a到10n进行的单向或双向通信。这可以使用一个或多个通信卫星(未示出)和上行链路传输站(未示出)来进行。单向通信可以包括(例如)卫星无线电服务，其中节目内容(新闻、音乐等)是由传输站接收、封装上传并且然后发送到卫星，从而向用户广播该节目。双向通信可以包括(例如)使用卫星以在车辆10与站之间中继电话通信的卫星电话服务。除了或代替无线载波系统60，可以利用卫星电话。

可以进一步包括陆地通信系统62，其为连接到一个或多个陆线电话的常规陆基电信网络并且将无线载波系统60连接到远程运输系统52。例如，陆地通信系统62可以包括诸如用于提供硬接线电话、分组交换数据通信和因特网基础设施的公共交换电话网(pstn)。一段或多段陆地通信系统62可以通过使用标准有线网络、光纤或其它光学网络、电缆网络、电力线、其它无线网络(诸如无线局域网(wlan))或提供宽带无线接入(bwa)的网络或其任何组合来实施。另外，远程运输系统52不需要经由陆地通信系统62连接，反而可以包括无线电话设备使得其可以直接与无线网络(诸如无线载波系统60)通信。

虽然在图2中仅示出了一个用户装置54，但是操作环境50的实施例可以支持任意数量的用户装置54，包括由一个人拥有、操作或以其它方式使用的多个用户装置54。由操作环境50支持的每个用户装置54可以使用任何合适的硬件平台来实施。就此而言，用户装置54可以任何常见外形规格来实现，包括但不限于：台式计算机；移动计算机(例如，平板计算机、膝上型计算机或上网本计算机)；智能电话；视频游戏装置；数字媒体播放器；家庭娱乐设备的部件；数码相机或视频摄影机；可穿戴计算装置(例如，智能手表、智能眼镜、智能服装)；等。由操作环境50支持的每个用户装置54被实现为具有执行本文描述的各种技术和方法所需的硬件、软件、固件和/或处理逻辑的计算机实施的或基于计算机的装置。例如，用户装置54包括可编程装置形式的微处理器，该微处理器包括存储在内部存储器结构中并且被施加来接收二进制输入以创建二进制输出的一个或多个指令。在一些实施例中，用户装置54包括能够接收gps卫星信号并且基于那些信号产生gps坐标的gps模块。在其它实施例中，用户装置54包括蜂窝通信功能性使得该装置通过通信网络56使用一个或多个蜂窝通信协议(如本文所讨论)实行语音和/或数据通信。在各种实施例中，用户装置54包括可视显示器，诸如触摸屏图形显示器或其它显示器。

远程运输系统52包括一个或多个后端服务器系统(未示出)，该后端服务器系统可以为基于云的、基于网络的或常驻在由远程运输系统52服务的特定校园或地理位置。远程运输系统52可以由现场顾问、自动顾问、人工智能系统或它们的组合来人工操作。远程运输系统52可以与用户装置54和自主车辆10a到10n进行通信以安排乘车、派遣自主车辆10a到10n等。在各种实施例中，远程运输系统52存储诸如用户认证信息、车辆标识符、简档记录、生物测量数据、行为模式以及其它相关用户信息等账户信息。在一个实施例中，如下面进一步详细描述的，远程运输系统52包括路线数据库53，其存储与导航系统路线有关的信息，包括沿着各种路线的道路的车道标记，以及特定路段是否受已经被一台或多台自主车辆10a到10n检测到的建筑区域或其它可能的危险或障碍影响以及受影响程度。

根据典型的用例工作流程，远程运输系统52的注册用户可以经由用户装置54创建乘车请求。乘车请求通常将指示乘客希望的乘车位置(或当前gps位置)、期望目的地位置(其可以表示预定义的车辆停靠站和/或用户指定的乘客目的地)以及乘车时间。远程运输系统52接收乘车请求、处理该请求，并且在指定的乘车地点且在适当的时间派遣自主车辆10a到10n中的一个车辆来让乘客乘车(当一台车辆可用时和如果一台车辆可用)。运输系统52还可以向用户装置54产生并发送适当配置的确认消息或通知，以使乘客知道车辆正在途中。

如可明白的是，本文公开的主题提供了可以被认为是标准或基线的自主车辆10和/或基于自主车辆的远程运输系统52的某些增强的特征和功能。为此，自主车辆和基于自主车辆的远程运输系统可以被修改、增强或以其它方式补充以提供下面更详细描述的附加特征。

根据各种实施例，控制器34实施如图3中所示的自主驾驶系统(ads)70。即，利用控制器34的合适软件和/或硬件部件(例如，处理器44和计算机可读存储装置46)来提供与车辆10结合使用的自主驾驶系统70。

在各种实施例中，自主驾驶系统70的指令可以由功能或系统组织。例如，如图3中所示，自主驾驶系统70可以包括传感器融合系统74、定位系统76、引导系统78以及车辆控制系统80。如可以明白的是，在各种实施例中，由于本公开不限于本示例，所以可以将指令组织(例如，组合、进一步划分等)为任何数量的系统。

在各种实施例中，传感器融合系统74合成并处理传感器数据并且预测对象的存在、位置、分类和/或路径以及车辆10的环境的特征。在各种实施例中，传感器融合系统74可以结合来自多个传感器(包括但不限于相机、激光雷达、雷达和/或任何数量的其它类型的传感器)的信息。

定位系统76处理传感器数据以及其它数据以确定车辆10相对于环境的位置(例如，相对于地图的本地位置、相对于道路车道的精确位置、车辆航向、速度等)。引导系统78处理传感器数据以及其它数据以确定车辆10遵循的路径。车辆控制系统80根据所确定的路径产生用于控制车辆10的控制信号。

在各种实施例中，控制器34实施机器学习技术以辅助控制器34的功能，诸如特征检测/分类、障碍减少、路线穿越、绘图、传感器集成、地面实况确定等。

例如，如在100处关于图4更详细地示出并且继续参考图3，系统102使用自主车辆104的传感器系统28来检测其它车辆106的信号。系统102还可以分析检测到的信号的特性，诸如信号是否为制动灯、转向信号等。

系统102使用激光雷达108来获得相机110中的图像中的对象几何形状和位置的精细细节。利用该信息，系统102知道汽车的后部、侧面和顶部的位置。这提供了一种更有效且计算量更小的方法来查找尾灯并且更容易地滤除误报。系统102的输出可以用于自主车辆104以便用于许多目的，包括自主车辆跟踪控制操作112。作为说明，系统102可以确定信号状态，诸如其它车辆是否正在制动，是否有危险，是否有转向信号等。该信号行为改进了对邻近自主车辆104的其它车辆的跟踪。

图5描绘了跟踪系统200，其帮助系统102对其它车辆的信号进行检测分析。系统200的跟踪导致识别其它车辆相对于自主车辆的位置。跟踪信息可以包括对象数据，诸如其它车辆相对于自主车辆的几何形状和位置信息202。

系统102使用跟踪信息来分析车辆光源的相机图像内的区域。该分析产生相机图像的车辆图像子部分204，系统102可以进一步处理该车辆图像子部分204以检测车辆信号灯。这种进一步的处理可以包括描绘图像帧内的光源以缩小区域以便分析。

系统102使用传感器系统28内的传感器的组合来获得用于车辆信号检测和分析的信息。例如，如图6中所示，可以使用许多不同类型的传感器配置。

图6描绘了示例性自主车辆104，其包括分布在车辆104周围的多个雷达装置240a、分布在车辆104周围的多个相机240b以及分布在车辆104周围的多个激光雷达装置240c。

雷达装置240a被设置在车辆104的不同位置处，并且在一个实施例中，关于车辆104的纵向轴线对称地设置以实现视差。每个雷达装置240a可以包括或结合适当地被配置为水平地和可旋转地扫描环境以产生由其它系统消耗的雷达数据的部件。

相机240b还被设置在不同的位置处并且被定向为提供捕获车辆104附近的周围环境的不同部分的不同视场。例如，第一相机240b位于车辆104的左前(或驾驶员)侧，并且其视场相对于车辆104的纵向轴线在向前方向上逆时针定向45°，而另一个相机240b可以位于车辆104的右前(或乘客)侧并且其视场相对于车辆104的纵向轴线顺时针定向45°。附加相机240b位于车辆104的左后侧和右侧，并且类似地相对于车辆纵向轴线以45°远离纵向轴线定向，以及相机240b位于车辆104的左侧和右侧并且远离与车辆纵向轴线垂直的纵向轴线定向。所说明的实施例还包括一对相机240b，其定位在车辆纵向轴线处或附近，并且被定向成沿着与车辆纵向轴线大致上平行的视线捕获前视视场。

在示例性实施例中，相机240b具有视角、焦距以及与一个或多个其它相机240b的属性不同的其它属性。例如，车辆右侧和左侧上的相机240b可以具有比与位于车辆左前侧、右前侧、左后侧或右后侧的相机240b相关联的视角更大的视角。在一些实施例中，选择相机240b的视角，使得不同相机240b的视场至少部分地重叠以确保相对于车辆104的特定位置或定向的相机覆盖。

激光雷达装置240c也被设置在车辆104的不同位置处，并且在一个实施例中，关于车辆104的纵向轴线对称地设置以实现视差。每个激光雷达装置240c可以包括或结合一个或多个激光器、扫描部件、光学装置、光电检测器以及适当地被配置为以特定角频率或旋转速度水平地且可旋转地扫描车辆104附近的环境的其它部件。例如，在一个实施例中，每个激光雷达装置240c被配置为水平旋转并以10赫兹(hz)的频率扫描360°。如本文所使用，激光雷达扫描应当被理解为指代激光雷达装置240c的单次旋转。

在本文描述的示例性实施例中，相机240b捕获图像的频率或速率大于激光雷达装置240c的角频率。例如，在一个实施例中，相机240b以30hz的速率捕获对应于它们相应的视场的新图像数据。因此，每个相机240b可以每次激光雷达扫描捕获多个图像，并且在不同时间捕获图像，这与激光雷达装置240c的定向或扫描内的角位置无关。因此，本文描述的主题基于由相应相机240b相对于激光雷达扫描的角位置对应于激光雷达装置240c的视线(该视线与相应相机240b的视角的平分线(或视线)大致上平行)时的采样时间捕获的图像的时间戳来选择或以其它方式识别来自每个相应相机240b的图像，该图像在时间上与来自特定激光雷达扫描的激光雷达点云数据相关联。

自主车辆的跟踪系统使用来自这些不同类型的传感器的信息来跟踪车辆附近的对象的三维位置和几何形状。在一个示例性实施例中，跟踪系统可以产生或使用这种对对象的三维位置、对象与车辆的距离/深度、对象的尺寸和形状、对象的速度等的跟踪。

图7说明了来自跟踪系统的信息用于检测和分析其它车辆的信号灯的操作场景。过程框300获得相机图像和激光雷达信息。过程框302使用该信息来确定对象数据和其它类型的跟踪信息。

在该操作场景中，过程框304使用跟踪处理的输出来聚焦于图像内有最高概率包含车灯的特定点。过程框304通过知道系统期望在图像内看到的灯的大小来识别图像内的最高概率位置。

附加分析可以进一步细化图像内的焦点区域。过程框306获得附加的车辆环境信息308以促进聚焦分析。来自该过程的附加信息308可以包括车道信息、车速等。例如，车道信息可以确定车辆定向(例如，邻近车辆是背离还是面向自主车辆)。这进而提供了一种用于确定其它邻近车辆的哪些灯实际上是车辆尾灯(相对于车辆的前灯)以及解决诸如卡车上的图像或表面反射等误报的过滤器。在该操作场景中，注意到邻近指示其它车辆在自主车辆的驾驶环境内并且在自主车辆前方、侧面或者在车辆信号对于自主车辆完全或部分可见的另一个定向处。可以诸如从车辆定位操作获得附加信息308。车辆定位操作可以包括估计车辆在典型和具有挑战性的驾驶场景中的位置和定向。这些具有挑战性的驾驶场景包括(但不限于)具有许多汽车的动态环境(例如，密集交通)、具有大规模障碍物的环境(例如，道路工程或建筑工地)、丘陵、多车道道路、单车道道路、各种道路标记和建筑物或者没有道路标记的建筑物(例如，住宅vs.商业区)，以及桥梁和立交桥(车辆的当前路段上方和下方)。定位还可以结合由于经由在操作期间由车辆执行的车载绘图功能获得的扩展地图区域而收集的新数据以及经由无线载波系统60“推送”到车辆的绘图数据。

相机图像内的聚焦区域允许更容易且更有效地识别信号灯和过程框310。相机图像内的聚焦区域允许过程框310更容易且更有效地识别信号灯。过程框310可以许多不同方式执行聚焦区域内的车辆信号灯的识别。例如，可以训练诸如卷积神经网络等神经网络以识别车辆信号灯的状态。可以训练卷积神经网络以基于聚焦区域内出现的颜色以及诸如聚焦区域内的颜色的对象(例如，“斑点”)的位置等其它因素来执行识别，以及区分与信号灯相关联的圆圈和箭头。

另外，神经网络可以评估颜色的对象的对称性。例如，可以训练神经网络以基于沿着水平面出现在车辆的左侧和右侧的红色来检测车辆制动灯已被激活。可以使用其它位置信息，诸如评估在车辆后窗内是否还激活了红色制动灯。

除了其它原因之外，通过处理克服仅通过寻找图像内的灯来执行车辆信号检测的难度(因为这可以引起许多响应)的实现了效率的提高。图7中的处理通过避免分析图像的不相关部分来克服这一点，由此导致图像处理周期的减少。

图8描绘了在自主车辆上使用固定曝光相机340以用于车辆信号检测和分析。固定曝光相机的示例包括相机镜头的光圈固定以及传感器曝光时间和传感器增益固定。以此方式，光源的强度相同并且变得更稳定。这允许更有效地使用亮度阈值。更具体地，因为固定曝光相机允许光以相同强度出现，所以固定曝光相机允许在图像帧内描绘光源以缩小区域以便于车辆信号检测和分析系统102的分析。

虽然前述详细描述中已经提出了至少一个示例性实施例，但是应当明白的是，存在许多变化。还应当明白的是，示例性实施例仅仅是示例的并且不旨在以任何方式限制本公开的范围、适用性或配置。实情是，前文详细描述将给本领域技术人员提供用于实施示例性实施例或多个示例性实施例的便捷指引。应当理解的是，在不脱离所附权利要求书和其合法等同物的范围的情况下，可对元件的功能和设置作出各种改变。