对基础设施照明的车辆监测的制作方法
本公开一般涉及基础设施，并且更具体地涉及对基础设施照明的车辆监测。
背景技术：
典型地，基础设施系统利用照明以便于车辆行驶通过基础设施系统。例如，街灯通常位于道路一侧以便于车辆在黑暗时沿着道路行驶。交通信号灯一般位于十字路口以管理通过该十字路口的交通。此外，标志(例如，交通标志、商业标志)位于道路一侧以便于车辆的驾驶员导航通过基础设施系统。另外，车辆典型地包括外部灯以便于车辆在黑暗时沿着道路行驶和/或警告其它车辆它在制动和/或转弯。
技术实现要素：
所附权利要求定义了该申请。本公开总结了实施例的各方面，并且不应用于限制权利要求。根据本文描述的技术构思了其它实现方式，如对于本领域的普通技术人员在研究以下附图和详细描述时将显而易见，并且这些实现方式旨在落入本申请的范围内。
示出了用于对基础设施照明的车辆监测的示例实施例。一种所公开的示例车辆包括相机、车辆间通信模块和控制器。所述控制器用于识别由所述相机捕获的图像内的固定基础设施对象，并且响应于确定所述固定基础设施对象包括灯而识别所述灯是否不可操作。所述控制器还用于经由利用所述车辆间通信模块的车辆对基础设施通信来向基础设施通信节点发送指示所述灯不可操作的警报。
一些示例还包括接近传感器，所述接近传感器用于进一步检测所述固定基础设施对象的存在。在一些示例中，为了识别所述固定基础设施对象和所述灯的可操作性，所述控制器利用机器学习来执行图像识别。
在一些示例中，所述控制器监测所述灯的光发射以确定所述灯是否不可操作。一些这样的示例还包括光传感器，所述光传感器被配置为收集光发射测量值以使得所述控制器能够监测所述灯的所述光发射。在一些这样的示例中，为了监测所述灯的所述光发射，所述控制器利用光频滤波来处理所述灯的光分布。在一些这样的示例中，所述控制器响应于基于所述灯的所述光发射而确定所述灯的一个或多个led不可操作来确定所述灯不可操作。
一些示例还包括：第二通信模块，所述第二通信模块被配置为经由蜂窝网络向服务器发送所述警报；以及gps接收器，所述gps接收器被配置为识别车辆位置。在这样的示例中，所述控制器在所述警报中包括所述相机捕获包括所述固定基础设施对象的所述图像时所处的所述车辆位置，以便于识别不可操作的所述灯的位置。
在一些示例中，所述控制器识别出所述固定基础设施对象是商业标志。所述灯柱的所述灯是被配置为照亮道路的一部分的第一街灯。一些这样的示例还包括用于监测环境光的光传感器。在这样的示例中，所述控制器被配置为响应于所述光传感器检测到所述环境光低于环境光阈值而识别所述第一街灯的可操作性。在一些这样的示例中，在所述控制器识别出所述灯柱包括所述第一街灯和第二街灯时，所述控制器通过比较所述第一街灯和所述第二街灯的光发射来确定所述第一街灯的可操作性。在一些这样的示例中，所述控制器被配置为：基于由所述相机捕获的多个图像而识别沿着所述道路的灯柱图案；确定对应于所述灯柱图案的照明图案；以及响应于确定所述灯柱的照明测量值不对应于所述照明图案而识别出所述灯柱的所述第一街灯不可操作。
在一些示例中，所述控制器识别出所述固定基础设施对象是包括交通灯的第一交通信号灯。在这样的示例中，所述交通灯中的每一个包括用于指示交通进行的第一灯、用于指示所述交通避让的第二灯，以及用于指示所述交通停止的第三灯。在一些这样的示例中，在所述控制器识别出十字路口包括所述第一交通信号灯和第二交通信号灯时，所述控制器通过比较所述第一交通信号灯和所述第二交通信号灯的光发射来确定所述第一交通信号灯的所述交通灯中的一个或多个的可操作性。在一些这样的示例中，所述控制器被配置为：检索所述交通灯的照明图案；以及响应于确定所述交通灯的测量到的照明序列与所述照明图案不对应而将所述交通灯中的一个识别为不可操作。
在一些示例中，所述控制器识别出所述固定基础设施对象是商业标志。
所公开的示例方法包括经由处理器来识别由车辆的相机捕获的图像内的基础设施对象。所公开的示例方法还包括：确定所述基础设施对象是否包括灯；以及响应于确定所述基础设施对象包括所述灯而识别所述灯是否不可操作。所公开的示例方法包括经由利用所述车辆的车辆间通信模块的车辆对基础设施通信来向基础设施通信节点发送指示所述灯不可操作的警报。
一些示例还包括基于由所述相机捕获的多个图像而识别沿着所述道路的灯柱图案。在这样的示例中，所述灯柱中的一个是所述基础设施对象。这样的示例还包括确定对应于所述灯柱图案的照明图案；以及响应于确定所述基础设施对象的照明测量值不对应于所述照明图案而识别出所述基础设施对象的所述灯不可操作。
一些示例还包括基于由所述相机捕获的所述图像而识别包括第一交通信号灯和第二交通信号灯的十字路口。在这样的示例中，所述第一交通信号灯是所述基础设施对象。这些示例还包括通过比较所述第一交通信号灯和所述第二交通信号灯的光发射来确定所述第一交通信号灯的所述灯的可操作性。
一些示例还包括：识别出所述基础设施对象是交通信号灯；检索所述交通信号灯的交通灯的照明图案；以及响应于确定所述交通灯的测量到的照明序列与所述照明图案不对应而识别出所述交通灯中的一个不可操作。
附图说明
为了更好地理解本发明，可以参考以下附图中所示的实施例。附图中的部件不一定按比例绘制，并且可以省略相关元件，或者在某些情况下可能夸大了比例，以便强调和清楚地说明本文所述的新颖特征。另外，如本领域中已知的，系统部件可以不同地布置。此外，在附图中，相同的附图标记在若干视图中表示对应的零件。
图1示出了根据本文教导的示例车辆。
图2示出了由图1的车辆的相机捕获的灯柱的示例图像。
图3示出了图1的车辆沿着与多个灯柱相邻的道路行驶。
图4示出了由图1的车辆的相机捕获的两个交通信号灯的示例图像。
图5a至图5c示出了由图1的车辆的相机捕获的交通信号灯的图像的示例序列。
图6示出了图1的车辆正在接近十字路口。
图7示出了由图1的车辆的相机捕获的商业标志的示例图像。
图8示出了由图1的车辆的相机捕获的另一辆车辆的示例图像。
图9是图1的车辆的电子部件的框图。
图10是根据本文教导的用于经由车辆监测基础设施照明的流程图。
具体实施方式
虽然本发明可以以各种形式实施，但是在附图中示出并且在下文中将描述一些示例性和非限制性实施例，应理解，本公开被认为是本发明的示例而不是旨在将本发明限制于所示的特定实施例。
典型地，基础设施系统利用照明以便于车辆行驶通过基础设施系统。例如，街灯通常位于道路一侧以便于车辆在黑暗时沿着道路行驶。交通信号灯一般位于十字路口以管理通过该十字路口的交通。此外，标志(例如，交通标志、商业标志)位于道路一侧以便于车辆的驾驶员导航通过基础设施系统。另外，车辆典型地包括外部灯以便于车辆在黑暗时沿着道路行驶和/或警告其它车辆它在制动和/或转弯。当这种照明不可操作时，可能妨碍车辆驾驶员的导航通过基础设施系统的能力。
本文公开的示例使得车辆能够识别附近基础设施对象(例如，灯柱、交通信号灯、商业标志等)和/或车辆的灯何时不可操作并向基础设施节点、车辆通信节点和/或远程服务器发送警报，以便于之后维修不可操作的灯。本文公开的示例方法和设备包括检测附近灯何时熄灭的车辆系统。系统包括捕获附近对象的图像的相机。车辆还可以包括其它传感器(例如，雷达传感器、超声传感器)以进一步检测附近对象的存在。系统利用图像识别来分析捕获到的图像，例如，以检测附近对象的灯何时不可操作。例如，系统被配置为检测以下附近灯中的每一个何时熄灭：另一辆车辆的灯(例如，尾灯)(例如，在识别出它变暗时)、另一辆车辆的制动灯(例如，在识别出其它车辆正在制动时)、街灯(例如，在识别街灯图案时)、交通信号灯、商业标志的灯等。例如，如果另一辆车辆的灯熄灭，那么系统利用车辆的车辆间通信模块(例如，专用短程通信(dsrc)模块)经由车辆对车辆(v2v)和/或车辆对基础设施(v2i)通信向其它车辆发送警报。如果街灯或交通信号灯熄灭，那么系统利用车辆间通信模块经由v2i通信向基础设施节点发送警报。如果商业标志的灯熄灭，那么系统会向远程服务器发送警报。系统可以进一步使用众包来映射道路的十字路口和/或其它特征。
转到附图，图1示出了根据本文教导的示例车辆100。车辆100可以是标准汽油动力车辆、混合动力车辆、电动车辆、燃料电池车辆和/或任何其它移动工具类型的车辆。车辆100包括与移动性相关的零件，诸如具有发动机、变速器、悬架、驱动轴和/或车轮等的动力传动系统。车辆100可以是非自主的、半自主的(例如，一些例行动力功能由车辆100控制)或自主的(例如，动力功能由车辆100控制而没有直接的驾驶员输入)。
在所示的示例中，车辆100包括一个或多个相机102、一个或多个光传感器104以及一个或多个接近传感器106。相机102被配置为捕获车辆100的周围区域的用于图像识别的图像和/或视频。在一些示例中，相机102被配置为测量环境光的发光度、亮度、颜色和/或其它特性。例如，相机102包括检测在相机102和/或车辆100周围的环境光的特性(例如，发光度、亮度、颜色和/或其它特性)的传感器。此外，光传感器104被配置为检测在光传感器104和/或车辆100周围的环境光的特性(例如，发光度、亮度、颜色和/或其它特性)。例如，光传感器104被配置为收集光发射测量值以便于监测在车辆100附近发射的光。接近传感器106被配置为检测定位在车辆100的周围区域内的对象(例如，固定基础设施对象、另一辆车辆等)的存在、相对位置和/或距该对象的距离。例如，接近传感器106包括经由无线电波检测和定位对象的雷达传感器、经由激光检测和定位对象的激光雷达传感器、经由超声波检测和定位对象的超声传感器和/或被配置为检测和定位附近对象的任何其它类型的传感器。
此外，所示的示例的车辆100包括导航系统108和全球定位系统(gps)接收器110。例如，导航系统108是便于车辆100的操作者(例如，驾驶员)导航车辆100的电子系统。例如，导航系统108呈现地图、提供方向和/或识别交通状况和/或障碍物，以便于驾驶员从当前位置导航到目标目的地。此外，gps接收器110从全球定位系统接收信号以识别车辆100的当前位置。
如图1所示，车辆100包括通信模块112，通信模块112包括有线或无线网络接口，以实现与外部网络的通信。通信模块112还包括用于控制有线或无线网络接口的硬件(例如，处理器、存储器、存储器、天线等)和软件。在所示的示例中，通信模块112包括用于蜂窝网络(例如，全球移动通信系统(gsm)、通用移动电信系统(umts)、长期演进(lte)、码分多址(cdma))、近场通信(nfc)和/或其它基于标准的网络(例如，wimax(ieee802.16m)；近场通信(nfc)、无线局域网(包括ieee802.11a/b/g/n/ac或其它)、无线千兆位(ieee802.11ad)等)的一个或多个通信控制器。外部网络可以是：公共网络，诸如互联网；专用网络，诸如内联网；或其组合，并且可以利用现在可用或以后开发的各种联网协议，包括但不限于基于tcp/ip的网络协议。
所示的示例的车辆100还包括通信模块114。通信模块114是车辆间通信模块，其包括天线、无线电和用于广播消息的软件，并且经由车辆对车辆(v2v)通信在车辆100与其它车辆之间建立连接，经由车辆对基础设施(v2i)通信在车辆100与基于基础设施的模块之间建立连接，并且经由v2x通信在车辆100与基于移动装置的模块之间建立连接。关于车辆间通信网络以及网络如何与车辆硬件和软件通信的更多信息，请参阅美国运输部2011年6月系统要求规范(syrs)报告(见于http://www.its.dot.gov/meetings/pdf/coresystem_se_syrs_reva％20(2011-06-13).pdf)，其全部内容以及syrs报告的第11页至第14页上引用的所有文件以引用方式并入本文。车辆间通信系统可以安装在车辆上并沿着路边安装在基础设施上。结合到基础设施(例如，交通信号灯、街灯、市政相机等)中的车辆间通信系统被称为“路边”系统或单元。车辆间通信可以与其它技术(诸如全球定位系统(gps)、可视光通信(vlc)、蜂窝通信和短程雷达)相结合，以便于车辆将其位置、速度、航向、相对位置传达给其它对象并与其它车辆或外部计算机系统交换信息。车辆间通信系统可以与诸如移动电话的其它系统集成。
在一些示例中，通信模块114实现专用短程通信(dsrc)协议。目前，dsrc网络以缩写或名称dsrc标识。然而，有时使用其它名称，这些名称通常是与连接车辆程序等有关。这些系统中的大多数是纯dsrc或ieee802.11无线标准的变体。然而，除了纯dsrc系统之外，还意味着包括汽车与路边基础设施系统之间的专用无线通信系统，它们与gps集成并且是基于用于无线局域网的ieee802.11协议(诸如802.11p等)。另外地或可选地，通信模块114实现一个或多个其它通信协议，诸如长期演进(lte)、5g通信等。
此外，车辆100包括照明控制器116，照明控制器116监测在车辆100附近的灯的可操作性。例如，照明控制器116识别经由相机102中的一个或多个捕获的图像内的对象(例如，车辆、固定基础设施对象)。例如，照明控制器116利用图像识别软件来识别位于经由相机102捕获的图像内的对象。在一些示例中，图像识别软件识别图像内的对象的边界。此外，图像识别软件通过将对应于对象的所识别的边界与数据库(例如，图9的数据库916)进行比较来识别图像内的对象，该数据库包括将对象边界与已知对象相关的条目。也就是说，照明控制器116经由图像识别软件通过识别图像内的边界并将这些边界与已知对象的边界进行比较来识别图像内的对象。此外，在一些示例中，照明控制器116利用机器学习来对位于由车辆100的相机102中的一个或多个捕获的图像内的对象执行图像识别。另外地或可选地，照明控制器116还基于从接近传感器106(例如，激光雷达传感器)中的一个或多个收集的数据而识别和/或检测对象的存在。例如，照明控制器116利用从接近传感器106收集的数据来识别对象的形状和/或相对位置。
照明控制器116还经由例如图像识别软件来确定所识别的对象是否包括灯(例如，车辆的外部灯、固定基础设施对象的灯)。响应于确定对象包括灯，车辆100的照明控制器116识别灯的可操作性。例如，为了确定灯是可操作还是不可操作的，照明控制器116基于收集到的光发射测量值而监测灯的光发射。例如，光发射测量值和/或照明测量值包括色温测量值、相对强度测量值、时间序列(例如，闪烁)测量值等。在一些示例中，照明控制器116从由相机102中的一个或多个捕获的图像收集灯的光发射测量值。另外地或可选地，光传感器104中的一个或多个收集灯的光发射测量值。此外，在一些示例中，照明控制器116通过利用光频滤波处理灯的光分布来监测灯的光发射。例如，照明控制器116将光频滤波技术应用于捕获到的图像和/或收集到的数据，以确定灯的光分布。
此外，在一些示例中，照明控制器116确定所识别的对象的灯是否可操作、部分地不可操作和/或完全地不可操作的。例如，一些灯由多个发光二极管(led)形成。在这样的示例中，当灯的led中的更多可操作时，灯发射出更多光。也就是说，灯的光发射特性对应于可操作的led的数量。照明控制器116被配置为通过将灯的光发射测量值与对应于灯的已知阈值进行比较来识别灯的不可操作性、部分可操作性和/或完全可操作性。在一些示例中，在识别对象时，照明控制器116控制器识别对应于对象的灯的led的可操作性的一个或多个阈值。例如，照明控制器116识别所识别的对象的灯的上限阈值和下限阈值。响应于确定光发射测量值大于上限阈值，照明控制器116确定灯完全地可操作。也就是说，照明控制器116确定灯的led都可操作。响应于确定光发射测量值在下限阈值与上限阈值之间，照明控制器116确定灯是部分地可操作的。也就是说，照明控制器116确定灯的led中的一些不可操作。此外，响应于确定光发射测量值小于下限阈值，照明控制器116确定灯不可操作。也就是说，照明控制器116确定灯的led全都不可操作。
另外，照明控制器116被配置为经由通信模块114发送警报以指示所识别的对象的灯(部分地或完全地)不可操作。例如，照明控制器116经由v2i通信将警报发送到附近基础设施通信节点和/或经由v2v通信将警报发送到附近车辆。在一些示例中，由照明控制器116发出的警报识别不可操作的灯的位置和/或车辆100的位置，在该位置，相机102中的一个或多个捕获包括该对象的图像。在一些示例中，基础设施通信节点和/或车辆通信节点经由网络(例如，蜂窝网络)将警报中继到远程服务器(例如，云服务器)。例如，照明控制器116通过经由gps接收器110确定车辆100的位置并经由收集到的图像和/或数据确定对象相对于车辆100的位置来识别对象的不可操作的灯的位置。照明控制器116在警报中包括车辆100和/或所识别的对象的位置，以便于维修和/或更换不可操作的灯。此外，在一些示例中，照明控制器116经由通信模块112经由蜂窝和/或其它网络(例如，图9的网络920)将警报发送到服务器(例如，图9的服务器918)。例如，远程服务器(例如，云服务器)存储由车辆100的照明控制器116识别的不可操作的灯的信息，以便于维修和/或更换不可操作的灯(例如，由第三方)。
图2示出了由车辆100的相机102中的一个或多个捕获的灯柱202的示例图像200。车辆100的照明控制器116识别出固定基础设施对象在图像200内并经由例如图像识别系统来确定固定基础设施对象是灯柱。
如图2所示，灯柱202包括柱204、街灯206(例如，第一街灯)和另一个街灯208(例如，第二灯)。例如，街灯206和/或街灯208被配置为照亮车辆100沿着行驶的道路的一部分(例如，图3的道路302)。在其它示例中，灯柱202包括更多或更少的街灯。
照明控制器116被配置为基于对应于灯柱202的光发射测量值而识别灯柱202的街灯206、208的可操作性。例如，当车辆100靠近灯柱202时，相机102中的一个或多个和/或光传感器104中的一个或多个收集在灯柱202附近的光发射测量值。在一些示例中，照明控制器116被配置为响应于相机102中的一个或多个和/或光传感器104中的一个或多个检测到在车辆100周围的环境光低于与其中街灯被激活的黑暗驾驶状况相关联的环境光阈值而监测灯柱202和/或其它灯柱的光发射测量值。此外，照明控制器116将光发射测量值与对应于灯柱202的光发射阈值进行比较。例如，如果光发射测量值大于第一阈值，那么照明控制器116确定街灯206、208完全地可操作；如果光发射测量值小于第一阈值，那么街灯206、208中的一个部分地不可操作；如果光发射测量值小于第二阈值，那么两个街灯206、208都部分地不可操作；如果光发射测量值小于第三阈值，那么街灯206、208中的一个完全地不可操作；和/或如果光发射测量值小于第四阈值，那么两个街灯206、208都完全地不可操作。
另外地或可选地，照明控制器116被配置为当灯柱包括多于一个的街灯时比较多个街灯的光发射测量值。例如，在照明控制器116确定灯柱202包括街灯206和街灯208时，照明控制器116利用图像识别来将街灯206的光发射(例如，第一光发射)与街灯208的光发射(例如，第二光发射)进行比较以识别街灯206和街灯208的可操作性。在所示的示例中，照明控制器116响应于照明控制器116经由图像识别来确定由街灯206发射的光大于由街灯208发射的光发射的光以确定街灯206可操作而街灯208不可操作。
在检测到街灯208不可操作时，照明控制器116发出警报以便于维修和/或更换街灯208。例如，照明控制器116经由通信模块114将警报发送到灯柱202的基础设施节点210。另外地或可选地，基础设施节点210和/或车辆100的通信模块112将警报发送到远程服务器(例如，经由蜂窝网络)以提醒第三方街灯208不可操作并处于维修和/或更换状态。
图3示出了车辆100沿着与包括街灯的多个灯柱304相邻的道路302行驶。如图3所示，灯柱304彼此间隔开距离306。在所示的示例中，照明控制器116识别灯柱304沿着道路定位所循着的图案。例如，照明控制器116基于由相机102中的一个或多个捕获的多个图像、由光传感器104中的一个或多个收集的数据和/或由接近传感器106中的一个或多个收集的数据来识别图案。此外，照明控制器116确定(例如，利用机器学习)对应于灯柱304的照明图案。例如，照明控制器116基于经由相机102中的一个或多个和/或光传感器104中的一个或多个收集的照明测量值而确定照明图案。照明控制器116响应于确定对应于灯柱304中的一个灯柱的照明测量值不对应于照明图案而识别出灯柱304中的这个灯柱的街灯不可操作。也就是说，当对应于灯柱304中的一个的照明测量值小于在附近的其它灯柱304的照明测量值时，照明控制器116确定灯柱304中的一个的街灯不可操作。在所示的示例中，照明控制器116在检测到对应于灯柱304a的照明测量值不对应于灯柱304沿着道路302形成的照明图案时，识别出灯柱304a的街灯不可操作。
在检测到灯柱304a的街灯不可操作时，照明控制器116发出警报以便于维修和/或更换街灯208。例如，照明控制器116将警报发送到灯柱304a的基础设施节点308和/或在附近的另一个灯柱304的基础设施节点310。在一些示例中，当包括不可操作的灯的灯柱304a不包括基础设施节点时，照明控制器116将警报发送到基础设施节点310。另外地或可选地，基础设施节点308、基础设施节点310和/或车辆100的通信模块112将警报发送到远程服务器(例如，经由蜂窝网络)以警告第三方街灯不可操作并处于维修和/或更换状态。
图4示出了位于十字路口的交通信号灯402(例如，第一交通信号灯)和另一个交通信号灯404(例如，第二交通信号灯)的示例图像400。例如，当车辆100接近十字路口时，图像400由车辆100的相机102中的一个或多个捕获。照明控制器116识别出固定基础设施对象在图像400内并经由例如图像识别系统来确定固定基础设施对象是交通信号灯。
如图4所示，交通信号灯402包括点亮以指示交通进行的灯406(例如，第一灯，绿灯)、点亮以指示交通避让的灯408(例如，第二灯，黄灯)以及点亮以指示交通停止的灯410(例如，第三灯，红灯)。另外，交通信号灯404包括点亮以指示交通进行的灯412(例如，第一灯，绿灯)、点亮以指示交通避让的灯414(例如，第二灯，黄灯)以及点亮以指示交通停止的灯416(例如，第三灯，红灯)。此外，十字路口的交通信号灯402、404被配置为一致地操作。也就是说，灯406和灯412被配置为一致地点亮和停用，灯408和灯414被配置为一致地点亮和停用，并且灯410和灯416被配置为一致地点亮和停用。
在操作中，车辆100的照明控制器116被配置为在车辆100接近十字路口时经由图像识别来识别出十字路口包括交通信号灯402和交通信号灯404。在识别交通信号灯402、404时，照明控制器116通过比较交通信号灯402和交通信号灯404的光发射来确定交通信号灯402的灯406、408、410的可操作性和交通信号灯404的灯412、414、416的可操作性。在所示的示例中，照明控制器116响应于检测到交通信号灯402的灯408被点亮和交通信号灯404的灯414被停用而确定交通信号灯404的灯414不可操作。
在检测到交通信号灯402、404的灯406、408、410、412、414、416中的一个或多个不可操作时，照明控制器116发出警报以便于维修和/或更换灯406、408、410、412、414、416中的一个或多个。例如，在检测到灯406、408、410、412、414、416中的一个或多个不可操作时，照明控制器116将警报发送到交通信号灯402的基础设施节点418和/或交通信号灯404的基础设施节点420。另外地或可选地，基础设施节点418、基础设施节点420和/或车辆100的通信模块112将警报发送到远程服务器(例如，经由蜂窝网络)以警告第三方街灯不可操作并处于维修和/或更换状态。
图5a至图5c示出了由车辆100的相机102中的一个或多个捕获的交通信号灯508的图像502、504、506的示例序列。更具体地，图5a示出了处于第一状态的交通信号灯508，图5b示出了处于第二状态的交通信号灯508，并且图5c示出了处于第三状态的交通信号灯508。如图5a至图5c所示，交通信号灯508包括点亮以指示交通进行的灯510(例如，第一灯，绿灯)、点亮以指示交通避让的灯512(例如，第二灯，黄灯)以及点亮以指示交通停止的灯514(例如，第三灯，红灯)。
在所示的示例中，在短时间段内顺序地捕获图像502、504、506，使得在图像504之前捕获图像502并在图像506之前捕获图像504。在图5a的图像502中捕获的交通信号灯508的第一状态中，灯510被点亮而灯512、514被停用。在图5b的图像504中捕获的交通信号灯508的第二状态中，灯510、512、514被停用。在图5c的图像506中捕获的交通信号灯508的第三状态中，灯514被点亮而灯510、512被停用。基于图像502、504、506，照明控制器116确定交通信号灯508的测量到的照明序列(例如，时变序列)。例如，照明控制器116确定测量到的照明序列包括灯510被点亮的第一状态、其中灯510、512、514都未点亮的后续的第二状态，以及其中灯514被点亮的后续的第三状态。
此外，照明控制器116检索交通信号灯508的灯510、512、514的已知照明图案(例如，时变图案)。例如，照明控制器116经由通信模块112从车辆100的数据库(例如，图9的数据库916)和/或远程服务器(例如，云服务器)检索已知照明图案。照明控制器116响应于确定交通灯的测量到的照明序列与交通信号灯508的已知照明图案不对应而识别出灯510、512、514中的一个不可操作。例如，照明控制器116在将如图像504中捕获的交通信号灯508与交通信号灯508的已知照明图案进行比较时识别出灯510、512、514中的一个不可操作。此外，照明控制器116被配置为通过将测量到的照明序列的状态中的两个或更多个与已知照明图案进行比较来识别灯510、512、514中的哪个不可操作。例如，在将图像502、504和/或图像504、506与交通信号灯508的已知照明图案进行比较时，照明控制器116识别出灯512不可操作。
在检测到交通信号灯508的灯510、512、514中的一个或多个不可操作时，照明控制器116发出警报以便于维修和/或更换灯510、512、514中的一个或多个。例如，在检测到灯510、512、514中的一个或多个不可操作时，照明控制器116将警报发送到交通信号灯508的基础设施节点516。另外地或可选地，基础设施节点516和/或车辆100的通信模块112将警报发送到远程服务器(例如，经由蜂窝网络)以提醒第三方街灯不可操作并处于维修和/或更换状态。
此外，在一些示例中，例如，照明控制器116被配置为识别道路标记(例如，车道标记、反射基础设施元件等)是否需要维修。例如，照明控制器116利用图像识别来检测道路标记的存在并识别道路标记。此外，照明控制器116利用相机102(例如，结合图像识别软件)和/或接近传感器106(例如，激光雷达传感器)来测量道路标记的反射率。如果反射率测量值小于对应阈值，那么照明控制器116发出警报以便于维修道路标记。
图6示出了车辆100正在接近十字路口600。在所示的示例中，十字路口600由车辆100沿着行驶的道路602和另一辆车辆606沿着行驶的道路604形成。此外，车辆100正在接近指示交通停止的闪烁灯608(例如，闪烁的红灯)，并且车辆606正在接近指示交通避让的另一个闪烁灯610(例如，闪烁的黄灯)。在一些情况下，车辆100的驾驶员可能不知道闪烁灯610指示车辆606避让和/或可以假设闪烁灯610指示车辆606停止。
为了便于驾驶员安全地驾驶车辆100通过十字路口600，照明控制器116获得关于十字路口600的附加信息(例如，闪烁灯610指示车辆606避让)并向驾驶员呈现附加信息(例如，经由图4的信息娱乐主机单元904)。例如，照明控制器116经由通信模块112从远程服务器(例如，云服务器)中检索附加信息。在一些这样的示例中，远程服务器从行驶通过十字路口600的车辆(例如，车辆100、车辆606)接收附加信息。另外地或可选地，照明控制器116经由v2v通信从车辆606检索附加信息，经由v2i通信从闪烁灯608检索附加信息，和/或通过v2i通信从闪烁灯610检索附加信息。
图7示出了由车辆100的相机102中的一个或多个捕获的商业标志702的示例图像700。商业标志702包括名称704、标语706、徽标708和地址710。在所示的示例中，商业标志702、名称704、标语706、徽标708和/或地址710由商业标志702的灯照亮。
车辆100的照明控制器116被配置为基于对应于商业标志702的光发射测量值来识别商业标志702的灯的可操作性。例如，当车辆100靠近商业标志702时，相机102中的一个或多个和/或光传感器104中的一个或多个收集光发射测量值。此外，照明控制器116将光发射测量值与对应于商业标志702的光发射阈值进行比较。例如，如果光发射测量值大于第一阈值，那么照明控制器116确定商业标志702的灯完全地可操作，如果光发射测量值在第一阈值与第二阈值之间，那么部分地不可操作，并且如果光发射测量值小于第二阈值，那么完全地不可操作。另外地或可选地，照明控制器116利用图像识别来识别商业标志702的灯中的一个或多个何时不可操作。此外，照明控制器116被配置为利用图像识别和/或机器学习来识别商业标志702上的涂鸦712。
在检测到商业标志702包括不可操作的灯和/或涂鸦时，照明控制器116发出警报以便于维修和/或更换商业标志702。例如，照明控制器116被配置为经由通信模块114向商业标志702的基础设施节点发送警报。另外地或可选地，照明控制器116被配置为经由通信模块112向远程服务器发送警报(例如，经由蜂窝网络)以提醒第三方商业标志702需要维修。
照明控制器116还可以利用图像识别软件来基于经由相机102捕获的图像而识别由商业标志702呈现的信息。例如，照明控制器116利用图像识别来识别对应于商业标志702的名称704、标语706、徽标708和/或地址710。此外，在一些示例中，照明控制器116检测新的商家何时开业和/或旧的商家何时闭业，并且经由通信模块112和/或通信模块114将这样的信息提供到要用于在线商业和/或地图搜索的远程服务器。另外地或可选地，照明控制器116基于商家的店面的检测到的光变化而检测商家当天何时开业和/或闭业，并且经由通信模块112和/或通信模块114将这样的信息提供到远程服务器。
图8示出了由车辆100的一个或多个相机102捕获的另一辆车辆802的示例图像800。更具体地，图像800示出了位于车辆100的前方的车辆802的后侧804。如图8所示，车辆802的后侧804包括制动灯806(例如，第一制动灯、左制动灯)、制动灯808(例如，第二制动灯、右制动灯)、制动灯810(例如，第三制动灯、上制动灯)和牌照812。
车辆100的照明控制器116被配置为识别在车辆100前方的车辆802的制动灯806、808、810的可操作性。另外地或可选地，照明控制器116被配置为识别在车辆100后方和/或侧面的车辆的制动灯的可操作性。例如，照明控制器116被配置为在识别出车辆802正在制动时监测车辆802的制动灯806、808、810的可操作性。在一些示例中，照明控制器116基于经由车辆100的通信模块114从车辆802接收的v2v通信而识别出车辆802正在制动。此外，在一些示例中，照明控制器116基于从车辆100的传感器收集的数据(诸如接近传感器106、车辆速度传感器、加速度计等中的一个或多个)而识别出车辆802正在制动、倒车、改变车道等。
在检测到车辆802正在制动时，照明控制器116将图像识别应用于图像800，以监测车辆802的制动灯806、808、810的可操作性。例如，照明控制器116利用图像识别来识别制动灯806、808、810的位置并确定制动灯806、808、810中的每一个的光发射测量值。随后，照明控制器116比较光发射测量值以确定制动灯806、808、810中的一个或多个是否不可操作。在所示的示例中，照明控制器116确定对应于制动灯806的光发射测量值小于制动灯808的光发射测量值和制动灯810的光发射测量值。作为响应，照明控制器116确定制动灯808、810被点亮并且制动灯806被停用。由于照明控制器116在车辆802正在制动时检测到制动灯806被停用，因此照明控制器116确定制动灯806不可操作。
在检测到制动灯806、808、810中的一个或多个不可操作时，照明控制器116发出警报。例如，照明控制器116利用通信模块114经由v2v通信向车辆802发送警报。另外地或可选地，照明控制器116利用通信模块112向远程服务器发送警报(例如，经由蜂窝网络)。例如，警报包括基于牌照812对被检测为具有不可操作的制动灯和/或其它外部灯的车辆802的识别。在一些这样的示例中，照明控制器116利用图像识别来识别图像800内的牌照812。此外，虽然所示的示例包括监测车辆802的制动灯806、808、810，但是车辆100的照明控制器116可以用于监测车辆802的任何其它外部照明(例如，日间行车灯)。
图9是车辆100的电子部件900的框图。如图9所示，电子部件900包括车载计算平台902、gps接收器110、通信模块112、通信模块114、信息娱乐主机单元904、相机102、传感器906、电子控制单元(ecu)908和车辆数据总线910。
车载计算平台902包括：微控制器单元、控制器或处理器912；存储器914；以及数据库916。在一些示例中，车载计算平台902的处理器912被构造为包括照明控制器116。或者，在一些示例中，照明控制器116与其自己的处理器912、存储器914和/或数据库916一起结合到另一个电子控制单元(ecu)中。数据库916存储例如将由车辆100的相机102捕获的图像内的对象的特性与已知对象的特性相关的条目。例如，照明控制器116检索图像内的对象的边界、灯柱图案、交通信号灯的照明图案、地理信息和/或其它信息，并且将检索到的信息与由车辆100的相机102和/或传感器906收集的数据进行比较以识别和监测检测到的对象的照明。
处理器912可以是任何合适的处理装置或一组处理装置，诸如但不限于微处理器、基于微控制器的平台、集成电路、一个或多个现场可编程门阵列(fpga)和/或一个或多个专用集成电路(asic)。存储器914可以是易失性存储器(例如，包括非易失性ram、磁ram、铁电ram等的ram)、非易失性存储器(例如，磁盘存储器、快闪存储器、电可编程只读存储器、电可擦除可编程只读存储器、基于忆阻器的固态存储器等)、不可更改的存储器(例如，电可编程只读存储器)、只读存储器和/或高容量存储装置(例如，硬盘驱动器、固态驱动器等)。在一些示例中，存储器914包括多种存储器，尤其是易失性存储器和非易失性存储器。
数据库916存储例如将已知对象(例如，灯柱、街灯、交通信号灯、交通灯、商业标志、商业标志灯、车辆、车灯、可操作的灯、不可操作的灯、涂鸦等)与包括在由车辆100的一个或多个相机102捕获的图像和/或视频中的对象相关的条目。例如，照明控制器116访问数据库916的一个或多个条目以将捕获到的图像和/或视频内的对象识别为灯柱、可操作的街灯、不可操作的街灯、交通信号灯、可操作的交通灯、不可操作的交通灯、商业标志、商业标志的可操作灯、商业标志的不可操作的灯、涂鸦、车辆、车辆的可操作灯、车辆的不可操作的灯等。
存储器914是计算机可读介质，其上可以嵌入一组或多组指令，诸如用于操作本公开的方法的软件。指令可以体现如本文所述的一个或多个方法或逻辑。例如，指令在执行指令期间完全地或至少部分地驻留在存储器914、计算机可读介质和/或处理器912中的任一个或多个内。
术语“非暂时性计算机可读介质”和“计算机可读介质”包括单个介质或多个介质，诸如集中式或分布式数据库，和/或存储一组或多组指令的相关高速缓存和服务器。此外，术语“非暂时性计算机可读介质”和“计算机可读介质”包括能够存储、编码或携带一组指令以供处理器执行或使系统执行本文公开的方法或操作中的任一个或多个的任何有形介质。如本文所使用，术语“计算机可读介质”明确地定义为包括任何类型的计算机可读存储装置和/或存储盘并且排除传播信号。
此外，如图9所示，电子部件900包括gps接收器110、通信模块112和通信模块114。例如，通信模块112与网络920的服务器918无线通信。例如，通信模块112将捕获到的图像和/或用于识别检测到的不可操作的基础设施灯的信息(例如，检测到的不可操作的基础设施灯的位置、将哪些检测到的基础设施灯识别为不可操作)、检测到的涂鸦(例如，检测到的涂鸦的位置)和/或检测到的不可操作的车灯(例如，具有不可操作的灯的车辆的牌照、将哪些检测到的基础设施灯识别为不可操作)经由蜂窝网络发送到服务器918以使得其他人能够识别和解决不可操作的灯、涂鸦等。
所示的示例的信息娱乐主机单元904提供车辆100与用户之间的接口。信息娱乐主机单元904包括数字和/或模拟接口(例如，输入装置和输出装置)以从用户接收输入和显示该用户的信息。输入装置包括例如控制旋钮、仪表板、用于图像捕获和/或视觉命令识别的数字相机、触摸屏、音频输入装置(例如，车厢麦克风)、按钮或触摸板。输出装置可以包括仪表组输出(例如，拨号盘、照明装置)、致动器、显示器922(例如，抬头显示器、中央控制台显示器，诸如液晶显示器(lcd)、有机发光二极管(oled)显示器、平板显示器、固态显示器等)和/或扬声器924。在所示的示例中，信息娱乐主机单元904包括用于信息娱乐系统(诸如
传感器906布置在车辆100中和其周围以监测车辆100的性质和/或车辆100所处环境。可以安装一个或多个传感器906以测量在车辆100的外部周围的性质。另外地或可选地，传感器906中的一个或多个可以安装在车辆100的车厢内或车辆100的车身(例如，发动机舱、轮舱等)中以测量在车辆100的内部的性质。例如，传感器906包括加速度计、里程表、转速计、俯仰和偏航传感器、车轮速度传感器、麦克风、轮胎压力传感器、生物识别传感器和/或任何其它合适的类型的传感器。在所示的示例中，传感器906包括光传感器104和接近传感器106。
ecu908监测和控制车辆100的子系统。例如，ecu908是成组离散的电子器件，其包括它们自己的电路(例如，集成电路、微处理器、存储器、存储装置等)和固件、传感器、致动器和/或安装硬件。ecu908经由车辆数据总线(例如，车辆数据总线910)传达和交换信息。另外，ecu908可以将性质(例如，ecu908的状态、传感器读数、控制状态、错误和诊断代码等)传达到彼此和/或从彼此接收请求。例如，车辆100可以具有70个或更多个ecu908，它们定位在车辆100的周围的各个位置并通过车辆数据总线910通信地耦合。
在所示的示例中，ecu908包括车身控制模块926和远程信息处理控制单元928。例如，车身控制模块926控制整个车辆100中的一个或多个子系统，诸如电动车窗、电动锁、防盗系统、电动视镜等。例如，车身控制模块926包括驱动继电器(例如，用于控制雨刷液等)、有刷直流(dc)马达(例如，用于控制电动座椅、电动锁、电动车窗、雨刷等)、步进马达、led等中的一个或多个的电路。远程信息处理控制单元928控制对车辆100的跟踪，例如，利用由车辆100的gps接收器110接收的数据进行。
车辆数据总线910通信地耦合相机102、gps接收器110、通信模块112、通信模块114、车载计算平台902、信息娱乐主机单元904、传感器906和ecu908。在一些示例中，车辆数据总线910包括一个或多个数据总线。车辆数据总线910可以根据国际标准组织(iso)11898-1定义的控制器局域网(can)总线协议、媒体导向系统传输(most)总线协议、can灵活数据(can-fd)总线协议(iso11898-7)和/或k线总线协议(iso9141和iso14230-1)和/或ethernettm总线协议ieee802.3(2002年起)等实现。
图10是用于监测基础设施照明的示例方法1000的流程图。图10的流程图表示存储在存储器(诸如图9的存储器914)中的机器可读指令，并且包括一个或多个程序，程序当由处理器(诸如图9的处理器912)执行时，一个或多个程序使车辆100实现图1和图9的示例照明控制器116。虽然参考图9中所示的流程图描述了示例程序，可以可选地使用实现示例照明控制器116的许多其它方法。例如，可以重新排列、改变、消除和/或组合框的执行顺序以执行方法1000。此外，由于结合图1至图9的部件公开了方法1000，因此这些部件的一些功能将不在下面详细地描述。
最初，在框1002处，相机102中的一个或多个捕获车辆100的周围区域的图像。在框1004处，照明控制器116确定在捕获到的图像内是否检测到对象。例如，照明控制器116利用图像识别来检测一个或多个捕获到的图像内的对象(例如，固定基础设施对象、车辆等)。响应于照明控制器116在捕获到的图像内未检测到对象，方法1000前进到框1016。否则，响应于照明控制器116在捕获到的图像内检测到对象，方法1000前进到框1006。
在框1006处，照明控制器116识别捕获到的图像内的对象。例如，照明控制器116通过将捕获到的图像的特性与已知对象的特性进行比较来识别对象。在一些示例中，照明控制器116在从数据库(例如，车辆100的数据库916、服务器918的数据库)中检索已知对象的特性后执行比较。在一些示例中，照明控制器116识别出对象包括固定基础设施对象，诸如灯柱、交通信号灯、商业标志等。在其它示例中，照明控制器116识别出对象包括其它车辆。
在框1008处，照明控制器116确定在捕获到的图像内检测到的对象是否包括灯。例如，照明控制器116通过利用图像识别和/或通过从数据库(例如，车辆100的数据库916、服务器918的数据库)中检索这样的信息来确定检测到的对象包括灯。响应于照明控制器116确定检测到的对象不包括灯，方法1000前进到框1016。否则，响应于照明控制器116确定检测到的对象包括灯，方法1000前进到框1010。
在框1010处，照明控制器116确定对象的灯是否不可操作。例如，照明控制器116通过将图像识别应用于捕获到的图像和/或基于光发射测量值来确定灯的可操作性。例如，照明控制器116将收集到的光发射测量值与发光阈值进行比较，以确定检测到的对象的灯是否可操作。响应于照明控制器116确定灯都不是不可操作，方法1000前进到框1016。否则，响应于照明控制器116确定灯中的一个或多个不可操作，方法1000前进到框1012。在框1012处，照明控制器116利用通信模块114(即，车辆间通信模块，诸如dsrc模块)经由v2i通信向基础设施节点和/或经由v2v通信向另一辆车辆的通信节点发送识别出不可操作的灯的警报。在框1014处，照明控制器116利用通信模块112将警报发送到网络的远程服务器(例如，网络920的服务器918)。
在框1016处，照明控制器116确定通信模块114和/或通信模块112是否已经接收到便于车辆100的驾驶员操作车辆100的信息。在一些示例中，通信模块114和/或通信模块112在车辆100接近十字路口时接收导航信息以便于车辆100的驾驶员。响应于照明控制器116确定尚未接收到这样的信息，方法1000返回到框1002。否则，响应于照明控制器116确定已经接收到这样的信息，方法1000前进到框1018，在框1018处，照明控制器116将这样的信息呈现给车辆100的驾驶员(例如，经由信息娱乐主机单元904)。
在本申请中，析取词的使用旨在包括连接词。定冠词或不定冠词的使用不旨在表示基数。特别地，对“该”对象或“一种”和“一个”对象的引用也旨在表示可能的多个这样的对象之一。此外，连词“或”可以用于传达同时存在的特征而不是相互排斥的替代方案。换句话说，连词“或”应理解为包括“和/或”。术语“包括”、“包括”和“包括”是包含性的，并且分别具有与“包含”、“包含”和“包含”相同的范围。另外，如本文所使用的，术语“模块”、“单元”和“节点”是指具有通常与传感器结合地提供通信、控制和/或监测能力的电路的硬件。“模块”、“单元”和“节点”还可以包括在电路上执行的固件。
上述实施例，特别是任何“优选的”实施例，是实施方式的可能示例，并仅用于清楚地理解本发明的原理。在基本上不脱离本文所述的技术的精神和原理的情况下，可以对上述实施例进行许多变化和修改。所有修改在本文中旨在包括在本公开的范围内并由以下权利要求保护。
根据本发明，提供了一种车辆，所述车辆具有：相机；车辆间通信模块；以及控制器，所述控制器用于：识别由所述相机捕获的图像内的固定基础设施对象；响应于确定所述固定基础设施对象包括灯而识别所述灯是否不可操作；以及经由利用所述车辆间通信模块的车辆对基础设施通信来向基础设施通信节点发送指示所述灯不可操作的警报。
根据一个实施例，上述发明的特征还在于接近传感器，所述接近传感器用于进一步检测所述固定基础设施对象的存在。
根据一个实施例，为了识别所述固定基础设施对象和所述灯的可操作性，所述控制器利用机器学习来执行图像识别。
根据一个实施例，所述控制器监测所述灯的光发射以确定所述灯是否不可操作。
根据一个实施例，上述发明的特征还在于光传感器，所述光传感器被配置为收集光发射测量值以使得所述控制器能够监测所述灯的所述光发射。
根据一个实施例，为了监测所述灯的所述光发射，所述控制器利用光频滤波来处理所述灯的光分布。
根据一个实施例，所述控制器响应于基于所述灯的所述光发射而确定所述灯的一个或多个led不可操作来确定所述灯不可操作。
根据一个实施例，上述发明的特征还在于：第二通信模块，所述第二通信模块被配置为经由蜂窝网络向服务器发送所述警报；以及gps接收器，所述gps接收器被配置为识别车辆位置，其中所述控制器在所述警报中包括所述相机捕获包括所述固定基础设施对象的所述图像时所处的所述车辆位置，以便于识别不可操作的所述灯的位置。
根据一个实施例，所述控制器识别出所述固定基础设施对象是灯柱，所述灯柱的所述灯是被配置为照亮道路的一部分的第一街灯。
根据一个实施例，上述发明的特征还在于用于监测环境光的光传感器，其中所述控制器被配置为响应于所述光传感器检测到所述环境光低于环境光阈值而识别所述第一街灯的可操作性。
根据一个实施例，在所述控制器识别出所述灯柱包括所述第一街灯和第二街灯时，所述控制器通过比较所述第一街灯和所述第二街灯的光发射来确定所述第一街灯的可操作性。
根据一个实施例，所述控制器被配置为：基于由所述相机捕获的多个图像而识别沿着所述道路的灯柱图案；确定对应于所述灯柱图案的照明图案；以及响应于确定所述灯柱的照明测量值不对应于所述照明图案而识别出所述灯柱的所述第一街灯不可操作。
根据一个实施例，所述控制器识别出所述固定基础设施对象是包括交通灯的第一交通信号灯，所述交通灯中的每一个包括用于指示交通进行的第一灯、用于指示所述交通避让的第二灯，以及用于指示所述交通停止的第三灯。
根据一个实施例，在所述控制器识别出十字路口包括所述第一交通信号灯和第二交通信号灯时，所述控制器通过比较所述第一交通信号灯和所述第二交通信号灯的光发射来确定所述第一交通信号灯的所述交通灯中的一个或多个的可操作性。
根据一个实施例，所述控制器被配置为：检索所述交通灯的照明图案；以及响应于确定所述交通灯的测量到的照明序列与所述照明图案不对应而将所述交通灯中的一个识别为不可操作。
根据一个实施例，所述控制器识别出所述固定基础设施对象是商业标志。
根据本发明，一种方法包括：经由处理器来识别由车辆的相机捕获的图像内的基础设施对象；确定所述基础设施对象是否包括灯；响应于确定所述基础设施对象包括所述灯而识别所述灯是否不可操作；以及经由利用所述车辆的车辆间通信模块的车辆对基础设施通信来向基础设施通信节点发送指示所述灯不可操作的警报。
根据一个实施例，上述发明的特征还在于：基于由所述相机捕获的多个图像而识别沿着道路的灯柱图案，所述灯柱中的一个是所述基础设施对象；确定对应于所述灯柱图案的照明图案；以及响应于确定所述基础设施对象的照明测量值不对应于所述照明图案而识别出所述基础设施对象的所述灯不可操作。
根据一个实施例，上述发明的特征还在于：基于由所述相机捕获的所述图像而识别包括第一交通信号灯和第二交通信号灯的十字路口，所述第一交通信号灯是所述基础设施对象；以及通过比较所述第一交通信号灯和所述第二交通信号灯的光发射来确定所述第一交通信号灯的所述灯的可操作性。
根据一个实施例，上述发明的特征还在于：识别出所述基础设施对象是交通信号灯；检索所述交通信号灯的交通灯的照明图案；以及响应于确定所述交通灯的测量到的照明序列与所述照明图案不对应而识别出所述交通灯中的一个不可操作。
- 还没有人留言评论。精彩留言会获得点赞！