车辆视觉LED闪烁干扰减轻系统的制作方法

车辆视觉led闪烁干扰减轻系统
技术领域
1.本公开涉及机器视觉系统，并且更具体地涉及一种发光二极管(led)闪烁减轻系统。


背景技术：

2.led闪烁是当相机在某个持续时间内以与led或其他光源的工作频率(例如，脉冲宽度调制操作模式)一致的速率捕获多个图像帧或图像帧的连续行时发生的一种混叠类型。如果车辆感知系统无法辨识交通信号灯的准确状态(灯点亮或灯熄灭)，则led闪烁可能对高级驾驶员辅助系统(adas)和自主车辆(av)系统提出特定挑战。led闪烁可能导致车辆感知系统由于led信号的状态不明确而误解转向信号，或者错过可能指示危险、紧急情况或故障模式的警示灯。
3.解决led闪烁问题的一些常规方法集中于使用诸如lofic(横向溢流积分电容器)的新硬件解决方案、诸如斩波(添加部件以对图像信号进行滤波)的图像处理解决方案、以及诸如同时而非连续捕获场景图像的分割像素成像的图像捕获策略。虽然一些系统可以增加准确表征led的当前状态的概率，但是这些减轻方法可能会增加车辆感知系统的复杂性，并且可能会增加车辆成本。此外，常规的led闪烁减轻系统可能具有其他缺点，诸如动态范围减小，以及出现诸如图像中的非连续强度(脉冲)的其他伪影。
4.关于这些和其他考虑因素，提出了本文的公开内容。


技术实现要素：

5.本文公开的系统和方法被配置和/或编程为减轻发光二极管(led)或在某个持续时间内以与led或其他光源的工作频率(例如，脉冲宽度调制操作模式)一致的速率的图像帧的连续行。车辆视觉系统中的闪烁。led闪烁减轻系统可以识别车辆视觉系统图像数据，所述车辆视觉系统图像数据可以包括图像和/或图像序列，其在接近交通信号时可检测其他车辆轨迹，所述其他车辆轨迹可能无法由由于led闪烁干扰而可能错误地描绘交通信号led或其他led灯的状态的其他图像系统检测到。led可以与交通灯、道路上的其他车辆和/或其他基础设施相关联。在一些方面，led可以是信令、美学、照明或其他类型的信号。在大多数情况下，led干扰可能至少部分地基于看见的和没有看见的以及解译错误如何影响车辆系统的感知和规划而导致车辆系统中的读取和解译错误。本公开的实施例可以根据传感器、传感器融合、v2x通信差异检测led闪烁和/或检测尝试的v2x欺骗攻击。例如，不良行为者可能试图欺骗交通灯传感器以试图操纵车辆对交通信号的感知。
6.根据实施例，led闪烁减轻系统可以设置在车辆上并且被配置为使用车辆感知系统来捕获外部场景的多个图像。led闪烁减轻系统评估捕获的图像以确定看起来熄灭的灯是否实际上是熄灭的，或者外部灯的状态是否实际上是灯点亮的，但由于时间混叠而在图像捕获中错误地示出为熄灭。led闪烁减轻系统可以使用车辆对车辆通信来联系所捕获场景附近的另一车辆，和/或从外部基础设施获得信息，以确定外部led光源的真实状态。使用
所分析的图像捕获信息，led闪烁减轻系统可以基于车辆图像捕获并且进一步基于从第二车辆接收的图像捕获时序信息来识别自我车辆和其他车辆的单应性和定位(例如，经由v2x)。
7.在一个实施例中，为了获得第二车辆的信息，led闪烁减轻系统可以通过使用车辆对车辆无线通信协议协调两个或更多个车辆的车辆视觉系统之间的成像时间段或曝光性质，来从第二车辆请求图像捕获信息。所述系统可以使用led闪烁减轻系统来识别从led光源发出的共同观察到的光，这可以增加当led活动时对光源进行成像的概率并检测led的工作频率和偏移。可以在车辆之间共享图像以正确地确定led状态并校正任何错误的led状态信息。
8.在本文中更详细地提供了本公开的这些和其他优点。
附图说明
9.参考附图阐述具体实施方式。使用相同的附图标记可以指示类似或相同的项。各种实施例可以利用除了附图中示出的那些之外的元件和/或部件，并且一些元件和/或部件可能不存在于各种实施例中。附图中的元件和/或部件不一定按比例绘制。附图中的元件和/或部件可以是其他附图中的元件和/或部件的子元件、子部件、子子元件、子子部件等。在整个本公开中，根据上下文，单数和复数术语可以可互换地使用。
10.图1示出了如由常规车辆视觉系统观察到的交通信号灯中的led闪烁的示例。
11.图2描绘了减轻led闪烁的常规方法，其中观察到脉冲。
12.图3描绘了根据本公开的实施例的两个车辆以及使用led闪烁减轻系统的图像捕获信息的传送。
13.图4描绘了根据本公开的示例性计算环境和设置在示例性车辆中的led闪烁减轻系统。
14.图5是根据本文所述的实施例的用于使用图4的系统减轻led闪烁的示例性方法的流程图。
具体实施方式
15.下文将参考附图更全面地描述本公开，附图中示出了本公开的示例性实施例，并且示例性实施例不旨于限制性的。
16.图1示出了由常规车辆视觉系统观察到的交通信号灯105中的led闪烁的示例。尽管许多信号灯、标志和其他标记可以包括以同步分组设置的led阵列(例如，圆形信号灯)，但是应当理解，本公开可以以单数形式描述led分组。
17.在一些情况下，视觉系统可以独立于车辆。例如，视觉系统可以是带入车辆的移动装置的电话/相机的一部分。也就是说，本文描述的系统和方法可以应用于便携式相机装置，诸如移动装置、智能电话、可穿戴式装置等。
18.图1中描绘的示例分别示出了两个连续的图像捕获100和103，其中在连续的图像捕获100和103中示出了led 107，其中在连续的时间序列图像中出现了不一致的led状态(例如，灯点亮，然后灯熄灭)，尽管在由人类观察者(图1中未示出)观察的情况下，led 107看起来是连续点亮的。led 107在图像100中看起来是灯点亮的，然而，在随后的图像捕获
103中，led 107看起来是熄灭的。图像捕获100与图像帧n相对应，并且图像捕获103与连续图像帧n+1相对应。在图像捕获100中描绘的帧n中，在视觉上人类可观察到交通灯105是灯点亮的。然而，在连续图像捕获103中描绘的帧n+1中，尽管人类观察者在视觉上可观察到同一led 107仍然为灯点亮的，但是车辆感知系统(获得两个连续图像捕获100和103)观察或读取所述同一led为描绘led 107处于熄灭状态的图像。在一些情况下，车辆的相机感知系统(图1中未示出)可以以每秒30-60帧的速度(作为曝光时间)操作，如图1所示，其中曝光按特定频率是周期性的，其中曝光之间有消隐(即，不拍摄图像)。在所示的示例中，图像捕获100对应于曝光110，并且图像捕获103对应于曝光115。
19.基础设施(图1中未示出)可以包括为led交通信号系统供电的城市电源。交通灯105是作为基础设施的一部分操作的灯的一个这样的示例。为led交通信号系统供电的电源以特定频率操作，所述特定频率从灯到灯(取决于操作参数和设备)以及位置到位置(取决于电网的工作频率)可能不一致。当图像捕获系统的一些帧在对应于从电力系统基础设施发出的活动的led脉冲(例如，led脉冲130)的时刻捕获场景(例如，帧n处的图像捕获100)时，可能发生led闪烁。在图1中，led脉冲的图表描绘了振幅led脉冲120、125、130、135和140。led脉冲120-140中的每一个对应于以与基础设施和/或灯硬件相关联的频率操作的高振幅功率脉冲。当led 107在基础设施内操作时，对于人类观察者来说看起来是连续点亮的灯实际上可能是一系列示例性高振幅led脉冲120-140，其以每个相应的脉冲间歇地点亮led 107，并且在介于led脉冲120-140的熄灭部分中不发射光。
20.常规的车辆感知系统可以在高振幅脉冲期间捕获led(例如，帧n处的led脉冲130)，这导致图像捕获100显示led 107灯点亮。当车辆感知系统在下一个连续图像帧n+1处拍摄图像捕获103时，曝光时间可能不对应于led脉冲，如图像捕获103中所展示的，其中由于基础设施led脉动与车辆感知系统的图像捕获系统曝光时序之间的不一致的顺序，led 107看起来处于熄灭状态。此结果是led闪烁。其他类型的图像捕获损坏也是可能的并且是经常经历的，包括闪光效果和部分可见光效果等。
21.一种减轻闪烁的常规方法是通过改变图像捕获的时间偏移时间来增加和/或减少车辆感知系统捕获时间以减少诸如led闪烁的基于混叠的伪影的出现。图2描绘了一种减轻led闪烁的常规方法，其中正观察到led脉冲，这在车辆感知系统看来可能是灯熄灭或闪光效果。类似于图2中所描绘的系统的系统可能导致闪烁的时间平均，而不是完全消除。这可能导致缓慢的强度调制，但不会点亮和熄灭。因此，像图2的系统那样的常规解决方案对于在具有挑战性的条件下进行检测的场景来说可能不是理想的。
22.如常规车辆视觉系统的该示例中所描绘的，可以改变偏移位移和曝光持续时间205。例如，长的曝光时间215之后可以是中等偏移220、短偏移225和消隐部分230。通过改变偏移时间和曝光时长215-235，闪烁灯图形210中所示的脉冲240可能出现在所有曝光中，除了曝光240与消隐部分230同时出现(以及图2中可能未示出的类似时间段)。常规的解决方案可能会导致闪烁的时间平均，但不会完全消除。此类系统可能导致缓慢的强度调制，但不会点亮和熄灭，从而导致检测的信噪比(snr)降低，从而降低感知系统的准确性。可以在常规系统中使用其他时间移位图案，其可以包括增加或减少曝光时间，这可以(至少在增加曝光时间的情况下)减轻图像捕获中的闪烁伪影。然而，通过增加曝光时间，明亮的环境光可能会降低图像质量(例如，在晴天期间)。其他缺点可能包括仅部分地校正闪烁和多次曝光
高动态范围运动伪影中的复杂性
23.图3描绘了根据本公开的实施例的两个车辆305和310，所述两个车辆使用led闪烁减轻系统(例如关于图4示出的系统407)来传送图像捕获信息315。车辆305和310两者都可以包括v2x通信能力，并且还可以包括led闪烁减轻系统。
24.在明亮照明条件下的车辆可以使用相对短的曝光时间来避免图像捕获的过度曝光。如关于图1和图2所展示的，较短的曝光时间可能会增加错过一些或所有处于点亮状态的led的概率，这可能会基于许多因素而变化，诸如曝光时间、帧到帧的时间间隙、时间偏移、led频率、led电气参数、cmos卷帘快门参数等)。车辆可以控制其自身的成像模式，但是可能无法对在一些时间约束下(例如，在以某个速度接近交通灯时)减轻图像捕获中的led闪烁的概率所必需的所有频率和时间偏移空间进行采样。
25.根据实施例，第一车辆305可以使用车辆对车辆通信技术来联系一个或多个其他车辆，诸如第二车辆310，并且在成像曝光时间段上进行协作，这可以允许在led活动时将潜在的发光对象识别为车辆共同看到以获得对基础设施光源进行成像的更高概率。例如，在一个实施例中，第一车辆305和第二车辆310可以位于具有一个或多个led交通信号灯303的交通灯处，其中车辆彼此接近，并且都具有场景的视野。第一车辆305可以经由车辆对外界(v2x)通信协议与第二车辆310协商曝光时间320，以与第二车辆310协调或分配协调的图像曝光时序、时间偏移、曝光时长和/或其他参数。v2x通信是将信息从车辆传递到可能影响车辆的任何实体，且反之亦然。它是一种结合了其他更具体的通信类型如v2i(车辆对基础设施)、v2n(车辆对网络)、v2v(车辆对车辆)、v2p(车辆对行人)、v2d(车辆对装置)和v2g(车辆对电网)的车辆通信系统。
26.车辆305和310可以分别拍摄图像捕获312和314，并且使用一个或多个v2x协议来分别共享图像捕获312和314，以确定led脉冲302的准确且可靠的led状态。如图3所示，当两个车辆分别利用不同的且策略性地偏移的曝光时间和/或偏移320和325时，led脉冲302可以具有在点亮状态下(如果led点亮)被捕获的更高概率，使得联合曝光330落在大多数或所有led脉冲302上。根据本公开的实施例，led闪烁减轻系统407可以校正点亮的交通灯或任何其他点亮的led灯中的led闪烁，以正确地确定led灯的状态。
27.图4描绘了可以包括车辆405的示例性计算环境400。车辆405可以包括汽车计算机445和车辆控制单元(vcu)465，车辆控制单元可以包括被设置成与汽车计算机445进行通信的多个电子控制单元(ecu)417。
28.车辆405还可以接收全球定位系统(gps)475和/或与其进行通信。gps 475可以是卫星系统(如图4中所描述的)，诸如全球导航卫星系统(glnss)、伽利略、或导航或其他类似系统。在其他方面，gps475可以是基于地球的导航网络。在一些实施例中，车辆405可以响应于确定未辨识出阈值数量的卫星而利用gps和航迹推算的组合。
29.汽车计算机445可以是或包括具有一个或多个处理器450和存储器455的电子车辆控制器。在一些示例性实施例中，汽车计算机445可以设置成与一个或多个服务器470进行通信。服务器470可以是基于云的计算基础设施的一部分，并且可以与远程信息处理服务交付网络(sdn)相关联和/或包括远程信息处理服务交付网络，远程信息处理服务交付网络向车辆405和可能是车队的一部分的其他车辆(图4中未示出)提供数字数据服务。
30.尽管被示出为运动型多用途车，但是车辆405可以采取另一种乘用或商用汽车的
形式，诸如，例如汽车、卡车、高性能车辆、跨界车辆、厢式货车、小型货车、出租车、公交车、人力车、吉普尼车等，并且可以被配置和/或编程为包括各种类型的汽车驱动系统。示例性驱动系统可以包括具有汽油、柴油或天然气动力燃烧发动机的各种类型的内燃发动机(ice)动力传动系统，所述动力传动系统具有常规的驱动部件，诸如变速器、驱动轴、差速器等。在另一种配置中，车辆405可以被配置为电动车辆(ev)。更具体地，车辆405可以包括电池ev(bev)驱动系统，或者被配置为具有独立车载动力装置的混合动力ev(hev)、包括可连接到外部电源的hev动力传动系统的插电式hev(phev)、和/或包括具有燃烧发动机动力装置和一个或多个ev驱动系统的并联或串联混合动力传动系统。hev还可以包括用于蓄电的电池和/或超级电容器组、飞轮蓄电系统或其他发电和蓄电基础设施。车辆405还可以被配置为使用燃料电池(例如，氢燃料电池车辆(hfcv)动力传动系统等)和/或这些驱动系统和部件的任何组合将液体或固体燃料转换为可用动力的燃料电池车辆(fcv)。
31.此外，车辆405可以是手动驾驶的车辆，和/或被配置和/或编程为在完全自主(例如，无人驾驶)模式(例如，5级自主)下或在可以包括驾驶员辅助技术的一种或多种部分自主模式下操作。部分自主(或驾驶员辅助)模式的示例在本领域中被广泛理解为自主级别1到4。
32.具有0级自主自动化的车辆可能不包括自主驾驶特征。
33.具有1级自主的车辆可以包括单个自动化驾驶员辅助特征，诸如转向或加速辅助。自适应巡航控制是1级自主系统的一个此类示例，其包括加速和转向两个方面。
34.车辆中的2级自主可以提供驾驶员辅助技术，诸如转向和加速功能性的部分自动化，其中一个或多个自动化系统由执行非自动化操作(诸如制动和其他控制)的人类驾驶员监督。在一些方面，在2级和更高级别的自主特征情况下，主用户可以在用户在车辆内部时控制车辆，或者在一些示例性实施例中，在车辆处于远程操作时，从远离车辆但在从车辆延伸长达几米的控制区内的位置控制车辆。
35.车辆中的3级自主可以提供对驾驶特征的条件自动化和控制。例如，3级车辆自主可以包括“环境检测”能力，其中自主车辆(av)可以独立于当前的驾驶员而做出明智的决策，诸如加速驶过缓慢移动的车辆，而如果系统无法执行任务，则当前的驾驶员仍准备好重新取得对车辆的控制。
36.4级av可以独立于人类驾驶员操作，但仍可以包括用于超驰操作的人类控制。4级自动化还可以使自驾驶模式能够响应于预定义的条件触发(诸如道路危险或系统故障)进行干预。
37.5级av可以包括无需人类输入进行操作的全自主车辆系统，并且可能不包括人类操作的驾驶控制。
38.根据本公开的实施例，led闪烁减轻系统407可以被配置和/或编程为与具有0级至5级自主车辆控制器的车辆一起操作。因此，当车辆被配置为av时，led闪烁减轻系统407可以向车辆405提供人类控制的一些方面。
39.一个或多个无线连接430在图4中被描绘为经由一个或多个网络425以及经由可以是和/或包括车辆405与另一车辆之间的直接连接的一个或多个无线连接(图4中未示出)进行通信。一个或多个无线连接433可以包括各种低功耗协议，包括例如低功耗uwb、近场通信(nfc)、或其他协议。
40.一个或多个网络425示出了本公开的各种实施例中论述的已连接装置可以在其中进行通信的示例性通信基础设施。一个或多个网络425可以是和/或包括互联网、专用网络、公共网络或使用任一种或多种已知的通信协议进行操作的其他配置，已知的通信协议是诸如例如传输控制协议/互联网协议(tcp/ip)、基于电气和电子工程师协会(ieee)标准802.11的wi-fi、uwb，以及蜂窝技术，诸如时分多址(tdma)、码分多址(cdma)、高速分组接入(hspda)、长期演进(lte)、全球移动通信系统(gsm)和第五代(5g)，举几个示例。
41.根据本公开，汽车计算机445可以安装在车辆405的发动机舱中(或车辆405中的其他地方)并且可以作为led闪烁减轻系统407的功能部分进行操作。汽车计算机445可以包括一个或多个处理器450和计算机可读存储器455。
42.一个或多个处理器450可以设置成与被设置成与相应的计算系统进行通信的一个或多个存储器装置(例如，存储器455和/或图4中未示出的一个或多个外部数据库)进行通信。处理器450可利用存储器455来以代码存储程序和/或存储数据以执行根据本公开的各方面。存储器455可以是存储led闪烁减轻程序代码的非暂时性计算机可读存储器。存储器455可以包括易失性存储器元件(例如，动态随机存取存储器(dram)、同步动态随机存取存储器(sdram)等)中的任何一个或组合，并且可以包括任何一个或多个非易失性存储器元件(例如，可擦除可编程只读存储器(eprom)、快闪存储器、电子可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)等)。
43.vcu 465可以与汽车计算机445共享电力总线478，并且可以被配置和/或编程为协调车辆405系统、连接的服务器(例如，一个或多个服务器470)以及作为车辆车队的一部分进行操作的其他车辆(图4中未示出)之间的数据。vcu 465可以包括ecu 417的任何组合或与之通信，所述ecu诸如例如车身控制模块(bcm)493、发动机控制模块(ecm)485、变速器控制模块(tcm)490、tcu 460、驾驶员辅助技术(dat)控制器499、av控制器(avc)497等。vcu 465还可以包括车辆感知系统(vps)481和/或与其通信，车辆感知系统具有与一个或多个车辆传感系统482的连接和/或控制一个或多个车辆传感系统。
44.tcu 460可以被配置和/或编程为向车辆405上和外的无线计算系统提供车辆连接性，并且可以包括用于接收和处理来自gps 475的gps信号的导航(nav)接收器488、模块(blem)495、wi-fi收发器、uwb收发器和/或可能够配置为用于在车辆405与其他系统、计算机和模块之间进行无线通信的其他无线收发器(图4中未示出)。tcu 460可以被设置成通过总线480与ecu 417进行通信。在一些方面中，tcu 460可以检索数据并作为can总线中的节点发送数据。
45.blem 495可以通过广播和/或收听小广告包的广播并且与根据本文所描述的实施例配置的响应装置建立连接来使用和通信协议建立无线通信。例如，blem 495可包括针对响应于或发起通用属性配置文件(gatt)命令和请求的客户端装置的gatt装置连接性。
46.总线480可以被配置为以多主控串行总线标准组织的控制器局域网(can)总线，以用于使用基于消息的协议连接作为节点的ecu 417中的两个或多个，基于消息的协议可以被配置和/或编程为允许ecu 417彼此通信。总线480可以为或包括高速can(其可在can上具
有高达1mb/s的位速度、在can灵活数据速率(can fd)上具有高达5mb/s的位速度)，并且可包括低速或容错can(高达125kbps)，在一些配置中，其可使用线性总线配置。在一些方面，ecu 417可以与主机计算机(例如，汽车计算机445、led闪烁减轻系统407和/或一个或多个服务器470等)通信，并且还可以彼此通信而不必需要主机计算机。总线480可以将ecu 417与汽车计算机445连接，使得汽车计算机445可以从ecu 417检索信息、向ecu 417发送信息以及以其他方式与所述ecu交互，以执行根据本公开的实施例所述的步骤。总线480可以通过两线式总线将can总线节点(例如，ecu 417)彼此连接，两线式总线可以是具有标称特性阻抗的双绞线。总线480也可使用其他通信协议解决方案(诸如面向媒体的系统传输(most)或以太网)来实现。在其他方面中，总线480可以是无线车内总线。
47.vcu 465可以经由总线480通信来直接控制各种负载或者可以结合bcm 493实现这种控制。关于vcu 465所述的ecu 417仅出于示例性目的而提供，并且不旨于是限制性的或排他性的。用图4中未示出的其他控制模块进行的控制和/或通信是可能的，并且设想了这种控制。
48.在示例性实施例中，ecu 417可以使用来自人类驾驶员的输入、来自自主车辆控制器的输入、led闪烁减轻系统407和/或经由通过一个或多个无线连接433从其他连接的装置(诸如使用v2x通信协议与另一车辆相关联的装置)所接收的无线信号输入来控制车辆操作和通信的各方面。当被配置为总线480中的节点时，ecu 417各自可以包括中央处理单元(cpu)、can控制器和/或收发器(图4中未示出)。
49.bcm 493通常包括传感器、车辆性能指示器以及与车辆系统相关联的可变电抗器的集成，并且可以包括基于处理器的配电电路，所述配电电路可以控制与车身(诸如灯、窗、安全装置、门锁和访问控制)相关联的功能以及各种舒适性控制。bcm 493还可以作为总线和网络接口的网关操作，以与远程ecu(图4中未示出)进行交互。
50.bcm 493可以协调各种车辆功能性中的任一种或多种功能，包括能量管理系统、警报、车辆防盗器、驾驶员和乘坐者进入授权系统、电话即钥匙(paak)系统、驾驶员辅助系统、av控制系统、电动窗、门、致动器以及其他功能性等。bcm 493可以被配置用于车辆能量管理、外部照明控制、雨刮器功能性、电动窗和门功能性、供暖通风和空调系统以及驾驶员集成系统。在其他方面，bcm 493可以控制辅助设备功能性，和/或负责集成此类功能性。
51.在一些方面，车辆405可以包括一个或多个车门入口面板(dap)491，所述dap设置在一个或多个车门498的外部车门表面上并且与dap控制器(图4中未示出)连接。用户界面可以被包括作为车门入口面板(dap)491的一部分、无线键盘、被包括作为移动装置(图4中未示出)的一部分、或被包括作为另一界面的一部分。dap 491可以操作ecu 417中的另一个ecu和/或与所述另一个ecu通信，可以包括界面和/或与界面连接，约车乘客可以使用该界面输入身份凭证并且从系统接收信息。一方面，界面可以是或包括设置在车门498上的dap 491，并且可以包括界面装置，用户可以从界面装置通过从列表中选择他们的唯一标识符并通过输入个人标识号(pin)以及其他非个人标识信息来与系统交互。在一些实施例中，所述界面可以是移动装置、小键盘、无线或有线输入装置、车辆信息娱乐系统等。因此，应当理解，尽管关于本文的实施例描述了dap，但是界面可以替代地是上述一种或多种其他类型的界面。
52.dat控制器499可以提供1级至3级自动驾驶和驾驶员辅助功能，其可以包括例如主
动驻车辅助、挂车倒退辅助、自适应巡航控制、车道保持和/或驾驶员状态监测等特征。dat控制器499还可以提供可用于用户认证的用户和环境输入的各方面。认证特征可以包括例如生物特征认证和辨识。
53.dat控制器499可以经由一个或多个车辆传感系统482获得输入信息，一个或多个传感系统可以包括设置在车辆内部和/或外部的传感器(图4中未示出传感器)。dat控制器499可以接收与驾驶员功能、车辆功能和环境输入相关联的传感器信息以及其他信息。dat控制器499可以表征传感器信息，用于识别存储在车辆405上的和或经由服务器470的安全生物特征数据保管库(图4中未示出)中的生物特征标记。
54.在其他方面中，当车辆405包括1级或2级自主车辆驾驶特征时，dat控制器499还可以被配置和/或编程为控制1级和/或2级驾驶员辅助。dat控制器499可以连接和/或包括车辆感知系统(vps)481，车辆感知系统可以包括内部和外部传感系统(统称为传感系统481)。车辆传感系统482可以被配置和/或编程为获得可用于生物特征认证并且用于执行驾驶员辅助操作(诸如例如主动驻车、挂车倒退辅助、自适应巡航控制和车道保持、驾驶员状态监测、和/或其他特征)的传感器数据。
55.汽车计算机445、vcu 465和/或led闪烁减轻系统407的计算系统架构可以省略某些计算模块。应容易理解，图4中描绘的计算环境是根据本公开的可能的实现方式的示例，并且因此不应被视为限制性的或排他性的。
56.图5是根据本公开的用于减轻车辆视觉系统中的led闪烁的示例性方法500的流程图。可以继续参考包括图1至图4的先前附图来描述图5。以下过程是示例性的，并且不限于下文描述的步骤。此外，替代实施例可以包括如本文所示或描述的更多或更少的步骤，并且可以与以下示例性实施例中描述的顺序不同的顺序包括这些步骤。
57.参考步骤505，方法500可以从捕获图像场景开始。该步骤可以包括经由车辆感知系统获得一个或多个图像捕获。因此，系统处理器可以接收场景的图像捕获，其中图像捕获包括外部led光源的图像，所述外部led光源可以是例如光信号、标志等。
58.在步骤510处，方法500还可以包括检测潜在的光源对象。该步骤可以包括执行一种或多种图像处理技术，诸如例如对象检测、实例分割和语义分割或图像处理领域中已知的另一种技术。
59.在步骤515处，方法500还可以包括检测在图像捕获中识别的缺失数据或损坏的光源。该步骤可以包括：表征多个图像捕获中的可能是光源的对象，以及构建与单个图像捕获相关联的静态光源对象历史，以及通过一系列连续图像捕获跟踪该光源对象以构建该光源的动态点亮历史。在一个方面，闪烁的光源对象、在一些帧中可能部分可见并且在其他帧中清晰可见的光源对象、可能看起来不工作(完全熄灭状态)的光源对象、可能看起来显示间歇性开关行为的对象和/或在图像捕获中识别的其他伪影可能指示数据缺失或光源损坏和/或来自hd地图的先验知识。
60.在步骤520处，方法500还可以包括确定led闪烁的概率。该步骤可以包括识别图像捕获中的单应性，并且确定所识别的单应性超过指示图像捕获中的led光源损坏的置信度阈值。在一些方面，该确定可以基于使用可以包括当前曝光时间、当前天气模式或其他大气条件(例如，晴天与多云天气)以及其他因素(诸如例如路灯的pwm频率的先前映射)的特性的相对的数值加权的比较。例如，在阴天期间，与晴天相比，vps中的相机的标称曝光时间可
能会显著持续地更长。持续时间相对较长的图像曝光可以增加与在一个或多个图像捕获中获得led光源对象的正确光状态相关联的概率。较高的概率可能是由于led在一些或所有图像帧中被正确地读取为亮着。相比之下，在晴天，曝光时间可能相对较短，使得图像不会过度曝光和光饱和。
61.在另一方面，确定led闪烁的概率可以包括使用vps识别具有不明确转向信号的移动车辆，其中所述移动车辆具有在图像捕获中被观察为间歇的灯。
62.在又一个示例中，确定led闪烁的概率可以包括使用语义分割或如步骤510中所述的另一种方法来识别通常与光源相关联的光源对象(例如，交通灯、车辆行车灯、点亮的交通控制标牌等)，以及确定检测到的光源对象不是图像捕获中的观察到的光源，或者消息或特征被破坏，或者消息或特征随时间变化。基于识别预期光源对象中没有光源信号，led闪烁减轻系统可以在数值上确定加权概率值，所述加权概率值指示不工作的交通灯是否指示检测到图像捕获中的led光源的损坏。在另一方面，交通灯可能看起来不工作或昏暗(由于高动态范围负相互作用)，这可能表明在相机曝光期间led光脉冲丢失，或者行丢失或强度呈正弦变化。简而言之，光源对象的损坏的标记可以包括闪烁光效果、部分可见光效果和无光效果以及其他可能的标记。
63.在步骤525处，方法500还可以包括基于led闪烁的概率(步骤520)来确定闪烁减轻系统是否可以使用协作性时间抗混叠来减轻led闪烁。响应于确定未满足阈值，过程停止。阈值确定步骤可以减轻led光源损坏的误报。
64.响应于确定所识别的单应性超过置信度阈值，所述方法可以包括在步骤530处确定具有v2x能力的车辆或基础设施是否在光源对象的视线内。该步骤可以包括确定可以提供辅助信息源的基础设施节点(诸如向配置有v2x系统的车辆广播灯状态的智能灯信号系统)是否可用。在另一方面，该步骤可以包括确定可以提供辅助信息源的另一具有v2x能力的车辆是否在附近并且可用。关于图4描述的实施例示出了一个这样的示例。
65.在步骤535处，方法500还可以包括协商两个或更多个启用v2x的车辆之间的成像模式的对准。该步骤可以包括经由处理器确定曝光时间的偏移值，调整和/或确定曝光时长时间，和/或确定可以最小化来自第一车辆和靠近发起车辆的其他启用v2x的车辆的成像数据的丢失的其他相机参数。在其他方面，该步骤可以包括为与附近的可用的启用v2x的车辆的vps和成像系统相关联的多个相机中的每个可用相机选择多曝光成像模式。不同的安全模型可能需要硬件签名的图像(例如，具有由一个或多个电子部件签名以确认图像数据的真实性的具有附加加密数据的图像)以基于具有集中签名的v2x加密密钥的安全模型来验证对象分类。
66.这可以通过以下操作来执行：向靠近第一车辆的所有无线连接的车辆发送相机清单并接收相机清单；在车辆中选择主节点以编译相机清单；向所有车辆查询与相应相机相关联的相机规格和能力；生成查找表，所述查找表包括所有可用的相机和能力(例如，安装位置、取向、视野、固有和外部相机矩阵、分辨率等)，并分配每个单独的相机不同曝光时间以获得一个或多个协作图像捕获；以及将图像捕获报告给主v2x节点。此外，可以构建静态和动态占用图或体素矩阵以确定每个对应v2x节点的每个相应相机的遮挡物。然后，这可以允许主节点以过滤具有足够合适的成像能力的当前和未来可接受的启用v2x的车辆。因此，主v2x节点可以基于协作图像或时间图像序列(包括cmos相机中的跟随快门时间延迟)来创
建虚拟多曝光成像解决方案(例如，数据融合)。时序协商和图像集处理可以连续发生或在预定或协商的时间范围内预先协商。
67.时序协商步骤可以包括协商一个或多个迭代搜索模式以识别多个频率和偏移上的led输出。可以利用多代理优化算法来解决资源受限的项目调度问题。此外，可以在优化算法中使用成本函数，所述成本函数考虑到led闪烁消除与在可能对于主车辆不是最佳的操作参数下操作相机成像的单独成本的相互益处。此外，当搜索led脉冲或特定制造商的已知pwm频率(例如，给定车辆前灯的品牌、型号和生产年份)时，靠近的启用v2x的车辆可以保持和更新本地电网ac频率的实时知识。在某个方面，电网频率并不总是稳定的，这可以类似于利用微电网所做的那样进行监测。
68.在另一方面，代替选择主v2x节点，数据和融合处理可以分布在经由v2x通信的多个靠近的车辆\基础设施节点上。
69.在步骤540处，所述方法可以包括使用设置在(第一)车辆、其他启用v2x的车辆上的车辆视觉系统，并且在一些实施例中，使用一个或多个基础设施节点来获得图像场景的图像。
70.在步骤545处，方法500可以包括执行相互数据传送。在一些方面，该步骤还可以包括执行一个或多个数据认证步骤，所述一个或多个数据认证步骤可以防止恶意的靠近的行为者发送伪造的数据。
71.在步骤550处，方法500还可以包括识别两个图像之间的单应性和传感器融合。该步骤可以包括利用来自运动和/或多视图立体成像相机的结构来进行图像矫正和对象匹配。在传感器融合的情况下，led闪烁减轻系统可以组合具有多个长度的多曝光高动态范围图像捕获。
72.在其他方面，该步骤可以包括利用从运动和/或多视图立体成像相机输出的三维(3d)深度，并且定位在图像捕获中检测到的光源对象(步骤510)。单应性识别步骤550还可以包括对准多个图像捕获并融合图像以提高各个传感器质量。在一些情况下，传感器融合步骤可以考虑来自本质上较高速度的相机的led闪烁现象，并且为那些图像提供相对权重。例如，较高速度的相机可以设置为有更多数量的混叠误差，如图1和图2中所展示的。
73.图像融合可以包括应用数字信号处理领域中已知的一种或多种图像处理技术。例如，led闪烁减轻系统可以使用：像素级图像融合技术，其可以用于空间域处理或变换域处理；一种或多种特征级图像融合技术，其利用将图像分割成连续区域并且使用相应的区域性质来融合所述区域的算法；和/或决策级图像融合技术，其组合图像描述以融合所述区域。在一个示例性实施例中，当处于非二进制照明系统的占空比时，所述系统可以融合图像以根据pwm特性和输出强度重新构建给定强度的“人类”视图。这种方法可能有利于复杂的转向信号灯解译，或者用于adas和av目标车辆未来轨迹预测场景的启动/降速照明序列。
74.像素级图像融合技术可以包括应用一种或多种分析方法，所述一种或多种分析方法可以包括平均、图像镶嵌技术、brovey方法、主成分分析(pca)、小波变换和/或强度色调饱和度(ihs)变换。实际的计算机视觉工作流程可以基于系统配置而变化。在一个示例中，所述系统可以围绕考虑中的灯延伸边界框，执行特征描述符和单应性，并且使图像变形以获得像素到像素匹配。然后，所述系统可以在预定时间范围内比较有源区域的像素强度。
75.在其他方面，特征级图像融合技术可以包括使用特征描述符、神经网络、基于区域
的语义分割的应用、k均值聚类和/或与基于内容的图像检索的相似性匹配。
76.决策级图像融合技术可以包括基于无监督和模糊c均值(fcm)聚类技术的融合、时间图像堆栈中的照明器区域/像素的像素级融合的数字信号处理、基于支持向量机的融合、以及基于相应图像区域中的信息级别的融合。用于图像融合的其他技术是可能的，并且可以设想此类方法。
77.在步骤555处，方法500还可以包括识别图像捕获中的匹配对象。该步骤可以包括使用经典或基于神经网络的方法，其可以包括对象检测边界框和语义分割。
78.在步骤560处，方法500还可以包括确定闪烁参数，这可以包括识别基础估计度量，确定检测算法中贝叶斯框架的使用，在时间区域未被采样的情况下选择信号的检测概率的统计，等等。
79.在步骤565处，方法500可以包括基于闪烁参数来确定图像捕获中的光源对象的闪烁状态。在一个方面，所述系统可以估计光源对象的频率和时间偏移以确定相应光源的当前状态。例如，一个光源可以是红色交通灯，并且可以细分为段并进行像素级估计。
80.在步骤570处，方法500还可以包括确定各个图像捕获帧中以及共同地多个靠近的v2x车辆和整个图像集中的光源状态的置信度值。在一些方面，系统可以考虑环境照明噪声因素。例如，如果第一车辆(汽车a)感知到的变化在10％与50％之间，则第二车辆(汽车b)可能由于眩光效应而感知到介于40％与50％之间的照明变化。换句话说，该步骤可以包括确定未照亮的光源、消隐的光源或另一种现象是否指示数据错误和损坏。
81.在另一个示例中，使用图3的示例，如果第一车辆在两个帧中检测到交通灯熄灭并且第二车辆在两个帧中的第二帧中检测到交通灯点亮，则这种协调信息可以指示误报检测，基于对象静态照明历史，led光源损坏的概率相对较高。在一些方面，误报检测风险可以估计为5％。如果该风险高于某个给定的安全阈值(例如，0.01％)以防止针对幻影红灯的错误制动，则该步骤还可以包括使用一个车辆或使用本文所描述的与多个车辆的协调技术来获得第二(或附加)图像捕获帧。一个或多个车辆可以协商灯的工作频率的时间预测目标，并且基于工作频率目标确定要在相应图像捕获中使用的时间偏移，直到风险估计值下降到安全阈值以下为止。
82.在步骤575处，方法500还可以包括确定灯状态是否在置信度阈值内。响应于确定置信度值低于阈值，系统可以执行单个车辆时间比较步骤(步骤528)。
83.在步骤580处，响应于确定满足置信度阈值，方法500还可以包括并入规划算法信息。该步骤可以包括校正可能损坏多曝光高动态范围(hdr)成像的led闪烁效果。在一个实施例中，当另一个启用v2x的车辆不可用时，车辆图像捕获曝光时序可以被设置为先前确定的频率/偏移。在其他方面，led闪烁减轻系统可以通过例如将光频率信息(包括例如时间偏移值)上传到集中式地图服务器来并入从通过给定邻域的先前行程获得的知识。
84.在步骤585处，方法500可以包括基于光源对象的更新状态来执行一个或多个车辆控制动作。例如，车辆可以基于确认的led点亮状态继续向前移动通过灯或停在灯处。在一个示例中，车辆在于置信度阈值内确认接近的灯信号确实是绿色的而不是不起作用的灯(在一些区域驾驶规则中，其要求车辆停在十字路口并将不起作用的灯视为四向停车)之后继续行驶而不停下。
85.在以上公开中，已经参考了形成以上公开的一部分的附图，附图示出了其中可实
践本公开的具体实现方式。应理解，在不脱离本公开的范围的情况下，可利用其他实现方式，并且可进行结构改变。本说明书中对“一个实施例”、“实施例”、“示例性实施例”等的引用指示所描述的实施例可以包括特定特征、结构或特性，但每个实施例可以不一定包括所述特定特征、结构或特性。此外，此类短语不一定指代同一实施例。此外，当结合实施例描述特征、结构或特性时，无论是否明确描述，本领域的技术人员都将认识到结合其他实施例的此类特征、结构或特性。
86.此外，在适当的情况下，本文中描述的功能可在以下项中的一者或多者中执行：硬件、软件、固件、数字部件或模拟部件。例如，一个或多个专用集成电路(asic)可被编程为执行本文所描述的系统和程序中的一者或多者。贯穿说明书和权利要求使用某些术语来指代特定系统部件。如本领域的技术人员将了解，部件可以用不同的名称指代。本文件不旨在区分名称不同但功能相同的部件。
87.还应当理解，如本文所使用的词语“示例”意图在本质上是非排他性的和非限制性的。更具体地，本文使用的词语“示例”指示若干示例中的一者，并且应理解，没有对所描述的特定示例进行不适当的强调或偏好。
88.计算机可读介质(也称为处理器可读介质)包括参与提供可由计算机(例如，由计算机的处理器)读取的数据(例如，指令)的任何非暂时性(例如，有形)介质。此类介质可采取许多形式，包括但不限于非易失性介质和易失性介质。计算装置可包括计算机可执行指令，其中所述指令可由一个或多个计算装置(诸如，以上列出的那些)执行并存储在计算机可读介质上。
89.关于本文所描述的过程、系统、方法、启发法等，应理解，虽然已经将此类过程等的步骤描述为根据某个有序顺序发生，但是此类过程可用以与本文所描述的次序不同的次序执行的所描述的步骤来实践。还应当理解，可以同时执行某些步骤，可以添加其他步骤，或者可以省略本文所描述的某些步骤。换句话说，本文中对过程的描述是出于说明各种实施例的目的而提供的，并且绝不应被解释为限制权利要求。
90.因此，应理解，以上描述意图为说明性的而非限制性的。在阅读以上描述时，除所提供的示例之外的许多实施例和应用将为明显的。所述范围不应参考以上描述来确定，而是应参考所附权利要求以及享有此类权利要求的权利的等效物的整个范围来确定。预计并且意图在于本文所讨论的技术未来将有所发展，并且所公开的系统和方法将并入此类未来实施例中。总而言之，应当理解，本技术能够进行修改和改变。
91.除非在本文中做出明确的相反指示，否则权利要求中使用的所有术语意图被赋予其如本文所述领域技术人员所理解的普通含义。特别地，除非权利要求叙述相反的明确限制，否则使用例如“一个”、“该”、“所述”等单数冠词应被解读为叙述所指示的要素中的一者或多者。除非另有特别说明或在使用时在上下文内以其他方式理解，否则诸如尤其是“能够”、“可能”、“可以”或“可”的条件语言通常意图表达某些实施例可能包括某些特征、要素和/或步骤，而其他实施例可不包括某些特征、要素和/或步骤。因此，此类条件语言一般并不意图暗示一个或多个实施例无论如何都需要各特征、要素和/或步骤。
92.在本发明的一个方面，处理器还被编程为执行指令以：从基础设施装置接收包括基础设施灯状态的基础设施消息；并且进一步基于基础设施消息来在第一图像捕获中检测led光源的损坏。
93.根据实施例，处理器还被编程为通过执行指令以进行以下操作来识别单应性：基于第一图像捕获、第二图像捕获和车辆传感器信息来识别单应性。
94.根据实施例，处理器还被编程为执行指令以：对不同时长和不同曝光的多个多曝光高动态范围图像捕获执行传感器融合；以及组合多次不同时长的曝光。
95.根据实施例，所述多个多曝光高动态范围图像捕获包括来自第一车辆的第一图像捕获和来自第二车辆的第二图像捕获。
96.根据本发明，提供了一种车辆控制器中的非暂时性计算机可读存储介质，所述控制器具有处理器，所述处理器具有存储在其上的指令，所述指令在由处理器执行时使处理器：在第一图像捕获中检测led光源的损坏；从第二车辆接收与由第二车辆获得的第二图像捕获相关联的第二图像捕获信息；基于第一图像捕获和第二图像捕获信息来识别单应性；确定与led光源相关联的对象的灯状态；以及基于对象的灯状态来控制第一车辆。