用于求取光信号设备的信号状态的方法和设备与流程

本发明涉及一种用于求取具有多个光信号发送器的光信号设备的信号状态的方法，其中，所述光信号设备包括多个信号状态，并且借助一个或多个激活的光信号发送器形成信号状态，其中，所述方法的特征在于下述方法步骤：求取表示光信号设备的信号状态的对象；如果在第一视频图像中识别到所述第一对象表示所述光信号设备的信号状态，则存储所求取的具有第一标志的第一对象；如果在第二视频图像中不再识别到所述第一对象，则所存储的第一对象的标志从所述第一标志改变为第二标志；如果在另外的视频图像中求取表示所述光信号设备的其他信号状态的第二对象，则删除所存储的具有所述第二标志的第一对象。另外，本发明涉及一种设备，该设备设置用于实施所述方法。

背景技术：

1、由现有技术已知驾驶辅助功能“交通灯功能(traffic-light-function)”。该辅助功能包括对光信号设备、尤其是交通信号灯以及该光信号设备的当前信号状态的识别。视所识其他信号状态而定地，该辅助功能可以提供定义的驾驶员辅助。该定义的驾驶员辅助例如包括：(a)显示该交通信号灯的所识其他信号状态，(b)在即将(drohend)驶越红灯阶段的情况下进行警告，(c)启动制动机动动作，直至(d)在起动过程中进行准备或者辅助。

2、由现有技术例如已知专利申请de 11 2018 000 768 t5。该文献涉及一种用于基于图像的视频流识别关于交通信号灯的假阳性(falsch-positiv)事件的方法，所述图像是由机动车上的摄像机记录的，其中，该交通信号灯如此设置，使得该交通信号灯在多个状态之间更换，其中，每个状态通过至少一个彩色区标示，该彩色区表示信号。该方法包括用于在使用关于交通信号灯的状态的过滤标准的预确定的列表的情况下基于该彩色区的像素的颜色的预确定的历史来过滤图像的步骤，该彩色区表示发光对象，该发光对象在图像的视频流中被检测，以便识别假阳性事件。

3、另外，由现有技术例如已知专利申请de 10 2019 106 844 a1。该方法涉及一种用于通过控制器对摄像机组件的功能能力进行可信度检验的方法，所述摄像机组件具有至少两个摄像机，用于求取光信号系统的切换状态，其中，基于第一摄像机的测量数据求取第一切换状态，基于至少一个第二摄像机的测量数据求取第二切换状态，并且第一切换状态和第二切换状态用于对摄像机组件的功能能力进行可信度检验。在此，切换状态可以、但是不必同时由两个摄像机识别用以进行可信度检验，而是也可以时间错开地识别，例如由于光信号设备在这期间从一个摄像机的可信度检验中移走。

技术实现思路

1、相反，根据本发明的方法和设备有利地实现对驾驶辅助功能“交通灯功能(traffic-light-function)”的改进。尤其是，由此实现在对象识别方面的有效性的提高，尤其通过避免所谓的重影(geisterbild)(如果在图像分析处理中错误地求取对象的多个状态，则产生重影)和由此产生的、关于哪个状态实际上是正确的不确定性。这通过根据本发明的用于求取光信号设备的信号状态的方法和设备的特征来实现。本发明的另外的构型是优选的实施方式中给出。

2、根据本发明的用于求取具有多个光信号发送器的光信号设备的信号状态的方法，其中，所述光信号设备包括多个信号状态，并且借助一个或多个激活的光信号发送器形成信号状态，特征在于下述方法步骤：求取表示光信号设备的信号状态的对象；如果在第一分析周期中识别到所述第一对象表示该光信号设备的信号状态，则存储所求取的具有第一标志的第一对象；如果在随后的分析周期中不再识别到所述第一对象，则将所存储的第一对象的标志从所述第一标志改变为第二标志；如果在一个分析周期中求取表示所述光信号设备的其他信号状态的第二对象，则删除所存储的具有所述第二标志的第一对象。

3、在此应理解，对机动车的环境的视频数据进行分析，以便识别其中的光信号设备、尤其是交通信号灯。另外，不仅应求取光信号设备本身以及例如其位置，还应求取当前信号状态。信号状态通过编码激活的信号传感器、尤其是彩色灯形成。例如，激活的绿光显示信号状态“交通是放行的”，激活的黄光显示信号状态“在十字路口前等待下一个符号”，激活的红光显示信号状态：“在十字路口前停车”，以及激活的红光和黄光显示信号状态“为继续行驶做准备”。为了求取所述信号状态，尤其尝试辨认相应的对象。对象可以是例如光信号设备的激活的绿光。替代地，对象也可以包括整个交通信号灯显示，即例如激活的绿光以及在绿光上方的两个未激活的灯。以信号状态“为继续行驶做准备”为例，清楚的是，对象必要时也可以包括多个激活的信号传感器。

4、当然，也能够将其他信号状态编码，以及能够考虑用于此的其他对象。如此，例如能够考虑仅具有两个光信号发送器的光信号设备。另外，替代地或者附加地，也能够考虑，信号传感器包括时间表，该时间表例如以倒计时的形式包括直至下一个阶段更换为止的剩余时间。

5、该方法提出，在机动车的环境的图像数据中寻找如下对象：所述对象示出光信号设备的(编码的)信号状态。为此，在一个分析周期中对一个或多个视频图像进行分析处理。如果基于在第一分析周期中所识其他第一对象求取光信号设备的第一信号状态。在图像数据中所求取的对象存储在机动车的存储器中。另外，如下信息连同该对象一起被存储：该信息定义该对象实际上是在上一个分析的视频图像中求取的。这被称为第一标志。这就是说，所求取的第一虚拟对象，例如交通信号灯的绿灯，设有标签“已测量(measured)”，该标签将该对象定义为“已测量”或“已识别”，并且存储在辅助系统的存储器中。

6、该方法进一步提出，在环境的随后的图像数据中(即在第二分析周期的框架中)寻找如下对象：所述对象示出光信号设备的(编码的)信号状态。尤其检验：先前所求取的对象是否仍然存在或是否可以识别到。例如，当对象不再存在，例如绿灯不再是激活的，可以存在未识别。然而，未识别也可能是由于对象短暂地被环境对象所遮盖。

7、如果在随后的、例如第二分析周期中不再辨认到先前所求取的对象，则相应地不立即删除存储在存储器中的对象，而是首先进一步存储该对象。然而，如下信息连同该对象一起被存储：该信息定义在上一个执行的、例如第二分析周期中在图像数据中不再求取到该对象。这被称为第二标志。这例如就是说，先前所存储的虚拟的第一对象，交通信号灯的绿灯，继续保留在机动车的存储器中。然而，该第一对象的标签“已测量(measured)”被移除或通过标签“已估计(estimated)”替代，该标签将该对象定义为“已估计”。

8、存储在存储器中的对象——即不仅具有作为“已测量”的第一标记的对象或者具有作为“已估计”的第二标记的对象，有利地在进一步的数据分析处理的情况下被考虑并且例如可以用于激活、控制驾驶辅助功能。

9、然而，在进一步的进程中，在后来的视频图像中——例如在第三分析周期中——也可以基于第二对象求取光信号设备的第二信号状态、即与第一信号状态不同的信号状态。因此，有利地(也)预期光信号设备的在第一信号状态之后的第二信号状态。

10、如果在该后来的——例如第三——分析周期中，第一对象再次未被识别到，或仅作为具有第二标志的虚拟的第一对象存储在存储器中，则假设位于存储器中的第一对象不再具有相关性或不再是正确的——因为例如第一对象不再存在于实际的环境中。相应地，删除存储在存储器中的具有第二标志的第一对象。换言之，这意味着，当在另外的视频图像中识别到第二对象，该第二对象相应于定义的标准、尤其是表示光设备的其他信号状态时，删除定义为已估计的第一对象。

11、在一种替代的扩展方案中，该方法的特征在于下述方法步骤：如果第二对象的特征满足定义的条件，尤其是如果光信号设备的通过第二对象表示的信号状态是关于光信号设备的通过第一对象表示的信号状态的定义的后续信号状态，则删除具有第二标志的第一对象。

12、在此应理解，所求取的第二对象的特性用作如下标准：该标准有利地在删除第一对象方面被考虑。这可以是第二对象的特性，该特性可以独立地被判断，或者该特性可以根据例如第一对象来判断。例如，当通过所求取的第二对象示出的信号状态在逻辑上正确地跟随通过所求取的第一对象示出的信号状态时，进行删除。例如，当在绿灯之后识别到黄灯时，在具有三个灯的交通信号灯的情况下是这种情况。

13、当然，该方法有利地还可以包括另外的方法步骤中的一个方法步骤：记录视频数据作为用于求取表示光信号设备的信号状态的对象的基础。

14、在一种可能的构型中，该方法的特征在于下述方法步骤：如果第二对象的存在时间(alter)小于定义的阈值，尤其是如果第二对象的存在时间小于第一对象的存在时间，则删除具有第二标志的第一对象。

15、在此应理解，所求取的第二对象的存在时间用作如下标准：该标准有利地在删除第一对象方面被考虑。例如，当第二对象的存在时间小于第一对象的存在时间时，即所求取的第二对象较新时，进行删除。

16、在一种优选的实施方案中，该方法的特征在于下述方法步骤：如果第二对象的所求取的参量在定义的参量框架内，尤其是如果第二对象的所求取的参量在定义的容限阈值内相应于第一对象的所求取的参量，则删除具有第二标志的第一对象。

17、在此应理解，所求取的第二对象的存在时间用作如下标准：该标准有利地在删除第一对象方面被考虑。例如，当第二对象的参量大致与所求取的第一对象的参量一样大时，进行删除。由此可以保证，第二对象以一定的概率属于相同的光信号设备。

18、在一种可能的构型中，该方法的特征在于下述方法步骤：定义关于具有第二标志的第一对象的第一环境估计范围，在第一环境估计范围中在下一个分析周期中预期第一对象。

19、在此应理解，当在当前的分析周期中不能够求取先前所求取的对象时，估计如下环境范围：该对象在下一个分析周期中可能处在该环境范围中并且可能在那里被重新识别到。这种类型的环境估计范围被称为“预测器(predictor)”。

20、在一种优选的实施方案中，该方法的特征在于下述方法步骤：定义关于具有第二标志的第一对象的第二环境估计范围，在该第二环境估计范围中在下一个分析周期中预期第二对象，尤其是其中，在考虑光信号设备的通过第一对象表示的当前的信号状态的情况下，根据通过第二对象表示的、特定的、当前的信号状态的后续的信号状态，定义该环境估计范围，在该环境估计范围中预期第二对象。

21、在此应理解，当在当前的分析周期中不再能够求取先前所求取的对象时，估计如下环境范围：迄今为止未被求取的第二对象可能处在该环境范围中，该第二对象可能例如由于光信号设备的状态更换而出现。有利地，根据光信号设备的通过第一对象示出的信号状态求取如下环境范围：在该环境范围中可以预期第二对象。这种类型的环境估计范围被称为“预测器(predictor)”。

22、这应以下述例子为例来阐明。例如，绿灯被求取为第一对象。第二对象相应于光信号设备的经改变的信号状态。在状态“绿”之后，预期状态“黄”。待预期的第二对象“黄灯”在空间上位于迄今为止的第一对象“绿灯”的上方。因此，如此定义其中预期第二对象的估计范围，使得第二对象在空间上位于先前所识其他第一对象的范围的上方。

23、在一种有利的实施方式中，该方法的特征在于下述方法步骤：如果在关于第一对象的定义的第二环境估计范围中求取第二对象，则删除具有第二标志的第一对象。

24、在一种有利构型中，该方法的特征在于下述方法步骤：如果具有第二标志的第一对象已被删除，则存储具有第一标志的第二对象。

25、在一种可能的实施方案中，该方法的特征在于下述方法步骤：在进一步的数据分析处理的情况下考虑所存储的具有第一标志或第二标志的对象。

26、在此应理解，在进一步的进程中，不仅考虑具有作为当前已识其他标志的对象，还考虑具有作为已估计的标志的对象。在此，所提到的数据分析处理可以包括分析直至实施驾驶辅助功能“交通灯功能(traffic-light-function)”的各个方面。

27、在一种替代的实施方式中，该方法的特征在于下述方法步骤：如果已存储具有第二标志的第一对象，则在定义的环境估计范围内求取表示光信号设备的信号状态的对象。

28、在此应理解，有利地仅在定义的环境估计范围内寻找相应的对象，例如仅分析处理通过环境估计范围限制的数据材料。有利地，由此可以节省计算能力。相反，在一种替代的实施方案中，考虑和分析整个视频数据，然而将环境估计范围的标准考虑用作在评估所求取的对象的情况下的条件。由此提高正确评估的安全性。

29、这种方法例如可以以软件或者硬件形式或者以由软件和硬件组成的混合形式例如在控制器中实施。

30、在此所提出的方案还实现一种设备，该设备构造为用于在相应的单元中执行、操控或实现在此提出的方法的一种变型的步骤。通过本发明的呈设备形式的这种实施变型，也能够快速且高效地解决本发明所基于的任务。

31、在当前情况下，设备能够理解为电器具，该电器具处理传感器信号并且根据所述传感器信号输出控制信号和/或数据信号。所述设备可以具有接口，该接口可以按硬件方式和/或按软件方式来构造。在按硬件方式构造的情况下，接口例如可以是所谓的系统asic的包含该设备的不同功能的部分。然而也可能的是，接口是自有的集成电路或者至少部分地由分立的构件组成。在按软件方式构造的情况下，接口可以是例如与其他软件模块并存于微控制器上的软件模块。

32、因此，用于辅助用于车辆的交通信号灯识其他辅助系统、用于自动化调节纵向引导的辅助系统、环境检测设备以及中央的或者分散的控制器可以算作设备，该环境检测设备尤其是摄像机，该控制器设置用于控制所提到的设备中的一个设备或用于实施该方法。

33、具有程序代码的计算机程序产品或者计算机程序也是有利的，所述程序代码可以存储在机器可读的载体或者存储介质上，所述存储介质例如是半导体存储器、硬盘存储器或者光存储器，并且尤其是当所述程序产品或者程序在计算机或者设备上执行时，所述程序代码用于实施、实现和/或操控根据前述实施方式中的一种实施方式所述的方法的步骤。