用于探测丢失的图像信息的方法、用于执行这种方法的控制装置、具有这种控制装置的探测装置和具有这种探测装置的机动车与流程

1.本发明涉及一种用于探测丢失的图像信息的方法、一种用于执行这种方法的控制装置、一种具有这种控制装置的探测装置和一种具有这种探测装置的机动车。


背景技术：

2.从公开号为wo 2017/009848 a1的国际专利申请中得到一种方法，在此，照明装置和光学传感器被时间相互协调地驱控，以便在光学传感器的观测区域内拍摄一定的可见的距离区域，其中，可见的距离区域来自照明装置和光学传感器的驱控的时间协调。图像信息的探测在照片中仅在可见的距离区域中进行。但在该区域中，逆向反射对象被过度曝光，并且在交通标志下无法用软件技术读取。该照片的未对应于可见的距离区域的图像区域的评估是未知的。


技术实现要素：

3.因此，本发明的目的是提供一种用于探测丢失的图像信息的方法、一种设立用于执行这种方法的控制装置、一种具有这种控制装置的探测装置和一种具有这种探测装置的机动车，其中，上述缺点被至少部分消除，最好得以避免。
4.如此实现该目的，即，提供本技术教导，尤其是独立权利要求的以及在从属权利要求和说明书中公开的实施方式的教导。
5.尤其如此实现该目的，即，提供一种用于借助照明装置和光学传感器探测丢失的图像信息的方法。在此，照明装置和光学传感器被相互时间协调地驱控。在光学传感器的观测区域中的可见的距离区域的局部位置在此通过对照明装置与光学传感器的驱控进行时间协调而得到。该观测区域的照片利用光学传感器借助经协调的驱控被采集。最终，在照片内在图像侧的可见的距离区域外的区域中搜索图像信息。如果在照片内在图像侧的可见的距离区域外的区域中找到图像信息，则该图像信息被探测和使之可供使用。“使之可供使用”在此尤其是指，所探测到的图像信息被转送至控制器以便进一步处理和/或在自主驾驶中使用或者以其它方式可供控制器所用。
6.借助此处所提出的方法，可以有利地探测在可见的距离区域外的对象并且给在此执行该方法的车辆提供相应信息以供使用。尤其是可以高精度地进行对有一定荧光效果和/或磷光效果的逆向反射/向后反射(retroreflektierend)的交通标志的探测和识别。这是尤其可能的，因为交通标志因光致发光性能而吸收照明光子并且在照明结束后经过一定期间、尤其长达几秒又发出这些光子。因此，具有光致发光性能的逆向反射交通标志在被直接照明时、即在其位于可见的距离区域中时因附加的反光作用被过度曝光且因此无法用软件技术来读取。一旦交通标志不再位于可见的距离区域中时，则光致发光效果开始起作用，并且由于该光致发光效果而所发出的光子使得交通标志在光学传感器的照片中被清晰呈
现。有利地，该方法也适于识别具有光致发光构件的自行车和穿有光致发光衣物的人。
7.该方法可以有利地被用在自动驾驶车辆、尤其是自动驾驶卡车中。尤其在夜间行驶中，可以有利地借助该方法探测交通标志或其它交通参与者。该方法允许及时适当地对探测到的交通标志和其它交通参与者做出反应。这种适当的反应例如可以是减速、急刹车或以必要时专门指定的避让运动轨迹来行驶。
8.用于借助照明装置和光学传感器的相互时间协调的驱控生成照片的方法尤其涉及被称为选通成像法的方法；该光学传感器尤其是摄像头，其仅在指定的受限时间范围内切换至敏感，这被称为“选通驱控”，摄像头因此是选通摄像头。该照明装置也相应地在时间上仅以一定的所选时间间隔被驱控，以照亮对象侧场景。
9.尤其通过该照明装置发出预定数量的优选具有5ns-20ns持续时间的光脉冲。光学传感器的曝光的起始和结束与所输出的光脉冲的数量和持续时间相关联。因此，一定的可见的距离区域可以通过对照明装置和光学传感器的在时间上的驱控按照相应规定的局部位置(即尤其是距离区域的起始点距光学传感器的规定距离和规定的距离区域宽度)由光学传感器来测定。
10.在此，可见的距离区域是三维空间内的如下对象侧区域，其借助光学传感器通过照明装置光脉冲的数量和持续时间结合光学传感器曝光起点和终点以两维照片的形式呈现在光学传感器的图像平面上。
11.与之相比，观测区域尤其是三维空间内的如下对象侧区域，其在光学传感器充分照明和曝光下借助光学传感器在两维照片中可总体上且尤其是最大程度地被呈现。尤其是，观测区域对应于光学传感器的理论上可被照亮的整个可曝光图像区域。可见的距离区域因此是真实空间内的观测区域的子集。
12.图像侧观测区域对应于所有基于光学传感器存在的图像行。图像侧的可见的距离区域作为图像平面的局部区域尤其存在于起点图像行与终点图像行之间。起点图像行在照片中确定可见的距离区域的起点。此外，终点图像行在照片中确定可见的距离区域的终点。
13.就在此和以下谈到“对象侧”而言，说的是真实空间中的区域，即，在待观测对象的那侧。就在此和以下谈到“图像侧”而言，说的是在光学传感器图像平面上的区域。观测区域和可见的距离区域在此在对象侧存在。与之对应的是在图像平面上的通过成像定理以及照明装置和光学传感器的在时间上的驱控而相配属的图像侧区域。
14.依据在借助照明装置的照明开始之后的光学传感器曝光的起点和终点，光脉冲光子击中光学传感器。可见的距离区域离照明装置和光学传感器越远，在该距离区域中被反射的光子击中光学传感器所需的持续时间越长。因此，可见的距离区域离照明装置和光学传感器越远，照明结束和曝光开始之间的时间间隔越长。
15.因此根据该方法的一个设计尤其可行的是，通过相应适当选择对照明装置和光学传感器两者的在时间上的驱控来限定该可见的距离区域的位置和空间宽度。
16.在该方法的一个替代设计中可以设置可见的距离区域，其中，由此确定并相应设置对照明装置和光学传感器两者的在时间上的协调。
17.图像行在此尤其是指在光学传感器的图像平面内的照片的全部如下的像素的集合，该像素在图像平面内位于同一水平线上。
18.尤其是，对图像信息的、优选光致发光对象的探测被用在所有没有位于起点图像
行和终点图像行之间的图像行上。
19.照明装置在优选设计中是激光器。光学传感器在优选设计中是摄像头。
20.根据本发明的一个改进方案而规定，针对距离区域的照片，借助光学传感器的每一图像行的照明强度加和来创建关于与基于光学传感器的观测区域内的评估区域相配属的所有图像行的行直方图(zeilenhistogramm)。起点图像行和终点图像行于是借助行直方图被确定。由此确定在图像侧距离区域之外的图像侧区域。这有利地允许查明基于光学传感器的与对象侧的可见的距离区域在图像侧相配属的区域的图像位置。即，就此由对照明装置和光学传感器两者的在时间上的驱控而得到在图像侧距离区域的起始点和图像侧距离区域的结束点处清晰的亮度过渡/亮度转变。最终能够实现确定在图像侧的可见的距离区域外的如下区域，在该区域中搜索尤其是光致发光对象的图像信息。
21.行直方图在此尤其是指，在评估区域内给光学传感器的各个图像行配属相应的图像行的位于该评估区域内的所有像素的照明强度之和。通过这种方式，相应因时间上的驱控而出现的亮度过渡可以在光学传感器的图像平面内被很简单可靠地探测。
22.根据一个优选设计，评估区域与观测区域彼此相同。这相当于特别容易地实现的方法实施方式。但也可行的是，该评估区域根据另一个优选设计被选择为小于观测区域，尤其是作为待探测对象可能位于其中的目标区域或者“感兴趣区域”。这有利地允许快速高效地执行该方法。为此仅将位于评估区域中的像素纳入加和中，故评估区域也尤其可能在水平方向受限。
23.优选地，照片中的评估区域在计算行直方图前通过gps预报(尤其在道路走向背投至图像平面的情况下)和/或通过光学轨迹追踪法被识别。
24.根据本发明的一个改进方案而规定，该图像信息的搜索和探测借助模式识别算法来执行。
25.根据本发明的一个改进方案而规定，该图像信息的搜索和探测借助深度学习来执行。
26.根据本发明的一个改进方案而规定，所探测到的图像信息被重建和存储。因此尤其可能的是向司机以结合照片的方式显示所探测到的图像信息。在自主行驶车辆的情况下，所探测的图像信息优选被存储以便能在行驶后解释车辆反应。
27.根据本发明的一个改进方案而规定，两个照片、即第一照片和第二照片利用光学传感器借助对照明装置和光学传感器进行的两个不同时间协调的驱控而被采集。第一照片、第二照片和所探测到的图像信息合并成一个全照片。优选地，第一照片的和第二照片的可见的距离区域不重叠。位于第一照片的可见的距离区域内的光致发光对象在第一照片中被过度曝光地呈现。有利地，光致发光对象不在第二照片的可见的距离区域中。因此，该对象能够因为其余辉性能而在可见的距离区域外被识别。在全照片中，在第一照片和第二照片组合时优选通过对象的来自第二照片的显示代替该对象的来自第一照片的过度曝光显示。尤其是通过该方法重建所探测的图像信息。
28.该目的也被如此实现，即，提供一种控制装置，其设立用于执行本发明的方法或根据前述实施方式之一的方法。该控制装置优选设计成计算装置尤其优选是计算机，或者设计成控制器且尤其是车辆控制器。控制装置尤其具有已经与所述方法相关所解释的优点。
29.该目的也被如此实现，即，提供一种探测装置，其具有照明装置、光学传感器和本
发明的控制装置或根据前述实施例之一的控制装置。探测装置尤其具有已与所述方法和控制装置相关所解释的优点。
30.该控制装置优选与照明装置以及光学传感器两者都作用连接并且设立用于其驱控。
31.最后，该目的也被如此实现，即，提供一种具有本发明的探测装置或根据前述实施例之一的探测装置的机动车。机动车尤其具有已与所述方法、控制装置和探测装置相关所解释的优点。
32.在有利设计中，机动车被设计成卡车。但也可行的是机动车是轿车、载货汽车或其它机动车。
附图说明
33.以下将结合图来详细解释本发明，其中：
34.图1示出具有探测装置的实施例的机动车实施例的示意图；
35.图2示出在方法实施方式范围内用光学传感器采集的照片的示意图；
36.图3示出被用在该方法的实施方式中的行直方图的示意图。
具体实施方式
37.图1示出具有探测装置3的实施例的机动车1的一个实施例的示意图。探测装置3具有照明装置5和光学传感器7。另外，探测装置3具有控制装置9，其在此仅被示意性示出并且以未明确示出的方式作用连接至照明装置5和光学传感器7以便分别对其驱控。图1尤其示出照明装置5的照明视锥体11和光学传感器7的观测区域13。此外用阴影线示出可见的距离区域15，其作为光学传感器7的观测区域13的子集存在。
38.在可见的距离区域15内设置有交通标志17。在可见的距离区域15外设置有交通标志19。
39.在图1中也示出可见的距离区域15的起始点21和结束点23。
40.控制装置9尤其是设立用于执行一种用于探测在借助照明装置5和光学传感器7所生成的照片25中的丢失的图像信息的方法的如下所详述的实施方式。
41.在此，照明装置5和光学传感器7被相互时间协调地驱控，其中，在观测区域13内的可见的距离区域15通过对照明装置5和光学传感器7的驱控进行时间协调而得到。用光学传感器7在使用协调驱控下采集观测区域13的照片。
42.图2示出在光学传感器7的图像平面内的这种照片25的示意图。在此，在图2中在照片25内示出用于可见的距离区域15的起始点21的起点图像行27和用于其结束点23的终点图像行29。此外，在照片25中示出交通标志17、19的图像。在照片25中用17
′
表示交通标志17的图像，用19
′
表示交通标志19的图像。因为交通标志17和19的逆向反射性能，在交通标志17
′
的图像中看不到标记。交通标志19在照片25创建前不久在对象侧的可见的距离区域内被定位。由于交通标志19的光致发光性能，故可在交通标志19
′
的图像内清楚识别标记。
43.一种用于探测丢失的图像信息的方法于是被用在高于终点图像行29且低于起点图像行27的区域中，以搜索图像信息、优选是具有光致发光性能的对象。如果找到图像信息19
′
，则该图像信息被探测并可供控制装置9和进而机动车1和/或司机所用。
44.优选，用于搜索并探测丢失的图像信息的方法基于模式识别或深度学习。
45.另外，在图2中示出评估区域31，它尤其可以通过gps预报和/或用于光学轨迹跟踪的方法来确定。评估区域31在此作为目标区域小于观测区域13。但它也可以与之重合。
46.图3示出根据图2的照片25的或照片25的评估区域31的行直方图33的示意图。在行直方图33中，在横坐标上绘制光学传感器7的各个图像行，其中，在纵坐标上针对每个图像行绘制在评估区域31内相应图像行的所有像素范围内的每个像素的照明强度之和。在与基于光学传感器7的评估区域31相配属的所有图像行的范围内借助对光学传感器7的每个图像行的照明强度的加和来创建行直方图33。于是起点图像行27和终点图像行29借助行直方图33被查明，其中，尤其因为对照明装置5和光学传感器7的时间协调的驱控而可以识别出在起点图像行27以及在终点图像行29两者中的显著强度突变。