距离测量数据的检测的制作方法

距离测量数据的检测
1.本发明涉及根据权利要求1或14的主题的用于检测监控区域中的对象的距离测量数据的光电传感器和方法。
2.激光扫描仪是一种广泛使用的用于距离测量的传感器类型。其中，由激光器产生的光束借助于旋转反射镜(drehspiegel)周期性地扫过监控区域。光在监控区域中的对象处被漫反射(remittieren)，并且在激光扫描仪中进行评估。从偏转单元的角位置来推断出对象的角位置，并且在使用光速的情况下从光飞行时间来额外地推断对象与激光扫描仪的间距。利用角度信息和间距信息，监控区域中对象的位置以二维极坐标进行记录。因此，可以测定对象的位置或确定其轮廓。
3.最近，除了广泛使用的具有旋转反射镜的激光扫描仪以外，还出现了具有可旋转的测量头(其中激光器和光接收器一起旋转)、用于将测量区域扩展到单个扫描平面之外的多光束系统以及为此也有越来越多的所谓的固态系统(其中，可运动的部件被微系统或电子操控器代替)的变型。用于检测距离测量数据的这种传感器的常用的概括术语是lidar(light detection and ranging，光探测和测距)。
4.在许多应用中，lidar传感器的测量环境受到干扰。这涉及在受环境影响(如雾、水沫、灰尘、雨或雪)的室外区域中的使用(例如，在交通监控中)，然而也涉及在矿业或机械的有尘环境，例如制材厂或加工业中的应用。在这里存在抑制距离测量数据中的环境影响并同时继续产生可靠的对象测量值的挑战。
5.改善在环境影响下的测量的传统方法基于识别和消除典型干扰的滤波器。对此的示例是所谓的粒子滤波器、回波滤波器或雾过滤仪(nebelfilter)。粒子滤波器识别时间和空间上单独的测量点。由此，较大的或静态的对象得以保留，但也无法滤除例如由雾或水沫造成的较大面积的干扰。回波滤波器可以在所谓的多回波激光扫描仪中使用，这些多回波激光扫描仪测量沿视线依次布置的多个对象的距离。这与启发式方法(heuristik)法有关，例如，在雾中，接收信号中的第一个峰值源于雾滴，而最后一个峰值源于其后的实际目标对象。回波滤波器对大面积的干扰不敏感，但是启发式方法并不总是匹配于实际的目标对象，例如在两个对象之间的边缘上发生边缘接触的情况。雾过滤仪抑制强度小于或等于雾在测量到的距离处的典型强度的测量值。无论干扰的范围如何，雾过滤仪都能识别出低强度的干扰影响。然而，在考虑到光信号穿过雾的能量损失的情况下难以正确地设定相应的与距离相关的雾阈值，并且一些在远处的且特别是暗的对象被错误地抑制。
6.每个滤波器总是只模拟可能的环境影响的特定的子方面。不存在通用滤波器，对于该滤波器的设计和参数化以及在权衡特定的应用情况下的优点和缺点的情况下选择合适的滤波器组合需要深入的专家知识。尽管做出了这种努力，但通常仍需极大的妥协。
7.作为对干扰影响进行滤波的可替代方案，也可以设想反向创建待检测对象(例如，交通分类中的车辆或矿业中的挖掘机铲)的模型。例如，在由t.g.pillips于2016年在昆士兰大学发表的论文“determining and verifying object pose from lidar measurements to support the perception needs of an autonomous excavator”中讨论了这种方法。在模型和测量数据之间存在足够的一致性的情况下，则认为对象被识别，而
模型未解释的所有测量数据都被解释为干扰。这当然适用于坚硬对象，而不仅仅是环境影响。此外，手动建模再次需要很大的努力。
8.在现有技术中进一步讨论了学习方法在lidar系统的测量数据中的使用。由x.
‑
f.hana、j.s.jin、j.xie、m.
‑
j.wang和w.jiang于2018年2月发表的论文“a comprehensive review of 3d point cloud descriptors”，线上获得通道为：http://arxiv.org/pdf/1802.02297v1，涉及用于分类的基于特征的学习方法。特别是在自主驾驶的情况下并且随着高分辨率的3d
‑
lidar扫描仪的出现，越来越多地讨论深度神经网络的可能性。在此，lidar数据作为深度图提供，深度图即测量到的距离(而不是通常的颜色信息或灰度值信息)被编码成像素的图像。
9.在由a.milioto、i.vizzo、j.behley和c.stachniss于2019年发表的“rangenet++:fast and accurate lidar semantic segmentation”http://www.ipb.uni
‑
bonn.de/wp
‑
content/papercite
‑
data/pdf/milioto2019iros.pd f中，实现了逐点分类。从由g.melotti、a.asvadi和c.premediba于2018年马德里举行的ieee就车辆电子与安全的国际会议(icves)中发表的“cnn
‑
lidar pedestrian classification:combining range and reflectance data”，2018年9月
‑
2018年9月第1
‑
6页中，已知对象识别或具体地说行人识别。在此使用多通道图像，其像素除了包含深度信息之外，还包含在相应的位置处接收到的光的强度信息。由m.velas、m.spanel、m.hradis和a.herout于2017年9月发表的“cnn for very fast ground segmentation in velodyne lidar data”，线上获得通道为：http://arxiv.org/pdf/1709.02128v1，描述了地面识别。在由v.vaquero、a.sanfeliu和f.moreno
‑
noguer于2018年昆士兰州布里斯班举行的ieee就机器人和自动化的国际会议(icra)中发表的“deep lidar cnn to understand the dynamics of moving vehicles”，2018年5月
‑
2018年5月第4504
‑
4509页中，实现了一种运动分析，其中将两个依次记录的激光扫描组合成一个具有四个通道的图像，从而由此获得运动信息。
10.文献中提出的绝大多数方法和网络都是针对3d
‑
lidar数据进行优化的，却不能容易地转移到只有一个扫描平面的常见的2d激光扫描仪。
11.在由m.guerrero
‑
higueras等人发表的“tracking people in a mobile robot from 2d lidar scans using full convolutional neural networks for security in cluttered environments”，神经机器人前沿，2018年第12卷，第85页中，测量到的角度数据和距离数据被直接地输入到像素网格中，以用于逐点地对人员进行分类。以这种方式产生稀疏图像，其中扫描点所位于的像素获得值1或扫描点的强度值，而所有其他位置获得值0。
12.可替代地，深度神经网络本身也可以进行适配，以便该深度神经网络可以将2d扫描而不是图像作为输入数据来进行处理。这种方法例如在由l.beyer、a.hermans和b.leibe于2016年3月发表的“drow:real
‑
time deep learning based wheelchair detection in 2d range data”(线上获得通道：http://arxiv.org/pdf/1603.02636v2)中识别人员和轮椅。
13.在由c.r.qi、h.su、k.mo和l.j.guibas于2017年在ieee就计算机视觉和模式识别的会议的会议记录发表的“pointnet:deep learning on point sets for 3d classification and segmentation”中不使用图像，而是直接将无序的点云用作深度神经
网络的输入。这些方法既适用于2d
‑
lidar数据，也适用于3d
‑
lidar数据，但需要专门适配的神经网络。
14.所有这些方法都无法用于识别环境影响。由于这些方法处理空间信息，因此这些方法对此的适用性似乎也很有限。然而，对于许多干扰(例如，雨或雪)，时间行为也是令人感兴趣的，这在传统上很大程度上没有被注意到。
15.因此，本发明的任务在于改善对通用传感器的距离测量数据的评估。
16.该任务通过根据权利要求1或14的用于检测监控区域中的对象的距离测量数据的光电传感器和方法得以实现。光电传感器也可以被称为在开篇所阐述的意义上的lidar传感器。测量单元发射光并且从返回的光产生接收信号。为了在多个方向或角度上获得空间分辨率，使用任意的扫描方法来进行扫描，该扫描方法的范围从经由偏转微系统的物理旋转运动或枢转运动到纯电子操控。在多光束系统中，也可以同时扫描至少一些角度。
17.控制和评估单元通过使用光飞行时间方法评估接收信号来产生距离测量数据。在此，对于每次测量，首先是角度发生变化，这也被称为扫描。通过重复测量，即在连续的时间点进行多次扫描，就可以在角度和时间上解析距离测量数据。角度网格和时间网格不必是规则的，但是优选地，至少角度网格本身不应该在重复测量期间改变。控制和评估单元可以布置在传感器的壳体内部，但是也可以至少部分地或完全地布置在传感器的壳体之外，特别地布置在连接的计算机、网络或云中。例如，任务可以以这样的方式进行分配，使得距离测量数据本身借助于光飞行时间法仍然在内部产生，但是进一步的处理随后在外部进行。
18.本发明基于以下基本思想，即将距离测量数据排列成图像，并且从而使该图像可用于无数的机器学习方法来进行图像处理。为此，角度和时间被用作图像的维度或轴。在2d
‑
lidar检测中获得二维图像，其中，在对一般性没有限制的情况下，x轴由角度给出，并且y轴由时间给出。相应像素的值对应于针对该角度和该时间测量到的距离。在3d
‑
lidar检测中，为第二个角度(通常是相对于中心扫描平面的仰角)添加另一个轴。例如，多光束激光扫描仪的测量数据可以选择性地如来自3d
‑
lidar数据的图像或者如每个光束的2d
‑
lidar数据的多个图像一样进行处理。
19.该图像现在能够利用机器学习的图像分类方法来评估随时间改变的lidar数据。在此，像素与一个相应的类别相关联，该类别特别地用于识别环境影响。
20.本发明的优点在于，可以实现特别稳健的分类，利用该分类来考虑对于某些应用专有的属性。通过基于数据的方法可以在没有深入专业知识的情况下实现这一点，因为属性是从数据中隐含地学到的。与开篇讨论的学习方法不同，没有在所有轴上对具有空间分辨率的经典图像进行分类，而是将时间分量作为图像的轴包含在内。由此，可以评价历史记录(historien)，这尤其在环境影响方面可以发挥重要作用。不再需要对合适的滤波器进行特殊选择、适配或组合。
21.优选地，图像分类方法将对象与由于环境影响，特别是由于灰尘、水沫、雾、雨或雪引起的干扰区分开。因此，该分类的目的在于，为像素分配额外的属性作为干扰和固定对象，优选地在这两个类别最好二元地进行分配。然后，用于对象分类、冲突避免或其他应用的下游逻辑例如可以使用像素的类别信息，以便提供更稳健和更可靠的结果或做出决定。
22.优选地，控制和评估单元被配置用于丢弃被分类为干扰的在像素上的距离测量数据。例如，待丢弃的像素可以被设定为相应的值0或nil。代替完全丢弃干扰的像素，可以在
之后对它们进行不同的评估，例如在下级的对象评估中以较低的量值进行评估。
23.优选地，控制和评估单元被配置用于对于像素除了距离值之外还确定强度值。强度对应于接收信号的电平，特别是在光飞行时间法期间检测到的脉冲回波的范围内的接收信号的电平，并且也被称为漫反射值、亮度值或rssi(received signal strength indicator，接收信号强度指示)。借此对于每个像素，产生具有两个测量值的多模式图像或多通道图像。还可以通过针对强度值产生与具有距离值的图像类似的另一个图像并将其同时或依次地馈送给图像分类方法来考虑强度值。
24.优选地，控制和评估单元被配置用于对于像素确定多个距离。在基于脉冲的光飞行时间法中，可能存在多个接收脉冲或回波，从这些接收脉冲或回波分别可以测量距离。例如，这在通过玻璃片或其他(半)透明的对象到其后方的另一个对象进行测量的情况下适用，其中玻璃片和对象分别提供了距离。在本发明的上下文中，半透明的对象，特别是干扰，即雾回波或由雨滴等引起的回波。通过测量多个距离产生多通道图像，该图像的通道对应于多个距离，例如在考虑三个回波时产生三通道图像。如果测量另一个变量(例如，强度)，则通道数量变成双倍，因此随后产生例如六通道图像。在此，包括在经典的方法中也使用的附加信息：粒子滤波器评估距离，雾过滤仪评估强度，以及回波滤波器评估多个回波，而且多通道图像包含所有基本信息。大量现有的学习方法通常也允许对多通道图像进行分析，因此已知的和已证明的分类方法或深度神经网络也可以用于此目的。代替多通道图像，可以设想利用一些通道或单个通道的信息来评估多个图像。
25.优选地，控制和评估单元被配置用于内插像素的距离测量数据以排列成图像，以便也给出最初没有测量的角度和/或时间的距离值。lidar系统，特别是激光扫描仪，产生通常并非以规则的排列方式而是作为点云的测量值。在此，相互的角距离可以是完全不规则的。根据该实施方式，对于图像，将测量到的距离、只要相关还有测量到的强度内插到均匀的角度分辨率。更确切地说，两次重复测量之间的测量周期和时间间隔是恒定的，但是也可以根据本发明而发生变化。即使测量周期是恒定的，距离测量数据的时间分辨率也不必是规则的，例如，要考虑的历史记录可以仅仅是每第i次扫描或者随着扫描的增加而越来越稀疏的选择，而不是连续地包含最后n次测量。
26.优选地，控制和评估单元被配置用于从图像反算确定光飞行时间的角度和/或时间的距离测量数据，并且将来自位于相应角度和/或相应时间的邻域一个或多个像素的相应类别指配给距离测量数据。可以说，这是上一段的内插的反转，其中将来自图像内的排列的像素分类又带到原始距离测量数据的分类。因此，现在分类的距离测量数据的格式又对应于原始格式，并且这可以简化后面的评估或者使已经存在的后面的评估更容易访问。由于图像和距离测量数据的角度可以相对于彼此移位，因此指配图像中最接近的角度的类别，或者例如指配根据相邻角度的多数决定的类别。
27.优选地，图像分类方法仅为固定时间的像素分配类别。虽然具有历史记录的整个图像表示输入变量，但是仅生成限于固定时间的分类作为输出变量。这个固定时间实际上是图像的一行(或者根据惯例也是一列)。通常对整个历史记录进行分类是不令人感兴趣的，而是仅对某个时间的某个测量感兴趣，为此历史记录最终仅提供辅助数据。通过仅限于固定时间，可以简化和加速图像分类方法。优选地，固定时间是当下，即最近的测量或最近的扫描，以便因此特别地满足实时要求或准实时要求。在没有实时要求的情况下，也可以设
想选择不同的时间。于是，分类以任意比例部分地基于历史记录并且部分地基于未来，包括不考虑历史记录或未来。
28.优选地，图像分类方法具有深度神经网络(deep neural network)。利用这种结构，即使是复杂的图像分类也可以非常可靠地执行。可替代的机器学习的图像分类方法是支持向量机或决策树，它们使用当前点及其邻域的在适当的归一条件下的间距值和强度值作为特征。
29.优选地，图像分类方法预先用像素类别已知的图像进行训练。这种标记或注释的图像规定了什么是相关的干扰并且什么是对象。训练图像的结构与随后从距离测量数据被馈送至图像分类方法的图像的结构相对应。因此，训练图像至少具有角度轴和时间轴，并且像素对距离测量值和(必要时)强度进行编码。
30.优选地，已知的类别由监控区域的某些子区域的有针对性的干扰来预先设定。通过这种方式可以产生训练图像，这些训练图像有针对性地展示了某些待示教的方面。此外，由此简化了图像的注释，因为干扰的位置在很大程度上是已知的。如此获得的分类随后可以手动地进行后续处理。也可以设想完全手动地对训练图像进行分类，其中这当然不必逐个像素地进行，而是例如通过圈住某些区域或自动地预分割和手动地选择属于对象或干扰的片段来进行。获得带注释的训练图像的另一种可能性在于，将开篇提到的带有滤波器或对象模型的传统方法应用于适合于此的图像。通过训练，图像分类方法随后可以普遍用于其他应用和/或干扰情况。
31.优选地，图像分类方法针对某些类别的小误差进行优化。由此，利用了至少一些机器学习的图像分类方法的另一个优点，这些图像分类方法有针对性地偏向于某些类别，并且使得对该类别的指配特别准确，这伴随着对另一类别有意地接受的较大误差。例如，识别尽可能多的对象像素本身，代价是一些干扰也被识别为对象。例如，这在防冲突的应用中是有意义的，其中错误地被视为对象的干扰虽然会导致可用性的损失，然而绝不会带来安全问题。在相反的情况下，一些对象点也被挑选为干扰，但对此剩余的对象点也是可靠的。例如，这对于在交通监控中测量或识别车辆就足够了，其中被视为对象点的干扰可能导致粗略的误判。
32.优选地，光电传感器构造为2d激光扫描仪。如果其测量单元特别地具有用于对监控区域进行周期性扫描的可运动的偏转单元，则是具有振动反射镜或旋转反射镜或相应的可运动的测量头的经典的激光扫描仪。然而，仅沿一条线来检测2d
‑
lidar数据的扫描方法也可以通过其他方式实现，例如通过微系统或电子操控器。开篇讨论的已知的用于lidar数据的学习方法使用具有两个横向空间维度x、y和作为z轴的测量到的距离的深度图。因此，这些方法不能用于2d
‑
lidar数据。根据本发明，时间形成了附加的轴，并创建了实际上不是传统意义上的图像的数据结构，但是却可以作为图像来进行处理。因此，图像处理的机器学习方法的所有知识和现存的实现方式，特别是深度神经网络，也可以应用于2d激光扫描仪。
33.根据本发明的方法可以以类似的方式改进并且在此显示出类似的优点。在独立权利要求之后的从属权利要求中，以示例、但非穷举的方式描述了这些有利的特征。
附图说明
34.下面还基于实施例并参考附图示例性地对本发明的其他特征和优点进行更详细
的阐述。在附图中：
35.图1示出了激光扫描仪的示意图；
36.图2示出了用于lidar数据，特别是激光扫描仪的lidar数据的分类模型的概览图；
37.图3示出了将lidar数据处理为图像的图示；
38.图4示出了利用机器学习方法对来自lidar数据的图像逐像素地进行分类的图示；
39.图5示出了逐像素的分类的另一图示，其中图示了逐像素的分类受限的时间范围；
40.图6示出了与图像行相关的分类追溯回lidar数据的图示；
41.图7示出了具有距离信息和强度信息以及预先设定的所属类别的多通道训练图像的示例性图示；以及
42.图8示出了利用训练图像来示教机器学习方法的图示。
43.图1示出了作为用于检测lidar数据或距离测量数据的光电传感器的示例的2d激光扫描仪10的示意性截面图。在激光扫描仪10中，光发射器12(例如，具有激光光源的光发射器)借助于发射光学器件14产生发射光束16，该发射光束16在偏转单元18处被偏转到监控区域20中。如果发射光束16在监控区域20中落到对象上，则漫反射的光22又返回至激光扫描仪10，并且在那里经由偏转单元18并且借助于接收光学器件24被光接收器26探测到，光接收器为例如光电二极管、apd(avalanche photo diode，雪崩光电二极管)或spad装置(single
‑
photon avalanche photo diode，单光子雪崩光电二极管)。
44.在该实施方式中，偏转单元18被构造成旋转反射镜，该旋转反射镜通过马达28的驱动而连续旋转。马达28或偏转单元18的相应的角位置经由编码器识别，该编码器包括例如码盘30和叉形光栅32。因此，由光发射器12产生的发射光束16扫过通过旋转运动产生的监控区域20。代替旋转反射镜，也可以将偏转单元18构造成旋转的光学器件头，其中安置光发射器12和/或光接收器26以及可能的其他元件。发射光学器件14和接收光学器件24的构造也可以改变，例如通过将波束成形反射镜(strahlformender spiegel)作为偏转单元、透镜的不同布置或附加的透镜来改变。特别地，激光扫描仪在自动准直装置中也是已知的。在所示的实施方式中，光发射器12和光接收器26被安置在共同的电路板(leiterkarte)34上。这也仅是一个示例，因为可以设置自身的电路板以及例如具有相互的高度偏差的其他布置方式。
45.如果来自监控区域20的漫反射的光22现在被光接收器26接收到，则可以从由编码器30、32测量到的偏转单元18的角位置推断出监控区域20中对象的角位置。此外优选地，测定从光信号的发射到其在监控区域20中的对象处反射后的接收的光飞行时间，并且在使用光速的情况下推断出对象与激光扫描仪10的间距。
46.这种根据光飞行时间法的间距或距离测量在控制和评估单元36中实现，该控制和评估单元36为此目的与光发射器12、光接收器26、马达28和编码器32连接。因此，通过角度和间距可以提供监控区域20中所有对象的二维极坐标。
47.控制和评估单元36可以经由接口38与上级系统(例如，专用的评估计算机、上级控制器、本地网络或云)连接。到目前为止，借助于光飞行时间法描述的评估，特别是仍待描述的对距离测量数据的进一步评估，实际上可以在内部的控制和评估单元36和外部的计算单元上任意地分布。然而，优选地，至少借助于光飞行时间法的距离测量在内部在控制和评估单元36中执行，并且也可以设想在内部执行整个评估。则优选地，控制和评估单元不仅包括
一个计算模块，而是包括多个计算模块，例如fpga(field
‑
programmable gate array，现场可编程门阵列)、asic(application
‑
specific integrated circuit，专用集成电路)、微处理器或gpu(graphics processing unit，图形处理单元)。提到的所有内部的功能部件均被布置在壳体40中，该壳体在光出射和光入射的区域中具有前窗板42。
48.每次通过扫描获得的极坐标对应于一个扫描点。偏转单元的每次旋转都扫描监控区域20的一个扫描平面，并且产生相应的点云。这种测量也被称为扫描。经过多次旋转和与其伴随的重复测量，产生按时间顺序的多个扫描。在2d激光扫描仪中，各个扫描分别是2d
‑
lidar数据，其中一个维度是角度，并且另一维度是相对于角度测量到的距离。也存在多光束激光扫描仪，其中多个平面以不同的仰角进行扫描，或者存在在仰角上取向可变的激光扫描仪。由此，相应地检测3d
‑
lidar数据，这些3d
‑
lidar数据具有旋转角和仰角的两个维度和与一对角度相关联地测量到的距离的一个维度。当然，在每种情况下，都可以从极坐标或球面坐标换算到笛卡尔坐标。
49.本发明包括2d
‑
lidar数据和3d
‑
lidar数据。此外，扫描原理不限于所描述的机械旋转。替代地，可以使用微系统，例如mems反射镜，或者例如在相控光学阵列中的电子操控器或者声光调制器。此外，还可以设想发射侧的阵列，例如vcsel行或vscel矩阵，和/或接收侧的阵列，特别是spad行或spad矩阵，其中通过激活相应的单个元件，优选在发射侧和接收侧上的匹配对，来选择相应的扫描方向。最后，可以设想同时检测多个扫描方向。根据本发明，激光扫描仪10优选用于室外区域(outdoor
‑
lidar，室外lidar)或特别是有尘的环境中，因此现在将要描述的干扰识别可以充分发挥其强项。
50.图2给出了关于分类模型的概览，该分类模型将一个类别与一个相应的扫描点相关联，特别是二元地将两个类别“干扰影响”和“(坚硬)对象”中的一个类别与一个相应的扫描点相关联。作为优选的实施方式，将进一步描述将深度神经网络作为分类器的示例。也可以设想其他的机器学习方法，例如决策树或支持向量机。方法由两个阶段组成：
51.在稍后参考图7和图8更详细阐述的训练阶段中，利用期望的分类已知的lidar数据来训练图像分类方法，在这里是深度神经网络，以便确定图像分类方法的参数。相应类别的所需要的确定(标记、注释)通常手动地或者利用手动支持来实现。
52.在图2中所示的应用阶段中，使用经训练的图像分类方法对lidar数据进行分类。首先粗略地阐述各个步骤，然后分别参考图3至图6进行更详细的阐述。在该实施例中，初始点是2d
‑
lidar数据44，即根据相应的角度测量到的距离，这些2d
‑
lidar数据作为对应于相应的测量时间并因此具有特定历史记录的多次扫描(在附图中显示为层)的点云而存在。首先将这些扫描排列成图像46，在这里各排列成一个距离图像和强度图像并且可替代地仅排列成一个距离图像，其中将角度绘制在一个轴上，并且将时间绘制在另一个轴上，并且像素对测量到的距离或测量到的强度进行编码。将一个或多个图像馈送至图像分类方法或深度神经网络48，该图像分类方法或深度神经网络确定分为干扰和对象的逐像素的分类50。稍后，仍将说明，在输出侧优选地仅对一个图像行而不是整个图像进行分类。最终将分类50再次传输到现在分类的2d
‑
lidar数据52。在图2中，扫描点的圆圈部分54示例性地被分类为干扰。
53.图3示出了将lidar数据44处理为图像46，即图2的第一处理步骤。该处理步骤也可以被省略或变得无意义，特别是如果角度分辨率和时间分辨率都是规则的情况下如此。
54.lidar数据44最初作为点云存在，这些点云例如可以表示为具有距离d、强度i和角度α的矢量。还将时间添加为第四维度，然而在图3中替代地，时间是由不同的层显示的。对于本发明，点云的具体表示并不重要。
55.角度α(根据这些角度来测量距离)通常可以不规则地分布，并且可以因扫描而异。图3的图示中的矢量相应地分布。时间轴上的两次扫描之间的测量周期或间隔也不必是规则的。优选地，至少每次扫描的角度以类似的方式分布或者甚至规则地分布。这简化了内插和排列。然而，即使在角度网格均匀的情况下，也可能需要内插以用于分辨率适配。
56.通过重新分类和内插，将lidar数据列入图像46的规则的像素网格中。现在可以在图像中看到角度指标(winkelindex)，因为角度间隔现在是等距的。该图像的特别之处在于，并非仅将极坐标换算成笛卡尔坐标。更确切地说，一个轴，这里是y轴，是对应于不同时间点的扫描的时间轴。该图像不是传统的深度图，而是将角度和时间完全不同的物理量选择为图像维度。通过这种数据表示，在分类中考虑了空间信息和时间信息，这实现了更好的分类结果。同时，作为图像的格式能够实现图像分类方法的使用，而不必为点云设计单独的分类器。
57.根据图3，产生两个图像，即距离图像和强度图像(漫散射，rssi)。像素的相应值是在该角度和该时间测量到的距离或者是在该角度和该时间测量到的强度，必要时通过来自邻域的内插来获得。也可能产生每个像素分别具有一对(距离、强度)的多通道图像，而不是两个图像，或者可替代地再次忽略强度。反过来，可以设想多通道图像或其他图像的其他测量变量。
58.关于其他测量变量的一个示例是多回波系统。借此，扫描光束不仅确定与一个对象的距离，而且还确定与依次位于扫描光束上的多个对象的距离。典型地，当发射光束16的一部分从半透明的对象(例如，雾滴或雨滴)反射回来，而另一部分从更远的对象反射回来时，就会发生这种情况。由此，在基于脉冲的光飞行时间法中在接收信号中产生多个接收脉冲、峰值或回波，它们分别能够实现距离测量。因此，就像一对(距离，强度)那样，一对(第一距离，第二距离)也可以作为多通道图像或图像对进行处理。如果添加强度，则得到双倍的两个通道或图像，相应地，多回波系统比双回波系统更多。
59.图4示出了图像46的实际分类，即图2的第二处理步骤。深度神经网络48在这里示为一般的参数化模型，以再次强调也可以使用其他机器学习方法。具有作为深度神经网络48的输入数据的距离数据和强度数据的图像46可以被限制于某些行，以仅考虑如图所示的四次扫描的一定的历史记录或者其他数量的扫描。
60.深度神经网络48以逐像素的方式预测分类50。在此，仅以纯示例性的方式，1代表干扰，0代表对象。已经证明，深度神经网络的优选实施方式是用于图像分割的u
‑
net，该u
‑
net在由o.ronneberger、p.fischer和t.brox于2015年5月发表的“u
‑
net:convolutional networks for biomedical image segmentation”中进行了描述，线上获得通道为：http://arxiv.org/pdf/1505.04597v1。
61.图5再次示出了图像46以用于展示时间范围56，分类50可以可选地被限制于该时间范围56。在所选的在y轴上表示时间的情况下，每个图像行代表某一测量时间点的一次扫描。分类通常仅对当下，即当前扫描，以及因此对时间范围56的最顶部的图像行是必须的。由此，可以实时或准实时地评判扫描。
62.与传统的图像分割不同，输出因此优选地被限制于一个图像行。然而，输入变量是具有待评判的当前扫描和其他扫描的一定的历史记录的整个图像。对每个测量点或扫描进行这种分类。可替代地，干扰评判也可以仅在某些测量时间点周期性地或随机地进行。通过将输出限制于仅一个图像行，可以减少自由参数的数量，并且可以在速度、训练数据量或精度方面改善分类模型的质量。然而，不排除对图像46的所有像素分别进行分类，并且如果需要，仅在随后将读出或进一步处理限制到子区域。同样地，在该过程中，可以例如通过多数形成(mehrheitsbildung)来从多个图像中组合分别属于相同的测量时间点的像素的分类结果。
63.图6示出了将关于图像46的格式确定的分类50追溯回到lidar数据，即图2的第三处理步骤。该处理步骤是可选的，这取决于要在其中处理信息的下游数据处理的格式。追溯回到lidar数据的优点在于，输出格式与原始lidar数据的格式相对应，因此现有的下游评估以熟悉的方式更容易进行应对并且调整较少。例如，额外地将分类结果附加于点云的矢量。
64.首先，深度神经网络48的分类50以图像46的均匀格式存在。如参考图3所讨论的，lidar数据本身一般被测量为以不规则的角度间隔的点云。对于追溯，为扫描的每个点或矢量指配一个从相邻的角度获得的分类结果。这在图6中由箭头表示。一种可能性在于，搜索与向量的角度最接近的图像的角度，并且从该像素复制分类结果。另一种可能性在于，在图像的一定的角度附近对矢量的所需角度做出分类结果的多数决定。也可以设想其它类型的内插。
65.在此，根据图5的实施方式，图6中的图示限于在一个固定时间点的一个图像行或一次扫描。因此，回到lidar数据的追溯就像分类50本身一样逐行地进行或者每次扫描或测量进行。可替代地，可以设想将对于整个图像46的分类50反算到基本扫描，然而其中随后为每次扫描有效地输入不同的历史记录。随后优选地，在时间维度中也执行对应于图6的追溯。
66.图7示出了经标记或注释的训练图像的示例，借助该训练图像来训练深度神经网络48。这样的训练图像分别包含来自lidar数据的间距和强度图像46以及所属的分类50。间距和强度图像46被分别进行灰度编码，在分类50中，坚硬对象显示为亮的，干扰显示为暗的。在不同的连续的测量时间的多个扫描被绘制在x轴上，并且在y轴上，每次扫描都将间距值或强度值分布在角度上。因此，x轴和y轴被调换成与之前相反的图示，以安排更多的扫描来进行展示。所示的训练图像可以被分区段地理解为多个训练图像。然而，在实践中，通常需要多个这种图像来稳健地训练深度神经网络48。
67.训练图像的数据收集也需要一定的专家知识，但是与设计、选择、参数化和组合传统合适的滤波器相比，专家知识与应用的相关度更高，特别是因为需要关于环境影响对lidar系统的硬件和软件的影响的专门知识。此外，深度神经网络48对预先未观察到的场景是更稳健的。检测用于训练数据的图像46并且主要是进行标记和注释，即预先设定期望的分类50，意味着一定程度的耗费。然而，这种耗费可以是有限的，其方式是例如选择具有已知结构的场景或在某些子区域中的有针对性的干扰。此外，当然不一定要标记各个像素，而是优选地标记整个区域，并且因此经典的滤波器和分割方法至少可以进行支持性的预选。
68.图8示出了训练阶段。基本上所有的模块都已经解释过了，训练阶段仅颠倒了过
程。在训练中，模型参数，特别是神经网络48中的权重是未知的，并且要在优化方法中进行示教，同时预先设定分类50。在应用阶段，随后搜索分类50，同时从训练中已知模型参数。
69.本发明在周围环境基本上是已知的但部分仍然是灵活的应用中是特别有利。一个示例是交通分类。在这里，可以记录不同车辆在干燥和潮湿(即，具有水沫)的道路的情况下的训练数据，并手动进行分类。在训练过程之后，分类能够实现将水沫的测量值与车辆的测量值分开，由此简化了对车辆参数(例如，高度、长度、宽度、存在拖挂物等)的确定。另一个示例是矿业中载重车辆或挖掘机的灰尘识别。在这里，为了避免冲突，将可以驶过的灰尘云团与可能发生碰撞的坚硬对象区分开。
70.许多学习方法允许例如通过适当地选择阈值来适配假阳性率或假阴性率。通过这种方式，分类结果的质量可以适配于应用要求。例如，在交通分类中，如果将车辆的测量值分类为水沫，只要将尽可能少的水沫
‑
测量结果分类为车辆即可。这对于避免高估车辆尺寸是重要的。反之，在矿业应用中，反过来避免了将坚硬对象的测量值分类为灰尘，而将灰尘测量值分类为坚硬的对象更容易接受。这只会降低系统的可用性，但不会导致冲突。
71.迄今为止假设图像46在所检测的整个角度范围延伸。为了节省用于图像分类方法的存储器，可以设想每次扫描定义多个相互补充并且可能在边缘处重叠的角度范围。此外优选地，角度仅直接代表扫描角度，并且通常代表空间维度。因此，可以设想将扫描换算成笛卡尔坐标，并且在图像中使用不同的空间轴作为时间轴的基础，特别是距离。
72.也可以处理3d
‑
lidar数据，而不是2d
‑
lidar数据。在这种情况下，对3d图像进行处理，其中两个轴对应于以原始扫描方向的角度和仰角的两个角度，或者在对应的笛卡尔坐标中换算之后进行。在像素(更准确地说是体像素)中，还对距离和(必要时)强度进一步编码。
73.除了测量变量距离和强度之外，只要传感器可用，就可以评估其他变量，例如测量值品质或外来光水平，或者多回波系统的上述多个距离。为此，在多通道图像中产生具有这些变量或附加通道的其他图像46。训练和分类以类似方式进行。还可以设想其他来源的数据，例如经过适当的时间和空间的配准(regiestrierung)后的雷达设备或相机的数据。