用于训练对象检测器的方法和控制设备与流程

本发明涉及用于训练对象检测器(objektdetektor)的方法和控制设备，利用其可以产生经优化的对象检测器。

背景技术：

1、对机动车周围环境(umfeld)以及尤其是对对象、例如机动车周围环境中的其他道路使用者的全面识别(umfassende erkennung)构成了针对机动车的许多驾驶员辅助系统和自动驾驶功能的基础。在此机动车通常具有传感器系统，这些传感器系统的任务是识别其相应检测区域中的对象。各个传感器系统在此都分别包括环境传感器和处理单元，该处理单元被设计成分析由环境传感器提供的数据，例如检测数据中的对象。例如，环境传感器可以是照相机、雷达、lidare或超声波传感器。

2、这样的传感器系统或传感器系统的处理单元在此越来越多地基于机器学习算法，例如深度神经网络。用于对象检测的深度神经网络在此通常由两个模块组成。第一个模块，即所谓的特征主干(feature backbone)，用于基于传感器数据的特征提取，其中通过串连大量的神经网络层从传感器数据中提取特征。第二个模块，即所谓的检测头(detectionhead)然后基于所提取的特征对一个或多个对象类别执行对象检测。

3、在此，这样的对象检测器通常借助监督学习而被训练，即基于经注释的(annotiert)数据或经标记(gelabelt)的数据而被训练。然而，相应数据集的创建以及尤其是注释是非常时间和资源密集的或者成本密集的。特别是，这些数据集在此仅针对由相应传感器适当测量的那些对象具有注释。此外，已知通常没有注释的传感器，例如雷达传感器。由于在基于雷达的对象检测器的基础上很难能够对对象进行注释，因此通常使用基于激光雷达的注释来训练基于雷达的对象检测器。然而，由于不同传感器的测量原理、传感器规格或安置或装入位置的不同，注释在此通常不能一对一传输，这会导致相应训练的对象检测器的质量下降。

4、从出版物de 102017006155a1中已知一种用于运行具有至少两个环境传感器的用于车辆的传感器系统的方法，用来自第一环境传感器的第一训练数据训练第一分类器，确定代表第一分类器的第一分类模型，根据第一分类模型对第一环境传感器的第一传感器数据进行分类，接收来自不同于第一环境传感器的第二环境传感器的第二传感器数据，借助第一分类器根据第一分类模型对第二传感器数据进行分类，将经分类的第二传感器数据作为第二训练数据传输到第二分类器，其中所述第二分类器被分配给第二环境传感器，并且基于第二训练数据确定代表第二分类器的第二分类模型。

技术实现思路

1、因此，本发明基于的任务在于，说明一种用于训练对象检测器的经改进的方法。

2、该任务通过根据专利权利要求1的特征的用于训练对象检测器的方法而得以解决。

3、该任务还通过根据专利权利要求6的特征的用于训练对象检测器的控制设备而得以解决。

4、根据本发明的一个实施方式，该任务通过一种用于训练对象检测器的方法而得以解决，其中对象检测器被设计成，检测传感器的传感器数据中的对象，并且其中提供传感器的第一传感器数据，提供被分配给第一传感器数据的对象表示，将该对象表示传输到传感器模型，传感器模型被设计成，将对象表示映射到传感器的传感器数据，其中通过传感器模型将所述对象表示分配到第二传感器数据，并且其中基于第二传感器数据训练对象检测器。

5、因此，传感器模型描述了一种函数(funktion)，该函数将周围环境表示映射到传感器的针对所述周围环境表示应预期的测量数据。特别地，传感器模型在此对相应传感器的测量特性(messcharakteristik)进行建模。

6、通过对象检测器进行的对象检测也可以包括：对象的分类以及经分类对象的对象参数的估计。然而，此外，通过对象检测器进行的对象检测也可以例如仅包括：对象的分类。在此，可以例如基于已知值或通过传感器实际测量的值及相应分配的检测结果或对象检测结果预先训练对象检测器。

7、对象表示还指的是：传感器数据中对象的映射或表示。对象表示在此可以例如由对象检测器基于第一传感器数据生成，也就是说，它可以是对象检测结果，或者也可以通过所提供的注释或例如由其他传感器所提供的用于补充的附加数据来预给定。

8、该方法使得基于特定传感器所注释的数据集能够用于其他传感器。例如，基于激光雷达传感器所生成的注释可用于训练雷达对象检测器。由此提高了现有数据集的可重用性(wiederverwendbarkeit)并因此减少了对附加注释的需求，这导致节省了时间和成本。

9、然而，此外，该方法也不依赖于注释的存在并且也可以应用于未标记的数据。因此，可以使用明显更大的数据规模(datenumfang)来训练对象检测器，这对对象检测质量或对象检测器的质量以及所生成的训练数据的质量具有进一步的积极影响。

10、总体而言，因此说明了一种用于训练对象检测器的经改进方法。

11、对象检测器的训练可以是监督学习，但也可以是非监督学习或仅部分监督的学习。

12、该方法还可以包括：将第二传感器数据与第一传感器数据进行比较以确定第一成本函数并基于第一成本函数训练对象检测器。

13、成本函数或损失在此理解为：所确定的输出值与相应的实际条件(gegebenheit)或实际测量的数据之间的误差或损失。

14、因此可以通过利用传感器的测量特性或传感器模型的建模所产生的第一成本函数更有针对性地控制对象检测器的训练并且以简单的方式和方法以及用低资源消耗的方式对该对象检测器进行重新训练(nachtrainieren)。例如，如果对象检测器在此基于深度神经网络，则第一成本函数可以通过网络层被反向传播(riickpropagieren)并可以用于适配(adaption)相应的网络权重。

15、此外，该方法还可以包括：提供注释；将对象表示与所提供的注释进行比较以确定第二成本函数；以及基于第二成本函数训练对象检测器，其中由对象检测器基于第一传感器数据生成对象检测结果。

16、在此，可以通过基于第二成本函数对对象检测器进行相应的重新训练来改进或精细化(verfeinern)对象检测器。例如，如果对象检测器在此基于深度神经网络，则第二成本函数又可以通过网络层被反向传播并可以用于适配相应的网络权重。

17、此外，对象表示可以是注释。该方法在此还可以包括估计注释是否在传感器的可见范围内的步骤，其中如果注释不在传感器的可见范围内则丢弃第一传感器数据。

18、传感器的可见范围或视野在此被理解为如下范围，在所述范围内内能够由该传感器感知和记录事件或变化。

19、第一传感器数据被丢弃也意味着：由第一传感器数据与对象表示或注释组成的对并不是用于训练对象检测器的训练数据，或者说不被用于训练对象检测器。

20、因此，可以从针对该传感器的对象检测器的训练中排除不可见的、例如被遮盖的对象的现有注释。这又可以对对象检测器的质量产生积极影响。

21、传感器模型在此可以是人工神经网络。

22、人工神经网络遵循于(orientieren sich an)生物神经元并且使得能够根据现有的训练数据教会(anlernen)未知的系统行为，并且然后将所教会的系统行为也应用于未知的输入变量。在此，神经网络由具有理想化神经元的层组成，这些神经元根据网络的拓扑结构以不同的方式相互连接。第一层也称为输入层，第一层检测并传输输入值，其中输入层中神经元的数量对应于应处理的输入信号的数量。最后一层也称为输出层并具有与应提供的输出值一样多的神经元。在输入层和输出层之间还有至少一个中间层，其通常也称为隐藏层，其中，所述中间层的数量和这些层中的神经元数量取决于应由该神经网络解决的具体任务。

23、由于传感器模型是人工神经网络，所以可以优化第一传感器的测量特性的建模。在此，可以基于传感器的已知的实际传感器数据或所测量的传感器数据以及所分配的通过对象检测器本身生成的对象检测结果或所提供的注释来训练传感器模型，其中传感器模型可以与对象检测器同时被训练但也可以独立于对象检测器地被训练。

24、然而，传感器模型是人工神经网络在此只是一个优选实施方式。因此，例如也可以基于专家知识生成传感器模型。

25、通过本发明的另一个实施方式也说明了一种用于控制机动车的驾驶员辅助系统的方法，其中提供针对机动车的传感器的对象检测器，其已经通过上述用于训练对象检测器的方法得以训练，由对象检测器针对该传感器生成对象检测结果，并且其中基于对象检测结果控制驾驶员辅助系统。

26、针对机动车的传感器生成对象检测结果是指：基于由机动车的所述传感器所检测的数据而执行对象检测。

27、因此说明了一种用于控制机动车的驾驶员辅助系统的方法，其基于如下对象检测器，所述对象检测器基于用于训练对象检测器的经改进方法而被训练。

28、在此，用于训练对象检测器的方法使得基于特定传感器所注释的数据集能够用于其他传感器。例如，基于激光雷达传感器所生成的注释可用于训练雷达对象检测器。由此提高了现有数据集的可重用性并因此减少了对附加注释的需求，这导致节省了时间和成本。

29、然而，此外，用于训练对象检测器的方法也不依赖于注释的存在，并且也可以应用于未标记的数据。因此，可以使用明显更大的数据规模来训练对象检测器，这对对象检测质量或对象检测器的质量具有进一步的积极影响。

30、通过本发明的另一实施方式还说明了一种用于训练对象检测器的控制设备，其中该对象检测器被设计成，检测传感器的传感器数据中的对象，并且其中该控制设备具有：第一提供单元，该第一提供单元被设计成，提供传感器的第一传感器数据；第二提供单元，该第二提供单元被设计成，提供被分配给第一传感器数据的对象表示；传输单元，该传输单元被设计成，将对象表示传输到传感器模型，其中该传感器模型被设计成，将对象表示映射到传感器的传感器数据；分配单元，该分配单元被设计成，通过传感器模型将对象表示分配到第二传感器数据；以及训练单元，该训练单元被设计成，基于第二传感器数据训练对象检测器。

31、因此说明了一种用于训练对象检测器的经改进的控制设备。

32、控制设备在此被设计成，使得基于特定传感器注释的数据集能够用于其他传感器。例如，基于激光雷达传感器生成的注释可用于训练雷达对象检测器。由此提高了现有数据集的可重用性并因此减少了对附加注释的需求，这导致节省了时间和成本。

33、然而，此外，控制设备还以这样的方式设计，使得它不依赖于注释的存在并且也可以用于未标记的数据。因此，可以使用明显更大的数据规模来训练对象检测器，这对对象检测质量或对象检测器的质量具有进一步的积极影响。

34、控制设备还可以具有第一比较单元，其被设计成将第二传感器数据与第一传感器数据进行比较以确定第一成本函数，其中训练单元被设计成基于第一成本函数训练对象检测器。因此可以通过利用传感器的测量特性或传感器模型的建模所产生的第一成本函数更有针对性地控制对象检测器的训练。例如，训练可以集中在传感器例如由于自身的安置或装入位置而能够很好测量的对象属性上。由此，可以明显提高经训练的对象检测器的质量。例如，如果对象检测器在此基于深度神经网络，则第一成本函数可以通过网络层被反向传播并可以用于适配相应的网络权重。

35、此外，控制设备还可以具有第三提供单元，所述第三提供单元被设计成提供注释。在此，控制设备例如还可以进一步地具有第二比较单元，其被设计成将对象表示与所提供的注释进行比较以确定第二成本函数，其中训练单元被设计成基于第二成本函数训练对象检测器，其中第二提供单元被设计成由对象检测器基于第一传感器数据生成对象表示。可以通过基于第二成本函数对对象检测器进行相应训练来改进或精细化对象检测器。例如，如果对象检测器在此基于深度神经网络，则第二成本函数又可以通过网络层被反向传播并可以用于适配相应的网络权重。

36、此外，对象表示可以是所提供的注释。在此，控制设备还可以具有：估计单元，所述估计单元被设计成，估计注释是否在传感器的可见范围内；以及一个丢弃单元，所述丢弃单元被设计成，如果所述注释不在传感器的可见范围内，则丢弃第一传感器数据。因此，可以从对象检测器的训练中排除不可见的、例如被遮盖的对象的现有注释。这又可以对经训练的对象检测器的质量产生积极影响。

37、在此，传感器模型又可以是人工神经网络。

38、由于传感器模型是人工神经网络，所以可以优化传感器的测量特性的建模。在此，可以基于传感器的已知的实际传感器数据或所测量的传感器数据以及所分配的通过对象检测器本身生成的对象检测结果或所提供的注释来训练传感器模型，其中传感器模型可以与对象检测器同时被训练但也可以独立于对象检测器地被训练。

39、然而，传感器模型是人工神经网络在此只是一个优选实施方式。因此，例如也可以基于专家知识生成传感器模型。

40、通过本发明的另一实施方式还说明了一种用于控制机动车的驾驶员辅助系统的控制设备，其中该控制设备具有：接收单元，用于接收通过上述的用于训练对象检测器的控制设备所训练的、针对机动车的传感器的对象检测器；生成单元，其被设计成，由对象检测器针对机动车的所述传感器生成对象检测结果；以及控制单元，其被设计成，基于所生成的对象检测结果控制驾驶员辅助系统。

41、因此说明了一种用于控制驾驶员辅助系统的控制设备，该控制设备设计成，基于对象检测器来控制驾驶员辅助系统，其中该对象检测器已通过用于训练对象检测器的经改进的控制设备而得以训练。

42、用于训练对象检测器的控制设备在此以这样的方式设计，使得基于特定传感器所注释的数据集能够用于其他传感器。例如，基于激光雷达传感器所生成的注释可用于训练雷达对象检测器。由此提高了现有数据集的可重用性并因此减少了对附加注释的需求，这导致节省了时间和成本。

43、然而，此外，用于训练对象检测器的控制设备也被设计成不依赖于注释的存在并且也可以用于未标记的数据。因此，可以使用明显更大的数据规模来训练对象检测器，这对对象检测质量或对象检测器的质量具有进一步的积极影响。

44、综上所述可以看出，通过本发明说明了一种用于训练对象检测器的方法和控制设备，利用其可以生成经优化的对象检测器。

45、所描述的设计方案和扩展方案可以任意相互组合。

46、本发明的进一步的可能设计方案、扩展方案和实施方案还包括上文或下文关于实施例所描述的本发明特征的未明确提及的组合。