操作具有立体摄像机系统和LIDAR传感器的机动车辆的方法与流程

本发明涉及一种用于操作机动车辆的方法，该机动车辆具有立体摄像机系统并且具有lidar传感器。此外，本发明涉及一种计算机程序产品以及这种机动车辆。

背景技术：

可以将机动车辆设计为所谓的自主驾驶。自主地驾驶机动车辆是指不受人类驾驶员影响的驾驶、操作以及停车的无人驾驶机动车辆(高度自动驾驶或自主驾驶)。在不需要驾驶员手动操作的情况下，也使用术语无人车。在这种情况下，驾驶员座椅可以保持空置；方向盘、制动踏板和油门踏板可能是不存在的。

这种自主驾驶机动车辆可以借助各种传感器捕获环境，并且根据获取的信息确定其自身位置和其他道路使用者的位置、与导航软件合作向行驶目的地行驶以及避免在通往上述目的地的过程中发生碰撞。

这种传感器可以是所谓的lidar传感器。lidar(光检测和测距的缩写)在这种情况下表示一种与雷达有关的光学测量距离和速度以及进行测距的方法。而不是像在雷达中那样使用无线电波，而是使用激光束。

lidar传感器提供的优势在于，它们可以高分辨率和高速度扫描机动车辆周围的360度范围。lidar传感器通常使用高速旋转(倍数100n/min)的基于激光的传感器(例如64)的设置。然后，lidar传感器能够捕获被激光束撞击的障碍物。因此，可以确定机动车辆附近的每次撞击或每个障碍物的坐标。通过评估上述lidar数据，还可以获取与机动车辆周围区域中的地形拓扑有关的信息。

然而，尤其是由于必须处理的数据量，对lidar数据的评估需要相当大的计算能力。

另一种传感器可以是立体摄像机系统。这种立体摄像机系统具有两个摄像机，并且提供图像数据集，该图像数据集还提供与捕获的环境有关的深度信息。

在许多交通场景(例如超车或停车)中，有必要捕捉其他道路使用者的方位。捕捉其他道路使用者的方位必须非常准确和快速。否则，机动车辆的控制系统将延迟响应或对错误的输入做出响应，这可能会导致事故。

存在使用各种类型的传感器(例如单摄像机系统和lidar传感器)来实现对其他道路使用者的方位的捕获的各种方法。基于机器学习来识别道路使用者(例如其他机动车辆)的算法仅提供有限的优势。另一方面，图像处理算法(例如结合迭代最近点(icp)算法的光流)能够提供准确的结果。但是，这些算法需要相当大的计算能力，并且通常仅用于识别运动对象。此外，不可能在自主驾驶车辆硬件中使用它们，因为机动车辆不应为操作相应的处理器提供过多的功率。

例如从us7974442a1中已知这种评估立体摄像机系统的图像数据和lidar传感器的lidar数据的方法。

因此，需要指定可以减少计算资源需求的方式。

技术实现要素：

本发明的目的通过一种用于操作具有用于捕捉图像数据的立体摄像机系统和具有用于捕捉lidar数据的lidar传感器的机动车辆的方法来解决，其中确定道路使用者的定向，该方法具有以下步骤：

读取请求信号，

如果请求信号指示以低优度确定道路使用者的定向，则读取和评估图像数据以确定道路使用者的定向，以及

如果请求信号指示以高优度确定道路使用者的定向，则读取和评估lidar数据和图像数据以确定道路使用者的定向。

换言之，根据用于确定道路使用者定向的所需预定优度，仅评估立体摄像机系统的图像数据或另外还评估系统的lidar数据。优度在这里是信息内容的一种度量。优度可以是一个数据量、附加类别，例如深度信息或速度值、噪声值或置信区间。这样，就可以灵活地响应各自的请求，并且此外，仅在必要时才对计算费用特别高的lidar数据进行评估。这减少了对计算机资源的需求。

根据一实施例，基于cad数据集的训练数据用于评估图像数据。换言之，cad数据集基于已用于前者建立的其他道路使用者的模型。因此，可以获得特别高质量的训练数据，这样就可以在训练数据特别短的情况下保持学习阶段。

根据另一实施例，使用人工神经网络(尤其是卷积神经网络或深层神经网络)或adaboost算法来评估图像数据。因此，具有多个人工神经元的人工神经网络可以体现为具有一个或多个卷积层、之后是池化层的卷积神经网络(convolutionalneuralnetwork，cnn)。人工神经网络还可以是多层设计的，即人工神经元被设置在多层，特别是中间层。adaboost算法是一种自动分类算法，它将多个弱分类器组合起来形成一个强分类器。通过这种方法，可以在保持低计算机资源需求的同时获得特别准确的评估。

根据另一实施例，使用迭代最近点(iterativeclosestpoint，icp)算法来评估lidar数据。迭代最近点算法是一种允许将以点云形式存在的数据彼此适配的算法。以这种方式可以实现特别精确的匹配，同时保持对计算机资源的低需求。

根据另一实施例，通过评估图像数据而仅评估lidar数据的相关部分。换句话说，图像数据还用于确定与图像数据相关的lidar数据ld的相关部分。因此，仅对lidar数据的这一相关部分进行评估以确定第二数据集。这样，就可以减少必须处理的数据量以及从而减少对计算机资源的需求。

根据另一实施例，执行与另一道路使用者的数据交换。换句话说，c2c通信用于读取和评估指示定向的数据。因此，进一步的数据可用于数据协调，并且由于多个道路使用者捕获的多个定向的比较，可以进一步提高定向确定的优度。

本发明还涉及一种计算机程序产品和这种类型的机动车辆。

附图说明

现在将参照附图说明本发明。在附图中：

图1显示了系统概述的示意图；

图2显示了图1所示系统操作细节的示意图；

图3显示了机动车辆和其他道路使用者之间的数据交换的示意图；

图4显示了方法序列的示意图。

具体实施方式

首先参考图1和图2。

示出了机动车辆2和机动车辆2的其他部件。

图示的部件是立体摄像机系统4、lidar传感器6、图像数据评估模块8、lidar数据评估模块10、传感器数据融合模块12、定向确定模块14、控制设备16和致动器18。

机动车辆2和所列的其他部件可以各自具有用于以下所述任务和/或功能的硬件和/或软件部件。

在本示例性实施例中，机动车辆2被设计为乘用车。此外，本示例性实施例中的机动车辆2用于自主驾驶，即作为无人驾驶机动车辆。在偏离本示例性实施例的情况下，机动车辆2也可以按照sae自主性等级1到5中的一个来实现。

自主性等级0在此表示无自动化，自主性等级1表示驾驶员辅助，自主性等级2表示部分自动化，自主性等级3表示条件自动化，自主性等级4表示高度自动化，自主性等级5表示完全自动化。

立体摄像机系统4实现为提供代表机动车辆2附近的图像数据bd，而lidar传感器6实现为提供代表机动车辆2附近的lidar数据ld。

这里提供图像数据评估模块8以用空间深度信息来评估图像数据数据bd，以确定道路使用者2’的定向(参见图3)，道路使用者2’例如另一个机动化的道路使用者2’(例如乘用车、卡车或另一辆多用途车)。

此处，道路使用者2’的定向被理解为指被捕获的道路使用者2’正在行驶的方向，或者如果另一道路使用者2’没有移动，道路使用者2’的定向被理解为驾驶方向指向的方向。例如，定向可以指示另一个道路使用者2’是朝着机动车辆2移动还是在机动车辆2前面行驶。

为此，实现用于机器学习的图像数据评估模块8。因此，图像数据评估模块8从示例中学习，并且在完成学习阶段之后还可以将其概括。换言之，这些示例不仅仅是通过记忆来学习的，而且训练数据中的模式和规则也会被检测出来。因此，图像数据评估模块8还可以评估未知数据。

为了在学习阶段训练图像数据评估模块8，使用基于与诸如各种乘用车之类的其他道路使用者2’的模型相关的cad数据集的训练数据。

在本示例性实施例中，用于评估图像数据bd的图像数据评估模块8使用基于机器学习的例如adaboost算法的元算法(meta-algorithmus)。adaboost算法是一种自动分类算法，它将多个弱分类器组合起来形成一个强分类器。在偏离本示例性实施例的情况下，还可以使用其他算法，例如随机森林(randomforest)、dnn(deepneuronalnetwork，深度神经网络)和cnn(convolutionalneuralnetwork，卷积神经网络)。

图像数据评估模块8仅基于图像数据bd的评估提供指示道路使用者2’的定向的第一数据集d1。

这里提供了lidar数据评估模块10，该lidar数据评估模块10用于评估lidar数据ld以同样地确定另一个道路使用者2’的定向。

为此目的，lidar数据评估模块10同样被实施为用于机器学习。因此，lidar数据评估模块10也可以评估未知数据。

在本示例性实施例中，用于评估lidar数据ld的lidar数据评估模块10使用迭代最近点算法。迭代最近点算法是一种允许将以点云形式存在的数据彼此适配的算法。

lidar数据评估模块10仅基于对lidar数据ld的评估提供指示道路使用者2’的定向的第二数据集d2。

传感器数据融合模块12被实施为确定以低优度确定道路使用者2’的定向是否足够，或者是否需要以高优度确定道路使用者2’的定向。为此目的，传感器数据融合模块12评估在机动车辆2周围捕获的交通场景。如果例如机动车辆2以恒定速度跟随另一个道路使用者2’，则只需要低优度，而如果在由于弯道而仅具有条件能见度的道路上执行超车操作，则需要高优度。

在本示例性实施例中，传感器数据融合模块12生成请求信号af。请求信号af是逻辑变量，如果需要高优度，则该逻辑变量被分配为逻辑值一。否则，请求信号af被分配为逻辑值零。

定向确定模块14被实施为在请求信号af指示以低优度确定道路使用者2’的定向时仅评估第一数据集d1。在这种情况下，基于图像数据bd，仅对第一数据集d1执行评估。

如果请求信号af指示以高优度确定道路使用者2’的定向，则定向确定模块14还被实施为除了图像数据bd之外还评估lidar数据ld。在这种情况下，分别基于图像数据bd和lidar数据ld对两个数据集d1和d2执行评估。

然后，定向确定模块14提供表示所捕获道路使用者2’的定向的输出数据集au，在第一种情况下，该输出数据集au仅基于一个数据源且因此具有低优度，而在第二种情况下，两个数据源被组合作为传感器数据融合的一部分。因此，在第二种情况下，输出数据集au具有更高的优度。

控制设备16被实施为读取和评估输出数据集au。控制设备16例如可以实施为碰撞保护系统，该碰撞保护系统可以使用控制信号ss来控制致动器18，以实现例如对传动系部件和/或机动车辆2的转向的干预。

另外参考图2，现在将解释机动车辆2，机动车辆2被实施为与在本示例性实施例中同样地是机动车辆(例如乘用车、卡车或多用途车)的另一道路使用者2’进行数据交换。

因此，图2中示出的机动车辆2与图1中示出的机动车辆2的区别在于附加的传输模块20，将对其同样具有硬件和/或软件部件的任务和功能在下面进行详细说明。

本示例性实施例中的道路使用者2’具有与图1所示机动车辆2相同的部件，即立体摄像机系统4’、lidar传感器6’、图像数据评估模块8’、lidar数据评估模块10’、传感器数据融合模块12’、定向确定模块14’、控制设备16’、致动器18’、以及还有传输模块20。

传输模块20被实施为经由无线数据传输链路读取和评估道路使用者4的输出数据集au，以确定指示机动车辆2的定向的进一步数据。换言之，传输模块20将由另一道路使用者2’确定的自己的定向转移到自身的协调系统中。道路使用者2’的传输模块20’以类似方式工作。

因此，更多的数据可用于数据协调，并且由于多个定向的比较，由多个道路使用者2’捕获，因此可以进一步提高定向确定的优度。

现在将另外参考图3解释方法序列。

在第一步骤s100中，图像数据评估模块8读取使用立体摄像机系统4捕获的图像数据bd。

在另一步骤s200中，lidar数据评估模块10读取使用lidar传感器6捕获的lidar数据ld。

在另一步骤s300中，图像数据评估模块8通过评估图像数据bd来确定指示道路使用者2’的定向的第一数据集d1。

在这种情况下，基于cad数据集的训练数据用于评估图像数据bd。此外，可以使用adaboost算法来评估图像数据bd。

在另一步骤s400中，lidar数据评估模块10通过评估lidar数据ld来确定指示道路使用者2’的定向的第二数据集d2。

可以另外使用这里的图像数据bd来确定lidar数据ld的相关部分，以及然后仅评估lidar数据ld的该相关部分以确定第二数据集d2。

此外，迭代最近点算法可以用于评估lidar数据ld。

在另一步骤s500中，由定向确定模块14确定并读取请求信号af。

如果请求信号af指示低优度，则定向确定模块14基于图像数据bd评估第一数据集d1。另一方面，如果请求信号af指示高优度，则定向确定模块14不仅基于图像数据bd评估第一数据集d1，而且也是基于lidar数据ld评估第二数据集d2。然后，定向确定模块14提供表示所捕获的道路使用者2’的定向的输出数据集au。

在另一步骤s600中，控制设备16读取输出数据集au并且确定用于控制致动器18的控制信号ss。

此外，还可以(如前所述)与其他机动车辆进行数据交换。

与本示例性实施例不同，步骤的顺序也可以不同。此外，还可以同时执行多个步骤。在偏离本示例性实施例的情况下，还可以进一步跳过或省略各个步骤。

以此方式，对各个请求有灵活的反应，并且此外，仅在必要时才执行在计算费用方面特别高的lidar数据ld的评估。这减少了对计算机资源的需求。

附图标记列表

2机动车辆

4立体摄像机系统

6lidar传感器

8图像数据评估模块

10lidar数据评估模块

12传感器数据融合模块

14定向确定模块

16控制设备

18致动器

20传输模块

2’道路使用者

4’立体摄像机系统

6’lidar传感器

8’图像数据评估模块

10’lidar数据评估模块

12’传感器数据融合模块

14’定向确定模块

16’控制设备

18’致动器

20’传输模块

af请求信号

au输出数据集

bd图像数据

d1数据集

d2数据集

ldlidar数据

ss控制信号

s100步骤

s200步骤

s300步骤

s400步骤

s500步骤

s600步骤