用于确定车辆的变道说明的方法、计算机可读存储介质以及车辆与流程

本发明涉及一种用于确定车辆的变道说明的方法、一种计算机可读存储介质以及一种车辆。

背景技术：

在自主行驶的情境中需要准确确定和/或预测本车辆和另外的交通参与者的行动。为了感知其环境，自主的车辆配备有多个不同传感器、例如激光雷达、超声波传感器、雷达或摄像机。通过所提到的传感器的融合可以创建所述的环境模型，所述环境模型检测所识别的对象(人员、汽车、道路、路牌等)及其关于本车辆的方位。如此例如可以将雷达系统的数据与视觉摄像机系统的数据组合，以便在不同的天气情况下更可靠地识别交通参与者。同时可以通过视觉车道识别来检测道路走向。此外，环境模型可以包括关于道路信息或天气的信息。

环境模型连续地利用最新的传感器探测更新。由此能实现可以由交通参与者的位置在时间上的变化至少部分导出所述交通参与者的行为。

由于所述多个安装的传感器和车辆环境的复杂性，变得越来越困难的是以基于规则的方案确定行为。取而代之地，越来越频繁地应用人工智能(ki)或机器学习(ml)的方法。

应用的人工智能算法、特别是神经网络是数学模型，其参数必须被学习。神经网络在此属于监控学习的方法。这表示：为了学习参数不仅必须由环境模型预定所有相关数据，而且此外也必须给这些数据丰富关于其他交通参与者的当前表现(基本真理)的信息，这无法直接从环境模型获得。数据记录可以如此例如包括摄像机图像，其六秒长地描绘行驶在前的车辆。此外，训练数据记录也可以存储与摄像机图像相关联的行动。例如，训练记录可以说明：行驶在前的车辆在示出的六秒钟内执行变道。

为了训练人工智能的算法，非常大量的训练数据记录通常是必要的。该训练数据记录的产生是非常昂贵的。常用方法是，手动地以基本真理(grundwahrheit)来丰富训练数据，亦即由专家手动注释(“标记”)数据。基于大数据量，该方法是费时且昂贵的。

产生标记的训练数据的另一可能在于，全自动注释数据。在此可以限定固定的规则，在满足该规则的情况下确定的动作视为执行的。例如可以在车辆变道时固定地限定：如果车辆参考点与车道中心的间隔具有确定的值，那么变道视为成功。

车辆关于其车道中心的位置可以由环境模型从车辆的位置和所识别的车道的位置导出。在最后所述的方法中的问题在于，由于传感器不准确性可能发生在车道归属中的振荡。如此，车辆的单次变道可能由于传感器不准确性导致：所述系统识别到不是一次变道而是多次、例如三次变道。这样的结果不是令人满意的，因为具有错误训练数据的机器学习的算法不提供令人满意的结果。

技术实现要素：

因此，本发明的目的在于，提出一种用于确定变道的方法，该方法针对上面提到的缺点。此外，本发明的目的是提出一种方法，该方法能实现训练数据的自动注释。此外应提出一种方法，该方法尽可能地在没有人交互的情况下足以应付。此外本发明的目的在于，提出一种相应的计算机可读存储介质以及一种车辆。

该目的通过一种根据权利要求1的方法、一种根据权利要求13的计算机可读存储介质以及通过一种根据权利要求14的车辆解决。

特别是，该目的通过用于确定车辆、优选轿车的变道说明的方法来解决，所述方法具有如下步骤：

-加载变道模型和车辆的位置数据，其中，所述位置数据说明车辆与车道的车道中心的距离；

-确定变道说明，

其中，在使用所述位置数据和所述变道模型的情况下执行所述确定。

本发明的核心在于，在使用所述位置数据和所述变道模型的情况下执行变道说明的确定。通过利用多个信息源，可以提高变道说明的精确性。此外，所述方法允许在服务器以及在车辆本身上执行。所述位置数据可以涉及本车辆或者位于环境中的车辆。

所述车道中心可以通过视觉方法确定，例如通过确定两个外部的路面标记来确定，从而可以确定所述中心。此外可能的是，明确地在位置数据中说明车道中心。所述距离可以通过厘米、毫米或米来说明。

为了确定车辆与车道中心的距离，可以为车辆定义车辆参考点。例如，车辆的几何中心点可以被考虑作为车辆参考点。此外可能的是，将车辆参考点耦联到传感器在车辆中的设置，从而通过传感器张开的坐标系也被考虑用于确定距离。在一个实施形式中，所述位置数据可以包括至少两个数据点，其中，每个数据点可以说明在确定的时刻车辆的车辆参考点与路面的车道中心的距离。

有利地，在位置数据中描绘车辆参考点与车道中心的间隔在时间上的进展。由此可以阻止：将车道的一次或短时的变换已经识别为持续的变道。由此有效阻止车道分配的振荡。

在一个实施形式中，所述确定可以包括对位置数据中的不连续位置、特别是符号变化的探测。

一种特别简单的实现方式通过如下方式产生，即仅须探测在间隔中的符号变化。因为位置数据可以说明与车道中心的间隔，在车道变换时导致符号的变化，因为参考车道变化且相对于车道中心的位置是带有符号的距离。因此符号变化正好在如下情况下发生，即车辆越过路面标记变换到另一车道上。附加于符号变化还导致在间隔值中的跳跃，该跳跃作为不连续位置出现。其原因在于，间隔值突然由高的正值跳跃到高的负值(或者由高的负值跳跃到高的正值)。

在一个实施形式中，所述变道模型可构成为卷积神经网络(cnn)。

cnn特别好地适用于对时间可变的数据进行分析或分类。因此给出一种特别有效且高度精确的实现方式。此外可能的是，附加于不连续位置或符号变化的探测，还识别指示变道的复杂的模式。因此进一步降低车道分配的易振荡性。此外提高分类的精确性。此外可以紧凑地存储cnn，从而应用少量的存储空间。

在一个实施形式中，所述方法可以包括在使用环境模型的情况下计算二维投影，其中，可以在考虑所述环境模型和/或所述二维投影的情况下执行所述确定。

在一个实施形式中，一个/所述二维投影可以在使用通过图像数据和/或摄像机数据说明的图像局部的情况下来计算。

通过所述环境模型可以说明车辆及其环境的表示。在所描述的实施形式中可以在使用图像数据和/或摄像机数据的情况下计算或确定二维投影，例如作为摄像机数据的图像局部来计算或确定。有利地，在确定中应用二维投影，因为如此相比于环境模型的所有数据减少要处理的数据量。

在一个实施形式中，所述二维投影可以通过涉及车辆的后视图或前视图的图像局部形成。

所述二维投影能如此计算，使得其显示车辆的尾部或前部连同路面。在一个实施形式中，所述二维投影可以至少部分地说明车道标记和车辆。

在所描述的实施形式中，正是如此选择二维投影，使得检测环境模型的如下部段，该部段对于确定变道说明是有利的。如此后视图或前视图的应用允许描绘车辆连同路面或当前车道。由此减少要处理的数据的量，且确保快速处理。

在一个实施形式中，所述环境模型可以通过摄像机数据、间隔传感器数据、道路模型和/或地图数据形成、特别是借助于传感器融合来形成。

所述环境模型可以包括多个不同的数据。然而特别是由设置在车辆上的摄像机检测了的摄像机数据。为此，车辆通常具有记录车辆的环境的摄像机。这些数据可以借助于传感器融合来综合，从而可以产生环境的三维表示。摄像机在本申请的范围中可理解为具有ccd传感器、cmos(还有aps)传感器的摄像机。摄像机可以包括用于可见光的摄像机或红外摄像机。

此外可以以传感器间隔数据来丰富数据。如此也可以准确描述与相邻对象的间隔。传感器间隔数据例如可以通过超声波传感器、激光雷达或雷达传感器提供，它们可以设置在车辆的外表面中。

最后还可能的是，应用地图数据，以便丰富环境模型。如此，地图数据包括建筑的设置或道路宽度。因此可以产生车辆环境的高度精确的模型。这特别是在自主行驶方面是很重要的。通过应用由不同传感器提供的不同传感器数据来提高环境模型的精确性。相反，这表示：也可以更准确地实施变道说明的确定。

在一个实施形式中，一个/所述道路模型可以包括对道路覆盖物、滚动阻力的说明和/或路面的车道的数量。

所述道路模型可以说明道路的特征。对于本发明特别感兴趣的是路面所具有的车道的数量。如此可以在道路模型中在每个地理位置上储存在彼处存在的车道的数量。用于确定变道说明——其说明变道——的道路模型的应用还提高变道识别的精确性。

在一个实施形式中，所述位置数据可以形成用于一个/所述变道模型的输入，其中，所述变道说明可以说明：车辆是否正执行、将执行和/或已执行变道。

在一个实施形式中，所述变道模型可以实现为一种功能，所述功能根据所述位置数据可以做出二元决定，即车辆是否正执行变道、将执行变道和/或已执行变道。特别有利的是，不仅识别已执行的变道，而且也识别要执行变道的意图。由此进一步提高变道模型的反应速度。

在一个实施形式中，所述方法可以包括在使用多个变道说明的情况下训练分类器、特别是神经网络。

那么也可能的是，应用通过所述方法所确定的变道说明来训练另一个分类器，该另一个分类器在车辆中在运行期间用于识别变道。该分类器可以在使用由车辆记录的数据的情况下执行变道说明的确定。因此省去训练数据的昂贵的注释。该过程可以如所示的那样全自动地执行。由此一方面可以在这样的分类器的创建中实现显著更高的速度，并且成本是可降低的。分类器同样可以是神经网络、优选卷积神经网络(cnn)。

该目的还特别是通过一种计算机可读存储介质来解决，所述计算机可读存储介质包含指令，在通过至少一个处理器执行所述指令时，所述指令促使所述至少一个处理器实现如上所述的方法。

在此产生与利用上述方法所述的相似或相同的优点。

该目的还通过一种车辆来解决，所述车辆包括：

-如上所述的计算机可读存储介质；

-车辆计算装置，其构成为执行存储在该存储介质上的指令。

那么可能的是在车辆中执行上述方法。由此省去数据在运输中心或在服务器上的处理。由此数据的传输变得多余。在另一实施形式中，所述车辆可以包括用于传输位置数据给服务器的车辆通信装置，其中，所述服务器执行用于确定变道说明的步骤。特别是在服务器上可以执行对分类器的训练。

该目的特别是通过一种车辆、特别是一种自主行驶的车辆来解决，所述车辆包括：至少一个计算装置，其构成为至少部分地在使用逻辑的情况下、特别是在使用分类器、优选神经网络的情况下控制所述车辆，在使用多个变道说明的情况下产生、特别是训练所述逻辑，其中，多个变道说明按照上述方法中之一来确定。

车辆因此可以应用逻辑来在运行中确定其他交通参与者的变道行为。因此提高在交通中的安全性。此外车辆的控制变得更安全，或者提高可靠性。

附图说明

在以下根据附图进一步阐明本发明。图中：

图1a示出执行变道的车辆的示意图；

图1b示出图1a的车辆的距离数据的图形；

图2示出具有不连续位置的图形；

图3示出环境模型的二维投影的示意图；

图4示出通过卷积神经网络(cnn)处理二维投影的示意图；

图5示出通过算法处理二维投影和位置数据的示意图；以及

图6示出车辆和服务器的示意图。

具体实施方式

在下文中，对于相同或相同作用的部分应用同一个附图标记。

图1a以示意图示出执行变道的车辆。在此，图1a示出路面2，所述路面具有车道3、3’。在车道3、3’中分别描绘有路面中心4、4’。图1a由下至上示出变道在时间上的过程，所述变道通过在图1a中示出的车辆1执行。在图1a的下部区域中，车辆1位于在路面2的左车道3上。车辆1与车道中心3的间隔在变道开始为0米。关于车辆1，为了确定间隔d定义车辆参考点。在示出的实施例中，作为车辆参考点采用车辆1的几何中点。在此，为了确定车辆1的车辆参考点与车道中心3的间隔而测量最短的连接，亦即如下连接的长度，该连接垂直地由车道中心4延伸至车辆参考点。

在实施由左车道3至右车道3’的变道中，由车道中心4至车辆参考点的间隔d变大直至车辆1超过设置在车道3、3’之间的路面标记5。决定性的是，测量与车道中心4、4’的间隔d，车辆1目前位于在该车道中心上。车辆1目前位于在哪个车道3、3’上的信息可以通过车辆1的环境模型确定。然而如果仅仅考虑环境模型，那么可以导致错误。

在车辆1驶过路面标记5的时刻，发生与车辆1的当前车道的车道中心4、4’的间隔d的符号变化。在图1a的示出的实施例中假定，描绘在左车道3上的间隔d是正的。车辆在右车道3’中具有的间隔d’假定为负的。该行为在图1b中再次示出。为了确定是否存在变道，因此可以在图1b的图形的考虑中检测：是否发生符号变化。此外可能的是确认：是否存在不连续位置。

在图1b的实施例中，车辆在时刻t0具有与左车道3的车道中心4的正间隔d。在时刻t1，车辆1经过路面标记5，从而与车道中心4’的间隔d’是负的。这在图1b中通过在时刻t1的跳跃示出。

在仅仅应用环境模型的车道数据的情况下，在确定是否存在变道时可以导致在变道识别时的多个错误。该问题在图2中示出。

图2示出相应于图1b图形的图形。在此在时刻t0导致距离曲线6的跳跃。简单的仅仅基于符号变化的方法在该位置上探测变道。如图2所示，在不连续位置8上的跳跃然而导致测量不准确性，并且距离曲线在时刻t2又说明间隔d的正值。因此基于规则的系统将探测到总共三次变道，即使仅仅实际上只发生了一次变道。该问题也称为振荡。

本发明在图2中示出的行为中识别仅唯一的变道。

图3示出：如何可使得环境模型10的数据连同图像数据可用于确定变道。环境模型10——在图3中在右侧上示出——包括关于车辆模型11和道路的信息。特别是环境模型10包括关于车辆模型11及其在车道模型13、13’中的地理设置的信息。

图像平面20示出图像数据。在该实施例中，车辆1的摄像机产生图像数据，所述图像数据描绘道路和行驶在前或随后的车辆。因此，环境模型10和图像数据可用于确定变道。图像数据可如此减少，使得仅仅还处理一个图像局部，该图像局部示出行驶在前的车辆的后视图或随后的车辆的前视图。在使用分类器、例如人工神经网络如cnn的情况下可以识别变道。如果环境模型10的数据和图像数据作为输入参数用于分类器，那么实现特别好的结果。

在图3的实施例中，在图1中如此设置，使得图像平面20示出行驶在前的车辆22和道路的一部段。此外，图像数据示出路面标记25和车道23、23’。此外还描绘车道中心24、24’。为了进一步应用现在从图像平面20选择一个图像局部或一个边界框21，其包围车辆22以及车道23的一部分。

边界框21还包括路面标记25的一部分。因此可能的是，因为假定：车辆模型22的大小或尺寸已知，确定车辆或车辆参考点与路面标记的间隔。此外，可能的是确定：车辆22位于在路面标记的哪侧上。

图4示例性地示出：通过卷积神经网络(cnn)可以如何处理边界框的内容、亦即图像平面20的图像局部。图4的卷积神经网络30包括五层33、35、37、38、39。输入图像31相应于图3的边界框21。因为模型30涉及卷积神经网络，所以多个所谓的核用于处理输入图像31。特别是在输入图像31的各像素上以顺序的方式和方法扫描每个核。例如由左上向右下。所谓的“步幅”参数说明：任意核在每个运动中应被移动多少像素。

此外，核尺寸说明：输入图像31的应被处理的部分多大。因此，根据输入图像31的尺寸、内核尺寸和步幅确定第一特征图33(featuremaps)的尺寸。每个特征图在此相应于特征检测器。例如，第一特征图可构成为用于识别角或棱边。第一特征图可以因此表示在输入图像31中角的图。第二特征图可以说明棱边。

在卷积神经网络30的下一层中设置有第二特征图35的第二层，这些第二特征图通过下采样34产生。在该层中，将第一特征图33减小到第二特征图35。因此产生更紧凑的表示。优点在于，由此减小卷积神经网络30的大小。由此简化训练，并且提高预测速度。

由四个第二特征图35通过卷积运算36(convolution)产生大量的第三特征图37，如这已经对于第一特征图33所述的那样。第三特征图37的结果用作所谓的前馈神经网络的输入。该前馈神经网络是全连接网络，其包括两个层38和39。

输出层39可以是所谓的softmax层，其能实现将每个输入图像31分为多个类。在图4的实施例中，作为输出层39的输出产生变道说明40，所述变道说明给出：在输入图像31上是否可识别到变道。因此在一个实施形式中规定应用仅仅两类。

图5示出本发明的另一实施例。在图5的该实施例中，除了输入图像21或31之外附加地应用环境模型10作为到卷积神经网络中的输入。环境模型10在此特别是可以包括道路模型，从而在变道说明40的确定中可以考虑关于覆盖物或滚动阻力的附加的信息。此外也可以考虑通过环境模型10生成的车道索引。

车道索引可以说明：车辆1或车辆模型11位于哪个车道中。在此，为了确定车道索引然而仅仅动用通过环境模型10直接给出的信息。此外可以考虑其他车辆数据，如速度、横向加速度或前进加速度。

图5因此示出一个实施例，该实施例可以动用大量信息，以便如此确定准确的变道说明40。变道说明40的确定通过如关于图4详细描述的卷积神经网络实现。

图6示出另一实施例，其中车辆50经由车辆通信装置54与服务器60或服务器通信装置61通信连接。车辆50除了车辆通信装置54之外还包括感知系统53、例如立体摄像机系统或其他摄像机。此外设有存储装置52和分类装置51。车辆50在一个实施例中可用作测试车辆，其收集数据且将数据传输给服务器60。这表示：通过车辆50提供的数据的分类或注释在服务器60上通过示出的服务器计算装置62执行。注释的数据可以在服务器60上存储在服务器存储装置62中。在使用经注释的数据的情况下，服务器60可以训练分类器，所述分类器构成为根据摄像机数据和/或环境模型确定变道说明。

通过服务器训练的分类器可以通过车辆50的分类装置51执行。因此，车辆50在将来能够随时可靠识别变道。在此，车辆50可以动用所记录的传感器数据、例如图像数据，以便执行分类。

在一个实施例中，服务器60可以是计算中心或簇。因此可以应用多个不同的构件，以便实现示出的服务器的功能。特别是，服务器60可以构成为用于接收多个不同车辆的数据，并且在使用多个车辆的数据的情况下如上所述地训练分类器。

在此应说明的是，上述实施形式和实施例中的每个可任意与其他实施例或实施形式相组合。

附图标记列表

1车辆

2路面

3、3’车道

4、4’车道中心

5路面标记

6、7距离曲线

8不连续位置

10环境模型

11车辆模型

13、13’车道模型

14车道中心模型

15路面标记模型

20图像平面

21边界框

22车辆

23、23’车道

24车道中心

25路面标记

30卷积神经网络(cnn)

31输入图像

32第一卷积

33第一特征图(featuremaps)

34下采样

35第二特征图(featuremaps)

36第二卷积

37第三特征图(featuremaps)

38全连接层

39输出层

40变道说明

50车辆

51分类装置

52存储装置

53感知系统

54车辆通信装置

60服务器

61服务器通信装置

62服务器存储装置

63服务器计算装置

d、d’与路面中心的距离

t0、t1、t1时刻

t时间轴

d距离轴

p投影