车道地图制作装置的制作方法

1.本发明涉及一种用于车辆的车道地图制作装置，一种用于车道地图制作的后端，一种具有这种车道地图制作装置的车辆，一种用于车道地图制作的方法，一种计算机程序单元和一种计算机可读存储介质。


背景技术：

2.若干年来，驾驶员辅助系统直至自动驾驶的研发受到人们越来越多的关注。这类系统的核心组成部分是对周围环境的准确感知。这尤其包括对其他交通参与者、基础设施和车道走向的感知。除了直接在车辆中对基于传感器的信号进行处理外，准确的数字地图对自主系统的导航也是绝对必要的。通过常规测绘方法建立这类地图的过程既复杂、耗时、成本又高。
3.要绘制复杂道路网，必须用一辆或多辆移动测量车辆驶过所有相关道路。这意味着，为制造、准备和运行具有特殊测量构造的测量车辆需要耗费高昂的人力成本并耗用巨大的投入。


技术实现要素：

4.本发明的一项任务是，提供精确的道路地图。
5.该任务是通过独立权利要求的主题解决的。实施方式和其他结构形式请参见从属权利要求、说明内容以及附图。
6.本发明的第一方面涉及一种用于车辆的车道地图制作装置。所述车道地图制作装置具有用于检测图像数据的摄像机单元以及控制单元。控制单元配置成用于，在通过摄像机单元检测到的图像数据中确定例如沥青区域、柏油区域或混凝土区域的车道区域。此外，控制单元还配置成用于，借助逆透视成像(逆透视变换，inversen perspektivischen abbildung)将包括所确定的车道区域的图像数据转换为一鸟瞰图，并将其投影到优选充分近似地对应于一路面的平面上。控制单元配置成用于，将所确定的车道区域添加到所述平面内的网格地图中。此外，控制单元还配置成用于，使源自两个不同行驶过程的至少两个网格地图彼此校准和组合，以生成车道区域的最终网格地图。
7.由此，可准确、简单和连续地生成车道区域的准确数字地图，从中可看出何处有车道区域以及何处没有车道区域。换句话说，何处可行驶车辆以及何处不可行驶车辆。此外，还可识别并绘制例如建筑工地或停车场的变化情况。换句话说，可对地图进行持续的补充和更改。此外，通过由其生成车道区域最终网格地图的多个(至少两个)网格地图对所确定的车道区域的识别和定位进行平均处理，由此可对不准确性进行补偿。此外，利用多次行驶而至少一次地确定所有车道区域的概率增加。此外，车道地图制作装置可独立于可能存在的任何道路标记绘制车道。
8.为绘制地图，车道地图制作装置可包括摄像机单元和控制单元。所述摄像机单元可检测或生成车辆周围环境的图像数据。要注意的是，摄像机单元也可为立体摄像装置或
全景环视摄像装置。此外，摄像机单元可具有针对图像数据中的目标以及针对图像数据中的区域的深度和/或高度信息。该深度或高度信息例如可由诸如激光雷达传感器、雷达传感器或超声波传感器的附加传感器提供，但也可通过立体摄像装置提供。此外，检测到的图像数据可通过控制单元分类，例如分类为是否是城市周围环境、乡村周围环境、高速公路、白天、黑夜、夏季或是冬季。此外，控制单元可对图像数据进行分析评估并确定其中的车道区域。例如，控制单元可将靠近地面的黑暗区域确定为车道区域，可将路边石或路缘石用作人行道和车道之间的界限。要注意的是，为了上述确定，控制单元可配置经过了车道区域确定方面训练的人工神经网络。为将图像数据用作地图，所述数据被转换为一鸟瞰图或俯视图。这例如可借助逆透视成像完成。然后，可将转换得到的图像数据投影到一平面上，该平面有利地设置在车道表面的高度上并平行于车道表面。该平面例如可以是添加了所确定的车道区域的网格地图。为实现一更准确的位置测定和定位以及获得改进的网格地图，可将源自不同行驶过程的若干网格地图彼此校准并相互组合，从而通过控制单元生成车道区域的最终网格地图。通过对若干网格地图的校准和组合，可提高数字地图的准确性和可靠性。若干网格地图尤其可源于不同的行驶方向，从而也可从不同角度详细绘制地图的交通岛和入口道路。然后，可将车道区域的最终网格地图转换为一数字地图或数字道路地图，从而使该地图随后用作车辆导航的基础。
9.车道区域可理解为车辆可沿其行驶的区域，例如沥青或混凝土表面区域。相反，人行道可识别为非车道区域，尤其是路边石可作为界限。
10.要注意的是，除了摄像装置数据外，图像数据还可以是激光雷达数据、雷达数据或超声波数据，或可由这些数据补充。由此，尤其可获得深度和高度信息。
11.鸟瞰图主要描述一俯视图，但该俯视图也可相对于垂直方向成例如
±
20度的角度。
12.要注意的是，车道区域也可称为道路区域或道路区段。
13.要注意的是，控制单元也可为控制开关、开关电路、处理器或计算单元。
14.术语“数字地图”或“数字地图数据”还应理解为在无需导航的情况下用于高级驾驶员辅助系统(adas)或自动驾驶或自主驾驶的地图。
15.根据一实施方式，投影平面处于车道表面的高度上。此外，控制单元还配置成用于，借助一高度信息修正图像数据中的车道区域。为了修正或区分道路与建筑物或墙壁，控制单元可考虑图像数据中或源于图像数据中所包含目标的高度信息或深度信息。由此，在确定车道区域时，可简单但可靠地忽略建筑物或墙壁，从而仅确定车道区域。尤其可考虑的是，车道区域通常在车辆前方或旁边是平坦的。此外，可对车道区域或非车道区域的错误予以修正，例如如果相对较小的面积已被确定为车道区域，但该区域被非车道区域所包围，则可认为这是一处错误或能作为错误被修正。作为替代选择或附加措施，这也可针对一被车道区域所包围的非车道区域进行。
16.根据一实施方式，控制单元配置成借助于人工神经网络将图像数据中的单独的区域分类为车道和非车道，并因此确定其中的车道区域。
17.神经网络可简单、快速和可靠地评估或分析图像数据，并确定其中的车道区域，或区分车道区域与图像数据中的其他区域。为此，可事先/在前期阶段对神经网络进行相应训练。要注意的是，神经网络可为递归神经网络(rnn)或卷积神经网络(cnn)，但不限于此。在
此，也可使用已针对图像处理进行了预训练并也可进行附加后续训练的网络。
18.根据另一实施方式，控制单元配置成使至少两个网格地图根据包含在网格地图中的特征彼此校准和组合，以生成车道区域的最终网格地图。
19.为了对源自若干行驶过程的若干网格地图进行校准和组合，可使用例如环形交叉口/环岛、交叉路口或交通岛的独特特征。尤其可通过网格地图的单独的网格单元的局部位移完成校准。单个点的局部位移可被确定为检测到的相邻点位移的适当组合。
20.根据一实施方式，控制单元配置成用于，针对每个确定的车道区域确定正确确定/识别的一概率值，并且如果该概率值超过或高于一预定阈值，则将网格地图中的相应车道区域标记为车道。
21.因此可以确保，只有已被可靠确定为车道区域的车道区域才进入最终网格地图。由此，可降低错误率和错误识别率。所述概率值尤其可取决于与行驶次数有关的确定或识别次数。一车道区域被确定为这种形式的次数越多，它确实是车道区域的概率就越高。只有当概率值超过诸如80％的预定义阈值时，相应车道区域才作为车道被输入到最终网格地图中。
22.根据一实施方式，车道地图制作装置还具有一定位单元。该定位单元配置成用于，确定车道地图制作装置的位置、所确定的车道区域的位置、或网格地图中的点的位置。
23.为此，所述定位单元可用于在全球坐标系中对车道区域的各最终网格地图进行分类，并将所述网格地图添加到数字道路地图中。所述定位单元例如可借助卫星导航(全球定位系统(gps)或伽利略定位系统(galileo))或借助移动无线电定位跟踪确定位置。此外，可通过特征以及(每个行驶过程)车道区域的大量特定单一位置弥补最终网格地图中单一定位时的错误。此外，可通过测距法(汽车中的距离计数器)支持并进一步改进定位。由此，可实现车道区域的准确地图制作。
24.此外，应指出的是，在本发明上下文中，gps代表例如全球导航卫星系统(gnss)，如全球定位系统(gps)、伽利略定位系统(galileo)、俄罗斯的格洛纳斯定位系统(glonass)、中国的北斗卫星导航系统(compass)或印度的印度区域导航卫星系统(irnss)。
25.在此应指出的是，车辆定位也可通过单元定位(zellpositionierung)实施。尤其在使用全球移动通讯(gsm)网、通用移动通讯系统(umts)网或长期演进技术(lte)网时，可实现这一方案。作为替代选择或附加措施也可基于摄像装置进行定位。
26.根据一实施方式，用于生成最终网格地图的至少两个网格地图源于至少两个不同行驶方向的图像数据。
27.为在车道区域的最终网格地图中改进地绘制出车道区域，可从不同行驶方向(例如从北到南的行驶和从南到北的行驶)获取用于生成车道区域最终网格地图的网格地图。由此在道路两侧上都进行了行驶，并可通过不同角度检测和确定入口道路和交叉路口。
28.根据另一实施方式，控制单元配置成用于，为网格地图中被确定为车道区域的区域确定一外部轮廓。作为替代选择或附加措施，控制单元还可通过几何曲线——例如表示平滑外部轮廓的b样条线——描绘所述外部轮廓。通过使用外部轮廓和/或几何曲线可节省存储空间，因为只须描绘边界曲线，而不必描绘整个面积。
29.根据一实施方式，车道地图制作装置还具有一发送/接收单元，其配置成用于，将网格地图、检测到的图像数据或转换得到的图像数据传输或发送给后端或其它车辆。
30.为传输检测到的图像数据、转换得到的图像数据或网格地图，或者为了接收最终网格地图，车道地图制作装置可包括一发送/接收单元。该发送/接收单元尤其可将所生成的具有所确定的车道区域的网格地图发送给后端，随后，后端进行进一步的处理并生成车道区域的最终网格地图。作为替代选择或附加措施，后端本身也可从检测到的图像数据中实施转换并生成网格地图。由于在后端实施计算，因此可节省车道地图制作装置上的计算能力。有利地，可通过无线或通过无线电进行所述传输。
31.网格地图的无线传输或无线接收可通过蓝牙、无线局域网(wlan)(例如wlan 802.11a/b/g/n或wlan 802.11p)、无线个域网(zigbee)或全球互通微波存取(无线城域网，wimax)，或者蜂窝无线电系统——如通用分组无线服务(gprs)、通用移动通讯系统(umts)、3g、4g或长期演进技术(lte)——完成。也可使用其他传输协议。所提到的协议具有已实现标准化的优点。
32.根据一实施方式，摄像机单元具有立体摄像装置。
33.本发明的另一方面涉及一种用于车道地图制作的后端。所述后端具有发送/接收单元，其配置成用于，从根据上述权利要求中任一权利要求所述的车道标记装置接收一网格地图。所述后端配置成用于，从一辆车或不同车辆的至少两个车道地图制作装置接收至少两个网格地图，并将这些网格地图彼此校准和组合，以生成车道区域的一最终网格地图。
34.后端除了可在车道地图制作装置的控制单元上生成车道区域的最终网格地图外，还可进行最终网格地图的生成。由此，可通过带有车道地图制作装置的多辆车生成网格地图，这些网格地图然后被所述后端接收、彼此校准并加以组合，以生成车道区域的最终网格地图。换句话说，可通过多辆车集中生成车道区域的最终网格地图。由此可弥补例如单一传感器误差和驾驶方式等其他错误影响。此外，所述后端还可将车道区域的最终网格地图重新供车辆使用。此外，还可简单、快速、持续和成本经济不高地生成车道区域的最终网格地图或数字道路地图。此外，所述后端还可将最终网格地图发送回车道地图制作装置。
35.后端是指可与单独的车道地图制作装置交换数据的集中式或分散式计算单元。这种数据交换尤其可通过互联网或类似网络进行。所述后端例如可被设计为处理和存储多辆车的网格地图的服务器。由此不必每辆车都进行分析评估，并且还可通过多辆车更快、更可靠地建立最终网格地图或数字道路地图。
36.本发明的另一方面涉及一种带有上下文中所述的车道地图制作装置的车辆。
37.所述车辆例如为机动车辆，如汽车、巴士或卡车，或也可是例如直升机或飞机的空中交通工具，或例如是自行车。
38.本发明的另一方面涉及一种用于制作车道地图的方法。该方法具有下列步骤：
39.‑
通过摄像机单元检测图像数据；
40.‑
通过控制单元确定检测到的图像数据中的车道区域；
41.‑
将包括所确定的车道区域的所述检测到的图像数据转换为一鸟瞰图，并将转换后的图像数据投影到处于车道表面高度上的平面上；
42.‑
将车道区域添加到所述平面的网格地图；
43.‑
将源自两个不同行驶过程的至少两个网格地图彼此校准及组合；以及
44.‑
基于经校准和组合的网格地图生成最终网格地图。
45.要注意的是，该方法的步骤也能以另一顺序实施或同时地实施。此外，各单个步骤
之间也可有更长的时间间隔。
46.本发明的另一方面涉及一种程序单元，如果在车道地图制作装置的控制单元上运行该程序单元，其将命令车道地图制作装置执行上下文中所述方法。
47.本发明的另一方面涉及一种计算机可读介质，在该计算机可读介质上存储有一程序单元，如果在车道地图制作装置的控制单元上运行该程序单元，其将命令车道地图制作装置执行上下文中所述方法。
48.本发明的其他特征、优点和应用可能性可从以下实施例的描述和附图中得出。
49.附图皆为示意图，并未按比例绘制。如果在下列附图描述中使用相同的附图标记，则说明这些附图标记指代了相同或相似的元件。
附图说明
50.图1展示根据本发明一实施方式的车道地图制作装置的方框图。
51.图2展示根据本发明一实施方式的用于车道地图制作的车道地图制作装置和后端的方框图。
52.图3展示通过摄像机单元检测到的图像数据。
53.图4展示根据本发明一实施方式的车道区域的最终网格地图。
54.图5a展示根据本发明一实施方式的被制成地图的车道区域，该区域带有未被绘制为车道区域的封闭区域。
55.图5b展示根据本发明一实施方式的被制成地图的车道区域的外部轮廓。
56.图6展示根据本发明一实施方式的带有车道地图制作装置的车辆。
57.图7展示根据本发明一实施方式的用于车道地图制作的方法的流程图。
58.图9展示根据本发明一实施方式的车道区域的最终网格地图。
59.图10a展示根据本发明一实施方式的被制成地图的车道区域，该区域带有未被绘制为车道区域的封闭区域。
60.图10b展示根据本发明一实施方式的被制成地图的车道区域的外部轮廓。
61.图11展示根据本发明一实施方式的带有车道地图制作装置的车辆。
62.图12展示根据本发明一实施方式的用于车道地图制作的方法的流程图。
具体实施方式
63.图1示出了包括控制单元10和摄像机单元20的车道地图制作装置1。此外，车道地图制作装置1可选地可包括发送/接收单元30和定位单元40。在此，摄像机单元20从车辆周围环境中检测图像数据。该图像数据可通过控制单元10分析评估，以确定其中的车道区域。控制单元10可使用人工神经网络以确定车道区域。换句话说，控制单元10可确定图像数据中的哪些图像部分是车道区域，哪些部分不是车道区域。此外，控制单元10可借助逆透视成像将图像数据，尤其是所确定的车道区域转换为一鸟瞰图，并将其投影到一平面上。要注意的是，鸟瞰图可为俯视图，但该俯视图也可相对于垂直方向成一例如
±
20度的角度。此外，还要注意的是，图像数据投影到其上的该平面应优选地以充分近似的方式对应于道路表面。此外，控制单元10可借助图像数据中的深度信息或高度信息对图像数据进行修正，从而可将车道区域与建筑物和墙壁加以区分。针对深度信息或高度信息，控制单元10可对立体
摄像装置、激光雷达传感器、雷达传感器或超声波传感器的图像数据加以考虑。所述控制单元10可在转换后将所确定的车道区域添加到所述平面的网格地图中，从而对车道进行地图制作。车道地图制作装置1可在若干行驶过程中和沿若干行驶方向重复该过程。最后，控制单元10可将从若干不同行驶过程生成的网格地图彼此校准及彼此组合，从而生成车道区域的最终网格地图。尤其可借助网格地图中的例如交通岛、交叉路口、转弯的弯道以及环行交叉口的若干独特的特征进行所述校准和组合。此外，控制单元10可对一车道区域的正确识别确定一概率值，如果该概率值超过一预定阈值，则可在网格地图中将相应车道区域标记为车道。作为替代选择或附加措施，控制单元10还可在车道区域的最终网格地图中确定所确定的车道区域的外部轮廓。此外，外部轮廓也可通过几何曲线表示和平滑处理。由于只需要保存车道区域和非车道区域之间的界限，由此可减小最终网格地图的文件大小。
64.定位单元40可确定车道地图制作装置1的位置(即其自身位置)、所确定的车道区域的位置或网格地图上一个点相对于全球坐标系上的位置。定位单元40例如可具有gps模块或类似的卫星导航模块。作为替代选择或附加措施，定位单元40也可通过移动无线电定位。也可基于摄像装置进行定位。
65.此外，车道地图制作装置1可借助发送/接收单元30将所生成的带有所确定的车道区域的网格地图传输或发送给后端。然后，后端可使不同车辆的若干网格地图彼此校准且组合，以生成车道区域的最终网格地图。为此，发送/接收单元30尤其可拥有例如无线局域网(wlan)或移动无线电的无线数据传输装置。此外，后端可通过互联网或类似网络与车道地图制作装置1相连接。
66.图2示出车道地图制作装置1和后端2的方框图。所述车道地图制作装置1和后端2通过至少部分无线数据连接装置——例如通过移动无线电或无线局域网(wlan)——彼此连接。在此，车道地图制作装置1可将所生成的网格地图发送、传输或传递给后端2。后端2可从不同车辆的若干不同车道地图制作装置1接收网格地图。然后，后端2可将这若干个网格地图彼此校准和组合，以生成车道区域的最终网格地图。换句话说，后端2可由若干车道地图制作装置1的结果生成具有车道区域的一地图。要注意的是，后端2还可将最终网格地图发送给车道地图制作装置1或带有车道地图制作装置1的车辆，从而使车辆始终具有当前最新的车道区域的最终网格地图。
67.图3示例性展示了摄像机单元的图像数据。在图3的示例中，这些图像数据展示了车辆前方的车道走向。控制单元配置成用于，对摄像机单元检测到的图像数据进行分析，并确定或识别车道区域12。识别到的车道区域12在图3中显示为灰色面积。例如一其他车辆、一交通标志或道路边缘等其余图像组成部分被识别为非车道区域。然后，可借助逆透视成像将所确定的车道区域12转换为一鸟瞰图，并将其投影到一平面上，从而可将其添加到一网格地图中。
68.图4示出了车道区域的最终网格地图11。该车道区域的最终网格地图11以一鸟瞰图或一俯视图展示，并标识了具有所确定的车道区域的、由车道地图制作装置驶过的一路径。所确定的车道区域以深色表示，而明亮区域则不是车道区域。此外，可在车道区域的最终网格地图11中识别出例如一环行交叉口或交通岛等独特区域。此外，还可看到，一些车道区域展现得暗于其他车道区域，因为它们已包含在若干网格地图中或具有一较高的正确识别概率值。可看出的是，可生成车道区域的多个最终网格地图11，这些多个最终网格地图然
后合并以形成一道路地图或一带有车道区域的地图。
69.图5a示出了一制成地图的区域或一区域的网格地图。此外，还可识别所确定的车道区域12和非车道区域13。非车道区域13例如可为一车辆不能行驶的交通岛。如果所确定的车道区域12超过正确识别的一预定阈值，则所确定的车道区域可被采纳至车道区域的最终网格地图中。此外，所确定的车道区域12也可被后续处理，使得即使被确定为非车道区域的较小中断也被一起采纳至车道区域中。换句话说，如果车道区域12的确定涉及的是足够小的面积，则可针对这些车道区域的确定进行错误修正。例如，车道地图制作装置可将10*10厘米大的区域识别为非车道区域13，但可认为，如果该区域处于一车道区域12的中间，则该区域也是该车道区域12的一部分。
70.图5b示出了一制成地图的区域或一最终网格地图的剪辑部分，其中已对外部轮廓110进行了确定。外部轮廓110描绘了车道区域和非车道区域之间的界限。通过确定外部轮廓110，由于必须存储的数据量较少，所以可节省存储空间。此外，所述计算单元还可计算诸如b样条线的几何曲线，所述几何曲线绘出了经平滑处理的外部轮廓。由于所述轮廓是用几何曲线取代大量单一点绘制的，因此可节省更多的存储空间。
71.图6示出了带车道地图制作装置1的车辆3。该车道地图制作装置1还可使用车辆3中已存在的传感器，例如摄像装置、gps模块、陀螺测试仪、激光雷达传感器、雷达传感器或超声波传感器。
72.图7示出了一种用于车道地图制作的方法流程图。在步骤s1中，图像数据通过例如立体摄像装置的摄像机单元检测。在步骤s2中，在检测到的图像数据中确定车道区域，这例如可借助人工神经网络实施。此外，还可通过高度信息修正所述车道区域。在步骤s3中，将检测到的图像数据，尤其是所确定的车道区域转换成一鸟瞰图(俯视图)，并投影到处于车道表面高度上的一平面上。由此，以一特定角度检测到的图像数据被转换为二维平面(2d)俯视图。在步骤s4中，将所确定的车道区域添加到所述平面内的网格地图中。在步骤s5中，控制单元将已在不同行驶过程中生成的至少两个、尤其是更多个网格地图进行彼此校准和组合，从而在步骤s6中生成最终网格地图。
73.图9示出了车道区域的最终网格地图11。该车道区域的最终网格地图11以一鸟瞰图或一俯视图展示，并标识了具有所确定的车道区域的、由车道地图制作装置驶过的一路径。所确定的车道区域以深色表示，而明亮区域则不是车道区域。此外，还可在车道区域的最终网格地图11中识别出例如一环行交叉口或交通岛等独特区域。此外，还可看到，一些车道区域表示得暗于其他车道区域，因为它们已包含在若干网格地图中或具有一较高的正确识别概率值。可看到的是，可生成车道区域的多个最终网格地图11，这些多个最终网格地图然后合并以形成一道路地图或一带有车道区域的地图。
74.图10a示出了一制成地图区域或一区域的网格地图。此外，还可识别所确定的车道区域12和非车道区域13。所述非车道区域13例如可为一车辆不能行驶的交通岛。如果所确定的车道区域12超过正确识别的一预定阈值，则所确定的车道区域可被采纳至车道区域的最终网格地图中。此外，所述确定的车道区域12也可被后续处理，使得即使被确定为非车道区域的较小中断也被一起采纳至车道区域中。换句话说，如果车道区域12的确定涉及的是足够小的面积，则可针对这些车道区域的确定进行错误修正。例如，车道地图制作装置可将10*10厘米大的区域识别为非车道区域13，但可认为，如果该区域处于一车道区域12的中
间，则该区域也是该车道区域12的一部分。
75.图10b示出了一制成地图的区域或一最终网格地图的剪辑部分，其中已对外部轮廓110进行了确定。该外部轮廓110描绘了车道区域和非车道区域之间的界限。通过确定外部轮廓110，由于必须存储的数据量较少，所以可节省存储空间。此外，所述计算单元还可计算诸如b样条线的几何曲线，所述几何曲线会出了经平滑处理的外部轮廓。由于所述轮廓是用几何曲线取代大量单一点绘制的，因此可节省更多的存储空间。
76.图11示出了带车道地图制作装置1的一车辆3。该车道地图制作装置1还可使用车辆3中已存在的传感器，例如摄像装置、gps模块、陀螺测试仪、激光雷达传感器、雷达传感器或超声波传感器。
77.图12示出了一种用于车道地图制作的方法流程图。在步骤s1中，图像数据通过例如立体摄像装置的摄像机单元检测。在步骤s2中，在检测到的图像数据中确定车道区域，这例如可借助人工神经网络实施。此外，可通过高度信息修正所述车道区域。在步骤s3中，将检测到的图像数据，尤其是所确定的车道区域转换成一鸟瞰图(俯视图)，并投影到处于车道表面高度上的一平面上。由此，以一特定角度检测到的图像数据被转换为二维平面(2d)俯视图。在步骤s4中，将所确定的车道区域添加到所述平面的网格地图中。在步骤s5中，控制单元将已在不同行驶过程中生成的至少两个、尤其是更多个网格地图进行彼此校准和组合，从而在步骤s6中生成最终网格地图。