用于自动化地定位车辆的方法、系统和计算机程序产品与流程

1.本发明涉及一种用于自动化地定位车辆的方法、系统和计算机程序产品。


背景技术：

2.机动车辆、以及空中交通工具或水上交通工具中的驾驶员辅助系统(fas)和高度自动化驾驶功能(haf)的趋势需要全面的防护策略，因为驾驶交通工具的责任不再完全在驾驶员方面，而是由交通工具中的计算机单元接管主动功能。因此必须确保自动移动的对象在驾驶行为方面仅有非常低的错误率。其中还包括需要为之随时对车辆进行准确和最新定位的功能。
3.对于单个车辆的定位功能而言，可使用已处理的且抽象的形式的地图资料。已知的是，借助于相机来获得车辆的周围环境并且将数据与现有地图进行比较，以便能够尤其通过识别车辆的周围环境中的显著的地形上的对象来实现定位。
4.然而，当周围环境中的显著对象消失或者由于天气情况在相机记录中无法看到这些对象时，难以实现这样的定位。此外，所使用的第三方地图并不非始终处于最新状态，因为它们没有被更新，原因是没有新的地图资料或者是更新需要付费。或者所使用的地图的数据格式不满足较高分辨率所需的要求。此外，gps位置信息可能有错，使得自动化的驾驶辅助功能不能仅依靠该定位方法。
5.us 10 816 654 b1描述了一种用于定位地面车辆或定位周围环境内的正在移动的对象的系统。该系统获得来自雷达系统的雷达地图数据并且将雷达地图数据与参考地图数据进行比较。然后，通过将雷达地图数据与参考地图数据进行匹配来获取车辆的位置或正在移动的物体的位置。
6.de 10 2016 224329 a1描述了一种用于进行车辆定位的系统，该系统具有用于确定车辆相对于车辆周围环境的相对运动的第一传感器单元和用于获得车辆周围环境的雷达数据的第二传感器单元。
7.de 10 2017 22169 a1描述了一种用于使车辆在其环境中进行自我定位的方法。在此，在车辆的行驶期间，借助于环境传感器来获得周围环境，将该周围环境与之前创建的地图进行比较，以获取车辆在地图中的位置。
8.de 10 2019 133703 a1描述了一种用于定位车辆的方法。在此，由车辆的雷达接收雷达数据，基于雷达数据创建本地地图并且将本地地图与所调用的地图进行比较，以确定车辆位置。


技术实现要素：

9.因此，本发明所基于的目的在于，提供一种用于自动化地定位车辆的方法、系统和计算机程序产品，它们可以实现车辆沿路线的准确定位并且在此其突出之处在于较高程度的安全性和可靠性。
10.该目的在方法方面通过专利权利要求1的特征、在系统方面通过专利权利要求12
的特征、以及在计算机程序产品方面通过专利权利要求15的特征来实现。其他的权利要求涉及本发明的优选的设计方案。
11.根据第一方面，本发明涉及一种用于在地理地点自动化地定位车辆的方法。该方法包括以下方法步骤：
[0012]-在车辆沿某一路线行驶时，借助于该车辆的相机和传感器装置记录该车辆的周围环境的第一图像和传感器数据，其中相应地为所述图像和传感器数据分配地理坐标；
[0013]-将所记录的第一图像和传感器数据发送到数据评估单元；
[0014]-由数据评估单元创建数字环境地图；
[0015]-在该车辆沿同一路线行驶时，借助于该车辆的相机和传感器装置记录所述周围环境的第二图像和传感器数据；
[0016]-将所记录的第二图像和传感器数据发送到数据评估单元；
[0017]-由数据评估单元将所记录的第二图像和传感器数据与所述数字环境地图进行比较；
[0018]-确定车辆的位置。
[0019]
在一个改进方案中提出，由第二车辆利用第二相机和传感器装置记录第二图像和传感器数据。
[0020]
在另一实施方式中提出，用第二图像和传感器数据更新数字环境地图。
[0021]
在一个有利的实施方式提出，相机和传感器装置包括雷达系统。
[0022]
尤其，相机和传感器装置包括lidar(light detection and ranging，光检测和测距)系统、和/或超声波系统、和/或在可见光范围内的至少一个rgb相机、和/或在紫外波长范围内的至少一个uv相机、和/或在红外范围内的至少一个ir相机。
[0023]
在另一实施方式中提出，数字环境地图被设计为三维的3d地图并且基于雷达测绘。
[0024]
有利地，数字环境地图被设计为具有节点和图边的语义图，其中图边形成节点之间的连接。
[0025]
尤其，创建针对能够相互关联的语义类别的子环境地图。
[0026]
在一个改进方案中提出，数据评估单元使用人工智能算法来处理和评估图像和传感器数据以及创建数字环境地图。
[0027]
尤其提出的是，人工智能算法包括神经网络、尤其卷积神经网络。
[0028]
在另一实施方式中提出，将车队的车辆的环境地图相互比较和组合，其中为此尤其使用服务器和/或云计算基础设施90。
[0029]
根据第二方面，本发明涉及一种用于在地理地点自动化地定位车辆的系统。该系统包括布置在车辆上的相机和传感器装置以及数据评估单元。该系统被设计成实施根据第一方面的方法。
[0030]
在一个改进方案中提出，相机和传感器装置包括雷达系统、和/或lidar(光检测和测距)系统、和/或超声波系统、和/或在可见光范围内的至少一个rgb相机、和/或在紫外波长范围内的至少一个uv相机、和/或在红外波长范围内的至少一个ir相机。
[0031]
在一个实施方式中提出，数字环境地图被设计为三维的3d地图并且基于雷达测绘。
[0032]
尤其，数字环境地图被设计为具有节点和图边的语义图，其中，图边构成节点之间的连接。
[0033]
根据第三方面，本发明提出一种计算机程序产品，该计算机程序产品包括可执行的程序代码，该可执行的程序代码实施根据第一方面的方法。
附图说明
[0034]
下面借助在附图中展示的实施例来更详细地阐述本发明。
[0035]
在附图中：
[0036]
图1示出了用于阐述根据本发明的系统的实施例的框图；
[0037]
图2示出了用于阐述根据本发明的方法的各个方法步骤的流程图；
[0038]
图3示意性地示出了根据本发明的第三方面的实施方式的计算机程序产品。
具体实施方式
[0039]
通过结合权利要求的详细描述，可以看到本发明或其实施例的附加的特征、方面以及优点。
[0040]
驾驶员辅助系统半自动或自动地干预车辆的驱动器、控制器或信号装置，或通过适当的人机界面在危急情况前不久或期间向驾驶员发出警告。在此，车辆在周围环境中的定位对于多个驾驶员辅助系统(fas)和高度自动化驾驶功能(haf)的功能性而言是重要的。
[0041]
图1示出了用于确定在某一路线上正在运动的车辆10的位置的根据本发明的系统100。正在运动的车辆10可以被设计为诸如乘用交通车辆或载重车辆的机动车辆、空中交通工具或水上交通工具，其中空中交通工具尤其是无人驾驶的空中交通工具(无人机)，并且水上交通工具尤其是轮船、帆船和渡轮。所获取的车辆的位置尤其可以被用于驾驶员辅助系统(fas)和高度自动化驾驶功能(haf)。
[0042]
车辆10具有相机和传感器装置20，该相机和传感器装置用于获得车辆10的周围环境的图像和传感器数据30。相机和传感器装置20尤其包括雷达系统22，该雷达系统又可以包括多个雷达传感器。此外，相机和传感器装置20可以具有lidar(光检测和测距)系统23和超声波系统24，以便例如测量与前方行驶的机动车辆的距离以及前方行驶的车辆的速度。
[0043]
此外，相机和传感器装置20可以具有在具有基本色“蓝色、绿色和红色”的可见光范围内的至少一个rgb相机25。还可以附加地设有在紫外波长范围内的至少一个uv相机26、和/或在红外波长范围内的至少一个ir相机27。因此，在其吸收光谱方面不同的相机25、26、27可以呈现在记录区域中的不同的光照情况和天气情况。尤其可以将相机25、26、27这样布置在车辆10上，使得可以实现所有空间方向上的360
°
全景图像展示。还可以设有立体光学相机系统。此外，相机和传感器装置20配备有用于用麦克风来获得声学信号的声学传感器28。由此可以记录轮胎的滚动噪声或发动机噪声，它们可以表征特定的地理区域，例如特定的车道路面。
[0044]
此外，有利地设有gps连接(global positioning system，全球定位系统)40，以利用较为粗糙的分辨率来获取地理位置并且将该地理位置分配给所记录的图像和传感器数据30。
[0045]
相机和传感器装置20的记录频率是针对车辆10的较快速度而设计的并且能够以
较高的数据记录频率来记录图像和传感器数据30。此外可以提出的是，当在相机和传感器装置20的记录区域中出现大面积的显著变化时，例如当诸如建筑物的显著对象出现在相机和传感器装置30的记录区域中时，相机和传感器装置20自动启动数据记录过程。由此，可以实现选择性的数据获得过程并且数据处理单元50仅处理相关的图像和传感器数据30。由此可以更为高效地使用计算能力。
[0046]
相机和传感器装置20将所记录的图像和传感器数据30转送到数据处理单元50以进一步处理。优选地，将由相机和传感器装置20记录的图像和传感器数据30藉由无线的移动通信连接转送到数据处理单元50。
[0047]
数据处理单元50优选具有处理器51，该处理器处理图像和传感器数据30。处理器51或另外的处理器还被设计成用于控制相机和传感器装置30。数据处理单元50和处理器51可以被整合在车辆10中和/或被整合在相机和传感器装置50中，或者被设计为基于云的、具有云计算基础设施90的解决方案，该云计算基础设施藉由移动通信连接与车辆10相连接。然而还可设想的是，首先将图像和传感器数据30存储在存储器单元55中，以便随后由数据处理单元50进行处理。
[0048]
就本发明而言，“处理器”例如可以理解成机器、或电子电路、或性能强大的计算机。处理器尤其可以是中央处理器(英语：central processing unit，cpu)、微处理器或微控制器，例如专用集成电路或数字信号处理器等，该处理器可能与用于存储程序指令的存储器单元组合。处理器也可以理解成虚拟处理器、虚拟机器或软核cpu。处理器例如也可以是可编程的处理器，该处理器配备有用于实施所提到的根据本发明的方法的配置步骤或者借助配置步骤被配置成使得可编程的处理器实现本发明的方法、部件、模块或其他方面和/或部分方面的根据本发明的特征。此外，可以设有高度并行的计算单元和性能强大的图像模块。
[0049]
就本发明而言，“存储器单元”或“存储器模块”等例如可以被理解成呈工作存储器形式的易失性存储器(英语：random-access memory，ram，随机访问存储器)或永久性存储器，如硬盘或数据载体或例如可更换的存储器模块。然而，存储器模块也可以是基于云的存储解决方案。
[0050]
就本发明而言，“模块”例如可以理解成处理器和/或用于存储程序指令的存储器单元。例如，模块被专门配置成用于实施程序指令，从而使得模块实施，以实行或实现根据本发明的方法或根据本发明的方法步骤。
[0051]
就本发明而言，所记录的图像和传感器数据30可以被理解为原始数据以及已经准备好的、来自相机和传感器装置20的记录结果的数据。图像和传感器数据30的数据格式优选被设计为tensor。然而还可以使用其他数据格式。
[0052]
尤其，相机和传感器装置20可以具有5g标准的移动通信模块。5g是第五代移动通信标准，并且与4g移动通信标准相比，其突出之处在于：更高的数据速率，最高达10gbit/sec；利用更高的频率范围，例如2100、2600或3600兆赫兹；提高的频率容量和因此提高的数据吞吐量；以及实时数据传输，因为每平方千米可以同时响应最多达百万台设备。时延为几毫秒至小于1ms，从而可以对数据和计算结果进行实时传输。将由相机和传感器装置20所获取的图像和传感器数据30实时地发送到云计算基础设施90，在该处执行对应的分析和计算。将分析和计算结果以及对于位置的确定实时地发回到相机和传感器装置20或车辆10的
另外的控制装置，并且因此可以将分析和计算结果以及对于位置的确定快速地结合到给驾驶员的操作指示中或者结合到自动化的驾驶功能中。当要使用基于云计算的解决方案来处理图像和传感器数据30时，数据传输时的这一速度是必要的。基于云计算的解决方案所提供的优点是具有较高以及因此较快的计算性能。
[0053]
此外，数据处理单元50可以访问一个或多个另外的数据库57。在数据库57中，例如可以存储提取参数(例如用于分析所记录的图像和传感器数据30的特定的对象或道路特征)或其他的图像和/或特征参量。此外，在数据库57中可以存储有限定了安全标准的目标参量和目标值。此外，可以设有用户界面80，该用户界面用于输入其他数据或者用于显示由数据处理单元50创建的环境地图70。用户界面80尤其被设计为具有触摸屏的显示屏。该显示屏尤其是车辆10的导航系统的显示屏。但还可以设想的是，用户的移动终端设备、如智能手机独自或附加地用作用户界面80的输出模块。还可以设想的是，例如在测试和研发中心中将计算机设置为输出模块。
[0054]
数据处理单元50或处理器51根据所记录的图像和传感器数据30创建数字环境地图70。为此，数据处理单元50或处理器51使用诸如机器学习的人工智能算法。尤其可以提供人工神经网络，以便从所获取的图像和传感器数据30中提取相关图像特征。尤其可以使用卷积神经网络(英语：convolutional neural networks)来作为神经网络。
[0055]
神经网络由神经元构成，这些神经元布置在多个层中并且以不同的方式相互连接。神经元可以在其输入端接收来自外部或来自其他神经元的信息、以特定的方式评估信息并且将该信息以改变了的形式在神经元输出端转发给另外的神经元或作为最终结果进行输出。在输入神经元与输出神经元之间布置有隐藏神经元。根据网络类型的不同，可以存在多个层的隐藏神经元。这些隐藏神经元负责转发和处理信息。最后，输出神经元提供结果并且将其输出给外界。通过布置和关联神经元产生了各种类型的神经网络，例如前馈网络、递归网络或卷积神经网络。可以通过无监督学习或监督学习来训练网络。
[0056]
卷积神经网络是一种特殊形式的人工神经网络。卷积神经网络具有多个卷积层并且非常适合用于在图像和语音识别领域中的机器学习和人工智能(k
ü
nstlicher intelligenz，ki)的应用。
[0057]
由数据处理单元50创建的车辆10的数字环境地图70尤其被设计为三维的3d地图。尤其可以通过使用雷达系统22来获得三维空间中的信息并且将这些信息以点云形式存储为周围环境的三维表示。雷达测绘方法的优点在于，可以使用3d点作为低电平信号来进行周围环境表征。
[0058]
此外，使用语义图来展示和存储环境地图70。在此，所选择的图像和传感器数据30以及尤其由雷达系统22所获得的雷达测量数据32在语义图的特定的节点72处被组合。节点72之间的连接被称为图边74并且尤其展示语义图的各个节点72之间的语义关系和物理关系。语义图为通过图边74的变化来高效地实现优化目提供了基础。由此，可以在考虑相机和传感器装置20的测量结果的物理准确性的情况下提高地图准确性。尤其，环境地图70的创建可以被设计为迭代过程，在该过程中，随着每次行驶该路线，基于新获得的图像和传感器数据30来提高环境地图70的准确性和分辨率。如果例如路线的区域已经变化，则在环境地图70中更新该路线或者针对图制定附加条件。因此，例如可以在停车楼中基于地面标记来识别停车场的轮廓并且将该轮廓绘制在环境地图70中。此外，可以注明停车场的状态，例如
将“有空位”或“已满”的状态记录在地图中。或者，可以补充环境地图70中的、在之前驶入停车楼中的行程中例如被停放的车辆所遮盖的区域。
[0059]
与已知的诸如lidar或超声波法的距离测量方法相比，通过将环境地图70显示为语义图可以显著提升定位准确性。此外，因为环境地图70被存储为3d点云，所以可以实现对存储空间的高效利用。
[0060]
此外，数字环境地图70的3d点可以设有附加的属性和特征，例如针对周围环境的特定对象的特定语义类别。因此，除了在环境地图上70的周围环境的3d图示之外，3d点云的每个点都设有关于语义信息的注释。在此，例如可以是车辆类型、特定的建筑物、植被类型，过街天桥、路灯装置等。藉由环境地图70中的附加的语义信息，可以安全且准确地识别周围环境中的、在时间上相对较快地变化的区域，例如由于季节而变化的植被类型。基于识别到的这些变化进而可以适配和更新环境地图70。
[0061]
尤其可以利用环境地图70的语义信息来生成子环境地图72，这些子环境地图仅包含至少一个特定语义类别的语义信息。语义类别例如可以是建筑物、工厂设施、桥、高速公路段等。各自具体包括一个或多个语义类别的子环境地图72进而可以被组合。尤其，可以根据语义类别的时间变化可能性对语义类别进行分类，例如在较长时间段期间稳定的建筑物不同于随季节而变化的植被。
[0062]
为了更好地获得语义类别，语义图可以包括多个层。尤其设有被称为“单边(single edge)”的第一层、被称为“跳边(skip edge)”的第二层，以及命名为“回环(loop closure)”的第三层。这些层可以通过各种语义类别的不同权重或不同算法的使用而彼此区分开。
[0063]
此外可以提出的是，数据处理单元40还可以访问由车队的其他车辆10所记录的图像和传感器数据30并且将其用于创建环境地图70。为此，车队的车辆30各自配备有彼此兼容的图像和传感器装置30并且可以将各自独立于车辆10创建的基于图的环境地图70进行相互交换、相互比较、组合和关联，使得在多个车辆10重复行驶某一路线时，可以生成在分辨率和准确性方面提高了的、整体的环境地图70。因为环境地图70被表述为图，因此尤其各个地图部分和特定的地图点可以通过合适的辅助条件相互关联。对于环境地图70的子地图的优化和处理可以在车辆10的数据处理单元40中进行或在车辆10的外部进行，例如在后端服务器或云计算基础设施90中进行。因此，车队的所有车辆10可以藉由后端服务器或云计算基础设施90相互连接。
[0064]
本发明的一个示例性应用是在无法访问gps功能的地点(例如在特定的停车楼中)以训练过的方式进行停车。根据本发明，车辆10的驾驶员行驶特定的路线作为训练行驶。在此，由数据处理单元50创建基于该训练行驶的环境地图70，在该环境地图中存储了行驶轨迹。现在，存储在环境地图70上的3d点可以在再次行驶该路线时被使用，以便借助于由相机和传感器装置20最新获取的图像和传感器数据30来定位车辆10在地图上的位置。
[0065]
在图2中示出了根据本发明的方法的方法步骤。
[0066]
在步骤s10中，在车辆10沿某一路线行驶时，由该车辆的相机和传感器装置20记录车辆10的周围环境的第一图像和传感器数据30，其中尤其相应地为图像和传感器数据30分配地理坐标。
[0067]
在步骤s20中，将所记录的第一图像和传感器数据30发送到数据评估单元50。
[0068]
在步骤s30中，数据评估单元50创建数字环境地图70。
[0069]
在步骤s40中，在车辆10沿同一路线行驶时，由相机和传感器装置20记录车辆10的周围环境的第二图像和传感器数据30。
[0070]
在步骤s50中，将所记录的第二图像和传感器数据30发送到数据评估单元50。
[0071]
在步骤s60中，数据评估单元50将所记录的第二图像和传感器数据30与数字环境地图70进行比较。
[0072]
在步骤s70中，确定车辆10的位置。
[0073]
图3示意性地示出了一种计算机程序产品200，该计算机程序产品包括可执行的程序代码250，该可执行的程序代码被配置成实施根据本发明的第一方面的方法。
[0074]
利用根据本发明的方法可以更好地定位车辆的位置。这尤其对基于对车辆的准确地理位置的认识的自动驾驶功能是十分重要的。
[0075]
附图标记列表
[0076]
10
ꢀꢀꢀꢀꢀꢀꢀꢀ
车辆
[0077]
20
ꢀꢀꢀꢀꢀꢀꢀꢀ
相机和传感器装置
[0078]
22
ꢀꢀꢀꢀꢀꢀꢀꢀ
雷达系统
[0079]
23
ꢀꢀꢀꢀꢀꢀꢀꢀ
lidar系统
[0080]
24
ꢀꢀꢀꢀꢀꢀꢀꢀ
超声波系统
[0081]
25
ꢀꢀꢀꢀꢀꢀꢀꢀ
rgb相机
[0082]
26
ꢀꢀꢀꢀꢀꢀꢀꢀ
uv相机
[0083]
27
ꢀꢀꢀꢀꢀꢀꢀꢀ
ir相机
[0084]
30
ꢀꢀꢀꢀꢀꢀꢀꢀ
图像和传感器数据
[0085]
40
ꢀꢀꢀꢀꢀꢀꢀꢀ
gps连接
[0086]
50
ꢀꢀꢀꢀꢀꢀꢀꢀ
数据评估单元
[0087]
51
ꢀꢀꢀꢀꢀꢀꢀꢀ
处理器
[0088]
55
ꢀꢀꢀꢀꢀꢀꢀꢀ
存储器单元
[0089]
57
ꢀꢀꢀꢀꢀꢀꢀꢀ
数据库
[0090]
70
ꢀꢀꢀꢀꢀꢀꢀꢀ
环境地图
[0091]
90
ꢀꢀꢀꢀꢀꢀꢀꢀ
云计算基础设施
[0092]
100
ꢀꢀꢀꢀꢀꢀꢀ
系统
[0093]
200
ꢀꢀꢀꢀꢀꢀꢀ
计算机程序产品
[0094]
250
ꢀꢀꢀꢀꢀꢀꢀ
程序代码