用于运行自动引导的无人驾驶的机动车的方法和监控系统与流程

本发明涉及一种用于运行自动引导的无人驾驶的机动车——特别是乘用车——的方法，其中，对由机动车的环境传感器记录的传感器数据就在轨迹计划中要考虑的对象方面进行评估，该环境传感器包括至少一个摄像机(6)，所述对象通过至少一个对所属的传感器数据进行评估的分类器能被分类为障碍或非障碍。此外本发明涉及一种监控系统，包括机动车和移动通信装置。

背景技术：

用于乘用车和其它在道路交通中使用的机动车的车辆运行的自动化是逐渐增加地出现的配置。从而已知驾驶员辅助系统，驾驶员辅助系统可以为驾驶员接管泊车过程等。在其它领域内已经提出，例如在专用的停车区域、特别是停车楼内，能以全自动和无人驾驶的方式将机动车停泊在目标停车位上。

车辆系统的主要组成部分——车辆系统特别是当驾驶员不在场的情况下被设计用于全自动地引导机动车——是将通过机动车的环境传感器探测的对象分类为障碍或非障碍，以便能计划自动运行的其它轨迹。环境传感器、例如摄像机、雷达传感器、激光雷达传感器、超声波传感器等因此提供传感器数据，该传感器数据描述了在机动车周围环境中的对象，并且该传感器数据在传感器合并成不同的对象信息的范围内可以被评估用于各个对象或周围环境的各个片段。在本文中已知，使用分类器——特别是作为通过软件转换的算法来实现，以便确定，对象是显示为危险、还是能在相应的当前行驶情况下被驶过或从下方穿过。例如已知的是，使用机动车的应用占用地图的和/或以对象为基础的环境模型，该环境模型包含合并的且必要时已经至少部分评估的传感器数据，该传感器数据能根据对象分配并且因此能将对象相应地分类为障碍或非障碍。当然在此还可以使用分类器，该分类器能进一步更为精确地分类对象，从而例如交通指示牌、系绳柱、路缘石等能被自动识别出，其中，然而通过分类器至少尝试，确定对象是否显示为对于机动车的障碍，其中，分类为障碍或非障碍还可以与当前行驶情况相关。

然而在多种情况下通常不能确定，对象是否为障碍。例如可以出现下述情况，即对象在所应用的分类器中不可知并且因此完全不能或不能以足够的可靠性来分派。在下述情况下也可能会出现问题：出现一种“传感器错误”，例如看上去是实心的对象不是实心的，或者颜色改变不是三维物体。针对这种对象的典型的实例——该对象难以识别或者例如可能错误地分类为障碍——是树叶、纸盒或纸张、在行车道上的颜色较深的污点等，该污点可能被分类为孔。

在机动车自动运行时尤其可能会出现，不能到达当前目标位置或者当前目的地，因为对象已经被错误地分类为障碍或危险。这种问题可能在现有技术中出现，因为对普通对象的一般性的且明确的说明在技术上还不能完全地通过机动车的环境传感器来展示。

技术实现要素：

因此本发明的目的在于，在无人驾驶的情况下通过改进地分类难以分类的对象而改进机动车的全自动引导。

为了实现所述目的，在开头所述类型的方法中根据本发明规定：在不能或不能以足够的可靠性将对象分类为障碍或非障碍时和/或存在至少一个阻碍机动车继续行驶至当前目的地的对象时，利用所述至少一个摄像机中的至少一个拍摄相应的对象的至少一个摄像机图像，将该至少一个摄像机图像传输给由机动车的使用者携带的便携式移动通信装置并且在那里示出，使用者的、将对象分类为障碍或非障碍的输入被接收作为分类信息，所述分类信息被回传给机动车并且在进一步自动引导机动车时被考虑。

因此本发明基于以下构思，将驾驶员或其它人员、例如监控停车楼的人员——他或他们借助存在的图像资料以及必要时其它发送的数据可以更好地判定对象——考虑作为附加的分类器，以便能仍然正确地分类难以分类的对象和/或在机动车错误地“停滞”时仍然能在下述情况下继续行驶：对象已经被错误地分类为针对机动车不可逾越的障碍。因此在一种情况下——其中，机动车、特别是乘用车以无人驾驶的方式且完全自动地运行，因此存在机动车的自动化的纵向和横向引导，机动车的摄像机被用作录像设备，以便在确定的情况下为驾驶员提供作为潜在障碍的对象的摄像机图像，从而驾驶员能认可继续行驶(对象不是障碍)或者能将对象归为危险/阻碍。

因此如原则上已知的那样，在自动化运行期间且无需驾驶员任何干预的情况下，在机动车周围环境中的对象被分类，并且机动车的运行借助这种分类来控制。为了能实现分类，如原则上已知的那样可以规定，执行不同环境传感器的传感器数据的传感器合并，以便特别是实现机动车的环境模型，该环境模型例如能以占用地图的形式和/或作为以对象为基础的模型存在。如果例如使用占用地图，则可以将机动车周围环境的各个片段归入关于此的信息，在那里是否存在对象(占用＝障碍)，其中，还可以归入其它元数据(Metadaten)，例如在所谓的树形图(Tree-Maps)中，其中，元数据被存储在树形结构中。然而还已知了以对象为基础的附件，其能特别有利地在存在动态对象时使用，这些动态对象当然还可以通过相应的分类器进行分类。如已经说明的那样，分类器优选可以作为在软件中实现的算法存在。还可以考虑学习型分类器。

现在存在询问标准，该询问标准在特殊的、特别是极少出现的情况下可能导致将对象的摄像机图像传输给使用者的移动通信装置以及关于分类询问该使用者。这种询问标准可以是，对象不能被分类或者至少不能以足够的可靠性、例如也就是说在可信值处于阈值之下时被分类为障碍或非障碍。同样可使用的询问标准是，不能再计算将来要使用的、至目的地的轨迹，其中，特定对象的去除可能能实现至少一个这种轨迹。不能或不能足够精确地由分类器分类的对象或干扰性的、被分类为障碍的对象显示为根据询问标准然后要由机动车使用者分类的对象，所述对象因此在使用与移动通信装置通信连接的情况下基于在环境传感器的情况下存在的摄像机而能以图像的方式示出。驾驶员可以进行分类，该分类然后作为分类信息被回传给机动车，从而该机动车可以在计算轨迹时相应地考虑分类信息。

也就是说，机动车本身已经对对象进行分类，因此也相应地在下述情况下作出反应：例如由于以下原因而使对象是已知的并且被分类为障碍，基于至少一个环境传感器的已知的失真、例如由于错误的地面标记等而使用绕开的轨迹或继续行驶。然而，如果对象不可知或者不能计算替选的行车道，则关于此的信息被传输给移动单元、移动通信装置，从而使用者、通常是机动车的驾驶员或者监控停车区域的人员被要求分类对象或者允许进行行驶。

此外以这种方式，没有通过驾驶员或其它人员直接控制机动车，而是仅进行分类。机动车的整体运行可以被改进并且特别是还可以避免机动车在自动化运行中错误的停滞。在此，驾驶员或其它人员负责判定驶过对象，因为其以分类为“非障碍”最终有意支持继续行驶。以这种方式，驾驶员或其它人员在紧要情况中被考虑作为分类器，而不需要持久地监控机动车的全自动运行。

本发明的一种改进方案提出，将移动电话——特别是智能手机——用作所述移动通信装置。移动电话、特别是智能手机尤其适合作为移动通信装置，因为移动通信装置原本能由机动车的多个使用者随身携带，并且特别是智能手机通过所谓的“App(应用)”提供了要简单实现的可能性：接收、显示详细的摄像机图像和必要时附加信息，并且接收使用者的输入，据此将分类信息回传给机动车。

摄像机图像和分类信息的传输在此可以通过已知的不同的无线通信连接来实现，优选至少部分地通过移动网络、特别是在使用移动电话时和/或通过W-LAN实现。在此一般来说，不强制性需要直接在机动车和移动通信装置之间进行摄像机图像和分类信息的传输，而是相反，下述情况可以是极其适合的：传输通过位置固定的机动车外部的服务器装置、特别是后端来实现。这种服务器装置——其例如可以配属于驶过的环境、特别是停车区域、如停车楼——在此还可以实现其它有利于在周围环境中完全自动运行机动车的功能，例如提供周围环境的数字地图等。在本发明的范围内，这种服务器装置首先可以有利地用于存储所传输的摄像机图像(以及必要时附加信息)和分类信息作为事件信息，从而这些事件信息随后能被掌握并且能查出例如由使用者引起的错误分类。

然而下述情况是特别适宜的：在服务器装置上存储数字的、描述机动车在其中进行运动的区域(环境)的地图数据，其中，将由使用者分类的对象利用对应的分类信息存储在地图数据中。因此以这种方式，通过使用者侧的分类过程实现扩展数字地图数据，所述地图数据为后续的机动车提供了有利的基础，以便尤其是在使用者没有事先询问的情况通过下述方式继续全自动运行：考虑在地图中已经存在的、来自于其他使用者的分类信息。在此特别有利地可以规定，将多个使用者针对相同的对象的分类信息以统计的方式评估为总分类信息。因此可以考虑针对特定的对象以统计的方式评估分类信息，以便排除由使用者引起的个别错误分类。例如可以规定，总分类信息只有在下述情况时才被提供用于其它自动化运行的机动车：存在特定数量的来自使用者的单分类信息，其可以被评估，用于尽可能避免错误分类，其中，例如为了分类对象能在下述情况下将“非障碍”作为总分类信息保存在数字地图数据中：使用者的超过阈值的份额、例如使用者的60％以上已经将对象分类为“非障碍”。特别有利地，在停车区域、例如可以配有服务器装置的停车楼中可以使用这种设计方案。

总之下述情况是特别有利的：数字地图数据由服务器装置传输给机动车并且在自动引导机动车时进行考虑。例如在停车区域的情况下总是在机动车驶入停车区域中时可以将数字地图数据的最新版本传输给机动车，该机动车借助数字地图数据控制自动运行，该地图数据还特别适宜地包括其他使用者的分类信息，特别是以统计的方式被评估为总分类信息。因此，以有利的方式进一步使用其他使用者的分类决定。

在有利的改进方案中，在移动通信装置上针对要分类的对象可以显示至少一个附加信息、特别是利用摄像机图像传输的附加信息。因此能提供附加信息，该附加信息能为使用者提供对机动车的总体行驶情况的改进的估算。有利地在本文中例如可以规定，将机动车的当前周围环境的地图和/或通过环境传感器、特别是超声波传感器和/或雷达传感器和/或激光扫描器确定的对象尺寸用作附加信息，在该当前周围环境的地图中显示了要分类的对象和/或其它已经进行分类的对象和/或机动车的位置。而且除了摄像机之外的其它环境传感器的其它传感器数据可以被使用。从而对象可以由使用者在考虑更全面的情况下被分类并且改进地进行判定。

此外下述情况是有利的：在显示之前对摄像机图像进行后处理——特别是校正——以用于实现更好的易读性。为车辆系统提供多个传感器数据的、作为环境传感器使用的摄像机尤其使用图像格式和透镜、例如广角镜或鱼眼镜，以便实现尽可能广泛的检测。形成的摄像机图像部分地变形并且能通过使用者在必要时不直接地且以简单的方式和方法来表现。因此提出了，如此对摄像机图像进行后处理，使得所述摄像机图像对于使用者来说能更容易地读出，其中，特别优选地进行校正。另一种变型提出，在不同的摄像机的检测区域的重叠区域和/或接触区域内存在对象时，待发送的摄像机图像由不同的摄像机的、至少两个、特别是分别示出对象一部分的原图组成。这个过程还已知为术语“拼接”图像。

如已经说明的那样，将软件应用优选地用于执行要在移动通信装置方面实施的步骤。刚好在所谓的智能手机上、而且例如还在平板电脑上或作为移动通信装置的类似设备上，这种软件应用已知为所谓的“App(应用)”。这种应用也就同样能实现，能为机动车的使用者在其移动终端设备上显示对象或者说情况的摄像机图像以及必要时显示地图图示。所述输入特别是通过适合的操作元件接收和回传，优选如已经所述的那样通过服务器装置。

在一种优选实施方式中，使用在整个角度范围内覆盖机动车的周围环境的摄像机、特别是至少四个具有广角镜的摄像机。这种摄像机布置已知为所谓的顶视摄像机/鸟瞰摄像机(Top-View-Kamera)，据此其通常例如沿着车顶的边缘布置，以便能在整个360°的角度范围上检测机动车的周围环境。这种顶视摄像机例如还用于车辆系统，其能在机动车中实现围绕机动车的视野和/或能产生一种机动车俯视图。这种顶视摄像机在本发明的范围内能特别有利地使用，因为对象与相对于机动车的角度无关地在摄像机图像中进行检测并且因此能为使用者在移动通信装置上显示。

除了所述方法之外，本发明还涉及一种监控系统，包括：能自动引导的机动车——特别是乘用车——和移动通信装置，所述机动车具有环境传感器，该环境传感器包括至少一个摄像机，能由控制设备对该环境传感器所记录的传感器数据就在轨迹计划中要考虑的对象方面进行评估，所述对象通过至少一个对所属的传感器数据进行评估的分类器能被分类为障碍或非障碍；其中，所述监控系统被设计用于执行根据本发明的方法。关于根据本发明的方法的所有实施方式可以类似地用于根据本发明的监控系统，因此利用所述监控系统同样能获得所述优点。

附图说明

本发明的其它优点和细节由下面描述的实施例以及借助附图得出。其中：

图1示出了根据本发明的监控系统，

图2示出了根据本发明的方法的实施例的流程图，

图3示出了示例性的行驶情况，

图4示出了在移动通信装置上的示例性的视图，和

图5示出了以统计的方式评估分类信息。

具体实施方式

图1以原理图的形式示出了根据本发明的监控系统，其在此安装在停车区域、特别是停车楼中，其中，相应设计的机动车能以无人驾驶和全自动引导的方式行驶至其相应的停车位并且在那里泊车或者退出停车场。当然，所述方法然而还可以用于其它能由机动车完全自动驶过的区域。

机动车1位于在此仅示意性示出的停车区域2中并且以全自动的方式在没有驾驶员的情况下运行，为此使用相应的具有控制设备4的车辆系统3，其还被设计用于执行下面还要阐述的根据本发明的方法的、机动车方面的步骤。机动车1具有多个环境传感器，其中，在此出于清晰的原因仅示出了雷达传感器5和六个摄像机6，它们分别具有广角镜并且因此能在整个360°角度范围上覆盖机动车的周围环境。

环境传感器的传感器数据例如通过控制设备4在机动车1的环境模型中(Umgebungsmodell)合并，其中，环境模型在此通过传感器数据描述在机动车1周围环境中的不同的对象。借助通过在控制设备4中的软件实现的分类器可以确定，对象是应当被视为障碍、还是能被驶过或从下方穿过。当然，分类器还可以提供其它更精确的关于对象的信息，例如是否是其它停止的机动车、指示牌、墩柱等，就此而言设置相应的分类器。

基于在环境模型中被分类的对象，在停车区域2中能自动地引导机动车1。此外，上述情况通过由同样属于监控系统的、用作后端服务器的服务器装置7——其作为公共设施设备配属于停车区域2——传输的数字地图数据来辅助，该地图数据在那里预先保留在存储装置8中。因此在服务器装置7和机动车1之间存在通信连接9——在此为WLAN连接，其在机动车1驶过停车区域2时建立。当然，针对通信连接9还可以考虑其它类型的通信连接。

由机动车1经由服务器装置7或直接地，还可以建立与机动车1的使用者12的移动通信装置11的通信连接10，其中，通信连接10在此通过移动网络来建立。相应地，由使用者12携带的移动通信装置11是移动电话、具体而言是智能手机。该移动电话——如原则上已知的那样——具有显示器14，在其上可以显示信息。在移动通信装置11上安装软件应用13(“App”)，该软件应用同样在现在要阐述的根据本发明的方法的范围内使用。

参照图2在根据本发明的方法的现在示出的实施例中，假设在机动车1和移动通信装置11之间通过服务器装置7进行每一次通信，因此实现了通信连接9和10，为此机动车1可以向服务器装置7通知例如移动通信装置11在移动网络中的通信地址、具体而言即为电话号码，但是必要时为用户ID，其在与机动车1耦联时已经生成。

此外在前面要注意，在机动车1驶过停车区域2时服务器装置7已经向机动车1提供停车区域2的、在存储装置8中存在的数字地图数据，以便借助车辆系统3来辅助机动车1的全自动的无人驾驶运行。

现在图2示出了根据本发明的方法的实施例的流程图。在那里在机动车1全自动运行期间在步骤S1中持续地检查，是否满足用于关于要由使用者12分类的对象进行询问的询问标准。在此考虑两个询问标准。第一询问标准检查，通过环境传感器探测的对象是否不能或不能充分可信地被分类，即因此在控制设备4中的分类器是否不能提供表明对象被分类为障碍或非障碍的结果，或者可能的分类是否不足够可靠，因此低于用于可信值的阈值。第二询问标准总是在下述情况下触发：至少一个对象如此阻塞机动车1继续行驶，使得不能再到达当前的目的地。在这种情况下，要通过使用者来分类的对象是至少一个妨碍继续行驶的对象，特别是至少一个下述对象：该对象已经最不可靠地被分类和/或该对象作为唯一一个对象或几个对象中的一个防碍继续行驶。当然可以规定询问标准的相应的细节，从而并非在机动车1的周围环境中的所有对象全都作为要由使用者分类的对象而被选出。

图3示例性示出了机动车1在停车区域2内的行驶情况。显而易见，通过支柱15分开的停车位至少部分地由其它机动车16占用。在机动车1前方存在不能分类的对象17、在此为树叶堆。由于树叶堆17不能由机动车1的控制设备4来分类，所以未明确，该对象是否针对继续行驶形成障碍。因此满足了在步骤S1中的第一询问标准。然而在此还示例性地在步骤S1中满足了第二询问标准，然后显而易见地，机动车1不能将对象17分类为无危险地越过、即“非障碍”，并且因此不能继续其行程，因为既不能在左侧也不能在右侧绕行对象17。换句话说发生了机动车“停滞”，因为不能计划出替选的轨迹。

如果满足了在步骤S1中的至少一个询问标准，则在步骤S2中整理关于要通过使用者12分类的对象17的通信信息。该通信信息一方面包含向前的摄像机6的摄像机图像，由于已知相应的广角镜的性能，该摄像机图像已经被相应地校正以改进易读性。此外，附上关于对象17的附加信息，其还通过环境传感器收集，例如对象17的尺寸；最后在作为附加信息的通信信息中附加了具有机动车1的当前环境的地图，由该地图中可以看出机动车1、对象17以及其它对象的位置。这些通信信息在步骤S2中首先被传输给服务器装置7，该服务器装置相应地存储关于询问的标注/警告(Verweis)并且使用通信连接10，以便将通信信息进一步传输给移动通信装置11，上述情况在步骤S3中发生。

在步骤S4中，软件应用13接收通信信息，向使用者12发出视觉和/或听觉和/或触觉指示信息，从而该使用者注意到该询问，并且产生了用于显示器14的图示，如其示例性地在图4中示出。可以看出，图示在显示器14上的较大部分由摄像机图像18占据。可以看出，较小的部分是地图19以及其它附加信息20、例如尺寸。在摄像机图像18之下示出了两个操作元件21、22，使用者可以通过所述操作元件对对象17进行分类，该对象还可以在摄像机图像18中被突出。如果使用者12操纵操作元件21，则产生了分类信息——该分类信息将对象17描述为障碍，如果使用者操纵操作元件22，则产生分类信息——该分类信息将对象17分类为“非障碍”。当然还可以通过软件应用13提供其它功能，例如放大地图19、显示其它附加信息等。

在步骤S5中，使用者12通过操作元件21、22进行的输入被接收并且产生分类信息，该分类信息首先被回传给服务器装置7，步骤S6。在服务器装置7中，分类信息在步骤S7中与所属的对象17保存在存储装置8中，进一步被评估——上述情况应参照图5进一步阐述，并且通过通信连接9被传输给机动车1。

在机动车1中，分类信息在步骤S8中相应地被考虑用于进一步自动引导机动车1。在图3中示出的情况下，驾驶员可能将树叶堆、即对象17指定为非障碍、因此能驶过，从而能继续自动行驶运行。

最后图5示出了在服务器装置7中以统计的方式评估分类信息的流程图，该分类信息涉及同样的要分类的对象17。在步骤S9中在那里检查，来自不同的使用者12的分类信息是否多到足以实现统计评估。如果是这种情况，则在步骤S10中检查，大多数使用者12已经进行哪个分类，并且已经进行这种分类的使用者12的份额是否超过阈值。如果是后一种情况，则产生总分类信息23，该总分类信息以附属于对象17的方式被补充到数字地图数据中并且因此提供给其它机动车。

在这种情况下，图1的步骤S3可以如下扩展，即当属于对象17的总分类信息23已经存在时，该总分类信息被直接作为回答回传给机动车1，因此不再需要询问使用者，并且可以直接以步骤S8继续进行。