感测车辆周围环境中的物体的方法，数据处理设备，计算机程序产品和计算机可读数据介质与流程

1.本发明涉及一种用于感测车辆周围环境中的物体的方法，一种用于处理数据的设备，一种计算机程序产品以及一种计算机可读数据介质。


背景技术：

2.车辆(主车辆)的周围环境在驾驶情况下难以建模，在这种情况下，要在距车辆周围环境中的物体的短距离处以低速防止碰撞。通常在驾驶员辅助系统中使用的具有成本效益的传感器具有以下缺点：有限的传感器范围、嘈杂的传感器信号以及对来自外部因素(例如天气条件和光照条件)的不利影响的高水平的敏感性。如果要产生车辆周围环境的完整360
°
模型，则这些限制尤其重要。
3.为了抵消这一点，现有技术公开了用于组合多个传感器信号(传感器融合)的方法，例如已知的参见wo 2018/069 061 a1和de 10 2015 214 743 a1。
4.然而，有限的传感器范围，也就是在车辆周围环境中可以获取传感器信号的范围，其结果是，在任何时间点都不会覆盖车辆的一部分周围环境，并且必须在特定时间段内产生周围环境的模型(也称为地图)，以便允许完全感测车辆的周围环境。
5.此外，出现以下问题，一旦已经找到合适的模型，如何调节相应的模型数据并且将其提供给后续处理系统和操作。可能的解决方案例如大量的对象列表、特征地图和网格地图通常太宽泛，而无法通过后续处理系统进行适当的处理，该处理系统仅旨在回答是否要停止车辆以免在低速时与车辆周围环境中的物体碰撞的问题。
6.在这种背景下，本发明的目的是指定可行的方式，可以以简化的形式为这些处理系统提供对车辆周围环境的精确、全面而又复杂的描述，其中包含低速且距车辆周围环境中的物体的短距离的车辆状况所需的信息。


技术实现要素：

7.该目的通过独立权利要求的主题来实现。本发明的有利发展在从属权利要求中给出。
8.本发明的第一方面涉及一种用于感测车辆(例如乘用车)周围环境中的物体(例如行人、树木、其他车辆)的方法。术语车辆也可以理解为是指车辆组合，也就是说例如带拖车的乘用车。
9.在第一方法步骤中，提供多个传感器的传感器信号，利用这些传感器可以感测车辆周围环境。这些优选地是布置在车辆内或车辆上的传感器，其感测车辆周围环境并且产生相应的传感器信号。产生的传感器信号随后可以被传输到处理单元并且被提供给所述单元。可以使用的传感器例如是超声波传感器、摄像机传感器、雷达传感器、激光雷达传感器等。
10.在另一方法步骤中，所提供的传感器信号被融合以获得融合的传感器信号。换句
话说，多个相同和/或不同的传感器(例如超声波传感器、两个雷达传感器和两个摄像机传感器中)的传感器信号被放在一起并彼此结合。
11.在另一方法步骤中，基于融合的传感器信号产生车辆周围环境的空间分割模型，也就是说产生被划分为多个空间节段的模型。在该模型中，车辆周围环境中的物体由距车辆轮廓的距离(也就是车辆的外形)和位置坐标表示。位置坐标可以例如表示相对于全局数据系统的二维位置，该二维位置在方法开始时由车辆的位置定义。物体距车辆轮廓的距离和每个节段的位置坐标可优选地包含在模型中。
12.利用该方法可以感测各种各样的物体，例如点状物体或二维物体，例如可以借助于单个雷达传感器信号或激光雷达传感器信号感测点状物体，例如可以借助于雷达跟踪感测二维物体，以及二维物体例如可以提供车辆或行人物体的估计的形状和方向。
13.产生的空间模型可用于以下方法，例如用于由驾驶员辅助系统执行的方法。例如，可以以防止与车辆周围环境中的物体碰撞的方式来调整车辆的速度和/或路线。由于输出接口的简单性，可以轻松实现与各种驾驶员辅助技术的集成。
14.该方法优选地适合于低速并且距车辆周围环境中的物体较短距离的驾驶情况。可以利用计算机上运行的应用系统执行整个方法或方法的一部分，例如传感器信号的融合和模型的产生。
15.基于虚拟传感器的安全茧可以有利地借助于根据本发明的方法来产生，并且可以用于可靠地对车辆周围环境进行建模和监控。例如，可以输出车辆周围环境中所有障碍物的公共列表，例如。根据它们距车辆轮廓的距离排序，其中可以另外提供空间分辨率。
16.可用的安全茧可以有助于提高车辆操作时的安全性。由于使用了多个随机传感器的传感器信号，因此甚至在不利的条件(例如能见度差、被雪覆盖的道路等)下也可以获得车辆周围环境的特别可靠的模型。因此，可以通过处理其他传感器信号来补偿个别传感器的缺点。该模型的空间分割允许用于具有不同车辆轮廓的车辆，例如也用于车辆的组合。此外，也可以考虑车辆周围环境中的形状复杂(也就是说非点状)的物体。
17.根据各种实施例变型，空间分割模型可以具有基于点的节段和基于线的节段。
18.这种混合分割允许特别精确和可靠地感测车辆周围环境的物体。分割的定义(也就是说节段的分配、布置、大小等)优选地可以为每个车辆产生一次，并且用于车辆周围环境中的物体的后续感测操作。
19.可以可选地更新分割，也就是例如在特定时间间隔或发生特定事件时重新定义分割。更新可以使分割特别好地适应于车辆周围环境，以便产生的模型甚至更准确地反映车辆周围环境。
20.基于点的节段可以由单个参考点和第一极限矢量和第二极限矢量定义。在基于点的节段中，物体距车辆轮廓的距离被定义为沿着参考点和物体点之间的线的最近的物体点到车辆轮廓的欧氏距离。在这种情况下，最近的物体点应被理解为所考虑的节段内的物体轮廓上距车辆轮廓的距离最短的那个点。参考点可以用于多个基于点的节段。
21.基于点的节段具有可以特别精确地感测具有高度弯曲(例如车辆的前部或后部区域)的车辆轮廓的区域的优点。将基于线的节段用于车辆轮廓的弯曲区域将导致需要使用大量基于线的节段或者导致相邻的基于线的节段的不期望的重叠。
22.基于线的节段可以由单个参考线和第一极限矢量和第二极限矢量定义。参考线可
以受到参考点的限制，其中参考线的参考点可以同时是一个或多个基于点的节段的参考点，以便基于线和基于点的节段直接彼此邻接。
23.在基于线的节段的情况下，物体距车辆轮廓的距离可以被定义为沿着参考线上最近的点和物体点之间的线的最近的物体点到车辆轮廓的欧氏距离。
24.基于线的节段具有可以借助于节段来覆盖车辆周围环境的大部分的优点，从而总的来说需要处理的数据更少。另外，随着距参考点的距离增加，基于点的节段相对于参考线会变大。这通常是不希望的，因为在同一区域上要尽可能地感测周围环境。
25.可以将车辆轮廓产生为折线骨架以便可以表示不同的车辆轮廓。基于该折线骨架，可以隐式定义任意数量的基于点的节段和基于线的节段。
26.根据其他实施例变型，该方法可以包括基于获得最小距离的传感器信号来更新物体的位置坐标上的距离。
27.为此，可以根据各个节段的距离的定义(也就是说以点或线为基础)来使用距离。换句话说，不仅有可能产生车辆周围环境的一次性模型，而且还可能例如在一定的时间间隔或根据特定的触发事件(触发信号)更新所述模型。因此，可以实现对车辆周围环境的持续监控。
28.根据另一实施变型，可以收集在单个测量周期内产生的所有传感器信号以用于使传感器信号融合。测量周期由固定的时间间隔定义，或者通过一个或多个触发事件(触发信号)的存在而结束，这些事件同时触发新的测量周期的开始。
29.可能的触发事件可以例如是新传感器信号的出现。这具有可以实现有关节段的更新的最小延迟的优点。
30.另一可能的触发事件可以是特定传感器类型的传感器信号的出现。这允许与特定传感器类型同步更新节段。
31.基于融合的传感器信号，例如可以基于具有最短距离的传感器信号来更新每个节段的距离和位置坐标。
32.根据另一实施例变型，可以仅根据当前测量周期的传感器信号或者根据当前测量周期的传感器信号和先前的传感器信号来确定每个节段的距离和位置坐标。
33.如果根据当前测量周期的传感器信号和先前的传感器信号确定每个节段的距离和位置坐标，则这些节段不是状态独立的，而是状态依赖的。由于个别孤立的传感器信号可能会在实际参考值附近波动，因此基于(错误的)传感器信号的历史对当前传感器信号进行滤波后的估算可能会有所帮助，然后，该估计值比单个孤立的传感器信号更接近参考值。用这种方法可以达到很高的精度。
34.根据另一实施例变型，在车辆周围环境的模型的产生期间使用滤波方法，和/或其中为每个节段指定不确定性值。
35.滤波是指根据预定标准检查传感器信号。然后，例如进一步仅可以处理对应于标准的传感器信号，或者例如可以对如上所述的当前传感器信号的滤波估计值进行校正。如果根据当前测量周期的传感器信号和先前测量周期的传感器信号确定每个节段的距离和位置坐标，则优选地使用滤波方法，从而使这些节段是状态依赖的。
36.例如，以下可用作滤波方法：低通滤波、中值滤波、卡尔曼滤波。借助于滤波可以抑制错误的传感器信号。此外，可以避免一个节段的结果过大变化，或者可以减小该变化。由
于滤波，可以获得较少的复杂数据集，这简化了模型的进一步处理。
37.替代地或附加地，可以为每个节段输出不确定性值，该不确定性值提供有关所产生的模型的可靠性的信息。例如，该不确定性值可用于以下方法步骤。较高的不确定性值也可以用作触发事件，用于重复收集传感器信号。
38.根据另一实施例变型，该方法可以包括输出位掩码，该位掩码允许用于将使用的传感器信号分配给所产生的模型。
39.换句话说，可以为每个节段定义使用哪个传感器的传感器信号来创建模型。这对于优化传感器的选择是有利的。
40.根据另一实施例变型，在该方法中可以统一考虑正在移动、可移动的和静止的物体。对此的替代或补充，分割模型的每个节段可以具有反映物体的运动状态的属性。
41.换句话说，在融合期间可以统一考虑与正在移动、可移动的和静止的物体有关的传感器信号，而无需其他处理步骤。因此，为了确定每个节段的距离和位置坐标，可以独立于所有传感器信号的运动状态来对其进行相同处理。
42.然而，为了获得有关物体的运动状态的信息，可以为每个节段输出与主导传感器信号相关的运动状态。
43.根据其他实施例变型，车辆轮廓可以由折线骨架表示。
44.这提供了能够将该方法用于随机车辆轮廓，例如也用于车辆组合的优点。
45.根据其他实施例变型，该物体可以不是点状的。
46.因此，该方法提供了也能够应用于非点状物体的优点。
47.如果在更新模型期间考虑了非点状物体，则应首先确定哪些节段受到影响。然后，可以为每个受影响的节段确定非点状物体上的最近点，以便更新相应的节段。
48.本发明的另一方面涉及一种用于处理数据的设备，该设备包括用于执行上述方法之一的装置。
49.因此，上述关于方法的优点相应地与设备相关联。与根据本发明的方法有关的所有陈述可以被相应地转移到根据本发明的设备。
50.用于执行该方法的装置可以例如包括处理单元，该处理单元被配置和设计为执行一些或所有方法步骤，也就是说，对传感器信号进行融合以获得融合的传感器信号以及产生车辆周围环境的空间分割模型。
51.该设备可以可选地包括多个传感器，例如上面提到的一些或全部传感器，可以利用这些传感器感测车辆周围环境。
52.本发明的另一方面涉及一种包括命令的计算机程序产品，该命令在计算机执行程序期间使所述计算机执行根据以上描述的方法。
53.因此，关于该方法规定的优点相应地与计算机程序产品相关联。与根据本发明的方法有关的所有陈述可以被相应地转移到根据本发明的计算机程序产品中。
54.计算机程序产品是可以存储在合适的介质中和/或使用合适的介质来检索的程序代码。为了存储程序代码，可以使用适合于存储软件的任何介质，例如安装在控制单元中的非易失性存储器、dvd、usb棒、闪存卡等。可以例如经由因特网或内联网或经由一些其他合适的无线或有线绑定网络来执行程序代码的检索。
55.本发明的另一方面涉及一种其中存储有计算机程序产品的计算机可读数据介质。
56.因此，计算机程序产品的优点相应地与计算机可读数据介质相关联。
附图说明
57.在附图和相关描述中可以找到本发明的其他优点，这些附图和相关描述将更详细地解释本发明。在附图中：
58.图1示出了方法所涉及的可行设备以及所述设备之间的数据流的示意图；
59.图2示出了车辆周围环境的示例性空间分割；
60.图3示出了车辆周围环境的另一示例性分割；
61.图4示出了基于点的节段的示意图；
62.图5示出了基于线的节段的示意图；
63.图6示出了具有相关联的空间分割的车辆的示例性折线骨架的示意图；
64.图7示出了示例性方法的流程图；以及
65.图8示出了车辆周围环境的示例性空间节段模型。
具体实施方式
66.图1示出了用于感测车辆a的周围环境中的物体b的示例性方法的示意性概图，从中可能涉及的设备以及所述设备之间的数据流是显而易见的。对于本发明而言至关重要的是传感器信号彼此融合，这由传感器融合模块sf1至sf6示出。
67.多个传感器，特别是超声波传感器uss、作为摄像机传感器的是环视摄像机svc、拐角雷达传感器、前雷达传感器和作为另一摄像机传感器的前视摄像机flc。传感器感测车辆的周围环境并且产生相应的传感器信号，传感器信号在传感器融合模块sf1、sf2、sf3和sf4中相互融合。具体地，在传感器融合模块sf1和sf2中处理超声波传感器uss和环视摄像机svc的传感器信号，并且在传感器融合模块sf3和sf4中处理拐角雷达传感器、前雷达传感器和前视摄像机flc的传感器信号。
68.在传感器融合模块sf1中，借助于基于特征的映射算法(称为特征映射器)对传感器信号进行处理。基于特征的映射算法接收“原始”传感器测距信号，并且通过应用三角测量和在多个传感器上跟踪它们和测量周期，从中创建点状特征。
69.在传感器融合模块sf2中，借助于基于网格的自由空间映射算法(称为自由空间网格映射器)对传感器信号进行处理。基于网格的自由空间映射算法会产生一个网格地图，该网格地图以概率p的形式描述每个网格单元，网格单元是否空闲(p＝1)，以及因此是否可以无冲突(p＝0)地通过。借助于基于网格和基于雷达的映射算法(称为雷达网格映射器)来执行在传感器融合模块sf3中的传感器信号的处理。基于网格和基于雷达的映射算法产生一个网格地图，网格地图以概率p的形式描述每个网格单元，网格单元是空闲的(p＝0)，未知的(p＝0.5)还是被占用的(p＝1)。
70.在传感器融合模块sf4中，借助于跟踪算法(称为统一跟踪器)对传感器信号进行处理，跟踪算法基于来自各种传感器的传感器信号提供融合对象列表。输入信号是来自前雷达传感器和拐角雷达传感器和前视摄像机的传感器信号。
71.借助于传感器融合模块sf1中的基于特征的映射算法获得的融合传感器信号一方面被传导到传感器融合模块sf6，以及另一方面被传导至特征到网格地图转换方式(称为特
征到网格转换器)。特征到网格转换器将基于特征的地图转换为网格地图，其中每个特征的位置、方向和不确定性用于对网格地图的每个网格单元的影响建立模型。经处理的传感器信号随后被馈送到传感器融合模块sf5。此外，来自传感器融合模块sf2和sf3的融合的传感器信号被输入到传感器融合模块sf5中。
72.在传感器融合模块sf5中，借助于网格地图融合进一步对已经融合的传感器信号进行融合。在这种情况下，通过叠加一个或多个网格地图并且随后聚合结果单元格中所有相应的重叠单元来组合多个网格地图。多种融合算法是可行的，例如每个网格单元的贝叶斯融合可以发生，其中每个单元与所有其他单元分开考虑。再次被融合的这些传感器信号与静止的物体b相关，并且随后被馈送到传感器融合模块sf6。
73.传感器融合模块sf6还从传感器融合模块sf4和传感器融合模块sf1接收与运动的物体有关的融合的传感器信号。
74.在传感器融合模块sf6中，将所有传感器信号融合在一起，以便通过虚拟传感器获得车辆周围环境的空间节段模型，从中可以通过在下游系统(例如驾驶员辅助系统)中进行进一步处理来形成用于车辆a的安全茧的模型。
75.图2以示意图形式示出了车辆周围环境的示例性空间分割，例如可以利用参照图1描述的方法获得该示意图。示出了具有64个节段i的车辆周围环境的模型，这些节段是基于点或基于线，其中三个以字母“i”标记。基于点的节段位于车辆轮廓c的前和后区域(图2的顶部和底部)，基于线的节段i位于车辆轮廓c的侧面区域。每个节段i精确地分配了一个虚拟传感器，也就是为每个节段i融合了传感器信号。
76.图3示出了车辆周围环境的另一示例性空间分割。可以例如在泊车操作期间获得车辆周围环境的这种分割和相关的空间分割模型。线k表示车辆在停车之前所行进的路径。车辆周围环境的物体b因此可以是其他车辆。如下所解释的，由于节段i的大小取决于车辆轮廓c和物体b之间的距离f，因此取决于车辆a到物体b的距离而得到不同大小的节段。从图3中可以明显看出，存在基于点的节段i和基于线的节段i。
77.图4示出了基于点的节段i的示意图。基于点的节段i由单个参考点g和第一极限矢量d和第二极限矢量e定义。物体b距车辆轮廓c的距离f被定义为沿着参考点g和物体点之间的线的最近的物体点到车辆轮廓c的欧氏距离f。
78.图5示出了基于线的节段i的示意图。基于线的节段i由单个的参考线h和第一极限矢量d和第二极限矢量e定义。物体b距车辆轮廓c的距离f被定义为沿着参考线h上的最近的点和物体点之间的线的最近的物体点到车辆轮廓c的欧氏距离f。因此，距离f是沿着相对于参考线h的法线测量的。
79.图6示出了具有相关的空间分割的车辆a的示例性折线骨架的示意图，其中总共存在41个节段i。由于节段i的数量和定义，因此可以以基于线或基于点的方式适应于车辆轮廓c，因此通过相应的折线骨架描述了多种车辆轮廓，例如还有车辆组合，铰接式车辆等。
80.图7示出了示例性方法的流程图，其中，在第一方法步骤s1中，传感器信号由感测车辆周围环境中的物体b的三个传感器(特别是传感器x、传感器y和传感器z)提供。在步骤s2“物体捆绑和转换”中将这些传感器信号彼此融合，从而融合的传感器信号被接收，并由此产生车辆周围环境的空间分割模型。
81.在此，针对每个物体b输出距车辆轮廓c的距离f和位置坐标。在步骤s3中，对车辆
的坐标系中的所有物体b进行节段确定过程，并且在与步骤s3并行进行的步骤s4中进行物体选择过程。换句话说，确定其中记录了距物体b的最短距离f的那个节段i。在步骤s5中，对这些选择的节段i和物体b进行节段更新，从而获得更新的节段。
82.图8通过示例的方式示出了车辆周围环境的空间分割模型，该模型基于二维雷达跟踪过程。在车辆a的周围环境中有两个物体b。与图4和5考虑的点状物体b的情况相比，图8示例示出了如何通过虚拟传感器处理非点状物体b(这里以矩形的形式)。与点状物体b相反，应首先确定受影响的节段i，以及然后应针对每个受影响的节段i确定非点状物体b上的最近点，以便更新相应的节段i。
83.因此，针对每个节段i确定物体b与车辆轮廓c之间的最短距离f，其中根据节段是基于线的节段i还是基于点的节段i来使用不同的距离定义。然后可以从各个距离f确定最短的距离f，并将其用于随后的处理步骤。与在每种情况下感测线路以识别最短距离i的方法相比，该方法更为优越，因为这种可选择的方法会受到取决于感测距离的故障的影响。
84.附图标记列表
85.a
ꢀꢀꢀ
车辆
86.b
ꢀꢀꢀ
物体
87.c
ꢀꢀꢀ
车辆轮廓
88.d
ꢀꢀꢀ
第一极限矢量
89.e
ꢀꢀꢀ
第二极限矢量
90.f
ꢀꢀꢀ
距离
91.g
ꢀꢀꢀ
参考点
92.h
ꢀꢀꢀ
参考线
93.i
ꢀꢀꢀ
节段
94.k
ꢀꢀ
所行进的路径
95.s1-s5
ꢀꢀꢀ
方法步骤
96.sf1-sf6
ꢀꢀ
传感器融合模块
97.1-64
ꢀꢀ
节段
98.uss
ꢀꢀ
超声波传感器
99.flc
ꢀꢀ
前视摄像机
100.svc
ꢀꢀ
环视摄像机