用于探测车辆周围环境中的移动对象的方法和机动车辆与流程

1.本发明涉及一种用于探测车辆周围环境中的移动对象的方法以及一种被设计用于执行这种方法的机动车辆。


背景技术：

2.在车辆技术领域，对于各种驾驶辅助系统和驾驶功能，特别是对于高度自动化的或自主的驾驶而言，探测在相应车辆的周围环境中的对象是特别重要的。这种对象尤其可以是其他交通参与者。在这里，尽可能快且可靠的探测以及精确地定位尤其是移动的对象，是特别重要的，因为由于这些对象而可能会特别频繁和特别迅速地出现危险情况。因此，该领域的进一步改进总是令人希望的。
3.作为这一点的一种方案，wo 2017/207727 a1描述了一种改进的对象探测和对象移动状态估计。在此，确定相关的方位角和多普勒速度分量，用于雷达探测。此外，用摄像机摄取对象，并且从至少两个摄像机图像中确定出光流。由此确定垂直方向上的另一个速度分量。然后根据两个速度分量确定出相应对象的完整速度矢量。
4.作为另一种方案，从us 2018/0259637 a1中获知一种用于设备实时控制的系统。在这种情况下，光学地检测倾斜的即相对于设备处于倾斜位置的对象。通过雷达设备来检测对象相对于设备的水平角和径向距离以及距离的变化率。然后基于3d位置矩阵和基于视觉数据和雷达数据确定的3d变化率矩阵来控制设备。
5.作为另一种方案，在ep 3229041 a1中描述了一种对象探测系统，其包括雷达传感器和摄像机。在这种情况下，雷达信号旨在指明车辆周围环境中的对象的距离和方向。通过摄像机摄取的图像应与雷达信号的视野重叠。然后应基于对象的距离和方向确定图像的距离地图。基于此，在图像中规定探测区域。然后仅处理图像的该探测区域，以识别对象。


技术实现要素：

6.本发明的目的是，能够改进对车辆周围环境中的移动对象的探测。根据本发明，该目的通过独立权利要求的主题来实现。本发明的有利设计和改进在从属权利要求、说明书和附图中说明。
7.根据本发明的方法用于探测来自机动车辆的在机动车辆的周围环境中移动的对象。周围环境在此可以通过机动车的至少一个摄像机和至少一个雷达装置的检测有效范围或传感器有效范围来确定。在该方法中，获取周围环境的摄像机数据。在此可以使用机动车辆的摄像机来摄取摄像机数据。同样，对摄像机数据的获取可以包括或意味着利用被设置用于执行该方法的数据处理装置由摄像机或通过相应的数据接口来检测或接收它们。因此，摄像机数据描绘了机动车辆的周围环境。此外，在根据本发明的方法中，获取来自机动车辆周围环境的雷达回波。雷达回波可以通过雷达装置被获取，即被测量。同样，对雷达回波的获取可以意味着或包括利用数据处理装置由雷达装置或通过相应的数据接口对其进行检测或接收。特别地，这些是雷达回波，其通过由雷达装置发射到周围环境中的至少一个
雷达脉冲被位于周围环境中的对象反射回到雷达装置而引起。因此，雷达回波代表在机动车辆周围环境中的对象，并且在这个意义上也描绘了机动车辆的周围环境。
8.在根据本发明的方法的一个方法步骤中，借助摄像机数据来识别在摄像机数据中成像的对象，其中，针对识别到的对象，分别确定从机动车辆的角度来看该对象所处于的方位角或水平角范围，并产生包围相应对象的边界框(本领域术语：bounding box)，其相距机动车辆具有假定的或估计的距离。为了在摄像机数据中即特别是在相应的摄像机图像中识别出对象，可以采用本身已知的图像处理或对象识别手段或算法。因此可以例如借助边缘、轮廓、连接的面等来探测对象。方位角范围在此是在一个平面中规定的，该平面例如可以平行于机动车辆的地板延伸。特别地，这可以是机动车辆所行驶的地面的可能理想化的或平滑的平面，即例如车道路面等。方位角范围在此可以参照指定的方向来规定。例如，作为参考或零方向，可以规定假想的从机动车辆、特别是从摄像机向前或在行驶方向上伸出的方向(也称为x方向)。
9.相应对象或相应边界框的假定的或估计的距离，例如可以基于针对不同对象的宽度或长度所做的预定假设来确定或定下来。在此可以考虑摄像机的光学特性，这些光学特性例如确定在摄像机数据中或在相应摄像机图像中在相距摄像机特定距离处具有特定实际尺寸的对象看起来有多大。在此也可以考虑在摄像机数据中成像的不同对象之间的估计的或预定的相对尺寸关系。例如，如果在摄像机数据中汽车看起来与建筑物一样大，或者例如行人看起来与汽车一样宽，则可以分别认为这些对象相距摄像机的距离不同，因此相距机动车辆的距离不同。这又允许得出关于相应对象相距机动车辆的大致距离的结论，可能考虑到这些对象的预定典型尺寸。同样地，例如可以使用在相应对象和摄像机之间在摄像机数据中成像和被探测的环境特征，例如道路宽度或车道标记等，用于估计距离。
10.特别优选地，可以基于在2d空间中的假定的距离将相应的边界框特别是投射到也用于方位角范围的平面中。对于该平面，在此可以使用预定的坐标系，其中，机动车辆或摄像机或机动车辆的包括摄像机和雷达装置的环境传感器系统可以例如布置在坐标系的零点中。特别地，预定坐标系可以是摄像机坐标系，即在其中检测或处理或管理摄像机数据的坐标系，例如边界框也位于该坐标系中。
11.在根据本发明的方法的另一方法步骤中，针对雷达回波，参照机动车辆的当前位置确定相关的多普勒速度。在这个意义上的多普勒速度在此是产生相应雷达回波的相应对象的径向速度，该径向速度已经针对机动车辆的固有速度进行了校正或补偿，即根据符号予以减小或增大。雷达装置或机动车辆或其当前位置因此可以被视为圆的中心点，相应的对象布置在该圆的圆周线上。多普勒速度于是指明对象沿该圆的半径的速度分量—朝向中心点或远离中心点—独立于机动车辆的自身移动，即在世界固定的坐标系中或参照该坐标系。针对一些雷达回波，在此已确定了非消失的即不同于零的多普勒速度，这些雷达回波在此称为移动的雷达回波。至少对于所确定的移动的雷达回波，确定相距机动车辆的相关距离和相关的方位角。这些距离和方位角在此也、尤其仅仅、借助测得的雷达回波或相应的雷达数据来确定，即借助雷达装置的测量数据来确定。借助相应的所确定的距离和相应的方位角，为相应的雷达回波产生2d位置。该2d位置，即有效地相应的雷达回波或引起相应雷达回波的对象，然后也可以投射或输入到所提到的2d空间或所提到的平面中，即也用于摄像机数据的坐标系中。雷达回波也可以投射或传输到相应的摄像机图像中。雷达回波或与所
确定的距离和方位角相结合的雷达回波因此可以理解为在相应的2d空间或坐标系中的点分布或点云。基于雷达确定的方位角由于所涉及的原理可能表现出更大的不确定性或测量不准确性。为了在下文中考虑到这一点，基于摄像机确定的方位角范围可以优选地在两侧或在两个方向上扩展或增大公差范围。该公差范围可以对应于基于雷达的方位角确定的预定的或假定的不确定性或测量不准确性。特别优选地，可以将公差范围确定为标准偏差的倍数，尤其是3σ范围，从而因而检测所有相应测量值的大约99.7％。
12.在根据本发明的方法的另一方法步骤中，在至少一个移动的雷达回波和至少一个边界框之间进行关联。为此，将相应的方位角与边界框的所确定的方位角范围进行比较，这些方位角范围在此尤其用作参考或真值，以及将相应的基于雷达所确定的距离(其在此尤其用作参考或真值)—直接或间接地—与基于摄像机假设的距离进行比较。在此优选地，可以基于相应的缩放误差来执行距离的比较，这将在下文中更详细地解释。然后可以特别地基于百分比而不是绝对地进行比较，即例如不是以米为单位。因而例如可以形成和评估基于雷达确定的相应距离和基于摄像机假定的相应距离的商，即例如与预定的参考值或阈值进行比较。
13.在本发明的意义下，进行关联尤其可以意味着执行这些比较，其中，如果比较成功，即例如满足相应的预定标准，则关联可以成功，并且如果比较失败，即例如不满足至少一个预定标准，则关联可以失败或者将其丢弃。例如当分别相互比较的或对比的值或数据彼此间具有预定的相似性时，即例如彼此间最大相差预定的值或量，等等，比较可以成功。下文更详细地解释了关于比较的其他细节。最终，在此确定是否存在或可以找到由边界框和至少一个移动雷达回波组成的在相应的特性方面相匹配的组合。例如，如果一个或多个移动的雷达回波由对象生成并直接反射回雷达装置，该雷达回波由相应的边界框包围或表示，则就会是这种情况。在本发明的不同情况或设计中，在此可以仅将一个雷达回波或几个雷达回波分配给边界框。在此特别优选地，例如通过相应的查询或通过从仍然可用于分配的雷达回波集合中移除成功分配的雷达回波，来自动地防止将特定的雷达回波分配给不同的边界框，即雷达回波的双重分配。如果基于所提到的数据或特性将雷达回波分配给不同的边界框是可能的或合理的，则可以确定雷达回波属于一个或另一个边界框或对象的相应概率。然后可以以更大的概率执行分配。对这种概率的确定将在下面更详细地解释。
14.在根据本发明的方法的另一方法步骤中，已给一些边界框成功分配了至少一个移动的雷达回波，针对这些边界框，根据分别分配的雷达回波的基于雷达确定的距离，校正相应假定的距离。在这种情况下，假设的距离可以例如被所分配的雷达回波的距离代替。如果已将多个雷达回波分配给一个边界框，则该边界框的假定距离可以例如用针对所分配的雷达回波而确定的距离的平均值来代替。同样地，当校正所假定的距离时，例如可以考虑基于雷达确定的距离的预定的或估计的测量误差或测量不准确性、假定的距离的不准确性或不确定性等。根据基于雷达确定的距离，或由此探测到的对象相距机动车辆的距离，可以在所述2d空间中或在所述平面中移动相应的边界框。
15.然后将具有相应校正的距离的边界框作为对象数据组输出、提供或进一步使用，该对象数据组指明成功的对象探测。然后，对象数据组例如可以用作或被用作进一步计算的基础，例如用作卡尔曼滤波器的基础或输入数据，用于机动车辆的驾驶功能或控制过程和/或类似物。对象数据组在此可以由其他数据或特性补充，以便例如更精确地表征相应的
对象。例如，可以将相应的多普勒速度、相应对象的方位、其偏航率、其类型或类别、分配的一个或多个概率或置信度和/或所确定的各个值或特性等添加到对象数据组。例如，对象数据组可以用于跟踪，即跟踪相应的对象，或用于填充动态的地图网格或栅格和/或类似物。
16.在本发明的意义下，探测对象因而可以意味着或包括，识别该周围环境中存在对象，定位该对象，即确定相对于机动车辆的位置，以及可能确定对象与机动车辆之间的相对移动，尤其是确定对象在径向方向上相对于机动车辆的移动方向。为此，摄像机数据和雷达数据在当前情况下相互组合或融合。这两种类型的传感器或数据有利地在对象探测方面具有不同的优势和劣势，因此有利地相互补充，以便实现特别准确和可靠的对象探测。于是可以通过摄像机或借助摄像机数据，有利地特别精确地确定对象所在的方位角范围，并且可以对相应的对象进行分类，即例如可以确定相应的对象的类型或类别。相反，通过雷达装置或借助雷达数据或雷达回波，可以有利地分别相对于雷达装置或配备有该雷达装置的机动车辆，特别精确地确定相应对象的距离及其多普勒速度。本方法的一个特殊优点是，这里的原始数据可以相互组合或融合。雷达回波，可能包括相关的多普勒速度和距离以及相关的方位角，它们本身并不代表传统意义上的完整的对象探测，因为例如雷达数据本身并没有被处理到这样的程度：基于它们识别完整的对象并生成相应的边界框。确切地说，在本发明中，摄像机数据与雷达数据的融合或组合在数据处理链中发生在较早的时间点，因为在这里，在对象探测完成之前，摄像机数据或在其中生成的或基于它生成的边界框与原始雷达数据即各个雷达回波相关联。结果，使用本发明，可以以改进的可靠性和准确度以及与传统的探测方法相比更快地并且以更少的数据处理工作量来探测对象。在此特别有利的是，根据本发明的方法的对象探测可以基于一个唯一的雷达测量周期和一个唯一的摄像机图像来实现。一个单独的摄像机图像在此可以是所获取的一个单独的帧。一个单独的雷达测量周期例如可以是雷达脉冲链的一次性发出，即对周围环境或雷达装置的检测区域或视场的一次性采样或扫描，以及获取由此产生的雷达回波。根据雷达装置的设计或配置而定，可以在一个雷达测量周期中发出必要时不同频率的例如1024个信号斜坡。这样的测量周期可以例如每20毫秒执行一次。根据摄像机的设计而定，可以例如每50毫秒获取一次摄像机图像，或者例如与雷达测量周期或雷达脉冲同步。
17.通过本发明，有利地不仅可以确定对象在机动车辆的周围环境中的特别精确的位置，而且还可以特别精确地确定相应的对象是否相关或高度相关，即是否自动相对于机动车辆移动，特别是朝向机动车辆移动，以及它是什么类型的对象。与传统的探测方法相比，采用本发明可以有利地实现初始化时间的显著减少以及组合测量或基于两种不同传感器类型的对象探测。通过在此提出的摄像机数据和雷达数据的组合，在此可以有利地实现对所得到的对象探测的特别高的置信度，因为成功的对象探测基于不同的测量原理和测量装置。例如，与纯粹基于雷达的对象探测相比，可以特别可靠地识别特定的雷达回波源自相关对象并且不是杂波，即不是干扰数据。因此，所有可能的后续处理或过程也可以有利地以更高的可靠性和可信度进行，从而最终例如可以更可靠和更安全地运行机动车辆。根据本发明的方法可以优选地用于在城镇即城市环境中以及在非城市区域中的自动驾驶功能。
18.在本发明的有利改进中，针对每一个单独的测量周期的雷达回波执行该方法。如果对于测量循环的获取时间没有同时获取的摄像机数据可用，则可用的摄像机数据被内插或外推到测量循环的获取时间。例如，可以在雷达回波之前获取的摄像机图像和测量周期
结束之后立即之间执行内插，在该测量周期中获取雷达回波。如果在这两个摄像机图像的获取时间点之间的时间中至少有一个对象已经移动，则例如可以通过在这两个摄像机图像之间的内插来移动或调整相应边界框的位置和/或朝向，使得它-至少大概或平均而言-更精确地对应于相应对象在雷达回波的获取时间的实际位置或方位。相反，如果无论在雷达回波的获取时间期间(即在测量周期期间)获取的摄像机图像还是之后获取的摄像机图像均不可用，则可以从在测量周期之前获取的一张或多张摄像机图像外推出相应对象的位置和/或方位。由于用于摄像机数据和测量周期的通常使用的获取频率以及道路交通中对象的实际速度，与使用非内插或非外插的摄像机数据相比，可以以足够高程度的可靠性实现改进。摄像机数据在测量循环的获取时间点上的内插或外推可以例如使用相应数据的时间戳来执行，这些时间戳可以在相应地获取数据时自动分配或设置。通过对摄像机数据进行内插或外推，可以有利地确定在相应的雷达回波与一个或多个边界框或相应对象之间的更精确和更可靠的关联。在此可以特别优选地使用线性的内插或外插，其可以有利地以特别少的计算量并且因此特别快速地执行，同时具有足够的精度和可靠性。
19.在本发明的另一有利设计中，为了比较距离，将雷达回波和边界框嵌入到预定的或共同的坐标系特别是所述的摄像机坐标系中，其中心或零点对应于摄像机的位置。其中至少对于移动的雷达回波，确定相应的缩放误差或缩放因子，其表明了相应的雷达回波在预定的坐标系中参照机动车辆的当前位置，特别是参照摄像机的当前位置，在径向上相距相应的边界框的距离。然而，相应对象的多普勒速度方向可以在雷达坐标系(其中心或零点分别对应于雷达装置或其雷达传感器的当前位置中)确定，而不必转换或传输到摄像机坐标系中。
20.然后考虑相应确定的缩放误差或缩放因子，因为它必须小于预定的阈值或位于预定的范围或区间内，以便将相应的雷达回波成功分配给相应的边界框。在这里可以为相应的雷达回波计算最小缩放误差和最大缩放误差。最小缩放误差表示相应的雷达回波或相应的雷达回波的位置在预定坐标系中相距相应的边界框的最近点或边缘的距离。相应地，最大缩放误差表示相应的雷达回波或其位置相距边界框的最远点或边缘的距离。这些距离尤其可以沿着从相应的雷达回波延伸到机动车辆的半径线确定，至少在这样的半径线接触边界框或与边界框相交的那些情况下。如果相应的半径线靠近相应的边界框延伸，则例如可以使用垂直于相应的半径线延伸的并且与边界框相交的辅助线。然后得到最小缩放误差作为雷达回波和辅助线与半径线的最近的交点之间的距离，辅助线穿过该交点与边界框相交。类似地，最大缩放误差可以用作雷达回波和半径线与辅助线的交点之间的距离，该交点相距雷达回波最远并且仍然导致辅助线接触边界框或与边界框相交。附加地或替代地，还可以计算平均缩放误差，其例如对应于相应雷达回波相距中心点或相距位于边界框的用于计算最小和最大缩放误差的点之间的中间点的距离。
21.例如，使用摄像机数据估计的距离以及边界框在预定坐标系中的相应位置的误差或不准确度可以在30％的范围内。因此，例如
±
30％或例如
±
50％在此可以被指定为缩放误差的阈值。缩放误差可以有符号，这取决于边界框是在雷达回波和机动车辆之间还是在雷达回波的远离机动车辆的一侧。对于预定的阈值或例如50％的相应加窗(英语：gating(选通))，为了分配，然后可以采用或考虑其缩放误差例如在-0.5到+0.5范围内的那些雷达回波。此处也可以使用替代的设计。例如，如果雷达回波在边界框内，则可以将缩放误差恒
定地设置为1。在预定的例如50％的阈值情况下，考虑其缩放误差在0.5到1.5范围内的那些雷达回波。其缩放误差在如此确定的范围之外或高于预定阈值的雷达回波，可以被丢弃或不被使用或被考虑用于分配给相应的边界框。在一个具体的例子中，对于一个对象，基于摄像机的假设距离可以是60m，基于雷达确定的距离可以是40m。由此于是得到60m/40m＝1.5的缩放因子。例如，这里的缩放误差为0.5。作为成功分配的有效值，例如可以规定缩放因子的0.5-1.5的范围和/或缩放误差的上限阈值0.5。所以在这个例子中，基于距离的分配将是成功的。
22.考虑到不同的基础测量方法的各自优势和劣势，使用此处描述的缩放误差作为将雷达回波分配给特定边界框的标准有利地实现了摄像机数据和雷达数据的稳健融合。
23.在本发明的另一有利设计中，为方位角和/或为缩放误差指定概率函数，借助该概率函数评估相应的分配。在此，对于雷达回波，缩放误差在预定的或共同的坐标系中，特别是在所提及的摄像机坐标系中，分别指示其相距相应边界框的距离，并且因此可以特别对应于在别处所描述的缩放误差或缩放因子。概率函数可以优选地具有一个不断延伸的中心区域，从该中心区域该概率函数或相应的概率朝向两侧减小。例如，如果相应雷达回波的缩放误差在预定范围或区间内或低于预定阈值，则可以根据雷达回波与边界框的关联或实际关联性的缩放误差的概率函数来分配概率1。对于测量缩放误差超出预定范围之外或高于预定阈值的雷达回波，它们对边界框的分配或这种分配的正确性，即最终雷达回波与边界框或相应对象的实际关联性，可以根据缩放误差的预定概率函数被指配有随着距离增加而减小的概率。如果已经为雷达回波计算了最小和最大的缩放误差，则可以使用两个相应概率值中的较高者，即分配给雷达回波或将其分配给相应的边界框。类似地，例如，如果雷达回波在预定坐标系中位于被相应边界框覆盖的方位角范围内，则可以将概率或概率值1分配给雷达回波或其与边界框的关联。位于该方位角范围之外的雷达回波或者它们与相应边界框的关联，可以被分配一个概率，该概率根据方位角的概率函数随着相距边界框的相应方位角范围的距离增加而减小。
24.最终成功地分配给边界框的雷达回波的相关概率或从中计算的总概率值—例如概率的平均值—然后可以作为附加信息添加到相应的对象数据组中。基于此，例如可以对探测进行加权。这可以有利地实现例如在操作或控制机动车辆时分级的反应或潜在危险或措施的优先级。于是例如可以规定，仅当在机动车辆的路径中探测到对象具有预定的最小概率时，才执行一定的措施，例如规避操纵或制动。
25.例如，还可以指定概率阈值。然后，可以给相应的边界框分配所有雷达回波，为了其分配或与边界框的关联，确定出至少对应于概率阈值的概率。换言之，可以基于所确定的概率执行选通或加窗。相应地，如果为相应的雷达回波确定的一个或多个概率值低于预定的概率阈值，则雷达回波与边界框的关联可以相应地被抛弃或失败。
26.通过这里提出的确定和考虑概率，可以有利地提供根据本发明的方法的附加的灵活性，并且也可以在不能明确执行进一步的数据处理步骤的情况下对这种分配或对象探测进行相应分级的或软的考虑。最终，这有助于更可靠和更安全地控制机动车辆。
27.在本发明的另一有利设计中，如果已将至少三个雷达回波分配给边界框，则借助这至少三个雷达回波来确定多普勒速度分布，所分配的雷达回波中尽可能多的雷达回波与该多普勒速度分布一致。然后仅基于与多普勒速度分布一致的雷达回波的确定距离来校正
相应边界框的距离。为了确定一致的一组或多组雷达回波，可以优选使用稳健的方案，例如ransac(random sample consensus(随机样本一致性))。由于将多个雷达回波分配给同一个边界框，因此这里可以假设所有这些雷达回波都来自同一个扩展对象。例如，然后可以随机地分别选择两个雷达回波。然后为分别选择的雷达回波确定多普勒速度分布。这基于以下认识，即作为方位角函数的多普勒速度，至少在理论上的理想情况下，即作为对象雷达回波方位角函数的预期多普勒速度，总是可以描述为具有两个自由度即幅度和相位的余弦函数。使用这两个雷达回波，然后可以解析地确定这两个自由度或参数，即可以解析地求解相应的函数。得到的余弦函数于是有效地代表了相应的多普勒速度分布，然后针对剩余的雷达回波，检查其是否位于相应的余弦曲线上，因此与相应的多普勒速度分布一致。在此可以允许预定的偏差，即如果这些雷达回波位于相应余弦曲线周围的预定范围内，也可以将这些雷达回波分类为与相应的多普勒速度分布一致。当确定雷达回波的多普勒速度例如为0.5m/s时，可以例如通过预定的预期误差给出这样的偏差。然后确定有多少雷达回波与相应的多普勒速度分布一致，从而确认相应的对象假设。可以针对每对雷达回波、预定次数的迭代或直到达到预定的最小数量的一致雷达回波，执行此方法。
28.然后可以将本身一致或与共同的多普勒速度分布一致并且包括最多雷达回波(英文：best consensus set(最佳一致组))的那组雷达回波分配给相应的边界框。如果具有一致的多普勒分布的一组雷达回波至少对应于预定的最小数量，则该分配在此实际上可以执行或是成功的。例如，雷达回波的最小数量可以是3个，因为无论如何总是可以找到两个雷达回波的余弦曲线，该余弦曲线在多普勒速度/方位角坐标系中精确地穿过这两个雷达回波。如果数据受到一定量的噪声影响，则例如可以将最小数量预定为五个，以获得更可靠的结果。如果没有雷达回波的组或组合达到此一致雷达回波的最小数量，则雷达回波与边界框的关联可能会被丢弃或失败。然后，例如可以继续对各个雷达回波采用单回波方案，这将在下面进一步描述。
29.特别优选地，在此处描述的形成一组一致的雷达回波时，也可以考虑这些雷达回波的最小和最大或平均缩放误差或缩放因子。于是在该组中可以仅包含如下那些雷达回波，即这些雷达回波与共同的多普勒速度分布一致，并且其缩放误差能够以所描述的方式实现成功分配给相应的边界框，和/或至少基本上具有相同的缩放误差。例如，于是在一组一致的雷达回波中可以仅包含其缩放误差彼此相差至多预定值，例如至多10％或至多5％的那些雷达回波。
30.通过这里描述的措施，可以有利地特别可靠地确保只有那些实际上源自相同的真实对象的雷达回波才被分配给相应的边界框或相应的对象。最终，这可以有利地有助于特别可靠的对象探测以及对相应对象的改进的和更一致的跟踪。
31.为了可靠地实际上仅探测移动的对象，即特别相关的对象，这里也可以指定最小的多普勒速度作为用于考虑雷达回波的阈值。因此，可以根据该阈值过滤雷达回波，从而仅考虑如下那些雷达回波，或者在此为了形成一组一致的雷达回波，或者为了分配给相应的边界框，即针对这些雷达回波已确定高于预定阈值的多普勒速度。作为这样的阈值，例如可以规定0.5m/s的最小多普勒速度。
32.特别优选地，可以使用多个雷达装置或多个雷达传感器来检测来自机动车辆的周围环境的雷达回波。在对象线性移动的情况下，来自不同雷达装置或雷达传感器的雷达回
波或相应的结果或数据于是可以与相同的多普勒速度分布一致。结果，可以实现更加精确和可靠的分配，并且例如可以增加在最终确定的一组一致的雷达回波中的雷达回波的数量。
33.在本发明的有利改进中，使用雷达回波来估计相关对象的方位。将该估计的方位与相应边界框的方位进行比较。然后借助这些方位彼此之间的在此确定的偏差来评估分配和/或仅当该偏差小于预定阈值时才执行或保持该分配。这里可以在每次迭代中，即针对与多普勒速度分布一致的每组特定雷达回波，确定方位。然后可以将方位或其与边界框的方位的偏差用作相应组的雷达回波是否实际上分配给边界框或被分类为与对象一致的附加标准。同样，例如可以仅针对至少基于多普勒速度分布确定的最佳组的雷达回波来确定方位。后者可以有利地节省计算工作量。如果方位之间的偏差大于指定的阈值，则分配可能被抛弃或失败。然后可以对各个雷达回波继续单回波方案，这将在下面进一步描述。同样地，方位彼此间的偏差可以用作评估分配的基础，例如通过指定雷达回波与边界框的相应的关联或关联概率。
34.可以借助雷达回波确定方位，例如作为在坐标系中输入的雷达回波位置的回归线，可能考虑到它们的多普勒速度或借此确定的移动方向。同样，可以指定用于确定方位的另一种或更复杂的模型，该模型例如可以考虑借助摄像机数据确定的相应对象的类型或分类以及为其指定的形式和/或类似物。
35.通过在此提出将方位作为附加的标准予以考虑，可以有利地进一步提高分配的可靠性，并且因此最终可以实现机动车辆的更可靠和更安全的运行。
36.在本发明的有利改进中，确定相应边界框的方位，并因此确定被其包围的相应对象的方位。如所描述的，借助雷达回波，特别是与共同的多普勒速度分布一致的雷达回波，估计对象在基于雷达确定的方位的方向上的基于雷达的方位和移动速度。可以将基于雷达确定的方位和移动速度组合成相应对象或相应预估对象的基于雷达确定的移动矢量。然后将基于雷达确定的方位与边界框的方位进行比较。如果这些方位彼此间的偏差超过预定阈值，则检查相应的数据或值或结果是否与偏航对象，即围绕垂直于方位角平面的垂直轴旋转的对象一致。预定的、特别是与速度相关的偏航率和/或预定的速度在此用作合理的参考。特别优选地，在此可以借助摄像机数据对由相应边界框表示的对象进行分类，特别是在其类型或类别方面进行识别，其中，可以为不同种类、类型或类别的对象指定不同的合理参考或偏航率参考值。对象的这种分类也可以用作估计其速度的基础或用作合理速度范围的基础。例如，可以为不同类别或类型的对象指定具有合理值范围和/或值或值范围的合理组合的表格或数据库。
37.例如，如果车辆具有非零的偏航率，即正在转弯或例如行驶通过弯道，则该对象的相关雷达回波的多普勒速度分布还可以描述为具有两个自由度的余弦或余弦函数。然而，对象的偏航率或偏航或转弯会影响或扭曲或偏移基于雷达确定的方位和/或移动速度即对象的移动矢量。在这种情况下，通常不可能借助雷达回波或雷达数据分析解决具有三个自由度即速度、方位和偏航率的相应问题。因此，这里建议基于边界框的方位和估计或确定的速度来估计偏航率。借助预定的合理值或一个或多个预定的阈值，可以检查如此确定的偏航率和/或速度或其组合是否现实。例如，机动车辆的合理偏航率可能小于每秒60
°
。在这种情况下，车辆的速度越大，合理的横摆率就会越低。另一种可能性在于，如果与速度分布一
致的雷达回波的数量大于预定的数量阈值，则接受即保持或执行将与共同的多普勒速度分布一致的雷达回波分配给相应的边界框。作为这样的数量阈值，例如可以指定五。因此，如果-可能尽管探测到基于雷达确定的方位与相应边界框的方位存在偏差-一组与共同的多普勒速度分布一致的雷达回波包含至少五个雷达回波，则可以保持或执行将这些雷达回波分配给边界框，并且可能标记为或标明为源自偏航的或转弯的或环绕的对象。
38.特别优选地，可以使用多个雷达装置或雷达传感器来检测来自机动车辆周围环境的雷达回波。在这种情况下，可以估计相应对象的完整移动状态，即其速度、方位和偏航率。这基于如下认识，即使用两个单独的雷达装置或雷达传感器可以确定或估计多达四个自由度或参数。所确定的移动状态的可靠性或置信度在此可以特别优选地被确定或估计为第四参数。
39.通过此处描述的措施，可以有利地即使是对于偏航的对象也可靠地实现目标探测，，或者可以实现根据本发明的方法的改进的灵活性，这使得能够探测即使偏航的对象。
40.在本发明的有利改进中，确定雷达回波的缩放误差，其表示相应的雷达回波相距相应的边界框参照机动车辆的当前位置在径向方向上的距离。特别是，这可以是在其他地方已经提到的缩放误差。如果几个一致的移动雷达回波成功地分配给边界框，则分析在这些雷达回波的预定空间附近或周围环境中探测到或定位到的静止的雷达回波。在本发明的意义上，静止的雷达回波是如下那些雷达回波，即对于这些雷达回波，已确定了消失的多普勒速度，即零多普勒速度—至少达到预定的误差。于是也将那些被分析的静止的雷达回波分配给相应的边界框，这些雷达回波也与多普勒速度分布一致，并且其缩放误差与已经分配给相应边界框的移动雷达回波的缩放误差相比最多相差预定量。该做法基于这样的认识，即此类静止雷达回波也可以源自与移动雷达回波相同的真实对象。例如，当延伸的对象至少基本上垂直地穿过机动车辆的轨迹或移动方向时，情况就是这样。在这种情况下，例如可以从穿过的对象的前端和后端接收移动的雷达回波，并且可以从位于其间的对象的中心区域接收静止的雷达回波。通过此处提出的将这种静止雷达回波分配给相应的边界框，可以有利地更完整或更详细地表征相应的对象，这可以有利地例如实现更可靠的跟踪以及针对该对象基于移动的雷达回波确定的数据、特性或假设的合理性检查。
41.在本发明的另一有利设计中—特别是对于如下情况，即少于三个的移动雷达回波已被分配给边界框，或这样的分配已导致错误，即例如该分配被抛弃或失败，执行单回波方案。这种单回波方案是已经在别处提到的单回波方案，如果针对成功分配至少三个雷达回波的情况所描述的替代方案失败，或者例如只有一个或两个雷达回波被获取，则可以采用该单回波方案。例如，对于距离机动车辆较远并因此看起来很小的对象，可能就是这种情况。同样地，可以从一开始就采用单回波方案，其有利地比完整的或分级的方法需要更少的计算时间，从而可以有利地节省计算工作量。例如，可以省去对多普勒速度分布的确定或对ransac方法的应用或执行。经验表明，单回波方案特别用于如下对象，即这些对象在其—在对象的不同点确定的—多普勒速度方面没有太大变化或变动。例如，在交叉交通或对象以相对高的偏航率环绕的情况下，可能会出现这种过大的变化。
42.作为单回波方案的一部分，确定了相应边界框的方位，因此确定了被它包围的对象的方位。基于该方位，估计对象相对于机动车辆的当前位置的合理的多普勒速度。为此，例如可以为对象或不同对象的不同方位规定一个合理的速度范围。这样的规定也可以取决
于周围环境，从而例如在城市环境中相比于例如在高速公路上不同的速度可能是合理的。显然，对于其方位径向地直接朝向机动车辆的车辆，相比于其方位横向于机动车辆的轨迹或移动方向朝向的车辆，更高的多普勒速度是合理的。同样，在某些情况下或取决于相应的周围环境，例如反向于或垂直于特定方位朝向的多普勒速度可能是不可信的。例如，对于在城市环境中移动的机动车辆，1m/s到30m/s的范围可以被指定为合理的。
43.此外，在单独回波方案的情况下，通过将估计的多普勒速度与针对相应雷达回波基于雷达确定的多普勒速度进行比较，确定相应雷达回波源自被相应边界框包围的对象的概率。然后，仅仅或至少将为其确定了最高概率的雷达回波用作校正边界框距离的基础，即分配给边界框或与相应对象相关联。在这种情况下，也可以指定相应的概率阈值，对于成功的分配或关联，至少必须达到该概率阈值。这样，也可以可靠地探测到仅接收不到三个雷达回波的移动对象。
44.特别优选地，在已经确定具有最高概率的雷达回波之后，可以确定另外的具有以预定方式与其类似地测量的多普勒速度和/或缩放误差的雷达回波，并且可能同样分配给相应的边界框。在单回波方案中，也可以使用借助方位角和/或借助缩放误差的所描述的选通或所描述的加窗，以便实现将雷达回波特别可靠地分配给边界框。
45.特别优选地，可以针对多个单独的、随机选择的雷达回波或针对所有雷达回波，例如针对预定数量的雷达回波或直到达到预定结果或标准，执行单回波方案，包括随后分配其他类似的雷达回波。对于所有运行，然后可以采用具有最高概率和/或最大数量的雷达回波的那组雷达回波，即分配给相应的边界框。由此必要时同样可以提高分配的可靠性，以及也可以实现简化地或改进地跟踪相应较小的和/或相应地远离机动车辆的对象。
46.在简化的变体中，例如针对多普勒速度和/或缩放因子，代替概率，可以使用预定的离散值作为参考或比较值。如果估计的多普勒速度与基于雷达确定的多普勒速度的比较例如产生至多预定量的偏差，则可以进行分配。如果考虑缩放因子，则可以使用满足该条件的雷达回波，其具有最小的缩放误差。以这种方式，可以有利地在必要时节省计算工作量，从而可以实现更快地执行根据本发明的方法。
47.另一种可能性是，针对每个雷达回波(类似于ranasc)即如下雷达回波确定所有其他的探测：这些雷达回波在其缩放因子或缩放误差以及它们的多普勒速度方面与相应雷达回波或其缩放因子或缩放误差及其多普勒速度相差小于预定量或阈值。在此优选地，所有雷达回波都可以依次地或者例如随机选择地经受检查，即针对在缩放因子和多普勒速度方面相似的其他雷达回波进行检查。相应地针对雷达回波已确定了最大数量的其他雷达回波即所谓的内点，该雷达回波然后与针对该雷达回波确定的其他雷达回波一起被分配给相应的边界框。
48.在本发明的另一有利设计中，借助摄像机数据识别的并且为其生成或已生成边界框的对象，在其类别或其类型方面基于预定的种类进行分类。例如，对象可以被分类为车辆、机动车辆、轿车、卡车、自行车、行人等。为此，例如可以使用基于图像处理的传统的对象识别算法。在此将合理的、基于雷达确定的多普勒速度方向分配给每个预定的种类。如果对于被相应的边界框包围的对象的类型，针对相应的雷达回波确定的多普勒速度方向与合理的多普勒速度方向不同，则排除将雷达回波分配给边界框。换言之，这里可以考虑所谓的微多普勒效应。在此特别地，可以考虑不同多普勒速度方向的雷达回波之间的空间距离。也可
以针对不同的种类指定相应的合理距离。例如，对于行人，通常可以接收具有不同多普勒速度或不同多普勒速度方向的雷达回波，因为例如手臂和腿可以在不同的方向上移动，特别是与行人的总体移动方向相反，或者可以尽管行人有移动，但至少有时静止不动。因此，对于行人来说，可以预期具有不同多普勒速度方向的雷达回波，并且因此是合理的。例如，在机动车辆的车轮上会出现类似的效应。但是，相应地不同的雷达回波的空间距离应至少基本上对应于典型的或合理的车轮直径，以便能够合理地将其分配给机动车辆。考虑或检查多普勒速度方向的合理性可以有利地更可靠地实现将雷达回波分配给边界框或对象。
49.在本发明的另一有利设计中，借助摄像机数据识别的对象同样以所描述的方式针对它们的类型基于预定的种类自动地予以分类。在此将合理的多普勒速度范围分配给每个预定的类别。如果为相应的雷达回波确定的多普勒速度对于被相应的边界框包围的对象的类型位于合理的多普勒速度范围之外，则排除将相应的雷达回波分配给边界框。例如，可以为行人、骑自行车的人和机动车辆分配不同的合理速度范围。因此，多普勒速度例如为20m/s的雷达回波来自行人可能是不可信的。
50.换言之，可以基于所确定的多普勒速度对适合分配给特定边界框的雷达回波进行合理性检查或过滤。这也可以有利地提高将雷达回波分配给边界框的可靠性。
51.在本发明的另一有利设计中，至少针对移动的雷达回波确定相应的雷达横截面，即所谓的rsc值(rsc：radar cross section(雷达横截面))。借助摄像机数据识别的对象以所描述的方式，针对它们的类别或它们的类型基于预定的种类自动地分类。在此将合理的雷达横截面或合理的雷达横截面范围分配给每个预定的种类。如果相应雷达回波的雷达横截面对于由相应边界框包围的对象类型(即对于相应对象的种类)位于合理的雷达横截面范围之外，则排除将雷达回波分配给边界框。例如，可以将较大的rsc值分配给卡车或机动车辆。如果借助摄像机数据，将特定对象分类为卡车或机动车辆等，即作为具有相对较大rsc值的对象，则为了将雷达回波分配给该对象或其边界框架，可以抛弃或忽略具有较小雷达横截面的雷达回波，或以相应减小的权重予以使用或考虑。类似地，例如如果摄像机识别到行人，则可以预期相应地较小的雷达横截面。相应地，在将雷达回波分配给该行人或相应的边界框时，可以忽略、丢弃或以减小的权重或影响因素使用或考虑那些雷达回波，其雷达横截面或雷达横截面值大于行人的预期的或合理的雷达横截面范围。如果这样的雷达回波在它们的空间位置(即例如它们的缩放误差)方面与该对象或其余的分配给该对象的雷达回波一致，和/或例如与这些其余的雷达回波的多普勒速度分布一致，则也可以对雷达回波进行这种忽略、抛弃或予以最小加权。例如，来自金属柱比如交通标志或交通信号灯的雷达回波可能会产生具有相对较大雷达横截面的雷达回波，该雷达回波在空间上与位于附近的行人或其雷达回波一致。通过这里所描述的考虑雷达横截面，可以有利地进一步改进将雷达回波分配给对象或边界框，特别是以提高的可靠性和准确性来执行。
52.本发明的另一方面是一种具有环境传感器系统的机动车辆，该环境传感器系统具有用于获取机动车辆周围环境的摄像机数据的至少一个摄像机和用于将雷达脉冲发出到周围环境中并用于获取由该周围环境产生的雷达回波的至少一个雷达装置或至少一个雷达传感器。机动车辆还具有与环境传感器系统连接的数据处理装置，其中，根据本发明的机动车辆被设置用于自动执行根据本发明的方法的至少一个变体。为此，数据处理装置例如可以具有数据存储器和与其连接的处理器装置。然后可以将预定的计算机程序存储在数据
存储器中，该计算机程序对根据本发明的相应方法的方法步骤或序列或相应的控制指令和/或过程步骤予以编码或表示。该计算机程序然后可以通过处理器装置执行，以便引起或引发相应方法的特别是自动的执行。根据本发明的机动车辆尤其可以是结合根据本发明的方法提及的机动车辆。相应地，根据本发明的机动车辆可以具有结合根据本发明的方法提及的部分的或全部的部件、装置、组件和/或特性，或者被设置用于那里提及的过程或措施。
53.数据处理装置可以具有通信接口或数据接口，通过该接口可以接收摄像机数据或雷达回波或包括它们的雷达数据。数据处理装置也可以实施为用于控制摄像机和/或雷达装置的控制器。相应的控制信号然后可以通过通信接口或数据接口从数据处理装置发送到摄像机或雷达装置。数据处理装置或数据处理装置与环境传感器系统的组合可以形成机动车辆的驾驶辅助系统。
54.这种用于机动车辆的辅助系统本身可以是本发明的另一个独立的方面。
55.本发明的其他特征可以从权利要求、附图和附图描述中得出。上面在说明书中提到的特征和特征组合以及下面在附图说明中和/或单独在附图中示出的特征和特征组合，不仅可以在分别给出的组合中使用，而且可以在其他组合中使用或单独使用，而不偏离本发明的范围。
附图说明
56.图1是用于探测在车辆周围环境中的对象的方法的示例性示意性流程图；
57.图2是第一部分方法的示例性示意性流程图；
58.图3是第二部分方法的示例性示意性流程图；
59.图4是用于说明该方法的细节的示意性概览图；
60.图5是用于说明在该方法中可使用的概率函数的示意图；和
61.图6是用于说明在该方法中可使用的多普勒速度分布的示意图。
62.在附图中，相同的和功能相同的部件均标有相同的附图标记。
具体实施方式
63.如今，用于检测周围环境的不同类型的传感器已经在车辆技术中使用。然而可以观察到，不同的传感器具有不同的优势和劣势。迄今为止，经常发生的情况是，周围环境对象的数据或特性通过特定的传感器难以确定或不精确地确定，但仍使用该传感器确定。例如，这可以涉及纯粹的光学距离确定或基于雷达的分类或角位置的确定。因此有利的是，在数据处理过程中尽可能早地或低水平地对来自不同传感器的传感器数据执行数据融合，以获得组合测量，该组合测量以良好的质量确定或指明相应周围环境对象的所有属性，即结合了不同传感器类型的优势。此外，在基于摄像机识别到的周围环境对象与雷达探测之间建立直接关系也很有帮助。然后可以在下游的数据处理步骤或应用中使用这种组合探测，例如与仅基于来自单个传感器或单个传感器类型的传感器数据的探测相比具有相应更大的权重，例如在相应的数字环境表示例如动态地图网格或网格中。
64.图1为此例如示出了用于探测在车辆周围环境中的对象的相应方法的示意性流程图10。该方法将在下面也参考其他附图来解释。
65.该方法在此由机动车辆12执行，该机动车辆表示为图4中所示的示意性概图的一
部分。为此，机动车辆12具有辅助系统14，该辅助系统本身又包括用于检测或成像机动车辆12的周围环境16的摄像机和雷达装置。摄像机和雷达装置也可以布置在机动车辆12的不同位置，即在空间上分布地或彼此间隔开地布置。然而在任何情况下，摄像机和雷达装置在机动车辆12中或相对于机动车辆12的相应位置和方位是预定好的或已知的，尤其是固定的。因此，可以将不同的坐标系用于摄像机和雷达设备或相应的由其获取的传感器数据或测量数据，然而在它们之间可以基于规范以已知的方式进行换算或变换。
66.在当前情况下，在周围环境16中在最初未知的位置处存在对象18。此外，在周围环境16中可能存在其他的未在此处详细标出的移动的对象和/或静止的对象。在方法步骤s1中，周围环境16的摄像机数据通过摄像机来获取。在这个或一个或多个相应的摄像机图像中，对自动成像的对象予以识别和标记。在当前情况下，例如，将对象18识别为车辆，并且为该对象18生成边界框20，该边界框围绕摄像机数据中识别的对象18。此外，可以借助摄像机数据来确定或估计对象18的其他属性，例如其类型或类别、大小或范围、方向等。如果需要，可以考虑例如可以从机动车辆12的另一个辅助系统获得的预定假设或其他数据。
67.在例如可以至少基本上并行执行的方法步骤s2中，使用雷达装置扫描或采样周围环境16。从周围环境16接收大量的雷达回波22。可以为这些雷达回波22自动确定相关的多普勒速度vd、相关的距离、相关的例如相对于机动车辆12的行进方向24的方位角φ，和/或其他数据或特性。同样，雷达回波22或相应的雷达数据—如在方法步骤s1中获取的摄像机数据—可以配备有时间戳，该时间戳指明相应的获取时间。
68.如果在获取雷达数据之后不存在具有相同时间戳的摄像机数据，则可以在方法步骤s3中将可用的摄像机数据内插或外插到由雷达数据的时间戳指明的时间点。在这种情况下，例如可以相应地移动边界框20。
69.在方法步骤s4中，如果还没有发生多普勒补偿，则可以执行该补偿。在这种情况下，雷达回波22的多普勒速度vd可以借助雷达数据和机动车辆12的所调用的当前速度来确定。多普勒速度vd指明已产生相应的雷达回波22的周围环境对象在径向方向上即朝向机动车辆12或远离机动车辆12的速度分量。为了说明这一点，雷达回波22之一另外被标示为雷达回波26，其中，绘出了半径线，其将雷达回波26在径向方向上的位置与机动车辆12相连接。雷达回波26的多普勒速度vd是引起雷达回波26的周围环境对象的速度分量，该速度分量在全局坐标系中沿着该半径线朝向。基于多普勒速度vd，然后可以对雷达回波22进行滤波，以便挑选出具有消失的或低于预定阈值的那些多普勒速度vd。
70.在方法步骤s5中，可以将雷达回波22变换或投射到摄像机数据的坐标系中，或将雷达回波22和摄像机数据变换或投射到共同的或预定的坐标系中。这尤其可以是机动车12行驶的平面。这在图4中示出。
71.其中示出了从机动车辆12的角度来看由边界框20覆盖的方位角范围φ
c,min-φ
c,max
。为了在确定雷达回波22的方位角φ时考虑不确定性σ
φ
，方位角范围可以在两侧分别扩大不确定性σ
φ
，从而作为方位角范围最终考虑φ
c,min
+σ
φ
至φ
c,max-σ
φ
的范围。此外，针对剩余的即移动的雷达回波22，确定缩放误差λ，其指示相应的雷达回波22在径向方向上相距边界框20的距离。在此可以分别确定平均缩放误差λ或者例如相应的最小缩放误差λ
min
和相应的最大缩放误差λ
max
。
72.在方法步骤s6中，基于方位角φ和缩放误差λ进一步过滤雷达回波22。例如，位于
扩展的方位角范围之外的在此由叉号标记出的雷达回波22被过滤掉，并且还仅考虑位于扩展的方位角范围内并且其缩放误差落入预定间隔内的那些雷达回波22。
73.此外，可以针对雷达回波22确定缩放误差λ和方位角φ误差的相应概率。对此，图5示意性地示出了坐标系，例如可以在该坐标系的横坐标28上上绘制缩放误差λ或方位角φ的误差，并且在其纵坐标30上绘制相应的概率值。其中绘制了一个示例性的预定义的概率函数32。根据概率函数32，可以为以预定量为中心的相应值分配恒定概率，而可以为更大或更小的值分配相应更小的概率。
74.如果在方法步骤s6中的滤波之后保留至少三个雷达回波22，则该方法可以以方法步骤s7继续。此处可以检查剩余雷达回波22源自扩展对象的假设。如果该假设成功，则该方法可以在方法步骤s10中继续。如果假设失败，即不成功，则该方法可以在方法步骤s8中继续。为了说明这一点，图2为此示出了示例性的示意性第一详细流程图34。在方法步骤s7.1中，提供在滤波之后剩余的雷达回波22作为输入数据。在方法步骤s7.2中从它们当中随机选择两个候选者。在方法步骤s7.3中，针对这些选定的候选者，确定假设的周围环境对象的多普勒速度分布和估计的方位以及该估计的方位与基于摄像机确定并分配给边界框20的对象方位36的偏差。
75.为此，图6示意性地示出了坐标系，其x轴表示雷达回波22的方位角φ并且其y轴表示雷达回波22的多普勒速度vd。此处为在此示例性地选择的两个候选回波38绘制了预期的余弦曲线40，其对应于根据假设为两个候选回波38预期的多普勒速度分布。在此确定与该多普勒速度分布一致的一组雷达回波22。此处由叉号标记的两个雷达回波22与余弦曲线40偏离太多，因此被分类为与多普勒速度分布不一致，因此未记录在这组一致的雷达回波22中。
76.在方法步骤s7.4中，基于缩放误差λ和方位角φ的误差进行相应的比较，以便确定也与这些标准一致的相应组的雷达回波22。
77.如果已经确定了相应的一组雷达回波22，则在方法步骤s7.5中比较这些组的雷达回波22，以选择最佳组。在这个意义上的最佳组可以是例如最好地证实假设的那组雷达回波22，例如具有最高概率或最大数量的一致雷达回波22。如这里通过相应的循环路径所示，方法步骤s7.2至s7.5可以迭代地运行多次。
78.在方法步骤s7.6中，基于选择的最佳组的雷达回波22，可以估计底层的周围环境对象的速度及其方位。如果所选择的那组一致的雷达回波22包含足够多的雷达回波22并且基于其确定的方位和/或速度例如与摄像机数据或边界框20相比是合理的，则在方法步骤s7.7中将相应的假设分类或评估为成功。否则，该假设被分类为不成功或失败，并且该方法以方法步骤s8继续。可以在那里检验雷达回波22源自偏航的即旋转的对象的假设。在方法步骤s8中，为此在该假设或相应的预定相关条件或标准下，评估所估计的速度以及所估计的偏航率，或检查它们的合理性。如果在此表明相应的数据或值或假设雷达回波22源自偏航对象的结果是成功的，即合理的，即估计的速度和估计的偏航率在对于偏航对象合理的范围内，则该方法也在方法步骤s10中继续。否则，该方法以方法步骤s9继续。如果在方法步骤s6中过滤之后剩余的雷达回波22少于三个，则也执行方法步骤s9。
79.在方法步骤s9中执行单回波方案。为了解释这种单回波方案，在图3中示例性地示出了示意性的第二详细流程图42。其中，在方法步骤s9.1中，提供雷达回波22作为输入数
据。在方法步骤s9.2中，基于多普勒速度vd确定相应雷达回波22与假设的对象的关联或指配性的概率。在方法步骤s9.3中，为相应的雷达回波22基于缩放误差λ确定概率。在方法步骤s9.4中为相应的雷达回波22基于方位角φ确定概率。如果提供几个雷达回波22作为输入数据，则这可以针对每个或随机选择的雷达回波22来执行。在此可以分别使用相应的预定的概率函数32。
80.在方法步骤s9.5中，选择具有最高概率的雷达回波22。然后可以检查该概率是否满足预定的阈值。如果不是这种情况，则相应的假设，即相应的雷达回波22属于由边界框20表示的对象18，可以被丢弃，即分类为不成功或失败。在这种情况下，该方法可以结束，或以下一个边界框20继续，然后针对该边界框，该方法可以例如从方法步骤s6开始再次运行。同样地，对象18的对象探测然后可以仅基于摄像机数据输出，可能提供有相应降低的探测概率或权重。
81.另一方面，如果在方法步骤s9.5中选择的最佳雷达回波22的概率大于概率阈值，则可以在方法步骤s9.7中根据一个或多个预定标准识别与该雷达回波22相似的雷达回波22，以便必要时在这种情况下还形成一组雷达回波22，其可以分别与边界框20和对象18相关联。不管这种类似的雷达回波22是否可以被识别，在方法步骤s9.8中将相应的假设分类为成功的。
82.然后在方法步骤s10中使用根据方法步骤s7、s8或s9成功分配给边界框20或对象18的雷达回波22，以便基于其基于雷达所确定的距离来校正边界框20相距机动车辆12的先前仅估计的距离。在这种情况下，边界框20可以例如在径向方向上移动成功分配的雷达回波22的缩放误差λ，在图4中即例如移动到对象18的用虚线标出的位置。
83.在方法步骤s11中，为由此探测到的对象18生成相应的测量或相应的对象探测或相应的指示成功的对象探测的对象数据组。该对象数据组可以包括具有校正距离的边界框20、成功分配的、即相关联的雷达回波22，以及有时还包括在该方法的过程中确定的其他变量或数据。
84.在必要时可选的或取决于应用的方法步骤s12中，基于该对象数据组或对对象18的成功探测，然后例如可以跟踪对象18或进行更新，可以将探测或对象18输入到动态的地图网格或网格中，控制机动车辆12，等等。特别地，可以将对象数据组中指明的雷达探测标记为实际上源自真实的周围环境对象，并且可以相应地以相应高的置信度用于其他数据处理，因为可以假设其例如不是杂波回声。
85.总之，这里建议在每个单独的测量周期中直接基于摄像机数据来确定具有方位和大小的边界框，并将雷达的原始多普勒探测分配给这些边界框。例如，由于雷达辐射的杂波回波和多径传播以及可能的高对象密度(例如在市区或交通拥堵情况下)，这样的分配并非微不足道。所提出的方法首先尝试通过组合具有一致的多普勒轮廓的多普勒探测来实现与扩展的摄像机对象的关联。在此可以借助多普勒曲线和由此产生的方位估计来评估关联。此外，在相应边界框的基于摄像机确定的距离中的缩放误差λ可以通过基于雷达确定的距离进行校正或使其合理化。结果，可以获得原始多普勒探测(即相应的原始雷达数据)与基于摄像机识别的对象的直接关联，以及获得相应地校正的对象探测。在此不仅可以探测在径向方向上位于前方或朝向机动车辆12移动的周围环境对象，而且例如可以借助合理性检查，使用多普勒曲线特别快速地识别或提取或探测从侧面即至少基本上垂直于行进方向24
进入周围环境16或辅助系统14的检测范围的周围环境对象。在该方法中，雷达探测被分组和关联到周围对象可以有利地用于随时间对周围环境对象的跟踪的特别稳健的更新(轨迹更新)。
86.总之，所描述的示例因此表明了如何可以实现基于多普勒探测和边界框的雷达摄像机关联，以实现改进地探测车辆周围环境中的特别是移动的对象。
87.附图标记清单
88.10 流程图
89.12 机动车辆
90.14 辅助系统
91.16 周围环境
92.18 对象
93.20 边界框
94.22 雷达回波
95.24 行进方向
96.26 雷达回波
97.28 横坐标
98.30 纵坐标
99.32 概率函数
100.34 第一详细流程图
101.36 对象方位
102.38 候选回波
103.40 余弦曲线
104.42 第二详细流程图
105.s1-s12 方法步骤
106.φ 方位角
107.φ
c,min-φ
c,max 方位角范围
108.λ 缩放误差
109.λ
min 最小缩放误差
110.λ
max 最大缩放误差
111.σ
φ 不确定性
[0112]vd 多普勒速度