用于对挂车定方位的方法、处理单元和车辆与流程

本发明涉及用于对挂车定方位的方法、用于执行该方法的处理单元和具有处理单元的车辆。

背景技术：

1、在牵引车周围环境中对挂车进行精确的定方位是至关重要的，以便例如能够在接近或联接过程中规划精确的轨迹，或者以便估计已联接的挂车与牵引车之间的偏转角以例如用于稳定功能。为了对挂车定方位，在此有必要获知挂车定位和/或挂车定向，即，相应的挂车在三维空间中的挂车姿态，这通常是通过相应的传感器和/或借助图像处理来执行的。因此例如规定：借助激光雷达传感器或3d立体相机在空间上对挂车定方位，和/或借助挂车上的附加的平面标记结构(qr码或aruco标记)来估计挂车定位和/或挂车定向。此外还已知如何借助单目相机通过使安装有相机的车辆向前和向后运动而基于摄影测量方法(即所谓的运动恢复结构(structure from motion)(sfm))来确定场景的3d结构。

2、例如在de 10 2016 011 324 a1、de 10 2018 114 730 a1、wo 2018/210990a1或de 10 2017 119 968 a1中描述了借助图像处理导出相应对象或挂车相对于相机或牵引车的挂车定位和挂车定向。根据该挂车定位和挂车定向，可以获知偏转角或距离。利用单目相机也可通过下述方式来获知挂车姿态：在所拍摄的单幅图像中对至少三个标记(优选平面地布设在挂车上)定方位，并在知晓挂车上的标记定位的情况下获知可导出挂车姿态的变换矩阵。

3、us2014 200759a中也介绍了通过相机来识别偏转角的方法，其中，从牵引车上随时间观察挂车上的平面标记，并据此估计偏转角。jp 2002 012 172a、us2014277942a1、us2008 231 701a和us 2017106796a也描述了根据平面标记进行的偏转角识别。在us2006293 800a中，联接点可以携带标记，以方便进行自动识别。标记可以具有特殊的颜色、纹理或波浪反射特性。de 10 2004 025 252 b4中还描述了通过从发送器向半圆形或半球形反射器发送射束并随后探测反射的射束来获知偏转角。de 103 025 45a1中还描述了通过对象识别算法检测耦联器。ep 3 180 769 b1中还描述了通过相机检测挂车尾部，并从图像中识别可跟踪的特征，如边缘或棱角。然后随时间对这些特征进行跟踪，以便尤其推断出牵引车与挂车之间的偏转角。

4、us2018 039 266a中补充性地描述了对二维条形码或qr码的信息的使用。de 102016 209 418 a1中也可以利用相机读取qr码，以便辨识出挂车并向倒车辅助系统传达挂车参数。替代地或补充地，位于挂车上的rfid读取设备可对例如以标签形式安置在牵引车上的rfid应答器进行读取。这样就可以计算出qr码或rfid应答器的定位。在此并没有获知定向。wo18060192a1中也给出了借助基于无线电的应答器的解决方案。de 10 2006 040879 b4中也使用了挂车上的rfid元件，以用于在驶近时进行三角测量。

5、wo 2008064892 a1中提供了具有可由相机识别的至少三个辅助点或测量点的观测元件。根据几何上的考量来获知辅助点重心的坐标或矢量，并据此来获知测量点相对于相机或图像传感器的坐标。由此可以获知偏转角。

6、所描述的解决方案的缺点是：这些方法或系统要么执行起来非常复杂，要么需使用成本高昂的传感器和额外要安置的标记或类似物，要么无法在不同环境条件下可靠地检测标记。例如，在黑暗中和/或在极端或平直的闪光角度下，无法可靠地检测到平面标记，这意味着无法可靠地确定挂车姿态或挂车相对于牵引车的偏转角。此外，没有这种标记的挂车无法被定方位。

技术实现思路

1、本发明的任务是给出一种方法，利用这种方法可以以少的结构上的耗费和较低的成本耗费对环境中几乎任何挂车进行定方位。任务还在于给出处理单元和车辆。

2、该任务通过根据独立权利要求所述的方法、处理单元和车辆来解决。从属权利要求给出优选的扩展方案。

3、因此，根据本发明，提供了在牵引车环境中、尤其在后部空间对挂车定方位的方法，该方法至少具有以下步骤：

4、-读取至少一个单幅图像，在单幅图像中牵引车周围的环境是二维成像的，即读取在二维坐标系中的场景表示；

5、-在使用图像处理算法的情况下从至少一个读取的单幅图像中获知特征表示，其中，在特征表示中表现出待定方位的挂车的限定的特征，即，从二维场景表示生成其中仅表现出场景的特定特征(空间上的特性、边缘、强度值等)的表示，其中，该表示可以是二维或三维的；-从挂车数据库中读取至少一个模型数据集，其中，在每个模型数据集中典范性地建模有限定的挂车模型；

6、-改变至少一个读取的模型数据集中的相应的挂车模型的模型定向和/或模型定位和/或模型姿态来使相应的挂车模型与获知的特征表示匹配或吻合，

7、其中，对于相应的挂车模型在考虑到公差的情况下与所获知的特征表示基本上匹配或吻合的情况：

8、-从调设的模型定向获知待定方位的挂车的挂车定向，和/或-从调设的模型定位获知待定方位的挂车的挂车定位，和/或-从调设的模型姿态获知待定方位的挂车的挂车姿态。

9、因此，相应读取的挂车模型通过相应的二维或三维运动(平移、旋转、必要时缩放)与之前从场景表示生成的特征表示基本上相一致，即两个表示在公差内或非常良好地相互叠合。一旦发生这种情况，相应地针对在相应的单幅图像中成像的挂车采用挂车模型当前的或调设的定位和定向。因此，有利地只需要一台能够拍摄二维图像的单目相机、相应的图像处理算法以及具有相应存储的挂车模型(从该挂车模型中可以根据几何上的考量直接导出匹配或吻合后的挂车定位和挂车定向或挂车姿态)的数据库。因此，无需在相应的挂车上的额外的标记或牵引车辆上的昂贵的传感器，从而无需进行耗费的改装即可灵活使用。

10、根据本发明，还提供了处理单元和具有这种处理单元的车辆。

11、根据一个实施方式规定：获知作为特征表示的点云表示，其中，点云表示包含由多个对象点组成的点云，其中，对象点至少也配属给环境中的挂车(并且在必要时配属给其它对象)。因此，在点云表示中，至少挂车优选通过其三维挂车形状或其三维特性来表现出限定的特征，这样就能清楚地辨识出挂车或与所读取的挂车模型进行比较。在点云中还可表现出挂车的一系列空间上的细节或特征。

12、此外优选规定：在使用sfm算法的情况下来获知点云表示的点云，其中，通过sfm算法借助对挂车上的多个对象点进行三角测量从至少两个读取的单幅图像来获知深度信息，并依赖于相应的深度信息从多个对象点中生成点云。通过这种方式，仅利用单目相机就能借助相应的图像处理(sfm，structure from motion(运动恢复结构))来获得挂车的三维特征表示。

13、于是在该实施方式中优选规定：读取作为模型数据集的3d模型数据集，其中，3d模型数据集中的相应的挂车模型通过模型点三维描述。与特征表示或点云一样，所读取的挂车模型因而也是三维的，以便可以在同一(三维)坐标系中发生匹配或吻合，并相应地使空间上的细节基本一致。于是，这可例如如下地以简单的方式实现：优选在公差内使相应的3d模型数据集的模型点与点云表示中的对象点重合，从而使相应的挂车模型与获知的点云表示匹配。

14、根据另一个实施方式规定：获知作为特征表示的边缘表示，其中，在边缘表示中，至少挂车边缘表现为待定方位的挂车的限定的特征。该实施方式在此可用作对特征表示的另一实施方式的替代或补充，例如作为冗余或用于可信度检查。因此，成像的挂车边缘被视为特征，这样就能以简单的方式清楚地辨别出挂车或与所读取的挂车模型进行比较。

15、为此优选规定：在使用边缘算法，例如canny、sobel、prewitt等算法的情况下从至少一个读取的单幅图像尤其是获知边缘表示的挂车边缘。因此，也可以通过简单的图像处理从单目相机拍摄的仅一个(或多个)单幅图像生成相应的二维(或三维)边缘表示，该边缘表示可用于后续的定方位过程。在此优选规定：读取作为模型数据集的边缘模型数据集，其中，通过对于建模的挂车模型具有表征性的模型边缘来描述边缘模型数据集中的相应的挂车模型。因而对边缘进行相互比较，并使其基本一致或重合，以便使挂车模型与边缘表示吻合或匹配。边缘模型数据集在此与边缘表示一样，可被实施成二维或三维的，其中，两者优选具有相同的维度，以避免进行坐标变换

16、根据另一个实施方式规定：获知作为特征表示的强度表示，其中，在强度表示中，至少挂车强度值在空间分辨率上表现为待定方位的挂车的限定的特征。该实施方式在此可用作对特征表示的另一实施方式的替代或补充，例如作为冗余或用于可信度检查。因此，至少要考虑配属给挂车上的一个或多个对象点的、在相应的色彩空间中的强度值。因此，挂车强度值与例如一个或多个特定颜色通道有关，即在rgb颜色空间中的红色(r)、绿色(g)和蓝色(b)，或在cmyk颜色空间中的青色(c)、洋红色(m)、黄色(y)和黑色分量(k)。与之具有相同效果的是：也可以检测相应色调的色值。

17、为此，优选规定：读取作为模型数据集的强度模型数据集，其中，强度模型数据集中的相应的挂车模型通过对于建模的挂车模型具有表征性的模型强度值在空间分辨率上描述，优选以二维方式描述。因此，在该实施方式中，对强度值进行相互比较，并使其在空间分辨率上基本一致或相同，以便使挂车模型与强度表示吻合或匹配。因此，利用点云、边缘和强度值就可以使用待定方位的挂车的一系列限定的特征(这些特征还可典范性地被建模)，以便能够以简单的方式执行后续的匹配或吻合。

18、此外优选规定：建模的挂车模型在相应的模型数据集中缩放地表现，例如通过存储相应建模的挂车模型的尺寸。例如，当在相应的模型数据集中对挂车建模时，缩放的重要性在于：可以根据待定方位的挂车的尺寸(过小或过大)在相应的模型数据集中更容易地找到该挂车，并且还可以更好地估计或顾及定方位的挂车的远近。在接近时可以相应地考虑缩放挂车模型。

19、此外优选规定：通过对相应读取的模型数据集应用几何变换来改变相应的挂车模型的模型定向和/或模型定位和/或模型姿态。因此，存储在相应的模型数据集中的细节(三维模型点、模型边缘、模型强度值)在维持挂车模型的形状的情况下通过几何变换在相应的坐标系中“运动”，即移位和/或扭转和/或缩放，其中，这种“运动”可通过几何变换来描述。由此，随后可以通过下述几何变换来以简单的方式获知待定方位的挂车的挂车定向和/或待定方位的挂车的挂车定位和/或待定方位的挂车的挂车姿态：通过应用该几何变换，相应的挂车模型与获知的特征表示匹配。因此，通过变换，可根据几何考量、尤其还根据相应的相机的校准来得出当前的相应定向、定位或姿态。

20、此外优选规定：相应的挂车模型与获知的特征表示的匹配以多个迭代步骤来实现，其中，相应的挂车模型的模型定向和/或模型定位和/或模型姿态在相应的迭代步骤中迭代地被改变。在此，为了顾及到待定方位的挂车的不同远近或大小，搜索或匹配能够以不同的分辨率级别进行(关键词：图像金字塔)。因此，使用迭代过程以使相应的模型数据集中的挂车模型与相应的特征表示尽可能快速且简便地达到基本一致。

21、在此优选规定：在退出标准成立时，中止相应的挂车模型与获知的特征表示迭代地匹配，其中如果出现下述情况，则满足退出标准：-已达到迭代步骤的迭代次数，和/或

22、-相应的模型数据集中的挂车模型与相应的特征表示中的分别配属的特征之间的平均距离低于边界距离。如果满足退出标准，则可以认为挂车模型基本上与相应的特征表示吻合或匹配。这意味着可以轻微的偏差为代价，以避免在时间上过久的迭代过程并因此更快地完成定方位，在此又不会太影响该方法的准确性，其中，可以通过相应地规定迭代参数来调整准确性。

23、此外优选规定：通过相应读取的模型数据集的挂车模型典范性地对底盘和/或车身和/或耦联器建模。因此，不一定要对整个挂车进行详细建模，而是只需能够清楚辨别出挂车的显著或表征性的特征即可。这样既可以减少数据量，又能提供后续过程可用的精确定方位。为此例如可以规定：根据挂车的获知的挂车定向和/或挂车定位和/或挂车姿态来获知挂车相对于牵引车的偏转角和/或牵引车接近挂车的轨迹。通过这种方式，就可以提供灵活应用，其基于不那么复杂的定位过程来实现。