用于确定激光雷达相对于待测量对象的当前位置和/或朝向的方法与流程

本发明涉及一种用于确定包括激光雷达的测量系统相对于利用所述系统测量的对象的当前位置和/或朝向的方法。

背景技术：

1、激光雷达是已知的现有技术，并且可以应用在通过计算机控制，以操纵激光束来测量xyz坐标的装置。所要测量的点的距离是根据从所述点反射的激光束的一些特性，例如相移来确定。到所要测量的点的朝向则是根据光束转向机构的当前朝向确定，所述光束转向机构通常是可绕两个垂直轴旋转的反射镜或棱镜。

2、如图1所示，对象2上的点1的xyz坐标可以根据来自激光雷达3的距离和朝向信息来计算。在激光雷达主体5的顶部示出了可转向的反射镜或棱镜4，用来将光束6引导投射到对象2上的点1上并记录范围7。点1的xyz值由反射镜或棱镜相对于主体5的垂直角度8和水平角度9的读数，以及来自激光测距仪的范围或距离数据来确定。

3、激光雷达也称为lidar或ladar，已在市场上销售，通常在工业、建筑、土木工程和其他行业用来扫描(即快速测量多个待测量点)对象和表面。

4、激光雷达通常可以在大范围的角度内将激光束转向，并以高精度记录这些角度，从而提供优异的覆盖范围，例如长方体内部的覆盖范围。然而，激光雷达通常依赖于直接视线，因此无法测量不在当前位置直接视线范围内的对象的任何部分。因此，如果要覆盖固定长方体的整个外表面，必须将激光雷达移动。

5、激光雷达的xyz数据可能与设备主体的位置相关。如果设备从已知位置和朝向移动，则需要取得新位置和新朝向的精确信息，才能关联移动前后获取的数据到一个共同的坐标系中。

6、机器人也是已知的现有技术。在本说明书中可以理解成以计算机控制而能够将机械接口移动到多个位置和朝向的机械机构。所述机械接口通常称为工具中心点(tcp)，是用于连接工具或其他移动中设备。世上存在各种机器人实施例，都可使用能进行线性或旋转运动，或这些运动的组合的装置，以提供不同数量的自由度的tcp运动。tcp在给定时间点的位置和朝向通常是通过分配给每个轴向运动或线性运动的一系列传感器或编码器的同时读数来确定。

7、如图2所示，在雷达主体是由机器人10驱动而围绕对象2移动的情况下，使用机器人10所能够测量该对象的范围比从单一位置所能测量的范围更大，为其优点。安装在机器人上的激光雷达可以将来自激光雷达的信息与来自机器人控制器的信息相结合，以确定一组一致的xyz数据，来表示所述对象任何区域。不幸的是，虽然大多数机器人具有足够的精度来完成诸如喷漆、焊接和装配等工业任务，但只有特殊且相当昂贵的机器人才具有足够的精度，可以提供足够精确的运动信息，从而不会显著降低所述机器人所移动的激光雷达所提供的xyz数据的整体精度。高精度机器人也可能因为尺寸太小且自由度有限，无法在生产线所遭遇的扩展温度范围内精确操作，并且可能需要频繁的维护或校准。这些都是在生产环境中不可接受的缺点。

8、当使用由机器人移动的激光雷达进行精确测量时，通常使用激光雷达本身来确定其当前位置和朝向。这通常是通过在每次机器人移动后测量对象上或对象周围已知位置的至少三个特征(通常是工具球)来完成。

9、然而，如果该方法用于汽车生产线和类似应用等内部，则存在缺点。由于工作的循环时间有限，这意味着待测量的对象只能在有限的时间内保持静止—通常为30到90秒。用于监控维度的生产单元需要在可用的周期时间内测量对象上尽可能多的特征。使用激光雷达在每次移动后必须确定激光雷达的当前位置和朝向的过程就会限制激光雷达的适用性。例如，要测量车身内难以接近区域的单一特征(例如狭缝)，可能需要将激光雷达移动到专用位置，然后测量至少三个已知特征，例如工具球，才能测量确定激光雷达的精确位置，最后才能测量狭缝本身。显然，绝大多数时间都浪费在准备过程步骤中，而不是在测量所需的对象特征。这对于需要多次移动机器人的对象尤其重要，例如完整的汽车车身。这种技术上的挑战严重限制了激光雷达的适用性。

10、从现有技术已知，通过将表面测量装置(例如光学扫描仪)牢固地安装在导航框架内并将大量目标嵌入所述框架上，并确保从任何朝向都可以看到至少三个相距较远的目标，可以非常快速地确定安装在机器人上的表面测量装置的位置和朝向。然后可以通过在对象坐标系中操作的多个相机或相机对来观察该框架。观察所述导航框架的结果将能够确定扫描仪的当前位置和朝向。以此处所述方式操作的系统可在商业上使用。相同的方法也可以用来解决上面讨论的激光雷达挑战。

11、然而，虽然这种“导航框架”型的解决方案具有相机可以从任何朝向观察扫描仪的优点，但它也导致解决方案的实施成本高昂的结果，因为通常需要许多目标和许多相机来确保扫描仪在任何朝向能够满足所需的覆盖范围—由于扫描仪具有固定的视野，因此需要真正的全向跟踪解决方案。与此相比，激光雷达具有可转向的激光束，因此适合测量更广的给定特征的位置和朝向范围，并且不需要真正的全向解决方案。

12、此外，众所周知，激光雷达的内部坐标系会随着朝向的变化而发生涵式变化。激光雷达的规格通常仅在给定的朝向范围内有效，且当期朝向超出该范围时，其内部坐标系可能会出现偏移，尤其在汽车生产单元中所必需访问时。

13、当使用激光雷达本身测量参考目标以进入对象坐标系时，这种影响在很大程度上被消除，因为定义对象坐标系的参考目标也是在这个潜在偏移坐标系中进行测量，因此后续的激光雷达测量从相同的位置也会偏移相同的量，使误差得到补偿。然而，如果将上述“导航框架”型的解决方案应用于激光雷达，则该误差将无法得到补偿，从而导致精度降低。因此，采用传统用于快速导航设备的已知方法并不能为激光雷达提供最佳结果。

14、ep 0 607 303示出了包含至少三个基准点的对象和观察所述基准点的相机的相对位置和朝向可以在相对于相机的固定内部坐标系的所有六个自由度上确定。相机测量朝向每个基准点的空间方向，据以确定包含所述基准点的对象的位置和朝向。但该专利要求基准点不能在一条线上，并且基准点相对于彼此的位置需是已知，也就是说，基准点位于预定或已知的图形中。然而，ep 0 607 303没有公开当激光雷达四处移动时，应如何补偿误差。

技术实现思路

1、本发明所要解决的客观技术问题是克服上述缺陷。本发明的目的特别是提供快速且精确的对象空间测量。这个客观技术问题由独立权利要求的特征解决。

2、本发明的一个方面涉及一种用于确定激光雷达相对于对象的当前位置和/或朝向的方法。该方法可以由计算机执行。相机系统连接到所述激光雷达。该方法包括：通过获得与对象具有固定空间关系的至少三个参考目标的一幅或多幅图像来确定相机系统相对于对象的位置和/或朝向。从存储器获得至少三个参考目标彼此的相对空间关系和/或位置。通过使用至少三个参考目标彼此之间的相对空间关系，以及从相机观察到的从相机到至少三个参考目标中的每一个的空间朝向来确定参考目标相对于相机的位置和/或朝向。接着，从存储器获得相机系统和激光雷达之间的空间关系。通过使用所述对象相对于相机系统的位置和/或朝向，以及相机系统与激光雷达之间的空间关系来计算对象相对于激光雷达的空间位置和/或朝向。

3、由此，本发明提供一种方法，该方法允许包括激光雷达的测量系统精确且快速地确定其相对于对象的位置。本发明可以避免移动激光雷达(和相机系统)的机器人的不精确性，因为本发明相机系统提供了激光雷达相对于对象的当前位置和/或朝向的实时测量。因此，本发明的基于激光雷达的测量系统可以使安装在机器人上的激光雷达进行快速而精确的xyz测量。即使需要多个机器人运动步骤，也可以进行快速而精确的xyz测量。本发明可以在以前不适合使用激光雷达的应用中使用激光雷达。因此可以使用简单、廉价的机器人。

4、所述至少三个参考目标不在一条线上。所述存储器可以是具有例如易失性或非易失性存储器的电子存储器。所述存储器中的数据可以从服务器获取。所述参考目标相对于相机系统的位置和/或朝向的计算可以限定在相机系统的坐标系中。所述相机系统和所述激光雷达之间的空间关系的存储可以是与上述相同的存储，也可以是不同的存储。

5、在本发明优选实施例中，该方法还包括将所述相机系统连同机器人从第一位置移动到第二位置的步骤，其中第二位置是当前位置。

6、在本发明优选实施例中，激光雷达的当前位置和/或朝向是在相机和激光雷达与机器人移动时确定。在特别优选的实施例中，是在判断移动已经结束时来确定所述位置和/或朝向。因此，激光雷达的当前位置和/或朝向始终是已知的。另外或替代地，该位置是在机器人移动期间确定的。

7、在本发明优选实施例中，相机系统固定地附接到激光雷达的光束转向机构。光束转向机构特别是反射镜或棱镜。例如，相机系统可以附接到反射镜的背面。当用相机进行位置确定时，可以将反射镜翻转。在该实施例中，可以简单地确定相机系统的当前位置和朝向。在这种情况下，反射镜(或棱镜)的朝向影响激光雷达和相机系统的坐标系之间的空间关系。所述空间关系(例如变换矩阵)可以根据相机系统的位置偏移和反射镜的当前朝向来计算。

8、在本发明优选实施例中，相机系统固定地安装到激光雷达的主体，使得相机系统和激光雷达之间的空间关系固定不变。这可能意味着相机系统坐标系和激光雷达坐标系之间的空间关系保持固定。

9、在本发明优选实施例中，所述至少三个目标位于对象上。具体而以言，所述至少三个目标附接到对象并且由对象的已知特征(即，由对象的转角)限定。

10、在本发明优选实施例中，所述相机系统包括广角镜头相机和/或具有不同视场的两个或更多个相机。由此，本发明可提供大视场，使得相机系统能够记录目标。

11、确定激光雷达和相机系统之间的所述空间关系可以涉及使用相机系统和激光雷达两者测量相同的点或特征，但在过程中保持两个系统静止。由于这两个测量系统的性质不同，上述方法可能并不可行，而是应该以测量彼此具有已知空间关系的点或特征替代。

12、在本发明优选实施例中，还可根据对机器人上的一个或多个预期测量位置，确定相机系统和激光雷达之间的空间关系，而产生存储器中的相机系统和激光雷达之间的空间关系，以将该位置数据使用于从所述预期测量位置进行后续测量。利用这种方式，使得内部激光雷达坐标系中的任何误差，例如来自过度倾斜的误差，都可得到补偿。

13、如上所述的空间关系也可以是指坐标系的变换，特别是一个或多个坐标变换矩阵。例如，在确定相机系统和激光雷达之间的空间关系时，可以先确定一个坐标变换矩阵，以使用该坐标变换矩阵将相机系统的坐标变换成激光雷达的坐标。

14、所述参考目标可以是适合于测量系统进行精确测量的任何物理实体或元件。

15、所述一个或多个或所有目标可包括基准点。所述基准点定义为适合使用包含相机的测量系统进行精确测量的元件。所述基准点可以是配置在成像系统视场中的对象，可出现在所产生的图像中，用作参考点或测量点。所述对象可以是配置于该对象内或对象上。

16、因此，术语“目标”可包括基准点，但某些目标可能不是基准点。该目标的示例包括例如工具球、嵌套、划线等。基准点的示例包括例如摄影测量标记和发光二极管。

17、该基准点适合使用包括相机的测量系统进行测量，但可能不适合通过激光雷达进行测量。物理目标通常适合通过激光雷达进行测量，但可能不适合通过基于相机的测量系统进行测量。

18、在本发明优选实施例中，所述参考目标中的至少一个包括至少三个可由相机系统观察到的基准点和可由激光雷达测量的物理元件，所有这些基准点都位于已知的彼此相对位置。在本发明实施例中，至少一个物理元件可以是工具球。因此，相机系统可以通过观察基准点来快速测量参考目标，而激光雷达可以测量该物理元件。由于基准点和物理元件之间的关系已知，因此所述参考目标适合于两个系统的精确测量并且使得两个系统能够确定工具球的中心的位置。

19、在本发明另一优选实施例中，至少一个目标，优选地至少三个目标，包括具有基准点的球体。该基准点可以是发光二极管或光学标记。该基准点可以放置在球体的中心，使得相机能够确定从一侧到所述至少三个参考目标的空间方向。所述参考目标用于使激光雷达通过扫描球体表面来测量中心的位置。假设用相机观察到的基准相对于另外观察到的至少两个其他参考目标的空间位置为已知，则可以在测量之前就得知相机系统和激光雷达之间的空间关系。

20、在本发明一种优选实施例中，所述参考目标是巢座，其内安装在球形上的基准点可由相机系统观察到，或者有相同尺寸的物理球体可由激光雷达测量。

21、本发明的另一方面涉及一种用于确定对象的测量方法，包括如上所述确定对象的当前位置和/或朝向的步骤，以及测量所述对象的一个或多个物理特征的步骤。在确定激光雷达相对于所述对象的空间位置和/或朝向之后，可以测量对象的物理特征。

22、本发明的另一方面涉及一种包括指令的计算机程序，当该程序由计算机执行时，该指令使得计算机执行如上所述的方法。

23、本发明的另一方面涉及一种包括用于执行如上所述的方法的装置的系统。优选地，该系统包括相机系统和用于将相机安装至激光雷达的支架。可选地，该系统还包括激光雷达。