激光传感器手眼标定方法、焊接系统、电子设备及介质与流程

本发明涉及手眼标定，尤其涉及一种激光传感器手眼标定方法、焊接系统、电子设备及介质。

背景技术：

1、激光传感器是一种基于三维重建的计算机视觉技术，它通过投射一条光线对物体表面形貌进行编码，从而实现对物体表面三维信息的获取。可实现机器人的轨迹规划、路径规划、定位和视觉检测等功能，为机器人的自动化生产和智能化服务提供重要支持，为得到被测物体在机器人基坐标系下的三维数据，其技术前需要知道机器人末端执行器(手)与相机(眼)之间的变换矩阵，从而实现机器人与相机的协同工作。

2、目前针对线激光扫描机器人的手眼标定方法中，一般要求使用标准标定物(如标准圆柱、标准球、三维标定板等等)，但这种标准标定物的标定成本较高，且仍存在其标定精度较差、标定速度较慢的问题：

3、在以标准圆柱为例的标定物中，其在计算时使用点云数据拟合椭圆圆心，结果受线激光器误差、噪声等影响大，不便在加工现场快速标定；

4、而在以标准圆为例的标定物中，由于系统在获取标准球球心在传感器坐标系下的坐标值(x,y,z)过程中，需要根据建立坐标系并对判断y值的正负，其精度较差，难以其准确获取标准球球心在机器人基坐标系的坐标值。

5、因而，如何在没有标准标定物的情况下快速地完成机器人的手眼标定，已成为业界目前亟需解决的技术问题。

技术实现思路

1、本发明提供一种激光传感器手眼标定方法、焊接系统、电子设备及介质，以解决如何在没有标准标定物的情况下快速地完成机器人的手眼标定的问题。

2、根据本发明的第一方面，提供了一种激光传感器手眼标定方法，用于确定相机坐标系到机器人末端坐标系下的旋转矩阵与平移矩阵；其中，所述激光传感器搭载在机器人的末端，所述相机坐标系为激光传感器对应的坐标系，所述机器人末端坐标系为所述机器人末端对应的坐标系；所述方法包括：

3、放置标定物于机器人的工作范围内；其中，所述标定物至少具有第一直边；

4、在机器人的同一位姿下的不同坐标下控制激光传感器向所述第一直边发射激光，获取所述第一直边上n个特征点在相机坐标系下的坐标，其中，n为整数，且n≥3；

5、在机器人的同一位姿下的不同坐标下控制其末端传感器对所述标定物的第一直边进行寻边，获得所述n个特征点在基坐标系下的坐标；

6、基于所述n个特征点在基坐标系下的坐标，建立n-1个第一方向向量，其中，所述n-1个第一方向向量中的第i个第一方向向量为由第i个特征点指向第1个特征点所得到的向量，i为大于1且小于n的正整数；

7、基于所述n-1个第一方向向量，利用直线约束关系构建第一超定方程组，所述第一超定方程至少包括一对第一方向向量构建的第一约束方程；其中，所述第一超定方程组在正交约束条件下的最优解为所述相机坐标系到机器人末端坐标系下的旋转矩阵；

8、基于所述相机坐标系到机器人末端坐标系下的旋转矩阵以及所述n-1个第一方向向量，得到机器人基坐标系中所述第一直边的单位方向向量；

9、在机器人的不同位姿下的不同坐标控制激光传感器向所述第一直边发射激光，以对所述第一直边上对l个特征点进行采样，确定所述l个特征点在相机坐标系下的坐标，以及其对应的机器人末端坐标系到基坐标系下的旋转变换矩阵以及平移变换矩阵，其中，l为整数，且l≥1；

10、利用平行约束关系构建第二超定方程组，所述第二超定方程组至少包括1个第二约束方程；所述第二约束方程为基于第1个特征点在基坐标系下的坐标、所述第一直边的单位方向向量、第q个特征点在相机坐标系下的坐标及其对应的机器人末端坐标系到基坐标系下的旋转变换矩阵与平移变换矩阵构建的第二约束方程，其中的q为大于等于1且小于等于l的正整数；其中，所述第二超定方程组的最优解为所述相机坐标系到机器人末端坐标系下的平移矩阵。

11、可选的，所述相机坐标系到机器人末端坐标系的手眼关系方程为：

12、pb＝rb(rsps+ts)+tb                     (1)

13、其中，ps为特征点在相机坐标系下的坐标，pb为特征点在基坐标系下的坐标；

14、rb为机器人末端坐标系到基坐标系下的旋转变换矩阵；

15、tb为机器人末端坐标系到基坐标系下的平移变换矩阵；

16、rs为相机坐标系到机器人末端坐标系下的旋转矩阵；

17、ts为相机坐标系到机器人末端坐标系下的平移矩阵。

18、可选的，第i个第一方向向量为：

19、ub[i]＝pb[i]-pb[1]                       (2)

20、其中，ub[i]为第i个第一方向向量；pb[1]为第1个特征点在基坐标系下的坐标，pb[i]为第i个特征点在基坐标系下的坐标；

21、将式(1)代入式(2)后得到：

22、ub[i]＝rb(rsps[i]+ts)+tb[i]-rb(rsps[1]+ts)-tb[1]         (3)

23、可选的，基于所述n-1个第一方向向量，利用直线约束关系构建第一超定方程组，具体包括：

24、基于所述n-1个第一方向向量，利用直线约束关系，至少选取一对第一方向向量构建原始第一约束方程：

25、||ub[i]×ub[k]||＝0                       (4)

26、其中的k为整数，且1＜k≤n；

27、将式(3)代入式(4)得到：

28、||(rbrsus[i]+ut[i])×(rbrsus[k]+ut[k])||＝0           (5)

29、对式(5)进行数学变换，得到：

30、(a1+a2-a3)rs＝br                     (6)

31、对式(6)进行进一步简化得到所述第一约束方程：

32、arrs＝br                          (7)

33、其中，a1、a2、a3、ar分别为第一系数矩阵、第二系数矩阵、第三系数矩阵以及第四系数矩阵，rs为变量矩阵，br为第四一维系数矩阵；

34、联立所述第一约束方程，以构建所述第一超定方程组。

35、可选的，在机器人的同一位姿下的不同坐标下控制其末端传感器对所述标定物的第一直边进行寻边，获得所述n个特征点在基坐标系下的坐标，具体为：

36、基于所述在机器人的同一位姿下的不同坐标下控制其末端传感器对所述标定物的第一直边进行寻边，使得所述机器人末端传感器与所述标定物的第一直边接触，获取同一位姿不同坐标下末端传感器的测量数据，以对所述第一直边进行采样；

37、基于同一位姿下不同坐标下末端传感器的测量数据，获取所述n个特征点在基坐标系下的坐标。

38、可选的，基于相机坐标系到机器人末端坐标系下的旋转矩阵以及所述n-1个第一方向向量，得到机器人基坐标系中所述第一直边的单位方向向量；具体为：

39、基于所述相机坐标系到机器人末端坐标系下的旋转矩阵，将所述第i个第一方向向量由式(3)简化为：

40、ub[i]＝rbrsus[i]+ut[i]                    (8)

41、基于简化后的所述n-1个第一方向向量，确定所述第一直边在机器人基坐标系中的单位方向向量ub*。

42、可选的，

43、利用平行约束关系构建第二超定方程组；具体为：

44、基于第1个特征点在基坐标系下的坐标、所述第一直边的单位方向向量、第q个特征点在相机坐标系下的坐标及其对应的机器人末端坐标系到基坐标系下的旋转变换矩阵与平移变换矩阵，利用平行约束关系，至少构建1个原始第二约束方程：

45、||(pb[1]-rb[q](rs*ps[q]+ts)-tb[q])×ub*||＝0         (9)

46、其中，pb[1]为第1个特征点在基坐标系下的坐标，pb[q]为第q个特征点在基坐标系下的坐标，rb[q]为第q个特征点的机器人末端坐标系到基坐标系下的旋转变换矩阵，tb[q]为第q个特征点的机器人末端坐标系到基坐标系下的平移变换矩阵，ps[q]为第q个特征点在相机坐标系下的坐标；

47、对式(9)进行数学变换，得到：

48、||(-rb[q])ts×ub*+(-rb[q]rs*ps[q]+pb[1]-tb[q])×ub*||＝0  (10)

49、对式(10)进行进一步简化得到所述第二约束方程

50、||atts-br||＝0  (11)

51、其中，at为第五系数矩阵；

52、联立所述第二约束方程，构建所述第二超定方程组。

53、可选的，在机器人的不同位姿下的不同坐标控制激光传感器向所述第一直边发射激光，以对所述第一直边上对l个特征点进行采样，确定所述l个特征点在相机坐标系下的坐标，以及其对应的机器人末端坐标系到基坐标系下的旋转变换矩阵以及平移变换矩阵，具体为：

54、基于所述n个特征点在基坐标系下的坐标，在机器人的不同位姿下的不同坐标控制激光传感器向所述第一直边发射激光，以对所述第一直边上对l个特征点进行采样，并获得不同位姿对应的不同坐标下末端传感器的测量数据；

55、基于不同位姿对应的不同坐标下末端传感器的测量数据，获得不同位姿下对应的特征点的机器人末端坐标系到基坐标系下的旋转变换矩阵以及平移变换矩阵。

56、可选的，在确定各特征点对应的机器人末端坐标系到基坐标系下的旋转变换矩阵以及平移变换矩阵之前，且在得到机器人基坐标系中所述第一直边的单位方向向量之后，还包括：

57、在机器人的第一位姿下控制所述机器人的末端传感器对所述标定物的第一直边进行寻边，使得所述机器人末端传感器与所述标定物的第一直边接触，获取该位姿下末端传感器的测量数据，以确定所述标定物的第一直边的第1个特征点在基坐标系下的坐标。

58、可选的，所述标定物还包括第二直边，其中，所述第一直边与第二直边相交。

59、可选的，所述第一超定方程组还包括至少一对第三方向向量构建的第三约束方程，所述第二超定方程组还包括至少1个第四约束方程。

60、可选的，还包括：

61、在机器人的同一位姿下的不同坐标下在机器人的同一位姿下的不同坐标下控制激光传感器向所述第二直边发射激光，获取所述第二直边上m个特征点在相机坐标系下的坐标，其中，m为整数，且m≥3；

62、在机器人的同一位姿下的不同坐标下控制其末端传感器对所述标定物的第二直边进行寻边，获得所述m个特征点在基坐标系下的坐标；

63、基于所述m个特征点在基坐标系下的坐标，建立m-1个第二方向向量，其中，所述m-1个第二方向向量中的第j个第二方向向量由第j个特征点指向第1个特征点，所述j为大于1且小于m的正整数；

64、基于所述m-1个第二方向向量，利用直线约束关系，至少选取一对第二方向向量构建对应的第三约束方程。

65、可选的，还包括：

66、基于所述相机坐标系到机器人末端坐标系下的旋转矩阵以及所述m-1个第二方向向量，得到机器人基坐标系中所述第二直边的单位方向向量；

67、在机器人的不同位姿下的不同坐标控制激光传感器向所述第二直边发射激光，以对所述第二直边上对r个特征点进行采样，确定所述r个特征点对应的机器人末端坐标系到基坐标系下的旋转变换矩阵以及平移变换矩阵，其中，r为整数，且r≥1；

68、基于第二直边的第1个特征点在基坐标系下的坐标、所述第二直边的单位方向向量、第二直边的第t个特征点在基坐标系下的坐标及其对应的机器人末端坐标系到基坐标系下的旋转变换矩阵与平移变换矩阵，利用平行约束关系至少构建1个对应的第四约束方程，其中的t为大于等于1且小于等于r的正整数。

69、根据本发明的第二方面，提供了一种手眼标定系统，用于实现确定相机坐标系到机器人末端坐标系下的旋转矩阵与平移矩阵，该系统包括：

70、标定物，放置于机器人的工作范围内；其中，所述标定物至少具有第一直边；

71、第一特征点采样模块，用于在机器人的同一位姿下的不同坐标下控制激光传感器向所述第一直边发射激光，获取所述第一直边上n个特征点在相机坐标系下的坐标，其中，n为整数，且n≥3；

72、第二特征点采样模块，用于在机器人的同一位姿下的不同坐标下控制其末端传感器对所述标定物的第一直边进行寻边，获得所述n个特征点在基坐标系下的坐标；

73、方向向量建立模块，用于获得所述n个特征点在基坐标系下的坐标，建立n-1个第一方向向量，其中，所述n-1个第一方向向量中的第i个第一方向向量为由第i个特征点指向第1个特征点所得到的向量，i为大于1且小于n的正整数；

74、旋转矩阵计算模块，用于基于所述n-1个第一方向向量，利用直线约束关系构建第一超定方程组，所述第一超定方程至少包括一对第一方向向量构建的第一约束方程；其中，所述第一超定方程组在正交约束条件下的最优解为所述相机坐标系到机器人末端坐标系下的旋转矩阵；

75、单位方向向量计算模块，用于基于所述相机坐标系到机器人末端坐标系下的旋转矩阵以及所述n-1个第一方向向量，得到机器人基坐标系中所述第一直边的单位方向向量；

76、变换矩阵获取模块，用于在机器人的不同位姿下的不同坐标控制激光传感器向所述第一直边发射激光，以对所述第一直边上对l个特征点进行采样，确定所述l个特征点在相机坐标系下的坐标，以及其对应的机器人末端坐标系到基坐标系下的旋转变换矩阵以及平移变换矩阵，其中，l为整数，且l≥1；

77、平移矩阵计算模块，用于利用平行约束关系构建第二超定方程组，所述第二超定方程组至少包括1个第二约束方程；所述第二约束方程为基于第1个特征点在基坐标系下的坐标、所述第一直边的单位方向向量、第q个特征点在相机坐标系下的坐标及其对应的机器人末端坐标系到基坐标系下的旋转变换矩阵与平移变换矩阵构建的第二约束方程，其中的q为大于等于1且小于等于l的正整数；其中，所述第二超定方程组的最优解为所述相机坐标系到机器人末端坐标系下的平移矩阵。

78、根据本发明的第三方面，提供了一种焊接系统，包括本发明第二方面任一项提供的手眼标定系统。

79、根据本发明的第四方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现本发明第一方面中任一项所述方法的步骤。

80、根据本发明的第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明第一方面中任一项所述方法中的步骤。

81、本发明提供的激光传感器手眼标定方法、焊接系统、电子设备及介质中，该方法通过放置至少具有第一直边的标定物于机器人的工作范围内；在机器人的同一位姿下的不同坐标下控制激光传感器以及末端传感器对第一直边进行采样，分别获取第一直边上的n个特征点在相机坐标系以及在基坐标系下的坐标；利用特征点在基坐标系下的坐标建立n-1个第一方向向量，并利用直线约束关系构建第一超定方程组，确定相机坐标系到机器人末端坐标系下的旋转矩阵；基于该旋转矩阵以及n-1个第一方向向量，得到第一直边的单位方向向量；在机器人的不同位姿下的不同坐标控制激光传感器对第一直边进行采样，得到l个特征点对应的机器人末端坐标系到基坐标系下的旋转变换矩阵及平移变换矩阵；利用平行约束关系构建第二超定方程组，确定相机坐标系到机器人末端坐标系下的平移矩阵，从而本发明可以在没有标准标定物的情况下快速地完成机器人的手眼标定。