激光雷达与补盲结构光相机的外参标定方法、系统和介质与流程

本发明涉及机器人自助导航领域，更具体的，涉及激光雷达与补盲结构光相机的外参标定方法、系统和介质。

背景技术：

1、目前，现有的利用标定板确定激光雷达与补盲结构光相机的外参标定方法要求两者视场角有一定的共视区域。但是，由于安装的位置及本身视角场的原因，传感器彼此间的共视区域较少，从而造成激光雷达与结构光相机的外参关系误差较大。

2、因此，现有技术存在缺陷，亟待改进。

技术实现思路

1、鉴于上述问题，本发明的目的是提供激光雷达与补盲结构光相机的外参标定方法、系统和介质，能够更加精准的确定机器人的全局视野。

2、

3、本发明第一方面提供了激光雷达与补盲结构光相机的外参标定方法，包括：

4、获取激光雷达落在标定板空白区域上的点的信息，棋盘格角点信息，激光数据以及对应时间戳的棋盘格图像数据信息；

5、根据棋盘格角点信息，得到rgb相机与标定板的位姿信息；

6、基于预设标定板平面约束，根据激光雷达落在预设标定板空白区域上的点的信息和rgb相机与标定板的位姿信息，得到激光雷达与rgb相机外参的闭式解初值信息；

7、基于预设算法，根据激光数据以及对应时间戳的棋盘格图像数据和初值，得到激光雷达与rgb相机的外参信息；

8、根据激光雷达与rgb相机的外参信息和rgb传感器与结构光深度传感器的预设相对关系信息，得到激光雷达和结构光相机的外参关系信息；

9、所述标定板由标定板空白区域和棋盘格区域组成，且属于同一平面。

10、本方案中，还包括：

11、将结构光相机设为基准点，按照不同传感器分别设定坐标系，分别为rgb传感器坐标系深度传感器坐标系和投射仪坐标系

12、将激光雷达设为基准点，设定激光雷达坐标系tlidar；

13、将预设标定板为基准点，设定标定板坐标系tboard。

14、本方案中，所述激光雷达与rgb相机外参的闭式解初值，具体为：

15、将激光雷达坐标系到rgb相机坐标系的外参相对关系设为：其中表示旋转，表示平移，两者组成一个六自由度位姿，则相机坐标系到激光雷达坐标系的转关关系为

16、基于rgb相机坐标系，将标定板的平面可参数化设为πc＝[nc,d]，式中nc代表平面的方向量，而d代表平面方程的截距，则标定板平面上一个三维点在相机坐标系下的表示方程为其中(1)表示该方程编号；

17、根据激光雷达与rgb相机的外参相对关系和标定板上三维点在相机坐标系下的表示方程，得到中(2)该方程编号；

18、将激光雷达坐标系下一个测量点坐标设为pl＝[x,y,z]，其在相机坐标系下的表示方法为用矩阵相乘的表示方法为：

19、

20、其中(3)表示对应方程编号；

21、根据上述(2)式和(3)式，得到其中(4)表示对应方程的编号；

22、基于预设算法，将多组激光雷达和对应时间戳的棋盘格图像数据带入(4)式,得到对应激光雷达与rgb相机外参的闭式解初值argmi n。

23、本方案中，所述激光雷达与rgb相机的外参，具体为：

24、将第i帧激光雷达落在标定板平面上的激光点设为ni个，第i帧激光对应的标定板平面方程在rgb相机坐标下的表示方法为其最优化模型表示为：

25、

26、其中第i帧激光雷达数据属于n组激光雷达数据与棋盘格图像数据中的第i组数据。

27、本方案中，还包括：

28、将激光雷达进行水平安装；

29、将激光雷达的安装高度设为h,水平视场角设为θ；

30、将激光雷达在正前方的盲区距离设为d，其公式为：

31、本方案中，还包括：

32、将结构光相机的垂直视场角设为β，倾斜角度设为α；

33、将结构光相机的安装高度设为h；

34、将结构光相机的测量距离设为s，其公式为：s＝h/tan(90-β-α)°，其中0<α<90°。

35、本发明第二方面提供了激光雷达与补盲结构光相机的外参标定系统，包括存储器和处理器，所述存储器中存储有激光雷达与补盲结构光相机的外参标定方法程序，所述激光雷达与补盲结构光相机的外参标定方法程序被所述处理器执行时实现如下步骤：

36、获取激光雷达落在标定板空白区域上的点的信息，棋盘格角点信息，激光数据以及对应时间戳的棋盘格图像数据信息；

37、根据棋盘格角点信息，得到rgb相机与标定板的位姿信息；

38、基于预设标定板平面约束，根据激光雷达落在预设标定板空白区域上的点的信息和rgb相机与标定板的位姿信息，得到激光雷达与rgb相机外参的闭式解初值信息；

39、基于预设算法，根据激光数据以及对应时间戳的棋盘格图像数据和初值，得到激光雷达与rgb相机的外参信息；

40、根据激光雷达与rgb相机的外参信息和rgb传感器与结构光深度传感器的预设相对关系信息，得到激光雷达和结构光相机的外参关系信息；

41、所述标定板由标定板空白区域和棋盘格区域组成，且属于同一平面。

42、本方案中，还包括：

43、将结构光相机设为基准点，按照不同传感器分别设定坐标系，分别为rgb传感器坐标系深度传感器坐标系和投射仪坐标系

44、将激光雷达设为基准点，设定激光雷达坐标系tidar；

45、将预设标定板为基准点，设定标定板坐标系tboard。

46、本方案中，所述激光雷达与rgb相机外参的闭式解初值，具体为：

47、将激光雷达坐标系到rgb相机坐标系的外参相对关系设为：其中表示旋转，表示平移，两者组成一个六自由度位姿，则相机坐标系到激光雷达坐标系的转关关系为

48、基于rgb相机坐标系，将标定板的平面可参数化设为πc＝[nc,d]，式中nc代表平面的方向量，而d代表平面方程的截距，则标定板平面上一个三维点在相机坐标系下的表示方程为其中(1)表示该方程编号；

49、根据激光雷达与rgb相机的外参相对关系和标定板上三维点在相机坐标系下的表示方程，得到中(2)该方程编号；

50、将激光雷达坐标系下一个测量点坐标设为pl＝[x,y,z]，其在相机坐标系下的表示方法为用矩阵相乘的表示方法为：

51、其中(3)表示对应方程编号；

52、根据上述(2)式和(3)式，得到其中(4)表示对应方程的编号；

53、基于预设算法，将多组激光雷达和对应时间戳的棋盘格图像数据带入(4)式,得到对应激光雷达与rgb相机外参的闭式解初值argmin。

54、本方案中，所述激光雷达与rgb相机的外参，具体为：

55、将第i帧激光雷达落在标定板平面上的激光点设为ni个，第i帧激光对应的标定板平面方程在rgb相机坐标下的表示方法为其最优化模型表示为：

56、

57、其中第i帧激光雷达数据属于n组激光雷达数据与棋盘格图像数据中的第i组数据。

58、本方案中，还包括：

59、将激光雷达进行水平安装；

60、将激光雷达的安装高度设为h,水平视场角设为θ；

61、将激光雷达在正前方的盲区距离设为d，其公式为：

62、本方案中，还包括：

63、将结构光相机的垂直视场角设为β，倾斜角度设为α；

64、将结构光相机的安装高度设为h；

65、将结构光相机的测量距离设为s，其公式为：s＝h/tan(90-β-α)°，其中0<α<90°。

66、本发明第三方面提供了一种计算机介质，所述计算机介质中存储有激光雷达与补盲结构光相机的外参标定方法程序，所述激光雷达与补盲结构光相机的外参标定方法程序被处理器执行时，实现如上述任一项所述的激光雷达与补盲结构光相机的外参标定方法的步骤。

67、本发明公开的激光雷达与补盲结构光相机的外参标定方法、系统和介质，通过激光雷达与结构光相机的外参关系的确定，将激光雷达与结构光相机检测到的数据转至共同坐标系下，得到机器人的整个视角在同一维度的信息，方便了全局的策略及判断。另外，本发明通过激光雷达的高度以及视角，确定激光雷达的盲区距离；通过结构光相机的视角、倾斜角和高度，确定结构光相机的测量距离，调整盲区距离或测量距离，解决了机器人的盲区问题。