一种多传感器标定系统及方法与流程

本发明涉及机器视觉，尤其是涉及一种多传感器标定系统及方法。

背景技术：

1、随着技术的进步，多传感器融合方案已经成为了无人驾驶或同步定位与地图构建技术，即slam(simultaneous localization and mapping)技术的主流方向，因此对多传感器标定也成了必不可少的重要环节。

2、现有对于多传感器标定的技术中，只能通过单个标定板对单个或多个相机的标定或者通过多个标定板一次标定单个或多个相机，但其需要静态进行，标定要求高，而相机与惯性测量单元imu（inertialmeasurement unit）联合标定过程、相机与激光雷达lidar（light detectionand ranging）联合标定过程均需要单独进行，即单一的标定系统明显已经无法满足现有的多传感器标定需求，需要多系统分别进行，因此标定效率低，且由于不同系统存在的设备上的差距，最终的标定结果可靠性也不好。

技术实现思路

1、本发明旨在提供一种多传感器标定系统及方法，以解决上述技术问题，实现在同一系统上对多传感器分别进行标定，有效提高标定的效率和可靠性，适用于量产方案的标定过程。

2、为了解决上述技术问题，本发明提供了一种多传感器标定系统，包括控制终端，标定箱和与设置于标定箱内并与控制终端通信连接的固定转台；所述标定箱内设置有若干个标定板；其中：

3、所述控制终端用于预设固定转台的运动轨迹并向固定转台传输控制信号；

4、所述固定转台用于固定相机；

5、基于控制终端的控制，在若干个标定板上实现对相机的标定、相机与imu联合标定过程和相机与lidar联合标定过程。

6、上述系统仅需要控制终端对固定转台进行控制，配合标定箱内设置的若干标定板，便可以实现对相机标定，及相机与imu联合标定过程和相机与lidar联合标定过程，实现了在同一系统上对多传感器分别进行标定，其操作简单，有效提高了标定的效率和可靠性，适用于量产方案的标定过程。

7、上述方案中，控制终端通过预设运动轨迹控制相机移动，其一方面可以快速完成相机与imu联合标定过程，另一方面对imu做到比较充分的激励，使得标定结果更具备可靠性。

8、进一步地，所述标定箱为封闭结构。

9、上述方案中，由于标定箱为封闭结构，因此固定在固定转台上的相机将落在标定箱内部与外部隔绝，对于大视野的相机而言，其在拍摄过程中不会丢失视野，其在整个视野内均可以看到标定板，大大降低了标定的难度，提高了标定的效率和可操作性。

10、进一步地，所述若干个标定板均包括基板和特征图案，所述特征图案为棋盘格、二维码或自定义编解码。

11、上述方案中，标定箱的若干个标定板可以实现对相机的快速标定，在一般标定情况下无需对相机进行移动便可实现。同时，其若干个标定板的特征图案可设置成各种样式，提升系统的兼容性。

12、进一步地，所述若干个标定板均为背光标定板，其控制端均与所述控制终端电连接；所述控制终端用于控制若干个背光标定板的背光情况以在对应背光标定板形成标定所需的特征图案。

13、上述方案中，将标定板设置为背光标定板，其可以通过控制终端的控制直接在背光标定板上形成标定所需的特征图案，避免了在标定过程中需要人为更换标定板的繁琐过程，提高了标定的效率。其次，背光的存在可以使得相机的成像质量更高，可以更好地体现特征图案的线、面和反射率，有利于相机与lidar联合标定过程的进行。

14、本发明提供一种多传感器标定方法，基于一种多传感器标定系统实现，包括：

15、确定标定需求；

16、基于标定需求，按照预设的运动轨迹对固定转台进行控制，在预设的若干个标定板上实现对固定于固定转台上的相机的标定；

17、所述标定需求包括对相机的标定、相机与imu联合标定过程和相机与lidar联合标定过程。

18、上述方案中，仅需要控制终端对固定转台进行控制，配合标定箱内设置的若干标定板，便可以实现对相机标定，及相机与imu联合标定过程和相机与lidar联合标定过程，实现了在同一系统上对多传感器分别进行标定，其操作简单，有效提高了标定的效率和可靠性，适用于量产方案的标定过程。

19、进一步地，若标定需求为对相机的标定，则所述按照预设的运动轨迹对固定转台进行控制，在预设的若干个标定板上实现对固定于固定转台上的相机的标定，具体为：

20、按照预设的运动轨迹控制固定转台运动，以令相机进行标定板图像获取；

21、基于相机获取的标定板图像确定标定板的边界线，将不同标定板图像进行分割；

22、对分割到的标定板图像进行编解码处理，得到每个标定板的控制点；

23、基于控制点坐标及对应的世界坐标，对相机内参进行标定。

24、进一步地，若标定需求为相机与imu联合标定过程，则所述按照预设的运动轨迹对固定转台进行控制，在预设的若干个标定板上实现对固定于固定转台上的相机的标定，具体为：

25、按照预设的运动轨迹控制固定转台运动，以令相机进行标定板图像获取；

26、基于相机获取的标定板图像确定标定板的边界线，将不同标定板图像进行分割；

27、对分割到的标定板图像进行编解码处理，得到每个标定板的控制点并计算相机外参；

28、根据运动轨迹确定相机位姿并初始化b样条的节点；

29、基于b样条的节点建立观测模型代价函数，进行优化后得到相机与imu的外参，实现相机与imu联合标定过程。

30、进一步地，若标定需求为相机与lidar联合标定过程，则所述按照预设的运动轨迹对固定转台进行控制，在预设的若干个标定板上实现对固定于固定转台上的相机的标定，具体为：

31、按照预设的运动轨迹控制固定转台运动，以令相机进行标定板图像获取；

32、基于相机获取的标定板图像确定标定板平面和边界线，将不同标定板平面进行分割；

33、基于激光雷达获取的点云数据，提取点云平面以及平面的交线；

34、基于标定板平面、边界线、点云平面及平面的交线实现相机与lidar点到线和点到面的联合优化，实现相机与lidar联合标定过程。

35、本发明提供一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的一种多传感器标定方法。

36、本发明提供一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备上述的一种多传感器标定方法。

技术特征：

1.一种多传感器标定系统，包括控制终端，标定箱和与设置于标定箱内并与控制终端通信连接的固定转台；其特征在于，所述标定箱内设置有若干个标定板；其中：

2.根据权利要求1所述的一种多传感器标定系统，其特征在于，所述标定箱为封闭结构。

3.根据权利要求1所述的一种多传感器标定系统，其特征在于，所述若干个标定板均包括基板和特征图案，所述特征图案为棋盘格、二维码或自定义编解码。

4.根据权利要求1~3任一项所述一种多传感器标定系统，其特征在于，所述若干个标定板均为背光标定板，其控制端均与所述控制终端电连接；所述控制终端用于控制若干个背光标定板的背光情况以在对应背光标定板形成标定所需的特征图案。

5.一种多传感器标定方法，其特征在于，基于如权利要求1~4任一项所述的一种多传感器标定系统实现，包括：

6.根据权利要求5所述的一种多传感器标定方法，其特征在于，若标定需求为对相机的标定，则所述按照预设的运动轨迹对固定转台进行控制，在预设的若干个标定板上实现对固定于固定转台上的相机的标定，具体为：

7.根据权利要求5所述的一种多传感器标定方法，其特征在于，[a1]若标定需求为相机与imu联合标定过程，则所述按照预设的运动轨迹对固定转台进行控制，在预设的若干个标定板上实现对固定于固定转台上的相机的标定，具体为：

8.根据权利要求5所述的一种多传感器标定方法，其特征在于，若标定需求为相机与lidar联合标定过程，则所述按照预设的运动轨迹对固定转台进行控制，在预设的若干个标定板上实现对固定于固定转台上的相机的标定，具体为：

9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求5至8任一项所述的一种多传感器标定方法。

10.一种计算机程序产品，其特征在于，当计算机程序产品在终端设备上运行时，使得终端设备执行如权利要求5至8任一项所述的一种多传感器标定方法。

技术总结
本发明提供了一种多传感器标定系统及方法，该系统包括控制终端，标定箱和与设置于标定箱内并与控制终端通信连接的固定转台；所述标定箱内设置有若干个标定板；其中：所述控制终端用于预设固定转台的运动轨迹并向固定转台传输控制信号；所述固定转台用于固定相机；基于控制终端的控制，在若干个标定板上实现对相机的标定、相机与IMU联合标定过程和相机与LIDAR联合标定过程。上述系统仅需要控制终端对固定转台进行控制，配合标定箱内设置的若干标定板，便可以实现对相机标定，及相机与IMU联合标定过程和相机与LIDAR联合标定过程，实现了在同一系统上对多传感器分别进行标定，其操作简单，有效提高了标定的效率和可靠性，适用于量产方案的标定过程。

技术研发人员：廖青海,皮金柱,杨广,刘国清,王启程
受保护的技术使用者：深圳佑驾创新科技有限公司
技术研发日：
技术公布日：2024/1/12