一种基于视觉跟踪的三维点云拼合方法及三维测量系统与流程

本发明属于点云拼接，具体涉及一种基于视觉跟踪的三维点云拼合方法及三维测量系统。

背景技术：

1、随着三维测量技术的发展，非接触式光学测量方法被广泛应用到工业生产质检之中，其中面结构光三维测量以其测量速度快、精度高、解析度高等优势得到普遍认可。对于大型零部件的三维测量需要从多个角度进行测量，自动化蓝光扫描系统结合蓝光面扫描测量技术、工业机器人以及变位器(直线导轨、转台等)，利用机器人运动灵活性以及变位器的扩展性是解决大型零部件三维测量的最优解决方案。在实际的自动化测量中，面结构光扫描仪固定在工业机器人末端，零件置于变位器之上，通过预先规划的路径，机器人携带扫描仪在不同的视点下对物体进行测量，实现大型零件的自动化三维测量。由于面结构光扫描仪单次测量的坐标系位于相机坐标系下，在不同视点下获取的三维点云需要转换到同一个坐标系下，也即需要点云拼合。

2、点云拼合是实现三维测量的关键步骤，也是影响整个系统的关键因素。对于大型零部件的测量，目前最常用的是通过粘贴标志点或者通过其他高精度的测量系统(激光跟踪仪等)获取高精度的特征转换关系实现点云拼接。对于大型零件，常规的点云拼合方式存在以下几个问题：

3、1)需在被测物体表面粘贴大量的标志点，零件越大越繁琐，效率低；

4、2)测量拼接累计误差大，精度难以保证。

5、除了常规的点云拼合方式，目前也有基于线结构光的自动化扫描方案，比如公开号为cn111156925a的发明专利公开了一种基于线结构光和工业机器人的大构件三维测量方法，其将相机和线激光器形成线结构光三维测量系统，然后将线结构光三维测量系统扫描的单位点云数据，通过线激光的扫描以及坐标系的转换，实现三维拼接。但是同样可能存在以下几个问题：

6、1)为防止反复扫描，整体扫描速度慢，效率低；

7、2)线扫扫描仪与跟踪器之间的标定繁琐，需手动完成，标定步骤多，不适合工业自动化测量场景；

8、3)易发生丢帧进而导致相机不同步的问题，影响测量精度。

技术实现思路

1、有鉴于此，本发明提出了一种基于视觉跟踪的三维点云拼合方法及三维测量系统，用于解决现有大型零件三维测量中存在的测量精度差的问题。

2、本发明第一方面，公开一种基于视觉跟踪的三维点云拼合方法，所述方法包括：

3、通过标定板进行球笼式面结构光三维扫描仪自动标定；

4、采用基于平差优化的大视场立体视觉标定方法进行双目红外跟踪器的自动标定；

5、通过标定块标定双目红外跟踪器与球笼式面结构光扫描仪的坐标系转换关系；

6、在球笼式面结构光三维扫描仪按照规划路径进行三维测量的过程中，待测大型零部件和与其固定连接的工装件沿着直线导轨滑动，通过固定在支架上的双目红外跟踪器同时跟踪球笼式面结构光扫描仪的球笼上的标志点以及与待测大型零部件固定连接的工装件上的标志点，分别计算得到同一视点下球笼上的标志点的跟踪变换矩阵、工装件上的标志点的跟踪变换矩阵；

7、根据同一视点下球笼上的标志点的跟踪变换矩阵、工装件上的标志点的跟踪变换矩阵和双目红外跟踪器与球笼式面结构光扫描仪的坐标系转换关系，将球笼式面结构光三维扫描仪在的相应视点下测量的待测大型零部件的三维点云数据转换到全局跟踪坐标系下，在全局跟踪坐标系下进行三维点云数据拼合。

8、在以上技术方案的基础上，优选的，所述球笼式面结构光三维扫描仪自动标定采用张氏标定法，所述标定板采用圆形图案标定板。

9、在以上技术方案的基础上，优选的，所述采用基于平差优化的大视场立体视觉标定方法进行双目红外跟踪器的自动标定具体包括：

10、双目红外跟踪器的左右相机同步拍摄靶标，得到两张二维靶标图像；

11、更换靶标在空间中的位置，重复拍摄多组姿态下的靶标图像，提取靶标上圆形标志点中心的亚像素坐标，通过标靶上的编码标志点信息进行图像间的对应标志点匹配，建立各相机多个姿态下视图的对应关系，采用运动恢复结构原理计算各相机的初始姿态和标靶上标志点的初始三维坐标；

12、分别创建单个相机在多姿态下逆向投影误差最小的第一目标函数，采用非线性最小二乘法优化第一目标函数，得到单个相机内部参数和各标志点的三维坐标；

13、创建两个相机的所有图像序列的逆向投影误差之和最小的第二目标函数，求解第二目标函数，得到两个相机的外部参数。

14、在以上技术方案的基础上，优选的，所述第二目标函的表达式为：

15、

16、其中，err表示所有图像序列的逆向投影误差之和，m1ij和m2ij分别为第i个标靶图像上的第j个标志点在左、右相机上的图像像素坐标，p1ij、p2ij分别为左相机、右相机对应的第i个靶标图像中第j个标志点的投影坐标，i＝1,2,...,m，j＝1,2,...,n，m为图像序列数，j为靶标上的标志点数，a1、a2分别表示双目红外跟踪器的左、右相机的内参矩阵，k1、k2分别为左、右相机的畸变参数，mj为标靶上第j个标志点的三维坐标，r1i、t1i分别为左相机在第i个姿态下的外参，r2i、t2i分别为右相机在第i个姿态下的外参，r、t分别为两个相机之间的平移和旋转矩阵。

17、在以上技术方案的基础上，优选的，所述通过标定块标定双目红外跟踪器与球笼式面结构光扫描仪的坐标系转换关系具体包括：

18、在球笼式面结构光扫描仪上建立测量坐标系，在标定块上建立标定块坐标系，在双目红外跟踪器上建立跟踪器坐标系；

19、在球笼式面结构光扫描仪上建立测量坐标系，在标定块上建立标定块坐标系，在双目红外跟踪器所在位置建立全局跟踪坐标系；

20、球笼式面结构光扫描仪运行到标定点位并通过拍摄标定块来标定测量坐标系与标定块坐标系的变换关系；

21、双目红外跟踪器通过拍摄标定块来标定全局跟踪坐标系与标定块坐标系的变换关系；

22、通过测量坐标系与标定块坐标系的变换关系、全局跟踪坐标系与标定块坐标系的变换关系计算在标定点位处测量坐标系与全局跟踪坐标系的转换关系。

23、在以上技术方案的基础上，优选的，所述分别计算得到同一视点下球笼上的标志点的跟踪变换矩阵、工装件上的标志点的跟踪变换矩阵的具体过程为：

24、双目红外跟踪器跟踪单个视点下的球笼上的标志点，得到当前视点下跟踪器坐标系与全局跟踪坐标系的转换关系：

25、pi_ball_trackframe＝ri_ballptracker_ball+ti_ball＝ti_ballptracker_ball

26、ptracker_ball为全局跟踪坐标系下球笼上的标志点的三维坐标，pi_ball_trackframe为第i个视点下球笼上的标志点在跟踪器坐标系下的三维坐标，ri_ball和ti_ball为将全局跟踪坐标系下第i个视点对应的球笼上的标志点的三维坐标变换到跟踪器坐标系下的旋转矩阵和平移矩阵，为当前视点下球笼上的标志点的跟踪变换矩阵；

27、双目红外跟踪器同时跟踪相同视点下的工装件上的标志点，得到当前视点下跟踪器坐标系与全局跟踪坐标系的转换关系：

28、pi_trackframe＝riptracker_targets+ti＝tiptracker_targets

29、ptracker_targets为全局跟踪坐标系下工装件上的标志点的三维坐标，pi_trackframe为第i个视点下工装件上的标志点在跟踪器坐标系下的三维坐标，ri和ti分别为全局跟踪坐标系下第i个视点对应的工装件上的标志点的三维坐标变换到跟踪器坐标系下的旋转矩阵和平移矩阵，为第i个视点下工装件上的标志点的跟踪变换矩阵。

30、在以上技术方案的基础上，优选的，所述将球笼式面结构光三维扫描仪在的对应视点下测量的三维点云数据转换到全局跟踪坐标系下的表达式为：

31、

32、其中，p0_trackframe全局跟踪坐标系下待测大型零部件的三维点云数据，为第i个视点下工装件上的标志点的跟踪变换矩阵的逆矩阵，ti_ball为第i个视点下球笼上的标志点的跟踪变换矩阵，t为测量坐标系到全局跟踪坐标系的转换矩阵，pi_cam为第i个视点下测量坐标系测量得到的的待测大型零部件的三维点云数据

33、本发明第二方面，公开一种使用本发明第一方面所述方法的三维测量系统，所述系统包括：工业机器人、球笼式面结构光三维扫描仪、直线导轨、工装件、双目红外跟踪器、标定块、标定板和控制柜；

34、所述球笼式面结构光三维扫描仪固定在工业机器人末端；所述球笼式面结构光三维扫描仪的球笼上设置有标志点；

35、所述直线导轨水平设置于工业机器人的作业范围内；

36、所述工装件一端与直线导轨滑动连接，另一端与待测大型零部件固定连接；所述工装件上设置有标志点；

37、所述标定块固定设置在工装件上；

38、所述标定板固定设置在球笼式面结构光三维扫描仪的视野范围内；

39、所述控制柜与工业机器人电连接。

40、本发明相对于现有技术具有以下有益效果：

41、1)本发明通过双目红外跟踪器同时跟踪球笼式面结构光扫描仪和待测大型零部件的运动，分别计算得到同一视点下球笼上的标志点的跟踪变换矩阵、工装件上的标志点的跟踪变换矩阵，可以快速将各个视点下测量得到的三维点云数据转换到全局跟踪坐标系下实现点云拼接，待测大型零件上不需要粘贴标志点，且满足高精度、高效测量需求，可有效解决大型工件测量中的各种问题，保证了点云拼接效率和准确性。

42、2)本发明采用的是基于平差优化的大视场立体视觉系统标定方法进行双目红外跟踪器的标定，通过创建多姿态下逆向投影误差最小的目标函数进行内参优化、建立基于双相机逆向投影误差最小的目标函数进行外参优化，标定结果可以不依赖于靶标的制造精度，具有较好的稳定性。

43、3)本发明采用蓝光面结构光三维扫描仪，通过其矩阵式扫描可单次测量获取矩形状区域三维数据，在工业机器人的带动下从当前视点运动到下一个视点过程中不需要担心类似线结构光扫描数据缺失问题，运动速度快，可减少平整体测量时间，提升测量效率。