一种单双目结构光三维数据融合方法及装置

本发明属于机器视觉测量，具体涉及一种单双目结构光三维数据融合方法及装置。

背景技术：

1、双目结构光三维测量有双目视觉测量的理论基础，不必对投影仪进行标定，增加的结构光也避免了纹理弱或重复纹理区域难以匹配的问题。相较传统双目测量拥有更高的精度，也比单目结构光测量具有强的抗环境中其它因素干扰的能力。其应用更为广泛。但双目测量系统中是基于两相机“同名点对”的匹配，根据标定得到的几何关系，计算三维坐标点。因此，左右相机视场的差异会导致公共区域某个视场中遮挡、阴影等异常区域不能在另一视场找到“同名点对”和非公共区域无法匹配重构，从而导致三维点云数据缺失和孔洞。

2、现有技术中申请公布号为cn110044301a的专利公开了基于单双目混合测量的三维点云计算方法，其通过投射横竖条纹使用“逆相机”法标定投影仪，建立左右相机的像平面和投影仪的投影平面之间的标定板对应圆点匹配关系，该标定方法中投影仪gamma畸变引入的相位误差会导致生成点云精度不够高。现有技术申请公布号为cn107421465a的专利公开了一种单双目视觉系统结合的三维测量方法，其在系统标定中将投影仪等效为相机，导致单目重建点云精度不够高。现有技术申请公布号为cn111649694a的专利公开了一种隐式相位-视差映射的双目测量缺失点云插补方法，其基于像素间的映射关系来对缺失的未知点云进行计算，两个映射关系未经过修正，导致点云插补效果精度不高。现有技术申请公布号为cn110617781a的专利公开了基于条纹投影的双目结构光成像系统，其接将两个单目结构光重建得到的点云进行融合，单目重建了双目缺失以外的区域，既增加了测量时间，同时也会在这些区域产生数据重叠。

3、综上所述，因此，需要提出一种能够提高重构点云精度和点云融合精度，精准确定单目结构光所需融合区域，不产生点云数据重叠的的单双目结构光三维数据融合方法、装置。

技术实现思路

1、本发明旨在解决现有技术中由于双目结构光中视场局限所导致公共异常区域或非公共区域不能正常双目三维重构导致点云数据缺失和孔洞问题，同时能保证重构点云精度和点云融合精度，不产生点云数据重叠，提出一种单双目结构光三维数据融合方法及装置。

2、为实现上述目的，本发明提供了如下方案：

3、一种单双目结构光三维数据融合方法，包括以下步骤：

4、s1、对双目结构光三维重建系统、左单目结构光三维重建系统和右单目结构光三维重建系统进行单独标定；

5、s2、对完成单独标定的所述双目结构光三维重建系统、所述左单目结构光三维重建系统和所述右单目结构光三维重建系统进行联合标定；

6、s3、基于左、右相机拍摄的视图，将视图区域划分为区域b和区域m；基于所述双目结构光三维重建系统、所述左单目结构光三维重建系统和所述右单目结构光三维重建系统对划分的区域进行三维重构，得到三维点云数据；

7、s4、对所述三维点云数据进行刚体转换并合并，得到融合单双目三维点云数据。

8、优选地，所述s2包括：

9、s21、对所述双目结构光三维重建系统和所述左单目结构光三维重建系统进行联合标定，得到刚体变换矩阵tl；

10、s22、对所述双目结构光三维重建系统和所述右单目结构光三维重建系统进行联合标定，得到刚体变换矩阵tr。

11、优选地，所述s21包括：

12、基于所述双目结构光三维重建系统重构棋盘格标定板角点，得到三维点云数据集corner_b；

13、基于所述左单目结构光三维重建系统重构棋盘格标定板角点，得到三维点云corner_ml；

14、基于所述三维点云数据集corner_b与所述三维点云corner_ml得到刚体变换矩阵tl1；

15、基于所述双目结构光三维重建系统对目标物体进行重构，获取目标物体位于区域b处的三维点云数据pointcloud_b；

16、基于所述左单目结构光三维重建系统对目标物体进行重构，获取目标物体位于区域b处的三维点云数据pointcloud_ml；

17、采用所述刚体变换矩阵tl1对所述三维点云数据pointcloud_ml进行矩阵变换，得到三维点云数据pointcloud_t1_ml；

18、对所述三维点云数据pointcloud_b和所述三维点云数据pointcloud_t1_ml进行精配准，得到刚体变换矩阵tl2；

19、将所述刚体变换矩阵tl1和所述刚体变换矩阵tl2相乘，得到刚体变换矩阵tl。

20、优选地，所述s22包括：

21、基于所述右单目结构光三维重建系统重构棋盘格标定板角点，得到三维点云corner_mr；

22、基于所述三维点云数据集corner_b与所述三维点云corner_mr得到刚体变换矩阵tr1；

23、基于所述双目结构光三维重建系统对目标物体进行重构，获取目标物体位于区域b处的三维点云数据pointcloud_b；

24、基于所述右单目结构光三维重建系统对目标物体进行重构，获取目标物体位于区域b处的三维点云数据pointcloud_mr；

25、采用所述刚体变换矩阵tr1对所述三维点云数据pointcloud_mr进行矩阵变换，得到三维点云数据pointcloud_t1_mr；

26、对所述三维点云数据pointcloud_b和所述三维点云数据pointcloud_t1_mr进行精配准，得到刚体变换矩阵tr2；

27、将所述刚体变换矩阵tr1和所述刚体变换矩阵tr2相乘，得到刚体变换矩阵tr。

28、优选地，所述区域划分的方法包括：

29、基于所述左单目结构光三维重建系统对所述目标物体进行解相，得到左绝对相位图image_phal；

30、基于所述右单目结构光三维重建系统对所述目标物体进行解相，得到右绝对相位图image_phar；

31、基于所述双目结构光三维重建系统得到映射关系mapl、映射关系mapr，并基于所述映射关系mapl和所述映射关系mapr分别对所述左绝对相位图image_phal和所述右绝对相位图image_phar进行极限校正，得到校正后的左绝对相位图image_c_phal和校正后的右绝对相位图image_c_phar；

32、对所述校正后的左绝对相位图image_c_phal和所述校正后的右绝对相位图image_c_phar进行相位匹配；相位匹配结束后，得到同名点对，将所述同名点对在所述校正后的左绝对相位图image_c_phal的区域为公共正常区域bc_l，剩余区域为公共异常区域、非公共区域mc_l；

33、将所述同名点对在所述校正后的右绝对相位图image_c_phar的区域为公共正常区域bc_r，剩余区域为公共异常区域、非公共区域mc_r；

34、基于所述映射关系mapl对所述公共异常区域、非公共区域mc_l进行逆向映射，得到左单目结构光三维重建系统视图区域的区域ml；

35、基于所述映射关系mapr对所述公共异常区域、非公共区域mc_r进行逆向映射，得到右单目结构光三维重建系统视图区域的区域mr；

36、所述区域b为公共正常区域bc_l和公共正常区域bc_r的和；

37、所述区域m为区域ml和区域mr的和。

38、优选地，所述s3包括：

39、将所述区域b中的所述同名点对的坐标与所述双目结构光三维重建系统标定得到的参数进行三维重构，得到三维点云数据cloud_b；

40、基于区域ml的所有点坐标以及左绝对相位图image_phal在坐标对应的绝对相位进行三维重构，获得三维点云数据cloud_ml；基于所述区域mr根据坐标以及右绝对相位图image_phar在坐标对应的绝对相位进行三维重构，获得三维点云数据cloud_mr。

41、优选地，采用transformpointcloud函数，基于所述刚体变换矩阵tl和所述刚体变换矩阵tr分别对所述三维点云数据cloud_ml和所述三维点云数据cloud_mr进行刚体变换，得到三维点云数据cloud_t_ml和三维点云数据cloud_t_mr；

42、对所述三维点云数据cloud_b、所述三维点云数据cloud_t_ml和所述三维点云数据cloud_t_mr进行合并，得到所述融合单双目三维点云数据。

43、本发明还提供一种单双目结构光三维数据融合装置，包括双目结构光三维重建系统、左单目结构光三维重建系统、右单目结构光三维重建系统和标定系统；

44、所述双目结构光三维重建系统包括：左相机、投影仪和右相机；

45、所述左单目结构光三维重建系统包括：左相机和投影仪；

46、所述右单目结构光三维重建系统包括：右相机和投影仪；

47、所述标定系统包括：棋盘格标定板和目标物体。

48、与现有技术相比，本发明的有益效果为：

49、本发明公开的一种单双目结构光三维数据融合方法及装置，利用标定方法分别对双目结构光三维重建系统、左单目结构光三维重建系统、右单目结构光三维重建系统进行标定，使用棋盘格标定板和三维信息较丰富的物体，对双目结构光三维重建系统和左单目结构光三维重建系统进行联合标定，对双目结构光三维重建系统和右单目结构光三维重建系统进行联合标定，在左右相机视图中，确定公共正常区域，确定公共异常区域、非公共区域，使用双目结构光系统对公共正常区域进行三维重构，使用左、右单目结构光系统对公共异常区域、非公共区域进行三维重构，对双目结构光系统和左、右单目结构光系统三维重构得到的三维点云数据进行合并，完成单双目三维数据融合，本发明使用棋盘格标定板和三维信息较丰富的物体对单、双目系统进行联合标定，标定得到的结果精准，系统间的标定误差通过icp算法求得最优的刚体变换矩阵，本发明中单目结构光系统和双目结构光系统的点云重建精度不对单双目系统间的刚体变换矩阵求解产生最终影响，也不受限于单双目系统间的联合标定。本发明直接使用相位匹配的结果，结合极线校正的映射关系在左、右视图中划分公共正常区域和公共异常区域、非公共区域，然后双目系统和单目系统分别对不同区域进行三维重构，不会对公共正常区域重复三维重构，也确保了左右相机视场中所有区域都能进行三维重构，最后将所得到的点云数据进行融合，有效解决了因为左右相机视场差异导致双目结构光三维重构点云数据缺失和孔洞问题。同时保证了三维重构点云的精度，实验条件要求不高，且实施方案简单明了，实用性强。