基于结构光三维测量系统的连接件识别方法与流程

本发明涉及连接件识别方法，尤其涉及一种基于结构光三维测量系统的连接件识别方法。

背景技术：

工程中经常需要把一些构件连接起来，起连接作用的构件称为连接件，常用的连接件包括螺栓、铆钉、抽钉等。连接件识别是连接件平整度测量的前提，在测量前，需要先识别出测量物体表面所有的连接件，才能够准确、快速的测量出所有连接件的平整度。而目前的方法，主要依靠连接件表面三维形状的凸起或凹陷来识别连接件，所以无法做到识别出所有的连接件，因此无法实现所有连接件的平整度测量。

技术实现要素：

鉴于现有技术存在的缺陷，本发明的目的在于一种基于结构光三维测量系统的连接件识别方法，识别效率高且识别结果可靠。

为了实现上述目的，本发明提供了一种基于结构光三维测量系统的连接件识别方法，包括步骤：

S1：搭建包括相机、投影仪、支架以及计算机的结构光三维测量系统，相机与投影仪均固定于支架上，使得相机与投影仪的相对位置固定，对结构光三维测量系统进行标定，得到相机的内参矩阵K_C、投影仪的内参矩阵K_P以及相机与投影仪之间的转换矩阵[R_CP|t_CP]，其中R_CP和t_CP分别为旋转矩阵和平移向量，计算机存储有来自技术手册的标准连接件的三维特征信息；

S2：将包括不同类型的连接件的连接件组设置在相机与投影仪的公共视场区域内，使投影仪投影的图像能投射到连接件组的表面上，且相机能拍摄到连接件组，利用相机拍摄连接件组得到原始连接件组图像，根据原始连接件组图像获得原始连接件组图像的纹理信息，原始连接件组图像的纹理信息包括图像上的各像素点在相机的图像坐标系下的坐标及各像素点的光强；

S3：利用结构光三维测量系统基于N步相移法测量原理得到连接件组的三维点云，连接件组的三维点云包括不同类型的连接件上的各像素点在投影仪坐标系下的坐标(X_P,Y_P,Z_P)；

S4：根据步骤S2中得到的原始连接件组图像的纹理信息和步骤S3中得到的连接件组的三维点云，建立原始连接件组图像的纹理信息与连接件组的三维点云的对应关系；

S5：根据步骤S4中得到的原始连接件组图像的纹理信息与连接件组的三维点云的对应关系，提取连接件组中的各类型的连接件的轮廓并识别各类型的连接件的轮廓是否符合存储的来自技术手册的所属类型的标准连接件，符合则将该连接件的轮廓识别为连接件，不符合则将该连接件的轮廓识别为非连接件。

本发明的有益效果如下：

在根据本发明的基于结构光三维测量系统的连接件识别方法中，搭建结构光三维测量系统，先拍摄包括不同类型连接件的连接件组获得原始连接件组图像从而得到原始连接件组图像的纹理信息，纹理信息是像素点的二维信息，然后基于N步相移法测量原理得到连接件组的三维点云，三维点云是像素点的三维信息，从而建立二维信息到三维信息的对应关系，根据原始连接件组图像的纹理信息、连接件组的三维点云以及两者之间的对应关系提取连接件组中各类型的连接件的轮廓并判断是否符合该类型的标准连接件的轮廓，从而完成连接件的识别，该连接件识别方法的识别效率高且识别结果可靠。

附图说明

图1是根据本发明的基于结构光三维测量系统的连接件识别方法的示意图。

其中，附图标记说明如下：

1 相机

2 投影仪

3 支架

4 计算机

具体实施方式

下面参照附图来详细说明根据本发明的基于结构光三维测量系统的连接件识别方法。

参照图1，根据本发明的基于结构光三维测量系统的连接件识别方法，包括步骤S1、S2、S3、S4以及S5。

S1：搭建包括相机1、投影仪2、支架3以及计算机4的结构光三维测量系统，相机1与投影仪2均固定于支架3上，使得相机1与投影仪2的相对位置固定，对结构光三维测量系统进行标定，得到相机1的内参矩阵K_C、投影仪2的内参矩阵K_P以及相机1与投影仪2之间的转换矩阵[R_CP|t_CP]，其中R_CP和t_CP分别为旋转矩阵和平移向量，计算机4存储有来自技术手册的标准连接件的三维特征信息；

S2：将包括不同类型的连接件的连接件组设置在相机1与投影仪2的公共视场区域内，使投影仪2投影的图像能投射到连接件组的表面上，且相机1能拍摄到连接件组，利用相机1拍摄连接件组得到原始连接件组图像，根据原始连接件组图像获得原始连接件组图像的纹理信息，原始连接件组图像的纹理信息包括图像上的各像素点在相机1的图像坐标系下的坐标及各像素点的光强；

S3：利用结构光三维测量系统基于N步相移法测量原理得到连接件组的三维点云，连接件组的三维点云包括不同类型的连接件上的各像素点在投影仪坐标系下的坐标(X_P,Y_P,Z_P)；

S4：根据步骤S2中得到的原始连接件组图像的纹理信息和步骤S3中得到的连接件组的三维点云，建立原始连接件组图像的纹理信息与连接件组的三维点云的对应关系；

S5：根据步骤S4中得到的原始连接件组图像的纹理信息与连接件组的三维点云的对应关系，提取连接件组中的各类型的连接件的轮廓并识别各类型的连接件的轮廓是否符合存储的来自技术手册的所属类型的标准连接件，符合则将该连接件的轮廓识别为连接件，不符合则将该连接件的轮廓识别为非连接件。

在根据本发明的基于结构光三维测量系统的连接件识别方法中，搭建结构光三维测量系统，先拍摄包括不同类型连接件的连接件组获得原始连接件组图像从而得到原始连接件组图像的纹理信息，纹理信息是像素点的二维信息，然后基于N步相移法测量原理得到连接件组的三维点云，三维点云是像素点的三维信息，从而建立二维信息到三维信息的对应关系，根据原始连接件组图像的纹理信息、连接件组的三维点云以及两者之间的对应关系提取连接件组中各类型的连接件的轮廓并判断是否符合该类型的标准连接件的轮廓，从而完成连接件的识别，该连接件识别方法的识别效率高且识别结果可靠。

在这里补充说明的是，步骤S1中对结构光三维测量系统进行标定是常规方法，将标定用的标定板(未示出)放置于投影仪2和相机1的视场范围内，标定板(未示出)上设置有多个标志点，多次改变标定板(未示出)的位姿，可得到不同位姿下的标定板(未示出)上的多个标志点在世界坐标系下的坐标，利用投影仪2将测量用的模板图像投射到不同位姿下的标定板(未示出)上并用相机1拍摄标定板(未示出)，利用计算机4处理用相机1拍摄得到的图像，根据从相机1拍摄得到的图像得到标定板上的多个标志点在相机的图像坐标系下的坐标和强度值，根据标定板上的多个标志点的强度值解码得到标定板上的多个标志点的相位，进而计算得到标定板上的多个标志点在投影仪的图像坐标系下的坐标，根据得到的标定板上的多个标志点在世界坐标系下的坐标、标定板上的多个标志点在相机的图像坐标系下的坐标以及标定板上的多个标志点在投影仪的图像坐标系下的坐标利用OpenCV或者Matlab相机双目标定工具箱即可得到投影仪2的内参矩阵K_P、相机1的内参矩阵K_C、投影仪2和相机1之间的转换矩阵[R_CP|t_CP]。其中，世界坐标系是指原点在标定板(未示出)的左上角的坐标系，坐标单位是毫米(mm)；相机坐标系是指原点在相机光心的坐标系，坐标单位是毫米(mm)；相机的图像坐标系是指原点在相机成像平面上的图像的左上角的坐标系，坐标单位是像素(pixel)；投影仪坐标系是指原点在投影仪光心的坐标系，坐标单位是毫米(mm)；投影仪的图像坐标系是指原点在投影仪成像平面上的图像的左上角的坐标系坐标单位是像素(pixel)；投影仪2的内参矩阵K_P和相机1的内参矩阵K_C分别包括投影仪2和相机1的水平方向和竖直方向的焦距、图像的主点，表达了相机坐标系和投影仪坐标系分别与相机的图像坐标系和投影仪的图像坐标系之间的变换。投影仪2和相机1之间的转换矩阵[R_CP|t_CP]包括旋转矩阵R_CP和平移向量t_CP，表达了投影仪坐标系和相机坐标系之间的变换。对结构光三维测量系统进行标定具体可参见Chen Rui的论文“Rui Chen,Jing Xu,Heping Chen,Jianhua Su,Zonghua Zhang,Ken Chen.Accurate calibration method for camera and projector in fringe patterns measurement system[J].Applied Optics,2016,55(16):4293-4300.”。

由于在步骤S2和步骤S3中，连接件组的位姿在公共视场区域内是不变的，在同一位姿下，对某一像素点，步骤S3中像素点在投影仪坐标系下的坐标(X_P,Y_P,Z_P)通过相机1与投影仪2之间的转换矩阵[R_CP|t_CP]转化为相机坐标系下的坐标再经相机1的内参矩阵K_C进一步转化得到在相机1的图像坐标系下的坐标，其与步骤S2中得到的原始图像的纹理信息中的该像素点在相机的图像坐标系下的坐标对应的是同一坐标，从而建立了原始图像的纹理信息与连接件组的三维点云的对应关系。

连接件组包括不同类型的连接件，不同类型的连接件可为抽钉、铆钉以及螺栓。步骤S2中得到的原始连接件组图像，图像中不仅包含有用信息即连接件组部分，还包含有噪声信息，所以在后续步骤S51中要对原始连接件组图像进行预处理。

在根据本发明的基于结构光三维测量系统的连接件识别方法中，步骤S3包括步骤：

S31：用计算机4生成高频正弦条纹模板图像组和低频正弦条纹模板图像组，高频正弦条纹模板图像组和低频正弦条纹模板图像组均有N张图像，高频正弦条纹模板图像组中的图像的条纹频率为f_h，低频正弦条纹模板图像组中的图像的条纹频率为f_l，f_h＞f_l，利用投影仪2分别依次将高频正弦条纹模板图像组和低频正弦条纹模板图像组中的图像投射到连接件组的表面上并用相机1拍摄连接件组，分别得到第一图像组和第二图像组；

S32：根据步骤S31中得到的第一图像组和第二图像组，得到各像素点在相机1的图像坐标系下的坐标(u_c,v_c)；

S33：根据步骤S31中得到的第一图像组和第二图像组，计算得到各像素点在相机1的图像坐标系下的坐标(u_c,v_c)处的投影仪高频相对相位φ_h和低频相对相位φ_u，表达为：

其中，c_kh为第一图像组中的第k张图像在坐标(u_c,v_c)处的灰度值，c_ku为第二张图像组中的第k张图像在坐标(u_c,v_c)处的灰度值；

S34：根据步骤S33中得到的各像素点在相机1的图像坐标系下的坐标(u_c,v_c)处的投影仪高频相对相位φ_h和低频相对相位φ_u，计算得到各像素点在相机1的图像坐标系下的坐标(u_c,v_c)处的投影仪绝对相位φ_abs表达为：

其中，[*]为取整符号，T_u为低频正弦条纹模板图像组中的图像的条纹周期；T_h为高频正弦条纹模板图像组中的图像的条纹周期；

S35，根据步骤S34中得到的各像素点在相机1的图像坐标系下的坐标(u_c,v_c)处的投影仪绝对相位φ_abs，得到各像素点在投影仪2的图像坐标系下的横坐标值u_p；

S36：各像素点在相机坐标系下的坐标记为(X_C,Y_C,Z_C)，各像素点在相机坐标系下的坐标(X_C,Y_C,Z_C)和其对应的在相机1的图像坐标系下的坐标(u_c,v_c)满足第一等式：

各像素点在投影仪坐标系下的坐标记为(X_P,Y_P,Z_P)，各像素点在投影仪坐标系下的坐标(X_P,Y_P,Z_P)和其对应的在投影仪2的图像坐标系下的坐标(u_p，v_p)满足第二等式：

各像素点在投影仪坐标系下的坐标(X_P,Y_P,Z_P)和其对应的在相机坐标系下的坐标(X_C,Y_C,Z_C)满足第三等式：

根据第一等式、第二等式和第三等式计算得到各像素点在投影仪坐标系下的三维坐标(X_P,Y_P,Z_P)，即得到连接件组的三维点云。

在根据本发明的基于结构光三维测量系统的连接件识别方法中，步骤S5包括步骤：S51：根据步骤S2中得到的原始连接件组图像的纹理信息，对原始连接件组图像进行预处理，预处理包括滤波，降噪；S52：根据步骤S51中得到的预处理后的原始连接件组图像，提取原始连接件组图像的轮廓特征，得到轮廓序列；S53：连接件组中不同类型的连接件均为圆形连接件，则在原始连接件组图像中不同类型的连接件为椭圆形，在步骤S52得到的轮廓序列中，对每一轮廓进行椭圆拟合，并计算椭圆拟合误差，对于椭圆拟合误差小于所设阈值的，则判定为该轮廓可能为连接件轮廓，并存储为预选轮廓集合，预选轮廓集合包括连接件组中的各类型的连接件的轮廓；S54：对于预选轮廓集合中的各类型的连接件的轮廓，根据步骤S4中得到的连接件组图像的纹理信息与连接件的三维点云的对应关系，得到轮廓内部及其邻域附近的三维点云；S55：对轮廓内部及其邻域附近的三维点云进行处理，计算连接件组中各类型的连接件的三维特征，三维特征包括平面参数，将连接件组中各类型的连接件的三维特征与存储的来自技术手册的所属类型的标准连接件进行对比，如果连接件组中的连接件的三维特征符合存储的来自技术手册的所属类型的标准连接件的三维特征，则该连接件的轮廓识别为连接件，否则识别为非连接件。

在这里补充说明的是，步骤S53中连接件组中不同类型的连接件均为圆形连接件，则不同类型的连接件在原始连接件组图像中为椭圆形，所以可对轮廓序列中的每一轮廓进行椭圆拟合从而找到各类型的连接件的轮廓。

步骤S54中轮廓邻域的范围与轮廓的面积成正比，根据轮廓的面积确定轮廓邻域的范围。

步骤S55中三维特征中的平面参数主要指连接件的平面直径。