灰度图像耦合特征点高度的构件三维测量方法与流程

本发明属于工业构件三维测量技术领域。具体涉及一种采用灰度图像拟合特定点高度信息，对工业构件表面进行精确三维测量的方法。

背景技术：

随着科学技术的快速发展与进步，在电子装配、车船制造、航空航天、军事国防等行业和领域中，生产制造与工程测量都对三维测量提出了明确要求。例如在3d打印、工业结构件逆向设计和加工中，需要对构件的三维形状、表面粗糙度、纹理等进行精确测量。

三维测量方法包括接触式测量和非接触式测量。其中，基于光电技术的非接触式测量方法结合了光电子学、数字图像处理等技术，具备检测方便、精度较高等优点。目前，双目机器视觉方法和三维激光扫描方法在工业中得到重视。三维激光扫描方法是通过激光高速扫描记录物体表面信息，提供被测物体表面的三维点云数据。双目机器视觉方法则由不同位置的两台摄像机同时拍摄同一场景，获取在不同视角下的感知图像，基于三角测量原理得到空间三维坐标值。

三维激光扫描方法要求激光扫描通过整个被测试件表面，移动过程易于造成测量误差且耗时较长。而双目机器视觉方法对被测表面的特征点匹配提出了较高要求，测量精度与被测量物体表面状态密切相关，而且双摄像装置使得测量设备体积较大，给工业应用带来不便。

除此之外，还可以在没有附加结构光源的情况下，利用单目相机采集物体表面图像，通过图像灰度化去噪等处理，利用图像二维灰度值来对物体的三维信息等进行识别。但利用灰度值对待测构件特征点进行判断时，灰度值容易受到环境光源影响，导致特征点判断出现误差，不能获得物体表面的精确尺寸。

cn107631699a公开了一种基于网格结构激光的焊缝三维形貌构建方法，将网格结构激光和工业相机以固定角度组成形状测量传感器，网格结构激光发出的网格状线结构光在待测构件表面形成网格状光斑，被构件表面反射或散射进入工业相机成像，将图像处理成垂直于焊缝纵方向的骨架图像，计算出焊缝表面各点距离网格结构激光出射面的绝对高度，根据绝对高度值数据构建出焊缝表面轮廓。

但是，上述方法只能测量出焊缝表面网格结构激光投射出的网格状光斑上各点的绝对高度值，而网格间隙处的高度值无法获取，不能全面体现出焊缝表面的三维轮廓信息。

因此，本发明拟采用灰度图像拟合特定点高度信息，提出一种工业构件三维形貌的快速测量方法。

技术实现要素：

本发明的目的是提供一种灰度图像耦合特征点高度的构件三维测量方法，该方法采用单摄像镜头连续两次拍摄，基于灰度图像纹理信息，并耦合特征点高度信息，实现工业构件三维尺寸的快速测量。

本发明所述的灰度图像耦合特征点高度的构件三维测量方法是基于一个形状测量传感器实现的。所述形状测量传感器由一个网格结构激光器和一个cmos工业相机成固定夹角连接组成，所述网格结构激光器能够投射出由m×n条线激光垂直排列组成的，(m-1)×(n-1)个网格构成的网格激光线。

首先，以与网格结构激光器成固定夹角连接的cmos工业相机对从网格结构激光器投射出的、照射在待测构件表面的网格激光线进行拍摄，得到待测构件表面的激光网格图像。

接着，按照cn107631699a方法，对所述得到的激光网格图像进行二值化-骨架化法处理，得到所述激光网格图像的单像素宽度的连通无毛刺网格骨架化图像，采用三角测量法计算出所述网格骨架化图像上每一个像素点对应的高度信息，即得到所述激光网格图像每一个像素点对应的高度值。

虽然基于上述高度值，可以构建出待测构件表面上的m×n条表面轮廓线。但由于网格间隙处的高度值无法获取，也就无法真实地再现出构件表面的三维尺寸。

因此，本发明在上述以cmos工业相机拍摄得到待测构件表面的激光网格图像后，保持形状测量传感器与待测构件的相对位置不变，关闭网格结构激光器，再次以cmos工业相机进行拍摄，获得自然光照下的待测构件表面图像。

随后，对自然光照下的待测构件表面图像进行处理，将采集到的彩色图像转换为灰度图像，并进行滤波去噪后，得到自然光照下的待测构件表面灰度图像。

之后，对自然光照下的待测构件表面灰度图像中的灰度值进行提取。

具体提取方法为：将所述网格骨架化图像上每一个像素点对应的横纵坐标提取出来，再将所述提取出的横纵坐标对应到所述待测构件表面灰度图像中，将所述横纵坐标对应下的灰度值提取出来。

选取所述(m-1)×(n-1)个网格中的任意一个网格，得到该网格四周骨架线每一像素点的横纵坐标所对应的高度值和灰度值，将高度值视为y值，灰度值视为x值，采用多项式拟合方法对所述高度值和灰度值进行拟合，得到以下公式1）所示的，所述网格上网格结构激光器照射下的某一像素点的高度值与该像素点在自然光照下的灰度值之间的拟合关系式。

yi=a0+a1xi+a2xi²+…+anxiⁿ1）

上述公式1）中，xi′=[1,xi,xi²,…,xiⁿ]，a=[a0,a1,a2,…,an]，a是多项式参数向量，n是拟合阶数。

提取出所述选取网格的四周骨架线内空隙处每一像素点的灰度值，将所述灰度值带入公式1）的拟合关系式中，计算得到所述空隙处每一像素点对应的高度值。

将计算得到的所述网格骨架线上每一像素点的高度值与通过拟合灰度填充得到的空隙处每一像素点的高度值进行整合，得到所述网格的完整的表面三维轮廓。

选取所述(m-1)×(n-1)个网格中的另外一个网格，按照上述方法构建该网格上某一像素点的高度值与灰度值之间的拟合关系式，计算出该网格上所有像素点对应的高度值，得到该网格的完整表面三维轮廓。

如此重复(m-1)×(n-1)次，得到所有(m-1)×(n-1)个网格的表面三维轮廓，整合后得到待测构件表面的三维图像。

本发明上述提供的构件三维测量方法方法中，所述cmos工业相机优选使用300万像素以上的cmos工业相机，工业相机的图像灰度分辨率为[0-255]。

其中，所述网格结构激光器与cmos工业相机之间的固定角度指的是网格结构激光器的激光中轴线与cmos工业相机的镜头光轴之间的夹角。

优选地，本发明是将所述cmos工业相机与网格结构激光器以12°的固定角度固定在一起。

更优选地，本发明所述方法中，所述工业相机应处于距离待测构件表面250～500mm的范围内进行拍摄。

更进一步地，本发明在自然光照条件下拍摄时，所述自然光照条件应不引起待测构件表面的镜面反射。

优选地，本发明是使用labview软件对cmos工业相机采集到的图像进行处理。

具体地，本发明中，公式1）中的多项式参数是通过加权最小二乘误差来计算的，通过公式2）来最小化残差。

其中，权重wi是由下述公式3）计算得到的。

其中，yi^*是基于三角测量法求出的高度值；n是计算过程中点数的个数；wi是用来调节数据对模型的拟合程度；权重wi是一个数组，其初始元素设为1；σ是控制拟合误差和权重之间关系的系数。

具体计算步骤如下：首先对参数向量a值进行估计，代入公式1）中对yi值进行计算。之后，再将yi值代入公式3）来对权重wi进行计算，再将计算得到的权重值带入公式2）得到参数向量a。

采用上述算法进行迭代计算，直至得到的权重wi稳定收敛，将得到的参数向量a带入公式1）中，即可得到多项式拟合曲线。

拟合过程中，拟合阶数n的取值不同，得到的拟合效果和拟合误差也不一样。在实际拟合中，需要根据拟合效果和误差选择合适的拟合阶数。

利用拟合关系式对所述网格上所有像素点进行三维拟合的过程中会出现一些异常点，影响拟合效果，因此，还需要将这些噪声点从拟合出的三维轮廓中去除。此外，还需要对得到的三维轮廓表面进行一定的平滑处理。

本发明是首先通过阈值设定，将偏离主体较远的点去除，去除大尺度范围的噪声点，再通过双边滤波的方法，在对小范围噪声进行去除的同时对轮廓的特征进行保留。

以下给出所述处理的具体步骤。

pi^'=pi+an4）

其中，pi是原始数据点，pi^'是滤波后的数据点，n是pi的法矢量方向，a是双边滤波因子，其以下述公式5）、6）和7）定义。

其中，wc是双边滤波权函数，称为空间域权重；ws为用来捕捉领域点之间的法向量的变化，称为特征阈权重。σc控制平滑度，σs控制特征保持度，分别代表空间域告诉函数的标准偏差和幅值。

首先，找出任意数据点pi的相邻点kij，求出数据点pi到相邻点kij的几何距离||pi－kij||以及内积参数〈ni,pi－kij〉，即数据点与相邻点pi－kij同该点法向量的内积。之后，通过计算wc及ws的值得到双边滤波因子a的数值。最后，用新的数据点代替原始数据点，直至所有数据都计算完，循环结束。

本发明上述建立的构件三维测量方法速度快、精度高，在对工业构件进行检测时，不需要双目相机和扫描机构，仅需要固定位置两次成像，将灰度值与特征点高度值进行耦合、填充，即可得到工业构件的表面三维轮廓。

附图说明

图1是本发明灰度图像耦合特征点高度的构件三维测量方法示意图。

图2是所述三维测量方法的系统标定原理图。

图3是表面三维轮廓构建流程图。

图4是待测构件特征点高度值测量原理图。

图5是实施例1的原始图像以及三维测量后的构建结果图。

图6是拟合曲线以及误差分布图。

图7是焊缝三维轮廓噪声分布图。

图8是实施例2的原始图像以及构建结果图。

具体实施方式

下述实施例仅为本发明的优选技术方案，并不用于对本发明进行任何限制。对于本领域技术人员而言，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

实施例1。

本实施例利用本发明灰度图像耦合特征点高度的构件三维测量方法实现焊缝表面三维轮廓的构建。

本实施例首先建立一个焊缝的空间坐标系xyzo三维空间，并设定平行于焊缝的方向即焊缝的纵方向为x轴方向，垂直于焊缝的方向即焊缝截面的方向为y轴方向，高度为z轴方向。

本实施例提供了一个以网格结构激光器和cmos工业相机组成的形状测量传感器，来作为实现焊缝表面三维轮廓构建的装置，其结构及原理如图1所示。

形状测量传感器由一个波长650nm的网格结构激光器和一个300万像素的cmos工业相机组成，两者被固定在一起，网格结构激光器的中轴线与cmos工业相机的镜头光轴之间的夹角为12°。

由图1可知，将上述形状测量传感器与待测焊缝平行放置在三维空间的z轴方向，距离焊缝250～500mm。以网格结构激光器从三维空间的z轴方向照射焊缝表面，能够在xoy平面的焊缝表面上形成一个由y轴向的9条等间距激光线与x轴向的9条等间距激光线构成的9×9网格状光斑。该网格状光斑被焊缝表面反射或散射，进入cmos工业相机成像。

由于焊缝表面是高低不平的，会导致入射光带沿入射光轴移动，cmos工业相机接受散射或反射激光的角度不同，工业相机上的成像点也会相应随之移动。因此，最终形成了一个图1所示的，能体现出焊缝表面形貌的、变形了的网格状光斑图像。

根据上述得到的网格状光斑图像，按照cn107631699a公开的基于网格结构激光的焊缝三维形貌构建方法，就可以得到整个网格状光斑反射的高度轮廓，也就是焊缝在某个横截面的轮廓曲线。如图5(b)所示，为采集到的网格结构激光器照射下的焊缝图像。

由于采集到的网格状光斑图像中的激光条纹仍具有一定的宽度，无法进行后续的高度计算，所以还需使用labview软件对采集到的图像进行处理，主要包括灰度化、滤波去噪、二值化、骨架化以及毛刺去除。

本发明中具体的图像处理方法是首先对网格激光照射下的图像进行灰度化处理，即将彩色图像转换为灰度图像，目的是使后续的图像处理步骤中计算量相对较小，减小图像处理的复杂度。之后在灰度图像的基础上，利用均值滤波的方法进行去噪，主要是滤去采集过程中环境光源引入的噪声。然后进行二值化处理，即通过设定阈值，将大于阈值的灰度值设为1，小于阈值的灰度值设为0，最后得到只有黑白两种颜色的黑白图像。

其中，二值化算法中阈值的选取，可以通过分析图像灰度值的分布，选取两个灰度峰值之间的谷底灰度值来获得，也可以通过最大类间方差法（otsu）以及迭代法来确定阈值。

之后，在二值化图像的基础上，利用迭代算法来提取网格激光图像中每条光带的中心线，即通过层层剥离，最后得到单像素宽度的骨架图像。

在最后得到的单像素宽度的骨架图像上，由于噪声的影响或在骨架转折处会有毛刺的出现，毛刺的出现会对后续的轮廓高度计算造成影响，因此，需要对骨架化后产生的毛刺进行去除。本发明中选用的去除毛刺算法是利用8邻域算法，具体算法是先对像素值为1的点周围8邻域的点的像素值进行判断，计算从0到1的个数，依次将像素点分为骨架节点、骨架点以及骨架端点，之后利用删除毛刺生长点与毛刺端点之间的像素值来去除毛刺。

因此，经过以上对网格状光斑图像的处理，最后得到了图5(c)所示的连通、无毛刺的单像素宽度的骨架图像，以便于后续对图像轮廓的绝对高度计算。

上述具体处理方法在cn107631699a中有详细说明可供参考。

接下来，需要从得到的网格状光斑图像中进行特征点提取，并进行高度计算。

网格结构激光器所形成的9×9网格状光斑中，y轴向的第5条线激光位于网格结构激光器的中轴线位置，因此，第5条线激光与激光中轴线的夹角α5=0°。从第5条线激光到第9条线激光，角度依次增加1°，亦即α6=1°，α7=2°，α8=3°，α9=4°。同时，从第1条线激光到第5条线激光，角度同样是依次增加1°，即α4=1°，α3=2°，α2=3°，α1=4°。

网格结构激光器的中轴线与cmos工业相机的镜头光轴之间的夹角为12°，因此，第5条线激光与镜头光轴的夹角θ5=12°，从第5条线激光到第9条线激光，夹角依次增加1°，即θ6=13°，θ7=14°，θ8=15°，θ9=16°。相反，从第5条线激光到第1条线激光，夹角依次减少1°，即θ4=11°，θ3=10°，θ2=9°，θ1=8°。

按照图2所示，分别对cmos工业相机以及组成的形状测量传感器进行标定。首先，利用张正友相机标定法标定上述cmos工业相机，得到相机的焦距f和像距d。根据公式1/f=1/l1+1/d，计算得出第5条线激光与镜头光轴的交点o至镜头的距离l5，再按照以下公式8）就可以计算出其他8条线激光与镜头光轴的交点o至镜头的距离li。

公式8）中，“+”用来计算线1-(((m+1)/2)-1)，“－”用来计算线(((m+1)/2)+1)-m。

之后，根据直射式三角测量原理，计算出第5条线激光与镜头光轴的交点o所在平面距离激光出射面的绝对高度h5。标定出h5的具体数值后，则其他8条线激光与镜头光轴的交点o所在平面距离激光出射面的绝对高度hi也可以根据公式9）计算得到。

上述ln及hi的测量原理如图4所示。

据此，得到了y轴向9条线激光各自对应的特征参数值hi、ln、θi和αi。

利用本发明所述的形状测量传感器进行焊缝表面绝对高度计算时，焊缝与传感器之间的相对位置不能保证是绝对平行的，会出现一定的角度，造成激光出射面在前后左右方向的整体倾斜，使绝对高度的计算产生误差。因此，本发明中还对由位置关系导致的计算误差进行了矫正。所矫正的内容包括激光出射面在垂直于焊缝方向的前后倾斜以及平行于焊缝方向的左右倾斜。

经过以上矫正，就可以得到任意一条骨架线上的点的真实绝对高度。最后得到的绝对高度值分布如图5(e)所示。图5(d)所示为焊缝实际高度与测量高度的误差分布图，误差大小为±0.1mm。

上述矫正方法已经在cn107631699a中有详细说明，本发明不再赘述。

同样，上述测量方法均基于cn107631699a中方法进行，本发明实施例因此仅做简单说明。

之后，保持形状测量传感器相对于焊缝的位置不变，并关掉网格结构激光器。调节cmos工业相机的光圈，在自然光照射下，采集得到图5(a)所示的焊缝图像。

对所述焊缝图像进行图像处理，包括灰度化及滤波去噪，最后得到自然光照下的焊缝灰度图像。

之后，对自然光照下的灰度图像中的灰度值进行提取。具体为，将网格骨架下的横纵坐标提取出来，保存为数组形式。接下来，将骨架图像中像素值为1的横纵坐标对应到灰度图像中，将坐标对应下的灰度值提取出来进行保存。最后再将自然光照下的网格空隙处的灰度值提取出来，进行保存，以便于下一步的计算。

最后，按照图3所示方法进行焊缝表面的三维构建。

所述焊缝表面的三维构建是基于已经获得了该焊缝的灰度图像和与该灰度图像重叠的网格状光斑图像，并已经计算出网格状光斑图像上网格线每一点的绝对高度值后进行的。

首先，将单个小网格上每一点的绝对高度值及对应的横纵坐标提取出来，同样，将网格空隙处每一点的横纵坐标值也提取出来。

接着，将提取出的横纵坐标值对应到自然光照下的焊缝灰度图像组成的灰度矩阵中，将每个坐标点对应的灰度值提取出来。

接下来，针对单个小网格上每一点的高度值与灰度值进行多项式拟合。

拟合阶数n的取值不同时，得到的拟合曲线以及拟合误差也不同。图6给出了不同拟合阶数下的拟合曲线以及误差分布。由图可知，当拟合阶数n的取值为5时，得到的拟合曲线比较理想，且拟合误差也较小。图6(c)所示为拟合阶数为5时得到的高度值与灰度值的拟合曲线。

之后，将网格空隙处每一点的灰度值带入上述得到的拟合曲线中，即可得出网格空隙处每一点的焊缝绝对高度值。

最后，将计算得到的网格线上每一点的绝对高度值与由拟合曲线、灰度值填充得到的网格空隙处每一点的绝对高度值进行整合，即得到了焊缝表面的三维轮廓。

经上述构建的焊缝表面三维轮廓中，可能会有一些噪声存在，如图7(a)所示为偏离轮廓主体较远的大尺度噪声。

此类噪声的去除主要是利用阈值选取的方式，将阈值范围外的点进行删除，去除结果如图7(b)所示。

在大尺度噪声去除后，在轮廓的表面还可以存在一些微小的噪声点，因此，还需要将这些小噪声点进行去除。

本实施例中选用的小噪声点去除方法为双边滤波算法，在滤去噪声点的同时，保持轮廓的特征不变，如图5(f)所示为最后得到的去除噪声以及平滑后的焊缝轮廓。

实施例2。

使用实施例1的形状测量传感器，对弧形纸面的轮廓进行三维构建。

分别采集网格结构激光器照射下的弧形纸面图像，及自然光照下的弧形纸面图像。图8(a)和(b)分别为采集到的弧形纸面在网格结构激光器及自然光照下的原始图像。

之后同样对网格结构激光器照射下的弧形纸面进行图像处理，包括灰度化、滤波去噪、二值化、骨架化及骨架化后的毛刺去除，最后得到的单像素骨架图像如图8(c)所示。

利用三角测量法中的直射式与斜射式混合计算网格结构激光器下的纸面绝对高度，经过矫正，得到准确的弧形纸面轮廓高度，如图8(d)所示。图8(f)所示为弧形纸面中每条激光线的实际高度值与测量所得高度值的误差分布图，由图可知，误差范围在±0.1mm。

分别提取单个小网格下的绝对高度值以及对应点的横纵坐标点，再将网格空隙处点的坐标值提取出来，以便于后续的计算。

图8(b)为自然光照下的弧形纸面原始图像，之后进行滤波去噪以及灰度化处理，再将上步骤提取出来的网格骨架上的坐标值以及空隙处点的坐标值对应到灰度图像中，分别提取出坐标对应下的灰度值。

同样，在单个小网格中，将高度值与提取出来的灰度值进行多项式拟合，这里根据拟合效果及拟合后误差，取得拟合阶数为5，得到拟合关系式。

将小网格空隙处的灰度值带入到拟合关系式中，得到对应的高度值。

之后，将计算出的网格骨架点上的高度值以及通过拟合、灰度填充得到的高度值进行整合。

分别对各个小网格进行上述计算，最后得到弧形纸面的三维轮廓，如图8(e)所示。