一种基于三通道特征融合的光条纹中心提取方法

本发明属于视觉非接触式测量领域，一种基于三通道特征融合的光条纹中心提取方法。

背景技术：

在视觉测量以及目标物体表面形貌三维重构的过程中，通过视差图像并结合相机标定参数即可得到目标对象的三维尺寸信息，因此视差图像的求取有着重要的意义。为了得到视差图像，必须找到对应的特征点，并进行匹配。传统的双目视觉测量技术严重依赖于左右图像中目标对象的纹理信息和颜色特征来确定特征点。对于不同的目标对象和不同的环境光照，特征点的提取结果有较大的差异。主动视觉测量方法主要依赖于结构光，作为一种非接触测量技术，结构光传感器通过主动在被测目标对象表面投射激光条纹来获取大量有效数据，具有结构简单，成本低和精度高等优点，并且该过程不受物体表面纹理信息和颜色特征的干扰。由于光条纹中心点包含了特征点的信息以及激光器、相机和被测对象三者之间的空间位置关系，因此光条纹中心点坐标的精确提取对系统的标定以及被测对象的三维重构和尺寸测量至关重要。本发明在对比几何中心法，灰度重心法以及steger算法的基础上提取出了一种基于三通道特征的光条中心提取算法。三种通道的特征图像分别包含了光条纹的局部信息和全局信息，且对0级工件的测量精度为0.2709mm。

技术实现要素：

发明旨在通过一种基于三通道的结构光条纹中心提取方法，进而完成目标物体重构，实现对目标物体三维重构和尺寸测量的高精度测量。本发明通过如下技术方案实现：

一种基于三通道特征融合的光条纹中心提取方法，包括：

(1)采集原始的结构光条纹图像i_original，并对其进行滤波处理；

(2)分别在三种特征描述因子下得到光条纹的三种特征图像；

(3)融合三种特征图像，提取光条区域并提取中心线。

1.在本发明中，为了消除成像过程中高光对目标物体表面特征信息提取带来的影响，首先在ccd相机前添加了偏振装置。其次将七线结构光引入测量系统更进一步削弱物体表面纹理对特征提取和匹配带来的影响。

2.本发明采用三种特征因子gabor、lbp以及hog对目标物体的原始结构光条纹图像进行处理，得到对应的三通道特征图像i_gabor、i_hog和i_lbp，其对应的过程如下：

①原始结构光条纹图像gabor特征提取

gabor变换属于加窗傅里叶小波变换，其对图像纹理信息的提取可以在不同尺度和多个方向上实现。由于该滤波器对结构光条纹图像中的亮度变化具有鲁棒性，因此该滤波器在一定程度上能应对图像中光照变化和噪声的影响。并且gabor函数相仿与人眼视野的感受，所以其在目标物体纹理特征提取方面有很大的优势。借助二维高斯函数对一些具有一定频率和方向的正弦平面波进行调制得到一个复正弦函数，即为二维gabor函数，该函数能够实现条纹图像局部频域特征的提取。

一个二维正态分布函数如式(1)所示。

其中，a、b、σx、σy和ρ为常数，a、b分别为随机变量x和y的均值，σx和σy为两者的方差，ρ为两者之间的相关系数。gabor函数本质就是用一个a、b和ρ均等于0的二维高斯函数对一个正弦平面波调制得到的，此时的式(1)可以转变为式(2)。

因此gabor函数的复数形式可以表示为式(3)。

其中：

该函数的实数部分和虚数部分为公式(5)所示。

在该公式中，λ代表余弦因子的波长，θ为gabor核函数方向，ψ为相位偏移，γ为空间的宽高比并且指定了gabor函数决定的椭圆，其为0.5。σ高斯函数标准差，它与平行和抑制区条纹的数量成正比。1/λ为余弦因子的频率，σ/λ的比值决定了半响应空间带宽d，带宽d如公式(6)所示。

又有：

ψ=0°和ψ=90°依次返回gabor滤波器的实部和虚部，gabor滤波器的实部是偶数对称的。采用gabor滤波器的实部来完成光条纹的特征提取。根据文献^[77]，本文采用30°定向分离角，即θ分别取0°，30°，60°，90°和120°，150°，并采用如下频率：

其中，i=1,2,…,log2(nc/8),nc，其中nc是图像的宽度，且其为2的幂次方。因此有：

因此，通过gabor滤波器的实部对i_original进行特征提取即得其第一个通道的特征图像i_gabor。

②原始结构光条纹图像hog特征提取

hog特征中包含的条纹梯度幅值以及方向密度能够很好的表示其表象和形状，条纹区域中某一灰度值为i(x,y)的像素点(x,y)，其梯度如式(10)所示。

该像素点在水平方向和竖直方向的梯度分别为gx(x,y)和gy(x,y)，因此其梯度幅值m(x,y)和梯度方向α(x,y)为式(11)所示。

为了削弱光照对光条纹图像带来的影响，本文首先通过公式(12)所示的gamma压缩对原始的结构光条纹图像进行归一化操作。

对于结构光条纹图像来说，当gamma>1时，图像较亮的区域得以拉伸，较暗的区域则相反，当gamma<1时，情况相反。本发明选取的gamma值为0.5。

通过hog特征提取常用的算子[-101]^t和[10-1]^t对结构光条纹图像进行卷积运算可求得gx(x,y)和gy(x,y)，将两个梯度分量带入公式(11)即可求解出该条纹图像范围内每一点像素的梯度大小和方向。对于采集到的大小为1200×1920的结构光条纹图像，首先将8pixel×8pixel定义为一个cell，该cell里面的梯度方向α(x,y)又被分为9个区间(bin)，即产生9个方向块。经过m(x,y)对每个像素点的梯度方向计数进行加权处理，则每个cell里的像素点落在每一个方向块i的计数num_i(i=1,2,3,…,9)通过公式(13)可以统计得出。

其次将2×2个单元定为一个块，用以8个像素为步长的滑窗对结构光条纹图像进行扫描，由此可以计算出在本文采集的结构光条纹图像中特征总数为36×149×239个，这1281996个特征即为本文结构光条纹最终的hog特征，此时通过hog对i_original进行特征提取即得其第二个通道的特征图像i_hog。

③原始结构光条纹图像lbp特征提取

圆形邻域lbp特征算子的邻域范围可被任意扩大，因此更能适应目标图像尺寸的变化。对于一个给定的邻域半径为r，采样点个数为p的圆形算子，该算子可以表示为lbpp^r。根据具体的情况，调整采样区域的半径可使lbp特征能够更好得满足结构光条纹图像中不同尺寸和频率的纹理特征，则邻域内的第p个像素点坐标与中心点坐标(xc,yc)的关系如式(14)。

其中，r是采样的半径，p是第p个采样点，p为总采样的个数。对于计算出的非整数像素值，本文采用插值法计算得到对应的插值点来代表该像素点的整数像素值。考虑到初始lbp特征存在的不足之处，本发明采用圆形lbp特征算子对结构光条纹进行特征提取。当p=8时，经过式(14)得到的(xc,yc)为256个，与结构光条纹图像的灰度等级相对应，因此采样点的个数定为8，通常情况下p是r的8倍。此时即得到光条图像的第三个通道特征图i_lbp。

3.融合三通道特这个图象，对该图像进行灰度增强，提取出光条所在区域并对其中的不连续区域进行灰度填充，最后利用骨架细化法得到光条中心线。

①三通道特征融合

由于上述三个特征描述因子下得到的特征图像对应着rgb通道，因此将三者的权重设为1，融合的过程如公式(15)所示。

其中，i_final为最终的三通道特征融合光条纹图像。其中i_gabor、i_hog和i_lbp这三个通道光条特征对应的权重分别为ɷ1，ɷ2和ɷ3。

②光条纹所在区域提取

通过三个通道特征提取并分别对三幅特征图像赋予相同的权重可以得出最终的特征融合图像。另外本发明首先对i_final进行像素强度增强，其次求出整幅结构光条纹图像中的灰度最大值imax。考虑到光条纹的能量比较强，通过多次实验本发明以灰度最大值的80%作为阈值，将光条纹从背景信息中分割出来。从背景图像中分割出的光条区域内存在不连续的现象，因此发明采用灰度膨胀算法对此进行填充，即结合光条图像中的对象边界对间断区域实现像素添加。

③光条中心线提取

通过三个通道特征提取并分别对三幅特征图像赋予相同的权重可以得出最终的特征融合图像。另外本发明首先对i_final进行像素强度增强，其次求出整幅结构光条纹图像中的灰度最大值imax。考虑到光条纹的能量比较强，因此通过多次实验本发明以灰度最大值的80%作为阈值，可将光条纹从背景信息中分割出来。从背景图像中分割出的光条区域内存在不连续的现象，因此采用灰度膨胀算法对此进行填充，即结合光条图像中的对象边界对间断区域实现像素添加。

本发明提出了一种基于三通道特征的光条中心提取算法，相较于其他三种现存的算法，该算法在条纹中心线平滑度以及提取时间上都具有一定的优势。将该提取方法应用于传统的双目视觉测量系统中，可以达到较高的测量精度。

附图说明

图1为gabor滤波器对应的光条纹第一通道特征图i_gabor。

图2为hog特征描述器对应的光条纹第二通道特征图i_hog。

图3为lbp算子对应的光条纹第三通道特征图i_lbp。

图4为光条中心线提取过程。

具体实施方式

本发明提出了一种基于三通道特征融合的光条纹中心提取算法，将该方法对应光条纹的中心提取效果与传统的方法相比，并将其用于目标物体的三维重构和尺寸测量。通过光条提取时长以及三维还原的效果和尺寸测量的精度来验证本发明的可行性。从具体的测量结果对比发现，本发明相比传统的方法时长更短，且平滑度更好。

具体实施方式一：光条纹提取时长对比

通过相机捕获原始光条纹图像，并经过gabor、lbp以及hog这三种特征描述因子下得到光条纹的三种特征图像，并对三种图像进行融合，得到最终的光条中心线。从与几何中心法、灰度重心法以及steger算法对应的光条中心提取时长的比较，以及与提取精度相对较高的steger算法对应光条平滑程度的比较验证了本发明在提取时长和提取平滑度方面都具有优势。

表1：四种方法对应的光条中心提取时长

表2：光条提取效果平滑度分析

选取精度为0级的量块，其标准的尺寸为100×35(mm)。通过左右相机同时捕获原始结构光条纹，并通过上述方案提取左右目标图像中的光条中心线，同时匹配左右图像中相对应的中心点，完成目标对象长边和短边尺寸的测量。

表3：目标物体长边测量结果

表4：目标物体短边测量结果