专利名称：：一种三步法结构光直线光条的图像特征提取方法
技术领域：
：本发明属于机器视觉
技术领域：
，涉及一种三步法结构光直线光条的图像特征自动提取方法。
背景技术：
：线结构光视觉测量具有大量程、非接触、速度快、系统柔性好等优点，广泛应用于产品快速设计和加工质量控制、逆向工程以及自动控制等诸多领域。结构光视觉三维测量技术通过向被测对象投射相应模式的结构光，由摄像机拍摄变形光条图像，基于光学三角原理获取物体表面三维信息，已成为解决物体表面形貌测量、空间位置测量、三维运动信息获取等许多在线测量的有效途径。线结构光传感器的模型参数的标定是线结构光视觉测量的关键和前提，现有的标定方法主要有基于立体靶标或者自由自动平面靶标两种方式，其中投射到立体耙标或者平面靶标上的直线光条图像特征的提取是结构光标定的重要环节。在线结构光视觉测量的工程应用中，往往需要现场在线标定，由于现场环境空间位置的限制以及光照的不确定性，获取的结构光光条图像表现为对比度不均匀、具有一定宽度的细长形狀特征，同时图像中包含一些复杂的背景干扰图像特征。魏振忠(魏振忠，张广军，"结构光直光条中心线的鲁棒性自动提取方法"，仪器仪表学报，2004,25(2):244~247.)等针对存在严重反射的结构光光条图像，提出了一种由腐蚀、细化和最小中值二乘法相结合的结构光直线光条提取方法，该方法只适合图像中无复杂背景的结构光图像。针对具有复杂背景的结构光图像，目前主要采用人工选取部分结构光条的感兴趣区域，结合结构光光条中心线提取和直线最小二乘拟合方法实现直线光条的提取，从而使得操作复杂、效率低，且难以充分利用图像中全部的有效结构光直线光条信息。因此，线结构光直线光条图像特征的自动提取对于简化结构光标定的搡作过程,提高结构光视觉测量的现场应用的简便性，进一步拓宽结构光视觉三维测量的工程应用具有重要的意义。
发明内容本发明所要解决的技术问题是提供一种三步法直线光条的图像特征自动提取方法，利用光条中心点的位置连续性，结合直线近似拆分和共线点融合算法，自动提取出复杂背景中的直线光条，提高直线光条提取的自动化程度，充分利用直线光条上所有中心点，为简化线结构光视觉系统的标定过程，提高标定精度和结构光视觉现场应用的简便性奠定基础。本发明的技术解决方案是一种三步法直线光条的图像特征自动提取方法,其特征在于，所说的直线光条的图像特征是指直线光条在图像中的参数方程，具体步骤是1、釆用基于Hessian矩阵的条紋中心提取方法提取图像中的光条中心点的亚像素图像坐标，将获得的光条中心点连接成光条中心线，光条中心线是由光条中心点构成的坐标序列，其长度定义为点的数量；保留长度大于r,的光条中心线，7)长度阈值，取值为20~50;用Z^U=l...Mc)表示第i条光条中心线，Mc为光条中心线的数量；第漆光条中心线上的点用^(x,;y)(y^r卜.A^)表示，~为中心线上点的数量；2、釆用直线近似算法，在光条中心线的拐点将步骤l提取出的光条中心线Ld拆分为近似直线，近似直线是由光条中心点构成的坐标序列，其长度定义为点的数量；保留长度大于K的近似直线，7)与步骤1相同；用/^0=1...似5)表示拆分后的近似直线，M,为近似直线的数量；第f条近似直线上的中心点用P^.O,y)0'二r!…A^)表示，A^为近似直线上点的数量；3、釆用最小二乘直线拟合算法，将步骤2获得的近似直线上的光条中心点拟合成直线，利用拟合直线的角度约束和图像原点到拟合直线的距离约束，进行共线光条中心点融合，图像原点定义为图像左上角；利用融合后的共线光条中心点进行直线拟合，得到直线光条的参数方程；3.1、利用步骤2获得的Z^(i=1…M,)包含的点<.0,力(y'=&…Wsi)，釆用最小二乘直线拟合算法分别拟合直线，得到M,条直线的近似参数；由拟合直线的方向余弦，计算得到拟合直线相对于图像水平轴的角度，用&i表示第f条拟合直线对应的角度；计算得到图像原点到拟合直线的距离，用c^表示第f条拟合直线对应距离；3.2、利用拟合直线的角度约東和图像原点到拟合直线之间的距离约束，融合拆分后的近似直线包含的光条中心点。对于拆分后的任意两条直线Z^和Z^，定义角度约束A&^)=|)^—^7>,7>为角度差阈值，取值为0°5°,精度要求越高，取值就越小；定义距离约東A《(^)=—ds/c|srd,L为距离差阈值，取值为010像素，精度要求越高，取值就越小；如果Z^和Z^同时满足角度约束和距离约東，则将Z^和/^融合为一个新的直线，称为融合直线，融合直线由光条中心点构成的坐标序列，删除已经融合过的近似直线，对所有的直线融合后，再次对融合后的直线进行同样的融合过程，直到没有再满足角度约東和距离约東的直线，则融合停止。融合后的直线用L^(i=l...Mm)表示，Mm为融合直线的数量，相应直线上的点用p^.(X力0'=r。..yvmi)表示，yv^为融合直线上点的数量；3.3、采用最小二乘直线拟合方法，将步骤3.2获得的融合直线L^(i=l—Mm)上包含的点p"(x，y)0'=7^,,Wmi)，拟合成直线，从而得到直线光条的参数方程，直线方程由位于直线上的2个点的坐标和直线的方向矢量表示，将直线方程的系数保存到文件中。本发明的优点是本发明提出了一种三步法直线光条图像特征自动提取方法。该方法基于Hessian矩阵的条紋中心提取方法提取光条中心点的亚像素图像坐标，并连接成光条中心线，利用直线近似将光条中心线拆分为近似直线，最后将满足角度约東和距离约東的共线光条中心点进行融合，通过拟合融合后的共线光条中心点实现了复杂背景中结构光直线光条的图像特征自动提取，消除了杂散干扰特征的影响。同现有直线光条提取方法相比较，本发明提出的三步法直线光条提取方法具有自动化程度高、操作简便，同时能够充分利用有效直线光条的信息，为提高结构光视觉系统的标定效率和标定精度以及现场操作的简便性奠定了基础。图l是本发明提出的三步法直线光条的图像特征自动提取方法的流程图。图2是光条中心线拆分示意图。图3是共线光条中心点的融合示意图。图4是两种典型的直线光条图像。图4a是单直线光条图像，图4b是十字直线光条图像。图5是对图4的两种典型直线光条的图像特征提取结果。图5a是单直线光条的图像特征提取结果，图5b是十字直线光条的图像特征提取结果。具体实施例方式下面对本发明做进一步详细说明。首先，简要介绍基于Hessian矩阵的条紋中心提取方法的基本原理。基于Hessian矩阵的条紋中心提取算法的基本思路是首先任取条紋上的一点，计算该点的Hessian矩阵，选择Hessian矩阵的最大特征值对应的特征向量作为该点的法线方向，然后在其法线方向上利用泰勒展开求出条紋上中心像素点的亚像素坐标，并将属于同一条紋上的中心点连接成条紋中心线。条紋的法线方向就是图像z(x,y)(其中x,少分别为图像的横、纵坐标)中二阶方向导数绝对值取极大值的方向，该方向可以通过计算Hessian矩阵的特征值和特征向量来确定。Hessian矩阵可以表示为其中"O,y)为二维高斯函数，*表示卷积运算。点Oo,yo)的法线方向由图像zO,y)在该点的Hessian矩阵最大特征值绝对值由对应的特征向量给出。假设根据Hessian矩阵所求得的条紋法线方向的单位向量为(^,ny)，以点Oo,yo)为基点，对条紋横截面上的灰度分布函数进行二阶泰勒展开，则条紋横截面上的点(Xo+tnx,y0+triy)的灰度可以表示为z(x。+mx,y0+tny)=z(x0,y0)+N(r,y)r+(NH(x,y)Nr)/2[2]其中N=Ox,my)，ry由图像z(x,y)分别与相应微分形式的高斯核卷积得到，即由&/&=0，根据式[2]得到t=—Oixrx+nyry)/0^rx;c+2nxnyrXy+njryy)[4]则条紋中心点的精确位置为G^+tnx,y0+tny;)。在以上叙述的基于Hessian矩阵的条紋中心提取算法的基础上，结合直线近似和共线点融合算法，本发明提出了一种三步法结构光直线光条的图像特征自动提取方法，所说的直线光条的图像特征是指直线光条在图像中的参数方程，具体步骤如下1、采用基于Hessian矩阵的条紋中心提取方法提取图像中的光条中心点的亚像素图像坐标，并将光条中心点连接成光条中心线，保留满足长度约東的光条中心线。条紋中心提取及连接算法参见StegerC.的文章"一种对称曲线结构探测器"[AnUnbiasedDetectorofCurvilinearStructures]，IEEE期刊《模式分析及机器智能》，20(2)，第113125页，1998年。[IEEETransactionsonPatternAnalysisandMachineIntelligence,20(2)，February1998]。具体步骤如下第一步，求解Hessian矩阵的特征值和特征向量，得到光条的法线方向(nx,n》；Hessian矩阵的表达式H(x,y)如式[l]所示，法线方向由图像z(x,y)的Hessian矩阵最大特征值绝对值所对应的特征向量给出；第二步，根据泰勒展开求解光条中心点的亚像素坐标；以当前点(x。,y。)为基点，对结构光光条横截面上的灰度分布函数进行二阶泰勒展开，光条横截面上的点0。+ti^,y。+tny)的灰度表示如式[2]，由&/&=0，根据式[2]得到t=—(&+nyry)/(njr^+2nxnyrXy+njryy)[5]则光条中心点的精确位置为(x0+tnx,yo+tny)。第三步，提取的光条中心点用Pc(;c,y)表示，利用光条中心点位置的连续性约東，将获得的光条中心点连接成.光条中心线，光条中心线是由光条中心点构成的坐标序列，其长度定义为点的数量。第四步，保留长度大于K的光条中心线，K长度阈值，取值为20~50;用MU=1...MC)表示第f条光条中心线，Mc为光条中心线的数量；第Z条光条中心线上的点用p^O,;y)0二r!…A^)表示，iV^为中心线上点的数量。2、釆用直线近似算法，在光条中心线的拐点将光条中心线拆分为近似直线，近似直线是由光条中心点构成的坐标序列，其长度定义为点的数量，保留满足长度约東的近似直线。具体步骤如下第一步，将一条包含多个光条中心点的中心线Z^进行拆分，以便得到由近似共线中心点构成的近似直线，近似直线是由光条中心点构成的坐标序列。直线近似算法参见Hershberger,J.和J.Snoeyink的文章"提高Douglas-peucker直线简化算法的速度"(SpeedinguptheDouglas-Peuckerlinesimplificationalgorithm)，第5届空间数据处理国际会议，134~143页，1992年(Proceedingsofthe5thInternationalSymposiumonSpatialDataHandling,134-143，1992)。基本计算过程如下给定点数组V，调用DP(y,i,))算法简化从K到^的子链码。DP(7,i,/)算法搜索距离直线V^最远的中心线上的点作为拐点^，距离为d。如果^>￡，￡为距离误差，取值为010像素，则调用Z)P(7丄乃，在l^处将中心线分开，对^i^进行递归处理，调用/)P(y丄j),对对i^i^进行递归处理进行递归处理。否则使用Kl^作为近似直线。第二步，保留长度大于K的近似直线，7^与步骤l相同；用L^i二l…A^)表示拆分后的近似直线，A^为近似直线的数量；第f条近似直线上的中心点用0'=T「..^i)表示，A^为近似直线上点的数量。如图2所示，^K由提取出的光条中心点构成的一条光条中心线，按照前面叙述的算法，到直线1^^2的最大距离在点1/3处，且超过距离误差，因此在点^处将中心线1^1^2拆分为两条近似直线1^1/3和1^31/2,根据算法原理和定义的距离误差,1/^3和731/2不可再分，表示了2条近似直线。3、釆用最小二乘直线拟合算法，将步骤2获得的近似直线上的光条中心点拟合成直线，利用拟合直线的角度约東和图像原点到拟合直线的距离约東，进行共线光条中心点融合，图像原点定义为图像左上角；利用融合后的共线光条中心点进行直线拟合，得到直线光条的参数方程。3.1、利用步骤2获得的Z^(i=1…Ms)包含的点p^(x，y)(y=rz…A^),釆用最小二乘直线拟合算法分别拟合直线，得到Ms条直线的近似参数；由拟合直线的方向余弦，计算得到拟合直线相对于图像水平轴的角度，用i^表示第Z条拟合直线对应的角度；计算得到图像原点到拟合直线的距离，用c^表示第〖条拟合直线对应距离。利用步骤2中的第二步得到的(f=1...Ms)包含的点0=7^..y\^)，釆用最小二乘直线拟合方法分别拟合直线，得到M,条直线的近似参数。设拟合直线上点为Xf=[&:^卩，方向余弦为^=["^a^]T，则拟合直线的优化目标函数为/(Xi,a〖)=minS卜x(Xf-<(x,y))|[6]最小化式[6]，便可以得到拟合直线的方向余弦。其解对应于矩阵a=.;的最大特征值对应的特征矢量。AO)p》).由拟合直线的方向余弦，计算得到直线相对于图像水平轴的角度，用&i表示第i条拟合直线对应的角度；计算得到图像原点到拟合直线的距离，用c^表示第i'条拟合直线对应距离。3.2、利用拟合直线的角度约束和图像原点到拟合直线之间的距离约東，融合拆分后的近似直线包含的光条中心点。对于拆分后的任意两条直线Z^和Z^，定义角度约束A&(i,fc)=lisi—S7>，7>为角度差阈值，取值为0°~5°,精度要求越高，取值就越小；定义距离约束A《(uo=|dsi_dsfc|srd,7^为距离差阈值，取值为010像素，精度要求越高，取值就越小；如果Z^和Z^同时满足角度约束和距离约東，则将Z^和Z^融合为一个新的直线，称为融合直线，融合直线由光条中心点构成的坐标序列，删除已经融合过的近似直线，对所有的直线融合后，再次对融合后的直线进行同样的融合过程，直到没有再满足角度约東和距离约東的直线，则融合停止。融合后的直线用/^i(i'-l…M饥)表示，Mm为融合直线的数量，相应直线上的点用4y0:,y)0'=7^...yvmi)表示，W^为融合直线上点的数量。如图3所示，按照以上叙述的共线光条中心点融合算法，图中的直线Ln和Z^同时满足融合的角度约東和距离约東，因此两条直线包含的中心点序列融合为一条新的直线Z^"而Z^和L^不满足距离约東条件，Z^和L姐不满足角度约東条件，、3和^4都不满足距离约東和角度约東条件，因此都不能进行融合。最终经过融合后，图像中包含Z^m、；3和Z^三条直线。3.3、釆用最小二乘直线拟合方法，将步骤3.2获得的融合直线L^(i=iMm)上包含的点p"(x,y)o'=r「..yvmi),拟合成直线，从而得到直线光条的参数方程，直线方程由位于直线上的2个点的坐标和直线的方向矢量表示，将直线方程的系数保存到文件中。实施例三步法直线光条的图像特征自动提取方法的流程如图1所示。以线结构光视觉传感器参数标定中的直线光条为例，进行了实验。由线结构光投射器投出的平面结构光，与标定靶标平面相交，形成直线光条，由于靶标平面包含其他物理特征，如圆孔、黑白方块等，由摄像机拍摄的结构光条图像，其特征表现复杂背景中的非完整直线光条。图4(a)和图4(b)分别为单直线光条图像和十字直线光条图像，图像分辨率为768x576像素。根据本发明提出的三步法直线光条提取方法分别对包含单直线光条图像和十字直线光条图像进行了直线提取，光条中心提取的高斯滤波系数为cr-3,对应高斯卷积模板大小为25x25,釆用￥0++编程实现。表l2种典型直线光条的提取结果<table>tableseeoriginaldocumentpage10</column></row><table>图5(a)和图5(b)分别为图4(a)和图4(b)所示的两幅图像提出的直线光条结果。提取出的直线光条的参数如表1所示。从实验结果可以看出，本发明提出的直线光条提取方法能够自动提取出复杂背景中的直线光条图像特征，同时消除了杂散光条特征的影响。同现有的依赖人工选定直线光条的感兴趣区域的光条提取方法相比，三步法具有自动化程度高、操作简便，同时能够充分利用直线光条的图像特征，为结构光视觉系统的现场标定奠定了基础。权利要求1、一种三步法直线光条的图像特征自动提取方法，其特征在于，所说的直线光条的图像特征是指直线光条在图像中的参数方程，具体步骤是1.1、采用基于Hessian矩阵的条纹中心提取方法提取图像中的光条中心点的亚像素图像坐标，将获得的光条中心点连接成光条中心线，光条中心线是由光条中心点构成的坐标序列，其长度定义为点的数量；保留长度大于Tl的光条中心线，Tl长度阈值，取值为20～50；用Lci(i＝1...Mc)表示第i条光条中心线，Mc为光条中心线的数量；第i条光条中心线上的点用pcji(x，y)(j＝Tl...Nci)表示，Nci为中心线上点的数量；1.2、采用直线近似算法，在光条中心线的拐点将步骤1.1提取出的光条中心线Lci拆分为近似直线，近似直线是由光条中心点构成的坐标序列，其长度定义为点的数量；保留长度大于Tl的近似直线，Tl与步骤1.1相同；用Lsi(i＝1...Ms)表示拆分后的近似直线，Ms为近似直线的数量；第i条近似直线上的中心点用psji(x，y)(j＝Tl...Nsi)表示，Nsi为近似直线上点的数量；1.3、采用最小二乘直线拟合算法，将步骤1.2获得的近似直线上的光条中心点拟合成直线，利用拟合直线的角度约束和图像原点到拟合直线的距离约束，进行共线光条中心点融合，图像原点定义为图像左上角；利用融合后的共线光条中心点进行直线拟合，得到直线光条的参数方程；1.3.1、利用步骤1.2获得的Lsi(i＝1...Ms)包含的点psji(x，y)(j＝Tl...Nsi)，采用最小二乘直线拟合算法分别拟合直线，得到Ms条直线的近似参数；由拟合直线的方向余弦，计算得到拟合直线相对于图像水平轴的角度，用βsi表示第i条拟合直线对应的角度；计算得到图像原点到拟合直线的距离，用dsi表示第i条拟合直线对应距离；1.3.2、利用拟合直线的角度约束和图像原点到拟合直线之间的距离约束，融合拆分后的近似直线包含的光条中心点。对于拆分后的任意两条直线Lsi和Lsk，定义角度约束Δβs(i，k)＝|βsi-βsk|≤Tβ，Tβ为角度差阈值，取值为0°～5°，精度要求越高，取值就越小；定义距离约束Δds(i，k)＝|dsi-dsk|≤Td，Td为距离差阈值，取值为0～10像素，精度要求越高，取值就越小；如果Lsi和Lsk同时满足角度约束和距离约束，则将Lsi和Lsk融合为一个新的直线，称为融合直线，融合直线由光条中心点构成的坐标序列，删除已经融合过的近似直线，对所有的直线融合后，再次对融合后的直线进行同样的融合过程，直到没有再满足角度约束和距离约束的直线，则融合停止。融合后的直线用Lmi(i＝1...Mm)表示，Mm为融合直线的数量，相应直线上的点用pmji(x，y)(j＝Tl...Nmi)表示，Nmi为融合直线上点的数量；1.3.3、采用最小二乘直线拟合方法，将步骤1.3.2获得的融合直线Lmi(i＝1...Mm)上包含的点pmji(x，y)(j＝Tl...Nmi)，拟合成直线，从而得到直线光条的参数方程，直线方程由位于直线上的2个点的坐标和直线的方向矢量表示，将直线方程的系数保存到文件中。全文摘要本发明属于机器视觉
技术领域：
，将提供一种三步法直线光条的图像特征自动提取方法。本发明基于Hessian矩阵的条纹中心提取方法提取光条中心点的亚像素图像坐标，并将光条中心点连接成光条中心线；然后利用直线近似算法将光条中心线在拐点处拆分为近似直线；最后将满足角度约束和图像原点到近似直线的距离约束的共线中心点进行融合，对融合后的共线中心点进行直线拟合得到直线光条的参数方程。所提出的三步法实现了复杂背景中结构光直线光条的图像特征自动提取，消除了杂散干扰特征的影响，提高了直线光条的图像特征提取的自动化程度，充分利用了直线光条上所有的光条中心点，为提高结构光视觉系统的标定效率和标定精度以及现场操作的简便性奠定了基础。文档编号G06T7/00GK101178811SQ20071017902公开日2008年5月14日申请日期2007年12月10日优先权日2007年12月10日发明者周富强,张广军,飞王申请人:北京航空航天大学