一种基于非固定特征点的光条边界提取方法与流程

本发明属于计算机视觉测量技术领域，涉及一种基于非固定特征点的光条边界提取方法。

背景技术：

航空航天零件的三维轮廓的测量对于零件的制造和气动外形的检测至关重要，是保证零件制造质量的重要手段。基于辅助激光的立体视觉系统具有非接触性、测量速度快、测量精度高、可实现在位测量等优势，已广泛运用在航天航空零件的装配测量过程中。然而，随着工业水平的发展，零件的尺寸增大、零件质量要求的提高，对于视觉系统的要求也逐渐提高。对于大型航空零件，由于其尺寸大，零件边界的尺寸和加工精度直接影响了零件间的装配制造，对于飞机气动外形的保证十分重要。基于辅助激光的立体视觉系统是通过双目相机实时采集由激光器投射在被测物表面的激光扫描信息，基于双目立体视觉理论实现激光特征信息的重建，进而实现被测物表面形面测量。其光条在被测物表面轮廓所出现的边界为零件的边界信息，因此光条边界准确提取方法的研究十分重要。

Canny,John发表的期刊《A Computational Approach to Edge Detection》,Canny J.A Computational Approach to Edge Detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1986,8(6):679-698.提出了多级边界检测算法，采用变分法实现被测物快速地定位与检测，该方法具有稳健性好，计算速度快、适应性好等优点，可检测非特定被测物的边缘信息，但是针对特定特体提取精度较低，难以实现特征光条在物体边界处的检测。杨扬等人发明的“一种图像边缘的检测方法”,专利号CNCN201510104797.4。该发明提出了一种图像边缘的检测方法，根据所述单一尺度下图像的形态学梯度,计算得到多尺度形态学梯度图像；确定多尺度形态学梯度图像中的极大值点的位置；进而使用过零点位置模板和相应阈值去除伪边缘；保留目标边缘的主干并去除边缘中的碎片,得到所述空间目标图像的边缘。该方法可快速提取图像边界，但提取精度较差只可获得目标的粗略轮廓，无法满足航空零件轮廓准确测量的要求。

技术实现要素：

本发明要解决的技术难题是针对难以实现光条在被测物轮廓上的边界提取问题，发明了一种基于非固定特征点的光条边界提取方法。该方法采用靶标点贴附在零件折角区域，其位置不具有固定要求，通过所贴附的非固定特征点构建零件边界的关键点,并基于该特征点对被测物轮廓进行区域分割，然后利用所提取的边界关键点进行边界补偿，实现被测物轮廓的整体提取，再根据所提取的测量物轮廓信息，对光条边界进行判定，从而获得光条的边界信息。可实现被测物轮廓快速高准确度提取，进而获得准确的光条边界点。

本发明采用的技术方案是一种基于非固定特征点的光条边界提取方法，其特征是，该方法将靶标点贴附在零件折角区域构建不具有固定位置要求的非固定特征点，通过非固定特征点建立被测物边界关键点，获得被测物准确的边界信息，实现在复杂现场环境下的背景与被测物的准确分离；首先通过边界图像的预处理和图像边缘的补偿获得被测物的初始边界；然后提取放置于被测物折角处的非固定特征点中心的图像坐标，基于非固定特征点提出折角分割的边界关键点提取方法，实现被测物边界关键点的提取；再根据被测物边界上的关键点信息，建立被测物边界判别准则，从而将与背景联通的误识别边界去除，补偿有效边界，获得被测物轮廓信息；最后结合激光光条中的中心提取结果，通过被测物轮廓约束及二维差分算法，获得光条边界的准确提取；方法具体步骤如下：

第一步被测物边界的预处理

a)边界图像预处理

对被测物图像采用高斯滤波进行降噪处理，并对图像进行二值化和删除小面积处理，在图像中，被测物整体区域数值为1，背景区域为0，图像矩阵为I_BW；然后采用sobel算子提取被测物边界，计算方法如下：

其中，g(i,j)为图像坐标为(i,j)的Sobel边缘检测算子，d_x和d_y分别为计算的卷积模板；删除小面积区域保留被测物初始边界，然后通过图像形态学的膨胀和细化，使被测物的边界与被测物初步分离，从而使目前判断出的被测物边界图像二值化结果为1，其他区域为0，其图像矩阵记为I_PRE；

b)图像边缘的补偿

补偿被测物图像在图像边界的信息，以在图像中为获得封闭的被测物边界图形；首先，判断图像边界上的特征点，当被测物与图像相联通时会在图像边缘上出现数值为1的特征点，记录特征点的位置p_i，并增加图像边缘的两个端点，边缘特征点表示如下：

其中，Biⁿ为图像预处理后每个边界的特征点序列，为特征点在图像中的坐标，图像分辨率为M×N,u_i和v_i分别为特征点在图像的列坐标和行坐标，τ为特征点数量，和分别为图像边缘的首端点和末端点；

在图像边缘取两个端点间的中值位置进行图像特征判断，该点可记为：

其中，Bmⁿ为图像边缘两个特征点的中值点图像位置序列，为中值点的图像坐标；当中值点在二值化图像中为1，即则其前后两个端点为与被测物连接区域；反之，该区域不与被测物联通；采用虫随法通过边界上的一点进行八连通区域追踪，从而获得闭环的联通边界，记为Bp；

第二步基于非固定特征点的关键点提取

a)非固定特征点的设置与提取

在被测物折角处设置非固定特征点，即采用反光非编码圆粘附在折角临近处，其非编码圆可任意放置，无具体精确位置要求，另外，为了在折角处可使被测物与背景准确分离，采用反光标志贴粘附在被测物折角的背面，使折角处轮廓清晰可见；利用灰度重心法计算非固定特征点的圆心坐标，计算公式如下：

其中，(u,v)为图像坐标，u,v∈Ω，Ω为非编码圆区域内像素目标的集合，f(u,v)为在图像坐标(u,v)位置处像素点的灰度值，为非固定特征点的圆心坐标；

b)被测物边界关键点提取

由于被测物边缘为联通、顺序排列，为获得在折角处两个边缘的关键点，需要获得两个边缘在折角处的分割点及边缘关键点存在区域；为提取折角处的分割点，首先根据几何距离约束确定区域初始判别点，即计算初始边界轮廓到非固定特征点的最短距离点，该点记为该点为初始封闭边界Bp的第i个点与第n个非固定特征点临近；根据的折角的几何关系，为两个边缘的关键点之一，而折角处在该点的临近处，结合联通区域边界点的顺序连接，折角分割点在该点前后δ范围内，从而折角分割点所在区域的离散点集Baⁿ满足公式如下：

其中，为折角分割点所在区域点，j为点的个数；

关键点为被测物边缘距离非固定特征点的最近距离点，折角分割点为在折角区域两个关键点中间的一点，利用有限差分求导求取折角分割点；将折角处二维数据，利用梯度转换为一维数据，采用泰勒展开式求解梯度导数和二次导数，梯度导数为：

其中，f(x_i)为x_i的梯度函数，f′(x_i)为梯度函数的导数，f″(x_i)为梯度函数的二次导数，h为与x_i的间隔数；

为减小图像噪声影响，利用多点进行提取，即该点满足如下：

其中，ε为设定的阈值，t为间隔数h的倍数；若在折角区域内有点满足要求，则该点保存为折角去分割点；否则进行二次导数的求解，即：

其中，为设定的阈值，t为间隔数h的倍数；根据上述公式确定折角区的分割点；根据边界关键点到非固定特征点距离最短约束，分别求得第n个非固定特征点的临近边界的关键点，其关键点以顺时针排列，以类矩形零件为例，则关键点定义为：

q^n,o,n＝1,2,3,4,o＝1,2 (11)

n为类矩形零件的四个折角，o为每个折角在其边缘顺时针排列的边缘关键点；第三步基于关键点的轮廓边界与背景的分离

a)删除粗大误差点

通过被测物边界的关键点的提取，每个边缘会在首末两端分别存在一个关键点，将两个关键点相连构成边界分离的辅助判断线lⁿ，将b_i两个关键点之间的被测物初始轮廓边界点归类为该边界的边界离散点b_i，由于零件的曲率较小，根据几何距离进行约束，即当边界离散点到辅助判断线的距离大于一定阈值时，该离散点定义为粗大误差点，计算公式如下：

||d(b_i,lⁿ)||₂≤κ (12)

其中，κ为设定的阈值，当边界离散点b_i不满足公式(12)时,该点为粗大误差点，将这些点从初始提取被测物轮廓数据中删除；

b)边界缺失区域的端点识别

将粗大误差点在被测物边界离散点中的原序列号提出并保存，其误差离散点序列为利用误差离散点序列判断缺省区域的首末端点及奇异点；首先构造前后差值序列，前差值序列t1ⁿ为：

其中，为误差离散点序列的前差值量，若误差离散点连续，增前差值量为-1，否则前位误差离散点与后位误差离散点不连续，η为误差离散点的个数；然后构造后差值序列，后差值序列t2ⁿ为：

其中，为误差离散点序列的前差值量，若误差离散点连续，增前差值量为1，否则后位误差离散点与前位误差离散点不连续，η为误差离散点的个数；为判断被测物边界首尾点是否为误差区域的端点，将前差值序列t1ⁿ和后差值序列t2ⁿ分别进行末尾点和首点的补偿，其补偿值分别为-1和1，则两个序列表示为：

根据前、后差值序列判断误差离散点是否为连线端点，其判断准则如下：

对于误差离散点序列的首尾点的判断准则为：

其中，为误差离散点的首点，为误差离散点的末点；

c)边界的补偿

根据误差离散点序列的端点判断，其端点序列为由于线段必有两个端点构成，因此该序列的奇数列为线段的首端点，偶数列为线段的末端点，两个端点中间的区域为边界误差区域，即为待补偿区域；分别利用首端点的前一点图像坐标以及末端点的后一点图像坐标，构成补偿直线，将误差缺省区域补全；即构成了最终与背景分离的被测物边界轮廓，记为B；

第四步光条边界提取

先进行光条中心的提取，逐行搜索光条的左右边界；在左右边界的光条宽度上进行灰度重心计算，得到精提取的光条中心；计算方法如下：

其中，(v_e,u_e)为第e行光条灰度重心坐标，g_e为第e行光条灰度重心点，I_ij为第i行第j列灰度值；第条光条的光条重心序列记为

再基于边界轮廓的边缘判断，采用最小二乘法将光条重心进行拟合，获得光条重心拟合直径记为其中为光条的序列号，计算光条重心拟合直线与边界关键点连线lⁿ的交点，记为计算第条光条的光条重心序列到两线交点的距离最近点g_r，取其在该点前后范围σ的点，记为分别计算每个点与边界的相对位置关系，当被测物轮廓B中行向量为v_i时其列向量为ub_i，其边界判断准则如下：

其中，NaN为无解，s_i为第i行光条重心的判断系数，当s_i＝2时，即边界在该点的左右两边都存在边界点，该点为光条与边界的交点；当s_i＝3时，该点与边界不相交且与相交点偏离较远，将该点删除；当不存在s_i＝2时，删除s_i＝3的点，其余点的判断系数均为s_i＝0或s_i＝1，当临近两点的数值不同时，两点的中值点为边界点，从而最终实现具有边界特征的光条特征提取。

本发明的有益效果是通过非固定特征点构建零件边界的关键点，进而对被测物轮廓进行取样分割和边界补偿，获得准确的被测物边界轮廓信息；对光条边界进行判定，获得光条的边界信息；可实现被测物轮廓快速高准确度提取。该方提取精度高，运算速度快，计算时间短，所提取的光条边界点唯一不存在奇异性，可满足光条在被测物轮廓上的边界高精度快速提取。

附图说明

图1为被测物整体轮廓的提取与补偿总体示意图。其中，1-被测物，2-图像边缘，3-基于图像边缘补偿的粗提取轮廓，4-基于非固定特征点的精提取轮廓，F¹,F²,F³,F⁴-分别为1号、2号、3号、4号非固定特征点的圆心，q^1,1、q^1,2-分别为1号非固定特征点临近边界两个坐标方向上的关键点，q^2,1、q^2,2-分别为2号非固定特征点临近边界两个坐标方向上的关键点，q^3,1、q^3,2-分别为3号非固定特征点临近边界两个坐标方向上的关键点，q^4,1、q^4,2-分别为4号非固定特征点临近边界两个坐标方向上的关键点。

图2为基于非固定特征点的光条边界提取方法流程图。

具体实施方式

以下结合技术方案和附图详细叙述本发明的具体实施方式。

实施例中，本发明采用分别配置广角镜头的两个摄像机拍摄一幅光条图像。摄像机型号为viewworks VC-12MC-M/C 65摄像机，分辨率：4096×3072，图像传感器：CMOS，帧率：全画幅，最高64.3fps，重量：420g。广角镜头型号为EF16-35mmf/2.8LIIUSM，参数如下所示，镜头焦距：f＝16-35，APS焦距：25.5-52.5，光圈：F2.8。拍摄条件如下：图片像素为4096×3072，镜头焦距为17mm，物距为750mm，视场约为720mm×1300mm。通过测量宽为600mm，长800mm的标准矩形零件进行提交精度验证。首先，调整激光器位置使光条投射到被测航空零件上，调整相机焦距采集清晰光条图像。

提取方法采用非固定特征点构件零件边界的关键点，基于该特征点对被测物轮廓进行区域分割和边界补偿，实现被测物轮廓的整体提取，然后基于所提取的测量物轮廓信息，对光条边界进行判定，从而获得光条的边界信息；可实现被测物轮廓快速高准确度提取，进而获得准确的光条边界点。

附图2为基于非固定特征点的光条边界提取方法流程图，整个提取过程分为边界预处理、图像边缘补偿、非固定化特征点提取、关键点提取、轮廓边界分离与补偿、光条边界提取等几个主要步骤。根据图像预处理和图像边缘补偿获得被测物初始轮廓，基于所提取的非固定特征点建立关键点，通过关键点对初始轮廓与背景的分离并局部区域进行补偿，最终根据所提取的被测物物轮廓实现光条边界的提取。提取方法的具体步骤如下：

第一步 被测物边界的预处理

1)边界图像预处理

对被测物图像采用高斯滤波进行降噪处理，并对图像进行二值化和删除小面积处理，根据公式(1)对被测物边界进行初步提取；再进行小面积区域删除保留被测物初始边界，然后通过图像形态学的膨胀和细化，使被测物的边界与被测物初步分离。

2)图像边缘的补偿

补偿被测物图像在图像边界的信息，以在图像中为获得封闭的被测物边界图形；首先，判断图像边界上的特征点，根据公式(2)确定边缘特征点位置，在图像边缘取两个端点间的中值位置，根据公式(3)进行图像特征判断；采用虫随法通过边界上的一点进行八连通区域追踪，从而获得闭环的联通边界，如附图1中基于图像边缘补偿的粗提取轮廓3所示。

第二步 基于非固定特征点的关键点提取

1)非固定特征点的设置与提取

在被测物折角处设置4个非固定特征点，F¹,F²,F³,F⁴分别为1号、2号、3号、4号非固定特征点的圆心，如图1所示。采用反光非编码圆粘附在折角临近处，其非编码圆可任意放置，无具体精确位置要求，另外，为了在折角处可使被测物与背景准确分离，采用反光标志贴粘附在被测物折角的背面，使折角处轮廓清晰可见；根据公式(4)和(5)计算如附图1所示的4个非固定特征点的圆心坐标。

2)被测物边界关键点提取

由于被测物边缘为联通、顺序排列，为获得在折角处两个边缘的关键点，需要获得两个边缘在折角处的分割点及边缘关键点存在区域；为提取折角处的分割点，先根据几何距离约束确定区域初始判别点，即计算初始边界轮廓到非固定特征点的最短距离点，根据公式(6)获得折角分割点所在区域的离散点集。关键点为被测物边缘距离非固定特征点的最近距离点，折角分割点为在折角区域两个关键点中间的一点，利用有限差分求导求取折角分割点；将折角处二维数据，根据公式(7)和公式(8)求解梯度导数和二次导数；为减小图像噪声影响，利用多点进行提取，根据公式(9)和公式(10)确定折角区的分割点；根据边界关键点到非固定特征点距离最短约束，分别求得4个非固定特征点临近边界的关键点，其关键点以顺时针排列，如附图1所示，q^1,1、q^1,2分别为1号非固定特征点临近边界两个坐标方向上的关键点，q^2,1、q^2,2分别为2号非固定特征点临近边界两个坐标方向上的关键点，q^3,1、q^3,2分别为3号非固定特征点临近边界两个坐标方向上的关键点，q^4,1、q^4,2分别为4号非固定特征点临近边界两个坐标方向上的关键点。

第三步 基于关键点的轮廓边界与背景的分离

1)删除粗大误差点

通过被测物边界的关键点的提取，每个边缘会在首末两端分别存在一个关键点，将两个关键点相连构成边界分离的辅助判断线，根据公式(12)去除粗大误差点；

2)边界缺失区域的端点识别

将粗大误差点在被测物边界离散点中的原序列号提出并保存，利用误差离散点序列判断缺省区域的首末端点及奇异点；首先构造前后差值序列，根据公式(13)确定前差值序列；根据公式(14)构造后差值序列；为判断被测物边界首尾点是否为误差区域的端点，将前差值序列和后差值序列分别进行末尾点和首点的补偿，其补偿值分别为-1和1，根据公式(16)判断连续端点，根据公式(17)判断首尾点；

3)边界的补偿

根据误差离散点序列的端点判断，由于线段必有两个端点构成，因此该序列的奇数列为线段的首端点，偶数列为线段的末端点，两个端点中间的区域为边界误差区域，即为待补偿区域；分别利用首端点的前一点图像坐标以及末端点的后一点图像坐标，构成补偿直线，将误差缺省区域补全；即构成了最终与背景分离的被测物边界轮廓，如附图1中，4为补偿后的边界轮廓。

第四步光条边界提取

1)光条中心的提取

逐行搜索光条的左右边界；根据公式(18)计算光条中心；

2)基于边界轮廓的边缘判断

采用最小二乘法将光条重心进行拟合，获得光条重心拟合直径，然后计算光条重心拟合直线与边界关键点连线的交点，进而获得第条光条的光条重心序列到两线交点的距离最近点，取其在该点前后范围的点，计算每个点与边界的相对位置关系，根据公式(19)确定光条重心的判定系数s_i，当s_i＝2时，即边界在该点的左右两边都存在边界点，该点为光条与边界的交点；当s_i＝3时，该点与边界不相交且与相交点偏离较远，将该点删除；当不存在s_i＝2时，删除s_i＝3的点，其余点的判断系数均为s_i＝0或s_i＝1，当临近两点的数值不同时，两点的中值点为边界点，从而最终实现具有边界特征的光条特征提取。

通过对标准矩形零件的边界提取与重建，获得标准零件的两条平行的边界的三维重建结果，将两条重建的直线进行拟合，计算两条直线的平均宽度，其宽度值为600.37mm，与标准直径600mm相比，其测量准确度为0.062％，验证了该提取方法的有效性。

本发明通过非固定特征点构建零件边界的关键点，进而对被测物轮廓进行取样分割和边界补偿，获得准确的被测物边界轮廓信息；然后光条边界进行判定，从而获得光条的边界信息；可实现被测物轮廓快速高准确度提取。该方提取精度高，运算速度快，计算时间短，所提取的光条边界点唯一不存在奇异性，可满足光条在被测物轮廓上的边界高精度快速提取。