快速高精度的复杂曲面制孔点法矢量测量方法与流程

本发明属于计算机视觉测量技术领域，涉及一种快速高精度的复杂曲面制孔点法矢量测量方法。

背景技术：

飞机零构件的装配作为飞机制造过程中的核心环节，直接决定飞机制造的发展水平，其装配研究是国际研究的热点。据统计，装配占飞机制造工作量50％～70％，50％的疲劳裂纹发生在装配连接处，因此高可靠、低损伤装配孔是确保飞机结构安全、长服役寿命的前提和基础。在飞机装配领域，为了确保铆接及螺栓连接孔的法向精度，在自动钻铆工序中，需要实时测量零件曲面上制孔点处的法矢量。

孔的法向精度是孔质量的一个重要指标，一般通过孔的轴线与制孔面在制孔点处的法线(法矢量)夹角来衡量，而实际加工过程中使用钻头按制孔点处的法矢量方向进行加工，可以获得较高的法向精度。如果铆接孔的法向精度过差，将造成孔质量缺陷，会严重增大装配内应力，这会严重削弱结构件连接强度。所以提高孔的法向精度很有意义。在自动钻铆领域，通过测量制孔点周围区域多个离散点的三维坐标，拟合制孔点处的局部曲面方程，进而求解法矢量是基本的测法矢量思想。然而，由于曲面尺寸大且结构复杂、待加工孔的数量多且小等特点，在保证孔的法向精度的同时，还要实现边测量边制孔的要求，因此法矢量的高精度和快速测量是最大难点。

现有的法矢量测量方法主要有传统的接触式位移传感器(如三坐标测量仪)测四点求法矢量、电涡流传感器测三点求法矢量、激光测距传感器测四点求法矢量、单目视觉测交叉光条求法矢量等方法。基于传统的接触式位移传感器的测量方法是通过接触曲面制孔点周围的表面提取空间信息，测量速度慢，设备损耗严重，精度保持性差；基于电涡流传感器和激光测距传感器的测量方法实现了非接触快速测量曲面离散点坐标，但是由于一台传感器一次只能测量一个点，受传感器结构数量限制，可测的空间点数量少、分布间距大，无法精确反映制孔点处的型面信息；单目视觉测交叉光条的方法是测量经过制孔点的两个直线方向的离散点信息，拟合曲面上两条经过制孔点的曲线方程，进而求解法矢量的过程，其测量速度较快，精度较高，获取点的数量很多，但是这些点无法反映制孔点周围各方向的信息，导致测量不同曲面的制孔点法矢量的精度保持性差。应高明等人发表的期刊《飞机壁板自动钻铆法向量测量方法研究》[J].机床与液压,2010,23:001-008，提出了一种利用四个激光测距传感器测法矢量的方法，四个传感器以制孔点为中心按指定正方形分布，平行投射到待测曲面上，通过测量制孔点周围四个离散点到传感器的距离，结合传感器的分布间距，可以获得四个离散点相对制孔点的空间坐标关系，采用调平算法调整制孔点处的法矢量与机床主轴平行，该方法精度较高、速度快；姚振强等人发明的专利号为CN 201110099364.6的“用于大曲率半径曲面法向矢量快速检测方法”采用两个相互垂直平面与工件曲面相交，得到曲面点的两条坐标曲线，然后分别检测两条坐标曲线上以曲面点为中心的微小曲线切向矢量，从而得到曲面数据点的法向矢量，该方法将传统的曲面法向检测三维问题转化为两次二维曲线检测，便于实现，可以达到曲面加工实时检测的需求，提高了曲面加工的质量和效率。

技术实现要素：

本发明要解决的技术难题是针对大型航空零件复杂表面多制孔点法矢量测量精度不高、效率较低的问题，发明了一种基于双目视觉结合动态投影点的法矢量测量方法。该方法针对复杂零部件表面制孔点，在法矢量测量过程中，需要在制孔点较小邻域内布置尽可能多的环形阵列投影标志点，并控制投影点的动态频率和持续时间与摄像机采集帧频进行匹配，以确保摄像机能够采集到完整的动态投影点图像，并对一个测量周期内采集到动态投影点图像进行提取和三维重建，从而获得制孔点周围所有测量标志点的离散三维坐标，最终通过二次曲面拟合的方式获得准确的制孔点领域型面信息，从而获得精确的制孔点法矢量方向。该方法通过布置动态投影点的方式获得更多的测量标志点，从而大大提高曲面拟合的精度，得到的法矢量测量精度高。

本发明采用的技术方案是一种快速高精度的复杂曲面制孔点法矢量测量方法，其特征是，该方法采用基于双目视觉结合动态投影点的方法进行法矢量测量；首先进行动态投影点的布局优化，并基于摄像机采集帧频设计相匹配的投影点动态频率；进而针对摄像机采集的每帧动态投影点图像，采用canny边缘检测算子提取投影点边缘位置，并根据边缘位置信息采用椭圆拟合算法快速提取投影点的中心坐标，对应提取的左右摄像机采集图像的投影点坐标进行三维重建，获得投影点位置的被测零部件表面三维信息；最后基于二次曲面拟合算法准确拟合制孔点邻域内的零部件表面三维形面信息，从而求解得到制孔点位置法矢量；方法具体步骤如下：

第一步搭建基于双目立体视觉的法矢量测量系统

该系统由安装在支架上且标定过的左右摄像机、动态点投影仪、被测物组成；

第二步面向法矢量测量的动态投影点布局和设计

先进行动态投影点的空间布局，本方法采用的动态投影圆点为一系列环形阵列点，环形阵列点以一条直线上的内环和外环圆周上投影点的两个投影点为基础投影点阵，对内外环进行n等分得到环形阵列，由于二次曲面拟合限制，应满足n≥7；其阵列中心布置于待测制孔点上，从而构成内环形阵列点和外环形阵列点，其内环半径为R₁，外环半径为R₂，且内环和外环圆周上投影点直径分别为d和D；

为了保证内外环投影点在视觉图像中不发生干涉，不影响其精确提取，应满足

其中，Δ是内外环投影点的轮廓间距阈值；综合上述限制条件，对动态投影点的布局进行设计；

然后进行投影点的动态性能设计；根据摄像机的采集参数设计投影点的频率特性；已知摄像机的采集帧频是f_c，即单次采集的周期是T_c，曝光时间是T_exp，满足：

为了确保动态投影点具有足够的亮度，摄像机在单次曝光时间内投影点应保持持续亮显状态，由于无法实现同步触发，投影点的持续时间T_F应满足：

T_F≥T_exp+T_c (3)

为了限制整个采集过程的持续时间T_m，提高单位制孔点的采集效率，应使T_m尽可能小，令投影点动态投影频率为f_D，应满足：

其中，N是自然数集合，T_S是摄像机采集闲置时间；根据式(3)、(4)可确定f_D和T_F的取值，进一步确定动态投影点组数n的大小；

第三步动态投影点边缘提取

采用canny算子进行边缘检测，作用于具有灰度梯度的图像上，提取图像中的边缘信息；采用高斯滤波，使图像平滑；假设A为原始图像，B为高斯滤波后的图像，那么他们每个像素点灰度值之间的数学关系表示为：

本步骤表明对于A中任一像素点，搜索其周围5×5范围的像素信息，按式(5)中5×5矩阵给定的权值进行加权计算，将加权和除以159，所得的值即为滤波后该像素点的灰度值；

计算梯度横纵方向的幅值；利用边缘检测横向算子G_x和纵向算子G_y获取滤波后图像的横纵向梯度C_x和C_y，然后利用式(8)获取边缘检测后的图像C；

提取梯度幅值各方向的最大值；将前面得到的边界信息图像C中的模糊区域去除，留下清晰的边界，即仅保留每个像素点上各方向梯度中的最大值；

用双阈值算法限定强弱边界；设定灰度值的上下边界，并认为灰度值大于上边界的像素点是强边界；上下边界之间的是弱边界，需要进一步处理；小于下边界的是非边界；

利用滞后的边界跟踪；保留与属于强边界的像素点相邻的弱边界，滤除其他弱边界；

经过上述步骤，获得左右摄像机图像中第i组内环上投影标志点的k个边缘点物理坐标为(u_lij1,v_lij1)和(u_rij1,v_rij1)，外环上投影标志点边缘物理坐标为(u_lij2,v_lij2)和(u_lij2,v_lij2)，其中i＝1,2,...,n，j＝1,2,...,k；

第四步基于椭圆拟合提取投影点中心

根据已对得到的投影点在图像中的边界坐标，采用最小二乘法进行椭圆拟合，进而获得投影点在图像中的中心坐标；设定椭圆拟合的目标函数为：

S＝c₁u²+c₂v²+c₃u+c₄v+c₅＝0 (9)

其中，c₁、c₂、c₃、c₄、c₅是待求解系数，(u,v)是用于求解的中心点行、列坐标值；线性方程组的最小二乘问题可以写成如下形式：

求解上述方程组即可获得最优参数c_i1，c_i2，c_i3，c_i4，c_i5；进而可以求解得到椭圆圆心的图像物理坐标：

根据左右摄像机拍摄的图像及内外环上投影点分类，并记为(x_li1,y_li1)、(x_ri1,y_ri1)、(x_li2,y_li2)和(x_ri2,y_ri2)，i＝1,2,...,n；

第五步投影点中心坐标的三维重建

根据提取到的左右对应内环上投影点中心坐标(x_li1,y_li1)和(x_ri1,y_ri1)、外环上投影点中心坐标(x_li2,y_li2)和(x_ri2,y_ri2)分别进行三维重建；那么内环上第i个投影点的三维坐标(X_i1，Y_i1，Z_i1)求解公式：

其中，f_l和f_r分别是左右摄像机的焦距,R＝[r₁ r₂ r₃；r₄ r₅ r₆；r₇ r₈ r₉]是左摄像机坐标系到右摄像机坐标系的旋转矩阵，T＝[t_x t_y t_z]^T是左摄像机坐标系到右摄像机坐标系的平移矩阵；外环上第i个投影点的三维坐标(X_i2，Y_i2，Z_i2)根据公式(12)可求得；

第六步基于动态投影点的法矢量求解算法

本方法采用非线性拟合的方法拟合简化二次曲面，拟合的基本原理是最小二乘法，目标函数为：

Z＝AX²+BXY+CY²+DX+EY+F (13)

求解方程组

得到各参数值；其中，A、B、C、D、E、F是待求解系数；

确定法矢量的方向，通过上述二次曲面拟合方法，获得高精度的制孔点邻域型面方程S＝AX²+BXY+CY²+DX+EY+F-Z＝0，其曲面上某一点O(X₀,Y₀,Z₀)的法矢量通过求偏导数的方法获得，公式如下：

得到制孔点O(X₀,Y₀,Z₀)的准确法矢量为：

(2AX₀+BY₀+D,BX₀+2CY₀+E,-1) (16)

经过上述步骤完成快速高精度的复杂曲面制孔点法矢量测量。

本发明的有益效果是采用动态投影点的投影方式，很大程度地增加了可测量的空间点数量，可以根据需要调整测点位置和数量，以适应不同表面需求，从而保证了制孔点法矢量的测量精度；采用双目立体视觉的测量方法，确保了高精度实时测量的要求，设备稳定性好，可靠性高，无损耗；可以满足复杂曲面制孔点法矢量的快速高精度测量的要求。

附图说明

图1为第一组投影点尺寸关系图，图中X为投影中心，与理论制孔点O(X₀,Y₀,Z₀)重合；虚线表示的投影内环半径为R₁，投影外环半径为R₂，投影内环上首个投影点(u₁₁,v₁₁)和投影外环上首个投影点(u₁₂,v₁₂)直径分别为d和D，图中箭头方向为后续逐帧投影方向。

图2是将不同时刻的投影点反映到同一空间上的示意图。

图3为摄像机采集时间控制与各帧动态点投影时间控制的匹配示意图。其中，曲线1是摄像机的采集时间控制，曲线2是投影点的投影时间控制，T_c是摄像机的采集周期，T_exp是曝光时间；T_m是采集持续时间；f_D是投影点动态投影频率，T_F是每个投影点的持续时间。

图4为快速高精度测量复杂曲面制孔点法矢量的流程图。

具体实施方式

以下结合技术方案和附图详细叙述本发明的具体实施方式。

本实施例中，被测物体表面为3.4m×0.6m的t800复合材料板，将各组动态投影点按时间顺序以一定角度投影到复材板上，如附图1、2所示，调整摄像机焦距采集清晰投影点图像，摄像机采集时间控制与投影点相匹配，如附图3所示。

本发明采用分别配置广角镜头的左右两个摄像机拍摄多幅投影点图像。摄像机型号为view works VC-12MC-M/C 65摄像机，分辨率：4096×3072，图像传感器：CMOS，帧率：全画幅，最高64.3fps，重量：420g。广角镜头型号为EF 16-35mm f/2.8L II USM，参数如下所示，镜头焦距：f＝16-35mm，APS焦距：25.5-52.5，光圈：F2.8，镜头尺寸：82×106。拍摄条件如下：图片像素为4096×3072，镜头焦距为25mm，物距为750mm，视场约为850mm×450mm。

附图4为快速高精度测量复杂曲面制孔点法矢量的流程图。根据该操作流程，整个法矢量求解分为搭建基于双目立体视觉的法矢量测量系统、动态投影点布局与图像采集、动态投影点边缘提取、基于椭圆拟合提取投影点中心、投影点中心坐标的三维重建、基于动态投影点的法矢量求解算法等六个步骤。

第一步搭建基于双目立体视觉的法矢量测量系统

将左右摄像机、动态点投影仪分别安装在支架上，对左右摄像机进行标定。放置被测物，组成基于双目立体视觉的法矢量测量系统。

第二步面向法矢量测量的动态投影点布局和设计

先进行动态投影点的空间布局，为了能够尽可能精确的反映待测制孔点邻域的型面信息，需要增加制孔点邻域更多采样点的信息，本方法基于双目立体视觉测量投影点，所以本步骤的目的是在被测表面上增加投影点的数量。以大型飞机典型复合材料构件表面为例，根据附图1、2对动态投影点进行布局，其中内外环投影点的轮廓间距阈值Δ取6mm，根据公式(1)，内环半径R₁＝20mm，外环半径R₂＝10mm，外环上投影点直径D＝4mm，内环上投影点直径d＝2mm。

进行投影点的动态性能设计，投影点进行环形阵列之后可能出现轮廓相交的情况，因此本方法采用动态投影的方式，从时间上进行区分，设计投影点动态频率特性，从而与摄像机采集频率相匹配。由于动态投影点与摄像机采集难以实现同步触发，所以需要根据摄像机的采集参数设计投影点的频率特性。

根据公式(2)、(3)、(4)求解与摄像机采集频率相匹配的投影点动态特性，其中动态投影点组数n＝15，摄像机曝光时间T_exp＝20ms，摄像机采集频率f_c＝10Hz，摄像机采集周期T_c＝100ms，采集总时间T_m＝8s，摄像机闲置时间T_S＝2s，投影点动态投影频率f_D取2.5Hz，投影点持续时间T_F取150ms。

第三步动态投影点边缘提取

采用传统的canny算子进行边缘检测，获得左右摄像机图像中第i组内环上投影标志点的k个边缘点物理坐标为(u_lij1,v_lij1)和(u_rij1,v_rij1)，外环上投影标志点边缘物理坐标为(u_lij2,v_lij2)和(u_lij2,v_lij2)，其中i＝1,2,...,15，j＝1,2,...,k。

第四步基于椭圆拟合提取投影点中心

由于圆形投影点的自身形状误差，以及投影到复杂曲面上造成了投影点的形变，投影点反射到摄像机像平面的图形近似于椭圆。因此，根据上一步得到的各投影点的边缘坐标，针对每个投影点，由最小二乘公式(10)计算得到椭圆拟合目标函数(9)的最优参数c_i1，c_i2，c_i3，c_i4，c_i5，求解各投影点的中心坐标按左右摄像机拍摄的图像及内外环上投影点分类，并记为(x_li1,y_li1)、(x_ri1,y_ri1)、(x_li2,y_li2)和(x_ri2,y_ri2)，i＝1,2,...,15。

第五步投影点中心坐标的三维重建

根据双目立体视觉系统的标定参数和公式(12)，将上述(x_li1,y_li1)和(x_ri1,y_ri1)对应代入可得内环第i个投影点的三维坐标(X_i1，Y_i1，Z_i1)，将上述(x_li2,y_li2)和(x_ri2,y_ri2)代入可得外环第i个投影点的三维坐标(X_i2，Y_i2，Z_i2)，i＝1,2,...,15。

第六步基于动态投影点的法矢量求解算法

基于空间离散点的二次曲面拟合，为了获得制孔点处的法矢量，需要对该制孔点及其邻域型面信息进行准确还原，这里采用二次曲面去高精度逼近制孔点邻域型面。本方法采用非线性拟合的方法拟合简化二次曲面，拟合的基本原理是最小二乘法。

根据上一步得到的各投影点的三维坐标(X_i1，Y_i1，Z_i1)和(X_i2，Y_i2，Z_i2)，由最小二乘公式(14)计算得到二次曲面拟合目标函数(13)的最优参数A、B、C、D、E、F。

确定法矢量的方向，根据上一步得到各参数值，采用公式(15)得到制孔点O(X₀,Y₀,Z₀)处的法矢量(2AX₀+BY₀+D,BX₀+2CY₀+E,-1)。

本发明针对复杂曲面制孔点法矢量的快速高精度测量的需求，采用动态投影点的投影方式，可以根据不同的表面调整测点位置和数量，解决了静态投影测量中测点数量不足、分布不集中的问题，进而保证了制孔点法矢量的测量精度。基于双目立体视觉的测量方法，确保了高精度和实时性好的测量要求。整个系统具有设备稳定性好，可靠性高，损耗极小等特点。