一种面向数字化制造的弯管测量和余量定位方法与流程

本发明涉及计算机视觉技术领域,具体的说是一种面向数字化制造的弯管测量和余量定位方法。

背景技术：

管路系统是航空、航天、汽车等工业领域重要的生命线，如人体血管一样，负责液压、冷气、燃气等介质的传输，目前对成型的弯管测量方式主要是接触式的，例如靠模法、三坐标测量机、关节式坐标测量机等，这些方法存在对比装置制造困难，容易造成损伤或变形，效率低，过分依赖操作者主观判断，无法重建三维模型以及无定位基准等缺陷。

先进制造技术是改造传统制造业的有效手段，现如今数字化制造技术是先进制造技术的核心技术，如何缩短研制时间、降低研制成本、提高产品质量是数字化制造的主要目的，然而弯管数字化制造是飞机快速制造的瓶颈，其关键问题在于弯管精确的三维重建以及自寻位切割。

唐正宗等人在专利“一种三维弯管多相机视觉检测方法及其系统”中公开一种弯管检测算法，该算法简单概述了弯管三维检测算法，并未对中心线的直线段和弧线段的分割方法进行分析，其次公开的算法中计算了弯管参数，仅仅利用中垂线中点得到了控制点，并没有计算直线段端点以及弧线段中心点。

技术实现要素：

针对现有技术中存在的上述不足之处，本发明要解决的技术问题是提供一种面向数字化制造的弯管测量和余量定位方法，实现弯管的自寻位切割和焊接，加快弯管的快速数字化制造。

本发明为实现上述目的所采用的技术方案是：一种面向数字化制造的弯管测量和余量定位方法，包括以下步骤：

s1：利用单个激光跟踪仪和一个平面靶标对多个视觉传感器进行全局标定，将不同位置的视觉传感器的坐标系均统一到激光跟踪仪的全局坐标系下；

s2：同步触发多个视觉传感器采集弯管图像，采用边缘检测算法对弯管图像进行边缘检测，采用形态学细化方法获取弯管图像的中心线，剔除中心线上的分支，采用双向极线匹配算法进行中心线三维重建，获取弯管空间中心线；

s3：将弯管空间中心线离散为中心线三维点云，计算空间中心线的空间三维控制点；

s4：弯管由若干直线段和圆弧段组成，计算弯管空间中心线的每条直线段端点和每个圆弧段圆心位置；

s5：利用得到的直线段端点、空间圆弧圆心、圆弧半径以及管件管径分段进行扫掠得到复杂管件三维模型；

s6：采用最近点迭代icp匹配算法，建立测量坐标系和设计坐标系之间的转换关系γ和误差测度d(γ)，通过对误差测度d(γ)进行最小化迭代，得到实际转换关系γ，从而确定与设计坐标系的控制点相匹配的测量坐标系下的实际切割位置；

s7：按照给定的切割量对弯管两端的切割位置进行三维定位，对相机和机器人,机器人和切割机之间的位置关系进行标定，利用机器人协助将弯管放到切割机上进行自动切割。

所述剔除中心线上的分支，包括以下步骤：

形态学细化获得弯管中心线骨架，骨架为只包含一个像素宽的轮廓区域，将轮廓区域转换为8领域；用以下三种8领域形式进行说明：

其中1为前景，0为背景；

在8领域内，将存在三个或三个以上连接点的点进行标记：

其中，1为前景，0为背景，2为标记的连接点；

利用连接点将中心线轮廓区域分割成多个只包含一个或两个连接点的轮廓区域，统计每个轮廓区域的点数，剔除小于l个点的轮廓区域，保留的最终轮廓为管件的中心线轮廓，其中l＝80。

所述计算空间三维控制点，包括以下步骤：

将空间中心线离散为中心线三维点云，对连续m个点(pi,…pi+m-1)作出拟合直线li(ai,bi,ci,xi,yi,zi)，再顺序对m个点(pi+m,…pi+2m-1)作出拟合直线li+1(ai+1,bi+1,ci+1,xi+1,yi+1,zi+1)；其中，ai,bi,ci分别为空间直线li的参数，(xi,yi,zi)表示点pi的坐标；ai+1,bi+1,ci+1分别为空间直线li的参数，(xi+1,yi+1,zi+1)表示点pi+m的坐标；

那么，两条空间直线li与li+1的空间夹角为若θi小于设定的阈值，则定义点云集pp1＝{pi,…pi+m-1,pi+m,…pi+2m-1}，依次类推，直到θi大于设定的阈值时，点云集pp1＝{pi,……pi+lm-1}为同一条直线上的点，其中点云集pp1中点的个数为l×m，其中，选取m＝10；

用上述方法将所有点云分割为直线段点云pp＝{pp1,pp2,…,ppn}和弧线段的点云；

由于弯管加工后会产生回弹力，相邻的两条直线并不共面，因此为了求取控制点，以点集pp1和点集pp2为例，利用最小二乘法将点集pp1、点集pp2的点拟合为一平面π:a0x+b0y+c0z＝d0；其中，a0，b0，c0，d0为平面π的参数；

将第一组点云pp1拟合为一条直线l1，其参数方程为:在直线l1上取点a(x1,y1,z1)，过该点且垂直于平面的直线方程为该直线方程和平面π方程联立可得点a在平面π上的投影点b(xb,yb,zb)，即其中，a1，b1，c1为直线l1的参数；

同理，可以求得直线方程l1和平面方程π的交点为c(xc,yc,zc)，因此过点b、c的直线方程为即为直线l1的投影方程；同理，得到相邻直线段l2的投影方程；

计算l1和l2的两条投影直线的交点，得到控制点d2；同理,可得控制点(d2,d3…,dn),结合弯管两端的两个端点d1和dn+1，可得整个空间中心线的所有控制点(d1,d2,…,dn+1)；其中，控制点的总数是n+1个，n为直线段pp＝{pp1,pp2,…,ppn}的个数。

所述计算空间中心线的所有直线段的端点和空间圆弧圆心位置，包括以下步骤：

由于相邻两条直线l1和l2的夹角有两个，因此利用空间方向向量d2d1和d2d3，计算夹角其中，d1，d2，d3为空间中心线上三个相邻的控制点；

对于非变弯曲半径的管路分支管件的加工，各个管件的弯曲半径是个常数r，因此，有由于直线段端点b1在直线l1上，点b1的坐标值为(a1t12+x1,b1t12+y1,c1t12+z1)；其中比例参数同理，可以得到所有直线段的端点b(b1,b2,…,b2n)；其中，直线段的端点总数为2n，n为直线段的个数；

求取三个平面：垂直于l1且过b1的平面、垂直于l2且过b2的平面、以及前面所述p1,p2点云拟合的平面π的交点，即得到圆弧的圆心oc1；同理得到所有空间圆弧段的圆心位置o(oc1,oc2,…,oc(n-1))，其中，圆弧的圆心总数为n-1。

所述实际转换关系γ的计算包括以下步骤：

定义测量模型控制点集p＝{pj}，j＝1,…,n；定义设计模型控制点集x＝{xj}，j＝1,…,n，对点集p,x做如下处理：

其中

计算3×3的控制点的协方差矩阵其中，t表示矩阵的转置；

对加权协方差矩阵h进行svd分解h＝uλv^t；其中，旋转矩阵r和平移矩阵t分别为：

r＝vu^t；

通过不断迭代协方差矩阵h得到p′j＝rpj+t来最小化代价函数d(г)，得到最佳的刚体转换关系г：

г(pj)＝rpj+t

其中，г包含了3×3的旋转矩阵r和3×1的平移矩阵t。

本发明具有以下有益效果及优点：

1.本发明所述的弯管自寻位切割方法实现弯管的三维重建。

2.本发明所述的弯管自寻位切割方法可以借助机器人实现弯管的自寻位切割，给出弯管的切割位置以及切割余量。

3.本发明所述的弯管自寻位切割方法可以有效地缩短弯管研制时间、降低研制成本、提高产品质量。

附图说明

图1为本发明方法流程图；

图2为本发明方法中弯管直线段端点和圆弧中心点位置定位图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

如图1所示，本发明所述一种面向数字化制造的弯管测量和余量定位方法的具体步骤如下：

步骤1：利用单个激光跟踪仪和一个平面靶标对多个视觉传感器进行全局标定，将不同位置的视觉传感器的坐标系均统一到激光跟踪仪的全局坐标系下；

步骤2：同步触发多个视觉传感器采集弯管图像，采用边缘检测算法对弯管图像进行边缘检测，采用形态学细化方法获取弯管图像的中心线，剔除中心线上的分支，采用双向极线匹配算法进行中心线三维重建，获取弯管空间中心线；

形态学细化获得弯管中心线骨架，骨架为只包含一个像素宽的轮廓区域，将轮廓区域转换为8领域。以下列三种8领域形式为例进行说明：

其中1为前景，0为背景；

在8领域内，将存在三个或三个以上连接点的点进行标记：

其中1为前景，0为背景，2为标记的连接点；

利用连接点将中心线轮廓区域分割成多个只包含一个或两个连接点的轮廓区域，统计每个轮廓区域的点数，剔除小于l个点的轮廓区域，保留的最终轮廓为管件的中心线轮廓。其中l＝80；

步骤3：将弯管空间中心线离散为中心线三维点云，计算空间中心线的空间三维控制点；

将空间中心线离散为中心线三维点云，对连续m个点(pi,…pi+m-1)作出拟合直线li(ai,bi,ci,xi,yi,zi)，再顺序对m个点(pi+m,…pi+2m-1)作出拟合直线li+1(ai+1,bi+1,ci+1,xi+1,yi+1,zi+1)；其中，ai,bi,ci分别为空间直线li的参数，(xi,yi,zi)表示点pi的坐标；ai+1,bi+1,ci+1分别为空间直线li的参数，(xi+1,yi+1,zi+1)表示点pi+m的坐标；

那么，两条空间直线li与li+1的空间夹角为若θi小于设定的阈值，则定义点云集pp1＝{pi,…pi+m-1,pi+m,…pi+2m-1}，依次类推，直到θi大于设定的阈值时，点云集pp1＝{pi,……pi+lm-1}为同一条直线上的点，其中点云集pp1中点的个数为l×m，其中，选取m＝10；

用上述方法将所有点云分割为直线段点云pp＝{pp1,pp2,…,ppn}和弧线段的点云；

由于弯管加工后会产生回弹力，相邻的两条直线并不共面，因此为了求取控制点，以点集pp1和点集pp2为例，利用最小二乘法将点集pp1、点集pp2的点拟合为一平面π:a0x+b0y+c0z＝d0；其中，a0，b0，c0，d0为平面π的参数；

将第一组点云pp1拟合为一条直线l1，其参数方程为:在直线l1上取点a(x1,y1,z1)，过该点且垂直于平面的直线方程为该直线方程和平面π方程联立可得点a在平面π上的投影点b(xb,yb,zb)，即其中，a1，b1，c1为直线l1的参数；

同理，可以求得直线方程l1和平面方程π的交点为c(xc,yc,zc)，因此过点b、c的直线方程为即为直线l1的投影方程；同理，得到相邻直线段l2的投影方程；

如图2所示，计算l1和l2的两条投影直线的交点，得到控制点d2；同理,可得控制点(d2,d3…,dn),结合弯管两端的两个端点d1和dn+1，可得整个空间中心线的所有控制点(d1,d2,…,dn+1)；其中，控制点的总数是n+1个，n为直线段pp＝{pp1,pp2,…,ppn}的个数。

步骤4：弯管由若干直线段和圆弧段组成，计算弯管空间中心线的每条直线段端点和每个圆弧段圆心位置；

由于相邻两条直线l1和l2的夹角有两个，因此利用空间方向向量d2d1和d2d3，计算夹角其中，d1，d2，d3为空间中心线上三个相邻的控制点；

对于非变弯曲半径的管路分支管件的加工，各个管件的弯曲半径是个常数r，因此，有由于直线段端点b1在直线l1上，点b1的坐标值为(a1t12+x1,b1t12+y1,c1t12+z1)；其中比例参数同理，可以得到所有直线段的端点b(b1,b2,…,b2n)；其中，直线段的端点总数为2n，n为直线段的个数；求取三个平面：垂直于l1且过b1的平面、垂直于l2且过b2的平面、以及前面所述p1,p2点云拟合的平面π的交点，即得到圆弧的圆心oc1；同理得到所有空间圆弧段的圆心位置o(oc1,oc2,…,oc(n-1))，其中，圆弧的圆心总数为n-1。

步骤5：利用得到的直线段端点、空间圆弧圆心、圆弧半径以及管件管径分段进行扫掠得到复杂管件三维模型；

步骤6：采用最近点迭代icp匹配算法，建立测量坐标系和设计坐标系之间的转换关系γ和误差测度d(γ)，通过对误差测度d(γ)进行最小化迭代，得到实际转换关系γ，从而确定与设计坐标系的控制点相匹配的测量坐标系下的实际切割位置；

定义测量模型控制点集p＝{pj}，j＝1,…,n；定义设计模型控制点集x＝{xj}，j＝1,…,n，对点集p,x做如下处理：

其中

计算3×3的控制点的协方差矩阵其中，t表示矩阵的转置；

对加权协方差矩阵h进行svd分解h＝uλv^t；其中，旋转矩阵r和平移矩阵t分别为：

r＝vu^t；

通过不断迭代协方差矩阵h得到p′j＝rpj+t来最小化代价函数d(γ)，得到最佳的刚体转换关系γ，：

γ(pj)＝rpj+t

其中，γ包含了3×3的旋转矩阵r和3×1的平移矩阵t；

步骤7：按照设计模型给定的切割量对弯管两端的切割位置进行三维定位，对相机和机器人,机器人和切割机之间的位置关系进行标定，利用机器人协助将弯管放到切割机上进行自动切割。

为验证本发明方法的有效性和正确性，采用avt公司的manta系列相机(分辨率：2048×1088),相机配置了computar公司的8mm精工镜头，所有的仿真实验均在windows7操作系统下采用visualstudio2008软件实现。