一种基于视觉的在线焊缝跟踪方法及系统与流程

本发明涉及智能焊接
技术领域：
，具体涉及一种基于视觉的在线焊缝跟踪方法及系统。
背景技术：
：在智能焊接过程中，需要利用视觉传感器来构建基于熔池图像处理的焊缝跟踪系统，以便指导焊枪始终对正并准确跟踪焊缝位置。焊缝跟踪的精度是保证焊接质量的重要前提条件。然而，在实际熔池图像采集中，视觉传感器采集到的图像不可避免地受到弧光、烟尘、飞溅等多种类型噪声的影响，极大降低了焊缝跟踪精度。如何在不同类型噪声存在下准确预测焊缝位置是焊缝跟踪的难点之一。卡尔曼滤波是一种广泛使用的焊缝跟踪方法。它主要利用线性系统状态方程，通过系统输入输出观测数据，对焊缝位置进行最优估计，减弱噪声影响。传统卡尔曼滤波算法对噪声的利用有两个重要假设：过程噪声和量测噪声服从高斯分布，噪声统计特性(均值和方差)固定。然而，传统卡尔曼滤波对噪声的假设在焊缝跟踪中存在以下两方面问题：首先，由于熔池形态的不稳定性以及焊接过程的环境复杂性，实际噪声是不断变化的，表现在卡尔曼滤波过程中噪声的均值和方差并不是一个常值。因此，如果在滤波过程中采用恒定不变的均值和协方差作为噪声特性估计值是不合理的，必然会造成跟踪效果不理想。其次，在实际焊缝跟踪过程中，除了高斯噪声外，由于焊件击穿、电流电压异常等原因还会导致熔池形态的闪烁性异常变化，从而产生稀疏噪声，这种噪声出现频率较低但是确实存在，且对跟踪影响较大。如果在焊缝跟踪过程中将稀疏噪声当作高斯噪声处理时，将会严重降低焊缝跟踪精度，进而降低焊接质量，不利于智能焊接装置的市场推广和使用。基于上述问题，提供一种能够实时处理高斯噪声和稀疏噪声同时存在情况下的焊缝跟踪技术是非常必要的。技术实现要素：本发明所要解决的技术问题是现有卡尔曼滤波方法无法处理焊接过程中噪声时变、存在稀疏噪声的问题，提供一种基于视觉的在线焊缝跟踪方法及系统。为解决上述问题，本发明是通过以下技术方案实现的：一种基于视觉的在线焊缝跟踪方法，包括如下步骤：步骤(1)获取焊接过程中的焊缝的熔池图像；步骤(2)对熔池图像进行预处理，获得焊缝的熔池图像的质心量测值；步骤(3)建立改进型卡尔曼滤波的状态空间模型；步骤(4)初始化卡尔曼参数；步骤(5)采用极大后验估计方法对高斯噪声的均值和方差进行估计；步骤(6)构建稀疏噪声存在下的滤波优化问题并进行滤波，即先将传统卡尔曼滤波问题重构为一个凸优化问题，再在新构建的凸优化问题中引入对稀疏噪声的稀疏性约束，并完成对熔池图像的质心位置在当前时刻的最优估计值。步骤(2)中，熔池图像预处理包括对熔池图像进行二值化的过程和对熔池图像的质心进行选取的过程。步骤(3)中，所建立的改进型卡尔曼滤波的状态空间模型为：X(k+1)＝FX(k)+V(k)Z(k)＝HX(k)+W(k)+ns(k)其中，X(k+1)为k+1时刻质心位置最优估计值，F为状态转移矩阵，X(k)为k时刻质心位置最优估计值，V(k)为k时刻状态高斯噪声估计值,Z(k)为k时刻质心位置量测值，H为量测转移矩阵，W(k)为k时刻量测高斯噪声估计值，ns(k)为k时刻稀疏噪声估计值。步骤(4)中，初始化的卡尔曼参数包括状态估计X(0/0)、协方差矩阵P(0/0)、状态高斯噪声均值q(0)，量测高斯噪声均值r(0)，状态高斯噪声协方差Q(0)、以及量测高斯噪声协方差R(0)。步骤(5)中，采用以下公式对高斯噪声的均值和方差进行估计：q(k+1)＝(1-d)q(k)+d(X(k+1)-FX(k))r(k+1)＝(1-d)r(k)+d(Z(k)-HX(k+1|k))R(k+1)＝(1-d)R(k)+d(v(k+1)v(k+1)T-HP(k+1|k)HT))Q(k+1)＝(1-d)Q(k)+d(K(k+1)v(k+1)v(k+1)TK(k+1)T+P(k+1)-FP(k)FT))其中，q(k+1)为k+1时刻状态高斯噪声的均值估计值，q(k)为k时刻状态高斯噪声的均值估计值，r(k+1)为k+1时刻量测高斯噪声的均值估计值，r(k)为k时刻量测高斯噪声的均值估计值，Q(k+1)为k+1时刻状态高斯噪声的方差估计值，Q(k)为k时刻状态高斯噪声的方差估计值，R(k+1)为k+1时刻量测高斯噪声的方差估计值，R(k)为k时刻量测高斯噪声的方差估计值，d为遗忘因子，X(k+1)为k+1时刻质心位置最优估计值，X(k)为k时刻质心位置最优估计值，F为状态转移矩阵，Z(k)为k时刻质心位置量测值，H为量测转移矩阵，X(k+1|k)为k+1时刻质心位置预测值，v(k+1)为k+1时刻新息，P(k+1|k)为k+1时刻协方差矩阵预测值，K(k+1)为k+1时刻协方差增益矩阵，P(k+1)为k+1时刻协方差最优估计值，P(k)为k时刻协方差最优估计值。步骤(6)中，从凸优化角度重构传统卡尔曼滤波问题，即：minimizeWT(k)R(k+1)-1W(k)+(X(k+1)-X(k+1|k))TΨ-1(X(k+1)-X(k+1|k))subjiecttoZ(k)＝HX(k)+W(k)其中，W(k)为k时刻量测高斯噪声估计值，R(k+1)为k+1时刻量测高斯噪声的方差估计值，X(k+1)为k+1时刻质心位置最优估计值，X(k+1|k)为k+1时刻质心位置预测值，X(k+1|k)为k+1时刻质心位置预测值，Z(k)为k时刻质心位置量测值，H为量测转移矩阵，X(k)为k时刻质心位置最优估计值，Ψ为在X(k)已知的情况下条件概率p(X(k+1)|Z(k))的协方差矩阵。步骤(6)中，从凸优化角度构建对稀疏噪声的估计问题，即：minimizeWT(k)R(k+1)-1W(k)+(X(k+1)-X(k+1|k))TΨ-1(X(k+1)-X(k+1|k))+λ||ns(k)||1subjiecttoZ(k)＝HX(k)+W(k)+ns(k)其中，W(k)为k时刻量测高斯噪声估计值，R(k+1)为k+1时刻量测高斯噪声的方差估计值，X(k+1)为k+1时刻质心位置最优估计值，X(k+1|k)为k+1时刻质心位置预测值，λ为稀疏度控制参数，ns(k)为稀疏噪声估计值，Z(k)为k时刻质心位置量测值，H为量测转移矩阵，X(k)为k时刻质心位置最优估计值，Ψ为在X(k)已知的情况下条件概率p(X(k+1)|Z(k))的协方差矩阵。基于上述方法的一种基于视觉的在线焊缝跟踪系统，主要由图像处理系统、工作台、行走机构、焊枪和上位机组成；工作台上设置有待焊工件；焊枪和图像处理系统同时安装在行走机构上，并悬设于工作台的正上方；行走机构由精密十字滑台和步进电机组成，焊枪连接在精密十字滑台上，步进电机与精密十字滑台连接；图像处理系统由高速相机、DSP和FPGA组成，高速相机的输出端与FPGA的输入端连接，FPGA的输出端连接上位机。与现有技术相比，本发明具有如下特点：1、本发明针对焊缝跟踪过程中高斯噪声存在时变性的问题，提出了一种在线噪声估计框架，该框架通过凸优化技术来对焊接轨迹中的高斯噪声参数进行实时估计，使得参数更新过程能够适应噪声变化过程，获得了对时变噪声的实时估计能力，进而提高了焊缝跟踪的准确性。2、本发明针对传统卡尔曼滤波算法无法处理焊缝跟踪中的稀疏噪声问题(焊接击穿、电流电压异常)，提出了基于凸优化的改进型卡尔曼滤波框架。新算法在焊缝跟踪模型中对量测过程同时加入了高斯噪声和稀疏噪声项，通过建立合理的优化模型，能够在线对高斯噪声和稀疏噪声进行准确估计，提高了焊缝跟踪的准确性。3、本发明提供一种基于CCD和FPGA相结合的图像采集装置，实现了熔池图像的高速获取。采用FPGA进行图像预处理与传输，可以在FPGA内部实现图像预处理和焊缝跟踪算法，能够适应高速情况下的实时焊缝轨迹校正，便于系统的使用和推广。附图说明图1为一种基于视觉的在线焊缝跟踪方法的流程图。图2为一种基于视觉的在线焊缝跟踪方法的迭代过程图。图3为一种基于视觉的在线焊缝跟踪系统的结构示意图。具体实施方式一种基于视觉的在线焊缝跟踪方法，如图1所示，包括如下步骤：步骤(1)熔池图像采集。采用高速相机获取焊接过程中的熔池形态图像并传输给FPGA，FPGA将获取的图像传输给PC机(即上位机)。步骤(2)熔池图像预处理。熔池图像预处理主要包括图像二值化和焊缝跟踪特征值选取。设f(i,j)为熔池图像在像素(i,j)处的灰度值，其中i和j分别为像素的行和列。选取二值化阈值γ，二值化后的图像可表示为：g(i,j)=f(i,j),f(i,j)>γ0,f(i,j)≤γ---(1)]]>焊缝跟踪的特征值主要选取熔池图像的质心。则图像质心的测量位置可表示为：(xp,yp)=|Σi=1LΣj=1Mxig(i,j)Σi=1LΣj=1Mg(i,j),|Σi=1LΣj=1Myig(i,j)Σi=1LΣj=1Mg(i,j)|---(2)]]>其中，(xp,yp)为观测到的熔池质心，L和M分别为g(i,j)中一行和一列中的像素个数，(xi,yj)分别为像素(i,j)中心的x坐标和y坐标。采用公式(2)中的方式来求质心，可以将图像的灰度分布与质心位置紧密关联，从而准确反映出焊缝相对于电弧的位置变化。步骤(3)改进型卡尔曼滤波状态空间模型的建立。与传统卡尔曼滤波假设噪声只服从高斯分布不同，改进型卡尔曼模型在状态空间模型中同时加入高斯噪声和稀疏噪声项。熔池质心的状态方程如下：x(k+1)x·(k+1)y(k+1)y·(k+1)=1T000100001T0001x(k)x·(k)y(k)y·(k)+V(k)---(3)]]>其中，k是时间序列，x(k)和y(k)为k时刻质心位置；和为k时刻质心的速度；T为采样周期；V(k)是k时刻零均值、白色高斯状态噪声估计值，其协方差为Q(k)。熔池质心的量测方程如下：zx(k)zy(k)=10000010x(k)x·(k)y(k)y·(k)+W(k)+ns(k)---(4)]]>其中，zx(k)和zy(k)为k时刻质心量测位置；W(k)是零均值、白色高斯k时刻量测噪声估计值，其协方差为R(k)，ns(k)为量测过程中的k时刻稀疏噪声估计值，与高斯类噪声相互独立。根据式(3)和式(4)建立如下状态空间模型：X(k+1)=FX(k)+V(k)Z(k)=HX(k)+W(k)+ns(k)---(5)]]>其中过程和量测噪声V(k)和W(k)的统计特性为：E(V(k))=q(k),E(W(k))=r(k)E(V(k)V(j)T)=Q(k)δkj,E(W(k)W(j)T)=R(k)δkj---(6)]]>其中，q(k)和r(k)分别为k时刻噪声V(k)和W(k)的均值；Q(k)和R(k)分别为k时刻噪声V(k)和W(k)的协方差。δkj为Kronecker函数。步骤(4)参数初始化。从步骤(4)开始进入卡尔曼迭代过程，开始初始化状态估计X(0/0)、协方差矩阵P(0/0)、高斯噪声参数和步骤(5)对高斯噪声实时估计，以解决高斯噪声的时变问题，由于实际焊缝跟踪过程中，噪声不是固定不变的，表现为高斯噪声的均值和方差不是一个固定的值，本发明中结合凸优化技术，采用极大后验估计方法来对高斯噪声的均值和方差进行实时估计，这是本发明的一个核心点。图2为焊缝跟踪的次迭代过程，步骤(5)对高斯噪声的实时估计过程如下：步骤(5.1)建立时变情况下,V(k+1)和W(k+1)的统计参数预测值Q(k+1)，R(k+1)，q(k+1)，r(k+1)的极大后验概率。假设高斯噪声V(k+1)和W(k+1)的均值和协方差未知，由贝叶斯公式可知，当已知焊缝质心量测值Z(k)＝{z(0),z(1),.....z(k)}时，噪声V(k+1)和W(k+1)的统计参数Q(k+1)，R(k+1)，q(k+1)，r(k+1)的后验概率密度可以表示为：P(X(k+1/k+1),Q(k+1),R(k+1),q(k+1),r(k+1)|Z(k))=P(X(k+1/k+1),Z(k),Q(k+1),R(k+1),q(k+1),r(k+1))P(Z(k)---(7)]]>由于P(Z(k))已知，因此Q(k+1)，R(k+1)，q(k+1)，r(k+1)的极大后验估计由以下条件概率密度决定：J=P(X(k+1/k+1),Q(k+1),R(k+1),q(k+1),r(k+1))*P(Z(k)|X(k+1/k+1),Q(k+1),R(k+1),q(k+1),r(k+1))=P(Q(k+1))*P(R(k+1))*P(X(k+1/k+1)|Q(k+1),R(k+1),q(k+1),r(k+1))*P(Z(k)|X(k+1/k+1),Q(k+1),R(k+1),q(k+1),r(k+1))---(8)]]>步骤(5.2)用渐消记忆指数加权方法估计V(k+1)和W(k+1)的统计参数Q(k+1)，R(k+1)，q(k+1)，r(k+1)。首先极大化条件概率密度函数J，并用渐消记忆指数加权方法估计Q(k+1)，R(k+1)，q(k+1)，r(k+1)的值，估计结果如下：q(k+1)＝(1-d)q(k)+d(X(k+1)-FX(k))(9)r(k+1)＝(1-d)r(k)+d(Z(k)-HX(k+1|k))(10)R(k+1)＝(1-d)R(k)+d(v(k+1)v(k+1)T-HP(k+1|k)HT))(11)Q(k+1)＝(1-d)Q(k)+d(K(k+1)v(k+1)v(k+1)TK(k+1)T+P(k+1)-FP(k)FT))(12)其中，q(k+1)为k+1时刻状态高斯噪声的均值估计值，q(k)为k时刻状态高斯噪声的均值估计值，r(k+1)为k+1时刻量测高斯噪声的均值估计值，r(k)为k时刻量测高斯噪声的均值估计值，Q(k+1)为k+1时刻状态高斯噪声的方差估计值，Q(k)为k时刻状态高斯噪声的方差估计值，R(k+1)为k+1时刻量测高斯噪声的方差估计值，R(k)为k时刻量测高斯噪声的方差估计值，d为遗忘因子(根据经验值设定0＜d＜1)，X(k+1)即X(k+1/k+1)为k+1时刻质心位置最优估计值，X(k)即X(k/k)为k时刻质心位置最优估计值，X(k+1|k)为k+1时刻质心位置预测值，P(k+1)即P(k+1/k+1)为k+1时刻协方差最优估计值，P(k)即P(k/k)为k时刻协方差最优估计值，P(k+1|k)为k+1时刻协方差矩阵预测值，K(k+1)为k+1时刻协方差增益矩阵，用来调整k+1时刻噪声变化对状态估计值得影响，v(k+1)为k+1时刻新息，Z(k)为k时刻质心位置量测值，H为量测转移矩阵，F为状态转移矩阵。X(k+1|k)，P(k+1|k)，v(k+1)，K(k+1)，X(k+1|k+1)，P(k+1|k+1)为传统卡尔曼滤波迭代过程值，表示如下：状态预测：X(k+1|k)＝FX(k|k)+q(k)(13)协方差预测：P(k+1|k)＝F(k)P(k|k)F(k)T+Q(k)(14)新息：v(k+1)＝Z(k+1)-HX(k+1|k)-r(k)(15)协方差增益：K(k+1)＝P(k+1|k)HT(HP(k+1|k)HT+R(k))-1(16)状态最优估计：X(k+1|k+1)＝F(k)X(k|k)+K(k+1)(Z(k+1)-H(k+1)F(k)X(k|k))(17)协方差更新：P(k+1|k+1)＝(I-K(k+1)H(k+1))P(k+1|k)(18)步骤(6)构建稀疏噪声存在下的滤波优化问题并进行滤波，以解决稀疏噪声问题。对稀疏噪声的估计主要利用了噪声的稀疏特性。为了方便在优化问题中引入噪声稀疏性约束，首先采用凸优化技术将传统卡尔曼滤波问题重构为一个凸优化问题，然后在新构建的优化中引入对稀疏噪声的稀疏性约束，最终完成对熔池质心位置的最优估计，并返回步骤(5)对下一时刻测量值进行估计，这是本发明的另一个核心点。步骤(6.1)从凸优化角度重构传统卡尔曼滤波问题。为了能够方便地对稀疏噪声进行估计，需要从凸优化的角度重构卡尔曼滤波问题。传统卡尔曼滤波的状态空间模型如下：X(k+1)=FX(k)+V(k)Z(k)=HX(k)+W(k)---(19)]]>根据贝叶斯原理，卡尔曼滤波问题可以表述为在量测数据Z(k)已知的前提下，估计下一时刻状态的值X(k)，即：p(X(k+1)|Z(k))=p(Z(k)|X(k+1))p(X(k+1)p(Z(k))---(20)]]>根据最大似然估计理论，建立p(Z(k)|X(k+1))和p(X(k+1)的似然函数：L1(Z(k),X(k+1))=p(X(k+1))p(W(k))p(X(k+1))=p(W(k))=1(2π)m|R|1/2exp(-12WT(k)R-1W(k))---(21)]]>L2(X(k+1)=p(X(k+1))=1(2π)n|Σ|1/2exp(-12(X(k+1)-X^(k+1|k))TΨ-1(X(k+1)-X^(k+1|k)))---(22)]]>其中，Ψ为在X(k|k)已知的情况下条件概率p(X(k+1)|Z(k))的协方差矩阵Ψ＝FP(k|k)FT+Q(其中P(k|k)为协方差更新值，可通过式(18)获得)。当似然函数条件L1(Z(k),X(k+1))和L2(X(k+1))取得极大值时，条件概率p(X(k+1)|Z(k))取得最优估计值。观察式子(21)和式(22)可以发现最大化似然函数条件L1(Z(k),X(k+1))和L2(X(k+1))相当于最小化似然函数中幂指数的指数部分与因此可以得到如下优化形式：minimizeWT(k)R(k+1)-1W(k)+(X(k+1)-X^(k+1|k))TΨ-1(X(k+1)-X^(k+1|k))---(23)]]>subjiecttoZ(k)＝HX(k)+W(k)其中，X(k+1)和W(k)为变量，Ψ是高斯噪声的协方差矩阵。X(k+1)的估计值即是W(k)就是对高斯噪声的估计值。步骤(6.2)从凸优化角度构建对稀疏噪声的估计问题。稀疏噪声的估计的核心思想是利用噪声的稀疏特性，经过步骤(6.1)将传统卡尔曼滤波问题转化为凸优化问题后，可以在优化中增加稀疏噪声ns(k)的稀疏性约束来完成对稀疏噪声的估计，新的优化形式为：minimizeWT(k)R(k+1)-1W(k)+(X(k+1)-X^(k+1|k))TΨ-1(X(k+1)-X^(k+1|k))+λ||ns(k)||1---(24)]]>subjiecttoZ(k)＝HX(k)+W(k)+ns(k)其中，ns(k)即为稀疏噪声，通过对上述优化问题求解，可以得到对熔池质心位置的最优估计值X(k+1)(注：X(k+1)即为传统卡尔曼滤波中对状态值的最优估计X(k+1/k+1))，式(24)表示的优化问题为一个凸优化问题，可以使用工程中较为成熟的内点法进行求解。基于上述方法的一种基于视觉的在线焊缝跟踪系统，如图3所示，主要由图像处理系统、工作台、行走机构、二氧化碳气体保护焊焊枪和上位机组成。工作台上设置有待焊工件。二氧化碳气体保护焊焊枪和图像处理系统同时安装在行走机构上，并悬设于工作台的正上方。行走机构用于实现焊枪在三位空间的移动，并由精密十字滑台和步进电机组成，焊枪连接在精密十字滑台上，步进电机与精密十字滑台连接。图像处理系统用于实现焊缝图像的采集和处理，并由高速相机、DSP和FPGA组成，高速相机的输出端与FPGA的输入端连接，FPGA的输出端连接上位机。首先，通过高速相机和FPGA结合的图像采集前端来采集熔池图像，然后对原始熔池图像进行预处理，获取熔池图像的质心，并将质心信息作为焊缝跟踪特征值送入焊缝跟踪系统，估计出下一时刻最佳焊缝位置，并将估计结果输入上位机，控制焊枪按照估计结果行走并进行焊接动作。当前第1页1 2 3