基于双动态窗的视觉引导焊接机器人焊缝快速识别技术的制作方法
【专利摘要】本发明采用双层动态开窗选取图像处理区域，有效减少图像数据处理量，满足实时性要求较高的场合；根据本序列图像的相似性，对第一层动态开窗截取出相邻序列图像做乘法运算，有效消除大的随机干扰；采用中值滤波方法，滤除脉冲干扰和椒盐噪声；采用大津法进行二值化，处理简单快速；采用Hough变换进行直线提取，精度高，抗干扰能力强；采用特征角点构成的特征三角形重心作为焊缝特征点，求解简单快速。本发明提供的视觉引导的焊接机器人焊缝快速识别技术能较好地满足工业现场对焊缝特征点准确快速提取的要求。
【专利说明】基于双动态窗的视觉引导焊接机器人焊缝快速识别技术
【技术领域】
[0001]本发明涉及焊接机器人焊缝跟踪系统中的焊缝快速识别领域，具体是指一种通过对焊缝原始图像进行双层动态开窗，快速识别焊缝特征点的方法。
【背景技术】
[0002]实现焊接自动化的关键问题是焊缝的自动跟踪，激光视觉引导的智能焊接机器人将焊缝图像识别与机器人运动控制技术结合，能够有效解决焊缝自动跟踪难题。
[0003]在目前的各种传感方式中，激光结构光式视觉传感器以其非接触，信息量大，特征明显等优点而被广为使用。激光结构光式视觉传感是一种基于激光三角测量原理的光学传感技术。当线激光投射到被焊接目标表面，在焊缝处形成激光断裂条纹，经过视觉跟踪传感器图像采集、焊缝特征提取与识别，可以精确判定焊缝位置和形状。对于电弧焊(AW)或激光焊(LBW)，激光束与焊枪正确对准焊缝接头是获得合格焊接质量的前提。
[0004]在基于激光结构光的焊缝跟踪系统中，V型焊缝是常见的一种焊缝类型，实时、准确的提取焊缝特征点是保证闻效、稳定自动焊接的如提。
[0005]结构光V型焊缝一般采用的方法为对整幅图像加窗截取ROI区域，而后对ROI区域进行预处理、二值化，进而提取光条直线和焊缝特征点；在光条直线提取中，Hough变换由于抗干扰强而在广为使用，但Hough变换处理数据量大，极大地影响焊缝跟踪系统的实时性，在整幅图像预处理后，对图像进行动态开小窗口进行Hough变换，提高了图像处理处理速度。
【发明内容】
[0006]本发明针对结构光视觉引导的焊接机器人焊缝跟踪系统中焊缝特征点快速识别，提供一种基于双层动态开窗的快速识别技术。通过对采集的原始图像进行双层动态开小窗，极大地减少图像处理的运算量，适用于对实时性要求较高的焊缝跟踪系统。
[0007]为达此目的，本发明视觉引导的焊接机器人焊缝快速识别技术的技术方案如下:
[0008]第一步:对采集的第一幅图像进行处理，采用对整幅图像网格采样的方法，确定第一幅图像的R0I，而后直接进行二值化，对二值化后图像进行Hough变换，得到三个特征角点和焊缝特征点坐标。
[0009]第二步:根据序列图像前一幅图像得到的三个特征角点坐标，对图像进行第一层动态开窗截取ROI区域，对截取出的ROI区域进行预处理，预处理过程包括，对相邻两幅图像做乘法运算去除飞溅等随机强干扰，中值滤波滤除脉冲干扰和椒盐噪声等。
[0010]第三步:对第二步中预处理后的ROI区域进行二值化。
[0011]第四步:对第三步中二值化后的图像，根据前一幅图像的三个特征角点坐标信息，进行第二层动态开窗，对开出的小窗口进行Hough变换，Θ空间参数选取根据上一幅图像求解的特征直线的QiI下浮动Qtl选取，求解每个小窗口特征直线，进而求解特征直线的交点作为特征角点，根据特征角点信息得到焊缝特征点。[0012]本发明有益效果:首先对采集的第一幅图像进行处理，采用对整幅图像网格取样的方法，确定第一幅图像的ROI，而后直接进行二值化，对二值化后图像进行Hough变换，得到三个特征角点和焊缝特征点坐标，并将焊缝特征点坐标反馈给执行机构。第二幅图像根据第一幅图像得到的特征角点进行第一层动态开窗，而后进行中值滤波、二值化，在二值化后的图像上，根据特征角点坐标进行第二层动态开窗，对开出的小窗口进行Hough变换，Θ空间参数选取根据第一幅图像求解的特征直线的QiI下浮动Qtl选取，求解每个小窗口特征直线，进而求解特征角点和焊缝特征点。从第三幅图像开始，处理进入流程化，在第一层动态开窗后，中值滤波前，加入前后两幅图像的相乘运算，去除飞溅等随机强干扰。双层动态开窗技术明显减少了数据处理量，可有效提高图像处理实时性，满足一些对实时性要求较闻的焊缝跟踪系统。
【专利附图】
【附图说明】
[0013]图1本发明整体处理流程
[0014]图2双层动态开窗示意图
【具体实施方式】
[0015]为使本发明的目的、技术方案和优点更加清楚明白，下面是具体实施过程，并参照附图，对本发明作进一步详细说明。
[0016]本发明的基本思路是:结构光V型焊缝一般采用对整幅图像加窗截取ROI区域，而后对截取区域进行处理，以减少数据量提高实时性的思路，针对Hough变换处理数据量大的缺点，考虑在第一层动态开窗的基础上，对小窗图像再次动态开窗，减少Hough变换数据处理量，以提高Hough变换速度，提高整体处理效率，提高实时性。
[0017]附图1，为本发明处理流程图。首先对采集的第一幅图像进行处理，采用对整幅图像网格取样的方法，确定第一幅图像的R0I，而后直接进行二值化，对二值化后图像进行Hough变换，得到三个特征角点和焊缝特征点坐标，并将焊缝特征点坐标反馈给执行机构。第二幅图像根据第一幅图像得到的特征角点进行第一层动态开窗，而后进行中值滤波、二值化，在二值化后的图像上，根据特征角点坐标进行第二层动态开窗，对开出的小窗口进行Hough变换，Θ空间参数选取根据第一幅图像求解的特征直线的QiI下浮动Qtl选取，求解每个小窗口特征直线，进而求解特征角点和焊缝特征点。从第三幅图像开始，处理进入流程化，在第一层动态开窗后，中值滤波前，加入前后两幅图像的相乘运算，去除飞溅等随机强干扰。
[0018]所述第一步具体实现方法如下:
[0019]1.1第一幅图像网格采样法确定ROI
[0020]焊缝的实时跟踪系统对焊缝图像处理方面提出了很高的要求，所以迅速识别兴趣区间R0I,忽略背景/[目息是必须的。
[0021]第一幅图像加窗选取ROI区域，采用对整幅图像在水平和竖直方向以一定间隔取样，对取样出的像素灰度值进行累加，取样结果的均值设为M作为背景灰度值。[0022]
【权利要求】
1.一种视觉引导的焊接机器人焊缝快速识别技术，其特征是:对原始图像进行双层动态开窗选取图像处理区域，有效减少图像数据处理量，满足实时性要求较高的场合；根据焊缝图像序列的相似性，对第一层动态开窗截取出相邻序列图像做乘法运算，有效消除大的随机干扰；采用中值滤波方法，滤除脉冲干扰和椒盐噪声；采用大津法进行二值化，处理简单快速；采用Hough变换进行直线提取，精度高，抗干扰能力强；采用特征角点构成的特征三角形重心作为焊缝特征点，求解简单快速；整个技术组成包括以下几个技术模块: 对采集的第一幅图像进行处理，采用对整幅图像网格采样的方法，确定第一幅图像的R0I，而后直接进行二值化，对二值化后图像进行Hough变换，得到三个特征角点和焊缝特征点坐标； 根据序列图像前一幅图像得到的三个特征角点坐标，对图像进行第一层动态开窗截取ROI区域，对截取出的ROI区域进行预处理，预处理过程包括对相邻两幅图像做乘法运算去除飞溅等随机强干扰； 对预处理后的ROI区域进行二值化； 对二值化后的图像，根据前一幅图像的三个特征角点坐标信息，进行第二层动态开窗，对开出的小窗口进行Hough变换，Θ空间参数选取根据上一幅图像求解的特征直线的Qi上下浮动Θ ^选取，求解每个小窗口特征直线，进而求解特征角点和焊缝特征点。
2.根据权利要求1所述，对第一幅图像处理时具有如下特征:采用对整幅图像网格采样的方法，确定第一幅图像的ROI ;并对处理后的图像采用Hough变换提取特征直线。
3.根据权利要求1所述，对图像进行第一层动态开窗具有如下特征:以前一幅图像三个特征角点坐标，进行第一层动 态开窗，窗口如图2中ABCD所示:
4.根据权利要求1所述，对第一层动态开窗截取出的ROI区域二值化方法具有如下特征:采用大津法进行图像二值化。
5.根据权利要求1所述，对第一层动态开窗后的图像进行第二层动态开窗，Hough变换的参数Θ选取环节具有如下特征: 5.1如图2，开出的四个小窗口依次为EFGH、IJKL、MNOP、QRST。四个小窗口的范围由下式确定: EFGH范围为:
{(xi+1，Yi+1)/Xi+1 e [ux1-4T，uxi+T]，Yi+1 e [vx1-T, vxi+T]} IJKL范围为:
{(Xi+1, Yi+1) /Xi+1 e [ux1-T, uyi+T], Yi+1 e [vx1-T, vyi+T]} MNOP范围为:
{(Xi+1, Yi+1) /Xi+1 e [uy1-T, uzi+T], Yi+1 e [vz1-T, vyi+T]} QRST范围为:
{(xi+1，Yi+1)/Xi+1 e [uz1-T，uzi+T]，Yi+1 e [vz1-T, vzi+4T]}` 5.2Hough变换参数Θ的选取 设前一幅图像的四个小窗口对应的Θ值分别为QiQ=IL2,3)，根据结构光序列图像变化不大，后一幅图像Θ参数范围为Θ = { θ / Θ ^ [θ±-θ0, θ `Θ 0]} 0
【文档编号】G06K9/00GK103500321SQ201310281986
【公开日】2014年1月8日 申请日期:2013年7月3日 优先权日:2013年7月3日
【发明者】白瑞林, 郭新年, 李新, 王秀平 申请人:无锡信捷电气股份有限公司, 江南大学