一种基于解耦检测的环缝视觉检测方法及装置制造方法
【专利摘要】本发明涉及一种基于解耦检测的环缝视觉检测方法，用于V形坡口环形焊件的焊缝的检测、识别与焊接，其特征在于该方法的具体步骤是：第一步，图像处理和特征提取；第二步，图像信息解耦。本发明通过解耦单帧图像提取的三维焊缝特征信息，即可计算出焊枪在二维平面内相对焊缝中心的偏差量，进而可实现在三维空间焊点的准确定位，采用单目视觉在获取焊缝二维信息时进行解耦算法，避免了在标定焊缝信息时繁琐的矩阵变换，大大节约了标定与计算时间，显著提高了系统的实时性，一方面避免了建立复杂的摄像机成像模型，另一方面增强了摄像机标定的精度、鲁棒性和适应性。
【专利说明】
【技术领域】
[0001] 本发明涉及确定环缝焊点位置的检测方法与定位，具体是一种基于解耦检测的环 缝视觉检测方法及装置。 一种基于解耦检测的环缝视觉检测方法及装置
【背景技术】
[0002] 随着现代化焊接生产对产品质量和生产效率的要求越来越高，如何保证焊接质 量，提高焊接自动化水平成为摆在人们面前的一项重大课题。焊接过程的工作环境对于焊 接机器人视觉系统来说是非常恶劣的，如焊接工作不可避免地存在大量的弧光、飞溅、烟尘 等干扰；经过打磨后表面光滑的工件，在激光光源照射下，由于表面的多次反射呈现不规则 的反光干扰；工件表面有时不规整，常有铁屑、油污、粉笔记号等痕迹；工件的焊缝形状各 异，焊件的材质也不完全相同。所有这些因素构成了对视觉系统图像处理和信息获取的挑 战。在强干扰恶劣的情况下，视觉信息的获取和图像处理问题研究成为制约当前焊接机器 人视觉检测应用、实现焊缝跟踪控制的一个技术瓶颈。在一般的相机标定过程中，往往先确 定相机的内外参数，相机内部参数只需标定一次即可，但是外部参数需要随着焊件的转动 而时时在变化，不易标定，而且运算量很大。双目视觉在获取焊缝三维信息时需要对两个摄 像机获取的信息进行融合，计算量大，影响系统实时性。
[0003] 中国专利CN101954557公开了一种结构光焊缝图像跟踪的二维位置信息提取方 法，该方法通过一个结构光式图像焊缝跟踪传感器获取焊缝图像，传感器对此图像进行处 理，从而获得焊缝的中心位置，为焊缝跟踪直接提供焊缝的左右偏差信息；同时，利用传感 器和焊接工件的几何位置关系，对实时获取的前一帧图像和后一帧进行比对，得出焊枪高 度方向的变化量，从而提供出焊枪高度偏差信息，其不足之处在于：在焊接过程中由于光 线、弧光、反光、飞溅等因素的影响会导致摄像机获取的当前帧图像的中心位置不准确，如 果前后两帧图像做比较，就会使偏差越来越不准确。
【发明内容】
[0004] 针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于解耦检测的环 缝视觉检测方法及装置。该检测方法根据对单帧图像提取的三维焊缝特征信息进行解耦， 计算出焊枪在二维平面内相对焊缝中心的偏差量，不涉及到大规模矩阵变换，计算量较小， 使得图像特征的变化和焊枪运动之间不存在耦合关系，可实现在三维空间焊点的准确定 位。该检测装置视觉检测系统包括单目摄像机、激光器以及连接两者的支架，其结构简单， 能准确、快速的识别焊点位置。
[0005] 本发明解决所述方法技术问题所采用的技术方案是，设计一种基于解耦检测的环 缝视觉检测方法，用于V形坡口环形焊件的焊缝的检测、识别与焊接，其特征在于该方法的 具体步骤是：
[0006] 第一步，图像处理和特征提取
[0007] 1-1图像获取：通过智能相机传感器获取包含激光条纹的焊缝区域图像；
[0008] 1-2感兴趣区域提取：确定步骤1-1获取的图像的激光条纹在图像中的范围；
[0009] 1-3图像阈值自适应分割：在步骤1-2的基础上，确定激光条纹的有效点；
[0010] 1-4激光结构光中心线提取：采用逐列提取的方式提取V形坡口环形焊缝中心线 数组方法；
[0011] 1-5中心线滤波和插值：插值补全提取的激光结构光中心线中的缺失点，之后采 用高斯低通滤波器进一步消除噪声干扰；
[0012] l_6Hough直线变换：在步骤1-5的基础上对差值滤波后的激光条纹进行hough直 线拟合；
[0013] 1-7特征点提取：根据提取的激光条纹的中心线组的纵坐标值与hough变换后得 到的直线对应的纵坐标值进行比较得到激光条纹的拐点，两个拐点的中点就是焊缝特征 点。
[0014] 第二步，图像信息解耦
[0015] 2-1水平方向偏差识别：利用图像平面上焊缝宽度与焊缝实际宽度的线性关系得 到焊枪水平方向的偏差量；
[0016] 2-1垂直方向偏差识别：根据图像平面上的焊缝与空间中的焊枪在坚直方向形成 的空间几何关系得到焊枪垂直方向的偏差量。
[0017] 本发明解决所述装置技术问题采用的技术方案是，设计一种采用上述检测方法的 基于解耦检测的环缝视觉检测装置，其特征在于该装置包括视觉检测系统、第一支架，十字 调节架、焊枪和夹具，所述视觉检测系统包括摄像机、第二支架和激光器，所述摄像机通过 第一支架与十字调节架相连，通过第二支架与激光器固定相连；十字调节架底端与焊枪顶 端相连，十字调节架可带动焊枪一起运动，激光器距离焊枪前方5-l〇 Cm ;在焊枪下方设有 夹具，通过夹具上的三爪卡盘可以固定住V形坡口环形焊件。
[0018] 与现有技术相比，本发明方法通过解耦单帧图像提取的三维焊缝特征信息，即可 计算出焊枪在二维平面内相对焊缝中心的偏差量，进而可实现在三维空间焊点的准确定 位。本发明装置采用单目视觉在获取焊缝二维信息时进行解耦算法，避免了在标定焊缝信 息时繁琐的矩阵变换，大大节约了标定与计算时间，显著提高了系统的实时性，一方面避免 了建立复杂的摄像机成像模型，另一方面增强了摄像机标定的精度、鲁棒性和适应性。在图 像检测的过程中实现了解耦，简化了控制算法，降低了对控制器的要求。
【专利附图】
【附图说明】
[0019] 图1为本发明基于解耦检测的环缝视觉检测方法及装置一种实施例组装测试平 台的硬件结构示意图；
[0020] 图2为本发明基于解耦检测的环缝视觉检测方法及装置一种实施例解耦过程中 的视觉检测系统元件相对位置关系示意图；
[0021] 图3-6为本发明基于解耦检测的环缝视觉检测方法与装置一种实施例解耦过程 中摄像机1与焊缝9的位置关系以及激光条纹在图像平面的位置关系的示意图；
[0022] 图7为本发明基于解耦检测的环缝视觉检测方法及装置一种实施例解耦过程中 焊缝Y方向偏差求取的几何图；
[0023] 图8为本发明基于解耦检测的环缝视觉检测方法及装置一种实施例解耦过程中 图7的局部放大图的几何图；
[0024] 图9为本发明基于解耦检测的环缝视觉检测方法及装置未加入解耦算法没有起 弧时特征点的横坐标的仿真图；
[0025] 图10为本发明基于解耦检测的环缝视觉检测方法及装置未加入解耦算法没有起 弧时特征点的纵坐标的仿真图；
[0026] 图11为本发明基于解耦检测的环缝视觉检测方法及装置加入解耦算法没起弧时 特征点的横坐标的仿真图；
[0027] 图12为本发明基于解耦检测的环缝视觉检测方法及装置加入解耦算法没起弧时 特征点的纵坐标的仿真图；
[0028] 图13为本发明基于解耦检测的环缝视觉检测方法及装置加入解耦算法起弧时焊 枪的横向偏差的仿真图；
[0029] 图14为本发明基于解耦检测的环缝视觉检测方法及装置加入解耦算法起弧时焊 枪的纵向偏差的仿真图；
[0030] 在图中，摄像机1，第二支架2,激光器3,十字调节架4,焊枪5, V形坡口环形焊件 6,夹具7,第一支架8,焊缝9,图像平面10,直板焊件11，激光条纹12。
【具体实施方式】
[0031] 下面结合实施例及附图对本发明作进一步说明。
[0032] 本发明设计的基于解耦检测的环缝视觉检测方法（简称方法，参见图1-14)主要 应用于工业现场，V形坡口环形焊缝的检测、识别与焊接同时进行，检测算法充分适应现场 情况，利用二维焊缝图像得到三维焊缝的位置信息，使得图像特征的变化和焊枪运动之间 不存在耦合关系，该方法的具体步骤是：
[0033] 第一步，图像处理和特征提取
[0034] 1-8图像获取：通过智能相机传感器获取包含激光条纹的焊缝区域图像；
[0035] 1-9感兴趣区域提取：确定步骤1-1获取的图像的激光条纹在图像中的范围；
[0036] 1-10图像阈值自适应分割：在步骤1-2的基础上，确定激光条纹的有效点；
[0037] 1-11激光结构光中心线提取：采用逐列提取的方式提取V形坡口环形焊缝中心线 数组方法；
[0038] 1-12中心线滤波和插值：插值补全提取的激光结构光中心线中的缺失点，之后采 用高斯低通滤波器进一步消除噪声干扰；
[0039] l_13Hough直线变换：在步骤1-5的基础上对差值滤波后的激光条纹进行hough 直线拟合；
[0040] 1-14特征点提取：根据提取的激光条纹的中心线组的纵坐标值与hough变换后 得到的直线对应的纵坐标值进行比较得到激光条纹的拐点，两个拐点的中点就是焊缝特征 点。
[0041] 第二步，图像信息解耦
[0042] 2-1水平方向偏差识别：利用图像平面上焊缝宽度与焊缝实际宽度W的线性关系 得到焊枪水平方向的偏差量；
[0043] 2-1垂直方向偏差识别：根据图像平面上的焊缝与空间中的焊枪在坚直方向形成 的空间几何关系得到焊枪垂直方向的偏差量。
[0044] 本发明方法的进一步特征在于所述V形坡口环形焊件6的外直径大于180mm，坡口 宽度为1〇 _20_，坡口深度大于4mm。
[0045] 本发明方法的进一步特征在于所述焊缝特征点为焊缝图像V形坡口的两拐点连 线的中点。
[0046] 本发明方法的进一步特征在于所述焊缝初始特征点为焊缝图像V形坡口的两 拐点连线的中点；在不起弧且焊件不转动的情况下，视觉系统采集时间序列上有限的 N(5〈N〈10)帧图像，记录每帧图像平面V形坡口中心的图像坐标
【权利要求】
1. 一种基于解耦检测的环缝视觉检测方法，用于V形坡口环形焊件的焊缝的检测、识 别与焊接，其特征在于该方法的具体步骤是： 第一步，图像处理和特征提取 1-1图像获取：通过智能相机传感器获取包含激光条纹的焊缝区域图像； 1-2感兴趣区域提取：确定步骤1-1获取的图像的激光条纹在图像中的范围； 1-3图像阈值自适应分割：在步骤1-2的基础上，确定激光条纹的有效点； 1-4激光结构光中心线提取：采用逐列提取的方式提取V形坡口环形焊缝中心线数组 方法； 1-5中心线滤波和插值：插值补全提取的激光结构光中心线中的缺失点，之后采用高 斯低通滤波器进一步消除噪声干扰； l-6Hough直线变换：在步骤1-5的基础上对差值滤波后的激光条纹进行hough直线拟 合； 1- 7特征点提取：根据提取的激光条纹的中心线组的纵坐标值与hough变换后得到的 直线对应的纵坐标值进行比较得到激光条纹的拐点，两个拐点的中点就是焊缝特征点； 第二步，图像信息解耦 2- 1水平方向偏差识别：利用图像平面上焊缝宽度与焊缝实际宽度的线性关系得到焊 枪水平方向的偏差量； 2-1垂直方向偏差识别：根据图像平面上的焊缝与空间中的焊枪在坚直方向形成的空 间几何关系得到焊枪垂直方向的偏差量。
2. 根据权利要求1所述的基于解耦检测的环缝视觉检测方法，其特征在于所述V形坡 口环形焊件的外直径大于180mm，坡口宽度为10-20mm，坡口深度大于4mm。
3. 根据权利要求1所述的基于解耦检测的环缝视觉检测方法，其特征在于所述焊缝特 征点为焊缝图像V形坡口的两拐点连线的中点。
4. 根据权利要求3所述的基于解耦检测的环缝视觉检测方法，其特征在于在不起弧且 焊件不转动的情况下，视觉系统采集时间序列上有限的N帧图像，N的取值范围是5〈N〈10， 记录每帧图像平面V形坡口中心的图像坐标
i = 1，2,…N，并计算N帧中心点 值的算术平均值得到焊缝初始特征点（xInt，yInt)，计算公式为（1)式：
(1)
5. 根据权利要求1所述的基于解耦检测的环缝视觉检测方法，其特征在于所述水平 偏差识别的方法是：采用实时标定的方法不断更新焊缝实际宽度与图像平面上焊缝宽度 的比，即每采集一帧图像重新计算水平方向比例系数k xd的值，设焊缝初始特征点的位置 (xInt，yInt)以及焊缝第η帧特征点的位置坐标
其中第η帧图像水平偏差为该帧 计算出的特征点坐标
与已计算出的焊枪初始特征点坐标
的做比较，获 得图像平面焊缝偏差量通过线型变换，得到焊枪在水平方向相对于实际焊缝的偏差量，计 算公式为⑷式： Δ X = kxd(n) X δ X ⑷。
6. 根据权利要求1所述的基于解耦检测的环缝视觉检测方法，其特征在于所述垂直方 向偏差识别的焊枪在垂直方向相对于实际焊缝的偏差量的计算公式为（8)式： AD = AAi/cos Θ = AB/(cos (90。- α ) X cos Θ ) (8)。
7. -种采用上述检测方法的基于解耦检测的环缝视觉检测装置，其特征在于该装置包 括视觉检测系统、第一支架，十字调节架、焊枪和夹具，所述视觉检测系统包括摄像机、第二 支架和激光器，摄像机通过第一支架与十字调节架相连，通过第二支架与激光器固定相连； 十字调节架底端与焊枪顶端相连，十字调节架可带动焊枪一起运动，激光器距离焊枪前方 5-lOcm;在焊枪下方设有夹具，通过夹具上的三爪卡盘可以固定住V形坡口环形焊件。
8. 根据权利要求7所述的基于解耦检测的环缝视觉检测装置，其特征在于所述激光器 与摄像机光轴夹角α =45°，激光器与垂直方向安装夹角Θ?20°，摄像机到V形坡口 环形焊件上的距离L在180?200mm之间，焊接点与V形坡口环形焊件上的激光条纹的水 平距离在45?50mm之间。
9. 根据权利要求7或8所述的基于解耦检测的环缝视觉检测装置，其特征在于所述激 光器为线激光器。
【文档编号】B23K9/028GK104084669SQ201410279698
【公开日】2014年10月8日 申请日期:2014年6月20日 优先权日:2014年6月20日
【发明者】陈海永, 王萌, 马子涵, 孙鹤旭 申请人:河北工业大学