基于仿真结构光条纹的焊缝定位方法、系统及存储介质与流程

本发明属于机器视觉的技术领域，具体涉及一种基于仿真结构光条纹的焊缝定位方法、系统及存储介质。

背景技术：

目前随着智能制造的发展，工业应用中，非接触式的结构光视觉传感器应用越来越广泛，在曲面造型加工检测，工件质量检测，焊缝跟踪等领域，结构光视觉传感器已经得到了广泛的应用。采用线结构光方式的视觉传感器，满足激光三角法测量模型，是一种非接触、测量速度快、精度较高的测量方式。激光线照射到被测物体表面，形成光条纹，该光条纹受到被测物体表面几何形状的影响而出现不连续、畸变的现象，这种变化包含了被测物体表面的深度信息。通过对采集的激光条纹图像进行分析，提取出激光条纹的中心线，根据相机与激光器构成的几何模型，就能够计算出激光中线上的点的空间位置，从而获得被测物体表面的结构信息。

目前针对结构光条纹图像的处理方法较多，但主体步骤基本上分：图像预处理(滤波、平滑、增强等)、图像分割(把对象从背景中分割出来)、边缘(中心线)提取、特征提取。在每一个环节中，可采用的方法多种多样，例如图像滤波方法可采用高斯滤波、中值滤波等，中心线的提取可采用zhang-suen骨架化法、灰度重心法等。

上述提到的方法都仅仅基于光条纹图像的灰度分布规律设计的。当干扰的灰度分布形态与实际有效的漫射激光条纹相似的时候，这些方法容易失效，从而出现识别偏差。

技术实现要素：

本发明的主要目的在于克服现有技术的缺点与不足，提出一种基于仿真结构光条纹的焊缝定位方法、系统及存储介质。

为了达到上述目的，本发明采用以下技术方案：

本发明提供了一种基于仿真结构光条纹的焊缝定位方法，包括如下步骤：

s1、划分图像处理的感兴趣区域；

s2、对所述感兴趣区域内部的图像进行滤波降噪预处理；

s3、对降噪后的图像中的亮条纹区域执行骨架化，提取亮条纹骨架；

s4、计算从仿真激光条纹到所述中提取亮条纹骨架的变换矩阵；用所述变换矩阵变换仿真激光线，得到最终完整的激光中心线并实现了焊缝定位；

s5、用所述变换矩阵变换感兴趣区域，将变换后的感兴趣区域连同所述最终完整的激光中心线输入到下一帧图像的处理流程中，重复上述步骤，实现焊缝结构光条纹图像的连续动态识别。

作为优选的技术方案，所述感兴趣区域根据仿真激光条纹在图像上的上下界进行截取，区域边界围绕着实际采集图像的有效激光条纹。

作为优选的技术方案，对所述感兴趣区域内部的图像进行滤波降噪的预处理中，采用的是非均匀形态学处理的方式。

作为优选的技术方案，所述对降噪后的图像中的亮条纹区域执行骨架化采用的是内接圆法。

作为优选的技术方案，所述从仿真激光条纹到所述中提取亮条纹骨架的变换矩阵由粗配准变换矩阵和精配准变换矩阵得出。

作为优选的技术方案，所述粗配准变换矩阵由如下步骤得出：根据激光条纹的形状特点，计算可使仿真激光条纹被大致配准到贴近骨架位置的粗配准变换矩阵。

作为优选的技术方案，所述精配准变换矩阵由如下步骤得出：经过仿射变换结合迭代最近点的精配准策略，得到精配准变换矩阵。

作为优选的技术方案，所述将变换后的区域连同所述最终完整的激光中心线输入到下一帧图像的处理流程中，具体为：采用当前帧图像配准后的仿真激光线作为下一帧的原始仿真激光线，并且用得到的所述变换矩阵去变换当前帧的感兴趣区域边界得到新的感兴趣区域，再进行图像的截取、去噪、配准，输出焊缝点位数据。

本发明还提供了一种基于仿真模板匹配的焊缝定位系统，包括仿真处理模块和焊缝视觉定位模块；

所述仿真处理模块用于计算扫描起点处的原始激光线并划分感兴趣区域；

所述焊缝视觉定位模块包括图像截取与预处理模块、配准模块和感兴趣区域变换模块；

所述图像截取与预处理模块用于划分图像处理的感兴趣区域；对所述感兴趣区域内部的图像进行滤波降噪预处理；对降噪后的图像中的亮条纹区域执行骨架化，提取亮条纹骨架；

所述配准模块用于计算从仿真激光条纹到所述中提取亮条纹骨架的变换矩阵；

所述感兴趣区域变换模块作用是：利用所述变换矩阵变换仿真激光线，得到最终完整的激光中心线并实现了焊缝定位；利用所述变换矩阵变换感兴趣区域。

本发明还提供了一种存储介质，存储有程序，所述程序被处理器执行时，实现所述的一种基于仿真模板匹配的焊缝定位方法。

本发明与现有技术相比，具有如下优点和有益效果：

(1)本发明基于视觉仿真信息，设计了图像降噪方法和焊缝定位方法，实现了焊缝的准确定位；

(2)本发明的焊缝识别过程中，通过使用上一帧图像计算得到的信息，提升了焊缝识别的动态性能，实现了焊缝的连续动态识别；

(3)本发明的结构光焊缝定位方法，引入了视觉仿真给出的仿真激光条纹信息，大大提高了抗干扰能力，适应性较强，扩展了结构光视觉传感器应用工作范围。

附图说明

图1是本发明实施例所述的一种基于仿真结构光条纹的焊缝定位方法的整体方法流程图；

图2是本发明实施例所述含有干扰条纹的激光图像；

图3是本发明实施例所述经过降噪处理后的图像；

图4是本发明实施例所述完整的激光中心线与焊缝位置的图像

图5是本发明实施例所述一种基于仿真结构光条纹的焊缝定位系统的结构图；

图6是本发明实施例所述存储介质的结构图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，本实施例提供了一种基于仿真结构光条纹的焊缝定位方法，包括以下步骤：

s1、划分图像处理的感兴趣区域(regionofinterest，以下简称roi)；所述roi根据仿真激光条纹在图像上的上下界进行截取，区域边界大体上围绕着实际采集图像的有效激光条纹。

s2、采用的是非均匀形态学处理的方式对所述感兴趣区域内部的图像进行滤波降噪预处理；

由于被测物体的表面反射率较高，使得激光照射到被测物体表面后出现反射的情况，反射光也被相机捕获到，最终采集得到是含有干扰条纹的激光图像，如图2所示，可以明显看到激光亮条纹上下均存在反射光的干扰；

图3为经过降噪处理后的图像，可见实际有效漫射条纹被保留而镜面反射干扰条纹被有效滤除。

s3、采用内接圆法对降噪后的图像中的亮条纹区域执行骨架化，提取亮条纹骨架；

s4、计算从仿真激光条纹到所述中提取亮条纹骨架的变换矩阵；用所述变换矩阵变换仿真激光线，得到如图4所示的最终完整的激光中心线并实现了焊缝定位；

所述变换矩阵由以下步骤得出：

根据激光条纹的形状特点，计算可使仿真激光条纹被大致配准到贴近骨架位置的粗配准变换矩阵；

经过仿射变换结合迭代最近点(iterativeclosestpoint,简称icp)的精配准策略，得到精配准变换矩阵；

将所述粗配准变换矩阵和精配准变换矩阵进行组合得到最终的变换矩阵；

s5、用所述最终的变换矩阵变换感兴趣区域，将变换后的区域连同所述最终完整的激光中心线输入到下一帧图像的处理流程中，具体为：采用当前帧图像配准后的仿真激光线作为下一帧的原始仿真激光线，并且用得到的所述变换矩阵去变换感兴趣区域边界得到新的感兴趣区域，再进行图像的截取、去噪、配准，输出焊缝点位数据；

重复上述步骤，实现焊缝结构光条纹图像的连续动态识别。

特别地，如图1所示的本发明实施例所述的一种基于仿真结构光条纹的焊缝定位方法的整体方法流程图，其中，子流程1在仿真程序环境中运行，用于计算扫描起点处的仿真激光线与roi区域；子流程2在焊缝视觉定位程序环境中运行，当机器人末端运动到扫描的起始点位置时读取从仿真环境获取的仿真激光条纹及roi，然后用于定位首帧图像中的焊缝。为了提升配准的准确度以及速度，在后续帧的图像识别中，采用前一帧图像配准后的仿真激光线作为当前帧的原始仿真激光线，并且用得到的配准变换矩阵去变换roi边界得到新的roi，再进行图像的截取、去噪、配准等操作，然后输出焊缝点位数据，直到焊枪末端运动到该段焊缝的扫描结束点位置，实现了焊缝的动态扫描。

特别地，由于所述动态扫描的过程中两帧图像之间的激光条纹形态不会产生突变，因此下一帧图像的roi区域与仿真激光线已经十分贴合实际激光条纹，精配准只需要较少的迭代次数即可实现，提升了识别过程的动态性能。

如图5所示，本实施例还提供了一种基于仿真结构光条纹的焊缝定位系统，包括仿真处理模块和焊缝视觉定位模块；

所述仿真处理模块用于计算扫描起点处的原始激光线并划分感兴趣区域；

所述焊缝视觉定位模块包括图像截取与预处理模块、配准模块和感兴趣区域变换模块；

所述图像截取与预处理模块用于划分图像处理的感兴趣区域；对所述感兴趣区域内部的图像进行滤波降噪预处理；对降噪后的图像中的亮条纹区域执行骨架化，提取亮条纹骨架；

所述配准模块用于计算从仿真激光条纹到所述中提取亮条纹骨架的变换矩阵；

所述感兴趣区域变换模块作用是：利用所述变换矩阵变换仿真激光线，得到最终完整的激光中心线并实现了焊缝定位；利用所述变换矩阵变换感兴趣区域。

在此需要说明的是，上述实施例提供的系统仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，该系统是应用于上述实施例的一种基于仿真结构光条纹的焊缝定位方法。

如图6所示，本实施例还提供了一种存储介质，存储有程序，所述程序被处理器执行时，实现一种基于仿真结构光条纹的焊缝定位方法，具体为：

s1、划分图像处理的感兴趣区域；

s2、对所述感兴趣区域内部的图像进行滤波降噪预处理；

s3、对降噪后的图像中的亮条纹区域执行骨架化，提取亮条纹骨架；

s4、计算从仿真激光条纹到所述中提取亮条纹骨架的变换矩阵；用所述变换矩阵变换仿真激光线，得到最终完整的激光中心线并实现了焊缝定位；

s5、用所述变换矩阵变换感兴趣区域，将变换后的区域连同所述最终完整的激光中心线输入到下一帧图像的处理流程中，重复上述步骤，实现焊缝结构光条纹图像的连续动态识别。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。