焊缝起点的自适应判断方法及焊接方法、设备、介质与流程

1.本发明涉及激光焊接技术领域，尤其涉及一种焊缝起点的自适应判断方法。


背景技术：

2.目前带有视觉引导功能的焊接机器人正在替代传统的人工焊接岗位。经过编程，机器人可以自动寻找焊缝轨迹，并自行记录焊缝空间信息；并推导出焊枪的最佳姿态后，引导机器人进行焊接。但是目前所有的焊接动作之前仍然需要一个繁琐的人工确定焊缝起点的过程。即需要人工操作示教器，或者拖拽牵引机器人，使焊枪用准确的姿态对准焊缝的起点，便于在正确时间焊机起弧，然后开始后续的电弧焊接。这项工作仍然耗时耗力，没有把人工从体力劳动中充分的解放出来。
3.当前随着视觉技术特别是三维视觉技术和人工智能技术的发展，类似于人脸识别等的图像特征提取和要素特征匹配技术已经被多次证明了其有效性。然而，在当前的焊接流程中，即使是引入了视觉引导机器人，在起点确定这个关键步骤仍需要人工的干预与操作，如肉眼的现场判定。市场强烈呼唤能真正自动完成焊缝起点自适应寻找和确定的简单操作而又省工高效的方法。


技术实现要素：

4.鉴于以上技术问题，本发明提供了一种焊缝起点的自适应判断方法及焊接方法、设备、介质，以提供解决现有带有视觉引导的电弧焊焊接机器人在实施焊接过程中的起点如何确定的问题，以及解决现有的焊接方法的繁琐、耗时且效率不高的问题。
5.本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
6.根据本发明的一方面，提出了一种焊缝起点的自适应判断方法，所述判断方法包括：获取焊枪当前的位置，所述焊枪的当前位置位于焊缝起点的预设范围之内；使动视觉传感器按照预设路径进行步长可调的自适应搜索并获取搜索过程中产生的第一视频流；对所述第一视频流进行基于特征提取和要素匹配的实时分析，确定所述焊缝起点的图像，以及计算获得所述焊缝起点的三维坐标信息。
7.进一步的，所述自适应搜索包括：以所述视觉传感器的当前位置为中心，设定一个规则立方体空间；使动所述视觉传感器在所述立方体空间内做全覆盖移动，且在移动时产生所述第一视频流；记录所述第一视频流中的每一帧所对应的所述视觉传感器的三维坐标信息。
8.进一步的，所述对所述第一视频流进行基于特征提取和要素匹配的实时分析，包括：对所述第一视频流抽帧截取视频图像，将截取出来的图像进行特征提取和要素匹配，并逐一进行运算打分。进一步的，在运算打分时，若得到分值高于阈值的图像，对其进行标记及请求工人确认是否将其作为所述焊缝起点的图像；或在运算打分结束后，将分值最高的图像作为所述焊缝起点的图像。
9.进一步的，所述计算获得所述焊缝起点的三维坐标信息，包括：启动视觉相机对所述焊缝起点进行拍照，基于所述视觉相机的位置，计算得到所述焊缝起点的三维坐标信息，其中，所述视觉相机与所述视觉传感器为相同的或不相同的。
10.进一步的，所述视觉传感器为相机或激光雷达中的一种。
11.根据本公开的第二方面，提供一种焊接方法，所述焊接方法包括：视觉传感器与机器人进行手眼标定；判断被焊接物的焊缝的起点；分别计算出焊枪和所述机器人的姿态；使动所述机器人带动所述视觉传感器从所述焊缝的起点出发，沿着所述焊缝扫描产生第二视频流，以及对所述第二视频流进行基于特征提取的实时分析，生成焊接轨迹，且在到达所述焊缝的终点时停止扫描；根据所述焊接轨迹，所述机器人带动所述焊枪，以及所述焊枪执行焊接；其中，在判断被焊接物的所述焊缝的起点时，执行如上述的判断方法。
12.进一步的，所述对所述第二视频流进行基于特征提取的实时分析，生成焊接轨迹，包括：对所述第二视频流抽帧截取视频图像，将截取出来的图像进行特征提取和与目标图像对比，得到所述焊缝的三维坐标信息，以及，根据所述焊缝的三维坐标信息得到所述焊接轨迹。
13.根据本公开的第三方面，提供一种焊接设备，所述设备包括：视觉传感器；机器人；焊枪；控制系统，所述控制系统包括：存储器，用于存储指令；控制器，用于执行所述指令以执行上述的焊接方法。
14.根据本公开的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的判断方法或/和焊接方法。
15.本公开的技术方案具有以下有益效果：
16.可利用焊枪上现有的视觉设备，实现包括确定当前位置，按制定路径进行运动视觉搜索，实时进行视觉图特征采集和比对打分等功能，让焊接机器人自动的快速寻找到焊缝起点，且不增加设备成本。有效的解决视觉引导焊接机器人中的起点确定问题，提高焊接系统效率，并节省大量的起点确定所耗费人工。
附图说明
17.图1为本说明书实施例提供的一种焊缝起点的自适应判断方法工作流程图；
18.图2为本说明书实施例中的焊接方法的工作流程图；
19.图3为本说明书实施例中一种焊接设备。
具体实施方式
20.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
21.此外，附图仅为本公开的示意性图解。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
22.如图1所示，本说明书实施例提供一种焊缝起点的自适应判断方法，所述判断方法包括步骤s101-s103：
23.在步骤s101中，获取焊枪当前的位置，所述焊枪的当前位置位于焊缝起点的预设范围之内。
24.在步骤s102中，使动视觉传感器按照预设路径进行步长可调的自适应搜索并获取搜索过程中产生的第一视频流。
25.在步骤s103中，对所述第一视频流进行基于特征提取和要素匹配的实时分析，确定所述焊缝起点的图像，以及计算获得所述焊缝起点的三维坐标信息。
26.其中，使动视觉传感器的机器人本身知道自己的焊枪末端和视觉传感器的位置，原本用于视觉引导的相机，经过相机参数标定可以作为视觉传感器对周围进行视觉探测。通过对焊接机器人的运动路径做适当提前规划，可以对从某个焊枪末端停止点开始的周围小六面体空间，做最简运动组合和视觉图像全覆盖采集，确定；结合机器人本身的运动功能和视觉图像的获取功能，就如同让机器人有了一个人类的眼睛；通过将获取的图像进行图像处理和特征分析，可以识别出焊缝的准确空间位置信息。
27.另外，值得注意的是，在本发明中有个特别重要的地方，是可以利用现有技术的现有视觉设备来增加了他的功能，扩展了应用，让原来不能自适应确定起点的焊接机器人因为此方法的改进，从而获得更加强大的生命力和为市场提供价值。
28.在一实施方式中，在步骤s102中，所述自适应搜索包括：以所述视觉传感器的当前位置为中心，设定一个规则立方体空间；使动所述视觉传感器在所述立方体空间内做全覆盖移动，且在移动时产生所述第一视频流；记录所述第一视频流中的每一帧所对应的所述视觉传感器的三维坐标信息。
29.其中，在进行焊缝起点的确认过程中，不再需要起点的精准定位信息，只需要操作员使用示教器或者拖拽机器人焊枪的方式，来到焊缝起点附近。然后焊接机器人脱离人的控制，按照预设算法开始进行自适应搜索，例如对于以当前起点为中心，边长为一个固定长度l的正方体空间开始按照一个提前设定的搜素路径，开始自适应运动。运动同时，启动视觉传感器，使用类似于人脸识别的原理，对周围获取的空间图像进行特征提取和要素匹配，并不断进行打分运算。运动路径可按照预设的前进单位距离，后退单位距离，上升单位距离，下降单位距离，左转单位角度，右转角度的方法(此示例仅为路径的一种模式)进行设定。
30.在一实施方式中，在步骤s103中，所述对所述第一视频流进行基于特征提取和要素匹配的实时分析，包括：对所述第一视频流抽帧截取视频图像，将截取出来的图像进行特征提取和要素匹配，并逐一进行运算打分。
31.作为补充的，在运算打分时，若得到分值高于阈值的图像，对其进行标记及请求工人确认是否将其作为所述焊缝起点的图像；或在运算打分结束后，将分值最高的图像作为
所述焊缝起点的图像。
32.在一实施方式中，所述计算获得所述焊缝起点的三维坐标信息，包括：启动视觉相机对所述焊缝起点进行拍照，基于所述视觉相机的位置，计算得到所述焊缝起点的三维坐标信息，其中，所述视觉相机与所述视觉传感器为相同的或不相同的。
33.在一实施方式中，所述视觉传感器为相机或激光雷达中的一种。
34.其中，可以使用激光雷达，或者其他双目相机设备等三维信息获取设备作为视觉传感器获取焊缝起点信息。
35.基于同样的思路，如图2所示，本说明书实施例还提供一种焊接方法，所述焊接方法包括步骤s201-s205：
36.在步骤s201中，视觉传感器与机器人进行手眼标定。
37.在步骤s202中，判断被焊接物的焊缝的起点，具体执行上述实施例中的焊缝起点的自适应判断方法。
38.在步骤s203中，分别计算出焊枪和所述机器人的姿态。
39.在步骤s204中，使动所述机器人带动所述视觉传感器从所述焊缝的起点出发，沿着所述焊缝扫描产生第二视频流，以及对所述第二视频流进行基于特征提取的实时分析，生成焊接轨迹，且在到达所述焊缝的终点时停止扫描。
40.在步骤s205中，根据所述焊接轨迹，所述机器人带动所述焊枪，以及所述焊枪执行焊接。
41.基于同样的思路，如图3所示，本说明书实施例还提供一种焊接设备，焊接设备包括视觉传感器、机器人、焊枪、控制系统。
42.焊接设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器301和存储器302，存储器302中可以存储有一个或一个以上存储应用程序或数据。其中，存储器302可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram) 和/或高速缓存存储单元，还可以进一步包括只读存储单元。存储在存储器302的应用程序可以包括一个或一个以上程序模块(图示未示出)，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。更进一步地，处理器3031可以设置为与存储器302通信，在设备上执行存储器302中的一系列计算机可执行指令。焊接设备还可以包括一个或一个以上电源303，一个或一个以上有线或无线网络接口304，一个或一个以上i/o接口(输入输出接口)305，一个或多个外部设备306(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或一个以上使得用户能与该设备交互的设备通信，和/或与使得该设备能与一个或一个以上其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过i/o接口305进行。
43.具体在本实施例中，焊接设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对焊接设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
44.视觉传感器与机器人进行手眼标定；判断被焊接物的焊缝的起点；分别计算出焊枪和所述机器人的姿态；使动所述机器人带动所述视觉传感器从所述焊缝的起点出发，沿
着所述焊缝扫描产生第二视频流，以及对所述第二视频流进行基于特征提取的实时分析，生成焊接轨迹，且在到达所述焊缝的终点时停止扫描；根据所述焊接轨迹，所述机器人带动所述焊枪，以及所述焊枪执行焊接；其中，在判断被焊接物的所述焊缝的起点时，执行如上述的判断方法。
45.基于同样的思路，本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
46.通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开示例性实施方式的方法。
47.此外，上述附图仅是根据本公开示例性实施方式的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
48.应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的示例性实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
49.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
50.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。