一种智能焊接方法及相关装置与流程

1.本发明涉及工业焊接领域，特别涉及一种智能焊接方法及相关装置。


背景技术：

2.随着现代生产的智能化发展，对产品的焊接质量要求愈加增高。由于工程产品具有规模化、批量化等生产特点，且工程产品不断向着大型化、复杂化以及高质量的方向发展。目前焊接领域的生产线多通过焊接机器人进行自动化的焊接流程。
3.现有的焊接流程中，需在焊接前人工对焊缝进行示教以确定焊接机器人的焊接轨迹。焊接的过程会产生大量高温，焊接板材在受热后易导致焊缝形变。上述焊接方式不具备在焊接过程中对焊接轨迹进行校正的能力，在焊缝形变后仍会采用原定焊接轨迹进行焊接，导致最终焊接结果存在偏差。


技术实现要素：

4.本技术实施例提供一种智能焊接方法及相关装置，通过每次获取焊接终点并控制焊枪移动到该焊接终点所在位置的过程以重新确定焊枪的焊接轨迹，实现焊接过程中对焊枪的焊接轨迹进行校正，提高焊接精度。
5.第一方面，本技术实施例提供了一种智能焊接法，应用于焊缝机器人，所述方法包括：
6.基于预设时间间隔采集焊接对象的目标图像，对所述焊接对象执行图像采集操作的图像采集装置固定于焊枪的第一指定位置；
7.每次获取目标图像后，将所述目标图像输入已训练的识别模型中，以根据所述识别模型的输出结果确定所述目标图像中的焊接终点，并控制所述焊枪从当前位置向所述焊接终点移动，且在移动过程中执行焊接操作。
8.本技术实施例基于预设时间间隔对焊接对象进行图像采集操作，针对每次采集的目标图像，需基于已训练的识别模型确定该目标图像中的焊接终点。本技术实施例中的图像采集装置固定于焊枪之上，且获取焊接终点后会控制焊枪从当前位置移动到该焊接终点所在位置，故每次获取的目标图像的图像内容存在不同。焊枪在移动过程中对焊接对象执行焊接操作，因而从焊枪的当前位置到焊接终点所在位置即为焊枪的焊接轨迹。由此，每次获取焊接终点并控制焊枪移动到该焊接终点所在位置的过程相当于重新确定焊接轨迹，以此实现焊接过程中对焊枪的焊接轨迹进行校正，提高焊接精度。
9.在一些可能的实施例中，所述基于已训练的识别模型确定所述目标图像中的焊接终点，包括：
10.将所述目标图像输入所述识别模型，获取所述识别模型的输出结果；其中，所述输出结果中包含所述目标图像对应的至少一个特征点；
11.根据预设规则从各特征点中确定所述焊接终点。
12.本技术实施例采用神经网络模型对目标图像进行识别，通过将目标图像输入到已
训练的识别模型中，根据模型的输出结果确定该目标图像包含的特征点，并采用预设规则从各特征点中选取焊接终点，以此提高焊接终点的求取速度以及精确度。
13.在一些可能的实施例中，所述根据预设规则从各特征点中确定所述焊接终点，包括：
14.获取所述目标图像中每一特征点在图像坐标系中与焊缝中心线水平方向平行的方向坐标；
15.将所述方向坐标最大值对应的特征点作为所述焊接终点。
16.本技术实施例中将每一特征点在图像坐标系中与焊缝中心线水平方向平行的方向坐标，并将该方向坐标最大值对应的特征点作为焊接终点。即，将平行于焊缝中心线的最高点作为焊接终点，提高焊接精度。
17.在一些可能的实施例中，所述方法还包括：
18.若所述输出结果中未含有特征点，则控制所述焊枪从当前位置移动到所述焊接终点后停止对所述焊接对象进行焊接。
19.本技术实施例在确定识别模型的输出结果中不含有特征点后，则表明焊接对象已不具备需要焊接的部分，此时控制焊枪从当前位置移动到最后获取的焊接终点后即可停止对焊接对象的焊接操作。
20.在一些可能的实施例中，所述焊枪的第二指定位置处安装有结构光发射装置，所述目标图像是根据以下方式确定的：
21.控制所述结构光发射装置向所述焊接对象发射线结构光；其中，所述线结构光接触所述焊接对象后产生的反射光线用于确定焊缝的截面轮廓；
22.控制所述图像采集装置对所述反射光线执行图像采集操作，生成所述目标图像。
23.本技术实施例为提高焊接精度，在焊枪处装载有结构光发射装置，在获取目标图像时，由结构光发射装置向焊接对象发射线结构光以获取焊缝的截面轮廓。再控制图像采集装置对截面轮廓进行图像采集，以提高焊接轨迹的准确度。
24.在一些可能的实施例中，所述控制所述焊枪从当前位置移动到所述焊接终点所在位置，包括：
25.识别所述目标图像中的焊接终点，并确定所述焊接终点在图像坐标系中的二维焊接终点坐标；
26.根据图像坐标系与相机坐标系间的第一转换关系确定所述焊接终点在相机坐标系中的三维焊接终点坐标，并根据图像坐标系与基坐标系间的第二转换关系确定所述三维焊接终点坐标在所述基坐标系中对应的焊接终点坐标；
27.控制所述焊枪从当前位置移动到所述焊接终点坐标处。
28.本技术实施例中的目标图像是由图像采集装置获取的，因而从该目标图像中获取的焊接终点位于图像坐标系中。此时需将图像坐标系转换为三维的相机坐标再由三维相机坐标转换为焊接机器人内置的基坐标，以使焊接机器人控制焊枪移动到该焊接终点在基坐标的对应位置。
29.在一些可能的实施例中，所述第一转换关系和所述第二转换关系是根据以下方式确定的：
30.基于预设时间间隔采集焊接对象的目标图像之前，采用相机标定算法确定所述图
像采集装置的相机坐标系，并采用线结构光平面标定算法确定所述相机坐标系与图像坐标系的第一转换关系；
31.采用手眼标定算法确定所述相机坐标系与所述焊接机器人的基坐标系间的第二转换关系。
32.本技术实施例通过对图像采集装置进行相机标定和线结构光平面标定以确定图像坐标系与相机坐标系的第一转换关系，再根据手眼标定算法确定相机坐标系与基坐标系间的第二转换关系。
33.在一些可能的实施例中，所述方法还包括：
34.获取目标图像后，若所述目标图像为首帧目标图像，则基于已训练的识别模型确定所述首帧目标图像中的焊接终点；
35.控制所述焊枪从预设初始位置移动到所述焊接终点所在位置，所述预设初始位置为所述焊接对象的焊接起始点。
36.本技术实施例焊枪的预设初始位置位于焊接对象的焊接起始点处，获取首帧目标图像后，需控制焊枪从预设初始位置移动到该首帧目标图像对应的焊接终点处。
37.在一些可能的实施例中，首次采集所述焊接对象的目标图像后，每次采集所述焊接对象的目标图像的发生时刻在所述焊枪的移动过程中，所述控制所述焊枪从当前位置向所述焊接终点移动，包括：
38.基于已训练的识别模型确定第一图像的焊接终点，并控制所述焊枪从当前位置向所述第一图像对应焊接终点采集移动；其中，所述第一图像为在所述焊枪移动过程中采集到的目标图像。
39.本技术实施例除首次获取目标图像之外，每次获取目标图像并获取该目标图像的焊接终点，进而控制焊枪从当前位置移动到该焊接终点的这一流程均发生在控制焊枪移动的过程中，由此可保证对焊接轨迹进行校正的过程中，不使焊枪发生停顿，提高焊接效率。
40.在一些可能的实施例中，所述基于预设时间间隔采集焊接对象的目标图像之前，所述方法还包括：
41.响应于焊接指令，控制图像采集装置采集所述焊接对象的首帧图像；
42.基于已训练的识别模型确定所述首帧图像中的焊接终点，并控制所述焊枪从预设初始位置移动到所述焊接终点所在位置，所述预设初始位置为所述焊接对象的焊接起始点。
43.本技术实施例预先将焊枪设置在焊接对象的焊接起始点位置，由此在接收到焊接指令后，即可控制图像采集装置采集焊接对象的首帧图像，并将焊枪由焊接起始点处移动到首帧图像的焊接终点处。
44.第二方面，本技术实施例提供了一种智能焊接装置，所述装置包括：
45.图像获取模块，被配置为执行基于预设时间间隔采集焊接对象的目标图像，对所述焊接对象执行图像采集操作的图像采集装置固定于焊枪的第一指定位置；
46.焊接模块，被配置为执行每次获取目标图像后，将所述目标图像输入已训练的识别模型中，以根据所述识别模型的输出结果确定所述目标图像中的焊接终点，并控制所述焊枪从当前位置向所述焊接终点移动，且在移动过程中执行焊接操作。
47.在一些可能的实施例中，执行所述基于已训练的识别模型确定所述目标图像中的
焊接终点，所述焊接模块被配置为：
48.将所述目标图像输入所述识别模型，获取所述识别模型的输出结果；其中，所述输出结果中包含所述目标图像对应的至少一个特征点；
49.根据预设规则从各特征点中确定所述焊接终点。
50.在一些可能的实施例中，执行所述根据预设规则从各特征点中确定所述焊接终点，所述焊接模块被配置为：
51.获取所述目标图像中每一特征点在图像坐标系中与焊缝中心线水平方向的方向坐标；
52.将所述方向坐标最大值对应的特征点作为所述焊接终点。
53.在一些可能的实施例中，所述焊接模块还被配置为：
54.若所述输出结果中未含有特征点，则控制所述焊枪从当前位置移动到所述焊接终点后停止对所述焊接对象进行焊接。
55.在一些可能的实施例中，所述焊枪的第二指定位置处安装有结构光发射装置，所述目标图像是根据以下方式确定的：
56.控制所述结构光发射装置向所述焊接对象发射线结构光；其中，所述线结构光接触所述焊接对象后产生的反射光线用于确定焊缝的截面轮廓；
57.控制所述图像采集装置对所述反射光线执行图像采集操作，生成所述目标图像。
58.在一些可能的实施例中，执行所述控制所述焊枪从当前位置移动到所述焊接终点所在位置，所述焊接模块被配置为：
59.识别所述目标图像中的焊接终点，并确定所述焊接终点在图像坐标系中的二维焊接终点坐标；
60.根据图像坐标系与相机坐标系间的第一转换关系确定所述焊接终点在相机坐标系中的三维焊接终点坐标，并根据图像坐标系与基坐标系间的第二转换关系确定所述三维焊接终点坐标在所述基坐标系中对应的焊接终点坐标；
61.控制所述焊枪从当前位置移动到所述焊接终点坐标处。
62.在一些可能的实施例中，所述第一转换关系和所述第二转换关系是根据以下方式确定的：
63.基于预设时间间隔采集焊接对象的目标图像之前，采用相机标定算法确定所述图像采集装置的相机坐标系，并采用线结构光平面标定算法确定所述相机坐标系与图像坐标系的第一转换关系；
64.采用手眼标定算法确定所述相机坐标系与所述焊接机器人的基坐标系间的第二转换关系。
65.在一些可能的实施例中，首次采集所述焊接对象的目标图像后，每次采集所述焊接对象的目标图像的发生时刻在所述焊枪的移动过程中，执行所述控制所述焊枪从当前位置向所述焊接终点移动，所述焊接模块被配置为：
66.基于已训练的识别模型确定第一图像的焊接终点，并控制所述焊枪从当前位置向所述第一图像对应焊接终点采集移动；其中，所述第一图像为在所述焊枪移动过程中采集到的目标图像。
67.在一些可能的实施例中，执行所述基于预设时间间隔采集焊接对象的目标图像之
前，所述图像获取模块还被配置为：
68.响应于焊接指令，控制图像采集装置采集所述焊接对象的首帧图像；
69.基于已训练的识别模型确定所述首帧图像中的焊接终点，并控制所述焊枪从预设初始位置移动到所述焊接终点所在位置，所述预设初始位置为所述焊接对象的焊接起始点。
70.第三方面，本技术实施例还提供了一种电子设备，包括：
71.处理器；
72.用于存储所述处理器可执行指令的存储器；
73.其中，所述处理器被配置为执行所述指令，以实现如本技术第一方面中提供的任一方法。
74.第四方面，本技术实施例还提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如本技术第一方面中提供的任一方法。
75.本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
76.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
77.图1为本技术实施例示出的焊缝变形示意图；
78.图2为本技术实施例示出的应用环境示意图；
79.图3为本技术实施例示出的一种智能焊接方法的整体流程图；
80.图4为本技术实施例示出的erfnet神经网络模型结构示意图；
81.图5为本技术实施例示出的焊缝特征点示意图；
82.图6为本技术实施例示出的焊接点示意图；
83.图7为本技术实施例示出的结构光发射装置位置校正示意图；
84.图8为本技术实施例示出的焊接轨迹校正示意图；
85.图9为本技术实施例示出的一种智能焊接装置900结构图；
86.图10为本技术实施例示出的电子设备示意图。
具体实施方式
87.下面将结合附图对本技术实施例中的技术方案进行清楚、详尽地描述。在本技术实施例的描述中，除非另有说明，“/”将表示或的意思，例如，a/b可以表示a或b；文本中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况，另外，在本技术实施例的描述中，“多个”是指两个或多于两个。
88.在本技术实施例的描述中，除非另有说明，术语“多个”是指两个或两个以上，其它量词与之类似应当理解，此处所描述的优选实施例仅用于说明和解释本技术，并不用于限定本技术，并且在不冲突的情况下，本技术的实施例及实施例中的特征可以相互组合。
89.为进一步说明本技术实施例提供的技术方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本技术实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本技术实施例提供的执行顺序。方法在实际的处理过程中或者控制设备执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行。
90.前文已提及，现有的焊接流程中，需在焊接前人工对焊缝进行示教以确定焊接机器人的焊接轨迹。具体如图1所示，例如需将板材a和板材b焊接在一起，相关技术中需在焊接前人为设置焊接轨迹。焊接的过程会产生大量高温，板材a和板材b在焊接过程中受热易导致焊缝形变。由于传统的焊接方式不具备在焊接过程中对焊接轨迹进行校正的能力，因而会在焊缝形变后仍会采用原定的焊接轨迹进行焊接，这会导致实际焊接结果与预想的焊接轨迹存在偏差。
91.为解决上述问题，本技术的发明构思为：基于预设时间间隔对焊接对象进行图像采集操作，针对每次采集的目标图像，需基于已训练的识别模型确定该目标图像中的焊接终点。本技术实施例中的图像采集装置固定于焊枪之上，且获取焊接终点后会控制焊枪从当前位置移动到该焊接终点所在位置，故每次获取的目标图像的图像内容存在不同。焊枪在移动过程中对焊接对象执行焊接操作，因而从焊枪的当前位置到焊接终点所在位置即为焊枪的焊接轨迹。由此，每次获取焊接终点并控制焊枪移动到该焊接终点所在位置的过程相当于重新确定焊接轨迹，以此实现焊接过程中对焊枪的焊接轨迹进行校正，提高焊接精度。
92.参见图2，为根据本技术一个实施例的应用环境的示意图。
93.如图2所示，该应用环境中例如可以包括焊接板材10、焊枪20、图像采集装置30、线结构光传感器40、服务器50以及焊接机器人60。其中，图像采集装置30可为如智能相机、工业相机等具备图像采集功能的电子设备。
94.对焊接板材10进行焊接时，预先将焊枪20的初始位置设置在焊接板材10 的焊缝起始点处。线结构光传感器向焊接板材10表面发射线结构光以反映出焊缝的截面轮廓。然后控制图像采集装置30对该截面轮廓进行图像采集，并将采集到的目标图像发送给服务器50。
95.服务器50中预置有预先训练的识别模型，该识别模型用于识别图像中的焊接点。服务器50在获取目标图像后，通过该识别模型确定目标图像对应的焊接点，然后将焊接点的位置坐标发送给焊接机器人60。焊接机器人60在接收到焊接点的位置坐标后，控制焊枪20从当前所在的初始位置移动到该焊接点的位置坐标处。焊枪20在移动过程中对焊接板材10执行焊接操作。
96.另需说明的，上述服务器50可为外置的服务器集群、独立服务器，也可为焊接机器人60中的内置服务器，本技术对此不作限定。
97.介绍了本技术实施例的应用场景后，为便于理解本技术的技术方案，下面以图3为
例对本技术实施例提供一种智能焊接方法进行详细说明，具体如图3所示，包括：
98.步骤301：基于预设时间间隔采集焊接对象的目标图像，对所述焊接对象执行图像采集操作的图像采集装置固定于焊枪的第一指定位置；
99.步骤302：每次获取目标图像后，将所述目标图像输入已训练的识别模型中，以根据所述识别模型的输出结果确定所述目标图像中的焊接终点，并控制所述焊枪从当前位置向所述焊接终点移动，且在移动过程中执行焊接操作。
100.需要说明的是，本技术实施例中焊枪在移动过程中对焊接对象执行焊接操作，上述步骤中每获取一张目标图像，并基于识别模型确定该目标图像对应的焊接终点后控制焊枪移动到该焊接终点所在位置的过程相当于重新确定一次焊接轨迹的过程。经过大量测试发现，识别模型确定目标图像中焊接终点的时间极短，因而上述预设时间间隔主要根据焊接对象的材质、焊接长度等实际焊接因素确定，以常见板材焊接为例，预设时间间隔可设置在3～5秒，本技术对此不作限定。
101.本技术实施例通过对erfnet神经网络模型进行训练，以使训练后的神经网络模型具备识别图像中焊接特征点的能力。选用erfnet神经网络模型的原因在于，该神经网络模型可以实现实时精准的逐像素语义分割，其模型架构能够在获取极高的分割精度的同时，保持高效率。即，在确定焊接特征点的准确性与高效性之间有着极好的平衡。
102.erfnet的模型结构参考segnet与enet的思想，采用了如图10所示的 encoder-decoder架构，整个模型包含23层，其中1-16层为encoder，17-23 层为decoder。encoder中的non-bottleneck-1d与downsampler结构实现了特征提取功能，具体如图4所示，non-bottleneck-1d结构将两个3
×
3的二维卷积拆分成两组3
×
1、1
×
3一维卷积，目的是在保证精度的前提下增加非线性化的层数，减少参数量与计算量，同时采用残差结构将输入特征图与输出特征图相融合，从而提升特征学习能力，消除梯度消失现象。downsampler结构实现了图像的下采样，输入特征图分别经过尺寸为2
×
2，步长为2的最大池化层和卷积核尺寸为3
×
3，步长为2的卷积层，并将两个输出特征图相结合作为图像降采样的结果输出，保证了在降维的同时保留特征信息。decoder的作用是将小尺寸的特征图恢复到原图的大小。与segnet、enet不同，decoder用反卷积代替最大池化实现特征图的上采样，在保证准确率的同时减少计算量。
103.采用已训练的识别模型确定所述目标图像中的焊接点时，需将目标图像输入到上述erfnet模型中，识别模型的输出结果中包含该目标图像的至少一个焊缝特征点。具体可如图5所示，图5中示出的输出结果中的每一白色圆点均为一个焊缝特征点，穿过白色圆点的白线即为焊缝中心线。由于焊缝中心线垂直于焊缝表面，且焊缝特征点位于焊缝之上，因而各焊缝特征点中与焊缝中心线水平方向平行的方向坐标越大，则表示该焊缝特征点在焊缝的水平位置越高。具体如图6所示，设定焊缝方向为图像坐标系中的x轴方向，则焊缝中心线的水平方向为图像坐标系中y轴方向。图6中示出的每一圆点即为一个焊缝特征点。各焊缝特征点中，y轴方向最大的焊缝特征点即为上述焊接点。通过上述流程能够准确找到相对于焊缝的水平位置最高的焊缝特征点，并将该焊缝特征点作为焊接点，以提高焊接精度。
104.本技术实施例在确定识别模型的输出结果中未含有焊接特征点时，则表示该目标图像中已不具备焊缝中心线，因而无法识别到焊接特征点。此时需控制焊枪从当前位置移动到最后一次得到的焊接终点后停止对焊接对象进行焊接即可。上述流程中，焊接对象间
会存在一小段未被焊接。考虑到实际对板材进行焊接时，多需预留一小段板材用于切割，以便于后续对焊接后的板材进行处理加工，因而该未被焊接的一小段可不进行处理。
105.本技术实施例焊枪的第二指定位置处安装有结构光发射装置，安装目的在于通过结构光发射装置向焊接对象发射线结构光，焊接对象对该线结构光进行反射，形成反射光线。该反射光线能够反映出焊缝的截面轮廓。由此，通过控制图像采集装置对该反射光线进行图像采集后，获取的目标图像中包含了焊缝的截面轮廓。进而可采用上述识别模型。通过对该目标图像中焊缝的界面轮廓进行特征识别，以确定焊枪的焊接终点。
106.在一些可能的实施例中，图像采集装置平行装配于靠近焊枪的一侧，结构光发射装置倾斜配置在远离焊枪的一侧并保证光条在图像采集装置视场范围内。这样的装配姿态可以保证采集到的目标图像不被过多的弧光淹没，如果图像采集装置是倾斜的姿态，那么采集到的目标图像就会因为强弧光而存在大量的过曝区域以至失去处理意义。
107.具体如图7所示，通过上述方式确定了焊枪、图像采集装置以及结构光发射装置的装配姿态后，还需要注意的是结构光发射装置发射出的焊缝激光条纹与焊枪发射的焊炬的中心之间的距离d。当距离d过小时，采集到的目标图像会出现电弧噪声污染激光条纹，这种目标图像不利于焊缝特征点的提取。而当 d过大时虽然噪声干扰变小但这样造成确定目标图像中焊缝特征点的时间增加，不利于在焊缝位置偏移时对焊缝轨迹进行校正。本技术实施例经过多次实验与算法验证将距离d设置为25mm，该取值既保证了特征提取的高鲁棒性，又能对焊缝偏移做出及时的响应。
108.本技术实施例在控制焊枪从当前位置移动到焊接终点所在位置时，首先识别目标图像中的焊接终点，并确定焊接终点在图像坐标系中的二维焊接终点坐标。应理解的，图像采集装置在的目标图像为二维图像，因而处于图像坐标系中。而图像坐标系不同与相关技术中的焊接机器人内置的基坐标系。在获取焊接终点在图像坐标系中的位置坐标后，需将图像坐标系转换为三维的相机坐标系，再通过三维的相机坐标系转换为基坐标系，以此得到焊接终点在基坐标系中的位置坐标。
109.实施时，先根据图像坐标系与相机坐标系间的第一转换关系确定焊接终点在相机坐标系中的三维焊接终点坐标，然后根据图像坐标系与基坐标系间的第二转换关系确定三维焊接终点坐标在基坐标系中对应的焊接终点坐标。最后控制焊枪从当前位置移动到焊接终点坐标处。
110.另需说明的是，用于确定坐标关系的相关标定算法需在预处理阶段完成，因而在执行上述步骤301之前，需采用相机标定算法确定图像采集装置的相机坐标系，并采用线结构光平面标定算法确定相机坐标系与图像坐标系的第一转换关系。具体的，通过对图像采集装置的相机内盘进行标定，以确定该图像采集装置的相机坐标系。通过对图像采集装置的相机外盘进行标定，以确定图像坐标系与相机坐标系间的第一转换关系。在确定第一转换关系后，采用手眼标定算法即可确定相机坐标系与焊接机器人的基坐标系间的第二转换关系。其中，上述标定算法均为成熟的现有算法，本技术对此不作详细介绍。
111.在一些可能的实施例中，可预先人工确定焊接对象的焊接起始点，然后将焊枪的预设起始位置设置在该焊接起始点处。这样在接收到用户下发的焊接指令后，即可控制图像采集装置采集该焊接对象的首帧图像，并基于已训练的识别模型确定该首帧图像中的焊接终点。进一步的，控制焊枪从预设初始位置移动到焊接终点所在位置。应理解的是，上述
流程即为首次确定焊接轨迹，并控制焊枪沿焊接轨迹进行焊接的过程，焊接轨迹即为焊枪从预设初始位置到焊接终点的移动轨迹。
112.此外，本技术实施例在对预设时间间隔的选取上，应保证除首次采集目标图像(即首帧图像)之外，图像采集装置每次对焊接对象进行目标图像采集的时刻均应处于焊枪的移动过程中。这样能够保证焊枪在移动过程中即完成了对焊接轨迹的校正，不会出现焊枪停顿的情况，提高焊接效率。
113.实施时，当获取首帧图像对应的焊接终点1后，控制焊枪从预设初始位置向焊接终点1移动。在移动过程中需获控制图像采集装置获取第二帧目标图像，并完成下述步骤a～d：a，基于识别模型确定该目标图像的焊接终点2；b，确定该焊接终点在图像坐标系中的位置坐标；c，对焊接终点2在图像坐标系中的位置坐标进行转换，以得到焊接终点2在基坐标系中的位置坐标；d，控制焊枪从当前位置向焊接终点2在基坐标系中的位置坐标处移动。具体如图8所示，其中，箭头1表征在获取焊接终点1后，控制焊枪由预设起始位置向焊接终点1处移动。在移动过程中确定了焊接终点2在基坐标系中的位置坐标、此时，控制焊枪不再向焊接终点1移动，而是由焊枪当前所在位置向焊接终点 2移动(即箭头2)。相应的，在控制焊枪向焊接终点2移动的过程中需获取第三帧目标图像，并重复执行步骤a～d，直至获取到的目标图像中不具备焊接终点。此时需在控制焊枪移动到最后一次获取的焊接终点n处后，结束焊接操作。
114.通过上述流程，本技术实施例在通过每次获取焊接点并控制焊枪移动到该焊接点所在位置的过程以重新确定焊枪的焊接轨迹，实现焊接过程中对焊枪的焊接轨迹进行校正，提高焊接精度。
115.基于相同的发明构思，本技术实施例提供了一种智能焊接装置900，具体如图9所示，包括：
116.图像获取模块901，被配置为执行基于预设时间间隔采集焊接对象的目标图像，对所述焊接对象执行图像采集操作的图像采集装置固定于焊枪的第一指定位置；
117.焊接模块902，被配置为执行每次获取目标图像后，将所述目标图像输入已训练的识别模型中，以根据所述识别模型的输出结果确定所述目标图像中的焊接终点，并控制所述焊枪从当前位置向所述焊接终点移动，且在移动过程中执行焊接操作。
118.在一些可能的实施例中，执行所述基于已训练的识别模型确定所述目标图像中的焊接终点，所述焊接模块902被配置为：
119.将所述目标图像输入所述识别模型，获取所述识别模型的输出结果；其中，所述输出结果中包含所述目标图像对应的至少一个特征点；
120.根据预设规则从各特征点中确定所述焊接终点。
121.在一些可能的实施例中，执行所述根据预设规则从各特征点中确定所述焊接终点，所述焊接模块902被配置为：
122.获取所述目标图像中每一特征点在图像坐标系中与焊缝中心线水平方向的方向坐标；
123.将所述方向坐标最大值对应的特征点作为所述焊接终点。
124.在一些可能的实施例中，所述焊接模块902还被配置为：
125.若所述输出结果中未含有特征点，则控制所述焊枪从当前位置移动到所述焊接终
点后停止对所述焊接对象进行焊接。
126.在一些可能的实施例中，所述焊枪的第二指定位置处安装有结构光发射装置，所述目标图像是根据以下方式确定的：
127.控制所述结构光发射装置向所述焊接对象发射线结构光，根据所述线结构光确定焊缝的截面轮廓；
128.控制所述图像采集装置对所述截面轮廓执行图像采集操作，生成所述目标图像。
129.在一些可能的实施例中，执行所述控制所述焊枪从当前位置移动到所述焊接终点所在位置，所述焊接模块902被配置为：
130.识别所述目标图像中的焊接终点，并确定所述焊接终点在图像坐标系中的二维焊接终点坐标；
131.根据图像坐标系与相机坐标系间的第一转换关系确定所述焊接终点在相机坐标系中的三维焊接终点坐标，并根据图像坐标系与基坐标系间的第二转换关系确定所述三维焊接终点坐标在所述基坐标系中对应的焊接终点坐标；
132.控制所述焊枪从当前位置移动到所述焊接终点坐标处。
133.在一些可能的实施例中，所述第一转换关系和所述第二转换关系是根据以下方式确定的：
134.基于预设时间间隔采集焊接对象的目标图像之前，采用相机标定算法确定所述图像采集装置的相机坐标系，并采用线结构光平面标定算法确定所述相机坐标系与图像坐标系的第一转换关系；
135.采用手眼标定算法确定所述相机坐标系与所述焊接机器人的基坐标系间的第二转换关系。
136.在一些可能的实施例中，首次采集所述焊接对象的目标图像后，每次采集所述焊接对象的目标图像的发生时刻在所述焊枪的移动过程中，执行所述控制所述焊枪从当前位置向所述焊接终点移动，所述焊接模块902被配置为：
137.基于已训练的识别模型确定第一图像的焊接终点，并控制所述焊枪从当前位置向所述第一图像对应焊接终点采集移动；其中，所述第一图像为在所述焊枪移动过程中采集到的目标图像。
138.在一些可能的实施例中，执行所述基于预设时间间隔采集焊接对象的目标图像之前，所述图像获取模块901还被配置为：
139.响应于焊接指令，控制图像采集装置采集所述焊接对象的首帧图像；
140.基于已训练的识别模型确定所述首帧图像中的焊接终点，并控制所述焊枪从预设初始位置移动到所述焊接终点所在位置，所述预设初始位置为所述焊接对象的焊接起始点。
141.下面参照图10来描述根据本技术的这种实施方式的电子设备130。图10显示的电子设备130仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
142.如图10所示，电子设备130以通用电子设备的形式表现。电子设备130 的组件可以包括但不限于：上述至少一个处理器131、上述至少一个存储器132、连接不同系统组件(包括存储器132和处理器131)的总线133。
143.总线133表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、
外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
144.存储器132可以包括易失性存储器形式的可读介质，例如随机存取存储器(ram)1321和/或高速缓存存储器1322，还可以进一步包括只读存储器(rom) 1323。
145.存储器132还可以包括具有一组(至少一个)程序模块1324的程序/实用工具1325，这样的程序模块1324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
146.电子设备130也可以与一个或多个外部设备134(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与电子设备130交互的设备通信，和/ 或与使得该电子设备130能与一个或多个其它电子设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口135进行。并且，电子设备130还可以通过网络适配器136与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器136通过总线133与用于电子设备130的其它模块通信。应当理解，尽管图中未示出，可以结合电子设备130使用其它硬件和 /或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
147.在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器132，上述指令可由装置900的处理器131执行以完成上述方法。可选地，计算机可读存储介质可以是rom、随机存取存储器(ram)、 cd-rom、磁带、软盘和光数据存储设备等。
148.在示例性实施例中，还提供一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器131执行时实现如本技术提供的智能焊接方法中的任一方法。
149.在示例性实施例中，本技术提供的一种智能焊接方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本技术各种示例性实施方式的一种智能焊接方法中的步骤。
150.程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
151.本技术的实施方式的用于智能焊接的程序产品可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在电子设备上运行。然而，本技术的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
152.可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者
与其结合使用的程序。
153.可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、rf等等，或者上述的任意合适的组合。
154.可以以一种或多种程序设计语言的任意组合来编写用于执行本技术操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c“语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务端上执行。在涉及远程电子设备的情形中，远程电子设备可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户电子设备，或者，可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。
155.应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本技术的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
156.此外，尽管在附图中以特定顺序描述了本技术方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
157.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 cd-rom、光学存储器等)上实施的计算机程序产品的形式。
158.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和 /或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程图像缩放设备的处理器以产生一个机器，使得通过计算机或其他可编程图像缩放设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
159.这些计算机程序指令也可存储在能引导计算机或其他可编程图像缩放设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
160.这些计算机程序指令也可装载到计算机或其他可编程图像缩放设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
161.尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
162.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。