自动行进管道焊接和切割一体式加工设备及其控制方法与流程

1.本发明涉及工程管道的智能加工领域，且更为具体地，涉及一种自动行进管道焊接和切割一体式加工设备及其控制方法。


背景技术：

2.管道坡口机是管道或平板在焊接前端面进行倒角坡口的专用工具，解决了火焰切割、磨光机磨削等操作工艺的角度不规范、坡面粗糙、工作噪音大等缺点，具有操作简便，角度标准，表面光滑等优点。
3.在利用管道切割机焊接坡口一体机进行焊接时，需控制焊枪升降组件和摇摆器组件来控制焊枪的摇摆角度以及焊枪和工件之间的距离。然而，在实际工况中，由于一体机可能在表面不平的的管子工作，由于管子表面状态不佳，导致焊枪升降组件和摇摆器组件的控制滞后，进而使得其焊接效果不佳。因此，期望一种优化的管道切割机焊接坡口一体机来对焊枪升降组件和摇摆器组件进行准确地控制以提升焊接的效果。


技术实现要素：

4.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种自动行进管道焊接和切割一体式加工设备及其控制方法，其通过利用人工智能技术的深度神经网络模型来基于当前焊接区域的情况与未焊接的管道面的情况来自适应地调整焊枪的摇摆角度和焊枪与工件之间的距离，以使得所控制的参数能够适配于管道面的表面特性从而提高焊接质量。
5.根据本技术的一个方面，提供了一种自动行进管道焊接和切割一体式加工设备，其包括：加工状态采集模块，用于获取由摄像头采集的具有焊接区域的管道面的加工图像；加工区域编码模块，用于将所述管道面的加工图像通过多层卷积层以得到卷积特征图；感兴趣区域检测模块，用于将所述卷积特征图通过作为焊接区域检测网络的第一卷积神经网络模型以从所述卷积特征图得到焊接感兴趣区域；特征分布校正模块，用于对所述焊接感兴趣区域进行基于所述卷积特征图的全局的特征值校正以得到校正后焊接感兴趣区域；控制参数模块，用于获取预定时间段内的包含当前时间点在内的多个预定时间点的控制参数，所述控制参数包括焊枪与工件之间的距离以及焊枪的摇摆角度；控制参数结构化模块，用于将所述包含当前时间点在内的多个预定时间点的控制参数中的距离和摇摆角度分别构造为第一输入向量和第二输入向量；控制参数关联模块，用于计算所述第一输入向量和所述第二输入向量之间的控制参数关联矩阵；控制参数关联编码模块，用于将所述控制参数关联矩阵通过第二卷积神经网络以得到控制参数特征图；特征融合模块，用于融合所述控制参数特征图和所述校正后焊接感兴趣区域以得到解码特征图；以及参数控制模块，用于将所述解码特征图通过解码器进行解码回归以得到第一解码值和第二解码值，其中，所述第一解码值为下一时间点的焊枪与工件之间的距离，所述第二解码值为下一时间点的焊枪的摇摆角度。
6.在上述自动行进管道焊接和切割一体式加工设备中，所述特征分布校正模块，包括：布局特征表示单元，用于计算所述焊接感兴趣区域中各个位置的特征值与一的加和值的对数函数值作为所述焊接感兴趣区域中各个位置的局部特征表示；全局特征表示单元，用于计算所述卷积特征图中所有位置的特征值的求和值与一的加和值的对数函数值作为卷积特征图的全局特征表示；校正单元，用于以所述焊接感兴趣区域中各个位置的局部特征表示分别除以所述卷积特征图的全局特征表示作为所述焊接感兴趣区域中各个位置的校正特征值以得到所述校正后焊接感兴趣区域。
7.在上述自动行进管道焊接和切割一体式加工设备中，所述控制参数关联模块，包括：关联单元，用于计算所述第一输入向量与所述第二输入向量的转置向量之间的乘积以得到初始关联矩阵；约束量计算单元，用于计算所述初始关联矩阵的frobenius范数；以及，约束单元，用于以所述初始关联矩阵中各个位置的特征值分别除以所述初始关联矩阵的frobenius范数以得到所述控制参数关联矩阵。
8.在上述自动行进管道焊接和切割一体式加工设备中，所述控制参数关联编码模块，进一步用于使用所述第二卷积神经网络的各层在层的正向传递中对输入数据分别进行卷积处理、池化处理和非线性激活处理以由所述第二卷积神经网络的最后一层输出所述控制参数特征图，其中，所述第二卷积神经网络的第一层的输入为所述控制参数关联矩阵。
9.在上述自动行进管道焊接和切割一体式加工设备中，所述特征融合模块，包括：尺寸调整单元，用于通过线性变换将所述控制参数特征图调整至与所述校正后焊接感兴趣区域具有相同尺寸；以及，按位置加权单元，用于以如下公式融合所述控制参数特征图和所述校正后焊接感兴趣区域以得到所述解码特征图；其中，所述公式为：
10.f＝αf1+βf211.其中，f为所述解码特征图，f1为所述控制参数特征图，f2为所述校正后焊接感兴趣区域，“+”表示所述控制参数特征图和所述校正后焊接感兴趣区域相对应位置处的元素相加，α和β为用于控制所述控制参数特征图和所述校正后焊接感兴趣区域之间的平衡的加权参数。
12.在上述自动行进管道焊接和切割一体式加工设备中，所述参数控制模块，进一步用于：使用所述解码器以如下公式对所述解码特征图进行解码回归以获得所述第一解码值和所述第二解码值；其中，所述公式为：其中x是回归矩阵，y是解码值，w是权重矩阵，表示矩阵乘。
13.在上述自动行进管道焊接和切割一体式加工设备中，所述第一卷积神经网络模型为centernet、extremenet或reppoints。
14.根据本技术的另一方面，一种自动行进管道焊接和切割一体式加工设备的控制方法，其包括：获取由摄像头采集的具有焊接区域的管道面的加工图像；将所述管道面的加工图像通过多层卷积层以得到卷积特征图；将所述卷积特征图通过作为焊接区域检测网络的第一卷积神经网络模型以从所述卷积特征图得到焊接感兴趣区域；对所述焊接感兴趣区域进行基于所述卷积特征图的全局的特征值校正以得到校正后焊接感兴趣区域；获取预定时间段内的包含当前时间点在内的多个预定时间点的控制参数，所述控制参数包括焊枪与工件之间的距离以及焊枪的摇摆角度；将所述包含当前时间点在内的多个预定时间点的控制参数中的距离和摇摆角度分别构造为第一输入向量和第二输入向量；计算所述第一输入向
量和所述第二输入向量之间的控制参数关联矩阵；将所述控制参数关联矩阵通过第二卷积神经网络以得到控制参数特征图；融合所述控制参数特征图和所述校正后焊接感兴趣区域以得到解码特征图；以及将所述解码特征图通过解码器进行解码回归以得到第一解码值和第二解码值，其中，所述第一解码值为下一时间点的焊枪与工件之间的距离，所述第二解码值为下一时间点的焊枪的摇摆角度。
15.在上述自动行进管道焊接和切割一体式加工设备的控制方法中，对所述焊接感兴趣区域进行基于所述卷积特征图的全局的特征值校正以得到校正后焊接感兴趣区域，包括：计算所述焊接感兴趣区域中各个位置的特征值与一的加和值的对数函数值作为所述焊接感兴趣区域中各个位置的局部特征表示；计算所述卷积特征图中所有位置的特征值的求和值与一的加和值的对数函数值作为卷积特征图的全局特征表示；以所述焊接感兴趣区域中各个位置的局部特征表示分别除以所述卷积特征图的全局特征表示作为所述焊接感兴趣区域中各个位置的校正特征值以得到所述校正后焊接感兴趣区域。
16.在上述自动行进管道焊接和切割一体式加工设备的控制方法中，计算所述第一输入向量和所述第二输入向量之间的控制参数关联矩阵，包括：计算所述第一输入向量与所述第二输入向量的转置向量之间的乘积以得到初始关联矩阵；计算所述初始关联矩阵的frobenius范数；以及，以所述初始关联矩阵中各个位置的特征值分别除以所述初始关联矩阵的frobenius范数以得到所述控制参数关联矩阵。
17.在上述自动行进管道焊接和切割一体式加工设备的控制方法中，将所述控制参数关联矩阵通过第二卷积神经网络以得到控制参数特征图，包括：使用所述第二卷积神经网络的各层在层的正向传递中对输入数据分别进行卷积处理、池化处理和非线性激活处理以由所述第二卷积神经网络的最后一层输出所述控制参数特征图，其中，所述第二卷积神经网络的第一层的输入为所述控制参数关联矩阵。
18.在上述自动行进管道焊接和切割一体式加工设备的控制方法中，融合所述控制参数特征图和所述校正后焊接感兴趣区域以得到解码特征图，包括：通过线性变换将所述控制参数特征图调整至与所述校正后焊接感兴趣区域具有相同尺寸；以及，以如下公式融合所述控制参数特征图和所述校正后焊接感兴趣区域以得到所述解码特征图；其中，所述公式为：
19.f＝αf1+βf220.其中，f为所述解码特征图，f1为所述控制参数特征图，f2为所述校正后焊接感兴趣区域，“+”表示所述控制参数特征图和所述校正后焊接感兴趣区域相对应位置处的元素相加，α和β为用于控制所述控制参数特征图和所述校正后焊接感兴趣区域之间的平衡的加权参数。
21.在上述自动行进管道焊接和切割一体式加工设备的控制方法中，将所述解码特征图通过解码器进行解码回归以得到第一解码值和第二解码值，包括：使用所述解码器以如下公式对所述解码特征图进行解码回归以获得所述第一解码值和所述第二解码值；其中，所述公式为：其中x是回归矩阵，y是解码值，w是权重矩阵，表示矩阵乘。
22.在上述自动行进管道焊接和切割一体式加工设备的控制方法中，所述第一卷积神经网络模型为centernet、extremenet或reppoints。
23.与现有技术相比，本技术提供的自动行进管道焊接和切割一体式加工设备及其控
制方法，其通过利用人工智能技术的深度神经网络模型来基于当前焊接区域的情况与未焊接的管道面的情况来自适应地调整焊枪的摇摆角度和焊枪与工件之间的距离，以使得所控制的参数能够适配于管道面的表面特性从而提高焊接质量。
附图说明
24.通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
25.图1a为根据本技术实施例的自动行进管道焊接和切割一体式加工设备的结构示意图之一。
26.图1b为根据本技术实施例的自动行进管道焊接和切割一体式加工设备的结构示意图之一。
27.图1c为根据本技术实施例的自动行进管道焊接和切割一体式加工设备的结构示意图之一。
28.图2为根据本技术实施例的自动行进管道焊接和切割一体式加工设备的应用场景图。
29.图3为根据本技术实施例的自动行进管道焊接和切割一体式加工设备的框图。
30.图4为根据本技术实施例的自动行进管道焊接和切割一体式加工设备中特征分布校正模块的框图。
31.图5为根据本技术实施例的自动行进管道焊接和切割一体式加工设备中控制参数关联模块的框图。
32.图6为根据本技术实施例的自动行进管道焊接和切割一体式加工设备的控制方法的流程图。
33.图7为根据本技术实施例的自动行进管道焊接和切割一体式加工设备的控制方法的架构示意图。
具体实施方式
34.下面，将参考附图详细地描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
35.场景概述
36.如前所述，管道坡口机是管道或平板在焊接前端面进行倒角坡口的专用工具，解决了火焰切割、磨光机磨削等操作工艺的角度不规范、坡面粗糙、工作噪音大等缺点，具有操作简便，角度标准，表面光滑等优点。
37.在利用管道切割机焊接坡口一体机进行焊接时，需控制焊枪升降组件和摇摆器组件来控制焊枪的摇摆角度以及焊枪和工件之间的距离。然而，在实际工况中，由于一体机可能在表面不平的的管子工作，由于管子表面状态不佳，导致焊枪升降组件和摇摆器组件的控制滞后，进而使得其焊接效果不佳。因此，期望一种优化的管道切割机焊接坡口一体机来
对焊枪升降组件和摇摆器组件进行准确地控制以提升焊接的效果。
38.相应地，在本技术的技术方案中，如图1a、1b和1c三个结构示意图所示，自动行进管道焊接和切割一体式加工设备，包括：气路总成1、控制箱组件2、侧壁夹紧扳手3、主机组件4、钢带锁紧组件5、钢带松/紧手柄6、角度调节螺丝7、滚轮槽8、割炬升降组件9、割炬总成10、钢管11；横移组件12、电池组件13、活动侧壁14、控制箱组件15、焊枪升降组件16、摇摆器组件17，以及，焊枪夹紧组件18。
39.在自动行进管道焊接和切割一体式加工设备进行相应的切割与焊接作业之前，需要安装相应地的组件器件，具体地，首先上提“钢带松/紧手柄”快速安装钢带组件，以提高工作效率，钢带组件安装到合适的工位后，反向操作锁紧钢带。接着，上抬“侧臂夹紧扳手”把小车放置在钢带上，使“滚轮槽i”与钢带啮合，反向操作“侧臂夹紧扳手”把小车固定到钢带上。然后，在把小车固定到钢带时，发现“滚轮”与钢带不能正角啮合时，用“5mm内六角扳手”松开“角度调节螺钉”，调整侧臂到合适的角度。再反各锁紧螺钉。
40.其中，割炬升降组件：用于控制割嘴与工件的距离。横移组件：用于调节割炬与工件的横向距离。电池组件：用于为小车的工作提供动力。控制箱组件：用于控制小车的工作速度与方向。焊枪升降组件：用于控制焊件与工件的距离。摇摆器组件：用于控制焊枪的摇摆角度。
41.特别地，在所述自动行进管道焊接和切割一体式加工设备的作业过程中，由于一体机可能在表面不平的的管子工作，由于管子表面状态不佳，导致焊枪升降组件和摇摆器组件的控制滞后，进而使得其焊接效果不佳。因此，期望一种优化的管道切割机焊接坡口一体机来对焊枪升降组件和摇摆器组件进行准确地控制以提升焊接的效果。
42.因此，本技术的发明人期望基于当前焊接区域的情况与未焊接的管道面的情况来自适应地调整焊枪的摇摆角度和焊枪与工件之间的距离以使得所控制的参数能够适配于管道面的表面特性以提高焊接质量。具体地，考虑到当前焊接区域的情况和未焊接的管道面情况可以使用焊接区域的管道面的加工图像特征来表示，并且利用在局部隐含关联特征提取方面具有优异表现的卷积神经网络模型来对其进行深层次的特征挖掘，再通过解码回归得到应调整的参数值，来有效准确地提高焊接的质量。
43.具体地，在本技术的技术方案中，首先通过摄像头采集具有焊接区域的管道面的加工图像。然后，将所述管道面的加工图像通过多层卷积层以提取出所述管道面的加工图像中的局部高维特征信息，从而得到卷积特征图。
44.进一步地，应可以理解，由于在所述管道面的加工图像中，应该更加关注于焊接区域以及未焊接与焊接的连接面区域特征，因此，再将所述卷积特征图通过作为焊接区域检测网络的第一卷积神经网络模型中进行特征提取，以在特征的深层挖掘中更聚焦于焊接的区域隐含特征，从而从所述卷积特征图得到焊接感兴趣区域。
45.特别地，这里，所述第一卷积神经网络模型为centernet、extremenet或reppoints。应可以理解，基于深度学习的目标检测方法依据网络中是否使用锚窗将网络分为基于锚窗(anchor-based)与无锚窗(anchor-free)两大类。基于锚窗的方法如fast r-cnn、faster r-cnn、retinanet等，基于无锚窗的方法如centernet、extremenet、reppoints等。其中无锚窗的方法解决了锚窗所带来的难以识别尺度变化大的目标、训练过程中正负样本不平衡以及对内存的高额占用等缺点，是当前的主流发展方向。
46.在无锚窗的方法中又细分为基于中心点与基于关键点两大类。基于中心点的方法如yolov1、fcos、centernet等，直接检测目标的中心点，然后回归出目标的边界信息。基于关键点的方法如cornernet、extremenet、reppoints等，通过预测出目标的关键点获取边界框。基于关键点的方法在检测精度上通常略高于基于中心点的方法，但在计算量上有较大消耗。
47.应可以理解，在通过一体式加工设备进行焊接控制时，如果能够结合未焊接区域的图像信息有利于提高对焊接控制的精准度。也就是，通过基于所述卷积特征图的全局(即，所述待加工管道面的全局图像信息，包含焊接区域和未焊接区域)对所述焊接感兴趣区域进行特征分布校正以将所述待加工管道面的未焊接区域的信息融合到焊接区域中，以使得后续的焊接控制具有一定的前瞻性和预判性，以提高焊接质量。
48.因此，进一步对所述焊接感兴趣区域进行基于所述卷积特征图的全局的特征值校正以得到校正后焊接感兴趣区域，即：
[0049][0050]
其中，表示所述焊接感兴趣区域的各个位置的特征值，表示所述校正后焊接感兴趣区域的各个位置的特征值，表示所述卷积特征图的各个位置的特征值的加和。
[0051]
考虑到若想基于当前焊接区域的情况与未焊接的管道面的情况来自适应地调整焊枪的摇摆角度和焊枪与工件之间的距离以使得所控制的参数能够适配于管道面的表面特性以提高焊接质量，还需要进一步获取预定时间段内的包含当前时间点在内的多个预定时间点的控制参数，所述控制参数包括焊枪与工件之间的距离以及焊枪的摇摆角度。然后，将所述包含当前时间点在内的多个预定时间点的控制参数中的距离和摇摆角度分别构造为第一输入向量和第二输入向量，以便后续对其进行特征关联性挖掘。
[0052]
应可以理解，在计算所述第一输入向量与所述第二输入向量的转置之间的乘积以得到控制参数关联矩时，由于第一输入向量和第二输入向量分别对应于距离和角度的时序关联特征，在将其关联得到参数关联矩阵时，可能存在参数关联矩阵由于第一输入向量和第二输入向量的尺度差异而导致概率分布偏移的问题。
[0053]
因此，对第一输入向量v1和第二输入向量v2进行基于尺度迁移确定性的特征向量关联，表示为：
[0054][0055]
其中v1表示所述第一输入向量，v2表示所述第二输入向量，v1和v2均为列向量的形式，且||
·
||f表示矩阵的frobenius范数，exp(
·
)表示矩阵的指数运算，所述矩阵的指数运算表示计算以矩阵中各个位置的特征值为幂的自然指数函数值。
[0056]
这样，该基于尺度迁移确定性的特征向量关联对于特征向量的基于关联特征的相对位置嵌入进行低秩约束，从而保留特征向量所表达的高维特征在关联时的尺度迁移下对
于关联特征的长程依赖(long-range dependent)关系，这样，就可以在一定程度上参数关联矩阵与第一输入向量和第二输入向量的概率分布一致性。
[0057]
这样，就可以得到所述控制参数关联矩阵，然后，将所述控制参数关联矩阵通过第二卷积神经网络中进行处理，以提取出所述控制参数的高维关联隐含特征信息，从而得到控制参数特征图。
[0058]
进一步地，在通过线性变换将所述控制参数特征图调整至与所述校正后焊接感兴趣区域具有相同尺寸后，就可以融合所述控制参数特征图和所述校正后焊接感兴趣区域以得到解码特征图。接着，将所述解码特征图通过解码器以解码回归得到用于表示下一时间点的焊枪与工件之间的距离的第一解码值以及用于表示下一时间点的焊枪的摇摆角度的第二解码值。
[0059]
基于此，本技术提出了一种自动行进管道焊接和切割一体式加工设备，其包括：加工状态采集模块，用于获取由摄像头采集的具有焊接区域的管道面的加工图像；加工区域编码模块，用于将所述管道面的加工图像通过多层卷积层以得到卷积特征图；感兴趣区域检测模块，用于将所述卷积特征图通过作为焊接区域检测网络的第一卷积神经网络模型以从所述卷积特征图得到焊接感兴趣区域；特征分布校正模块，用于对所述焊接感兴趣区域进行基于所述卷积特征图的全局的特征值校正以得到校正后焊接感兴趣区域；控制参数模块，用于获取预定时间段内的包含当前时间点在内的多个预定时间点的控制参数，所述控制参数包括焊枪与工件之间的距离以及焊枪的摇摆角度；控制参数结构化模块，用于将所述包含当前时间点在内的多个预定时间点的控制参数中的距离和摇摆角度分别构造为第一输入向量和第二输入向量；控制参数关联模块，用于计算所述第一输入向量和所述第二输入向量之间的控制参数关联矩阵；控制参数关联编码模块，用于将所述控制参数关联矩阵通过第二卷积神经网络以得到控制参数特征图；特征融合模块，用于融合所述控制参数特征图和所述校正后焊接感兴趣区域以得到解码特征图；以及，参数控制模块，用于将所述解码特征图通过解码器进行解码回归以得到第一解码值和第二解码值，其中，所述第一解码值为下一时间点的焊枪与工件之间的距离，所述第二解码值为下一时间点的焊枪的摇摆角度。
[0060]
图2图示了根据本技术实施例的自动行进管道焊接和切割一体式加工设备的应用场景图。如图2所示，在该应用场景中，首先，通过部署于自动行进管道焊接和切割一体式加工设备(例如，如图2中所示意的p)的摄像头(例如，如图2中所示意的c)采集具有焊接区域的管道(例如，如图2中所示意的n)面的加工图像，以及通过传感器(例如，如图2中所示意的距离传感器t1和角度传感器t2)获取预定时间段内的包含当前时间点在内的多个预定时间点的控制参数，所述控制参数包括焊枪与工件之间的距离以及焊枪的摇摆角度。然后，将获得的所述具有焊接区域的管道面的加工图像以及所述多个预定时间点的控制参数输入至部署有自动行进管道焊接和切割一体式加工设备算法的服务器中(例如，如图2中所示意的云服务器s)，其中，所述服务器能够以自动行进管道焊接和切割一体式加工设备算法对所述具有焊接区域的管道面的加工图像以及所述多个预定时间点的控制参数进行处理，以生成用于表示下一时间点的焊枪与工件之间的距离的第一解码值和用于表示下一时间点的焊枪的摇摆角度的第二解码值。
[0061]
在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限
制性实施例。
[0062]
示例性系统
[0063]
图3图示了根据本技术实施例的自动行进管道焊接和切割一体式加工设备的框图。如图3所示，根据本技术实施例的自动行进管道焊接和切割一体式加工设备200，包括：加工状态采集模块210，用于获取由摄像头采集的具有焊接区域的管道面的加工图像；加工区域编码模块220，用于将所述管道面的加工图像通过多层卷积层以得到卷积特征图；感兴趣区域检测模块230，用于将所述卷积特征图通过作为焊接区域检测网络的第一卷积神经网络模型以从所述卷积特征图得到焊接感兴趣区域；特征分布校正模块240，用于对所述焊接感兴趣区域进行基于所述卷积特征图的全局的特征值校正以得到校正后焊接感兴趣区域；控制参数模块250，用于获取预定时间段内的包含当前时间点在内的多个预定时间点的控制参数，所述控制参数包括焊枪与工件之间的距离以及焊枪的摇摆角度；控制参数结构化模块260，用于将所述包含当前时间点在内的多个预定时间点的控制参数中的距离和摇摆角度分别构造为第一输入向量和第二输入向量；控制参数关联模块270，用于计算所述第一输入向量和所述第二输入向量之间的控制参数关联矩阵；控制参数关联编码模块280，用于将所述控制参数关联矩阵通过第二卷积神经网络以得到控制参数特征图；特征融合模块290，用于融合所述控制参数特征图和所述校正后焊接感兴趣区域以得到解码特征图；以及，参数控制模块300，用于将所述解码特征图通过解码器进行解码回归以得到第一解码值和第二解码值，其中，所述第一解码值为下一时间点的焊枪与工件之间的距离，所述第二解码值为下一时间点的焊枪的摇摆角度。
[0064]
具体地，在本技术实施例中，所述加工状态采集模块210和所述加工区域编码模块220，用于获取由摄像头采集的具有焊接区域的管道面的加工图像，并将所述管道面的加工图像通过多层卷积层以得到卷积特征图。如前所述，在本技术的技术方案中，期望基于当前焊接区域的情况与未焊接的管道面的情况来自适应地调整焊枪的摇摆角度和焊枪与工件之间的距离以使得所控制的参数能够适配于管道面的表面特性以提高焊接质量。相应地，在本技术的技术方案中，考虑到当前焊接区域的情况和未焊接的管道面情况可以使用焊接区域的管道面的加工图像特征来表示，并且利用在局部隐含关联特征提取方面具有优异表现的卷积神经网络模型来对其进行深层次的特征挖掘，再通过解码回归得到应调整的参数值，来有效准确地提高焊接的质量。
[0065]
也就是，具体地，在本技术的技术方案中，首先通过通过部署于自动行进管道焊接和切割一体式加工设备的摄像头采集具有焊接区域的管道面的加工图像。然后，将所述管道面的加工图像通过多层卷积层以提取出所述管道面的加工图像中的局部高维特征信息，从而得到卷积特征图。
[0066]
具体地，在本技术实施例中，所述感兴趣区域检测模块230，用于将所述卷积特征图通过作为焊接区域检测网络的第一卷积神经网络模型以从所述卷积特征图得到焊接感兴趣区域。应可以理解，由于在所述管道面的加工图像中，应该更加关注于焊接区域以及未焊接与焊接的连接面区域特征，因此，在本技术的技术方案中，进一步再将所述卷积特征图通过作为焊接区域检测网络的第一卷积神经网络模型中进行特征提取，以在特征的深层挖掘中更聚焦于焊接的区域隐含特征，从而从所述卷积特征图得到焊接感兴趣区域。
[0067]
特别地，这里，所述第一卷积神经网络模型为centernet、extremenet或
reppoints。应可以理解，基于深度学习的目标检测方法依据网络中是否使用锚窗将网络分为基于锚窗(anchor-based)与无锚窗(anchor-free)两大类。基于锚窗的方法如fast r-cnn、faster r-cnn、retinanet等，基于无锚窗的方法如centernet、extremenet、reppoints等。其中无锚窗的方法解决了锚窗所带来的难以识别尺度变化大的目标、训练过程中正负样本不平衡以及对内存的高额占用等缺点，是当前的主流发展方向。
[0068]
在无锚窗的方法中又细分为基于中心点与基于关键点两大类。基于中心点的方法如yolov1、fcos、centernet等，直接检测目标的中心点，然后回归出目标的边界信息。基于关键点的方法如cornernet、extremenet、reppoints等，通过预测出目标的关键点获取边界框。基于关键点的方法在检测精度上通常略高于基于中心点的方法，但在计算量上有较大消耗。
[0069]
具体地，在本技术实施例中，所述特征分布校正模块240，用于对所述焊接感兴趣区域进行基于所述卷积特征图的全局的特征值校正以得到校正后焊接感兴趣区域。应可以理解，在通过一体式加工设备进行焊接控制时，如果能够结合未焊接区域的图像信息有利于提高对焊接控制的精准度。也就是，通过基于所述卷积特征图的全局(即，所述待加工管道面的全局图像信息，包含焊接区域和未焊接区域)对所述焊接感兴趣区域进行特征分布校正以将所述待加工管道面的未焊接区域的信息融合到焊接区域中，以使得后续的焊接控制具有一定的前瞻性和预判性，以提高焊接质量。因此，在本技术的技术方案中，进一步对所述焊接感兴趣区域进行基于所述卷积特征图的全局的特征值校正以得到校正后焊接感兴趣区域。
[0070]
更具体地，在本技术实施例中，所述特征分布校正模块，包括：首先，计算所述焊接感兴趣区域中各个位置的特征值与一的加和值的对数函数值作为所述焊接感兴趣区域中各个位置的局部特征表示。然后，计算所述卷积特征图中所有位置的特征值的求和值与一的加和值的对数函数值作为卷积特征图的全局特征表示。最后，以所述焊接感兴趣区域中各个位置的局部特征表示分别除以所述卷积特征图的全局特征表示作为所述焊接感兴趣区域中各个位置的校正特征值以得到所述校正后焊接感兴趣区域。也就是，对所述焊接感兴趣区域进行基于所述卷积特征图的全局的特征值校正的公式为：
[0071][0072]
其中，表示所述焊接感兴趣区域的各个位置的特征值，表示所述校正后焊接感兴趣区域的各个位置的特征值，表示所述卷积特征图的各个位置的特征值的加和。
[0073]
图4图示了根据本技术实施例的自动行进管道焊接和切割一体式加工设备中特征分布校正模块的框图。如图4所示，所述特征分布校正模块240，包括：布局特征表示单元241，用于计算所述焊接感兴趣区域中各个位置的特征值与一的加和值的对数函数值作为所述焊接感兴趣区域中各个位置的局部特征表示；全局特征表示单元242，用于计算所述卷积特征图中所有位置的特征值的求和值与一的加和值的对数函数值作为卷积特征图的全局特征表示；校正单元243，用于以所述焊接感兴趣区域中各个位置的局部特征表示分别除
以所述卷积特征图的全局特征表示作为所述焊接感兴趣区域中各个位置的校正特征值以得到所述校正后焊接感兴趣区域。
[0074]
具体地，在本技术实施例中，所述控制参数模块250和所述控制参数结构化模块260，用于获取预定时间段内的包含当前时间点在内的多个预定时间点的控制参数，所述控制参数包括焊枪与工件之间的距离以及焊枪的摇摆角度，并将所述包含当前时间点在内的多个预定时间点的控制参数中的距离和摇摆角度分别构造为第一输入向量和第二输入向量。应可以理解，考虑到若想基于当前焊接区域的情况与未焊接的管道面的情况来自适应地调整焊枪的摇摆角度和焊枪与工件之间的距离以使得所控制的参数能够适配于管道面的表面特性以提高焊接质量，在本技术的技术方案中，还需要进一步获取预定时间段内的包含当前时间点在内的多个预定时间点的控制参数，所述控制参数包括焊枪与工件之间的距离以及焊枪的摇摆角度。然后，将所述包含当前时间点在内的多个预定时间点的控制参数中的距离和摇摆角度分别构造为第一输入向量和第二输入向量，以便后续对其进行特征关联性挖掘。
[0075]
具体地，在本技术实施例中，所述控制参数关联模块270，用于计算所述第一输入向量和所述第二输入向量之间的控制参数关联矩阵。应可以理解，在计算所述第一输入向量与所述第二输入向量的转置之间的乘积以得到控制参数关联矩时，由于所述第一输入向量和所述第二输入向量分别对应于距离和角度的时序关联特征，在将其关联得到参数关联矩阵时，可能存在所述参数关联矩阵由于所述第一输入向量和所述第二输入向量的尺度差异而导致概率分布偏移的问题。因此，在本技术的技术方案中，进一步对所述第一输入向量v1和所述第二输入向量v2进行基于尺度迁移确定性的特征向量关联，以得到所述控制参数关联矩阵。
[0076]
更具体地，在本技术实施例中，所述控制参数关联模块，包括：首先，计算所述第一输入向量与所述第二输入向量的转置向量之间的乘积以得到初始关联矩阵。然后，计算所述初始关联矩阵的frobenius范数。最后，以所述初始关联矩阵中各个位置的特征值分别除以所述初始关联矩阵的frobenius范数以得到所述控制参数关联矩阵。也就是，在一个具体示例中，计算所述第一输入向量和所述第二输入向量之间的控制参数关联矩阵的公式为：
[0077][0078]
其中v1表示所述第一输入向量，v2表示所述第二输入向量，v1和v2均为列向量的形式，且||
·
||f表示矩阵的frobenius范数，exp(
·
)表示矩阵的指数运算，所述矩阵的指数运算表示计算以矩阵中各个位置的特征值为幂的自然指数函数值。应可以理解，这样，该所述基于尺度迁移确定性的特征向量关联对于特征向量的基于关联特征的相对位置嵌入进行低秩约束，从而保留特征向量所表达的高维特征在关联时的尺度迁移下对于关联特征的长程依赖(long-range dependent)关系，这样，就可以在一定程度上参数关联矩阵与所述第一输入向量和所述第二输入向量的概率分布一致性。
[0079]
图5图示了根据本技术实施例的自动行进管道焊接和切割一体式加工设备中控制参数关联模块的框图。如图5所示，所述控制参数关联模块270，包括：关联单元271，用于计算所述第一输入向量与所述第二输入向量的转置向量之间的乘积以得到初始关联矩阵；约束量计算单元272，用于计算所述初始关联矩阵的frobenius范数；以及，约束单元273，用于
以所述初始关联矩阵中各个位置的特征值分别除以所述初始关联矩阵的frobenius范数以得到所述控制参数关联矩阵。
[0080]
具体地，在本技术实施例中，所述控制参数关联编码模块280，用于将所述控制参数关联矩阵通过第二卷积神经网络以得到控制参数特征图。也就是，在本技术的技术方案中，在得到所述控制参数关联矩阵后，进一步将所述控制参数关联矩阵通过第二卷积神经网络中进行处理，以提取出所述控制参数的高维关联隐含特征信息，从而得到控制参数特征图。
[0081]
具体地，在本技术实施例中，所述特征融合模块290和所述参数控制模块300，用于融合所述控制参数特征图和所述校正后焊接感兴趣区域以得到解码特征图，并将所述解码特征图通过解码器进行解码回归以得到第一解码值和第二解码值，其中，所述第一解码值为下一时间点的焊枪与工件之间的距离，所述第二解码值为下一时间点的焊枪的摇摆角度。也就是，在通过线性变换将所述控制参数特征图调整至与所述校正后焊接感兴趣区域具有相同尺寸后，就可以融合所述控制参数特征图和所述校正后焊接感兴趣区域以得到解码特征图。接着，将所述解码特征图通过解码器以解码回归得到用于表示下一时间点的焊枪与工件之间的距离的第一解码值以及用于表示下一时间点的焊枪的摇摆角度的第二解码值。相应地，在一个具体示例中，使用所述解码器以如下公式对所述解码特征图进行解码回归以获得所述第一解码值和所述第二解码值；其中，所述公式为：回归以获得所述第一解码值和所述第二解码值；其中，所述公式为：其中x是回归矩阵，y是解码值，w是权重矩阵，表示矩阵乘。
[0082]
更具体地，在本技术实施例中，所述特征融合模块，包括：尺寸调整单元，用于通过线性变换将所述控制参数特征图调整至与所述校正后焊接感兴趣区域具有相同尺寸；以及，按位置加权单元，用于以如下公式融合所述控制参数特征图和所述校正后焊接感兴趣区域以得到所述解码特征图；
[0083]
其中，所述公式为：
[0084]
f＝αf1+βf2[0085]
其中，f为所述解码特征图，f1为所述控制参数特征图，f2为所述校正后焊接感兴趣区域，“+”表示所述控制参数特征图和所述校正后焊接感兴趣区域相对应位置处的元素相加，α和β为用于控制所述控制参数特征图和所述校正后焊接感兴趣区域之间的平衡的加权参数。
[0086]
综上，基于本技术实施例的所述自动行进管道焊接和切割一体式加工设备200被阐明，其通过利用人工智能技术的深度神经网络模型来基于当前焊接区域的情况与未焊接的管道面的情况来自适应地调整焊枪的摇摆角度和焊枪与工件之间的距离，以使得所控制的参数能够适配于管道面的表面特性从而提高焊接质量。
[0087]
如上所述，根据本技术实施例的自动行进管道焊接和切割一体式加工设备200可以实现在各种终端设备中，例如自动行进管道焊接和切割一体式加工设备算法的服务器等。在一个示例中，根据本技术实施例的自动行进管道焊接和切割一体式加工设备200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该自动行进管道焊接和切割一体式加工设备200可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该自动行进管道焊接和切割一体式加工设备200同样可以是该终端设备的众多硬件模块之一。
[0088]
替换地，在另一示例中，该自动行进管道焊接和切割一体式加工设备200与该终端设备也可以是分立的设备，并且该自动行进管道焊接和切割一体式加工设备200可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
[0089]
示例性方法
[0090]
图6图示了自动行进管道焊接和切割一体式加工设备的控制方法的流程图。如图6所示，根据本技术实施例的自动行进管道焊接和切割一体式加工设备的控制方法，包括步骤：s110，获取由摄像头采集的具有焊接区域的管道面的加工图像；s120，将所述管道面的加工图像通过多层卷积层以得到卷积特征图；s130，将所述卷积特征图通过作为焊接区域检测网络的第一卷积神经网络模型以从所述卷积特征图得到焊接感兴趣区域；s140，对所述焊接感兴趣区域进行基于所述卷积特征图的全局的特征值校正以得到校正后焊接感兴趣区域；s150，获取预定时间段内的包含当前时间点在内的多个预定时间点的控制参数，所述控制参数包括焊枪与工件之间的距离以及焊枪的摇摆角度；s160，将所述包含当前时间点在内的多个预定时间点的控制参数中的距离和摇摆角度分别构造为第一输入向量和第二输入向量；s170，计算所述第一输入向量和所述第二输入向量之间的控制参数关联矩阵；s180，将所述控制参数关联矩阵通过第二卷积神经网络以得到控制参数特征图；s190，融合所述控制参数特征图和所述校正后焊接感兴趣区域以得到解码特征图；以及，s200，将所述解码特征图通过解码器进行解码回归以得到第一解码值和第二解码值，其中，所述第一解码值为下一时间点的焊枪与工件之间的距离，所述第二解码值为下一时间点的焊枪的摇摆角度。
[0091]
图7图示了根据本技术实施例的自动行进管道焊接和切割一体式加工设备的控制方法的架构示意图。如图7所示，在所述自动行进管道焊接和切割一体式加工设备的控制方法的网络架构中，首先，将获得的所述管道面的加工图像(例如，如图7中所示意的p1)通过多层卷积层(例如，如图7中所示意的cl)以得到卷积特征图(例如，如图7中所示意的f1)；接着，将所述卷积特征图通过作为焊接区域检测网络的第一卷积神经网络模型(例如，如图7中所示意的cnn1)以从所述卷积特征图得到焊接感兴趣区域(例如，如图7中所示意的ri1)；然后，对所述焊接感兴趣区域进行基于所述卷积特征图的全局的特征值校正以得到校正后焊接感兴趣区域(例如，如图7中所示意的ri2)；接着，将获得的所述包含当前时间点在内的多个预定时间点的控制参数中的距离(例如，如图7中所示意的q1)和摇摆角度(例如，如图7中所示意的q2)分别构造为第一输入向量(例如，如图7中所示意的v1)和第二输入向量(例如，如图7中所示意的v2)；然后，计算所述第一输入向量和所述第二输入向量之间的控制参数关联矩阵(例如，如图7中所示意的m1)；接着，将所述控制参数关联矩阵通过第二卷积神经网络(例如，如图7中所示意的cnn2)以得到控制参数特征图(例如，如图7中所示意的f2)；然后，融合所述控制参数特征图和所述校正后焊接感兴趣区域以得到解码特征图(例如，如图7中所示意的fc)；以及，最后，将所述解码特征图通过解码器(例如，如图7中所示意的d)进行解码回归以得到第一解码值(例如，如图7中所示意的t1)和第二解码值(例如，如图7中所示意的t2)，其中，所述第一解码值为下一时间点的焊枪与工件之间的距离，所述第二解码值为下一时间点的焊枪的摇摆角度。
[0092]
更具体地，在步骤s110和s120中，获取由摄像头采集的具有焊接区域的管道面的加工图像，并将所述管道面的加工图像通过多层卷积层以得到卷积特征图。也就是，在本申
请的技术方案中，期望基于当前焊接区域的情况与未焊接的管道面的情况来自适应地调整焊枪的摇摆角度和焊枪与工件之间的距离以使得所控制的参数能够适配于管道面的表面特性以提高焊接质量。相应地，在本技术的技术方案中，考虑到当前焊接区域的情况和未焊接的管道面情况可以使用焊接区域的管道面的加工图像特征来表示，并且利用在局部隐含关联特征提取方面具有优异表现的卷积神经网络模型来对其进行深层次的特征挖掘，再通过解码回归得到应调整的参数值，来有效准确地提高焊接的质量。
[0093]
也就是，具体地，在本技术的技术方案中，首先通过通过部署于自动行进管道焊接和切割一体式加工设备的摄像头采集具有焊接区域的管道面的加工图像。然后，将所述管道面的加工图像通过多层卷积层以提取出所述管道面的加工图像中的局部高维特征信息，从而得到卷积特征图。
[0094]
更具体地，在步骤s130中，将所述卷积特征图通过作为焊接区域检测网络的第一卷积神经网络模型以从所述卷积特征图得到焊接感兴趣区域。应可以理解，由于在所述管道面的加工图像中，应该更加关注于焊接区域以及未焊接与焊接的连接面区域特征，因此，在本技术的技术方案中，进一步再将所述卷积特征图通过作为焊接区域检测网络的第一卷积神经网络模型中进行特征提取，以在特征的深层挖掘中更聚焦于焊接的区域隐含特征，从而从所述卷积特征图得到焊接感兴趣区域。特别地，这里，所述第一卷积神经网络模型为centernet、extremenet或reppoints。
[0095]
更具体地，在步骤s140中，对所述焊接感兴趣区域进行基于所述卷积特征图的全局的特征值校正以得到校正后焊接感兴趣区域。应可以理解，在通过一体式加工设备进行焊接控制时，如果能够结合未焊接区域的图像信息有利于提高对焊接控制的精准度。也就是，通过基于所述卷积特征图的全局(即，所述待加工管道面的全局图像信息，包含焊接区域和未焊接区域)对所述焊接感兴趣区域进行特征分布校正以将所述待加工管道面的未焊接区域的信息融合到焊接区域中，以使得后续的焊接控制具有一定的前瞻性和预判性，以提高焊接质量。因此，在本技术的技术方案中，进一步对所述焊接感兴趣区域进行基于所述卷积特征图的全局的特征值校正以得到校正后焊接感兴趣区域。
[0096]
更具体地，在步骤s150和步骤s160中，获取预定时间段内的包含当前时间点在内的多个预定时间点的控制参数，所述控制参数包括焊枪与工件之间的距离以及焊枪的摇摆角度，并将所述包含当前时间点在内的多个预定时间点的控制参数中的距离和摇摆角度分别构造为第一输入向量和第二输入向量。应可以理解，考虑到若想基于当前焊接区域的情况与未焊接的管道面的情况来自适应地调整焊枪的摇摆角度和焊枪与工件之间的距离以使得所控制的参数能够适配于管道面的表面特性以提高焊接质量，在本技术的技术方案中，还需要进一步获取预定时间段内的包含当前时间点在内的多个预定时间点的控制参数，所述控制参数包括焊枪与工件之间的距离以及焊枪的摇摆角度。然后，将所述包含当前时间点在内的多个预定时间点的控制参数中的距离和摇摆角度分别构造为第一输入向量和第二输入向量，以便后续对其进行特征关联性挖掘。
[0097]
更具体地，在步骤s170中，计算所述第一输入向量和所述第二输入向量之间的控制参数关联矩阵。应可以理解，在计算所述第一输入向量与所述第二输入向量的转置之间的乘积以得到控制参数关联矩时，由于所述第一输入向量和所述第二输入向量分别对应于距离和角度的时序关联特征，在将其关联得到参数关联矩阵时，可能存在所述参数关联矩
阵由于所述第一输入向量和所述第二输入向量的尺度差异而导致概率分布偏移的问题。因此，在本技术的技术方案中，进一步对所述第一输入向量v1和所述第二输入向量v2进行基于尺度迁移确定性的特征向量关联，以得到所述控制参数关联矩阵。
[0098]
更具体地，在步骤s180中，将所述控制参数关联矩阵通过第二卷积神经网络以得到控制参数特征图。也就是，在本技术的技术方案中，在得到所述控制参数关联矩阵后，进一步将所述控制参数关联矩阵通过第二卷积神经网络中进行处理，以提取出所述控制参数的高维关联隐含特征信息，从而得到控制参数特征图。
[0099]
更具体地，在步骤s190和步骤s200中，融合所述控制参数特征图和所述校正后焊接感兴趣区域以得到解码特征图，并将所述解码特征图通过解码器进行解码回归以得到第一解码值和第二解码值，其中，所述第一解码值为下一时间点的焊枪与工件之间的距离，所述第二解码值为下一时间点的焊枪的摇摆角度。也就是，在通过线性变换将所述控制参数特征图调整至与所述校正后焊接感兴趣区域具有相同尺寸后，就可以融合所述控制参数特征图和所述校正后焊接感兴趣区域以得到解码特征图。接着，将所述解码特征图通过解码器以解码回归得到用于表示下一时间点的焊枪与工件之间的距离的第一解码值以及用于表示下一时间点的焊枪的摇摆角度的第二解码值。相应地，在一个具体示例中，使用所述解码器以如下公式对所述解码特征图进行解码回归以获得所述第一解码值和所述第二解码值；其中，所述公式为：其中x是回归矩阵，y是解码值，w是权重矩阵，表示矩阵乘。
[0100]
综上，基于本技术实施例的所述自动行进管道焊接和切割一体式加工设备的控制方法被阐明，其通过利用人工智能技术的深度神经网络模型来基于当前焊接区域的情况与未焊接的管道面的情况来自适应地调整焊枪的摇摆角度和焊枪与工件之间的距离，以使得所控制的参数能够适配于管道面的表面特性从而提高焊接质量。
[0101]
以上结合具体实施例描述了本技术的基本原理，但是，需要指出的是，在本技术中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。
[0102]
本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0103]
还需要指出的是，在本技术的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。
[0104]
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此，本技术不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
[0105]
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本技术的实
施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。