基于机器视觉的铝合金搅拌摩擦焊控制系统及控制方法

本发明涉及搅拌摩擦焊，具体涉及一种基于机器视觉的铝合金搅拌摩擦焊控制系统及控制方法。

背景技术：

1、铝合金具有塑性好、耐腐蚀性好及密度小等特点，被广泛应用于航空肮天、船舶及汽车制造领域，其中铝合金与异种金属的焊接使用用途最为广泛，例如将铝合金与不锈钢焊接使用，产品既具有铝材的塑性好、密度小等特点，又具有钢的硬度高、耐腐蚀等特点。但是由于两种不同材质金属在材料性能方面存在明显差异，传统的焊接方式对其进行焊接时会出现裂纹气孔等焊接缺陷，甚至有些金属无法与铝材进行熔融焊接。搅拌摩擦焊(friction stir welding,fsw)是一种新型固相焊接技术，其主要通过高温金属间的塑性流动实现连接，避免了传统熔化焊接所带来的裂纹等焊接缺陷，因而成为异种合金材料焊接的首选。

2、搅拌摩擦焊焊缝表面成形质量的优劣直接影响了焊缝的连接强度。近年来，国内外学者对于摩擦焊焊缝的焊接质量判断大多使用直接目视判断，且多为定性判断而缺少定量判断；也有使用超声相控阵的方法来对焊缝内部缺陷进行检测，利用超声波照射从而在设备上检测出焊缝的内部质量；也有使用分形维数计算的方式对焊缝表面进行定量检测或神经网络算法模型(cn114418933a基于yolo的搅拌摩擦焊诊断方法、终端以及存储介质)，上述这些研究或只是局限于焊缝的质量定性判断，或只是进行焊缝焊接完成后的滞后定量检测，而未在焊接过程中通过已焊接部分的检测来对焊接设备做出实时自适应调整，从而优化后续焊接质量，仍有一定的局限性。在搅拌摩擦焊控制方面，现有的机器人摩擦焊接控制系统技术(公开号：cn104607795a机器人搅拌摩擦焊接系统及其力位并环混合控制方法)只是使用预设参数进行焊接，且在焊接过程中视觉传感器及位移传感器只起到实时监控采集图像功能，其控制逻辑本质上还是属于定参数定压力定轨迹闭环控制，无法识别缺陷并根据所获取缺陷实时自调整参数。

技术实现思路

1、本发明提供了一种基于机器视觉的铝合金搅拌摩擦焊控制系统及控制方法，以解决现有技术中无法实现搅拌摩擦焊接类加工中自适应控制加工的问题。

2、本发明提供了一种基于机器视觉的铝合金搅拌摩擦焊控制系统，包括：工业摩擦焊接机器人、工装夹具、工作台、处理器、图像采集器、温度采集器、距离测量器；

3、图像采集器设置于工业摩擦焊接机器人的工作端，图像采集器采集待焊物焊接点表面图像；

4、温度采集器设置于工业摩擦焊接机器人的工作端，温度采集器采集待焊物焊接点表面温度；

5、工装夹具有两个，两个工装夹具相对设置在工作台上，对待焊物进行夹持；

6、距离测量器有两组，两组距离测量器分别水平设置于两个工装夹具内，距离测量器的测量范围覆盖待焊物表面；两组距离测量器的测量端垂直朝向焊缝，并相对设置；距离测量器测量焊接过程中飞边高度、宽度；

7、处理器分别与图像采集器、温度采集器、距离测量器以及工业摩擦焊接机器人连接，处理器根据图像采集器、温度采集器、距离测量器采集的数据控制工业摩擦焊接机器人焊接。

8、进一步地，所述距离测量器为阵列式多点红外测距传感器。

9、本发明还提供了一种基于机器视觉的铝合金搅拌摩擦焊控制方法，适用于上述基于机器视觉的铝合金搅拌摩擦焊控制系统，控制方法包括如下步骤：

10、步骤1：当开始搅拌摩擦焊接时，采集焊点处的焊道图像以及焊接温度；

11、步骤2：对焊道图像进行预处理，将焊接温度形成灰度图像；

12、步骤3：将预处理的焊道图像与灰度图像合成含有焊接温度的二维图像；

13、步骤4：获取焊接飞边高度、宽度；

14、步骤5：将飞边高度、飞边宽度与二维图像合成含有焊接纹理、焊接温度、飞边数据的三维图像；

15、步骤6：通过训练好的卷积神经网络对三维图像进行卷积，当卷积神经网络判断存在焊接缺陷时，卷积神经网络输出焊接缺陷类型及焊接缺陷对应的量化参数；

16、步骤7：将焊接缺陷对应的量化参数以及焊接参数的优化量作为训练好的rbf神经网络的输入量，神经网络输出优化后的机器人各关节参数及对应的机器人控制指令；

17、其中，焊接参数的优化量获取方法为：

18、通过正交试验法构建转速、移动速度、轴向下压量的三维曲面，三维曲面上的每个点表示无焊接缺陷，

19、计算焊接缺陷对应的量化参数与预设的无焊接缺陷对应的量化参数的差值，将差值向三维曲面进行拟合，拟合过程中转速、移动速度、轴向下压量的变化量作为焊接参数的优化量；

20、步骤8：通过优化后的机器人控制指令控制工业摩擦焊接机器人焊接。

21、进一步地，所述步骤3的具体方法为：

22、将焊道图像转化为二维矩阵，将焊接温度形成灰度图像转化为二维矩阵，两个二维矩阵的行、列数相同，

23、构建二维图像的二维矩阵，其中，二维图像的二维矩阵的行、列数与焊道图像的二维矩阵行、列数相同，

24、二维图像的二维矩阵中的每个元素为通过相同行、列的焊道图像二维矩阵以及灰度图像二维矩阵中元素构成的具有两个元素的一维数组；

25、将二维图像的二维矩阵转化为二维图像。

26、进一步地，所述步骤4的具体方法为：

27、根据所述距离测量器输出的二维矩阵数据，二维矩阵数据中的列表示飞边高度，通过一列中非零数据的个数计算这一列像素中飞边的高度；二维矩阵数据中的数值表示飞边到距离测量器的距离，通过相同飞边高度的两侧距离测量器的数值差计算飞边宽度。

28、进一步地，所述步骤5的具体方法为：

29、将飞边高度、飞边宽度构成飞边的二维矩阵，其中，飞边的二维矩阵的列数与二维图像的二维矩阵行数相同；飞边的二维矩阵的行数表示飞边的高度系数；飞边的二维矩阵的元素表示飞边的宽度系数；

30、将飞边的二维矩阵中的非零元素所在列数与二维图像的二维矩阵的行数匹配，将飞边的二维矩阵中的非零元素的数值与二维图像的二维矩阵的列数匹配，寻找非零元素对应的二维图像的二维矩阵中的一维数组，将飞边的二维矩阵中非零元素所在行数与总行数的差值作为对应二维图像的二维矩阵中的一维数组的第三个元素；

31、对二维图像的二维矩阵中缺少第三个元素的一维数组补入第三个元素，完成三维图像合成。

32、进一步地，所述飞边的二维矩阵中，最后一行的元素均设为“0”。

33、进一步地，所述飞边的二维矩阵中，最后一行的元素均设为“1”，将飞边的二维矩阵中最后一行的元素对应的二维图像的二维矩阵的一维数组中的第三个元素设为“0”。

34、进一步地，所述步骤6中通过训练好的卷积神经网络对三维图像进行卷积时，分别对三维图像中的rgb色彩通道图像进行内积、对三维图像中的飞边高度、飞边宽度、焊接温度的数值根据阈值进行逻辑判断。

35、进一步地，所述步骤6中，每次卷积过程中的所述阈值根据每次卷积获取的新的rgb色彩通道图像进行确定。

36、进一步地，所述步骤7中，构建rbf神经网络的模型为：

37、

38、式中，s为缺陷特征参数；j为机器人坐标与图像坐标系下求解出的雅各比矩阵；q为关节角度变化量；θ关节角速度。

39、本发明的有益效果：

40、本发明实现了完全自适应的基于机器视觉的搅拌摩擦焊接控制，整个焊接过程通过三维图像进行描述，通过对三维图像的处理能够实现自动识别并消除缺陷，控制方案在搅拌摩擦焊领域自动化焊接方面填补了空白，同时还能将各种缺陷信息直观展示给操作者，最后还建立了经验加工曲面，能够为后续加工是无法确定最优加工参数提供一定的参考意义。

41、本发明通过图像及温度采集，可以快速得到已焊接部位的焊接信息，且能够直观的展示给操作者；灰度转换降低后续图像合并及缺陷提取时的信息复杂程度，提高运算效率；将表面缺陷图像与温度灰度图像合并，能够将其转化为一组含有内矩阵的二维数学矩阵，将图像信息转化为了能够更精确被上位机处理的数字信息；将飞边数据与二维图像融合成三维图像，实现了缺陷特征的升维，将传统的2d信息转换成了更加直观的三维信息数字矩阵；cnn卷积神经网络处理过程中，对于矩阵内不同信息的所占权重与代表含义不同，分别进行了卷积和阈值判断，以此方式实现最大程度上的特征信息保留与提取；对飞边的二维矩阵中最后一行数据的特殊处理，可以有效避免焊缝根部反馈信号对后续卷积神经网络提取飞边缺陷特征参数时所带来的误差；通过建立三维曲面，采用拟合的方式获取焊接参数的优化量，实现目标控制量的确定，能够更加准确高效的实现焊接控制。