一种视觉迁移的机械臂装配控制方法与流程

本发明涉及机械臂控制的，尤其涉及一种视觉迁移的机械臂装配控制方法。

背景技术：

1、通过机械臂进行产品装配已经广泛应用于工业制造领域，现有的机械臂自主装配技术主要分为plc控制和视觉控制两种，plc控制逻辑简单，适应简单装配场景，无法胜任复杂场景下的产品装配；视觉控制技术则能够处理大量场景信息，能够胜任复杂环境下的产品装配，但是存在鲁棒性差的问题，即场景自适应能力较差，无法在多个不同场景环境条件下实现自适应装配控制。针对该问题，本发明提出一种视觉迁移的机械臂装配控制方法，重点解决复杂场景多变条件下的机械臂鲁棒装配控制。

技术实现思路

1、有鉴于此，本发明提供一种视觉迁移的机械臂装配控制方法，目的在于：1)基于预处理后划分的图像边缘将待装配设备图像划分为若干子图像，并计算子图像与模板配准图像对应卷积特征图，得到两者的语义相似性，并选取语义相似性最大的子图像，提取若干局部特征图，从而基于局部特征图与模板配准图像中待装配设备卷积特征图的余弦相似度，确定待装配设备在待装配设备图像的位置区域，将待装配设备转换为三维图像表示，并将表示后的待装配设备与装配位置进行随机旋转组合，得到不同的组合结果，计算不同组合结果与模板配准图像的配准吻合度，选取最大的组合结果以及对应的配准吻合度进行输出，若配准吻合度大于指定阈值，则令机械臂计算组合结果中的旋转角度，控制机械臂在到达装配位置后按照所记录的旋转角度进行旋转装配，同时提出待装配设备图像的实时修正方案，通过利用修正码对待装配设备图像进行修正处理，使得图像中间区域进行较大范围的修正，而中间区域存在待装配设备的可能性更大，提高待装配设备的识别效率；2)以机械臂相邻关节之间的连杆为避障算法的基准单位，通过计算相邻关节节点之间连杆与障碍物的虚拟受力情况确定装配路径中各路径节点是否存在连杆与障碍物碰撞的情况，并对存在碰撞的路径节点进行修正，得到避免机械臂碰撞的装配路径，控制机械臂沿装配路径移动，到达装配位置，并控制机械臂按照所记录的旋转角度对待装配设备进行旋转，将基于初始位置视觉的旋转角度迁移到最终装配位置，实现基于机械臂视觉的装配控制。

2、实现上述目的，本发明提供的一种视觉迁移的机械臂装配控制方法，包括以下步骤：

3、s1：利用机械臂的视觉系统获取待装配设备图像，并自动对所获取的待装配设备图像进行预处理；

4、s2：构建离线产品配准模型，所述模型以模板配准图像和待装配设备图像为输入，

5、以配准吻合度为输出；

6、s3：构建实时产品配准鲁棒调控模型，所述模型以待装配设备图像为输入，以修正后的待配准设备图像为输出；

7、s4：将预处理后的待装配设备图像输入到离线产品配准模型中得到配准吻合度，若配准吻合度大于指定阈值则可进行装配，否则将预处理后的待装配设备图像输入到实时产品配准鲁棒调控模型得到修正后的待装配设备图像，并将修正后的待装配设备图像输入到离线产品配准模型中；

8、s5：根据可进行装配的待装配设备图像，控制机械臂进行待装配设备的装配处理。

9、作为本发明的进一步改进方法：

10、可选地，所述s1步骤中获取待装配设备图像，包括：

11、利用机械臂的视觉系统获取待装配设备图像，所述机械臂的视觉系统为机械臂上的摄像头，其中待装配设备图像表示待装配设备所在区域的场景图像，机械臂视觉系统自动对所获取的待装配设备图像进行灰度化、拉伸以及边缘检测的预处理，其中灰度化、拉伸以及边缘检测的流程为：

12、s11：对所采集待装配设备图像中每个像素的rgb颜色分量求最大值，并将该最大值作为该像素点的灰度值，得到待装配设备图像的灰度图；

13、s12：对灰度图中每个像素的灰度值进行拉伸：

14、

15、其中：

16、g(i，j)表示灰度图中像素(i，j)的灰度值，像素(i，j)表示灰度图中第i行第j列的像素，灰度图的像素行数为m，像素列数为n；

17、maxg表示灰度图中的最大灰度值，ming表示灰度图中的最小灰度值；

18、g′(i，j)表示经灰度拉伸后像素(i，j)的灰度值；

19、s13：构建3×3像素大小的高斯滤波模板对经灰度拉伸后的灰度图进行滤波处理，其中所构建的高斯滤波模板为gσ，σ表示高斯滤波模板的尺度，将其设置为2，利用高斯滤波模板对经灰度拉伸后的灰度图中每个像素进行卷积处理，得到高斯滤波后的灰度图：

20、g″(i，j)＝g′(i，j)*gσ

21、其中：

22、g″(i，j)表示像素(i，j)的高斯滤波结果，将所有像素的高斯滤波结果构成高斯滤波后的灰度图；

23、在本发明实施例中，高斯滤波模板的构建流程为：

24、设置初始高斯滤波模板：

25、

26、其中：

27、gσ(i′，j′)表示尺度为σ的初始高斯滤波模板中第i′行第j′列元素的元素值；

28、对初始高斯滤波模板中各元素的元素值进行归一化处理，使得全部元素相加为1，得到尺度为σ的高斯滤波模板gσ；

29、s14：计算高斯滤波后灰度图中每个像素的梯度值：

30、

31、其中：

32、grad(i，j)表示高斯滤波后灰度图中像素(i，j)的梯度值；

33、将梯度值大于预设置阈值的像素标记为边缘像素；

34、在本发明实施例中，若高斯滤波后灰度图中不存在像素(i+1，j)，则将该像素的高斯滤波结果标记为0。

35、可选地，所述s2步骤中构建离线产品配准模型，包括：

36、构建离线产品配准模型，其中所述离线产品配准模型以模板配准图像和待装配设备图像为输入，以配准吻合度为输出；其中模板配准图像为待装配设备装配成功的预处理后展示图像；

37、离线产品配准模型包括待装配设备识别模块、组合配准模块以及配准吻合度计算模块，待装配设备识别模块用于从待装配设备图像中识别出待装配设备，组合配准模块用于将待装配设备与装配位置进行随机组合，得到不同的组合结果，配准吻合度计算模块用于计算不同组合结果与模板配准图像的配准吻合度，选取最大的组合结果以及对应的配准吻合度进行输出；

38、基于离线配准模型对待装配设备图像进行配准计算的流程为：

39、s21：将待装配设备图像按照图像边缘划分为若干子图像；

40、s22：将待装配设备图像的子图像与模板配准图像输入到待装配设备识别模块中，待装配设备识别模块利用两层卷积层分别对子图像与模板配准图像进行卷积处理，得到子图像与模板配准图像的初始卷积特征图，其中卷积层的卷积核大小为5×5像素，步长为2；

41、s23：计算子图像对应初始卷积特征图与模板配准图像对应初始卷积特征图的内积结果，作为子图像与模板配准图像的语义相似性；

42、s24：选取语义相似性最高的子图像所对应初始卷积特征图，并利用滑动窗口对子图像的初始卷积特征图进行滑动，提取局部特征图，其中滑动窗口的大小为模板配准图像中待装配设备的大小；计算局部特征图与模板配准图像中待装配设备区域对应初始卷积特征图的余弦相似度，选取余弦相似度最高的局部特征图作为待装配设备特征图，该局部特征图所对应的待装配设备图像区域即为识别得到的待装配设备；

43、s25：组合配准模块将待装配设备图像中识别到的待装配设备像素坐标转换到世界坐标系下，得到三维图像表示的待装配设备：

44、

45、其中：

46、d1，d2分别表示视觉系统所拍摄图像中单位像素分别在水平方向以及竖直方向的长度；

47、x0，y0分别表示视觉系统所拍摄图像的中心像素坐标和图像原点像素坐标之间相差的水平方向和竖直方向像素数；

48、f表示机械臂视觉系统的焦距；

49、k1，k2表示视觉系统的外部参数，分别为视觉系统的位置以及旋转方向参数；

50、z表示待装配设备像素坐标(x，y)在相机坐标系中z轴的坐标值；

51、(x*，y*，z*)表示待装配设备像素坐标(x，y)在世界坐标系下的映射结果；

52、在本发明实施例中，视觉系统的外部参数的获取方法为：

53、拍摄已知三维世界坐标的基准图像，并将基准图像的像素坐标代入到坐标转换公式中，选取使得转换后世界坐标与已知三维世界坐标误差最小的外部参数作为视觉系统的外部参数；

54、s26：对三维图像表示的待装配设备进行随机旋转，得到多种旋转结果，将旋转结果的边缘与装配位置进行随机组合，得到多种组合结果；

55、s27：配准吻合度计算模块计算每种组合结果中组合后边缘曲线的曲率以及位置坐标，并计算模板配准图像中装配成功结果的边缘曲线曲率以及位置坐标，得到每种组合结果的配准吻合度：

56、

57、其中：

58、βs(m)表示第m种组合中第s条边缘曲线的曲率，αs表示模板配准图像中装配成功结果中位置坐标与第m种组合中第s条边缘曲线最为接近的边缘曲线曲率；

59、rm表示第m种组合的配准吻合度。

60、可选地，所述s3步骤中构建实时产品配准鲁棒调控模型，包括：

61、构建实时产品配准鲁棒调控模型，其中实时产品配准鲁棒调控模型以待装配设备图像为输入，以修正后的待配准设备图像为输出；

62、其中基于实时产品配准鲁棒调控模型的调控流程为：

63、s31：选取待装配设备图像中语义相似性最高的子图像作为待修正图像；

64、s32：构建图像修正码，其中图像修正码为滑动窗口的形式，滑动窗口大小为待修正图像中每一行像素的像素数，所构建图像修正码为：

65、

66、其中：

67、hn(q)表示第n行第q个像素的修正码，qn表示第n行像素的像素总数；

68、s33：基于图像修正码对待修正图像中的每一行像素进行修正，得到修正后的图像，则待修正图像中第n行第q个像素的修正结果为：

69、g″′n，q＝ωg″n，q+(1-ω)hn(q)

70、其中：

71、g″n，q表示待修正图像中第n行第q个像素的高斯滤波结果，ω表示修正系数，将其设置为0.82，g″′n，q表示待修正图像中第n行第q个像素的修正结果；

72、s34：将修正后的图像添加到待装配设备图像中，作为修正后的待装配设备图像。

73、可选地，所述s4步骤中将待装配设备图像输入到离线产品配准模型中得到配准吻合度，若配准吻合度大于指定阈值则可进行装配，包括：

74、将待装配设备图像输入到离线产品配准模型中得到不同配准组合结果的配准吻合度，若其中最大的配准吻合度大于指定阈值则可进行装配，得到可进行装配的待装配设备图像，并记录最大配准吻合度对应的旋转角度。

75、可选地，所述s4步骤中将配准吻合度低于指定阈值的待装配设备图像输入到实时产品配准鲁棒调控模型得到修正后的待装配设备图像，包括：

76、将配准吻合度低于指定阈值的待装配设备图像输入到实时产品配准鲁棒调控模型中进行修正，得到修正后的待装配设备图像，并将修正后的待装配设备图像输入到离线产品配准模型中得到不同配准组合结果的配准吻合度，若其中最大的配准吻合度大于指定阈值则可进行装配，得到可进行装配的待装配设备图像，并记录最大配准吻合度对应的旋转角度，否则重新进行修正。

77、可选地，所述s5步骤中基于可进行装配的待装配设备图像，控制机械臂进行待装配设备的装配处理，包括：

78、基于可进行装配的待装配设备图像以及最大配准吻合度对应的旋转角度，得到对待装配设备进行装配时待装配设备的旋转角度，机械臂记录该旋转角度，并抓取待装配设备；

79、机械臂利用视觉系统获取所抓取待装配设备与装配位置的地图，采用避障算法生成机械臂的装配路径，控制机械臂沿装配路径移动，到达装配位置，并控制机械臂按照所记录的旋转角度对待装配设备进行旋转，完成基于机械臂视觉的装配控制；

80、基于避障算法的装配路径生成流程为：

81、s51：初始化若干装配路径，其中第k条装配路径的形式为：

82、lk＝[lk(1)，lk(2)，...，lk(u)，...lk(u)]

83、lk(u)＝[θk，u(1)，θk，u(2)，...，θk，u(v)]t

84、其中：

85、lk(u)表示第k条装配路径中第u个路径节点位置，u表示路径节点的总数，在本发明实施例中，第一个路径节点位置为机械臂的初始位置，最后一个路径节点位置为装配位置；

86、θk，u(v)表示机械臂处于第k条装配路径中第u个路径节点位置时，机械臂中第v个关节节点的角度，其中v表示机械臂关节节点的总数；

87、s52：初始化维数为u的第k条装配路径的避障检测向量：[0，0，...，0]；

88、s53：构建机械臂中相邻关节节点之间连杆与障碍物的虚拟受力情况函数：

89、

90、其中：

91、fk，u(a，a+1)表示第k条装配路径中第u个路径节点位置的第a个关节节点与第a+1个关节节点之间连杆与障碍物的虚拟受力情况，d(ra，a+1，rnext)表示连杆ra，a+1与最近障碍物next之间的距离，δ表示极小的正数，rnext表示最近障碍物next的半径；

92、若存在fk，u(a，a+1)大于受力阈值，则表示第k条装配路径中第u个路径节点存在碰撞，并令避障检测向量中的第u个值为1；在本发明实施例中，a，a+1∈[1，v]；

93、s54：遍历第k条装配路径的避障检测向量，对值为1的路径节点，随机从其余配装路径中选取对应顺序的路径节点进行替换，直到每条装配路径中避障检测向量均为0；

94、s55：计算每条装配路径的移动时间，选取移动时间最少的装配路径作为输出，控制机械臂沿装配路径移动，到达装配位置。

95、为了解决上述问题，本发明提供一种电子设备，所述电子设备包括：

96、存储器，存储至少一个指令；

97、通信接口，实现电子设备通信；及

98、处理器，执行所述存储器中存储的指令以实现上述所述的视觉迁移的机械臂装配控制方法。

99、为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的视觉迁移的机械臂装配控制方法。

100、相对于现有技术，本发明提出一种视觉迁移的机械臂装配控制方法，该技术具有以下优势：

101、首先，本方案提出一种装配方案确定方法，构建离线产品配准模型，其中所述离线产品配准模型以模板配准图像和待装配设备图像为输入，以配准吻合度为输出；其中模板配准图像为待装配设备装配成功的预处理后展示图像；离线产品配准模型包括待装配设备识别模块、组合配准模块以及配准吻合度计算模块，待装配设备识别模块用于从待装配设备图像中识别出待装配设备，组合配准模块用于将待装配设备与装配位置进行随机组合，得到不同的组合结果，配准吻合度计算模块用于计算不同组合结果与模板配准图像的配准吻合度，选取最大的组合结果以及对应的配准吻合度进行输出。本方案基于预处理后划分的图像边缘将待装配设备图像划分为若干子图像，并计算子图像与模板配准图像对应卷积特征图，得到两者的语义相似性，并选取语义相似性最大的子图像，提取若干局部特征图，从而基于局部特征图与模板配准图像中待装配设备卷积特征图的余弦相似度，确定待装配设备在待装配设备图像的位置区域，将待装配设备转换为三维图像表示，并将表示后的待装配设备与装配位置进行随机旋转组合，得到不同的组合结果，计算不同组合结果与模板配准图像的配准吻合度，选取最大的组合结果以及对应的配准吻合度进行输出，若配准吻合度大于指定阈值，则令机械臂计算组合结果中的旋转角度，控制机械臂在到达装配位置后按照所记录的旋转角度进行旋转装配，同时提出待装配设备图像的实时修正方案，通过利用修正码对待装配设备图像进行修正处理，使得图像中间区域进行较大范围的修正，而中间区域存在待装配设备的可能性更大，提高待装配设备的识别效率。

102、同时，本方案提出一种装配路径确定算法，机械臂利用视觉系统获取所抓取待装配设备与装配位置的地图，采用避障算法生成机械臂的装配路径，控制机械臂沿装配路径移动，到达装配位置，并控制机械臂按照所记录的旋转角度对待装配设备进行旋转，完成基于机械臂视觉的装配控制；基于避障算法的装配路径生成流程为：初始化若干装配路径，其中第k条装配路径的形式为：

103、lk＝[lk(1)，lk(2)，...，lk(u)，...lk(u)]

104、lk(u)＝[θk，u(1)，θk，u(2)，...，θk，u(v)]t

105、其中：lk(u)表示第k条装配路径中第u个路径节点位置，u表示路径节点的总数；θk，u(v)表示机械臂处于第k条装配路径中第u个路径节点位置时，机械臂中第v个关节节点的角度，其中v表示机械臂关节节点的总数；初始化维数为u的第k条装配路径的避障检测向量：[0，0，...，0]；构建机械臂中相邻关节节点之间连杆与障碍物的虚拟受力情况函数：

106、

107、其中：fk，u(a，a+1)表示第k条装配路径中第u个路径节点位置的第a个关节节点与第a+1个关节节点之间连杆与障碍物的虚拟受力情况，d(ra，a+1，rnext)表示连杆ra，a+1与最近障碍物next之间的距离，δ表示极小的正数，rnext表示最近障碍物next的半径；若存在fk，u(a，a+1)大于受力阈值，则表示第k条装配路径中第u个路径节点存在碰撞，并令避障检测向量中的第u个值为1；遍历第k条装配路径的避障检测向量，对值为1的路径节点，随机从其余配装路径中选取对应顺序的路径节点进行替换，直到每条装配路径中避障检测向量均为0；计算每条装配路径的移动时间，选取移动时间最少的装配路径作为输出，控制机械臂沿装配路径移动，到达装配位置。本方案以机械臂相邻关节之间的连杆为避障算法的基准单位，通过计算相邻关节节点之间连杆与障碍物的虚拟受力情况确定装配路径中各路径节点是否存在连杆与障碍物碰撞的情况，并对存在碰撞的路径节点进行修正，得到避免机械臂碰撞的装配路径，控制机械臂沿装配路径移动，到达装配位置，并控制机械臂按照所记录的旋转角度对待装配设备进行旋转，将基于初始位置视觉的旋转角度迁移到最终装配位置，实现基于机械臂视觉的装配控制。