用于FPC装配的目标引导式机器人系统及其控制方法、装置

本发明涉及机器人，特别是涉及用于fpc装配的目标引导式机器人系统及其控制方法、装置。

背景技术：

1、机器人已经广泛应用于各行各业的各种任务中。然而，在手机维修工艺中，fpc（flexible printed circuit，柔性电路板）的装配仍然依赖人工的辅助，这是由于目前通过机器人实现fpc装配面临两个难点：第一，fpc及其上的连接器初始位置任意，使得机器人装配需要在线检测连接器的位姿以实现灵活操作；第二，fpc装配精度要求高达0.4mm，否则容易损坏fpc的连接器。因此，如何同时保证机器人操作的灵活性和高精度，以实现fpc的精准装配是目前主要的研究方向。

技术实现思路

1、有鉴于此，本发明旨在提出用于fpc装配的目标引导式机器人系统及其控制方法、装置，以解决当前机器人操作无法同时满足灵活性和高精度要求，进而导致无法实现fpc的精准装配的问题。

2、本发明的第一方面，提供了一种用于柔性电路板装配的目标引导式机器人系统的控制方法，应用于机器人系统，所述机器人系统包括第一机械臂、第二机械臂以及相机，所述方法包括：

3、步骤s1，控制所述第一机械臂抓取待装配对象；其中，所述待装配对象包括柔性电路板的连接器公座，所述连接器公座待装配至母座上；

4、步骤s2，在抓取成功后，采用所述相机以预设角度拍摄包括所述待装配对象的目标图像，并确定在所述目标图像中，所述待装配对象的多个关键点的像素坐标；

5、步骤s3，基于多个所述关键点的像素坐标和每个所述关键点对应的参考像素坐标，确定所述待装配对象与期望对齐位置之间的位置误差；其中，所述参考像素坐标为当所述待装配对象处于所述期望对齐位置时，所述关键点在所述目标图像中的像素坐标；其中，所述期望对齐位置位于所述母座的正上方；

6、步骤s4，在所述位置误差大于或等于预设阈值的情况下，基于所述位置误差以及预设映射关系，确定所述第一机械臂的机械臂控制量；其中，所述预设阈值根据所述装配对象的装配精度要求确定；所述预设映射关系表征所述关键点从所述像素坐标运动到所述参考像素坐标的特征速度与所述第一机械臂的末端速度之间的映射关系；

7、步骤s5，根据所述机械臂控制量，控制所述第一机械臂运动，并重复上述步骤s2-s4，直到所述位置误差小于所述预设阈值；

8、步骤s6，在所述位置误差小于所述预设阈值时，控制所述第二机械臂将所述待装配对象扣合于所述母座。

9、进一步地，在所述重复过程中，所述相机每间隔预设时长，以所述预设角度拍摄所述目标图像；所述基于所述位置误差以及预设映射关系，确定所述第一机械臂的机械臂控制量，包括：

10、基于所述位置误差，确定每个所述关键点的特征速度；

11、按照所述预设映射关系，将多个所述关键点的特征速度映射为所述末端速度；

12、基于所述预设时长，将所述末端速度转化为所述第一机械臂的位姿增量；

13、将所述位姿增量确定为所述机械臂控制量；

14、所述根据所述机械臂控制量，控制所述第一机械臂运动，包括：

15、获取所述第一机械臂的当前位姿；

16、基于所述位姿增量和所述当前位姿，确定所述第一机械臂的目标位姿；

17、控制所述第一机械臂运动，以将所述第一机械臂从所述当前位姿调整至所述目标位姿。

18、进一步地，所述末端速度包括末端线速度和末端角速度，所述基于所述预设时长，将所述末端速度转化为所述第一机械臂的位姿增量，包括：

19、基于所述末端线速度和所述预设时长，确定所述第一机械臂的位移增量；

20、基于所述末端角速度和所述预设时长，确定所述第一机械臂的旋转轴和旋转角度；

21、将所述位移增量、所述旋转轴和所述旋转角度确定为所述位姿增量。

22、进一步地，所述预设映射关系的获取步骤包括：

23、确定所述特征运动速度与所述相机的相机运动速度之间的第一映射关系；其中，所述相机运动速度包括相机运动的线速度和角速度；

24、基于所述相机的相机外参和所述第一机械臂的末端相对于所述第一机械臂的基座的位姿，确定所述相机运动速度与所述第一机械臂的末端运动速度之间的第二映射关系；

25、基于所述第一映射关系和所述第二映射关系，确定所述预设映射关系。

26、进一步地，所述确定在所述目标图像中，所述待装配对象的多个关键点的像素坐标，包括：

27、基于所述相机的相机外参，从所述目标图像中识别出包括所述待装配对象的子区域；

28、对所述子区域进行图像截取，得到包括所述待装配对象的子区域图像；

29、对所述子区域图像进行图像处理，以确定所述子区域图像中多个所述关键点的位置；

30、基于所述子区域图像中多个所述关键点的位置，确定多个所述关键点在所述目标图像中的像素坐标。

31、进一步地，所述第一机械臂的末端设置有真空吸盘，所述真空吸盘连接真空泵；所述控制所述第一机械臂抓取待装配对象，包括：

32、采用所述相机拍摄包括所述待装配对象的待处理图像；

33、从所述待处理图像中，确定所述待装配对象的多个关键点的位置；

34、基于多个所述关键点的位置和所述待装配对象的尺寸参数，确定所述待装配对象相对于所述相机的相对位姿；

35、基于所述相对位姿、所述相机的相机外参以及所述真空吸盘相对于所述第一机械臂的末端的吸盘位姿，确定所述第一机械臂的运动量；

36、控制所述第一机械臂运动所述运动量后，控制所述真空泵开启，以吸取所述待装配对象。

37、进一步地，所述基于所述相对位姿、所述相机的相机外参以及所述真空吸盘相对于所述末端的吸盘位姿，确定所述第一机械臂的运动量，包括：

38、根据所述相对位姿和预设偏移量，确定在所述待处理图像中，对所述待装配对象进行抓取的抓取点位置；

39、基于所述抓取点位置、所述相机外参以及所述吸盘位姿，确定所述真空吸盘运动至所述抓取点时，所述第一机械臂所需的运动量。

40、进一步地，所述第二机械臂的末端包括压紧杆和力传感器；所述控制所述第二机械臂将所述待装配对象扣合于所述母座，包括：

41、控制所述第二机械臂移动，以将所述压紧杆的位置调整至预设位置；其中，所述预设位置位于所述期望对齐位置的正上方；

42、控制所述第二机械臂沿垂直方向向下运动，以使所述压紧杆对所述待装配对象施加压紧力；

43、在所述下压的过程中，通过所述力传感器实时检测所述压紧力；

44、在检测到所述压紧力突变时，控制所述第二机械臂停止运动，并确定所述待装配对象已扣合于所述母座。

45、本发明的第二方面，提供了一种用于fpc装配的目标引导式机器人系统的控制装置，应用于机器人系统，所述机器人系统至少包括第一机械臂、第二机械臂以及相机，所述装置包括：

46、第一控制模块，用于控制所述第一机械臂抓取待装配对象；其中，所述待装配对象包括柔性电路板的连接器公座，所述连接器公座待装配至母座上；

47、图像处理模块，用于在抓取成功后，采用所述相机以预设角度拍摄包括所述待装配对象的目标图像，并确定在所述目标图像中，所述待装配对象的多个关键点的像素坐标；

48、第一确定模块，用于基于多个所述关键点的像素坐标和每个所述关键点对应的参考像素坐标，确定所述待装配对象与期望对齐位置之间的位置误差；其中，所述参考像素坐标为当所述待装配对象处于所述期望对齐位置时，所述关键点在所述目标图像中的像素坐标；其中，所述期望对齐位置位于所述母座的正上方；

49、第二确定模块，用于在所述位置误差大于或等于预设阈值的情况下，基于所述位置误差以及预设映射关系，确定所述第一机械臂的机械臂控制量；其中，所述预设阈值根据所述装配对象的装配精度要求确定；所述预设映射关系表征所述关键点从所述像素坐标运动到所述参考像素坐标的特征速度与所述第一机械臂的末端速度之间的映射关系；

50、第二控制模块，用于根据所述机械臂控制量，控制所述第一机械臂运动，并使所述图像处理模块、所述第一确定模块、所述第二确定模块以及所述第二控制模块重复工作，直到所述位置误差小于所述预设阈值；

51、第三控制模块，用于在所述位置误差小于所述预设阈值时，控制所述第二机械臂将所述待装配对象扣合于所述母座。

52、本发明的第三方面，提供了一种用于fpc装配的目标引导式机器人系统，所述系统用于实现上述第一方面所述的用于柔性电路板装配的目标引导式机器人系统的控制方法，所述系统包括：

53、第一机械臂、第二机械臂、固定在六自由度云台的相机以及用于固定包括母座的设备的夹具；

54、其中，所述第一机械臂固定于第一基座，所述第二机械臂固定于第二基座，所述六自由度云台固定于支撑座；所述第一基座、所述第二基座和所述支撑座分别设置于所述夹具的三个不同方向；

55、所述第一机械臂设的末端设置有真空吸盘，所述真空吸盘连接真空泵，用于抓取待装配对象；

56、所述第二机械臂的末端设置有压紧杆以及与所述压紧杆连接力传感器，所述压紧杆用于对所述待装配对象输出压紧力，所述力传感器用于监测所述压紧杆的压力变化；

57、所述相机通过相机安装座和可调节的光轴固定夹固定于所述六自由度云台。

58、本发明提供的用于柔性电路板装配的目标引导式机器人系统的控制方法，通过控制所述第一机械臂抓取待装配对象；其中，所述待装配对象包括柔性电路板的连接器公座，所述连接器公座待装配至母座；在抓取成功后，采用所述相机以预设角度拍摄包括所述待装配对象的目标图像，并确定在所述目标图像中，所述待装配对象的多个关键点的像素坐标；基于多个所述关键点的像素坐标和每个所述关键点对应的参考像素坐标，确定所述待装配对象与期望对齐位置之间的位置误差；其中，所述参考像素坐标为当所述待装配对象处于所述期望对齐位置时，所述关键点在所述目标图像中的像素坐标；其中，所述期望对齐位置位于所述母座的正上方；在所述位置误差大于或等于预设阈值的情况下，基于所述位置误差以及预设映射关系，确定所述第一机械臂的机械臂控制量；其中，所述预设阈值根据所述装配对象的装配精度要求确定；所述预设映射关系表征所述关键点从所述像素坐标运动到所述参考像素坐标的特征速度与所述第一机械臂的末端速度之间的映射关系；根据所述机械臂控制量，控制所述第一机械臂运动，并重复上述步骤，直到所述位置误差小于所述预设阈值；在所述位置误差小于所述预设阈值时，控制所述第二机械臂将所述待装配对象扣合于所述母座；

59、由此，本发明通过将fpc装配过程分为抓取步骤和扣合步骤，在扣合时，根据待装配对象的位置和期望对齐位置的位置误差，来控制第一机械臂移动，使得待装配对象的位置和期望对齐位置的位置误差在装配精度范围内，再将待装配对象扣合于母座；其中，通过实时确定待装配对象的位置，并根据实时确定的待装配对象的位置和期望对齐位置的位置误差来控制第一机械臂移动，以实现不断调整待装配对象的位置，由此，通过不断调整第一机械臂的位姿来调整待装配对象的位置，提高机器人系统在装配过程中的灵活性；同时，通过位置误差来对第一机械臂进行调控，将待装配对象的调整后位置和期望对齐位置的误差控制在装配精度以内，提高了机器人系统的装配精准性；此外，由于本发明的控制方法是通过位置误差调控，还能够避免在第一机械臂移动过程造成待装配对象位置发生偏移带来误差，进而导致准配精度较差，连接器损坏的问题。