一种基于机械臂的电线抓取方法及系统与流程

本发明涉及目标检测，并且更具体地，涉及一种基于机械臂的电线抓取方法及系统。

背景技术：

1、电线是用于传输电力或信号的导电材料，在建筑和住宅中可用于电力供应和照明，在电子设备和通信系统中可用于连接电子元件、电路板和设备之间的信号传输，在工业和制造业中可用于电力传输和设备连接，在交通工具中可用于电池充电、照明、仪表板显示、传感器连接，在能源和电力系统中可用于输电和配电，在医疗设备中可用于连接医疗仪器、监护设备和医疗器械，在舞台灯光、音响和特效系统中可用于供电、信号传输和设备连接，在安全和监控系统中可用于供电和信号传输。随着人们生活水平的不断提高，电线的使用场景也越来越复杂多变。对于某些复杂多变，充满未知危险性的工作场景需求，比如高空作业场景、带电场景、水下作业场景等，人工作业所需承担的风险就过于庞大，因此也就迫切需要新的技术方案来解决这类特定场景下的作业问题。

2、随着人们对于机械臂的研究不断深入，目前已有很多成功应用于实际生产生活中的机械臂，因此这里使用机械臂抓取电线来解决上述特定场景下的作业问题。值得注意的是，目前的大多数机械臂应用所抓取的对象都是形状较为规则的物体，对于电线这种长度、形状和粗细都不确定的复杂不规则物体来说，直接使用现有的机械臂抓取技术就显得有点捉襟见肘。

技术实现思路

1、针对上述问题，本发明提出了一种基于机械臂的电线抓取方法，包括：

2、基于所述机械臂的相机获取待检测电线的图像数据，并确定所述机械臂在获取待检测电线图像数据时，机械臂的基坐标系、机械臂的相机坐标系与机械臂的工作台坐标系间的相互之间的变换矩阵；

3、将所述图像数据作为输入数据输入至预设的网络及函数进行检测及分割，以得到所述图像数据的分割图像数据；

4、提取出所述分割图像数据中的待检测电线的坐标，基于所述变换矩阵，将所述待检测电线的初始坐标，变换为机械臂的基坐标系下的待检测电线的坐标，并根据所述待检测电线的坐标抓取到待检测电线。

5、可选的，基于手眼标定技术的tcp标定法，确定所述机械臂在获取待检测电线图像数据时，机械臂的基坐标系、机械臂的相机坐标系与机械臂的工作台坐标系间的相互之间的变换矩阵。

6、可选的，预设的网络及函数，包括：目标检测网络，损失函数和语义分割网络；

7、所述目标检测网络用于检测得到图像数据中的待检测电线的电线图像；

8、所述损失函数用于确定所述电线图像的位置损失和尺寸损失；

9、所述语义分割图像用于基于所述位置损失、尺寸损失和电线检测损失，对所述电线图像进行分割，以得到分割图像数据。

10、可选的，目标检测网络，包括：区域融合网络、关键点融合网络和结果融合网络；

11、所述区域融合网络用于对图像数据的局部特征信息进行多次提取，并将多次提取得到的局部特征信息进行融合，得到所述图像数据的关键特征信息；

12、所述关键点融合网络用于基于标定矩阵多次标定出所述关键特征信息中的关键点信息，对所述多次标定出的所述关键点信息进行融合，得到具备关键点特征信息的特征图；

13、所述结果融合网络用于对所述特征图中的关键点特征信息进行融合，以缩小关键点特征信息的搜索范围，得到电线图像。

14、可选的，损失函数的公式如下：

15、

16、

17、

18、其中，为位置损失函数、为尺寸损失函数、为电线检测损失函数、xi为真实包围框的位置信息、为预测位置、λloc和λsize为用于平衡位置损失和尺寸损失的权重系数。

19、可选的，语义分割网络，包括：编码器和解码器；

20、所述语义分割网络通过编码器对确定尺寸损失、位置损失和电线检测损失的电线图像进行编码，在通过解码器对编码器的编码结果进行解码，以得到分割图像数据。

21、再一方面，本发明提出了一种基于机械臂的电线抓取系统，包括：

22、图像采集单元，用于基于所述机械臂的相机获取待检测电线的图像数据，并确定所述机械臂在获取待检测电线图像数据时，机械臂的基坐标系、机械臂的相机坐标系与机械臂的工作台坐标系间的相互之间的变换矩阵；

23、图像处理单元，用于将所述图像数据作为输入数据输入至预设的网络及函数进行检测及分割，以得到所述图像数据的分割图像数据；

24、信息抓取单元，用于提取出所述分割图像数据中的待检测电线的坐标，基于所述变换矩阵，将所述待检测电线的初始坐标，变换为机械臂的基坐标系下的待检测电线的坐标，并根据所述待检测电线的坐标抓取到待检测电线。

25、可选的，图像采集单元基于手眼标定技术的tcp标定法，确定所述机械臂在获取待检测电线图像数据时，机械臂的基坐标系、机械臂的相机坐标系与机械臂的工作台坐标系间的相互之间的变换矩阵。

26、可选的，预设的网络及函数，包括：目标检测网络，损失函数和语义分割网络；

27、所述目标检测网络用于检测得到图像数据中的待检测电线的电线图像；

28、所述损失函数用于确定所述电线图像的位置损失和尺寸损失；

29、所述语义分割图像用于基于所述位置损失、尺寸损失和电线检测损失，对所述电线图像进行分割，以得到分割图像数据。

30、可选的，目标检测网络，包括：区域融合网络、关键点融合网络和结果融合网络；

31、所述区域融合网络用于对图像数据的局部特征信息进行多次提取，并将多次提取得到的局部特征信息进行融合，得到所述图像数据的关键特征信息；

32、所述关键点融合网络用于基于标定矩阵多次标定出所述关键特征信息中的关键点信息，对所述多次标定出的所述关键点信息进行融合，得到具备关键点特征信息的特征图；

33、所述结果融合网络用于对所述特征图中的关键点特征信息进行融合，以缩小关键点特征信息的搜索范围，得到电线图像。

34、可选的，损失函数的公式如下：

35、

36、

37、

38、其中，为位置损失函数、为尺寸损失函数、为电线检测损失函数、xi为真实包围框的位置信息、为预测位置、λloc和λsize为用于平衡位置损失和尺寸损失的权重系数。

39、可选的，语义分割网络，包括：编码器和解码器；

40、所述语义分割网络通过编码器对确定尺寸损失、位置损失和电线检测损失的电线图像进行编码，在通过解码器对编码器的编码结果进行解码，以得到分割图像数据。

41、再一方面，本发明还提供了一种计算设备，包括：一个或多个处理器；

42、处理器，用于执行一个或多个程序；

43、当所述一个或多个程序被所述一个或多个处理器执行时，实现如上述所述的方法。

44、再一方面，本发明还提供了一种计算机可读存储介质，其上存有计算机程序，所述计算机程序被执行时，实现如上述所述的方法。

45、与现有技术相比，本发明的有益效果为：

46、本发明提供了一种基于机械臂的电线抓取方法，包括：基于所述机械臂的相机获取待检测电线的图像数据，并确定所述机械臂在获取待检测电线图像数据时，机械臂的基坐标系、机械臂的相机坐标系与机械臂的工作台坐标系间的相互之间的变换矩阵；将所述图像数据作为输入数据输入至预设的网络及函数进行检测及分割，以得到所述图像数据的分割图像数据；提取出所述分割图像数据中的待检测电线的坐标，基于所述变换矩阵，将所述待检测电线的初始坐标，变换为机械臂的基坐标系下的待检测电线的坐标，并根据所述待检测电线的坐标抓取到待检测电线的信息。本发明通过机械臂进行操作，避免了由人工操作所带来的对操作人员的危险，并节约了人力成本。