一种基于深度学习的航空维修工具识别抓取方法及系统

本发明涉及工具识别抓取，特别是指一种基于深度学习的航空维修工具识别抓取方法及系统。

背景技术：

1、在民航领域，为了保证飞行安全，例行检修及维修是必不可少且极其重要的日常工作。航空维修是一项精细作业，维修工具管理水平和效率将影响民航飞机的维修质量，甚至影响飞行安全。在日常的航空维护工作中，经常涉及到成百上千件维修工具，它们的种类繁多、规格复杂、数量庞大。为了保证民航维修的质量，民航维修领域有着十分复杂的维修工具管理体系，然而这也导致了维修工具的出入库过程变得繁琐复杂。

2、在社会的快速发展的今天，工具种类体系也愈加繁琐复杂，而且同一工具在不同应用场景又衍生出各种型号，这使得工具的入库/出库、归类整理将消耗更多的时间成本与人力资源。目前，民航维修工具管理还主要集中在人工管理。在每次维修前，工人需要准备好要使用的维修工具，同时在维修结束后，还需将用完的维修工具进行清点入库。该管理方案存在成本过高、效率低下等不足。

3、在现有技术中，缺乏一种稳定且高效的面向航空维修工具智能管理的识别抓取方法。

技术实现思路

1、本发明实施例提供了一种基于深度学习的航空维修工具识别抓取方法及系统。所述技术方案如下：

2、一方面，提供了一种基于深度学习的航空维修工具识别抓取方法，该方法由电子设备实现，该方法包括：

3、拍摄维修工具图像，获得工具训练图像；

4、根据所述工具训练图像进行工具数据集构建，获得专家表；

5、基于卷积神经网络结构以及特征金字塔网络结构进行模型构建，获得待训练工具识别模型；

6、使用工具训练图像对所述待训练工具识别模型训练，获得工具识别模型；

7、拍摄待抓取工具图像，输入所述工具识别模型，获得工具识别结果；

8、根据所述工具识别结果以及所述专家表进行对比判断，获得工具抓取结果；

9、根据所述工具抓取结果，通过机械臂对待抓取工具进行抓取。

10、可选地，所述拍摄维修工具图像，获得工具训练图像，包括：

11、对维修工具进行不同角度以及不同背景的拍摄，获得第一工具图像；

12、对所述第一工具图像添加干扰，获得第二工具图像；

13、将所述第二工具图像进行放缩、剪裁和拼接，获得工具训练图像。

14、可选地，所述根据所述工具训练图像进行工具数据集构建，获得专家表，包括：

15、根据所述工具训练图像进行数据采集，获得工具分类值；

16、根据所述工具分类值构建数据集合，获得专家表。

17、其中，所述工具分类值是用于区分工具型号的特征数值；

18、所述工具分类值是根据所述工具训练图像，通过直接方法或间接方法计算得到；

19、所述直接方法是指计算工具对角线长度、计算工具长边长度或测量工具ar测量值中的一种方法；

20、所述间接方法是指基于预设参照物，根据所述工具训练图像进行计算，得到工具分类值；

21、所述计算工具对角线长度是指根据所述工具训练图像，通过水平矩形框进行识别标注，获得工具对角线长度；

22、所述计算工具长边长度是指根据所述工具训练图像，通过旋转矩形框进行识别标注，获得工具长边长度；

23、所述测量工具ar测量值是指根据所述工具训练图像，通过ar测量单元测量，获得工具ar测量值；所述ar测量单元加装在摄像头上。

24、可选地，所述根据所述工具识别结果以及专家表进行对比判断，获得工具抓取结果，包括：

25、根据所述工具识别结果，获得待抓取工具分类值和待抓取工具位置；

26、根据所述待抓取工具分类值以及所述专家表进行对比，获得待抓取工具型号；

27、根据所述待抓取工具位置以及所述待抓取工具型号，获得工具抓取结果。

28、可选地，所述根据所述工具抓取结果，通过机械臂对待抓取工具进行抓取，包括：

29、根据所述工具抓取结果，获得待抓取工具型号以及待抓取工具位置；

30、根据所述待抓取工具型号，获得机械臂抓取方式；

31、根据所述机械臂抓取方式以及所述待抓取工具位置进行抓取判断，获得抓取判断结果；

32、当所述抓取判断结果为正确时，根据所述机械臂抓取方式以及所述待抓取工具位置进行抓取；当所述抓取判断结果为错误时，根据所述待抓取工具位置进行轮询抓取；所述轮询抓取是指抓取方式依次使用电磁吸盘、气泵吸盘和机械夹子的抓取方式。

33、另一方面，提供了一种基于深度学习的航空维修工具识别抓取系统，该系统应用于一种基于深度学习的航空维修工具识别抓取方法，该系统包括括摄像头、电子设备和机械臂，其中：

34、所述摄像头，用于拍摄维修工具图像，获得工具训练图像；

35、所述电子设备，用于根据所述工具训练图像进行工具数据集构建，获得专家表；基于卷积神经网络结构以及特征金字塔网络结构进行模型构建，获得待训练工具识别模型；使用工具训练图像对所述待训练工具识别模型训练，获得工具识别模型；拍摄待抓取工具图像，输入所述工具识别模型，获得工具识别结果；根据所述工具识别结果以及所述专家表进行对比判断，获得工具抓取结果；

36、所述机械臂，用于根据所述工具抓取结果，通过机械臂对待抓取工具进行抓取。

37、可选地，所述摄像头，进一步用于：

38、对维修工具进行不同角度以及不同背景的拍摄，获得第一工具图像；

39、对所述第一工具图像添加干扰，获得第二工具图像；

40、将所述第二工具图像进行放缩、剪裁和拼接，获得工具训练图像。

41、可选地，所述电子设备，进一步用于：

42、根据所述工具训练图像进行数据采集，获得工具分类值；

43、根据所述工具分类值构建数据集合，获得专家表。

44、其中，所述工具分类值是用于区分工具型号的特征数值；

45、所述工具分类值是根据所述工具训练图像，通过直接方法或间接方法计算得到；

46、所述直接方法是指计算工具对角线长度、计算工具长边长度或测量工具ar测量值中的一种方法；

47、所述间接方法是指基于预设参照物，根据所述工具训练图像进行计算，得到工具分类值；

48、所述计算工具对角线长度是指根据所述工具训练图像，通过水平矩形框进行识别标注，获得工具对角线长度；

49、所述计算工具长边长度是指根据所述工具训练图像，通过旋转矩形框进行识别标注，获得工具长边长度；

50、所述测量工具ar测量值是指根据所述工具训练图像，通过ar测量单元测量，获得工具ar测量值；所述ar测量单元加装在摄像头上。

51、可选地，所述电子设备，进一步用于：

52、根据所述工具识别结果，获得待抓取工具分类值和待抓取工具位置；

53、根据所述待抓取工具分类值以及所述专家表进行对比，获得待抓取工具型号；

54、根据所述待抓取工具位置以及所述待抓取工具型号，获得工具抓取结果。

55、可选地，所述机械臂，进一步用于：

56、根据所述工具抓取结果，获得待抓取工具型号以及待抓取工具位置；

57、根据所述待抓取工具型号，获得机械臂抓取方式；

58、根据所述机械臂抓取方式以及所述待抓取工具位置进行抓取判断，获得抓取判断结果；

59、当所述抓取判断结果为正确时，根据所述机械臂抓取方式以及所述待抓取工具位置进行抓取；当所述抓取判断结果为错误时，根据所述待抓取工具位置进行轮询抓取；所述轮询抓取是指抓取方式依次使用电磁吸盘、气泵吸盘和机械夹子的抓取方式。

60、另一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述一种基于深度学习的航空维修工具识别抓取方法。

61、另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述一种基于深度学习的航空维修工具识别抓取方法。

62、本发明实施例提供的技术方案带来的有益效果至少包括：

63、本发明提出一种基于深度学习的航空维修工具识别抓取方法，通过构建专家表和工具识别模型，实现了对不同工具的识别抓取，大幅度提高维修工具管理的自动化、智能化水平；基于摄像头和机械臂，通过电子设备引导，可以进行工具定位，在解算得到坐标位置后可以按逻辑算法选取相应前端附件，引导机械臂完成抓取。本发明是一种稳定且高效的面向航空维修工具智能管理的识别抓取方法。