基于3D视觉的无人机加油方法及系统与流程

本发明属于工业无人机自动加油领域、机器视觉，更具体的说，涉及一种基于3d视觉的无人机加油方法及系统。

背景技术：

1、目前，油动无人机加油多为人工操作，针对无人机机巢中大批量无人机加油，人工操作困难，自动化、智能化程度低，严重影响无人机运作效率。而传统的机器人引导只能通过示教器示教，无法满足复杂变化的工况环境，当工件位置或者工作环境发生改变时，需要重新示教，极大限制了机器人工作效率与工作场景。

技术实现思路

1、本发明的目的在于提供一种基于3d视觉的无人机加油方法及系统，可有效解决目前加油效率慢、无法自动加油问题，自动定位油箱位置，实现自动加油，满足高精度、节拍快要求。本文采用的技术方案如下：

2、一种基于3d视觉的无人机加油方法，包括以下步骤：

3、步骤1、建立四个坐标系，并建立坐标系之间的坐标转换关系，以实现相关坐标系之间的统一，最后将坐标转化关系存储至控制系统；

4、其中，引入的坐标系包括：油枪末端坐标系，夹爪末端坐标系，3d视觉系统坐标系，机器人基座标系；

5、机器人基座标系基于机器人系统，机器人系统包括机器人；

6、夹爪、油枪安装在机器人末端；3d视觉系统固定在机器人末端

7、坐标转换关系包括：3d视觉系统坐标系与机器人基座标系之间的转换关系一、油枪末端坐标系与机器人基座标系之间的转换关系二、夹爪末端坐标系与机器人基座标系之间的转换关系三；

8、步骤2、油箱附近点云数据采集，具体包括以下步骤：

9、步骤21、无人机升降系统在停靠无人机后附近；

10、步骤22、控制系统请求拍照信号，并将拍照信号发送至3d视觉系统；

11、步骤23、3d视觉系统对无人机油箱附近点云进行图像采集，并将点云数据发送至控制系统；

12、步骤3、获取油箱盖空间位姿信息，具体包括以下步骤：

13、步骤31、定位油箱盖图像位置：控制系统对接收到点云数据的2d图像处理，生成油箱盖roi框，并获取成油箱盖roi框点云；

14、步骤32：获取油箱盖点云，具体包括以下步骤：

15、步骤321、基于roi框，映射到步骤23输出的点云数据的三维坐标，获取油箱盖处点云信息；

16、步骤322、通过点云剪裁，获取油箱盖处点云；

17、步骤33：获取油箱盖空间位姿，具体包括以下步骤：

18、步骤331：在夹爪坐标系下，建立夹爪夹紧油箱盖时形成的参考模板，并定义在参考模板中夹爪原点的初始位姿；

19、具体包括以下步骤：

20、设置油箱盖cad模型，并将其导入仿真软件中，以与仿真软件机器人系统模型中的夹爪模型配对以形成参考模板；

21、在该位姿下，夹爪可以夹紧油箱盖并拧开，此时，夹爪原点的初始位姿{x，y，z，rx，ry，rz}，其中，x、y、z均为坐标，rx，ry，rz均为欧拉角；

22、步骤332：获取步骤322中输出的油箱盖处点云与和油箱盖cad模型配准时的配准矩阵t，具体包括：

23、将步骤322中油箱盖处点云和步骤331中的油箱盖cad模型配准，获取配准矩阵t；

24、其中，点云基于3d视觉系统坐标系，配准矩阵t在3d视觉系统坐标系下生成；

25、步骤333：油箱盖的位姿转换，具体包括以下步骤：

26、步骤333a、基于转换关系一和转换关系三，将配准矩阵t转换到夹爪坐标系中，得到矩阵t1；

27、其中，t1＝(t转换关系三-1)*((t转换关系一)*t*(t转换关系一-1))*t转换关系三；

28、步骤333b、基于矩阵t1和夹爪原点的初始位姿{x，y，z，rx，ry，rz}，通过将初始位姿左乘t1，获取每次油箱盖被夹爪夹紧时，夹爪原点在夹爪坐标系的位姿{x1，y1，z1,rx1，ry1，rz1}；

29、其中，当无人机每次停靠的位置变化时，每次油箱盖上任一x点在夹爪坐标系系下的位姿不同；油箱盖上x点相对于夹爪原点的位置固定，

30、当无人机每次停靠的位置变化时(小范围波动)，对应的配准矩阵t发生变化。

31、步骤333c、将位姿{x1，y1，z1,rx1，ry1，rz1}存储至控制系统，以供步骤5调用；

32、步骤4、获取油箱口空间位姿信息，具体包括以下步骤：

33、步骤41、获取油箱口点云主体，即点集{p}：根据步骤322中输出的油箱盖处点云，进行点云剪裁，噪点剔除，获取油箱口点云主体，包括油箱口端口点云端口及附近的点云；

34、步骤42、获取油箱口端口点云，即点集{pb}，具体包括以下步骤：

35、边缘提取，采用滚球法进行边缘提取，获取油箱盖边缘点云，即点集{pnew}；

36、计算油箱盖边缘点云质心c，并按照质心缩放点云，以形成油箱口端口点云{pb}；

37、步骤43、获取油枪的朝向，具体包括：

38、对油箱口端口点云{pb}进行平面拟合，获取油箱口端口的点所在平面方程a3 x+b3 y+c3 z+d＝0；

39、其中，平面方程的法线向量(a3,b3,c3)，即油箱口端口向量；

40、其中，质心c、法线向量(a3,b3,c3)均基于3d视觉系统坐标系；

41、步骤44、获取油箱口端口空间位姿，具体包括以下步骤：

42、步骤441、基于转换关系一和转换关系二，将质心c、法线向量(a3,b3,c3)转换至油枪坐标系下，分别对应得到cnew、向量(anew,bnew,cnew)；

43、其中，新转换关系为：(t转换关系二-1)*((t转换关系一)*t*(t转换关系一-1))*t转换关系二

44、步骤442、确定油枪的朝向，具体包括：

45、判断向量(anew,bnew,cnew)与默认加油位姿(ain,bin,cin)之间的角度是否大于90度；若是，油枪的朝向为cnew，{-anew,-bnew,-cnew}，否则，油枪的朝向为cnew、向量(anew,bnew,cnew)；

46、其中，默认加油位姿(ain,bin,cin)为设定值；

47、步骤443、将油枪朝向储至控制系统，以供步骤6调用；

48、步骤5：机器人系统拧开油箱盖：根据步骤333c输入至控制系统的位姿信息，移动机器人末端夹爪至油箱盖处，夹爪夹紧油箱盖，之后拧开油箱盖；

49、步骤6：机器人系统加油：根据步骤443输入至控制系统的油枪朝向，移动油枪到对应处，进行加油；

50、步骤7：机器人完成加油，归位。

51、优选地，步骤42具体包括以下步骤：

52、步骤421、设置一个判别半径r，在点集{p}中过任意两点p1、p2绘制半径为r的圆；

53、若圆内没有其他数据点，判断点p1、p2是边界点，其连线p1p2为边界线段；

54、步骤422、遍历点集{p}中任意两点，重复步骤1，得到边界点集{pnew}；

55、步骤423、计算点集{pnew}质心，得到质心c，质心为空间坐标{x,y,z}；

56、步骤424、将点集{pnew}按照质心c进行缩放k倍，此时得到油箱口端口点云{pb}；其中，k为设定值。

57、优选地，步骤31具体包括以下步骤：

58、采用阿尔法均值滤波器对3d视觉系统中左相机2d图像m进行滤波,得到新的m1，采用非线性校正进行图像对比度校正；

59、采用surf目标识别方法，识别无人机油箱盖，进行roi框定位并获取roi框坐标。

60、优选地，步骤43中采用最小二乘法拟合平面方程。

61、优选地，步骤7具体包括：

62、机器人完成加油，根据控制系统发送的停止信号，油枪停止注油，机器人携带油枪移出加油口，夹爪移动油盖移至油箱口并重新拧紧，拧紧后松开夹爪，机器人移至初始位。

63、一种基于3d视觉的无人机加油系统，包括：无人机升降系统、机器人系统、3d视觉系统、控制系统、夹爪及油枪；

64、所述无人机升降系统负责无人机的升降，通过升降无人机移至3d视觉系统的相机视野内；

65、所述机器人系统固定在无人机升降系统一侧，包括机器人本体，通过控制系统发送的信息携带夹爪或油枪进行操作；

66、所述3d视觉系统包括3d相机，其固定在机器人末端，且通过介质与控制系统进行信息连接，负责油箱图像数据采集并传回控制系统；

67、所述控制系统包括上位机，通过3d相机传回的数据计算无人机油箱盖及油箱口位姿，并将两位姿发送至机器人系统；

68、所述夹爪、油枪安装在机器人末端，夹爪负责拧开无人机油箱盖，油枪负责插入油箱口加油。

69、与现有技术相比，本发明的优点为：

70、1、通过3d视觉系统采集油箱盖点云，并能够自动定位油箱盖及油箱口空间位姿，实时调整夹爪及油枪位姿，实现自动加油，识别精度高，效率高。

71、2、通过对无人机油箱盖和油箱口的精确定位识别，系统可适应多种型号的油动无人机，提高机器人柔性化生产水平，增加企业竞争力。