借助虚拟现实的无人机机械臂空中作业系统及其控制方法与流程

本发明涉及无人机应用领域，尤其涉及一种借助虚拟现实的无人机机械臂空中作业系统及其控制方法。

背景技术：

随着以旋翼型飞行器为代表的无人机技术迅速发展，无人机在侦察、航拍等领域得到了广泛应用。为了进一步开发无人机的应用潜力，在无人机上装配机械臂，使无人机能对物体进行抓取、移动等作业已经成为研究热点。让无人机自动识别物体并抓取的技术现在尚不成熟，存在实现难度大，灵活性低等缺点。通过人眼或摄像头获取无人机与被抓取物体的状态，然后操作机械臂完成抓取作业是一种技术简单容易实现的方式。但由于人眼与摄像头的视角限制，物体抓取的精度与效果受到极大影响。

为了增大摄像头的可视范围，可将摄像头安装于云台上，从而实现摄像头的视角控制。通过操纵杆控制云台的方式虽然能实现对云台的运动控制，但是会干扰操作员控制机械臂，严重影响机械臂的控制精度和效果。

技术实现要素：

本发明针对无人机机械臂遥控操作时视野受限以及云台操作干扰机械臂操作的问题，提供一种借助虚拟现实的无人机机械臂空中作业系统及其控制方法，该系统有效克服背景技术中遇到的问题，满足无人机在搬运物体等领域对物体抓取精度和速度的较高要求。

本发明的目的是通过以下技术方案来实现的：一种借助虚拟现实的无人机机械臂空中作业系统，它由无人机部分和地面站部分组成；其中，

所述无人机部分包括三轴自稳云台、摄像头、无人机图传模块、无人机数传模块、机械臂、机载计算机；所述地面站部分包括虚拟现实眼镜、地面站数传模块、地面站图传模块、机械臂操作模块、地面站计算机；

所述摄像头固定于三轴自稳云台末端，用于采集机械臂运动环境图像，并将图像信息发送给无人机图传模块；

所述三轴自稳云台用于维持摄像头指向稳定；

所述无人机图传模块接收摄像头发送的图像信息，并将图像信息发送给地面站图传模块；

所述地面站图传模块将接收到的视频信息发送给地面站计算机；

所述虚拟现实眼镜包含视频显示器和头部姿态测量模块；

所述头部姿态测量模块包括加速度计、陀螺仪和磁力计，用于实时测量头部姿态信息，并将头部姿态信息发送给地面站计算机，地面站计算机将头部姿态信息传递给地面站数传模块；

所述机械臂操作模块发送机械臂操作指令给地面站计算机，地面站计算机将机械臂操作指令解算为机械臂控制指令，并将机械臂控制指令发送给地面站数传模块；

所述地面站数传模块将接收到的头部姿态信息与机械臂控制指令发送给无人机数传模块；

所述无人机数传模块将接收到的头部姿态信息与机械臂控制指令发送给机载计算机；

所述机载计算机将接收到的头部姿态信息解算为三轴自稳云台的云台控制指令，并将云台控制指令发送给三轴自稳云台，从而改变三轴自稳云台的姿态，机载计算机将接收到的机械臂控制指令发送给机械臂，改变机械臂的姿态；

所述地面站计算机将接收到的视频信息发送给视频显示器进行实时显示。

本发明还提供一种借助虚拟现实的无人机机械臂空中作业系统的控制方法，包括如下步骤：

(1)人戴上虚拟现实眼镜之后，虚拟现实眼镜测量到的头部转动信息通过SDK传入地面站计算机；

(2)机械臂操作模块的XY方向偏差操控量传入地面站计算机；

(3)在地面站计算机中，该头部转动测量值作为PID控制器的设定值，通过计算该设定值和当前云台角度的差值，通过PID控制器计算云台旋转控制量的值；

(4)在地面站计算机中，云台旋转控制量和机械臂XY操纵量通过串口发送程序将其转为十六进制数据流，加上数据头和校验位成为数据包，发送给地面站数传模块；

(5)地面站数传模块将数据包发送给无人机数传模块；

(6)机载计算机通过无人机数传模块获得数据包，获得云台旋转控制量和机械臂XY操纵量；

(7)机载计算机将该云台旋转控制量和机械臂XY操纵量生成对应的PWM波，发送给三轴自稳云台和机械臂；

(8)三轴自稳云台上的电机和机械臂上的舵机旋转，达到操纵员指定的位置；

(9)摄像头被三轴自稳云台带动旋转，视频流发送给无人机图传模块；

(10)无人机图传模块将视频流发送给地面站图传模块，进而传输给地面站计算机；

(11)地面站计算机获得视频流，在窗口中播放，通过屏幕复制模式将视频输入虚拟现实眼镜。

本发明的有益效果是：本发明借助虚拟现实眼镜与摄像头实现无人机机械臂操作视角的虚拟移植；将摄像头搭载于三轴自稳云台上，极大扩展操作机械臂的可视范围；通过测量头部姿态信息来解算三轴自稳云台控制指令，降低了云台的控制难度，并且使得操作员的双手可以专注于控制机械臂，从而提高物体抓取精度和速度。

附图说明

图1是本发明的系统框图；

图2是本发明实施例的结构示意图；

图中，摄像头1、三轴自稳云台2、无人机图传模块3、地面站图传模块4、虚拟现实眼镜5、机械臂操作模块6、地面站数传模块7、无人机数传模块8、机载计算机9、地面站计算机10、机械臂11。

具体实施方式

下面结合附图对本发明做进一步说明：

如图1所示，一种借助虚拟现实的无人机机械臂空中作业系统，其特征在于，它由无人机部分和地面站部分组成；其中，

所述无人机部分包括三轴自稳云台2、摄像头1、无人机图传模块3、无人机数传模块8、机械臂11、机载计算机9；所述地面站部分包括虚拟现实眼镜5、地面站数传模块7、地面站图传模块4、机械臂操作模块6、地面站计算机10；

所述摄像头1固定于三轴自稳云台2末端，用于采集机械臂11运动环境图像，并将图像信息发送给无人机图传模块3；

所述三轴自稳云台2用于维持摄像头1指向稳定；

所述无人机图传模块3接收摄像头1发送的图像信息，并将图像信息发送给地面站图传模块4；

所述地面站图传模块4将接收到的视频信息发送给地面站计算机10；

所述虚拟现实眼镜5包含视频显示器和头部姿态测量模块；

所述头部姿态测量模块包括加速度计、陀螺仪和磁力计，用于实时测量头部姿态信息，并将头部姿态信息发送给地面站计算机10，地面站计算机10将头部姿态信息传递给地面站数传模块7；

所述机械臂操作模块6发送机械臂操作指令给地面站计算机10，地面站计算机10将机械臂操作指令解算为机械臂控制指令，并将机械臂控制指令发送给地面站数传模块7；

所述地面站数传模块7将接收到的头部姿态信息与机械臂控制指令发送给无人机数传模块8；

所述无人机数传模块8将接收到的头部姿态信息与机械臂控制指令发送给机载计算机9；

所述机载计算机9将接收到的头部姿态信息解算为三轴自稳云台2的云台控制指令，并将云台控制指令发送给三轴自稳云台2，从而改变三轴自稳云台2的姿态，机载计算机9将接收到的机械臂控制指令发送给机械臂11，改变机械臂11的姿态；

所述地面站计算机10将接收到的视频信息发送给视频显示器进行实时显示。

本发明中虚拟现实眼镜可以采用Oculus公司Oculus DK2型号的产品，但不限于此；

本发明中地面站数传模块可以采用MaxStream公司的XBee Pro数传模块，但不限于此；

本发明中地面站图传模块选用DJI公司的Lightbridge，但不限于此；

本发明中机械臂操作模块选用奥松机器人的PS2摇杆模块，但不限于此；

本发明中地面站计算机选用戴尔公司的Precision M7510，但不限于此；

本发明中三轴自稳云台选用飞宇科技公司的Mini 3D航拍云台，但不限于此；

本发明中摄像头选用GoPro公司的GoPro Hero 3+，但不限于此；

本发明中无人机图传模块选用DJI公司的Lightbridge，但不限于此；

本发明中无人机数传模块选用MaxStream公司的XBee Pro数传模块，但不限于此；

本发明中机械臂选用奥松机器人的AS-6DOF机械臂，但不限于此；

本发明中机载计算机选用Intel公司的NUC，但不限于此；

本发明的工作过程如下：

(1)人戴上虚拟现实眼镜5之后，虚拟现实眼镜5测量到的头部转动信息通过SDK传入地面站计算机10；

(2)机械臂操作模块6的XY方向偏差操控量传入地面站计算机10；

(3)在地面站计算机10中，该头部转动测量值作为PID控制器的设定值，通过计算该设定值和当前云台角度的差值，通过PID控制器计算云台旋转控制量的值；

(4)在地面站计算机10中，云台旋转控制量和机械臂XY操纵量通过串口发送程序将其转为十六进制数据流，加上数据头和校验位成为数据包，发送给地面站数传模块7；

(5)地面站数传模块7将数据包发送给无人机数传模块8；

(6)机载计算机9通过无人机数传模块8获得数据包，获得云台旋转控制量和机械臂XY操纵量；

(7)机载计算机9将该云台旋转控制量和机械臂XY操纵量生成对应的PWM波，发送给三轴自稳云台2和机械臂11；

(8)三轴自稳云台2上的电机和机械臂11上的舵机旋转，达到操纵员指定的位置；

(9)摄像头1被三轴自稳云台2带动旋转，视频流发送给无人机图传模块3；

(10)无人机图传模块3将视频流发送给地面站图传模块4，进而传输给地面站计算机10；

(11)地面站计算机10获得视频流，在窗口中播放，通过屏幕复制模式将视频输入虚拟现实眼镜5。

上述具体实施方案用来解释说明本发明，仅为本发明的优选实施例而已，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改、等同替换、改进等，都落入本发明的保护范围。