本发明属于机器人技术领域，涉及一种基于多传感器融合的非接触式机器人人机交互系统。
背景技术：
随着人类对探索更广泛未知自然的渴望日益强烈，同时保护自身安全的观念逐步增强，在一系列诸如航空航天、卫星遥感遥测、深海探索以及核能开发等作业环境恶劣或必须在远距离下操纵作业的领域，都需要远程控制机器人进行作业的系统。机器人遥操作系统的实现，很大程度上改变了机器人作业方式并拓展了机器人的作业能力，使人们免于直接出现在机器人作业环境中，在本地即能对其进行控制。
机器人遥操作人机交互系统最主要的作用是尽可能准确地获取操作者的控制意图并下发控制指令。传统的交互设备(如键盘和手控器等)普遍需要操作者适应设备，操作方式机械，运动范围受限，交互过程不自然。
技术实现要素：
为解决上述问题，本发明公开了一种基于多传感器融合的非接触式机器人人机交互系统，灵活使用多种传感手段，让操作者在活动范围基本不受限制的情况下方便自如的下发控制指令，不对操作带来较大负担，增进了交互的自然性与主动性。
为了达到上述目的，本发明提供如下技术方案：
一种基于多传感器融合的非接触式机器人人机交互系统，包括：多通道表面肌电传感器、惯性测量单元、微处理器测量控制装置、数据通信装置、Kinect体感设备、振动反馈设备以及PC终端；
所述多通道表面肌电传感器设置在操作者手臂前臂上，用于采集肌电信号；所述惯性测量单元设置在操作者手臂前臂上，用于测量手臂前臂姿态角度；所述微处理器测量控制装置用于读取和转换多通道表面肌电传感器和惯性测量单元采集到的数据；所述数据通信装置用于接收微处理器测量控制装置输出的数据，并传送至PC终端；所述振动反馈设备设置在操作者身体上通过振动反馈给操作者操作提示，振动反馈设备与微处理器测量控制装置连接；所述Kinect体感设备用于测量人手手臂的关节位置信息并传输至PC终端；
所述PC终端包括数据显示模块、手臂运动解算模块、手部动作识别模块、机器人运动逆解算模块和虚拟场景渲染模块；
所述手臂运动解算模块根据采集到的手臂前臂的欧拉角以及手臂各关节的位置，通过姿态解算出手臂各关节的姿态角，获得操作者的手臂姿态变化情况；
所述手部动作识别模块通过对多通道表面肌电传感器采集的肌电信号进行特征提取并利用模式识别的方法，识别操作者手掌张合情况，将其用于机器人末端机械手爪的开合控制；
所述机器人运动逆解算模块将所述运动轨迹映射到机器人的运动坐标系中，通过逆解算计算出机器人的关节角，将其用于机器人控制；
所述虚拟场景渲染模块构建出机器人的三维虚拟场景，根据操作者手臂的运动与手部动作和逆解算模块计算出的机器人的关节角，实时渲染机器人的运动状态，在接收到机器人运动逆解算模块提供的各关节目标角度后，虚拟机器人转动到相应的角度。
进一步的，所述多通道表面肌电传感器为肌电臂环。
进一步的，所述的惯性测量单元为9轴MEMS传感器。
进一步的，所述振动反馈设备在操作者超出操作范围以及机械手爪抓取到物品等时刻提供相应的振动反馈。
进一步的，所述振动反馈设备为小型振动马达。
进一步的，所述数据通信装置包括蓝牙主从机。
进一步的，所述机器人运动逆解算模块利用KDL机器人运动学计算库，根据实际使用过程中的机器人各关节尺寸及其连接关系构建相应的数学模型，通过提供机器人末端位置及姿态角度进行逆解算过程，得出各关节的目标角度。
进一步的，所述虚拟场景渲染模块采用Unity3D游戏引擎构建机器人的三维虚拟场景。
与现有技术相比，本发明具有如下优点和有益效果：
首先本发明融合多种传感器，为非接触式人机交互方式，可实现通过操作者的手臂以及手部动作直接控制机器人，可用于机器人遥操作系统，降低了对操作者的空间束缚以及操作技巧的要求，有效提高了人机交互的自然性；其次，本发明构建了基于Unity3D游戏引擎的机器人虚拟场景，能够实时渲染机器人的运动状态，辅助操作者快速调整动作，让操作者直观的感受遥操作过程；此外，本发明还加入了振动反馈设备，在遥操作过程关键时间点为操作者提供振动反馈，可提高系统人机功效，同时增加遥操作安全性和可靠性。
附图说明
图1为本发明系统架构图。
具体实施方式
以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
如图1所示，本发明提供的基于多传感器融合的非接触式机器人人机交互系统，包括：多通道表面肌电传感器、惯性测量单元、微处理器测量控制装置、数据通信装置、Kinect体感设备、振动反馈设备以及PC终端。多通道表面肌电传感器设置在操作者手臂前臂上，用于采集肌电信号。惯性测量单元设置在操作者手臂前臂上，用于测量手臂前臂姿态角度。微处理器测量控制装置用于读取和转换多通道表面肌电传感器和惯性测量单元采集到的数据。数据通信装置用于接收微处理器测量控制装置输出的数据，并传送至PC终端。振动反馈设备设置在操作者身体上通过振动反馈给操作者一定的操作提示，微处理器测量控制装置与振动反馈设备连接向其下达振动指令。Kinect体感设备与PC终端具有数据连接，用于测量人手手臂的关节位置信息。
具体的说，多通道表面肌电传感器为佩戴在手臂前臂上肌电臂环。肌电臂环中每个通道对表面肌电信号进行滤波放大，得到有效频带为10Hz～500Hz放大约1000倍的信号，然后经过微处理器测量控制装置中的ADC将其转换为数字信号，采样频率为1kHz，这些数据最终通过数据通信装置发送至PC终端。
惯性测量单元为9轴MEMS传感器JY901，其固定于手臂前臂上，微处理器测量控制装置通过IIC总线与其通信，获得其测量的手臂前臂空间欧拉角，然后通过数据通信装置发送至PC终端，并在数据显示模块中显示。
微处理器测量控制装置由微处理器构成，用于读取和转换来自多通道表面肌电传感器和惯性测量单元的数据。
数据通信装置通过串口接收微处理器测量控制装置的数据，并通过蓝牙发送到PC终端。数据通信装置中包括蓝牙主从机。
Kinect设备可获取深度图像，通过USB数据线将数据传输至PC终端，利用Windows提供的Kinect SDK可得到人手手臂关于Kinect体感设备的各个关节位置信息，其中手臂末端手腕处的位置信息用来控制机器人。
所述的振动反馈设备为小型振动马达，同样固定在操作者手臂前臂上，在操作者超出操作范围以及机械手爪抓取到物品等时刻，PC终端可发送控制指令给微控制器测量控制装置启动振动马达以提供相应的振动反馈。
PC终端包括数据显示模块、手臂运动解算模块、手部动作识别模块、机器人运动逆解算模块和虚拟场景渲染模块。数据显示模块为显示屏。
手臂运动解算模块根据采集到的手臂前臂的欧拉角以及手臂各关节的位置，通过姿态解算出手臂各关节的姿态角，获得操作者的手臂姿态变化情况(即运动轨迹)。解算后的数据被发送至数据显示模块中进行显示。
手部动作识别模块通过对多通道表面肌电传感器采集的肌电信号进行特征提取并利用模式识别的方法，识别操作者手掌张合情况，将其用于机器人末端机械手爪的开合控制。模式识别的计算过程使用开源的SVM库LIBSVM。
机器人运动逆解算模块将手臂末端的位置以及欧拉角信息组合而成的运动轨迹映射到机器人的运动坐标系中，通过逆解算计算出机器人的关节角，将其用于机器人控制。具体实现，本发明利用基于C++语言的KDL机器人运动学计算库，根据实际使用过程中的机器人各关节尺寸及其连接关系构建相应的数学模型，通过提供机器人末端位置及姿态角度进行逆解算过程，得出各关节的目标角度。
虚拟场景渲染模块采用Unity3D游戏引擎构建出机器人的三维虚拟场景，根据操作者手臂的运动与手部动作和逆解算模块计算出的机器人的关节角，实时渲染机器人的运动状态。具体的，通过将机器人各关节的OBJ类型模型文件导入Unity3D中成为组件，然后将它们按照相应连接关系进行连接并设置父子组件关系，这样在转动父组件时，Unity3D会对其后的子组件自动跟随转动，无需单独调整。在接收到机器人运动逆解算模块提供的各关节目标角度后，虚拟机器人将转动到相应的角度，保证了虚拟场景中机器人跟随操作者手臂末端运动的一致性。
本系统实现方法如下：
当整个系统上电后，各模块均进行初始化工作。
在初始化过程中，微处理器测量控制装置开始对多通道表面肌电传感器的肌电信号进行AD转换，并从9轴MEMS传感器JY901读取姿态角度，当数据通信装置中蓝牙主从机完成自动匹配后，利用串口将这些数据发送到PC终端；同时，PC终端各模块进入准备状态，虚拟场景将机器人置于初始位置。
在PC终端打开Kinect和串口后，终端开始处理传感器的数据，完成手臂运动解算后将其置于数据显示模块进行显示。
完成机器人运动逆解算以及手部动作识别后，通过Socket将这些控制信息发送到虚拟场景渲染模块，虚拟场景进行对应的动作。当PC终端机器人运动逆解算模块解算失败，即操作者运动范围超出解算范围，或者机器人机械手抓成功完成抓取，则通过数据通信装置发送振动反馈指令给操作者振动提示。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。