基于手势控制的机械臂示教系统的制作方法

本发明涉及一种基于手势控制的机械臂示教系统，使实际机械臂通过人体手臂及手势的变化而做出与人体手臂以及手势相同的动作。

背景技术：

随着《中国制造2025》的出台，我国制造业正式踏上了以智能制造为重要发展方向的转型升级之路。机器人替代人工生产已经成为未来制造业重要的发展趋势，工业机器人作为“制造业皇冠顶端的明珠”，将大力推动工业自动化、数字化、智能化的早日实现，为智能制造奠定基础。

伴随着工业的快速发展，人们对工业机械臂的要求也越来越高，不仅要求工业机械臂能长期稳定地完成重复工作，还要具备智能化、网络化、开放性、人机友好性的特点。传统的机械臂示教对操作员的要求很高，人机交互不是很自然。因此，采用自然、高效的人机交互方式实现多自由度机械臂的精准控制，是值得深入研究的。示教技术正在向着利于快速示教编程和增强人机协作能力的方向发展。直接示教(directteaching)技术与传统的示教盒示教技术相比具有效率高、操作友好简单、对操作者要求低等优点，从而变成现在工业机器人的发展方向。

现在工业机器人的示教方法多种多样，它们的分类依据也大不相同。对于在线示教指通常所说的手把手示教，在这种示教中，为了示教方便以获取信息的快捷而准确，操作者可以选择在不同的示教系下示教。例如，可以选择关节坐标系，直角坐标系以及工具坐标系或用户坐标系下进行示教。在线示教具有示教过程简单，不需要环境模型；对实际的机器人进行示教时，可以修正机械结构带来的误差等优越性，但也存在技术问题，如机器人的在线示教过程繁琐、效率低；示教的精度完全靠示教者的经验目测决定，对于复杂路径难以取得令人满意的示教效果，对于一些根据外部信息进行实时决策的应用无能为力。为了解决这种问题，工业界提出了一种利用手势并结合传感器技术的手势控制方法。

目前关于手势识别的研究很多，但国内的研究和国外的相比，进展较慢。肖立峰、彭金豹提出基于手势识别的机械臂控制方法及系统(肖立峰、彭金豹.基于手势识别的机械臂控制方法及系统[p].北京：cn106272409a，2017-01-04)，基于手势识别的机械臂控制方法及系统提出一种通过采集操作者手部运动数据然后映射为机械臂的运动，转化输出机械臂的控制命令，但是识别的手势相比较而言比较少；刘世平、赫向阳、李世其等提出的一种仿人机械臂体感控制系统及控制方法(刘世平、赫向阳、李世其、付艳、甘凯、汤贤.一种防人机械臂体感控制系统及控制方法：中国，cn106313049a，2017-01-11)，但是其仿人机械臂的自由度过多，导致机械臂控制不精确，使其存在很大的安全隐患。

技术实现要素：

本发明要克服现有技术的上述缺点，提出一种基于手势控制的机械臂示教系统。

首先该系统使用蓝牙无线通信技术，实现了无线控制，连接方便，数据传输高效稳定，而且无线控制可以扩展工作空间；其次该系统采用两个智能腕带，通过它们所采集到的数据得出人臂的姿态和手势从而将其转换成机械臂控制的指令，使用智能腕带使采集到的数据更加稳定，计算结果更加准确，控制机械臂也更加准确；最后该系统利用肌电信号和陀螺仪信号来识别手势，识别的精度更高，效果更好。

本发明为解决现有技术问题所采用的技术方案是：

一种基于手势控制的机械臂示教系统，其特征在于：所述的基于手势控制的机械臂示教系统，包括依次连接的智能腕带模块、远程客户端模块、蓝牙通信模块、数据处理模块、仿真模块和机械臂执行模块；智能腕带通过蓝牙无线连接pc端，将智能腕带模块采集的肌电信号传递给远程客户端；远程客户端接收到信号后，将信号传输到数据处理模块，在数据处理模块中，对信号进行滤波降噪处理，处理后将手势分类；然后将手势动作的信号发送给仿真模块中的仿人臂模型；将仿人臂的末端位置传递给仿真模块中的机械臂模型；仿真模块中的机械臂模型将角度信号作为指令发送给机械臂执行模块；

使用智能腕带进行信号采集，将采集到的信息进行滤波处理，智能腕带通过蓝牙适配器与远程客户端进行无线连接，远程客户端与机械臂执行模块通过tcp/ip协议连接；

各模块的具体构成是：

智能腕带模块：该模块通过蓝牙模块连接远程客户端，并且该模块是可穿戴的，智能腕带模块为无线智能腕带，其包含九轴惯性测量单元，三轴陀螺仪，三轴加速度计和三轴磁力计，进行陀螺仪信号的采集；智能腕带还有数块大小厚薄不一的生物电传感器单元，每个传感器又分为若干个电极，通过电极就可以捕捉用户手臂肌肉运动时产生的生物电变化即肌电信号；

蓝牙通信模块：蓝牙模块一端连接智能腕带模块另一端通过蓝牙的无线传输功能实现与远程客户端的无线连接；蓝牙通信模块通过无线连接实现蓝牙模块与智能腕带的双向通信；蓝牙模块通过接收远程客户端传输过来的数据和指令信号，并将其发送给智能腕带模块；

远程客户端模块：远程客户端模块一端通过蓝牙通信模块连接智能腕带模块，另一端连接数据处理模块；远程客户端模块通过蓝牙通信模块接收智能腕带模块采集到的肌电信号和陀螺仪信号数据，再将肌电信号和陀螺仪信号传输给数据处理模块；

数据处理模块：该模块一端连接远程客户端，另一端连接仿真模块；该模块接收来自远程客户端模块中的肌电信号和陀螺仪信号，将接收到的信号与数据通过卡尔曼滤波、低通滤波和正逆运动学求解计算出腕带使用者手臂的关节角度，同时对于可疑的数据进行剔除，将范围内的关节角度数据传递给仿真模块下的机械臂使其做出与人体相同的动作；

仿真模块：该模块一端与数据处理模块相连接，另一端通过tcp/ip协议与执行机械臂相连接；，模拟实际机械臂的工作执行情况；该模块通过网络通信接收数据处理模块的数据，再将接收到的数据传输到仿真模块中的仿真机械臂，使仿真模块中的仿真机械臂模拟出使用者手臂的动作；再通过tcp/ip协议，向机械臂执行模块发送仿真的数据包；

机械臂执行模块：该模块通过tcp/ip协议与仿真模块相连接，通过接收仿真模块的数据包使实际机械臂完成与仿真机械臂相同的动作；

所述的基于手势控制的机械臂示教系统的电脑客户端是基于linux的开源机器人系统ros的可视化工具rviz。

所述的数据处理模块，当系统中的数据处理模块接收到来自远程客户端发送过来的陀螺仪信号和肌电信号后，数据处理模块将接收到的信号与数据先通过滤波算法去除信号中的噪声；然后对坐标和关节角进行求解，同时对于可疑的数据进行剔除，将范围内的关节角度数据优化后传递给仿真模块下的机械臂，使其做出与人体相同的动作。

本发明的优点和积极效果是：

本发明设计了pc端软件，使用蓝牙无线通信技术，相较于传统的示教器，蓝牙无线通信可以避免有线的拘束。该系统采用肌电信号和陀螺仪信号实现手势的识别，识别精度更高、识别的手势更多、控制机械臂更准确、控制方法更便捷。机械臂示教可以通过直接读取人体手臂的肌电信号，远程控制机械臂完成规定的动作，可以远离危险、污染或者太空等不利于直接接触的环境，避免发生危险。在虚拟的环境中，通过手势来完成物体抓取，控制物体前进等，可以增强虚拟环境的真实感。

附图说明

图1a-图1c为本发明的平台组成示意图，其中图1a是上位机示教效果显示界面，图1b是myo智能腕带，图1c是ur5机器人。

图2为两个智能腕带的佩戴方式图

图3为本发明的系统示意图。

图4为本发明的控制原理框图。

具体实施方式

以下结合附图对本发明做进一步详述。

基于手势控制的机械臂示教系统，如图1所示，平台组成主要包括远程客户端模块中的rviz仿真界面图1、myo智能腕带2和六自由度机械臂3。pc端软件安装在用户的linux电脑上，便于读取智能腕带myo的信号以及处理数据，智能腕带与pc端软件，通过蓝牙连接，将无线蓝牙适配器插在电脑上；pc端软件与六自由度机械臂通过局域网无线连接。

图2给出了示教过程中两个智能腕带的佩戴方法：一个戴在操作者的前臂上，一个戴在操作者的同一条手臂的上臂上。操作人员佩戴好两个智能腕带之后，通过手势的动作做出相应的动作以及指令，然后发送给仿真模块中的机械臂，经过数据处理模块后，将处理后的数据通过tcp/ip协议发送给机械臂执行模块，使实际机械臂做出相应的动作。

结合图3本发明的系统示意图和图4本发明的控制原理框图：本系统依次包括智能腕带模块、蓝牙通信模块、远程客户端模块、数据处理模块、仿真模块、机械臂执行模块，各模块构成如下：

智能腕带模块：该模块通过蓝牙模块连接远程客户端，并且该模块是可穿戴的，智能腕带模块为无线智能腕带，其包含九轴惯性测量单元，三轴陀螺仪，三轴加速度计和三轴磁力计，进行陀螺仪信号的采集；智能腕带还有8块大小厚薄不一的生物电传感器单元，每个传感器又分为3个电极，通过这24个电极就可以捕捉用户手臂肌肉运动时产生的生物电变化即肌电信号。智能腕带捕捉手势的速度非常快，它捕捉的是人体手臂的肌电信号，并且智能腕带不受场地的限制，交互时会更加自然，同时这是可穿戴的，在移动领域智能腕带具有比较大的优势。

蓝牙通信模块：蓝牙模块蓝牙模块采用ble4.0蓝牙，该模块一端连接智能腕带模块另一端通过蓝牙的无线传输功能实现与远程客户端的无线连接；蓝牙通信模块通过无线连接实现蓝牙模块与智能腕带的双向通信；蓝牙模块通过接收远程客户端传输过来的数据和指令信号，并将其发送给智能腕带模块；智能腕带和远程客户端软件通过蓝牙模块无线连接，远程客户端软件通过蓝牙适配器接收信号；通过蓝牙通信模块，智能腕带可以向远程客户端软件发送传感器信号和肌电信号。

远程客户端模块：远程客户端模块一端通过蓝牙通信模块连接智能腕带模块，另一端连接数据处理模块；远程客户端模块通过蓝牙通信模块接收智能腕带模块采集到的肌电信号和陀螺仪信号数据，再将肌电信号和陀螺仪信号传输给数据处理模块；并且该模块是操作人员和工作机械臂互相通信的一个桥梁。操作人员佩戴好2个myo腕带之后，做出动作以及其他指令，远程客户端就可以处理这些数据，然后将这些转换成机械臂的运动信号。最后将这些信号发送给机器人控制箱，机器人控制箱再将信号转化为机械臂的运动指令，而且远程客户端还能够实时收集通过服务器传递过来的机械臂的运动状态和传感器的各类信息，从而确保机械臂运动的位置的准确。

数据处理模块：该模块一端连接远程客户端，另一端连接仿真模块；该模块接收来自远程客户端模块中的肌电信号和陀螺仪信号，将接收到的信号与数据通过滤波和正逆运动学求解计算出腕带使用者手臂的关节角度，同时对于可疑的数据进行剔除，将范围内的关节角度数据传递给仿真模块下的机械臂使其做出与人体相同的动作；

仿真模块：该模块一端与数据处理模块相连接，另一端通过tcp/ip协议与执行机械臂相连接；该模块使用linux平台下的ros仿真软件，模拟工作机械臂的工作执行情况；该模块通过网络通信接收数据处理模块的数据，再将接收到的数据传输到仿真模块中的ros仿真软件，使仿真模块中的仿真软件中的机械臂模拟出使用者手臂的动作；再通过tcp/ip协议，向机械臂执行模块发送仿真的数据包。

机械臂执行模块：该模块通过tcp/ip协议与仿真模块相连接，通过接收仿真模块的数据包使实际机械臂完成与仿真机械臂相同的动作。

示教过程中，用户将智能腕带myo通过蓝牙与pc端软件相连，pc端软件与机械臂通过局域网连接之后，用户即可运行机器人系统。

pc端软件接收到来自用户的开启指令之后，进入工作状态；用户佩戴好腕带之后做握拳手势，即复位命令；信号稳定之后，用户便可以做出相应的手势来控制机械臂。

智能腕带中的体感传感器(陀螺仪)模块主要由myo智能腕带和usb蓝牙适配器组成，体感传感器模块连接pc端软件之后，执行采集功能，将陀螺仪信号和肌电信号实时传递给pc端软件，pc端软件将收到的数据发送到数据处理模块，经过数据处理之后得到仿真模块中仿人臂的关节角度，通过将关节角度转换为机械臂的末端位置，将末端位置发送给机械臂并保存。

在采集过程中，采集到的角度数据会通过蓝牙无线通信同步发送给ros仿真软件，ros软件中的虚拟工作机械臂会跟随操作人员的手势同步运动；虚拟工作臂再通过局域网将信号传递给真实的机械臂，机械臂接收到信号之后也随着操作人员的动作一起运动，同时操作人员手掌可以做出特定的手势向机械臂发送指令，这样就能让机械臂跟随操作人员的手势运动，执行操作指令，可以完成很多人无法进入实际空间的操作，达到很好的示教效果。

数据处理模块收到末端位置数据包后，结合当前所使用的机械臂型号的结构参数，用逆运动学公式结合当前所使用的机械臂型号的结构参数得到每个采集时刻优化后的运动角度数据包。使机械臂在示教过程中具有更好的实时性和精确性。

要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的类似的其它实施方式，同样属于本发明的保护范围。