一种基于肌电的人体运动意图实时连续预测方法与流程

本发明涉及人体运动意图实时连续预测技术领域，是一种基于肌电的人体运动意图实时连续预测方法。

背景技术：

机器人作为各领域学科高度融合的产物，自诞生以来，便极大解放了生产力。辅助机器人，即外骨骼机器人与动力假肢等，在养老助残，军事等领域都有着极大的研究开发价值。外骨骼机器人的独特之处在于，其工作空间与人体高度重合，机器人本体需要与人体高度协同。当外骨骼机械臂运行速度或运行轨迹与人体运动意图出现偏差时，极易阻碍人体的正常活动甚至造成伤害，这就要求基于运动意图感知的人机交互具有较高的精度与合理的助力策略。传统的外骨骼成为被动式外骨骼，它只能被动地接受外来控制指令，无法主动去判断助力时机。人机交互(human-robotinteraction，hri)技术通过对人体相关运动信息的处理，使得外骨骼从被动式过渡成主动理解人体的运动意图，并按照人体运动意图进行适当的辅助。

目前备受关注的生物电信号主要有脑电(electroencephalography，eeg)、眼电(electrooculography，eog)以及肌电(electromyography,emg)，相比较其它两种电信号，emg信号具有高度相关性及相对稳定性等特点，且具有可表面无创采集等便利条件，已经广泛应用于医疗诊断，运动分析以及交互游戏等相关领域之中。

利用emg信号对人体行为意图进行感知，在国内外的人机交互研究领域一直占有重要席位。人体存在肌电-机械延迟现象,即emg信号早于动作的发生，提前时间约为25-125ms，该特性为先于动作发生前对人体关节运动学参数进行预测提供了一种可能。brantley等人在2017年提出，连续emg信号可用作下肢膝关节与踝关节运动学参数的预估。jimson等人在2014年基于emg时域特征与信号包络对手指关节的角度进行预估时，将emd引入参考项，结果显示引入emd后，关节角度的预估精度获得提高。国内方面，2015年，沈阳自动化研究所的韩建达等人基于hill的肌肉模型，仅利用肱二头肌单通道emg信号的波长和过零率特征，借助imu传感器对上肢运动进行了角度预估，在闭环预估中，其拟合效果非常好，而在开环预估中其最终趋于发散。2017年，上海交通大学的夏鹏等人使用肱二头肌、肱三头肌、前三角肌、后三角肌与中三角肌的emg信号，采用卷积神经网络(convolutionalneuralnetwork,cnn)与递归神经网络(recurrentneuralnetwork,rnn)的组合模型，对人体上肢动作轨迹进行了估计，达到了较好的效果。

在emg信号的处理过程中，鲁棒特征的提取、相关程序的运行都会占用时间，且采样时刻对应的emg信号分析结果对于结果输出时刻时的运动状态不能良好匹配。除此之外，助行设备本身的机械迟滞与控制迟滞，会加剧该问题。

技术实现要素：

本发明为解决emg信号分析结果对于结果输出时刻时的运动状态不能良好匹配，存在机械迟滞与控制迟滞的问题，本发明提供了一种基于肌电的人体运动意图实时连续预测方法，本发明提供了以下技术方案：

一种基于肌电的人体运动意图实时连续预测方法，包括以下步骤；

步骤1：提取人体单侧下肢emg信号和imu信号，设定评价阈值；

步骤2：分别选择大腿和小腿任意一个电极采集到的imu信号，通过下肢运动学解算算法求得当前时刻膝关节角度；

步骤3：采用滑动时间窗法对下肢emg信号和当前时刻膝关节角度进行重采样；

步骤4：建立五个相同网络结构的lstm角度预测器，并与五种运动模式相对应；将emg信号与当前时刻膝关节角度根据标记的运动模式标签放入对应的lstm角度预测器进行训练，将时间戳向后推移一定时间后的同数据长度膝关节角度向量作为预测器训练标签；

步骤5：根据训练完毕的lstm角度预测器，通过运动模式分类算法确定当前的运动模式，并根据当前的运动模式将数据输入至对应的lstm预测器进行实时角度预测；

步骤6：将预测器输出角度值时间戳整体向前推移一定时间，并与实时膝关节角度进行对比，得到评价标准均方根误差rmse，当评价标准均方根误差rmse小于设定的阈值时，预测器输出角度准确。

优选地，所述步骤1具体为：

将信号采集设备贴在人体单侧下的肢股直肌、股外侧肌、股内侧肌、胫骨前肌、半腱肌、股二头肌长头、外侧腓肠肌及内侧腓肠肌八块肌肉提取emg信号和imu信号，并设定评价阈值；

进行视频录制，通过视频判断每个数据点对应的运动模式标签，所述运动模式分为平地、上楼梯、下楼梯、上斜坡和下斜坡五种模式。

优选地，所述信号采集设备采用delsystrigno肌电采集系统，所述系统包含无线通信基站与16个无线肌电电极，每个电极内置有emg及imu信号采集器。

优选地，所述步骤2具体为：

分别选择大腿和小腿任意一个电极采集到的imu信号，将采集到的imu信号每采集固定长度数据通过无线模块传输至开发板卡，搭载在开发板卡的下肢运动学解算算法求得当前时刻膝关节角度，所述当前时刻膝关节角度频率与imu信号频率一致。

优选地，滑动时间窗两端均对应emg信号与关节角度信号的同步点，滑动时间窗的步进长度保滑动后的时间窗内emg及角度数据互相同步，采用滑动时间窗法对下肢emg信号和当前时刻膝关节角度进行重采样。

优选地，建立五个相同网络结构的lstm角度预测器，并与五种运动模式相对应；将emg信号与当前时刻膝关节角度根据标记的运动模式标签放入对应的lstm角度预测器进行训练，将时间戳向后推移27ms-300ms后的同数据长度膝关节角度向量作为预测器训练标签，采用k折交叉验证法，每次取一个样本作为测试集，其余k-1个样本作为训练集，重复k次实验，使得每个样本均可作为一次测试集数。

优选地，在每次训练开始前，训练数据均以样本为单位进行随机混洗。

优选地，所述步骤5具体为：所述emg信号与imu信号每采集固定长度数据通过无线模块传输至开发板卡，通过搭载在板卡的运动模式分类器根据emg及imu信号判断运动模式并保存，通过搭载开发板卡的下肢运动学解算算法求解实时膝关节角度并保存，将解算得到的实时膝关节角度及对应的emg信号通过分类出的运动模式输入到对应的lstm角度预测器进行角度预测，并保存结果。

优选地，所述步骤6具体为：提取lstm角度预测器的预测结果和下肢运动学解算算法求解实时膝关节角度，将lstm角度预测器输出角度值时间戳整体向前推移27ms-300ms，并与下肢运动学解算算法求解实时膝关节角度，得到评价标准均方根误差rmse，通过下式表示评价标准均方差：

其中，θp为lstm角度预测器的预测结果，θr表示实时膝关节角度，n为试验次数；

当评价标准均方根误差rmse小于设定的阈值时，预测器输出角度准确；当评价标准均方根误差rmse大于设定的阈值时，重新采集数据进行训练。

优选地，所述开发板卡搭载nvidiapascal架构gpu、2个denver64位cpu以及四核a57复合处理器，配有linuxubuntu操作系统和通信接口。

本发明具有以下有益效果：

本发明实时解算得到的膝关节角度预测27-300ms的膝关节角度，该预测值的作用是提供运动参数输出的同时弥补决策命令传输过程中的系统延迟。本发明的训练数据均以样本为单位进行随机混洗(shuffle)，可以减小固定数据顺序对预测模型参数的过拟合影响。lstm通过设置“门结构”对相关信息进行筛选，以解决递归神经网络中的长期依赖问题，同时也在很大程度上消除了递归神经网络模型训练过程中的梯度爆炸与梯度消失的问题。

附图说明

图1为基于肌电的人体运动意图实时连续预测方法流程图；

图2为将信号采集设备粘贴位置示意图；

图3为验证实验环境；

图4为基于lstm构建的下肢关节角度预测模型网络。

具体实施方式

以下结合具体实施例，对本发明进行了详细说明。

具体实施例一：

根据图1所示，本发明提供一种基于肌电的人体运动意图实时连续预测方法，包括以下步骤：

一种基于肌电的人体运动意图实时连续预测方法，包括以下步骤；

步骤1：提取人体单侧下肢emg信号和imu信号，设定评价阈值；所述步骤1具体为：

根据图2所示，将信号采集设备贴在人体单侧下的肢股直肌、股外侧肌、股内侧肌、胫骨前肌、半腱肌、股二头肌长头、外侧腓肠肌及内侧腓肠肌八块肌肉提取emg信号和imu信号，并设定评价阈值；

进行视频录制，通过视频判断每个数据点对应的运动模式标签，所述运动模式分为平地、上楼梯、下楼梯、上斜坡或者下斜坡五种模式。

根据图3所示，本发明针对五种下肢运动模式，分别为平地、上楼梯、下楼梯、上斜坡及下斜坡，基于长短期记忆神经网络开发了针对于不同运动模式的膝关节角度预测模型，可以实现基于当前时刻的emg信号与膝关节角度预测未来膝关节角度，在定量分析角度对人体下肢运动意图进行感知与预测。

长短期记忆神经网络(longshort-termmemory,lstm)是递归神经网络的变体之一，在语音识别以及语言翻译领域内都有较为成熟的应用，非常适合处理时序信息。lstm通过设置“门结构”对相关信息进行筛选，以解决递归神经网络中的长期依赖问题，同时也在很大程度上消除了递归神经网络模型训练过程中的梯度爆炸与梯度消失的问题。本发明提出的基于lstm构建的下肢关节角度预测模型网络，由emg信号特征提取器与lstm角度预测器，模型网络结构根据图4所示，emg信号特征提取器使用，线性层输出提取到的emg特征向量。lstm角度预测器作为下肢关节角度预测器使用，将当前关节角度及第一部分得出的特征向量作为输入，输出为未来时刻关节角度

所述信号采集设备采用delsystrigno肌电采集系统，所述系统包含无线通信基站与16个无线肌电电极，每个电极内置有emg及imu信号采集器。

步骤2：分别选择大腿和小腿任意一个电极采集到的imu信号，通过下肢运动学解算算法求得当前时刻膝关节角度；

所述步骤2具体为：

分别选择大腿和小腿任意一个电极采集到的imu信号，将采集到的imu信号每采集固定长度数据通过无线模块传输至nvidiajetsontx2开发板卡，搭载在nvidiajetsontx2开发板卡的下肢运动学解算算法求得当前时刻膝关节角度，所述当前时刻膝关节角度频率与imu信号频率一致。所述nvidiajetsontx2开发板卡搭载nvidiapascal架构gpu、2个denver64位cpu以及四核a57复合处理器，配有linuxubuntu操作系统和通信接口。

步骤3：采用滑动时间窗法对下肢emg信号和当前时刻膝关节角度进行重采样；滑动时间窗两端均对应emg信号与关节角度信号的同步点，滑动时间窗的步进长度保滑动后的时间窗内emg及角度数据互相同步，采用滑动时间窗法对下肢emg信号和当前时刻膝关节角度进行重采样。

步骤4：建立五个相同网络结构的lstm角度预测器，并与五种运动模式相对应；将emg信号与当前时刻膝关节角度根据标记的运动模式标签放入对应的lstm角度预测器进行训练，将时间戳向后推移27ms-300ms后的同数据长度膝关节角度向量作为预测器训练标签；建立五个相同网络结构的lstm角度预测器，并与五种运动模式相对应；将emg信号与当前时刻膝关节角度根据标记的运动模式标签放入对应的lstm角度预测器进行训练，将时间戳向后推移27ms-300ms后的同数据长度膝关节角度向量作为预测器训练标签，采用k折交叉验证法，每次取一个样本作为测试集，其余k-1个样本作为训练集，重复k次实验，使得每个样本均可作为一次测试集数。在每次训练开始前，训练数据均以样本为单位进行随机混洗，可以减小固定数据顺序对预测模型参数的过拟合影响。

步骤5：将训练完毕的lstm角度预测器，通过运动模式分类算法确定当前的运动模式，并根据当前的运动模式将数据输入至对应的lstm预测器进行实时角度预测；

所述步骤5具体为：所述emg信号与imu信号每采集固定长度数据通过无线模块传输至nvidiajetsontx2开发板卡，通过搭载在nvidiajetsontx2板卡的运动模式分类器根据emg及imu信号判断运动模式并保存，通过搭载nvidiajetsontx2开发板卡的下肢运动学解算算法求解实时膝关节角度并保存，将解算得到的实时膝关节角度及对应的emg信号通过分类出的运动模式输入到对应的lstm角度预测器进行角度预测，并保存结果。

步骤6：将预测器输出角度值时间戳整体向前推移27ms-300ms，并与实时膝关节角度进行对比，得到评价标准均方根误差rmse，当评价标准均方根误差rmse小于设定的阈值时，预测器输出角度准确。

所述步骤6具体为：提取lstm角度预测器的预测结果和下肢运动学解算算法求解实时膝关节角度，将lstm角度预测器输出角度值时间戳整体向前推移27ms-300ms，并与下肢运动学解算算法求解实时膝关节角度，得到评价标准均方根误差rmse，通过下式表示评价标准均方差：

其中，θp为lstm角度预测器的预测结果，θr表示实时膝关节角度，n＝k；

当评价标准均方根误差rmse小于设定的阈值时，预测器输出角度准确；当评价标准均方根误差rmse大于设定的阈值时，重新采集数据进行训练。

所述nvidiajetsontx2开发板卡搭载nvidiapascal架构gpu、2个denver64位cpu以及四核a57复合处理器，配有linuxubuntu操作系统和通信接口。

以上所述仅是一种基于肌电的人体运动意图实时连续预测方法的优选实施方式，一种基于肌电的人体运动意图实时连续预测方法的保护范围并不仅局限于上述实施例，凡属于该思路下的技术方案均属于本发明的保护范围。应当指出，对于本领域的技术人员来说，在不脱离本发明原理前提下的若干改进和变化，这些改进和变化也应视为本发明的保护范围。