面向人体复杂运动的运动模式预测及切换控制方法与流程

本发明涉及面向人体复杂运动的运动模式预测及切换控制方法，属于外骨骼助力技术领域。

背景技术：

近年来，机器人技术在各行各业中逐渐占据着越来越重要的比重，不仅提高了生产工作的效率，也提高了人们生活的质量。其中，外骨骼机器人(exoskeleton)作为辅助机器人的一个重要分支，相关技术近几年在国内外成为了一大研究热点，在养老、康复以及军事等领域具有广阔的前景。人机交互(human-robotinteraction，hri)作为一种交叉学科研究方向，对于外骨骼机器人的发展有着极其重要的影响。不同于传统的人机交互方法，以生物电信号作为控制信号源，外骨骼机器人可以从被动地接受控制指令变为主动理解人体的运动意图，并按照人体运动意图进行适当的辅助，因此解码生物电信号逐渐成为人机交互领域的研究热点之一。

目前备受关注的生物电信号主要有脑电(electroencephalography，eeg)、眼电(electrooculography，eog)以及肌电(electromyography,emg)，相比较其它两种电信号，肌电信号(electromyography,semg)具有高度相关性及相对稳定性等特点，且具有可表面无创采集等便利条件，已经广泛应用于医疗诊断、运动分析以及交互游戏等相关领域之中。

人体向前行走时，其中一侧的下肢充当移动支撑端，与此同时，另一侧下肢向前移动并成为下一个新的支撑端，随后两侧下肢交替重复此过程，直至到达目的地。单侧下肢完成这些功能活动的一个单独序列被成为一个步态周期，每一个步态周期都可分为两个阶段：支撑相与摆动相。支撑相定义为足部与地面接触这一阶段的全过程，约为整个步态的60％左右，摆动相开始于足趾离开地面时，足跟再次接触地面之前是摆动相终点，约为整个步态的40％左右。根据脚尖与脚跟的着地状态，支撑相内还可划分为三个子相位：足跟支撑相、全足支撑相以及足尖支撑相。在人体正常行走的一个步态周期内，外骨骼并不需要在所有相位下进行助力，同时不同的地形下施加的助力大小也各不相同，因此对于运动模式及运动相位识别的准确率是整个系统实现精确控制与安全性至关重要的一部分。

近年来，许多学者提出基于人机交互的运动控制方法，其中较普遍的是通过脚底压力传感器或安置在小腿前端的imu传感器对人体步态相位进行识别。上述两种方法具有较好的稳定性与准确性，但仍存在一些缺点：①脚底压力传感器一般采用贴合的形式固定在人体的脚底，当行走时间较长时，脚底摩擦力会导致传感器发生窜动或失效，极大影响准确率；②上述两种方法无法获得运动模式信息，因此无法实现在多运动模式下的助力控制；③emg信号的产生要提前于运动实际发生25-125ms，而以上两种控制方式均未选择emg信号作为信息来源，因此无法提前对运动进行预测。本发明所提出的面向人体复杂运动的运动模式预测及切换控制方法弥补了以上缺点的同时，实现了对运动模式切换的提前预测，且达到了较高的准确率。

技术实现要素：

本发明提出了面向人体复杂运动的运动模式预测及切换控制方法，其目的在于对人体下肢emg信号及imu信号进行解码，并根据提取到的信息识别人体下肢运动模式及运动相位，同时早于运动发生提前预测运动模式变化。本发明解决了背景技术中列举的问题。

面向人体复杂运动的运动模式预测及切换控制方法，所述方法包括以下步骤：

步骤一、提取人体单侧下肢emg信号及imu信号:将传感器贴在人体单侧下肢股直肌、股外侧肌、股内侧肌、胫骨前肌、比目鱼肌、半腱肌、股二头肌长头、腓肠肌外侧、腓肠肌内侧九块肌肉提取emg信号，同时选择人体同侧腰部、大腿、小腿、脚背四个位置粘贴传感器采集imu信号，通过佩戴在实验对象身上的脚底压力传感器及参考视频得出每个数据点对应的运动模式标签及运动相位标签，分为五种运动模式及四种运动相位；

步骤二、采用滑动时间窗法对数据进行重采样，之后对数据中的emg信号提取四种时域特征并组成特征向量，对数据中的imu信号提取两种时域特征并组成特征向量，两种向量合并为一个新的特征向量；

步骤三、设计默认参数的gbrt分类器作为运动模式分类算法：将合并后的特征向量输入至运动模式分类算法求解最优参数，之后代入参数至模型采用k折交叉验证法训练模型并得出平均准确率；

步骤四、另设计五个默认参数的gbrt分类器作为运动相位分类算法：对应特征向量的五种运动模式标签，将特征向量及其运动相位标签分别输入五个运动相位分类算法，并使用穷举法分别求得五种分类器最优参数，之后代入参数至模型采用k折交叉验证法训练模型并得出平均准确率；

步骤五、部署训练完毕的运动模式分类器及运动相位分类器，在实验环境下进行测试，测试过程中保存分类结果及原始emg与imu数据；

步骤六、测试完毕后通过脚底压力传感器及视频标记原始emg与imu数据运动模式标签与运动相位标签，并通过时间窗算法及特征提取算法将数据转化为特征表示，其标签与分类结果进行比对，计算准确率，当准确率大于预设的阈值时，证明算法可行。

进一步的，在步骤一中，具体包括以下步骤：

步骤一一，采集人体下肢emg信号及imu信号：

信号采集设备采用delsystrigno肌电采集系统，包含无线通信基站与16个无线肌电电极，每个电极内置有emg及imu信号采集器，delsystrigno肌电采集系统支持离线采集模式及在线采集模式：离线采集模式下在实验结束后对emg及imu信号进行封装并发出，在线采集模式下设定单次传输数据长度，每当emg及imu信号记录长度达到设定值便传输一次，对测试对象单侧下肢股直肌、股外侧肌、股内侧肌、胫骨前肌、比目鱼肌、半腱肌、股二头肌长头、腓肠肌外侧、腓肠肌内侧九块肌肉表面皮肤进行脱毛及去角质处理，随后将9个电极粘贴在这九块肌肉皮肤表面处提取emg信号，同时另取4个电极分别粘贴于同侧腰间、大腿、小腿及脚面处采集imu信号，delsys数据采集模式选择离线模式；

步骤一二、测试对象在多地形下行走，同时采集测试对象emg信号及imu信号：

采集开始时实验对象足底粘贴脚底压力传感器同时录制视频记录，当采集结束后利用足底压力传感器及视频对数据的运动模式及运动相位标签进行标记，运动模式分为平地、上楼梯、下楼梯、上斜坡、下斜坡五种模式，运动相位对应背景提到的足跟支撑相、全足支撑相、足尖支撑相以及摆动相四种相位。标记后该数据作为运动模式分类算法与运动相位分类算法的训练集。

进一步的，在步骤二中，具体包括以下步骤：

步骤二一、采用滑动时间窗方法对训练集数据进行重采样，滑动时间窗两端均对应emg信号与imu信号的同步，滑动时间窗的步进长度也应确保滑动后的时间窗内emg信号及imu信号互相同步；

步骤二二、对重采样后的数据提取时域特征，其中emg信号提取均值绝对值mav、过零率zc及波周长wl，imu信号提取均值绝对值mav和波周长wl，其相关数学表达如下：

上式中i表示第i个时间窗，l表示时间窗长度，xk表示每个时间窗中第k个数值，

通过上述操作将时间窗内数据序列用单个特征值表示，由于重采样前每个数据点都有单独的运动模式标签及运动相位标签，因此数据特征化后将时间窗长度一半位置处的数据点对应标签作为该特征向量标签，由于每个时间窗内emg信号和imu信号在时域上同步，因此两种特征向量标签一致。

进一步的，在步骤三中，具体的，设计默认参数的gbrt分类器作为运动模式分类算法，表达式如下：

上式中，hm为弱学习分类器子集，γm为其对应权值，m为分类器个数，将特征向量数据集代入到运动模式分类算法进行训练，并通过穷举法最佳化分类器子集个数m及学习速率等参数，当最优参数确定后，代入至模型并采用k折交叉验证法进行训练。

进一步的，在步骤四中，具体的，设计五个默认参数的gbrt分类器作为运动相位分类算法，此时特征训练集的运动模式标签设置为已知量，并根据五种运动模式标签将特征数据及其运动相位标签输入至对应的五个分类器中，通过穷举法求解最佳参数，并采用k折交叉验证得出每个运动模式下的运动相位分类准确率。

进一步的，在步骤五中，具体包括以下步骤：

步骤五一、部署特征提取算法、运动模式分类算法及运动相位分类算法至nvidiajetsontx2开发板卡，所述nvidiajetsontx2开发板卡上搭载nvidiapascal架构gpu，2个denver64位cpu以及四核a57复合处理器，配有linuxubuntu操作系统以及多种通信接口，同时delsys肌电采集系统采集模式设置为在线模式，每采集固定长度数据发送一次；

步骤五二、测试对象在多地形下行走，穿戴脚底压力传感器并记录视频，emg信号与imu信号每采集若干数据后通过无线模块传输至nvidiajetsontx2开发板卡，该数据经过备份后与先前接收到的数据组合，随后将该数据输入至特征提取算法进行处理。

进一步的，在步骤六中，具体包括以下步骤：

步骤六一、将特征化后的数据首先输入至运动模式分类算法，根据得出的运动模式输入至对应的运动分类算法求解相位状态，并保存测试结果；

步骤六二，提取备份的原始数据，根据脚底压力及视频对数据的运动模式及运动相位标签进行标记，随后将数据通过滑动时间窗法重采样后输入至特征提取算法中，将得到的特征向量对应运动模式及运动相位标签与保存的测试结果进行比对，当准确率大于设定阈值时得出结论该算法有效，随后重新测试并输出分类结果至下位机；当准确率小于设定阈值时，重新采集数据对模型进行训练。

本发明的主要优点是：本发明与已有的下肢运动意图识别算法，具有如下特点:

(1)本方法采用gbrt作为分类器，该算法是一种集成学习(ensemblelearning)方法，相比较传统模式识别方法具有较强的泛化能力和预测能力，且在输出空间对异常点鲁棒性较高。

(2)不同于目前单独运动模式识别算法及运动相位识别算法，本方法基于机器学习技术首先对运动模式进行识别，并在不同运动模式下对运动相位进行分类，实现更精确的控制。

(3)本方法考虑运动模式过渡状态，降低当运动地形发生改变时算法识别错误率，同时实现先于动作发生提前预测运动状态改变以弥补决策命令传输过程中的系统延迟。当实验对象行走地形发生改变时，例如从平地过渡到上楼梯状态:当观测到目标侧(粘贴传感器的下肢侧)即将迈上楼梯，而参考侧(未粘贴传感器的下肢侧)仍位于平地时，目标侧在脚尖离平地瞬间即将数据记录为上楼梯模式(而上楼梯实际动作发生在目标侧踏上楼梯时)。当观测到参考侧即将迈上楼梯，而目标侧仍位于平地时，目标侧在脚跟离平地而脚尖未离平地瞬间即将数据记录为上楼梯模式(上楼梯实际动作同样发生在目标侧踏上楼梯时)。过渡模式说明如图3所示，其它几种地形过渡情况同理。

附图说明

图1为本发明的面向人体复杂运动的运动模式预测及切换控制方法的实施流程图；

图2为本方法传感器粘贴位置图；

图3为过渡模式说明图；

图4为本方法验证实验环境图。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1-图4所示，本发明提出了面向人体复杂运动的运动模式预测及切换控制方法的一实施例，所述方法包括以下步骤：

步骤一、提取人体单侧下肢emg信号及imu信号:将传感器贴在人体单侧下肢股直肌、股外侧肌、股内侧肌、胫骨前肌、比目鱼肌、半腱肌、股二头肌长头、腓肠肌外侧、腓肠肌内侧九块肌肉提取emg信号，如图2所示，同时选择人体同侧腰部、大腿、小腿、脚背四个位置粘贴传感器采集imu信号，通过佩戴在实验对象身上的脚底压力传感器及参考视频得出每个数据点对应的运动模式标签及运动相位标签，分为五种运动模式及四种运动相位；

步骤二、采用滑动时间窗法对数据进行重采样，之后对数据中的emg信号提取四种时域特征并组成特征向量，对数据中的imu信号提取两种时域特征并组成特征向量，两种向量合并为一个新的特征向量；

步骤三、设计默认参数的gbrt分类器作为运动模式分类算法：将合并后的特征向量输入至运动模式分类算法求解最优参数，之后代入参数至模型采用k折交叉验证法(k-foldcrossvalidation)训练模型并得出平均准确率；

步骤四、另设计五个默认参数的gbrt分类器作为运动相位分类算法：对应特征向量的五种运动模式标签，将特征向量及其运动相位标签分别输入五个运动相位分类算法，并使用穷举法分别求得五种分类器最优参数，之后代入参数至模型采用k折交叉验证法训练模型并得出平均准确率；

步骤五、部署训练完毕的运动模式分类器及运动相位分类器，在实验环境下进行测试，测试过程中保存分类结果及原始emg与imu数据；

步骤六、测试完毕后通过脚底压力传感器及视频标记原始emg与imu数据运动模式标签与运动相位标签，并通过时间窗算法及特征提取算法将数据转化为特征表示，其标签与分类结果进行比对，计算准确率，当准确率大于预设的阈值时，证明算法可行。

在本部分优选实施例中，在步骤一中，具体包括以下步骤：

步骤一一，采集人体下肢emg信号及imu信号：

信号采集设备采用delsystrigno肌电采集系统，包含无线通信基站与16个无线肌电电极，每个电极内置有emg及imu信号采集器，delsystrigno肌电采集系统支持离线采集模式及在线采集模式：离线采集模式下在实验结束后对emg及imu信号进行封装并发出，在线采集模式下设定单次传输数据长度，每当emg及imu信号记录长度达到设定值便传输一次，对测试对象单侧下肢股直肌、股外侧肌、股内侧肌、胫骨前肌、比目鱼肌、半腱肌、股二头肌长头、腓肠肌外侧、腓肠肌内侧九块肌肉表面皮肤进行脱毛及去角质处理，随后将9个电极粘贴在这九块肌肉皮肤表面处提取emg信号，同时另取4个电极分别粘贴于同侧腰间、大腿、小腿及脚面处采集imu信号，delsys数据采集模式选择离线模式；

步骤一二、测试对象在多地形下行走，环境如图3所示，同时采集测试对象emg信号及imu信号：

采集开始时实验对象足底粘贴脚底压力传感器同时录制视频记录，当采集结束后利用足底压力传感器及视频对数据的运动模式及运动相位标签进行标记，运动模式分为平地、上楼梯、下楼梯、上斜坡、下斜坡五种模式，运动相位对应背景提到的足跟支撑相、全足支撑相、足尖支撑相以及摆动相四种相位。标记后该数据作为运动模式分类算法与运动相位分类算法的训练集。

在本部分优选实施例中，在步骤二中，具体包括以下步骤：

步骤二一、采用滑动时间窗方法对训练集数据进行重采样，滑动时间窗两端均对应emg信号与imu信号的同步，滑动时间窗的步进长度也应确保滑动后的时间窗内emg信号及imu信号互相同步；

步骤二二、对重采样后的数据提取时域特征，其中emg信号提取均值绝对值mav、过零率zc及波周长wl，imu信号提取均值绝对值mav和波周长wl，其相关数学表达如下：

上式中i表示第i个时间窗，l表示时间窗长度，xk表示每个时间窗中第k个数值，

通过上述操作将时间窗内数据序列用单个特征值表示，由于重采样前每个数据点都有单独的运动模式标签及运动相位标签，因此数据特征化后将时间窗长度一半位置处的数据点对应标签作为该特征向量标签，由于每个时间窗内emg信号和imu信号在时域上同步，因此两种特征向量标签一致。

在本部分优选实施例中，在步骤三中，具体的，设计默认参数的gbrt分类器作为运动模式分类算法，表达式如下：

上式中，hm为弱学习分类器子集，γm为其对应权值，m为分类器个数，将特征向量数据集代入到运动模式分类算法进行训练，并通过穷举法最佳化分类器子集个数m及学习速率等参数，当最优参数确定后，代入至模型并采用k折交叉验证法进行训练。

在本部分优选实施例中，在步骤四中，具体的，设计五个默认参数的gbrt分类器作为运动相位分类算法，此时特征训练集的运动模式标签设置为已知量，并根据五种运动模式标签将特征数据及其运动相位标签输入至对应的五个分类器中，通过穷举法求解最佳参数，并采用k折交叉验证得出每个运动模式下的运动相位分类准确率。

在本部分优选实施例中，在步骤五中，具体包括以下步骤：

步骤五一、部署特征提取算法、运动模式分类算法及运动相位分类算法至nvidiajetsontx2开发板卡，所述nvidiajetsontx2开发板卡上搭载nvidiapascal架构gpu，2个denver64位cpu以及四核a57复合处理器，配有linuxubuntu操作系统以及多种通信接口，同时delsys肌电采集系统采集模式设置为在线模式，每采集固定长度数据发送一次；

步骤五二、测试对象在多地形下行走，穿戴脚底压力传感器并记录视频，emg信号与imu信号每采集若干数据后通过无线模块传输至nvidiajetsontx2开发板卡，该数据经过备份后与先前接收到的数据组合，随后将该数据输入至特征提取算法进行处理。

在本部分优选实施例中，在步骤六中，具体包括以下步骤：

步骤六一、将特征化后的数据首先输入至运动模式分类算法，根据得出的运动模式输入至对应的运动分类算法求解相位状态，并保存测试结果；

步骤六二，提取备份的原始数据，根据脚底压力及视频对数据的运动模式及运动相位标签进行标记，随后将数据通过滑动时间窗法重采样后输入至特征提取算法中，将得到的特征向量对应运动模式及运动相位标签与保存的测试结果进行比对，当准确率大于设定阈值时得出结论该算法有效，随后重新测试并输出分类结果至下位机；当准确率小于设定阈值时，重新采集数据对模型进行训练。

本发明的目的在于对人体下肢emg信号及imu信号进行解码，并根据提取到的信息识别人体下肢运动模式及运动相位，同时早于运动发生提前预测运动模式变化。首先，对人体下肢emg信号及imu信号进行采集；随后，对采样后的每段emg信号及imu信号提取时域特征，并组成特征向量；最后，采用梯度提升树算法(gradienttreeboosting,gbrt)，将特征向量输入该模式识别算法实现下肢运动模式及运动相位分类。