一种基于sEMG的下肢膝关节角度连续预测的方法

一种基于semg的下肢膝关节角度连续预测的方法
技术领域
1.本发明涉及人机交互技术领域，具体为一种基于semg的下肢膝关节角度连续预测的方法。


背景技术：

2.人机交互是可穿戴机器人领域的一个关键组成部分。肌电信号的幅值一般和肌肉运动力度成正比，且通常超前于相应的人体关节运动20-200ms产生。因此表面肌电信号可以直接反映人体的运动意图，可用于运动模式识别和关节角度预测，能够实现更好的人机交互。当前研究主要有两种方法实现基于semg的关节连续运动量估计：(1)、结合肌肉生理力学建立以semg为输入的关节动力学模型，进而计算关节力矩、角加速度、角速度等量；(2)、直接建立关联semg和关节连续运动量的回归模型；近年来机器学习技术已广泛应用于意图预测，例如支持向量机(svm)，随机森林(rf)，以及其他人工神经网络(ann)的算法常用于预测关节角度。
3.由于表面肌电信号超前于相应运动产生，可以直接反映人体意图。基于semg的动作分类只能预测少数离散肢体动作，应用预测结果控制机器人，无法实现机器人关节像人体关节一样连续自如运动，而保证机器人运动与人体运动相匹配是实现多种新型服务机器人安全控制的先决条件，如应用于外骨骼机器人、医疗康复机器人等，因此通过semg估计人体关节连续运动是近年来肌电分析研究的新热点。


技术实现要素：

4.(一)解决的技术问题
5.针对现有技术的不足，本发明提供了一种基于semg的下肢膝关节角度连续预测的方法，解决了基于semg的动作分类只能预测少数离散肢体动作，应用预测结果控制机器人，无法实现机器人关节像人体关节一样连续自如运动的问题。
6.(二)技术方案
7.为实现上述目的，本发明提供如下技术方案：一种基于semg的下肢膝关节角度连续预测的方法，包括以下步骤：
8.s1、根据下肢关节角度与肌电信号之间的耦合关系，选择与下肢运动紧密相关的肌肉通道，用delsys公司开发的delsys trigno无线semg采集系统采集四个肌肉通道的肌电数据，给下肢的大柜和小腿分别贴反光标记点，用基于vicon光学动作捕捉系统捕捉每个反光标记点的三维坐标值，并计算膝关节角度；
9.s2、对四个通道的表面肌电信号进行巴特沃斯带通滤波，将原始角度序列和semg信号序列分别向后移动l和k个点，移动的序列相对于原始semg信号和原始角度信号延迟，将移动后的滞后角度序列和滞后semg序列作为初始信号，原始semg信号序列被认为是时间超前的semg信号序列，如公式所示：l＝g(δt
×fangle
)，对应于延迟角度信
号序列，移动点数l、k的计算方式为l＝g(δt
×fangle
)，
10.s3、对四个通道的时间超前的semg信号序列提取三个时间超前特征taf(rmstaf、wltaf、vrtaf),对四个通道移动后的滞后semg序列提取三个时间延时特征tdf(rms、wl、vr)作为融合特征；
11.s4、将4(channel)
×
3(taf)+4(channel)
×
3(tdf)＝24个融合特征作为模型的输入，以移动后的角度序列作为模型训练的标签值进行训练；
12.s5、训练模型：基于融合特征的attention-lstm网络，原始的lstm的计算步骤公式为：f
t
＝σ(wf·
[h
t-1
，x
t
]+bf)
[0013]it
＝σ(wi·
[h
t-1
，x
t
]+bi)
[0014][0015][0016]ot
＝σ(wo[h
t-1
，x
t
]+bo)
[0017]ht
＝o
t
*tanh(c
t
)；
[0018]
s6、对原始数据的特征均以相同的权重输入到模型中，而不同特征对于膝关节的贡献度是不同的，特征值按照贡献率的不同赋予的权重也不同，在lstm之前加入注意力机制选择贡献率高的特征，在不改变lstm的网络结构的基础上在lstm之前加入注意力机制，同时使输入和状态进行交互后再进入lstm内部结构，以增强模型的上下建模的能力；
[0019]
s7、增加注意力机制的具体表现为：第一个阶段根据query和key计算两者的相似性或者相关性，si的计算公式为：
[0020]
similarity(query，keyi)＝query
·
keyi[0021]
利用softmax对第一阶段的原始分值进行归一化处理，ai的计算公式为：
[0022][0023]
第三部根据权重系数对value进行加权求和；
[0024][0025]
将注意力机制的输出作为lstm的输入；
[0026]
s8、增加输入和状态交互的具体表现为：当x和h输入到lstm之前进行了多轮的交互计算，其中x-1就是x，而h0就是hprev，它们经过的交互轮数记为r，r是一个超参数，当r＝0的时候，相当于x和hprev直接输入到lstm中，此时相当于原始的lstm计算，将这个计算过程通过数学方式表示：
[0027]
公式一
[0028][0029]
公式二
[0030][0031]
先根据公式一，通过x-1和h0计算得到x1，然后根据公式二,通过x1和h0计算得到h2，经过多轮迭代交互，最终得到融合x和h信息的h4和x5，然后将其作为输入，输入到lstm中，进行lstm网络计算。
[0032]
优选的，所述步骤s1中，四个肌肉通道分别是股直肌、半腱肌、股二头肌和外腓肠肌。
[0033]
优选的，所述步骤s5中，ft是遗忘门用来控制前一个时刻的记忆cprev保留多少记忆；it是输入门，用来控制当前的信息i应输入多少；o是输出门，用来控制当前记忆单元应该输出多少。
[0034]
优选的，所述步骤s3中rmstaf、wltaf、vrtafrms、wl、vr的计算公式如下，
[0035][0036][0037][0038][0039][0040]
优选的，所述步骤s1中，公式如下：
[0041][0042][0043][0044][0045]
(三)有益效果
[0046]
本发明提供了一种基于semg的下肢膝关节角度连续预测的方法，具备以下有益效果：
[0047]
(1)、本发明中，通过时间超前特征和时间延时特征的融合，使超前的肌电信号与延迟的角度信号同步，通过注意力机制提高了关键肌电特征的权重，通过增加输入特征与状态的交互，进一步增强输入和上下文之间的信息表示，提升模型的性能，在连续估计下肢膝关节角度时可以获得更高的预测精度。
附图说明
[0048]
图1为本发明的示意图；
[0049]
图2为采样点数比较图；
[0050]
图3为本发明原始的lstm网络图；
[0051]
图4为本发明在lstm前加注意力示意图；
[0052]
图5为本发明注意力机制的结构图；
[0053]
图6为本发明增加输入和状态的交互示意图；
[0054]
图7为采样点数比较图。
具体实施方式
[0055]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0056]
如图1-7所示，本发明提供一种技术方案：一种基于semg的下肢膝关节角度连续预测的方法，包括以下步骤：
[0057]
s1、根据下肢关节角度与肌电信号之间的耦合关系，选择与下肢运动紧密相关的肌肉通道，用delsys公司开发的delsys trigno无线semg采集系统采集四个肌肉通道(股直肌、半腱肌、股二头肌、外腓肠肌)的肌电数据，给下肢的大柜和小腿分别贴反光标记点，用基于vicon光学动作捕捉系统捕捉每个反光标记点的三维坐标值，并计算膝关节角度，如图1以及公式：
[0058]
其中，图1，(a)标记点位置，(b)角度解算；
[0059]
s2、对四个通道的表面肌电信号进行巴特沃斯带通滤波，将原始角度序列和semg信号序列分别向后移动l和k个点，移动的序列相对于原始semg信号和原始角度信号延迟，将移动后的滞后角度序列和滞后semg序列作为初始信号，原始semg信号序列被认为是时间超前的semg信号序列，如公式所示：l＝g(δt
×fangle
)，对应于延迟角度信号序列，移动点数l、k的计算方式为l＝g(δt
×fangle
)，
[0060]
s3、对四个通道的时间超前的semg信号序列提取三个时间超前特征taf(rmstaf、wltaf、vrtaf),对四个通道移动后的滞后semg序列提取三个时间延时特征tdf(rms、wl、vr)
作为融合特征，作为融合特征，作为融合特征，作为融合特征，
[0061]
s4、将4(channel)
×
3(taf)+4(channel)
×
3(tdf)＝24个融合特征作为模型的输入，以移动后的角度序列作为模型训练的标签值进行训练；
[0062]
s5、训练模型：基于融合特征的attention-lstm网络，原始的lstm的计算步骤公式为：f
t
＝σ(wf·
[h
t-1
，x
t
]+bf)
[0063]it
＝σ(wi·
[h
t-1
，x
t
]+bi)
[0064][0065][0066]ot
＝σ(wo[h
t-1
，x
t
]+bo)
[0067]ht
＝o
t
*tanh(c
t
)；
[0068]
s6、对原始数据的特征均以相同的权重输入到模型中，而不同特征对于膝关节的贡献度是不同的，特征值按照贡献率的不同赋予的权重也不同，因此有必要在lstm之前加入注意力机制选择贡献率高的特征。同时由于输入x和状态ht只在lstm内部进行交互，在这之前缺乏交互，这可能会导致上下文信息的丢失。因此本文在不改变lstm的网络结构的基础上在lstm之前加入注意力机制，以提高关键肌电特征的权重，同时使输入和状态进行交互后再进入lstm内部结构，以增强模型的上下建模的能力；
[0069]
s7、增加注意力机制的具体表现为：第一个阶段根据query和key计算两者的相似性或者相关性，si的计算公式为：
[0070]
similarity(query，keyi)＝query
·
keyi[0071]
利用softmax对第一阶段的原始分值进行归一化处理，ai的计算公式为：
[0072][0073]
第三部根据权重系数对value进行加权求和；
[0074][0075]
将注意力机制的输出作为lstm的输入；
[0076]
s8、增加输入和状态交互的具体表现为：当x和h输入到lstm之前进行了多轮的交互计算，其中x-1就是x，而h0就是hprev，它们经过的交互轮数记为r，r是一个超参数，当r＝0的时候，相当于x和hprev直接输入到lstm中，此时相当于原始的lstm计算，将这个计算过程通过数学方式表示：
[0077]
公式一
[0078][0079]
公式二
[0080][0081]
先根据公式一，通过x-1和h0计算得到x1，然后根据公式二,通过x1和h0计算得到h2，经过多轮迭代交互，最终得到融合x和h信息的h4和x5，然后将其作为输入，输入到lstm中，进行lstm网络计算。
[0082]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
[0083]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。