一种基于双分支网络的表面肌电信号分类方法

1.本发明用于人体表面肌电信号的识别和分类方法。


背景技术：

[0002][0003]
随着社会的不断进步和现代科学技术的不断发展，手部残疾人士对正常的手部抓握有着较大的渴望，以人工智能、机器感知、智能控制和康复医学技术为核心驱动的仿生假肢应运而生。而实现残疾人士对假肢的操控需要信号源的控制，人体就充满着各种信号，这些信号控制并代表着人体的各项活动和意图。人体有着多样的生物电信号，蕴含着丰富的反映人的行为意图的信息，目前受到广泛关注的生物电信号包括肌电信号(emg)、心电信号(ecg)、脑电信号(eeg)以及眼电信号(eog)等。
[0004]
肌电信号代表肌肉收缩产生的皮下运动动作电位的总和，在众多肌纤维中，它代表着运动单位动作电位(muap)在空间和时间上的叠加。目前仿生假肢的主要控制信号来源于表面肌电信号(semg)。表面肌电信号是浅层肌肉和神经元上电活动在人体皮肤表层的综合效应，能够表示人体此刻所进行的手部动作与肌肉运动，在一定程度上反映了人体动作的意图。表面肌电信号蕴含丰富生物信息，且信号的采集通常是无创的，对人体不造成任何不良影响，在临床医学上常常被用于诊断神经功能性疾病，在康复医学和临床医学领域上常被当作仿生假肢、康复设备的控制信号源，因此它具备较大的医学应用价值。
[0005]
然而，肌电信号是一种较微弱的生物电信号，能有效的提取肌电信号特征并实现semg的准确分类识别是目前肌电领域的研究热点。传统的特征提取方法在形式上各有不同，但大多以一个或多个统计值来表示semg所隐含的信息，往往可能会丢失更深层的特征信息，其次因为受试者的个体差异和电极偏移等诸多环境因素的影响，传统的分类方法如贝叶斯分类法、线性判别分析法、随机森林等，它们的分类准确率也会受到较大影响。近年来，随着人工智能的不断发展，基于深度学习的肌电识别研究开始兴起，有部分学者将肌电信号放入深度学习的模型中进行训练分类，如卷积神经网络。但现有的基于深度学习的肌电信号识别模型仍存在以下问题：(1)现提取原始肌电信号大多得到一维离散特征，但往往每个离散特征之间包含一定的联系，如果对一维离散特征直接进行卷积运算，往往容易忽略不同离散特征之间的关联性，特征之间的相对关系无法表征；(2)肌电信号是一种连续的时序信号，单纯的卷积神经网络并不能充分考虑其在时间序列上的相关性，在对时间序列变化的特征处理能力较弱；(3)离散特征提取于原始信号，表示了肌电信号多方面的特性，但无法完全还原原始信号的所有信息，可能会忽视某些原始信号的关键信息，从而导致模型分类效果不佳。


技术实现要素：

[0006]
针对现有技术存在的上述问题，本发明提供了一种基于双分支网络的表面肌电信号分类方法，采用cnn网络和gru网络并行训练，将得到的结果组合放入分类器分类得到最
终结果，该方法结合两者模型的优势，克服现有方法中存在的弊端，在肌电识别准确率、稳定性、鲁棒性上得到进一步的提升。
[0007]
一种基于双分支网络的表面肌电信号分类方法，包括如下步骤：
[0008]
s1：采用窗口分析法对原始信号数据预处理。对原始表面肌电信号，使用长度为w的窗口进行截取。其中w为窗口长度，t是滑动步长。每隔时间t后同时对 16个通道进行数据提取。
[0009]
s2：利用机器学习方法对肌电信号各通道进行特征提取，得到一维离散特征 x，再采用特殊二维化方法，先对原特征向量x中的m个离散特征信息进行平方处理得x2，再将特征向量x与x2进行笛卡尔积运算，得到二维合成矩阵f。
[0010]
s3：将得到的二维特征矩阵放入cnn网络中，进行多次卷积与池化，提取空间特征信息，得到空间特征图map
space
。
[0011]
s4：将原始肌电信号进行归一化处理，使得原始数据缩放到同特征二维化后相同的数据范围，减少数据的分布差异对模型的影响。
[0012]
s5：将处理后的信息放入gru网络中训练，提取时间特征信息，得到时间特征图map
time
。
[0013]
s6：使用全连接层融合两个网络训练的参数map
space
和map
time
，最后通过 softmax层进行分类。
[0014]
优选地，步骤s1中w取300，t取50。
[0015]
本发明方法所提出的网络模型使用卷积神经网络和gru网络分别同时提取表面肌电信号的空间特征和时间特征。采用窗口分析法处理电极记录的原始表面肌电信号，利用机器学习方法提取离散特征，并通过特殊二维化方法生成二维合成特征，再将二维特征图放入卷积神经网络进行训练；对原始一维肌电信号进行归一化预处理，放入循环神经网络训练；使用全连接层融合两个网络训练得到的特征，最后通过softmax层进行分类。本发明减少了模型的训练时间，能更好地提取肌电信号的空间特征与时间特征，提升了肌电信号识别的准确性和稳定性，对提高假肢动作完成准确度具有重要意义。
[0016]
与现有技术相比，本发明具有以下优点：
[0017]
(1)解决离散特征二维化后特征信息稀疏、参数过多冗余的问题。该方法以特征组合为基础理论，通过特征组合的形式将一维信号转变为二维甚至更高维的规则数据进行深度学习，同时也改进了原二维化方法可能造成的参数重复冗余问题，得到的高维特征表示的目标之间的关联性更强。
[0018]
(2)识别准确率提升。该发明提出的双分支网络，cnn局部连接、共享权重，更注重提取输入数据的空间特征，gru可以学习特征序列的时间特征，再通过全连接层融合两者的输出，网络可以更有效地学习时空特征，有利于提高手势的识别准确率。
[0019]
(3)模型鲁棒性更强，训练时间更短。gru网络以原始信号作为输入，保留semg原始时间序列的相关性与时间依赖性，使原模型在突出某些局部信息的同时又能挖掘卷积操作所忽视的原始信号中关键细节信息，同时gru结构更为简单，仅使用更新门和重置门，训练参数量有所降低，可有效减少训练时间，提高计算速率。
附图说明
[0020]
图1为本发明方法整体流程图。
[0021]
图2为本发明的窗口分析法示意图。
[0022]
图3为本发明的网络模型图。
[0023]
图4为gru网络的前向传播图。
具体实施方式
[0024]
下面结合实例和公式对本发明进行详细描述。
[0025]
实例：研究数据的采集所用的设备是英国朴次茅斯大学团队所研发的 elonxi肌电仪。电极套配备18个电极，其中的16个电极用于表面肌电信号的采集。本实验选用16个通道采样，采样频率为1k赫兹，在50赫兹下进行滤波操作。8名健康志愿者(6名男性，2名女性，年龄：25
±
5岁，身高：175
±
10cm，体重：65
±
10kg)参与为期3天的数据采集工作。每个人每个时间段分别演示5 个手势动作，每个手势动作取中间10秒进行记录。实验采用其中7个人的肌电数据作为训练集，一个人采集的信号作为测试集。
[0026]
s1：采用窗口分析法对原始信号数据预处理。如图2所示，对采集的原始表面肌电信号，使用长度为300毫秒的窗口进行截取。每隔50毫秒后再同时对不同通道的数据进行截取。
[0027]
s2：按s21操作对肌电信号每一个通道提取特征，得到一维离散特征，并按 s22到s23对其进行特殊二维化后，得到二维合成矩阵f。
[0028]
s21：利用机器学习方法对肌电信号每一个通道提取特征，得到一维离散特征 x。本实例中采集m个特征，m的值为15，其中xi代表第i个特征。
[0029]
x＝[x1,x2,...,xi,...,xm]
ꢀꢀꢀ
(1)
[0030]
s22：对原特征向量x中的m个离散特征信息进行平方处理，避免存在过多冗余信息，导致二维矩阵数据重复输入。
[0031][0032]
s23：将特征向量x与x2进行笛卡尔积运算，得到二维合成矩阵f。
[0033]
f＝d(x,x2,α,β)＝g(α
·
(x
t
×
x2)
β
)
ꢀꢀꢀ
(3)
[0034][0035][0036]
其中α和β是转换参数，取值各为0.5；
×
是笛卡尔乘积运算符号；g是非线性激活函数sigmoid，将变量映射到[0,1]区间，引入非线性。
[0037]
s3：将得到的二维特征矩阵放入cnn网络中，按s31至s34操作进行多次卷积与池化，提取空间特征信息，得到空间特征图map
space
。
[0038]
s31：将二维特征矩阵f放入cnn网络中，用5
×5×
64大小，步长为1的卷积核进行卷
积，得到大小为15
×
15
×
64的特征图map1。
[0039]
map1＝conv5×5×
64
(f)
ꢀꢀꢀ
(6)
[0040]
s32：使用2
×
2大小，步长为2的卷积核对特征图map1进行最大池化操作得到大小为8
×8×
64的特征图map2。
[0041]
map2＝maxpool2×2(map1)
ꢀꢀꢀ
(7)
[0042]
s33：对特征图map2使用3
×3×
128大小，步长为1的卷积核进行卷积得特征图map3，用2
×
2大小，步长为2的卷积核进行最大池化得到大小为4
×4×ꢀ
128的特征图map4。
[0043]
map3＝conv3×3×
128
(map2)
ꢀꢀꢀ
(8)
[0044]
map4＝maxpool2×2(map3)
ꢀꢀꢀ
(9)
[0045]
s34：最后为了提取最有效的空间特征，进行两次包含512单位和128单位的全连接层得到空间特征图map
space
。
[0046]
map
space
＝soft max(map4)
ꢀꢀꢀ
(10)
[0047]
s4：将原始肌电信号进行归一化处理得序列y，具体公式如下：
[0048][0049][0050][0051]
其中e(x)表示肌电信号序列的均值，var(x)表示肌电信号序列的方差，ε为偏置值。
[0052]
s5：将处理后的16
×
300的一维序列y放入gru网络中训练，提取时间特征信息，得特征图map5。
[0053]
map5＝gru(y)
ꢀꢀꢀ
(14)
[0054]
gru网络的具体参数设置：输入特征数为300，隐层层节点数为128，网络层数为2层。其中gru网络的训练主要包含两个门单元：更新门和重置门。更新门来控制当前状态需要从历史状态中保留多少有用信息，以及需要从候选状态中接受多少新信息，更新门的值越大说明前一时刻的状态信息带入越多，将前一时刻和当前时刻的信息分别右乘权重矩阵w
hz
和w
xz
，然后相加后数据放入更新门，再放入sigmoid函数中。
[0055]zt
＝σ(x
twxz
+h
t-1whz
+bz)
ꢀꢀꢀ
(15)
[0056]
重置门用来控制候选状态h
t
是否依赖于上一时刻的状态h
t-1
，重置门越大，前一状态信息写入的越多，将前一时刻和当前时刻的信息分别右乘权重矩阵w
hr
和 w
xr
，然后相加后数据放入重置门，再放入sigmoid函数中。
[0057]rt
＝σ(x
twxr
+h
t-1whr
+br)
ꢀꢀꢀ
(16)
[0058]
当收到门控信号，对候选隐藏层单元状态值进行更新，具体操作如下公式：
[0059][0060]
最终网络节点的隐藏状态更新方式为：
[0061]
[0062]
其中σ为sigmoid函数，将数据变换到0-1范围内的数值，充当门控信号， h
t-1
为先前的信息，r
t
为重置门，tanh为激活函数，bz、br、bh、w
hz
、w
xz
、 w
hr
、w
xr
、w
xh
均为门神经元参数，在训练中学习得到，为按元素相乘。
[0063]
通过gru网络处理输入数据得到16
×
128的输出，再进行两次包含512单位和128单位的全连接层，得到目标的时间特征图map
time
。
[0064]
map
time
＝soft max(map5)
ꢀꢀꢀ
(19)
[0065]
s6：使用concatenate融合两个网络训练的参数，最后通过softmax层进行分类得出最后的分类结果。
[0066]
class＝soft max(concatenate(map
space
,map
time
))
ꢀꢀꢀ
(20)
[0067]
本发明提出了一种基于双分支网络的表面肌电信号分类方法用于解决表面肌电信号的分类问题。通过特殊二维化的方法解决低维特征难以卷积挖掘特征之间更深层的关联性问题，同时利用卷积神经网络和gru网络并行训练，更好地提取肌电信号的空间特征与时间特征，使得肌电识别准确率在准确率、稳定性和鲁棒性上有了更一步的提升。
[0068]
尽管以上结合附图对本发明的具体实施过程进行了描述，但本发明并不局限于上述的具体实施方案，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。