基于时延尺度长短期记忆网络与传递熵的脑肌耦合方法

1.本发明属于机器学习及生物医学领域，涉及一种基于脑肌电的增加时延尺度的长短期记忆网络与传递熵的脑肌耦合方法。


背景技术：

2.人工智能被称为人类历史上第三次技术革命，伴随着技术的发展，人们对智能医疗、智能家居及新型的人机交互的需求也日益提升。如何感知动作行为、解码人体的运动意图已经成为模式识别、现代医疗、智能穿戴等领域的一项热门研究方向。
3.传统的人体行为感知与识别方法如计算机视觉技术，识别预测的效果容易受到光照强弱以及障碍物的影响。红外探测技术虽然能够在昏暗的环境下感知到人体动作，但是红外技术的检测范围易受限且价格昂贵。而wifi信号检测技术又容易受到环境中电磁场的干扰，适用场景十分有限。研究人员意识到目前需要寻找一种更加准确、可靠的解析人体行为模式的方法，以顺应未来的发展方向。
4.大脑皮层中神经元细胞产生的脑电信号和肌肉细胞中产生的肌电信号蕴藏着丰富的生理信息，因此以脑电信号与肌电信号为基础探究人体的行为模式，从人体生理机理的角度上解码运动意图，相较于传统方法更加准确可靠。
5.运动控制论描述了人体行为运动的产生过程，它指出人体的运动系统由大脑皮层中神经元细胞和肌肉组织两大系统构成。大脑控制人体完成某项运动时，是由人体中枢神经系统将大脑中神经元产生的电位信息向下传导，最终转化为肢体的动能来完成的。以大脑控制手掌拿起物体为例，当人体想要抓住某个物品时，首先由大脑皮层发出运动控制指令，这个指令会沿着运动传导通路向下传播至人体手掌部分的神经末梢和肌肉。手掌触摸到物品时，手掌部分产生的触感会沿着感觉传导通路传播至大脑皮层、脊髓以及小脑等部分，大脑对感觉信号加以分析，然后控制人体接下来的活动。这一大脑与肌肉之间通过同步震荡实现信息交互的过程称为皮层肌肉功能耦合。
6.人体在执行某项动作时，使用同步方法采集到的脑电信号和肌电信号可以反映大脑与肌肉之间的同步交互信息，例如在频域上对它们进行相干性分析就可以研究大脑皮层与肌肉相互作用时的同步放电现象。放电的程度会随着动作的进行而改变，此外肌肉组织的舒张、大脑的思想活动、动作的幅度以及外部环境干扰等因素都会影响着皮层与肌肉之间的相干性。研究皮层肌肉耦合有利于揭示人体中枢神经系统的工作规律及运动系统内部之间的信息流动方式，进一步了解人脑对于肢体的支配方式以及肢体对于人脑控制指令的反馈方式，更深层的意义在于揭示人体的运动机理，为假肢控制、医疗康复、虚拟现实技术等领域提供实验支持。
7.现有的脑肌耦合性分析主要是计算脑电信号与肌电信号之间时域或者频域上的耦合程度，由于脑电信号与肌电信号的能量范围不同，这时候可能就会导致计算出的耦合程度远远小于实际的耦合程度。因此本发明引入了长短期记忆网络模型与传递熵进行结合来计算脑肌耦合程度。


技术实现要素：

8.脑电信号与肌电信号是包含了丰富人体信息的生理信号，使用人体生理信号进行脑肌耦合性分析是实现人体运动意图解码的关键。本发明提出了一种增加时延尺度的长短期记忆网络模型结合传递熵来计量脑肌耦合程度的方法，将不同时延尺度的长短期记忆网络提取的时序特征进行傅里叶变换，转换为频域特征。对于相同频率点处的脑肌电信号的频域特征求取传递熵，并求取传递熵的均值，作为基准耦合强度。计算最佳时延尺度模型提取的序列在相同频率处的传递熵，将随机频段中传递熵与基准耦合强度之间的面积记为该频段的耦合强度。
9.为了实现以上目的，本发明方法主要包括以下步骤：
10.步骤(1)：采集人体脑电信号与肌电信号的样本数据，然后将采集得到的数据进行小波阈值去噪。
11.步骤(2)：在传统长短期记忆网络中将处理当前信息的细胞单元记为t时刻细胞单元，然后将当前细胞单元的前一细胞单元记为t
‑
1时刻细胞单元，再将t
‑
1时刻细胞单元的前一细胞单元记为t
‑
2时刻细胞单元。在传统长短期记忆网络的基础上增加一个时延连接，将t
‑
2时刻细胞单元的输出连接到t时刻细胞单元。使得处理当前时刻信息的t时刻细胞单元不仅能考虑前一时刻的数据特征，还能学习到t
‑
2时刻细胞单元的输出层特征。由于脑电信号与肌电信号都是与时间相关的时序序列，因此添加时延连接可以有效避免脑电与肌电特征在传输过程中被遗忘。
12.步骤(3)：将步骤(2)中构建的模型记为时延尺度为1的网络。在时延尺度为1的网络中，将t
‑
2时刻细胞单元的前一细胞单元记为t
‑
3时刻细胞单元，将t
‑
3时刻细胞单元的输出连接到t时刻细胞单元，使得处理当前时刻信息的t时刻细胞单元可以学习到t
‑
3时刻细胞单元的输出层特征，将此模型记为时延尺度为2的网络。
13.在时延尺度为2的网络中将t
‑
3时刻细胞单元的前一细胞单元记为t
‑
4时刻细胞单元，将t
‑
4时刻细胞单元的输出连接到t时刻细胞单元，使得t时刻细胞单元可以学习到t
‑
4时刻细胞单元的输出层特征，将此模型记为时延尺度为3的网络。
14.在时延尺度为3的网络中将t
‑
4时刻细胞单元的前一细胞单元记为t
‑
5时刻细胞单元，将t
‑
5时刻细胞单元的输出连接到t时刻细胞单元，使得t时刻细胞单元可以学习到t
‑
5时刻细胞单元的输出层特征，将此模型记为时延尺度为4的网络。由此构建了时延尺度分别为1、2、3、4的四种长短期记忆网络。
15.步骤(4)：将脑电信号和肌电信号分别输入四种时延尺度的长短期记忆网络，根据平均绝对百分比误差、均方根误差以及纳什系数三种评估指标选取误差最小的模型，即为最佳时延尺度模型
16.将四种时延尺度的长短期记忆网络提取的时序特征进行傅里叶变换，转换得到四种频域特征序列，对于得到的四种频域特征序列中相同频率点处的脑肌电信号求取传递熵，得到四种传递熵结果，求取平均值作为基准耦合强度。
17.步骤(5)：计算步骤(4)中获得的最佳时延尺度模型提取的序列在相同频率处的传递熵t1，然后计算频率f1～f2之间t1与基准耦合强度之间的面积即为该频段的耦合强度。
18.本发明设计的基于增加时延尺度的长短期记忆网络与传递熵的脑肌耦合性检测模型分别计算了四种时延尺度的脑肌耦合特征，并用传递熵表示耦合强度，以四种耦合强
度的均值与最佳特征之间的面积表示出耦合强度的强弱变化。
19.本发明的有益效果：
20.人体脑电信号与肌电信号是非平稳的信号，同时不同的个体间有着很大的差异性的，因此在使用传统的机器学习分类方法时，很难找到统一的有代表性的特征。而深度学习因为其强大的特征提取能力，成为了非常适用于生理信号特征提取的工具。
21.脑电信号和肌电信号都是前后信息影响紧密的时间序列，针对这一特点本发明提出了增加时延尺度的增加时延尺度的长短期记忆网络，通过时延尺度将久远时刻的细胞输出输送到当前时刻细胞单元，并通过平均绝对百分比误差、均方根误差及纳什系数设计自适应选择器，选择最佳的时延尺度。
22.传统的相干性方法无法表达出信息流动的方向，本发明将改进的增加时延尺度的长短期记忆网络提取的时序特征转换到频域，然后利用传递熵计算脑电与肌电之间的传递熵面积来表示信号间的耦合程度。
附图说明
23.图1为本发明的实施流程图；
24.图2为本发明设计的添加了时延尺度的长短期记忆网络模型结构图；
25.图3为本发明对脑肌耦合分析的整体过程图；
26.图4(a)
‑
(c)为本发明在分析、伸腕、握拳三种动作是的分析结果图。
具体实施方式
27.针对当前国内学者当前对大脑皮层区和肌肉组织分别探索获得的成果较多，主要方法是依靠核磁共振成像技术研究人体在执行不同的运动任务时大脑运动区被激活的情况，或者依靠肌电信号、机器学习及其他方式研究人体运动功能区域。而将运动区域皮层与人体运动肌群结合在一起的探索方案还不够有效。传统技术如核磁共振成像、脑磁图等虽然定位准确，但不易与肌电信号同步检测。而采用有创法采集人体生理信号时对于受试者伤害较大，研究案例非常有限。同时，当前探究皮层与肌肉间的耦合现象大多数仍然是利用传统的相干性或者因果性检验的方法，使用相干性方法会遇到实验采集到的脑电与肌电频率不相等的问题，而格兰杰因果检验方法要求时间的选取十分严格，并且存在稳健性差的局限性。另外，大部分学者在研究脑电信号与肌电信号之间耦合关系的时候都是在原始时间序列的基础上进行研究，并且都没有考虑到方向性。
28.本发明针对以上问题，设计了基于增加时延尺度的长短期记忆网络与传递熵的脑肌电耦合性检测模型，分析人体在执行动作指令时，大脑与肢体肌肉之间信息交互时的功能耦合变化。将大脑皮层与肌肉信号进行协同分析，利用增加时延尺度的长短期记忆网络提取出信号的特征序列，然后用传递熵计算出耦合面积，以此探究人体在不同的行为动作下皮层与肌肉的耦合关系，解码人体的运动意图，拓展了研究人体运动机制的方法。
29.如图1所示，本实例包括以下步骤：
30.步骤一：获取人类进行不同手部动作时的脑电信号与肌电信号并进行小波去噪处理，具体过程为：
31.(1)分别采集七名健康的男性受试者和七名健康的女性受试者的脑电信号和肌电
信号，实验前确保了所有人都没有神经及运动功能患病史。在实验开始之前提前告知了采集实验的具体操作，受试者均已在知情协议上署名。肌电信号使用trignotmwireless emg设备及其对应的emg works 4.0采集软件进行肌电信号的获取，选定的肌肉为伸指肌、桡侧屈腕肌、指潜屈肌以及尺侧腕曲肌。脑电信号是通过g.mobllab+mp
‑
2015采集仪获取的，实验选取了fp1、fp2、afz、f7、f3、fz、f4、f8、fc5、fc1、fcz、fc2、fc6、t7、c3、cz、c4、t8、tp9、cp5、cp1、cp2、cp6、tp10、p7、p3、pz、p4、p8、o1、o2、lz这32个通道的脑电信号。根据国际统一的扩展10
‑
20电极系统摆放电极的位置。在实验进行的过程中，男女受试者按照要求，跟随电脑屏幕上的动画重复做出屈腕、伸腕、握拳三种动作，每个动作重复10次，每种动作之间间隔5分钟，每轮动作之间间隔20分钟，共重复3轮。
32.(2)利用小波阈值去噪对脑肌电信号进行去噪处理，去除大部分高频段的噪声干扰。
33.步骤(2)：如图2添加了时延尺度的长短期记忆网络模型结构图所示，在传统长短期记忆网络中将处理当前信息的细胞单元记为t时刻细胞单元，然后将当前细胞单元的前一细胞单元记为t
‑
1时刻细胞单元，再将t
‑
1时刻细胞单元的前一细胞单元记为t
‑
2时刻细胞单元。在传统长短期记忆网络的基础上增加一个时延连接，将t
‑
2时刻细胞单元的输出连接到t时刻细胞单元。使得处理当前时刻信息的t时刻细胞单元不仅能考虑前一时刻的数据特征，还能学习到t
‑
2时刻细胞单元的输出层特征。由于脑电信号与肌电信号都是与时间相关的时序序列，因此添加时延连接可以有效避免脑电与肌电特征在传输过程中被遗忘。
34.长短期记忆网络首次提出于1997年，主要用来预测与时间相关的序列。长短期记忆网络的表现通常要优于循环神经网络，它不再是由简单的重复模块堆叠而成，而是加入了各种门用来处理不同的细胞单元。在2009年的手写识别大赛中，长短期记忆网络超越了其他神经网络获得了最佳的成绩，并且在自然语言处理中也超越了其他类型的神经网络模型。长短期记忆网络是一种非线性模型，它的特点是可以依靠多种细胞单元来感知时间序列中过去的状态特征，从而改善了传统模型的准确性。长短期记忆网络的核心是它的记忆块，包括一个记忆单元和三个用作遗忘、输入和输出的门阀。长短期记忆网络通过门控单元对细胞的信息进行添加和删除，门由sigmoid函数和乘法运算组成，可以决定信息是否通过细胞。门的输出由0和1构成，输出0表示信息不可以通过，输出1表示信息可以通过。
35.1.遗忘门
36.长短期记忆网络首先需要决定哪些信息可以通过细胞单元，哪些信息需要被阻挡，这个决定由遗忘门的sigmoid函数来完成。遗忘门可以决定过去的信息对当前细胞单元的状态是否有影响。计算公式如式(1)所示：
37.f
t
＝σ(w
xf
x
t
+w
hf
h
t
‑1+w
cf
c
t
‑1+b
f
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
38.其中，w
xf
，w
hf
和w
cf
是当前和先前时间被遗忘的门和细胞单元的权重，b
f
是偏移量。
39.2.输入门
40.在过去时刻的信息向后传递的过程中，有些信息需要被替换，此功能由输入门实现。首先判断sigmoid的输出是0还是1，若为0则不需要替换，若为1则需要替换为新值。然后由tanh计算产生替换值，当前层产生的新值可以添加到细胞单元中。输入门可以看作决定上一时间点细胞状态对当前细胞单元的影响。计算公式如式(2)所示
41.i
t
＝σ(w
xi
x
t
+w
hi
h
t
‑1+w
ci
c
t
‑1+b
i
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
42.其中，c
t
‑1是前一时间点的候选状态值。w
xi
，w
hi
和w
ci
表示当前时间点和前一时间点遗忘门、候选状态的权重，b
i
是偏移量。
43.3.输出门
44.输出门的作用是控制信息的输出，其结果表示当前单元细胞状态。首先利用sigmoid函数得到初始参数，然后根据tanh函数将c
t
归一化至
‑
1和1之间，再与sigmoid的结果相乘，得出整个模型的计算结果。计算公式如式(3)所示。
45.o
t
＝σ(w
xo
x
t
+w
ho
h
t
‑1+w
co
c
t
‑1+b
o
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
46.其中，w
xo
，w
ho
和w
co
是当前时间和先前时间的输出门和存储单元的权重，b
o
是偏移量。
47.步骤(3)：将步骤(2)中构建的模型记为时延尺度为1的网络。在时延尺度为1的网络中，将t
‑
2时刻细胞单元的前一细胞单元记为t
‑
3时刻细胞单元，将t
‑
3时刻细胞单元的输出连接到t时刻细胞单元，使得处理当前时刻信息的t时刻细胞单元可以学习到t
‑
3时刻细胞单元的输出层特征，将此模型记为时延尺度为2的网络。
48.然后，在时延尺度为2的网络中将t
‑
3时刻细胞单元的前一细胞单元记为t
‑
4时刻细胞单元，将t
‑
4时刻细胞单元的输出连接到t时刻细胞单元，使得t时刻细胞单元可以学习到t
‑
4时刻细胞单元的输出层特征，将此模型记为时延尺度为3的网络。
49.最后，在时延尺度为3的网络中将t
‑
4时刻细胞单元的前一细胞单元记为t
‑
5时刻细胞单元，将t
‑
5时刻细胞单元的输出连接到t时刻细胞单元，使得t时刻细胞单元可以学习到t
‑
5时刻细胞单元的输出层特征，将此模型记为时延尺度为4的网络。由此构建了时延尺度分别为1、2、3、4的四种长短期记忆网络。
50.步骤(4)：将脑电信号和肌电信号分别输入步骤(3)中构建的四种时延尺度的长短期记忆网络，根据平均绝对百分比误差、均方根误差以及纳什系数三种评估指标选取误差最小的模型，称作最佳时延尺度模型，如图3对脑肌耦合分析的整体过程图所示。
51.将四种时延尺度的长短期记忆网络提取的时序特征进行傅里叶变换，转换得到四种频域特征序列。对于得到的四种频域特征序列中相同频率点处的脑肌电信号求取传递熵，得到四种传递熵结果，求取平均值作为基准耦合强度。基准耦合强度具体获得过程如下：
52.令脑电信号和肌电信号两个时间序列为x＝{x1,x2,x3…
x
t
}与y＝{y1,y2,y3…
y
t
}，其中t是信号长度，x1，y1分别为两个序列的首个测量值，x2,y2分别为两个序列的第二个测量值，对于相同频率点处的脑肌电信号的频域特征求取熵率：
[0053][0054][0055]
式中n代表基准判断点，τ表代表判断的时刻。
[0056]
y到x的传递熵te被定义为如式(6)所示。
[0057][0058]
x到y的传递熵te被定义为如式(7)所示。
[0059][0060]
利用条件概率公式可以将公式写为式(8)和式(9)。
[0061][0062][0063]
利用式(8)、(9)求取脑电到肌电与肌电到脑电的传递熵，并求取四个频域特征序列的传递熵均值，作为基准耦合强度。
[0064]
步骤(5)：计算步骤(4)中获得的最佳时延尺度模型提取的序列在相同频率处的传递熵t1，然后计算随机频率f1～f2之间t1与基准耦合强度之间的面积即为该频段的耦合强度。如图4(a)
‑
(c)所示，为分析、伸腕、握拳三种动作是的分析结果图。