本发明涉及一种深度学习模型。特别是涉及一种针对人脑多通道电信号的基于MEMD的深度学习模型构建方法及在运动想象中的应用。
背景技术：
脑电信号是神经元生理活动在大脑皮层的一种反映方式，可从各区域的神经元电位提取出大量的生理与病理信息。对人脑在不同工作状态的准确监测和辨识不仅可在临床医学方面为某些脑疾病提供有效的治疗手段。同时在实际开发方面，通过脑电信号实现脑-机接口(Brain-computer Interface，BCI)，进而研究视觉诱发和运动想象等人脑机能。研究人脑处于不同的感观或认知活动时的脑状态，有助于康复医疗等相关领域研究，而且可通过有效提取脑电信号特征并加以分类从而实现意念控制等功能。该技术有望为患有运动障碍疾病的病人提供一种新的交互手段，使病人能通过意念来控制外部设备，进行基本的日常移动及活动，甚至是通过意念向外界传达他们的想法。当然，这项技术也可用来进行简单的娱乐活动以改善运动障碍病人的精神生活。
在实际生活中，人们大多通过四肢的运动来进行各项日常活动，也可通过户外运动等方式来放松自我，丰富精神世界。不论是简单的日常活动，还是复杂的户外游戏，都需要四肢进行支持。然而对于患有严重神经肌肉疾病的病人来说，自主活动十分困难。病人往往由于长期久坐无法正常活动，不但身体上遭受着痛苦，而且还会产生自卑和忧郁等精神问题。因此，使用脑-机接口技术，基于人脑的运动想象机能，帮助运动障碍的病人进行日常娱乐活动，这具有十分重要的意义。
多元经验模态分解(Multiple Empirical Mode Decomposition，MEMD)算法是非线性时间序列分析中的一个重要且有效的工具，尤其是对于多维短时间序列，其分析效果十分显著。其算法目的在于将性能不好的信号分解为一组性能较好的本征模函数，以直观的角度揭示不同时间序列间的内在特性。
深度学习作为一种新兴的理论方法，在近几年中得到了广泛的关注，其能自动对原始数据或是特征数据进行学习并实现有监督分类。典型的深度学习网络有卷积神经网络(CNN)、生成对抗网络(GAN)和长短时记忆网络(LSTM)等。随着深层神经中存在的网络过拟合问题的解决，训练出效果佳的深层神经网络如深度卷积神经网络成为可能。深度学习模型相比于经典的神经网络在特征提取和分类上的性能得到显著提升。目前，有研究人员致力于探索卷积神经网络和循环神经网络在原始脑电信号中的应用，并取得了一定的进展。但是，如何使原始脑电信号更容易被深层网络所处理，并结合已有理论来加入促进辨识的先验知识，来取得更优的效果，这个方面的研究和成果仍然十分有限。
技术实现要素：
本发明所要解决的技术问题是，提供一种基于MEMD的深度学习模型构建方法及在运动想象中的应用。
本发明所采用的技术方案是：一种基于MEMD的深度学习模型构建方法，包括如下步骤：
1)对从脑控设备测得的多通道脑电信号进行带通滤波，其中带通滤波范围是根据感知运动节律来选取对应的脑电波频段，最终得到p维脑电信号x(t)，对p维脑电信号x(t)以2秒为单位进行信号分割，得到多个信号样本，对每个信号样本分别进行多元经验模态分解；
2)针对每个信号样本所得到的本征模函数分量数n不相同，令n的最小值为c，保留前c个本征模函数；对于每个信号样本，将经由多元经验模态分解得到的c个本征模函数加上数据序列X(t)的趋势Rn堆叠在一起，得到大小为q×p×(c+1)的三维数据样本，作为深度学习模型的输入；
3)构建应用在运动想象中的深度学习模型。
步骤1)中所述的带通滤波范围具体如下：运动想象及感知的控制信号为感知运动节律，其节律特征主要表现在μ波段(频率范围为8-12Hz)和β波段(频率范围为18-26Hz)。因此，带通滤波范围为1-30Hz。。
步骤1)中所述的对每个信号样本分别进行多元经验模态分解，包括：
(1)首先产生一个由准蒙特卡罗采样构建的低差异哈默斯利序列，在p维空间中对低差异哈默斯利序列均匀采样得到V个点，作为投影向量的方向，得到V个方向矢量其中v＝1,2,...,V，v表示p维的空间中任意一个点，θv表示任意一个投影方向；
(2)沿着方向矢量将p维脑电信号x(t)进行投影，得到p维投影序列其中q表示投影序列；
(3)找到对应于p维投影序列达到最大值时的时刻集合再使用三次样条函数对进行插值，得到多变量包络曲线其中，i表示时刻集合中的任一时刻，是v点投影后的包络曲线；
(4)用p维脑电信号x(t)减去多变量包络曲线的平均值m(t)得到d(t)，其中多变量包络曲线的平均值：
(5)当d(t)满足了多变量本征模函数的停止条件，即上下包络线为对称状态且连续K次满足前提条件，其中4≤K≤8，则令x(t)＝x(t)-d(t)，进入第(6)步，当d(t)不满足多变量本征模函数的停止条件，令x(t)＝d(t)，返回第(1)步；
(6)对于第一个满足停止条件的d(t)，即为第一个本征模函数C1，对应于高频成分，用x(t)减去C1得到一个去掉高频成分的新数据序列R1；对新数据序列R1再进行再(1)步，得到第二个本征模函数分量C2；如此重复直到最后一个数据序列Rn不可被分解，此时，Rn代表数据序列X(t)的趋势，对于一个多元时间序列x(t)，共得到n个本征模函数分量。
步骤3)包括：
(1)三维数据样本归一化后作为深度学习模型即三维卷积神经网络的一个数据输入，将对应不同想象的指令作为卷积神经网络末层的输出个数；
(2)设计三维卷积神经网络：
(2.1)第一个网络层为卷积层，大小为1*p*1的三维卷积核，数目为16个，激活函数为relu函数，步长为1；
(2.2)第二个网络层为卷积层，大小为1*1*(c+1)的三维卷积核，数目为32个，激活函数为relu函数，步长为1；
(2.3)第三个网络层为卷积层，大小为k*1*1的三维卷积核，数目为64个，激活函数为relu函数，步长为1，其中k为[q/2]，如果k为偶数，则令k＝k+1；
(2.4)第四个网络层为全连接层，节点数量为100，并添加dropout操作，对应值为0.5；
(2.5)第五个网络层为全连接层，节点数量为10；
(2.6)第六个网络层为输出层，输出数目为所需辨识的脑控指令数目，这里为4；
(2.7)训练次数初始化为5000，每重复一次则训练次数减1，直到训练次数为0；
(3)通过对步骤2)中得到的全部三维数据样本进行卷积操作训练，利用反向传播算法来调整和更新网络的各个权值，进而得到一个运动想象脑电信号辨识的深度学习模型，得到的深度学习模型的输出对应于不同想象的指令，作为控制器的输入，用于控制机械设备的运行。
基于MEMD的深度学习模型在运动想象中的应用，所构建的深度学习模型用于运动想象任务的辨识中，所使用的带通滤波范围为1-30Hz，深度学习模型的输出数目为4，分别对应运动想象任务中的上下左右指令。
本发明的基于MEMD的深度学习模型构建方法及在运动想象中的应用，不仅利用经验模态分解中的先验知识来提供一种有效的特征预处理方式，而且具有深度学习模型中高计算效率的优点。在本发明提出的深度学习模型中，其输出指令可控制机械臂等设备的运动，优秀的实时性使其具有很强的应用潜力。由此，可得到一个基于人脑运动想象功能的脑控设备。
附图说明
图1是本发明基于MEMD的深度学习模型构建方法的流程图。
具体实施方式
下面结合实施例和附图对本发明的基于MEMD的深度学习模型构建方法及在运动想象中的应用做出详细说明。
本发明的基于MEMD的深度学习模型构建方法及在运动想象中的应用，是先对脑控设备测得的多通道信号以一定的频率范围进行滤波，其中是通过运动想象的感知节律来确定相应任务的频率范围；对滤波后的脑电信号按照多元经验模态算法的流程，先沿方向矢量对多通道脑电序列进行投影，进而插值得到多变量包络曲线，对p维时间序列减去包络曲线平均值，在满足停止条件后可得到一个本征模函数分量，如此循环，直到序列不可再分解，得到最终序列的趋势值；在确定n的最小值c后，将分解出的c个本征模函数和原序列趋势进行叠加，得到的三维数据样本作为训练样本输入深度学习模型即三维卷积神经网络，将实际运动想象任务中需要辨识的脑指令作为卷积神经网络的输出类别，通过对训练样本的多次卷积操作训练，利用反向传播算法来调整和更新网络的各个权值，进而可得到一个运动想象脑电信号辨识的深度学习模型，该模型的输出指令可以控制机械臂等设备的运动。由此，可得到一个基于人脑运动想象的深度学习模型。该模型能利用多元经验模态分解方法中的先验知识来提供一种有效的特征预处理方式，再结合三维卷积神经网络模型，实现运动想象背景下的多指令辨识，可应用于脑控设备的开发。
如图1所示，本发明的基于MEMD的深度学习模型构建方法，包括如下步骤：
1)对从脑控设备测得的多通道脑电信号进行带通滤波，其中带通滤波范围是按照大脑中影响运动想象任务的特性，根据感知运动节律来选取相应的脑电波频段，最终得到p维脑电信号x(t)，对p维脑电信号x(t)以2秒为单位进行信号分割，得到多个信号样本，对每个信号样本分别进行多元经验模态分解；其中，
采集脑电信号，使用的是“国际10-20系统”定义的32通道电极帽。
所述的带通滤波范围具体如下：运动想象及感知的控制信号为感知运动节律。感知运动节律的特征主要表现在μ波段(频率范围为8-12Hz)和β波段(频率范围为18-26Hz)。因此，带通滤波范围为1-30Hz。
所述的对每个信号样本分别进行多元经验模态分解，包括：
(1)首先产生一个由准蒙特卡罗采样构建的低差异哈默斯利序列，在p维空间中对低差异哈默斯利序列均匀采样得到V个点，作为投影向量的方向，得到V个方向矢量其中v＝1,2,...,V，v表示p维的空间中任意一个点，θv表示任意一个投影方向；
(2)沿着方向矢量将p维脑电信号x(t)进行投影，得到p维投影序列其中q表示投影序列；
(3)找到对应于p维投影序列达到最大值时的时刻集合再使用三次样条函数对进行插值，得到多变量包络曲线其中，i表示时刻集合中的任一时刻，是v点投影后的包络曲线；
(4)用p维脑电信号x(t)减去多变量包络曲线的平均值m(t)得到d(t)，其中多变量包络曲线的平均值：
(5)当d(t)满足了多变量本征模函数的停止条件，即上下包络线为对称状态且连续K次满足前提条件，其中4≤K≤8，则令x(t)＝x(t)-d(t)，进入第(6)步，当d(t)不满足多变量本征模函数的停止条件，令x(t)＝d(t)，返回第(1)步；
(6)对于第一个满足停止条件的d(t)，即为第一个本征模函数C1，对应于高频成分，用x(t)减去C1得到一个去掉高频成分的新数据序列R1；对新数据序列R1再进行再(1)步，得到第二个本征模函数分量C2；如此重复直到最后一个数据序列Rn不可被分解，此时，Rn代表数据序列x(t)的趋势，对于一个多元时间序列x(t)，共得到n个本征模函数分量。
2)针对每个信号样本所得到的本征模函数分量数n不相同，令n的最小值为c，保留前c个本征模函数；对于每个信号样本，将经由多元经验模态分解得到的c个本征模函数加上数据序列x(t)的趋势Rn堆叠在一起，得到大小为q×p×(c+1)的三维数据样本集作为深度学习模型的输入；
3)构建应用在运动想象备中的深度学习模型。包括：
(1)三维数据样本归一化后作为深度学习模型即三维卷积神经网络的数据输入，将对应不同想象的指令作为卷积神经网络的输出个数；
(2)设计三维卷积神经网络
卷积神经网络(Convolutional Neural Network，CNN)可由多种不同形式和特性的网络层叠加而成，网络层基本上可包括卷积层、池化层、正则化层和损失层。卷积层作为CNN网络的核心，由多个过滤器构成了不同的卷积层，每个过滤器只处理特定感受野内的小块区域，且会根据设定的步幅大小来遍历整个输入数据，对输入的三维信号进行卷积操作；池化层作为一种降采样和压缩数据维度的方式，可以减弱网络的过拟合效应和提高网络的泛化能力，因此在实际应用中会根据输入三维数据的实际特性，选择最佳的三维池化层结构；在卷积神经网络的顶部，将上个网络层输出的四维特征图谱，进行扁平化后变成全连接层的输入，进而缩小全连接层的节点数，得到与任务类别数相同的四个输出点；在进行多类别辨识时，损失层一般采用多交叉熵损失函数，通过比较网络层的最终输出和数据的真实标注，得到网络预测的正确率和训练损失。
所述的设计三维卷积神经网络包括：
(2.1)第一个网络层为卷积层，大小为1*p*1的三维卷积核，数目为16个，激活函数为relu函数，步长为1；
(2.2)第二个网络层为卷积层，大小为1*1*(c+1)的三维卷积核，数目为32个，激活函数为relu函数，步长为1；
(2.3)第三个网络层为卷积层，大小为k*1*1的三维卷积核，数目为64个，激活函数为relu函数，步长为1，其中k为[q/2](高斯下取整)，如果k为偶数，则令k＝k+1；
(2.4)第四个网络层为全连接层，节点数量为100，并添加dropout操作，对应值为0.5；
(2.5)第五个网络层为全连接层，节点数量为10；
(2.6)第六个网络层为输出层，输出数目为所需辨识的脑控指令数目，这里为4；
(2.7)训练次数初始化为5000，每重复一次则训练次数减1，直到训练次数为0；
(3)通过对步骤2)中得到的全部三维数据样本进行卷积操作训练，利用反向传播算法来调整和更新网络的各个权值，进而得到一个运动想象脑电信号辨识的深度学习模型，得到的深度学习模型的输出对应于不同想象的指令，作为控制器的输入，用于控制机械设备的运行，由此可达到人脑意念指挥机械臂等设备运行的目的，从而得到一个基于运动想象的脑控设备。
本发明的基于MEMD的深度学习模型构在运动想象中的应用，是所构建的深度学习模型用于运动想象任务的辨识中，所使用的带通滤波范围为1-30Hz，深度学习模型的输出数目为4，分别对应运动想象任务中的上下左右指令
以上对本发明和实施例的描述，并不局限于此，实施例中的描述仅是本发明的实施方式之一，在不脱离本发明创造宗旨的情况下，任何不经创造性的设计出与该技术方案类似的结构或实施例，均属本发明的保护范围。