融合可视图与深度学习的运动想象意念控制方法及应用与流程

本发明涉及一种运动想象意念控制方法。特别是涉及一种融合可视图与深度学习的运动想象意念控制方法及应用。

背景技术：

脑机接口(bci)是指人脑与计算机或其他电子设备间建立的交流与控制通道，可以通过获取脑电信号，提取其中有效信息，进而对连接的其它设备进行控制。脑电信号的获取范式有ssvep、p300、运动想象三种，且这些获取方法的实现不受脑外围神经、肌肉输出的限制，对于残疾人士的恢复治疗有重要的意义。其中，运动想象由于不需要附加刺激界面，在设备要求便携化、小型化时，具有独特的优点。

运动想象范式是在没有肢体运动的情况下，被试者自主进行思维活动，想象某一特定的运动场景，产生连续的eeg脑电信号，由bci感知并对其特征进行分析的过程。此过程中得到的脑电特征提取结果与被试者初始思维活动相关，从而可以转化成与之对应的控制指令，控制被试者穿戴的机械外骨骼带动被试者进行运动。需要下达该控制指令时，仅需进行某固定的运动场景想象，即可实现对外界设备的控制。

近年来，复杂网络获得快速发展。作为前沿的数据融合、分析理论，复杂网络为复杂系统的研究提供了新的视角。特别的，可视图复杂网络作为复杂网络时间序列分析的主要方法之一，已经在包括经济、多相流、交通等诸多领域有了成功的应用，其计算快速，形象直观的特点使其能够很好地刻画复杂系统的内在运行机理。

深度学习作为机器学习中一种基于对数据进行表征学习的方法，在计算机视觉、语音识别和自然语言处理等领域有重要应用。其中深度卷积神经网络作为应用较为广泛的技术，在处理序列上也有重要贡献。通过构建深度卷积神经网络进行有监督学习，将对序列进行充分的数据挖掘，有着较好的实时性和准确性。

技术实现要素：

本发明所要解决的技术问题是，提供一种能够利用虚拟现实技术，设计实验获取运动想象eeg脑电信号，结合复杂网络和深度学习理论实现数据分析、分类并最终实现脑机控制的融合可视图与深度学习的运动想象意念控制方法及应用。

本发明所采用的技术方案是：一种融合可视图与深度学习的运动想象意念控制方法，使用虚拟现实技术生成不同运动场景，被试者通过虚拟现实设备观察不同运动场景的同时，想象相应的具体动作，诱发运动想象eeg脑电信号，通过脑电采集设备实现采集，而后结合可视图复杂网络和深度卷积神经网络模型，实现对运动想象eeg脑电信号的有效辨识以及分类，以分类结果为基础，生成相应的控制指令，控制机械外骨骼实现多自由度运动，辅助被试者完成各种运动；具体包括如下步骤：

1)获取运动想象eeg脑电信号并对运动想象eeg脑电信号进行预处理；

2)对预处理后的运动想象eeg脑电信号其中，l为每个信号的数据长度，xc,g表示第c个电极采集的信号中第g个数值，采用可视图理论构建可视图复杂网络a^c，得到大脑多层复杂网络；

3)对于每一个可视图复杂网络a^c，分别提取网络指标数据，所述的网络指标数据包括：网络平均节点度、网络平均节点介数、网络平均聚集系数、网络全局聚集系数、网络聚集系数熵和网络平均最短路径；

4)对于任一被试者在每一个运动场景下的大脑多层复杂网络，获得上述各个网络指标数据，组成一维序列，通过运动场景编号为该一维序列设定标签，构建样本集，搭建初始深度卷积神经网络模型，使用样本集对初始深度卷积神经网络模型进行有监督的训练，得到能够用于运动想象eeg脑电信号有效分类、辨识的深度卷积神经网络模型及参数，其中，所述样本集中的每一个样本由各个网络指标数据组成的一维序列以及相应的标签构成。

步骤1)所述的获取运动想象eeg脑电信号，是通过eeg脑电信号采集设备，分别获取被试者对应于p3，p4，o1，o2，c3，c4，cz七个电极的运动想象eeg脑电信号，电极分布符合10～20国际标准导联；包括：

(1)使用虚拟现实(vr)技术生成q种以上运动场景，其中q≥2，为各个场景分别设置编号1,2,...,q；

(2)被试者通过虚拟现实设备观察生成的不同运动场景的同时，想象相应场景的具体动作；

(3)在每一个运动场景下，当被试者想象相应的具体动作时，通过运动想象eeg脑电信号采集设备完成运动想象eeg脑电信号的采集。

步骤1)所述的对运动想象eeg脑电信号进行预处理，是对运动想象eeg脑电信号进行带通滤波并去除伪迹，得到能够用于实现运动想象状态辨识的运动想象eeg脑电信号：

其中，l为每个信号的数据长度，xc,g表示第c个电极采集的信号中第g个数值。

步骤2)包括：

(1)对每一个电极的运动想象eeg脑电信号采用可视图理论进行处理，若其中任意两点和以及两点之间的任意一点满足条件：则称和可视，设定运动想象eeg脑电信号中任意相邻的两点可视，以中的每个点为网络节点，根据各点之间的可视性确定网络连边，即：若两点可视，则建立连边，若不可视，则没有连边，得到可视图复杂网络其中，分别为第c个通道的运动想象eeg脑电信号中的第g1、g2、g3个数值；

(2)对7个电极的运动想象eeg脑电信号分别重复第(1)步，建立7个可视图复杂网络，得到大脑多层复杂网络{a¹,a²,...,a⁷}。

步骤4)所述的初始深度卷积神经网络模型依次包括：

一个数据输入层：输入数据即样本为由大脑多层复杂网络的各个网络指标数据构成的一维序列及其对应标签，所述的输入数据是具有标签信息的数据；

三个一维卷积层：卷积核数量为8，卷积核大小为1×7，激活函数是一个线型修正单元，采用relu激活函数frelu(x)＝max(0,x)；

一个最大池化层：池化核大小为1×4，具体过程描述为pp＝max{0,x}，表示对当前池化核覆盖下的输入数据的元素提取最大值作为输出；

四个一维卷积层：卷积核数量为16，卷积核大小为1×7，采用relu激活函数frelu(x)＝max(0,x)；

一个最大池化层：池化核大小为1×4；

分类器：作为神经网络的输出层，输出分类结果，并用h个神经元表示，通过softmax函数处理，softmax函数本质上是归一化的指数函数，定义为其中h＝1···h，e为自然对数值，zh为第h个神经元的输出，式子中的分母充当了正则项的作用，使得

步骤4)所述的训练包括：

(1)将样本集中80％的数据作为训练集，用于训练初始深度卷积神经网络模型，确定初始深度卷积神经网络模型参数，20％的数据作为测试集，用于测试已经训练好的深度卷积神经网络模型的泛化能力；

(2)将网络权值、阈值取接近于0的随机值，并初始化训练所需的超参数，所述的超参数包括学习率、权值衰减、学习率衰减；

(3)通过反向传播算法对初始深度卷积神经网络模型进行训练；

(4)在训练中通过梯度下降法对网络权值进行调整，公式为w是更新前的网络权值，wnew是更新后的网络权值，ξ是学习率，是误差对网络权值的偏导；

(5)当损失函数停止收敛或者网络训练迭代次数超过设定值m时，停止训练。

一种融合可视图与深度学习的运动想象意念控制方法的应用，包括如下步骤：

1)设定4个运动场景，编号为场景1，场景2，场景3，场景4，分别对应书写汉字场景、驾驶场景、家居场景和踢足球场景，在不同场景下，想象不同的具体的动作；获取运动想象eeg脑电信号并对运动想象eeg脑电信号进行预处理；

2)利用可视图复杂网络与训练得到的深度卷积神经网络模型对采集到的运动想象eeg脑电信号进行处理，提取特征，判断出该信号对应的是何种运动想象，以分类结果为基础生成脑控指令，发送给机械外骨骼，控制机械外骨骼运动。

本发明的融合可视图与深度学习的运动想象意念控制方法及应用，能够实现对运动想象eeg脑电信号的有效辨识和进行正确分类，并转化为脑控指令，实现对机械外骨骼的控制；本发明能够实现多自由度大脑意念控制，辅助肢体运动困难者进行训练。

附图说明

图1是本发明融合可视图与深度学习的运动想象意念控制方法的流程图

图2是10～20国际标准导联电极安放位置示意图；

图3是可视图复杂网络建网方法示意图；

图4是卷积神经网络结构示意图；

图5是一维卷积、池化的示意图。

具体实施方式

下面结合实施例和附图对本发明的融合可视图与深度学习的运动想象意念控制方法及应用做出详细说明。

本发明的融合可视图与深度学习的运动想象意念控制方法，使用虚拟现实(vr)技术生成不同运动场景，被试者通过虚拟现实设备观察不同运动场景的同时，想象相应的具体动作，诱发运动想象eeg脑电信号，通过脑电采集设备实现采集，而后结合可视图复杂网络和深度卷积神经网络(dcnn)模型，实现对运动想象eeg脑电信号的有效辨识以及分类，以分类结果为基础，生成相应的控制指令，控制机械外骨骼实现多自由度运动，辅助被试者完成各种运动。

本发明的融合可视图与深度学习的运动想象意念控制方法，具体包括如下步骤：

1)获取运动想象eeg脑电信号并对运动想象eeg脑电信号进行预处理；

所述的获取运动想象eeg脑电信号，是通过eeg脑电信号采集设备，分别获取被试者对应于p3，p4，o1，o2，c3，c4，cz七个电极的运动想象eeg脑电信号，电极分布符合10～20国际标准导联，如图2所示；包括：

(1)使用虚拟现实(vr)技术生成q种以上运动场景，其中q≥2，为各个场景分别设置编号1,2,...,q；

(2)被试者通过虚拟现实设备观察生成的不同运动场景的同时，想象相应场景的具体动作；

(3)在每一个运动场景下，当被试者想象相应的具体动作时，通过运动想象eeg脑电信号采集设备完成运动想象eeg脑电信号的采集。

通过虚拟现实(vr)给出场景，被试者在对应运动场景下想象具体的实际的动作，能够提高脑电信号的质量，而且统一受试者的运动想象内容，便于优化脑电信号识别算法。

所述的对运动想象eeg脑电信号进行预处理，是对运动想象eeg脑电信号进行带通滤波并去除伪迹，得到能够用于实现运动想象状态辨识的运动想象eeg脑电信号：

其中，l为每个信号的数据长度，xc,g表示第c个电极采集的信号中第g个数值。

2)对预处理后的运动想象eeg脑电信号采用可视图理论构建可视图复杂网络a^c，得到大脑多层复杂网络；包括：

(1)对每一个电极的运动想象eeg脑电信号采用可视图理论进行处理，若其中任意两点和以及两点之间的任意一点满足条件：则称和可视，设定运动想象eeg脑电信号中任意相邻的两点可视，以中的每个点为网络节点，根据各点之间的可视性确定网络连边，即：若两点可视，则建立连边，若不可视，则没有连边，得到可视图复杂网络其中，分别为第c个通道的运动想象eeg脑电信号中的第g1、g2、g3个数值；

(2)对7个电极的运动想象eeg脑电信号分别重复第(1)步，建立7个可视图复杂网络，得到大脑多层复杂网络{a¹,a²,...,a⁷}。

3)对于每一个可视图复杂网络a^c，分别提取网络指标数据，所述的网络指标数据包括：网络平均节点度、网络平均节点介数、网络平均聚集系数、网络全局聚集系数、网络聚集系数熵和网络平均最短路径；所述的网络指标数据具体如下：

(1)网络平均节点度k：任意节点i的度ki表示与该节点有连边的节点的数目，则其中＜·＞表示取平均值的操作；

(2)网络平均节点介数b＝＜bi＞，表示节点i的节点介数，其中σmn为连接节点m和节点n的最短路径数目，σmn(i)为经过节点i的连接节点m和节点n的最短路径数目；

(3)网络平均聚集系数表示节点i的节点聚集系数，其中τi,δ表示复杂网络中包含节点i的封闭三角形的数目，τi表示复杂网络中从节点i出发至少有两个边的三角形的数目；

(4)网络全局聚集系数

(5)网络聚集系数熵

(6)网络平均最短路径其中节点i和节点j互不相同，且lij表示节点i和节点j之间的最短路径长度。

4)对于任一被试者在每一个运动场景下的大脑多层复杂网络，获得上述各个网络指标数据，组成一维序列，通过运动场景编号为该一维序列设定标签，构建样本集，搭建初始深度卷积神经网络模型，如图4所示，使用样本集对初始深度卷积神经网络模型进行有监督的训练得到能够用于运动想象eeg脑电信号有效分类、辨识的深度卷积神经网络模型及参数。其中，所述样本集中的每一个样本由各个网络指标数据组成的一维序列以及相应的标签构成。

所述的初始深度卷积神经网络模型依次包括：

一个数据输入层：输入数据即样本为由大脑多层复杂网络的各个网络指标数据构成的一维序列及其对应标签，所述的输入数据是具有标签信息的数据；

三个一维卷积层：卷积核数量为8，卷积核大小为1×7，激活函数是一个线型修正单元，采用relu激活函数frelu(x)＝max(0,x)；

一个最大池化层：池化核大小为1×4，具体过程描述为pp＝max{0,x}，表示对当前池化核覆盖下的输入数据的元素提取最大值作为输出，其中pp对应池化核最左边的元素所在位置；

四个一维卷积层：卷积核数量为16，卷积核大小为1×7，采用relu激活函数frelu(x)＝max(0,x)；

一个最大池化层：池化核大小为1×4；

分类器：作为神经网络的输出层，输出分类结果，并用h个神经元表示，通过softmax函数处理，softmax函数本质上是归一化的指数函数，定义为其中h＝1···h，e为自然对数值，zh为第h个神经元的输出，式子中的分母充当了正则项的作用，使得

本发明中，一维卷积、池化过程如图5所示。对于一维序列xi，其卷积过程函数描述如下：

其中，为卷积核(在本例中rmax＝7)，η1为卷积核步长，f为激活函数(在本例中激活函数为relu)，为卷积输出序列，q满足(表示向下取整)；池化过程函数描述如下：

其中，pw为池化核(在本例中wmax＝4，{pw＝1|w∈n,1≤w≤4})，η2为池化核步长，为池化输出序列，d满足(表示向下取整)。

对初始深度卷积神经网络(dcnn)模型的训练包括：

(1)将样本集中80％的数据作为训练集，用于训练初始深度卷积神经网络模型，确定初始深度卷积神经网络模型参数，20％的数据作为测试集，用于测试已经训练好的深度卷积神经网络模型的泛化能力；

(2)将网络权值、阈值取接近于0的随机值，并初始化训练所需的超参数，所述的超参数包括学习率、权值衰减、学习率衰减；

(3)通过反向传播算法对初始深度卷积神经网络模型进行训练，分两种情况，包括：

当第l层为卷积层，第l+1层为池化层时，将第l+1层的特征图上采样，使得与第l层特征图大小一致，然后进行敏感度计算，计算公式为其中“○”为元素对应相乘，up(·)表示上采样函数，为第l+1的特征图上元素μ对应的权值，f'(·)为当前层激活函数的导数，为经过激活之前的数据。在权值更新过程中，该层每个特征图的偏置项的导数都为该特征图的所有像素的敏感度之和，公式为式中e为参数集在训练集上的模型整体误差，bμ为该层每个特征图的偏置项。对于卷积核，其偏导数等于相邻两层对应之积，公式为式中代表第l层第λ行μ列的卷积核，表示第l-1层第λ个特征图，为之前所计算的敏感度，rot180(·)表示将矩阵旋转180度，conv2(·)表示两个矩阵的卷积计算，valid表示返回值不考虑边界补零，即只要有边界补出的零参与运算的都舍去。

当第l层为池化层，第l+1层为卷积层，由于池化层权值固定，涉及不到权值更新，不用计算偏导数，其公式为式中“○”为元素对应相乘，f'(·)为当前层激活函数的导数，conv2(·)表示两个矩阵的卷积计算，表示经过激活之前的数据，表示第l+1层第μ个元素对应的敏感度，表示第l+1层第μ个卷积核，full表示返回全部二维卷积结果。

(4)在训练中通过梯度下降法对网络权值进行调整，公式为w是更新前的网络权值，wnew是更新后的网络权值，ξ是学习率，是误差对网络权值的偏导；

(5)当损失函数停止收敛或者网络训练迭代次数超过设定值m时，停止训练。

本发明的融合可视图与深度学习的运动想象意念控制方法的应用，包括如下步骤：

1)设定4个运动场景，编号为场景1，场景2，场景3，场景4，分别对应书写汉字场景、驾驶场景、家居场景和踢足球场景；获取运动想象eeg脑电信号并对运动想象eeg脑电信号进行预处理；在不同场景下，想象不同的具体的动作，包括：

在书写汉字场景下，被试者想象通过右手书写汉字的过程；

在驾驶场景下，被试者想象紧急时刻通过右脚踩下刹车的过程；

在家居场景下，被试者想象通过左手端起水杯喝水的过程；

在踢足球场景下，被试者想象通过左脚射门的过程；

上述具体动作有助于运动想象脑电信号的产生，但本发明不仅限于这些动作，其他无本质创新的动作也属于本发明的保护内容。

2)利用可视图复杂网络与训练得到的深度卷积神经网络模型对采集到的运动想象eeg脑电信号进行处理，提取特征，判断出该信号对应的是何种运动想象，以分类结果为基础生成脑控指令，发送给机械外骨骼，控制机械外骨骼运动。

以上对本发明和实施例的描述，并不局限于此，实施例中的描述仅是本发明的实施方式之一，在不脱离本发明创造宗旨的情况下，任何不经创造性的设计出与该技术方案类似的结构或实施例，均属本发明的保护范围。