基于卷积神经网络的脑机接口指令下发方法、系统、装置与流程

本发明属于脑机接口解码算法领域，具体涉及了一种基于卷积神经网络的脑机接口指令下发方法、系统、装置。

背景技术：

脑机接口是一个通过采集、分析大脑信号，并将其转换为输出指令，实现由大脑信号对外部设备直接控制的系统[1]。脑机接口作为一个新的研究方向，具有重要的科学意义和广阔的应用前景。它可以为瘫痪病人提供与外界交流的渠道，以提升生活质量。近来，基于脑电的脑机接口有了迅速的发展，尤其是基于稳态视觉诱发电位的脑机接口获得广泛应用。相比于其他范式脑机接口，基于稳态视觉诱发电位的脑机接口范式具有更高的信息传输率特点，并且是唯一无需进行提前训练的脑电信号，需要的脑电图通道更少。稳态视觉诱发电位是经固定频率刺激眼球的视网膜，诱发大脑皮层枕叶部位产生响应，而得到的脑电信号，此信号可以在枕叶视觉相关区域的头皮层进行采集，通过对采集到的脑信号进行频谱分析，得到一个目标频率，即受试者眼球受到的刺激频率。稳态视觉诱发电位在频谱上的分布与视觉刺激频率成倍数关系，例如，当一个6hz的固定调制频率刺激眼球，则会在频谱上观察到6hz、12hz、18hz等频率处存在波峰。

目前，有许多解码稳态视觉诱发电位的方法。基于稳态视觉诱发电位信号的频率特征，通过离散傅立叶变换的功率谱密度分析被广泛用于从单通道检测稳态视觉诱发电位的目标频率。典型相关分析是检测用频率编码标记的稳态视觉诱发电位的最流行的方法[2]。后来许多基于典型相关分析的改进方法被提出，如基于单个模板的典型相关分析，多路典型相关分析，多组典型相关分析，其性能优于标准典型相关分析，通过优化参考信号。另一方面，tanakah.et.al.提出了一种新方法，可以提取任务相关成分命名任务相关成分分析[3]，此方法可以有效地去除伪像，以提高信噪比，显示出比典型相关分析更好的性能[4]。这些方法通过矩阵分析的方法求解，无法学习信号的深层特征。

近年来，卷积神经网络是机器学习领域最大的进步之一。2017年，kwak，n.s.等人提出了一种基于分类器的深度卷积神经网络，它使用频率特征作为稳态视觉诱发电位检测的输入，并发现了卷积神经网络架构能够得到有效的稳态视觉诱发电位解码结果。attia，m.等人开发了一种深度学习模型，该模型使用基于卷积和递归神经网络的混合架构直接对时域中的稳态视觉诱发电位信号进行分类。这些方法能够发现稳态视觉诱发电位信号的深层特征，但是并不能有效利用稳态视觉诱发电位信号的先验知识，在分类效果方面还可以进一步提高。

总的来说，虽然该领域提出了很多方法，但不能学习信号的深层特征并有效利用稳态视觉诱发电位信号的先验知识，分类准确度有待进一步提高。

以下文献是与本发明相关的技术背景资料：

[1]m.a.lebedevandm.a.l.nicolelis,“brain-machineinterfaces:past,presentandfuture,”trendsneurosci.,vol.29,no.9,pp.

536–546,2006.

[2]z.lin,c.zhang,w.wu,andx.gao,“frequencyrecognitionbasedoncanonicalcorrelationanalysisforssvep-basedbcis,”ieeetrans.biomed.eng.,vol.54,no.6,pp.1172–1176,2007.

[3]m.attia,i.hettiarachchi,m.hossny,ands.nahavandi,“atimedomainclassificationofsteady-statevisualevokedpotentialsusingdeeprecurrent-convolutionalneuralnetworks,”inproceedings-internationalsymposiumonbiomedicalimaging,2018,vol.2018–april.

[4]h.tanaka,t.katura,andh.sato,“task-relatedcomponentanalysisforfunctionalneuroimagingandapplicationtonear-infraredspectroscopydata,”neuroimage,vol.64,pp.308–327,2013.

技术实现要素：

为了解决现有技术中的上述问题，即为了解决稳态视觉诱发电位信号解码分类准确度不高引起的外部设备控制指令下发不准确的问题，本发明提供了一种基于卷积神经网络的脑机接口指令下发方法，包括：

步骤s10，将所获取的脑电信号数据转换到频域并提取特征，获得频域特征数据；

步骤s20，采用预设的分类模型计算步骤s10所获取频域特征数据的类别；

步骤s30，基于预设的类别-指令映射关系，获取所述类别对应的指令，并下发至外部设备；

其中，所述分类模型包括类别对比模板、对比网络、选择模块；

所述类别对比模板，其获取方法为：对训练数据集中各类脑电信号数据分别进行均值处理，并采用步骤s10的特征提取方法分别提取各类脑电信号数据的特征，得到m个数据类别对比模板；所述训练数据集由m类频率刺激的脑电信号数据构成，每类包括n组脑电信号数据；

所述对比网络，基于卷积神经网络构建，用于计算所输入频域特征数据与各类别对比模板的相关性；

所述选择模块，用于根据所计算的相关性选择所输入频域特征数据对应的类别。

在一些优选的实施例中，步骤s10中在进行频域转换之前还设置有脑电信号数据预处理步骤，包括：

对脑电信号数据的频率进行降采样；使用带通滤波器对降采样数据进行滤波；对滤波后的数据使用滑窗进行数据截取。

在一些优选的实施例中，所述数据数据预处理步骤的降采样、滤波处理、数据截取，其参数为：

对脑电信号数据的频率1000hz进行降采样至250hz；使用5hz-70hz的带通滤波器对降采样数据进行滤波；对滤波后的数据使用2秒滑窗进行数据截取，其中滑窗的步长是40毫秒(10个采样点)。

在一些优选的实施例中，步骤s10中“将所获取的脑电信号数据转换到频域并提取特征”，其步骤为：

步骤s11，通过快速傅立叶变换将所述脑电信号数据转换到频域，获得频域数据；

步骤s12，截取所述频域数据中预设频段(5hz-68hz，128个数据)的数据，应用0均值标准化法把数据归一化为均值为0、方差为1的数据，得到频域特征数据。

在一些优选的实施例中，步骤s20中“采用预设的分类模型计算步骤s10所获取频域特征数据的类别”，其方法为：

采用对比网络计算所述频域特征数据与类别对比模板的相关性，频域特征数据与类别对比模板为同一类，则输出值为1；频域特征数据与类别对比模板不是同一类，则输出值为0；在得到的n个不同的值中选择最大的值的类别作为输入数据所属的类别。

在一些优选的实施例中，所述对训练数据集中各类脑电信号数据分别进行均值处理，其方法为：

按照训练数据集中各类脑电信号数据分别相加，分别对相加后的数据求平均值，得到每个类别均值数据。

在一些优选的实施例中，所述卷积神经网络，包括：

输入层、卷积层、全连接层、输出层。

本发明的另一方面，提出了一种基于卷积神经网络的脑机接口指令下发系统，包括输入模块、特征提取模块、分类模块、输出模块；

所述输入模块，配置为获取脑电信号数据并输入；

所述特征提取模块，配置为将所述脑电信号数据转换到频域并提取特征，获得频域特征数据；

所述分类模块，配置为采用预设的分类模型计算所述特征提取模块提取的频域特征数据的类别；

所述输出模块，配置为基于预设的类别-指令映射关系，获取所述类别对应的指令，并下发至外部设备；

其中，所述分类模块，包括类别对比模块、对比网络模块、选择模块；

所述类别对比模块，配置为对训练数据集中各类脑电信号数据分别进行均值处理，并提取各类脑电信号数据的特征，得到m个数据类别对比模板；所述训练数据集由m类频率刺激的脑电信号数据构成，每类包括n组脑电信号数据；

所述对比网络模块，配置为基于卷积神经网络构建，用于计算所输入频域特征数据与各类别对比模板的相关性；

所述分类模块，配置为根据所计算的相关性选择所输入频域特征数据对应的类别。

本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于卷积神经网络的脑机接口指令下发方法。

本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于卷积神经网络的脑机接口指令下发方法。

本发明的有益效果：

(1)本发明的基于卷积神经网络的脑机接口指令下发方法相较于传统的典型相关分析法，从最优分类准确率、最差分类准确率以及平均分类准确率上来看，都有明显的提升。

(2)本发明的分类准确率会随着训练集的增加，有明显的提升。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本发明基于卷积神经网络的脑机接口指令下发方法的系统流程示意图；

图2是本发明基于卷积神经网络的脑机接口指令下发方法实施例的脑电信号数据组成结构示意图；

图3是本发明基于卷积神经网络的脑机接口指令下发方法实施例的分类模型示意图；

图4是本发明基于卷积神经网络的脑机接口指令下发方法实施例的卷积操作过程示意图；

图5是本发明基于卷积神经网络的脑机接口指令下发方法实施例的分类结果准确率对比示意图；

图6是本发明基于卷积神经网络的脑机接口指令下发方法分类结果准确率随训练数据量大小变化曲线图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

现有的解码稳态视觉诱发电位的方法很多，但基本上不能兼顾学习信号的深层特征和有效利用稳态视觉诱发电位信号的先验知识，分类准确度有待进一步提高。本发明的技术方案结合这两方面技术进行改进，提高了分类的准确性，进而提高了外部设备控制指令下发的准确性。

本发明的一种基于卷积神经网络的脑机接口指令下发方法，包括：

步骤s10，将所获取的脑电信号数据转换到频域并提取特征，获得频域特征数据；

步骤s20，采用预设的分类模型计算步骤s10所获取频域特征数据的类别；

步骤s30，基于预设的类别-指令映射关系，获取所述类别对应的指令，并下发至外部设备；

其中，所述分类模型包括类别对比模板、对比网络、选择模块；

所述类别对比模板，其获取方法为：对训练数据集中各类脑电信号数据分别进行均值处理，并采用步骤s10的特征提取方法分别提取各类脑电信号数据的特征，得到m个数据类别对比模板；所述训练数据集由m类频率刺激的脑电信号数据构成，每类包括n组脑电信号数据；

所述对比网络，基于卷积神经网络构建，用于计算所输入频域特征数据与各类别对比模板的相关性；

所述选择模块，用于根据所计算的相关性选择所输入频域特征数据对应的类别。

为了更清晰地对本发明基于卷积神经网络的脑机接口指令下发方法进行说明，下面结合图1对本发明方法实施例中各步骤展开详述。

本发明一种实施例的基于卷积神经网络的脑机接口指令下发方法，包括步骤s10-步骤s30，各步骤详细描述如下：

步骤s10，将所获取的脑电信号数据转换到频域并提取特征，获得频域特征数据。

步骤s11，通过快速傅立叶变换将所述脑电信号数据转换到频域，获得频域数据。

步骤s12，截取所述频域数据中预设频段(5hz-68hz，128个数据)的数据，应用0均值标准化法把数据归一化为均值为0、方差为1的数据，得到频域特征数据。

本发明优选的实施例中，采用视觉刺激的方式获取脑电信号数据，被测对象保持静息，距离显示器70cm，采用左耳后导联m1为参考电极，采集pz、po5、po3、poz、po4、po6、o1、oz和o2这9导数据，数据采集期间，被测对象不做其他动作，导联阻抗保持在10千欧以下。

步骤s10中，脑电信号数据在进行频域转换之前还设置有脑电信号预处理步骤，包括：

对脑电信号数据的频率进行降采样；使用带通滤波器对降采样数据进行滤波；对滤波后的数据使用滑窗进行数据截取。

本发明优选的实施中，对脑电数据预处理选取的参数为：

对脑电信号数据的频率1000hz进行降采样至250hz；使用5hz-70hz的带通滤波器对降采样数据进行滤波；对滤波后的数据使用2秒滑窗进行数据截取，其中滑窗的步长是40毫秒(10个采样点)。

步骤s20，采用预设的分类模型计算步骤s10所获取频域特征数据的类别。

其中，分类模型包括类别对比模板、对比网络、选择模块。

类别对比模板，其获取方法为：对训练数据集中各类脑电信号数据分别进行均值处理，并采用步骤s10的特征提取方法分别提取各类脑电信号数据的特征，得到m个数据类别对比模板；所述训练数据集由m类频率刺激的脑电信号数据构成，每类包括n组脑电信号数据。

对训练数据集中各类脑电信号数据分别进行均值处理，其方法为：

按照训练数据集中各类脑电信号数据分别相加，分别对相加后的数据求平均值，得到每个类别均值数据。

本发明优选的实施例中，采用4个频率刺激，分别对应频率7hz、8hz、9hz、10hz，在lcd显示器上通过闪烁的方式显示，被测对象在提示出现后，快速调整视野焦点至相应闪烁处，接下来任务期保持注视状态。

采集脑电信号的过程中，被测对象保持静息，距离显示器70cm，采用左耳后导联m1为参考电极，采集pz、po5、po3、poz、po4、po6、o1、oz和o2这9导数据，每个频率的脑电信号共采集100组，数据采集期间，被测对象不做其他动作，导联阻抗保持在10千欧以下。

如图2所示，脑电信号数据时长共7s，前2s为提示期，后5s为任务期。

本发明优选的实施例中，类别对比模板获得的步骤为：

(1)按照4个频率类别将训练数据的同一个类别的数据相加，得到4个数据，记为s。

(2)对相加得到的数据s求平均值，得到均值化数据，记为sa。

(3)对均值化数据sa进行快速傅立叶变换，得到训练数据对应的频域数据，记为f。

(4)截取训练数据对应数据中频段5-68hz数据(128个数据)，应用0均值标准化法把数据归一化为均值为0，方差为1的数据，得到对比模板如式(1)所示：

其中，nt是训练试验组数，xi是训练的脑电数据。f()表示截取5-68hz数据，zscore{}表示0均值归一化。

本发明优选的实施例中，获得对比模板4个，7hz模板、8hz模板、9hz模板和10hz模板。

对比网络，基于卷积神经网络构建，用于计算所输入频域特征数据与各类别对比模板的相关性。

卷积神经网络，包括输入层、卷积层、全连接层、输出层。

如图3所示，本发明优选的实施例中，对比网络的输入为样本、4个模板，通过神经网络处理，对相应的特征提取做特征图拼接对比，在相关得分中选择最大的得分值的类别作为测试数据类别。

神经网络对输入的操作相同，如图4所示，本发明优选实施例的输入数据由输入层i输入，输入数据为128×9的矩阵，经过两层卷积计算、一层全连接计算。第一个卷积层c1采用的卷积核为1×9，形成9个128×1(9@128×1)的特征图；第二个卷积层c2采用的卷积核为11×1，形成9个128×1(9@128×1)的特征图。对比模板和样本数据经过两层卷积和一层全连接计算得到的全连接数据连接到一起，节点数为2304×1，再经过一个512结点的全连接层，最终连接到输出层输出。

最终输出层的激活函数是sigmoid函数，其余各层的激活函数是relu函数。为防止过拟合问题，在第一个全连接层后加入了dropout和l2正则化。

本发明优选实施例中一共有20名被测对象，每名被测对象采集的每一类数据均为100组，其中随机抽取80组数据作为训练数据，其他20组数据作为测试数据。典型相关分析(cca，canonicalcorrelationanalysis)所得分类准确率与本发明基于卷积神经网络的解码脑机接口电位的分类方法准确率对比如图5所示，横坐标代表两种分类方法，纵坐标代表分类的准确率。表1为两种方法分类准确率的具体

表1

通过表1和图5可以看出，应用本发明方法得到的准确率要高于传统的典型相关分析。为了进一步说明本发明方法的优越性，通过t检验(t检验，采用t分布理论来推论差异发生的概率，从而比较两个平均数的差异是否显著)来衡量两种方法所得结果进行分析，通过计算得到p＝0.00011，表明本发明方法相较于传统的典型相关分析法在分类准确率上具有显著的差异，存在明显的优势。

本发明基于卷积神经网络的解码脑机接口电位的分类方法涉及到训练数据量的问题，训练数据量大小对准确率也有影响，随着训练集数据减少，准确率在逐渐下降，当训练数据在30组的时候，准确率降到cca准确率之下，具体趋势如图6所示，横坐标代表了训练组数，纵坐标代表分类准确率。图中训练数据组数为30、40、50、60、70、80时，准确率分别为73.51％、74.89％、75.8％、77.4％、78.11％、78.65％，从数据可以看出，随着训练数据组的增加，分类的准确率也在不断提高，说明本发明方法有效提高了对脑电信号数据分类的准确性。

本发明第二实施例的基于卷积神经网络的脑机接口指令下发系统，包括输入模块、特征提取模块、分类模块、输出模块；

所述输入模块，配置为获取脑电信号数据并输入；

所述特征提取模块，配置为将所述脑电信号数据转换到频域并提取特征，获得频域特征数据；

所述分类模块，配置为采用预设的分类模型计算所述特征提取模块提取的频域特征数据的类别；

所述输出模块，配置为基于预设的类别-指令映射关系，获取所述类别对应的指令，并下发至外部设备；

其中，所述分类模块，包括类别对比模块、对比网络模块、选择模块；

所述类别对比模块，配置为对训练数据集中各类脑电信号数据分别进行均值处理，并提取各类脑电信号数据的特征，得到m个数据类别对比模板；所述训练数据集由m类频率刺激的脑电信号数据构成，每类包括n组脑电信号数据；

所述对比网络模块，配置为基于卷积神经网络构建，用于计算所输入频域特征数据与各类别对比模板的相关性；

所述分类模块，配置为根据所计算的相关性选择所输入频域特征数据对应的类别。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的基于卷积神经网络的脑机接口指令下发系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于卷积神经网络的脑机接口指令下发方法。

本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于卷积神经网络的脑机接口指令下发方法。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“外部设备”包括但不仅限于智能机械手臂、智能机器人、智能键盘等。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。