一种脑电信号分类方法、装置、设备和介质与流程

本申请涉及数据处理技术领域，具体而言，涉及一种脑电信号分类方法、装置、设备和介质。

背景技术：

脑机接口(brain-computerinterface，bci)技术是在人脑或动物脑(或者脑细胞的培养物)与外部设备间建立的直接连接通路。脑机接口是一门多学科交叉的研究领域，核心的学科涉及认知科学、神经工程、自动控制等。具体而言，脑机接口技术分为三个步骤：(1)脑电采集，通过脑电采集设备采集用户的脑电信号，利用计算机分析脑电信号，并对脑电信号进行分类；(2)指令转换，通过计算机将分类后的脑电信号转换成机器控制指令；(3)指令传输，将转换后的指令通过无线装置发送给脑控设备，让脑控设备遵照相应指令完成相应动作。

目前在对脑电信号进行分类时，常见的特征提取算法有功率谱分析方法、小波分析、样本熵法、共空间模式法等，但是利用上述算法在对脑电信号进行特征提取的过程是一个非常耗时的过程，并且高度依赖该脑电领域的专业知识，能够分辨的脑电信号的类型比较少(一般仅能分辨一种)，而且分类的准确度也不高。

技术实现要素：

有鉴于此，本申请的目的在于提供一种脑电信号分类方法、装置、设备和介质，用于解决现有技术中对脑电信号分类准确度差的问题。

第一方面，本申请实施例提供了一种脑电信号分类方法，该方法包括：

获取待识别脑电信号序列；

将所述待识别脑电信号序列输入到脑电信号分类模型，得到所述待识别脑电信号序列的脑电分类信息，所述脑电分类信息包括运动想象脑电信号和稳态视觉诱发电位脑电信号。

可选地，所述脑电信号分类模型包括至少一个卷积神经网络、至少一个全连接层和至少一个长短期记忆网络。

可选地，根据以下方式训练所述脑电信号分类模型：

获取脑电信号训练集；

基于所述脑电信号训练集对所述脑电信号分类模型进行训练。

可选地，在所述获取脑电信号训练集之后，还包括：

利用相关性分析算法对所述脑电信号训练集进行相关性处理；

所述基于所述脑电信号训练集对所述脑电信号分类模型进行训练，包括：

基于相关性处理后的脑电信号训练集对所述脑电信号分类模型进行训练。

可选地，在所述得到所述待识别脑电信号序列的脑电分类信息之后，还包括：

基于所述脑电分类信息生成动作控制指令，所述动作控制指令用于控制脑控设备执行相应的动作。

第二方面，本申请实施例提供了一种脑电信号分类装置，该装置包括：

获取模块，用于获取待识别脑电信号序列；

分类模块，用于将所述待识别脑电信号序列输入到脑电信号分类模型，得到所述待识别脑电信号序列的脑电分类信息，所述脑电分类信息包括运动想象脑电信号和稳态视觉诱发电位脑电信号。

可选地，所述脑电信号分类模型包括至少一个卷积神经网络、至少一个全连接层和至少一个长短期记忆网络。

可选地，还包括：训练模块，所述训练模块用于：

获取脑电信号训练集；

基于所述脑电信号训练集对所述脑电信号分类模型进行训练。

第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述方法的步骤。

本申请实施例提供的一种脑电信号分类方法，获取待识别脑电信号序列，将待识别脑电信号序列输入到脑电信号分类模型，得到待识别脑电信号序列的脑电分类信息，最终得到的分类结果包括运动想象脑电信号和稳态视觉诱发电位脑电信号，这样，能够识别多种脑电信号的类型，提高了对脑电信号分类的准确度。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种脑电信号分类方法的流程示意图；

图2为本申请实施例提供的一种运动想象诱发界面的示意图；

图3为本申请实施例提供的一种稳态视觉诱发电位脑电信号诱发界面的示意图；

图4为本申请实施例提供的一种用户操作界面的示意图；

图5为本申请实施例提供的一种脑电信号分类装置的结构示意图；

图6为本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了一种脑电信号分类方法，如图1所示，该方法包括以下步骤：

s101，获取待识别脑电信号序列；

这里，待识别脑电信号序列一般是通过脑电采集设备获取的，脑电采集设备可以为具有脑电帽的设备，上述脑电帽是干电极20通道脑电帽，且该脑电帽在结构方面的设计也更为合理，设备中的耳机部分采用高弹性支撑杆，可以提高佩戴者的舒适度，电极部分设计采用漩涡状弹簧与莲花电极配合，可以增强电极与头皮接触的稳定性；待识别脑电信号序列可以为运动想象脑电信号或稳态视觉诱发电位(steady-statevisualevokedpotentials，ssvep)脑电信号，其中，运动想象脑电信号包括静息态信号、左手想象脑电信号、右手想象脑电信号、腿部想象脑电信号和舌部想象脑电信号，稳态视觉诱发电位脑电信号包括前进脑电信号、后退脑电信号、左转脑电信号和右转脑电信号。

在获取待识别脑电信号序列时，mi刺激模块一共有四种不同刺激，分别为对应左手想象的左箭头(4-1)、对应右手想象的右箭头(4-2)、对应舌部想象的上箭头(4-3)和对应腿部想象的下箭头(4-4)，参考图2。在mi刺激采集阶段，每次呈现一种刺激，用户根据箭头指令完成不同的运动想象任务。ssvep刺激模块一共有四种不同刺激，四幅黑色图片以8hz(5-1)、9hz(5-2)、10hz(5-3)和11hz(5-4)的频率闪烁，参考图3。

s102，将所述待识别脑电信号序列输入到脑电信号分类模型，得到所述待识别脑电信号序列的脑电分类信息，所述分类结果包括运动想象脑电信号和稳态视觉诱发电位脑电信号。

本申请中采用的模型为当前应用较为广泛的卷积神经网络(convolutionalneuralnetworks，cnn)和长短期记忆网络(longshort-termmemory，lstm)相结合，cnn是一类包含卷积计算且具有深度结构的前馈神经网络(feedforwardneuralnetworks)，是深度学习的代表算法之一，在计算机视觉方面有着卓越的性能，在各个领域已经有着极为广泛的应用。lstm是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。由此，本申请的脑电信号分类模型中包括至少一个卷积神经网络(cnn)、至少一个全连接层(fc)和至少一个长短期记忆网络(lstm)，其中，至少一个卷积神经网络、一个全连接层、至少一个长短期记忆网络顺次连接。优选地，脑电信号分类模型包括三个卷积神经网络、两个全连接层、两个长短期记忆网络、分类器，其中，三个卷积神经网络、一个全连接层、两个长短期记忆网络、一个全连接层、分类器顺次连接。其中，cnn、lstm、全连接层在现有技术中已有详细的介绍，本申请不一一针对每个模型进行详细介绍。

在具体实施过程中，根据以下方式训练脑电信号分类模型：

获取脑电信号训练集；

基于所述脑电信号训练集对所述脑电信号分类模型进行训练。

在获取脑电信号训练集之后，还包括以下步骤：

利用相关性分析算法对所述脑电信号训练集进行相关性处理；

所述基于所述脑电信号训练集对所述脑电信号分类模型进行训练，包括：

基于相关性处理后的脑电信号训练集对所述脑电信号分类模型进行训练。

这里，相关性分析算法包括皮尔森相关系数(pearsoncorrelationcoefficient)、斯皮尔曼(spearman)相关系数、肯德尔(kendall)相关系数等，优选地，选用皮尔森相关系数对脑电信号训练集进行相关性处理，本申请对此不予限制。

在具体实施中，获取脑电信号训练集，脑电信号训练集中包括人工标记的脑电信号图像序列，人工标记的脑电信号图像序列的长度一般为300ms到500ms，这样，避免一个脑电信号图像序列中包括多个类型的脑电信号，减少了获取的脑电信号图像序列过长导致的模型训练难度增大的问题。

从训练集的脑电信号图像中抽取脑电特征信息以及对应的脑电信号分类信息，每个脑电信号图像对应一个脑电特征矩阵，矩阵中的每个特征值为采集设备采集脑电信号时的电压值，将每个脑电信号图像序列对应的脑电特征矩阵作为模型的输入，将对应的脑电信号分类信息作为模型的输出，训练得到脑电信号分类模型。

由于脑电信号具有信号微弱，噪音干扰强的特点，在脑电信号采集过程中，容易受到环境干扰而采集到质量不好的信号，利用信噪比较大的脑电信号训练模型时，导致训练的模型的准确度会比较差。当脑电信号的信噪比较大时，训练集中不同类型的脑电信号之间的相关性与同种类型的脑电信号之间的相关性差别不大，反之则差别较大。基于此，为了提高训练的模型的准确度，在利用训练集对模型进行训练之前，利用皮尔森相关系数对每个个体的不同类型的脑电信号的相关性和同种类型的脑电信号的相关性进行比较，只有当两者相关性差距大于设定阈值时才纳入训练集，否则重新采集信号。最终，得到符合要求的脑电信号训练集，对脑电信号分类模型进行训练，以提高训练的脑电信号分类模型的准确度。

例如，采用如下方式获取脑电信号训练集，采集5min的静息态脑电信号，之后用户进行如图2所示的运动想象任务，每个刺激任务出现15次，一共4种不同的刺激，共计60个刺激构成了运动想象脑电信号训练集。

在ssvep刺激采集阶段，参考图3，每次呈现四种刺激，用户根据箭头指令注视不同方向的图片，在采集开始时，采集5min的静息态脑电信号，之后用户进行如图3所示的ssvep任务，每个刺激任务重复15次，一共4种不同的刺激，共计60个刺激构成了ssvep训练集。

在通过mi刺激模块和ssvep刺激模块采集到的脑电信号后，对每个脑电信号序列进行了预处理，预处理步骤为：进行巴特沃斯滤波(1hz-15hz)，将一维的脑电数据映射到二维的脑地形图上，即每个时间点构成一个二维矩阵，在这个矩阵上完整的保留了脑电数据的空间信息；每300ms的脑电数据进行平均，合成一幅脑电图片；每10张图片构成一个脑电信号时间序列，作为一组数据，在该脑电信号时间序列上完整的保留了脑电数据的时间信息，得到ssvep训练集和运动想象脑电信号训练集。

在得到运动想象脑电信号训练集和ssvep训练集后，利用皮尔森相关系数对得到的上述两种训练集进行相关性分析，进一步，利用相关性处理后的训练集训练脑电信号分类模型。

在得到完成训练的脑电信号分类模型后，将待识别脑电信号序列输入到脑电信号分类模型，得到待识别脑电信号序列的脑电分类信息。

在所述得到所述待识别脑电信号序列的脑电分类信息之后，还包括：

基于所述脑电分类信息生成动作控制指令，所述动作控制指令用于控制脑控设备执行相应的动作。

这里，动作控制指令包括前进动作控制指令、后退动作控制指令、左转动作控制指令、右转动作控制指令、左手想象动作控制指令、右手想象动作控制指令、腿部想象动作控制指令、舌部想象动作控制指令、静止状态控制指令，其中，前进动作控制指令用于控制脑控设备执行前进动作，后退动作控制指令用于控制脑控设备执行后退动作，左转动作控制指令用于控制脑控设备执行左转动作，右转动作控制指令用于控制脑控设备执行右转动作，左手想象动作控制指令用于控制脑控设备的左手进行相应的动作，右手想象动作控制指令用于控制脑控设备的右手进行相应的动作，腿部想象动作控制指令用于控制脑控设备的腿部进行相应的动作，舌部想象动作控制指令用于控制脑控设备的舌部进行相应的动作，静止状态控制指令用于控制脑控设备处于静止状态；脑控设备可以是利用脑电指令进行控制的机器人等。

在具体实施中，在基于脑电分类信息生成相应的动作控制指令后，将生成的动作控制指令发送给脑控设备，使得脑控设备根据动作控制指令进行相应的动作。

例如，参考图4，操作界面实时反馈位于机器人头部的摄像头采集到的图像(7-9)，图像中的四周位置分别为：左手想象(7-1)、右手想象(7-3)、腿部想象(7-4)和舌部想象(7-2)，当哪个矩形最长时，表示进入到该矩形对应的运动想象状态。中间位置的四个黑色的矩形分别以不同频率闪烁，代表ssvep的前进(7-6)、后退(7-8)、左转(7-5)和右转(7-7)四种指令。

在获取到用户的脑电信号后，对脑电信号进行分类，若识分类后的脑电信号为运动想象脑部信号，且为腿部想象脑电信号，则机器人进入到运动状态，进一步获取到用户的下一个脑电信号，若分类后的脑电信号为ssevp脑电信号，则控制机器人执行前进、或后退、或左转、或右转，使机器人到达目的地；若在识别到ssevp脑电信号之后，进一步对用户新产生的脑电信号进行分类，若分类后的脑电信号为左手(或右手)想象的信号，则选择使用左手(或右手)抓取，进入到抓取状态，随后，进一步对获取的用户的新的脑电信号进行分类，若分类后的脑电信号为ssvep脑电信号，控制机器人的机械臂执行前进、后退、左转、右转，使机械臂调整到适合抓取的位置，最后重复上述动作，机器人返回用户身边，将物品放下。

本申请实施例提供的一种脑电信号分类方法，获取待识别脑电信号序列，将待识别脑电信号序列输入到脑电信号分类模型，得到待识别脑电信号序列的脑电分类信息，最终得到的分类结果包括运动想象脑电信号和稳态视觉诱发电位脑电信号，这样，能够识别多种脑电信号的类型，提高了对脑电信号分类的准确度。

本申请实施例提供了一种脑电信号分类装置，如图5所示，该装置包括：

获取模块51，用于获取待识别脑电信号序列；

分类模块52，用于将所述待识别脑电信号序列输入到脑电信号分类模型，得到所述待识别脑电信号序列的脑电分类信息，所述脑电分类信息包括运动想象脑电信号和稳态视觉诱发电位脑电信号。

可选地，所述脑电信号分类模型包括至少一个卷积神经网络、至少一个全连接层和至少一个长短期记忆网络。

可选地，还包括：训练模块53，所述训练模块53用于：

获取脑电信号训练集；

基于所述脑电信号训练集对所述脑电信号分类模型进行训练。

可选地，该装置还包括：处理模块54，所述处理模块54用于：

利用相关性分析算法对所述脑电信号训练集进行相关性处理；

所述训练模块53还用于：

基于相关性处理后的脑电信号训练集对所述脑电信号分类模型进行训练。

可选地，该装置还包括：生成模块55，所述生成模块55用于：

基于所述脑电分类信息生成动作控制指令，所述动作控制指令用于控制脑控设备执行相应的动作。

对应于图1中的脑电信号分类方法，本申请实施例还提供了一种计算机设备，如图6所示，该设备包括存储器1000、处理器2000及存储在该存储器1000上并可在该处理器2000上运行的计算机程序，其中，上述处理器2000执行上述计算机程序时实现上述脑电信号分类方法的步骤。

具体地，上述存储器1000和处理器2000能够为通用的存储器和处理器，这里不做具体限定，当处理器2000运行存储器1000存储的计算机程序时，能够执行上述脑电信号分类方法，用于解决现有技术中对脑电信号分类准确度差的问题，本申请实施例提供的一种脑电信号分类方法，获取待识别脑电信号序列，将待识别脑电信号序列输入到脑电信号分类模型，得到待识别脑电信号序列的脑电分类信息，最终得到的分类结果包括运动想象脑电信号和稳态视觉诱发电位脑电信号，这样，能够识别多种脑电信号的类型，提高了对脑电信号分类的准确度。

对应于图1中的脑电信号分类方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述脑电信号分类方法的步骤。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述智能柜的物品管理方法，用于解决现有技术中对脑电信号分类准确度差的问题，本申请实施例提供的一种脑电信号分类方法，获取待识别脑电信号序列，将待识别脑电信号序列输入到脑电信号分类模型，得到待识别脑电信号序列的脑电分类信息，最终得到的分类结果包括运动想象脑电信号和稳态视觉诱发电位脑电信号，这样，能够识别多种脑电信号的类型，提高了对脑电信号分类的准确度。

在本发明所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。