基于端到端卷积神经网络的头皮脑电特征提取分类方法与流程

本发明涉及脑机接口技术领域，尤其是基于端到端卷积神经网络的头皮脑电特征提取分类方法。

背景技术：

脑机接口是一种帮助人们利用他们的大脑控制和使用外部设备的通信系统，在此过程中不需要外周神经和肌肉的参与。这为那些思维正常但伴有严重神经肌肉损伤的患者带来了希望，脑机接口可以重新赋予他们移动或与环境交流的能力，提高患者的生活质量。虽说脑机接口系统最初的目的是为完全瘫痪患者提供一种新的沟通途径，但近年来在娱乐游戏领域表现出巨大潜力，已经有许多研究将脑机接口应用于一些流行游戏，例如“俄罗斯方块”、“弹球游戏”和“魔兽世界”等。脑机接口还可以与VR/AR结合，用脑电信号代替身体和手指对游戏的控制，能增强游戏沉浸感，流畅度，显得更能身临其境。

由于头皮脑电(EEG)无创性、高时间分辨率、成像设备的低成本和便携性等优点，头皮脑电(EEG)是当前脑机接口中使用最为广泛的信号源。脑机接口系统一般分为四个部分：信号采集，特征提取，分类和控制，其组成如图1所示。现有方法大多在特征提取(如小波变换、傅里叶变换和共空间模式(CSP)等)部分借助先验知识和假设，人为地进行特征提取，但是目前人类对大脑了解太少，人为选取特征可能会丢失一些和运动相关的信息，而且由于个体之间脑电信号的巨大差异性，选取适合每个个体的特征会投入很多时间，最终的分类精度也不够高，同时泛化能力差。由于神经网络多层堆叠的结构，能够提取输入信号一些隐藏的重要特征，因此部分研究者采用深度神经网络进行特征提取和分类。

但目前提出的基于深度神经网络的方法依旧存在以下几个问题，首先由于卷积神经网络(CNN)在计算机视觉上取得了巨大成功，有许多研究将CNN运用到EEG运动图像识别领域，但在现有工作中使用的CNN具有固定的卷积尺度(即固定卷积核大小)，但针对不同的人，分类准确度最高的卷积尺度并不相同，因此固定卷积尺度限制了分类准确率的提升；其次，由于深度神经网络复杂且参数量巨大，网络训练需要大量数据，而高质量EEG数据需要在低电磁干扰的环境下进行，是一件相当耗时耗力的工作，因此导致数据量有限，容易过拟合。

技术实现要素：

针对上述不足之处，本发明提供了基于端到端卷积神经网络的头皮脑电特征提取分类方法，数据先通过滤波器组，再输入多个卷积神经网络分支分别进行多种卷积操作，提高了分类准确率，在训练数据里结合多个人的特征，增强了网络鲁棒性，减轻了过拟合现象。

为了实现上述目的，本发明采用的技术方案如下：

基于端到端卷积神经网络的头皮脑电特征提取分类方法，在训练网络阶段首先对采集的训练数据进行数据增强，然后让增强后的训练数据经过三个带通滤波器滤波处理，最后用滤波处理后的训练数据训练卷积神经网络；

在数据检测阶段将采集到的待检测数据输入训练后的卷积神经网络进行特征提取分类，包括如下步骤：

S1、将采集的原始头皮脑电信号用xraw表示，然后经过三个带通滤波器滤波处理，得到的信号分别用xθ、xμ和xβ表示；

S2、对滤波后的头皮脑电信号xθ、xμ和xβ分别进行三种尺度的时间卷积提取时间特征，然后再通过空间卷积提取空间特征，卷积的计算公式为：

其中，为第l层输出的特征图j的激活值，为l-1层输出的特征图i的激活值，为l-1层特征图i到l层特征图j的卷积核，为l层对应于特征图j的偏置，f(·)为激活函数，*代表卷积操作；

S3、时间卷积和空间卷积之后，对卷积层输出的特征图进行池化操作，池化的计算公式为：

其中，down(·)为下采样函数；

S4、池化之后先将9个分支的特征组成一维向量进行特征融合，再送进全连接层对输入的抽象特征进行整合，全连接层计算公式如下：

x^l＝f(W^lx^l-1+b^l)

其中，x^l为l层输出，W^l为l层权重，b^l为l层偏置,f(·)为激活函数；

S5、全连接层的输出送入softmax层进行分类，softmax层计算公式如下：

y^l＝σ(x^l-1)

其中，y^l为分类结果，x^l-1为l-1层输出，σ(·)为softmax函数。

进一步的，所述数据增强的方法为：首先将具有相同标签的所有训练数据进行无重叠的滑窗，将每个训练数据分割成n个数据窗，然后对所有相同标签的训练数据的第i个数据窗作为一个集合打乱顺序，最后按照分割数据窗的顺序将打乱顺序的数据窗重组，其中1≤i≤n。

进一步的，采用BP算法训练卷积神经网络。

进一步的，三个带通滤波器的通带分别为：4-7Hz、8-13Hz和13-32Hz。

进一步的，S3中三种尺度的时间卷积的卷积核大小分别为1×45、1×65和1×85。

与现有技术相比，本发明具有以下有益效果：

(1)本发明在一个训练数据里结合多个人的特征，训练数据分割重组方式，增强了网络鲁棒性，即使训练数据量少，也不容易产生严重过拟合现象；

(2)原始头皮脑电信号先通过滤波器组，再输入多个卷积神经网络分支分别进行多种卷积操作，对多个受测者分类准确度都较高，不会出现个别受测者分类准确度很低的情况，更具鲁棒性；

(3)结构简单，不需要特征工程，分类准确度高。

附图说明

图1为脑机接口系统组成框图。

图2为本发明的步骤框图。

图3为本发明的卷积神经网络结构图。

图4为本发明的数据增强方法示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。

实施例：

如图2所示，基于端到端卷积神经网络的头皮脑电特征提取分类方法，在训练网络阶段采集原始头皮脑电信号作为训练数据，首先对采集的训练数据进行数据增强，然后让增强后的训练数据经过三个带通滤波器滤波处理，最后用滤波处理后的训练数据训练卷积神经网络；具体为采用BP算法训练卷积神经网络为；

在数据检测阶段将采集到的待检测数据输入训练后的卷积神经网络进行特征提取分类，包括如下步骤：

S1、将采集的未进过人为特征提取的原始头皮脑电信号用xraw表示，然后经过三个带通滤波器滤波处理，得到的信号分别用xθ、xμ和xβ表示；

S2、对滤波后的头皮脑电信号xθ、xμ和xβ分别进行三种尺度的时间卷积提取时间特征，时间卷积是一维沿着时间方向的卷积，然后再通过空间卷积提取空间特征，空间卷积是一维沿着电极通道方向的卷积，卷积的计算公式为：

其中，为第l层输出的特征图j的激活值，为l-1层输出的特征图i的激活值，为l-1层特征图i到l层特征图j的卷积核，为l层对应于特征图j的偏置，f(·)为激活函数，*代表卷积操作；

S3、时间卷积和空间卷积之后，对卷积层输出的特征图进行池化操作，池化的计算公式为：

其中，down(·)为下采样函数；

S4、池化之后先将9个分支(3个频段，每个频段使用3种大小卷积核，共有9个分支)的特征组成一维向量进行特征融合，再送进全连接层对输入的抽象特征进行整合，全连接层计算公式如下：

x^l＝f(W^lx^l-1+b^l)

其中，x^l为l层输出，W^l为l层权重，b^l为l层偏置,f(·)为激活函数；

S5、全连接层的输出送入softmax层进行分类，softmax层计算公式如下：

y^l＝σ(x^l-1)

其中，y^l为分类结果，x^l-1为l-1层输出，σ(·)为softmax函数。

由于头皮脑电数据有限，在训练卷积神经网络的时候比较容易出现过拟合，因此，在网络训练阶段用数据增强后的训练数据对对卷积神经网络进行训练，其中，数据增强的方法为：首先将具有相同标签的所有训练数据进行无重叠的滑窗，将每个训练数据分割成n个数据窗，然后对所有相同标签的训练数据的第i个数据窗作为一个集合打乱顺序，最后按照分割数据窗的顺序将打乱顺序的数据窗重组，其中1≤i≤n，本实施例中n＝3；具体如图4所示。

具体来说，三个带通滤波器的通带分别为：4-7Hz、8-13Hz和13-32Hz，使得卷积神经网络更容易提取到不同频域的信息，其中，也可将4-32Hz每4Hz作为一个频段对原始头皮脑电信号进行滤波处理，此时则带通滤波器相应改为七个。

三种尺度的时间卷积的卷积核大小可以根据采集头皮脑电信号时采集频率调整，本实施例中分别为1×45、1×65和1×85。

端到端卷积神经网络即输入为未经过人为特征提取的头皮脑电信号，输出为分类结果的网络，具体如图3所示。

上述实施例仅为本发明的优选实施例，并非对本发明保护范围的限制，但凡采用本发明的设计原理，以及在此基础上进行非创造性劳动而做出的变化，均应属于本发明的保护范围之内。