基于多尺度卷积和自注意力网络的脑电信号的癫痫发作预测方法

1.本发明属于预测癫痫发作的研究领域。具体是利用多尺度卷积扩大神经元对多通道原始信号数据的感受范围，能够获得更多尺度的特征信息，并利用双向注意力网络对脑电信号片段的时间特性进行建模，来减少头皮脑电信号繁杂的预处理过程和人工干预的影响，以获得端到端的癫痫发作预测方法。


背景技术：

2.根据国际抗癫痫联盟(ilae)的报告，癫痫是由于大脑神经元突发性的异常放电而引起的暂时性大脑功能障碍的慢性疾病，具有自发性，反复性的特点，是最常见的神经系统疾病之一。癫痫发作常常产生令人不安的身体症状，如四肢不受控制地抽搐，知觉或意识的丧失，扰乱患者的日常活动，甚至增加过早死亡的风险。几十年来，癫痫的治疗主要包括药物治疗和手术治疗。然而，大约25％的癫痫患者不能用上述两种方法有效治疗，频繁的癫痫发作对患者及其家属的心理和生理都有很大的影响。因此，对癫痫发作的预测研究将从多方面极大地提高癫痫患者的生活质量，帮助癫痫患者过上更加正常的生活。如果能够确定癫痫发作时的脑活动状态，就有可能采取适当的干预措施来预防、减少或延迟癫痫发作，可以帮助患者避免游泳、开车或爬楼梯等危险活动。因此，癫痫发作预测研究将会极大地改善癫痫患者的生活质量，有助于预防癫痫发作时可能发生的事故和对患者造成的伤害，并且有助于在癫痫发作前能够及时提供药物或其他干预措施，帮助癫痫患者过上更正常的生活。
3.大多数癫痫发作预测研究假设癫痫脑电信号有四种连续的活动状态，包括发作前状态、发作状态、发作后状态和发作间期。发作预测的研究目的是准确的区分癫痫发作前期和癫痫发作间期这两个阶段，如果确定了当前状态为发作前期，可以给予患者相应的警告，让他们有一定的预防措施(如发出警报、使用短效药物、电刺激等)，以应对即将到来的癫痫发作或减少癫痫发作情况下造成的伤害。目前，预测癫痫发作的研究主要有以下几种方法：通过计算脑电信号数据的时频域特征，设定阈值来区分发作前期和发作间期，但是需要大量的手工提取特征工作且不具有普适性；还有通过对脑电信号数据进行特征提取和特征选择，然后利用传统的机器学习算法完成脑电信号的分类；最新的一些研究利用深度学习技术，通过搭建网络模型提取脑电信号的特征并完成分类。然而，如何在发作间期和发作前期之间的分类问题上获得高灵敏度和低错误预测率仍然是一个主要挑战。


技术实现要素：

4.针对上述问题，本发明提出了一种基于原始脑电信号的多尺度卷积的自注意力网络预测癫痫发作的方法。该网络是在单通道脑电数据上进行癫痫检测研究，利用一维卷积进行特征提取并对脑电信号降维，再利用双向长短时记忆网络(bi-directional long-short term memory,bilstm)进行分类。bilstm是前向lstm与后向lstm的结合，在处理具有
时序关系的数据时，往往比单向lstm效果要好，因为bilstm所传达的信息需要有前面若干输入与后面若干输入共同决定。本研究基于该网络，结合inception思想和transformer自注意力编码层，提出multi-scale csanet结构实现利用多通道脑电信号预测癫痫发作。
5.为实现上述目的，本发明采用的技术方案如下：
6.步骤1：对波士顿儿童医院的癫痫患者的脑电信号数据进行划分和预处理。将癫痫发作开始前的30分钟脑电信号定义为发作前期，将上一次发作结束后4小时开始到下一次发作开始前4小时的时间间隔定义为发作间期。癫痫发作开始之前的5分钟时间间隔被认为是干预时间，并从训练数据中排除。计算每个病人发作前期和发作间期的数据比k，设置采样窗口为s，在训练阶段以s*k的移动步长采集发作前期数据。将发作前期和发作间期的数据标签分别设为1和0。
7.步骤2：使用57-63hz和117-123hz范围的带通滤波器移除60hz的噪声，0hz也排除在外。接着，由于脑电信号的采样数较多，因此再将每个脑电信号片段分割为l/l个等长的脑电信号序列，每个信号序列的长度为l。
8.步骤3：搭建模型。本发明利用多尺度卷积扩大神经元对多通道原始信号数据的感受范围，能够获得更多尺度的特征信息，然后利用transformer中带有自注意力的编码层提取特征，既能够很好的关注eeg重要的时序信息，又能并行计算，加快模型收敛。
9.步骤4：在将预处理后的脑电信号序列并行输入到卷积神经网络(convolutional neural networks,cnn)中，分别提取l时长的脑电信号特征。然后再把上述输出的特征向量按时间顺序输入到lstm中，方法借鉴inception思想，采用不同尺度的卷积核提取原始eeg特征，使cnn能够关注到更加广泛的时序和通道特征。最后将这些结果进行拼接，进而完成eeg特征的融合，一方面增加了网络的宽度，另一方面也增加了网络对尺度的适应性。
10.自注意力编码层
11.癫痫发作预测是一个分类问题，本发明采用transformer的encoder部分对脑电信号进行编码，encoder部分包括位置编码层(position encoding)、自注意力层(self-attention)、残差归一化层(add&normalize)和前馈网络层(feed forward)。为了包含时序信息，采用position encoding层加入位置编码，得到和输入一样维度的向量。这里利用sin和cos函数来计算每个输入的位置编码，见公式(1)和(2)。设输入向量的维度为[序列长度，向量维度]，公式中的pos为某个输入的位置，i表示向量维度的序号，取值范围为[0，向量维度/2]，d
model
表示向量维度的值。
[0012][0013][0014]
自注意力层通过三个权重矩阵wq、wk和wv将输入的矩阵向量进行线性变换得到查询q、键k和值v这三个新的矩阵向量。然后将查询矩阵q和键矩阵k相乘，再除以缩放因子并经过softmax计算注意力权重，最后与值矩阵v相乘得到最终的带有自注意力的矩阵表示z。其中dk表示k的维度，当dk很大时，矩阵乘积的结果也会很大，导致经过softmax的梯度很小，通过除以缩放因子能够减轻该问题的影响。公式如(3)所示。该结构还引入了多头注意力机制(multi-head attention)，顾名思义，就是采用多个wq、wk和wv矩阵对输入进行线性
变换，以探索其在不同子空间上的表示。
[0015][0016]
残差归一化层(add&normalize)包含add操作和层归一化(layer normalization)。其中add操作引入了残差思想，即将输入向量与当前的输出向量相加。归一化的目的是将输入的均值变为0，方差为1。然后再将该层的输出经过全连接层和残差归一化层得到该encoder的表示向量
[0017]
步骤5：训练模型。目前大多数的癫痫发作预测都是针对特定患者而言的，因此为了和其他方法进行对比，本发明也是针对特定患者的，同样采用留一交叉验证方法进行评估。通过实验得知，选取的脑电信号片段越长，预测性能越高，并且为了探索脑电信号的时序特征，本发明设定脑电信号片段l为1分钟，并将脑电信号片段分割成l为5秒的信号序列。设置该实验的初始化学习率为0.0001、迭代数为200、批次大小为16并且选用adam优化器。为了验证发明方法的有效性，本发明使用灵敏度、特异度、auc(area under curve)、准确率四个指标来分析结果。
[0018]
与现有技术相比，本发明具有以下优势：
[0019]
(1)模型以cnn-lstm结构为基础，借鉴inception思想，采用多尺度特征提取和融合的方法，既增加了网络的宽度，又增加了网络对脑电信号变化的适应性。同时为了避免特征信息丢失，将池化和卷积操作相结合完成下采样。
[0020]
(2)为了更好的提取脑电信号的时序特征，本发明采用transformer中带有自注意力机制的encoder层对eeg的时序信息进行建模，与其他方法相比既解决了信息遗忘的问题，又提高了模型的训练效率。
附图说明
[0021]
图1是预测癫痫发作研究的流程图。
[0022]
图2是基础卷积神经网络和长短时记忆网络模型图。
[0023]
图3是基于inception思想的残差块。
[0024]
图4是自注意力编码层结构图。
[0025]
图5是本发明的模型结构图。
具体实施方式
[0026]
本发明采用的技术方案为一种基于原始脑电信号的多尺度卷积的自注意力网络预测癫痫发作的方法。该网络是在单通道脑电数据上进行癫痫检测研究，利用一维卷积进行特征提取并对脑电信号降维，再利用双向长短时记忆网络(bi-directional long-short term memory,bilstm)进行分类。bilstm是前向lstm与后向lstm的结合，在处理具有时序关系的数据时，往往比单向lstm效果要好，因为bilstm所传达的信息需要有前面若干输入与后面若干输入共同决定。本研究基于该网络，结合inception思想和transformer自注意力编码层，提出multi-scale csanet结构实现利用多通道脑电信号预测癫痫发作。
[0027]
具体实施步骤如下：
[0028]
步骤1：对波士顿儿童医院的癫痫患者的脑电信号数据进行划分和预处理。将癫痫
发作开始前的30分钟脑电信号定义为发作前期，将上一次发作结束后4小时开始到下一次发作开始前4小时的时间间隔定义为发作间期。癫痫发作开始之前的5分钟时间间隔被认为是干预时间，并从训练数据中排除。计算每个病人发作前期和发作间期的数据比k，设置采样窗口为s，在训练阶段以s*k的移动步长采集发作前期数据。将发作前期和发作间期的数据标签分别设为1和0。
[0029]
步骤2：使用57-63hz和117-123hz范围的带通滤波器移除60hz的噪声，0hz也排除在外。接着，由于脑电信号的采样数较多，因此再将每个脑电信号片段分割为l/l个等长的脑电信号序列，每个信号序列的长度为l。
[0030]
步骤3：搭建模型。本发明利用多尺度卷积扩大神经元对多通道原始信号数据的感受范围，能够获得更多尺度的特征信息，然后利用transformer中带有自注意力的编码层提取特征，既能够很好的关注eeg重要的时序信息，又能并行计算，加快模型收敛。
[0031]
步骤4：在将预处理后的脑电信号序列并行输入到卷积神经网络(convolutional neural networks,cnn)中，分别提取l时长的脑电信号特征。然后再把上述输出的特征向量按时间顺序输入到lstm中，方法借鉴inception思想，采用不同尺度的卷积核提取原始eeg特征，使cnn能够关注到更加广泛的时序和通道特征。最后将这些结果进行拼接，进而完成eeg特征的融合，一方面增加了网络的宽度，另一方面也增加了网络对尺度的适应性。
[0032]
自注意力编码层
[0033]
癫痫发作预测是一个分类问题，本发明采用transformer的encoder部分对脑电信号进行编码，encoder部分包括位置编码层(position encoding)、自注意力层(self-attention)、残差归一化层(add&normalize)和前馈网络层(feed forward)。为了包含时序信息，采用position encoding层加入位置编码，得到和输入一样维度的向量。这里利用sin和cos函数来计算每个输入的位置编码，见公式(1)和(2)。设输入向量的维度为[序列长度，向量维度]，公式中的pos为某个输入的位置，i表示向量维度的序号，取值范围为[0，向量维度/2]，d
model
表示向量维度的值。
[0034][0035][0036]
自注意力层通过三个权重矩阵wq、wk和wv将输入的矩阵向量进行线性变换得到查询q、键k和值v这三个新的矩阵向量。然后将查询矩阵q和键矩阵k相乘，再除以缩放因子并经过softmax计算注意力权重，最后与值矩阵v相乘得到最终的带有自注意力的矩阵表示z。其中dk表示k的维度，当dk很大时，矩阵乘积的结果也会很大，导致经过softmax的梯度很小，通过除以缩放因子能够减轻该问题的影响。公式如(3)所示。该结构还引入了多头注意力机制(multi-head attention)，顾名思义，就是采用多个wq、wk和wv矩阵对输入进行线性变换，以探索其在不同子空间上的表示。
[0037][0038]
残差归一化层(add&normalize)包含add操作和层归一化(layer normalization)。其中add操作引入了残差思想，即将输入向量与当前的输出向量相加。归
一化的目的是将输入的均值变为0，方差为1。然后再将该层的输出经过全连接层和残差归一化层得到该encoder的表示向量
[0039]
步骤5：训练模型。目前大多数的癫痫发作预测都是针对特定患者而言的，因此为了和其他方法进行对比，本发明也是针对特定患者的，同样采用留一交叉验证方法进行评估。通过实验得知，选取的脑电信号片段越长，预测性能越高，并且为了探索脑电信号的时序特征，本发明设定脑电信号片段l为1分钟，并将脑电信号片段分割成l为5秒的信号序列。设置该实验的初始化学习率为0.0001、迭代数为200、批次大小为16并且选用adam优化器。
[0040]
为了验证发明方法的有效性，本发明使用灵敏度、特异度、auc(area under curve)、准确率四个指标来分析结果。