基于注意力机制的多通道特征融合的脑电情绪信号检测方法、设备和介质

1.本发明涉及脑电信号检测技术领域，特别涉及基于注意力机制的多通道特征融合的脑电情绪信号检测方法、设备和介质。


背景技术：

2.现有的脑电情绪信号检测方法仍然使用手工筛选电极通道来提取特征，然后采用一些分类方法，如支持向量机(svm)等，来预测情绪状态。并且关于eeg的研究大多不使用统一电极通道，使得不同电极通道数量和最后的模型分类精度结果也受到影响。
3.中国专利cn112465069a公开了一种基于多尺度卷积核cnn的脑电情绪分类方法。该发明选用seed数据集作为实验数据，使用relief f算法与多尺度卷积核cnn相结合的特征选择与分类模型进行分类测试；首先对预处理数据提取每个频段上的微分熵特征，并用线性动态系统方法进行特征平滑；其次使用relief f算法对数据进行特征选择，然后将数据切割成适合作为多尺度卷积核cnn输入的特征样本，并进行归一化处理；最后使用多尺度卷积核cnn对处理的样本进行分类测试。该发明采用将relief f算法与多尺度卷积核cnn相结合的特征选择与分类模型方法，可以有效的提高情绪脑电信号分类率，对智能人机交互领域和脑电情感识别都具有重要的意义。但由于只是使用了cnn提取空间特征，具有没有提取时间特征的缺点；并且没有使用注意力机制模块筛选出体现重要eeg的脑电情绪特征。
4.中国专利cn114881089a公开了一种基于双分支融合模型的深度学习的抑郁脑电分类方法，该发明包括以下步骤：(1)获取若干组健康人的大脑前额叶fp1、fpz和fp2电极的脑电信号，(2)获取若干组轻度抑郁患者的大脑前额叶fp1、fpz和fp2电极的脑电信号，(3)获取若干组中度抑郁患者的大脑前额叶fp1、fpz和fp2电极的脑电信号，(4)以步骤(1)、(2)和(3)中的健康对照、轻度抑郁患者和中度抑郁患者的输入形式，对双分支融合模型进行训练学习，(5)将待分析窗口脑电信号转换成对应的小波时频图，输入步骤(4)中训练完成的双分支融合模型，完成该脑电信号的分析。该方法效果良好，能够区分出抑郁和健康以及抑郁程度。但由于需要将脑电信号转换为小波时频图，还需要提前对数据进行预处理，增大了模型计算量。


技术实现要素：

5.为了克服上述现有技术的不足，本发明的目的在于提供基于注意力机制的多通道特征融合的脑电情绪信号检测方法、设备和介质，通过深度特征提取和双向长短期记忆网络动态选择脑电通道最能表达脑电情绪特征，再通过注意力机制层权衡这两种特征权重，最后通过全连接层输出预测结果，本发明在提升情绪检测率的同时具有可解释性，并且只使用原始的脑电信号，能够方便脑接口移植，具有操作简单，准确率高的特点。
6.为了实现上述目的，本发明所采取的技术方案是：
7.基于注意力机制的多通道特征融合的脑电情绪信号检测方法，包括以下步骤：
8.步骤s1、通过脑电设备采集情绪脑电信号数据；
9.步骤s2、构建基于注意力机制的多通道cnn、bi-lstm深度学习模型；
10.步骤s3、将步骤s2中构建的基于注意力机制的多通道cnn、bi-lstm深度学习模型多次运行，反复训练后得到精确度最高的固定参数模型；
11.步骤s4、将得到精确度最高的固定参数模型保存在配置文件上。
12.所述步骤s1具体为：将通过脑电设备采集的多通道脑电数据记为x,对所采集的多通道脑电数据x设置标签y，将多通道脑电数据x和标签y作为训练数据集{(x(i)，y(i))，i＝1,2，
…
，m}，m为训练样本数量，标签y具体包括以下为四类状态：
13.第一正常状态:受试者在观看快乐电影片段记录脑电图信号时的记录；
14.第二正常状态:受试者在观看悲伤电影片段记录脑电图信号时的记录；
15.第三正常状态:受试者在观看恐惧电影片段记录脑电图信号时的记录；
16.第四正常状态:受试者在观看中性电影片段记录脑电图信号时的记录。
17.所述步骤s2具体为：将原始训练集中的脑电数值性信号保存下来，并按照采集脑电信号电极数量生成多通道脑电矩阵训练集{(s(i)，y(i))，i＝1,2，
…
，m}，将脑电数据s(i)进行归一化处理后，放入卷积神经网络层提取特征后得到一个新的脑电信号全局特征p(i)；将脑电数据s(i)进行归一化处理后，放入双向长短期记忆网络后得到一个新的脑电信号时间特征l(i)。
18.所述卷积神经网络层包括卷积层，flatten层；所述卷积层有1个，分别是1
×
64；池化层有一个1
×
2；flatten层有一个。
19.所述双向长短期记忆网络包括双向长短期记忆层和flatten层；所述双向长短期记忆网络层有1个，分别是1
×
64；flatten层有一个；双向长短期记忆网络层结构模型分为2个独立的lstm，输入序列分别以正序和逆序输入至2个长短期记忆网络进行特征提取，将2个输出向量(即提取后的特征向量)进行拼接后形成的向量作为最终特征表达，然后得到的两个脑电信号特征p(i)和l(i)进行拼接操作后得到一个新的脑电信号特征t(i)，再经过注意机制层得到新的脑电信号特征f(i)；最后将得到的脑电信号特征f(i)然后输入到两层全连接层；最后的分类结果通过softmax函数获得；经过训练后，得到参数集合组成的多通道卷积神经网络、双向长短期记忆网络和注意力机制的模型。
20.一种电子设备，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现基于注意力机制的多通道特征融合的脑电情绪信号检测中的步骤s1至步骤s4。
21.一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时基于注意力机制的多通道特征融合的脑电情绪信号检测中的步骤s1至步骤s4。
22.与现有技术相比，本发明的优点为：
23.1、本发明利用注意机制层自动捕获整个脑电记录中最重要的脑电片段，并将注意机制引入深度学习框架，解决了人工筛选电极通道特征的问题，具有节约成本的特点。
24.2、本发明利用比传统单向lstm性能更好的双向长短期记忆网络，可以提高序列分类问题的模型性能，在输入序列为时间问题的分类数据上，双向长短期记忆网络在输入序列上训练的模型是两个而不是一个lstm：输入序列中的第一个是原始样本，第二个是输入序列的反向样本。不仅可以为网络提供额外的上下文，并且可以更快、更全面地学习该问
题。所有电极通道特征经过双向lstm后映射到注意力层，注意力层可以设置各个通道权重系数以区分差异，可以更好地利用重要信息，提高模型识别的性能，能够解决梯度爆炸和梯度消失问题。
25.3、本发明使用的是没有任何预处理的原始eeg信号，能够方便在脑接口上的应用。
附图说明
26.图1是本发明的流程图。
27.图2是本发明的cnn-bi-lstm-attention多通道模型图。
具体实施方式
28.下面结合附图对本发明做进一步详细描述。
29.本实施例的数据来自sjtu emotion eeg dataset(seed)，是由上海交通大学卢宝亮教授领导的bcmi实验室提供的脑电数据集集合。seed-iv是由15个受试者的脑电图记录作为数据，精心挑选了72个电影片段分为三次实验，这些片段具有诱发快乐、悲伤、恐惧或中性情绪的倾向，我们分别抽取一次实验中的每个人每个视频片段中间一千条连续的数据集。实验使用62通道esi neuroscan系统和smi眼动追踪眼镜收集eeg信号和眼球运动。影片剪辑的选择标准如下：
30.(1)整个实验的长度不宜过长，以免引起受试者疲劳；
31.(2)视频无需解释即可理解；
32.(3)视频应该引起单一的目标情绪。每个影片剪辑的持续时间约为4分钟。
33.参照图1，基于注意力机制的多通道特征融合的脑电情绪信号检测方法，包括以下步骤：
34.步骤s1、通过脑电设备采集情绪脑电信号数据，具体为：将通过脑电设备采集的多通道脑电数据记为x,对所采集的多通道脑电数据x设置标签y，将多通道脑电数据x和标签y作为训练数据集{(x(i)，y(i))，i＝1,2，
…
，15}，15为训练样本数量，标签y具体包括以下为四类状态：
35.第一正常状态:受试者在观看快乐电影片段记录脑电图信号时的记录；
36.第二正常状态:受试者在观看悲伤电影片段记录脑电图信号时的记录；
37.第三正常状态:受试者在观看恐惧电影片段记录脑电图信号时的记录；
38.第四正常状态:受试者在观看中性电影片段记录脑电图信号时的记录；
39.步骤s2、构建基于注意力机制的多通道cnn、bi-lstm深度学习模型，具体为：将原始训练集中的脑电数值性信号保存下来，并按照采集脑电信号电极数量生成多通道脑电矩阵训练集{(s(i)，y(i))，i＝1,2，
…
，15}，将脑电数据s(i)进行归一化处理后，放入卷积神经网络层提取特征后得到一个新的脑电信号全局特征p(i)；将脑电数据s(i)进行归一化处理后，放入双向长短期记忆网络后得到一个新的脑电信号时间特征l(i)；双向长短期记忆网络层结构模型分为2个独立的lstm，输入序列分别以正序和逆序输入至2个长短期记忆网络进行特征提取，将2个输出向量(即提取后的特征向量)进行拼接后形成的向量作为最终特征表达，然后得到的两个脑电信号特征p(i)和l(i)进行拼接操作后得到一个新的脑电信号特征t(i)，再经过注意机制层得到新的脑电信号特征f(i)；最后将得到的脑电信号特征f(i)然后输
入到两层全连接层；最后的分类结果通过softmax函数获得；经过训练后，得到参数集合组成的多通道卷积神经网络、双向长短期记忆网络和注意力机制的模型；
40.步骤s3、将步骤s2中构建的基于注意力机制的多通道cnn、bi-lstm深度学习模型多次运行，反复训练后得到精确度最高的固定参数模型；
41.步骤s4、将得到精确度最高的固定参数模型保存在配置文件上。
42.本实施例的结果由表1和表2体现，其中：表1为本发明与其他模型在情绪识别任务上的性能对比表；表2为在情绪识别任务上使用十折交叉验证的11个模型的性能汇总表。
43.从表1和表2可以看出，本发明在预测脑电情绪信号方面优于其他模型，具有较高的准确性和可靠性。表1百分之九十的数据作为训练模型，剩下的百分之十测试模型，本发明提出的模型准确率为99.60％，精确率为99.74％，召回率为99.75％，f1-score为100％，马修斯相关系数为99.46％。bi-lstm-attention在五项评价指标上仅次于本发明提出的模型，准确率为98.11％，精确率为98％，召回率为98.25％，f1-score为98％，马修斯相关系数为97.48％。这可能是由于没有cnn提取空间特征而导致的性能差距。在表中我们可以发现，有bi-lstm集成的模型中，测试性能都取得了较好的表现，这说明bi-lstm很适合对于eeg这种数据提取特征。在所有模型中，adaboost的表现最差。本发明在准确率、精确率、召回率、f1-score和马修斯相关系数这五种评价指标都优于其他模型。
44.单一的测试结果不足以确保我们模型的优越性，这是因为深度学习在每次训练的时候都会有不同的实验结果。所以我们还通过十折交叉验证来进一步验证每个模型的性能。十折交叉验证是将所有样本平均分成十等分，其中任意一等份均被当为测试数据，用交叉验证的目的是为了得到可靠稳定的模型。我们同样使用固定的随机种子，取10次结果的平均值作为预估算法的准确性能的判定。
45.实验结果如表2所示，dnn、cnn、lstm、bi-lstm、bi-lstm-attention、cnn-bi-lstm和cnn-bi-lstm-attention模型中，cnn-bi-lstm-attention以其强大的特征提取能力获得了99.67最佳平均分类准确率。同样我们还对机器学习方法进行了比较。adaboost的分类正确率为35.93％，knn的分类正确率为96.16％，random forest的分类正确率为95.98％，xgboost的分类正确率为80.57％。我们的方法比传统的机器学习方法更具有鲁棒性。
46.实验结果表明，利用深度学习从脑电信号中自动提取特征比手工提取特征更有优势，并且通过注意力机制自动筛选电极通道。同样，我们提出的深度学习模型也可以通过脑电分类扩展到癫痫诊断等应用。它也是心电、肌电等信号的有效深度学习模型。
[0047][0048][0049]
表1
[0050][0051][0052]
表2
[0053]
参照图2，所述卷积神经网络层包括卷积层，flatten层；所述卷积层有1个，分别是1
×
64；池化层有一个1
×
2；flatten层有一个；卷积层的主要目的是提取特征，使用若干卷积核从输入数据中提取不同类型的特征；然后再把卷积后的特征放入flatten层，flatten层用来将输入“压平”，即把多维的输入一维化。
[0054]
在数学上，卷积运算的定义如公式(1)所示：
[0055][0056]
其中，x是信号，h是滤波器，n是信号中的元素数，输出矢量为c。
[0057]
单向长短期记忆网络(lstm)通过存储单元c来学习序列数据的长期和短期相关性，存储单元c具有自连接来存储网络的时间状态。lstm单元如图2所示，lstm内部主要有三个阶段：
[0058]
1.忘记阶段。这个阶段主要是对上一个节点传进来的输入进行选择性忘记。记住重要的信息，忘记不重要的。该层读取当前输入x和前神经元信息h，由f
t
来决定上一个状态的c
t-1
选择遗忘某些信息。
[0059]
2.选择记忆阶段。这个阶段主要是对输入x
t
进行选择记忆。哪些重要的信息则着重记录下来，不重要的信息则少记。这一步由两层组成。sigmoid层作为“输入门层”，决定我们将要更新的值i；tanh层来创建一个新的候选值向量加入到状态中。
[0060]
3.输出阶段。这个阶段决定哪些信息会被当成当前状态的输出。对上一个阶段得到的c
t
通过tan函数进行了放缩。与普通rnn类似，输出的y
t
最终也是通过h
t
变换得到的。
[0061]
lstm单元的数学表达式定义如公式(2-7)所示：
[0062]ft
＝σ(wf×
[h
t-1
,x
t
]+bf) (2)
[0063]it
＝σ(wi×
[h
t-1
,x
t
]+bi) (3)
[0064][0065][0066]ot
＝σ(wo×
[h
t-1
,x
t
]+bo) (6)
[0067]ht
＝o
t
×
tanh(c
t
) (7)
[0068]
单向lstm只能学习单方向的时间相关信息，而bi-lstm是由两个lstm块组成,可以更好地从正向和反向两个方向捕捉这些信息,以同时处理相反方向的脑电信号，双向lstm根据等式(8)计算整个输出h
t
。
[0069][0070]
然后将得到的两个脑电信号特征p(i)和l(i)进行拼接操作后得到一个新的脑电信号特征t(i)，然后经过注意机制层得到新的脑电信号特征f(i)；
[0071]
所述脑电信号特征t(i)再经过注意力机制层。注意力机制可以对脑电信号特征t(i)输出的隐层向量表达式进行加权求和计算，集中对输出变量有较大影响的特征，提高了方法的精度。假设x1,x2,
…
,x
t
表示t(i)特征的输入，h1,h2,
…
,h
t
表示t(i)隐藏层的输出，作为注意力机制的输入，得到注意力权重的分布。权重表示状态参数的重要性。注意力机制的计算如公式(9-11)所示：
[0072]ei
＝u*tanh(w
thi
+b) (9)
[0073][0074][0075]
最后将得到的脑电信号特征f(i)然后输入到全连接层；全连接层通常用于深度神经网络的后面几层，用于把前边提取到的特征综合起来。全连接层还可以通过高维特征映射到低维空间达到降维的作用。我们使用两个全连接层，分别是128个和64个神经元。
[0076]
最后的分类结果通过softmax函数获得；经过训练后，得到参数集合组成的多通道卷积神经网络、双向长短期记忆网络和注意力机制的模型。