一种基于Transformer脑区时序分析的DRDS脑电信号识别方法

一种基于transformer脑区时序分析的drds脑电信号识别方法
1.本发明涉及脑电信号识别技术领域，尤其涉及一种基于transformer脑区时序分析的drds脑电信号识别方法。


背景技术：

2.立体视觉作为一项重要的视功能生理指标，它是我们进行良好的运动控制与准确的立体认知的关键，在医学角度，立体视觉体现于立体视敏度，即触发立体知觉的最小视差。近年来，立体视觉的相关研究多数以静态立体图水平视差或基于变化的速度、视差等的立体深度运动为研究对象，很少有基于深度动态随机点立体图(dynamic random dots stereogram,drds)的识别研究。相关研究证明，立体场景下物体运动与立体视觉息息相关。立体视觉研究可以借助精密的采集设备，得到被试的各类生理电信号，然后设计信号特征提取方法进一步分析得出更具一般性和客观性的结果。在立体视觉认知过程中，一些研究者聚焦在能客观体现被试意图的生理指标，包括：血压值，心率值，眼电信号，肌电信号，心电信号，大脑活动量等。近年来，对大脑活动量的研究主要使用的方法有：正电子放射断层造影，脑磁图，功能性核磁共振成像，脑电(electroencephalography,eeg)等。在上述方法中，eeg作为一种无创的，高时间分辨率的技术，被广泛应用于立体视觉识别领域。但是，脑电信号十分微弱且存在信息冗余，具有非平稳性和非线性。因此，与其它信号相比，eeg信号的分析与处理技术对获得准确的识别分类结果至关重要，基于深度动态随机点立体图的eeg信号研究具有更加重要的意义。
3.传统的机器学习eeg信号分类方法一般由手工特征提取和分类两个阶段组成。在特征提取方面，主要的方法有，采用无重叠汉宁窗的短时傅里叶变换提取时频eeg特征；利用welch的方法捕获功率谱密度作为频率特征；利用滤波器组公共空间模式捕捉eeg的最优空间特征；或者利用功能连接构建大脑特征空间进行分析。eeg信号经过特征提取后，将得到的脑电特征送入线性判别分析、随机森林或支持向量机分类器进行分类。
4.近年来，深度学习因为能够自动从原始数据中获得更深层的内在特征表示，在自然语言处理、计算机视觉、语音识别等领域显示出了巨大的潜力。此外，深度学习也被应用到eeg信号分类任务中，并取得很大的性能提升。如今，深度学习算法已经广泛应用于计算机视觉、自然语言处理、eeg信号识别等许多方面。在eeg识别领域，基于深度学习的方法能够将传统的特征提取和分类过程合并，通过神经网络以数据驱动的方式自动地实现eeg分类。从信号识别的通用性和准确性来说，基于深度学习的脑电信号识别方法具有巨大优势。考虑到eeg信号在时间维度是连续的序列信号，电极分布在不同的空间位置，提取高质量的时空特征是正确表征eeg信号的基础，鉴于此，本发明提出了一种基于transformer脑区时序分析的drds脑电信号识别方法。


技术实现要素：

5.1、本发明要解决的技术问题
6.本发明的目的在于提供一种能够较好地进行drds脑电信号识别的深度学习算法。
7.2、技术方案
8.为实现上述目的，本发明提供如下技术方案：
9.一种基于transformer脑区时序分析的drds脑电信号识别方法，包括以下步骤：
10.s1、对受试者的eeg数据进行预处理，将预处理后的eeg信号进行切片，作为网络的输入样本；
11.s2、使用时间卷积和维度变换提取eeg信号的特征，将提取的特征送入包含transformer encoder结构的脑区transformer模块提取空间特征；
12.s3、将空间特征进行转置，送入包含transformer encoder结构的时序transformer模块进行全局自注意力特征提取，提取时序特征；
13.s4、构建包含三个空间多尺度卷积层和三个时间多尺度卷积层的时空多尺度卷积融合模块，得到高级eeg时空特征，完成eeg信号的分类。
14.优选地，所述s1具体包括以下内容：
15.预处理首先要对采集到的eeg信号进行下采样、滤波、基线处理和去除伪迹，然后为了扩展数据集，对信号重叠切片，将其在时间维度上转换为一系列1s样本，切片后每个受试者有6912个样本。
16.优选地，所述s2中提到的时间卷积尺寸为1
×
7，步长为1
×
2大小；
17.所述脑区transformer模块是在对eeg电极进行脑区划分的基础上实现的，其工作流程具体为：
18.s2.1、脑区transformer模块从eeg脑区的角度将特征划分成6个不同的脑区集合；
19.s2.2、将每个脑区的特征送入对应的脑区transformer encoder模块，在每个脑区内提取电极之间的全局依赖信息；
20.s2.3、将从6个脑区内提取的全局信息进行拼接，得到了整个脑区全部电极之间的脑电信息的集合；
21.s2.4、将全部电极的信号送入脑区transformer encoder模块，在整个脑区内提取每一个电极的全局重要性信息。
22.经过上述操作，脑区transformer模块将每个脑区内和整体脑区上的全局重要性信息提取出来。
23.优选地，所述s3具体包括以下内容：
24.时序transformer模块以时序encoder模块为基础，采用transformer encoder结构对p个长度为1
×
n的时间片序列做电极之间的全局自注意力特征提取，提取时序特征；时序encoder模块主要由transformer encoder结构组成。
25.优选地，所述s4具体包括以下内容：
26.时空多尺度卷积融合模块将transformer encoder结构得到的信息进行更高级的特征提取，为了进一步提出eeg特征，具体包括以下步骤：
27.s4.1、将时序transformer模块提取到的特征送入三个空间多尺度卷积层，从局部和全局角度提取eeg深层次空间信息；
28.s4.2、将三个尺度的信息进行拼接，整理成高级空间eeg特征；
29.s4.3、使用三个不同尺度的时间卷积提取融合高级时间信息，得到最终的高级eeg
时空特征；
30.s4.4、加快网络训练以缩小特征的数量，采用1
×
1卷积和4
×
4的池化操作得到最终的融合特征；
31.s4.5、将融合特征送入两层全连接层和一层softmax层，完成eeg信号的分类。
32.3、有益效果
33.本发明提供的技术方案的有益效果是：
34.本发明通过脑区transformer模块、时序transformer模块和时空多尺度卷积模块，提取不同脑区内和整体脑区电极之间的空间联系，并提取eeg的时序信息，提出了新颖的基于transformer的脑区时序分析网络用于立体图识别eeg分类，实现了立体图诱发的脑电信号准确识别，这些特点确保了其可以用于技术实践中，为立体图识别和立体视觉相关研究提供了条件基础与理论支撑，使立体视觉更好地应用于航空及遥感测量、工业自动化系统、医学等领域。
附图说明
35.图1为本发明提出的一种基于transformer脑区时序分析的drds脑电信号识别方法的脑区时序分析网络整体框图；
36.图2为本发明实施例2中提到的脑区encoder模块示意图；
37.图3为本发明实施例2中提到的时序encoder模块示意图；
38.图4为本发明实施例2中提到的脑区结构划分图。
具体实施方式
39.为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
40.实施例1：
41.请参阅图1，本发明实施例提供了一种基于transformer脑区时序分析的drds脑电信号识别方法，如图1所示，该方法包括以下步骤：
42.101：预处理
43.对采集的eeg信号进行预处理，包括下采样、滤波、基线处理、去除伪迹和切片等步骤。
44.102：提取eeg信号的空间特征
45.本发明通过脑区transformer模块提取不同脑区的局部和全局信息，提取eeg信号的空间特征。
46.103：提取eeg信号的时序特征
47.本发明通过时序transformer模块，利用transformer学习长距离依赖的特性来捕获eeg信号的时间序列信息，提取eeg信号的时序特征。
48.104：提取高级eeg时空特征
49.本发明通过时空多尺度卷积融合模块对eeg信号进行更高级的特征提取，先通过三个空间多尺度卷积层，从局部和全局角度提取eeg深层次空间信息；再通过三个不同尺度的时间卷积提取融合高级时间信息，得到最终的高级eeg时空特征，然后将提取的高级eeg
时空特征送入两层全连接层和一层softmax层，实现eeg信号的三分类。
50.实施例2
51.请参阅图2-4，基于实施例1但有所不同之处在于，下面结合具体的计算公式、实例对实施例1中的方案进行进一步地介绍，详见下文描述：
52.201：预处理
53.预处理首先要对采集到的eeg信号进行下采样、滤波、基线处理和去除伪迹，然后为了扩展数据集，对信号重叠切片，将其在时间维度上转换为一系列1s样本，切片后每个受试者有6912个样本，经过预处理后的eeg信号作为网络的输入。
54.202：提取eeg信号的空间特征
55.本发明根据人类大脑的结构，将脑区分为6个部分，如图4所示，然后将每个脑区的特征送入对应的脑区transformer encoder模块，在每个脑区内提取电极之间的全局信息。当每个脑区的信息都提取完以后，将来自6个脑区的信息进行拼接，此时得到了整个脑区全部电极脑电信息的集合。然后，将全部电极的信号送入脑区transformer encoder模块，提取每一个电极在整个脑区的全局重要性信息。经过上述操作，脑区transformer模块将每个脑区内和整体脑区上的全局重要性信息提取出来。实现的主要流程如下。
56.假设输入的eeg信号为x＝[x1,
…
,xn]∈rn×
l
,xn∈r
l
，其中电极数为n，时间序列长度为p，首先在不破坏信号时空信息的前提下，采用尺寸为1
×
7，步长为1
×
2大小的时间卷积和维度变换，将信号转化为特征xi，计算公式如下：
[0057]
xi＝reshape(conv1×7(x)),xi∈rn×
p
ꢀꢀ
(1)
[0058]
然后将n个电极的信号划分成6个脑区分别送入脑区encoder模块中，如图2所示，脑区encoder主要采用transformer encoder结构，在该模块，每个脑区内的特征提取过程并不涉及维度变化，第i个脑区的计算过程如下：
[0059][0060]
其中i＝1,2,
…
,6。然后将所有脑区的特征合并后送入整个脑区的encoder模块中，得到脑区transformer模块的输出特征z，计算公式如下：
[0061][0062]
经过脑区transformer模块，网络提取到每个脑区内和整个脑区上的空间信息，该模块提取到的特征图继续送入时序transformer模块提取eeg时序信息。
[0063]
203：提取eeg信号的时序特征
[0064]
将上述提取的空间特征进行转置，送入包含transformer encoder结构的时序transformer模块进行全局自注意力特征提取，提取时序特征；其中，时序transformer模块以时序encoder模块为基础，采用transformer encoder结构对p个长度为1
×
n的时间片序列做电极之间的全局自注意力特征提取，提取时序特征。时序encoder模块主要由transformer encoder结构组成，如图3所示。
[0065]
经过时序transformer模块之后，为保证网络中的特征可以参与后续的卷积特征学习，需要对特征图s进行维度扩展和维度变换，成为三维特征s
*
，具体实现如下：
[0066]s*
＝reshape(permute(s)),s
*
∈r1×n×
p
ꢀꢀ
(4)
[0067]
204：提取高级eeg时空特征
[0068]
本发明通过时空多尺度卷积融合模块将上述transformer encoder结构提取到的特征进行更高层次的特征提取。在本模块为了进一步提取eeg特征，先将特征s
*
送入三个空间多尺度卷积层，从局部和全局角度提取eeg深层次空间信息，然后将三个尺度的信息进行拼接，整理成高级空间eeg特征，主要实现如下。
[0069]
s1＝conv
30
×1(s
*
)，s1∈r
32
×
16
×
128
ꢀꢀ
(5)
[0070]
s2＝conv
15
×1(s
*
)，s2∈r
32
×
16
×
128
ꢀꢀ
(6)
[0071]
s3＝conv3×1(s
*
)，s3∈r
32
×
28
×
128
ꢀꢀ
(7)
[0072]
t＝concat{s1，s2，s3}，t∈r
32
×
60
×
128
ꢀꢀ
(8)
[0073]
之后再使用三个不同尺度的时间卷积提取融合高级时间信息，得到最终的高级eeg时空特征，主要实现公式如下。
[0074]
t1＝conv1×7(t)，t1∈r
32
×
60
×
61
ꢀꢀ
(9)
[0075]
t2＝conv1×
31
(t)，t2∈r
32
×
60
×
49
ꢀꢀ
(10)
[0076]
t3＝conv1×
127
(t)，t3∈r
32
×
60
×
18
ꢀꢀ
(11)
[0077]
f＝concat{t1，t2，t3}，f∈r
32
×
60
×
128
ꢀꢀ
(12)
[0078]
最后，为缩小特征的数量，加快网络训练，采用1
×
1卷积和4
×
4的池化操作得到最终的融合特征f
*
，计算公式如下：
[0079]f*
＝avg_poll4×4(conv1×1(f))，f
*
∈r
16
×
15
×
32
ꢀꢀ
(13)
[0080]
205：技术应用
[0081]
本发明实例实现了drds脑电信号的识别，取得了良好的分类效果。立体视觉作为一项重要的视功能生理指标，它是我们进行良好的运动控制与准确的立体认知的关键，在医学研究领域具有重要作用。研究drds脑电信号为立体图识别和立体视觉相关研究提供了条件基础与理论支撑，为立体视觉在医学领域应用打下了坚实的基础。
[0082]
实施例3
[0083]
基于实施例1-2但有所不同之处在于，下面结合具体的实验对实施例1和2中的方案进行可行性验证，详见下文描述：
[0084]
本发明使用立体图识别数据集a(stereogram recognition dataset a，srda)和立体图识别数据集b(stereogram recognition dataset b，srdb)两个数据集对性能进行测试，数据集的基本格式如表1所示。
[0085]
表1数据库格式说明
[0086][0087]
在本发明提出的模型中，采用交叉熵损失l用于评估真实标签yi和预测标签之间的不一致性，模型损失函数公式如(14)所示。
[0088]
[0089]
上式中，m是样本数，θ是网络中所有的可训练参数集合，‖.‖1表示向量的l1范数，λ是常量参数。在损失函数中，正则化项λ‖θ‖1用于防止过拟合。训练过程中，采用sgd优化器进行模型反向传播优化，学习率设置为0.01，批量大小设置为32，λ设置为0.00001。每次训练经过100迭代之后，保存最优的实验结果。最后采用五折交叉验证对模型性能进行综合评价。
[0090]
本发明基于脑电数据集srda和srdb，采用三个指标评价各个脑电分类模型的性能，包括accuracy，f1-score和kappa。在分类问题中，tp(true positive)表示正样本被正确识别为正样本数，fp(false positive)表示负样本被错误识别为正样本数，tn(true negative)表示负样本被正确识别为负样本数，fn(false negative)表示正样本被错误识别为负样本数。用到的评价指标可以用如下的公式来计算：
[0091][0092][0093][0094][0095][0096]
在上述指标计算公式中，po表示实际的分类准确率，pe表示随机情况下模型分类准确率，比如，三分类问题下pe约等于33.33％。
[0097]
同时，为了评价本发明提出的ter-tsan模型的性能，在两个脑电数据集srda和srdb上，增加了attnsleep和ts-seffnet两个深度学习脑电识别方法进行性能比较，以验证模型的优越性能。整体性能结果如表2所示。
[0098]
表2模型整体性能比较结果
[0099][0100]
从表2中可以看出，在srda数据集上，模型ter-tsan取得了96.84％分类准确率，优于所有对比方法，这说明ter-tsan可以提取到更显著的特征。主要原因在于ter-tsan可以
充分脑区内和整体脑区的空间联系，同时捕获到eeg信号的时序信息，并且提取到多感受野的高级时空融合特征。此外，提出的模型在另外的两个指标f1-score和kappa值上也取得了0.961和0.953的最高性能，充分说明了ter-tsan的优秀分类效果。
[0101]
同时，进一步在srdb数据上验证模型的性能，如表2所示，提出的ter-tsan算法在分类准确率，f1-score和kappa值分别取得了96.33％、0.957和0.945的整体性能，仍然优于所有对比算法。整体上说，实验结果证明了提出的ter-tsan能够充分提取脑区内的时空特征，表现出优越的立体图识别分类性能。
[0102]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。