一种实时检测脑电帽佩戴的深度学习方法与流程

本发明涉及脑机接口，具体地讲是一种利用脑机接口信号检测被试者是否佩戴脑电帽的基于时频特征融合的深度方法。

背景技术：

1、脑机接口(brain-computer interface,bci)是一种解释大脑活动，并其转化为能控制外接设备命令的技术，有广泛的应用场景。所述bci技术可由脑电帽采集脑电图(electroencephalogram,eeg)。在所述eeg的采集阶段，被试者会因故摘掉脑电帽进行休息，如果无法及时检测出脑电帽的佩戴情况，会影响到所涉及任务的流程进度，甚至在科研中，带来更多的噪声标签。此外，脑电采集过程中，被试者会执行多种任务，如讲话、走动等，所述任务都会影响eeg信号。基于此，被试者是否正确佩戴脑电帽影响所述eeg信号的质量。然而，目前基于阻抗传感器的方法稳定性差，检测需要的时间周期长，无法实时检测被试者的脑电帽佩戴情况，制约了eeg信号的可信度。在这一背景下，实时检测脑电帽佩戴的方法成为采集eeg的一大痛点。

2、有无佩戴脑电帽时脑eeg信号存在略微差距，因此基于所述eeg信号检测脑电帽佩戴情况的方法具有可行性。然而通过传统方法对所述eeg的时域图、频谱、功率谱等方面的分析，很难捕捉所属微弱变化。近年来，随着深度学习(deep learning,dl)方法在bci领域广为应用，各个领域的分析精度都得到了不同程度的提升，并且dl方法具有较快的推理速度，可以实时地分析采集到的eeg信号。基于此，dl方法加速了bci技术的推广。

3、脑电帽的佩戴状态并不是一成不变的。被试者可以进行讲话、运动想象、运动执行、抒发多种情绪的任务，这些活动会影响eeg信号，进一步增加检测脑电帽佩戴情况的难度。简单的二分类检测无法洞察佩戴脑电帽状态时的内类差异性，阻碍了检测的准确性。基于此，我们将多分类标签用于检测脑电帽的佩戴情况，用于指导dl模型准确识别未佩戴脑电帽与佩戴脑电帽时的多种状态，得到泛化能力更强，识别更精准的dl模型。

4、dl方法可以有监督的学习人眼难以观测到的高维特征，不需要对eeg信号进行滤波或人工特征提取。基于卷积神经网络(convolution neural network,cnn)的eeg解码方法有效地获取了所述eeg不同通道内的时域局部特征；自注意力(self-attention)机制的介入使神经网络扩大了解码阶段对所述时域特征的感受野，捕捉到更隐蔽的长期依赖。然而，上述用于eeg分析的dl方法仅在时域进行特征提取，忽略了eeg领域内传统方法已经印证的频域特征的重要性。

5、频域分析是传统方法中时间信号分析关注的重点。所述频域分析包含频谱图、幅度谱、相位谱、功率谱的分析。一方面，所述频谱图在信号处理中可以对所述eeg信号进行去噪，所述eeg在收集的过程中会受到噪声的影响，因此所述传统的eeg处理方法会滤掉约为50hz的市电以及低频的噪声信号，然而人为设计的滤波器在过滤噪声与冗余信息的同时可能会造成一些有效信息的丢失，阻碍了dl方法提取人眼难以识别的高维特征。另一方面，佩戴脑电帽检测中，佩戴者的状态也会影响检测，伴随被试者的脑部活动，eeg会呈现阶跃式增长，表现为μ节律(8～12hz)受到抑制，即该频率范围内的功率谱密度下降，休息时的eeg更多趋于平稳状态，表现为频域功率谱密度较为稳定，运动或讲话时的eeg更活跃，表现为频域功率谱密度较为活跃，因此在频域中检测脑电帽佩戴具有得天独厚的优势。基于这两点，我们将结合频域卷积与时域卷积，将频谱分析应用到dl方法中，弥补了dl方法没有过滤噪声、冗余的缺点，同时增强了捕捉脑电变化的能力，可以更好地检测脑电帽的佩戴情况。

技术实现思路

1、有鉴于此，本发明通过模拟传统频谱分析，提出一种基于深度学习的频谱分析的脑电帽佩戴检测算法框架：通过多维度卷积模块进行信号嵌入，充分解码eeg信号；通过傅里叶模块进行频谱分析；通过时间卷积模块获取高感受野的时间特征；通过时频特征融合的分类器完成分类任务，检测被试者是否佩戴脑电帽。本发明通过以下技术方案实现：

2、1)本发明实时检测脑电帽的佩戴情况，在交换机中创建队列接收脑电帽采集到的实时eeg信号，进一步利用训练完成的dl模型进行预测；

3、2)所述dl模型借助多维度卷积嵌入模块，先使用三个不同的卷积层，提取输入的时间序列特征、整合不同通道之间的特征、扩充高维特征；

4、3)所述dl模型利用平均池化层去除过多冗余特征；

5、4)所述dl模型通过滑动窗口从信号中截取不同的部分，进行数据扩充并分别对窗口脑电数据进行解码获取特征，增强解码的普适性；

6、5)所述dl模型通过傅里叶模块，进行频谱分析；

7、6)所述dl模型使用时间卷积模块从高感受野解码时间序列；

8、7)所述dl模型整合不同滑动窗口下的特征，融合后进一步提取多分类特征与二分类的特征；

9、8)所述多分类特征用于预测多分类结果，此外还被合并到二分类分支，共同完成二分类结果的预测；

10、8)本发明利用所述预测结果与对应任务的分类标签计算损失函数，多分类指导二分类任务学习，基于梯度下降完成网络的反向传播，更新所述各个模块中的参数；利用验证集对更新后的网络参数进行测试，若测试准确率优于上一个迭代的准确率则保存该模型参数；

11、9)重复步骤2)至步骤8)，完成30次迭代后损失函数趋于收敛并得到用于脑电帽佩戴检测的最优模型参数；

12、10)将接收到的所述实时eeg信号输入到步骤9)中训练完成的dl模型，得到当前时间的初步检测结果；

13、11)结合所述当前时间的初步检测结果与上一检测的初步结果，如果一致，给出当前的佩戴状态检测最终结果；

14、12)将所述检测最终结果发送给交换机。

技术特征：

1.一种实时检测脑电帽佩戴的深度学习方法，其特征在于：通过以下各个步骤实现：

2.根据权利要求1所述的多维度卷积嵌入模块，其特征在于，使用二维时域卷积提取输入的时间序列特征，使用二维通道卷积整合不同通道之间的特征，最后使用卷积核尺寸为1×1的二维卷积扩充高维特征。

3.根据权利要求1所述的滑动窗口技术，其特征在于，并行获取以不同时间点开始的时间序列，增强模型的泛化性能，并使用平均算法或沿通道叠加技术融合所述并行提取到的特征，所述滑动窗口的尺寸不能大于被处理时域特征的时间点长度。

4.根据权利要求1所述的频域分析模块，其特征在于，由快速傅里叶变换得到eeg信号的频谱图；将信号的实部与虚部沿通道连接后通过卷积提取频域特征。

5.根据权利要求1所述的脑电帽检测dl网络，其特征在于，利用预测结果与分类标签计算损失函数，基于梯度下降完成网络的反向传播，更新各个模块中的参数；利用验证集对更新后的网络参数进行测试，若测试准确率优于上一个迭代的准确率则保存该模型参数。完成30次迭代后，损失函数收敛，同时得到最优模型参数，所述损失函数连续10次迭代不变时，会提前结束训练。

6.根据权利要求1所述的一种实时检测脑电帽佩戴的深度学习方法，其特征在于，输入的脑电图信号无需进行归一化处理，无需要进行滤波去噪。

7.根据权利要求1所述的频域分析模块，其特征在于，包含时域、频域两个特征提取分支，所述频域分支的卷积个数为时域卷积的二倍，分别对应傅里叶变换后的实部、虚部。

8.根据权利要求1所述的时间卷积模块，其特征在于，所述的时间卷积的卷积核尺寸逐渐扩大，在深层网络获取高感受野；所述的卷积为空洞卷积，在不增加运算复杂度的基础上，获取所述高感受野。

9.根据权利要求1所述的两个任务的学习，其特征在于，结合多任务学习策略，利用更丰富的标签指导模型学习更加细节的特征，识别被试者佩戴脑电帽的基础上，识别出被试者是否在讲话、运动想象、运动执行，是否处于兴奋、悲伤的状态。

10.根据权利要求1所述的初步预测结果的后处理，其特征在于，当前时间的预测结果结合上一时间的初步预测结果得到检测结果，如果一致则为当前预测状态，否则将为上一时间的预测结果。

技术总结
本发明公开了一种实时检测脑电帽佩戴的深度学习方法，包括以下各个步骤：(1)通过交换机，接收实时EEG信号；(2)训练DL网络用于检测脑电帽佩戴情况；(3)通过卷积提取大感受野的时间序列特征、融合通道特征并扩充EEG信号的高维特征；(4)使用滑动窗口技术增加样本的多样性；(5)通过频域分析模块学习频谱图的高维特征；(6)使用时间卷积模块从高感受野解码时间序列；(7)使用多任务学习策略，提升所述DL网络的泛化能力与对内类差异性的识别能力；(8)对实时EEG信号进行分析，得到检测佩戴脑电帽的预测结果；(9)对所述预测结果进行后处理，结合上一预测时间的结果得到检测结果；(10)将所述的检测结果发送给交换机，达到实时性检测的效果。

技术研发人员：张浩宇,王成,王涵宇,黄宣竣,娄红羽,史晟乐
受保护的技术使用者：深圳睿瀚医疗科技有限公司
技术研发日：
技术公布日：2024/2/19