一种融合听觉P300和触觉诱发电位的多模态意识水平检测脑机接口系统

本发明属于脑电信号识别领域，特别是意识检测的脑机接口系统。

背景技术：

1、脑机接口(brain-computer interface,bci)，是指在人或动物大脑与外部设备之间创建的直接连接通路，实现脑与设备的信息交换。脑机接口的核心功能是采集脑电信号并通过分析解码脑电信号获取其中包含的运动意图。近几年，脑机接口技术在慢性意识障碍诊疗领域的研究开始逐渐增多。脑机接口可以通过获取特定刺激下意识障碍患者的脑电信号，分析患者是否存在特异性反应，从而实现意识障碍诊断与评定、预后判断，甚至与意识障碍患者实现交流。

2、虽然目前脑机接口相关的专利不在少数，但是大多数脑机接口集中应用于运动辅助和康复训练，例如轮椅，外骨骼机器人，意识障碍脑机接口相关的专利较少。此外，在意识障碍评估检测方面，相关专利主要依靠视觉p300或者稳态视觉诱发电位范式设计脑机接口，这种范式容易让意识障碍患者产生疲劳，且无法应用于视神经、眼动神经能力受损的意识障碍患者上。

技术实现思路

1、本发明克服了现有技术的不足，避免了基于视觉p300和稳态诱发电位的意识水平检测系统对容易让患者产生疲劳以及无法应用于视神经、动神经能力受损意识障碍患者等问题。

2、本发明公开了一种融合听觉和触觉诱发电位的意识水平检测脑机接口系统，该系统包括：实验范式模块、数据采集模块、数据处理模块、意识判断模块、在线测试模块；

3、所述实验范式模块，用于向受试者呈现听觉和正中神经刺激范式，包括语音播报功能、听觉刺激模块以及正中神经刺激功能；

4、数据采集模块，用于采集接收受试者在实验范式下的脑电信号数据，并将信号数据传输至脑电数据采集软件，给脑电信号数据打上标注，存储在系统内部中；

5、数据处理模块，用于导入存储的脑电信号数据，并对脑电信号进行包括通道选择，重参考，滤波，降采样，epochs分段处理，并将处理的脑电信号存储在系统内部；

6、其中数据处理方法包括：

7、数据处理模块，对脑电信号依次进行：通道选择，重参考，滤波，降采样，epochs分段处理；

8、其中：所述所述通道选择的方法为：从采集的32通道脑电信号中选取与听觉p300模型有关的脑电信号；

9、所述重参考的方法为：选取a1和a2双侧乳突电极通道作为参考通道，利用每个脑电电极通道信号减去双侧乳突通道信号的平均值来实现脑电信号重参考；

10、所述滤波方法为：使用的是巴特沃斯带通滤波器；

11、所述降采样为用于降低所采集脑电信号的长度；

12、所述epochs分段为用于将采集到的脑电信号按照标记点划分成不同实验次数的脑电信号数据；

13、所述意识判断模块包括：p300模型、sssep模型；对p300模型的输出结果和sssep模型的输出结果进行混合，若两个模型都输出1或者输出只有其中一个模块输出1，则判定该次实验受试者遵从了指令，混合模型输出结果为1；若两个模块都输出-1；则判定该次实验受试者未遵从指令，混合模型输出结果为-1；

14、所述p300模型训练模块，将单次实验的每个epochs分段逐通道的拼接在一起其中i表示第i个脑电信号通道，k表示第k次刺激，n表示第n次实验；随后按照单次出现的次数对数据取平均，即k表示第n次中同一类唤名刺激的总次数；对于受试者自己名字的唤名刺激，其对应的样本标签为1，对于其他唤名刺激，其对应的样本标签为-1；

15、将单次实验得到的fn作为一个样本，对所有样本进行主成分分析，保留前80％的主成分，这样完成对样本特征向量的筛选；随后使用筛选后的样本向量和对应的标签生成每个受试者的基于高斯核的支持向量机分类器，通过最小化分类错误和最大化分类间隔将两类样本完全分开，训练得到支持向量机分类器的模型参数w和b；得到支持向量机参数后，对于新的脑电信号数据x，先计算其对应唤名刺激的特征fn，通过比较fnw+b与0的大小来判断受试者是否遵从唤名刺激，若fnw+b＞0，则输出1，反之则输出-1；

16、所述sssep模型训练模块，滑动窗口的方式对对单次实验的脑电数据进行划分；窗口的重合率为0％，将划分后的脑电信号片段xk做，k∈k，k表示单次实验trail划分的次数，做短时快速傅里叶变换sfft，hamming窗，窗口大小为1s，窗口重合率50％，分别求取[25，27]和[30，32]区间内的功率谱密度之和作为26hz和31hz功率，然后选择该功率对数最大值对应的频率作为被试关注的目标频率；如公式(1)所示：

17、

18、其中，以及分别表示单次实验中第k个划分脑电片段第i个信号通道在频率f的功率谱密度以及它的2范数，scoref度刻画了单次实验中在感兴趣的频率f的能量强度，由i个通道的功率对数平均值得到，以通过最小化target与真实刺激之间的频率值来得到i；最终，对于新的脑电信号数据x，将得到的target频率与要求受试者关注的频率进行对比，若一致，则模型输出1，反之则输出-1；

19、在线测试模块，用于在受试者进行实验的同时，处理从脑电信号采集软件接收的脑电信号数据，并将处理后的数据输入到训练好的意识判断模块中，反馈受试者意识水平检测结果。

20、本发明提出了一种融合听觉p300和触觉诱发电位(sssep)的多模态意识水平检测脑机接口系统，通过多模态信号，提高了意识障碍患者意识水平检测的灵敏性和准确性。

技术特征：

1.一种融合听觉和触觉诱发电位的意识水平检测脑机接口系统，该系统包括：实验范式模块、数据采集模块、数据处理模块、意识判断模块、在线测试模块；

2.如权利要求1所述的一种融合听觉和触觉诱发电位的意识水平检测脑机接口系统，其特征在于，所述实验范式模块，包括语音播报功能、听觉刺激功能以及正中神经刺激功能，包含两个轮次，每个轮次包含5个block，每个block包含10次实验，单次实验时长50s，其中：

3.如权利要求1所述的一种融合听觉和触觉诱发电位的意识水平检测脑机接口系统，其特征在于，所述数据采集模块为32导联脑电采集设备，包括32通道脑电帽1个，32通道16khz放大器1个以及配备好eego64脑电信号采集软件的电脑终端1台；脑电信号采集处理软件eego64可进行实时呈现和信号处理，同时具有事件标记功能。

技术总结
本发明公开了一种融合听觉P300和触觉诱发电位的多模态意识水平检测脑机接口系统，包括：数据采集模块，用于采集接收脑电信号数据并打上标注；数据处理模块，用于导入脑电信号数据并进行预处理操作；实验范式模块，用于向受试者呈现刺激范式；模型训练模块，用于对预处理的脑电信号数据提取特征，并将提取的特征用于训练P300模型和正中神经SSSEP模型以及融合P300和正中神经SSSEP这两个模型结果的混合模型；在线测试模块，用于在受试者进行实验的同时，处理从脑电信号采集软件接收的脑电信号数据，并将处理后的数据输入到模型训练模块训练好的模型中，并反馈受试者意识水平检测结果。本发明充分利用了人体对于听觉和正中神经触觉的敏感性和脑机接口的优越性，提供了一种对意识障碍患者的意识状态检测的新装置。

技术研发人员：黄瑞,施柯丞,杨力,李哲,白洋,冯珍,程洪
受保护的技术使用者：电子科技大学
技术研发日：
技术公布日：2024/1/15