一种隐式注视脑机接口的意识状态检测系统的制作方法

本发明涉及脑机接口技术与电生理事件相关诱发电位的技术领域，尤其是指一种隐式注视脑机接口的意识状态检测系统。

背景技术：

意识是一个内涵丰富的概念，可分成两个主要部分：觉醒(arousal)和觉知(awareness)。对于严重脑损伤患者来说，他们在度过急性阶段后将进入病情稳定的恢复阶段。相对于急性期，此阶段的病情评估需要尽可能的全面，并且希望能够反应预后及转归。根据觉知水平的不同，该类患者可分为多个临床状态。有些患者可能会进入到植物状态(vegetativestate,vs)，他们有睡眠-觉醒的周期，但完全丧失对自身及外部环境的觉知能力。有些患者则可能恢复到最小意识状态(minimallyconsciousstate,mcs)，即存在微弱但确定的觉知能力。由此可见，mcs与vs的区分在于是否有证据表明患者具有觉知能力。另一方面，闭锁综合症(locked-insyndrome,lis)患者是觉醒的并且具有完好的觉知能力，但身体完全瘫痪。这样也有可能导致与植物状态或最小意识状态的混淆。一般来说，不同意识障碍程度的患者需要不同的治疗方案，因此，准确判定患者的意识障碍水平显得异常重要。

目前，临床上评定患者的意识障碍程度主要依靠量表(例如，glasgow格拉斯哥昏迷量表、jfk昏迷恢复量表等)以及临床经验，通过检查眼睛、言语和运动三方面刺激所引起的反应来进行综合评价。以2004年美国jfk医学中心giacino等人修改的昏迷恢复量表(jfkcomarecoveryscale-revised，crs-r)为例，分为6个项目：听觉、视觉、运动、言语反应、交流及唤醒水平。当使用昏迷恢复量表crs-r对患者的意识状态进行评定时，若患者某个项目的分值小于或等于评分标准(听觉2分，视觉1分，运动2分，言语反应2分，交流0分，唤醒度不评分仅作参考)，则其意识状态被评定为vs；若某个项目高于评分标准为mcs；若运动项目达到6分或交流项目达到2分为脱离mcs。这类方法简单易行，对急性脑损伤后昏迷简捷有效，但对于vs和mcs患者则显得过于粗糙。有时对病情变化的敏感度不高，不能确切反映临床实际情况，因此行为判断往往带有一定主观性和不可预测性。此外，对于严重意识障碍患者，他们用以交流的运动表达系统可能存在不同程度的损伤，同时其觉醒水平具有局限性且经常不稳定，因此行为判断本身在操作上的准确性也不易保证。已有文献证实对vs意识障碍患者进行常规行为诊断的误诊率高达37％-43％。因此，采用更加客观和科学的方法来检测患者的意识状态是十分必要的。

脑机接口(braincomputerinterface，bci)是指在人脑和计算机或其它电子设备之间建立的直接的交流和控制通道，它不依赖于脑的正常生理输出通路(外周神经系统及肌肉组织)，是一种全新的人机接口方式。自从上个世纪初发现头皮脑电(electroencephalogram，eeg)信号后，它就被应用于神经系统疾病辅助诊断、脑功能康复的研究等方面。脑机接口在意识状态检测中的一个重要优势就是能实时地产生检测结果。反过来，如果该患者是有意识的话，这些实时的结果能对患者起到一个有用的反馈作用。使用脑机接口进行意识状态检测在起步阶段，我们需要开发更强大的脑机接口来提高检测的性能。

目前用于检测意识状态的脑机接口方法全部采用基于听觉刺激来实现。听觉脑机接口的一个通病就是准确率低。目前从正常人的使用情况来看，视觉脑机接口要比听觉脑机接口的准确率要好得多。本发明设计的就是采用视觉脑机接口来进行意识障碍患者的意识检测。由于部分意识障碍患者缺乏控制眼部运动的能力，所以使用注视相关的视觉bci来检测对于他们来说并不合适，或者难以获得准确的诊断结果。

本发明设计了基于视听觉结合的实验范式设计脑机接口系统，创新性地将语义一致和不一致的视听数字作为系统的偏差刺激和标准刺激。提供一种注视无关的视听觉脑机接口来检测他们的知觉。此外，所有的视听刺激都是单独呈现的，因此该范式是完全与注视无关的。

技术实现要素：

本发明的目的在于针对现有检测意识障碍患者状态的系统缺乏，患者一般丧失控制眼部运动的能力，难以获得准确的结果等问题，提出了一种隐式注视脑机接口的意识状态检测系统，该系统基于无损的脑机接口技术，设计隐式注视的视听觉刺激范式，构建脑电采集、脑电处理模块的脑机接口系统去进行意识状态检测，并分析受试者在视听一致和视听不一致刺激后的eeg数据。

为实现上述目的，本发明所提供的技术方案为：一种隐式注视脑机接口的意识状态检测系统，包括：视听觉刺激模块、脑电信号采集模块、脑电信号处理模块；其中：

所述视听觉刺激模块，采用语义一致和不一致的视听数字随机播放给受试者；在led显示器的中心位置放置了一个可视按钮，两个扬声器位于led显示器的背面，用于展现听觉刺激；其中，视觉刺激包括10个视觉数字：0，1，…，9，而听觉刺激包括10个口语数字：0，1，…，9；每个刺激呈现包括一对语义上相同的视觉和口语数字或不一致的视觉和口语数字，两个连续刺激之间存在间隔时间，且所有的视听刺激都是单独呈现的，视觉刺激出现在屏幕的同一位置，因此，范式是隐式注视的；

关于隐式注视脑机接口意识检测的范式，首先构建了四对视听刺激，其中一对在语义上是一致的，而另外三对在语义上是不一致的；在语义一致性/不一致性条件下，这些视觉刺激和听觉刺激是从视觉和口语数字：0，1，…，9中随机选择的；每次试验都以视听觉的任务提示开始，持续设定时间段，指令是“默数视觉数字和口语数字相同的次数”，在指令提示之后，四对视听刺激以随机顺序分别展示设定次数，具体地说，四个视觉数字按照随机顺序以出现到消失的形式进行闪烁，每个出现持续设定时间，并且在两个连续出现之间间隔设定时间；视觉数字的出现伴随一个预设时间的口语数字，受试者要求默数一致的视听刺激即目标的出现次数，同时忽略不一致的视听刺激即非目标，以这种方式，产生了“oddball”效应，经过设定时间后，脑机接口系统在线进行p300检测，以确定受试者所关注的视听刺激对，由脑机接口系统确定的反馈结果出现在显示器的中心，如果检测结果正确，掌声将会作为反馈用来增加受试者的积极性；根据受试者的疲劳程度，每个trial之间有休息时间，由于有四对视听刺激，其中之一为目标，准确检测的概率水平是25％；

所述脑电信号采集模块，用于实时记录受试者进行规定任务的脑电信号，具体是采用nuamps便携式放大器来记录头皮脑电信号，然后将头皮脑电信号传输至脑电信号处理模块；在信号采集过程中，受试者头戴lt37型的32通道的脑电采集帽，记录32个通道的脑电信号，所有通道的脑电信号均以右耳突为参照，其中“heog”与“veog”两个通道代表眼球运动，故在这里被排除在外；脑电采集过程中，所有电极的阻抗值皆为5ω以下；脑电信号以250hz的频率采样，并在0.1至30hz的范围内进行带通滤波；

所述脑电信号处理模块，用于实时输出在线检测结果，在刺激任务呈现完毕后，对数据进行存储或处理，并根据实时结果播放正性/负性反馈声音，其中正性反馈声音是欢快的掌声，负性反馈声音是叹息声，其具体情况如下：

由脑电信号采集模块采集到的原始eeg信号，先在0.1-20hz频率范围内进行带通滤波，并进行1/5下采样；把每个通道采集的信号分割成数据单元，每个数据单元都是从一组按钮闪烁后从0到设定时间内以向量的形式表示；然后连接30个通道的向量，得到额定个数据点的新数据向量；接着，通过平均所有n次重复闪烁对应的向量来提高信噪比snr，n＝1，2，3，…，为每个视听刺激对构建包含额定个数据点的特征向量，这些特征在刺激开始后900毫秒内包含了多个erp成分；接着，利用训练阶段数据的特征向量训练svm分类器，svm分类器是基于lbsvm与线性核工具箱，svm的参数通过五次交叉验证来确定，最后，在每次在线试验中，对四对视听刺激对应的四个特征向量应用svm分类器，从而得到四个svm得分，通过该试验获得的检测结果被确定为对应于svm得分的最大值的视听刺激对；

如果探测到的视听刺激对是视听刺激一致的实际目标，则这个任务正确响应，最后，计算出意识检测的准确率，即正确响应的任务数与在线测试总的任务数的比值，为了衡量准确率是否显著，通过统计命中与不命中的观察次数和理论次数，并根据下列公式进行卡方检测：

式中，foi和fei分别是第i个分类的观察次数和理论次数，i＝1,2,...,k；在这里，观察项目分为命中和不命中两类，fo1和fo2分别是命中和不命中的观察次数，fe1和fe2分别是命中和不命中的理论次数，自由度是分类项数k减1，即为1；使用的是四类脑机接口：一对视听一致的刺激和三对视听不一致的刺激，进行40次判定时，在完全概率相等的情况下命中和不命中的次数应该是10和30，为了表明观察次数的显著性，即p≤0.05，在自由度为1时，检验统计量χ²需要大于3.84，即在40个trial中，受试者需要在≥15个trial中正确响应。

本发明与现有技术相比，具有如下优点与有益效果：

1、在本发明中，我们利用语义一致和不一致的视听数字刺激，开发了一个新型的视听bci系统。所有视听刺激以顺序的形式来呈现，因此bci系统是隐式注视的，即不需要注视功能的。健康受试者的实验结果表明，视听bci系统比单独的听觉或单独的视觉bci系统具有更高的分类精度。此外，视听bci被用于检测doc受试者的意识。在参加实验的8名doc受试者(5名uws和3名mcs)中，3名(1名uws和2名mcs)获得了明显高于随机水平的准确性，表明这3名受试者显示出跟随命令和识别数字的认知能力。

2、本发明的脑机接口系统刺激范式不同于标准的oddball范式。范式中的刺激包括语义一致和不一致的视听数字(25％一致和75％不一致的视听刺激)，它们分别以随机的次序来呈现。该范式应用于健康受试者的实验表明，在视听条件下存在两类主要的erp相关的成分：语义加工成分(n400和lpc(latepositivecomplex))和p300成分。erp对语义加工的反应首先包括，对于语义不一致刺激(非目标)的负偏移n400成分，主要表现在电极“fz”、“cz”和“pz”处500-700ms的潜伏期。随后，语义一致的后续正峰lpc成分主要表现在电极“fz”、“cz”和“pz”在700-900ms的潜伏期。

3、本发明的系统任务需要许多认知功能，包括理解指令的能力、选择性地关注目标刺激以及保持对目标的注意力。其中一项上述认知功能缺失，实验任务可能无法执行。因此，bci实验的阳性结果可能表明这些受试者存在所有这些认知功能，从而表明他们是有意识的。然而，bci实验中的负面结果不应该作为缺乏意识的最终证据，因为即使大约13％的健康受试者也会表现出bci盲的情况，即他们也无法有效地控制简单的bci。

附图说明

图1为隐式注视脑机接口系统的图形用户界面。

图2为意识状态检测的范式。在视听条件下进行的一次试验的过程，包括视听指导(0-8s)、视听刺激(8-40s)、对分类结果的反馈(40-44s)和休息(6s)。视听刺激包括四个视听刺激(一个语义一致和三个语义不一致的视听数字刺激)的八次呈现。

图3为受试者在电极“fz”、“cz”、“pz”的平均erp波形图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

本实施例所提供的隐式注视脑机接口的意识状态检测系统，区分有三个模块，分别为视听觉刺激模块、脑电信号采集模块、脑电信号处理模块，其中：

所述视听觉刺激模块，所使用的图形用户界面(gui)如图1所示，采用视听刺激的方案。在led显示器的中心位置放置了一个可视按钮(显示器与按钮的面积比为1:0.15)。两个扬声器位于led显示器的背面，用于展现听觉刺激。视觉刺激包括10个视觉数字(0，1，…，9)，而听觉刺激包括10个口语数字(0，1，…，9；22khz)。每个刺激呈现(300ms)包括一对语义上相同的视觉和口语数字(例如视觉数字8和口语数字8)或不一致(例如视觉数字5和口语数字6)。此外，两个连续刺激之间的间隔是700毫秒。值得注意的是，所有的视听刺激都是单独呈现的，视觉刺激出现在屏幕的同一位置(中央凹视野)。因此，范式是隐式注视的。在这里，我们使用语义一致和不一致的视听刺激有两个原因。首先，我们构建了一个新型的范例来诱发p300。第二，语义一致和不一致的视听刺激可以产生更多的erp成分。

如图2所示，关于隐式注视bci意识检测的范式，首先构建了四对视听刺激，其中一对在语义上是一致的(如视觉数字8和口语数字8)，而另外三对在语义上是不一致的(如视觉数字5和口语数字6)。在语义一致性/不一致性条件下，这些视觉刺激和听觉刺激是从视觉和口语数字(0，1，…，9)中随机选择的。每次试验都以视听觉的任务提示开始，持续8秒。指令是“默数视觉数字和口语数字相同的次数。”在指令提示之后，四对视听刺激以随机顺序分别展示8次。具体地说，四个视觉数字按照随机顺序以出现到消失的形式进行闪烁，每个出现持续300毫秒，并且在两个连续出现之间间隔700毫秒。视觉数字的出现伴随一个300毫秒的口语数字。受试者要求默数一致的视听刺激(目标)的出现次数，同时忽略不一致的视听刺激(非目标)。以这种方式，产生了“oddball”效应。32s后，bci系统在线进行p300检测，以确定受试者所关注的视听刺激对。由bci系统确定的反馈结果出现在显示器的中心。如果检测结果正确，持续4秒的掌声将会作为反馈用来增加受试者的积极性。根据受试者的疲劳程度，每个trial之间有6秒的休息时间。由于有四对视听刺激，其中之一为目标，准确检测的概率水平是25％。

所述脑电信号采集模块，我们采用compumedics公司的nuamps便携式放大器(neuroscan,compumedicsusa)来记录头皮脑电信号，然后将头皮脑电信号传输至脑电信号处理模块。在信号采集过程中，受试者头戴lt37型的32通道的脑电采集帽。本实验记录32个通道的脑电信号，所有通道的脑电信号均以右耳突为参照，其中“heog”与“veog”两个通道代表眼球运动，故在这里被排除在外。脑电采集过程中，所有电极的阻抗值皆为5ω以下。脑电信号以250hz的频率采样，并在0.1至30hz的范围内进行带通滤波。信号采集时，先让受试者坐在舒适的带扶手的轮椅上，与显示器的距离为40-50cm，显示器高度调至平视水平，给受试者佩戴eeg电极帽，用平口针筒将电极膏注入电极帽嵌入式电极，电极膏注入完毕，给受试者佩戴耳机，并由一位医生和一位家属陪同。其中，受试者在电极“fz”、“cz”、“pz”的平均erp波形如图3所示。

所述脑电信号处理模块，在刺激任务呈现完毕后，对数据进行存储或处理，并根据实时结果播放正性/负性反馈声音，其中正性反馈声音是欢快的掌声，负性反馈声音是叹息声，其具体情况如下：

由脑电信号采集模块采集到的原始eeg信号，先在0.1-20hz频率范围内进行带通滤波，并进行1/5下采样。把每个通道采集的信号分割成数据单元，每个数据单元(45个数据点)都是从一组按钮闪烁后从0到900毫秒时间内以向量的形式表示。然后，我们连接30个通道的向量，得到1350个数据点(45×30)的新数据向量。其次，我们通过平均所有8次重复闪烁对应的向量来提高信噪比(snr)，为每个视听刺激对构建包含1350个数据点的特征向量。值得注意的是，这些特征在刺激开始后900毫秒内包含了几个erp成分。然后，我们利用训练阶段数据的特征向量训练svm分类器。svm分类器是基于流行的lbsvm与线性核工具箱。svm的参数通过五次交叉验证来确定。最后，在每次在线试验中，我们对四对视听刺激对应的四个特征向量(4×1350个数据点)应用svm分类器，从而得到四个svm得分。通过该试验获得的检测结果被确定为对应于svm得分的最大值的视听刺激对。

如果探测到的视听刺激对是视听刺激一致的实际目标，则这个任务正确响应，最后，计算出唤名促醒的准确率，即正确响应的任务数与在线测试总的任务数的比值，为了衡量准确率是否显著，通过统计命中与不命中的观察次数和理论次数，并根据下列公式进行卡方检测：

式中，foi和fei分别是第i个分类的观察次数和理论次数，i＝1,2,...,k；在这里，观察项目分为命中和不命中两类，fo1和fo2分别是命中和不命中的观察次数，fe1和fe2分别是命中和不命中的理论次数，自由度是分类项数k减1，即为1。我们使用的是四类bci(一对视听一致的刺激和三对视听不一致的刺激)进行了40次判定时，在完全概率相等的情况下应该是命中和不命中的次数应该是10和30。为了表明观察次数的显著性(p≤0.05)，在自由度为1时，检验统计量χ²需要大于3.84，即在40个trial中，受试者需要在≥15个trial中正确响应。

以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。