上一个闪烁周期两种缺失方式， 图3B所示为闪烁消失形式，任意选择一种作为闪烁刺激缺失形式，在一次刺激周期中，共 出现四次闪烁刺激缺失，每次闪烁刺激缺失距上一次的缺失间隔为四次闪烁周期，即lOhz 下缺失间隔为333ms，12hz下缺失间隔为400ms，一次刺激周期长度为2. 5s,
[0040] 经过脑电采集仪放大、滤波及模数转换后，将数字化的脑电信号输入计算机，其 中，脑电信号的采集采用16导排SBamp放大器作为采集硬件，放大器的采样频率为1200hz， 硬件滤波包括了 0. 05-100hz的带通滤波及48-52hz的带阻滤波；
[0041] 步骤3,对脑电信号处理，流程图如图4所示，包括W下步骤：
[0042] 步骤3-1，对脑电信号的预处理，去除时间序列中的直流成分W及l-45hz的带通 滤波；
[0043]步骤3-2，对SSVEP特征的特征提取及分类识别，实现方为典型相关分析 (CanonicalCorrelationAnalysis，CCA)，如图5所示，SSVEP特征主要分布在刺激频率及 其二倍频上，将经过信号预处理后电极01、Oz、02、P化、P04、P08记录到的数据分别与不同 刺激频率基频及二倍频、四倍频的正余弦信号求取典型相关系数，虽然CCA方法能够产生 多个相关系数，对于脑电分析等实际应用问题，一般使用最大相关系数，在k个刺激频率对 应的k个最大CCA系数Pk中，具有最大值的系数被识别为用户注视的目标频率对应的CCA 系数；
[0044] 步骤3-3,对0SP特征的特征提取及分类识别，在SSVEP特征识别完成之后进行，使 用支持向量机（SVM)及朴素贝叶斯分析完成0SP特征的提取W及识别，如图6所示，0SP特 征出现在刺激缺失后的125ms-375ms内，0SP特征提取及识别包括W下几个步骤：
[0045] 3-3-1)数据平均；根据SSVEP特征识别得到的结果，按识别频率对应目标刺激缺 失时刻作为起始时标，对刺激缺失后0~500ms内的数据进行叠加平均；
[0046] 3-3-2) 0SP特征提取；对于平均后的数据，定义在C电极在时间点t处记录到的头 皮电位为Xe(t)，在给定时间点集T=咕，'''tT}的情况下，X(C,T) = [Xe(ti), . . .，Xe(tT)] 为在电极c处记录的时域信息，在给定时间集T=化，...，Ti。} = {{125ms-150ms}，...， {350ms-375ms}}及记录电极集C= (01,Oz, 02,POz,P04,P08}，的情况下，将在不同时间集 及不同记录电极中记录到的时空特征集{xi(C，Ti) = [x(Ci，Ti)，...，x(Cm，Ti)]，...，Xi〇(C ，Tio) =[X(c。Tio)，. ..，X(Cm,Tio) ]}作为特征向量；
[0047] 3-3-3)特征训练及在线识别；在进行在线判别前，对不同频率的数据分别训练 产生训练样本，每个频率对应14*16组训练样本，对训练样本中特征矩阵进行分类生成 分类器，分别对xi佑Ti)，. . .，Xw(C，Ti。）进行SVM分类，得到第一层的分类结果dj (j= (1，2，...，10})，则；
[0048] Pjki=P(dj=kIC= D k, 1 = 0, 1
[0049] 其中，c为正确的OSP标签，根据bayes公式，得到第一层SVM分类结果为盯视目 标的概率；
[(K)加]
[0051]其中，Pj(|l，Pjll，PjlCl，PjClCl通过bayes训练得到，dj通过第一层SVM分类得到，对比按 照上述步骤3-2中闪烁频率判别结果对应不同刺激缺失时刻平均并分类后的结果，得到P 值较大的则判断为最终识别目标；
[005引所述的SVM，naive bayes分类及判别函数均来自于Donders Machine Learning Too化ox工具箱，SVM采用的核函数为线性核函数；
[0化3] 步骤4,计算机通过屏幕输出识别结果，实现对受试者的视觉反馈。
[0化4] 步骤5,计算机完成目标识别反馈后，返回步骤2,重复步骤2、3、4,进行下一步的 目标识别。
[0化5] 下面再结合具体实施实例对本发明进行说明。
[0056] 对九名受试者进行了实验，分别在闪烁停顿及闪烁缺失的情况下实验。按照上述 步骤1对受试者安放电极，按照上述步骤2将四个刺激目标呈现在屏幕上并进行脑电信号 采集，按照上述步骤3至步骤5识别受试者盯视的目标。实验中要求受试者尽量减少巧眼 及肢体动作。受试者按照屏幕提示随机盯视不同刺激目标，每种闪烁刺激缺失方式下分别 进行10轮实验，一轮实验中共有16次刺激，一轮实验中每次刺激间隔为Is。对比引入0SP 信息及单纯采用SSVEP信息所能达到的信息传输率，结果如图7所示，其中，空屯、圆代表的 是采用SSVEP信息与0SP信息所能达到的信息传输率，星形代表的是单纯采用SSVEP信息 所能达到的信息传输率，结果显示，引入0SP信息中，刺激目标翻倍，大部分受试者的信息 传输率都得到了大幅度提升。
【主权项】
1. 基于SSVEP与OSP的混合脑-机接口方法，其特征在于，包括以下步骤： 步骤1，受试者穿戴好电极帽，坐在计算机正前方，受试者头部距离计算机屏幕为 60-80厘米，所有电极按照"国际10/20标准导联系统"放置，记录电极位于大脑枕部区域， 包括01、Oz、02、POz、P04、P08，参考电极位于左耳耳垂，地电极为Fpz，给记录电极及参考电 极、地电极注入导电膏，并确保其与头皮接触良好； 步骤2,将SSVEP-0SP混合范式通过计算机屏幕在受试者面前播放，受试者选择一个刺 激目标进行盯视，通过电极帽采集受试者盯视刺激目标时产生的头皮脑电信号，SSVEP-0SP 混合范式在重复周期刺激中引入了刺激缺失，实现SSVEP和OSP特征的同时诱发，其中圆盘 1、 3以12hz的频率闪烁，圆盘2、4以IOhz的频率闪烁，圆盘1、2、3、4分别在467ms、450ms、 633、650ms时出现首次闪烁刺激缺失，闪烁刺激缺失有圆盘停顿在屏幕上一个闪烁周期以 及消失在屏幕上一个闪烁周期两种缺失形式，任意选择一种作为闪烁刺激缺失方式，在一 次刺激周期中，共出现四次闪烁刺激缺失，每次闪烁刺激缺失距上一次的缺失间隔为四次 闪烁周期，即IOhz下缺失间隔为333ms，12hz下缺失间隔为400ms，一次刺激周期长度为 2. 5s，经过脑电采集仪放大、滤波及模数转换后，将数字化的脑电信号输入计算机，其中，脑 电信号的采集采用16导gUSBamp放大器作为采集硬件，放大器的采样频率为1200hz，硬件 滤波包括了 〇. 05-lOOhz的带通滤波及48-52hz的带阻滤波； 步骤3,对脑电信号处理，包括脑电信号的预处理及对SSVEP特征及OSP特征的提取识 别； 步骤4,计算机通过屏幕输出识别结果，实现对受试者的视觉反馈； 步骤5,计算机完成目标识别反馈后，返回步骤2,重复步骤2、3、4,进行下一步的目标 识别。2. 根据权利要求1所述的基于SSVEP与OSP的混合脑-机接口方法，其特征在于：所 述的步骤3对脑电信号的预处理及对SSVEP特征及OSP特征的提取识别，包括以下步骤： 步骤3-1，对脑电信号的预处理，去除时间序列中的直流成分以及l-45hz的带通滤波； 步骤3-2,对SSVEP特征的特征提取及分类识别，实现方法为典型相关分析（Canonical CorrelationAnalysis，CCA)，将经过信号预处理后电极01、0z、02、P0z、P04、P08记录到的 数据分别与不同刺激频率基频及二倍频、四倍频的正余弦信号求取典型相关系数，在k个 刺激频率对应的k个最大CCA系数Pk中，具有最大值的系数被识别为用户注视的目标频 率对应的CCA系数； 步骤3-3，对OSP特征的特征提取及分类识别，在SSVEP特征识别完成之后进行，使用支 持向量机（SVM)及朴素贝叶斯分析完成OSP特征的提取以及识别，OSP特征提取及识别包 括以下几个步骤： 3-3-1)数据平均：根据SSVEP特征识别得到的结果，按识别频率对应目标刺激缺失时 刻作为起始时标，对刺激缺失后〇~500ms内的数据进行叠加平均； 3-3-2)OSP特征提取：对于平均后的数据，定义在c电极在时间点t处记录到的头皮电 位为xe(t)，在给定时间点集T=It1,…以的情况下，x(c,T) = [Xc^t1), ? ? ?，xe(tT)]为在 电极c处记录的时域信息，在给定时间集T=IT1, ? ? ?，TltJ= {{125ms-150ms}，? ? ?，{350m s-375ms}}及记录电极集C= {01，0z，02,POz，P04,P08}，的情况下，将在不同时间集及不同 记录电极中记录到的时空特征集（X1(CJ1) = [xh，T1),...，x(cM,T1)],...，x1Q(C,Tltl)= [X(C1,T1(l)，? ??，X(cM,T1(l) ]}作为特征向量； 3-3-3)特征训练及在线识别：在进行在线判别前，对不同频率的数据分别训练产 生训练样本，每个频率对应14*16组训练样本，对训练样本中特征矩阵进行分类生成分 类器，分别对X1 (C，T1)，...，Xltl (C，Tltl)进行SVM分类，得到第一层的分类结果七(j= {1，2，...，10})，则： Pjkl=p(dJ=k|c=l)k, 1 = 0, 1 其中，c为正确的OSP标签，根据bayes公式，得到第一层SVM分类结果为盯视目标的 概率：其中，Pjtii，Pjii，Pjici，PjCICI通过bayes训练得到，dj通过第一层SVM分类得到，对比按照上 述步骤3-2中闪烁频率判别结果对应不同刺激缺失时刻平均并分类后的结果，得到P值较 大的则判断为最终识别目标； 所述的SVM，naivebayes分类及判别函数均来自于DondersMachineLearning Toolbox工具箱，SVM采用的核函数为线性核函数。
【专利摘要】基于SSVEP与OSP的混合脑-机接口方法，受试者穿戴好电极帽，将SSVEP-OSP混合范式通过计算机屏幕在受试者面前播放，受试者注视刺激单元中的任意一个，通过采集系统将受试者盯视刺激目标时产生的脑电信号，经脑电采集仪放大、滤波及模数转换后，将数字化的脑电数据输入计算机，然后采用基于典型相关分析的脑电信号特征提取方法对SSVEP特征实现提取及分类识别，采用支持向量机及朴素贝叶斯分析对OSP特征实现提取及识别，将识别结果显示在屏幕上以反馈给受试者，再进行下一次识别，本发明能够显著提高基于SSVEP的脑-机接口方法的信息传输率，具有操作简单、电极数少和目标数多的优点。
【IPC分类】G06F3/01
【公开号】CN104965584
【申请号】CN201510256999
【发明人】王晶, 武颖莹, 郭晓辉, 徐光华
【申请人】西安交通大学
【公开日】2015年10月7日
【申请日】2015年5月19日