基于异步并行诱发策略的混合范式脑-机接口的制作方法
【专利摘要】本发明涉及脑?机接口技术领域，为诱发出更加稳定的脑电特征信号，得到完善的脑?机接口系统，本发明采用的技术方案是，基于异步并行诱发策略的混合范式脑?机接口，利用现场可编程门阵列FPGA产生信号控制LED闪烁刺激模块产生视觉刺激，采集被试者的脑电信号，经由脑电放大器放大，同时结合FPGA产生的信号，通过USB传递到计算机进行进行脑电分类识别，其中，FPGA控制若干LED闪烁刺激模块，FPGA产生信号为SSVEP信号，SSVEP信号使各闪烁刺激模块按各自频率异步诱发SSVEP?B特征和阻断，且与P300并行诱发，在计算机上融合、进行脑电分类识别。本发明主要应用于脑?机接口设备设计制造场合。
【专利说明】
基于异步并行诱发策略的混合范式脑-机接口
技术领域
[0001 ]本发明涉及脑-机接口技术领域，具体讲，涉及基于异步并行诱发策略的混合范式 脑-机接口。
【背景技术】
[0002] 脑-计算机接口（Brain-Computer Interface ,BCI)简称脑-机接口，是指大脑不依 赖于自身外周神经和骨骼肌肉等常规输出手段而仅凭大脑思维信息通过计算机控制外部 设备的新技术。BCI技术的出现不仅为大脑提供了一种全新的对外信息交流和控制通路，也 为肢体残障或语音系统受损而难与外界交流的人群提供了新的沟通途径。BCI要求系统能 有效诱发使用者对外信息交流和控制意愿、准确检测其思维信息并及时转换成相关指令。 对基于脑电（electroencephalography，EEG)的BCI系统而言，便捷高效的脑电诱发范式是 决定其能否实际应用的初步关键，思维信息识别正确率（Accuracy)和信息传输速率 (Information Transfer Rate, ITR)是评价BCI系统性能的主要指标。
[0003]稳态视觉诱发电位（Steady-State Visual Evoked Potential，SSVEP)或事件相 关电位(Event-Related Potential，ERP)中P300成分的诱发范式常用于传统基于EEG的BCI 系统，可以达到较高的识别正确率和信息传输速率，但因特征信号单一、控制指令集太小且 信息传输速率尚低而难以满足实用需求。为增加脑电特征种类、扩展指令规模并进一步提 高BCI信息传输速率与系统性能，研究开发了结合不同范式以同时诱发多种脑电特征信号 的混合范式脑-机接口（Hybrid Brain-Computer Interface ,HBCI)系统并受到广泛关注。 其常见的脑电组合诱发范式有SSVEP与P300信号，SSVEP与事件相关去同步(Event Related Desynchronizat ion，ERD)信号，或P300 与 ERD信号等。
[0004] HBCI系统因可采用多种脑电组合诱发范式而兼具各种范式的优势特征，并有扩充 指令集能力使其能在执行多任务的情况下进一步提高系统工作效率。例如SSVEP与P300相 结合的SP-BCI系统可以同时诱发SSVEP和P300特征信号，能综合SSVEP的高信噪比和异步兼 容特点以及P300的大指令集优势并具有提高信息传输速率的潜在能力。
[0005] 为提高SSVEP检测性能，有人提出在SSVEP信号中加入阻断(blocking)特征构成 SSVEP-B(SSVEP-blocking)信号，再将SSVEP-B和P300信号组合构成混合诱发范式的SP-BCI 拼写系统，融合所诱发的这两种信号特征可进一步提高拼写准确度和信息传输速率。然而 因存在同步阻断、阻断时间过长等问题，使之信息传输效率仍难达理想。分析其原因还在于 尚未能充分发挥该系统可有多种脑电诱发组合范式的优势，仍未充分挖掘其可能提升信息 传输速率的内在潜力。
【发明内容】
[0006] 为克服现有技术的不足，增加在区分子speller时的可用信息特征，并诱发出更加 稳定的脑电特征信号。进一步研究可以得到完善的脑-机接口系统，获得可观的社会效益和 经济效益。本发明采用的技术方案是，基于异步并行诱发策略的混合范式脑-机接口，步骤 如下:利用现场可编程门阵列FPGA产生信号控制LED闪烁刺激模块产生视觉刺激，采集被试 者的脑电信号，经由脑电放大器放大，同时结合FPGA产生的时序信号，通过USB传递到计算 机进行脑电分类识别，其中，FPGA控制若干LED闪烁刺激模块，FPGA控制LED灯闪烁诱发 SSVEP信号，同时控制各闪烁刺激模块按各自频率异步诱发SSVEP-B特和P300特征，在计算 机上融合SSVEP、SSVEP-B与P300特征信息进行脑电分类识别。
[0007]脑电刺激诱发界面speller由六个独立的LED闪烁刺激子模块即子speller组成， 分别以14Hz、15Hz、16Hz、17Hz、18Hz、19Hz频率各自独立闪烁来产生视觉刺激，对于每一个 子speller，6个字符依次阻断一次称作一轮，而字符的每次阻断称作一个试次，不同 speller中字符的阻断的顺序是一样的，但是对应字符阻断产生的时刻是不同的。
[0008] 区分不同的speller具体公式为：
[0009] speller( i , t) =maxm(Ya) (4)
[0010] 公式⑷中Y= (yiy2~yd)，是测试字符的SSVEP信号的d维特征向量，a是由其他143 个字符的特征向量训练得到的分类器，也即由公式(2)计算得到，求得6个Ya值的最大值所 在位置即为该测试字符所在的speller;
[0011]
(2)
[0012] 其中，T表示转置，i = l，2···. .，d，Y是特征矩阵，a是一个权向量，b = Ya，为使Ya-b 最小，即误差最小，则需要求得使Js(a)值最小的权向量3,利用伪逆法，求得：
[0013] I = (YtY)-lYTb(3)〇
[0014] 本发明的特点及有益效果是：
[0015] 本发明提出了异步闪烁和异步阻断的诱发策略，即不同刺激模块中指令的闪烁和 阻断按照各自的频率进行，互相不影响，从而增加了在区分子speller时的可用信息特征， 并诱发出了更加稳定的脑电特征信号，且能扩大系统指令集，算法上结合了最小平方误差 方法和阶梯式线性判别分析法，针对十名被试的离线结果显示系统的平均分类正确率为 84.5 %，最高理论信息传输速率为89.5bit/min，表明本发明提出的新策略可以有效提升 BCI系统的分类正确率和信息传输速率。
【附图说明】：
[0016] 图1结构示意图。
[0017] 图1为本发明的结构示意图。该设计包括脑电电极和脑电放大器等脑电采集系统， FPGA视觉刺激系统和计算机等部分。使用NeuroScan公司生产的脑电数字采集系统采集脑 电。利用FPGA产生信号控制LED闪烁刺激模块产生视觉刺激，采集被试者的脑电信号，经由 脑电放大器放大，同时结合FPGA产生的时序信号，通过USB传递到计算机。
[0018] 图2字符闪烁时序。
[0019]图3 Fisher线性判别法的几何原理图示。
【具体实施方式】
[0020]稳态视觉诱发电位(SSVEP)与事件相关电位中P300成分相结合的混合范式脑-机 接口（SP-BCI)系统可同时诱发两种特征脑电信号并综合前者的高信噪比和异步兼容特点 及后者的大指令集优势，具有提高系统信息传输速率的潜在能力。本发明设计了一种SSVEP 按各自频率异步诱发和阻断（诱发SSVEP-B特征）且与P300并行诱发的新策略，后融合 SSVEP、SSVEP-B与P300特征信息进行脑电分类识别。经离线测试实验结果表明，该策略有助 于提高BCI信息识别正确率和信息传输速率，有关研究思路与技术可供混合范式脑-机接口 系统设计与推广应用参考。
[0021] 技术流程是:设计新范式实验，搭建好实验所需的脑电信号诱发装置，然后在实验 系统指导下，采集受试者脑电信号数据，将其存储后再进行一定的预处理、特征提取，最后 使用最小平方误差法和阶梯式线性判别分析法进行分类计算，得到系统分类正确率和信息 传输率。
[0022] 图1为本发明的结构示意图。该设计包括脑电电极和脑电放大器等脑电采集系统， FPGA视觉刺激系统和计算机等部分。使用NeuroScan公司生产的脑电数字采集系统采集脑 电。利用FPGA产生信号控制LED闪烁刺激模块产生视觉刺激，采集被试者的脑电信号，经由 脑电放大器放大，同时结合FPGA产生的时序信号，通过USB传递到计算机。
[0023] 1刺激模块设计
[0024]异步并行诱发刺激实验中字符闪烁时序如图2所示，开始时提示靶字符(被试所注 视字符)3s，间隔Is后开始闪烁，按预先编好的随机序列进行阻断，每次阻断两个整周期，闪 烁时间为6s。
[0025]脑电刺激诱发界面(spe I Ier)由六个独立的闪烁刺激模块(子spe I Ier)组成，分别 以14Hz、15Hz、16Hz、17Hz、18Hz、19Hz频率各自独立闪烁来产生视觉刺激。对于每一个子 speller，6个字符依次阻断一次称作一轮，而字符的每次阻断称作一个试次。不同speller 中字符的阻断的顺序是一样的，但是对应字符阻断产生的时刻是不同的。经计算，频率最低 的为14Hz的speller在6s中可以完成7轮阻断，而最高的频率为19Hz的子speller可以进行 9.5轮阻断，见表1，因此在处理数据的过程中会依照不同子speller来提取和分析数据。每 个子spe 11 er依照各自的频率闪烁，闪烁时诱发SSVEP信号，在每个的子spe 11 er中，六个灯 依次阻断时诱发SSVEP-B和P300信号。即所有的特征信号均由6个子speller产生的视觉刺 激诱发。
[0026] 表1不同子speller的参数对比
[0028] 2特征提取与分类
[0029]根据表1中的不同刺激出现的时序来对脑电数据进行截取，根据不同频带提取相 应的特征信号，之后利用最小平方误差方法对子speller进行区分，利用阶梯式线性判别方 法来对靶字符进行区分。
[0030] 作为一种最早提出的判别方法，Fisher线性判别(Fisher Linear Discriminant, FLD)方法的基本思想是将η类m维的数据集尽可能投影到一个方向（一条直线)上，使得类与 类之间在该方向上尽可能分开，如图3所示。
[0031 ] Fisher准则函数定义为：
[0032]
[0033] 式中，!和间分别是两类样本的均值I类内散度，使得JKw)为最大 值的w即为最佳投影方向灰：。
[0034]从形式上看，该方法的核心思想就是对数据进行降维处理。目前FLD被广泛应用于 多种模式识别的领域，它具有计算简单的性质，可以帮助人们确定两个或两个以上的变量 是否具有明显的差异性，在一定条件下能够实现最优分类。
[0035] SWLDA是在FLD的基础上，结合前向与后向逐步回归法，从原有特征空间中选择相 对较重要的特征，已被证明在P300-speller范式中具有良好的分类效果。因此本实验采用 该方法对具体字符进行区分。
[0036]此外，除Fisher准则外，考虑将线性不等式求解的问题改为更强的，但也更容易理 解的线性方程组的求解，这时就需要运用最小平方误差方法(Minimum Squared-Error, MSE)。该函数的矩阵形式定义为：
[0037]
(2)
[0038]其中，Y是特征矩阵，a是一个权向量，b = Ya。为使Ya-b最小，即误差最小，则需要求 得使Js(a)值最小的权向量3。利用伪逆法，可以求得：
[0039]
[0040] 由于此法比较简单易懂，且利用Matlab计算非常方便，因此本实验尝试利用该方 法区分不同的speller。具体表达式为：
[0041] speller( i , t) =maxm(Ya) (4)
[0042] 公式(4)中Y= (yiy2"_yd)，是测试字符的SSVEP信号的d维特征向量，a是由其他143 个字符的特征向量训练得到的分类器，也即由公式(2)计算得到。求得6个Ya值的最大值所 在位置即为该测试字符所在的speller。
[0043] 本发明提出了一种异步并行的脑电诱发新策略，设计了基于新型诱发策略的SP-BCI系统，首次提出了异步闪烁和异步阻断的诱发策略，即不同刺激模块中指令的闪烁和阻 断按照各自的频率进行，互相不影响，从而增加了在区分子speller时的可用信息特征，并 诱发出了更加稳定的脑电特征信号。
[0044] 本发明可以用于残疾人康复、电子娱乐、工业控制等领域，进一步研究可以得到完 善的脑-机接口系统，有望获得可观的社会效益和经济效益。
【主权项】
1. 一种基于异步并行诱发策略的混合范式脑-机接口，其特征是，利用现场可编程口阵 列FPGA产生信号控制Lm)闪烁刺激模块产生视觉刺激，采集被试者的脑电信号，经由脑电放 大器放大，同时结合FPGA产生的信号，通过USB传递到计算机进行脑电分类识别，其中，FPGA 控制若干L邸闪烁刺激模块，FPGA控制Lm)灯闪烁诱发产生SSVEP信号，同时控制各闪烁刺激 模块按各自频率异步阻断诱发SSVEP-B特征和P300特征，在计算机上融合SSVEP、SSVEP-B与 P300特征信息进行脑电分类识别。2. 如权利要求1所述的基于异步并行诱发策略的混合范式脑-机接口，其特征是，脑电 刺激诱发界面speller由六个独立的Lm)闪烁刺激子模块即子speller组成，分别W14化、 15化、1細Z、17化、1細Z、19化频率各自独立闪烁来产生视觉刺激，对于每一个子speller, 6 个字符依次阻断一次称作一轮，而字符的每次阻断称作一个试次，不同speller中字符的阻 断的顺序是一样的，但是对应字符阻断产生的时刻是不同的。3. 如权利要求2所述的基于异步并行诱发策略的混合范式脑-机接口，其特征是，区分 不同的speller具体公式为： speller(i ,t) =maxm(Ya) (4) 公式(4)中Y=(yiy2-Td)，是测试字符的SSVEP信号的d维特征向量，a是由其他143个字 符的特征向量训练得到的分类器，也即由公式(2)计算得到，求得6个化值的最大值所在位 置即为该测试字符所在的speller;其中，T表示转置，i = 1，2……，d，Y是特征矩阵，a是一个权向量，b =化，为使化-b最 小，即误差最小，则需要求得使Js(a)值最小的权向量东利用伪逆法，求得：
【文档编号】G06F3/01GK105843377SQ201610152394
【公开日】2016年8月10日
【申请日】2016年3月17日
【发明人】肖晓琳, 綦宏志, 许敏鹏, 汤佳贝, 明东
【申请人】天津大学