一种基于p300与ssvep混合式脑机接口的目的地选择系统的制作方法
【专利摘要】本发明涉及一种利用P300诱发电位与稳态视觉诱发相关电位（SSVEP）的混合BCI控制的目的地选择系统及相关计算方法。系统包括脑电采集模块，刺激显示模块以及脑电信号处理模块。本发明提出的方法不需要任何的肢体运动和语言，只需要用户进行脑-机接口的任务，通过对对应脑电信号的分析获得命令，实现目标的选择，该目标选择方法对于那些有肢体障碍的残疾人有重大意义。本发明属于认知神经科学、信息【技术领域】和自动控制领域的综合应用。
【专利说明】—种基于P300与SSVEP混合式脑机接口的目的地选择系统
【技术领域】
[0001]本发明涉及一种利用P300诱发电位与稳态视觉诱发相关电位(SSVEP)的混合脑机接口控制的目的地选择系统。更具体的，分别利用P300电位和稳态视觉诱发电位(SSVEP)完成目标选择及命令确认任务。本发明提出的方法不需要任何的肢体运动和语言，只需要用户进行脑-机接口的任务，通过对对应脑电信号的分析获得命令，实现目的地的选择。本发明属于认知神经科学、信息【技术领域】和自动控制领域的综合应用。
【背景技术】
[0002]许多疾病都会引起神经元的死亡造成神经通路的损伤，使大脑无法通过正常的神经肌肉系统与外部环境进行交流。如何使这类患者能够像正常人一样和外界进行交流、控制车辆的运动成为紧迫的问题。脑-机接口(BCI)可以在人脑和计算机或其他外界设备之间建立一种直接的信息交流和控制通道，是一种不依赖与常规大脑输出通路(外围神经和肌肉组织)的全新的信息交流系统。脑-机接口的基本生死相依是通过某种方式使大脑产生适合识别的脑电信号，并通过信号处理和模式识别的方法将产生的脑电信号“翻译”成命令，从而实现脑-机交互。
[0003]P300诱发电位是ERP (事件相关电位)的一种,其是指在人认知靶刺激之后300ms左右的时间，在脑电图上会出现一个明显的正电位波峰。SSVEP (Steady State VEP)诱发电位(稳态视觉诱发电位)是诱发电位(VEP)中的一种，是指当以持续的闪光频率对人眼进行刺激时，大脑皮层的神经元会使其发放率与闪光刺激频率同步，枕、顶部在脑电图上将出现与刺激频率相同或成谐振关系，并与刺激有一定相位关系的频率波，使得脑电信号中与刺激频率及其谐波频率对应的节律成分明显增强。稳态诱发电位的刺激频率一般要大于6Hz，这样各次刺激引起的响应在时间上就不断重叠，从而加强了信号的特征。
[0004]现有的脑-机接口技术进行目的地选择的系统主要是利用P300诱发电位，其准确性仅依赖于P300电位的诱发、检测及识别的准确性，对于一些P300效果较差的人来说，仅利用P300诱发电位很难达到他们预期的目标。因此，提出一种基于P300与SSVEP混合式脑机接口的目的地选择系统，提高目的地选择准确率，成为本发明主要目的。
【发明内容】
[0005]根据本发明要求，提供一种基于混合脑机接口的目的地选择系统，包括视觉诱发刺激模块，脑电采集模块和脑电分析处理模块。所述，视觉诱发刺激模块用于将P300诱发电位视觉刺激和SSVEP诱发电位视觉刺激以LCD (或CRT/HUD等)显示方式提供给使用者；脑电采集模块用于实时采集脑电信号并且进行放大和模数转换，通过数据线与脑电分析处理模块进行数据传输；所述，脑电分析处理模块用于接收脑电信号并且对脑电信号进行处理，判断使用者的目标选择意图。
[0006]本发明涉及一种基于混合脑机接口的目的地选择的方法，所述方法包括:步骤1，通过脑电采集模块采集用户由于注视刺激信息而诱发出的脑电信号；步骤2，通过脑电分析处理模块分析所述脑电信号以获得期望目的地信息；步骤3，经过对期望目的地信息的确认，获得用户的最终真实意图。
[0007]所述，视觉诱发刺激模块包括P300诱发电位刺激界面和SSVEP诱发电位刺激界面。所述，P300诱发电位刺激界面由3*3矩阵组成，矩阵中每一个字符代表相应的目的地。所述SSVEP诱发电位刺激界面由左右两个闪烁矩形组成，每个矩形包含了 24*8个小方块(每个方块为20像素*20像素)。所述视觉诱发刺激模块通过IXD (或CRT/HUD等)展示给用户。
[0008]所述，脑电采集模块通过置于用户大脑头皮上的脑电电极采集用户的脑电信号，并通过脑电放大器获得并输出待处理的脑电信号。
[0009]所述，步骤3包括:步骤31，对实时采集到的脑电信号进行处理，判断使用者选择的刺激显示界面上P300刺激的具体目标；步骤32，对采集到的原始脑电信号进行处理，判断使用者是选择左侧还是右侧SSVEP刺激，以左侧代表接受，右侧代表拒绝并重新进行P300目标选择，将判断结果输出，该循环结束。
[0010]所述，步骤31包括:步骤311，采用双线程模式记录数据，其中一个线程记录P300刺激闪烁的时间，在开始闪烁的同时，另一个线程记录通过脑电采集模块采集的脑电信号；步骤312，如果闪烁持续预定轮数，则对所采集的脑电信号进行预处理；步骤313，通过主成分分析法(PCA)对预处理之后的脑电信号进行分析，获得表征目的地的主要脑电信号特征；步骤314，通过线性分类法(LDA)对所述主要脑电信号特征进行分类，获得P300刺激界面下的用户目的地意图。
[0011]所述，步骤32包括:步骤321，采用Welch经典谱估计法，提取滤波后脑电信号的频谱特征。如使用者注视左侧SSVEP刺激或右侧SSVEP刺激时，提取12Hz、24、13Hz、26Hz处的功率谱幅值作为四个特征，一个样本内有三个通道，所以一个样本的特征数为3*4 ;步骤322，进行线性判别分析，对所述脑电信号特征进行分类，获得SSVEP刺激界面下的用户意图。
[0012]本发明提出一种应用范围广泛、使用简便、准确率较高的目标选择方法，利用P300诱发电位和SSVEP诱发电位两类视觉诱发电位，分别代表目标选择和目标确认。该系统可以应用于轮椅和车辆等的目的地选择。对绝大多数使用者而言，不需要进行训练，可以直接使用，并且准确率较高，控制过程更灵活简便。
[0013]现有的基于P300BCI的目的地选择系统的准确率可达94%，但对于某些方面的应用来说准确率还需要提升，尤其是对一些特殊人群，由于不能产生适当的脑电信号，他们使用P300BCI的目的地选择系统准确率会很低，通常会低于70%。本发明与现有的通过脑-机接口选择目的地的方法相比，结合了 P300诱发电位和SSVEP诱发电位的优点，适用人群数量大，尤其有利于P300不适宜人群的使用；由于P300诱发电位和SSVEP诱发电位的普适性，使用者不需经过训练，可以直接使用；准确率高，实验证明，本利用本发明所提出的目的地选择系统进行驾驶员目的地选择的平均准确率可达99.9% ；P300诱发电位和SSVEP诱发电位都是通过视觉诱发产生，诱发条件简单，相对应的脑电信号特征明显，易识别分类；并且该目标选择方法对于那些有肢体障碍的残疾人有重大意义。
【专利附图】
【附图说明】[0014]图1为本发明的工作系统框图；
[0015]图2为本发明的刺激显示模块的显示界面；
[0016]图3为本发明刺激显示模块的选择流程；
[0017]图4为本发明所需要采集的脑电信号对应的通道位置；
[0018]图5为滤波前包含P300诱发电位的脑电信号示意图；
[0019]图6为滤波后包含P300诱发电位的脑电信号示意图；
[0020]图7为是使用者注视SSVEP左侧刺激时脑电信号功率谱图；
[0021]图8为使用者注视SSVEP右侧刺激时脑电信号功率谱图；
[0022]图9为本发明的脑电信号处理流程示意图；
【具体实施方式】
[0023]该发明所描述的基于脑电信号进行目的地选择的方法特别适用于行动不便者，本领域技术人员可以根据该发明的基本设备和原理，进一步的扩展其他的辅助驾驶系统。
[0024]本发明的基本原理是当用户需要进行目的地选择的时候，不用通过肢体或者语音动作，只需要通过注视图2所示刺激显示模块201中所要选择的目的地(图2中灰色的字母A-1 )，大脑中对应的区域就会出现相应的P300波形，通过脑电采集模块采集对应位置头皮上的脑电信号以及通过脑电分析处理模块对采集的脑电信号进行分析处理，获得用户的真实意图；然后，注视图2所示刺激显示模块202，大脑中对应的区域就会出现相应的SSVEP信号，接受所选目标则注视左侧部分，拒绝所选目标则注视右侧部分，通过脑电采集模块采集对应位置头皮上的脑电信号以及通过脑电分析处理模块对采集的脑电信号进行分析处理，实现意图识别准确性的提升。
[0025]下面结合附图和具体实施例对本发明提供的一种基于混合脑机接口的目的地选择系统进行详细描述。
[0026]同时，在这里做以说明的是，为了使实施例更加详尽，下面的实施例为最佳、优选实施例，对于一些公知技术本领域技术人员也可采用其他替代方式而进行实施；而且附图部分仅是为了更具体的描述实施例，而并不旨在对本发明进行具体的限定。
[0027]本发明涵盖任何在本发明的精髓和范围上做的替代、修改、等效方法以及方案。为了使公众对本发明有彻底的了解，在以下本发明优选实施例中详细说明了具体的细节，而对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。另外，为了避免对本发明的实质造成不必要的混淆，并没有详细说明众所周知的方法、过程、流程、元件和电路
坐寸ο
[0028]在本发明的实施例中，提出了 一种基于混合脑机接口的目的地选择系统，参考图1，该系统包括视觉诱发刺激模块、脑电采集模块、脑电分析处理模块。所述，视觉诱发刺激模块包括P300诱发电位视觉刺激和SSVEP诱发电位视觉刺激两种刺激模式，以LCD (或CRT/HUD等)显示方式提供给使用者。
[0029]所述，视觉诱发刺激模块如图2所示。P300诱发电位视觉刺激包含了 9个目标刺激，SSVEP诱发电位视觉刺激包含了 2个目标刺激。其中，根据现有的P300诱发电位技术，依据Oddball范式设计了 P300诱发电位视觉刺激，采用3*3矩阵形式排列，包括了 A、B、C、D、E、F、G、H、I九个闪烁字母。根据现有的SSVEP诱发电位技术，设计SSVEP诱发电位视觉刺激包括左、右两个闪烁棋盘格(每个都包含了 24*8个小方块)。P300诱发电位视觉刺激分布在刺激界面的中部(共九个)，每个字母分别对应一个用户的潜在目的地；SSVEP诱发电位视觉刺激分布在刺激界面的左部和右部(各一个)，分别代表接受P300所选目标和拒绝P300所选目标。其中，使用者可以端坐在诱发界面的前端0.8米左右的位置。
[0030]其中，脑电采集仪用于实时采集脑电信号并且进行放大和模数转换，通过数据线与处理器进行数据传输。其中，由于P300诱发电位主要产生在大脑的顶部，SSVEP诱发电位主要产生在大脑的枕部，所以根据“10-20国际标准导联”，将脑电采集电极放置在使用者头部的Cz、Pz、Fz、0z、P3、P4、T5、T6、01、02位置，将参考电极放置在使用者耳垂上的All、A12位置(各电极位置如图4所示)，将接地电极接地。
[0031 ] 所述，通过视觉诱发刺激模块运行视觉诱发刺激，两类刺激会依次闪烁，P300诱发电位视觉刺激首先开始闪烁，达到预定闪烁时间后停止闪烁，随后SSVEP诱发电位视觉刺激开始闪烁。使用者首先只能选择一个P300诱发电位视觉刺激目标进行注视，并观察闪烁结束后的识别目标是否是使用者的目标意图。若识别目标与使用者的目标意图相符(如使用者选择了字母“G”诱发电位视觉刺激，P300诱发电位视觉刺激停止后，系统识别的结果同为“G”)，则在进行下一步结果确认阶段时，注视SSVEP诱发电位视觉刺激左侧部分，即代表接受此识别结果；若识别目标与使用者的目标意图不相符，则在进行下一步结果确认阶段时，注视SSVEP诱发电位视觉刺激右侧部分，代表拒绝此识别目标，然后重新进行P300诱发电位视觉刺激选择期望目的地，直至得到正确的使用者目标意图。
[0032]其中，P300诱发电位视觉刺激闪烁规律为:A-1九个字母在每一轮都随机逐个闪烁，并保证在一轮中每个字母都只闪烁一次，每个字母闪烁持续125ms，两个字母闪烁间隔15ms，每轮闪烁所需时间为1260ms ( = (125+15) X9)。
[0033]其中，SSVEP诱发电位视觉刺激闪烁规律为:左侧SSVEP诱发电位视觉刺激(代表“接受”)每秒闪烁12次，右侧SSVEP诱发电位视觉刺激(代表“拒绝”)每秒闪烁13次。
[0034]所述，脑电分析处理模块用于接收脑电信号，并且对脑电信号进行处理，判断使用者的控制意图。对实时采集到的一段脑电信号进行处理，在完成规定时间P300诱发电位视觉刺激后，判断使用者选择的是刺激显示界面所提供的P300刺激中的某一个目标，在P300诱发电位视觉刺激停止，并开始SSVEP诱发电位视觉刺激后，对脑电信号进行再处理，判断用户所选SSVEP诱发电位视觉刺激的某一个目标，在获得SSVEP识别结果后决定是重新开始本轮目标选择还是继续进行下一轮目标选择。
[0035]所述，对脑电波进行处理包括:步骤1、截取每个刺激发生时为起点，到刺激发生后512ms时间段内脑电数据作为对应该刺激的脑电信号，并进行脑电数据预处理，包括叠加去噪、滤波、主成分分析；步骤2、提取信号叠加后的时域幅值作为P300诱发电位特征，代入Fisher线性判别模型进行分类，以判断使用者选择的是刺激显示界面上显示的九个P300目标中的某一个目标。步骤3、确定P300所选定的目标后，再次提取脑电信号，进行快速傅里叶变换，得到其功率谱信息，然后提取12Hz、13Hz以及24Hz、26Hz处功率谱谱值作为SSVEP特征；利用线性判别分析进行分类识别，判断使用者选择的是左侧SSVEP刺激还是右侧SSVEP刺激。
[0036]其中，步骤I具体如下:
[0037]I)叠加去噪[0038]由于脑电信号比较微弱，为了消除随机噪音的影响并加强有效的脑电信息，把每个样本各轮对应的脑电信号进行线性叠加求平均。如果脑电信号在300ms的位置有P300电位的话，在叠加之后会变得更加明显，而噪音信号在叠加过程中会互相抵消，便于分类。
[0039]2)滤波去噪
[0040]由于采集脑电信号时极易受到外界的噪音干扰、使用者自身的眼动干扰等，所以首先对叠加后的脑电信号进行滤波处理，滤除低频动作干扰和眼电干扰等，对每个通道叠加后的脑电数据进行带通滤波，截止频率为0.53-15HZ。滤波后脑电信号变得更为平滑，如图4即为滤波前的P300诱发电位波形图，图5为滤波后的P300诱发电位波形图。滤波之后把8个通道的数据按通道排列成一个具有4096 (512*8)个特征的样本。
[0041]3)特征提取
[0042]包含P300信息的脑电信号经过叠加、滤波之后，一个样本包含的特征数多达4096个，如果用这些特征进行分类，会因维数过高而计算困难。因此本发明中应用主成分分析方法对样本进行降维处理，使得到的少数的综合指标能尽量多的反映原始特征的信息。
[0043]所述，主成分分析方法的具体计算步骤如下:
[0044]1.标准化变换AA
[0045]
【权利要求】
1.一种基于P300与SSVEP混合式脑-机接口的目的地选择系统，包括视觉诱发刺激模块、脑电采集模块和脑电信号处理模块；其中，所述视觉诱发刺激模块用于将P300诱发电位视觉刺激和SSVEP诱发电位视觉刺激LCD (或CRT/HUD等)显示方式提供给使用者；脑电采集模块用于实时采集使用者的脑电信号并且进行放大和模数转换，通过数据线与脑电处理模块进行信号传输；脑电处理模块用于接收脑电信号并且对脑电信号进行处理，识别使用者的意图，并输出最终识别结果。
2.根据权利要求1所述的基于混合式脑-机接口的目的地选择系统，其中，信号处理模块用于判断使用者选择的是P300刺激中的某一个目标；信号处理模块还用于对实时采集到的使用者脑电信号进行左SSVEP、右SSVEP诱发电位的判断，并确定用户最终的选择目标。
3.根据权利要求1所述的基于混合式脑-机接口的目的地选择系统，其中，P300诱发电位视觉刺激和SSVEP诱发电位视觉刺激分别包含多个目标刺激；进一步，P300诱发电位视觉刺激包括分布在刺激界面中部的九个随机顺序闪烁的表示目的地的字母；SSVEP诱发电位视觉刺激包括左、右两个按照一定频率闪烁的棋盘格。
4.一种基于混合式脑-机接口的目的地选择方法，包括: 步骤1，将P300诱发电位视觉刺激和SSVEP诱发电位视觉刺激以LCD (或CRT/HUD等)显示方式提供给使用者； 步骤2，实时采集使用者脑电信号并且进行放大和模数转换； 步骤3，处理器接收使用者脑电信号，并且对脑电信号进行处理，判断使用者期望选择的目的地。
5.根据权利要求4所述的基于混合式脑-机接口的目的地选择方法，其中，步骤3包括: 步骤31，对采集到的原始脑电信号进行处理，判断使用者选择的是屏幕中P300刺激九个目标中的某一个； 步骤32，当P300识别结果确定后，对实时采集到的脑电信号进行SSVEP诱发电位的判断；当确定使用者选择左侧SSVEP刺激，表示接受P300所选目的地，输出最终识别结果，该周期结束；当确定使用者选择右侧SSVEP刺激，表示拒绝P300所选目的地，重新进行P300目标的判断，直至接受P300所选目的地，结束选择周期。
6.根据权利要求5所述的基于混合式脑-机接口的目的地选择方法，其中，步骤31中，该处理的步骤包括: 步骤311，对采集到的原始脑电信号进行叠加去噪、滤波、主成分分析； 步骤312，提取信号叠加后的时域幅值作为P300诱发电位特征，代入Fisher线性判别模型进行分类，以判断使用者选择的是屏幕中P300刺激的某个目标。
7.根据权利要求5所述的基于混合式脑-机接口的目的地选择方法，其中，步骤32进一步包括: 步骤321，对信号进行快速傅里叶变换，得到其功率谱信息，提取12Hz、13Hz处以及24Hz、26Hz处功率谱谱值作为SSVEP特征； 步骤322，利用线性判别分析进行分类识别，通过分析脑电信号来确定使用者选择的是左侧SSVEP刺激还是右侧SSVEP刺激。
8.根据权利要求7所述的基于混合式脑-机接口的目的地选择方法，其中: 步骤321中，采用Welch经典谱估计法，提取滤波后脑电信号的频谱特征； 步骤322中，利用线性判别分析技术建立类模型，建立模型所需的样本分别来自使用者注视左侧SSVEP刺激、右侧SSVEP刺激，根据提取脑电信号的功率谱特征，代入该分类模型，得到识别结果。
9.根据权利要求6所述的基于混合式脑-机接口的目的地选择方法，其中， 步骤311进一步包括:包含P300信息的脑电信号经过叠加、滤波之后，采用主成分分析方法对样本进行降维处理； 步骤312进一步包括:将得到的样本代入Fisher线性判别方法建立的P300判别模型，得值最大的信号被认定为包含.P300信息，判别出使用者选择的具体的P300刺激。
【文档编号】G06F3/01GK103472922SQ201310444635
【公开日】2013年12月25日 申请日期:2013年9月23日 优先权日:2013年9月23日
【发明者】毕路拯, 滕腾, 范新安, 连金岭, 丁洪生 申请人:北京理工大学