基于稳态运动视觉诱发电位与缺省刺激响应的混合脑-机接口方法

基于稳态运动视觉诱发电位与缺省刺激响应的混合脑-机接口方法
【专利摘要】本发明公开了一种基于稳态运动视觉诱发电位与缺省刺激响应的混合脑?机接口方法，包括：1)受试者佩戴电极帽，分别将电极帽上的参考电极、地电极和测试电极与受试者头部接触，目测视线与计算机屏幕平视；2)预先通过MATLAB编写的稳态运动视觉诱发电位与缺省刺激响应混合范式程序，受试者根据目标提示选择刺激目标进行盯视，将电极帽采集得到的脑电信号存储在计算机中；3)对稳态运动视觉诱发电位特征和缺省刺激响应特征分别进行特征提取，再对刺激目标进行分类识别；4)计算机屏幕显示刺激目标识别结果，对被试者进行视觉反馈；5)重复步骤进入下一轮，直至程序结束。本发明采用两种特征识别信息，具有操作简单、训练时间少、电极数目少等优点。
【专利说明】
基于稳态运动视觉诱发电位与缺省刺激响应的混合脑-机接 口方法
技术领域
[0001 ] 本发明涉及脑-机接口（Brain-Computer Interface，BCI)技术领域，具体涉及基 于稳态运动视觉诱发电位(稳态运动视觉诱发电位)与缺省刺激响应(缺省刺激响应）的混 合脑-机接口方法。
【背景技术】
[0002] 脑-机接口（Brain Computer Interface ,BCI)是在人脑与计算机或其他电子设备 之间建立直接的交流和控制通道，通过这种通道，人就可以直接通过大脑来表达想法或操 纵设备，而不需要言语或动作的辅助，这对很多残疾人甚至更严重的神经坏死患者来说无 疑是个福音，为他们提供了与外界进行交流的可能性。脑-机接口技术形成于20世纪70年 代，是一门涉及康复工程、神经科学、生物医学工程、心理认知科学、计算机科学、信号检测 与处理、模式识别等多学科的交叉技术。自这门技术形成以来，从事研究的人员数目也呈明 显的上升趋势，而两次BCI国际会议的召开更是为BCI技术未来的发展指明了方向，使得BCI 技术成为当前的研究热点。随着研究团队的增多，人们对BCI技术的基础与应用研究都取得 了长足的进步。BCI技术的最初研究局限运用在康复工程上，帮助残疾和脑瘫患者与外界交 流和控制外界设备，帮助他们恢复控制和交流功能。但随着脑-机接口技术的逐步成熟和外 界需求的提高，该技术逐步地应用到其他方面。比如在娱乐方面甚至军事领域，脑-机接口 技术展现出其巨大的潜在价值。
[0003] 视觉诱发电位(Visual Evoked Potential，VEP)是大脑皮质枕叶区对视觉刺激发 生的电反应，是代表视网膜接受刺激，经视路传导至枕叶皮层而引起的电位变化。当视觉刺 激的刺激频率在6Hz以上时，大脑视觉系统产生的对外部持续周期性视觉刺激的响应，即为 稳态视觉诱发电位(Steady State Visually Evoked Potential，SSVEP)。然而，在传统的 SSVEP-BCI领域，大多数研究是基于闪烁或闪烁的反衬变化，很少有研究运动对视觉刺激的 影响以及其潜在的稳定BCI的设计。稳态运动视觉诱发电位(SSVEP)就是利用一种特殊的运 动的视觉刺激，类似于牛顿环的扩张和收缩运动，从而引发的大脑视觉系统产生的对外部 持续周期性视觉刺激的响应。与对光的感知和颜色对比类似，运动感知也是人类视觉系统 的基本任务之一。最近的研究利用运动产生的视觉诱发电位，来构建类似于P300的拼字BCI 系统，取得了不错的效果。基于稳态运动视觉诱发电位的BCI系统主要优点是无需训练，信 号获取容易，相比光闪烁范式还可以相对地减少视觉疲劳，这类系统比较适合于多指令选 择的离散控制型应用，如拼字系统、脑控轮椅、操作界面等。改变运动的刺激频率，就可以得 到不同的指令，但由于大脑的低通滤波效应，该系统只能利用30Hz以下的低频区域，再者由 于显示屏幕的刷新频率的限制，以及一定频率刺激下的响应幅值效果不好等问题，可用于 稳态运动视觉诱发电位-BCI系统的刺激频率并不多。采用刷新频率更高显示屏是一个解决 方法，但最根本的解决办法还是改进范式，因此，增加可呈现的目标数目，在相同目标数下 尽可能提供更多的指令，提高系统的信息传输率对于将该系统应用到实际生活中有非常重 要的意义。
[0004] 缺省刺激响应(theomitted stimulus response，缺省刺激响应)是一种内因性的 大脑反应，是指重复性感官刺激的停止可以引起头皮电位的一系列模式特征，在一系列有 规律的感官刺激缺失后可以被诱发出来。缺省刺激响应特征在刺激频率小于2Hz和刺激频 率大于5Hz两种情况下，在形式、延迟和属性上有一些不同，但是二者在刺激缺失后都趋向 于一个稳定的潜伏期。刺激频率在2-5Hz之间时无法诱发出缺省刺激响应特征。缺省刺激响 应特征根据刺激频率可以分为"快"缺省刺激响应（大于6Hz)和"慢"缺省刺激响应(0.3-1.6Hz)两种。"快"缺省刺激响应s(-般包括N120，P170-230等成分)要求受试者对刺激进行 盯视但不需要提供注意力，"慢"缺省刺激响应s(通常包括P500-1100成分)需要受试者提供 注意力。

【发明内容】

[0005] 在现有的稳态运动视觉诱发电位-BCI系统中，提供的目标个数十分有限，目标之 间仅仅通过刺激频率加以区分。为解决目标数较少的问题，本发明提供基于稳态运动视觉 诱发电位与缺省刺激响应的混合脑-机接口方法，将稳态运动视觉诱发电位特征与缺省刺 激响应特征同时诱发，使得在同一刺激频率下，可成倍增加目标指令，且具有操作简单、训 练时间少、电极数目少等优点。针对同时诱发出的稳态运动视觉诱发电位特征与缺省刺激 响应特征，也提出了对应的特征提取方法。
[0006] 本发明是通过下述技术方案来实现的。
[0007] 基于稳态运动视觉诱发电位与缺省刺激响应的混合脑-机接口方法，包括以下步 骤：
[0008] 步骤1:受试者佩戴电极帽，分别将电极帽上的参考电极、地电极和测试电极与受 试者头部接触，受试者目测视线与计算机屏幕平视，受试者头部距离计算机屏幕为60~90 厘米，保证测试电极阻抗低于5千欧姆；
[0009] 步骤2:预先通过MATLAB编写的稳态运动视觉诱发电位与缺省刺激响应混合范式 程序会在计算机屏幕中呈现，运行程序后，屏幕上有若干个刺激目标，受试者根据目标提示 选择一个刺激目标进行双目盯视，放大器将电极帽采集得到的脑电信号经过放大、滤波、A/ D转换后存储在计算机中；
[0010] 步骤3:计算机将存储的脑电信号进行预处理，并对稳态运动视觉诱发电位特征和 缺省刺激响应特征分别进行特征提取，再对刺激目标进行分类识别；
[0011] 步骤4:计算机屏幕显示刺激目标识别结果，对被试者进行视觉反馈；
[0012] 步骤5:计算机在完成步骤4后，返回步骤2,重复步骤2-4,按照预设程序进行下一 轮的刺激目标分类识别以及视觉反馈，直至程序结束。
[0013] 作为优选，稳态运动视觉诱发电位与缺省刺激响应混合范式方法是通过下述方式 来实现的：
[0014] 2-1)在MATLAB界面中，利用Psychtoolbox工具箱，编程实现以牛顿环形式闪烁用 以诱发稳态运动视觉诱发电位的视觉刺激器，在视觉刺激器闪烁过程中添加一定时间的刺 激缺失，即可诱发出缺省刺激响应；
[0015] 2-2)-个视觉刺激器即为一个刺激目标，程序中预设若干个刺激目标，运行程序 后呈现在屏幕上的若干个刺激目标按照阵列分布方式排布，其位置在程序中设定；
[0016] 2-3)将若干个刺激目标设置对应的标号，每一列具有相同的刺激频率，各列之间 刺激频率不同；每一行具有相同的首次闪烁刺激缺失时间，各行之间首次闪烁刺激缺失时 间不同；在每一次刺激目标呈现中，可出现多次闪烁刺激缺失;首次闪烁刺激缺失时间和闪 烁刺激缺失次数与每一次刺激目标呈现时间有关，每次闪烁刺激缺失时间范围不能超出每 一次刺激目标呈现时间范围；
[0017] 2-4)进行训练样本采集:受试者根据程序中提前设定对某个刺激目标进行双目盯 视，在程序运行中，会在选定刺激目标处有相应提示，受试者只需根据提示对选定的刺激目 标进行盯视即可，直至训练样本采集部分结束；
[0018] 2-5)进行刺激目标在线识别：受试者根据程序中随机产生的一个刺激目标的标 号，之后在标号对应的刺激目标处有相应提示，受试者仍然只需根据提示对选定的刺激目 标进行盯视即可，直至在线识别部分结束；
[0019] 2-6)放大器将电极帽采集得到的训练样本采集脑电信号和在线识别脑电信号经 过放大器放大、滤波、A/D转换后存储在计算机中。
[0020] 进一步，所述步骤2-3)中，刺激频率范围在6HZ-30HZ之间选择。
[0021 ]进一步，所述步骤2-3)中，闪烁刺激缺失方式包括刺激目标消失和刺激目标停顿， 可以任意选择一种闪烁刺激缺失方式。
[0022]进一步，每次闪烁刺激缺失时间范围为每一次刺激目标呈现时间的10%-15%，在 每一次刺激目标呈现中，可出现4~8次闪烁刺激缺失，每次闪烁刺激缺失距上一次闪烁刺 激缺失的间隔为任一刺激目标刺激频率的3~6个闪烁周期；
[0023]作为优选，所述步骤2中，电极帽为64导联电极帽，电极放置位置由国际10/20系统 扩展而来;脑电信号的采集采用g.Tec公司的16导gUSBamp放大器作为采集硬件，采样频率 设置为1200Hz，利用硬件采集设备实现对信号的0.0 l-IOOHz的带通滤波及48-52HZ带阻滤 波。
[0024] 作为优选，所述步骤3中，对存储的脑电信号进行预处理，并对稳态运动视觉诱发 电位特征与缺省刺激响应特征分别进行特征提取，再对刺激目标进行分类识别，包括以下 步骤：
[0025] 3_1)调用MATLAB中detrend函数去除时间序列中的直流成分，调用butter函数和 filter函数进行带通滤波对脑电信号进行预处理;实时获取一次刺激呈现中预处理后的脑 电数据；
[0026] 3-2)采用典型相关分析方法对稳态运动视觉诱发电位的频率特征进行特征提取， 具体方法是将电极记录到的脑电数据经过步骤3-1)中的信号预处理后，分别与不同刺激频 率基频及二倍频、四倍频的正余弦信号求取典型相关系数，η个刺激频率对应η个最大的典 型相关分析系数Ρη，其中典型相关分析最大的系数被认为是刺激目标的刺激频率对应的典 型相关分析系数，由此可以判断出受试者注视的刺激目标位于第几列；
[0027] 3-3)通过训练样本采集实验确定缺省刺激响应的时域特征出现在刺激缺失后的 125mS-450ms内，对同一刺激目标该时段内的脑电数据进行8次以下叠加平均处理，再采用 BP神经网络的方法对叠加平均处理后的缺省刺激响应的时域特征进行特征提取，则可判断 出受试者注视的刺激目标位于第几行，识别出最终的刺激目标。
[0028]进一步，所述步骤3-2)中，电极记录到的脑电数据是采集到电极帽上包括01、0z、 02、Cz、Pz、POz、P03、P04、P07 和 P08 位置处的脑电信号。
[0029]进一步，所述步骤3-3)中，采用BP神经网络的方法对叠加平均处理后的缺省刺激 响应的时域特征进行特征提取，具体实现过程包括以下步骤：
[0030] 3-3-1)数据叠加平均:根据步骤3-2)对稳态运动视觉诱发电位特征识别后得到的 结果可知位于第几列的刺激目标，按照该列刺激目标的刺激缺失时刻分别作为起始时刻， 对刺激缺失后125m S-450ms内的数据进行8次以下叠加平均，则得到那一列叠加后的数据；
[0031] 3-3-2)缺省刺激响应特征提取:针对那一列叠加后的数据，可求取出电极记录到 的脑电数据波形的包括峭度值、波形指标、脉冲指标；
[0032] 3-3-3)确定神经网络参数：
[0033] (1)训练数据:确定训练数据数目η和脑电数据波形的峭度值、波形指标、脉冲指标 特征；
[0034] (2)目标矢量:给定目标矢量，目标矢量与步骤3-3-1)得到那一列的刺激目标数目 相对应，使得步骤3-3-1)得到那一列叠加后的数据训练目标不同；
[0035] (3)层数:BP神经网络的层数layer设定为输入层、输出层和中间层；
[0036] (4)各层神经元数目：输入层神经元数目按照脑电数据波形的包括峭度值、波形指 标、脉冲指标数目设定;输出层神经元个数为1;中间层神经元数目可以用黄金分割法来确 定；
[0037] (5)给定最大训练次数和最小训练误差；
[0038] 3-3-4)构建BP神经网络模型：
[0039] BP神经网络模型包括输入层、输出层和中间层三层神经网络模型：
[0040] 输入层神经网络模型：
[0041]
[0042]
[0043] 其中，/(〇i)函数采用Sigmoid函数；6^为输入层的权系数，为输入层的阈值； 为输入层的输出；为输入层一组训练样本;为输入层的第i个神经元的激励总和；
[0044] 中间层神经网络模型：
[0045]
[0046]
[0047]
[0048] 其中，/(σ,))函数采用S i gmo i d函数;为中间层输入;为中间层神经元与输入 层神经元之间的连接权值；为中间层的阈值；σ,)为中间层的第i个神经元的激励总和； owC为中间层的输出；
[0049] 输出层神经网络模型：
[0050]
[0051]
[0052]
[0053]
[0054] 其中，/(σ·|}函数采用S i gmo i d函数;为输出层输入；4为输出层神经元与中间 层神经元之间的连接权值;6f为输出层的阈值;为输出层的输出;yi为神经网络的输出； 4为输出层的第i个神经元的激励总和；
[0055] 3-3-5)缺省刺激响应特征训练：
[0056] (1)对于步骤3-3-1)那一列叠加后的数据，分别带入上述输入层、中间层和输出 层；
[0057] (2)给定一个训练样本m，按照步骤3-3-4)中所述方法计算得到每一层的输入输 出值，计算输出层误差￡1 =七31"职1:(1)11,1 = 1,2,...,211(：;
[0058] (
[0059] ￡ L·
[0060] 其中，target(l)为训练样本Ui对应的目标矢量;Ei为训练样本Ui的误差函数；
[0061] (4)若E小于最小训练误差或迭代次数超过最大训练次数，则算法结束，否则，采用 梯度下降法对各层权值和阈值进行修正：
[0062]
[0063]
[0064]
[0065]
[0066] 其中，Cr(为神经网络t层的第i个神经元的激励总和;碎为神经网络t层神经元与神 经网络t-Ι层神经元之间的连接权值;xf 1为神经网络t-Ι层输入样本特征值;贫为神经网络 t_l层的阈值;名为神经网络t层的下降梯度;< 为神经网络t层输入;Δ#为神经网络t层神 经元与神经网络t-Ι层神经元之间的连接权值修正量;Δ碑为神经网络t层的阈值修正量；
[0067] 要计算网络连接权值的修正量，需首先正向计算网络每一层的节点输出0*4,然后 反向计算炙；
[0068] (5)计算得到和AC，进行权值修正：
[0069]
[0070]
[0071] (6)转到第(2)步，直至算法收敛；
[0072] 3-3-6)缺省刺激响应特征在线识别：
[0073] 在步骤3-3-5)中对缺省刺激响应特征进行训练后得到BP神经网络各层的最优权 值和最优阈值，即得到训练好的BP神经网络模型;进行在线识别时，将与训练数据相同格式 的测试数据依次输入神经网络，若输出值在正确的目标矢量范围内，则测试数据是按照正 确刺激缺失时间叠加而得到的数据;相反，若输出值在错误的目标矢量范围内，则测试数据 是按照错误刺激缺失时间叠加而得到的数据，因此可以得到正确的刺激缺失时间，即确定 最终的识别目标。
[0074] 本发明针对目前所有的基于稳态视觉诱发电位的BCI系统容易造成视觉疲劳的缺 点，改进了实验范式，采取运动的视觉刺激以减弱对受试者造成的视觉疲劳;再者针对单纯 地基于稳态运动视觉诱发电位的BCI系统刺激目标少、目标指令少、实验范式简单、系统稳 定性差、信息传输率低等缺点，提出了基于稳态运动视觉诱发电位特征与缺省刺激响应特 征同时诱发的混合BCI范式，探索得到了该混合范式最优记录电极、合适的刺激频率、刺激 缺失方式以及刺激缺失时长，对各项参数进行了优化;并且提出了稳态运动视觉诱发电位 特征与缺省刺激响应特征的特征提取与分类识别方法。本发明采用两种特征识别信息，无 需强烈的视觉刺激，在相同刺激频率下，使刺激目标数成倍增加，可完成任务种类增多，大 大提高了信息传输率，且具有操作简单、训练时间少、电极数目少等优点。在保证操作简单、 所需训练时间短、电极数目少等已有范式的优点的前提下，还具有在刺激目标数相同的情 况下，成倍增加目标指令，相对地减弱视觉疲劳等新的优势，为脑-机接口技术开辟了新的 思路，显示了如下优越性：
[0075] (1)提出了基于稳态运动视觉诱发电位（SSVEP)与缺省刺激响应(TSR)的混合脑_ 机接口方法，在刺激目标数相同的情况下，成倍地增加目标指令。
[0076] (2)对新范式的各项参数进行了探索，取得了比较好的进展，保证了在该混合范式 下，受试者可以诱发出明显的稳态运动视觉诱发电位特征与缺省刺激响应特征。
[0077] (3)提出了对应的稳态运动视觉诱发电位特征与缺省刺激响应特征的特征提取与 分类识别方法，通过对应的特征提取方法进行在线识别与分类，及时将输出结果反馈给被 试者，同时不同的分类结果对应不同的指令，用以控制其他外设，具有实际应用价值。
[0078] (4)少次平均缺省刺激响应特征的提取及识别方法:对缺省刺激响应特征经过8次 以下叠加平均，即可以保证缺省刺激响应特征的有效提取和目标识别，提高脑-机接口的辨 识效率，保障脑-机接口信息的高效传输。
【附图说明】
[0079] 图1是本发明的系统框图。
[0080] 图2是本发明中的电极放置示意图。
[0081]图3是本发明的时间序列及行为任务图，其中图3(a)为训练样本采集部分，图3(b) 为在线识别部分。
[0082]图4是本发明的实验范式原理图，其中图4(a)为刺激目标在屏幕上的分布图，图4 (b)为刺激序列图。
[0083]图5是本发明中数据的在线处理算法流程图。
[0084] 图6是本发明中用于分类识别缺省刺激响应特征的BP神经网络图。
【具体实施方式】
[0085] 下面结合附图和实施例对本发明做进一步的说明。
[0086]基于稳态运动视觉诱发电位（SSVEP)与缺省刺激响应（TSR)的混合脑-机接口方 法，包括以下步骤：
[0087]步骤1:如图1所示，受试者带好电极帽后，端坐于计算机正前方，受试者头部距离 计算机屏幕约为70厘米。电极按照"国际10/20标准导联系统"布置，如图2所示。实验中记录 数据的电极位于大脑枕部区域，包括01、(^、02工2、？2、？0 2、？03、？04、？07、？08十个电极，参 考电极位于左耳耳垂，地电极为Fpz，位于额头位置。在实验开始时，依次给地电极、参考电 极以及记录电极注入导电膏，确保其与头皮接触良好，并在实验过程中保证电极阻抗低于5 千欧姆。
[0088]步骤2:预先通过MATLAB编写的稳态运动视觉诱发电位与缺省刺激响应混合范式 程序会在计算机屏幕中呈现，运行程序后，屏幕上有若干个刺激目标，将稳态运动视觉诱发 电位-缺省刺激响应混合范式通过计算机屏幕在受试者面前播放，如图4(a)所示，受试者在 实验中根据目标提示选择一个刺激目标进行双目注视屏幕，并且根据提示选择一个刺激目 标进行盯视，放大器将通过电极帽采集得到的脑电信号经过放大、滤波、A/D转换等一系列 变化存储在计算机中。
[0089]稳态运动视觉诱发电位与缺省刺激响应混合范式方法是通过下述方式来实现的： [0090] 2-1)在MATLAB界面中，利用Psychtoolbox工具箱，编程实现以牛顿环形式闪烁用 以诱发稳态运动视觉诱发电位的视觉刺激器，在视觉刺激器闪烁过程中添加一定时间的刺 激缺失，即可诱发出缺省刺激响应；
[0091] 2-2)-个视觉刺激器即为一个刺激目标，程序中预设若干个刺激目标，运行程序 后呈现在屏幕上的若干个刺激目标按照阵列分布方式排布，其位置在程序中设定；
[0092] 2-3)将若干个刺激目标设置对应的标号，每一列具有相同的刺激频率，各列之间 刺激频率不同，刺激频率范围在6Hz-30Hz之间选择;每一行具有相同的首次闪烁刺激缺失 时间，各行之间首次闪烁刺激缺失时间不同；在每一次刺激目标呈现中，可出现多次闪烁刺 激缺失;首次闪烁刺激缺失时间和闪烁刺激缺失次数与每一次刺激目标呈现时间有关，每 次闪烁刺激缺失时间范围不能超出每一次刺激目标呈现时间范围；闪烁刺激缺失方式包括 刺激目标消失和刺激目标停顿，可以任意选择一种闪烁刺激缺失方式。每次闪烁刺激缺失 时间范围为每一次刺激目标呈现时间的10 % -15 %，在每一次刺激目标呈现中，可出现4~8 次闪烁刺激缺失，每次闪烁刺激缺失距上一次闪烁刺激缺失的间隔为任一刺激目标刺激频 率的3~6个闪烁周期；
[0093] 2-4)进行训练样本采集:受试者根据程序中提前设定对某个刺激目标进行双目盯 视，在程序运行中，会在选定刺激目标处有相应提示，受试者只需根据提示对选定的刺激目 标进行盯视即可，直至训练样本采集部分结束；
[0094] 2-5)进行刺激目标在线识别：受试者根据程序中随机产生的一个刺激目标的标 号，之后在标号对应的刺激目标处有相应提示，受试者仍然只需根据提示对选定的刺激目 标进行盯视即可，直至在线识别部分结束；
[0095] 2-6)放大器将电极帽采集得到的训练样本采集脑电信号和在线识别脑电信号经 过放大器放大、滤波、A/D转换后存储在计算机中。
[0096] 本实施例的刺激范式中刺激目标分布图如图4(a)所示，采用六个牛顿环分布为两 排三列，分别位于左上、中上、右上、左下、中下、右下六个方位。实验中所使用的电脑显示器 为PHILIPS显示屏，屏幕刷新频率为144Hz。
[0097] 图4(b)所示为基于稳态运动视觉诱发电位与缺省刺激响应相结合的混合脑-机接 口范式的闪烁与刺激缺失序列图，图中按比例作出各环的闪烁频率，其中牛顿环1、4的刺激 频率为10.3Hz，牛顿环2、5的刺激频率为13Hz，牛顿环3、6的刺激频率为16Hz。牛顿环1、2、3 在400ms处出现首次闪烁刺激缺失，牛顿环4、5、6在600ms处出现首次闪烁刺激缺失，闪烁刺 激缺失方式为刺激目标消失。每一次刺激目标呈现时长为3.5s，每一次刺激缺失时长为 0.4s，每次闪烁刺激缺失距上一次的间隔为0.3s，每一次刺激呈现中出现4次闪烁刺激缺 失。如图3(a)和图3(b)所示，一次完整的实验包括训练样本采集部分和在线识别部分。完整 的实验包括训练样本采集部分和在线识别部分，训练样本采集过程包括依次对这若干个刺 激目标进行盯视的任务，每种任务包括8个Run，每个Run中包括16次trai 1。在一次任务中受 试者对同一目标进行盯视。在每次Run中，首先呈现2s的提示，提示中说明只有在休息期间 才能眨眼或发生动作;紧接着是Is的Run的进度提示;再然后为每次trail中的trail进度提 示、目标提示和刺激呈现以及当前trail的结束提示，其中刺激目标呈现时长在2s-5s，其余 提示时长均为Is。在完成16次trail后，会有Is当前Run的结束提示。在线识别阶段包括10个 Run，每个Run包括16次trai 1。在每次Run中，首先呈现2s的提示，紧接着是Is的Run的进度提 示，再然后为每次trail中的trail进度提示、目标提示和刺激呈现以及结果反馈，其中刺激 目标呈现时长在2s-5s，其余提示时长均为Is。在每次trail中，程序会随机产生一个刺激目 标的标号，之后在标号对应的刺激目标处有相应提示，受试者仍然只需根据提示对选定的 刺激目标进行盯视即可，直至在线识别部分结束。在实验中所使用的采集设备是g.Tec公司 的16导gUSBamp放大器，放大器的采样频率为1200hz，硬件滤波包括了 0.05-100hz的带通滤 波及48-52hz的带阻滤波。
[0098]步骤3:计算机对脑电信号进行处理，数据的在线处理流程图如图5所示，包括以下 步骤：
[0099] 步骤3-1:调用MATLAB中detrend函数去除时间序列中的直流成分，调用butter函 数和filter函数进行1-45HZ带通滤波对脑电信号进行预处理，实时获取一次刺激呈现中预 处理后的脑电数据；
[0100] 步骤3-2:对稳态运动视觉诱发电位特征进行特征提取以及分类识别，采用的算法 为典型相关分析(Canonical Correlation Analysis，CCA)，就是利用综合变量对之间的相 关关系来反映两组指标之间的整体相关性的多元统计分析方法。将电极〇l、〇 Z、〇2、Cz、Pz、 ?02、？03、？04、？07、？08等电极记录到的脑电数据经过步骤3-1中的信号预处理后，分别与不 同刺激频率基频及二倍频、四倍频的正余弦信号求取典型相关系数，在η个刺激频率对应的 η个最大CCA系数Pn*，具有最大值的CCA系数被认为是目标刺激频率对应的CCA系数，因此 可以判断出受试者注视的目标位于第几列；
[0101] 步骤3-3:在步骤3-2对稳态运动视觉诱发电位特征分类识别完成之后，可以判断 出刺激目标的刺激频率，在该范式中，同一刺激频率对应两个不同的牛顿环，二者首次刺激 缺失时间不同，就需要对缺省刺激响应特征进行特征提取以及分类识别。通过实验确定缺 省刺激响应特征主要出现在刺激缺失后的125ms-450ms内，因此对该时段内的数据进行叠 加平均。
[0102] 本发明采用BP神经网络的方法对缺省刺激响应特征的提取识别，得到最终判别结 果，BP神经网络模型如图6所示。具体实现过程包括以下几个步骤：
[0103] 3-3-1)数据叠加平均:根据对稳态运动视觉诱发电位特征识别后得到的结果可知 刺激目标的刺激频率，按照该刺激频率对应的两个牛顿环的刺激缺失时刻分别作为起始时 亥Ij，对刺激缺失后125m S-450ms内的数据进行8次叠加平均，则得到两组叠加后的数据，分别 称为叠加平均数组Rl和叠加平均数组W1。采集多组刺激缺失数据，按照同样的方法进行叠 加平均，依次得到叠加平均数组R2、R3、…、Rm和叠加平均数组W2、W3、…、Wm。
[0104] 3-3-2)缺省刺激响应特征提取:针对矩阵Rl中每一列，可求取出该通道波形的峭 度值、波形指标、脉冲指标，选取缺省刺激响应特征较好的C个通道，则可得到一个新的3*C 的Rl矩阵。按照同样的方法，可得新的矩阵R2、…、Rm与Wl、…、Wm。
[0105] 3-3-3)确定神经网络参数：
[0106] (1)训练数据：确定训练数据数目η，分别从R类矩阵和W类矩阵中抽取前η个矩阵 Rl、…、Rn与Wl、…、Wn，构成训练数据train_data，则共有2nC个训练样本，每个样本有3个特 征；
[0107] (2)目标矢量:给定目标矢量target，使两组的训练目标不同。令W组矩阵的训练目 标在(0.1,0.4)之间产生，R组矩阵的训练目标在(0.6,0.9)之间产生。
[0108] (3)层数:BP神经网络的层数layer设定为3层；
[0109] (4)各层神经元数目：输入层神经元数目为3;输出层神经元个数为1;中间隐层神 经元数目可以用黄金分割法来确定，本实施例中假设中间层的神经元个数为b;
[0110] (5)最大训练次数和最小训练误差:给定最大训练次数和最小训练误差。
[0111] 3-3-4)BP神经网络模型：
[0112]定义矩阵train_data中任一样本的峭度值、波形指标、脉冲指标分别为xk、xw、xm， 则BP网络分类问题的训练样本集合可给出U= {ill，U2，. . .，U2nc}，其中Ul= (xi，di)，χι = train_data(l，：）= (xk，Xw，Xm)T，di = target(l)，1 = I，2，· · ·，2η(λΒΡ网络的输出向量为y， 网络的q层神经元分别有m，n2, . . .，nq个节点，下文中i表示第i个节点输出，j表示第j个输 入。由节点i到节点j的连接权值记为ω ij。
[0113] (1)输入层的输入为一组训练样本，即=[%，. ·％，X/",]V = V2，...,2"C。输入层 的权系数= I二3;./= 1,2,3 4俞入层的阈值为蜱=[?碑。输入层的输 出为/ = 1，2,3;/ = K2,，2?C:。则有：
[0114]
[0115]
[0116] 其中，/(σ丨）函数采用Sigmoid函数。
[0117] (2)输入层的输出〇叫丨作为中间层输入，8卩^ = owg，y = 1,2,3，中间层神经元与输
[0118] 入层神经元之间的连接权值，其中i = l，2, . . .b，j ; = 1，2,。3中间层的阈值为 , / = 1,2,...，6。中间层的输出为= 1，2,...，办。则有：
[0119] -一……
[0120] (3)中间层的输出测€作为输出层输入，即^ 蜢，?2,.·.,δ，输出层神经元与 中间层神经元之间的连接权值<，其中1 = 1;」=1，2，...，13。输出层的阈值为穹,/ = 14俞出 层的输出为〇4,卜1，即神经网络的输出。则有：
[0121]
[0122]
[0123]
[0124] 当输出值yi小于0.5时，对应上述中W类矩阵，当目标矢量大于0.5时，对应上述中R 类矩阵。
[0125] 3-3-5)缺省刺激响应特征训练：
[0126] (1)对于训练数据，将按照正确刺激缺失时间叠加得到的数据存储在R类数组中， 将按照错误刺激缺失时间叠加得到的数据存储在W类数组中。各层的权值ω u与阈值0,在 (0,1)之间随机产生，给定最小训练误差min_error的值和最大训练次数max_epoch的值，以 及步长控制量 rI;
[0127] (2)给定一个训练样本m，可以按3-3-4)中所述方法计算得到每一层的输入输出 值。计算输出层误差￡1 =七3坪61:(1)11，1 = 1，2，...，211(：;
[0128]
[0129]
[0130] 兵干，targetU;73训珎杵不m对胜的曰称大重；Κι73训练样本m的误差函数；
[0131 ] (4)若E〈min_error或迭代次数超过max_epoch，则算法结束，否则，采用梯度下降 法对各层权值和阈值进行修正。下面给出误差函数对连接权值和阈值的计算公式：
[0132] 假设网络输入样本向量^时，网络t层的第i个神经元的激励总合为：
[0133]
[0134]
[0135]
[0136]
[0137]
[0140] 于是得到网络连接权值和神经元阈值的修正计算公式为：
[0138]
[0139]
[0141]
[0142]
[0143] 要计算网络连接权值的修正量，需首先正向计算网络每一层的节点输出〇?'，然后 反向计算忍:，这就是反向传播计算思想。
[0144] (5)计算得到和Δ疼，进行权值修正：
[0145]
[0146]
[0147] (6)转到第(2)步，直至算法收敛。
[0148] 3-3-6)缺省刺激响应特征在线识别：
[0149] 在3-3-5)中对缺省刺激响应特征进行训练后得到BP神经网络各层的最优权值和 最优阈值，即得到训练好的BP神经网络模型。进行在线识别时，将与训练数据相同格式的测 试数据依次输入神经网络，若输出值几乎都大于0.5，则测试数据是按照正确刺激缺失时间 叠加而得到的数据;相反，若输出值几乎都小于0.5，则测试数据是按照错误刺激缺失时间 叠加而得到的数据，因此可以得到正确的刺激缺失时间，即确定最终的识别目标。
[0150] 步骤4:计算机屏幕显示识别结果，对被试者进行视觉反馈。
[0151] 步骤5:计算机完成步骤4后，返回步骤2,重复步骤2、3、4,进行下一轮的目标识别 以及结果反馈。
[0152] 以下结合具体实施实例对本发明进行说明。
[0153] 采用本发明中的刺激范式对十名以上受试者进行了实验。在训练样本采集过程 中，一共设计了四组实验，实验一与实验二对刺激频率进行对比探索，刺激频率分别在6~ 10他，10~20他，20~30抱三个频率段中进行选择，两组实验的刺激缺失时长均为18，刺激 缺失方式均为刺激目标消失;实验三与实验一进行对比，探索〇. Is和Is两种刺激缺失时长 的影响，二者刺激频率相同，刺激缺失方式均为刺激目标消失;实验四与实验一进行对比， 探索刺激缺失方式对实验结果的影响，在刺激频率与刺激缺失时长相同的情况下，实验一 为刺激目标消失的方式，而实验四采用刺激目标停顿的方式。在在线测试阶段，根据训练探 索阶段选择合适的刺激频率，刺激缺失时长以及刺激缺失方式。
[0154] 在在线测试时，按照上述步骤1为受试者带好电极帽，记录电极选择枕部区域的 01、Oz、02、Cz、Pz、POz、Ρ03、Ρ04、Ρ07、Ρ08十个电极，参照图2布置电极。按照步骤2所述，将实 验刺激范式通过电脑显示屏呈现在受试者面前，受试者只需根据屏幕提示盯视刺激目标， 通过电极帽采集各个通道的脑电信号，按步骤3所述的方法对受试者盯视的目标进行识别。 步骤4将识别结果反馈给受试者，并根据识别结果执行对应的任务。步骤5将返回步骤2,重 复步骤2、3、4,进行下一步的目标识别。实验中要求受试者只能在刺激段外的时间进行眨眼 休息或其他肢体动作，单次刺激持续时间很短。受试者按照屏幕提示盯视相应的刺激目标， 每种任务分别进行10轮实验，一轮实验中共有16次循环。一轮实验中每次刺激间隔为3s。
[0155]本发明并不局限于上述实施例，在本发明公开的技术方案的基础上，本领域的技 术人员根据所公开的技术内容，不需要创造性的劳动就可以对其中的一些技术特征作出一 些替换和变形，这些替换和变形均在本发明的保护范围内。
【主权项】
1. 基于稳态运动视觉诱发电位与缺省刺激响应的混合脑-机接口方法，其特征在于，包 括W下步骤： 步骤1:受试者佩戴电极帽，分别将电极帽上的参考电极、地电极和测试电极与受试者 头部接触，受试者目测视线与计算机屏幕平视，受试者头部距离计算机屏幕为60~90厘米， 保证测试电极阻抗低于5千欧姆； 步骤2:预先通过MA化AB编写的稳态运动视觉诱发电位与缺省刺激响应混合范式程序 会在计算机屏幕中呈现，运行程序后，屏幕上有若干个刺激目标，受试者根据目标提示选择 一个刺激目标进行双目叮视，放大器将电极帽采集得到的脑电信号经过放大、滤波、A/D转 换后存储在计算机中； 步骤3:计算机将存储的脑电信号进行预处理，并对稳态运动视觉诱发电位特征和缺省 刺激响应特征分别进行特征提取，再对刺激目标进行分类识别； 步骤4:计算机屏幕显示刺激目标识别结果，对被试者进行视觉反馈； 步骤5:计算机在完成步骤4后，返回步骤2，重复步骤2-4，按照预设程序进行下一轮的 刺激目标分类识别W及视觉反馈，直至程序结束。2. 根据权利要求1所述的方法，其特征在于，所述步骤2中，稳态运动视觉诱发电位与缺 省刺激响应混合范式方法是通过下述方式来实现的： 2-1)在MATLAB界面中，利用Psychtoo化OX工具箱，编程实现W牛顿环形式闪烁用W诱 发稳态运动视觉诱发电位的视觉刺激器，在视觉刺激器闪烁过程中添加一定时间的刺激缺 失，即可诱发出缺省刺激响应； 2-2)-个视觉刺激器即为一个刺激目标，程序中预设若干个刺激目标，运行程序后呈 现在屏幕上的若干个刺激目标按照阵列分布方式排布，其位置在程序中设定； 2-3)将若干个刺激目标设置对应的标号，每一列具有相同的刺激频率，各列之间刺激 频率不同；每一行具有相同的首次闪烁刺激缺失时间，各行之间首次闪烁刺激缺失时间不 同；在每一次刺激目标呈现中，可出现多次闪烁刺激缺失;首次闪烁刺激缺失时间和闪烁刺 激缺失次数与每一次刺激目标呈现时间有关，每次闪烁刺激缺失时间范围不能超出每一次 刺激目标呈现时间范围； 2-4)进行训练样本采集:受试者根据程序中提前设定对某个刺激目标进行双目叮视， 在程序运行中，会在选定刺激目标处有相应提示，受试者只需根据提示对选定的刺激目标 进行叮视即可，直至训练样本采集部分结束； 2-5)进行刺激目标在线识别：受试者根据程序中随机产生的一个刺激目标的标号，之 后在标号对应的刺激目标处有相应提示，受试者仍然只需根据提示对选定的刺激目标进行 叮视即可，直至在线识别部分结束； 2-6)放大器将电极帽采集得到的训练样本采集脑电信号和在线识别脑电信号经过放 大器放大、滤波、A/D转换后存储在计算机中。3. 根据权利要求2所述的方法，其特征在于，所述步骤2-3)中，刺激频率范围在6Hz- 30化之间选择。4. 根据权利要求2所述的方法，其特征在于，所述步骤2-3)中，闪烁刺激缺失方式包括 刺激目标消失和刺激目标停顿，可W任意选择一种闪烁刺激缺失方式。5. 根据权利要求2所述的方法，其特征在于，所述步骤2-3)中，每次闪烁刺激缺失时间 范围为每一次刺激目标呈现时间的1〇%-15%，在每一次刺激目标呈现中，可出现4~8次闪 烁刺激缺失，每次闪烁刺激缺失距上一次闪烁刺激缺失的间隔为任一刺激目标刺激频率的 3~6个闪烁周期。6. 根据权利要求1所述的方法，其特征在于，所述步骤2中，电极帽为64导联电极帽，电 极放置位置由国际10/20系统扩展而来;脑电信号的采集采用g. Tec公司的16导扣SBamp放 大器作为采集硬件，采样频率设置为1200化，利用硬件采集设备实现对信号的0.01-100化 的带通滤波及48-52HZ带阻滤波。7. 根据权利要求1所述的方法，其特征在于，所述步骤3中，对存储的脑电信号进行预处 理，并对稳态运动视觉诱发电位特征与缺省刺激响应特征分别进行特征提取，再对刺激目 标进行分类识别，包括W下步骤： 3-1)调用MATLAB中detrend函数去除时间序列中的直流成分，调用butter函数和 filter函数进行带通滤波对脑电信号进行预处理;实时获取一次刺激呈现中的预处理后的 脑电数据； 3-2)采用典型相关分析方法对稳态运动视觉诱发电位的频率特征进行特征提取，具体 方法是将电极记录到的脑电数据经过步骤3-1)中的信号预处理后，分别与不同刺激频率基 频及二倍频、四倍频的正余弦信号求取典型相关系数，η个刺激频率对应η个最大的典型相 关分析系数Ρη，其中典型相关分析最大的系数被认为是刺激目标的刺激频率对应的典型相 关分析系数，由此可W判断出受试者注视的刺激目标位于第几列； 3-3)通过训练样本采集实验确定缺省刺激响应的时域特征出现在刺激缺失后的 125ms-450ms内，对同一刺激目标该时段内的脑电数据进行8次W下叠加平均处理，再采用 BP神经网络的方法对叠加平均处理后的缺省刺激响应的时域特征进行特征提取，则可判断 出受试者注视的刺激目标位于第几行，识别出最终的刺激目标。8. 根据权利要求7所述的方法，其特征在于，所述步骤3-2)中，电极记录到的脑电数据 是采集到电极帽上包括01、0z、02、Cz、Pz、P0z、P03、P04、P07和P08位置处的脑电信号。9. 根据权利要求7所述的方法，其特征在于，所述步骤3-3)中，采用BP神经网络的方法 对叠加平均处理后的缺省刺激响应的时域特征进行特征提取，具体实现过程包括W下步 骤： 3-3-1)数据叠加平均:根据步骤3-2)对稳态运动视觉诱发电位特征识别后得到的结果 可知位于第几列的刺激目标，按照该列刺激目标的刺激缺失时刻分别作为起始时刻，对刺 激缺失后125ms-450ms内的数据进行8次W下叠加平均，则得到那一列叠加后的数据； 3-3-2)缺省刺激响应特征提取:针对那一列叠加后的数据，可求取出电极记录到的脑 电数据波形的包括峭度值、波形指标、脉冲指标； 3-3-3)确定神经网络参数： (1) 训练数据：确定训练数据数目η和脑电数据波形的峭度值、波形指标、脉冲指标特 征； (2) 目标矢量:给定目标矢量，目标矢量与步骤3-3-1)得到那一列的刺激目标数目相对 应，使得步骤3-3-1)得到那一列叠加后的数据训练目标不同； (3) 层数:Β巧申经网络的层数layer设定为输入层、输出层和中间层； (4) 各层神经元数目：输入层神经元数目按照脑电数据波形的包括峭度值、波形指标、 脉冲指标数目设定;输出层神经元个数为1;中间层神经元数目可W用黄金分割法来确定； (5)给定最大训练次数和最小训练误差； 3-3-4)构建BP神经网络模型： BP神经网络模型包括输入层、输出层和中间层Ξ层神经网络模型： 输入层神经网络模型：其中，/(巧：）函数采用Sigmoid函数；4为输入层的权系数，砖为输入层的阔值；为 输入层的输出；ζ'Η；；为输入层一组训练样本;的为输入层的第i个神经元的激励总和； 中间层神经网络模型：其中，,/(巧?)函数义用Sigmoid函数;iHg为中间层输入；％为中间层神经兀与输入层神 经元之间的连接权值；捧为中间层的阔值;讀为中间层的第i个神经元的激励总和；。碱为 中间层的输出； 输出层神经网络模型：其中，/(端)函数采用Sigmoid函数;姨!为输出层输入;为输出层神经元与中间层神经 元之间的连接权值;谬为输出层的阔值;oi苗为输出层的输出;yi为神经网络的输出;4为输 出层的第i个神经元的激励总和； 3-3-5)缺省刺激响应特征训练： (1) 对于步骤3-3-1)那一列叠加后的数据，分别带入上述输入层、中间层和输出层； (2) 给定一个训练样本U1，按照步骤3-3-4)中所述方法计算得到每一层的输入输出值， 计算输出层误差61 =化巧61(1)-71,1 = 1,2,...,化。 (3) 定义误差函i，其中，其中，target(l)为训练样本m对应的目标矢量;El为训练样本m的误差函数； (4) 若E小于最小训练误差或迭代次数超过最大训练次数，则算法结束，否则，采用梯度 下降法对各层权值和阔值进行修正：其中，的为神经网络t层的第i个神经元的激励总和;4为神经网络t层神经元与神经网 络t-1层神经元之间的连接权值;为神经网络t-1层输入样本特征值；巧为神经网络t-1 层的阔值;爲为神经网络t层的下降梯度;为神经网络t层输入；A4为神经网络t层神经 元与神经网络t-1层神经元之间的连接权值修正量;Δ。;'为神经网络t层的阔值修正量； 要计算网络连接权值的修正量，需首先正向计算网络每一层的节点输出然后反向 计算殘; (5) 计算得到Aw;和AgS进行权值修正：(6) 转到第(2)步，直至算法收敛； 3-3-6)缺省刺激响应特征在线识别： 在步骤3-3-5)中对缺省刺激响应特征进行训练后得到BP神经网络各层的最优权值和 最优阔值，即得到训练好的BP神经网络模型;进行在线识别时，将与训练数据相同格式的测 试数据依次输入神经网络，若输出值在正确的目标矢量范围内，则测试数据是按照正确刺 激缺失时间叠加而得到的数据;相反，若输出值在错误的目标矢量范围内，则测试数据是按 照错误刺激缺失时间叠加而得到的数据，因此可W得到正确的刺激缺失时间，即确定最终 的识别目标。
【文档编号】G06F3/01GK105938397SQ201610452520
【公开日】2016年9月14日
【申请日】2016年6月21日
【发明人】王晶, 李曼, 乐赞
【申请人】西安交通大学