一种多态脑机接口系统的制作方法

本发明涉及脑机控制
技术领域：
，特别是涉及一种多态脑机接口系统。
背景技术：
：随着科技的飞速发展，脑机接口(BCI，BrainComputerInterface)技术得到了极大的发展。BCI技术是指在人或动物的大脑与外部设备间建立的直接连接通路。目前，基于视觉诱发SSVEP(Steady-StateVisualEvokedPotentials,稳态视觉诱发电位)的脑电控制技术和基于运动想象的脑电控制技术均得到了一定的发展。但基于SSVEP和基于运动想象的脑控技术还存在以下缺点：1)可识别目标数少对于SSVEP，受限于大脑低通滤波效应及脑电信号的响应幅值等问题，可用于SSVEP识别的刺激频率较少，从而使得能够设置的与可识别的刺激频率相对应的控制指令也很少。对于运动想象，能够识别的运动想象也很少，可以与这几种运动想象对应的控制指令也相应很少。其中，上述提到的控制指令可以用来控制机器人等，从而实现脑控。2)模式单一现有技术中，现有技术中要么是基于SSCEP的脑机接口系统，要么是基于运动想象的脑机接口系统，单一模式的脑机接口系统持续使用会造成受试者疲劳。因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。技术实现要素：本发明的目的是提供一种多态脑机接口系统，一方面，可识别的目标数是SSVEP的可识别频率的个数与可识别运动想象的个数的总和，且增加了识别的状态数，提高了受试者使用的灵活性和实用性；另一方面，有效地避免了单一模式下带来的脑力疲劳。为解决上述技术问题，本发明提供了一种多态脑机接口系统，包括：显示模块，用于为受试者提供SSEVP刺激界面；脑电采集模块，用于采集受试者的脑电信号；状态确定模块，用于确定受试者当前产生的脑电信号所处的状态及依据所述脑电信号确定受试者下一次在哪种状态下产生脑电信号，所述状态包括SSVEP状态及运动想象状态；处理模块，用于根据所述脑电信号所处的状态对所述脑电信号进行相应的特征提取和模式分类，得到最终的识别结果，以根据预设对应关系得到与所述识别结果对应的控制指令。优选地，所述状态还包括空闲态，所述处理模块还用于当所述脑电信号所处的状态为空闲态时不做任何处理。优选地，所述依据所述脑电信号确定受试者下一次在哪种状态下产生脑电信号的过程为：对所述脑电信号进行傅里叶变换，得到所述脑电信号的频谱；从所述频谱中提取所述脑电信号中的α波；计算所述α波的能量幅值；判断所述能量幅值是否超过切换阈值，如果是，则控制显示模块按照预设轮换规则切换至下一个状态，否则，控制显示模块维持当前状态。优选地，所述预设轮换规则为依次选择所述SSVEP状态、所述运动想象状态及所述空闲态。优选地，所述处理模块包括：SSVEP信号处理器，用于当所述脑电信号所处的状态为SSVEP状态时，依据接收到的脑电信号确定受试者接受的刺激频率，并将该刺激频率作为最终的识别结果，以根据预设对应关系得到与所述识别结果对应的控制指令；运动想象信号处理器，用于当所述脑电信号所处的状态为运动想象状态时，依据接收到的脑电信号确定受试者在进行哪种运动想象，并将该运动想象作为最终的识别结果，以根据预设对应关系得到与所述识别结果对应的控制指令。优选地，所述依据接收到的脑电信号确定受试者接受的刺激频率的过程为：对接收到的脑电信号进行傅里叶变换，得到所述脑电信号的频谱；从所述频谱中提取幅度谱在所述SSEVP刺激界面的刺激频率的基频处的峰值，得到特征值，所述特征值的个数等于所述SSVEP刺激界面的个数；判断所述特征值中是否存在特征值超过第一阈值，如果是，则将超过第一阈值中数值最大的特征值对应的刺激频率作为受试者接受的刺激频率。优选地，所述采集单元包括用于分别采集人脑的C3区域、C4区域及CZ区域的3个电极，所述从接收到的脑电信号中确定受试者在进行哪种运动想象的过程为：对接收到的脑电信号进行小波分解及利用AR模型提取模型系数，得到位于C3区域、C4区域及CZ区域的脑电信号的响应；根据所述响应确定受试者在进行哪种运动想象；其中，当位于C3区域的脑电信号出现ERS现象，位于C4区域的脑电信号出现ERD现象，位于CZ区域的脑电信号正常时，则确定受试者在进行左手运动想象；当位于C3区域的脑电信号出现ERD现象，位于C4区域的脑电信号出现ERS现象，位于CZ区域的脑电信号正常时，则确定受试者在进行右手运动想象；当位于C3区域的脑电信号出现ERS现象，位于C4区域的脑电信号出现ERS现象，位于CZ区域的脑电信号出现ERD现象时，则确定受试者在进行脚运动想象。优选地，所述脑电采集模块包括：脑电帽，用于受试者带在头上；设置于所述脑电帽上的采集单元，用于采集受试者的脑电信号；放大器，用于对所述脑电信号进行放大；A/D转换单元，用于将所述脑电信号由模拟量转换为数字量；去噪单元，用于对所述脑电信号的数字量进行去噪和去眼动处理。优选地，该系统还包括：50Hz限波滤波器，用于对去噪和去眼动处理后的脑电信号进行50Hz限波；带通滤波器，用于对经过50Hz限波后的脑电信号进行5-40Hz的带通滤波。优选地，所述采集单元包括6个分别用于采集人脑的C3区域、C4区域、CZ区域、O1区域、O2区域及OZ区域的脑电信号的电极，其中，C3区域和O1区域的电极构成一组差分电极，C4区域和O2区域的电极构成一组差分电极，CZ区域和OZ区域的电极构成一组差分电极。本发明提供了一种多态脑机接口系统，包括状态确定模块，用于确定受试者当前产生的脑电信号所处的状态及依据脑电信号确定受试者下一次在哪种状态下产生脑电信号，状态包括SSVEP状态及运动想象状态；显示模块，用于为受试者提供SSEVP刺激界面；脑电采集模块，用于采集受试者的脑电信号；处理模块，用于根据脑电信号所处的状态对脑电信号进行相应的特征提取和模式分类，得到最终的识别结果，以根据预设对应关系得到与识别结果对应的控制指令。可见，本发明将SSEVP运动想象有机的结合在一起，且能够实现通过受试者的脑电信号实现SSVEP状态和运动想象状态的切换，则一方面，可识别的目标数是SSVEP的可识别频率的个数与可识别运动想象的个数的总和，且增加了识别的状态数，提高了受试者使用的灵活性和实用性；另一方面，有效地避免了单一模式下带来的脑力疲劳。附图说明为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本发明提供的一种多态脑机接口系统的结构示意图；图2为本发明提供的一种脑电信号的小波树分解图；图3为本发明提供的一种国际10/20标准导联系统的结构示意图。具体实施方式本发明的核心是提供一种多态脑机接口系统，一方面，可识别的目标数是SSVEP的可识别频率的个数与可识别运动想象的个数的总和，且增加了识别的状态数，提高了受试者使用的灵活性和实用性；另一方面，有效地避免了单一模式下带来的脑力疲劳。为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。请参照图1，图1为本发明提供的一种多态脑机接口系统的结构示意图，该系统包括：显示模块1，用于为受试者提供SSEVP刺激界面；这里的显示模块1可以用来显示SSVEP(Steady-StateVisualEvokedPotentials，稳态视觉诱发电位)刺激界面，SSVEP的原理为当人们受到某个频率的视觉刺激的时候，大脑的视觉皮层会产生与刺激频率有关的响应，继而发生电位的变化。视觉刺激的频率不同，对应不同的电位变化。因此，根据不同频率的SSEVP刺激界面产生的脑电信号是不同的，进而可以建立起SSVEP刺激界面—脑电信号—控制指令之间的一一对应关系，从而实现脑控。本申请中，可以在显示模块1上设置不同区域的SSVEP刺激界面，每个区域的SSVEP刺激界面的频率是不同的，可以预先设置与每个SSVEP刺激界面相对应的控制指令。当受试者想要发出怎样的控制指令时就看哪个SSVEP刺激界面，进而产生与该频率的SSEVP刺激界面相对应的脑电信号，在对该脑电信号进行特征提取和识别后确定相应的控制指令。例如，可以在显示模块1的屏幕四周设置四个SSVEP刺激界面，频率分别为8Hz、12Hz、15Hz、18Hz。这里的SSVEP刺激界面可以是闪烁黑白格，可以5*5规格的，也可以是6*6规格的，当然，还可以是其他图形及其他规格的，本发明在此不做特别的限定。另外，这里的显示模块1还可以显示运动想象引导界面(实际上受试者在进行想象运动时并不需要注视界面，这里的运动想象引导界面只是起到提醒的一个作用)，可以理解的是，运动想象的原理为人的大脑在进行运动想象时，大脑的相应区域会出现ERD(event-relateddesynchronization，事件相关去同)现象或者ERS(event-relatedsynchronization，事件相关同步)现象。具体地，当人进行某种意识活动时，大脑皮层的对应区域处于活动状态，这些区域产生的μ节律和β波的低频部分将出现幅度衰减,即ERD现象。在某一时刻，大脑皮层的局部区域没有受到意识模式的激励，该区域内的EEG(脑电信号)局部成分将出现幅度的增强，即ERS现象。因此，可以预先为受试者会进行的运动想象引导界面引导，例如受试者会进行左手运动想象、右手运动想象及脚运动想象，则分别用左箭头、右箭头及下箭头来引导。则相应地，当状态确定模块3确定下一次的状态为SSVEP状态时，则控制显示模块1显示SSVEP刺激界面，当状态确定模块3确定下一次的状态为运动想象状态时，则控制显示模块1切换至运动想象引导界面。具体在使用时，受试者穿戴脑电采集模块2，坐在显示模块1的正前方，眼镜与屏幕保持大约0.6～0.8米的距离。另外，这里的显示模块1可以为电脑或者其他终端。脑电采集模块2，用于采集受试者的脑电信号；脑电采集模块2用于实时采集受试者的脑电信号，并将脑电信号分别传送至状态确定模块3和处理模块4。状态确定模块3，用于确定受试者当前产生的脑电信号所处的状态及依据脑电信号确定受试者下一次在哪种状态下产生脑电信号，状态包括SSVEP状态及运动想象状态；状态确定模块3在接收到脑电采集模块2发送的脑电信号后，对脑电信号进行相应的处理，以判断该脑电信号是受试者处于哪种状态下产生的脑电信号，以来决定处理模块4采用哪种算法对该脑电信号进行处理。另外，状态确定模块3还会依据该脑电信号确定下一次受试者在哪种状态下产生控制指令，也即在哪种状态下发送控制指令，具体地，在SSVEP状态时，可以控制显示模块1显示SSEVP刺激界面，在运动想象界面时，关闭SSEVP刺激界面，显示运动想象引导界面或者空白界面。在实际应用中，状态确定模块3可以根据脑电信号来决定是否要切换至下一状态，这实际上也是判断用户是否要切换状态，如果是，则可以按照预先设定好的规则来确定要切换至哪个状态。处理模块4，用于根据脑电信号所处的状态对脑电信号进行相应的特征提取和模式分类，得到最终的识别结果，以根据预设对应关系得到与识别结果对应的控制指令。处理模块4在接收到脑电信号后，根据状态确定模块3获知该脑电信号是在哪种状态下产生的，如果是SSVEP状态，则利用与SSVEP相对应的算法来对脑电信号进行特征提取和模式分类，如果是运动想象状态，则利用与运动想象相对应的算法来对脑电信号进行特征提取和模式分类，得到最终的识别结果，以根据预设对应关系得到与识别结果对应的控制指令。本发明提供了一种多态脑机接口系统，包括显示模块，用于为受试者提供SSEVP刺激界面；脑电采集模块，用于采集受试者的脑电信号；状态确定模块，用于确定受试者当前产生的脑电信号所处的状态及依据脑电信号确定受试者下一次在哪种状态下产生脑电信号，状态包括SSVEP状态及运动想象状态；处理模块，用于根据脑电信号所处的状态对脑电信号进行相应的特征提取和模式分类，得到最终的识别结果，以根据预设对应关系得到与识别结果对应的控制指令。可见，本发明将SSEVP运动想象有机的结合在一起，且能够实现通过受试者的脑电信号实现SSVEP状态和运动想象状态的切换，则一方面，可识别的目标数是SSVEP的可识别频率的个数与可识别运动想象的个数的总和，且增加了识别的状态数，提高了受试者使用的灵活性和实用性；另一方面，有效地避免了单一模式下带来的脑力疲劳。在上述实施例的基础上：作为一种优选地实施例，状态还包括空闲态，处理模块4还用于当脑电信号所处的状态为空闲态时不做任何处理。一方面，为了使得用户能够根据自己的意愿去选择要不要进行脑控，另一方面，为了给用户提供休息的时间，缓解用户的脑力疲劳，本申请还可以设置脑机接口系统的状态为空闲态，当用户想要进行脑控任务时，则可以产生相应的脑电信号来控制系统进入空闲态，在该空闲态时，虽然脑电信号采集模块还在采集，但处理模块4不会对该脑电信号做任何处理。可见，本申请提供的多态脑机接口系统，用于可以根据自己的意愿来自由决定什么时候开始想象任务，什么时候结束想象任务，无需系统干预，属于一种完全独立的脑机接口系统。作为一种优选地实施例，依据脑电信号确定受试者下一次在哪种状态下产生脑电信号的过程为：对脑电信号进行傅里叶变换，得到脑电信号的频谱；从频谱中提取脑电信号中的α波；计算α波的能量幅值；判断能量幅值是否超过切换阈值，如果是，则控制显示模块1按照预设轮换规则切换至下一个状态，否则，控制显示模块1维持当前状态。本申请提供了一种利用α波(8Hz～14Hz)来实现模式转换的脑机接口系统。具体地，人在闭眼时人脑会产生α波，闭眼时间的长短决定着α波的能量幅值的大小，基于此，申请人想到可以将人闭眼时(例如5～10s)产生的α波的能量幅值来作为模式切换的触发点。具体地，状态确定模块3在接收到脑电信号后对脑电信号进行傅里叶变换，进而得到脑电信号的频谱，然后从脑电信号的频率中提取出α波并计算α波的能量幅值，当该能量超过切换阈值时，则控制显示模块1切换至下一个状态(也即下一个界面)，否则，控制显示模块1维持当前状态。本申请通过设置切换阈值可以避免将受试者闭眼当成状态切换指令，提高了系统使用的准确性。作为一种优选地实施例，预设轮换规则为依次选择SSVEP状态、运动想象状态及空闲态。可以理解的是，这里的预设轮换规则除了可以为上述这种顺序外，还可以为其他顺序，在一个轮循中，每个状态出现的次数也是可变的，本发明在此均不作特别的限定，根据实际情况来定。作为一种优选地实施例，处理模块4包括：SSVEP信号处理器，用于当脑电信号所处的状态为SSVEP状态时，依据接收到的脑电信号确定受试者接受的刺激频率，并将该刺激频率作为最终的识别结果，以根据预设对应关系得到与识别结果对应的控制指令；运动想象信号处理器，用于当脑电信号所处的状态为运动想象状态时，依据接收到的脑电信号确定受试者在进行哪种运动想象，并将该运动想象作为最终的识别结果，以根据预设对应关系得到与识别结果对应的控制指令。上述提到，对于不同状态下产生的脑电信号的处理方法也是不同的，对于SSVEP信号处理器，其是要根据脑电信号判断出受试者接受的是哪种刺激频率，对于运动想象信号处理器，其是要根据脑电信号判断出受试者在进行哪种运动现象，进而得到与刺激频率或者运动想象对应的控制指令。作为一种优选地实施例，依据接收到的脑电信号确定受试者接受的刺激频率的过程为：对接收到的脑电信号进行傅里叶变换，得到脑电信号的频谱；从频谱中提取幅度谱在SSEVP刺激界面的刺激频率的基频处的峰值，得到特征值，特征值的个数等于SSVEP刺激界面的个数；判断特征值中是否存在特征值超过第一阈值，如果是，则将超过第一阈值中数值最大的特征值对应的刺激频率作为受试者接受的刺激频率。这里以SSVEP刺激界面有四个，刺激频率分别为8Hz、12Hz、15Hz、18Hz为例来介绍：SSVEP信号处理器主要进行频谱分析，提取幅度谱在刺激频率8Hz、12Hz、15Hz、18Hz的基频和二倍频处出现的明显峰值，称之为特征值，接着进行特征分类，如果某个特征值超过了第一阈值，则该特征值对应的刺激频率就是受试者接受的视觉刺激频率。如果超过阈值的特征值不止一个，则认为其中最大的特征值对应的刺激频率就是受试者接受的视觉刺激频率。作为一种优选地实施例，采集单元包括用于分别采集人脑的C3区域、C4区域及CZ区域的3个电极，从接收到的脑电信号中确定受试者在进行哪种运动想象的过程为：对接收到的脑电信号进行小波分解及利用AR模型提取模型系数，得到位于C3区域、C4区域及CZ区域的脑电信号的响应；根据响应确定受试者在进行哪种运动想象；其中，当位于C3区域的脑电信号出现ERS现象，位于C4区域的脑电信号出现ERD现象，位于CZ区域的脑电信号正常时，则确定受试者在进行左手运动想象；当位于C3区域的脑电信号出现ERD现象，位于C4区域的脑电信号出现ERS现象，位于CZ区域的脑电信号正常时，则确定受试者在进行右手运动想象；当位于C3区域的脑电信号出现ERS现象，位于C4区域的脑电信号出现ERS现象，位于CZ区域的脑电信号出现ERD现象时，则确定受试者在进行脚运动想象。上述实施例提到，对于左右手运动想象的ERD/ERS现象发生在大脑皮层的C3、C4区域，会引起该区域信号的μ节律和β节律的幅值发生特定变化，即当受试者进行左手运动想象时，C3区域的脑电数据在8～12Hz频段的功率谱幅值出现升高，即发生在ERS现象，而C4区域的脑电数据在8～12Hz频段的功率谱幅值出现降低，即发生ERD现象；反之，当受试者进行右手的运动想象时，C3通道发生ERD想象，C4通道则发生ERS现象。基于此，申请人经过研究发现，受试者在进行身体不同部位的运动想象时，人脑的一些运动区域的响应：运动区域的相应与身体不同部位的运动想象的关系表运动想象任务C3C4CZ左手ERSERD右手ERDERS双脚ERSERSERD特征提取就是通过一系列变换(小波变换和AR模型)，将信号中不易被观察和显示的特征(ERD和ERS)进行放大，最终结果为将输入信号变成一个特征向量。具体地，将脑电信号小波分解到第3层，整个分解过程和频带范围如图2所示，图2为本发明提供的一种脑电信号的小波树分解图。频带子带范围：D1(32～64Hz)，D2(16～32Hz)，D3(8～16Hz)，A3(0～8Hz)，A2(0～16Hz)，A1(0～32)，可以看出D3在脑电信号的α波段范围附近，D2在脑电信号的β波段附近，而脑电信号的ERD/ERS现象主要就出现在α和β波段。为了进一步减少特征向量的维数，提取了小波系数的均值、能量均值、均方差，得到的特征向量总共18维。此外，还利用6阶AR模型从脑电信号提取模型系数，作为运动脑电信号的又一个特征向量，这样每个通道就获得了6个小波系数统计特征、6个AR模型系数特征，C3、C4和CZ3个通道共36个特征。将获得的特征向量送入SVM进行训练和分类，即可得到受试者在进行哪种运动想象。作为一种优选地实施例，脑电采集模块2包括：脑电帽，用于受试者带在头上；设置于脑电帽上的采集单元，用于采集受试者的脑电信号；放大器，用于对脑电信号进行放大；A/D转换单元，用于将脑电信号由模拟量转换为数字量；去噪单元，用于对脑电信号的数字量进行去噪和去眼动处理。可以理解的是，为了提高最终结果的准确性，在采集单元得到脑电信号后还需要对脑电信号进行去噪和去眼动处理，其中，这里去眼动是因为受试者在眨眼时会导致脑电信号产生杂波。另外，因为脑电信号非常小，为uV级别的，因此，这里需要利用放大器将脑电信号放大到A/D转换单元能够转换的范围内。作为一种优选地实施例，该系统还包括：50Hz限波滤波器，用于对去噪和去眼动处理后的脑电信号进行50Hz限波；带通滤波器，用于对经过50Hz限波后的脑电信号进行5-40Hz的带通滤波。具体地，脑电采集模块2在进行采集时容易受到外界干扰(电器设备、手机等)，为了提高最终控制的准确性，这里采用50Hz限波滤波器来去除掉50Hz的工频波。另外，再通过带通滤波器对经过50Hz限波后的脑电信号进行5-40Hz的带通滤波，通过上述方式能有效消除脑电信号中的噪声，提高信号的信噪比，有利于提高信号处理的准确率。作为一种优选地实施例，采集单元包括6个分别用于采集人脑的C3区域、C4区域、CZ区域、O1区域、O2区域及OZ区域的脑电信号的电极，其中，C3区域和O1区域的电极构成一组差分电极，C4区域和O2区域的电极构成一组差分电极，CZ区域和OZ区域的电极构成一组差分电极。本申请中，电极按照“国际10/20标准导联系统”位置进行放置，请参照图3，图3为本发明提供的一种国际10/20标准导联系统的结构示意图，可见，记录运动想象数据的电极位于大脑初级运动传感区域和辅助运动区域，对应的电极为C3、C4、CZ，记录视觉注意数据的电极位于大脑枕部区域，对应的电极为O1、O2、OZ，然后将C3—O1、C4—O2、CZ—OZ组成三对差分电极。为电极通道注入导电胶，并确保其与头皮接触良好。综上，本申请：1)利用C3—O1、C4—O2、CZ—OZ三对差分电极进行脑电信号的采集，对局部信号的变换采集灵敏性高，可提高信号的信噪比，降低其他干扰的影响程度，同时，由于C3、C4、CZ对应大脑初级运动传感区域和辅助运动区域，O1、O2、OZ对应大脑枕部区域，在进行SSVEP和运动想象的切换时既不需要增加电极也不需要更改电极的贴法，可以同时兼容两种方式。此外，上述差分电极贴法可以起到节省电极数的作用，仅需使用6个电极既可以采集到所需的信号，大大简化了采集装置，进一步增加了该脑机接口系统的实用性。2)利用人在闭眼情况下大脑在α波频段会有相应明显现象的先验知识，发明了基于α波的多态转换机制，利用该机制可以进行稳态视觉诱发和运动想象的状态切换，提高了受试者使用的灵活性和实用性，同时增加的识别的状态数。与现有技术相比，本申请将稳态视觉诱发和运动想象有机的结合在一起，使受试者能完全自主的进行选择不同状态的脑电作业，更加贴近了实际的使用情况，同时，避免了单一模式下带来的脑力疲劳。3)本申请利用2)中所说的基于a波的多态转换机制，同时实现了异步的脑机接口系统，相较于现在大部分的同步脑机接口系统，更加具备实用的价值。需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。当前第1页1 2 3