前额脑电与血氧信息融合的人机交互方法

专利名称：前额脑电与血氧信息融合的人机交互方法
技术领域：
本发明涉及脑-机接口技术领域，具体讲，涉及前额脑电与血氧信息融合的人机交互装置。
背景技术：
第一次脑-机接口(Brain-Computer Interface，BCI)国际会议给出的BCI的定义是“BCI是一种不依赖于大脑外围神经与肌肉正常输出通道的通讯控制系统。”目前的研究成果中，它主要是通过采集和分析不同状态下人的脑电信号，然后使用一定的工程技术手段在人脑与计算机或其它电子设备之间建立起直接的交流和控制通道，从而实现一种全新的信息交换与控制技术，可以为残疾人特别是那些丧失了基本肢体运动功能但思维正常的病人提供一种与外界进行信息交流与控制的途径。即可以不需语言或肢体动作，直接通过控制脑电来表达意愿或操纵外界设备。为此，BCI技术也越来越受到重视。到目前为止，最常用的BCI系统大都是基于脑电信息的，近年来出现了基于脑血氧信息的BCI系统。其技术原理是一致的。如图1所示，含有操作控制意图的脑电信息(血氧信息)通过电极(探测器)从头皮或颅内获得，经过信号处理提取反映使用者意图的脑电信息(血氧信息)特征，并将之转化为控制外部设备的操作命令。并且BCI研究的主要应用目标是帮助肢体严重瘫痪的残疾人操纵和使用周边日常生活工具，以实现对外界的信息交流和设备控制。

发明内容
为克服现有技术的不足，本发明的主旨是提出一种新的将想象动作诱发的前额脑电与脑血氧两类信息的变化特征相结合来实现对不同动作模式的识别的研究方法，以及设计一种新的同步采集这两类信息变化特征的人_机交互装置。为达到上述目的，本发明采用的技术方案是前额脑电与血氧信息融合的人机交互方法，其特征是，借助于下列装置实现近红外光光源，用于发光照射到大脑皮层；光电探测器，用于探测反射回的光强，光强信息发生的变化间接反映脑血氧的变化；滤波和后级放大电路，用于对光电探测器输出的信号进行滤波和放大，滤波和放大后的信号经数据采集卡输入到计算机；脑电电极，用于探测功率谱比率下降ERD信号；脑电放大器，用于对脑电电极输出信号进行放大和滤波，滤波和放大后的信号经数据采集卡输入到计算机；
所述方法包括下列步骤 对采集卡输入到计算机的数据进行时频分析_短时傅里叶变换分析，用于以短时傅里叶变换方法得到脑电信号的二维时频图谱；对不同模式的想象动作之间的可分性作Fisher分析，得到Fisher系数的二维时频图谱，从图谱上找到Fisher系数明显较大的位置对应的时间段和频率段，这样取得的时频窗以及它对应到短时傅里叶变换得到的二维时频图的时频窗后得到功率谱密度值作为提取到的一个特征；用于对数字信号进行离散Fourier变换分析，经过变换之后，时域的脑血氧信号转换为频域信号，从得到的频域信号，也就是频谱图上寻找频率段的特征；将提取到的特征用来训练SVM分类器，训练后得到一个模型，然后再利用这个模型来对未知模式类型的想象动作进行分类，得到的结果即为未知模式想象动作的模式识别结果以及得到识别正确率。使近红外光光源发出的近红外光波长为760nm和850nm。对所述滤波和后级放大电路中的后级放大电路采用可调增益的同相比例运算电路；采用二阶巴特沃斯低通滤波器进行滤波。将脑电电极附着在成人头部前额叶皮层的背外侧和部分腹外侧脑区，外侧用特殊遮光材料将表面除光源和探测器之外其余部分都覆盖，源标距设定为2. 89cm。本发明特点在于实验过程在前额上进行，方便操作的同时，也避免了头发及头皮对信号采集的影响，也可让身体瘫痪但头脑功能正常的残疾人在使用该装置时避免了使用前后洗头的必要。进一步研究可以得到完善的脑-机接口系统，有望获得可观的社会效益和经济效益。


图IBCI系统及其控制。图2本发明装置的结构框图。图3Hb02和Hb在近红外光谱区的吸收系数。图4蒙特卡洛仿真示意图。图5恒流源电路设计。图6前额探测装置布局。图7后级放大滤波电路图。图8想象动作任务时段分布图。图9想象动作任务静息期界面。图10想象动作任务提示期界面。 图11想象动作任务想象期界面。图12实验采集程序的流程框图。
具体实施例方式发明设计了一种基于想象动作的脑电与脑血氧同步采集的人-机交互装置。正常人在进行想象左右手动作时会在相应功能区产生我们称之为事件相关去同步现象(EventRelated Desynchronization, ERD)的脑电特征信号，而同时也会引起脑部血氧信息的变化，这种变化可以通过近红外光谱技术(Near-infrared spectroscopy, NIRS)来测得。本装置就设计将想象动作引起的这两类信号的变化特征结合起来对不同模式的想象动作进行识别，以期能够实现两者的同步与结合，并得到更高的识别准确率。其技术流程是搭建好一个能够在人头部前额区域同时对脑电和脑血氧变化信息进行采集的装置，然后在实验系统指导下，采集操作者的在执行不同模式想象动作时产生的脑电和脑血氧信号数据，将其存储后再进行一定的预处理、时频分析、Fisher可分性分析，最后使用支持向量机或隐马尔科夫模型对不同模式的数据进行分类，得到更高的正确率。
本发明选用了脑电信息中的ERD特征和脑血氧信息中的特征变化作为特征控制信号。当人对肢体动作进行想象的时候动态脑电信号特征频段功率谱密度就会发生改变， 其中功率谱比率下降称为ERD，通常在10-12HZ最为明显；同时脑血流中的含氧血红蛋白和去氧血红蛋白的浓度发生变化，可以提取到浓度变化引起的光谱强度变化特征。由此可以利用大脑在进行想象动作思维时所引发的ERD现象和血氧变化特征现象作为思维活动对刺激事件有效应答的标志。区别于传统脑电装置，本发明将想象动作诱发的脑电ERD现象和血氧变化现象两种不同的特征信息有机地融合在一起，设计了一种新型的复合型装置。 通过在受试者前额上与C3、C4相对的位置放置Ag-Agcl电极来检测脑电ERD特征，同时在前额上按一定布局放置近红外光源和探测器以检测血氧信息的变化，从而提取受试者想象动作时的脑电与脑血氧信息的变化特征用作识别不同动作模式的分类标准。该装置的实验操作过程在前额进行，相对头部脑电装置的实验操作要简单，只需解决两类信息同步采集的问题即可。图2为本发明装置的结构示意图。该设计包括脑电电极和脑电放大器，近红外光源及探测器和光源恒流驱动，后级放大、滤波电路，数据采集卡、计算机等部分。采集脑电和脑血氧信息的实验程序是在Labview平台下设计的，使用多通道的数据采集卡实现想象动作时脑部两类信息的同步采集。受试者由计算机屏幕上的实验例程指示进行相应的想象动作任务，执行任务时脑电和脑血氧信息都会产生相应的变化脑电信号在大脑皮层产生，由脑电电极探测后经过脑电放大器放大、滤波，然后进入数据采集卡进行模数转换后输入计算机；脑血氧信号则是在光源发光照射到大脑皮层后，由探测器探测反射回的光强信息发生的变化间接反映脑血氧的变化，该信号经过后继放大、滤波后经数据采集卡模数转换后输入计算机。采集到得脑电和脑血氧信息数据再经过后续的数据处理提取其在想象动作任务时的特征信号，从而将这些特征应用于未知想象动作模式时同类实验任务的模式识别。本发明要点在于近红外光谱技术测量脑部血氧信息变化的原理、想象动作诱发的脑电与脑血氧变化信号采集装置的设计、同步采集实验方案的设计、实验数据的特征提取及模式识别等技术环节。1近红外光谱技术测量脑部血氧信息变化的原理近红外光谱技术Near-Infrared Spectroscopy (NIRS)，是指通过研究物质在近红外光区的吸收光谱来得知物质特性和浓度等的一种技术。其检测脑部血流变化的原理是大脑的血流供应会随着功能活动的局部变化而产生局部响应。当大脑处于激活状态时， 会引起局部脑血流与氧代谢率改变，从而引起相应区域内血氧浓度的变化。人体组织对近红外光700-900nm呈现高度前向散射和低吸收特性，使光子能够穿透几个厘米的深度；Hb02和Hb在近红外光谱区的吸收系数有明显差异。脑血氧信息中的 Hb02和Hb的浓度变化由相应波长处光强度的变化来计算(修正后的双波长Lambert-Beer 定律)。(1)、最佳波长的选取上述原理中提到的两个波长该如何选取，是首先应该考虑的问题。成人脑组织中， 水的体积分数很高，因此水的吸收对近红外血氧检测有很大影响。而水的光吸收作用在 700-900nm(“光窗口”区)相对较低。在该光窗口内水可视作固定不变的吸收物质，就可以当作常数考虑。实际临床中脑脊液的吸收特性与水相当，也当作常数。脑组织中的其他成分，如脂肪、黑色素、细胞色素氧化酶等这些成分 基本不随供氧状况而改变，在前期研究阶段可看作稳定吸收体，因此最佳波长的选取主要依据Hb和Hb02光谱特性。上述两类血红蛋白的近红外吸收特性见图3。在光窗口区，两者的吸收光谱都存在峰值。从图上可以看出在760nm波长，Hb吸收达到峰值；在850nm波长，Hb02达到吸收峰值。因此，我们选取760nm和850nm这两个波长的近红外光以用于脑血氧信息的检测。(2)、源标距的确定源标距是指光源与目标测试点之间的水平距离。在本设计中，即指近红外光源与光探测器之间的水平距离。文献表明，源标距对光束的穿透深度影响很大，因此只有反射式才能达到头部组织的测量目的。人体组织对近红外光的散射大于吸收，属于强散射介质。单个光子在组织中的传播是随机的，不存在确定的光子行进的路径长度。但大量光子仍存在概率意义上的平均迁移规律，这可以通过蒙特卡洛仿真的方法得到，如图4所示。结果证明，光子能够在源标距 (图4中r)设定为2. 89cm的情况下，穿透至少Icm后的头皮、头骨和脑脊液层，探测大脑皮
层的血氧信息。2想象动作诱发的脑电与脑血氧变化信号采集装置的设计(1)、光源及光源恒流驱动采用EPITEX公司生产的型号为SMT-L760/805/850的三波长发光二极管作为光源。芯片内部集成了测量所需的760、805、850nm三个波长的LED，以保证组织血氧变化时 Hb02和Hb对不同波长光吸收的差动效应。采用多波长一体化光源不仅可以优化探头体积， 而且能够充分消除普通的分立型发光二极管因为空间位置离散对测量结果造成的影响。该型号的发光二极管正常工作需要给予稳定的电流供电，故需利用电压基准设计恒流源电路。本设计采用稳压管作为电压基准，结合三极管组成恒流源，如图5所示。电流计算公式为I = (Vd-Vbe)/Rl0这样输出的恒流可以为电源供电，通过选择Rl来满足电流要求。其中760nm发光二极管需75mA电流供电，850nm发光二极管需要IOOmA电流供电。(2)、探测器采用BURR-BROWN公司生产的0PT101作为光信号探测单元，该器件内部集成了一个雪崩光电二极管和前置放大器，减少了分立元件的许多常见问题，如漏电流产生的误差，杂散电容产生的噪声和增益畸变等。(3)、脑电电极本系统采用Spes Medica公司生产的银-氯化银电极作为传感器拾取前额脑电信号。脑电信号采集使用单极导联方式(优点在于每个导联记录的是电极所在头皮电位活动的绝对值，便于后 期信号处理)，并以双耳的公共连接作参考电极，同时后者也作为接地端输入放大器。(4)、布局设计本设计覆盖成人头部前额叶皮层的背外侧和部分腹外侧脑区，外侧用特殊遮光材料将表面除光源和探测器之外其余部分都覆盖，如图6所示。红色点和白色点分别表示光源和探测器的位置，根据之前分析，源标距设定为2. 89cm，从而得到如图布局；而绿色点则表示脑电电极的位置。遮光材料可达到排除外界杂散光的干扰、防止近红外光不经过组织衰减而直接耦合到探测器上、避免器件直接接触皮肤和确保被试者的安全。(5)、后级放大、滤波电路设计人体的各种信号幅度都是比较小且容易掺杂噪声的，需要进行放大和滤波处理。 脑电电极采集到得脑电信号直接进入脑电放大器(SYMT0P公司生产的9216SM型EEG信号放大器)，在放大器内完成放大和滤波；而血氧信号由探测器探测到后还需要进一步后级放大和滤波。该设计采用可调增益的同相比例运算电路作为后级放大电路，它可以避免前级输出的微弱信号失真同时提高共模抑制比；降低输出电阻，便于和数据采集卡的模拟输入端级联。采用二阶巴特沃斯低通滤波器增加系统对高频噪声的抑制能力，对IOKHz以上的噪声信号有极大的抑制，因此对于大多数空间的电磁干扰能够很好的排除。具体参看图 7。经过放大和滤波后的脑电和脑血氧信号都与数据采集卡(Ni公司生产的 USB-6251)的模拟输入端级联，经模数转换后输入到计算机中形成数据文件。3同步采集实验方案的设计在硬件系统搭建完成后，就要完善硬件系统的软支持，也就是实验采集程序、方案。在Labview平台下编写实验采集程序，实现使用数据采集卡的多输入通道同步采集脑电和脑血氧信号。单次实验的过程如图8所示，其中每一次想象动作任务用时28秒，包括四个连续的记录时段(图8)第一时段(0-8秒)为静息期，此时段中受试者处于安静无动作状态(图9)；第二时段(第9-10秒)为提示期，系统于第8秒时刻处随机点亮标注为想象左手的灯或想象右手的灯，作为本次实验的想象方式提示。若提示为想象左手，受试者在第三时段想象自己左上肢做屈臂运动；若提示为想象右手，则受试者在第三时段想象自己右上肢做屈臂运动(图10)；第三时段(第11-20秒)为想象期，在第10秒钟时刻标注为开始的灯会点亮，受试者按照提示期所给出的想象方式进行想象动作(图11)；第四时段(第 21-28秒)为静息期，为想象期之间的间歇期，此时段与第一时段一样所有提示灯会熄灭。该实验采集程序的编写是按照如图12所示框图的流程进行的，由信号采集模块对输入采集卡模拟输入端的脑电和脑血氧信号进行采集，经数据预处理模块后存储为带有标签的数据，这些数据再在后续的模式识别模块中进行处理。4实验数据的特征提取及模式识别4.1脑电数据的特征提取(1)、时频分析-短时傅里叶变换由于想象动作引起的脑电ERD现象有着特定的发生频段和相对于诱发刺激固定的时间延迟，因此可以采用短时傅里叶变换结合叠加平均的方法对刺激前后的频谱成分变化以及分布特点进行分析。常用的谱分析方法中暗含着对于处理信号的平稳性假设，也即是假设信号的频谱成分在整个时间轴上是同分布的，而对于时间相关的诱发动态脑电信号而言，这一假设显然不成立。针对这种情况，替代方法是使用可以同时提取时域与频域信息的时频分析方法，短时傅里叶分析是目前常用的时频分析方法之一，它假设脑电信号具有一定程度的短时平稳性，也即是在一个有限的时间窗内信号的频谱分布式不变的。短时傅里叶变换的方法是首先使用一个有限宽度的观察窗W(t)对信号x(t)进行观察，然后对加窗后的信号进行傅立叶变换得到的，
+CO
权利要求
1.一种前额脑电与血氧信息融合的人机交互方法，其特征是，借助于下列装置实现近红外光光源，用于发光照射到大脑皮层；光电探测器，用于探测反射回的光强，光强信息发生的变化间接反映脑血氧的变化；滤波和后级放大电路，用于对光电探测器输出的信号进行滤波和放大，滤波和放大后的信号经数据采集卡输入到计算机；脑电电极，用于探测功率谱比率下降ERD信号；脑电放大器，用于对脑电电极输出信号进行放大和滤波，滤波和放大后的信号经数据采集卡输入到计算机；所述方法包括下列步骤对采集卡输入到计算机的数据进行时频分析_短时傅里叶变换分析，用于以短时傅里叶变换方法得到脑电信号的二维时频图谱；对不同模式的想象动作之间的可分性作Fisher分析，得到Fisher系数的二维时频图谱，从图谱上找到Fisher系数明显较大的位置对应的时间段和频率段，这样取得的时频窗以及它对应到短时傅里叶变换得到的二维时频图的时频窗后得到功率谱密度值作为提取到的一个特征；用于对数字信号进行离散Fourier变换分析，经过变换之后，时域的脑血氧信号转换为频域信号，从得到的频域信号，也就是频谱图上寻找频率段的特征；将提取到的特征用来训练SVM分类器，训练后得到一个模型，然后再利用这个模型来对未知模式类型的想象动作进行分类，得到的结果即为未知模式想象动作的模式识别结果以及得到识别正确率。
2.根据权利要求1所述的一种前额脑电与血氧信息融合的人机交互方法，其特征是， 使近红外光光源发出的近红外光波长为760nm和850nm。
3.根据权利要求1所述的一种前额脑电与血氧信息融合的人机交互方法，其特征是， 对所述滤波和后级放大电路中的后级放大电路采用可调增益的同相比例运算电路；采用二阶巴特沃斯低通滤波器进行滤波。
4.根据权利要求1所述的一种前额脑电与血氧信息融合的人机交互方法，其特征是， 将脑电电极附着在成人头部前额叶皮层的背外侧和部分腹外侧脑区，外侧用特殊遮光材料将表面除光源和探测器之外其余部分都覆盖，源标距设定为2. 89cm。
全文摘要
本发明涉及脑-机接口技术领域。为提供一种新的将想象动作诱发的前额脑电与脑血氧两类信息的变化特征相结合来实现对不同动作模式的识别的研究方法，以及设计一种新的同步采集这两类信息变化特征的人-机交互装置，本发明采用的技术方案是前额脑电与血氧信息融合的人机交互方法，包括借助于近红外光光源、光电探测器、滤波和后级放大电路、脑电电极、脑电放大器、计算机实现，计算机用于信号变换、处理得到结果。本发明主要应用于前额脑电与血氧信息融合的人机交互装置的设计制造。
文档编号G06F3/01GK102156541SQ20111008998
公开日2011年8月17日 申请日期2010年5月13日 优先权日2010年5月13日
发明者万柏坤, 刘延刚, 明东, 曾红梅, 綦宏志, 许敏鹏 申请人:天津大学