专利名称：基于多模态脑机接口的智能轮椅的制作方法
技术领域：
本发明涉及脑机接口应用研究及人工智能领域，特别涉及一种多模态脑机接口的智能轮椅。
背景技术：
脑机接口(Brain-Computer Interface, BCI)的概念始于1973年，它是在人或动物脑与外部设备间建立的直接连接通路。自上世纪70年代以来，随着神经科学和计算机技术的发展，脑机接口取得了很大进展。目前，根据脑信号获取的方式的不同，脑机接口可分为侵入式和非侵入式，直接将电极植入到脑壳内称为侵入式BCI ；从头皮获取信号则称为非侵入BCI。脑电(Electro-enc印halo graphy,EEG)是脑细胞群体发放电所产生的宏观现象，当大脑活动的时候，会产生特定的脑电信号。对于侵入式脑机接口因将电极置入大脑， 可以直接从大脑皮层提取到信噪比较高的脑电信号。但对于非侵入脑机接口，则通常通过戴电极帽、红外成像、功能核磁共振等方式来获取脑电信号。由于非侵入式BCI的研究，只需要通过特定的设备在大脑皮层的表面直接进行脑电信号的采集和处理，且不需要进行外科手术，因此非侵入式一直是BCI研究热点。非侵入式BCI由于脑电信号(EEG)的时间分辨率高，且采集设备具有容易携带、便于使用等优势，是一种实用的脑机接口方式。基于EEG的非侵入式BCI，根据神经生理学机理可分为基于运动想象(Motor imagery, MI)的BCI系统、基于事件相关电位(Event related Potential，ERP)的 BCI 系统、基于视觉诱发电位(Visual evoked potentials, VEP)的 BCI 系统等。基于运动想象BCI的机理。受试者意识清醒时在从事与感觉运动相关的活动时，感觉运动皮层区域能够检测到8-12Hz节律的脑电波，这种节律称为Mu节律。通常 Mu节律出现的同时，伴随18-26HZ的Beta节律出现。Beta节律的一部分是Mu节律的倍频，另外一部分是独立的脑电特征。Mu和Beta节律与脑的运动区域有关联，准备运动或实际运动伴随着对侧的Mu和Beta节律的下降，称为事件相关去同步(Event-related desynchronization, ERD)，而运动的结束伴随着这两个节律的上升，称为事件相关同步 (Event-related synchronization, ERS)。基于事件相关电位(Event related Potential,ERP)BCI的机理。P300是由小概率事件(视觉、听觉、触觉等形式)诱发的一种ERP，因对应于事件发生时刻后约300毫秒后产生一个正电位波形的EEG而得名。基于P300电位的BCI采用特定的事件刺激序列诱发受试者的P300电位，根据P300的发生时刻来判断受试者的意识活动，该类型的BCI特别适用于从多个选择中选择一个目标的场合。实验表明相关事件出现的概率越小，所引起的 P300越显著，并在头部的顶骨区(中部或后部)最为显著。视觉诱发电位(Visual evoked potentials, VEP)根据视觉刺激频率的不同可分为两种类型瞬态视觉诱发电位(transient visual evoked potential)和稳态视觉诱发电位(steady-state visual evoked potential)。当刺激频率较低，单个刺激一个接一个出现，后一个刺激出现时前一个刺激引起的枕叶皮质反应已消失，对应于每个刺激是一系列正波和负波组成的VEP波形，此时产生的视觉诱发电位称为瞬态VEP;当刺激频率较高 (一般大于Mk)，刺激间隔时间小于VEP时程，多次反应的波相互干扰、叠加，形成节律性正弦样波的VEP，此时产生的视觉诱发称为稳态VEP。稳态视觉诱发由于其识别速度快、准确率高等优势，越来越得到重视，但存在容易造成视觉疲劳的缺点。目前，BCI在残疾人神经功能辅助与康复方面的应用研究尚处于起步阶段，目前对单一脑机接口的研究已较为普遍且相对成熟，但在设计实用系统时单一脑机接口很难同时满足提供多个控制指令和快速识别出控制意图，例如轮椅的实时、多自由度控制需求。瑞士 Josedel R. Millto等利用运动想象脑机接口，将事件相关同步/去同步(RED/RES)成功提取2个指令应用于轮椅左、右控制，该系统采用异步控制模式，系统平均信息传输速率为 30bits/min，但由于该系统采用单模态脑机接口，因此不能提供多个自由度控制信号，不能加、减速及启动、停止，系统实用性不高。专利CN200810053558公开的基于脑-机接口的智能轮椅控制系统及其脑电信号处理方法，利用α波阻断现象设计了一套基于α波脑机接口的轮椅操纵系统，实现了前、后、左、右四个方向移动控制，但该轮椅由于采用单模态脑机接口，很难提供多个控制信号，无法实现加速、减速及后退功能。新加坡张海虹等实现了事件关联电位(Ρ300)脑机接口的轮椅控制系统，该系统采用贝叶斯分类器，其平均通信速率可达到20bits/min基本满足实时性需求，为提高轮椅整体性能有必要进一步提高系统平均通信速率。因此本发明充分发掘两个单模态模式脑机接口的优势将其融合为多模态脑机接口以解决轮椅控制的关键问题。
发明内容
本发明主要针对上述现有技术问题的缺陷和不足，公开了一种基于多模态脑机接口的智能轮椅。本发明所要解决的技术问题是首先，受试者通过注视视觉刺激界面和主动运动想象来表达控制意图；其次，脑电采集平台实时采集受试者脑电信号，融合事件关联电位脑电信号处理模块和运动想象脑电信号处理模块的多模态脑机接口处理提取的脑电信号，判断受试者的控制意图，并输出相应的控制指令；最后，为实现脑机接口代替轮椅操纵杆的机械控制，设计控制模块使得电动轮椅具有通讯功能，即通过接收脑机接口的指令实现轮椅的启动、停止、后退、加速、减速及左转、右转操作。本发明通过如下技术方案实现一种基于多模态脑机接口的智能轮椅，包括依次连接的视觉刺激界面、脑电采集平台、多模态脑机接口、控制模块和电动轮椅；所述多模态脑机接口包括事件关联电位脑电信号处理模块和运动想象脑电信号处理模块，两个模块为并行设置。所述视觉刺激界面由车载笔记本的液晶屏提供，用于产生事件关联电位；所述脑电采集平台包括电极帽和脑电采集仪，电极帽用于采集脑电信号，脑电采集仪用于对采集的脑电信号进行放大、滤波和模数转换处理；所述控制模块包括通讯单元和控制器，控制模块根据多模态脑机接口的指令，输出两路模拟电压信号，用于控制电动轮椅的运动。 所述事件关联电位脑电信号处理模块和运动想象脑电信号处理模块的算法由车载笔记本编程提供。所述事件关联电位脑电信号处理模块的算法流程为低通滤波一P300 幅值特征一SVM分类；所述运动想象脑电信号处理模块的算法流程为CAR滤波一Mu节律频带提取一CSP特征提取一SVM分类。
事件关联电位脑电信号处理模块实现电动轮椅的启动、停止、后退、加速、减速；所述运动想象脑电信号处理模块实现电动轮椅的左转、右转。与现有技术相比，本发明具有以下有益效果可根据自己的控制意图实现电动轮椅的启动、停止、后退、加速、减速、左转和右转的运动，实现了电动轮椅的灵活控制，进一步增加了脑控智能轮椅的实用性能。由于多模态脑机接口的工作模块相互独立，采用多类分类方法，系统信息传输率明显提高，每200毫秒可输出1次指令，满足了智能轮椅的实时性需求。
图1是本发明多模态脑机接口的智能轮椅结构图。图2是智能轮椅的视觉刺激界面。图3是智能轮椅的多模态脑机接口的模块算法流程图。图4、图5是智能轮椅的控制模块的通讯单元硬件原理图，其中，图4为 STM32F103C6T6控制芯片，图5为数模转换电路。图6是智能轮椅性能测试的分段路线图。
具体实施例方式以下结合附图和实施例对本发明作进一步详细说明，但本发明的实施方式不限于此。实施例如图1所示，模态脑机接口的智能轮椅包括依次连接的视觉刺激界面、脑电采集平台、多模态脑机接口、控制模块和电动轮椅。受试者头戴32导联电极帽，坐在电动轮椅的座椅上，便携式脑电采集仪放置于轮椅后备袋，车载笔记本放置于轮椅台面，视觉刺激界面由车载笔记本的液晶屏提供，多模态脑机接口模块的处理算法由车载笔记本编程提供，控制模块的通讯单元及控制器固定于轮椅扶手位置。如图2所示，视觉刺激界面共有5个P300闪烁键，受试者注视闪烁键可产生基于事件关联电位的脑电信号。其中“S”键指示轮椅启动，“F”键指示轮椅加速，“D”键指示轮椅减速，“B”键指示轮椅后退，“T”键指示轮椅停止。受试者的眼睛距视觉刺激界面65cm， 注视“S”闪烁键启动轮椅。在系统启动后，根据意愿自主选择注视相应的闪烁键以实现轮椅控制注视“F”、“D”、“B”和“T”闪烁键可分别实现轮椅的加速、减速、后退和停止。而想象左、右手可产生基于运动想象的脑电信号，可分别实现轮椅的左转、右转。电极帽用于采集脑电信号，为保证电极与头皮有良好的接触，电极帽插孔中注入具有良好导电特性的导电胶，电阻在5千欧以下。受试者通过主动运动想象和视觉刺激来表达控制意图，相对应的脑电信号经电极帽采集，再经脑电采集仪进行放大、滤波和模数转换处理，传送至多模态脑机接口。如图3所示，多模态脑机接口包括事件关联电位脑电信号处理模块和运动想象脑电信号处理模块，实现基于事件关联电位和基于运动想象的脑电信号并行处理，所述事件关联电位脑电信号处理模块的算法流程为低通滤波一P300幅值特征一SVM分类；所述运动想象脑电信号处理模块的算法流程为CAR滤波一Mu节律频带提取一CSP特征提取—SVM分类。多模态脑机接口根据得到的SVM分类结果分别发送相应的指令至控制模块。如图4所示，控制模块的通讯单元主要由STM32F103C6T6控制芯片构成，根据I/ 0接收到的指令，驱动两片数-模转换芯片，输出两路模拟电压信号，以取代摇杆的输出信号。每个电压值对应着轮椅的运动特性，根据测试摇杆输出的电压值，得出表1控制指令表，调试时可以用多模态脑机接口发送相应控制指令，亦可以直接用车载笔记本的软件发送。表1控制指令表
权利要求
1.一种基于多模态脑机接口的智能轮椅，其特征在于包括依次连接的视觉刺激界面、 脑电采集平台、多模态脑机接口、控制模块和电动轮椅；所述多模态脑机接口包括事件关联电位脑电信号处理模块和运动想象脑电信号处理模块，两个模块为并行设置。
2.根据权利要求1所述的多模态脑机接口的智能轮椅，其特征在于所述视觉刺激界面由车载笔记本的液晶屏提供，用于产生事件关联电位。
3.根据权利要求1所述的多模态脑机接口的智能轮椅，其特征在于所述脑电采集平台包括电极帽和脑电采集仪；所述电极帽用于采集脑电信号，所述脑电采集仪用于对采集的脑电信号进行放大、滤波和模数转换处理。
4.根据权利要求1所述的多模态脑机接口的智能轮椅，其特征在于所述控制模块包括通讯单元和控制器；控制模块根据多模态脑机接口的指令，输出两路模拟电压信号，用于控制电动轮椅的运动。
5.根据权利要求1、之一所述的多模态脑机接口的智能轮椅，其特征在于所述事件关联电位脑电信号处理模块和运动想象脑电信号处理模块的算法由车载笔记本编程提供。
6.根据权利要求5所述的多模态脑机接口的智能轮椅，其特征在于所述事件关联电位脑电信号处理模块的算法流程为低通滤波一P300幅值特征一SVM分类；所述运动想象脑电信号处理模块的算法流程为CAR滤波一Mu节律频带提取一CSP特征提取一SVM分类。
7.根据权利要求6所述的多模态脑机接口的智能轮椅，其特征在于所述事件关联电位脑电信号处理模块实现电动轮椅的启动、停止、后退、加速、减速；所述运动想象脑电信号处理模块实现电动轮椅的左转、右转。
全文摘要
本发明公开了一种基于多模态脑机接口的智能轮椅，包括依次连接的视觉刺激界面、脑电采集平台、多模态脑机接口、控制模块和电动轮椅。受试者通过注视视觉刺激界面和主动运动想象来表达控制意图，脑电采集平台完成脑电信号采集、放大、滤波及数字化后传给多模态脑机接口，再进行实时脑电信号预处理、特征提取、分类，将受试者控制意图转换为指令发送到控制模块的通讯单元，再通过控制器控制轮椅，从而实现轮椅的启动、停止、后退、左转、右转、加速、减速七种运动。可以帮助重症瘫痪病人为大脑开拓新的信息输出渠道，为脑机接口多自由度控制的研究和实用化提供新的思路，在医疗康复、医学生理实验等方面具有诸多价值。
文档编号A61G5/04GK102309380SQ20111026889
公开日2012年1月11日 申请日期2011年9月13日 优先权日2011年9月13日
发明者李远清, 王洪涛 申请人:华南理工大学