一种基于运动想象和稳态视觉诱发电位的二维光标运动控制系统及方法
【专利摘要】一种基于运动想象和稳态视觉诱发电位的二维光标运动控制系统及方法，其系统包括电极帽、脑电采集仪、系统控制单元、数据处理模块、光标控制模块以及视觉刺激器，其中所述的视觉刺激器以界面显示方式提供给用户。其方法是用户根据工作界面指令同时执行运动想象和视觉注意任务，电极帽采集脑电信号，脑电采集仪对其进行放大、滤波和模数转换，系统控制单元将运动想象与视觉注意产生的脑电数据分开后保存，数据处理模块依次对两类脑电数据进行预处理、特征提取和分类识别，光标控制模块根据分类识别的结果控制光标进行连续的二维运动。本发明具有控制精度高、稳健性好、可实现二维光标连续运动等优点，可用于计算机鼠标的运动控制。
【专利说明】一种基于运动想象和稳态视觉诱发电位的二维光标运动控制系统及方法
【技术领域】
[0001]本发明涉及脑机接口技术和计算机技术。
技术背景
[0002]计算机是一种非常流行的设备，使用计算机是一种现代工作、生活和娱乐方式。然而，现有的计算机都是为上肢正常的人设计的，需要健全的手指操作鼠标和键盘。肌萎缩性侧索硬化、脑干中风、脑瘫、脊髓损伤、帕金森氏等神经疾病，使患者大脑中枢神经系统受到损伤，引起肢体产生运动功能障碍。这些患者不能像正常人一样使用计算机，给他们的生活带来极大的不便和困扰。
[0003]脑机接口(Brain-Computer Interface, BCI)监测用户的脑活动，解读用户的意图，并将用户的意图转换为外部命令。作为一种新的、非肌肉的通信通道，BCI能够使人直接通过大脑来表达思想或操纵设备，而不需要借助语言或肢体动作。对于严重的运动残疾患者，BCI能够将他们的意图传送到外部装置，比如计算机、家用电器、护理设备以及神经假体等，从而改进他们的生活质量。
[0004]不同的脑电(Electroencephalography, EEG)信号分量,例如慢皮层电位、Mu/Beta节律、事件相关P300电位、以及视觉诱发电位(Visual Evoked Potential, VEP),都可以用作BCI的特征信号。
[0005]运动想象是一种重要的BCI实现模式。电生理学研究表明，当一个人执行或想象某个运动时，在其大脑特定区域的Mu/Beta节律信号的功率会下降，称为时件相关去同步(Event-Related Desynchronization, ERD)；当运动执行或运动想象结束时，在其大脑特定的区域的Mu/Beta节律信号的功率会上升，称为事件相关同步(Event-RelatedSynchronization, ERS)。不同肢体的运动执行或运动想象引起不同区域的Mu/Beta节律的功率变化。BCI可根据这种变化对用户不同的想象任务进行判别，从而确定用户的意图，并将这种意图转化为外部设备的控制命令。
[0006]视觉注意是另一种重要的BCI实现模式。视觉注意会在大脑特定区域产生视觉诱发电位(Visual Evoked Potential, VEP)。VEP反映了大脑的视觉信息处理机制,是人眼对闪光刺激的一种响应。按照重复刺激的频率不同，VEP可分为暂态VEP与稳态VEP。当视觉刺激的重复频率高于6Hz时，连续几次刺激诱发的响应会迭加在一起，使大脑皮层神经元发放与刺激频率同步，在大脑枕部区域脑电活动的节律明显增强，形成一种稳定的响应，称为稳态VEP (Stedy-State VEP, SSVEP)。SSVEP具有与视觉刺激频率相同的基波频率，其基波频率可用特定的信号处理算法进行检测，从而确定用户的意图。
[0007]要操作和使用计算机，用户首先要将光标移动到目标或图标位置，再使用光标对目标或图标进行选择，这就要求用户能够对光标运动进行控制，而且这种光标运动必须是二维的和连续的，才能将光标从任意一个初始位置移动到任意一个目标位置。因此，二维光标运动控制是操作和使用计算机的前提条件。现有的计算机需要用户操作鼠标对光标进行运动控制。对于运动残疾患者，在不使用鼠标的条件下如何帮助他们实现二维光标的运动控制，是科技界亟待解决的问题。
[0008]目前存在的利用BCI控制光标运动的主要技术是基于多类运动想象BCI技术、基于SSVEP和P300电位的混合BCI技术、以及基于运动想象和P300电位的混合BCI技术，如中国专利“一种基于运动想象脑机接口二维光标运动的控制方法(201210240694.7)”利用左手、右手和脚三种运动想象产生的BCI分类输出概率控制光标同时在水平和垂直方向的运动；中国专利“一种基于脑机接口的光标控制系统及方法(201310111544.0)”利用SSVEP诱发电位控制光标在水平方向上的运动，利用P300诱发电位控制光标在垂直方向上的运动；中国专利“一种脑机接口的二维光标控制方法及装置(201010509561.6)”利用运动想象产生的ERD/ERS电位控制光标在水平方向的运动，同时利用P300诱发电位控制光标在垂直方向的运动。然而，基于多类运动想象的单模式BCI，用户控制二维光标运动的难度较大，需要长时间的训练；基于SSVEP和P300电位的混合BCI，提供两个二进制输出变量，只能实现二维光标的离散控制，造成非平滑的Z字型光标运动；基于运动想象和P300诱发电位的混合BCI，受P300电位检测准确率低和检测时间长的影响，二维光标运动控制的精度较低、速度较慢。
【发明内容】
[0009]本发明的目的是克服现有技术的缺陷，提出了一种基于运动想象和稳态视觉诱发电位的二维光标运动控制系统及方法。
[0010]要控制计算机光标在屏幕上作二维运动，需要两个独立的控制变量分别、独立、同时控制光标在水平和垂直方向的运动，而且要求这种二维光标运动是连续平滑的，才能将光标从任意一个起始位置移动到任意一个目标位置。为了保证二维光标运动的稳定性，还要求在水平和垂直方向的控制具有高的准确率。本发明中基于运动想象和视觉注意的双模式混合BCI，提供了两个独立的控制变量，可以分别、独立、同时控制光标在水平和垂直方向的运动；由于基于运动想象的BCI输出变量是连续的，确保了二维光标运动的连续性；由于这两种BCI具有高的分类识别率，因而这种二维光标运动也具有较高的稳定性。
[0011]本发明是通过以下技术方案实现的。
[0012]本发明的一个方面在于提供了一种基于运动想象和稳态视觉诱发电位的二维光标运动控制系统，所述的二维光标运动控制系统包括电极帽、脑电采集仪、系统控制单元、数据处理模块、光标控制模块以及视觉刺激器。其中系统控制单元、数据处理模块、光标控制模块在计算机中编程实现；视觉刺激器用于诱发稳态视觉诱发电位(SSVEP)信号，以界面显示方式提供给用户。电极帽用于采集脑电信号，并输出给脑电采集仪，脑电采集仪用于对采集的脑电信号进行放大、滤波和模数转换，并将数字化的脑电信号通过数据线输入计算机；系统控制单元接收、保存脑电数据，启动系统工作界面，并控制视觉刺激器中的刺激键以设定的频率闪光；数据处理模块对运动想象脑电数据和视觉注意脑电数据分别进行实时预处理、特征提取和分类识别；光标控制模块根据分类识别的结果计算光标在水平和垂直方向的位移，控制光标进行连续的二维运动。光标运动过程作为视觉信息反馈给用户，帮助用户调整运动想象脑状态。
[0013]所述的视觉刺激器包含6个刺激键，分布于计算机屏幕四周。其中上边框中2个“up (向上)”刺激键以IOHz的频率闪光;下边框中的2个“down (向下)”刺激键以12Hz的频率闪光，左、右边框中各一个“stop (停止)”刺激键以15Hz的频率闪光。
[0014]本发明的另一个方面在于提供了一种基于运动想象和稳态视觉诱发电位的二维光标运动控制方法。首先，系统控制单元启动系统工作界面，在工作界面上随机产生光标和目标，控制视觉刺激器上的刺激键以设定的频率闪光；用户根据系统提供的指令，注视特定的刺激键并同时执行特定的运动想象任务；电极帽实时采集头皮脑电信号，经脑电采集仪放大、滤波和模数转换后，通过数据线输入计算机；系统控制单元接收脑电数据，根据电极位置将运动想象产生的脑电数据和视觉注意产生的脑电数据分开，保存在计算机内存中；数据处理模块实时对这两类数据进行不同的预处理、特征提取和分类识别；光标控制模块根据两类数据的分类结果，计算光标在水平和垂直方向的位移，控制光标进行连续的二维运动。光标运动过程作为视觉信息反馈给使用者，帮助用户调整运动想象脑状态。
[0015]本发明所述的控制方法，包含以下具体步骤:
[0016]I)系统初始化:使用者穿戴电极帽，坐在计算机正前方，眼睛与屏幕保持大约0.6米的距离。电极按照“国际10/20标准导联系统”放置，记录运动想象数据的电极位于大脑初级运动传感区域和辅助运动区域，记录视觉注意数据的电极位于大脑枕部区域。给记录电极通道注入导电胶，并确保其与头皮接触良好。系统控制单元启动系统工作界面，在工作界面上随机产生光标和目标，启动视觉刺激器工作。
[0017]2)脑电信号采集:使用者根据工作界面指令的要求，在注视特定刺激键的同时，执行特定的运动想象任务，产生的头皮脑电信号通过电极帽采集，经过脑电采集仪放大、滤波和模数转换后，通过数据线将数字化的脑电数据输入计算机。系统控制单元接收脑电数据，按照电极的位置将两类脑电数据分开后，保存在指定的内存中。
[0018]3)脑电数据处理:数据处理模块分别对运动想象产生的脑电信号和视觉注意产生的脑电信号依次进行预处理、特征提取和分类识别，然后将分类识别的结果传输到光标控制丰吴块。
[0019]4)光标运动控制:光标控制模块根据两类数据的分类结果，计算光标在水平和垂直方向的位移，控制光标在工作界面进行连续的二维运动。在光标移动过程中，使用者判断光标是否到达目标位置。如果光标到达目标位置，使用者停止操作，本次光标运动控制任务结束；如果光标未到达目标位置，使用者重复步骤2)和步骤3)，继续控制光标移动。
[0020]所述步骤2)中工作界面指令是指，打开工作界面时系统随机产生的光标和目标，要求使用者将光标从当前所在位置移动到目标所在位置。
[0021]所述步骤2)中特定的刺激键是指，当使用者想要控制光标在垂直方向向上运动时，使用者需要注视工作界面上边框中的两个视觉刺激键之一。这两个刺激键以IOHz的频率闪光，该频率对应的SSVEP信号被指定为控制光标向上运动；当使用者想要控制光标在垂直方向向下运动时，使用者需要注视工作界面下边框中的两个视觉刺激键之一。这两个刺激键以12Hz的频率闪光，该频率对应的SSVEP信号被指定为控制光标向下运动；当使用者想要控制光标在垂直方向不运动时，使用者需要注视工作界面左、右边框中的两个刺激键之一。这两个刺激键以15Hz频率闪光，该频率对应的SSVEP信号被指定为控制光标在垂直方向停止运动。
[0022]所述步骤2)中特定的运动想象任务是指，当使用者想要控制光标在水平方向向左运动时，使用者需要执行左手运动想象任务，该任务被指定为控制光标向左运动；当使用者想要控制光标在水平方向向右运动时，使用者需要执行右手运动想象任务，该任务被指定为控制光标向右运动。
[0023]所述步骤2)中按照电极的位置将两类脑电数据分开是指，位于大脑初级运动传感区域和辅助运动区域的电极记录的数据为运动想象产生的数据，位于大脑枕部区域的电极记录的数据为视觉注意产生的数据。
[0024]所述步骤3)中对运动想象产生的脑电信号进行预处理包括降采样率、使用共平均参考(Common Average Reference, CAR)对降米样率后的数据重定参考点、以及对重定参考点的数据进行8~30Hz的带通滤波，提取包含Mu节律和Beta节律频带的ERD/ERS信号。
[0025]所述步骤3)中对运动想象产生的脑电信号进行特征提取是指，使用共空域模式(Common Spatial Pattern, CSP)算法对带通滤波后的数据进行空域滤波,将两类数据投影到最有判别力的方向，提取投影后数据的方差为分类特征。CSP算法的具体步骤如下:
[0026]①分别计算两类数据的归一化平均协方差矩阵
【权利要求】
1.一种基于运动想象和稳态视觉诱发电位的二维光标运动控制系统，其特征是包括电极帽、脑电采集仪、系统控制单元、数据处理模块、光标控制模块以及视觉刺激器；其中系统控制单元、数据处理模块、光标控制模块在计算机中编程实现；视觉刺激器用于诱发稳态视觉诱发电位信号，以界面显示方式提供给用户；电极帽用于采集脑电信号，并输出给脑电采集仪，脑电采集仪用于对采集的脑电信号进行放大、滤波和模数转换，并将数字化的脑电信号通过数据线输入计算机；系统控制单元接收、保存脑电数据，启动系统工作界面，并控制视觉刺激器中的刺激键以设定的频率闪光；数据处理模块对运动想象脑电数据和视觉注意脑电数据分别进行实时预处理、特征提取和分类识别；光标控制模块根据分类识别的结果计算光标在水平和垂直方向的位移，控制光标进行连续的二维运动；光标运动过程作为视觉信息反馈给用户，帮助用户调整运动想象脑状态； 所述的视觉刺激器包含6个刺激键，分布于计算机屏幕四周；其中上边框中2个“up”刺激键以IOHz的频率闪光；下边框中的2个“down”刺激键以12Hz的频率闪光，左、右边框中各一个“stop”刺激键以15Hz的频率闪光。
2.权利要求1所述的基于运动想象和稳态视觉诱发电位的二维光标运动控制系统的控制方法，其特征是: 1)系统初始化:使用者穿戴电极帽，坐在计算机正前方，眼睛与屏幕保持大约0.6米的距离；电极按照“国际10/20标准导联系统”放置，记录运动想象数据的电极位于大脑初级运动传感区域和辅助运动区域，记录视觉注意数据的电极位于大脑枕部区域；给记录电极通道注入导电胶，并确保其与头皮接触良好；系统控制单元启动系统工作界面，在工作界面上随机产生光标和目标，启动视觉刺激器工作； 2)脑电信号采集:使用者根据工作界面指令的要求，在注视特定刺激键的同时，执行特定的运动想象任务，产生的头皮脑电信号通过电极帽采集，经过脑电采集仪放大、滤波和模数转换后，通过数据线将数字化的脑电数据输入计算机；系统控制单元接收脑电数据，按照电极的位置将两类脑电数据分开后，保存在指定的内存中； 3)脑电数据处理:数据处理模块分别对运动想象产生的脑电信号和视觉注意产生的脑电信号依次进行预处理、特征提取和分类识别，然后将分类识别的结果传输到光标控制模块； 4)光标运动控制:光标控制模块根据两类数据的分类结果，计算光标在水平和垂直方向的位移，控制光标在工作界面进行连续的二维运动；在光标移动过程中，使用者判断光标是否到达目标位置；如果光标到达目标位置，使用者停止操作，本次光标运动控制任务结束；如果光标未到达目标位置，使用者重复步骤2)和步骤3)，继续控制光标移动。
【文档编号】G06F3/01GK103699217SQ201310576795
【公开日】2014年4月2日 申请日期:2013年11月18日 优先权日:2013年11月18日
【发明者】魏庆国, 卢宗武, 刘且根 申请人:南昌大学