一种基于脑机交互的注意力训练方法及系统与流程

文档序号:12063109阅读:334来源:国知局
一种基于脑机交互的注意力训练方法及系统与流程
本发明涉及脑电设备
技术领域
,尤其涉及一种基于脑机交互的注意力训练方法及系统。
背景技术
:现在市场中的脑电设备模式分为两种:一种是单通道设备,记录大脑在不同状态规律性的频率变化,并根据不同频率的脑波对设备发出不同的指令。比如用户在集中注意力的时候能产生Beta波,可以让遥控的小汽车前行,Alpha波比较弱,能操控其后退。现在市面上的大部分脑电智能穿戴设备都是基于这一原理运作的。另一种是多通道设备,通过硬件技术采集不同脑域的脑电,经过一套专业的算法处理来对大脑的不同情绪进行识别。这种模式的设备在国外已经有Emotiv,不过在国内比较少见。训练者注意力缺失多动症是一个全球性的问题,而目前尚缺乏简单直观的多动症检测的方法,目前,脑电设备大多数用于医疗领域,且价格高昂、使用复杂。脑机接口作为一种新技术,在心理、教育、娱乐等领域有着广泛应用前景,而将脑电设备用于训练者注意力训练方面的技术还并不是很多。因此,有必要针对注意力检测提供一种基于脑电设备的注意力训练方法及系统,使注意力训练变得更加直观和有效。技术实现要素:本发明实施例提供了一种基于脑机交互的注意力训练方法及系统,旨在至少在一定程度上解决现有技术中的上述技术问题之一。为了解决以上提出的问题,本发明实施例采用的技术方案包括:一种基于脑机交互的注意力训练方法,包括:步骤a:将脑电设备与运行脑机交互训练平台的智能终端进行连接;步骤b:通过脑电设备实时采集训练者的专注度数值和脑电信号,将获取的专注度数值及提取的脑电信号数据传输到运行脑机交互训练平台的智能终端;步骤c:通过智能终端将脑电设备传输的专注度数值及脑电信号数据存储在脑机代理数据库中;步骤d:通过脑机代理数据库对专注度数值及脑电波信号数据进行分析后,与相应的关联模型进行匹配,获取训练者的注意力训练结果,并通过智能终端显示注意力训练结果。本发明实施例采取的技术方案还包括:在所述步骤a中,所述脑电设备是单通道数据采集的无线脑电波系统,采用普通脑电图机及干式传感器技术,所述脑电设备为3触点设计,实时显示用户的原始脑电波数据。本发明实施例采取的技术方案还包括:所述步骤a还包括:通过脑机交互训练平台判断脑电设备是否正确佩戴并连接成功,如果准确佩戴并连接成功,则进入步骤b,其中,判断脑电设备是否正确佩戴并连接成功方式为:在在脑电连接程序中设置监听程序,通过该监听程序检测脑电设备是否与运行脑机交互训练平台的智能终端连接成功。本发明实施例采取的技术方案还包括:在所述步骤b中,通过eSense算法计算训练者的专注度数值,通过专注度数值控制注意力训练游戏中的虚拟角色进行闯关。本发明实施例采取的技术方案还包括:所述步骤b还包括:将脑电信号进行滤波处理,消除不需要的脑电信号,从脑电信号中提取出可识别的脑电信号数据。本发明实施例采取的技术方案还包括:所述步骤d还包括:脑机代理数据库将注意力训练结果以语义或/和可视化的图谱形式分别反馈给训练者、管理者等角色,各角色可根据反馈结果采取相应的应对措施。本发明实施例采取的另一技术方案为:一种基于脑机交互的注意力训练系统,包括脑电设备、脑机交互训练平台、运行脑机交互训练平台的智能终端和脑机代理数据库,所述脑电设备与运行脑机交互训练平台的智能终端连接,所述脑电设备用于在注意力训练过程中实时采集训练者的专注度数值及脑电信号数据,并将专注度数值及脑电信号数据传输至运行脑机交互训练平台的智能终端;脑机交互训练平台用于运行训练项目,使训练者进入注意力训练状态;所述智能终端用于将脑电设备传输的专注度数值及脑电信号数据存储在脑机代理数据库中,并用于训练者及管理者的数据管理;所述脑机代理数据库用于存储脑电设备传输的专注度数值及脑电信号数据,对专注度数值及脑电波信号数据进行分析后,与相应的关联模型进行匹配,获取训练者的注意力训练结果,并通过运行脑机交互训练平台的智能终端显示注意力训练结果。本发明实施例采取的技术方案还包括:所述脑电设备包括专注度获取模块、角色控制模块、脑电信号获取模块和脑机通信模块,所述专注度获取模块在注意力训练过程中,实时获取训练者的专注度数值;所述角色控制模块用于通过专注度数值控制游戏中的虚拟角色进行闯关;所述脑电信号获取模块用于在注意力训练过程中,实时采集训练者的脑电信号;所述脑机通信模块用于将获取的专注度数值和提取的脑电信号数据传输到运行脑机交互训练平台的智能终端。本发明实施例采取的技术方案还包括:所述脑机交互训练平台包括管理者模块,所述管理者模块包括管理者登录单元、项目管理单元和管理者报告查看单元,所述登录单元用于显示管理者登录界面供管理者注册登录,所述项目管理单元用于训练项目列表的管理,所述报告查看单元用于管理者查看注意力训练结果。本发明实施例采取的技术方案还包括:所述脑机交互训练平台还包括训练者模块,所述训练者模块包括训练者登录单元、连接单元、项目选择单元和训练者报告查看单元,所述训练者登录单元用于显示训练者登录界面供训练者注册登录,所述连接单元用于判断脑电设备是否正确佩戴并连接成功,所述项目选择单元用于显示项目选择界面供训练者选址训练项目,所述训练者报告查看单元用于训练者查看注意力训练结果。与现有技术相比,本发明实施例的有益效果在于:本发明实施例的基于脑机交互的注意力训练方法及系统在训练过程中,通过脑电设备实时获取训练者的专注度数值,并通过专注度数值控制注意力训练游戏中的虚拟角色进行闯关,将训练者注意力训练的任务情境嵌入到与集中注意力紧密相关的游戏场景中,寓教于乐,引导训练者在完成闯关任务的同时逐渐提高注意能力,养成集中注意力的良好习惯;并将注意力训练迁移到日常生活与学习中,在日常生活与学习过程中,通过脑电设备实时采集训练者的专注度数值及脑电波信号;通过脑机代理数据库对脑电设备实时采集的脑电波信号数据进行分析后,与相应的关联模型进行匹配,获取训练者的注意力训练结果,并将注意力训练结果以语义或/和可视化的图谱形式分别反馈给训练者及管理者,训练者及管理者可根据反馈结果采取相应的应对措施,从而对训练者的专注度问题进行有针对性的干预训练。附图说明图1为本发明实施例的基于脑机交互的注意力训练方法的整体框架图;图2是本发明第一实施例的基于脑机交互的注意力训练方法的流程图;图3是本发明实施例的便携式可穿戴意念头箍示意图;图4是本发明实施例的脑电设备连接状态示意图;图5是本发明实施例的“脑力运动会之兔子快跑”的主题界面;图6是本发明实施例的现有项目列表示意图;图7为注意力时序变化曲线图;图8为注意力百分比统计图;图9是本发明第二实施例的基于脑机交互的注意力训练方法的流程图;图10是本发明实施例的基于脑机交互的注意力训练系统的结构示意图。具体实施方式为了便于理解本发明,下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是,本发明可以以许多不同的形式来实现,并不限于本文所描述的实施例。相反地,提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的
技术领域
的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。请参阅图1和图2,图1是本发明实施例的基于脑机交互的注意力训练方法的整体框架图,图2是本发明第一实施例的基于脑机交互的注意力训练方法的流程图。本发明第一实施例的基于脑机交互的注意力训练方法包括以下步骤:步骤100:训练者佩戴脑电设备,并将脑电设备与运行脑机交互训练平台的智能终端信号连接;在步骤100中,本发明实施例的脑电设备是一种单通道数据采集的无线脑电波系统,采用普通脑电图机及干式传感器技术,电极贴附在头皮上通过传感器从额叶皮质区安全地捕捉脑电波波形,对人体完全无创。该脑电设备为3触点设计,能实时显示用户的原始脑电波数据,包括Alpha波、Beta波、Delta波、Gamma波、Theta波等频段8个EEG参数。考虑到便携性、多功能性及使用的灵活性,本发明实施例的脑电设备为意念头箍,具体如图3所示,为本发明实施例的便携式可穿戴意念头箍示意图。本发明实施例的脑电设备设有NeuroSkyThinkGear脑机接口,NeuroSkyThinkGear脑机接口技术是在一块芯片中集成脑电波信号的采集、滤波、放大、A/D转换(模数转换)、数据处理及分析等过程,并将eSense参数(包括“专注度”和“放松度”等参数)和原始的脑电波数据对外输出。脑机交互训练平台可运行于智能手机、平板电脑、PC或智能电视等终端设备,脑电设备与智能终端的连接方式包括但不限于有线、WiFi或蓝牙等。步骤110:通过脑机交互训练平台判断脑电设备是否正确佩戴并连接成功,如果准确佩戴并连接成功,执行步骤120;在步骤110中,具体如图4所示,为本发明实施例的脑电设备连接状态示意图。在本发明实施例中,通过在unity的Plugins文件夹中添加一个ThinkGear的插件,此插件是将脑电数据与脑机交互训练平台连接的关键。调用ThinkGear插件的程序为:controller=GameObject.Find("ThinkGear").GetComponent<TGDeviceController>();在脑电连接程序中,设置一个监听程序,通过该监听程序检测脑电设备是否与运行脑机交互训练平台的智能终端连接成功。图4中左上角分别为图标和文字提示,画面中央为正确佩戴脑电设备的指示图。黄灯代表连接中,变为蓝色时表示已成功连接。步骤120:通过智能终端运行脑机交互训练平台,训练者注册登录后通过脑机交互训练平台运行注意力训练游戏,在训练过程中,通过脑电设备实时获取训练者的专注度数值,并通过专注度数值控制注意力训练游戏中的虚拟角色进行闯关;在步骤120中,本发明实施例通过eSense算法计算训练者的专注度数值;eSense是NeuroSky以数值方式测量人当前精神状态的算法。eSense参数是用具体数值(1-100)来表示用户专注度与放松度,不仅可以实时读出用户当下的脑电波数据,而且还能解读出用户的“专注度”和“放松度”的值。其中,专注度(Attention)是一个整型数值,表示的是通过eSenseTM算法之后训练者实时专注度的值,当训练者高度集中注意力或者说发生直接且稳定的精神活动的时候反映训练者精神专注度或者集中度的水平。它的取值范围是0—100。当训练者分心、注意力不集中或者紧张都会降低专注度水平。放松度是一个字节的无符号数值,表示的是通过eSenseTM算法之后训练者实时放松度的值,反映训练者精神宁静度或者说放松度的水平。它的取值范围是0—100。需要注意的是这个值衡量的是精神上的放松状况而不是生理上的。所以单纯的全身肌肉放松可能不会立即提高放松度的值。然而,对于大多数人在大多数情况下,身体放松通常也会帮助大脑放松。放松度与大脑中积极的精神活动的减少是相关的,而且它被一个可以长时间观测到的因素所影响,这个影响因素就是人在眨眼时会使精神活动处于停滞状态,所以眨眼通常是一个使放松度升高的有效方式。当训练者分心,漫无目的的游想,紧张,激动或者受到敏感刺激都可能会使放松度的值有所下降。本发明实施例通过Zone区间值表示训练者的实时表现情况,取值范围是0—9,这个值只有当训练者从一个区间跳到另一个区间时才会被传送。(1)在高级区间9时,训练者必须使专注度数值保持在94以上,并且放松度的值趋于稳定或者是上升。(2)在中级区间5时,训练者必须使专注度的值保持在64以上,并且放松度的值趋于稳定或者是上升。(3)在初级区间1时,训练者必须使专注度的值保持在28以上,并且放松度的值趋于稳定或者是上升。(4)在未开始的区间0时,训练者专注度的值都低于28或者是处于初级区间但是放松度的值在下降的。当脑电设备与人体接触不良时,Zone区间值计算会暂停,并且所有数据值都会重置。本发明实施例中,注意力训练游戏为RPG(Role-playinggame,角色扮演游戏)角色扮演游戏,RPG角色扮演游戏以Unity3D为开发引擎,以C#语言进行模块化开发,建模为3Dmax,包含脑电设备与智能终端连接模块、游戏关卡设计模块和脑电数据分析模块。unity3D是一个跨平台的开发工具,可以将软件打包输出在PC端、安卓端、IOS端运行,实现多端访问。在开始进入游戏前,用户需要进行注册登录,便于注意力训练数据的保存和查询。本发明以下实施例中,仅以“脑力运动会之兔子快跑”的RPG角色扮演游戏为例进行具体说明,游戏场景、游戏角色或游戏界面等可根据训练人群的不同进行设计。具体如图5所示,是本发明实施例的“脑力运动会之兔子快跑”的主题界面。具体地,“脑力运动会之兔子快跑”的设计思想来源于龟兔赛跑的故事,游戏画面简洁明快,具有较好的亲和力。游戏共分为三个关卡,第一关卡的对手是乌龟,由于乌龟速度较慢,兔子只需要较低的专注度即可完成闯关;第二关卡对阵小羊,游戏中设有石头障碍,兔子需要更高的专注度越过石头障碍才能进入第三关卡;第三关卡的对手是速度最快的小狼,游戏中设有萝卜地的诱惑、石头、土坑等多重障碍,兔子需要更高的专注度才能完成闯关;在游戏过程中,画面右上角设置闹钟,用于显示游戏的倒计时时间。训练者即通过“意念”控制游戏中的“兔子”进行闯关。在闯关过程中,通过脑电设备实时获取训练者注意力的专注度数值,并将专注度数值转化为游戏角色移动的控制命令,达到“专注度越集中,角色移动就越快”的效果。在每次过关后,可以查看过关时间、专注度数值变化曲线等数据。步骤130:在闯关过程中,通过脑电设备实时采集训练者的脑电信号,将脑电信号进行滤波处理,消除不需要的脑电信号,从脑电信号中提取出八种常见可识别的脑电信号数据,并将获取的专注度数值及提取的脑电信号数据传输到运行脑机交互训练平台的智能终端,实现基于脑电波的人机交互;在步骤130中,提取出的八种常见可识别的脑电信号数据具体包括:delta(0.5-2.75Hz)theta(3.5-6.75Hz)low-alpha(7.5-9.25Hz)high-alpha(10-11.75Hz)low-beta(13-16.75Hz)high-beta(18-29.75Hz)low-gamma(31-39.75Hz)mid-gamma(41-49.75Hz).这些信号数据值是没有单位的,意义就是在一个样本里与其他频带的值做比较。步骤140:通过智能终端将脑电设备传输的专注度数值及脑电信号数据存储在脑机代理数据库中,通过脑机代理数据库记录脑电波随时间的变化曲线图;步骤150:通过脑机代理数据库对专注度数值及脑电波信号数据进行分析后,与相应的关联模型进行匹配,获取训练者的注意力训练结果,并通过智能终端显示注意力训练结果;在步骤150中,关联模型是通过研究训练过程(主要关注注意维度的认知过程)与训练成绩之间的关系,建立起来的关系模型。脑机代理数据库与智能终端相互嵌入,以便得到训练者训练过程中的实时脑电波数据,从而了解训练者的认知过程与训练状态。脑机代理数据库获取的注意力训练结果包括注意力变化情况、认知负荷水平、激励反馈、提醒反馈、报告建议、训练排名等训练数据。脑机代理数据库中具体包括以下内容:(一)用户基础数据表该表存储了用户的用户名和密码以及创建该用户的时间,见表1:表1编号字段意义字段名称字段类型长度主键是否空值1ID号IDint11是否2用户名usernametext25否是3密码passwordtext20否是4创建时间createtimedatetime25否是(二)项目管理数据表该表存储了训练项目的相关信息,包括项目标题、项目类型、项目描述、项目状态、以及用户名与创建时间,见表2:表2(三)脑波分值数据表该表中存储了训练者完成项目之后的训练结果的相关信息,包括ID号、用户名、游戏ID、场景ID、登录次数、完成状态和脑波分数、持续时间、开始时间、结束时间。见表3:表3编号字段意义字段名称字段类型长度主键是否空值1ID号IDint11是否2用户名usernametext25否是3场景IDsceneIDint25否是4游戏IDgameIDint25否是5登录次数playSNint20否是6完成状态isFinishtinyint2否是7脑波分数markint20否是8持续时间durationint25否是9开始时间beginTimedatetime20否是10结束时间endTimedatetime20否是(四)脑波详细数据表该数据表中存储了8个频段的脑电波频率,分别为delta、theta、low-alpha、high-alpha、low-beta、high-beta、low-gamma、mid-gamma;也包含了、专注度值、放松度值、游戏ID、场景ID、分数ID、用户名和实时系统时间等信息。见表4:表4步骤160:脑机代理数据库将注意力训练结果以语义或/和可视化的图谱形式分别反馈给训练者、管理者等角色,各角色可根据反馈结果采取相应的应对措施。在步骤160中,脑机交互训练平台设有管理者模块以及训练者模块,管理者及训练者可分别通过对应模块登录查看注意力训练结果;具体地如下:管理者模块:管理者通过输入管理员账号和密码登录管理端界面后,可以根据教学需要,添加项目名称,也可以停止某些项目的运行。在训练者完成学习活动后,可以获得训练者的学习报告,查看训练者某一项目的训练情况,可以看到训练者训练的起止时间、得分情况、注意力分布百分比统计图以及注意力时序变化曲线图。具体地,管理者模块可实现以下功能:1、登录为了方便管理者统一管理,为管理者分配固定的登录用户名admin和登录密码admin。2、项目管理管理者登录成功后,系统跳转到“现有项目列表”界面,具体如图6所示,为本发明实施例的现有项目列表示意图。在这个界面中,管理者可以实现三个操作:项目停用或者启用功能、添加项目功能及查看报告功能。管理者可以对项目列表中的项目进行有效管理,因此管理者可以对项目实施停用或者启用操作。当管理者对某个项目点击停用后,训练者端此课程按钮即变为灰色,该项目将不出现在训练者的选择项目界面中,训练者不能在点击进入此课程页面进行训练。当管理者对某个项目点击启用后,该项目将出现在训练者选择项目界面中,可供训练者选择学习。管理者根据训练需求,可以随时新增新的训练项目。管理者可以点击添加按钮,系统将跳转到项目添加界面,在该界面输入项目名称和项目简介,然后点击“添加”,所添加的项目将出现在训练者项目选择界面,供学生选择学习。例如:管理者在项目添加界面输入项目名称为“美术”的项目,点击添加之后,系统将跳转至“现有项目列表”界面,在该界面可以看到“美术”项目,表示本次添加成功,训练者将在项目选择中对该项目进行选择。3.查看报告管理者想要查看某个项目的完成情况,可以在“现有项目列表”界面中点击查看按钮,系统将跳转至现有用户列表界面。在该界面中,可以查到已经完成该项目的用户名以及该用户注意力得分。与此同时,平台赋予管理者查看训练者详细报告的权限,管理者只要点击查看报告按钮,跳转至该“项目脑电过程分析界面”,即可看到训练者开始项目的时间以及结束项目的时间,还有完成项目总用时以及得分情况。再者,为了呈现更为可视化的数据结果,管理者可以查阅用户注意力时序变化曲线和注意力百分比统计图。训练者模块:当训练者输入用户名与密码登录平台,做好相应的训练准备,获得管理者设计好的训练资料,正确佩戴好脑电设备,并且确认脑电设备与脑机交互训练平台连接后,可以随时开始训练项目;进入注意力训练状态。训练者在完成项目时,可以结束该项目,并且可以在平台看到该项目的训练报告,可以看到训练的起止时间、得分情况(注意力维度计算所得,不是传统意义的学习成绩)、注意力分布百分比统计图以及注意力时序变化曲线图。具体地,训练者模块可以实现以下功能:1、登录训练者输入任意用户名和密码后即可进入平台,训练者模块的设置与管理者模块稍有区别,为了便于管理以及维护数据的安全性,管理者登录的用户名和密码是固定不变的。但为了满足训练用户的多样性,训练者是可以任意输入用户名进行登录的,初次登录系统时,密码由用户随意自拟并且保管记忆,再次用原来的用户名登录时,就必须要使用上次的登录密码,否则将会出现用户名或者密码错误的提示。2、连接训练者在登录界面输入正确的用户名和密码登录成功后,将马上跳转至“脑力连接界面”,用户点击右上角的connect连接按钮,尝试建立脑电数据与脑机交互训练平台的连接。连接成功后,系统跳转至连接成功界面,在该界面中,可以看到用户名、该用户实时的专注度数值以及进入下一个界面的前进按钮。3.项目选择模块训练者在脑力连接成功界面点击前进按钮,进入项目选择界面,该界面中会显示用户名以及用户实时专注度数值,同时显示供用户选择的项目名称,用户可以根据具体需要进入项目。想要退出该界面可以点击返回按钮,返回到用户登录界面。用户点击进入某项目后,系统跳转到项目开始或结束界面,用户可以在做好训练准备的情况下点击开始按钮,开始项目训练,当完成项目任务时,点击结束按钮结束该项目的训练。4.查看报告训练者在训练过程中,其专注度值以秒为单位被记录到脑机代理数据库中。当完成某一项目的训练后,点击结束按钮,可以查看本项目的专注度得分情况。本发明实施例中,训练者注意力训练结果包括注意力时序变化曲线图和注意力百分比统计图两种显示方式。具体如图7和图8所示,图7为注意力时序变化曲线图。其中横轴为时间,纵轴为专注度值,折线图反应的是训练者在训练过程中,专注度值随时间变化的情况。训练者可以清晰直观地看到自己的分析结果。此结果可以与该训练者此项目的成绩相结和,从而研究专注度与训练成绩之间的关系。图8为注意力百分比统计图,其中横轴为专注度数值,分为0-10、10-20、30—40、40—50、50—60、60—70、70—80、80—90、90—100几个区间,纵轴为百分比,反应的是训练者在训练过程中,专注度值在这几个区间的分布比例情况。本发明第一实施例的基于脑机交互的注意力训练方法在训练过程中,通过脑电设备实时获取训练者的专注度数值,并通过专注度数值控制注意力训练游戏中的虚拟角色进行闯关,将训练者注意力训练的任务情境嵌入到与集中注意力紧密相关的游戏场景中,寓教于乐,引导训练者在完成闯关任务的同时逐渐提高注意能力,养成集中注意力的良好习惯;同时,通过脑机代理数据库对脑电设备实时采集的脑电波信号数据进行分析后,与相应的关联模型进行匹配,获取训练者的注意力训练结果,并将注意力训练结果以语义或/和可视化的图谱形式分别反馈给训练者及管理者,训练者及管理者可根据反馈结果采取相应的应对措施,从而对训练者的专注度问题进行有针对性的干预训练。请参阅图9,是本发明第二实施例的基于脑机交互的注意力训练方法的流程图。本发明第二实施例的基于脑机交互的注意力训练方法包括以下步骤:步骤200:训练者佩戴脑电设备,并将脑电设备与运行脑机交互训练平台的智能终端信号连接;在步骤200中,本发明实施例的脑电设备是一种单通道数据采集的无线脑电波系统,采用普通脑电图机及干式传感器技术,电极贴附在头皮上通过传感器从额叶皮质区安全地捕捉脑电波波形,能实时显示用户的原始脑电波数据,包括Alpha波、Beta波、Delta波、Gamma波、Theta波等频段8个EEG参数。本发明实施例的脑电设备为意念头箍。本发明实施例的脑电设备设有NeuroSkyThinkGear脑机接口,NeuroSkyThinkGear脑机接口技术是在一块芯片中集成脑电波信号的采集、滤波、放大、A/D转换(模数转换)、数据处理及分析等过程,并将eSense参数(包括“专注度”和“放松度”等参数)和原始的脑电波数据对外输出。脑机交互训练平台可运行于智能手机、平板电脑、PC或智能电视等终端设备,脑电设备与智能终端的连接方式包括但不限于有线、WiFi或蓝牙等。步骤210:通过脑机交互训练平台判断脑电设备是否正确佩戴并连接成功,如果准确佩戴并连接成功,执行步骤220;在步骤210中,本发明实施例中通过在unity的Plugins文件夹中添加一个ThinkGear的插件,此插件是将脑电设备与脑机交互训练平台连接的关键。调用ThinkGear插件的程序为:controller=GameObject.Find("ThinkGear").GetComponent<TGDeviceController>();在脑电连接程序中,设置一个监听程序,通过该监听程序检测脑电设备是否与智能终端连接成功。图4中左上角分别为图标和文字提示,画面中央为正确佩戴脑电设备的指示图。黄灯代表连接中,变为蓝色时表示已成功连接。步骤220:通过智能终端运行脑机交互训练平台,训练者注册登录后通过脑机交互训练平台选择训练项目进行训练;在步骤220中,脑机交互训练平台设有管理者模块以及训练者模块,管理者及训练者可分别通过对应模块登录查看注意力训练结果;具体地如下:管理者模块:管理者通过输入管理员账号和密码登录管理端界面后,可以根据教学需要,添加项目名称,也可以停止某些项目的运行。在训练者完成学习活动后,可以获得训练者的学习报告,查看训练者某一项目的训练情况,可以看到训练者训练的起止时间、得分情况、注意力分布百分比统计图以及注意力时序变化曲线图。具体地,管理者模块可实现以下功能:1、登录为了方便管理者统一管理,为管理者分配固定的登录用户名admin和登录密码admin。2、项目管理管理者登录成功后,系统跳转到“现有项目列表”界面,具体如图6所示,为本发明实施例的现有项目列表示意图。在这个界面中,管理者可以实现三个操作:项目停用或者启用功能、添加项目功能及查看报告功能。管理者可以对项目列表中的项目进行有效管理,因此管理者可以对项目实施停用或者启用操作。当管理者对某个项目点击停用后,训练者端此课程按钮即变为灰色,该项目将不出现在训练者的选择项目界面中,训练者不能在点击进入此课程页面进行训练。当管理者对某个项目点击启用后,该项目将出现在训练者选择项目界面中,可供训练者选择学习。管理者根据训练需求,可以随时新增新的训练项目。管理者可以点击添加按钮,系统将跳转到项目添加界面,在该界面输入项目名称和项目简介,然后点击“添加”,所添加的项目将出现在训练者项目选择界面,供学生选择学习。例如:admin管理者在项目添加界面输入项目名称为“美术”的项目,点击添加之后,系统将跳转至“现有项目列表”界面,在该界面可以看到“美术”项目,表示本次添加成功,训练者将在项目选择中对该项目进行选择,3.查看报告管理者想要查看某个项目的完成情况,可以在“现有项目列表”界面中点击查看按钮,系统将跳转至现有用户列表界面。在该界面中,可以查到已经完成该项目的用户名以及该用户注意力得分。与此同时,平台赋予管理者查看训练者详细报告的权限,管理者只要点击查看报告按钮,跳转至该“项目脑电过程分析界面”,即可看到训练者开始项目的时间以及结束项目的时间,还有完成项目总用时以及得分情况。再者,为了呈现更为可视化的数据结果,管理者可以查阅用户注意力时序变化曲线和注意力百分比统计图。训练者模块:当训练者输入用户名与密码登录平台,做好相应的训练准备,获得管理者设计好的训练资料,正确佩戴好脑电设备,并且确认脑电设备与脑机交互训练平台连接后,可以随时开始训练项目;进入注意力训练状态。训练者在完成项目时,可以结束该项目,并且可以在平台看到该项目的训练报告,可以看到训练的起止时间、得分情况(注意力维度计算所得,不是传统意义的学习成绩)、注意力分布百分比统计图以及注意力时序变化曲线图。具体地,训练者模块可以实现以下功能:1、登录训练者输入任意用户名和密码后即可进入平台,训练者模块的设置与管理者模块稍有区别,为了便于管理以及维护数据的安全性,管理者登录的用户名和密码是固定不变的。但为了满足训练用户的多样性,训练者是可以任意输入用户名进行登录的,初次登录系统时,密码由用户随意自拟并且保管记忆,再次用原来的用户名登录时,就必须要使用上次的登录密码,否则将会出现用户名或者密码错误的提示。2、连接训练者在登录界面输入正确的用户名和密码登录成功后,将马上跳转至“脑力连接界面”,用户点击右上角的connect连接按钮,尝试建立脑电数据与脑机交互训练平台的连接。连接成功后,系统跳转至连接成功界面,在该界面中,可以看到用户名、该用户实时的专注度数值以及进入下一个界面的前进按钮。3.项目选择模块训练者在脑力连接成功界面点击前进按钮,进入项目选择界面,该界面中会显示用户名以及用户实时专注度数值,同时显示供用户选择的项目名称,用户可以根据具体需要进入项目。想要退出该界面可以点击返回按钮,返回到用户登录界面。用户点击进入某项目后,系统跳转到项目开始或结束界面,用户可以在做好训练准备的情况下点击开始按钮,开始项目训练,当完成项目任务时,点击结束按钮结束该项目的训练。4.查看报告训练者在训练过程中,其专注度值以秒为单位被记录到脑机代理数据库中。当完成某一项目的训练后,点击结束按钮,可以查看本项目的专注度得分情况。步骤230:在训练过程中,通过脑电设备实时获取训练者的专注度数值,并实时采集训练者的脑电信号,将脑电信号进行滤波处理,消除不需要的脑电信号,从脑电信号中提取出八种常见可识别的脑电信号数据,并将获取的专注度数值及脑电信号数据传输到运行脑机交互训练平台的智能终端,实现基于脑电波的人机交互;在步骤230中,提取出的八种常见可识别的脑电信号数据具体包括:delta(0.5-2.75Hz)theta(3.5-6.75Hz)low-alpha(7.5-9.25Hz)high-alpha(10-11.75Hz)low-beta(13-16.75Hz)high-beta(18-29.75Hz)low-gamma(31-39.75Hz)mid-gamma(41-49.75Hz).这些信号数据值是没有单位的,意义就是在一个样本里与其他频带的值做比较。步骤240:通过智能终端将脑电设备传输的脑电信号数据存储在脑机代理数据库中,通过脑机代理数据库记录脑电波随时间的变化曲线图;步骤250:通过脑机代理数据库对专注度数值及脑电波信号数据进行分析后,与相应的关联模型进行匹配,获取训练者的注意力训练结果,并通过智能终端显示注意力训练结果;在步骤250中,脑机代理数据库与智能终端相互嵌入,以便得到训练者训练过程中的实时脑电波数据,从而了解训练者的认知过程与训练状态。脑机代理数据库获取的注意力训练结果包括注意力变化情况、认知负荷水平、激励反馈、提醒反馈、报告建议、训练排名等训练数据。脑机代理数据库中具体包括以下内容:(一)用户基础数据表该表存储了用户的用户名和密码以及创建该用户的时间,见表1:表1编号字段意义字段名称字段类型长度主键是否空值1ID号IDint11是否2用户名usernametext25否是3密码passwordtext20否是4创建时间createtimedatetime25否是(二)项目管理数据表该表存储了训练项目的相关信息,包括项目标题、项目类型、项目描述、项目状态、以及用户名与创建时间,见表2:表2编号字段意义字段名称字段类型长度主键是否空值1ID号IDint11是否2用户名usernametext25否是3项目标题Titleint25否是4项目类型gameTypeint25否是5项目描述Descriptiontext20否是6项目状态Statetinyint2否是6实时系统时间currentTimedatetime20否是(三)脑波分值数据表该表中存储了训练者完成项目之后的训练结果的相关信息,包括ID号、用户名、游戏ID、场景ID、登录次数、完成状态和脑波分数、持续时间、开始时间、结束时间。见表3:表3(四)脑波详细数据表该数据表中存储了8个频段的脑电波频率,分别为delta、theta、low-alpha、high-alpha、low-beta、high-beta、low-gamma、mid-gamma;也包含了、专注度值、放松度值、游戏ID、场景ID、分数ID、用户名和实时系统时间等信息。见表4:表4编号字段意义字段名称字段类型长度主键是否空值1ID号IDint11是否2用户名usernametext25否是3游戏idgameIDint20否是4场景idsceneIDint25否是5分数idmarkIDint25否是6专注力值atttentionValueint25否是7放松度值meditationValueint20否是8实时系统时间currentTimedatetime20否是9deltadeltaValueint25否是10thetathetaValueint25否是11low-alphaalpha1Valueint25否是12high-alphaalpha2Valueint25否是13low-betabeta1Valueint25否是14high-betabeta2Valueint25否是15low-gammagamma1Valueint25否是16mid-gammagamma2Valueint25否是步骤260:脑机代理数据库将注意力训练结果以语义或/和可视化的图谱形式分别反馈给训练者、管理者等角色,各角色可根据反馈结果采取相应的应对措施。在步骤260中,训练者注意力训练结果包括注意力时序变化曲线图和注意力百分比统计图两种显示方式。具体如图7和图8所示,图7为注意力时序变化曲线图。其中横轴为时间,纵轴为专注度值,折线图反应的是训练者在训练过程中,专注度值随时间变化的情况。训练者可以清晰直观地看到自己的分析结果。此结果可以与该训练者此项目的成绩相结和,从而研究专注度与训练成绩之间的关系。图8为注意力百分比统计图,其中横轴为专注度数值,分为0-10、10-20、30—40、40—50、50—60、60—70、70—80、80—90、90—100几个区间,纵轴为百分比,反应的是训练者在训练过程中,专注度值在这几个区间的分布比例情况。本发明第二实施例的基于脑机交互的注意力训练方法通过将注意力训练迁移到日常生活与学习中,在日常生活与学习过程中,通过脑电设备实时采集训练者的的脑电波信号,通过脑机代理数据库对脑电设备实时采集的脑电波信号数据进行分析后,与相应的关联模型进行匹配,获取训练者的注意力训练结果,并将注意力训练结果以语义或/和可视化的图谱形式分别反馈给训练者及管理者,训练者及管理者可根据反馈结果采取相应的应对措施,从而对训练者的专注度问题进行有针对性的干预训练。请参阅图10,是本发明实施例的基于脑机交互的注意力训练系统的结构示意图。本发明实施例的基于脑机交互的注意力训练系统包括脑电设备、脑机交互训练平台、运行脑机交互训练平台的智能终端和脑机代理数据库;其中,脑电设备与运行脑机交互训练平台的智能终端信号连接,脑机代理数据库与智能终端相互嵌入。具体地:脑电设备佩戴于训练者头部,用于在注意力训练过程中实时采集训练者的专注度数值及脑电信号数据,并将专注度数值及脑电信号数据传输至运行脑机交互训练平台的智能终端;本发明实施例的脑电设备设有NeuroSkyThinkGear脑机接口,NeuroSkyThinkGear脑机接口技术是在一块芯片中集成脑电波信号的采集、滤波、放大、A/D转换(模数转换)、数据处理及分析等过程,并将eSense参数和原始的脑电波数据输出至脑机交互训练平台。脑机交互训练平台可运行于智能手机、平板电脑、PC或智能电视等终端设备,脑电设备与智能终端的连接方式包括但不限于有线、WiFi或蓝牙等。具体地,脑电设备包括专注度获取模块、角色控制模块、脑电信号获取模块和脑机通信模块;专注度获取模块在注意力训练过程中,实时获取训练者的专注度数值;其中,本发明实施例通过eSense算法计算训练者的专注度数值;eSense是NeuroSky以数值方式测量人当前精神状态的算法。eSense参数是用具体数值(1-100)来表示用户专注度与放松度,不仅可以实时读出用户当下的脑电波数据,而且还能解读出用户的“专注度”和“放松度”的值。其中,专注度(Attention)是一个整型数值,表示的是通过eSenseTM算法之后训练者实时专注度的值,当训练者高度集中注意力或者说发生直接且稳定的精神活动的时候反映训练者精神专注度或者集中度的水平。它的取值范围是0—100。当训练者分心、注意力不集中或者紧张都会降低专注度水平。本发明实施例通过Zone区间值表示训练者的实时表现情况,取值范围是0—9,这个值只有当训练者从一个区间跳到另一个区间时才会被传送。(1)在高级区间9时,训练者必须使专注度数值保持在94以上,并且放松度的值趋于稳定或者是上升。(2)在中级区间5时,训练者必须使专注度的值保持在64以上,并且放松度的值趋于稳定或者是上升。(3)在初级区间1时,训练者必须使专注度的值保持在28以上,并且放松度的值趋于稳定或者是上升。(4)在未开始的区间0时,训练者专注度的值都低于28或者是处于初级区间但是放松度的值在下降的。当脑电设备与人体接触不良时,Zone区间值计算会暂停,并且所有数据值都会重置。本发明实施例中,RPG角色扮演游戏以Unity3D为开发引擎,以C#语言进行模块化开发,建模为3Dmax,包含脑电设备与智能终端连接模块、游戏关卡设计模块和脑电数据分析模块。unity3D是一个跨平台的开发工具,可以将软件打包输出在PC端、安卓端、IOS端运行,实现多端访问。在开始进入游戏前,用户需要进行注册登录,便于注意力训练数据的保存和查询。本发明实施例中仅以“脑力运动会之兔子快跑”的RPG角色扮演游戏为例进行具体说明,游戏场景、游戏角色或游戏界面等可根据训练人群的不同进行设计。具体如图5所示,是本发明实施例的“脑力运动会之兔子快跑”的主题界面。角色控制模块用于通过专注度数值控制RPG角色扮演游戏中的虚拟角色进行闯关;在本发明实施例中,“脑力运动会之兔子快跑”游戏共分为三个关卡,第一关卡的对手是乌龟,由于乌龟速度较慢,兔子只需要较低的专注度即可完成闯关;第二关卡对阵小羊,游戏中设有石头障碍,兔子需要更高的专注度越过石头障碍才能进入第三关卡;第三关卡的对手是速度最快的小狼,游戏中设有萝卜地的诱惑、石头、土坑等多重障碍,兔子需要更高的专注度才能完成闯关;在游戏过程中,画面右上角设置闹钟,用于显示游戏的倒计时时间。训练者即通过“意念”控制游戏中的“兔子”进行闯关。在闯关过程中,通过脑电设备实时获取训练者注意力的专注度数值,并将专注度数值转化为游戏角色移动的控制命令,达到“专注度越集中,角色移动就越快”的效果。脑电信号获取模块用于在注意力训练过程中,实时采集训练者的脑电信号,将脑电信号进行滤波处理,消除不需要的脑电信号,并从脑电信号中提取出八种常见可识别的脑电信号数据;其中,提取出的八种常见可识别的脑电信号数据具体包括:delta(0.5-2.75Hz)theta(3.5-6.75Hz)low-alpha(7.5-9.25Hz)high-alpha(10-11.75Hz)low-beta(13-16.75Hz)high-beta(18-29.75Hz)low-gamma(31-39.75Hz)mid-gamma(41-49.75Hz).这些信号数据值是没有单位的,意义就是在一个样本里与其他频带的值做比较。脑机通信模块用于将获取的专注度数值和提取的脑电信号数据传输到运行脑机交互训练平台的智能终端,实现基于脑电波的人机交互。智能终端用于将脑电设备传输的专注度数值及脑电信号数据存储在脑机代理数据库中,并用于训练者及管理者的数据管理。脑机交互训练平台包括管理者模块和训练者模块,管理者通过管理者模块登录管理端界面后,可以根据教学需要,添加项目名称,也可以停止某些项目的运行。在训练者完成学习活动后,可以获得训练者的学习报告,查看训练者某一项目的训练情况,可以看到训练者训练的起止时间、得分情况、注意力分布百分比统计图以及注意力时序变化曲线图。具体地,管理者模块包括管理者登录单元、项目管理单元和管理者报告查看单元;登录单元用于显示管理者登录界面供管理者注册登录;为了方便管理者统一管理,为管理者分配固定的登录用户名admin和登录密码admin,管理者通过输入用户名和登录密码进行登录。项目管理单元用于训练项目列表的管理,包括训练项目的项目停用或者启用、添加项目及查看报告等;当管理者对某个项目点击停用后,训练者端此项目按钮即变为灰色,该项目将不出现在训练者的选择项目界面中,训练者不能在点击进入此项目页面进行训练。当管理者对某个项目点击启用后,该项目将出现在训练者选择项目界面中,可供训练者选择学习。管理者根据训练需求,可以随时新增新的训练项目。管理者可以点击添加按钮,系统将跳转到项目添加界面,在该界面输入项目名称和项目简介,然后点击“添加”,所添加的项目将出现在训练者项目选择界面,供训练者选择。例如:管理者在项目添加界面输入项目名称为“美术”的项目,点击添加之后,系统将跳转至“现有项目列表”界面,在该界面可以看到“美术”项目,表示本次添加成功,训练者将在项目选择中对该项目进行选择。报告查看单元用于管理者查看注意力训练结果;管理者想要查看某个项目的完成情况,可以在“现有项目列表”界面中点击查看按钮,系统将跳转至现有用户列表界面。在该界面中,可以查到已经完成该项目的用户名以及该用户注意力得分。与此同时,平台赋予管理者查看训练者详细报告的权限,管理者只要点击查看报告按钮,跳转至该“项目脑电过程分析界面”,即可看到训练者开始项目的时间以及结束项目的时间,还有完成项目总用时以及得分情况。再者,为了呈现更为可视化的数据结果,管理者可以查阅用户注意力时序变化曲线和注意力百分比统计图。训练者模块:当训练者输入用户名与密码登录平台,做好相应的训练准备,获得管理者设计好的训练资料,正确佩戴好脑电设备,并且确认脑电设备与脑机交互训练平台连接后,可以随时开始训练项目;进入注意力训练状态。训练者在完成项目时,可以结束该项目,并且可以在平台看到该项目的训练报告,可以看到训练的起止时间、得分情况(注意力维度计算所得,不是传统意义的学习成绩)、注意力分布百分比统计图以及注意力时序变化曲线图。具体地,训练者模块包括训练者登录单元、连接单元、项目选择单元和训练者报告查看单元;训练者登录单元用于显示训练者登录界面供训练者注册登录;训练者输入任意用户名和密码后即可进入平台,训练者模块的设置与管理者模块稍有区别,为了便于管理以及维护数据的安全性,管理者登录的用户名和密码是固定不变的。但为了满足训练用户的多样性,训练者是可以任意输入用户名进行登录的,初次登录系统时,密码由用户随意自拟并且保管记忆,再次用原来的用户名登录时,就必须要使用上次的登录密码,否则将会出现用户名或者密码错误的提示。连接单元用于判断脑电设备是否正确佩戴并连接成功;在本发明实施例中,通过在unity的Plugins文件夹中添加一个ThinkGear的插件,此插件是将脑电数据与脑机交互训练平台连接的关键。调用ThinkGear插件的程序为:controller=GameObject.Find("ThinkGear").GetComponent<TGDeviceController>();在脑电连接程序中,设置一个监听程序,通过该监听程序检测脑电设备是否与智能终端连接成功。训练者通过训练者登录单元登录成功后,将马上跳转至“脑力连接界面”,用户点击右上角的connect连接按钮,尝试建立脑电设备与智能终端的连接。连接成功后,系统跳转至连接成功界面,在该界面中,可以看到用户名、该用户实时的专注度数值以及进入下一个界面的前进按钮。项目选择单元用于显示项目选择界面供训练者选址训练项目;训练者在脑力连接成功界面点击前进按钮,进入项目选择界面,该界面中会显示用户名以及用户实时专注度数值,同时显示供用户选择的项目名称,用户可以根据具体需要进入项目。想要退出该界面可以点击返回按钮,返回到用户登录界面。用户点击进入某项目后,系统跳转到项目开始或结束界面,用户可以在做好训练准备的情况下点击开始按钮,开始项目训练,当完成项目任务时,点击结束按钮结束该项目的训练。训练者报告查看单元用于训练者查看注意力训练结果;训练者在训练过程中,其专注度值以秒为单位被记录到脑机代理数据库中。当完成某一项目的训练后,点击结束按钮,可以查看本项目的专注度得分情况。本发明实施例中,训练者注意力训练结果包括注意力时序变化曲线图和注意力百分比统计图两种显示方式。具体如图7和图8所示,图7为注意力时序变化曲线图。其中横轴为时间,纵轴为专注度值,折线图反应的是训练者在训练过程中,专注度值随时间变化的情况。训练者可以清晰直观地看到自己的分析结果。此结果可以与该训练者此项目的成绩相结和,从而研究专注度与训练成绩之间的关系。图8为注意力百分比统计图,其中横轴为专注度数值,分为0-10、10-20、30—40、40—50、50—60、60—70、70—80、80—90、90—100几个区间,纵轴为百分比,反应的是训练者在训练过程中,专注度值在这几个区间的分布比例情况。脑机代理数据库用于存储脑电设备传输的专注度数值及脑电信号数据,记录脑电波随时间的变化曲线图;并对专注度数值及脑电波信号数据进行分析后,与相应的关联模型进行匹配,获取训练者的注意力训练结果,并通过运行脑机交互训练平台的智能终端显示注意力训练结果;同时,将注意力训练结果以语义或/和可视化的图谱形式分别反馈给训练者、管理者等角色,各角色可根据反馈结果采取相应的应对措施。其中,关联模型是通过研究训练过程与训练成绩之间的关系,建立起来的关系模型。脑机代理数据库与智能终端相互嵌入,以便得到训练者训练过程中的实时脑电波数据,从而了解训练者的认知过程与训练状态。脑机代理数据库获取的注意力训练结果包括注意力变化情况、认知负荷水平、激励反馈、提醒反馈、报告建议、训练排名等训练数据。具体地,脑机代理数据库中具体包括以下内容:(一)用户基础数据表该表存储了用户的用户名和密码以及创建该用户的时间,见表1:表1编号字段意义字段名称字段类型长度主键是否空值1ID号IDint11是否2用户名usernametext25否是3密码passwordtext20否是4创建时间createtimedatetime25否是(二)项目管理数据表该表存储了训练项目的相关信息,包括项目标题、项目类型、项目描述、项目状态、以及用户名与创建时间,见表2:表2编号字段意义字段名称字段类型长度主键是否空值1ID号IDint11是否2用户名usernametext25否是3项目标题Titleint25否是4项目类型gameTypeint25否是5项目描述Descriptiontext20否是6项目状态Statetinyint2否是6实时系统时间currentTimedatetime20否是(三)脑波分值数据表该表中存储了训练者完成项目之后的训练结果的相关信息,包括ID号、用户名、游戏ID、场景ID、登录次数、完成状态和脑波分数、持续时间、开始时间、结束时间。见表3:表3编号字段意义字段名称字段类型长度主键是否空值1ID号IDint11是否2用户名usernametext25否是3场景IDsceneIDint25否是4游戏IDgameIDint25否是5登录次数playSNint20否是6完成状态isFinishtinyint2否是7脑波分数markint20否是8持续时间durationint25否是9开始时间beginTimedatetime20否是10结束时间endTimedatetime20否是(四)脑波详细数据表该数据表中存储了8个频段的脑电波频率,分别为delta、theta、low-alpha、high-alpha、low-beta、high-beta、low-gamma、mid-gamma;也包含了、专注度值、放松度值、游戏ID、场景ID、分数ID、用户名和实时系统时间等信息。见表4:表4编号字段意义字段名称字段类型长度主键是否空值1ID号IDint11是否2用户名usernametext25否是3游戏idgameIDint20否是4场景idsceneIDint25否是5分数idmarkIDint25否是6专注力值atttentionValueint25否是7放松度值meditationValueint20否是8实时系统时间currentTimedatetime20否是9deltadeltaValueint25否是10thetathetaValueint25否是11low-alphaalpha1Valueint25否是12high-alphaalpha2Valueint25否是13low-betabeta1Valueint25否是14high-betabeta2Valueint25否是15low-gammagamma1Valueint25否是16mid-gammagamma2Valueint25否是本发明实施例的基于脑机交互的注意力训练系统在训练过程中,通过脑电设备实时获取训练者的专注度数值,并通过专注度数值控制注意力训练游戏中的虚拟角色进行闯关,将训练者注意力训练的任务情境嵌入到与集中注意力紧密相关的游戏场景中,寓教于乐,引导训练者在完成闯关任务的同时逐渐提高注意能力,养成集中注意力的良好习惯;并将注意力训练迁移到日常生活与学习中,在日常生活与学习过程中,通过脑电设备实时采集训练者的专注度数值及脑电波信号;通过脑机代理数据库对脑电设备实时采集的脑电波信号数据进行分析后,与相应的关联模型进行匹配,获取训练者的注意力训练结果,并将注意力训练结果以语义或/和可视化的图谱形式分别反馈给训练者及管理者,训练者及管理者可根据反馈结果采取相应的应对措施,从而对训练者的专注度问题进行有针对性的干预训练。上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。当前第1页1 2 3 
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1