一种基于眼动及脑电信息的大型游戏场景康复系统及方法与流程

本发明属于医疗康复设备技术领域，具体涉及一种基于眼动及脑电信息的大型游戏场景康复系统及方法。

背景技术：

随着人口老龄化的出现，中风患者数量逐年增多。在中风患者中只有少数轻微患者可以自然恢复，大部分中风患者都会遗留下残疾问题。对于中风患者来说术后的康复训练至关重要，康复的首要目标是恢复身体、心理和社会功能，提高各种运动、感觉和认知障碍患者的生活质量。

近几年，脑机接口技术、康复机器人技术及游戏开发技术不断发展，在中风运动康复、中风感觉康复及中风认知障碍康复方面得到了广泛的应用，然而，进一步分析，这些技术均存在或多或少的不足，到目前为止没有在巧妙发挥各自优势避免劣势的基础上将多种技术融合一起的更全面系统的康复方案。

脑机接口技术有着主动意图识别的优势，可以用来控制各类外部设备，例如：机械外骨骼、屏幕中的光标等，经过主动的训练能够促进神经重塑。不过，考虑到中风病人的病情特点，脑机接口技术仅仅能够使用非侵入式技术，目前非侵入式脑机接口可识别意图少，所以很难开发大型脑机接口系统，亟需一种在避免劣势的基础上能够做到顺畅自然的康复系统。

游戏开发技术能够提高患者中风训练的兴趣，这对需要接受高强度训练的中风患者来说至关重要，并且使用各种游戏进项康复训练极大提高了中风患者的认知功能。目前市场上出现了各种基于简单交互的小游戏康复训练系统，并且这些康复训练游戏显著地提高了患者康复的效果。然而，小游戏始终无法形成一种强大的沉浸感，长期使用会使得患者兴趣下降。大型场景类的游戏可以增加患者对康复系统的吸引力，和其他系统的融合方式仍是一大难题。

技术实现要素：

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于眼动及脑电信息的大型游戏场景康复系统及方法，可以使用健侧和患侧协同的方式完成大型游戏的操作，在患侧操作方面，采取了眼动信息及脑电信息整合的多意图识别方案，反馈上采取了震动沉浸式反馈，在保证患者体验游戏的乐趣的同时实现更加自然的神经回路重建，从而促进中风患者运动、感觉及认知上的康复。

本发明采用以下技术方案：

一种基于眼动及脑电信息的大型游戏场景康复系统，包括脑电电极、机械外骨骼、显示屏、眼动仪和控制摇杆及bci判断按键装置，脑电电极设置在患者的头顶，机械外骨骼设置在患者的患侧，机械外骨骼上设置有触物感振子模块，控制摇杆及bci判断按键装置设置在患者的健侧，显示屏设置在患者的前方，与计算机连接，眼动仪设置在显示屏上，通过健侧和患侧配合完成康复大型游戏。

具体的，触物感振子模块包括指尖振子、指背振子和手背振子，指尖振子分布在患手的指尖，指背振子分布于患手指背，手背振子分布在患手的手背。

进一步的，指尖振子的振子单一控制，指背振子的每根手指单独控制，手背振子的振子为多个统一控制。

具体的，显示屏分为主画面和副画面，主画面和副画面根据系统流程由游戏场景画面和bci画面交替呈现。

进一步的，副画面所在位置为显示屏上患侧手所在位置对应的屏幕下方。

具体的，控制摇杆及bci判断按键装置包括控制摇杆和bci判断按键，控制摇杆用于控制行走，bci判断按键是bci阶段开始的开关按钮。

具体的，眼动仪和脑电电极采集到患者的视线及脑电的信息，之后传给计算机，计算机识别出患者想要执行性的动作及意图的强度，并进行分类，根据判别的结果给于机械外骨骼、震动触觉物感反馈、游戏反馈。

一种基于眼动及脑电信息的大型游戏场景康复系统的操作方法，包括以下步骤：

s1、患者睁开眼睛，观看游戏场景画面，同时健侧手控制控制摇杆及bci判断按键装置实现第一视角的走动，当找到想要操作的物体后，按下控制摇杆及bci判断按键装置，进入患侧bci阶段判断；

s2、bci画面转化为主画面，主画面中出现+字，然后显示屏出现提醒患者观察并模仿的文字及语音提醒，在执行观察并模仿时显示屏根据游戏场景中手的状态显示推测的患者想执行动作的动画多宫格，患者通过视线进行选择，游戏场景画面和bci画面始终保持场景的同步；

s3、主画面中出现动作的手势动画，当患者视线移动到想要执行动作动画的时候，眼动仪识别患者所观看的动作并放大，根据要执行的动作指尖和指背处的触物感振子模块产生震动触感，患者进行观察并模仿意图动画；

s4、计算机根据采集到的脑电信息判断患者执行观察并模仿期间的意图强度及意图分类；

s5、主画面切换为游戏场景画面，若意图分类为患者想要执行意图，游戏场景中肢体会执行上一步患者选择的动作，机械外骨骼带动患手同步此动作，并在碰触到物体后产生持续性的震动触物反馈，副窗口bci画面出现以意图强弱为基础的分数反馈；

s6、语音提示闭眼放松，进入闭眼放松环节，显示屏为黑屏，直到大脑状态回复到放松状态，语音提示睁开眼睛，重复执行以上步骤。

具体的，步骤s5中，若意图分类为患者观察想象强度低且分类错误，则主画面中不会产生任何运动且无震动，但副窗口仍有以意图强弱为基础的分数反馈。

具体的，游戏场景画面的行走过程中，患侧手指碰触到物体后所对应手指会产生相应位置的震动触觉反馈，除患侧手部外的其他肢体碰触到物体后，手背会产生震动的碰触反馈；抓取物体后患手一直有震动触物感；在执行观察模仿时，具有对应动作的患手触物感震动。

与现有技术相比，本发明至少具有以下有益效果：

本发明一种基于眼动及脑电信息的大型游戏场景康复系统，通过脑电电极采集患者脑电信息，机械外骨骼对患侧进行训练，将眼动与脑电结合增加了脑机接口技术的增加了意图分类数目；将大型游戏场景融入康复训练之中增加了游戏的沉浸感；实现了健侧与患侧的协同控制，有助于中风患者双手的协调性锻炼；执行观察模仿阶段具有触物感及视觉冲击，增加了运动观察模仿的效果；反馈阶段具有触觉、视觉、动觉等多模式反馈增加了脑机接口在神经重塑中纠错的反馈强度；

进一步的，触觉反馈使中风患者感觉恢复的重要手段，在本发明中，分别在患侧指尖、指背及手背处设定振子，患侧指尖、指背及其他肢体在患者行走过程中碰触到虚拟场景中的物体后会产生震动触物感反馈，这样有有助于患者的感觉的恢复及游戏沉浸感的增加。

进一步的，指尖及指背在执行观察模仿的时候会有与进行模仿的动作同步的震动反馈，如抓杯子动作，患者的所有指尖振子都会震动，形成触物反馈，如张开手，所有指背振子都会震动，产生指背触物感。如捏起笔，拇指、食指和中指指尖会产生震动。基于以上触物感及视觉的刺激会极大地增加患者大脑视觉皮层、感觉运动皮层等相关皮层的激活，产生更加稳定的脑电信号，此脑电信号有助于脑机接口技术的解码，且强烈的刺激更有利于患者的神经重塑。

另外，指尖振子在抓取到物后处闭眼放松阶段均会有与游戏场景画面同步的触物感反馈，产生一直抓住物体的感觉，此方式更加强烈的刺激了大脑感觉皮层，且代入了及强的沉浸感，增加患者的兴趣。

进一步的，主画面及副画面分别由游戏场景画面和bci画面交替进行，在游戏场景画面为主画面的时候，bci画面为副画面，此时，主画面可以为患者带来强大的游戏沉浸感，副画面为主画面中患手的放大画面，在行走过程中患者可以实时关注自己患侧虚拟肢体，产生更强的视觉刺激；在bci画面为主画面，游戏场景画面为副画面时，主画面起到了bci引导刺激的作用，有助于脑机接口技术的解码及意图识别，副画面使得患者随时观看到自己在游戏场景中的情况，可以形成更强的连贯感，使得患者更能沉浸到训练与娱乐之中。

进一步的，副画面为bci画面时，副画面起到了患者患侧虚拟肢放大的作用，形成了更加强烈的视觉刺激，使得患者更加关注自己患侧肢体且由于虚拟肢体中患侧手为正常手部状态，使得患者产生患侧肢体正常的幻觉，更有助于神经重塑；

副画面为游戏场景画面时，副画面为虚拟场景画面，使得患者能够随时关注自己在虚拟场景中的状态，游戏更加连贯，激发患者兴趣。

本发明还公开了一种基于眼动及脑电信息的大型游戏场景康复系统的操作方法，利用患者的健侧使患者沉浸到大型游戏场景康复中去，让患者感受到自己漫步在城市、街道或大自然之中，可以缓解患者患病后长期在病房的不适，另外，健侧患侧的协同控制有助于患者健侧与患侧协调性的锻炼；可以在场景中设定下各种游戏的触发场景，将多种康复游戏融入其中，使得游戏更连贯，激发患者更强的兴趣；在行走过程中，肢体碰到虚拟物体或已抓住虚拟物体会产生相应的震动，形成强大的触物反馈，实现了触觉与视觉对患者大脑的双重刺激，更有助于神经重塑；使得患者可以进入脑机接口选择阶段，将游戏与脑机接口技术巧妙结合，患侧执行的每一个动作都由bci按键按下后进入bci阶段主动判读，实现患者的主动训练；bci阶段的引导，语音及提示及+字能够调控患者的状态，使得大脑更加符合脑机接口训练康复的要求；多宫格的动画会根据患者所处的游戏动画环境及手部状态推测出患者可能执行的动作，使得选择更加简单。

综上所述，本发明巧妙的将脑机接口技术与游戏巧妙结合，搭建了一种新型框架，避免了bci意图识别少的缺点，基于本研究的框架模式可以嵌入多种康复游戏，使得患者的康复训练形成了沉浸式游戏场景整体。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明康复训练系统图；

图2为本发明控制摇杆及bci判断按键装置图；

图3为本发明患手触物感振子示意图；

图4为本发明流程图；

图5为本发明多宫格意图选择图。

其中：1.患者；2.脑电电极；3.机械外骨骼；4.显示屏；5.计算机；6.主画面；7.副画面；8.眼动仪；9.控制摇杆及bci判断按键装置；10.触物感振子模块；11.控制摇杆；12.bci判断按键；13.指尖振子；14.指背振子；15.手背振子。

具体实施方式

请参阅图1，本发明提供了一种基于眼动及脑电信息的大型游戏场景康复系统，包括脑电电极2，机械外骨骼3，高分辨率显示屏4，计算机5，眼动仪8，控制摇杆及bci判断按键装置9和触物感振子模块10，脑电电极2、机械外骨骼3、高分辨率显示屏4、眼动仪8和控制摇杆及bci判断按键装置9均与计算机5连接。

患者1坐在舒适的椅子上，患侧穿戴机械外骨骼3，指尖处有指尖振子13、指背处有指背振子14、手背处有手背振子15，头部布置脑电电极2，健侧放置有控制摇杆及bci判断按键装置9，患者前方有高分辨率显示屏4，屏中分为主画面6和副画面7，主画面6和副画面7根据系统流程由游戏场景画面和bci画面交替呈现，高分辨率显示屏4处放置有眼动仪8。

患者1通过健侧控制摇杆及bci判断按键装置9，可以实现大型场景游戏中任务的走动，当走动到想要执行的物体处，患者1可按动bci判断按键12，进行脑机接口阶段的意图识别判断阶段，眼动仪9和脑电电极2会采集到患者视线及脑电的信息，之后传给计算机，计算机通过融合算法，识别出患者想要执行性的动作及意图的强度，并进行分类，根据判别的结果给于机械外骨骼、震动触觉物感反馈、游戏反馈。

高分辨率显示屏分为主画面6和副画面7，主画面6和副画面7由游戏场景画面和bci画面依据患者所在阶段动态切换；

康复大型游戏的完成需要健侧和患侧配合完成；

副画面7所在位置为显示屏上患侧手所在位置对应的屏幕下方，如左侧为患侧手，副画面则在显示屏左下方。

请参阅图2，包括控制摇杆11，bci判断按键12，其中控制摇杆11控制行走，bci判断按键12是bci阶段开始的开关按钮。

请参阅图3，指尖振子13分布在患手的指尖，振子单一控制，指背振子14分布于患手指背，每根手指单独控制，手背振子15分布在患手的手背，振子多个统一控制。

患侧手指碰触到物体后所对应手指会产生相应位置的震动触觉反馈，除患侧手部外，其他肢体碰触到物体后，手背会产生震动的碰触反馈。

本发明将眼动与脑电结合增加了意图识别数目；将大型游戏场景融入康复训练之中增加了游戏的沉浸感；实现了健侧与患侧的协同控制，有助于中风患者双手的协调性锻炼；执行观察模仿阶段具有触物感及视觉冲击，增加了运动观察模仿的效果；反馈阶段具有触觉、视觉、动觉等多模式反馈增加了脑机接口在神经重塑中纠错的反馈强度；本研究巧妙的将脑机接口技术与游戏巧妙结合，搭建了一种新型框架，避免了bci意图识别少的缺点，基于本研究的框架模式可以嵌入多种康复游戏，使得患者的康复训练形成了沉浸式游戏场景整体；此外，本研究的大型游戏整体框架可以在场景中嵌入多个小游戏，患者可以在大场景模式下通过健侧走到小游戏触发场景中，完成小游戏的步入，同样，也可以通过健侧摇杆行走按键完成小游戏的退出，重新回到大游戏场景，重新寻找下一个触发小游戏区域，完成了康复小游戏的集成。

请参阅图4，本发明一种基于眼动及脑电信息的大型游戏场景康复系统及方法，包括三个阶段：漫游行走、意图物体、bci阶段，分为游戏场景画面、bci画面、声音，反馈及患者进行描述，游戏场景画面及bci画面中，1表示此时该画面为主画面，2表示此时该画面为副画面。

具体流程如下：

s1.患者睁开眼睛，观看游戏场景画面，同时可由健侧手控制摇杆实现第一视角的走动，当找到想要操作的物体后，可以按下bci判断按键，进入患侧bci阶段判断；

利用患者的健侧使患者沉浸到大型游戏场景康复中去，让患者感受到自己漫步在城市、街道或大自然之中，可以缓解患者患病后长期在病房的不适，另外，健侧患侧的协同控制有助于患者健侧与患侧协调性的锻炼；；

进一步，可以在场景中设定下各种游戏的触发场景，将多种康复游戏融入其中，例如：患者走入篮球场，则进入抓起篮球并扔入框中的小游戏，患者进入农场，则进入拔萝卜装进框子的小游戏；另外，小游戏的退出也可以患者健侧控制摇杆走出游戏触发场景设计。基于以上方法可以将多种现有康复小游戏融入其中，使得游戏更连贯，激发患者更强的兴趣；

进一步，在行走过程中，肢体碰到虚拟物体或已抓住虚拟物体会产生相应的震动，形成强大的触物反馈，实现了触觉与视觉对患者大脑的双重刺激，更有助于神经重塑；

进一步，bci判断按键的设计使得患者可以进入脑机接口选择阶段，将游戏与脑机接口技术巧妙结合，患侧执行的每一个动作都由bci按键按下后进入bci阶段主动判读，实现患者的主动训练。

s2.此时bci画面会转化为主画面，主画面中出现“+”字，患者集中注意力，然后出现提醒患者观察并模仿的文字及语音提醒，在执行观察并模仿时显示屏根据游戏场景中手的状态显示推测的患者想执行动作的动画多宫格；

bci画面是游戏场景画面的患侧手部放大画面；bci观察模仿动作由游戏场景图画面同步，动作所操作的物体及所呈现的角度均由游戏场景决定。

bci阶段的引导，语音及提示及+字能够调控患者的状态，使得大脑更加符合脑机接口训练康复的要求。

s3.主画面中会出现各种动作的手势动画，当患者视线移动到想要执行动作动画的时候，眼动仪会快速识别患者所观看的动作并放大且根据要执行的动作指尖振子和指背振子会产生震动触感，患者需要观察并模仿想要做的意图动画；

脑机接口技术与眼动仪的结合，实现了患者主动意图的诱发与识别；多宫格的手势动画呈现使得患者可以由实现直接确定想要执行的动作，实现意图选择；

进一步，多宫格的动画会根据患者所处的游戏动画环境及手部状态推测出患者可能执行的动作，使得选择更加简单；

进一步，视线选取画面放大后，振子产生于bci画面及游戏场景画面同步的触物感，患者更加容易模仿想要执行的动作，激发患者视觉皮层、感觉运动皮层等相关区域，产生更强的皮层激活，更加有助于脑机接口技术的识别；

此外，多宫格及方法可由眼动仪快速识别完成，使得患者选择为无意识的有主动执行想要执行的动作的感觉，达到了多意图主动执行的目的。

s4.计算机会根据采集到的脑电信息判断患者执行观察并模仿期间的意图强度及意图分类；

脑机接口技术的识别，基于非侵入的脑机接口意图识别少，中风患者脑部患病，脑电信号异常，使得可用于识别的意图更加少，本方法使用中风患者能够使用的运动想象完成的事件相关去同步/同步(erd/ers)信号，完成了结合眼动仪实现了多意图的主动识别，其中脑机接口技术能够确保患者大脑执行了运动模仿且大脑运动感觉皮层已激活，可以促进神经重塑，达到康复的目的。

s5.主画面切换为游戏场景画面，若意图分类为患者想要执行意图，游戏场景中肢体会执行上一步患者选择的动作且机械外骨骼也会带动患手同步此动作，并在碰触到物体后产生持续性的震动触物反馈，副窗口bci画面会出现以意图强弱为基础的分数反馈，若意图分类为患者观察想象强度低且分类错误，则主画面中不会产生任何运动且无震动，但副窗口仍有以意图强弱为基础的分数反馈；

脑机接口意图确定后的反馈部分，包含了视觉反馈、触觉反馈及分数反馈，由于先前患者有对意图动作的物体的选择，这一步反馈确定是否完成，如未完成，患者可以自己选择继续执行(按下bci判断按键)或再找其他物体。多重反馈的加入极大程度加强了运动反馈回路，同时增加了游戏沉浸感。

s6.无论意图分类如何接下来语音会提示闭眼放松，进入闭眼放松环节，显示屏为黑屏，直到大脑状态回复到放松状态，语音提示睁开眼睛，之后执行上述步骤。

为患者大脑状态调控阶段，使得大脑由运动激活状态转变为放松状态，此状态的调控有助于大脑的神经重塑。

游戏场景画面的行走过程中，患侧手指碰触到物体后所对应手指会产生相应位置的震动触觉反馈，除患侧手部外的其他肢体碰触到物体后，手背会产生震动的碰触反馈；抓取物体后患手一直有震动触物感；在执行观察模仿时，具有对应动作的患手触物感震动。

本发明大型游戏整体框架可以在场景中嵌入多个小游戏，患者可以在大场景模式下通过健侧走到小游戏触发场景中，完成小游戏的步入，同样，也可以通过健侧摇杆行走按键完成小游戏的退出，重新回到大游戏场景，重新寻找下一个触发小游戏区域。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

患者坐在舒适的椅子上，患侧穿戴机械外骨骼，其中指尖处有指尖振子、指背处有指背振子、手背处有手背振子，头部布置脑电电极，健侧放置有控制摇杆及bci判断按键，患者前方有高分辨率的显示屏，屏中分为主画面和副画面，主画面和副画面根据系统流程由游戏场景画面和bci画面交替呈现。

游戏场景画面在行走过程中，患侧手指碰触到物体后所对应手指会产生相应位置的震动触觉反馈，除患侧手部外，其他肢体碰触到物体后，手背会产生震动的碰触反馈。

游戏场景中找到对应物体后可以按下bci选择按键，进入患侧bci阶段的判断。

bci画面在bci阶段会转化为主屏幕，在执行观察并模仿的时候会出现根据游戏场景中手的状态推测的患者可能想执行的动作的动画多宫格，患者可以在无意间由视线进行选择。

基于多宫格的眼动仪动作识别与脑电信号的脑机接口系统的融合判断，完成了多意图的识别。

在bci控制后，闭眼放松以实现患者状态调控的过程；抓取物体后患手一直有震动触物感；在执行观察模仿时，具有对应动作的患手触物感震动；康复大型游戏的完成需要健侧和患侧配合完成；游戏场景画面和bci画面始终保持场景的同步，其中bci画面是游戏场景画面的患侧手部放大画面；bci观察模仿动作由游戏场景图画面同步，动作所操作的物体及所呈现的角度均有游戏场景决定。副画面所在位置为显示屏上患侧手所在位置对应的屏幕下方，如左侧为患侧手，副画面则在显示屏左下方。

请参阅图5，bci画面在bci阶段会转化为主屏幕，在执行观察并模仿的时候会出现根据游戏场景中手的状态推测的患者可能想执行的动作的动画多宫格，患者可以在无意间由视线进行选择。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。