运动示教系统和运动示教方法与流程

文档序号:16806050发布日期:2019-02-10 13:01阅读:349来源:国知局
运动示教系统和运动示教方法与流程

本发明涉及一种用于根据使用者(用户)的脑活动信号来对脑活动的状态进行分类、提供与分类结果相应的运动学习的运动示教系统和运动示教方法。



背景技术:

在人教人新的运动、或者教更安全更时尚的运动时,例如采用如下的交流方法的情况多:某个人使对方看自己的移动,再移动对方的手脚来进行教导。并且,不仅由人来教人,近年来还研究了以下方法:通过利用机械臂等驱动系统使人的手脚等被动地运动,来教人运动。

例如,专利文献1中公开了一种用于进行使患者的上肢的运动功能恢复的训练的上肢康复装置,其具有:至少1个驱动单元,所述驱动单元对患者的腕部的3个自由度中的至少1个自由度的动作传递驱动来向患者传达机械感觉;以及至少1个功能性流体离合器,所述功能性流体离合器对驱动单元的驱动进行调整。

另外,专利文献2中公开了以下装置:根据脑波、肌电等生物体信号来实时地估计患者的运动,基于此来执行患者的康复训练。

另一方面,近年来,发展不仅推进到如上述的专利文献所公开那样的单纯的机械臂,还推进到以辅助上肢/下肢/躯干运动为目标的如外骨骼型机器人那样的辅助康复训练的机器人。例如,外骨骼型机器人在促进患者的自立生活的康复训练中使用于中风等的患者(参照专利文献3)。

在专利文献3中,公开了以下结构:控制部基于从受验者处测量出的信号来对用户的脑活动进行解码,根据解码得到的脑活动对施加于气动肌肉的压力和电动马达所生成的转矩进行控制,来生成对气动肌肉的驱动力和对电动马达的驱动力以切换利用主动关节进行的重力补偿的程度。

更一般地说,作为学习运动的方法,取代运动教练和康复治疗师而由机器人使学习者的四肢被动地移动的学习被称为本体感觉训练(proprioceptivetraining)。

在本体感觉训练中,学习者想象自身的身体的一部分、例如手、脚等的移动,以来自机器人的移动的、本体感觉的传入性输入的形式给出对感觉运动的节奏的反馈。在此,“本体感觉”是指使传达身体的位置和运动的信息的感受器工作,“传入性”是指将来自末梢的刺激和兴奋传递到中枢。因而,例如,在以中风患者为对象的情况下,在训练中患者逐渐学习运动想象,且同时也能够引发神经细胞的可塑性来关联到运动控制的复原。

本体感觉训练中使用的机器人能够按照预先决定的目标运动来进行位置控制,认为特别适于教新的运动。例如,在向学习者反馈视觉和利用机器人得到的力觉这两方的方法中,存在二维的运动下的学习效果的报告(非专利文献1)。在非专利文献1中报告了:通过受验者被动地经历目标运动,与仅在视觉上观看运动相比,相对于目标动作的位置误差减少,因此本体感觉训练是运动学习的有效方法。

专利文献1:日本特开2006-247280号公报

专利文献2:日本特开2016-54994号公报

专利文献3:日本特开2014-104549号公报

非专利文献1:wong,jeremyd.,etal.“canproprioceptivetrainingimprovemotorlearning?”journalofneurophysiology108.12(2012):3313-3321.



技术实现要素:

发明要解决的问题

然而,以往,完全没有考虑在被动地示教运动时受验者的脑活动处于什么样的状态。特别是,完全没有研究为了高效地学习运动模式,在运动示教中对象者的脑变为什么样的状态比较好。关于这一点,例如存在以下报告:作为与记忆有关的研究成果,与负责记忆景色的海马体的活动低时相比,在负责记忆景色的海马体的活动高时,与使受验者看到的景色有关的问题的正确答案率高。因此,如果能够在预先使脑准备为适于运动任务的状态后进行该运动任务的示教,则能够期待学习效果的提高。但是,在实际示教一系列运动任务时,实施示教动作需要时间,完全没有研究在该示教期间是否能够维持脑活动的适当状态。

在一个方面,本发明是考虑这种问题而完成的,其目的在于提供如下的运动示教系统和运动示教方法:能够在使对象者的脑活动成为运动模式的学习所期望的状态的基础上,使该对象者实施运动的训练。

用于解决问题的方案

本发明的一个方面所涉及的运动示教系统探测对象者的脑的活动,辅助所述对象者的运动的训练,所述运动示教系统具备:操作装置,其构成为针对所述对象者引导所述对象者的身体的可动部位的移动,来执行遵循规定的运动模式的运动的示教;测量装置,其构成为通过测量所述对象者的脑活动来获取脑活动信号;以及一个或多个计算机,所述计算机构成为控制由所述操作装置进行的所述运动模式的示教的动作,且通过对所述脑活动信号进行解码来将所述对象者的脑活动分类为包括运动想象的类别在内的多个类别中的某一个,其中,所述一个或多个计算机进行以下输出:对使所述操作装置执行所述运动模式的示教的动作的期间中由所述测量装置获取到的所述脑活动信号进行解码所得的结果是否为所述运动模式的示教期间中的所述对象者的脑活动被分类为所述运动想象的类别。此外,运动想象也可以称为“运动回想”。

在上述一个方面所涉及的运动示教系统中,也可以是,所述一个或多个计算机在所述运动模式的示教之前对所述对象者输出要使该对象者回想的回想内容,使得所述运动模式的示教期间中的所述对象者的脑活动被分类为所述运动想象的类别。

在上述一个方面所涉及的运动示教系统中,也可以是,所述一个或多个计算机进行以下动作:在所述运动模式的示教之前,向所述对象者进行指示使得该对象者回想所述回想内容,相应于对在所述运动模式的示教之前获取到的所述脑活动信号进行解码的结果是所述对象者的脑活动被分类为与所述回想内容对应的类别这一情况,指示所述操作装置开始示教所述运动模式的动作。

在上述一个方面所涉及的运动示教系统中,也可以是,所述一个或多个计算机在所述运动模式的示教之前,反馈对所述对象者的脑活动进行分类所得的结果,在所述运动模式的示教期间中,不反馈对所述对象者的脑活动进行分类所得的结果。

在上述一个方面所涉及的运动示教系统中,也可以是,所述一个或多个计算机进行以下动作:在指示所述对象者回想所述回想内容之后,相应于对由所述测量装置获取的所述脑活动信号进行解码所得的结果为所述对象者的脑活动被分类为与所述回想内容对应的类别这一情况,使所述操作装置执行所述运动模式的示教的动作,在所述运动模式的示教期间中,在对由所述测量装置获取到的所述脑活动信号进行解码所得的结果为所述对象者的脑活动被分类为所述运动想象的类别以外的类别的情况下,变更向所述对象者指示的回想内容,指示所述对象者回想变更后的所述回想内容,在指示回想变更后的所述回想内容之后,相应于对由所述测量装置获取的所述脑活动信号进行解码所得的结果为所述对象者的脑活动被分类为与变更后的所述回想内容对应的类别这一情况,使所述操作装置再次执行所述运动模式的示教的动作。

在上述一个方面所涉及的运动示教系统中,也可以是,所述回想内容是静息状态和运动想象状态中的任一个。

在上述一个方面所涉及的运动示教系统中,也可以是,所述操作装置是利用机械臂的力觉呈现装置。

在上述一个方面所涉及的运动示教系统中,也可以是,所述操作装置是外骨骼型机器人。

在上述一个方面所涉及的运动示教系统中,也可以是,所述测量装置包括使用干式电极的无线型头戴式耳机。

另外,本发明的一个方面所涉及的运动示教方法通过系统来探测对象者的脑的活动,辅助所述对象者的运动的训练,该系统具备:操作装置,其构成为针对所述对象者来引导所述对象者的身体的可动部位的移动,执行遵循规定的运动模式的运动的示教;测量装置,其构成为通过测量所述对象者的脑活动来获取脑活动信号;以及一个或多个运算装置,所述运动示教方法具备以下步骤:所述一个或多个运算装置在所述运动模式的示教之前指示所述对象者回想规定的回想内容,使得所述运动模式的示教期间中的所述对象者的脑活动被分类为运动想象的类别;所述一个或多个运算装置通过对由所述测量装置获取的所述脑活动信号进行解码,来将所述对象者的脑活动分类为包括运动想象的类别在内的多个类别中的某一个;以及所述一个或多个运算装置相应于对在所述运动模式的示教之前获取到的所述脑活动信号进行解码所得的结果是所述对象者的脑活动被分类为与所述回想内容对应的类别这一情况,使所述操作装置执行示教所述运动模式的动作。

另外,本发明的一个方面所涉及的计算机具备:一个或多个运算装置;以及保持由所述一个或多个运算装置执行的程序的存储装置,其中,所述一个或多个运算装置执行以下步骤:针对多个对象者中的各对象者,获取空间滤波器和规定的运动模式的再现度,所述空间滤波器利用于对该各对象者的脑活动进行解码,在由构成为引导该各对象者的身体的可动部位的移动来执行遵循所述规定的运动模式的运动的示教的操作装置进行了该运动模式的示教之后,基于进行该运动模式的运动再现所得的结果来计算出该运动模式的再现度;通过对所述各对象者的所述空间滤波器进行聚类分析,来将所述各对象者的所述空间滤波器分类为多个组;以及基于所述各对象者的所述运动模式的再现度,来从所述多个组确定所述运动模式的学习程度最高的对象者的空间滤波器所属的最佳组。

另外,本发明的一个方面所涉及的运动示教系统探测对象者的脑的活动,辅助所述对象者的运动的训练,所述运动示教系统具备:操作装置,其构成为针对所述对象者引导所述对象者的身体的可动部位的移动,来执行遵循规定的运动模式的运动的示教;测量装置,其构成为通过测量所述对象者的脑活动来获取脑活动信号;以及一个或多个计算机,所述计算机构成为控制由所述操作装置进行的所述运动模式的示教的动作,且通过对所述脑活动信号进行解码来将所述对象者的脑活动分类为包括运动想象的类别在内的多个类别中的某一个,其中,所述一个或多个计算机执行以下步骤:第一步骤,在由所述操作装置进行所述运动模式的示教之前,针对所述对象者,获取进行所述运动想象时的脑活动信号与进行除此以外的想象时的脑活动信号的组来作为训练数据集;第二步骤,基于所述训练数据集,来制作利用于对所述对象者的脑活动进行解码的空间滤波器;第三步骤,判定制作出的所述空间滤波器是否属于由上述计算机确定出的所述最佳组;以及第四步骤,在制作出的所述空间滤波器属于所述最佳组的情况下,开始由所述操作装置进行的所述运动模式的示教。

在上述一个方面所涉及的运动示教系统中,也可以是,所述一个或多个计算机在制作出的所述空间滤波器不属于所述最佳组的情况下,再次执行所述第一步骤、所述第二步骤以及所述第三步骤。

在上述一个方面所涉及的运动示教系统中,也可以是,所述最佳组关联有推荐类别,在所述运动模式的示教期间中推荐的脑活动被分类为该推荐类别,所述一个或多个计算机在所述运动模式的示教之前对所述对象者输出要使该对象者回想的回想内容,使得所述运动模式的示教期间中的所述对象者的脑活动被分类为与所述最佳组相关联的所述推荐类别。

另外,本发明的一个方面所涉及的运动示教系统探测对象者的脑的活动,辅助所述对象者的运动的训练,所述运动示教系统具备:操作装置,其构成为针对所述对象者引导所述对象者的身体的可动部位的移动,来执行遵循规定的运动模式的运动的示教;测量装置,其构成为通过测量所述对象者的脑活动来获取脑活动信号;以及一个或多个计算机,所述计算机构成为控制由所述操作装置进行的所述运动模式的示教的动作,且通过对所述脑活动信号进行解码来将所述对象者的脑活动分类为包括运动想象的类别在内的多个类别中的某一个,其中,所述一个或多个计算机执行以下步骤:在由所述操作装置进行所述运动模式的示教之前,针对所述对象者,获取进行所述运动想象时的脑活动信号与进行除此以外的想象时的脑活动信号的组来作为训练数据集;基于所述训练数据集来制作用于对所述对象者的脑活动进行解码的多个空间滤波器;选择制作出的所述多个空间滤波器中的属于由上述计算机确定出的所述最佳组的空间滤波器;利用所选择出的所述空间滤波器来制作利用于对所述对象者的脑活动进行解码的解码器;以及指示所述对象者进行所述运动想象,直到制作出的所述解码器的输出变得大于阈值为止。

发明的效果

根据本发明,能够在使脑活动成为运动模式的学习所期望的状态的基础上使对象者实施运动的训练。

附图说明

图1示意性地例示本实施方式所涉及的运动示教系统的结构。

图2示意性地例示本实施方式所涉及的计算机的硬件结构。

图3是用于说明力觉呈现设备(操作装置)对受验者进行的被动性的运动的示教的状态的图。

图4示意性地例示本实施方式所涉及的计算机的功能结构。

图5表示本实施方式所涉及的运动示教系统的处理过程的一例。

图6表示用于确定最适于学习成为对象的运动模式的空间滤波器的组的处理过程的一例。

图7表示考虑受验者的脑活动的类型时的运动示教系统的处理过程的一例。

图8表示证实实验的过程。

图9a表示利用支持动觉运动想象(kmi;kinestheticmotorimagery)的空间滤波器来观测运动想象的脑活动时的功率变化的情形。

图9b表示利用支持视觉运动想象(vmi;visualmotorimagery)的空间滤波器来观测运动想象的脑活动时的功率变化的情形。

图10表示某个受验者在第一实验条件和第二实验条件下的识别器的输出。

图11是用于说明目标轨道与受验者所再现的轨道之间的误差的概念图。

图12是用于说明在运动示教的前后向受验者指示的回想内容的概念图。

图13a表示运动示教中的脑活动为静息状态(静息的类别)的组的代表性受验者在该运动示教中的解码器的输出。

图13b表示运动示教中的脑活动为运动想象状态(运动想象的类别)的组的代表性受验者在该运动示教中的解码器的输出。

图14表示在运动示教中从分别属于静息状态的组(lowgroup:9名)和运动想象状态的组(highgroup:11名)的受验者得到的解码器的输出。

图15a表示作为运动想象进行动觉运动想象的受验者的运动示教中的脑活动的状态与运动再现的平均位置误差(再现度)之间的关系。

图15b表示作为运动想象进行视觉运动想象的受验者的运动示教中的脑活动的状态与运动再现的平均位置误差(再现度)之间的关系。

图16表示示教前的脑活动的状态与示教中的脑活动的状态之间的关系。

图17a表示通过特征选择算法进行了空间滤波器的选择的15名受验者的运动示教前的脑活动的状态与运动再现的平均位置误差(再现度)之间的关系。

图17b表示通过特征选择算法进行了空间滤波器的选择的15名受验者的运动示教中的脑活动的状态与运动再现的平均位置误差(再现度)之间的关系。

图18表示对15名受验者的空间滤波器进行聚类分析所得的结果。

具体实施方式

下面,结合图来说明本发明的实施方式的运动示教系统、对脑活动的模式进行分类的分类装置、控制运动示教的动作的动作控制装置以及解析最佳的脑活动的组的解析装置各自的结构。此外,在下面的实施方式中,标注有相同的标记的结构要素和处理工序是相同或相当的,在不需要的情况下不重复其说明。

另外,在运动示教系统中,作为用于被动地驱动学习者的可动部位(例如,上肢、下肢)来使其学习运动的机器人,以使用机械臂的力觉呈现设备为例来进行说明。设为受验者利用力觉呈现设备例如针对上肢或下肢来被动地训练,从而使上肢中的至少一个或下肢中的至少一个的运动成为规定的运动模式。该规定的运动模式既可以是二维的,也可以是三维的。

其中,作为用于使其学习运动的机器人,也可以使用如上述的专利文献3所记载那样的外骨骼型机器人。另外,作为用于对这种外骨骼型机器人的关节进行驱动的致动器,除了电动马达以外,作为一例也可以使用如专利文献3所公开那样的“气动混合动力式的致动器”。

<1.运动示教系统的结构例>

首先,使用图1来说明本实施方式所涉及的运动示教系统1000的结构例。图1示意性地例示本实施方式所涉及的运动示教系统1000的结构。运动示教系统1000探测受验者2的脑活动,辅助该受验者2的运动的训练。该受验者2相当于本发明的“对象者”。

如图1所示,本实施方式所涉及的运动示教系统1000具备:脑波传感器10,其佩带于受验者2;信号获取模块12,其用于获取来自脑波传感器10的信号;力觉呈现设备80,其是运动示教用机器人;控制模块50,其控制力觉呈现设备80的动作;投影仪70,其进行各种信息的显示;以及计算机20,其控制各装置的动作。

脑波传感器10相当于本发明的“测量装置”,构成为通过测量受验者2的脑活动来获取脑活动信号(脑波信号)。该脑波传感器10的种类可以根据实施方式来适当选择。例如,可以将使用湿式(凝胶式)的电极的脑电图仪用作脑波传感器10。另外,也可以将干燥式(干式)且无线的脑电图仪用作脑波传感器10。在本实施方式中,设为使用该干燥式(干式)且无线的脑电图仪来进行说明。

这种干式无线型的脑电图仪例如在公知文献1(p.m.r.reis,f.hebenstreit,f.gabsteiger,v.vontscharner,andm.lochmann,“methodologicalaspectsofeegandbodydynamicsmeasurementsduringmotion.”frontiersinhumanneuroscience,vol.8,p.156,mar2014.)中进行了公开。此外,在下面的实施方式中,作为从受验者2处获取脑活动的信息的测量方法的一例,说明利用所谓的脑电图仪的方法。然而,本发明不限定于这种测量方法,也可以使用其它脑活动的测量方法,例如使用fmri(functionalmagneticresonanceimaging:功能性磁共振成像)、nirs(near-infraredspectroscopy:近红外光谱)等其它测量方法或其它测量方法的组合。

信号获取模块12例如适当地构成为利用公知的电源、放大器、a/d变换电路等来从各种脑波传感器10获取表示受验者2的脑活动的脑活动信号。信号获取模块12将获取到的脑活动信号发送到计算机20。

力觉呈现设备80相当于本发明的“操作装置”,构成为引导受验者2的身体的可动部位的移动来执行遵循规定的运动模式的运动的示教。在本实施方式中,力觉呈现设备80构成为机械臂,其具备多个关节、将各关节进行连结的臂以及受验者2所把持的操作部82。操作部82例如是手柄,用于向受验者2反馈力觉、或者用于在再现所学习的运动模式时由受验者2操作。

驱动机械臂的马达例如是使用伺服马达构成的,对操作部82赋予转矩。另外,利用未图示的传感器检测操作部82的当前位置,检测出的当前位置作为当地位置信息被反馈给控制模块50。并且,机械臂例如由2个臂构成,第一臂可旋转地安装于力觉呈现设备80的壳体,第二臂经由关节被可旋转地连结。操作部82可旋转地安装于其它臂的顶端。

通过这种结构,操作部82构成为能够根据受验者2的上肢运动来在二维平面上位移。其中,在操作部82的略上方配置有平板状的屏幕84来作为遮蔽部件,以避免从受验者2处直接看到操作部82。

控制模块50例如构成为通过微型计算机、电机驱动器等,按照来自计算机20的命令来控制力觉呈现设备80的动作。力觉呈现设备80根据来自控制模块50的控制信号来在所指示的运动模式的轨迹上运动,并且对受验者2反馈力觉。另外,控制模块50基于来自力觉呈现设备80的信号来监视受验者2所把持的操作部82的当前位置。此外,控制模块50也可以构成为能够测定作用于操作部82的力。在该情况下,控制模块50能够在一定以上的力作用于操作部82的情况下,控制力觉呈现设备80使其停止运动的示教。由此,能够确保运动示教中的安全性。

投影仪70被配置成在屏幕84上显示各种信息。如后所述,投影仪70由计算机20来控制,在屏幕84上放映表示指示受验者2回想的回想内容的信息、表示脑活动的分类结果的信息等,来将各种信息传达给受验者2。

<2.计算机的结构>

接着,使用图2来说明本实施方式所涉及的计算机20的硬件结构的一例。图2示意性地例示本实施方式所涉及的计算机20的硬件结构的一例。

如图2所示,本实施方式所涉及的计算机20是将运算装置210、存储装置212、外部接口202、输入装置214、输出装置216以及驱动器218电连接而成的信息处理装置。利用这些部件,计算机20构成为接收来自信号获取模块12的脑活动信号,向控制模块50发出命令,且控制投影仪70的显示内容。此外,在图2中,将外部接口记载为“外部i/f”。

运算装置210包括作为硬件处理器的cpu(centralprocessingunit:中央处理单元)、ram(randomaccessmemory:随机存取存储器)、rom(readonlymemory:只读存储器)等,根据信息处理来进行各结构要素的控制。存储装置212例如是硬盘驱动器、固态驱动器等辅助存储装置,存储由运算装置210执行的程序90以及脑活动信号的数据、投影仪70的显示内容、后述的脑活动的转变模式等各种信息。

程序90是用于使计算机20执行信息处理的程序,该信息处理用于一边解析受验者2的脑活动的类别、一边向受验者2示教规定的运动模式的运动。详情在后面叙述。

外部接口202能够根据要连接的外部装置来适当选择。在本实施方式中,计算机20经由该外部接口202来与信号获取模块12(脑波传感器10)、控制模块50(力觉呈现设备80)以及投影仪70连接。

输入装置214例如是鼠标、键盘等用于进行输入的装置。另外,输出装置216例如是显示器、扬声器等用于进行输出的装置。操作员能够借助输入装置214和输出装置216来操作计算机20。

驱动器218例如是cd驱动器、dvd驱动器等,是用于读取存储介质91中存储的程序的驱动器装置。驱动器218的种类可以根据存储介质91的种类来适当选择。上述程序90和各种信息也可以存储在该存储介质91中。

存储介质91是通过电、磁、光学、机械或化学作用来储存程序等信息从而使得计算机或其它装置、机械等能够读取所记录的该程序等信息的介质。计算机20也可以从该存储介质91获取上述程序90和各种信息。

在图2中,作为存储介质91的一例,例示了cd、dvd等盘型的存储介质。然而,存储介质91的种类并不限定于盘型,也可以是盘型以外。作为盘型以外的存储介质,例如能够列举出快闪存储器等半导体存储器。

此外,关于计算机20的具体硬件结构,能够根据实施方式来适当进行结构要素的省略、置换以及追加。例如,计算机20也可以具备多个运算装置210。另外,运算装置210也可以包括多个处理器。另外,在图2中,计算机20表现为1台计算机。然而,计算机20也可以不限定于这种例子,也可以由多台计算机构成。此时也可以是,各计算机具备多个运算装置。另外,计算机20除了被设计成所提供的服务专用的信息处理装置以外,也可以是通用的pc(personalcomputer:个人计算机)、服务器装置等。并且,上述程序90和各种信息也可以存储在网络上的nas(networkattachedstorage:网络附加存储器)等存储装置中,计算机20也可以经由网络来获取上述程序90和各种信息。另外,计算机20也可以经由网络来与信号获取模块12(脑波传感器10)、控制模块50(力觉呈现设备80)以及投影仪70连接。

<3.运动的示教>

接着,使用图3来说明向受验者2示教运动的方法。图3例示由力觉呈现设备80对受验者2进行被动性的运动的示教的场面。

在图3的例子中,表示上肢的运动学习的状态。受验者2在屏幕84的下侧用手握住操作部82,但是如图3所示那样,由于屏幕84,无法直接视觉识别该操作部82的位置(即,自身的手的位置)。

在运动的示教前,利用投影仪70在屏幕84上投射成为学习对象的运动模式的轨迹86及其开始位置861(圆圈标记)和注视点862(+标记)。另外,也投射了表示操作部82的位置(即,自身的手的位置)的点863,由此,受验者2能够将自身的手的位置诱导到开始位置861。

在运动的示教中,轨迹86和开始位置861消失,以绘制运动模式的轨迹86的方式对力觉呈现设备80的操作部82进行驱动。由此,受验者2不依赖于视觉而仅依赖于力觉来被动地学习自身的手的运动。

在此,根据之后说明的实验结果,得到下面的见解。

(1)当在力觉呈现设备80对受验者2进行的被动性的运动的示教的期间中受验者2的脑活动处于运动想象状态(运动想象的类别)时,运动的学习程度非偶然地提高。

(2)在运动的示教的期间中受验者2的脑活动是否变为运动想象的状态(运动想象的类别)根据在运动的示教的期间的前一阶段受验者2的脑活动为哪个状态(类别)而不同,个别地取决于每个受验者2。

例如,既存在当在运动的示教期间的前一阶段脑活动处于“运动想象状态”时、在运动的示教期间中为“运动想象状态”的受验者,也存在当在运动的示教期间的前一阶段脑活动处于“静息状态”时、在运动的示教期间中为“运动想象状态”的受验者。因此,将这样的运动的示教期间的前一阶段的脑活动的状态与运动示教期间中的脑活动的状态之间的关系称为受验者的“转变模式”。根据后述的证实实验的见解,可知存在下面4个转变模式(参照后述的图16)。

(a)当在运动示教前脑活动处于“运动想象状态”时,运动示教期间中的脑活动为“运动想象状态”。另一方面,当在运动示教前脑活动处于“静息状态”时,运动示教期间中的脑活动为“静息状态”。

(b)当在运动示教前脑活动处于“运动想象状态”时,运动示教期间中的脑活动为“静息状态”。另一方面,当在运动示教前脑活动处于“静息状态”时,运动示教期间中的脑活动为“运动想象状态”。

(c)无论在运动示教前脑活动是什么类别,运动示教期间中的脑活动都为“运动想象状态”。

(d)无论在运动示教前脑活动是什么类别,运动示教期间中的脑活动都为“静息状态”。

因此,本实施方式所涉及的运动示教系统1000确定受验者2的脑活动按上述的哪一种转变模式转变,基于确定出的转变模式,来决定在运动的示教期间的前一阶段将受验者2的脑活动诱导到哪一个类别。由此,本实施方式所涉及的运动示教系统1000在运动的示教期间中,在已诱导受验者2的脑活动成为运动想象状态的基础上使受验者2被动地学习自身的手的运动,由此使受验者2能够高效地学习运动模式。

<4.计算机的功能结构>

接着,使用图4来说明用于对受验者2的脑活动的类别进行分类的计算机20的功能结构。图4示意性地例示用于对受验者2的脑活动的类别进行分类的计算机20的功能结构的一例。

计算机20的运算装置210将存储装置212中存储的程序90在ram中展开。然后,运算装置210通过cpu来解释并执行在ram中展开的程序90,从而控制各结构要素。由此,如图4所示,本实施方式所涉及的计算机20作为具备数据收集部60、脑活动分析部40、训练控制部30以及输出控制部65的信息处理装置来发挥功能。

数据收集部60在运动的示教前获取受验者2进行运动想象时的脑活动信号与进行除此以外(在本实施方式中,静息状态)的想象时的脑活动信号的组来作为训练数据集。训练数据集是借助信号获取模块12和外部接口202来从受验者2所佩带的脑波传感器10获取的。也可以是,在对获取到的训练数据集进行利用之前的期间将该训练数据集保存在存储装置212中。

脑活动分析部40通过对从脑波传感器10获取到的脑活动信号(脑波信号)进行解码来将受验者2的脑活动分类为包括运动想象的类别在内的多个类别中的某一个。为了执行这种解码处理,本实施方式所涉及的脑活动分析部40具备滤波处理部402、解码器404、判定部412以及学习处理部420。

在本实施方式中,将干式无线型头戴式耳机用作脑波传感器10,因此脑活动信号被获取为脑波(eeg:electroencephalogram)信号。该eeg信号是利用多个通道(例如,根据international10-20system,f7、fp1、fp2、f8、f3、fz、f4、c3、cz、p8、p7、pz、p4、t3、p3、o1、o2、c4、t4)以及参照信号和接地电位来收集的。

滤波处理部402通过对获取到的eeg信号应用带通滤波来提取规定的频率成分(在本实施方式中,7hz~30hz)。解码器404具备特征量提取部406和识别处理部410以对eeg信号的所提取出的规定的频率成分进行解码。特征量提取部406利用空间滤波器来从eeg信号的规定的频率成分提取特征量。识别处理部410通过将特征量输入到识别器来从该识别器获取能够识别脑活动的类别的输出值。判定部412通过将该输出值与规定的阈值进行比较来判别当前的脑活动的类别。

学习处理部420利用由数据收集部60收集的训练数据集,通过机器学习来生成在解码器404中利用的空间滤波器和识别器。在本实施方式中,在空间滤波器和识别器的生成中,利用后述的csp算法和特征选择算法。由此,解码器404构成为能够输出能够判定受验者2的脑活动被分类为运动想象的类别和静息的类别这2个类别中的哪一个类别的输出值。详情在后面叙述。

训练控制部30输出用于控制由力觉呈现设备80进行的运动模式的示教的动作的命令。如上所述,在本实施方式中,在示教运动前,诱导受验者2的脑活动使其被分类为运动想象和静息中的某一个类别。因此,在对解码器404的输出值进行阈值判定的结果是判定为受验者2的脑活动被分类为对象的类别的情况下,判定部412向训练控制部30输出用于开始运动的示教的触发信号。训练控制部30根据该触发信号,指示力觉呈现设备80开始示教运动模式的动作。

<5.解码器的制作方法>

接着,说明能够对脑活动的状态进行分类的解码器的制作方法,具体地说,说明上述解码器404所利用的空间滤波器和识别器的制作方法。例如,下面的公知文献2和公知文献3中公开了将使用自适应线性判别分析(lda)的分类器与自适应空间滤波器进行组合的技术。

·公知文献2:w.wojcikiewicz,c.vidaurre,andm.kawanabe,“improvingclassificationperformanceofbcisbyusingstationarycommonspatialpatternsandunsupervisedbiasadaptation,”inhybridartificialintelligentsystems,ser.lecturenotesincomputerscience.springerberlinheidelberg,2011,vol.6679,pp.34-41.

·公知文献3:r.tomioka,j.hill,b.blankertz,andk.aihara,“adaptingspatialfilteringmethodsfornonstationarybcis,”transformation,vol.10,p.1,2006.

另外,在本实施方式中,脑活动分析部40将受验者2的脑活动分类为运动想象的类别和静息的类别中的某一个类别。即,成为分类对象的类别的数量为2个。为了找出使这样的2个类别之间的方差差异为最大限度的空间滤波器,能够利用以往的鲁棒性csp(commonspatialpatterns:共空间模式)算法。该以往的鲁棒性csp算法例如在下面的公知文献4中进行了公开。

·公知文献4:x.yong,r.k.ward,andg.e.birch,“robustcommonspatialpatternsforeegsignalpreprocessing.”conferenceproceedings:annualinternationalconferenceoftheieeeengineeringinmedicineandbiologysociety.ieeeengineeringinmedicineandbiologysociety.annualconference,vol.2008,pp.2087-2090,2008.

下面,基于公知文献4的内容来简单说明鲁棒性csp算法。此外,如后所述,在csp算法中,制作多个对从配置在使用者的头皮上的多个部分处的电极获取的eeg信号的协方差矩阵进行自适应加权处理来提取特征量的滤波器。进行该加权处理的滤波器是上述“空间滤波器”。

(csp算法)

在基于利用运动想象的节奏调制的bmi的2个类别(c1或c2)的分类问题中,csp算法经常被用作提取特征量的手法。例如,运动想象状态是类别c1,静息状态是类别c2。

在此,当将eeg测定的通道数设为p、并设为1次的1个试验中包含的样本数为n、训练集的个数为m时,各试验的信号的集合s由下面的数1所示的式子来定义。

[数1]

s={s1,s2,…,sm},si∈rp×n

另外,csp算法中的优化问题由下面的数2所示的式子来表示。

[数2]

ω∈rp

此外,c1表示全部的类别c1的eeg试验,ω是空间滤波器的未知的权重矢量或权重矩阵。var函数能够如下面的数3所示那样计算出来。

[数3]

在此,λ1和λ2分别是属于类别c1和类别c2的eeg信号的协方差矩阵。

csp算法能够归纳为下面的(i)~(iii)的处理。

(i)对矩阵λ=(λ1+λ2)执行白化变换。即,通过针对矩阵λ=(λ1+λ2)的特征值分解,找出满足如下面的数4所示那样的条件的矩阵p(白化矩阵),对矩阵λ进行白化。此外,在数4的式子中,下面的数5所示的关系成立。

[数4]

p(λ1+λ2)pt=i

[数5]

由于是针对λ的特征值分解,

λ=λ1+λ2=φuφt

成立。

将白化矩阵设为p=u-1/2φtとし、

u是使对角成分具有特征值的特征值对角矩阵

φ是将特征矢量进行排列得到的特征矢量矩阵

(ii)通过以满足下面的数6所表示的条件的方式进行特征值分解,来计算正交矩阵r和对角矩阵d。

[数6]

特征值分解为

即,能够利用共同的特征矢量矩阵来进行特征值分解。

此时,

(iii)针对类别c1和类别c2计算投影矩阵w=rtp,将计算出的投影矩阵w的行矢量ω如下面的数7所示那样作为csp滤波器。该csp滤波器是上述空间滤波器。此外,投影矩阵w包含多个行矢量ω,因此在该阶段,生成多个csp滤波器。

[数7]

在设为w=rtp时,

ω是按d从大到小的顺序例如与m个特征值对应的w的行。

另一方面,关于类别c2,只要按d从小到大的顺序将例如与

m个特征值对应的w的行设为ω即可。

能够将作为所生成的各csp滤波器与协方差矩阵相乘后投影所得的结果的、zp(t)的均方值(或者其log标度值)用作特征量。下面,设为将log标度值用作特征量。例如,能够将下面的数8所示的值用作该特征量。

[数8]

此外,作为特征量,除了上述以外,也能够使用作为上述投影的结果的zp(t)的方差、使zp(t)的方差标准化后得到的值、或者任一个值的log标度值。然后,能够通过对这种特征量进行线性判别分析(lda;lineardiscriminantanalysis)来生成识别器,通过利用csp滤波器和识别器,能够执行eeg信号的类别的分类。

(特征选择算法)

接着,说明从多个csp滤波器中选择最佳的csp滤波器、即脑活动的识别性能最高的csp滤波器的特征选择算法的一例。

首先,通过随机森林法来制作利用各csp滤波器对eeg信号的协方差矩阵进行投影而得到的各特征量的决策树。接着,基于制作出的决策树来求出各特征量的重要度,将各特征量的重要度的平均值作为各csp滤波器的贡献度。然后,通过将各csp滤波器的贡献度进行比较,来将贡献度最高的csp滤波器选作要利用的csp滤波器。由此,能够从多个csp滤波器中选择最佳的csp滤波器。此外,关于特征选择算法,也可以将下面的公知文献5作为参考。

·公知文献5:p.geurts,d.ernst.,andl.wehenkel,“extremelyrandomizedtrees”,machinelearning,63(1),3-42,2006.

此外,从多个csp滤波器中选择最佳的csp滤波器的方法不限定于这种方法,能够根据实施方式来适当选择。例如,也可以针对各csp滤波器通过后述的线性判别分析来生成识别器。然后,也可以利用各csp滤波器和各识别器来针对训练数据集的各eeg信号计算识别性能,将计算出的识别性能最高的csp滤波器选作要利用的csp滤波器。

(解码器的生成)

接着,说明计算机20(学习处理部420)利用上述csp算法和特征选择算法来制作解码器的csp滤波器和识别器的过程。

首先,数据收集部60收集受验者2的eeg信号。由此,数据收集部60获取进行运动想象时的eeg信号与进行除此以外的想象(在本实施方式中,静息状态)时的eeg信号的组来作为训练数据集。滤波处理部402对获取到的训练数据集的各eeg信号应用带通滤波(7hz-30hz)来提取规定的频率成分。

接着,学习处理部420通过对训练数据集的各eeg信号的规定的频率成分应用csp算法来计算对应的投影矩阵w,由此得到多个csp滤波器。然后,学习处理部420通过对多个csp滤波器应用特征选择算法来从多个csp滤波器中选择贡献度最高的csp滤波器、换言之对受验者的脑活动的识别性能最高的csp滤波器。

在此,在从操作计算机20的操作员的角度来看选择出的csp滤波器明显错误的情况下,操作员也可以操作计算机20来将选择出的csp滤波器进行修正或置换为另一个csp滤波器。此时,操作员可以操作计算机20来从利用csp算法生成的多个csp滤波器中适当选择要利用的csp滤波器。

然后,学习处理部420对利用选择出的csp滤波器对训练数据集的各eeg信号的协方差矩阵进行投影而得到的特征量进行线性判别分析,由此制作识别器。例如,学习处理部420能够利用逻辑回归作为线性判别的模型来制作(线性)识别器。由此,解码器完成。即,在解码器404中利用的csp滤波器和识别器的制作完成。另一方面,在csp滤波器的选择过程中制作识别器的情况下,该处理能够省略,解码器在csp滤波器的选择完成的时间点完成。

此外,逻辑函数生成0与1之间的连续性的概率输出。因此,例如,能够随着识别器的输出接近0,表示脑活动被分类为静息状态的类别,随着识别器的输出接近1,表示脑活动被分类为运动想象的类别。因此,判定部412能够通过识别器的输出与规定的阈值之间的比较,来判定受验者2的当前的脑活动是“运动想象”的类别还是“静息状态”的类别。

在以上的说明中,说明了利用csp算法、特征选择算法以及线性判别法来生成解码器的方法。然而,生成对受验者的脑活动进行解码的解码器的方法也可以不限定于这种例子。作为特征量的提取方法,例如也可以采用通过独立成分分析(ica:independentcomponentanalysis)、拉普拉斯滤波法来检测事件相关去同步(erd:event-relateddesynchronization)的方法等。由此,也可以使用csp滤波器以外的类型的空间滤波器来提取eeg信号的特征量。另外,作为特征量的提取方法,例如也可以采用将上述csp算法与ica组合等将多个算法组合的方法。另外,作为判别方法,也可以采用利用支持向量机的方法等。并且,本实施方式所涉及的计算机20(脑活动分析部40)将受验者2的脑活动分类为“运动想象”和“静息状态”这2个类别。然而,只要包括“运动想象”的类别,那么所分类的类别的数量也可以是3个类别以上。

<6.运动示教的流程>

接着,使用图5来说明向受验者2示教运动的过程。图5是表示利用本实施方式所涉及的运动示教系统1000来向受验者2示教运动的过程的流程图。

(步骤s100)

首先,在步骤s100中,计算机20的运算装置210作为数据收集部60来发挥功能,在由力觉呈现设备80进行运动模式的示教之前获取训练数据集。

例如,受验者2被指示交替地进行数秒运动想象和数秒静息状态。运算装置210借助外部接口202和信号获取模块12来从脑波传感器10获取此时的eeg信号。然后,运算装置210从获取到的eeg信号截取出进行运动想象时的部分和进行静息状态时的部分。由此,运算装置210针对受验者2获取进行运动想象时的eeg信号与进行除此以外的想象(静息状态)时的eeg信号的组来作为训练数据集。

(步骤s102)

在下一个步骤s102中,运算装置210作为学习处理部420来发挥功能,基于训练数据集来制作用于对受验者2的脑活动进行解码的空间滤波器和识别器。在本实施方式中,运算装置210通过利用上述csp算法和特征选择算法的机器学习,生成最适于探测运动想象的csp滤波器和识别器。然后,运算装置210将所生成的csp滤波器和识别器设定为脑活动分析部40的解码器404。由此,运动示教的准备完成,能够进行受验者2的脑活动的分析,具体地说,能够将受验者2的脑活动分类为运动想象的类别或静息状态的类别。

(步骤s104)

在下一个步骤s104中,运算装置210在运动模式的示教之前对受验者2输出要使受验者2回想的回想内容,使得后述的运动模式的示教的期间(步骤s110)中的受验者2的脑活动被分类为运动想象的类别。在本实施方式中,运算装置210作为训练控制部30来发挥功能,利用投影仪70在屏幕84上投射要使受验者2回想的回想内容(也可以称为“前提回想内容”)。由此,运算装置210在运动模式的示教前指示受验者2回想该回想内容。

如上所述,存在多个从示教前到示教中的脑活动的转变模式。计算机20将该转变模式的信息存储在存储装置212中。受验者2的转变模式没有被确定,在运动示教前的初始阶段,受验者2的脑活动的转变模式是不清楚的。因此,在该情况下,运算装置210可以输出“运动想象”和“静息状态”中的任一个指示来作为回想内容的指示。下面,为了便于说明,设为在受验者2的转变模式不清楚的初始阶段,运算装置210将“静息状态”作为回想内容来输出。

(步骤s106)

在下一个步骤s106中,运算装置210在指示受验者2回想回想内容的期间,从脑波传感器10获取该受验者2的eeg信号。接着,运算装置210作为滤波处理部402来发挥功能,对获取到的eeg信号应用带通滤波来提取规定的频率成分(7hz~30hz)。然后,运算装置210作为解码器404来发挥功能,将通过上述步骤s102设定的csp滤波器和识别器应用于提取出的频率成分。由此,运算装置210对在运动模式的示教之前获取的受验者2的eeg信号进行解码。

在本实施方式中,运算装置210控制投影仪70来将该解码结果作为反馈信息显示在屏幕84上。即,运算装置210在运动模式的示教之前,反馈对受验者2的脑活动进行分类所得的结果。由此,受验者2能够在自身当前正在回想时识别由解码器404判别出的结果。其结果,受验者2基于反馈信息来努力规定的时间,使得成为回想到所指示的回想内容的解码结果。

在此,反馈信息的呈现方法可以根据实施方式来适当决定。例如,运算装置210也可以采用如下的呈现方法:如后述的图12所示那样在屏幕84上显示能量条,当该能量条以接近某一个端部的方式变形时,表示正在进行运动想象,当能量条以接近另一个端部的方式变形时,表示处于静息状态。在该情况下,运算装置210能够基于解码器404的识别器的输出值来决定能量条的长度。

此外,显示在屏幕84上的图形只要是能够向受验者呈现是否正在进行接近所指定的回想内容的脑活动的形状即可,也可以不限于能量条。作为这种其它形状,例如能够列举出在圆之中绘制的扇形。另外,运算装置210也可以不在屏幕84上显示能量条的长度、扇形的大小等水平,而是显示作为判定部412来发挥功能的结果,即通过将识别器的输出值与阈值进行比较来分类得到的受验者2的脑活动的类别。

在下一个步骤s108中,运算装置210作为训练控制部30来发挥功能,基于上述步骤s106的解码结果来判定受验者2的脑活动是否被分类为在步骤s104中指示的回想内容对应的类别。即,运算装置210作为判定部412来发挥功能,根据将识别器的输出值与阈值进行比较的结果来判定受验者2的脑活动被分类到的类别是否为与回想内容对应的类别。在受验者2的脑活动被分类为与回想内容对应的类别的情况下(s108中“是”),运算装置210输出触发信号,使处理进入下一个步骤s110和s112。另一方面,在受验者2的脑活动未被分类为与回想内容对应的类别的情况下(s108中“否”),使处理返回到步骤s104。

(步骤s110和s112)

相应于受验者2的脑活动被分类为与回想内容对应的类别这一情况(触发信号的输出),在下一个步骤s110中,运算装置210作为训练控制部30来发挥功能,对力觉呈现设备80(控制模块50)输出指示开始示教运动模式的动作的命令。由此,对受验者2实施被动性的运动模式的示教(本体感觉训练)。

另外,在执行步骤s110的同时,运算装置210作为脑活动分析部40来发挥功能,执行步骤s112的处理,对上述运动的示教中的受验者2的脑活动的状态进行解析。即,运算装置210在使力觉呈现设备80执行运动模式的示教的动作的期间中从脑波传感器10获取受验者2的eeg信号。然后,运算装置210通过与步骤s106相同的过程来对eeg信号进行解码。

但是,在运动模式的示教的期间中,与上述步骤s106不同,运算装置210不反馈对受验者2的脑活动进行分类所得的结果。即,当受验者2当前正在回想时由解码器404判别出的结果不会作为反馈信息显示在屏幕84上。当在运动模式的示教中显示反馈信息时,要求受验者2同时进行运动的训练以及进行记得(回想)使解码结果与所指示的回想内容对应这两方的任务。因此,需要执行双重的任务,任务的难易度会不必要地增加。为了避免这种情况,在本实施方式中,运算装置210不对受验者2显示反馈信息。此外,本实施方式所涉及的运算装置210也可以向受验者2以外的第三方(例如,训练员)显示反馈信息。

(步骤s114)

在下一个步骤s114中,运算装置210在运动模式的示教结束之后,控制投影仪70来将对通过步骤s112在运动模式的示教期间中从脑波传感器10获取到的eeg信号进行解码所得的结果显示在屏幕84上。由此,运算装置210在屏幕84上显示运动模式的示教期间中的受验者2的脑活动是否被分类为运动想象的类别、换言之受验者2的脑活动被分类到的类别是否为运动想象的类别。

这样,在本实施方式中,通过步骤s106和s114,在运动模式的示教前指示的回想内容以及运动模式的示教期间中的脑活动被分类到的类别显示在屏幕84上。由此,例如,运动教练、康复的治疗师等训练员能够获知受验者2的转变模式,其结果,能够按每个受验者2来适当地决定用于规定运动示教的过程的学习程序。

(步骤s116~s122)

在下一个步骤s116中,运算装置210作为训练控制部30来发挥功能,判定在运动模式的示教期间中对从脑波传感器10获取到的受验者2的eeg信号进行解码所得的结果是否为运动模式的示教期间中的受验者2的脑活动被分类为运动想象的类别。在受验者2的脑活动被分类为运动想象以外的类别(即,静息状态的类别)的情况下(步骤s116中“否”),运算装置210使处理进入下一个步骤s120。另一方面,在受验者2的脑活动被分类为运动想象的类别的情况下,运算装置210使处理进入下一个步骤s118。

在下一个步骤s118中,运算装置210作为训练控制部30来发挥功能,判定是否结束了规定次数的运动模式的示教。在未结束规定次数的运动模式的示教时(s118中“否”),运算装置210使处理返回到步骤s104。另一方面,在结束了规定次数的运动模式的示教时(s118中“是”),运算装置210结束本实施方式所涉及的运动示教系统所进行的运动的示教。

在下一个步骤s120中,运算装置210对要在步骤s104中指示的回想内容进行变更。例如,在运动的示教前指示“静息状态”、运动的示教中的脑活动也为“静息状态”的情况下,设想受验者2的转变模式为上述(a)或(d)的模式。因此,在该情况下,运算装置210参照存储装置212中存储的转变模式的信息,判定为受验者2的转变模式是上述(a)或(d)的模式,将要在步骤s104中指示的回想内容从“静息状态”变更为“运动想象”。

另外,在运动的示教前指示“运动想象”、运动的示教中的脑活动为“静息状态”的情况下,设想受验者2的转变模式为上述(b)或(d)的模式。因此,在该情况下,运算装置210参照存储装置212中存储的转变模式的信息,判定为受验者2的转变模式是上述(b)或(d)的模式,将要在步骤s104中指示的回想内容从“运动想象”变更为“静息状态”。

在变更要指示的回想内容之后,在下一个步骤s122中,运算装置210判定回想内容的变更次数是否为规定次数以下。在回想内容的变更次数是规定次数以下的情况下(s122中“是”),运算装置210使处理返回到步骤s104。另一方面,在回想内容的变更次数超过规定次数的情况下(s122中“否”),运算装置210结束本实施方式所涉及的运动示教系统所进行的运动的示教。

在本实施方式中,通过在重复步骤s104至s122的一系列处理的过程中到达步骤s120,能够确定受验者2的转变模式。例如,在判定为受验者2的转变模式是上述(a)或(d)的模式而将要在步骤s104中指示的回想内容从“静息状态”变更为“运动想象”之后处理再到达步骤s120的情况下,运算装置210能够确定受验者2的转变模式是上述(d)的模式。另一方面,在处理不到达步骤s120的情况下,运算装置210能够确定受验者2的转变模式是上述(a)。

此外,以上说明的处理过程不过是运动示教的流程的一例,也可以尽可能地变更各处理。另外,对于以上的处理过程,能够根据实施方式来适当地省略、置换以及追加步骤。

例如,也可以是,在步骤s118之后使受验者2对操作部82进行操作,使受验者2自身进行所示教的运动的再现(也称为“运动生成”)。而且,运算装置210也可以从控制模块50获取此时的操作部82的位置信息,计算表示所示教的运动模式在运动生成中再现到什么程度的再现度。并且,运算装置210也可以将计算出的再现度呈现给受验者2。此外,再现度的计算方法可以根据实施方式来适当选择,例如也可以采用后述的利用数9的计算方法。

另外,也可以是,在通过步骤s120对回想内容进行了变更之后,使在下一个步骤s106中显示的反馈信息的内容反转。例如,在显示上述的能量条作为反馈信息的情况下,原本设定成:当能量条的端部靠近一个端部时表示正在进行运动想象,当能量条的端部靠近另一个端部时表示处于静息状态。在该情况下,也可以是,相应于在步骤s120中对回想内容进行了变更,运算装置210将反馈信息的设定变更成:当能量条的端部靠近一个端部时表示处于静息状态,当能量条的端部靠近另一个端部时表示正在进行运动想象。由此,能够使在步骤s106中指示的内容使能量条的显示延长、使扇形的大小增加等那样始终固定。由此,能够使受验者容易直观地识别出当前的脑活动模式的分类结果正在接近与所指定的回想内容对应的解码结果。

另外,在图5中,设为由运算装置210(训练控制部30)控制力觉呈现设备80对受验者2开始被动性的运动模式的示教的时机来进行说明。然而,开始运动模式的示教的时机的控制也可以不限定于这种例子,也可以根据计算机20的操作员的指示输入来开始运动模式的示教。

通过以上,根据本实施方式所涉及的运动示教系统1000,在运动的示教期间中,能够在已诱导受验者的脑活动成为运动想象状态的基础上使该受验者学习运动模式。即,能够在使受验者的脑活动成为预先学习的适于运动任务的状态后实施训练,因此能够期待高的学习效果。另外,根据本实施方式,受验者无需自己主动地移动身体,只需被动地接受操作装置(力觉呈现设备80)的运动就能够高效地学习运动模式。并且,根据本实施方式,受验者只需接受这种被动性的运动就能够获知用于高效地学习运动模式的脑活动的转变模式。

此外,也可以是,在通过实施上述步骤s100至s122的一系列处理确定了受验者2的转变模式之后,受验者2拆下脑波传感器10,接受运动示教前的回想回想内容的指示和运动示教。另外,本实施方式的运动示教系统1000不仅能够用于向如康复训练的对象这样的患者示教运动,还能够更普遍地用于向健康个体示教运动。因此,在对患者、健康个体等进行总称时,称为“学习者”。

<7.空间滤波器的聚类分析>

接着,使用图6来说明空间滤波器的聚类分析。图6表示对从多个受验者处得到的空间滤波器进行聚类分析并确定适于学习运动的空间滤波器所属的组(下面称为最佳组)的处理过程的一例。在后述的证实实验中,除了上述(1)和(2)以外,还得到下面的(3)的见解。

(3)由于各受验者的脑活动的类型与运动示教中的脑活动的状态的相互作用,运动的学习程度产生非偶然性的差。

在解码中利用的空间滤波器用于提取eeg信号的特征量,因此受验者的脑活动的类型在空间滤波器中有所表现。因此,本实施方式所涉及的计算机20按照下面的过程来对针对各受验者生成的解码器的空间滤波器进行聚类分析,将各受验者的空间滤波器分类为多个组。然后,计算机20将运动的学习程度最高的受验者的脑活动的类型(空间滤波器)所属的组定位为最适于学习该运动的的最佳组,从通过聚类分析得到的多个组中确定该最佳组。

(步骤s200和s202)

首先,在步骤s200中,运算装置210针对多个受验者分别获取训练数据集。能够与上述步骤s100同样地进行各受验者的训练数据集的获取。在下一个步骤s202中,运算装置210与上述步骤s102同样地,基于各受验者的训练数据集来制作对各受验者的脑活动进行解码的解码器中利用的csp滤波器和识别器。

(步骤s204)

在下一个步骤s204中,运算装置210使力觉呈现设备80执行示教运动模式的动作,由此对各受验者实施被动性的运动模式的示教(本体感觉训练)。此时,运算装置210也可以从脑波传感器10获取各受验者的eeg信号,使用在步骤s202中制作出的csp滤波器和识别器来对该获取到的eeg信号进行解码。另外,也可以基于上述步骤s104~s122的处理来进行该运动模式的示教。由此,能够确定各受验者的运动示教中的脑活动的类别。另外,在重复的运动示教的过程中,能够诱导各受验者的运动示教中的脑活动变为“运动想象”的类别。

(步骤s206和s208)

在下一个步骤s206中,运算装置210使各受验者对操作部82进行操作,来使各受验者自身进行所示教的运动的再现。然后,在下一个步骤s208中,运算装置210从控制模块50获取运动生成中的操作部82的位置信息,计算表示所示教的运动模式在运动生成中再现到什么程度的再现度来作为该运动生成的评价值。关于再现度的计算方法,只要能够评价在运动生成中对所示教的运动模式再现到什么程度即可,可以根据实施方式来适当设定,例如,能够采用后述的利用数9的计算方法。

(步骤s210)

在下一个步骤s210中,运算装置210针对作为聚类分析的对象的全部受验者,判定步骤s200至s208的处理是否已完成。在未对全部受验者完成步骤s200至s208的处理的情况下(s210中“否”),运算装置210对未完成的受验者重复步骤s200至s208的处理。另一方面,在对全部受验者完成了步骤s200至s208的处理的情况下(s210中“是”),运算装置210使处理进入下一个步骤s212。

通过上述步骤s200至s210的处理,运算装置210能够针对全部受验者得到csp滤波器与运动模式的再现度(示教后的运动成绩)的组合。此外,在通过步骤s204对运动示教中的脑活动进行了分析的情况下,运算装置210也可以将运动示教中的脑活动被分类到的类别(“运动想象”或“静息状态”)同csp滤波器与运动模式的再现度的组合相关联。

(步骤s212)

在下一个步骤s212中,运算装置210通过对各对象者的csp滤波器进行聚类分析来将各对象者的csp滤波器分类为多个组(也称为“聚类”)。在聚类分析中可以使用公知的方法。例如,运算装置210将各csp滤波器之间的距离定义为欧几里德距离。然后,运算装置210以使距离接近的csp滤波器之间属于一个组的方式进行各csp滤波器的聚类分析。在这种聚类分析中,例如能够使用沃德(ward)法等。由此,各对象者的csp滤波器被分类为多个组。

(步骤s214)

在下一个步骤s214中,运算装置210基于各受验者的运动模式的再现度,来从上述多个组中确定该运动模式的学习程度最高的对象者的csp滤波器所属的最佳组。例如,也可以是,运算装置210以解码器的输出和csp滤波器的组为因子来对各受验者的再现度进行方差分析,基于该方差分析的结果,确定相对于解码器的输出而言再现度的提高程度最高的csp滤波器的组来作为最佳组。例如能够利用输出值的斜率等来比较提高程度。此外,解码器的输出和csp滤波器的相互作用在后述的证实实验中也有说明。

由此,能够确定运动的学习程度最高的受验者的脑活动的类型、即最适于学习作为学习的对象的运动模式的脑活动的类型(在解码中利用的空间滤波器)所属的最佳组。当确定出该最佳组时,运算装置210结束处理。

此外,以上说明的处理过程不过是确定最佳组的处理过程的一例,也可以尽可能地变更各处理。另外,对于以上的处理过程,能够根据实施方式来适当地省略、置换以及追加步骤。

例如,在图6的例子中,通过重复执行上述步骤s200至s210的处理,运算装置210获取各受验者的csp滤波器与运动模式的再现度的组合。然而,获取该组合的处理过程也可以不限定于这种例子。例如,也可以是,运算装置210在针对全部受验者获取到训练数据集之后,对各训练数据集应用步骤s202至s208的处理,由此获取各受验者的csp滤波器和运动模式的再现度。

另外,例如,各受验者的csp滤波器和运动模式的再现度的计算也可以由其它计算机来进行。在该情况下,计算机20也可以借助网络、存储介质91等来从该其它计算机获取各受验者的csp滤波器和运动模式的再现度的组合。

(确定出的最佳组的信息的利用)

接着,使用图7来说明将上述确定出的最佳组的信息利用于运动的示教的方法。图7表示考虑受验者2的脑活动的类型时的运动示教系统1000的处理过程的一例。

如上所述,在受验者的脑活动的类型属于上述确定出的最佳组的情况下,估计该受验者能够高效地学习作为对象的运动模式。因此,运动示教系统1000如图7所示那样,在上述的示教的流程中,在开始运动的示教之前促使受验者进行训练,使得受验者的脑活动的类型属于最佳组,即,使该受验者能够进行属于最佳组的类型的脑活动。

具体地说,计算机20的运算装置210在步骤s102与s104之间判定在步骤s102中生成的受验者2的csp滤波器是否属于最佳组(步骤s103)。判定受验者2的csp滤波器是否属于最佳组的方法是根据确定最佳组时的聚类分析的方法来适当设定的。例如,运算装置210计算通过聚类分析得到的各组的重心与受验者2的csp滤波器之间的欧几里德距离,确定计算出的欧几里德距离低于规定的阈值的组。由此,能够确定受验者2的csp滤波器所属的组。

在受验者2的csp滤波器属于最佳组的情况下,运算装置210认为受验者2的脑活动的类型适于学习作为对象的运动,在下一个步骤s104以后对受验者2实施运动模式的示教。另一方面,在受验者2的csp滤波器不属于最佳组的情况下,运算装置210从步骤s100起重复处理。即,运算装置210利用脑波传感器10再次学习受验者2的训练数据集。由此,能够促使受验者2进行训练使得该受验者2进行属于最佳组的类型的脑活动。

此外,在后述的证实实验中,脑活动的类型属于f(focal)组、且在运动示教中解码器的输出大的受验者的运动模式的学习程度最高。但是,设想运动想象时的脑活动的类型根据各受验者而不同。而且,观察到脑活动的类型属于nf(nonfocal)组、在示教中解码器的输出大的受验者的学习程度反而变低的趋势。设想其主要原因在于,在后述的动觉运动想象的类型和视觉运动想象的类型中,脑活动的增减是相反的,运动想象的程度表现为事件相关去同步或事件相关同步。因此,当进行属于最佳组的类型的脑活动的受验者在运动示教中进行运动想象时,运动模式的学习程度未必变高。即,存在以下可能性:若进行属于最佳组的类型的脑活动的受验者在运动示教中进行运动想象以外(例如,静息状态),则运动模式的学习程度变得最好。

因此,在上述最佳组的确定的过程中,在对csp滤波器和各受验者的再现度关联有各受验者的运动示教中的脑活动被分类到的类别的情况下,运算装置210按运动示教中的脑活动的类别来对属于最佳组的各受验者进行分类,比较被分类为各类别的各受验者的再现度。由此,也可以是,运算装置210确定再现度高的受验者所属的类别,将确定出的类别设定为推荐类别,在运动模式的示教期间中推荐的脑活动被分类为该推荐类别。而且,也可以是,运算装置210将所设定的推荐类别与最佳组进行关联。

在该情况下,如果在运动示教中进行运动想象,则运动模式的学习程度不一定提高。因此,在通过上述步骤s103促使受验者2进行了属于最佳组的类型的脑活动的情况下,如图7所示,运算装置210执行下一个步骤s116a的处理来代替上述步骤s116。即,在运动模式的示教期间中,判定对从脑波传感器10获取到的受验者2的eeg信号进行解码所得的结果是否为运动模式的示教期间中的受验者2的脑活动被分类为与最佳组相关联的推荐类别。

然后,在运动模式的示教期间中的受验者2的脑活动被分类为与最佳组相关联的推荐类别的情况下(s116a的“是”),运算装置210进入下一个步骤s118。另一方面,在运动模式的示教期间中的受验者2的脑活动未被分类为与最佳组相关联的推荐类别的情况下(s116a的“否”),运算装置210使处理进入下一个步骤s120。由此,在步骤s104~s108中,运算装置210能够在运动模式的示教前对受验者2输出要使该受验者2回想的回想内容,使得运动模式的示教期间中的受验者2的脑活动被分类为与最佳组相关联的推荐类别。

此外,在上述的例子中,作为使受验者的脑活动的类型属于最佳组的方法,例示了以下方法:重复制作解码器,直到通过特征选择算法选择出的csp滤波器属于最佳组为止。然而,诱导受验者的脑活动的类型使其属于最佳组的方法也可以不限于这种例子。例如,也可以是,在步骤s102中,在通过csp算法生成的多个csp滤波器中存在属于最佳组的csp滤波器的情况下,运算装置210不实施利用特征选择算法的选择,而是将该属于最佳组的csp滤波器选作要利用的csp滤波器。然后,也可以是,运算装置210利用该选择出的csp滤波器来制作解码器。并且,也可以是,运算装置210在步骤s102与s104之间重复指示受验者进行运动想象,直到所生成的解码器的输出变得大于阈值为止。然后,也可以是,运算装置210在解码器的输出变得大于阈值之后,实施步骤s104以下的运动示教。由此也能够诱导受验者的脑活动的类型使其属于最佳组。

<8.变形例>

以上,详细地说明了本发明的实施方式,但是前述为止的说明在所有方面都不过是本发明的例示。能够不脱离本发明的范围地进行各种改良、变形,这是不言而喻的。例如,能够进行如以下那样的变更。此外,下面,对于与上述实施方式相同的结构要素,使用相同的标记,对于与上述实施方式相同的方面,适当省略说明。下面的变形例能够适当组合。

例如,在上述实施方式中,将csp滤波器用作空间滤波器,将在模型中利用逻辑回归的线性识别器用作识别器。然而,空间滤波器的种类也可以不限定于csp滤波器,识别器的种类也可以不限定于在模型中利用逻辑回归的线性识别器。空间滤波器和识别器的种类可以根据实施方式来适当选择。

另外,例如,在上述实施方式中,脑活动的分析、运动示教的控制、最佳组的确定等信息处理是由同一计算机20的同一运算装置210进行的。然而,执行各信息处理的结构也可以不限定于这种例子。例如,在计算机20具备多个运算装置的情况下,也可以利用不同的运算装置进行各信息处理。另外,在计算机20由多台计算机构成的情况下,也可以利用不同的计算机进行各信息处理。在该情况下,各计算机可以借助网络、存储介质等来交换信息处理的结果。

另外,在图5的步骤s104中,运算装置210与受验者无关地指示规定的回想内容,在运动示教的期间中的脑活动不是“运动想象”的情况下,通过步骤s120来变更应该指示的回想内容。然而,回想内容的指示方法也可以不限定于这种例子。例如,也可以预先制作表示每个受验者2的转变模式的数据库。在该情况下,在步骤s104中,运算装置210也可以参照该数据库来决定向对象的受验者2指示的回想内容。

另外,在上述实施方式中,力觉呈现设备80的操作部82沿着规定的运动模式的轨道(圆形轨道)移动,由此引导受验者2的手的运动,由此,受验者2被动性地学习按照规定的运动模式的运动。然而,引导受验者的可动部位的移动的方法也可以不限定于这种例子。例如,也可以是,在受验者的可动部位试图脱离这样规定的运动模式的轨道的情况下,力觉呈现设备80反馈使受验者的可动部位返回到该轨道的力觉,由此引导受验者的可动部位的移动。另外,在该情况下,也可以是,力觉呈现设备80不使受验者的可动部位返回到该轨道,而是进一步向脱离轨道的方向反馈力觉,由此引导受验者的可动部位的移动。根据这些方法,也能够使受验者学习规定的运动模式的轨道。另外,也能够采用所谓的被称为“assist-as-needed”的学习方法,该方法是通过由机器人侧辅助受验者处不足的力来实现目标运动的控制手法。此外,在上述实施方式中,作为运动模式,例示了圆形轨道。然而,运动模式的种类可以不限定于圆形轨道。运动模式可以根据实施方式来适当设定。在该情况下,再现度的计算方法等可以根据所设定的运动模式来适当决定。

<9.证实实验>

下面,说明表示如上所述的运动示教系统1000所进行的运动示教的序列的妥当性的证实实验和实验结果。

<9.1实验条件>

(a)运动示教机器人

作为运动示教机器人,使用图1所示的力觉呈现设备。力觉呈现设备能够控制手柄(操作部)的位置,能够使由受验者握住的状态的该手柄在二维平面内的目标轨道上顺畅地移动。在本证实实验中,受验者仅被提供本体感觉的反馈,不存在视觉性的与运动有关的反馈。

(b)受验者

受验者是20名右撇子的健康成年人。

(c)向受验者的反馈

在本证实实验中,关于运动的示教,仅对受验者提供力觉性反馈。这是由于考虑到以下情况:若在学习过程中在受验者脑内生成运动时提供力觉性反馈和视觉反馈这两方,则会因视觉信息的拘束而忘记好不容易以力觉方式学习到的运动。对于各受验者,在运动示教前在屏幕上显示目标圆的大小和目标轨道的指示器,来进行作为学习对象的运动模式的示教。然后,在被机器人移动的期间(称为“passivemovement:pm”),目标圆的大小和目标轨道的指示器均不显示。同样地,在受验者生成运动的期间(称为“motorexecution:me”),目标圆的大小和目标轨道的指示器均不显示。

(d)实验的流程

图8是表示实验的流程的概念图。在本证实实验中,按照图8所示的过程来制作各受验者的解码器,测量运动示教前和运动示教中的脑活动,对运动示教后的运动生成进行评价。

(目标运动的演示和基线测量)

首先,在步骤s300中,决定用约1.5秒描绘半径为10cm的圆一周的二维的目标轨道,由实验实施者对受验者进行5次目标运动的演示。之后,受验者用与常用手相反的手、即左手连续15次地生成目标运动,进行基线的测量。测量时间为平均每次5秒。此时,对受验者的视觉反馈是无法获知指尖位置的。

在这种状态下无法判断运动的好坏。因此,每次都对所生成的运动进行评价,在运动生成后向受验者反馈在100分满分中得到多少分。不需利用机器人的运动示教,仅依靠评价值来生成目标运动。指示受验者努力得到高得分。

(解码器的制作)

在下一个s302中,按每个受验者制作出要在系统中使用的解码器。使受验者将7秒的静息状态和5秒的运动想象交替地进行40次。利用脑波传感器来测量此时的脑波,收集训练数据集。每10次稍事休息。设为进行运动想象的时间是与基线测量时间相同的时间。因此,对受验者提供指示来使该受验者想象一次高得分时的运动。此时不对受验者进行视觉反馈。在静息状态时和运动想象时都指示看注视点(+标记)。

在解码器的制作时,对测量40次得到的eeg信号以10次为1组来进行交叉验证。对频带7hz~30hz的信号进行滤波,噪声多的通道被去除。对滤波后的信号应用上述csp算法,得到多个csp滤波器。接着,通过上述特征选择算法来从多个csp滤波器中选择要利用的csp滤波器。然后,基于静息状态的7秒的平均值、运动想象的5秒的平均值来进行线性判别分析,从而制作出识别器。此外,20人中有5人的通过特征选择算法选择出的csp滤波器明显有误,因此手动修正要利用的csp滤波器。

图9a和图9b表示利用所选择的csp滤波器来观测运动想象的脑活动时的功率变化的情形。具体地说,图9a表示观测进行动觉运动想象(kmi;kinestheticmotorimagery)的受验者的脑活动时的功率变化的情形。另一方面,图9b表示观测进行视觉运动想象(vmi;visualmotorimagery)的受验者的脑活动时的功率变化的情形。

已知一般来说运动想象有2个种类。第一个类型是动觉运动想象(kmi;kinestheticmotorimagery),在该动觉运动想象中,相应于第一人称运动想象,观察到感觉运动区(sensorimotorarea)上的α带和β带的功率变动(erd/ers)。在此,erd是指事件相关去同步(erd:event-relateddesynchronization),ers是指事件相关同步(ers:event-relatedsynchronization)。

第二个类型是视觉运动想象(vmi;visual-motorimagery),在该视觉运动想象中,即使是第三人称或没有视觉输入的情况下,也在视觉区观察到活动。在本证实实验的后述的第一研究中,仅将图9a和图9b所示的、与动觉运动想象kmi及视觉的运动想象vmi分别相对应的csp滤波器作为对象。

[运动学习阶段]

(第一次的脑状态的控制)

返回到图8,在制作出解码器之后,实施运动学习阶段。首先,在本证实实验中,在利用机器人被动地教运动之前,使受验者使用系统来进行5秒的脑状态的操作(s304~s308)。

在此,将使得进行静息状态的条件称为第一实验条件,将使得进行运动想象的条件称为第二实验条件。随机地对各个实验条件各分配10名受验者。

使受验者的脑波信号通过在步骤s202中制作出的解码器,在屏幕上以能量条的方式视觉地反馈其解码结果,使得受验者能够确认自己的脑状态变为静息状态还是变为运动想象(s306)。其中,对静息状态和运动想象进行区分的阈值没有被告知给受验者,而是进行当能量条接近0时处于静息状态、当能量条接近100时进行运动想象这样的指示。另外,指示受验者尽可能一边看注视点一边进行控制控制,能量条则以进入视场的程度作为参考。根据该脑状态的控制的结果来变更之后的序列。

如果受验者的5秒的脑波识别结果的平均值比阈值低(第一实验条件)/高(第二实验条件)(s308中“是”),则执行运动示教以后的序列(s310)。另一方面,如果未明确阈值(s308中“否”),则插入7秒的静息状态(不显示能量条)后,从步骤s204的脑状态的控制起重新进行运动学习阶段。

此外,使各受验者进行作为对象的实验条件的脑状态的操作之后,进行另一个实验条件的脑状态的操作。即,使进行了第一实验条件的脑状态的操作的受验者之后进行第二实验条件的脑状态的操作,使进行了第二实验条件的脑状态的操作的受验者之后进行第一实验条件的脑状态的操作。但是,之后进行的操作的数据被排除在除转变模式的研究以外的其它研究的对象之外。

(利用机器人进行的运动示教)

在利用之前的脑状态的能量条控制明确了阈值(s308中“是”)之后,直接开始利用机器人的目标运动的示教(s310)。对机器人的臂进行pid控制,使受验者被动地移动手。安全起见,机器人构成为在受验者对机器人施加了一定以上的力的情况下停止。此时,受验者无法视觉地目视要描绘的圆的大小,另外也无法目视机器人的移动(图3)。因而,在本步骤s310中,实施了不存在视觉上的影响的本体感觉训练。

此时,指示受验者将位置和速度以及移动方法都记住,以便之后能够准确地再现运动。受验者握住机器人的手柄部分(操作部),不使用扶手等支撑臂的重量的治具。

(第二次脑状态的控制)

利用机器人进行的运动示教结束后立即进行第二次脑状态控制(s312)。但是,在该步骤s312中的能量条控制中不设置阈值评价,即使不明确阈值也转变为下一个步骤s314。但是,不向各受验者告知在该步骤s312中不存在阈值评价。使各受验者以接近第一实验条件的脑状态和第二实验条件的脑状态的方式进行能量条控制。

(由受验者进行的运动再现和由机器人进行的测量)

指示受验者与所示教的运动模式同样地移动进行了运动示教的机器人的手柄部分,测量被受验者移动的手柄部分的轨道(s314)。此时,受验者以几乎感觉不到机器人的重量、能够以低阻力再现运动的方式进行机器人的控制。另外,此时,受验者无法通过屏幕目视到自己的手的位置。在再现运动之后,向受验者呈现再现度为100分满分中多少分。

(重复次数)

重复地进行以上的s304至s314的流程。受验者至少接受15次的机器人的运动示教,被提供15次再现运动的机会。

每当通过s304~s308的脑状态的控制进行条件切换的尝试次数达到15次时,随时插入1分钟~2分钟左右的休息。根据受验者擅长和不擅长脑状态控制,整体的实验时间和运动学习的时间间隔不同。此外,运动学习与运动再现的时间间隔始终固定为5秒。

(e)各实验条件下的脑状态控制的解码器识别结果

图10表示使某个受验者进行第一实验条件的脑状态的操作和第二实验条件的脑状态的操作时的识别器的输出。如上所述,在第一实验条件下,使受验者控制脑状态变为静息状态,另外,在第二实验条件下,使受验者控制脑状态变为运动想象。如图10所示,在第二实验条件的控制中平均值超过阈值,在第一实验条件的控制中平均值低于阈值。因此,可知正确地制作出了解码器,受验者能够进行能量条的操作、即脑状态的控制。

(f)运动再现结果相对于目标轨道的误差的计算式

图11是用于说明目标轨道与受验者所再现的轨道之间的误差的概念图。以目标运动的轨迹为基准来评价受验者所再现的运动。将目标轨道从12点的开始位置离开基准开始圆(半径3cm)的时间点(t=ts)到再次进入基准开始圆内的时间(t=te)设为评价期间。该评价期间为约1.5秒。按照下面的式子来计算从12点的开始位置离开基准开始圆的时间点起1.5秒的受验者所再现的指尖轨道(图11中的实线)相对于目标轨道(图11中的点线)的平均误差和标准误差。然后,按照规定的计算式将计算出的平均误差换算为100分满分的分数。

[数9]

此外,下面将该平均误差称为“误差”。

(g)运动示教中的脑活动状态和学习结果

图12是用于说明在上述步骤s304~s314的过程中在运动示教的前后向受验者指示的回想内容的概念图。如图12所示,在上述的实验中,指示被指定为第一实验条件的受验者在运动示教的前后将脑状态控制为“静息状态”。另一方面,指示被指定为第二实验条件的受验者在运动示教的前后将脑状态控制为“运动想象”。利用屏幕上的能量条来向各受验者呈现在运动示教的前后通过解码器解码为静息状态和运动想象状态中的哪一个状态。

然后,通过解码器来判别运动示教中的受验者的脑活动。在运动示教中,对受验者在屏幕上进行作为统一指示的“请记住机器人的移动”的显示。然而,已知的是,尽管进行了这种显示,运动示教中的脑活动的解码结果也分为运动想象和静息状态这2个类别。下面,说明其实验结果。

<9.2第一研究>

第一,通过下面的过程,来研究运动示教中的脑活动是否对运动的学习造成影响。

(运动示教时的脑波的识别结果)

首先,基于在运动示教中获取到的脑波信号的解码结果来对各受验者在运动示教中的脑活动的类别进行分类。即,利用按每个受验者制作出的解码器对正在由机器人进行运动示教(passivemovement:pm)的约2秒的脑波信号进行解码。在解码器的输出低于各个受验者的识别概率的阈值的情况下,认为该受验者的运动示教中的脑活动处于静息状态,将这种受验者分类为“lowgroup”。另一方面,在解码器的输出高于阈值的情况下,认为该受验者的运动示教中的脑活动为运动想象,将这种受验者分类为“highgroup”。

图13a表示静息状态的类别(lowgroup)的代表性受验者的运动示教中的解码器的输出。图13b表示运动想象的类别(highgroup)的代表性受验者的运动示教中的解码器的输出。根据图13a和图13b所示的结果,可知如上所述那样,运动示教中的脑活动的解码结果被分为运动想象和静息状态这2个类别。

另外,图14表示分别属于静息状态的类别(lowgroup:9人)和运动想象的类别(highgroup:11人)的受验者的运动示教中的解码器的输出。相对于20人的平均阈值(实线),各个组的平均输出被分为上下。另外,根据welcht检验可知两组之间非偶然地不同(p<0.05)。根据该结果也可知,运动示教中的脑活动的解码结果被分为运动想象和静息状态这2个类别。

(运动学习结果)

接着,研究各类别的运动学习是否产生差异。首先,计算出各个受验者在基线测量中进行了15次运动时(记载为“基线”)的运动轨迹的各误差的平均值来作为平均误差。接着,按运动再现来计算在运动学习阶段中进行运动再现时(记载为“运动生成”)的运动轨迹的误差(15次)。然后,计算各受验者的各运动再现的误差与基线测量时的平均误差之差,将计算出的差的平均值计算为运动成绩。因此,随着计算出的值变小,表示更高精度地进行了运动再现(运动生成)。

图15a和图15b表示其计算结果、即运动示教中的脑活动的状态与运动生成的平均位置误差之间的关系。具体地说,图15a表示作为运动想象进行动觉运动想象(kmi)的受验者的运动示教中的脑活动的状态与运动再现的平均位置误差(再现度)之间的关系。另一方面,图15b表示作为运动想象进行视觉运动想象(vmi)的受验者的运动示教中的脑活动的状态与运动再现的平均位置误差(再现度)之间的关系。针对纵轴,当运动再现时的结果下降到基线以下时,再现的运动与目标运动的误差减少,良好地进行了学习。

可知无论是在kmi的组还是在vmi的组中,运动示教中的脑活动被分类为“运动想象”的受验者所再现的运动与目标运动的误差都比运动示教中的脑活动被分类为“静息状态”的受验者所再现的运动与目标运动的误差小。另外,根据welcht检验可知两组之间的结果非偶然地不同(p<0.05)。根据以上的结果,能够得到上述(1)的见解。

<9.3第二研究>

第二,研究运动的示教前的脑活动与示教中的脑活动之间的关系。如上所述,在两个实验条件下对各受验者进行了运动的示教。然后,基于各实验条件下的运动示教中的脑活动的解码结果来对各受验者的脑活动的转变模式进行分类。图13表示其结果。

图13表示示教前的脑活动的状态与示教中的脑活动的状态之间的关系(转变模式)。如图13所示,可知示教前的脑活动的状态与示教中的脑活动的状态之间的关系至少被分为下面4个转变模式。

1)转变模式a(上述(a)的转变模式)

转变模式a是以下的组:在示教前的脑活动的状态为“运动想象(mi)”状态时,示教中的脑活动的状态也为“运动想象(high(mi))”状态,在示教前的脑活动的状态为“静息(rest)”状态时,示教中的脑活动的状态也为“静息(low(rest))”状态。20人中有6人符合该转变模式a。

2)转变模式b(上述(b)的转变模式)

是以下的组:在示教前的脑活动的状态为“运动想象”状态时,示教中的脑活动的状态为“静息”状态,在示教前的脑活动的状态为“静息”状态时,示教中的脑活动的状态为“运动想象”状态。20人中有2人符合该转变模式b。

3)转变模式c(上述(c)的转变模式)

是以下的组:在示教前的脑活动的状态为“运动想象”状态时,示教中的脑活动的状态为“运动想象”状态,在示教前的脑活动的状态为“静息”状态时,示教中的脑活动的状态也为“运动想象”状态。20人中有6人符合该转变模式c。

4)转变模式d(上述(d)的转变模式)

是以下的组:在示教前的脑活动的状态为“运动想象”状态时,示教中的脑活动的状态为“静息”状态,在示教前的脑活动的状态为“静息”状态时,示教中的脑活动的状态也为“静息”状态。20人中有6人符合该转变模式d。

根据以上的结果,能够得到上述(2)的见解。另外,结合图15a和图15b的结果,在受验者的脑活动的转变模式为转变模式a、转变模式b以及转变模式c中的任一个时,能够使受验者的脑活动在运动示教中为“运动想象”的状态,因此估计利用运动示教系统1000的运动学习是有效的。因此,在上述实施方式所涉及的运动示教系统1000中,利用如图5的流程图所示的过程诱导运动示教中的脑活动的状态成为“运动想象”状态。

<9.4第三研究>

第三,将手动地选择csp滤波器的5人的数据排除,来再次研究运动的示教前的脑活动与示教中的脑活动之间的关系。首先,针对各受验者如上所述那样计算运动成绩。接着,利用运动示教前的脑活动的状态的2个类别对15名受验者进行分类。然后,按每个类别来计算运动成绩的平均值。图17a表示其结果。即,图17a表示通过特征选择算法进行csp滤波器的选择的15名受验者的运动示教前的脑活动的状态与运动再现的平均位置误差(再现度)之间的关系。

接着,利用运动示教中的脑活动的状态的2个类别对15名受验者进行分类。然后,按每个类别来计算运动成绩的平均值。图17b表示其结果。即,图17b表示通过特征选择算法进行csp滤波器的选择的15名受验者的运动示教中的脑活动的状态与运动再现的平均位置误差(再现度)之间的关系。

根据t检验可知图17a所示的2个组之间不存在非偶然的差异(p=0.7)。另一方面,可知图17b所示的2个组之间存在非偶然的差异(p=0.034)。即,可知当如图17b所示那样在运动示教中脑活动为“运动想象”的状态时,对象的运动模式的学习程度非偶然地提高。由此,可知即使将数据缩小到通过特征选择算法选择csp滤波器的15名受验者,上述(1)的见解也是正确的。

<9.5第四研究>

第四,研究受验者的脑活动的类型与运动示教中的脑活动的状态是否能够相互作用。首先,为了对各受验者的脑活动的类型进行分组,针对通过特征选择算法进行csp滤波器的选择的15名受验者进行各受验者的csp滤波器的聚类分析。各csp滤波器之间的距离由欧几里德距离来定义。另外,在聚类分析中使用沃德(ward)法。

图18表示对15名受验者的csp滤波器进行聚类分析所得的结果。在图18所示的聚类分析的结果中,受验者“13”的csp滤波器被排除,剩余14名受验者的csp滤波器被分类为2个组。具体地说,各csp滤波器被分类为脑活动集中于m1附近的csp滤波器的组(下面也称为“f(focal)组”)和脑活动未集中于m1附近的csp滤波器的组(下面也称为“nf(not-focal)组”)。属于f组的受验者为5名,属于nf组的受验者为9名。此外,通过将csp滤波器的各权重与脑图进行对应,能够将脑活动的类型可视化为csp图。在图18所示的树结构的叶子处配置有各受验者的csp图。

接着,针对各受验者的运动的再现度进行考虑到下面的因素的方差分析。

·因素a:csp滤波器的类型(f组、nf组)

·因素b:在运动示教中获取到的脑波信号的解码结果

·变量效果:运动示教中的脑活动的状态(是“运动想象”还是“静息状态”)其结果,在不对csp滤波器的组进行区分的情况下,在运动示教中的脑活动的状态为“运动想象”的情况下运动成绩提高(图17b),但是已知该运动成绩的提高程度在csp滤波器属于f组的情况以及csp滤波器属于nf组的情况之间产生非偶然的差异(p=0.042)。由此,能够得到上述(3)的见解。此外,在本研究中,在进行f组的类型的脑活动的受验者在运动示教中进行“运动想象”的情况下观察到运动成绩的最大提高。由此,关于描绘圆的运动,估计通过将f组设定为最佳组、将运动想象的类别设定为推荐类别,能够最高效地学习。另一方面,观察到脑活动的类型属于nf(nonfocal)组且在示教中解码器的输出大的受验者的学习程度反而变低的趋势。设想其原因之一在于,在动觉运动想象的类型和视觉运动想象的类型中,脑活动的增减是相反的,运动想象的程度表现为事件相关去同步或事件相关同步。因此,设想到当进行属于最佳组的类型的脑活动的受验者在运动示教中进行运动想象时,运动模式的学习程度未必变高。即,设想到存在以下可能性:若进行属于最佳组的类型的脑活动的受验者在运动示教中进行运动想象以外(例如,静息状态),则运动模式的学习程度变得最好。此外,在选择要在解码器中使用的csp滤波器时,在利用csp算法生成的多个csp滤波器包括属于f组的csp滤波器的情况下,即使贡献度小也选择该csp滤波器,并实施解码器本身的操作训练,由此能够期待的是,能够学习能够期待运动精度的提高的运动想象。此外,关于能够进行解码器本身的操作训练,例如公开了下面的公知文献6。

·公知文献6:erd-basedonlinebrain?machineinterfaces(bmi)inthecontextofneurorehabilitation:optimizingbmilearningandperformance

<10.其它>

此外,本次公开的实施方式是用于具体实施本发明的结构的例示,并不限制本发明的技术范围。本发明的技术范围不是由实施方式的说明来表示,而是由权利要求书来表示,意图包括权利要求书的语句上的范围及等同的含义的范围内的变更。

附图标记说明

2:受验者;10:脑波传感器;12:信号获取模块;20:计算机;30:训练控制部;40:脑活动分析部;50:控制模块;70:投影仪;80:力觉呈现设备;82:操作部;202:外部接口;210:运算装置;212:存储装置;402:滤波处理部;404:解码器;406:特征量提取部;410:识别处理部;412:判定部;420:学习处理部。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1