机械手臂控制在线脑-机接口系统及实现方法与流程

本发明涉及大脑思维与外界环境的直接沟通，涉及脑机接口技术，具体讲,涉及精细机械手臂控制在线脑-机接口系统。

背景技术：

脑-机接口(braincomputerinterface,bci)系统是不依赖于身体的神经通路和肌肉的一种通讯系统。bci技术的发展初衷是服务于那些外周运动系统受损而大脑完好的病人，替代其失效的信息交流通路，改善其生活质量。但近年来，研究者开始将bci技术应用于大脑受损的患者，不仅完成思维指令的输出，还可以诱发神经可塑性变化，重建受损信息通路，实现医学上神经康复的治疗作用。bci技术已经在生活、医疗和军事领域都有重要的应用前景，随着bci研究的不断进步，必将在各个领域绽放异彩。

运动想象(motorimagery,mi)可导致大脑皮层感觉运功区中大量神经元活动状态的改变，从而使脑电信号中的某些频率成分同步衰减或增强，这种现象称为事件相关去同步化或者同步化现象(event-relateddesynchronization/synchronization,erd/ers)。bci技术通过放置在不同脑区的电极检测相应的脑电能量变化情况，从而判别出使用者的运动意图。由于人体脑电(electroencephalography,eeg)信号容易受到干扰，信噪比低等缺点，无创的mi-bci系统识别精度低，因此，在目前的康复应用中，患者仅能通过mi-bci进行一些简单的康复动作，这就对mi-bci在康复训练领域的应用形成了很重要的制约。

近年来，混合bci范式被用于提升传统bci效率的研究受到了广泛关注。以mi范式为主体，混合bci范式包括时序和同步两种。时序混合bci是指将一种信号作为开关控制另一种信号工作，从而实现一种异步bci。比如有研究表明通过脚的运动想象作为大脑开关控制两种不同频率的稳态视觉诱发电位(steady-statevisualevokedpotential,ssvep)，降低了控制机械臂开合的假阳率。而同步混合bci则要求使用者同时完成两个大脑活动，比如同时进行运动想象和视觉p300电位诱发，p300信号用于控制光标的垂直移动，左/右手运动想象用于控制光标的水平移动，实现了光标二维运动。然而，这两种组合方式虽然对bci的整体性能有所提升，但是对于运动想象的识别并无帮助，同时，时序式增加了指令产生的环节，有可能降低解码速度，而同步式则需要被试消耗额外的注意资源，一方面削弱脑电信号的特征，另一方面增加使用者的操作复杂度，影响用户体验。

是否存在一种混合策略既能提高mi-bci的整体性能，又不引起注意资源的竞争？直到融合稳态体感电位(steady-statesomatosensoryevokedpotential,sssep)和mi的混合范式被提出来。已有研究表明，融合这两种特征用于识别运动想象动作的识别正确率明显高于仅使用一种特征的识别正确率。在这种范式下，使用者无需刻意关注体感刺激，而是采用与传统mi范式一样的想象模式进行想象即可。这种混合范式不仅不影响mi-bci主动式的优势，而且能够提高mi-bci的识别性能，因此为本发明设计提供了思路。

本发明设计了三类基于右手不同手指的精细想象动作混合范式，包括拇指、食指和小指。通过加入电刺激，诱发感觉运动皮层的sssep特征，实现通过单一运动想象任务同时获取erd和sssep两种模态的识别信息，提升脑电信号可识别的信息量。手套设计能够增加用户的触觉感和体验感，用户通过想象右手的不同手指的运动，控制机械手臂完成指定的动作，提升用户的互动。本设计不同于原有的mi-bci，通过构建精细动作机械手臂在线控制系统，实现精细动作意图的识别，为康复治疗提供新思路。

技术实现要素：

为克服现有技术的不足，本发明旨在提出一种基于混合特征的精细动作机械手臂在线控制bci系统,能够实现准确的精细动作识别，对于运动功能损伤患者，有助于特定脑区的训练，有望为中风康复治疗的bci技术发展开拓思路并奠定技术基础。同时，满足多指令输出。为此，本发明采取的技术方案是，机械手臂控制在线脑-机接口实现方法，对右手不同手指设计三类动作，包括拇指、食指和小指；通过在拇指和小指两个位置给予电刺激诱发sssep特征，提升识别性能，然后通过空间滤波、特征提取和模式识别过程输出决策值，最后通过蓝牙装置发送相应的指令控制机械臂完成指定的动作。

被试进行电刺激强度的调整：电刺激采用脉宽为200μs的双相电流脉冲，通过两个自粘性心电电极施加刺激，刺激电极嵌入模拟手套的拇指和小指位置。刺激频率为拇指26hz、小指31hz，刺激强度调整至使用者轻微震颤，以足以产生sssep为止，每个被试的刺激强度根据每个被试的身体条件而确定。

通过在拇指和小指两个位置给予电刺激诱发sssep特征具体过程是，被试坐在距离屏幕约1m的座椅上，保持舒适状态，并配带模拟手套，手心朝下；单个轮次的流程共包含4个阶段，持续时间为8s，首先第一阶段是准备期，屏幕正中央出现一个白圆，持续2s提醒被试本轮实验正式开始，需要调整好自身状态；接下来的1s时间是提示期，屏幕中间出现“拇指”、“食指”和“小指”的字样，提醒被试想象任务即将开始，在第2s时，屏幕中间出现提示字符，提醒用户即将执行的想象任务；然后是想象期，持续4s时间，被试根据提示执行响应的想象动作，如提示为“拇指”，则被试进行右手拇指的想象动作，若提示“食指”，则被试进行右手食指的想象动作，以此类推，此时被试无需刻意关注电刺激，按照原有的mi想象模式进行想象即可，最后是休息期，持续1s，被试保持静息状态，以作调整准备下一轮次；在实验开始前，用户开始被施加电刺激，使得用户适应电刺激，直至整个实验结束才停止。每个用户的刺激强度在实验开始前进行调整。

共采集5组数据，每组实验包含30个单轮次任务，三种动作任务各随机出现10次，前3组实验数据用于建立匹配模板，后2组实验用于在线测试系统的性能，在正式实验前三天，所有被试均被要求进行每天/次的训练，并熟悉实验流程，整个实验持续60分钟，总采集5*30＝150次实验任务下的脑电信号，即150个脑电数据样本；

通过放置在头颅的64导联银/氯化银ag/agc1合金电极帽由neuroscansynamps2系统进行eeg信号采集，eeg频带滤波为0.5-100hz，采样频率为1000hz，以鼻尖作参考，所有的电极阻抗被保持在5千欧以下，数据采集过程中，50hz陷波器被用于去除工频干扰，预处理中对原始数据降采样到200hz，并采用共平均参考进行空间滤波；

采用事件相关谱扰动ersp(event-relatedspectralperturbation)分析eeg信号的时频域特征，分析不同想象任务下的erd/sssep模式，ersp的定义公式如下：

其中，n表示实验轮次的个数，fk(f,t)指的是第k轮次实验的t时刻在频率f下的频谱估计。计算ersp时采用短时傅里叶变换，hanning窗宽为256个采样点，并从原始数据中减去任务前3s内的频谱均值从而去除基线，针对每个想象任务，主要分析fc3、fc1和c3三个关键导联的时频特征。

特征提取和多分类支持向量机

采用基于多频率成分空间滤波的算法fbcsp(filterbankcommonspatialpattern)，首先设计nf个带通滤波器，将eeg数据分为nf个不同频段的eeg成分，然后分别对每一个频段的eeg成分计算csp投影矩阵，进而分别提取每个eeg成分的空间特征。

采用多分类支持向量机svm(supportvectormachine)进行模式识别，为了更好地将支持向量机应用于多类识别，采用“一对一”的多分类策略将多分类问题转化为若干个两分类问题求解；

模式识别的过程：截取任务开始后0.5-3.5s内3s的数据，将离线采集到的90个试次的数据用于构建svm分类器，得到匹配模型，然后用这个模型对未知的想象动作类型进行预测，也就是在线控制，得到的结果即对未知想象动作类型的模式识别结果，输出相应的决策值，并将决策值通过蓝牙装置发送给控制机械臂的cpu模块，cpu模块通过指令转换驱使机械臂完成相应的动作。

机械手臂控制在线脑-机接口系统，包括采集模块、处理模块和控制模块，采集模块用于脑电信号的采集、电刺激的施加和刺激的呈现，由电极、标准电极帽、刺激的呈现模块构成，脑电信号通过标准电极帽进行采集，并通过脑电放大器实现信号的放大；通过嵌在手套上的电极施加电刺激，用于诱发sssep特征；刺激的呈现模块中刺激呈现界面通过编写计算机的matlab工具包实现；处理模块包括特征提取和多分类支持向量机，将采集模块采集到的脑电数据进行空间滤波提取特征后输入多分类支持向量机训练分类器，训练好的分类器用于预测在线采集的每个试次数据，并输出决策结果；控制模块获取决策结果，由控制模块完成指令的转换，控制机械臂执行相应的动作。

进一步地，处理模块特征提取，基于多频率成分空间滤波的算法fbcsp(filterbankcommonspatialpattern)，利用nf个带通滤波器，将eeg数据分为nf个不同频段的eeg成分，然后分别对每一个频段的eeg成分计算csp投影矩阵，进而分别提取每个eeg成分的空间特征；采集到的90个试次的空间特征数据构建多分类支持向量机分类器，得到匹配模型，然后用这个模型对未知的想象动作类型进行预测，也就是在线控制，得到的结果即对未知想象动作类型的模式识别结果，输出相应的决策值。

本发明的特点及有益效果是：

对右手三个手指进行识别，使得该系统更加灵活操作，同时融合的电刺激保证了系统处理模块的输出性能，减少误触发率，给用户真实的触觉感受。采用与机械手臂对应的模拟手套，增强用户的体验感，有助于运动功能障碍患者的康复训练。在线的机械臂操作能够强化用户的参与度，进一步研究可以得到更完善的脑-机接口系统，获得可观的社会效益和经济效益。提升当前mi-bci技术较低的想象动作识别的空间精度，对于充分发挥mi-bci独特的中风康复治疗效用，具有关键性的作用。

附图说明：

图1本发明结构示意图。

图2.实验范式示意图。

图3.算法流程示意图。

具体实施方式

本发明设计了三类基于右手不同手指的精细想象动作混合范式，包括拇指、食指和小指。通过加入电刺激，诱发感觉运动皮层的sssep特征，实现通过单一运动想象任务同时获取erd和sssep两种模态的识别信息，提升脑电信号可识别的信息量。手套设计能够增加用户的触觉感和体验感，用户通过想象右手的不同手指的运动，控制机械手臂完成指定的动作，提升用户的互动。本设计不同于原有的mi-bci，通过构建精细动作机械手臂在线控制系统，实现精细动作意图的识别，为康复治疗提供新思路。

脑-机接口(brain-computerinterface,bci)可以不依赖于大脑正常的输出通路，实现大脑思维与外界环境的直接沟通。基于运动想象(motorimagery,mi)的脑-机接口技术是主动式bci中最主要的范式之一，能够直接反映使用者的主观运动意识，而不需要使用者明显的动作输出。mi-bci在运动功能辅助、运动功能康复等方面具有潜在的应用价值，因此受到了广泛的关注。目前，mi-bci的主要问题是基于无创脑电信号的识别精度不高，尤其是对于运动想象发生部位的空间定位精度低。因此，在目前的康复治疗或者实际操作中，用户只能通过mi-bci进行一些简单的动作，从而对mi-bci的应用形成了严重的制约。本发明设计了一种新型的基于混合特征的精细机械手臂脑-机接口系统。通过在模拟手套上嵌入振荡电极，不仅融入了体感特征，提高系统处理模块的性能，而且可以增加用户的触觉体验感，有助于康复训练；最后搭建实时的机械手臂在线系统，使用者可以自主控制机械手臂的运动实现相应的功能。该发明从一定程度上为康复治疗提供了新思路，未来可以进一步完善主动式bci系统，具有广阔的应用前景。

本发明的主旨是提出一种基于混合特征的精细动作机械手臂在线控制bci系统。通过融合erd和sssep特征对右手不同手指做分类识别并控制机械手臂。该项发明能够实现准确的精细动作识别，对于运动功能损伤患者，有助于特定脑区的训练，有望为中风康复治疗的bci技术发展开拓思路并奠定技术基础。同时，该项发明也有望拓展传统mi-bci的指令集，满足多指令输出，具有广阔的应用场景

1.实验设计

本发明针对右手不同手指设计了三类动作，包括拇指、食指和小指。通过在拇指和小指两个位置给予电刺激诱发sssep特征，提升系统的识别性能。最后通过空间滤波、特征提取和模式识别等过程输出决策值，然后通过蓝牙装置控制机械臂完成指定的动作。本发明的结构示意图如图1所示。

本发明的结构组成可分为采集模块、处理模块和控制模块。首先，采集模块包括信号的采集、电刺激的施加和刺激的呈现。用户的脑电信号通过标准电极帽进行采集，并通过脑电放大器实现信号的放大；电刺激装置通过嵌在手套上的电极施加，用于诱发sssep特征；刺激呈现界面通过编写计算机的matlab工具包实现；其次，处理模块包括特征提取和多分类支持向量机。将离线采集到的脑电数据进行空间滤波提取特征后输入svm训练分类器，用于预测在线采集的每个试次数据，并输出决策结果；最后是控制模块。在线获得的决策结果通过蓝牙装置传送给cpu控制模块，由cpu控制模块完成指令的转换，控制机械臂执行相应的动作。

实验开始前，被试进行电刺激强度的调整。电刺激采用脉宽为200μs的双相电流脉冲，通过两个自粘性心电电极施加刺激，刺激电极嵌入模拟手套的拇指和小指位置。刺激频率为拇指26hz、小指31hz，刺激强度调整至使用者轻微震颤，以足以产生sssep为止。每个被试的刺激强度根据每个被试的身体条件而确定。

实验时，被试坐在距离屏幕约1m的座椅上，保持舒适状态，并配带模拟手套，手心朝下，尽量避免身体无明显动作。单个轮次的实验流程如图2所示，共包含4个阶段，持续时间为8s。首先第一阶段是准备期，屏幕正中央出现一个白圆，持续2s提醒被试本轮实验正式开始，需要调整好自身状态；接下来的1s时间是提示期，屏幕中间出现“拇指”、“食指”和“小指”的字样，提醒被试想象任务即将开始；然后是想象期，持续4s时间，被试根据提示执行响应的想象动作，如提示为“拇指”，则被试进行右手拇指的想象动作，若提示“食指”，则被试进行右手食指的想象动作，以此类推，此时被试无需刻意关注电刺激，按照原有的mi想象模式进行想象即可，最后是休息期，持续1s，被试保持静息状态，以作调整准备下一轮次实验。在实验开始前，用户开始被施加电刺激，使得用户适应电刺激，直至整个实验结束才停止。每个用户的刺激强度在实验开始前进行调整。整个实验在安静无干扰的环境中完成。

实验共采集了5组数据，每组实验包含30个单轮次任务，三种动作任务各随机出现10次。前3组实验数据用于建立匹配模板，后2组实验用于在线测试系统的性能。在正式实验前三天，所有被试均被要求进行每天/次的训练，并熟悉实验流程。整个实验持续60分钟，总采集5*30＝150次实验任务下的脑电信号，即150个脑电数据样本。

通过放置在头颅的64导联银/氯化银(ag/agc1)合金电极帽由neuroscansynamps2系统进行eeg信号采集，eeg频带滤波为0.5-100hz，采样频率为1000hz，以鼻尖作参考，所有的电极阻抗被保持在5千欧以下。数据采集过程中，50hz陷波器被用于去除工频干扰。预处理中对原始数据降采样到200hz，并采用共平均参考进行空间滤波。

2.时频分析

事件相关谱扰动(event-relatedspectralperturbation,ersp)方法被用来分析eeg信号的时频域特征，分析不同想象任务下的erd/sssep模式。ersp的定义公式如下：

其中，n表示实验轮次的个数，fk(f,t)指的是第k轮次实验的t时刻在频率f下的频谱估计。计算ersp时采用短时傅里叶变换，hanning窗宽为256个采样点，并从原始数据中减去任务前3s内的频谱均值从而去除基线。针对每个想象任务，主要分析fc3、fc1和c3三个关键导联的时频特征。

3.特征提取和多分类支持向量机

为了有效提取该范式诱发eeg信号中不同频率分布的erd和sssep特征，本设计采用了基于多频率成分空间滤波的算法(filterbankcommonspatialpattern,fbcsp)，如图3所示。首先设计nf个带通滤波器，将eeg数据分为nf个不同频段的eeg成分，然后分别对每一个频段的eeg成分计算csp投影矩阵，进而分别提取每个eeg成分的空间特征。

本发明采用多分类支持向量机(supportvectormachine,svm)进行模式识别。为了更好地将支持向量机应用于多类识别，采用“一对一”的多分类策略将多分类问题转化为若干个两分类问题求解。本设计的分类识别在libsvm平台上实现。

模式识别的过程：截取任务开始后0.5-3.5s内3s的数据，将离线采集到的90个试次的数据用于构建svm分类器，得到匹配模型，然后用这个模型对未知的想象动作类型进行预测，也就是在线控制，得到的结果即对未知想象动作类型的模式识别结果，输出相应的决策值，并将决策值通过蓝牙装置发送给控制机械臂的cpu模块，cpu模块通过指令转换驱使机械臂完成相应的动作。

本发明设计了一种基于精细运动意图的机械臂控制在线bci系统，以实现精细手指运动想象下机械臂的成功控制。针对目前mi-bci所面临的问题，我们设计了无创精细运动意图识别，以日常生活中用途最为广泛的手指作为研究目标，分别是拇指、食指和小指。为了更好的解决实际输出与真实意图之间的认知缺联，我们设计了对应于机械手臂的模拟手套，使用户更好的认知感受。本发明可以改善现有bci系统动作输出的连续性，为未来大指令输出的研究奠定基础；同时，范式中所加入的电刺激，能够有效提高系统处理模块的整体性能，降低系统的误触发率，增强被试的使用信心；目前，机械手臂的控制仅限于相应的动作，未来可以进一步完善动作指令，使真实操作更贴近日常生活。对于运动功能损伤患者的康复治疗，更为精细的动作训练可以增强神经可塑性，同时模拟手套和真实机械臂的互相对应，能够加强用户的真实感受，对于康复效果具有更大的促进作用。

本发明设计了一种精细机械手臂控制在线脑-机接口系统，对右手三个手指进行识别，使得该系统更加灵活操作，同时融合的电刺激保证了系统处理模块的性能，减少误触发率，给用户真实的触觉感受。采用与机械手臂对应的模拟手套，增强用户的认知，有助于运动功能障碍患者的康复训练。在线的机械臂操作能够强化用户的参与度，进一步研究可以得到更完善的脑-机接口系统，获得可观的社会效益和经济效益。提升当前mi-bci技术较低的想象动作识别的空间精度，对于充分发挥mi-bci独特的中风康复治疗效用，具有关键性的作用。