一种用于软体康复机械手的多模式脑机接口控制方法与流程

本发明属于康复医学和神经功能信息学科交叉技术领域，涉及一种用于软体康复机械手的多模式脑机接口控制方法。

背景技术：

现代社会中，随着老龄化社会到来，大量脑卒中使用者引起运动功能障碍。另外，由于工伤、交通事故、战争和疾病等原因导致神经或肢体损伤的使用者也显著增加，给使用者的生活和工作带来极大的不便。目前脑损伤(脑卒中、脑外伤、脑肿瘤、脊髓损伤等)是手部运动功能丧失的主要原因之一。研究表明，初次发病后的3个月内是脑损伤使用者的功能恢复的黄金时期，在一定程度上的集中训练可修复受损的神经，有利于使用者手部运动功能恢复。然而，传统的治疗方法是通过康复专业的理疗师对康复使用者一对一的指导下完成正确的动作，这种方法劳动强度大，效率不高且工作强度大，然而在训练过程中存在理疗师不足，使用者不主动配合，不能保证按时定量的训练，而训练过程缺乏人机交互，训练内容吸引力不足等因素严重制约了训练的效果。大量的临床医学表明，使用者在训练过程中主动康复的效果比被动康复的要显著，因此使用者在日常生活中主动参与训练，增加人机交互和训练内容的趣味性，能重塑中枢神经并较好的恢复损伤的神经，从而大大提高使用者手部运动功能的康复效果。

手部运动功能在日常生活中占有很大的比重，手部生理结构也是最为复杂的部位，关节最为集中，使得手部运动功能康复假肢也相对复杂。传统的机械式康复手存在安全性差、不能与手指完全贴合、易产生压迫让使用者产生疼痛感、重量过大和噪音大等诸多缺陷，而软体康复机械手有类似于人手指的多段式关节弯曲，由气动驱动软材料构成的中空结构带动手指被动运动，同时具有安全性高、舒适度高、噪声小和轻量便携等优点，能有效地防止训练中使用者手部的痉挛或者手指的“二次损伤”。由于软体康复机械手具有以上优点，使用者愿意且主动地参与动作任务，也易于接受并主动控制软体康复机械手的变形，以辅助或者助力使用者的手指完成日常生活的基本动作，同时满足使用者日常生活的基本需求(如喝水、吃东西等)，从而实现在家庭生活中训练的目的。

脑机接口技术作为一种人脑与外部设备之间特殊的交流通道，通过提取使用者的运动意图实现大脑对软体康复机械手的主动控制，其主动控制信号源主要是肌电信号(emg信号)、脑电信号(eeg信号)和眼电信号(eog信号)等脑/肌/眼电信号。基于肌电的仿生假肢通过检测使用者肢体上的emg信号来控制假肢运动，具有响应速度快，动作自然，但是对于脑卒中使用者的神经末梢效能减弱，导致动作识别率不高，影响肌电假肢的应用。基于脑电的仿生假肢帮助神经肌肉损伤的使用者能通过eeg信号主动地控制假肢运动，但是脑电假肢响应速度慢且对手部精细动作的区分度不高。而利用眼电的仿生假肢具有响应速度快、应用性强、操作简单方便和成本低廉等诸多优点，但是训练的使用者长时间控制眼电假肢会导致眼睛疲劳，眼睛干涩等诸多不适。以上利用脑电，肌电或者眼电的单一模式主动控制仿生假肢的方法已经存在。在双模式控制方面，脑/肌/眼电信号中两两结合模式主动控制仿生假肢的方法也已经出现。但是无论单一模式还是双模式的主动控制方法，其产生的控制命令不多，实时控制性不强，并不能满足日常生活中主动控制手部基本动作的需求。目前还没有发现利用脑/肌/眼电三种模式的脑机接口进行主动控制软体康复机械手的方法。

技术实现要素：

本发明的目的在于克服上述现有技术的缺点，提供一种用于软体康复机械手的多模式脑机接口控制方法，该方法通过对脑/肌/眼电信号进行预处理、特征提取、模式识别以获取使用者主动运动意图，并转化为软体康复机械手的控制指令，从而实现辅助使用者在日常生活中进行手部训练的目的。

为达到上述目的，本发明采用以下技术方案予以实现：

一种用于软体康复机械手的多模式脑机接口控制方法，包括以下步骤：

1)同步采集脑/肌/眼电信号，构建多源信号控制模式；

2)根据使用者产生运动意念的时间段内脑/肌/眼电信号来提取其运动意图，并利用提示音或者肌/眼电信号特征来划分相应的任务事件；

3)根据使用者的意愿选择不同的控制模式，并利用双眨眼进行控制模式的切换；

4)根据不同控制模式下对一个任务事件的脑/肌/眼电信号进行预处理、特征提取以及模式识别，实时解码出使用者的运动意图；

5)根据解码出的运动意图实时划分出不同的控制命令，并通过下位机实时处理转化为控制指令传送至气泵控制单元，进而控制软体康复机械手的充气和放气。

本发明进一步的改进在于：

步骤1)中，脑/肌/眼电信号包括emg信号、eeg信号和eog信号。

步骤2)中，每一个运动意图产生的时间段内的脑/肌/眼电信号称为一个任务事件；针对脑电模式、肌电模式或眼电模式，提取相应的脑电任务事件、肌电任务事件或眼电任务事件；

a.在脑电模式中，采集eeg信号的同时计算机给一个开始的提示音，此后截取持续运动想象2～4s内的eeg信号为一个脑电任务事件；

b.在肌电模式下，根据emg信号的平均绝对值相加，通过设定阈值来判断动作的起止点，emg信号的平均绝对值从大于设定阈值开始到小于设定阈值结束的时间段内的emg信号为一个肌电任务事件；

c.在眼电模式中，在线采集eog信号时，利用小波变换获取eog信号的低频分量，若分量大于设定阈值，确定该位置是有意识眨眼，如果两个位置小于长度阈值，该眨眼为双眨眼，否则为单眨眼；若分量超过阈值范围，则视为扫视产生的脉冲，并找出左扫视和右扫视的位置；眨眼位置前后0.1～0.4s或者扫视位置前后0.2～0.3s内的eog信号为一个眼电任务事件。

步骤3)中，使用者通过双眨眼实现脑/肌/眼电多模式之间依次切换；首先进入默认的眼电模式，判断该模式是否能实现动作任务，能则进入该模式并完成相应动作任务；否则通过双眨眼依次切换脑/肌/眼电模式，直到切换至能完成动作任务的模式为止。

步骤4)中，对emg信号、eeg信号和eog信号的处理具体如下：

eog信号处理：

基于小波变换垂直方向上eog信号对眨眼的位置进行定位，再根据阈值处理并识别一个眼电任务事件内有意识单眨眼和双眨眼；同样，基于小波变换和差分运算，对左扫视/右扫视信号进行识别和定位，再根据阈值法对识别的左扫视/右扫视信号进行修正，通过综合水平和垂直方向的脉冲幅值，根据大幅度和小幅度两种取值进行识别分类，当分量大于设定阈值时，确定该位置是左扫视，反之，则该位置为右扫视，从而完成一个眼电任务事件内左扫视/右扫视的实时检测；

eeg信号处理：

基于小波分析的功率特征选取方法提取eeg信号的同步化和去同步化特征，并通过支持向量机分类算法实现一个脑电任务事件内对左手运动想象事件或者右手运动想象事件的分类；

emg信号处理：

通过采集使用者上肢前臂的emg信号，在时域上分别提取平均绝对值mav、过零点数zc、斜率变化数ssc、波形长度wl和平均绝对值斜率mavs的特征值，并采用支持向量机分类算法对五种时域统计学特征值融合进行特征识别，实现对手部训练动作的在线分类。

步骤5)中，通过上位机把解码出的运动意图实时划分出不同的控制命令，再把相应的控制指令发送到下位机，并通过气泵控制单元调节二位三通阀电磁阀相应通路的通断来控制软体康复机械手的充气和放气。

与现有技术相比，本发明具有以下有益效果：

本发明根据采集脑/肌/眼电信号并识别运动意图，进而对软体康复机械手进行控制，从而辅助使用者在日常生活中能够随时随地进行手指动作任务，也可以自主定制相应的动作任务并完成日常生活中的基本动作，同时满足使用者基本生活需求并调动其主动训练的积极性，从而取得较好的康复训练效果。本发明可用于脑损伤或因意外事故等造成手部运动功能丧失或者不足的使用者做手部训练，能帮助使用者完成主动训练的任务，实现脑损伤或者辅助使用者在日常生活中主动控制软体康复机械手以带动使用者的手部达到康复训练的目的。同时本发明具有主动控制模式多、控制命令多和实时性强等优点，软体康复机械手安全性高、舒适度好、噪声小、轻量便携和成本低等特点，具有很大的临床应用前景。

附图说明

图1是本发明使用者主动控制软体康复机械手系统原理图；

图2是本发明使用者主动控制软体康复机械手的技术路线图；

图3是本发明脑/肌/眼电信号电极连接图；其中，(a)为脑电/眼电极布置图，(b)为肌电电极布置图；

图4是本发明脑/肌/眼电信号的任务事件划分示意图；其中，(a)为eeg信号的任务事件划分示意图，(b)为emg信号的任务事件划分示意图，(c)为eog信号的任务事件划分示意图；

图5是本发明实现软体康复机械手控制的信号处理算法流程图；

图6是本发明软体康复机械手控制系统示意图。

具体实施方式

下面结合附图对本发明做进一步详细描述：

参见图1-6，本发明用于软体康复机械手的多模式脑机接口控制方法，包括以下步骤：

1)使用者在训练时，头部戴脑电电极，眼部贴眼电电极以及上肢前臂贴上肌电电极，其中eeg信号和eog信号的采集共用一个脑电放大器，而emg信号的采集使用肌电放大器，通过脑电放大器和肌电放大器的开发平台，并利用在windows平台下设计并开发了一套基于vc++的人机交互控制界面，实现eeg信号、eog信号和emg信号的同步在线采集；

2)使用者想根据自己意愿来主动控制软体康复机械手时，需根据相应的脑/肌/眼电信号产生意念的相应时间段来提取使用者的运动意图，每一个运动意图产生的时间段内的相应的脑/肌/眼电信号信号称为一个任务事件。在脑电模式中，采集eeg信号的同时计算机给一个开始的提示音，此后截取持续运动想象(2～4秒)时间内的eeg信号为一个任务事件。在肌电模式下，根据emg信号的平均绝对值相加，通过设定阈值来判断动作的起止点，emg信号的平均绝对值从大于设定阈值开始到小于设定阈值结束的时间段内的emg信号为一个任务事件。在眼电模式中，在线采集eog信号时，利用小波变换获取eog信号的低频分量，若分量大于设定阈值，确定该位置是有意识眨眼，如果两个位置小于长度阈值，该眨眼为双眨眼，否则为单眨眼。若分量超过阈值范围，则视为扫视产生的脉冲，并找出左扫视和右扫视的位置。眨眼位置前后(0.1～0.4秒)或者扫视位置前后(0.2～0.3秒)时间内的eog信号为一个任务事件；

3)使用者在训练过程中主动控制软体康复机械手时，通过双眨眼实现脑/肌/眼电多模式之间依次切换。首先进入默认的眼电模式，判断该模式是否能实现动作任务，能完成相关任务，则进入该模式并完成相应动作任务，否则通过双眨眼依次切换脑/肌/眼电模式，直到切换至能完成动作任务的模式为止；

4)在eog信号处理方面，基于小波变换垂直方向上eog信号对眨眼的位置进行定位，再根据阈值处理并识别一个任务事件内有意识单眨眼和双眨眼。同样，基于小波变换和差分运算，对左扫视/右扫视信号进行识别和定位，再根据阈值法对识别的左扫视/右扫视信号进行修正，通过综合水平和垂直方向的脉冲幅值，根据大幅度和小幅度两种取值进行识别分类，当分量大于设定阈值时，确定该位置是左扫视，反之，则该位置为右扫视，从而完成一个任务事件内左扫视/右扫视的实时检测；

5)在eeg信号处理方面，基于小波分析的功率特征选取方法提取eeg信号的同步化和去同步化特征，并通过支持向量机分类算法(svm)实现一个任务事件内对左手运动想象事件或者右手运动想象事件的分类，从而实现使用者利用运动意图在线控制软体康复机械手并带动使用者手指完成相应的康复运动；

6)在emg信号处理方面，通过采集使用者上肢前臂的emg信号，在时域上分别提取平均绝对值(mav)、过零点数(zc)、斜率变化数(ssc)、波形长度(wl)和平均绝对值斜率(mavs)等emg信号的特征值，并采用支持向量机分类算法对五种时域统计学特征值融合进行特征识别，实现对日常生活中常用的手部训练动作的在线分类。

本发明的原理如下：

软体康复机械手是由软材料在手部模具中浇注而成中空腔体结构，其外围均匀布置了纤维和限制应变层，通过中空腔体结构的弯曲变形和伸长变形等组合设计成仿人手指。而气压驱动器实现直线位移比较方便，且气体的压缩性保证驱动器的柔顺性，所以气压驱动安全方便，无污染。仿人手指的中空腔内埋覆有气管，软体康复机械手对仿人手指的气管充气和放气以带动使用者手指做相应的动作任务；

通过上位机对脑/肌/眼电信号的分类结果转化为控制指令，再把相应的控制指令发送到下位机，并通过调节二位三通阀电磁阀相应通路的通断来控制软体康复机械手的充气和放气，用户也可以根据日常生活中手部康复程度自行调节控制单元中的比例阀调节气压大小来控制软体机械手所需力量等级，实现使用者主动控制气压驱动而控制软体康复机械手的不同手指充气、放气以及气量大小，以灵活控制气动软体康复机械手的运动变形并带动使用者手指做相应的康复运动；

结合手部运动功能的常用基本形式和日常生活中手部基本动作以及使用频率，选择常用且使用频率最高的动作任务，通过常用手部训练基本动作(用力抓握、勾拉、推压、松开和击打)或者可以通过调节软体康复机械手控制单元来自定义训练动作来满足使用者在日常生活中的基本需求。

实施例：

参见图1，本发明提出了一种用于软体康复机械手的多模式脑机接口控制方法，使用者不需在医院让康复专业的理疗师的陪同，而是在家里日常生活中进行主动训练，通过同步采集三种脑/肌/眼电信号(eeg信号、emg信号和eog信号)构建多源信号控制模式。根据使用者的意愿选择不同的控制模式，并利用eog信号的双眨眼进行脑/肌/眼电模式依次切换，对所在控制模式下的脑/肌/眼电信号提取使用者的运动意图。通过对脑/肌/眼电信号预处理、特征提取、模式识别，实时分类出不同的控制命令，并通过下位机实时处理转化为控制指令传送至气泵控制单元，根据二位三通阀电磁阀相应通路的通断来控制软体康复机械手的充气和放气，以带动使用者手指完成相关动作任务，其控制结果实时反馈给训练使用者，从而实现使用者主动康复训练的目的。

如图2所示，通过使用者头部戴4导脑电电极(包含1导接地电极和右耳后乳突的1导参考电极)、眼部的4导眼电电极以及上肢前臂的8导肌电电极同时采集脑电/肌电/眼电信号，如果使用者是首次使用软体康复机械手系统，则点击人机交互控制界面上的训练按钮，依次进入脑电模式，肌电模式和眼电模式进行相应的训练，相应的脑/肌/眼电信号进入训练模型，得到各自训练模型的训练参数，并把训练参传递到训练系统中，分别完成脑电模式，肌电模式和眼电模式中的模型训练。模型训练结束后，可点击人机交互控制界面上的测试按钮，进入模型的测试阶段。在测试阶段，首先进入默认的眼电模式中，通过eog信号的阈值自动划分一个任务事件，再经过阈值处理法和模型训练后的阈值来识别eog信号中的左扫视和右扫视，并把相应的控制命令转化为控制指令s1/s2，通过下位机把相应控制指令变为软体康复机械手的控制信号。使用者根据实际情况，通过双眨眼来切换到肌电模式，如果不是需要的控制模式，再次眨眼切换到脑电模式，最多两次双眨眼能完成脑/肌/眼电模式三种模式的任意切换。使用者通过双眨眼进入肌电模式后，根据emg信号的平均绝对值的阈值来划分一个任务事件，根据采集的emg信号来提取mav、zc、ssc、wl和mavs等5种emg信号的特征值，并通过支持向量机把五种时域统计学特征值在线识别出使用者的运动意图，并把在线分类出运动意图转化为6种手部的基本动作的控制指令s5/s6/s7/s8/s9/s10，下位机自动转化为主动控制软体康复机械手的运动信号。使用者通过双眨眼进入脑电模式中，当听到计算机发出“滴”的一声时，使用者开始左右手运动想象且运动想象的时间要大于2s，系统会自动取“滴”的一声开始时到2s后这一段时间对应的eeg信号。根据同步化和去同步化现象，在运动区的eeg信号的功率发生变化，根据功率谱的变化来区分被试者是想象了左手或者是右手。通过小波变化提取eeg信号中的功能谱，并用支持向量机在线识别使用者的运动意图，把分类后的运动意图转化为控制指令s3/s4，进而控制软体康复机械手带动使用者手部做相应的运动。

如图3所示使用者脑/肌/眼电信号电极连接图。按照图3(a)使用者的头部连接6导脑电电极，电极在大脑分布区域分别是：大脑运动区域的c3和c4，置于前额中央靠上位置处的接地电极gnd，右耳后的乳凸的参考电极(a2，在耳朵后乳凸上)，脑电电极位置采用10-20系统电极法。使用者的眼部采用双极导联连接法来连接4导眼电电极，水平方向两个电极分别置于眼球双外眦部的水平线上，距眼外眦部约10mm处(hr和hl)，垂直方向两个电极分别置于单侧眼部中央直线上，距瞳孔约30mm处(vu和vl)。脑电采集和眼电采集统一使用湿电极法，电极为碗状银/氯化银(ag/agcl)合金电极，内注入导电膏，所有的电极的阻抗均小于5kω，以提高导电性能，且都采用统一的参考电极(a2)和接地电极(gnd)，eeg信号和eog信号使用同一个nuamps脑电放大器(nuamp,neuroscan,inc.)，其采样频率为500hz,配套上位机系统为scan4.5。按照图3(b),使用者上肢前臂的肌肉发生收缩和舒张会产生微弱的生物电压信号，通过识别手指运动的肌肉纤维可控制手指运动。emg信号的采集是使用支持较多通道传感器且集成性较好的myo臂环作为手势控制臂环(加拿大创业公司thalmiclabs),其采样频率为200hz，该传感器含有8个表面肌电传感器、1个加速度计、1个陀螺仪，其中8个emg信号传感器间隔均匀的分布在使用者上肢前臂周向。

如图4，描述了本发明脑/肌/眼电信号的任务事件划分示意图。脑机接口系统在线提取使用者运动意图时，须明确判断运动意图的起止点，并根据相应的脑/肌/眼电信号产生意念的相应时间段内的脑/肌/眼电信号来提取使用者的运动意图。如图(a)在脑电模式中，采集eeg信号的同时计算机给一个开始的提示音(“滴”的一声)，提示音结束2s后，完成一个任务事件，同时保存提示音开始到提示音结束2s的时间内的eeg信号。如图(b)在肌电模式下，将myo臂环的10次实验8导emg信号的时域特征mav相加，通过与无动作的emg信号的mav比较，设定阈值来判断6种手部运动动作的起止点，8导的emg信号从运动动作开始到结束的时间段为一个任务事件。如图(c)在眼电模式中，对原始的eog信号进行10层‘db4’离散小波分解并对低频逼近信号进行重构，获得信号的低频分量，用原始垂直eog信号减去该低频成分，即获得回归零线的近似多尖峰脉冲信号，对其进行第一次阈值处理，大于阈值t1(取值80uv)置1，小于t1置0，则信号变为矩形波信号其每一个高电平区间，即为包含了眨眼精确位置的近似眨眼区间。为识别该区间，对矩形波进行如下差分运算，对其进行第二次阈值处理，大于阈值t2(取值540uv)置3，小于t2置1，从而识别出单眨眼和双眨眼。图右边的1代表此处为无意识眨眼，2代表有意识单眨眼，3代表双眨眼。眨眼位置前后(0.1～0.4秒)时间内的eog信号为一个任务事件。设置阈值为30，超过阈值范围的，则视为扫视产生的脉冲，则找到左扫视和右扫视的位置，扫视位置前后(0.2～0.3秒)时间内的eog信号为一个任务事件。

如图5是本发明实现软体康复机械手控制的信号处理算法流程图。对于运动想象的脑电数据经过脑电放大器的放大，并对采集到的eeg信号进行相应的预处理，再通过带通滤波(8-14hz)获取mu频带，然后经过7层的小波变换，得到小波系数能量，将c3通道和c4通道的能量之和分别在支持向量机的测试模式中进行分类测试，分别得到左手运动想象(控制指令：s3)和右手运动想象(控制指令：s4)。同样，对于眨眼、扫视的眼电数据经过脑电放大器的放大，并对采集到的eog信号去除直流分量，再把eog信号进行10层‘db4’离散小波分解并对低频逼近信号进行重构，获得信号的低频分量，经过差分运动运算，再根据阈值法可类出单眨眼和双眨眼，同理，识别出左扫视和右扫视的相应的位置及分类(控制指令：s1/s2)。最后对于康复动作的数据经过肌电放大器的放大，并对采集到的emg信号进行相应的预处理，再通过带通滤波(45～195hz)获取相应肌电频带，采用五个时域统计学特征(mav、zc、ssc、wl、mavs)作为分类标准，将五种特征分别在支持向量机的测试模式中进行分类测试，分别得到6种手部的基本动作(包括握拳、手掌内收、手掌外展、五指张开、大拇指和中指双击点触，无动作等)的控制指令s5/s6/s7/s8/s9/s10。脑/肌/眼电模式的分类结果都通过下位机把相应的控制指令转化为软体康复机械手的控制信号，以带动使用者的手部进行相应的康复训练。

如图6所示，本发明软体康复机械手控制系统示意图。当使用者的运动意图识别并通过下位机转化为软体康复机械手的控制指令后，空气经气泵流过比例阀、电磁阀、节流阀，通过压缩空气传送至相应手指中的气管给软体康复机械手充气和放气，从而实现仿人手指带动使用者手指做相应的动作任务。而仿人手指是根据使用者的手指的尺寸来设计并制造的5根仿真手指，手指是由软材料(硅橡胶)在3d打印的手部摸具中浇注而成中空腔体结构，其外围均匀布置了纤维和限制应变层，通过中空腔体结构的弯曲变形和伸长变形等组合设计成仿人手指，每个手指由多段关节组成，以保证使用者的手与仿真手指能充分的贴合，并有足够的力来带动手指运动。仿人手指外面有绷带以满足使用者的手和仿真手指之间紧密约束在一起。每个仿人手指中空腔内埋覆有气管，气管连接便携的控制单元。使用者可根据日常生活中手部康复程度来自行调节软体康复机械手所需力量等级，通过控制单元中的比例阀可以调节气压大小，电磁阀为二位三通阀，打开后充气，关闭后放气，节流阀可控制流速，实现气压驱动对软体康复机械手的不同手指充气和放气，以灵活控制气动软体康复机械手的运动变形(用力抓握、勾拉、推压、松开和击打)，满足使用者在日常生活中主动康复训练的目的。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。