基于MYO臂环的假肢手控制系统及其控制方法与流程

本发明涉及假肢手控制技术领域，具体指基于MYO臂环的假肢手控制系统及其控制方法。

背景技术：

据中国第二次残疾人抽样调查，目前中国肢体残疾患者的数量高达2412万人，约占总人口数的1.83％，其中截肢患者226万人。保守估计，需要安装假肢手的患者达25万人以上，因此假肢手有着巨大的市场潜力。

然而，在目前的研究中，大多学者集中于对手指抓取模式的判别或者停留在抓握力控制的理论分析研究上，较少有实际应用于假肢手。另外，还存在假肢手控制的抓握灵活性和操作感官性差，很多患者不愿使用。Otto Bock的SensorHand Speed以及Touch-Bionic的i-LIMB假手均采用肌电信号进行控制，虽然可以通过模式识别的方法实现对各手指运动状态的区分，但这只能给出″开关″信号，无法实现手指位置以及抓握力的实时主动控制，降低了残疾人使用过程中的生理感受性；商业假肢手采用比例控制方式，直接根据sEMG幅值确定抓握力的大小，其精度有限；Ahmet Erdemir,Scott McLean等采用HILL模型，考虑肌肉以及骨骼的动力学特性，建立力-肌肉长度-肌肉收缩速度-动作电位之间德尔显式模型，但由于人体生理结构的复杂性，难以建立准确的模型，其应用受到限制；Claudio Castellini和Patrick van der Smagt使用10通道肌电电极(Otto Bock公司)记录sEMG数据，六维力-力矩传感器记录人手握力数据，探讨了多种回归方法所能获得的识别精度，然而，电极数目的增多会引起佩戴者的不适。

迄今为止，对假肢手动作模式的研究论文层出不穷，假肢手多动作模式已经基本解决，而以患者为中心的抓握力的在线控制尚不具备。

技术实现要素：

本发明的目的在于克服现有技术存在的缺失或不足，而提供一种基于MYO臂环的假肢手控制系统及其控制方法。

本发明思路：采用性价比很高的MYO传感器，采集患者sEMG信号，结合振动触觉传感器等，通过离线训练、在线识别和抓握力预测以及抓握力反馈等步骤使患者实现准确抓握。

工作原理：由MYO臂环采集到的sEMG信号，通过蓝牙接口传输到STM32控制板中，再经过动作起止点判断、时域特征值提取和sEMG-力回归模型算法得到抓握力值大小，最后由模糊控制器将抓握力大小信息转变成相应的电机运动指令，驱动假肢手手指做相应的动作及对应的抓握力值，振动触觉传感器将假肢手的实际抓握力档次反馈给患者残臂，使患者获取假肢手的实际抓握力，提高操作的感官性。

本发明的核心和关键技术在于在STM32控制板中实现基于sEMG信号的抓握力值的预测。

本发明一种基于MYO臂环的假肢手控制系统，包括：信号采集模块，STM32模块，模糊控制器模块，假肢手模块，抓握力反馈模块及配合离线训练的PC机。

所述信号采集模块，包括用于采集sEMG数据，佩戴在患者残臂偏上处的MYO臂环和用于采集正常人手抓握力值数据的六维力传感器。

所述STM32模块，用于读取、处理sEMG数据。

所述模糊控制器模块，用于接收STM32模块发送的信号，发送指令驱动假肢手抓握。

所述假肢手模块，由假肢手本体、驱动手指运动的电机及安装在假肢手手指指肚上的FSR力传感器贴片组成。

所述抓握力反馈模块，佩戴在患者的残臂上，由振动触觉传感器构成，接收FSR力传感器的抓握力值信号，然后将其反馈给患者残臂，便于患者感知抓握力大小。

本发明一种基于MYO臂环的假肢手控制系统的控制方法，包括：步骤A离线训练，步骤B在线识别和抓握力预测，步骤C抓握力反馈。

所述步骤A离线训练，包括：A1模式分类训练和A2sEMG-力回归模型训练。

所述A1模式分类训练，包括：

A11将抓握力值划分为不同的档次，根据各档次的抓握力值采集正常人对应的sEMG数据，通过六维力传感器采集正常人手抓握力值数据；

A12提取时域特征值：绝对平均值MAV、均方根值RMS、标准差SD和波形长度WL；

A13时域特征值矩阵经PCA降维后，利用BP神经网络进行模式分类训练，并保存训练后的权值和阈值。

所述A2sEMG-力回归模型训练，包括：

A21通过降维后的时域特征值矩阵与抓握力值数据一起构建训练样本；

A22分别训练各抓握力值档次的sEMG-力回归模型；

A23保存训练的各模型的参数。

所述步骤B在线识别和抓握力预测，包括：

B1通过MYO臂环，实时采集患者手臂肌肉的sEMG信号；

B2通过STM32模块，读取sEMG数据，判断动作起止点，提取其时域特征值并进行PCA降维处理；

B3根据步骤A1模式分类训练的结果识别出其对应的抓握力档次；

B4根据步骤A2sEMG-力回归模型训练的结果预测手的抓握力值，将该抓握力值作为抓握力控制的给定信号；

B5通过模糊控制器模块，控制手指驱动电机的转速和转向，将假肢手的抓握力控制到给定的档次。

所述步骤C抓握力反馈，包括：通过振动触觉传感器的不同频率和幅值作为抓握力反馈信号，使截肢患者能够获取实际抓握力的档次值。

与现有技术相比，本发明采用性价比很高的MYO传感器采集患者残臂sEMG数据，MYO臂环佩戴简单方便，患者更易接受。本发明以sEMG数据和抓握力值分别作为输入和输出，采用BP神经网络建立二者的非线性关系，此方法不需要复杂的建模过程，且预测效果良好。

附图说明

图1为本发明基于MYO臂环的假肢手控制系统结构框图；

图2为本发明的假肢手控制方法流程框图；

图3为本实施例获取的某通道原始表面肌电信号图及对应的抓握力值信号图。

具体实施方式

下面结合附图和实施例对本发明作进一步描述：

一种基于MYO臂环的假肢手控制系统(如附图1所示)，包括：信号采集模块1，STM32模块2，模糊控制器模块3，假肢手模块4，抓握力反馈模块5及配合离线训练的PC机。

所述信号采集模块1，包括用于采集sEMG数据，佩戴在患者残臂偏上处的MYO臂环11和用于采集正常人手抓握力值数据的六维力传感器12。

所述STM32模块2，用于读取、处理sEMG数据。

所述模糊控制器模块3，用于接收STM32模块2发送的信号，发送指令驱动假肢手抓握。

所述假肢手模块4，由假肢手本体、驱动手指运动的电机及安装在假肢手手指指肚上的FSR力传感器贴片组成。

所述抓握力反馈模块5，佩戴在患者的残臂上，由振动触觉传感器构成，接收FSR力传感器的抓握力值信号，然后将其反馈给患者残臂，便于患者感知抓握力大小。

所述MYO臂环11为MYO传感器，是加拿大创业公司Thalmic Labs推出的创新性臂环，可以佩戴在任何一条胳膊的肘关节上方，探测人体肌肉产生的生物电信号。

通过MYO臂环11的蓝牙接口读取采集手臂的sEMG数据，其采集频率为其数据输出最高频率200Hz。

通过PC机读取由安徽埃力智能科技有限公司生产的六维力传感器12，采集正常人手的抓握力值数据，其采集频率为20Hz；其中，根据待识别的8个抓握力档次数选择通道个数；为兼顾识别率和实时性，满足日常抓握需要或者通道个数M取3，3个通道可准确识别8个抓握力档次。

本发明一种基于MYO臂环的假肢手控制系统的控制方法(如附图2所示)，包括：

步骤A离线训练，步骤B在线识别和抓握力预测，步骤C抓握力反馈。

所述步骤A离线训练，包括：A1模式分类训练和A2sEMG-力回归模型训练；

所述A1模式分类训练，包括：

A11将抓握力值划分为不同的档次，根据各档次的抓握力值采集正常人对应的sEMG数据，通过六维力传感器12采集正常人手抓握力值数据；

A12提取时域特征值：绝对平均值MAV、均方根值RMS、标准差SD和波形长度WL；

A13时域特征值矩阵经PCA降维后，利用BP神经网络进行模式分类训练，并保存训练后的权值和阈值；

所述A2sEMG-力回归模型训练，包括：

A21通过降维后的时域特征值矩阵与抓握力值数据一起构建训练样本；

A22分别训练各抓握力值档次的sEMG-力回归模型；

A23保存训练的各模型的参数。

所述步骤B在线识别和抓握力预测包括：

B1通过MYO臂环11，实时采集患者手臂肌肉的sEMG信号；

B2通过STM32模块2读取sEMG数据，判断动作起始点，提取其时域特征值并进行PCA降维处理；

B3根据步骤A1模式分类训练的结果识别出其对应的抓握力档次；

B4根据步骤A2sEMG-力回归模型训练的结果预测手的抓握力值，将该抓握力值作为抓握力控制的给定信号；

B5通过模糊控制器模块3控制手指驱动电机的转速和转向，将假肢手的抓握力控制到给定的档次。

所述步骤C抓握力反馈，包括：通过振动触觉传感器的不同频率和幅值作为抓握力反馈信号，使截肢患者能够获取实际抓握力的档次值。

进一步，所述步骤A离线训练，通过PC机完成并存储离线训练过程和训练数据及训练结果，再将训练所得的参数下载至STM32模块2。

所述A12时域特征值，其各时域特征值计算方法如下：

式中x(i)为每次采样的sEMG信号数据，N为每个通道的数据个数，μ为N个数据的均值，k＝1,…,M，M为通道个数。

上述离线训练只在安装假肢手时按要求多次训练每个档次的抓握动作并保存训练数据，对上述数据做处理得到时域特征值样本，然后执行训练算法得到sEMG-力回归模型参数，该参数用于在线识别。因步骤A离线训练与步骤B在线识别和抓握力预测的时域特征值处理之前的部分完全相同，以下只对在线识别和抓握力预测做详细阐述。

所述步骤B在线识别和抓握力预测，通过STM32模块2读取、处理sEMG信号并识别各个档次的抓握力值。

模糊控制器模块3根据从STM32模块2预测出的理论抓握力值与假肢手的实际抓握力值对比所得的误差以及误差变化，来控制假肢手手指驱动电机的转向和转速，达到控制抓握力的目的。

所述B2提取其时域特征值并经PCA降维处理，包括以下步骤：

B21读取MYO臂环11的M个通道sEMG数据；

B22根据各通道sEMG信号的时域特征值MAV，确定手部动作起止时间点；

B23在手部动作起止时间内依次截取一段sEMG信号作为一维信号序列，对每个信号序列提取n个时域特征值，得到M个n维的时域特征值矩阵；

B24采用PCA降维法对时域特征值矩阵降维，得到M个k维的降维时域特征值矩阵。

所述B5模糊控制器模块3采用在线推理的模糊控制算法，以误差和误差变化为输入，驱动电机的转速和转向为输出。

所述振动触觉传感器中的电机产生4种振动频率，每种振动频率下有两种不同的幅值，即组合产生8种不同频率和幅值的振动信号，对应8种抓握力档次；

所述假肢手的实际抓握力，通过假肢手模块4中安装在假肢手手指指肚上的FSR力传感器贴片测量的抓握力值数据，经振动触觉传感器将其转换成对应档次的振动信号传送给患者残臂，使患者获取假肢手的实际抓握力档次值，患者根据该值调节假肢手的抓握力，从而实现假肢手的准确抓握。

所述步骤B22中，手部动作起止时间点确定方法为：

计算各通道sEMG信号的绝对平均值并求和，并与事先设定的门限阈值作比较判断动作起止，将对应的时间点作为动作起止点。

本发明实施例

B1、采集sEMG信号

使用MYO臂环11的M个通道采集手臂肌肉的sEMG信号并读取sEMG数据。

B21、读取sEMG信号

通过STM32模块2读取MYO臂环11的M个通道sEMG数据；

B22、手部动作起止点检测

对于采集到的sEMG信号，先计算每路信号时域特征绝对平均值MAV，公式为：

其中x(i)为每次采样的sEMG数据，k＝1,…,M，M为通道数。

将各路信号的MAV相加，通过设定的门限阈值来判断动作起止点。

B23、提取时域特征值

活动段检测出来后，在动作起始点后截取每个通道100-200ms内的sEMG数据，每个通道的数据个数记作N，提取的时域特征值如下：绝对平均值MAV、均方根值RMS、标准差SD和波形长度WL。

(1)绝对平均值(MAV)

该时域特征值的公式如上式(1)所示，M个通道sEMG信号的MAV特征值分别记作MAV₁，MAV₂，…，MAV_M。

(2)均方根值(RMS)

(3)标准差(SD)

(4)波形长度(WL)

式中x(i)为每次采样的sEMG信号数据，N为每个通道的数据个数，μ为N个数据的均值，k＝1,…,M，M为通道个数。

B24、对时域特征值矩阵作PCA降维

对选定的M个通道sEMG信号，设经过上述时域特征值提取后的特征值共为n个，即构成的时域特征值矩阵维数为1×n。在训练过程中，设经PCA算法得到的降维矩阵为U，维数为n×k，则在线识别时每次提取的时域特征值矩阵乘以降维矩阵后的维数变成1×k维，即将原n维降到了k维。

A1、模式分类训练

构造3层BP神经网络，输入神经元个数为时域特征值矩阵降维后的维数K，输出神经元个数为抓握力的档次数C，隐含层神经元个数H对性能影响较小，可以先选定为10，由经验公式(5)计算可得，然后在训练时根据训练精度做调整。

每个档次对应抓握力的抓握动作做200次，提取时域特征值并经PCA降维后作为训练样本集，通过BP神经网络模型训练得到模式分类的权系数和阈值w1,b1,w2,b2,其中w1,b1为输入层到隐含层的权系数和阈值，w2,b2为隐含层到输出层的权系数和阈值。

以识别假肢手抓握力控制的八档抓握力值为例，说明本发明的实施方式。

八档抓握力值分别为：(1)0～2N，(2)2～4N，(3)4～6N，(4)6～8N，(5)8～10N，(6)10～12N，(7)12～14N，(8)14～16N。

手部运动是前臂肌肉收缩导致，所以将MYO臂环11佩戴于靠近前臂肘关节的位置(水平放置手臂，掌心朝下，MYO臂环11的″Logo LED″与掌心的方向相反)。

因MYO臂环11最大数据输出频率为200Hz，本发明将数据采样率设置为200Hz，每次读取M(M＝3)个通道的sEMG信号，抓握力为6～8N的力值信号及其对应的sEMG信号的某个通道的曲线(如附图3所示)。

考虑到实用假肢手控制器的成本和安装方便性，在实验中，分别对两个健康受试者采集8个通道的sEMG数据进行研究。其中包括，用六维力传感器12采集到的8档抓握力值，以及对应的用MYO臂环11采集到的3路sEMG信号进行手部动作起止点检测、时域特征值提取、模式分类、抓握力预测、控制假肢电机和抓握力反馈等工作。为了提高假肢手抓握的实时性，采用提取时域特征值的方法，提取的4个时域特征值分别是绝对平均值(MAV)、均方根值(RMS)、标准差(SD)、和波形长度(WL)。用这样的方法采集到的时域特征值矩阵是12维(3×4)。用PCA降维到9维，然后送入模式分类模型中进行训练。

本发明中，模型采用三层神经网络算法，输入层神经元节点数由降维后的时域特征值矩阵的维数决定，即9个；输出层神经元节点数由抓握力档次类别决定，在这里为8个；隐含层节点数由公式(5)计算可得，为8个。

将上述仿真得到的BP神经网络的权值和阈值系数写入系统中，实现在线抓握力档次识别。试验中，每个档次对应抓握力的抓握动作做200次，手势动作稳定后观察系统识别结果输出。以同样的方式，采集另一人的200组数据，将训练得到的权值和阈值重新写入系统中，以便后续进行在线识别实验。

A2、sEMG-力回归模型训练

构造3层BP神经网络，输入神经元节点数为9，输出层神经元节点数为1，隐含层节点数由公式(5)计算可得，为3个。将步骤A1中经PCA降维后的时域特征值矩阵与抓握力值数据一起构成训练样本集，通过离线训练得到各个抓握力档次sEMG-力回归模型的参数。

将上述仿真得到的各档次sEMG-力回归模型的参数写入系统中，实现在线抓握力预测。同样的方法，将另一个人经sEMG-力回归模型训练的参数写入系统中，观察在线抓握力预测效果。

B3、抓握力值档次识别

MYO臂环11采集患者残臂sEMG信号，STM32模块2读取sEMG数据，按步骤A1中的方法处理sEMG数据，得到9维的时域特征值矩阵。将该矩阵导入到步骤A1中训练好的神经网络模型，神经网络输出值最大的神经元对应的抓握力值档次即为当前手部抓握力值档次。

在线识别中的sEMG信号采集、手部动作起始点检测、时域特征值提取、PCA降维、抓握力档次识别和抓握力预测都是通过STM32模块2来实现。

B4、抓握力预测

将仿真得到的各抓握力档次BP神经网络参数写入系统，根据步骤B3中抓握力档次识别出来的结果，将降维后的时域特征值矩阵导入对应档次的sEMG-力回归模型中，预测其抓握力值。

B5、抓握力控制

模糊控制器模块3根据从STM32模块2预测出的理论抓握力值与假肢手的实际抓握力值对比所得的误差以及误差变化，来控制假肢手手指驱动电机的转向和转速，达到控制抓握力的目的。记误差为e，误差变化为e’，模糊推理规则：

(1)若e为正、较大且e’较大，或e为正、较大且e’较小，则电机高速正转；

(2)若e为正、较小且e’较大，则电机中速正转；

(3)若e为正、较小且e’较小，则电机低速正转；

(4)若e接近0且e’较大，或e接近0且e’较小，则电机不转；

(5)若e为负、较小且e’较小，则电机低速反转；

(6)若e为负、较小且e’较大，则电机中速反转；

(7)若e为负、较大且e’较大，或e为负、较大且e’较小，则电机高速反转；

C、抓握力反馈

抓握力的反馈采用振动触觉传感器，该传感器中的电机可以产生4种振动频率，每种振动频率下有两种不同的幅值，共有8种组合分别表示8个档次的抓握力。假肢手的实际抓握力由安装在手指指肚上的FSR力传感器测量，并将其转换成8个抓握力档次对应的信号后发送给振动反馈装置，振动触觉传感器根据抓握力的档次产生不同频率和幅值的振动信号传送给患者残臂，使患者获取假肢手的实际抓握力档次，患者根据该值调节假肢手的抓握力，从而实现假肢手的准确抓握。振动反馈装置提高了抓握的准确性和操作的感官性。

综上所述，本发明的技术贡献在于，以患者为中心、以人性化的抓握力的在线控制为着力点，为肢体残疾患者的健康，提供技术物质基础。

取得了以下的突破：

(1)通过MYO臂环获得手臂肌肉的sEMG信号，通过蓝牙接口即可读取，极大提高假肢控制的性价比和应用前景。

(2)通过预先离线训练建立神经网络模型库，离线训练和在线识别通过不同的载体实现，降低了在线识别的成本，提高了在线识别速度。

(3)步骤S2中，采用时域特征值进行活动段检测，时域特征值计算简单，可快速判断活动段，为假肢手的实时性打下夯实的基础。

(4)在线识别时，对时域特征值矩阵进行PCA降维处理，可降低处理器的负载、改善识别精度、提高假肢手控制的实时性。

(5)采用时域的绝对平均值、均方根值、标准差和波形长度作为特征值，可以获得较高的动作识别率。

(6)对抓握力值进行档次划分，可提高识别率和抓握准确性。

(7)通道个数M选为3，3个通道可准确识别8个抓握力档次，满足日常抓握需要，兼顾了抓握力识别的可靠性和识别速度。

(8)振动触觉传感器将假肢手的实际抓握力反馈到患者残臂上，实现闭环控制，患者作为闭环控制中的一部分，提高了操作的感官性。