一种基于脑肌电协同的外肢体手指的控制方法

本发明属于康复用外肢体手指控制技术领域，尤其是一种基于脑肌电协同的外肢体手指的控制方法。

背景技术：

外肢体机器人是在2012年机器人顶级会议icra上提出的一种新兴生机电一体化机器人。在其控制领域，目前大多数研究通过追踪使用者手部姿态及通过肌电信号以识别用户运动意图进而转化为控制指令等方法控制外肢体机器人，比如：右手在康复训练中佩戴外肢体手指，然后左手做出特定的动作来控制右手的康复动作，这样在康复训练中，左手不能进行其他工作，既在控制外肢体的同时占用了人类固有肢体自由度，不能充分发挥外肢体机器人作为新兴人体增强装备的突出潜能。目前，如何通过基于运动想象的脑机接口来帮助上肢偏瘫的脑卒中患者实现主动式运动康复是其他控制策略所不具备的。

技术实现要素：

本发明的目的在于克服现有技术的不足，提出一种基于脑肌电协同控制外肢体手指的控制策略。本发明通过肌电信号传感器采集前额肌处的肌电信号并进行阈值判别，通过便携式脑电信号传感器采集运动想象脑电信号，利用遗传算法(geneticalgorithm)与卷积神经网络(convolutionalneuralnetwork)识别分类使用者的控制意图实时控制外肢体机器人，实现健康人运动功能的增强与偏瘫患者运动功能的补偿。

本发明采取的技术方案是：

一种基于脑肌电协同的外肢体手指的控制方法，其特征在于：包括脑电信号采集装置和额肌电采集装置，脑电信号采集装置和额肌电采集装置分别用于采集脑电信号和额肌电信号，控制方法包括以下步骤：

⑴额肌电校准信号采集，计算阈值；

⑵脑电校准信号采集，建立脑电信号卷积神经网络模型；

⑶额肌电信号实时采集，脑肌电信号实时采集；

⑷如果额肌电信号按照阈值判断为有效，则输出肌电触发指令，采集下一时刻额肌电信号；

如果额肌电信号按照阈值判断为无效，则不输出肌电触发指令，采集下一时刻额肌电信号；

如果脑电信号经过脑电信号卷积神经网络模型判断为有效，则输出脑电触发指令，采集下一个脑电信号；

如果脑电信号经过脑电信号卷积神经网络模型判断为无效，则不输出脑电触发指令，采集下一个脑电信号。

再有，所述脑电信号采集装置包括8通道脑电传感器，采样频率为250hz。

再有，所述额肌电采集装置包括氯化银电极，采样频率为1000hz。

再有，步骤⑴所述计算阈值的过程包括：

⑴使用者依照提示在10s内完成一次额肌最大程度收缩，采集该10s的额肌电信号；

⑵对采集的额肌电信号进行平滑滤波处理，提取其时域特征，以500ms的滑动窗技术来计算10s时间窗内所获得的额肌电信号最高幅值的平均值为规定阈值

再有，步骤⑵所述建立脑电信号卷积神经网络模型的过程包括：

⑴使用者完成10组运动想象任务，每组任务包含6个试次，共采集20min脑电校准信号；

⑵对采集的脑电校准信号进行平均参考、陷波滤波、带通滤波和小波去噪处理；

⑶步骤⑵的处理结果进行小波变换，得到时频域特征；

⑷对小波变换后的数据输入到由两层卷积层、一层池化层及两层全连接层构成的卷积神经网络模型，进行分类模型的训练；

⑸将脑电信号分成训练集和测试集，进行验证。

再有，步骤⑷所述额肌电信号判断有效的过程是：以第一个肌电信号幅值大于阈值p的采样点为起始点，如果起始点后的200ms内的采样点信号幅值均大于阈值p，则判断结果为有效。

再有，步骤⑷所述脑电信号判断有效的过程是：卷积神经网络模型连续两次判别为运动想象态的置信度都大于80％。

本发明的优点和积极效果是：

本发明中，将额肌电信号和脑电信号作为动作状态转换的触发指令，依据计算结果判断是否输出触发指令，由此完成上肢康复训练中的不同动作的切换，不仅可以在不占用人类固有肢体自由度的情况下控制外肢体机器人，即时性增强或补偿人体运动功能，还展现出帮助脑卒中偏瘫患者实现主动式运动康复的潜力。另外，使用卷积神经网络对运动想象脑电信号进行识别分类，展现出了优于传统分类器的分类性能，并且利用遗传算法优化卷积神经网络模型的各类参数，高效地实现了小样本情况下深度学习模型地构建与使用。

附图说明

图1是基于脑肌电信号的有限状态机示意图；

图2是脑肌电处理流程图；

图3是运动想象任务态的脑地形图；

图4是卷积神经网络模型参数图；

图5是遗传算法流程图；

图6是运动想象脑电信号分类结果示意图；

图7是实验场景图。

具体实施方式

下面结合实施例，对本发明进一步说明，下述实施例是说明性的，不是限定性的，不能以下述实施例来限定本发明的保护范围。

本发明的基本原理是：通过肌电传感器与脑电传感器采集脑肌电信号，并对信号进行预处理等操作，得到校准数据；利用校准数据，计算得到肌电信号的判别阈值以及训练得到卷积神经网络模型，用于使用者控制意图的实时识别；基于校准后得到的判别阈值及卷积神经网络模型，对实时采集使用者的脑肌电信号进行分类决策，输出控制指令。通过额肌收缩时的肌电信号与运动想象外肢体包络时的脑电信号协同控制外肢体机器人，额肌的收缩特征表现为肌电信号幅值的增加；运动想象特征表现为脑区出现事件相关同步/事件相关去同步(erd/ers)现象。

具体技术方案是：基于脑肌电协同的外肢体手指的控制方法，如图1-7所示，本发明的创新在于：包括脑电信号采集装置和额肌电采集装置，脑电信号采集装置和额肌电采集装置分别用于采集脑电信号和额肌电信号，控制方法包括以下步骤：

1.额肌电校准信号采集，计算阈值。

额肌电采集装置包括氯化银电极，采样频率为1000hz。三个氯化银电极中的参考极贴在太阳穴部位，正负极贴在眼眉正上方，左眼和右眼均可以。

计算阈值的过程是：

⑴使用者依照提示在10s内完成一次额肌最大程度收缩，采集该10s的额肌电信号；

⑵对采集的额肌电信号进行平滑滤波处理，提取其时域特征，以500ms的滑动窗技术来计算10s时间窗内所获得的额肌电信号最高幅值的平均值为规定阈值

2.脑电校准信号采集，建立脑电信号卷积神经网络模型。

脑电信号采集装置包括8通道脑电传感器，通道选取fc1、fcz、fc2、c1、c2、cz、c3、c4，cpz为参考电极，采样频率为250hz。

建立脑电信号卷积神经网络模型的过程是：

⑴使用者完成10组运动想象任务，每组任务包含6个试次(根据声音提示完成静息、运动想象各10s/试次)，共采集20min脑电校准信号。

⑵对采集的脑校准电信号进行平均参考、陷波滤波、带通滤波和小波去噪处理。

⑶对小波去噪后的数据进行小波变换，得到时频域特性；ers/erd现象在脑电信号mu节律(8-13hz)和beta(14-30hz)较为明显，如图3所示，因此我们这里提取其8-30hz的时频域特征，得到一组思维脑电数据。

⑷对小波变换后的数据输入到由两层卷积层、一层池化层及两层全连接层构成的卷积神经网络模型，进行分类模型的训练。

inputshape为一个四维特征矩阵(n,q,b,g)。其中：n为样本数、q为单一样本包含的采样点个数、b为通道数、g为频带数。

第一层卷积核大小为(10,1)，目的是提取各通道、各频带脑电信号的时间特征，第二层卷积核大小为(1,8)，目的是整合8通道特征，提取信号空间特征，最后通过2层全连接层实现静息态与任务态的二特征分类模型的训练，如图4所示，并且引入如图5所示的遗传算法，对卷积神经网络的各类参数进行优化，提高分类准确率，实现了小样本情况下的模型训练。

⑸将脑电信号分成训练集和测试集，进行验证。

图6为运动想象脑电信号分类结果示意图，将数据以9:1比例分为训练集与测试集，其中横坐标为模型训练次数epochs，纵坐标为测试集的分类准确率与损失函数值。图中表示，经过上述步骤建立的脑电信号卷积神经网络模型满足实际需要。

3.额肌电信号时时采集，脑肌电信号时时采集；

4.如果额肌电信号按照阈值判断为有效，则输出肌电触发指令，采集下一时刻额肌电信号；额肌电信号判断有效的过程是：以第一个肌电信号幅值大于阈值p的采样点为起始点，如果起始点后的200ms内的采样点信号幅值均大于阈值p，则判断结果为有效。

如果额肌电信号按照阈值判断为无效，则不输出肌电触发指令，采集下一时刻额肌电信号；

如果脑电信号经过脑电信号卷积神经网络模型判断为有效，则输出脑电触发指令，采集下一时刻脑电信号；脑电信号判断有效的过程是：卷积神经网络模型连续两次判别为运动想象态的置信度都大于80％。

如果脑电信号经过脑电信号卷积神经网络模型判断为无效，则不输出脑电触发指令，采集下一时刻脑电信号。

如图1、2所示，额肌收缩产生额肌电信号，然后输出肌电触发指令，脑部运动想象产生脑电信号，然后输出脑电触发指令，两个指令可以作为不同动作转换的控制指令，控制指令驱动电机等驱动部件工作，完成停止伸展、停止弯曲、待弯曲、弯曲ing、待伸展、伸展ing等动作的切换。

本发明中，将额肌电信号和脑电信号作为动作状态转换的触发指令，依据计算结果判断是否输出触发指令，由此完成上肢康复训练中的不同动作的切换，不仅可以在不占用人类固有肢体自由度的情况下控制外肢体机器人，即时性增强或补偿人体运动功能，还展现出帮助脑卒中偏瘫患者实现主动式运动康复的潜力。另外，使用卷积神经网络对运动想象脑电信号进行识别分类，展现出了优于传统分类器的分类性能，并且利用遗传算法优化卷积神经网络模型的各类参数，高效地实现了小样本情况下深度学习模型地构建与使用。