一种基于深度学习的多自由度同步肌电控制方法与流程

文档序号:15279396发布日期:2018-08-28 23:21阅读:177来源:国知局

本发明属于肌电控制技术领域,具体涉及一种基于深度学习的强适应性多自由度同步肌电控制方法。



背景技术:

运动信息解码方法是通过分析肌电信号,推算实际的运动信息的一种预测方法。当生物体控制肌肉运动时,肌肉中的运动单元会对中枢神经系统传递的信息作出反应并产生收缩,在这一过程中伴随着的电活动效应能够被电极采集,被称作肌电信号(electromyography,emg),在一定程度上能够反映使用者的控制意图。通过采集并分析肌电信号,能够预测使用者的动作。

当前比较成熟的肌电控制方法可分为开关式、编码、及模式识别这三类。开关式将肌电信号转换成随时间变化的幅值信息,通过事先设定的阈值将幅值信息转化成控制信号,然而阈值会根据实际状况发生变化,同时能够得到的只是一个开关信息,包含的信息量很少;编码方法通过识别用户一段时间内,不同动作组合成的编码,完成对特定动作的选择,能够对应多种的动作,但是要求操作者记忆并完成这些编码,使用难度较大,并且会产生严重的延迟;模式识别方法通过对肌电信号进行特征提取,将肌电信号映射至低维空间,通过学习得到的分类算法获得当前肌肉运动状态信息(手势动作),该方法响应速度快,能够得到多种状态信息,然而要求使用者有比较充分的使用经验,同时控制动作不够灵巧。

由于传统的肌电控制方法只能够获取当前的肌肉运动状态,仅通过一个数值描述多自由度的运动情况,难以对细节的运动信息进行描述,实现对目标的灵活控制。而多自由度同步控制方法能够同时得到复数自由度的运动信息,结果能够直接作为相应自由度的控制输入信号,因此对多自由度同步控制的研究有迫切的需求。

当前虽然已经有研究者着手于多自由度同步控制的研究,但是依然还是使用类似于模式分类的方法,对肌电信号进行特征提取,之后使用如lda、svr这类回归模型对数据进行分析,得到其中一个自由度的运动状况,之后将与自由度数目相等的模型并联,实现多个自由度的同步控制。这种方法丢失了自由度之间的相互联系,模型只是对其中一个自由度的信息进行学习,并没有考虑其他自由度运动时产生的影响。同时多自由度同步控制的任务难度要远高于模式识别,这要求从肌电信号中获取更丰富的信息,而提取特征的同时会伴随着肌电信号中信息的丢失,反而提高任务的实现难度。



技术实现要素:

本发明的目的是为解决现有的多自由度同步肌电控制模型存在的只是针对一个自由度的信息进行学习、缺少自由度之间的相互联系,且提取肌电信号特征时伴随着肌电信号中信息的缺失的问题。

本发明为解决上述技术问题采取的技术方案是:

步骤一、原始肌电信号以及对应运动信息的同步采集与保存;

步骤二、基于一维卷积神经网络建立初始的多自由度同步肌电控制模型;

步骤三、将步骤一采集的各组实验数据的原始肌电信号分别输入步骤二建立的初始多自由度同步肌电控制模型,对应的将每组实验数据的运动信息作为输出目标,经过训练获得最终的多自由度同步肌电控制模型;

步骤四、采集受试者的原始肌电信号,将原始肌电信号输入训练后的多自由度同步肌电控制模型,得到训练后的多自由度同步肌电控制模型输出的运动信息;

步骤五、根据待控制的目标机械手臂的关节控制速度参数,将步骤四输出的运动信息乘以关节运动最大速度的四分之一,以转化成控制目标机械手臂相应关节的速度信息;将得到的速度信息输入到机器人系统的驱动器中,由机器人控制系统进行规划,实现对目标机械手臂相应关节动作的控制。

本发明的有益效果是:本发明提供了一种基于深度学习的多自由度同步肌电控制方法,同步采集与保存受试者相应肌肉的原始肌电信号以及对应自由度的运动信息,并基于一维卷积神经网络建立初始的多自由度同步肌电控制模型,将采集的原始肌电信号分别输入初始多自由度同步肌电控制模型,对应的将每组实验数据的多自由度运动信息作为输出目标,以获得训练好的多自由度同步肌电控制模型;采集其他受试者相应肌肉的原始肌电信号,将原始肌电信号输入训练好的多自由度同步肌电控制模型,以输出相应的运动信息,并将输出的运动信息应用于目标机械手臂的控制。

应用本发明的基于深度学习的多自由度同步肌电控制方法可以较好的预测目标自由度的运动方向和运动趋势,而且本发明的应用不受到个体情况及电极安装位置偏移的影响,具有很强的适应性,训练得到的模型能够在其他受试者身上同样适用;对于参与采集训练模型的受试者,预测结果的相对偏差能够小于30%;对于不同的受试者,预测结果的相对偏差能够小于60%。

附图说明

图1是本发明的一种基于深度学习的多自由度同步肌电控制方法的工作流程图;

图2是本发明所述的多自由度同步肌电控制模型的结构示意图;

其中:conv是卷积层,relu是激励函数层,norm是归一化层,wristmotion是手腕动作,e-f代表伸腕-屈腕运动,u-r代表尺侧-桡侧运动,s-r代表旋前-旋后运动;

图3是本发明的训练得到的多自由度同步肌电控制模型中的卷积层的训练结果;

图4是本发明的某一名受试者,通过训练得到的多自由度同步肌电控制模型解析肌电信号预测得到的运动信息与实际检测的运动信息对比图。

具体实施方式

具体实施方式一:如图1和2所示,本实施方式所述的一种基于深度学习的多自由度同步肌电控制方法,具体是按照以下步骤进行的:

步骤一、原始肌电信号以及对应运动信息的同步采集与保存;

步骤二、基于一维卷积神经网络建立初始的多自由度同步肌电控制模型;

步骤三、将步骤一采集的各组实验数据的原始肌电信号分别输入步骤二建立的初始多自由度同步肌电控制模型,对应的将每组实验数据的运动信息作为输出目标,经过训练获得最终的多自由度同步肌电控制模型;

步骤四、采集受试者的原始肌电信号,将原始肌电信号输入训练后的多自由度同步肌电控制模型,得到训练后的多自由度同步肌电控制模型输出的运动信息;

步骤五、根据待控制的目标机械手臂的关节控制速度参数,将步骤四输出的运动信息乘以关节运动最大速度的四分之一,以转化成控制目标机械手臂相应关节的速度信息;将得到的速度信息输入到机器人系统的驱动器中,由机器人控制系统进行规划,实现对目标机械手臂相应关节动作的控制。

本实施方式是以手腕的三个自由度为例进行的。

本实施方式中同步采集与保存受试者的手腕原始肌电信号以及对应运动信息,将各组实验数据的原始肌电信号作为初始的多自由度同步肌电控制模型的输入,以各组实验数据对应的运动信息为训练目标,以得到训练好的多自由度同步肌电控制模型。然后对训练好的多自由度同步肌电控制模型进行验证,验证时采集其它受试者的手腕原始肌电信号以及对应的运动信息,将原始肌电信号作为训练好的多自由度同步肌电控制模型的输入,再将训练后模型输出的运动信息与采集的运动信息对比,利用训练好的多自由度同步肌电控制模型能够准确预测手腕的运动方向和运动趋势。同时,利用训练好的模型输出的运动信息,可以控制目标机械手腕按照输出的运动信息运动。

本实施方式的步骤一至步骤四实质上提供了一种准确预测手腕的运动方向和运动趋势的方法,能够实现对运动方向和运动趋势的准确预测。

具体实施方式二:本实施方式与具体实施方式一不同的是:步骤一的手腕运动信息与肌电信号同步采集与保存的具体过程为:

选取不少于9名受试者参与数据采集,受试者的每只手臂上各需要采集不少于3组肌电信号数据,且两只手臂交替采集数据;即在采集完一组数据之后,电极被取下、并安放在另一只手臂上进行数据采集;电极重复穿戴过程中会与上一次的安放位置存在不大于1cm的偏移;

通过十字激光发射器将手腕的3个自由度的运动信息转化为投影在屏幕上的光标的水平移动、垂直移动和角度旋转的运动信息;在采集数据时,最多只要求操作者同时规划2个自由度的动作轨迹,而对3自由度同时运动的动作则不指定轨迹,由操作者任意组合;每组实验中包含20次腕部运动的数据,其中,前10次是按照规划好的运动轨迹做腕部动作,这些动作指定了1至2个自由度;后10次则是操作者任意的3自由度组合动作;动作信息的采集频率为50hz,每次动作采集10s,即每次动作包含500个的动作信息样本;

采用8枚肌电信号电极对原始肌电信号进行同时采集,电极安装在前臂、靠近肘部1/3前臂长度位置处,电极的采样频率为2000hz,并且在运动信息开始采集的前2s开始采集;

原始肌电信号经过4阶巴特沃斯的20-500hz带通滤波器和50hz陷波滤波器处理,与手腕的运动信息同步后保存;在进行计算前对所有数据都进行了标准化处理,使数据拥有零均值与1的标准差。

本实施方式中投影在屏幕上的光标的水平移动、垂直移动以及角度旋转运动信息不需要解耦就能够反映腕部3个自由度的运动状况,操作者能够通过观察光标直观地得知当前的运动信息,与此同时,计算机通过相机获取激光光标的图像,并检测光标的位置及姿态,实现运动信息与肌电信号的同步采集与保存。

具体实施方式三:如图2所示。本实施方式与具体实施方式二不同的是:步骤三的具体过程为:

步骤一采集的原始肌电信号通过加窗处理进行截取后作为输入,经过n个卷积层与池化层后,第n+1个为卷积层,卷积层中卷积后的输出长度为1,然后通过全连接层的进一步特征提取后,最终通过线性回归层输出多个目标自由度的信息;

其中,n的取值为大于等于1,且每个卷积层与池化层之间为激励函数层,第n+1个卷积层与全连接层之间为激励函数层。

本实施方式中的卷积层可以改变数据的表达形式,增加特征的表现力;然后再利用池化层(pool)可以在时间维度上对数据降采样,以减少特征数目,并增强模型对动作时刻的区分能力,全连接层(fullconnect)可以进一步提取特征,以获得学习参数,最终在线性回归层中同时输出手腕的3个自由度的运动信息。

具体实施方式四:本实施方式与具体实施方式三不同的是:所述步骤三中输入初始多自由度同步肌电控制模型的原始肌电信号的窗口长度(windowlength)在128ms~1024ms范围内选取,同时选择的窗口长度越长,手腕动作的识别效果越好。

具体实施方式五:本实施方式与具体实施方式四不同的是:所述原始肌电信号为多通道原始肌电信号。

为了展示本发明中训练获得的多自由度同步肌电控制模型的性能,将第一层卷积层通过学习得到的卷积核如图3表示,每一列的图像表示这一个隐藏单元对8个肌电电极通道数据计算的卷积核。为了方便观看,每一列的数据被相同的倍率归一化至[-1,1]的范围。模型学习得到的卷积核具有一定的通道选择性,会选择特定通道的肌电信号并提取信息,仅少数通道对应的卷积核有明显幅度的变化,其余的卷积核几乎为0。并且卷积核的形状还具有特定规律,体现为不同频率的周期信号或者脉冲信号,这些特殊形状的信号可作为解析原始肌电信号的基本单元。

为了对训练好的多自由度同步肌电控制模型的预测效果进行评价,步骤四采集原始肌电信号的同时,也进行了对应的实际运动信息的采集;我们使用了relativemeansquareerror(rmse)作为预测效果的衡量指标,该指标和错误率类似,数值越低,效果越好。由于单从数值上较难了解实际的预测效果,同时还会给出相应的预测结果曲线。

其中yi是步骤四采集的第i实验数据的实际动作信息,是利用训练后模型预测得到的第i组实验数据的动作信息;n是步骤四中采集的实验数据数目。步骤四采集的实际运动信息与通过模型解析肌电信号预测得到的运动信息进行比较,每位受试者采集了100000(n=100000)组数据,比较结果表1所示:

表1

如图4所示为一名受试者在步骤四的一次实验中,一部分所采集的腕部三个自由度的实际运动信息与通过模型解析肌电信号预测得到的运动信息的对比图,图中虚线表示预测的运动信息曲线,实线表示的是实际的运动信息曲线,从图中可以看出,三个自由度的预测的动作信息方向与变化趋势能够和实际动作信息基本保持一致,该部分数据的伸腕或屈腕的rmse=36.0%;尺侧或桡侧的rmse=63.1%;旋前或旋后的rmse=49.4%。

本发明的方法不仅能对手腕的动作进行识别,对于其余能够同时检测多自由度运动信息与相应的肌电信号的场合,本方法同样能够适用;并且自由度的数目可以根据需要进行更改。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1