一种基于双流网络的肌电信号手势识别方法与流程

本发明涉及人机交互和人工智能领域，特别涉及一种基于双流网络的肌电信号手势识别方法，可以应用在工业控制与医疗假肢等方向。

背景技术：

通过构建深度学习模型对表面肌电信号(semg)进行分类，将肌电信号转换为传递用户运动意图的指令，并将其传入机器中，构成了完整的肌电控制系统。基于表面肌电信号的手势识别是肌电控制系统的核心。在应用场景种，semg易受到外部环境的干扰，比如电极偏移、肌肉收缩力的变化和肌肉收缩力的变化，这些因素都会影响识别模型的准确率。在semg的应用领域，比如临床领域的智能假肢,工业领域的人机控制，都对识别准确率有着较高的要求。因此，基于semg的手势识别仍然有需要提升的空间。

基于semg的手势识别可以很自然地被定义为一种模式识别问题，通常通过监督学习对分类器进行训练。在对semg信号进行模式识别时，主要有三部分：数据预处理，特征提取与分类。emg的特征主要有四种类型：时域特征(td)、谱域或频域(fd)、时间尺度或时频域和参数模型分析。在传统算法方面，提取肌电数据特征后，使用经典的机器学习算法进行分类。比如线性判别分析(lda)，支持向量机(svm)，k-最近邻(knn)，高斯混混模型(gmm)。

使用传统的机器学习算法构建识别模型主要有三个缺点。首先，设计者需要人工制造大量的特征，寻找最佳的特征组合费时又费力。其次，一个场景的最佳特征组合不一定适应于其它场景。最后，生物信号是复杂的，需要专业的领域知识。

近年来，深度学习已经在图像分类、人脸识别和语音识别取得显著的效果。深度学习也称为特征学习，能够从输入数据中自动习得有效的特征。经典的网络架构有卷积神经网络()cnn)，循环神经网络(rnn)。许多研究将semg与深度学习结合。通用的思路是将多帧semg信号转换为灰度图像，此时semg的手势识别问题重构为图像分类问题。manfreda等人发现一个结构简单的cnn比经典的分类方法拥有更好的效果。geng等人构建深度卷积网络应用于高密度semg信号。acharya等人利用卷积网络分析脑电图信号来诊断癫痫。xia等人利用cnn处理semg信号，再转换为时频帧传入rnn中，从而实现手势分类模型。

之前的研究大多使用cnn提取semg图的空间特征，多帧有序肌电信号会合并成肌电图，能够提取出数据的空间有效信息。虽然取得了不错的效果，但semg作为时间序列的一种，其内部的时间相关性则被忽略。

技术实现要素：

本发明要克服现有技术的上述缺点，提供一种基于双流网络的肌电信号手势识别方法。

本发明设计了一种结合卷积神经网络(cnn)和长短期记忆网络(lstm)结构特征的双流网络结构，上层是多层cnn结构，包括卷积层、池化层与全连层，可以提取出肌电图的空间特征；下层由多层lstm构成，目的是提取出semg序列的时间特征。多层lstm串联。网络就能提取出肌电数据的时空特性。利用semg序列的时空特征进行手势识别分类，可以提升分类准确率，并在实时分类系统中取得良好的效果。

实现本发明目的的技术方案是：

一种基于双流网络的肌电信号手势识别方法，其特征包括以下步骤：

步骤1.采集多人各类手势的肌电信号。通过佩戴16通道的采集设备，受试者每个手势动作持续12秒，进行6次重复。提取出其中10秒的稳态数据，进行数据预处理，选择300ms的时间窗口，每帧肌电图的尺寸为300×16，以此构建训练集；

步骤2.构建双流网络模型，此模型主要由三部分组成。第一部分负责提取空间特征，第二部分负责学习时间特征，最后一部分负责特征融合；

模型的第一部分是cnn，共有五层结构，输入的semg数据(300×16)经过cnn处理后，提取的空间特征维度是128×1。模型中的lstm部分共有三层，多层叠加可以提取时间序列的有效信息。每层lstm都有128个单元，输入的semg数据(300×16)经过lstm处理后，提取的时间特征维度是128×1。第一部分与第二部分是并行结构，能同时分别处理肌电数据，然后将cnn部分提取出空间特征和lstm部分提取出的时序特征进行融合，形成一个特征合并层，以此提取更全面的特征。随后通过两个完全连接层，将两种特征中的有效信息融合成时空特征，再使用softmax层得到分类的概率估计；

步骤3.对双流网络模型进行训练，采用adam优化器进行梯度下降优化。训练损失函数为：

其中a为模型的输出，y为样本的真实值，θ包括网络模型中的所有参数，为l2正则化公式，能够有效的防止过拟合问题；

步骤4.使用训练好的双流网络模型对手臂的semg进行手势识别。

进一步，所述步骤2中cnn的每个输入层与隐藏层后都采用relu与batchnorm。

本发明的优点是：

1、本发明设计合理，将深度神经网络应用于肌电信号手势识别，其模型具有较强的可塑性和识别能力。相较于传统机器学习方法，不需要繁琐的特征工程，且极大提高了识别准确率。有重要的应用意义。

2、本发明将cnn与lstm的特性相结合，构成一种新型的双流网络模型用于肌电信号手势识别。该网络模型可以同时提取semg数据的时间特征和空间特征，以此提升对不同手势产生的肌电信号的识别准确度。并且在训练数据集越大且手势数量越多的情况下，该双流模型相比较其他神经网络模型的识别精确度明显增加，且有更强的适应性。

附图说明

图1为本发明采集数据所用的非入侵式可穿戴的肌电采集设备。

图2为本发明采集肌电信号的五种手势。

图3为本发明中的双流网络结构图。

图4为本发明在自采集数据集上的手势识别分类与其他机器学习算法比较。

图5(a)为本发明使用不同数据规模作为训练集，在ninaprodb1数据集上进行手势识别分类的识别准确率。

图5(b)为本发明对不同数量的手势数据进行分类，在ninaprodb1数据集上进行手势识别分类的识别准确率。

图6(a)为肌电信号数据集原始数据的三维可视化图。

图6(b)为使用cnn进行特征分类的三维可视化图。

图6(c)为使用本发明进行特征分类的三维可视化图。

具体实施方式

下面结合附图，进一步说明本发明的技术方案。

一种基于双流网络的肌电信号手势识别方法，包括如下步骤：

步骤1.使用图1所示的一套非入侵式可穿戴的肌电采集设备来采集8名健康的志愿者如图2所示一共五种手势的semg数据，一共得到240个semg样本。每个样本中含有195帧的肌电图数据。每帧肌电图由300毫秒的semg构成，采集设备有16个电极通道，故肌电图的维度是300×16。

步骤2.根据图3所示，建立双流网络模型，此模型主要由一个多层cnn与一个多层lstm组成。模型中的cnn部分共有五层：前两层为卷积层，包含着64个步幅为1、填充为1的卷积核(5×5，3×3)，对其输出分别进行最大池化处理，在保留数据信息的同时降低维度；随后两层是带有64个非重叠卷积核(1×1)的本地连接层，为提取最有效的空间特征，采用一个有256单元的完全连接层；为防止过拟合，在第四层后采用概率为0.5的dropout。输入的semg数据(300×16)经过cnn处理后，提取的空间特征维度是256×1。模型中的lstm部分共有三层，多层叠加可以提取时间序列的有效信息。每层lstm都有256个单元，输入的semg数据(300×16)经过lstm处理后，提取的时间特征维度是256×1。cnn与lstm同时分别对输入数据进行处理，然后将cnn部分提取出的多帧semg的空间特征和lstm部分提取出的多帧semg的时序特征进行融合，形成一个特征合并层，以此提取更全面的特征。随后通过两个完全连接层，将两种特征中的有效信息融合成时空特征，再使用softmax层得到分类的概率估计。

步骤3.使用adam优化器对模型进行训练，训练30次便停止训练。学习率初始化为0.01，在第十次迭代时为变化为0.001。

步骤4.通过交叉验证，来验证双流网络模型的优越性。主要包括两种数据集。一种是自采集的8人5种手势的数据集，另一种是27人52动作的公开数据集ninapro。在数据集一中，将7个人的数据作为训练集，剩下一个人的数据为测试集。在数据集二中，将所有数据的2/3作为训练集，剩下的1/3作为测试集。

在自采集的数据集上，本发明提出的模型，在图4识别率都高于机器学习模型与cnn模型。

为了验证模型的性能，采用了公开数据集ninapro进行测试。使用2/3的数据进行训练，1/3的数据进行测试。结果表面次模型在不同的数据集中任然由适应能力。在数据规模上，分别采用ninaprodb1的2/3、1/3、1/4、1/8、1/16作为训练集，余下的部分作为测试集，得出的识别准确率如图5(a)所示。在手势数量方面，选用不同数量的手势数据，2/3作为训练，1/3作为测试，手势数量的变化为5，10，15，20，30，40，52，得出的识别准确率如图5(b)所示。结合图5(a)与5(b)，可知在训练数据集越大且手势数量越多的情况下，结合了cnn与lstm的双流模型相比传统算法在识别精确率上具有更大的优势，且该优势随着训练数据集和手势数量的增加更加明显。

本发明还进行数据可视化，将原始数据、cnn的128维特征、双流网络的128维特征进行pca降维。选取了六个动作，拇指向上，所有手指外展，握拳，手腕向内弯曲，手腕向外弯曲和腕尺偏移。数据的三维投影如图6所示。6(a)是原始数据降维，6(b)是cnn特征降维。6(c)是双流网络特征降维。在图6(b)与图6(c)种，握拳动作为深蓝色，拇指向上动作是淡蓝色，两种动作的区别仅仅是大拇指的竖起。图6(b)中两颜色重叠部分很多，图6(c)中两种颜色重叠部分较少，所以cnn难以区分出相似的手势动作。从识别准确率与数据可视化图可知，本发明的网络更能区分相似手势。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。