基于SeNet和门控时序卷积网络的肌电手势识别方法

基于senet和门控时序卷积网络的肌电手势识别方法
技术领域
1.本发明涉及一种基于senet和门控时序卷积网络的肌电手势识别方法，属于肌电信号处理领域。


背景技术：

2.手势识别目前成为人机交互的重要方式，手势识别实现方式可以分为基于视觉的手势识别和基于传感器的手势识别。其中使用肌电信号的手势识别属于后者，相比于其他手势识别方式具有可穿戴性、环境干扰小等优点，近年来成为人机交互的热点之一，目前基于肌电信号的手势识别主要方法分为基于机器学习手势识别与基于深度学习手势识别。
3.基于传统机器学习的手势识别方法流程可以分为肌电信号预处理、特征提取、特征筛选、分类。肌电信号预处理是对肌电设备采集到的肌电信号中噪声滤除、对肌电信号进行分段处理，对原始信号进行预处理能有效提高手势识别的准确率。特征提取是对肌电信号中提取到有用的信息，常见的特征有平均绝对值、中值频率、ar模型系数等。特征筛选是对肌电信号的冗余特征进行筛选，以避免模型训练时间长、维度灾难等问题，常用的特征筛选方法有f检验、卡方检验、皮尔森相关系数等。分类为该方式最为重要的一环，常用的分类方法有支持向量机、k近邻算法、随机森林等方法。
4.基于深度学习手势识别，目前使用目前更多的研究者关注于将深度学习应用于肌电信号手势识别，例如manfredo atzori等人使用简单的cnn模型在ninapro db1数据集上获得66.59
±
6.4％的识别率超过传统的机器学习方法，证明深度学习适合应用于肌电信号的手势识别。wentao wei等人使用多流卷积神经网络根据肌电信号通道和特定手势之间相关性来提高手势识别精度。ali samadani考虑到肌电信号的时序性将lstm和gru网络引入到肌电手势识别中，结果表明对肌电信号手势识别使用时序网络优于非时序网络。panagiotis tsinganos采用时间卷积网络对整段肌电信号进行分析，结果表明采用时间卷积神经网络的分类精度和速度均优于循环神经网络。
5.对于传统的机器学习方法，进行模型训练的特征需要人工提取，会存在特征提取不准确、处理流程较为复杂的问题，深度学习方法通过训练深层网络，可以对肌电信号进行有效特征提取，同时具有流程简单、鲁棒性高、识别效果好的优点，但是深度学习方法需要设置合适的特征提取层，否则会出现网络过深导致的训练准确率较低、训练时间过长、梯度消失等问题。


技术实现要素：

6.本发明的目的是提供一种基于senet和门控时序卷积网络的肌电手势识别方法，该网络能够有效的捕捉到肌电时序特征和肌电信号通道之间的特征从而提高识别效率；通过时序卷积可以有效的扩大感受野，能够在更高效的学习肌电时序特征的同时不增加网络模型的复杂性。
7.为了实现上述目的，本发明采用的技术方案是：
8.一种基于senet和门控时序卷积网络的肌电手势识别方法，包括以下步骤：
9.s1：通过肌电信号数据库获得手臂的手势肌电信号数据，并对手势肌电信号进行分割，分为训练集、验证集和测试集；
10.s2：对步骤s1得到的手势肌电信号数据进行预处理，包括带通滤波、工频陷波和数据分段；
11.s3：将步骤s2得到的手势肌电信号数据增强，包括向数据添加高斯噪声、肌电信号采集通道互换和肌电信号时间轴的扩缩；
12.s4：构建核心层，核心层由时间卷积网络、门控卷积和senet组成，采用门控卷积替换时间卷积网络中的1维卷积构成门控时间卷积块，采用门控时间卷积块对肌电信号进行特征提取，将上述门控时间卷积块使用senet连接，之间插入一层relu层，整体构成senet-gated-tcn层；
13.s5：构建注意力机制层，将步骤s4所得核心层进行堆叠，得到特征输出结果输入到注意力机制层，通过注意力机制将特征赋予不同权重；
14.s6：构建完整的模型，将步骤s5所得注意力机制层输出结果通过softmax激活函数进行输出，获得完整的手势识别模型；
15.s7：将步骤s3得到的数据输入到步骤s6所构建的完整模型中，对模型进行训练直到模型的损失函数不再提升，保存模型。
16.本发明技术方案的进一步改进在于：所述步骤s2中，采用四阶巴特沃斯滤波器对肌电信号进行0.1～200hz的带通滤波，采用50hz陷波器滤除掉肌电信号的工频干扰。
17.本发明技术方案的进一步改进在于：所述步骤s4采用的门控时间卷积块公式如下：
18.gate＝sigmoid(a
′
)
′
*b+b
19.其中，a和b是输入经过一维因果卷积和膨胀卷积得到的特征序列，且a和b采用的卷积核大小和卷积核数量都是相同的；每个门控时间卷积块中卷积是由因果卷积构成，且每层利用不同的膨胀卷积尺度对肌电信号进行充分地分析。
20.本发明技术方案的进一步改进在于：所述步骤s5中，注意力机制对不同的特征赋予不同的权重，计算公式如下：
[0021][0022][0023]
score(h
t
，hs)＝h
tt
whs[0024]
其中α
ts
表示肌电特征的权重参数向量，h
t
表示当前的输出状态，hs表示上层的输出状态，均值越大说明该肌电特征对结果影响更大，s是模型层数，w是权重矩阵由网络训练后获得，h
t
表示经过注意力机制后的输出值。
[0025]
由于采用了上述技术方案，本发明取得的技术效果有：
[0026]
本发明通过将数据进行增强扩充肌电数据集，能够提高模型的识别精度和泛化性；通过使用senet对肌电数据通道之间进行特征提取，通过使用门控时间卷积网络对特征
进行筛选，能够有效的提高网络对肌电信号的手势识别精度，同时满足实时性和高性能的要求。
附图说明
[0027]
图1是本发明的完整手势识别模型图；
[0028]
图2是本发明方法的门控时间卷积块图；
[0029]
图3是本发明的senet-gated-tcn层结构图。
具体实施方式
[0030]
下面结合附图对本发明做进一步详细说明：
[0031]
基于senet和门控时序卷积网络的肌电手势识别方法，包括以下步骤：
[0032]
s1：采用肌电手势最大数据集ninapro数据，本发明使用ninapro db5数据进行分析。ninapro db5使用两个myo臂环共16个通道进行肌电信号采集以及三轴加速度信号采集，共采集10名健康受试者53种手势，受试者对每个手势重复6次，每个动作中间休息3秒。53手势包含12个精细手指动作、17个手腕动作、23个抓握手势和1个静息手势，每个受试者共计做318个手势动作。本发明将ninapro db5的第1、2、4、6次重复肌电手势数据作为训练集，第3次重复肌电手势数据作为验证集，第5次重复肌电手势数据作为测试集。
[0033]
s2：对s1的数据进行预处理，包括带通滤波、工频陷波和数据分段。
[0034]
s3：对s2得到的手势肌电信号数据增强，包括向数据添加高斯噪声、肌电信号采集通道互换、肌电信号时间轴的扩缩。模拟不同环境下收集到的肌电信号数据，通过数据增强来提升模型的鲁棒性和泛化性。
[0035]
s4：构建senet-gated-tcn层，senet-gated-tcn层由时间卷积网络、门控卷积和senet组成。采用门控卷积替换时间卷积网络中的1维卷积，构成如图2所示的门控时间卷积块，采用门控时间卷积块对肌电信号进行特征提取以提高特征提取的能力；将上述两个门控时间卷积块使用senet连接，之间插入一层relu层，整体构成如图3所示结构。
[0036]
s5：构建注意力机制层，将s4所得senet-gated-tcn层进行堆叠，得到特征输出结果输入到注意力机制层，通过注意力机制根据特征重要性赋予其不同权重。
[0037]
s6：构建完整的模型，将s5所得注意力机制层输出结果通过softmax激活函数进行输出，至此获得完整的手势识别模型，如图1所示。
[0038]
s7：将步骤s3得到的数据输入到步骤s6所构建的完整模型中，对模型进行训练直到模型的损失函数不再提升，保存模型。
[0039]
所述步骤s2中，采用四阶巴特沃斯滤波器对肌电信号进行0.1～200hz的带通滤波，通带衰减为0.5db，阻带衰减为40db。将带通滤波后的数据经过50hz陷波器进行工频陷波获得纯净的手势肌电信号。对于ninapro稀疏肌电信号采用滑动窗口对52个数据点(260ms)作为一帧肌电图像，16个肌电信号组转化为肌电52*1*16的肌电图像。
[0040]
进一步的，滑动窗口法设置窗口长度为l，滑动步长为s，对于时间为t的手势，使用滑动窗口法产生(t-l)/s+1个肌电手势段，针对步骤2中的手势采用窗口为260ms，滑动步长为25ms的数据，共产生790个数据段。
[0041]
所述步骤s3中，本发明采用的三种数据扩充方法，1)加入高斯噪声，肌电信号在采
集过程中不可避免的受到干扰，包括基线漂移噪声、运动伪迹噪声、工频干扰噪声、器材引起的小噪声。本发明对训练集的肌电信号添加符合x～n(0，1)的高斯噪声，即d
′
＝αd，α∈{0.1，0.2，0.3，0.4}，其中d
′
代表添加噪声后的数据，d代表原始数据。
[0042]
2)时间轴缩放，手势肌电信号的有效活动段受到受试者的个人习惯的影响，对于不同人的同一个手势会有不同的肌电信号长度，使用缩放方法可以提高模型的泛化性，数据轴缩放流程如下：
[0043][0044]
3)通道反转，人体手部动作不同的手部动作是由不同的肌肉控制，稀疏式肌电采集设备对同一手势动作采集的通道会有所不同。但是构成的肌电图像在空间是相似的，类似于图像处理中的图像的部分翻转。因此有必要对这种情况进行数据扩充，公式如下：
[0045]
emg(i，j)＝emg(i，k)，k＝random(0，j)
[0046]
所述步骤4中，门控卷积块组成如图2所示，门控卷积模型块由时间卷积模型、门控卷积组成。本发明的门控卷积模块公式如下：
[0047]
gate＝sigmoid(a
′
)
′
*b+b
[0048]
其中，a和b是输入经过一维因果卷积和膨胀卷积得到的特征序列，其中a和b采用的卷积核大小和卷积核数量都是相同的。
[0049]
进一步的，每个门控卷积块的一维卷积是由因果卷积构成，且每层利用不同的膨胀卷积尺度对肌电信号进行充分地分析。本发明将层数设置为2层，每层包含2个门控卷积块且每次膨胀卷积2倍增加，最终感受野为61能够覆盖整个窗口的时间长度。
[0050]
所述步骤s5中，所述注意力机制可以使模型对不同的特征赋予不同的权重，抽取出更为重要的信息同时不会大幅增加模型的复杂度。在本发明中，注意力机制在softmax分类函数之前，用于对和目标手势关联性大的肌电、惯性特征赋予更高的权重，计算公式如下：
[0051][0052][0053]
score(h
t
，hs)＝h
tt
whs[0054]
其中α
ts
表示肌电特征的权重参数向量，h
t
表示当前的输出状态，hs表示上层的输出状态，均值越大说明该肌电特征对结果影响更大，s是模型层数，w是权重矩阵由网络训练后获得，h
t
表示经过注意力机制后的输出值。
[0055]
所述步骤s7中，使用55epoch并采用余弦退火算法调整学习率，每128个数据作为一个batch，使用交叉熵作为损失函数。训练在e5-1650gtx 1080ti平台下每个epoch需要4分钟。
[0056]
本发明模型在单肌电信号的识别精度为89％，同时使用肌电信号和惯性信号的识别精度为92.7％，优于tcn网络、senet-tcn网络、gatecnn网络。对比近年文献中肌电手势识别结果，如下表所示：
[0057][0058][0059]
从表中看出，本发明所提一种基于senet和门控时序卷积网络的肌电手势识别方法在ninapro db5稀疏肌电数据集，识别精度上优于cnn、tcn等网络。
[0060]
以上所述的实施例仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。