一种基于IMU与sEMG特征图像融合的肌电模式识别方法与流程

本发明涉及肌电信号处理，尤其是涉及一种基于imu与semg特征图像融合的肌电模式识别方法。

背景技术：

1、表面肌电信号是运动单位动作电位序列经过人体肌肉、脂肪、皮肤等滤波作用后在采样电极处混叠的综合电位信号。其凭着无创、操作方便等优点，有着广泛的应用前景。肌电模式识别技术的发展，使从肌肉的电生理特性中解码运动意图成为可能。这种技术在理想的实验室条件下已经取得较好的识别性能，但在实际中往往受到诸多干扰。其中不同肢体姿态对同一动作的影响较为显著。

2、相关技术中，国内外研究人员已提出了设计鲁棒特征、扩增训练集数据等方法，但都存在一定的问题，新的鲁棒特征在新场景的推广较为困难，扩增数据集又会消耗大量的训练成本，增加用户使用负担。采用多传感器数据融合，补充人体的三维运动信息成为一个主要趋势之一。现有的研究通常将多传感器特征数据直接串联，进行识别分类，缺乏对数据空间分布的信息刻画，缺乏对数据结构信息和细节信息的挖掘。且imu的特征选择以四元数为主，四元数主要通过imu中的陀螺仪获得，没有充分利用imu中的加速度计信息。因此本发明致力于充分捕捉和融合imu与semg的特征信息，保留其结构信息和细节信息，开发一种基于惯性测量单元(imu)与表面肌电(semg)特征图像融合的肌电模式识别方法。

技术实现思路

1、针对现有技术存在的不足，本发明的目的是提供一种基于imu与semg特征图像融合的肌电模式识别方法，其以期能通过imu数据充分补充动作的三维空间信息，用特征图像融合策略刻画数据的空间分布，并保留imu和semg丰富的结构信息和细节信息，从而能以较高的准确率识别动作模式。

2、本发明的上述发明目的是通过以下技术方案得以实现的：

3、一种基于imu与semg特征图像融合的肌电模式识别方法，包括以下步骤：

4、步骤一：惯性测量单元与表面肌电信号原始数据集的准备，包括数据采集、数据预处理、活动段检测；

5、步骤二：imu与semg特征集的提取，包括特征提取、特征对齐；

6、步骤三：特征图像的构建与融合；

7、步骤四：基于卷积神经网络进行动作分类决策。

8、本发明在一较佳示例中可以进一步配置为：在所述步骤一中，具体包括以下步骤：

9、步骤1.1：所述数据采集采用惯性测量单元传感器和表面肌电采集电极在手腕处采集用户执行手势动作的加速度计信号、四元数值以及表面肌电信号，其中惯性测量单元和肌电采集电极的传感器排列均为m行×n列；

10、步骤1.2：所述数据预处理模块首先对imu采集的加速度计信号、四元数数据进行线性差值，使其采样点数与semg相等，然后对semg信号进行噪声处理；

11、步骤1.3：所述活动段检测是结合幅值和波长对semg信号进行联合决策，得到semg的活动段信号，提取semg活动段信号对应的时刻，对imu数据提取同样时刻的数据作为imu的活动段信号。

12、本发明在一较佳示例中可以进一步配置为：在所述步骤二中，具体包括以下步骤：

13、步骤2.1：所述特征提取包含对imu信号和semg信号的特征提取，对每个活动段imu信号提取加速度计x、y、z三轴的均值特征{ax,ay,az}和四元数差值特征{q1,q2,q3,q4}，其中四元数差值特征指的是该活动段末时刻四元数与初始时刻四元数之差，对semg提取k个时域或频域特征，将每个活动段样本对应的上述特征串联起来，得到imu的特征集fimu和semg的特征集fsemg：

14、fimu＝{q1,q2,q3,q4,ax,ay,az}

15、fsemg＝{feature1,feature2,...featurek}

16、对fimu与fsemg分别进行归一化，得到归一化后的fimu'∈rd×7和fsemg'∈rd×k；

17、步骤2.2：所述特征对齐采用低方差滤波策略实现，选择fimu'和fsemg'两个特征集中维数较大的特征集，首先对该特征集的每一维特征求解方差，删除该特征集中方差最小的一维或几维特征，使得两个特征集的维数相同，得到新特征集fimu∈rd×n与fsemg∈rd×n。

18、本发明在一较佳示例中可以进一步配置为：在所述步骤三中，具体包括以下步骤：

19、步骤3.1：将每个活动段imu和semg新特征数据按照通道的排列分别组合成m×nn的特征矩阵，每个特征矩阵可以看作是一个高度为m、宽度为nn、颜色通道为1的灰色特征图像；

20、步骤3.2：将同一活动段的一幅基于imu的特征图像和一幅基于semg的特征图像视作一组特征图，对每一组特征图像进行小波分解，得到各自的低频和高频分量，对高低频分量分别进行融合，得到新的高低频信息，对融合之后的高、低频信息做小波重构，获得新的融合特征图像。

21、本发明在一较佳示例中可以进一步配置为：在所述步骤四中，所述卷积神经网络的分类器包含四个卷积层、一个池化层、两个全连接层和两个dropout层。

22、本发明在一较佳示例中可以进一步配置为：在所述步骤四中，在训练模型时应用adam梯度下降法，设置学习率为0.001，β1为0.9，β2为0.999。

23、本发明在一较佳示例中可以进一步配置为：在所述步骤四中，融合特征图像作为卷积神经网络的输入，设置损失函数为binary_crossentropy，最后在输出层中利用softmax分类器对输出结果进行归一化，进而得到动作分类判别结果。

24、综上所述，与现有技术相比，本发明包括以下至少一种有益技术效果：

25、1.本发明相对于传统的基于表面肌电的动作模式识别方法，额外添加运动测量单元传感器补充动作执行时的三维空间信息，而emg传感器仅从神经元活动角度描述整个运动过程，这种运动学传感器与生物信号传感器相结合的策略有助于捕捉到不同尺度的特征。针对imu的特征选择，用四元数表示姿态的变化，并增加了imu中的加速度计特征，充分保留了imu的数据信息。

26、2.本发明首次将小波变换策略应用于imu与semg的特征图像融合，把图像分解成低频图像和高频图像的组合，分别代表了不同图像结构，保留了特征图像的结构信息和细节信息，从效果而言，提高了动作模式识别的准确性。

27、3.本发明基于卷积神经网络分类器挖掘和刻画特征数据的空间分布信息以更好地对融合特征图像进行分类。

技术特征：

1.一种基于imu与semg特征图像融合的肌电模式识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于imu与semg特征图像融合的肌电模式识别方法，其特征在于，在所述步骤一中，具体包括以下步骤：

3.根据权利要求1所述的一种基于imu与semg特征图像融合的肌电模式识别方法，其特征在于，在所述步骤二中，具体包括以下步骤：

4.根据权利要求1所述的一种基于imu与semg特征图像融合的肌电模式识别方法，其特征在于，在所述步骤三中，具体包括以下步骤：

5.根据权利要求1所述的一种基于imu与semg特征图像融合的肌电模式识别方法，其特征在于，在所述步骤四中，所述卷积神经网络的分类器包含四个卷积层、一个池化层、两个全连接层和两个dropout层。

6.根据权利要求1所述的一种基于imu与semg特征图像融合的肌电模式识别方法，其特征在于，在所述步骤四中，在训练模型时应用adam梯度下降法，设置学习率为0.001，β1为0.9，β2为0.999。

7.根据权利要求1所述的一种基于imu与semg特征图像融合的肌电模式识别方法，其特征在于，在所述步骤四中，融合特征图像作为卷积神经网络的输入，设置损失函数为binary_crossentropy，最后在输出层中利用softmax分类器对输出结果进行归一化，进而得到动作分类判别结果。

技术总结
本发明涉及一种基于IMU(惯性测量单元)与sEMG(表面肌电信号)特征图像融合的肌电模式识别方法，其步骤包括：1、IMU与sEMG原始数据集的准备，包括数据采集、数据预处理、活动段检测；2、IMU与sEMG特征集的提取，包括特征提取、特征对齐；3、特征图像的构建与融合；4、基于卷积神经网络进行动作分类决策。本发明充分捕捉IMU与sEMG的特征信息，通过特征融合策略保留其结构信息和细节信息，并基于卷积神经网络实现动作模式的分类，提高了肌电模式识别的准确性。

技术研发人员：陈璋
受保护的技术使用者：飞矩科技（上海）有限公司
技术研发日：
技术公布日：2024/1/15