一种用于自然手势识别的多模态混合融合方法及其应用

1.本发明属于生物信号处理领域，具体的说是一种用于自然手势识别的多模态混合融合方法。


背景技术：

2.利用肌电信号(electromyograpy,emg)进行手势识别是一个直观可行的人机交互方案。人体肌肉收缩时伴随的表面肌电信号(surface electromyography，semg)反映了运动关节活动强度和伸屈状态，以及手势完成过程中手的运动、形状、位置和朝向等信息，在手势识别方面具有独特优势，因此，能够用来表征用户的运动状态或运动意图。
3.肌电控制是一种使用表面肌电信号将运动或意图转化为操纵假体或其他外部机器人设备的命令的技术。多个自由度的肌电模式识别被认为是一项里程碑式的技术。由于上肢或手的灵巧性，这种能力对于实现上肢或手所需的控制是必要的。然而，肌电信号具有天然的非平稳性和微弱性，肌电信号会由于出汗、电极偏移和运动噪声等情况的干扰而出现信号质量下降的问题；特别的，截肢患者在截肢部位的肌电信号会更加微弱且低信噪比，以及自然手势识别中相似手势难以区分。从而导致基于肌电的手势识别性能严重下降，影响手势交互的体验，甚至引发误操作等安全问题。
4.利用多模态信号融合解决肌电模式识别性能下降问题是一种可靠方案。一般有两种传统多模态融合策略：前期融合或者后期融合。前期融合是指先将两种信号按一定规则融合，然后送入一个分类器得到手势分类结果，该策略能够充分利用两种信号之间的交互信息，但是对于单模态信息利用不充分。后期融合是指先分别用两种信号训练两个分类器，然后按一定规则融合两个分类器的分类结果得到最终的分类结果，该策略能够充分利用单模态信号信息，但是忽略了模态间的交互信息。另外，现有的手势识别方法缺乏对极其相似手势的特殊处理，如抓取不同形状物体时的自然手势时极其相似的，导致模型对相似手势的分类效果较差。


技术实现要素：

5.本发明是为了解决上述现有技术存在的不足之处，提出一种用于自然手势识别的多模态混合融合方法及其应用，以期能联合前期融合、多尺度层级特征融合和后期融合等方式使模型能同时学习单一模态的特异性信息和多模态间的交互信息，从多模态信号中获取更全面的有用信息用于手势分类，还通过引入度量学习强化模型对相似手势的辨别能力，从而能提升模型对大量手势和相似手势的识别精度，增强自然手势识别系统的鲁棒性。
6.本发明为达到上述发明目的，采用如下技术方案：
7.本发明一种用于自然手势识别的多模态混合融合方法的特点在于，包括以下步骤：
8.步骤1、获取多模态手势数据集x＝{semg,acc}及其手势类别标签集合y0，并对多模态手势数据集x进行预处理和特征提取，从而构建含信号特征图样本的训练集；其中，
semg表示稀疏通道的表面肌电信号，acc表示加速度计信号；
9.步骤1.1、数据预处理：
10.对表面肌电信号semg和加速度计信号acc分别进行滤波、归一化和活动段滑窗分割，得到包含n1个原始肌电信号样本的肌电信号样本集合s
raw
和包含n1个加速度计信号样本的加速度计信号样本集合a
raw
；
11.步骤1.2、特征提取：
12.使用时频域方法提取肌电信号样本集合s
raw
中每一个原始肌电信号样本的时频域特征图，得到包含n1个肌电信号特征图样本的肌电信号训练集s＝{si|i＝1,2,
…
,n1}；其中，表示任意第i个肌电信号特征图样本；d1和ch1分别表示肌电信号特征图样本的单通道特征维度和通道数；令si的手势类别标签为yi；
13.使用时域方法提取加速度计信号样本集合a
raw
中每一个加速度计信号样本的时域特征图，得到包含n1个加速度计信号特征图样本的加速度计信号训练集a＝{ai|i＝1,2,
…
,n1}；其中，表示任意第i个加速度计信号特征图样本；d2和ch2分别表示加速度计信号特征图样本的单通道特征维度和通道数；令ai的手势类别标签为yi；
14.步骤1.3、构建含多模态信号特征图样本的训练集{s,a,y}，其中，y表示肌电信号训练集s和加速度计信号训练集a中信号特征图样本的标签集合，且y包含l种手势类别；
15.步骤2、构建多模态混合融合模型，包括：三条并行的网络分支以及决策层融合模块；每条网络分支均包括：特征提取子网络和模式识别子网络；
16.所述特征提取子网络包括：升维单元、层级特征融合单元和降维单元；
17.所述层级特征融合单元包括：k级残差网络和多尺度注意力模块；
18.所述升维单元依次包括：一个批归一化层、λ1个卷积核大小为1
×
1的卷积层、一个批归一化层和relu激活函数层；
19.k级残差网络中的每一级依次包括：一个批归一化层、λ
′2个卷积核大小为1
×
1的卷积层、一个批归一化层、μ个卷积核大小为k
×
k的卷积层、一个批归一化层、λ2个卷积核大小为1
×
1的卷积层、一个批归一化层和relu激活函数层；
20.所述多尺度注意力模块包括：k种尺度的空间注意力单元和融合单元；
21.k级残差网络中的每一级分别对应连接每一种尺度的空间注意力单元；每一种尺度的空间注意力单元依次由一个最大池化层、一个平均池化层、一个卷积层和sigmod激活函数层组成；
22.所述降维单元依次包括：λ3个卷积核大小为1
×
1的卷积层、一个批归一化层、relu激活函数层和一个dropout层；
23.所述模式识别子网络由f个全连接层模块组成；其中，所述第一个全连接层模块依次包括：含w1个神经元的全连接层、一个批归一化层、relu激活函数层和一个dropout层；第d个全连接层模块依次包括：含wd个神经元的全连接层、一个批归一化层和relu激活函数层,d∈{2,3,
…
,f-1}；第f个全连接层模块为含wf个神经元的全连接层；
24.步骤2.1：将第i个肌电特征图样本si输入第一条并行的网络分支中，并经过所述特征提取子网络中升维单元的处理，输出升维后的特征后再输入层级特征融合单元中，
依次经过k级残差网络的处理，并由每一级输出残差特征其中，表示第k级残差网络的输出的残差特征；
25.k级残差网络中每一级输出的残差特征分别对应输入每一种尺度的空间注意力单元中，从而输出空间注意力权重其中，表示第k种尺度的空间注意力单元输出的空间注意力权重；所述空间注意力单元将与对应进行哈达玛积，得到k个层级加权后的层级特征其中，表示由第k级残差特征与第k种尺度的空间注意力权重得到的第k层加权后的层级特征；
26.所述融合单元将k个层级的加权后特征按通道拼接融合，得到层级融合特征
27.所述降维单元将层级融合特征进行降维处理，得到降维后的特征
28.所述降维后的特征输入模式识别子网络中，并经过第一个全连接层模块的处理后，输出第一全连接层特征所述第一全连接层特征输入第2个全连接层模块中，并依次经过f-2个全连接层模块的处理后，输出第f-1全连接层特征所述第f-1全连接层特征输入第f个全连接层模块的处理后，输出并行网络第一条支路的分类结果
29.步骤2.2：将第i个加速度计信号特征图样本ai输入第二条并行的网络分支中，并依次经过特征提取子网络和模式识别子网络的处理后，由第f-1个全连接层模块和第f个全连接层模块分别输出第f-1全连接层特征和并行网络第二条支路的分类结果
30.步骤2.3：将第i个肌电特征图样本si和第i个加速度计信号特征图样本ai的拼接图sai输入第三条并行的网络分支中，并依次经过特征提取子网络和模式识别子网络的处理后，由第f-1个全连接层模块和第f个全连接层模块分别输出第f-1全连接层特征和并行网络第三条支路的分类结果
31.步骤2.4、所述决策层融合模块是将三条并行的网络支路输出的各支路分类结果步骤2.4、所述决策层融合模块是将三条并行的网络支路输出的各支路分类结果按元素相加后，得到决策融合后的分类结果ri；
32.步骤3、网络训练：
33.步骤3.1、定义并随机初始化手势类别的中心矩阵其中，w
f-1
表示第f-1全连接层特征的维度；利用式(1)构建任意一条并行的网络分支的中心损失
34.35.式(1)中，α表示中心损失的占比总损失的权重，xi表示任意一条并行的网络分支中输出的第f-1全连接层特征，表示标签yi所对应的手势类别在手势类别的中心矩阵z中的类别中心向量；
36.利用式(2)构建任意一条并行的网络分支的中心余弦相似性损失
[0037][0038]
式(2)中，β表示中心余弦相似性损失的占比总损失的权重，c
p
和cq分别表示第p种手势类别和第q种手势类别在手势类别的中心矩阵z中的类别中心向量；
[0039]
步骤3.2、任意一条并行的网络分支的中心损失及其对应的中心余弦相似性损失相加，得到任意一条并行的网络分支的度量学习损失
[0040]
利用sofmax函数对任意一条并行的网络分支的分类结果进行归一化，得到归一化的分类结果，用于构建相应并行的网络分支的叉熵损失
[0041]
步骤3.3、利用sofmax函数对决策融合后的分类结果ri进行归一化，得到归一化的分类结果用于构建决策层融合模块的叉熵损失
[0042]
步骤3.4、由三条并行的网络分支的度量学习损失、叉熵损失以及策层融合模块的叉熵损失共同构成总损失函数
[0043]
步骤3.5、基于训练集{s,a,y}，利用adam方法对所述多模态混合融合模型进行训练，并计算所述总损失函数直到总损失函数收敛为止，从而得到训练好的自然手势分类模型用于对任意一种多模态手势数据进行手势识别。
[0044]
本发明一种电子设备，包括存储器以及处理器，其特点在于，所述存储器用于存储支持处理器执行所述多模态混合融合方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
[0045]
本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特点在于，所述计算机程序被处理器运行时执行所述多模态混合融合方法的步骤。
[0046]
与现有技术相比，本发明的有益效果在于：
[0047]
1、本发明设计了一个多模态混合融合的模型框架，联合前期融合、多尺度层级特征融合和后期融合等方式使模型能同时学习单一模态的特异性信息和多模态间的交互信息，保证了多模态信号在模型中能发挥互补功能，而不会出现相互抑制的现象，从而提升了手势分类的准确性。
[0048]
2、本发明在所设计的多模态混合融合模型中嵌入了多尺度空间注意力融合模块，该模块能对神经网络的不同层级的多尺度特征进行加权融合，进而充分挖掘输入信号的关键信息，增强了神经网络的特征表达能力，增加了手势分类的准确性。
[0049]
3、本发明在所设计的多模态混合融合模型中引入了度量学习损失函数，通过损失函数可以优化神经网络参数，增加了神经网络对同类手势的聚合性和对不同手势的区分性，进而使模型更加准确地完成相似手势分类。
附图说明
[0050]
图1为本发明的数据预处理流程图；
[0051]
图2为本发明的多模态混合融合神经网络模型图；
[0052]
图3为本发明的多尺度空间注意力模块示意图；
[0053]
图4为本发明的神网络模型训练和测试方案示意图。
具体实施方式
[0054]
本实施例中，一种用于自然手势识别的多模态混合融合方法，是一种用于自然手势识别的基于多尺度空间注意力和度量学习的多模态混合融合方法，该方法联合前期融合、多尺度层级特征融合和后期融合等方式使模型能同时充分学习单一模态的特异性信息和多模态间的交互信息，从多模态信号中获取更全面的有用信息用于手势分类；特别引入的度量学习能够增加神经网络对同类手势的聚合性和对不同手势的区分性，进而使模型更加准确地完成相似手势分类。相关发明内容能提升自然手势识别系统的鲁棒性，尤其增加模型对大量手势和相似手势的识别精度，从而能促进基于手势的人机交互系统的推广应用，具体的说，该多模态混合融合方法包括以下步骤：
[0055]
步骤1、获取多模态手势数据集{x,y0}＝{semg,acc,y0}，其中，semg表示稀疏通道的表面肌电信号，acc表示加速度计信号，y0表示多模态数据{semg,acc}的手势类别标签集合；并对多模态数据{semg,acc}进行预处理和特征提取；最后构建含信号特征图样本的训练集；
[0056]
步骤1.1、数据预处理：
[0057]
对表面肌电信号semg和加速度计信号acc分别进行滤波、归一化和活动段滑窗分割，得到包含n1个原始肌电信号样本的肌电信号样本集合s
raw
和包含n1个加速度计信号样本的加速度计信号样本集合a
raw
；每一个样本都获得对应的类别标签；
[0058]
具体实施中，表面肌电信号为12通道稀疏通道肌电，加速度计信号为36通道，即12通道肌电通道的每个通道都有对应的x,y,z三轴加速度信号；
[0059]
数据预处理流程图如图1所示，滤波是使用4阶巴特沃斯滤波器对表面肌电信号进行10-500hz的带通滤波和50hz的工频陷波；使用4阶巴特沃斯滤波器对表面肌电信号进行100hz的低通滤波；
[0060]
归一化是首先求取训练集信号的各通道的均值和方差，然后使用训练集各通道的均值和方差对训练集和测试集数据进行归一化，使各通道数据的均值为0，方差为1；
[0061]
活动段滑窗分割是使用滑窗法分别将表面肌电信号和加速度计信号进行滑窗切分，具体实施中，滑窗大小为200ms，步长为10ms；
[0062]
步骤1.2、特征提取：
[0063]
使用时频域方法提取肌电信号样本集合s
raw
中每一个原始肌电信号样本的时频域特征图，得到包含n1个肌电特征图样本的肌电信号训练集s＝{si|i＝1,2,
…
,n1}；其中，表示任意第i个肌电特征图样本；d1和ch1分别表示肌电特征图样本的单通道特征维度和通道数；令si的手势类别标签为yi；
[0064]
具体实施中，肌电特征包括：离散小波变换边际(marginal of discrete wavelet transform,mdwt)、信号直方图(histogram,hist)、均方根(root mean square,rms)、零点
交叉数(zero crossing,zc)、斜率符号变化数(slope sign change,ssc)、波形长度值(waveform length,wl)、平均绝对值(mean absolute value,mav)、平均值绝对值斜率(mean absolute value slope,mavs)、威利森振幅(willison amplitude,wamp)、自回归系数(autoregressive coefficients,arc)、平均频率(mean frequency,mnf)、功率谱比(power spectrum ratio,psr)。对每一个表面肌电信号样本按通道求取特征，将得到的特征按列拼接，形成含有肌电特征图的肌电信号样本；
[0065]
使用时域方法提取加速度计信号样本集合a
raw
中每一个加速度计信号样本的时域特征图，得到包含n1个加速度计信号特征图样本的加速度计信号训练集a＝{ai|i＝1,2,
…
,n1}；其中，表示任意第i个加速度计信号特征图样本；d2和ch2分别表示加速度计信号特征图样本的单通道特征维度和通道数；令ai的手势类别标签为yi；
[0066]
具体实施中，具体加速度计信号特征包括：平均值(mean)、方差(variance,var)、均方根(root mean square,rms)、波形长度值(waveform length,wl)、平均绝对值(mean absolute value,mav)、平均值绝对值斜率(mean absolute value slope,mavs)。对每一个加速度计信号样本按通道求取特征，将得到的特征按列拼接，形成含有加速度计信号特征图的加速度计信号样本；
[0067]
步骤1.3、构建含多模态信号特征图样本的训练集{s,a,y}，其中，s表示含肌电特征图样本的肌电信号训练集、a表示含加速度计信号特征图样本的加速度计信号训练集，以及y表示样本的标签集合；
[0068]
具体实施中，每一个表面肌电信号的样本会有与之对应的加速度计信号样本和标签，这三者是严格对应的；
[0069]
步骤2、构建多模态混合融合模型，整体结构如图2所示，包括：三条并行的网络分支以及决策层融合模块；每条网络分支均包括：特征提取子网络和模式识别子网络；
[0070]
特征提取子网络包括：升维单元、层级特征融合单元和降维单元；
[0071]
层级特征融合单元包括：k级残差网络和多尺度注意力模块；
[0072]
示例性的，残差网络的级数设为3；
[0073]
升维单元依次包括：一个批归一化层、λ1个卷积核大小为1
×
1的卷积层、一个批归一化层和relu激活函数层；示例性的，升维单元的卷积层的滤波器数量设为λ1＝64；
[0074]
k级残差网络中的每一级依次包括：一个批归一化层、λ
′2个卷积核大小为1
×
1的卷积层、一个批归一化层、μ个卷积核大小为k
×
k的卷积层、一个批归一化层、λ2个卷积核大小为1
×
1的卷积层、一个批归一化层和relu激活函数层；示例性的，λ
′2、μ、λ2均设为64；3级残差网络中的k
×
k卷积层的卷积核大小分别设为3
×
3、5
×
5、3
×
3；
[0075]
多尺度注意力模块包括：k种尺度的空间注意力单元和融合单元；多尺度空间注意力模块示意图如图3所示；
[0076]
示例性的，多尺度注意力模块包括k＝3种尺度空间注意单元，其尺度大小表示空间卷积核的大小，依次为7
×
7、5
×
5、3
×
3；
[0077]
k级残差网络中的每一级分别对应连接每一种尺度的空间注意力单元；每一种尺度的空间注意力单元依次由一个最大池化层、一个平均池化层、一个卷积层和sigmod激活函数层组成；
[0078]
降维单元依次包括：λ3个卷积核大小为1
×
1的卷积层、一个批归一化层、relu激活
函数层和一个dropout层；
[0079]
示例性的，降维单元的卷积层滤波器数量为λ3＝64；
[0080]
模式识别子网络由f个全连接层模块组成；其中，第一个全连接层模块依次包括：含w1个神经元的全连接层、一个批归一化层、relu激活函数层和一个dropout层；第d个全连接层模块依次包括：含wd个神经元的全连接层、一个批归一化层和relu激活函数层,d∈{2,3,
…
,f-1}；第f个全连接层模块为含wf个神经元的全连接层；
[0081]
示例性的，模式识别子网络的全连接层模块数量f＝3；第一全连接层核第二全连接层的神经元个数均设为512；最后一层全连接神经元个数设为50或者41，根据具体多模态数据集种手势类别数确定；
[0082]
步骤2.1：将第i个肌电特征图样本si输入第一条并行的网络分支中，并经过特征提取子网络中升维单元的处理，输出升维后的特征后再输入层级特征融合单元中，依次经过k级残差网络的处理，并由每一级输出残差特征其中，表示第k级残差网络的输出的残差特征；
[0083]
示例性的，第一条支路将得到3级残差特征；
[0084]
k级残差网络中每一级输出的残差特征分别对应输入每一种尺度的空间注意力单元中，从而输出空间注意力权重其中，表示第k种尺度的空间注意力单元输出的空间注意力权重；空间注意力单元将与对应进行哈达玛积，得到k个层级加权后的层级特征其中，表示由第k级残差特征与第k种尺度的空间注意力权重得到的第k层加权后的层级特征；示例性的，第一条支路将得到3级加权后的层级特征，每一级特征的通道维度为64；
[0085]
融合单元将k个层级的加权后特征按通道拼接融合，得到层级融合特征示例性的，第一条支路将得到一个具有192个通道维度的层级融合特征
[0086]
降维单元将层级融合特征进行降维处理，得到降维后的特征示例性的，得到的降维后特征的通道维度为64；
[0087]
降维后的特征输入模式识别子网络中，并经过第一个全连接层模块的处理后，输出第一全连接层特征第一全连接层特征输入第2个全连接层模块中，并依次经过f-2个全连接层模块的处理后，输出第f-1全连接层特征第f-1全连接层特征输入第f个全连接层模块的处理后，输出并行网络第一条支路的分类结果
[0088]
示例性的，第一条支路的第f-1全连接层特征的维度为1
×
512，第一条支路
的分类结果的维度为1
×
50；
[0089]
步骤2.2：将第i个加速度计信号特征图样本ai输入第二条并行的网络分支中，并依次经过特征提取子网络和模式识别子网络的处理后，由第f-1个全连接层模块和第f个全连接层模块分别输出第f-1全连接层特征和并行网络第二条支路的分类结果
[0090]
示例性的，第二条支路的第f-1全连接层特征的维度为1
×
512，第二条支路的分类结果的维度为1
×
50；
[0091]
步骤2.3：将第i个肌电特征图样本si和第i个加速度计信号特征图样本ai的拼接图sai输入第三条并行的网络分支中，并依次经过特征提取子网络和模式识别子网络的处理后，由第f-1个全连接层模块和第f个全连接层模块分别输出第f-1全连接层特征和并行网络第三条支路的分类结果
[0092]
示例性的，第三条支路的第f-1全连接层特征的维度为1
×
512，第三条支路的分类结果的维度为1
×
50；
[0093]
步骤2.4、决策层融合模块是将三条并行的网络支路输出的各支路分类结果步骤2.4、决策层融合模块是将三条并行的网络支路输出的各支路分类结果按元素相加后，得到决策融合后的分类结果ri；示例性的，第三条支路的分类结果ri的维度为1
×
50；
[0094]
步骤3、网络训练：
[0095]
步骤3.1、设置可训练的手势类别中心矩阵参数其中，l表示多模态手势数据集{x,y}中手势的类别数，w
f-1
表示第f-1全连接层特征的维度，中心矩阵z的每一行可视为一种手势的中心向量；利用式(1)构建任意一条并行的网络分支的中心损失
[0096][0097]
式(1)中，α表示中心损失的占比总损失的权重，n表示网络训练时一个批次内样本数，xi表示任意一条并行的网络分支中输出的第f-1全连接层特征，yi为输入样本si的标签，表示类别yi在手势类别中心矩阵z中的类别中心向量；
[0098]
示例性的，手势类别中心矩阵参数z∈r
50
×
512
，α设为0.001，网络训练时一个批次内样本数n＝512；
[0099]
利用式(2)构建任意一条并行的网络分支的的中心余弦相似性损失
[0100][0101]
式(2)中，表示中心余弦相似性损失，代表各中心向量彼此间的余弦距离，目的是惩罚类中心的相似性，增加各类别之间的距离，为了避免余弦距离出现正负抵消，故在余弦距离的基础上加1；β表示中心余弦相似性损失的占比总损失的权重，表示训练数据中每批次样本的标签集合，c
p
和cq分别表示类别p和q在手势类别中心矩阵z中的类别中心向量；
[0102]
根据式(1)和式(2)得到第一条支路的中心损失和第一条支路的中心余弦相似性损失并相加后，得到第一条支路的度量学习损失
[0103]
利用sofmax函数对第一条支路的分类结果进行归一化，得到归一化的分类结果后送入交叉熵损失函数，得到第一条支路的叉熵损失
[0104]
步骤3.2、根据式(1)构建第二条支路中心损失根据式(2)构建第二条支路的中心余弦相似性损失两者加和得到第二条支路的度量学习损失
[0105]
利用sofmax函数对第二条支路的分类结果进行归一化，得到归一化的分类结果后送入交叉熵损失函数，得到第二条支路的叉熵损失
[0106]
根据式(1)构建第三条支路中心损失根据式(2)构建第二条支路的中心余弦相似性损失两者加和得到第二条支路的度量学习损失
[0107]
利用sofmax函数对第二条支路的分类结果进行归一化，得到归一化的分类结果后送入交叉熵损失函数，得到第二条支路的叉熵损失
[0108]
步骤3.3、利用sofmax函数对决策融合后的分类结果ri进行归一化，得到归一化的分类结果后送入交叉熵损失函数，得到决策融合分类结果的叉熵损失
[0109]
步骤3.4、由三条并行的网络分支的度量学习损失、叉熵损失以及策层融合模块的叉熵损失共同构成总损失函数
[0110]
步骤3.5、以步骤1准备好的含有多模态信号特征图样本的训练集{s,a,y}来训练的多模态混合融合模型，得到训练好的自然手势分类模型。神网络模型训练和测试方案示意图如图4所示。
[0111]
本实施例中，一种电子设备，包括存储器以及处理器，该存储器用于存储支持处理器执行该多模态混合融合方法的程序，该处理器被配置为用于执行该存储器中存储的程序。
[0112]
本实施例中，一种计算机可读存储介质，是在计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行该多模态混合融合方法的步骤。
[0113]
在具体实施中，使用pytorch深度学习框架实现所提出的神经网络，使用adam优化器对网络进行优化训练，设置每批次样本数设为512，神经网络网络学习率为[0.001,0.0001,0.00001]，在每个学习率下学习3轮，4轮和3轮。
[0114]
通过在三个公开数据集上进行对比试验，验证了所提模型的可行性和有效性。三个公开数据集分别是ninapro db2，db3和b7。对比试验包括，使用本发明所提的混合融合模型，早期融合模型和后期融合模型在公开数据集上进行手势识别，使用手势识别准确率作为评价指标，定义每位被试手势识别准确率＝分类正确的样本数/总样本数
×
100％，三个公开数据集中参与实验的被试数量分别为40人，6位和20位，展示的实验结果为单个数据集上的平均手势识别准确率，定义平均手势识别率＝该数据集上参与实验的被试手势识别准确率之和/该数据集上参与实验的被试数
×
100％。为了简化实验，早期融合模型采用本发
明混合融合模型的第三条支路，后期融合模型采用本发明混合融合模型的第一、第二条支路和融合单元，其他实验设置一致。
[0115]
表1本发明方法与两种传统方法在公开数据集上的实验结果对比
[0116][0117]
表2本发明方法与最先进方法在公开数据集上的实验结果对比
[0118][0119]
实验结果对比见表1，结果表明本发明所提出的混合融合模型获得最高的性能。为了进一步表明本发明的先进性，将本发明方法所得到实验结果与目前已公开文献的最好实验结果进行了对比，魏[1]等人在文献“surface-electromyography-based gesture recognition by multi-view deep learning”提出的multi-view cnn(mv-cnn)在ninapro db2，db3和db7上获得多模态手势识别的最好性能，需要说明的是，本发明的实验数据划分方式与mv-cnn采用的划分方法一致。本发明方法与之对比的实验结果见表2，结果表明本发明的方法获得了更好的性能。