一种结合跨模态关联关系模型的肌电信号手势识别方法与流程

本发明属于计算机与生物信号相结合领域，尤其涉及一种结合跨模态关联关系模型的肌电信号手势识别方法。
背景技术：
：基于肌电的手势识别通过分析表面肌电信号(surfaceelectromyography,semg)来获取大脑对手部运动的指令信号，识别出手势使得机器能够获得手部运动意图，进而构成基于表面肌电的人机交互界面。目前基于肌电的交互系统主要应用于1)辅助技术，包括假肢控制、轮椅控制和辅助机器人；2)康复技术，如基于肌电的外骨骼和康复游戏；3)输入技术，如臂环和基于肌电的人机界面；4)无声语音识别。通过基于肌电的硬件获取到包含肌电信号和惯性传感单元的数据对手势进行识别，由人类的神经直接向机器发出准确指令，可以应用于机器人、临床、虚拟现实等研究应用中，为人类与机器提供新型交互方式。其中肌电信号手势识别是十分重要的基础研究，能够协助机器更加准确地理解人类的身体语言及运动意图。经典基于机器学习的方法中最终的两个步骤为特征提取和手势分类。特征提取由一个短时间的原始信号窗口生成额外的新信息并提升信息的密度，能够提取出原始表面肌电信号中隐含的信息，因此需要对原始肌电信号进行特征提取，并且在近几十年中，特征提取在表面肌电手势识别中占据主导地位。在确定最优的特征组合即特征集后，可以将经典的机器学习方法用于肌电手势的分类，常用的有支持向量机、线性判别分析、k近邻、多层感知神经网络和随机森林等等。随着基于深度学习的方法在过去几年中获得了较人工选择特征更高的识别率后，越来越多的研究者加入到基于肌电信号大数据的深度学习肌电手势识别研究中。基于深度学习的肌电手势识别目前处于起步阶段，主要利用卷积神经网络对肌电特征进行自动提取。逐渐地，循环神经网络等时序模型也被应用于肌电手势识别中。研究者们提出多模态融合的方法，将惯性测量单元、数据手套等传感器的数据与肌电信合结合共同进行手势识别，能够有效提升手势识别准确率，但是额外佩戴的传感器会降低整个系统用户使用时的体验。时序肌电信号与时序手部姿态数据之间存在内在的生理学关系，因为手势是由特定肌电信号驱动产生。但目前没有将肌电信号与手部姿态数据关联关系融入到手势分类中，并且本发明将两种模态之间的内在关联模型构建出来，结合肌电信号和虚拟手部姿态数据共同进行手势识别，能够在测试阶段只使用肌电信号(不降低用户体验)的同时提高识别准确率。技术实现要素：本发明的目的在于针对现有技术的不足，提供一种结合跨模态关联关系模型的肌电信号手势识别方法，通过设计跨模态关联关系模型结构及分类模型，提高了手势识别的准确性。本发明的目的是通过以下技术方案来实现的：一种结合跨模态关联关系模型的肌电信号手势识别方法，包括如下步骤：(1)获取肌电数据及手部姿态数据，数据预处理，包括以下子步骤：(1.1)从公开数据集ninaprodb1、ninaprodb2、ninaprodb3、ninaprodb4、ninaprodb5、ninaprodb6、ninaprodb7、capgmyodba、capgmyodbb、capgmyodbc和csl-hdemg中获取手势动作肌电信号；(1.2)对获取的手势动作肌电信号进行滤波降噪；(1.3)为公开数据集ninaprodb3、ninaprodb4、ninaprodb6、ninaprodb7、capgmyodba、capgmyodbb、capgmyodbc和csl-hdemg生成手部姿态数据(除ninaprodb1、ninaprodb2和ninaprodb5外的其他8个数据集没有包含手部姿态数据，故在预处理步骤为这8个数据集进行手部姿态数据生成)；(2)训练数据集和测试数据集的划分，包括以下子步骤：(2.1)根据获取到的肌电信号手势标签，将每个肌电信号文件中的肌电信号和手部姿态数据文件中的手部姿态数据分别分割为若干个手势段，每个手势段包含一次动作重复，且手势段中的肌电信号和手部姿态数据每帧对应；(2.2)按照被试间评估方法，将手势的多次动作重复分别划分到训练数据集和测试数据集中，完成原始训练和测试数据集的划分；(3)构建肌电图像：单帧肌电信号的每个通道的数据重新排布，使得每两个通道均能够相邻，肌电图像的宽为1，高为重新排列后的通道数，颜色通道数为1；(4)构建基于生成式对抗网络的跨模态关联关系模型，包括以下子步骤：(4.1)设计基于生成式对抗网络的跨模态关联关系的模型结构，模型结构包含生成器和判别器；由生成器生成虚拟手部姿态数据，由判别器判断其与输入肌电信号是否匹配；(4.2)训练数据集中包含每一帧肌电信号及与其对应的手部姿态数据，将肌电信号构成肌电图像，将训练数据集中当前帧肌电图像与前一帧手部姿态数据作为生成器训练时的输入，当前帧手部姿态数据作为生成器训练时的监督信息，生成器的输出与肌电信号结合作为判别器训练时的输入，判别器的输出为肌电信号与手部姿态数据是否匹配，通过对抗学习，对模型参数进行逐步逐一优化，得到最优模型参数；(5)基于跨模态关联关系模型的肌电信号多类手势识别，包括以下步骤：(5.1)设计多模态融合的分类模型结构，模型结构主要由卷积神经网络构成，并通过早融合的方式将肌电信号与手部姿态数据这两个模态的数据进行融合；多模态网络对输入的肌电信号和虚拟手部姿态数据分别构建肌电图像和手部姿态图像，再进行特征提取，最终进行手势标签的识别；(5.2)由步骤(4)训练得到的最优模型参数、输入肌电图像及休息手部姿态数据，得到与肌电信号对应的虚拟手部姿态数据；(5.3)将步骤(5.2)中生成的虚拟手部姿态数据和肌电信号作为步骤(5.1)的输入数据对模型进行训练，得到最优模型参数，完成分类模型的训练；(5.4)将测试数据集中的每帧肌电信号构建其肌电图像，然后由步骤(4)训练得到的最优模型参数、输入肌电图像和休息手部姿态数据，得到测试数据集中肌电图像对应的虚拟手部姿态数据；(5.5)将每帧肌电图像和生成的虚拟手部姿态数据输入到步骤(5.3)中训练好的分类模型中，输出分类结果。进一步地，所述步骤(1.2)中，对ninaprodb1和ninaprodb5采用低通巴特沃斯滤波器，对ninaprodb2采用低通巴特沃斯滤波器并降采样到100hz，对其他数据集不做滤波处理。进一步地，所述步骤(1.3)中，对不包含手部姿态数据的数据集进行手部姿态生成，即人为指定每类手势其静止态手部姿态的手指关节角，并通过将休息手部姿态球面插值到每类手势的静止态手部姿态来获得手部姿态的变化过程。进一步地，所述步骤(2.2)中，训练数据集和测试数据集采用被试内评估的方法；ninaprodb1每个被试的每类手势包含10次重复，每个被试的第1,3,4,6,8,9和10次重复作为训练数据，第2,5,7次作为测试数据；ninaprodb2、ninaprodb3、ninaprodb4、ninaprodb5和ninaprodb7每个被试的每类手势包含6次重复，每个被试的第1,3,4,6次重复作为训练数据，第2,5次作为测试数据；ninaprodb6包含120次重复，奇数次作为训练，偶数次作为测试；capgmyodba、capgmyodbb、capgmyodbc和csl-hdemg数据集采用留一测试。进一步地，所述步骤(4.1)中，模型结构包含生成器和判别器，生成器网络由多流结构组成，肌电信号流由4层卷积层，后接4层全连接层组成，前一帧手部姿态数据流由2层全连接层组成，然后将肌电信号流和前一帧手部姿态数据流进行连接融合，后接1层长短时记忆单元(lstm)和3层全连接层；判别器的输入为肌电信号与手部姿态数据连接融合，后接4层全连接层，最后一层全连接层得到最终判断结果。进一步地，所述步骤(5.1)中，多模态融合的网络结构为一个多流结构，输入分别为单帧肌电信号和单帧虚拟手部姿态数据，将虚拟手部姿态数据先输入到一个全连接层，然后将其输出与单帧肌电信号进行连接融合，后接2层卷积层、2层局部连接层和3层全连接层，最后识别部分由一个g-way全连接层和softmax层构成。进一步地，所述步骤(5.1)中，多模态网络对输入的肌电信号构建肌电图像的方法与步骤(3)相同；多模态网络对输入的手部姿态数据构建手部姿态数据图像的方法具体为：单帧手部姿态数据转化为手部姿态图像，手部姿态图像的宽为1，高为数据通道数，颜色通道数为1。进一步地，所述步骤(5.1)中，构建手部姿态图像时，将包含18个通道的单帧手部姿态数据转化为维度为(1,18,1)的图像，其中第一和第二个维度为图像的长和宽、第三个维度为图像的颜色通道数。进一步地，所述步骤(5.3)中，分类模型的训练过程为：单帧肌电信号与其对应的虚拟手部姿态数据共同作为分类模型的输入，监督信息为类别标签，经过训练得到的模型参数进行存储。本发明的有益效果是：本发明提出一种结合跨模态关联关系模型的肌电信号手势识别方法，通过将肌电信号和手部姿态数据两个模态间的跨模态关联关系融入到肌电信号手势识别中，有效地提高基于单帧的手势识别准确率，同时在测试运行时只基于肌电信号进行识别，确保了系统的可用性。附图说明图1为本发明方法流程图；图2为本发明跨模态关联关系模型网络结构图；图3为本发明分类模型网络结构图。具体实施方式下面结合附图和具体实施方式对本发明作进一步详细说明。如图1所示，本发明提供的一种结合跨模态关联关系模型的肌电信号手势识别方法，具体实施步骤如下：步骤(1)从公开数据集ninaprodb1、ninaprodb2、ninaprodb3、ninaprodb4、ninaprodb5、ninaprodb6、ninaprodb7、capgmyodba、capgmyodbb、capgmyodbc和csl-hdemg中获取手势动作肌电数据；对ninaprodb1和ninaprodb5采用低通巴特沃斯滤波器，对ninaprodb2采用低通巴特沃斯滤波器并降采样到100hz，对其他数据集不做滤波处理。对不包含手部姿态数据的数据集进行手部姿态生成，即人为指定每类手势其静止态手部姿态的手指关节角，并通过将休息手部姿态球面插值到每类手势的静止态手部姿态来获得手部姿态的变化过程。具体过程为：第一步，将每次手势重复划分为三段，中间一段为静止手势，前一段和后一段为动态手势变化过程；第二步，手包含18个关节角，我们指定处于休息姿态的手势其关节角都为0。以休息手势为初始姿态，旋转每个关节角使其达到每个指定手势，这过程中的关节角旋转角度为每类手势的手部姿态角度；第三步，针对静止手势段，其每帧的手部姿态都是每类手势的手部姿态关节角度；第四步，针对动态手势变化段，其变化过程中的每一帧由休息手部姿态到每类手部姿态之间进行球面插值获得。步骤(2)训练数据集和测试数据集的划分，将每个肌电信号文件中的肌电信号和手部姿态数据文件中的手部姿态数据分别分割为若干个手势段，每个手势段包含一次动作重复，且手势段中的肌电信号和手部姿态数据每帧对应；按照被试间评估方法，将手势的多次动作重复分别划分到训练数据集和测试数据集中，完成训练和测试数据集的划分：ninaprodb1每个被试的每类手势包含10次重复，每个被试的第1,3,4,6,8,9和10次重复作为训练数据，第2,5,7次作为测试数据；ninaprodb2、ninaprodb3、ninaprodb4、ninaprodb5和ninaprodb7每个被试的每类手势包含6次重复，每个被试的第1,3,4,6次重复作为训练数据，第2,5次作为测试数据；ninaprodb6包含120次重复，奇数次作为训练，偶数次作为测试；capgmyodba、capgmyodbb、capgmyodbc和csl-hdemg数据集采用留一测试。步骤(3)构建肌电图像。单帧肌电信号的每个通道的数据重新排布，使得每两个通道均能够相邻，肌电图像的宽为1，高为重新排列后的通道数，颜色通道数为1。步骤(4)构建基于生成式对抗网络的跨模态关系模型。设计基于生成式对抗网络的跨模态关联关系的模型结构，模型结构包含生成器和判别器；由生成器生成虚拟手部姿态数据，由判别器判断其与输入肌电信号是否匹配；生成器网络由多流结构组成，肌电信号流由4层卷积层，后接4层全连接层组成，前一帧手部姿态数据流由2层全连接层组成，然后将肌电信号流和前一帧手部姿态数据流进行连接融合，后接1层长短时记忆单元(lstm)和3层全连接层；判别器的输入为肌电信号与手部姿态数据连接融合，后接4层全连接层，最后一层全连接层得到最终判断结果。将训练数据集中当前帧肌电图像与前一帧手部姿态数据作为生成器训练时的输入，当前帧手部姿态数据作为生成器训练时的监督信息，生成器的输出与肌电信号结合作为判别器训练时的输入，判别器的输出为肌电信号与手部姿态数据是否匹配，通过对抗学习，对模型参数进行逐步逐一优化，得到最优模型参数。生成器和判别器的网络结构如下表所示：生成器的输入为当前帧肌电信号和前一帧手部姿态数据，输出为当前帧手部姿态数据，将输出的虚拟当前帧手部姿态数据与真实当前帧手部姿态数据联合输入为判别器中。由于对抗学习需要正例样本和负例样本，正例样本为真实手部姿态数据、负例样本为生成的虚拟手部姿态数据，它们分别和肌电信号组合输入到判别器中，有判别器判断其是否与输入的肌电信号匹配。通过对抗学习，迭代优化生成器和判别器的参数，最终判别器无法分清生成器生成的手部姿态数据和真实手部姿态数据，得到跨模态关联关系模型。步骤(5)基于跨模态关联关系模型的肌电信号多类手势识别。设计多模态融合的分类模型结构，模型结构主要由卷积神经网络构成，并通过早融合的方式将肌电信号与手部姿态数据这两个模态的数据进行融合；多模态网络对输入的肌电信号和虚拟手部姿态数据分别构建肌电图像和手部姿态图像，再进行特征提取，最终进行手势标签的识别。多模态融合的网络结构为一个多流结构，输入分别为单帧肌电信号和单帧虚拟手部姿态数据，将虚拟手部姿态数据先输入到一个全连接层，然后将其输出与单帧肌电信号进行连接融合，后接2层卷积层、2层局部连接层和3层全连接层，最后识别部分由一个g-way全连接层和softmax层构成，早融合后的网络结构如下表所示：层名称参数1卷积层164核，核大小(3*3)2卷积层264核，核大小(3*3)3局部连接层164核4局部连接层264核5全连接层1512维输出6全连接层2512维输出7全连接层3128维输出8g-way全连接层和softmax层多模态网络对输入的肌电信号构建肌电图像的方法与步骤(3)相同；多模态网络对输入的手部姿态数据构建手部姿态数据图像的方法具体为：单帧手部姿态数据转化为手部姿态图像，手部姿态图像的宽为1，高为数据通道数，颜色通道数为1。构建手部姿态图像时，将包含18个通道的单帧手部姿态数据转化为维度为(1,18,1)的图像，其中第一和第二个维度为图像的长和宽、第三个维度为图像的颜色通道数。训练过程为：训练数据集中每个样本进行肌电图像的构建和手部姿态图像的构建，由步骤(4)训练得到的最优模型参数、输入肌电图像及休息手部姿态数据，得到与肌电信号对应的虚拟手部姿态数据。然后将训练数据集中单帧肌电信号与其对应的虚拟手部姿态数据共同作为分类模型的输入，监督信息为类别标签，经过训练得到的模型参数进行存储。测试过程为：将测试数据集中每个样本进行肌电图像的构建，得到肌电图像测试数据集，然后由步骤(4)训练得到的最优模型参数、输入肌电图像和休息手部姿态数据，得到测试数据集中肌电图像对应的虚拟手部姿态图像，最后将测试数据集中的肌电信号和其对应的虚拟手部姿态图像输入已训练好的分类模型中，得到手势识别标签，计算识别准确率为(识别正确样本数/总测试样本数)*100％。对ninaprodb1、ninaprodb2、ninaprodb3、ninaprodb4、ninaprodb5、ninaprodb6、ninaprodb7、capgmyodba、capgmyodbb、capgmyodbc和csl-hdemg数据集的手势全集进行识别。ninaprodb1包含52手势，ninaprodb2包含50手势，ninaprodb3包含50手势，ninaprodb4包含52手势，ninaprodb5包含52手势，ninaprodb6包含6手势，ninaprodb7包含40手势，capgmyodba和capgmyodbb均包含8手势，capgmyodbc包含12手势，csl-hdemg包含27手势。主要在单帧上进行测试，150ms的结果为在单帧识别结果上进行投票的结果。方法一为已有方法，即不结合跨模态关联关系模型的肌电手势识别，方法二为本发明方法，即结合跨模态关联关系模型的肌电信号手势识别方法的识别率结果为：以上所述仅为本发明的实施例，并非因此限制本发明的专利范围。对于本发明所属
技术领域：
的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应视为本发明的保护范围。当前第1页12