基于肌电信号与虚拟现实交互技术的上肢康复系统及方法

基于肌电信号与虚拟现实交互技术的上肢康复系统及方法
【专利摘要】一种基于肌电信号与虚拟现实交互技术的上肢康复系统及方法，系统包括肌电信号采集与处理部分、虚拟现实人机交互部分和肌肉功能评价部分；肌电信号采集与处理部分由数据采集模块、信号处理模块和模型控制模块组成；虚拟现实人机交互部分由上位机虚拟环境模块和力反馈装置模块组成；肌肉功能评价部分由肌张力定量评价模块和肌肉协同性定量评价模块组成。所述康复方法运用肌电控制能更好的反映患者主观意图，利用虚拟现实技术使患者在康复过程中保持主动性，提高康复训练的便捷性、安全性和有效性。本发明能结合现有临床康复评价手段，客观评价患者的肌肉功能状态，为患者提供康复训练的标准，为康复医师制定治疗方案提供依据。
【专利说明】基于肌电信号与虚拟现实交互技术的上肢康复系统及方法

【技术领域】
[0001]本发明涉及一种虚实交互技术神经康复领域，尤其是一种基于肌电信号与虚实交互技术的应用于脑卒中或其它中枢神经损伤患者的康复系统及方法。

【背景技术】
[0002]随着我国社会老龄化程度的加剧，由于脑卒中引起的上肢运动功能障碍患者正不断地增加。此外，由于工伤、交通事故、疾病等原因造成神经或肢体损伤的患者也显著增加，严重影响患者的工作、生活和学习，并给患者家庭及社会带来极大的负担。研究表明，及时进行一定程度的集中和重复训练可以修复受损的中枢神经，有助于上肢运功功能的恢复。传统的康复训练存在康复医师不足，康复设备功能单一且成本较高，康复周期长、过程乏味主动性差以及无法进行准确的康复状态评价等缺陷，因此研制能够克服上述缺点的上肢康复训练及评价设备显得尤为必要。
[0003]康复机器人作为一种康复医疗设备，通过辅助患者进行科学地、有效地康复训练，从而达到恢复患者运动功能的目的。在康复训练中加强患者的王动运动意图对患者运动功能康复具有强化和促进作用，有利于保持患者神经紧张度，加速神经肌肉运动通路的修复。而表面肌电信号(sEMG)是源于大脑运动皮层控制下的脊髓运动神经元的生物电活动，与肌肉的功能状态之间存在联系并富含肌肉的运动状态信息，因此将表面肌电信号引入康复机器人系统，实现人体上肢运动的辨识，可以预测人体主动运动意图，进而实现上肢康复训练机器人的运动控制。
[0004]虚拟康复是现代康复机器人系统中不可分割的一部分，与传统康复训练方法相t匕，基于虚拟现实的康复手段不受时间空间的约束，具有安全性、趣味性、针对性强等优势，并且可以提供视觉、听觉等多种反馈以提高患者对康复效果的感知来激发和维持患者对训练的积极性，达到提高训练效果的目的。
[0005]国内外研究人员利用机器人、虚拟现实、生物信号处理及控制等技术在运动功能康复方面开展了大量研究，然而很少有研究将肌电信号控制与虚拟现实相结合应用于上肢运动功能损伤患者康复训练，且尚存在以下不足:(I)现有的特征提取方法对于得到非平稳非线性的上肢肌电信号特征并快速准确识别动作模式存在一定困难；(2)以往基于虚拟环境的康复训练系统大多数强调视觉反馈，没有触觉反馈，缺少真实感；(3)康复训练效果的评估标准目前还没有系统的建立，鲜有系统在肌肉疲劳、肌张力、肌肉协同及运动协调等方面进行定量评价，而这些指标对康复效果的完整评价十分重要。


【发明内容】

[0006]本发明目的在于提供一种基于肌电信号与虚拟现实交互技术的上肢康复系统及方法，该系统和方法利用神经控制与虚拟现实技术的特点和优势对中枢神经损坏患者进行主动、安全、有效的康复训练，并结合已有的临床康复评价手段客观定量评价患者的肌肉功能状态和运动功能恢复程度，及时准确的跟踪患者康复训练效果。
[0007]为实现上述目的，采用了以下技术方案:
[0008]本发明所述的一种基于肌电信号与虚实交互的上肢康复系统，包括肌电信号采集与处理部分、虚拟现实人机交互部分、肌肉功能评价部分；所述肌电信号采集与处理部分由数据采集模块、信号处理模块和模型控制模块组成；所述虚拟现实人机交互部分由上位机虚拟环境模块和力反馈装置模块组成；
[0009]上位机虚拟环境模块包括波形显示区域、虚拟游戏场景区域、识别结果显示区域、评价指标显示区域；其中，信号波形显示区域用来实时显示当前采集肌电信号波形；信号识别结果显示区域用来显示当前所做上肢动作识别结果；评价指标显示区域用来显示当前肌肉功能指标以评价康复状态；虚拟游戏场景区域用来显示患者与虚拟场景的实时交互。
[0010]力反馈装置模块由力触觉交互设备构成，主要功能是在肌电控制虚拟物体时，利用力触觉传感器跟踪运动位置，经碰撞检测判断力反馈设备是否碰撞到虚拟物体表面，如果碰撞到则计算出接触力的大小和方向并通过力反馈设备将接触力反馈给患者，为患者提供及时的暗示和帮助。
[0011]所述肌肉功能评价部分由肌张力定量评价模块和肌肉协同性定量评价模块组成；
[0012]数据采集模块的信号采集端与电极片连接，电极片与患侧上肢连接；数据采集模块的输出端通过无线传输方式与信号处理模块、上位机虚拟环境模块中波形显示区域分别进行通信连接；信号处理模块的输出端通过接线方式与模型控制模块输入端、上位机虚拟环境模块中识别结果显示区域分别连接；模型控制模块的输出端与上位机虚拟环境模块中虚拟游戏场景区域连接；上位机虚拟环境模块中虚拟游戏场景区域另与力反馈装置模块相互连接，力反馈装置模块通过数据线与患侧上肢的采集电极片连接；患者头部也通过电极片和数据线分别与患侧上肢、上位机虚拟环境模块进行连接；
[0013]肌张力定量评价模块输出端与上位机虚拟环境模块中的评价指标显示区域连接，肌张力定量评价模块输入端与数据采集模块连接；肌肉协同性定量评价模块输出端与上位机虚拟环境模块中的评价指标显示区域连接，肌肉协同性定量评价模块输入端与数据采集模块连接。
[0014]所述数据采集模块采用FPGA模块和DSP模块双核心结构，内设调理电路模块和A/D转换模块，DSP模块与信号处理模块以及虚拟环境模块中波形显示区域分别连接。数据采集模块通过AgCl电极采得多路表面肌电信号经调理电路的放大、滤波处理后进行A/D转换，FPGA负责控多路串行A/D器件的信号采集控制和数据缓冲，并将信号送入DSP进行预处理，而通信模块将预处理后的肌电信号数据以无线通信方式传输给上位机用于后续的分析和处理。
[0015]所述信号处理模块包括特征提取模块和动作模式识别模块，特征提取模块通过小波包能量熵对多通道肌电信号进行特征提取，并利用Bayes理论对多通道肌电信号特征进行融合，将融合后的肌电特征送入动作模式识别模块，动作模式识别模块利用极限学习机(Extreme Learning Machine, ELM)对提取到的多通道肌电特征进行模式识别分类。
[0016]模型控制模块定时接收动作识别结果，并根据不同的识别结果向虚拟环境传输不同的命令，控制虚拟场景中物体完成规定的动作或任务。将一系列上肢动作用于控制虚拟环境中物体的运动方向，以达到患者与虚拟场景交互的目的。
[0017]所述肌张力定量评价模块通过希尔伯特变换提取肌电牵张反射阈值指标，用来评价痉挛的反射特性在肌电中的表现从而定量评价肌张力大小，与临床肌张力评价MAS量表存在线性定量关系。
[0018]所述肌肉协同性定量评价模块利用拮抗肌协同收缩率与主动肌拮抗肌肌电一致性的主成分分析(Principal Component Analysis,PCA)融合指标来评价肌肉协同性,拮抗肌协同收缩率越大，肌间特定频段内一致性越小，说明患者主动运动功能越差。
[0019]本发明所提及的一种基于肌电信号与虚实交互技术的上肢康复方法，包括以下步骤:
[0020](I)通过数据采集模块从患者患侧上肢获取多通道表面肌电信号，通过放大、滤波后，对多通道肌电信号进行A/D转换得到数字信号，利用FPGA控制多路串行A/D器件的时钟，采集到的数字信号送入DSP进行信号预处理，提取有效频段并去除基线漂移及工频干扰，得到纯净的肌电信号；
[0021](2)预处理后的肌电信号数据以无线通信方式传输给上位机虚拟环境模块中的上位机进行数据缓存，并实时显示得到的多通道肌电信号波形；
[0022](3)信号处理模块对肌电信号数据定时的进行读取，通过活动段检测后利用小波包能量熵对预处理后的肌电信号进行特征提取，得到动作特征向量；信号处理模块利用Bayes理论对多通道肌电动作特征向量进行融合，将融合特征送入极限学习机ELM进行训练并完成对动作分类识别；
[0023](4)在上位机虚拟环境模块的识别结果显示区域中实时显示的动作分类结果；根据不同的动作分类识别结果，向上位机虚拟环境模块输入不同的控制命令，驱动上位机虚拟环境模块内虚拟游戏场景中的物体完成规定动作或任务，其中，屈腕、伸腕、屈肘、伸肘、左伸肘和右伸肘分别对应开始、停止、向上、向下、向左和向右运动；
[0024](5)若上位机虚拟环境模块的虚拟游戏场景中的物体与场景障碍物发生接触和碰撞，则通过上位机的数学运算并借助力反馈装置给予患侧上肢一个模拟的反馈力，使患者获得操作的真实感，并及时调整运动姿态；
[0025](6)在人机交互过程中，肌张力定量评价模块利用希尔伯特变换提取提肌电牵张反射阈值来定量评价肌张力，实时计算拮抗剂协同收缩率与主动肌拮抗肌肌电一致性；肌肉协同性定量评价模块负责利用主成分分析法融合协同收缩率与肌电一致性融合指标来定量评价肌肉协同性，评价结果在系统中实时显示，从而达到评价肌肉功能状态及康复训练效果的目的。
[0026]其中，所述的小波包能量熵算法将小波包频带能量与香农熵结合。小波包变换是一种分析非平稳信号的有效方法且小波包变换在不同时频段均能精确刻画信号，而香农熵熵能够为各种概率分布包含的信息量提供一种测度，可以用来估计随机信号的复杂性。所述的小波包能量熵方法能反映信号在各个频带能量的分布情况，所以用小波包熵对具有非平稳特性的表面肌电信号进行分析，并找出稳定的特征向量用于分类识别。
[0027]所述的Bayes理论是基于概率统计的推理方法。考虑不同动作模式下各通道之间的相互耦合及关联，将各通道的肌电信号动作特征在特征层进行融合，可以达到提取更准确、有效的动作特征的目的。
[0028]所述的极限学习机(ELM)方法是一种针对单隐含层前馈神经网络的新型学习算法，其优点是可以随机确定网络输入权值和隐层节点的偏置，并快速获得输出权值，从而避免迭代调整神经网络参数的繁琐；相比于传统的基于梯度下降的学习算法(如BP算法)，该算法具有学习速度快且泛化性能好的优点，可以快速准确地实现动作模式识别。
[0029]所述的主成分分析方法(PCA)属于多元统计学领域。其核心思想是通过将相关的一组数据集进行降维，并尽量保留原来数据集的变化信息。利用PCA加权融合协同收缩率与肌电一致性指标，获取最能够反映肌肉协同性变化的特征指标。这种方法可以利用最小的特征，最大化的表征肌肉的状态信息，并且能有效消除原始特征指标数据间的冗余。
[0030]本发明康复系统的工作过程大致如下:
[0031]患者将电极片安装在上肢和头部上，患侧上肢进行康复活动，利用电极片采集肌电信号；肌电信号采集与处理部分根据患者所做的不同动作从患侧上肢获取多路表面肌电信号，经预处理后以无线通信方式传输给上位机；定时地对肌电信号数据进行读取，通过活动段检测与特征提取得到动作特征向量，送入神经网络训练并完成对动作分类识别；根据不同的识别结果向虚拟现实人机交互部分输送不同的控制命令。虚拟现实人机交互部分根据提供的命令驱动虚拟环境中的物体完成规定的动作或任务，同时在与场景障碍物发生接触和碰撞时，经计算机的数学运算并借助力反馈装置给予患侧上肢一个模拟的反馈力，在虚拟环境中获得操作的真实感，并及时调整运动姿态，实现整个系统的交互。肌肉功能评价部分在整个交互过程中提取多种肌电特征指标作为肌肉功能状态的评价标准，并在系统中实时显示，为患者提供了自我康复训练效果评价的依据。
[0032]与现有技术相比，本发明具有如下优点:
[0033]1、运用肌电控制能更直观的反映患者主观意图，利用虚拟现实技术使患者在康复过程中保持较高的积极主动性，同时提高康复训练的便捷性、安全性和有效性；
[0034]2、结合现有的临床康复评价手段，客观定量评价患者的肌肉功能状态，及时准确的跟踪患者康复训练效果,为患者提供康复训练效果评价的标准，也为康复医师制定下一步治疗方案提供了依据。

【专利附图】

【附图说明】
[0035]图1为本发明康复系统按组成部分连接的系统结构框图。
[0036]图2为本发明康复系统按模块连接的系统结构框图。
[0037]图3为本发明中数据采集模块的结构框图。
[0038]图4为人体上肢肌肉结构图。
[0039]图5为本发明中虚拟现实人机交互部分中力反馈交互的结构连接简图。
[0040]图6为肌张力的定量评价指标图。
[0041]图7为肌肉协同性的定量评价指标图。
[0042]图8为本发明上肢康复方法的流程图。
[0043]附图标号:101-肌电信号采集与处理部分、102-虚拟现实人机交互部分、103-肌肉功能评价部分、104-数据采集模块、105-信号处理模块、106-模型控制模块、107-上位机虚拟环境模块、108-力反馈装置模块、109-肌张力定量评价模块、110-肌肉协同性定量评价模块、111-肱三头肌、112-尺侧腕伸肌、113-指总伸肌、114-肱二头肌、115-肱桡肌、116-桡侧腕长伸肌、117-桡侧腕短伸肌、118-桡侧腕屈肌。

【具体实施方式】
[0044]下面结合附图对本发明做进一步说明:
[0045]如图1、图2所示，本发明所述上肢康复系统包括肌电信号采集与处理部分101、虚拟现实人机交互部分102、肌肉功能评价部分103 ;所述肌电信号采集与处理部分由数据采集模块104、信号处理模块105和模型控制模块106组成；所述虚拟现实人机交互部分由上位机虚拟环境模块107和力反馈装置模块108组成；上位机虚拟环境模块包括波形显示区域、虚拟游戏场景区域、识别结果显示区域、评价指标显示区域；所述肌肉功能评价部分由肌张力定量评价模块109和肌肉协同性定量评价模块110组成；
[0046]数据采集模块的信号采集端与电极片连接，电极片与患侧上肢连接；数据采集模块的输出端通过无线传输方式与信号处理模块、上位机虚拟环境模块中波形显示区域分别进行通信连接；信号处理模块的输出端通过接线方式与模型控制模块输入端、上位机虚拟环境模块中识别结果显示区域分别连接；模型控制模块的输出端与上位机虚拟环境模块中虚拟游戏场景区域连接；上位机虚拟环境模块中虚拟游戏场景区域另与力反馈装置模块相互连接，力反馈装置模块通过数据线与患侧上肢的采集电极片连接；患者头部也通过电极片和数据线分别与患侧上肢、上位机虚拟环境模块进行连接；
[0047]肌张力定量评价模块输出端与上位机虚拟环境模块中的评价指标显示区域连接，肌张力定量评价模块输入端与数据采集模块连接；肌肉协同性定量评价模块输出端与上位机虚拟环境模块中的评价指标显示区域连接，肌肉协同性定量评价模块输入端与数据采集模块连接。
[0048]所述数据采集模块采用FPGA模块和DSP模块双核心结构，内设调理电路模块和A/D转换模块，DSP模块与信号处理模块以及虚拟环境模块中波形显示区域分别连接。
[0049]所述信号处理模块包括特征提取模块和动作模式识别模块，特征提取模块通过小波包能量熵对多通道肌电信号进行特征提取，并利用Bayes理论对多通道肌电信号特征进行融合，将融合后的肌电特征送入动作模式识别模块，动作模式识别模块利用极限学习机对提取到的多通道肌电特征进行模式识别分类。
[0050]所述力反馈装置模块由力触觉交互设备构成。
[0051]所述肌张力定量评价模块通过希尔伯特变换提取肌电牵张反射阈值指标，评价痉挛的反射特性在肌电中的表现从而定量评价肌张力大小。
[0052]所述肌肉协同性定量评价模块利用拮抗肌协同收缩率与主动肌拮抗肌肌电一致性的主成分分析融合指标来评价肌肉协同性，拮抗肌协同收缩率越大，肌间特定频段内一致性越小。
[0053]下面对系统的各组成部分作详细介绍。
[0054](一 )肌电信号采集与处理部分
[0055]肌电信号采集与处理部分包括数据采集模块104、信号处理模块105和模型控制模块106。
[0056]如图3所示的数据采集模块结构框图，数据采集模块包括信号调理电路模块、A/D转换模块、FPGA模块、DSP模块以及通信模块，通过AgCl电极采得多路表面肌电信号经调理电路的放大、滤波处理后进行A/D转换，FPGA负责控多路串行A/D器件的信号采集控制和数据缓冲，并将信号送入DSP进行预处理，而通信模块将预处理后的肌电信号数据以无线通信方式传输给上位机用于后续的分析和处理。其中，数据采集模块同时采集8通道肌电信号。肌电信号采集采用三点式差动输入，两个为肌电的差分输入端，另外一个为参考地。差分输入电极顺着肌纤维方向，放置在肌腹处。
[0057]如图4所示的人体上肢肌肉分布图，本系统在患侧上肢肱三头肌111、尺侧腕伸肌112、指总伸肌113、肱二头肌114、肱桡肌115、桡侧腕长伸肌116、桡侧腕短伸肌117和桡侧腕屈肌118的肌腹处各粘贴两个AgCl电极，构成差分输入，两电极中心相距2cm，参考电极贴于腕处，电极之间的距离固定不变。
[0058]DSP模块中信号预处理首先利用自适应高通滤波器去除肌电信号中的基线漂移，其次选用巴特沃斯三阶带通FIR滤波器对肌电信号进行带通处理，根据信号的有效频段特征，选取肌电信号的截止频率为:5Hz和200Hz，最后利用独立分量分析(ICA)，去除信号中工频及其谐波的干扰。
[0059]信号处理模块包括特征提取模块和动作模式识别模块，特征提取模块通过小波包能量熵方法来提取各通道表面肌电信号特征，并利用Bayes理论融合多通道肌电特征；动作模式识别模块利用极限学习机(Extreme Learning Machine, ELM)对提取到的多通道肌电特征进行模式识别分类。
[0060]特征提取模块采用的小波包能量熵算法将小波包频带能量与香农熵结合。小波包变换是一种分析非平稳信号的有效方法且小波包变换在不同时频段均能精确刻画信号，而香农熵熵能够为各种概率分布包含的信息量提供一种测度，可以用来估计随机信号的复杂性。所述的小波包能量熵方法能反映信号在各个频带能量的分布情况，所以用小波包熵对具有非平稳特性的表面肌电信号进行分析，并找出稳定的特征向量用于分类识别。
[0061]特征提取模块采用的Bayes理论是基于概率统计的推理方法。考虑不同动作模式下各通道之间的相互耦合及关联，将各通道的肌电信号动作特征在特征层进行融合，可以达到提取更准确、有效的动作特征的目的。
[0062]动作模式识别模块采用的极限学习机(ELM)方法是一种针对单隐含层前馈神经网络的新型学习算法，可随机确定网络输入权值和隐层节点的偏置，并快速获得输出权值，避免迭代调整神经网络参数的繁琐；相比于传统的基于梯度下降的学习算法(如BP算法)，该算法具有学习速度快且泛化性能好的优点，可以快速准确地实现动作模式识别。
[0063]模型控制模块定时接收动作识别结果，并根据不同的识别结果向虚拟环境传输不同的命令，控制虚拟场景中物体完成规定的动作或任务。将一系列上肢动作用于控制虚拟环境中物体的运动方向，以达到患者与虚拟场景交互的目的。
[0064]动作模型控制模块选择6类上肢动作包括屈腕、伸腕、屈肘、伸肘、左伸肘和右伸肘，分别对应开始、停止、向上、向下、向左和向右运动。
[0065]( 二)虚拟现实人机交互部分
[0066]虚拟现实人机交互部分包括虚拟环境模块与力反馈装置模块。
[0067]虚拟环境模块的系统界面包含信号波形显示区域、信号识别结果显示区域、评价指标显示区域、虚拟游戏场景区域共四个区域。其中，信号波形显示区域用来实时显示当前采集肌电信号波形；信号识别结果显示区域用来显示当前所做上肢动作识别结果；评价指标显示区域用来显示当前肌肉功能指标以评价康复状态；虚拟游戏场景区域用来显示患者与虚拟场景的实时交互。
[0068]虚拟环境模块的系统界面采用C++语言编写，在VS2008开发平台上利用MFC框架基于对话框工程制作，结合OpenGL引擎作为图形图像接口，游戏场景中的模型使用3DSmax绘制。
[0069]虚拟环境模块的系统界面有四个功能:
[0070]1、存储并实时显示肌电信号；
[0071]2、提取肌电特征并建立各类动作训练样本集，对分类器的参数进行训练；
[0072]3、实时与虚拟场景进行人机交互；
[0073]4、实时计算并显示肌电评价指标。
[0074]在菜单中选择“波形显示”选项，此时当前动作下八通道肌电信号便会实时显示并存储到动态缓存器中。选择“特征提取”选项，此时系统开始提取当前动作下的肌电特征，完成同种动作10次后点击“暂停”并“保存”，系统则保存了该动作的10个特征训练样本。当完成6类动作训练样本采集后，点击“加载训练样本”即送入分类器进行训练。最后点击“选择游戏”按钮，根据不同的康复阶段选择不同的游戏，点击“开始游戏”即可开始与虚拟游戏场景进行交互，此时肌电评价指标也会同时显示。
[0075]在图5所示的力反馈交互的结构连接简图中，力反馈装置模块由力触觉交互设备构成，主要功能是利用力触觉传感器准确跟踪人手的运动位置，并将虚拟环境中产生的力触觉信息通过力反馈的方式反馈给操作者。
[0076]力反馈装置模块中力反馈设备实现与虚拟场景交互中使用软件开发包CHAI 3D。CHAI 3D是一个用于力触觉反馈、虚拟现实和实时交互式仿真系统软件开发的开源C++库。在肌电控制虚拟物体时，利用力触觉传感器跟踪运动位置，并利用CHAI 3D中碰撞检测判断力反馈设备是否碰撞到虚拟物体表面。如果碰撞到则计算出接触力的大小和方向并通过力反馈设备将接触力反馈给患者，为患者提供及时的暗示和帮助。
[0077](三)肌肉功能评价部分
[0078]肌肉功能评价部分包括肌张力定量评价模块和肌肉协同性定量评价模块。
[0079]肌张力定量评价模块利用希尔伯特变换提取肌电信号的线性包络，估计肌电反射活动的起始点。希尔伯特提取的线性包络超过预先设定的肌电阈值处的角度值即为肌电牵张反射阈值，肌电阈值以特定段肌电数据的3SD(SD为标准偏差)为参考。肌电牵张反射阈值可以反映肌张力产生的反射生理机制并与临床MAS量表存在线性定量关系，输入肌电牵张反射阈值则可在界面上输出临床MAS评级大小，达到定量评价的肌张力目的，能够正确的反应患者的康复状态,并给医师制定下一步的康复计划提供了量化参考。
[0080]如图6所示肌张力的定量评价指标图，如图7所示肌肉协同性的定量评价指标图。肌肉协同性定量评价模块利用拮抗肌协同收缩率与主动肌拮抗肌肌电一致性的融合指标作为评定肌肉协同性的标准。拮抗肌协同收缩率越大，说明拮抗肌协同收缩现象越明显，主动运动功能越差。两肌肉在Bata频段内一致性的大小可以反映出运动皮层和脊髓运动中枢对主动肌和拮抗肌的同步支配水平。运动功能越差，Bata频段内一致性缺失越明显。利用主成分分析法(PCA)加权融合两种特征指标消除特征指标冗余，获取最能够反映肌肉协同性变化的特征指标，从而定量评价肌肉协同性。
[0081]图8为本发明上肢康复方法的流程图。
[0082]下面结合流程图对方法的具体步骤作详细介绍:
[0083](I)通过数据采集模块从患者患侧上肢获取多通道表面肌电信号，经过放大、滤波后，对多通道肌电信号进行A/D转换得到数字信号，利用FPGA控制多路串行A/D器件的时钟，采集到的数字信号送入DSP进行信号预处理，提取有效频段并去除基线漂移及工频干扰，得到纯净的肌电信号；
[0084](2)预处理后的肌电信号数据以无线通信方式传输给上位机虚拟环境模块中的上位机进行数据缓存，并实时显示得到的多通道肌电信号波形；
[0085](3)信号处理模块对肌电信号数据定时的进行读取，通过活动段检测后利用小波包能量熵对预处理后的肌电信号进行特征提取，得到动作特征向量；信号处理模块利用Bayes理论对多通道肌电动作特征向量进行融合，将融合特征送入极限学习机ELM进行训练并完成对动作分类识别；
[0086](4)在上位机虚拟环境模块的识别结果显示区域中实时显示的动作分类结果；根据不同的动作分类识别结果，向上位机虚拟环境模块输入不同的控制命令，驱动上位机虚拟环境模块内虚拟游戏场景中的物体完成规定动作或任务，其中，屈腕、伸腕、屈肘、伸肘、左伸肘和右伸肘分别对应开始、停止、向上、向下、向左和向右运动；
[0087](5)若上位机虚拟环境模块的虚拟游戏场景中的物体与场景障碍物发生接触和碰撞，则通过上位机的数学运算并借助力反馈装置给予患侧上肢一个模拟的反馈力；
[0088](6)在人机交互过程中，肌张力定量评价模块利用希尔伯特变换提取提肌电牵张反射阈值来定量评价肌张力，实时计算拮抗剂协同收缩率与主动肌拮抗肌肌电一致性；肌肉协同性定量评价模块负责利用主成分分析法融合协同收缩率与肌电一致性融合指标来定量评价肌肉协同性，评价结果在系统中实时显示，从而达到评价肌肉功能状态及康复训练效果的目的。
[0089]以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。
【权利要求】
1.一种基于肌电信号与虚拟现实交互技术的上肢康复系统，其特征在于:所述上肢康复系统包括肌电信号采集与处理部分、虚拟现实人机交互部分、肌肉功能评价部分；所述肌电信号采集与处理部分由数据采集模块、信号处理模块和模型控制模块组成；所述虚拟现实人机交互部分由上位机虚拟环境模块和力反馈装置模块组成；上位机虚拟环境模块包括波形显示区域、虚拟游戏场景区域、识别结果显示区域、评价指标显示区域；所述肌肉功能评价部分由肌张力定量评价模块和肌肉协同性定量评价模块组成； 数据采集模块的信号采集端与电极片连接；数据采集模块的输出端通过无线传输方式与信号处理模块、上位机虚拟环境模块中波形显示区域分别进行通信连接；信号处理模块的输出端通过接线方式与模型控制模块输入端、上位机虚拟环境模块中识别结果显示区域分别连接；模型控制模块的输出端与上位机虚拟环境模块中虚拟游戏场景区域连接；上位机虚拟环境模块中虚拟游戏场景区域另与力反馈装置模块相互连接，力反馈装置模块通过数据线与电极片连接；患者头部也通过电极片和数据线分别与患侧上肢、上位机虚拟环境模块进行连接； 肌张力定量评价模块输出端与上位机虚拟环境模块中的评价指标显示区域连接，肌张力定量评价模块输入端与数据采集模块连接；肌肉协同性定量评价模块输出端与上位机虚拟环境模块中的评价指标显示区域连接，肌肉协同性定量评价模块输入端与数据采集模块连接。
2.根据权利要求1所述的一种基于肌电信号与虚拟现实交互技术的上肢康复系统，其特征在于:所述数据采集模块采用FPGA模块和DSP模块双核心结构，内设调理电路模块和A/D转换模块，DSP模块与信号处理模块以及虚拟环境模块中波形显示区域分别连接。
3.根据权利要求1所述的一种基于肌电信号与虚拟现实交互技术的上肢康复系统，其特征在于:所述信号处理模块包括特征提取模块和动作模式识别模块，特征提取模块通过小波包能量熵对多通道肌电信号进行特征提取，并利用Bayes理论对多通道肌电信号特征进行融合，将融合后的肌电特征送入动作模式识别模块，动作模式识别模块利用极限学习机对提取到的多通道肌电特征进行模式识别分类。
4.根据权利要求1所述的一种基于肌电信号与虚拟现实交互技术的上肢康复系统，其特征在于:所述力反馈装置模块由力触觉交互设备构成。
5.根据权利要求1所述的一种基于肌电信号与虚拟现实交互技术的上肢康复系统，其特征在于:所述肌张力定量评价模块通过希尔伯特变换提取肌电牵张反射阈值指标，评价痉挛的反射特性在肌电中的表现从而定量评价肌张力大小。
6.根据权利要求1所述的一种基于肌电信号与虚拟现实交互技术的上肢康复系统，其特征在于:所述肌肉协同性定量评价模块利用拮抗肌协同收缩率与主动肌拮抗肌肌电一致性的主成分分析融合指标来评价肌肉协同性，拮抗肌协同收缩率越大，肌间特定频段内一致性越小。
7.一种基于肌电信号与虚实交互技术的上肢康复方法，其特征在于，包括以下步骤: (I)通过数据采集模块从患者患侧上肢获取多通道表面肌电信号，经过放大、滤波后，对多通道肌电信号进行A/D转换得到数字信号，利用FPGA控制多路串行A/D器件的时钟，采集到的数字信号送入DSP进行信号预处理，提取有效频段并去除基线漂移及工频干扰，得到纯净的肌电信号； (2)预处理后的肌电信号数据以无线通信方式传输给上位机虚拟环境模块中的上位机进行数据缓存，并实时显示得到的多通道肌电信号波形； (3)信号处理模块对肌电信号数据定时的进行读取，通过活动段检测后利用小波包能量熵对预处理后的肌电信号进行特征提取，得到动作特征向量；信号处理模块利用Bayes理论对多通道肌电动作特征向量进行融合，将融合特征送入极限学习机ELM进行训练并完成对动作分类识别； (4)在上位机虚拟环境模块的识别结果显示区域中实时显示的动作分类结果；根据不同的动作分类识别结果，向上位机虚拟环境模块输入不同的控制命令，驱动上位机虚拟环境模块内虚拟游戏场景中的物体完成规定动作或任务，其中，屈腕、伸腕、屈肘、伸肘、左伸肘和右伸肘分别对应开始、停止、向上、向下、向左和向右运动； (5)若上位机虚拟环境模块的虚拟游戏场景中的物体与场景障碍物发生接触和碰撞，则通过上位机的数学运算并借助力反馈装置给予患侧上肢一个模拟的反馈力； (6)在人机交互过程中，肌张力定量评价模块利用希尔伯特变换提取提肌电牵张反射阈值来定量评价肌张力，实时计算拮抗剂协同收缩率与主动肌拮抗肌肌电一致性；肌肉协同性定量评价模块负责利用主成分分析法融合协同收缩率与肌电一致性融合指标来定量评价肌肉协同性，评价结果在系统中实时显示，从而达到评价肌肉功能状态及康复训练效果的目的。
【文档编号】A61B5/22GK104382595SQ201410581773
【公开日】2015年3月4日 申请日期:2014年10月27日 优先权日:2014年10月27日
【发明者】杜义浩, 宋妍, 郝艳彪, 陈晓玲, 张利泰, 谢博多, 谢平 申请人:燕山大学