基于肌电反馈与Kinect交互的虚拟康复系统及训练方法与流程

本发明涉及一种应用于脑卒中恢复期患者的基于肌电反馈与kinect交互的虚拟康复系统及训练方法，属于康复工程、虚拟现实技术等领域。

背景技术：

世界卫生组织报道，脑卒中已成为世界范围内仅次于癌症和冠心病的第三大死亡原因，且呈持续上升趋势。据统计，脑卒中患者中有75％表现为不同程度肢体运动功能障碍，给家庭和社会造成沉重的负担。实践证明，积极主动的康复训练有助于患者恢复肢体运动功能并促进痊愈。

虚拟康复作为脑卒中康复领域的新技术，一定程度上可缓解传统康复治疗的枯燥乏味、费用昂贵、康复资源短缺等问题，增强康复训练的趣味性、建立患者自信心。然而，现有虚拟康复系统还存在训练模式单一、个体适应性差、脱离实际生活等问题，难以针对患者的康复状态进行适应性调整。

技术实现要素：

本发明的目的是针对现有虚拟康复系统存在的问题，基于虚拟现实和人机交互技术，提供一种基于肌电反馈与kinect交互的虚拟康复系统及训练方法，从而满足脑卒中恢复期患者的个性化康复需求。

为实现上述目的，本发明采用了以下技术方案：

一种基于肌电反馈与kinect交互的虚拟康复系统，包括数据采集部分和虚拟现实人机交互部分；

所述数据采集部分包括肌电信号数据采集模块和kinect肢体动作识别模块；

所述肌电信号数据采集模块包括下位机和上位机系统：所述下位机包括肌电电极、肌电采集装置和无线传输模块；

所述肌电电极用于与人体直接接触采集肢体运动的肌电信号；

所述肌电采集装置用于接收和处理所述肌电电极所采集的肌电信号；所述肌电采集装置采用差分放大，能够有效控制共模抑制比和信噪比，获取更为准确反映肢体运动的肌电信号；所述肌电采集装置中的信号放大器用于将所接收的患者的肌电信号进行放大，抑制温度漂移和零点漂移并将放大后的肌电信号传输给所述无线传输模块；

所述无线传输模块用于将放大后的肌电信号通过无线传输方式传给上位机系统；所述无线传输模块是连接软件和硬件的枢纽，采用无线传输能够实现康复训练的便携性能；

所述上位机系统包括软件界面和pc端显示设备；所述软件界面基于c++编程语言，在visualstudio2013平台下利用mfc框架搭建而成，用于肌电信号显示、分析、存储，康复训练方式选择以及虚拟交互场景显示功能；

所述kinect肢体动作识别模块利用kinect体感设备的三维扫描技术，进行非接触式动作捕获，结合虚拟场景互动技术，进行靶向性的肢体动作训练；其中kinect体感设备包括左、中、右三个镜头，中间镜头是rgb彩色摄像头；左侧镜头是红外线发射器，用于发射红外线；右侧镜头是红外线3d深度感应器，用于对动作的识别和实时追踪检测；

所述虚拟现实人机交互部分包括康复训练方式选择模块和虚拟场景交互模块；

所述康复训练方式选择模块依据上位机系统的操作指令，选择肌电反馈方式、kinect交互方式和肌电+kinect结合方式三种训练方式中的一种；操作指令是在上位机系统界面中进行输入；

所述肌电反馈方式是通过对患者肢体表面肌电信号进行采集、处理和特征提取，实现动作模式识别；通过人机接口实现对虚拟场景的参数控制，从而进行腕关节康复训练；

所述kinect交互方式是通过kinect识别患者上肢或下肢的肢体动作，来实现与虚拟场景的交互，进而完成对虚拟场景的控制，从而实现患者上肢或下肢的康复训练；

所述肌电+kinect结合方式是通过kinect进行肢体动作识别，由肌电信号进行肌力大小评估，进而实现对虚拟康复训练场景难度系数的自适应调整，满足患者的个性化康复训练需求；

所述虚拟交互场景模块利用unity3d游戏开发引擎，通过c#编程创建一种完全虚拟的环境，在此基础上为患者设计贴近生活场景、基于任务诱导的一站式模块化虚拟康复训练场景，康复医师为患者选择相应的康复训练方式进行人机交互训练，从而达到康复的效果。

所述基于肌电反馈与kinect交互的虚拟康复系统的训练方法，所述方法根据患者身体恢复状况，由康复医师为其选择合适的康复训练方式，使得康复训练更具有针对性，从而达到更理想的康复效果；所述训练方法包括如下内容：

一、选择基于肌电反馈的腕部虚拟康复训练方式，其训练方法包括如下步骤：

1.首先需要进行参数设置，让患者端坐于显示屏幕面前，将肌电采集电极粘贴在患者的患侧上肢手臂上，设置肌电采集设备与虚拟康复系统无线连接的ip和端口，做好康复训练前的准备，打开tcp连接，通过无线传输模块传至虚拟康复系统获取肌电实时数据，经过前期肌电信号的滤波、放大预处理后，进行活动段检测，通过特征提取获得反映肢体动作的运动意图特征向量，然后通过腕屈和腕伸训练进行阈值的判定，进而系统将自动对参数进行个性化设定；

2.参数设定完成后，让患者通过接拿物品的动作进行腕屈和腕伸康复训练，系统将根据不同的识别结果向人机交互部分输送腕屈或腕伸的控制命令，从而实现对场景中物品向左移动或向右移动的控制，进而达到对腕关节康复训练的效果；

二、选择基于kinect肢体动作识别的虚拟康复训练方式，其训练方法包括如下步骤：

1.kinect交互训练方式主要分为上肢康复训练和下肢康复训练；首先根据患者身体恢复状况为其选择合适的康复训练方式，或者为上肢康复训练，或者为下肢康复训练；

2.在康复训练方式选定后，即可进行康复训练；假如已选择下肢康复训练方式，让患者处于识别区域内，利用kinect三维扫描技术，进行非接触式动作捕获，以此来获取患者的骨骼信息，进行特征提取；通过三维肢体动作识别，判断患者小腿是否抬起到所设定的高度范围内，进而来对下肢的训练高度进行控制，从而达到对下肢进行康复训练的效果；

三、选择基于肌电反馈与kinect交互的个性化虚拟康复训练方式

肌电+kinect结合方式是通过kinect进行肢体动作识别，由肌电信号进行肌力大小评估，进而实现对虚拟康复训练场景难度系数的自适应调整，从而可以满足患者的个性化需求；以摘取物品动作为例说明，其训练方法包括如下步骤：

1.让患者佩带肌电采集设备，出现在kinect扫描空间识别区域范围内；

2.由kinect扫描患者手部与物品的相对位置，只有当患者的手与物品位置重合且进行握拳操作触发肌电反馈时，才能实现摘取操作，完成摘取操作后，患者可将手收回，休息2～5秒，准备进行下一次摘取操作；

3.通过患者进行握拳操作所产生的手臂肌电信号的大小来进行肌力评估；若所评估的肌力值在5次之内都大于所设定的阈值，则将摘取训练难度系数自动提高一档；反之，则自动降低一档，从而实现训练难度等级的自适应调整，进而使患者达到更理想的康复训练效果；

四、选择一站式模块化虚拟康复场景训练

所述一站式模块化虚拟康复场景训练就是通过虚拟现实人机交互模块利用unity3d游戏开发引擎，通过c#编程创建一种完全虚拟的环境，在此基础上为患者设计贴近生活场景、基于任务诱导的一站式模块化虚拟康复训练场景，将包括接水果、踢足球和摘水果的多种生活动作康复训练游戏融入到一个虚拟生活场景中，从而使得康复训练更加便捷、高效且充满趣味性，进而达到更理想的康复效果。

与已有技术相比，本发明的有益效果为：

本发明所述系统包含三种康复训练方式：肌电反馈方式、kinect交互方式、肌电+kinect结合方式，从而可以满足患者不同关节康复训练的需求；本发明的肌电+kinect结合方式为一种全新的康复训练方法，通过kinect进行肢体动作识别，由肌电信号进行肌力大小评估，进而实现对虚拟康复训练场景难度系数的自适应调整，从而可以满足患者的个性化康复需求。

附图说明

图1为本发明提出的一种基于肌电反馈与kinect交互的虚拟康复系统的整体结构框图；

图2为肌电信号采集系统流程图；

图3为康复训练方式选择流程图；

图4为肌电反馈方式---接水果康复训练演示图；

图5为kinect交互方式---踢足球康复训练演示图；

图6为肌电+kinect结合方式----摘苹果康复训练演示图。

附图标号：101数据采集部分、102虚拟现实人机交互部分、103肌电信号数据采集模块、104kinect肢体动作识别模块、105康复训练方式选择模块、106虚拟场景交互模块。

具体实施方式

下面结合具体实施方式和附图对本发明作进一步的详细说明：

本发明的一种基于肌电反馈与kinect交互的虚拟康复系统，如图1所示，包括数据采集部分101和虚拟现实人机交互部分102；

所述数据采集部分101包括肌电信号数据采集模块103和kinect肢体动作识别模块104；

所述肌电信号数据采集模块103流程图如图2所示，

所述肌电信号数据采集模块103包括下位机和上位机系统：所述下位机包括肌电电极、肌电采集装置和无线传输模块；

所述肌电电极用于与人体直接接触采集肢体运动的肌电信号；所述肌电电极采用常用的agcl一次性电极，电极通过电解质胶与人体皮肤接触，与其形成通路，agcl电极所采信号电势稳定，对信号的重现度较好，是常用的可采集肌电的参比电极，使用前，应先使用酒精擦拭人体皮肤去除污垢和角质，以保证肌电信号良好的采集效果；

所述肌电采集装置用于接收和处理所述肌电电极所采集的肌电信号；所述肌电采集装置采用差分放大，能够有效控制共模抑制比和信噪比，获取更为准确反映肢体运动的肌电信号，所述肌电采集装置中的信号放大器用于将所接收的患者的肌电信号进行放大，抑制温度漂移和零点漂移并将放大后的肌电信号传输给所述无线传输模块；

所述无线传输模块用于将放大后的肌电信号通过无线传输方式传给上位机系统；所述无线传输模块是连接软件和硬件的枢纽，采用无线传输能够实现康复训练的便携性能；

所述上位机系统包括软件界面和pc端显示设备；所述软件界面基于c++编程语言，在visualstudio2013平台下利用mfc框架搭建而成，用于肌电信号显示、分析、存储，康复训练方法选择以及虚拟交互场景显示等功能；所述pc端显示设备为台式pc机，采用windows10，64位操作系统，用于软件界面以及虚拟交互场景显示功能；

所述kinect肢体动作识别模块利用kinect体感设备的三维扫描技术，进行非接触式动作捕获，结合虚拟场景互动技术，进行靶向性的肢体动作训练；其中kinect体感设备包括左、中、右三个镜头，中间镜头是rgb彩色摄像头，左侧镜头是红外线发射器，用于发射红外线；右侧镜头是红外线3d深度感应器，用于对动作的识别和实时追踪检测；输出视频以每秒30帧的速率进行显示，彩色和深度图像的分辨率为640*480像素，可检测范围为0.8米到3.5米之间，为了达到较好的识别效果，让患者一般处在距离kinect设备1.2米到3米之间；

所述虚拟现实人机交互部分包括康复训练方式选择模块105和虚拟场景交互模块106，

所述康复训练方式选择模块105依据上位机系统的操作指令，选择肌电反馈方式、kinect交互方式和肌电+kinect结合方式三种训练方式中的一种；操作指令是在上位机系统界面中进行输入；

所述肌电反馈方式是通过对患者肢体表面肌电信号进行采集、处理和特征提取，实现动作模式识别；通过人机接口实现对虚拟场景的参数控制，从而进行腕关节康复训练；

所述kinect交互方式是通过kinect识别患者上肢或下肢的肢体动作，来实现与虚拟场景的交互，进而完成对虚拟场景的控制，从而实现患者上肢或下肢的康复训练；

所述肌电+kinect结合方式是通过kinect进行肢体动作识别，由肌电信号进行肌力大小评估，进而实现对虚拟康复训练场景难度系数的自适应调整，满足患者的个性化康复训练需求；

所述虚拟交互场景模块106利用unity3d游戏开发引擎，通过c#编程创建一种完全虚拟的环境，在此基础上为患者设计贴近生活场景的、基于任务诱导的一站式模块化虚拟康复训练场景，康复医师为患者选择相应的康复训练方式进行人机交互训练，从而达到康复的效果。

所述的基于肌电反馈与kinect交互的虚拟康复系统的训练方法，所述方法根据患者身体恢复状况，康复医师为其选择合适的康复训练方法，使得康复训练更具有针对性，从而可以达到更理想的康复效果。其康复训练方法流程图如图3所示；所述训练方法包括如下内容：

一、为患者选择基于肌电反馈的腕部虚拟康复训练方式，其训练方法包括如下步骤：

1.当为患者选择肌电反馈方式进行康复训练时，需要首先进行参数设置，让患者端坐于显示屏幕面前，将肌电采集电极粘贴在患者的患侧上肢手臂上，设置肌电采集设备与虚拟康复系统的无线连接的ip和端口，做好康复前的准备，打开tcp连接，通过无线传输模块传至虚拟康复系统获取肌电实时数据，经过前期肌电信号的滤波、放大等预处理之后，进行活动段检测，通过特征提取得到反映肢体动作的运动意图特征向量，然后由腕屈腕伸训练，来进行阈值的判定，进而系统将自动对参数进行个性化设定；

2.在参数设定完成后，患者即可通过腕屈腕伸动作进行康复训练，以接水果游戏为例，如图4所示，系统将根据不同的识别结果向人机交互部分输送腕屈或腕伸的控制命令，从而实现对场景中果篮左或右移动的控制，训练时长为5分钟，进而达到对腕关节康复训练的效果。

二、为患者选择基于kinect肢体动作识别的虚拟康复训练方式，其训练方法包括如下步骤：

1.kinect交互训练方式主要分为上肢康复训练和下肢康复训练，首先医师根据患者身体恢复状况为其选择合适的康复训练方式。

2.在康复训练方式选定后，即可进行康复训练。以踢足球游戏为例，如图5所示，让患者处于识别区域内，利用kinect三维扫描技术，进行非接触式动作捕获，来获取患者的骨骼信息，进行特征提取，通过三维肢体动作识别，判断患者小腿是否抬起到所设定的高度范围内，进而来实现对足球发射的控制，当患者小腿抬起到所设定的高度范围内，足球发射出去，当击中虚拟场景中的方块时，获得相应的分数作为奖励，在足球发射出去以后，患者的腿可回到原先状态，训练时间为5分钟，从而达到对下肢进行康复训练的效果。

三、基于肌电反馈与kinect交互的个性化虚拟康复训练方式

肌电+kinect结合方式是一种全新的康复训练方法，通过kinect进行肢体动作识别，由肌电信号进行肌力大小评估，进而实现对虚拟康复训练场景难度系数的自适应调整，从而可以满足患者的个性化需求。以摘苹果游戏为例，如图6所示，其训练方法包括如下步骤：

1.患者佩带肌电采集设备，出现在kinect扫描空间识别区域范围内；

2.由kinect扫描患者手部在苹果树上的位置，只有当患者的手与苹果位置重合且进行握拳操作触发肌电反馈时，才能实现苹果的摘取操作，完成摘取操作后，患者可将手收回，休息2～5秒，准备进行下一次摘取操作，训练时长为5分钟。

3.通过患者进行握拳操作所产生的手臂肌电信号的大小来进行肌力评估，若所评估的肌力值在5次之内都大于所设定的阈值，则将摘苹果游戏难度系数自动进行加一操作；反之，则自动进行减一操作，从而实现游戏难度等级的自适应调整，进而使患者达到更理想的康复训练效果。

四、为患者选择一站式模块化虚拟康复场景

虚拟现实人机交互模块利用unity3d游戏开发引擎，通过c#编程创建一种完全虚拟的环境，在此基础上为患者设计贴近生活场景的、基于任务诱导的一站式模块化虚拟康复训练场景，即将接水果、踢足球、摘水果等康复训练游戏融入到一个虚拟生活场景中，从而使得康复训练更加便捷、高效且充满趣味性，进而可以达到更理想的康复效果。

以上所述的具体实施例，对本发明的目的、技术方案和方法进行了进一步详细说明，应该理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，在不背离本发明的精神和原则的前提下，能够进行各种改变。