一种基于Kinect的游戏式远程上肢康复训练系统及方法与流程

本发明涉及医疗康复技术领域，特别涉及一种基于kinect的游戏式远程上肢康复训练系统及方法。

背景技术：

由于意外事故、年老体弱或者脑血管疾病等会造成上肢功能的障碍，及早进行康复训练会加大康复的概率，使上肢在各个方向上达到正常人的活动效果。传统医疗采用一对一的康复训练，患者康复费用昂贵，且康复效果受到治疗师水平影响，医院需要培训大量治疗师，并建设相应的辅助训练设施。这种传统康复训练效率低下，枯燥乏味，会使患者产生抗拒心理从而不积极配合治疗，影响治疗效果。传统医疗方式只能根据患者自身感觉进行康复分析，不能客观的给出数据分析。

自1997年麻省理工学院的开创性研究，许多研究人员一直在研究机器人辅助治疗装置。穿戴式机械手臂辅助治疗是现在常用的辅助治疗系统，现有的康复训练机械臂,使得医生可以设定康复机械臂的训练模式和控制参数,从而控制机械臂，一定程度上减少了医院的人力。但机械手臂辅助治疗仍属于被动式治疗方式，患者需穿戴康复设备，动作受到限制，存在设备购买不方便，设备体积大，价格昂贵的问题。随着kinect的出现，基于kinect的上肢康复系统也流行起来，但训练仍是枯燥乏味地重复进行康复动作，或采用游戏的方式却并没有系统的动作设计与阶段训练的模式，不能直观给出数据分析。

现有康复训练系统的不完善主要表现在：一对一康复训练费用高效率低并且枯燥乏味，穿戴式辅助康复设备体积大价格高，穿戴不方便，动作不灵活。无法进行阶段性训练，训练结束后无法给出系统直观的训练数据反馈，降低了患者康复的积极性。需要设计设备体积小价格低，能调动患者积极性，能结合远程医疗给出详细数据分析的系统。

技术实现要素：

本发明所要解决的技术问题是针对背景技术的缺陷，提出一种基于kinect的游戏式远程上肢康复训练系统及方法，实现如何能结合远程医疗给出详细的数据分析，能调动患者积极性。

本发明的上述技术问题是通过以下技术方案得以实现的：

一种基于kinect的游戏式远程上肢康复训练系统，包括：

模式选择模块：其用于供用户选择康复动作幅度的模式；

kinect数据采集与骨骼识别模块：其用于分析出用户的上肢康复动作；

肢体操作交互模块：其连接有游戏模块，当用户的上肢康复动作符合模式选择模块对应的预设的动作标准时，发出对应上肢康复动作的游戏指令；并响应于游戏指令触发游戏模块做出对应的动作；

监控反馈端：其与肢体操作交互模块连接，用于供医生查看上肢康复动作和游戏模块的相关数据，并供医生输入反馈意见数据；

远程数据传输模块：其与监控反馈端连接，并用于传输所述相关数据以及反馈意见数据；

训练结果反馈模块：其与远程数据传输模块和肢体操作交互模块连接，并用于向用户反馈所述相关数据以及反馈意见数据。

进一步的，所述模式选择模块包括五个模式单元，每个所述模式单元里均存储有相对应的上肢康复动作。

进一步的，所述上肢康复动作包括有左右展臂、双臂屈肘上抬和双臂前伸抬起，以每18°分为一个模式单元。

进一步的，所述游戏模块为俄罗斯方块游戏。

一种基于kinect的游戏式远程上肢康复训练方法，包括以下步骤：

步骤1：用户选择康复动作幅度的模式；

步骤2：分析出用户的上肢康复动作，当用户的上肢康复动作符合对应的预设动作标准时，发出对应上肢康复动作的游戏指令，并响应于游戏指令触发俄罗斯方块游戏做出对应的动作；

步骤3：依据上肢康复动作以及俄罗斯方块游戏的相关数据，输入反馈意见数据，并把所述相关数据以及反馈意见数据反馈给用户。

进一步的，其中步骤2包括以下步骤：

步骤2.1：kinect识别人体轮廓并计算得到人体二十个骨骼点信息；

步骤2.2：提取人体上肢六个关键骨骼点的三维坐标信息，包括右手、右胳膊肘、右肩、左手、左胳膊肘和左肩，建立人体坐标系；

步骤2.3：通过向量和三角形的相关计算方式判定上肢康复动作是否符合预设的动作标准，若符合则发出对应上肢康复动作的游戏指令，并响应于游戏指令触发俄罗斯方块游戏做出对应的动作。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

本发明采用kinect进行信息采集，用户无需任何穿戴设备，动作更加自由舒适，误差小；游戏与康复训练相结合，通过上肢的运动操纵俄罗斯方块的运动，增强了上肢康复训练的趣味性，提高了患者参与康复训练的主动性与积极性；系统通过不同模式完成阶段性训练的效果，用户可以根据自身上肢患病情况进行模式的选择，贴合用户；本发明采用远程医疗的方式，医生可远程获取患者康复训练的数据并给出相应的指导意见，用户可远程了解医生的意见与建议，并据此进行康复训练，降低了医疗费用；每次训练结束后，系统能够最直观的显示出此次训练的数据，用户可以看到上肢动作和游戏效果的相关数据，以及医生远程给出的建议与意见，调动了人们使用该系统进行上肢康复训练的积极性。

附图说明

图1为本发明的系统结构示意图。

图2为本发明用于体现kinect数据采集与骨骼识别框图；

图3为本发明用于体现右臂活动角度的计算图；

图4为本发明用于体现模式选择与肢体操作交互的框图；

图5为本发明用于体现训练结果的反馈框图；

图6为本发明用于体现远程数据传输的框图。

具体实施方式

以下结合附图对本发明作进一步详细说明。

一种基于kinect的游戏式远程上肢康复训练系统，包括：

模式选择模块：其用于供用户选择康复动作幅度的模式；

kinect数据采集与骨骼识别模块：其用于分析出用户的上肢康复动作；

肢体操作交互模块：其连接有俄罗斯方块游戏，当用户的上肢康复动作符合模式选择模块对应的预设的动作标准时，发出对应上肢康复动作的游戏指令；并响应于游戏指令触发俄罗斯方块游戏做出对应的动作；

监控反馈端：其与肢体操作交互模块连接，用于供医生查看上肢康复动作和俄罗斯方块游戏的相关数据，并供医生输入反馈意见数据；

远程数据传输模块：其与监控反馈端连接，并用于传输所述相关数据以及反馈意见数据；

训练结果反馈模块：其与远程数据传输模块和肢体操作交互模块连接，并用于向用户反馈所述相关数据以及反馈意见数据。

如图1所示，通过kinect采集人体肢体信息，通过labview编程实现相应上肢康复动作对应游戏操作的效果，以及训练结束后的数据分析；软件编程实现数据采集与骨骼识别，用户选择模式后进行肢体操作交互，训练结束后数据分析反馈以及远程数据传输。

如图2所示，kinect数据采集与骨骼识别模块利用kinect的近红外线对测量空间进行编码，经感应器读取编码的光线，交由晶片运算进行解码后，产生成一张具有深度的图像。采用分隔策略将复杂的环境中的连续物体与背景区分出来，之后对景深图像进行评估，对类似“大”字型的物体进行变形拟合，从而识别出类人形状的物体，利用数据遮罩将其独立出来，用20个关键点标注为人体关节点，实现人体骨骼识别。提取人体上肢六个关键骨骼点的三维坐标信息，包括右手、右胳膊肘、右肩、左手、左胳膊肘和左肩，建立人体坐标系，根据六个关节点数据，计算手臂运动角度，包括左展臂角度，右展臂角度，双臂前伸上抬角度和双臂屈肘上抬角度以及屈肘上抬时小臂与上臂的夹角。如图3所示，角度计算均以右臂为例，设右肩坐标点a(x1，y1，z1)，右胳膊肘坐标点b(x2.y2，z2)，右手坐标点c(x3，y3，z3)；

a、右展臂首先根据向量公式确定手臂伸直，即三维空间中a、b和c三点位于同一直线上，运用向量公式即可确定三点共线：

随后确定右展臂时手臂与肩部竖直方向的夹角，即可确定手臂打开幅度的大小，展臂时，手部坐标的x和y坐标发生改变，右展臂张开角度θ计算公式为：

b、前伸上抬手臂，首先确定手臂伸直，方法和展臂时确定手臂伸直的方法一样，此处不赘述。前伸上抬手臂，手部坐标在y轴和z轴上发生改变，前伸上抬角度α计算公式为：

c、屈肘上抬时，上臂与肩部y坐标轴的夹角β计算公式为：

屈肘上抬时小臂与上臂的夹角γ运用空间三角形夹角的计算方法：

模式选择模块设定五个模式，阶段性的进行上肢康复的训练。模式选择不同，动作幅度也不同，刚开始幅度较小便可实现相应游戏操作，随着模式选择难度的增大，动作幅度加大才能实现相应操作。以右臂为例，为达到正常人的手臂活动幅度，右展臂角度θ，前伸上抬角度α和屈肘上抬角度β，康复运动范围均为0～90°，分为五个模式时，以每18°分为一个模式，屈肘上抬时小臂与上臂的夹角γ变化范围为180°～90°，同样以每18°分为一个模式。最终实现通过五个模式进行阶段化康复训练。

在kinect识别到人并标注上肢关节点的基础之上，跟踪这些节点位置变化，通过欧拉公式，分析得到用户所做动作，对动作进行分析判断，符合要求的动作被识别，如图4所示，通过肢体操作交互模块判定为游戏指令，实现游戏操作。展开左臂，俄罗斯方块会左移；展开右臂，方块右移；双臂屈肘抬起，方块会进行翻转变形；双臂前伸抬起，方块加速下降，从而能实现通过上肢运动来进行俄罗斯方块的移动和变化，使得用户可在该系统中趣味性地进行阶段性上肢康复训练。

用户在进行上肢康复训练时，如图5所示，系统的训练结果反馈模块实时分析统计达到选定模式的各类肢体动作次数，左展臂次数，右展臂次数，双臂前伸上抬次数以及双臂屈肘上抬次数，并通过各类动作量估算出用户热量消耗，根据肢体操作交互模块达到的游戏效果给出游戏得分和评价，这些数据通过远程数据传输模块传送到监控反馈端，医生可以在监控端实时观看用户上肢运动时上肢骨骼点连接成的球棍模型的运动状态，并能同时获得用户反馈模块上的所有数据，医生分析数据并拟写的指导意见通过远程传输，传送回到训练结果反馈模块，实现远程上肢康复训练的效果。

如图6所示，通过局域网实现远程数据的传输,客户端和服务器端均在各自目录下建立记录数据的文件夹，客户端存放用户使用记录和详细的运动数据，服务器端存放医师的评语和指导建议。当服务器端和客户端连通在同一个局域网下时，双边数据可以实时同步，服务器端即可实时观看用户训练情况也可存储历史数据反复重播，客户端也能实时看到医师的指导意见。开发阶段以局域网为联机环境，通过云端服务器即可实现互联网上的数据传输。训练系统客户端将动作信息和游戏信息上传到本地共享文件，远程监控反馈端读取这些信息，并书写指导意见，并写入本地共享文件，客户端下载反馈意见。

一种基于kinect的游戏式远程上肢康复训练方法，包括以下步骤：

步骤1：用户选择康复动作幅度的模式；

步骤2：分析出用户的上肢康复动作，当用户的上肢康复动作符合对应的预设动作标准时，发出对应上肢康复动作的游戏指令，并响应于游戏指令触发俄罗斯方块游戏做出对应的动作；

步骤3：依据上肢康复动作以及俄罗斯方块游戏的相关数据，输入反馈意见数据，并把所述相关数据以及反馈意见数据反馈给用户。

其中步骤2包括以下步骤：

步骤2.1：kinect识别人体轮廓并计算得到人体二十个骨骼点信息；

步骤2.2：提取人体上肢六个关键骨骼点的三维坐标信息，包括右手、右胳膊肘、右肩、左手、左胳膊肘和左肩，建立人体坐标系；

步骤2.3：通过向量和三角形的相关计算方式判定上肢康复动作是否符合预设的动作标准，若符合则发出对应上肢康复动作的游戏指令，并响应于游戏指令触发俄罗斯方块游戏做出对应的动作。

本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。