基于Kinect的上肢康复训练与评估方法与流程

本发明涉及一种康复训练系统，尤其是一种基于kinect的上肢康复训练与评估方法，适合具有上肢运动障碍的患者进行协调能力的康复训练。

背景技术：

现代神经康复医学及其临床研究结果表明中枢神经系统具有高度的可塑性，对因脑卒中等疾病引起的肢体功能障碍，通过科学合理的康复治疗训练可以在一定程度上恢复其受损的肢体功能。早期针对脑卒中患者康复治疗的传统的康复训练方法主要是通过物理治疗或者职业康复医师对患肢进行一对一连续被动康复训练来实现。因此，为了克服传统康复训练方法的弊端，应该采用更为先进的技术引入到患者康复治疗的领域中。

近年来国内外研究机构竞相开展了基于虚拟现实技术运动康复训练系统研究，因其能够使患者从中获取足够的沉浸感和真实感，有助于患者积极主动地参与康复训练过程，在一定程度上提高了康复训练效果。然而，在虚拟环境交互过程中，患者需要使用价格昂贵的力/触觉交互设备或佩戴复杂的运动捕捉设备，具有较大局限性。此外，在运动康复训练过程中，对肢体运动功能障碍患者的康复训练过程进行实时监测和评估，具有重要的临床实践意义。传统康复评价方法，大多是在患者康复训练结束前后，由医师运用测量仪器分别对患者的功能指标进行评定，它不具备实时性，且只能对具有较大功能恢复的指标进行测定。

基于kinect的体感交互技术，是近年来发展起来的一种新的无需借助任何控制设备、可直接使用肢体动作与数字设备及虚拟环境进行交互的技术，解决了现有虚拟交互过程中需要使用或佩戴复杂力触觉交互及运动捕捉设备的局限，且能够实时跟踪和捕捉运动过程中肢体的运动位置。因此，将kinect体感交互技术应用于虚拟康复训练中，开展基于kinect的上肢康复训练与评估系统，将进一步完善和提高人机协作康复训练技术水平，具有重要的学术意义和临床应用价值。

技术实现要素：

本发明是用于解决患者在主观能动性的情况下自行进行上肢康复训练时，提供了一种基于kinect的上肢康复训练与评估方法，为了解决上述技术问题，本发明通过以下的技术方案实现的：

本发明公开了基于kinect的上肢康复训练与评估系统，包括基kinect的上肢测量方法和上肢运动康复训练模块与评估模块。基于kinect的上肢测量方法主要是通过kinect分别实时提取康复医师和患者上肢的肩、肘、腕关节的空间位置，并计算肩部、肘部相对参考关节点的三个自由度的动作角度；上肢运动康复训练模块与评估模块，先设计一套擦桌子、擦玻璃虚拟康复环境，其次，康复医师设计一套用于完成虚拟环境任务的标准动作，并根据kinect的上肢测量方法计算生成标准运动角度数据模块，最后，通过kinect上肢测量方法获得患者完成虚拟康复任务的实际运动数据模块，并与标准运动数据进行匹配，康复医师评估患者实际运动质量，给患者提供合理的康复反馈，其具体的步骤如下：

步骤1：在计算机中建立开发擦桌子、擦玻璃的虚拟康复环境，要求实现患者上肢的水平、垂直的综合康复训练。搭建数据库环境，用于储存标准运动数据以及实际运动数据；

步骤2：将kinect传感器与搭载虚拟康复环境的计算机通过数据线相接，并且安装在计算机显示屏的前方以及左右两侧。通过kinect获取的数据通过接口函数传入虚拟康复环境中用于实现驱动虚拟场景内模型运动；

步骤3：kinect的上肢测量方法：将kinect传感器定义的坐标系作为原坐标系，患者的躯干坐标系为目的坐标系，在目的坐标系的建立中，以躯干平面为yoz,右肩到左肩的空间向量方向为y轴的正方向，垂直于y轴向上的方向为z轴的正方向垂直于yoz平面向前方向为x轴的正方向。假设标记左肩关节点为plshoulder、右肩关节点为prshoulder、左肘关节点为plelbow、右肘关节点为prelbow、左腕关节点为plwrist、右腕关节点为prwrist。利用kinect传感器获取骨架的关节点的三维空间位置，并利用计算机计算出各个关节点的相对参考节点的角度信息，其具体步骤如下：

步骤3.1：以人体左臂为例，设置左肩关节点的坐标为plshoulder＝(x1,y1,z1)，左肘关节点的坐标为plelbow＝(x2,y2,z2)，左腕关节点的坐标为plwrist＝(x3,y3,z3)，以及设肩关节到肘关节(手臂)的长度为dse，肘关节到腕关节(前手臂)的长度分dew,肩关节到腕关节的长度为别计dsw，即为：

则计算出肩关节屈伸α，肩关节外展-内收β，肩关节内外旋θ，以及肘关节屈伸δ的相对参考的角度信息，公式如下：

步骤3.2：左肘关节点为plelbow以左肩关节点为plshoulder为相对参考节点的角度信息、左腕关节点plwrist以左肘关节点plelbow为相对参考节点的角度信息、右肘关节点为prelbow以右肩关节点为prshoulder为相对参考节点的角度信息、右腕关节点为prwrist以右肘关节点为prelbow为相对参考节点的角度信息都可以依据步骤3.1的计算方式得出；

步骤4：康复医师根据患者的需求设计一套标准的动作和姿势，用于完成擦桌子、擦玻璃的虚拟康复环境任务，通过kinect传感器采集标准的关节相对运动参考三维空间位置信息，由步骤3计算生成一套康复训练的标准运动角度数据模块；

步骤5：患者完成擦桌子、擦玻璃虚拟康复任务，通过kinect传感器采集患者实际的关节相对运动参考三维空间位置信息，由步骤3计算得出各个关节节点的角度信息建立患者的实际运动数据模块；

步骤6：通过计算机将数据库中的标准运动数据与实际运动数据进行匹配，根据患者实际运动质量进行评估，给患者提供相应的康复反馈。

本发明的进一步改进在于：上肢虚拟康复训练运动环境是以擦桌子、擦玻璃为背景的一种虚拟康复训练场景，将标准运动数据与实际运动数据进行运动信息匹配，并且在虚拟环境里患者必须利用上肢的肩、肘和腕等上肢部位完成擦除污渍的训练动作，实现患者上肢的水平、垂直的综合康复训练；根据所述步骤画出患者运动的位姿信息数据的实时绘图曲线图，并在液晶显示器上显示，从而判断患者的上肢运动状态。

有益效果

本发明采用人机交互技术，摆脱了穿戴式动作捕捉设备，可以直接有效地进行上肢交互训练，该交互方式更加方便自然；

本发明通过kinect传感器捕获追踪康复治疗师和患者的动作角度信息，实时效果好，准确性高；

本发明为患者提供与真实生活相关的虚拟康复训练运动环境，摆脱机械性训练，增强了患者训练的主动性，提高了患者的积极性，使得整个训练趣味十足。

附图说明

图1是本发明的具体实施虚拟康复训练系统图。

图2为本发明中人体的上肢关节点。左肩关节点为plshoulder、右肩关节点为prshoulder、左肘关节点为plelbow、右肘关节点为prelbow、左腕关节点为plwrist、右腕关节点为prwrist。

图3为本发明中人体左臂(正视图)的运动示意图。

图4为本发明的上肢关节变量角度示意图。

图5为本发明的一个实例俯视图。

附录中标号为：1.计算机显示屏，2.kinect传感器，3.患者，4.康复机器人

图6为本发明的虚拟康复界面示意图。

具体实施方式

为了加深对本发明的理解，下面以图5的实例场景示意图为例，并且结合图1、图2、图3、图4和图6说明本发明的具体实施步骤：

本发明公开了基于kinect的上肢康复训练与评估系统，包括基kinect的上肢测量方法和上肢运动康复训练模块与评估模块。基于kinect的上肢测量方法主要是通过kinect2分别实时提取康复医师和患者3上肢的肩、肘、腕关节的空间位置，并计算肩部、肘部相对参考关节点的三个自由度的动作角度；上肢运动康复训练模块与评估模块，先设计一套擦桌子、擦玻璃虚拟康复环境，其次，康复医师设计一套用于完成虚拟环境任务的标准动作，并根据kinect2的上肢测量方法计算生成标准运动角度数据模块，最后，通过kinect上肢测量方法获得患者完成虚拟康复任务的实际运动数据模块，并与标准运动数据进行匹配，康复医师评估患者实际运动质量，给患者提供合理的康复反馈，如图2、图3、图4所示，根据上述的基于kinect的上肢康复训练与评估系统，其特征在于：所述的上肢康复训练用于上肢的肩、肘、腕关节的综合控制的协调能力的训练，其具体的步骤如下：

步骤1：在计算机1中建立开发擦桌子、擦玻璃的虚拟康复环境，要求实现患者上肢的水平、垂直的综合康复训练。搭建数据库环境，用于储存标准运动数据以及实际运动数据；

步骤2：将kinect感器2与搭载虚拟康复环境的计算机通过数据线相接，并且安装在计算机显示屏1的前方以及左右两侧。通过kinect获取的数据通过接口函数传入虚拟康复环境中用于实现驱动虚拟场景内模型运动；

步骤3：kinect的上肢测量方法：将kinect传感器2定义的坐标系作为原坐标系，患者3的躯干坐标系为目的坐标系，在目的坐标系的建立中，以躯干平面为yoz,右肩到左肩的空间向量方向为y轴的正方向，垂直于y轴向上的方向为z轴的正方向垂直于yoz平面向前方向为x轴的正方向。假设标记左肩关节点为plshoulder、右肩关节点为prshoulder、左肘关节点为plelbow、右肘关节点为prelbow、左腕关节点为plwrist、右腕关节点为prwrist。利用kinect传感器2获取骨架的关节点的三维空间位置，并利用计算机计算出各个关节点的相对参考节点的角度信息，其具体步骤如下：

步骤3.1：以人体左臂为例，设置左肩关节点的坐标为plshoulder＝(x1,y1,z1)，左肘关节点的坐标为plelbow＝(x2,y2,z2)，左腕关节点的坐标为plwrist＝(x3,y3,z3)，以及设肩关节到肘关节(手臂)的长度为dse，肘关节到腕关节(前手臂)的长度分dew,肩关节到腕关节的长度为别计dsw，即为：

则计算出肩关节屈伸α，肩关节外展-内收β，肩关节内外旋θ，以及肘关节屈伸δ的相对参考的角度信息，公式如下：

步骤3.2：左肘关节点为plelbow以左肩关节点为plshoulder为相对参考节点的角度信息、左腕关节点plwrist以左肘关节点plelbow为相对参考节点的角度信息、右肘关节点为prelbow以右肩关节点为prshoulder为相对参考节点的角度信息、右腕关节点为prwrist以右肘关节点为prelbow为相对参考节点的角度信息都可以依据步骤3.1的计算方式得出；

步骤4：康复医师根据患者3的需求设计一套标准的动作和姿势，用于完成擦桌子、擦玻璃的虚拟康复场景任务，通过kinect传感器2采集标准的关节相对运动参考三维空间位置信息，由步骤3计算生成一套康复训练的标准运动角度数据；

步骤5：患者3完成擦桌子、擦玻璃虚拟康复任务，通过kinect传感器2采集患者实际的关节相对运动参考三维空间位置信息，由步骤3计算得出各个关节节点的角度信息建立患者3的实际运动数据模块；

步骤6：通过计算机将标准运动数据与实际运动数据进行匹配，根据患者3实际运动质量进行评估，给患者3提供相应的康复反馈。

所述的上肢虚拟康复训练运动环境是以擦桌子、擦玻璃为背景的一种虚拟康复训练场景，将标准运动数据与实际运动数据进行运动信息匹，并且在虚拟环境里，患者3必须利用上肢的肩、肘和腕等上肢部位完成擦除污渍的训练动作，实现患者上肢的水平、垂直的综合康复训练；根据权利要求2所述画出患者3运动的位姿信息数据的实时绘图曲线图，并在液晶显示器1上显示，从而判断患者3的上肢运动状态。

本发明采用人机交互技术，摆脱了穿戴式动作捕捉设备，可以直接有效地进行上肢交互训练，该交互方式更加方便自然；本发明采用的是kinect传感器在获得标准动作数据的基础上，进一步实现患者在主观能动性的情况下自行进行康复训练，提高患者对上肢机体的感知能力和平衡能力，促使患者在主动运动作用下交互完成康复训练；本发明通过kinect传感器分别捕获追踪康复治疗师和患者的动作角度信息，并对信息数据进行匹配，实时效果好，准确性高；本发明为患者提供与真实生活相关的虚拟康复训练运动环境，摆脱机械性训练，增强了患者训练的主动性，提高了患者的积极性，使得整个训练趣味十足。