基于增强现实的步态康复训练评估方法与系统与流程

本发明涉及增强现实领域，特别涉及一种基于增强现实的步态康复训练评估方法与系统。

背景技术：

众多脑卒中、脑外伤、脊髓损伤及其他骨关节疾患的患者都存在步行不稳、步行姿势不对、步行困难等情况。这部分患者的步行训练，目前多是人工一对一的训练，比如在地上贴步行脚印标贴，一位康复治疗师指导一位患者踏着脚印标贴进行步行训练。

这种传统的步行康复训练方式存在以下问题：训练场地占用大，训练环境单调，患者训练枯燥无味，治疗师占用人力成本高，步行训练表现的评估方面也存在问题。

技术实现要素：

本发明的实施方式旨在至少解决现有技术中存在的技术问题之一。

为此，本发明的实施方式需要提供一种基于增强现实的步态康复训练评估方法，其特征在于，包括：

步骤1，根据康复训练患者的步行功能的评定结果，选择下肢的步行训练环境；其中，步行训练环境包括平地行走环境、上坡环境和下坡环境中的一种或多种；

步骤2，选择下肢步行训练模式；其中，训练模式包括容易、中等、较难和自定义中任意一种步行难易程度模式；

步骤3，将患者在当前下肢步行训练模式中的脚印投影到跑步机传送带上，搭建步行训练增强现实环境，用于引导患者进行步行训练；

步骤4，引导患者进行步行训练，在训练过程中判断预设时间内患者的脚对步行训练增强现实环境中增强现实脚印的踏中率，并给予反馈；

步骤5，在步行训练结束后，对康复训练数据进行处理，输出步行训练的失分原因分析和康复评估报告。

一种实施方式中，步骤3包括：将患者在当前下肢步行训练模式中的脚印投影到跑步机传送带上，通过kinect体感设备、计算机、跑步机和投影仪搭建步行训练增强现实环境；其中，搭建步行训练增强现实环境包括：预先设计一个包括虚拟脚印的增强现实环境；然后通过投影仪将增强现实环境投影在跑步机传送带上，在患者步行训练时由kinect体感设备采集数据并交由计算机计算得出步态数据以及对增强现实脚印的踏中率。

一种实施方式中，步骤2包括：选择下肢步行训练模式，并通过控制增强现实脚印的步长、步距以及跑步机传送带速度，来呈现包括容易、中等、较难和自定义中任意一种步行难易程度模式。

一种实施方式中，步骤4包括：引导患者进行步行训练，在训练过程中利用kinect体感设备采集患者的人体骨骼点三维位置坐标并传输至计算机，由计算机计算得出包括步长、步宽、步高在内的步态数据，并判断预设时间内患者的脚对增强现实脚印的踏中率，给予反馈。

一种实施方式中，步骤5包括：预先构建下肢步行康复训练效果评估模型，在步行训练结束后，利用下肢步行康复训练效果评估模型对康复训练数据进行处理，输出步行训练的失分原因分析和康复评估报告；其中，预先构建下肢步行康复训练效果评估模型包括确定训练前情况、训练设置情况和训练过程情况在内的二级指标，并利用网络分析法获得各个指标的权重，再结合权重向量和灰色评估矩阵获得评估结果并记载在康复评估报告中。

本发明实施方式还提出一种基于增强现实的步态康复训练评估系统，其特征在于，包括：

环境选择模块，用于根据康复训练患者的步行功能的评定结果，选择下肢的步行训练环境；其中，步行训练环境包括平地行走环境、上坡环境和下坡环境中的一种或多种；

模式选择模块，用于选择下肢步行训练模式；其中，训练模式包括容易、中等、较难和自定义中任意一种步行难易程度模式；

增强现实搭建模块，用于将患者在当前下肢步行训练模式中的脚印投影到跑步机传送带上，搭建步行训练增强现实环境，用于引导患者进行步行训练；

训练计算模块，用于在训练过程中判断预设时间内患者的脚对步行训练增强现实环境中增强现实脚印的踏中率，并给予反馈；

分析模块，用于在步行训练结束后，对康复训练数据进行处理，输出步行训练的失分原因分析和康复评估报告。

一种实施方式中，增强现实搭建模块，具体用于将患者在当前下肢步行训练模式中的脚印投影到跑步机传送带上，通过kinect体感设备、计算机、跑步机和投影仪搭建步行训练增强现实环境；其中，搭建步行训练增强现实环境包括：预先设计一个包括虚拟脚印的增强现实环境；然后通过投影仪将增强现实环境投影在跑步机传送带上，在患者步行训练时由kinect体感设备采集数据并交由计算机计算得出步态数据以及对增强现实脚印的踏中率。

一种实施方式中，模式选择模块，具体用于选择下肢步行训练模式，并通过控制增强现实脚印的步长、步距以及跑步机传送带速度，来呈现包括容易、中等、较难和自定义中任意一种步行难易程度模式。

一种实施方式中，训练计算模块，具体用于在训练过程中利用kinect体感设备采集患者的人体骨骼点三维位置坐标并传输至计算机，由计算机计算得出包括步长、步宽、步高在内的步态数据，并判断预设时间内患者的脚对增强现实脚印的踏中率，给予反馈。

一种实施方式中，分析模块，具体用于预先构建下肢步行康复训练效果评估模型，在步行训练结束后，利用下肢步行康复训练效果评估模型对康复训练数据进行处理，输出步行训练的失分原因分析和康复评估报告；其中，预先构建下肢步行康复训练效果评估模型包括确定训练前情况、训练设置情况和训练过程情况在内的二级指标，并利用网络分析法获得各个指标的权重，再结合权重向量和灰色评估矩阵获得评估结果并记载在康复评估报告中。

本发明实施方式的基于增强现实的步态康复训练评估方法与系统，通过搭建步行训练增强现实环境引导患者有目标地进行步行训练，并且可以通过调整增强现实脚印来设置不同训练模式，在训练中可以实现及时反馈并在训练后给予准确的失分原因评估并生成评估报告，大幅提高下肢康复训练的效果。

本发明的附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的实施方式的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本发明实施方式的基于增强现实的步态康复训练评估方法的流程示意图；

图2是本发明实施方式的基于增强现实的步态康复训练评估系统的组成示意图；

图3是本发明实施方式中步行训练增强现实环境搭建的设备连接示意图；

图4是本发明实施方式中步行训练的引导步行示意图。

具体实施方式

下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅可用于解释本发明的实施方式，而不能理解为对本发明的实施方式的限制。

请参阅图1，本发明实施方式的基于增强现实的步态康复训练评估方法，包括：

步骤1，根据康复训练患者的步行功能的评定结果，选择下肢的步行训练环境；其中，步行训练环境包括平地行走环境、上坡环境和下坡环境中的一种或多种；

步骤2，选择下肢步行训练模式；其中，训练模式包括容易、中等、较难和自定义中任意一种步行难易程度模式；

步骤3，将患者在当前下肢步行训练模式中的脚印投影到跑步机传送带上，搭建步行训练增强现实环境，用于引导患者进行步行训练；

步骤4，引导患者进行步行训练，在训练过程中判断预设时间内患者的脚对步行训练增强现实环境中增强现实脚印的踏中率，并给予反馈；

步骤5，在步行训练结束后，对康复训练数据进行处理输出步行训练的失分原因分析和康复评估报告。

请参阅图2，本发明实施方式的基于增强现实的步态康复训练评估系统，包括：

环境选择模块，用于根据康复训练患者的步行功能的评定结果，选择下肢的步行训练环境；其中，步行训练环境包括平地行走环境、上坡环境和下坡环境中的一种或多种；

模式选择模块，用于选择下肢步行训练模式；其中，训练模式包括容易、中等、较难和自定义中任意一种步行难易程度模式；

增强现实搭建模块，用于将患者在当前下肢步行训练模式中的脚印投影到跑步机传送带上，搭建步行训练增强现实环境，用于引导患者进行步行训练；

训练计算模块，用于引导患者进行步行训练，在训练过程中判断预设时间内患者的脚对步行训练增强现实环境中增强现实脚印的踏中率，并给予反馈；

分析模块，用于在步行训练结束后，对康复训练数据进行处理输出步行训练的失分原因分析和康复评估报告。

在该实施方式中，基于增强现实的步态康复训练评估方法以基于增强现实的步态康复训练评估系统作为步骤的执行对象，或者以系统内的各个模块作为步骤的执行对象。具体地，步骤1以环境选择模块作为步骤的执行对象，步骤2以模式选择模块作为步骤的执行对象，步骤3以增强现实搭建模块作为步骤的执行对象，步骤4以训练计算模块作为步骤的执行对象，步骤5以分析模块作为步骤的执行对象。

在步骤1中，环境选择模块根据康复训练患者的步行功能的评定结果，确定下肢的步行训练环境是平地行走环境、上坡环境、下坡环境还是综合环境，这个步行训练环境的变化，可以由动力结构推动跑台，再通过变换跑台平面的角度来实现。

在步骤2中，确定某步行训练环境后，模式选择模块选择包括容易、中等、较难和自定义中任意一种下肢步行训练模式；即步行训练模式包括多种难易程度，可以通过由步行速度、步长、步宽、步行时间等参数来设定。

步骤3中，增强现实搭建模块在训练过程中，通过投影仪将患者在当前下肢步行训练模式中的脚印投影到跑步机传送带上，搭建步行训练增强现实环境，用于引导患者进行步行训练。

具体地，步骤3包括：通过投影仪将患者在当前下肢步行训练模式中的脚印投影到跑步机传送带上，增强现实搭建模块通过kinect体感设备、计算机、跑步机和投影仪搭建步行训练增强现实环境；其中，搭建步行训练增强现实环境包括：预先设计一个包括虚拟脚印的增强现实环境；然后通过投影仪将增强现实环境投影在跑步机传送带上面，在患者步行训练时由kinect体感设备采集数据并交由计算机计算得出步态数据以及对增强现实脚印的踏中率。

kinect体感设备是微软公司推出的一种3d体感摄影机，具备即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能。kinect体感设备不需要使用任何控制器，可以依靠相机捕捉三维空间中玩家的运动，并且也能辨识人脸，还可辨认声音和接受命令。在本发明中，可以借助kinect体感设备的深度摄像头实时跟踪和获取人体25个骨骼点的三维位置信息。

请参阅图3，图3中包括kinect体感设备、计算机、投影仪和跑步机，首先将kinect体感设备和投影仪、计算机相连接。然后在计算机unity3d游戏引擎中建立引导步行的增强现实坏境，引导步行的增强现实脚印根据设定的固定步长以及步宽循环出现。再通过kinect体感设备得到人体的骨骼关节点三维空间坐标，实时获取视野范围内进行康复训练的患者每帧的关节点位置信息(即人体骨骼点的三维位置信息)，再将关节点位置信息这些数据发送至计算机，由计算机根据实时检测的关节点位置信息来计算患者踩中增强现实脚印的重合率，统计踩中个数，并计算步长、步宽、步高等数据。

进一步地，步骤2中模式选择模块选择下肢步行训练模式可以利用搭建的步行训练增强现实环境，通过控制增强现实脚印的步长、步距以及跑步机传送带速度，来呈现包括容易、中等、较难和自定义中任意一种步行难易程度模式。

步骤4中，请参阅图4，包括虚拟脚印1，患者真实脚印2，患者脚印与虚拟脚印重合区域3和标识区域4。训练计算模块引导患者进行步行训练，在训练过程中由kinect体感设备实时获取患者人体骨骼的关节点位置信息并进行处理，取踝关节ankle为计算基准，实时获取左右踝关节的信息即ankleleft和ankleright，取两个踝关节深度距离(即z值)之差的绝对值作为实时间距，根据此间距变化来划分步态周期。同时以左右踝关节深度距离之差的最大值记录为当前周期步长，左右踝关节基于kinect水平方向距离(即x值)之差的最大值为当前周期步宽，左右踝关节基于kinect垂直方向距离(即y值)之差的最大值为当前周期步高。

患者在跑步机上进行步行训练时，步行训练增强现实环境循环出现引导步行的增强现实脚印，由投影仪将增强现实脚印投影在跑步机跑带上面，如图4所示，其中虚拟脚印1由投影仪投影出来，会随着跑步机跑带的速度滑动，根据康复医学的训练需求设置了包括容易、中等、困难和自定义等多个难度的速度等级。每个难度等级都有对应的速度，同时将虚拟场景中虚拟脚印1运动速度设置成匹配跑带的速度，使其完成同步。当虚拟脚印1移动到标识区域4时，患者需要将脚移动到虚拟脚印1的位置，区分左右脚。图中阴影区域即重合区域3，虚拟脚印投影出来的大小是参照正常人脚印大小设置，使其更加接近真实情况。因为标识区域4相对于kinect体感设备的摄像头位置是固定的，所以只需要将实时获取的人体踝关节和脚部的位置信息进行计算，可以得到患者脚的中心点位置信息。由于每个人的脚长宽都不一样，这里做了统一化处理，计算面积时长宽是和虚拟脚印的一样，使其更便于计算。记阴影面积为sy,虚拟脚印面积为s，所以脚印重合率p为即训练计算模块利用kinect体感设备采集患者的人体骨骼点三维位置坐标并传输至计算机，由计算机计算得出包括步长、步宽、步高在内的步态数据，并判断预设时间内患者的脚对增强现实脚印的踏中率，给予反馈，在训练中反馈的形式可以是语音提示也可以是以图像方式进行提示，在此不做限定。

步骤5中，分析模块预先构建下肢步行康复训练效果评估模型，在步行训练结束后，利用下肢步行康复训练效果评估模型对康复训练数据进行处理，输出步行训练的失分原因分析和康复评估报告；其中，预先构建下肢步行康复训练效果评估模型包括确定训练前情况、训练设置情况和训练过程情况在内的二级指标，并利用网络分析法获得各个指标的权重，再结合权重向量和灰色评估矩阵获得评估结果记载在康复训练报告中。

具体地，分析模块构建下肢步行康复训练效果评估模型，首先确定评价指标，根据本康复训练的内容和特点结合医学需求选取指标。然后建立指标的网络层次结构，根据下肢康复训练的实际情况建立。为了合理的划分评价指标，设置二级指标：主要分为训练前情况、训练设置情况和训练过程情况3类，每一类二级指标又包含不同个数的三级指标。其中，二级指标中的训练前情况包括下肢lovett肌力分级评定、berg平衡量表评定、下肢fugl-meyer运动功能评估；二级指标中的训练设置包括虚拟脚印难易程度、训练时长、训练速度；二级指标中的训练过程情况包括脚印重合率、反应速度、训练完成比例、动作轨迹平滑度、动作方向准确度。下肢康复训练评估指标中的各级指标如表1所示：

表1

然后根据网络分析法通过以下步骤获得各个指标的权重，包括：

(1)构造初始超矩阵

(2)构造加权超矩阵

(3)计算极限超矩阵

(4)最后得出各指标的权重。

网络分析法(anp)是美国匹兹堡大学的t.l.saaty教授于1996年提出的一种适应非独立的递阶层次结构的决策方法，它是在层次分析法(analytichierarchyprocess,简称ahp)的基础上发展而形成的一种新的实用决策方法。ahp作为一种决策过程，它提供了一种表示决策因素测度的基本方法。这种方法采用相对标度的形式。在递阶层次结构下，它根据所规定的相对标度—比例标度，对同一层次有关元素的相对重要性进行两两比较，并按层次从上到下合成方案对于决策目标的测度。本发明则利用上述多个步骤来获得下肢康复训练评估指标中各个指标的权重。

再由灰色系统理论构建模糊评估矩阵，首先建立样本矩阵，然后确定评估灰类，最后构建评估指标的灰色评估矩阵。结合权重向量和灰色评估矩阵可以得出最终评估结果。在控制理论中，人们常用颜色的深浅形容信息的明确程度，如用“黑”表示信息未知，用“白”表示信息完全明确，用“灰”表示部分信息明确、部分信息不明确。相应地，信息完全明确的系统称为白色系统；信息完全不明确的系统称为黑色系统；部分信息明确、部分信息不明确的系统称为灰色系统。灰色系统理论的研究对象是“部分信息已知、部分信息未知”的“贫信息”不确定系统，它通过“部分”已知信息的生成、开发，实现对现实世界的确切描述和认识。其研究的主要内容包括以灰色朦胧集为基础的理论体系，以灰色关联空间为依托的分析系统，以灰色序列生成为基础的方法体系，以灰色模型(gm)为核心的模型体系，以系统分析、评估、建模、预测、决策、控制、优化为主体的技术体系。本发明则利用灰色系统理论来构建下肢康复训练评估指标的灰色评估矩阵，以便结合之前获得的权重向量和灰色评估矩阵来得出最终患者进行步行训练的评估结果。

综上所述，本发明通过搭建步行训练增强现实环境引导患者有目标地进行步行训练，并且可以通过调整增强现实脚印来设置不同训练模式，在训练中可以实现及时反馈并在训练后给予准确的失分原因评估并生成康复评估报告，提供丰富的步行训练方案和提高患者步行训练的兴趣性，提高下肢步行康复训练的效果。

在本发明的实施方式的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明的实施方式和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的实施方式的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的实施方式的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明的实施方式的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明的实施方式中的具体含义。

在本发明的实施方式中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

下文的公开提供了许多不同的实施方式或例子用来实现本发明的实施方式的不同结构。为了简化本发明的实施方式的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明的实施方式可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明的实施方式提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。此外，在本发明的各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。