一种基于动作识别的康复训练效果评估系统的制作方法

本发明涉及康复训练领域，具体涉及一种基于动作识别的康复训练效果评估系统。

背景技术：

康复是指综合地、协调地应用医学的、教育的、社会的、职业的各种方法，使病、伤、残者(包括先天性残)已经丧失的功能尽快地、能尽最大可能地得到恢复和重建，使他们在体格上、精神上、社会上和经济上的能力得到尽可能的恢复，使他们重新走向生活，重新走向工作，重新走向社会(who)。康复不仅针对疾病而且着眼于整个人、从生理上、心理上，社会上及经济能力进行全面康复，在中风患者康复时有需要进行康复信息训练，在进行康复训练时需要使用到训练效果评估系统。

现有的训练效果评估系统，在使用时，评估结果偏差较大，容易导致医护人员和患者都无法直观的了解到康复状况，给训练效果评估系统的使用带来了一定的影响，因此，提出一种基于动作识别的康复训练效果评估系统。

技术实现要素：

本发明所要解决的技术问题在于：如何解决现有的训练效果评估系统，在使用时，评估结果偏差较大，容易导致医护人员和患者都无法直观的了解到康复状况，给训练效果评估系统的使用带来了一定的影响的问题，提供了一种基于动作识别的康复训练效果评估系统。

本发明是通过以下技术方案解决上述技术问题的，本发明包括影像获取模块、影像接收模块、影像处理模块、总控模块与评估模块；

所述影像获取模块用于获取病患人体影像信息，所述影像接收模块用于接收人体影像信息，并将人体影像信息发送到影像处理模块，所述影像处理模块对人体影像信息进行处理，人体影像信息进行处理后总控模块发出控制信息，控制评估模块进行评估作业得到评估分，通过评估分的高低来判定病患康复训练效果；

所述人体影像信息进行处理的过程中需要通过深度图像、发现人体、识别人体部位、识别人体关节四个阶段形成骨架模型。

优选的，所述深度图像处理过程如下：先进行一次光源标定，再确定空间中物体的位置得到深度图像，通过lightcoding深度测量技术以“激光散斑”为光源，激光射到粗糙物或穿透毛玻璃后形成衍射斑点，通过红外摄影机发射激光散斑，红外摄像头分析红外光谱后将散斑信息传给primesense芯片，在可视空间内，每隔一定的距离取一个参考面，记录其散斑图案，将这些参考面组合就形成了整个空间的散斑图案，完成了光源标定，由于激光散斑的随机性，空间中每个物体的散斑图案各不相同，将每个物体的散斑图案分别与每个参考面散斑图案做互相关运算，依据运算结果可确定物体的空间位置、形状等，再经过插值运算即可得到场景的三维形状，即深度图像。

优选的，所述发现人体的过程如下：通过对背景和人体的分割，输出人体轮廓，着重扫描靠近它的区域，该区域极大可能的存在用户，其次逐个像素的扫描以上区域的深度图像，通过计算机图形视觉技术，包括边缘检测、噪声阈值处理、提取目标特征点等技术将人体从背景中分离。

优选的，所述识别人体部位具体过程如下：利用骨骼跟踪学习技术--exemplar系统进行机器学习识别人体部位的，通过扫描深度图像的每个像素，并在“随机决策库”中搜索，通过概率推测的方法来判断该像素属于人体的具体部位。

优选的，所述识别人体关节的具体过程如下：对上一环节的每个部位的像素进行评估，同样利用机器学习，通过近似概率匹配，得到人体部位的关节点，将这些关节点合成整体，就形成了人体骨架模型，此时得到的是人体骨骼的三维坐标，需要通过数学处理，将三维坐标转化为显示在屏幕上的二维坐标。

优选的，所述骨架模型的具体处理过程如下：骨架三维坐标以影像获取模块的红外摄像头为0点，设置x、y、z轴，左侧为x轴正半轴，上侧为y轴的正半轴，前侧为z轴的正半轴，x轴记录的是人物在空间中左右坐标，y轴记录的是人物的空间上下坐标，z轴表示三维空间的前后，通过数学运算后得到的二维人体骨架模型。

优选的，所述评估模块在评估过程中需要设置标准动作，根据选取的标准动作，将每个动作的关键性的特征向量找到，并计算其特征向量角度，这些关键性特征向量的方向角度，将作为动作对比过程的关键对比因素，依据数据预处理内容，经坐标变换后的关节点以髋关节为原点，人体的右手边为x轴的正方向，人体的前方即面对为y轴正方向，竖直向上的方向为z轴的正方向，标准动作特征向量方向角度也是按照这个坐标系计算的。

优选的，所述评估模块在患者在进行康复训练时，对每一个动作都会进行相似性分析和动作行为评价，动作行为评价依据相似性分析结果而异，根据是否在阈值之内做出不同的评价，及时反馈给患者，并要求患者按照系统提示执行动作，在全套康复训练动作完成后，系统会根据完成率进行打分，患者可依据每次的打分记录查看自己训练成长过程，同时医生也可查看打分记录了解患者康复状态，如果相似性分析结果在阈值之内，则系统会要求患者在该动作处停留三秒再进入下一个动作训练，而相似性分析结果在阈值之外分为两种情况，一种是超出了标准动作规定的关键特征向量方向角度加阈值之后所得的角度，则系统会提示患者减轻力度，如果低于该角度，系统会提示患者增大力度，要求患者重新执行该动作，待患者重新执行该动作时，重新捕捉患者动作，得到关节点数据，系统经过数据预处理、特征向量的提取和计算方向角度后，重新进行相似性分析和动作行为评价，若此次动作在阈值之内，则在停留三秒后进入下一动作，否则会要求患者再次执行该动作，在预设次数次动作执行都不符合标准的情况下，系统会记录该动作的得分自动进入下一动作，在全部动作执行完毕后，系统会依据每个单独动作的执行分数求平均数得到本次训练的最终分数，每个动作的满分为预设分，最终得分计算公式：

其中，s是整个康复训练下来的总得分，是每个动作得分之和的平均值，xi是第i动作的得分，n是本次训练共包括的动作个数。

本发明相比现有技术具有以下优点：该基于动作识别的康复训练效果评估系统，通过对康复患者进行人体骨骼模型化的处理，能够更好对其进行动作识别，将其与预设的标准模型进行比对，通过该种比对对病患进行更加精准的康复训练评估，通过评分的高低，来了解到的康复患者的康复训练效果，系统会根据完成率进行打分，患者可依据每次的打分记录查看自己训练成长过程，同时医生也可查看打分记录了解患者康复状态，让该系统更加值得推广使用。

附图说明

图1是本发明的整体结构图；

图2是本发明的动作比对图；

图3是本发明的动作评估过程图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1～3所示，本实施例提供一种技术方案：一种基于动作识别的康复训练效果评估系统，包括影像获取模块、影像接收模块、影像处理模块、总控模块与评估模块；

所述影像获取模块用于获取病患人体影像信息，所述影像接收模块用于接收人体影像信息，并将人体影像信息发送到影像处理模块，所述影像处理模块对人体影像信息进行处理，人体影像信息进行处理后总控模块发出控制信息，控制评估模块进行评估作业得到评估分，通过评估分的高低来判定病患康复训练效果；

所述人体影像信息进行处理的过程中需要通过深度图像、发现人体、识别人体部位、识别人体关节四个阶段形成骨架模型。

所述深度图像处理过程如下：先进行一次光源标定，再确定空间中物体的位置得到深度图像，通过lightcoding深度测量技术以“激光散斑”为光源，激光射到粗糙物或穿透毛玻璃后形成衍射斑点，通过红外摄影机发射激光散斑，红外摄像头分析红外光谱后将散斑信息传给primesense芯片，在可视空间内，每隔一定的距离取一个参考面，记录其散斑图案，将这些参考面组合就形成了整个空间的散斑图案，完成了光源标定，由于激光散斑的随机性，空间中每个物体的散斑图案各不相同，将每个物体的散斑图案分别与每个参考面散斑图案做互相关运算，依据运算结果可确定物体的空间位置、形状等，再经过插值运算即可得到场景的三维形状，即深度图像。

所述发现人体的过程如下：通过对背景和人体的分割，输出人体轮廓，着重扫描靠近它的区域，该区域极大可能的存在用户，其次逐个像素的扫描以上区域的深度图像，通过计算机图形视觉技术，包括边缘检测、噪声阈值处理、提取目标特征点等技术将人体从背景中分离。

所述识别人体部位具体过程如下：利用骨骼跟踪学习技术--exemplar系统进行机器学习识别人体部位的，通过扫描深度图像的每个像素，并在“随机决策库”中搜索，通过概率推测的方法来判断该像素属于人体的具体部位。

所述识别人体关节的具体过程如下：对上一环节的每个部位的像素进行评估，同样利用机器学习，通过近似概率匹配，得到人体部位的关节点，将这些关节点合成整体，就形成了人体骨架模型，此时得到的是人体骨骼的三维坐标，需要通过数学处理，将三维坐标转化为显示在屏幕上的二维坐标。

所述骨架模型的具体处理过程如下：骨架三维坐标以影像获取模块的红外摄像头为0点，设置x、y、z轴，左侧为x轴正半轴，上侧为y轴的正半轴，前侧为z轴的正半轴，x轴记录的是人物在空间中左右坐标，y轴记录的是人物的空间上下坐标，z轴表示三维空间的前后，通过数学运算后得到的二维人体骨架模型。

所述评估模块在评估过程中需要设置标准动作，根据选取的标准动作，将每个动作的关键性的特征向量找到，并计算其特征向量角度，这些关键性特征向量的方向角度，将作为动作对比过程的关键对比因素，依据数据预处理内容，经坐标变换后的关节点以髋关节为原点，人体的右手边为x轴的正方向，人体的前方即面对为y轴正方向，竖直向上的方向为z轴的正方向，标准动作特征向量方向角度也是按照这个坐标系计算的。

所述评估模块在患者在进行康复训练时，对每一个动作都会进行相似性分析和动作行为评价，动作行为评价依据相似性分析结果而异，根据是否在阈值之内做出不同的评价，及时反馈给患者，并要求患者按照系统提示执行动作，在全套康复训练动作完成后，系统会根据完成率进行打分，患者可依据每次的打分记录查看自己训练成长过程，同时医生也可查看打分记录了解患者康复状态，如果相似性分析结果在阈值之内，则系统会要求患者在该动作处停留三秒再进入下一个动作训练，而相似性分析结果在阈值之外分为两种情况，一种是超出了标准动作规定的关键特征向量方向角度加阈值之后所得的角度，则系统会提示患者减轻力度，如果低于该角度，系统会提示患者增大力度，要求患者重新执行该动作，待患者重新执行该动作时，重新捕捉患者动作，得到关节点数据，系统经过数据预处理、特征向量的提取和计算方向角度后，重新进行相似性分析和动作行为评价，若此次动作在阈值之内，则在停留三秒后进入下一动作，否则会要求患者再次执行该动作，在预设次数次动作执行都不符合标准的情况下，系统会记录该动作的得分自动进入下一动作，在全部动作执行完毕后，系统会依据每个单独动作的执行分数求平均数得到本次训练的最终分数，每个动作的满分为预设分，最终得分计算公式：

其中，s是整个康复训练下来的总得分，是每个动作得分之和的平均值，xi是第i动作的得分，n是本次训练共包括的动作个数。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。