基于深度相机和虚拟现实技术的康复功能评定装置及方法与流程

本公开涉及康复评定技术领域，尤其涉及一种基于深度相机和虚拟现实技术的康复功能评定装置及方法。

背景技术：

随着中国社会老龄化的加剧，越来越多的老人由于中风等原因造成上肢瘫痪，给日常生活带来非常大的不便。瘫痪患者需要通过大量的康复训练激发大脑可塑性，恢复一定的运动能力，以实现生活自理，进而提高生活质量，最大程度的回归社会。

对于中风、脑外伤、脊髓损伤等导致的肢体运动功能障碍，准确、定量的康复功能评定是制定康复处方的基础。长期以来，临床康复功能评定手段主要以半定量的量表为主，缺乏准确、量化的评定方法。另一方面，评定过程由人工进行评定，过程繁琐，耗时耗力。

技术实现要素：

(一)要解决的技术问题

本公开提供了一种基于深度相机和虚拟现实技术的康复功能评定装置及方法，以至少部分解决以上所提出的技术问题。

(二)技术方案

根据本公开的一个方面，提供了一种基于深度相机和虚拟现实技术的康复功能评定装置，包括：深度相机，用于连续采集关节动作的深度图像；数据处理模块，其电性连接至深度相机，用于从连续采集的深度图像中提取关节点三维坐标；根据所述关节点三维坐标计算关节角相关参数；以及结合所述关节角相关参数，作出关节运动能力评价；

所述数据处理模块还包括虚拟现实训练子模块，用于将连续采集的深度图像转化为虚拟模型图像；以及显示模块，连接至数据处理模块，用于显示虚拟模型图像。

在本公开的一些实施例中，数据处理模块还包括：存储模块，用于存储深度图像数据、关节点三维坐标数据和关节角相关参数数据。

根据本公开的另一个方面，提供了一种基于深度相机和虚拟现实技术的康复功能评定方法，包括：通过深度相机连续采集关节标准动作的第一深度图像，并提取第一深度图像中的关节点三维坐标，根据该关节点三维坐标计算标准关节角相关参数；将第一深度图像转化为虚拟模型图像，并向用户展示以指引用户做出关节实际动作；通过深度相机连续采集关节实际动作的第二深度图像，并提取第二深度图像中的关节点三维坐标，根据该关节点三维坐标计算实际关节角相关参数；以及结合标准关节角相关参数和实际关节角相关参数，作出关节运动能力评价。

在本公开的一些实施例中，该康复功能评定方法还包括将第二深度图像转化为虚拟模型图像，并向用户展示的步骤。

在本公开的一些实施例中，第一深度图像和/或第二深度图像中的关节点三维坐标通过以下方式得到：

利用图像模板匹配算法对深度图像中的关节点进行定位，并得到其像素点坐标；以及通过3d投影关系分析，计算各像素点坐标对应的关节点三维坐标。

在本公开的一些实施例中，关节点三维坐标的计算公式为：

其中，(x，y，z)为关节点的三维坐标，(i，j)为关节点的像素点坐标，d为深度信息，(δx，δy)为深度相机的畸变参数，(cx，cy)为深度图像中心像素点坐标，(fx，fy)为比例参数。

在本公开的一些实施例中，标准关节角相关参数包括：在一次关节标准动作完成时间内，连续采集的第一深度图像中目标关节点的关节角度轨迹θ(t)以及θ(t)的最大值max{θ(t)}，其中θ(t)即为t时刻采集的一第一深度图像中目标关节点的关节角度；

实际关节角相关参数包括：在一次关节实际动作完成时间内，连续采集的第二深度图像中目标关节点的关节角度轨迹的最大值以及目标关节点的角速度v(t)，其中即为t时刻采集的一第二深度图像中目标关节点的关节角度。

在本公开的一些实施例中，θ(t)和的计算公式如下：

其中，ψ为θ(t)或(x0，y0，z0)为目标关节点的三维坐标；(x1，y1，z1)为目标关节点的上一关节点的三维坐标；(x2，y2，z2)为目标关节点的下一关节点的三维坐标；α为目标关节点和上一关节点之间的距离；b为目标关节点和下一关节点之间的距离；c为上一关节点和下一关节点之间的距离。

在本公开的一些实施例中，关节角速度v(t)的计算公式为：

其中，为t时刻采集的该第二深度图像中的关节角度，ts为第二深度图像采集的时间间隔。

在本公开的一些实施例中，关节运动能力评价的方式包括：关节活动度指标评价；以及fugl-meyer量表评定。

在本公开的一些实施例中，关节活动度指标评价将目标关节点的作为关节活动度指标，其通过以下方式进行：针对目标关节重复实际关节动作n次，n≥1，获得n个目标关节点的值；以及对获取的n个值取平均值作为目标关节的关节活动度指标评价结果。

在本公开的一些实施例中，关节活动度指标评价还包括针对不同目标关节的关节活动度指标评价。

在本公开的一些实施例中，fugl-meyer量表评定过程包括：针对目标关节重复实际关节动作n次，n≥1，获取n个目标关节点的值；在一次关节动作的指定完成时间内，对该fugl-meyer量表中对应的评定项目进行打分：若则该评定项目得分为0，若且v(t)≤0，则该评定项目得分为1，若且v(t)≠0，则该评定项目得分为2；以及对获取的n个得分取平均值作为fugl-meyer量表目标关节的评定结果。

在本公开的一些实施例中，fugl-meyer量表评定过程还包括对不同目标关节进行评定。

(三)有益效果

从上述技术方案可以看出，本公开基于深度相机和虚拟现实技术的康复功能评定装置及方法至少具有以下有益效果其中之一：

(1)可通过深度相机采集治疗师的标准关节动作和用户的实际关节动作的深度图像，利用图像处理方法获取关节点的三维坐标，并由此计算标准关节动作和实际关节动作的关节角度轨迹，据此进行关节运动能力评价，实现了关节运动能力准确、快速的量化评定。

(2)通过虚拟现实模块将标准关节动作通过显示模块呈现给用户，指引患者做相应的实际关节动作，可以不用治疗师的引导而自动化地完成评测过程。

(3)通过虚拟现实模块将用户的实际关节动作通过显示模块呈现给用户，可使用户能够时刻看到自己动作上的偏差，以尽最大能力去进行评测，保证结果客观准确。

附图说明

图1为本公开实施例基于深度相机和虚拟现实技术的康复功能评定装置结构原理图。

图2为本公开实施例基于深度相机和虚拟现实技术的康复功能评定装置结构示意图。

图3为本公开实施例基于深度相机和虚拟现实技术的康复功能评定方法流程图。

图4为本公开实施例关节角度计算方法示意图。

【附图中本公开实施例主要元件符号说明】

1-深度相机；2-计算机；

3-显示器；4-患者；

5-标准关节动作图像；6-实际关节动作图像；

7-电缆；8-电缆。

具体实施方式

本发明通过深度相机对患者的动作进行捕捉，通过虚拟现实场景进行评定项目的指示和反馈，通过图像处理算法对患者的运动能力进行分析和定量评价，整个过程不需要其他人员参与，患者根据指示即可完成，省时省力，节省人工，节省成本，并可以在家庭等场合使用。

需要实现阐明的是，所述“深度相机”是既能够采集rgb图像，又能够采集每个像素深度信息的相机，也称作rgbd相机，包括但不局限于基于结构光原理、tof原理或双目成像原理的深度相机。本公开所述“虚拟现实技术”是利用计算机生成一种模拟环境，以及将用户的自然技能如头部转动、手势等人体行为动作相关动作作出处理和响应，并在模拟环境下反馈到用户的技术。

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

作为一示例性实施例，本公开提供了一种基于深度相机和虚拟现实技术的康复功能评定装置。图1为本公开实施例基于深度相机和虚拟现实技术的康复功能评定装置结构原理图。如图1所示，本公开基于深度相机和虚拟现实技术的康复功能评定装置包括：深度相机，用于连续采集关节动作的深度图像；数据处理模块，用于从连续采集的深度图像中提取关节点三维坐标，根据关节点三维坐标计算关节角相关参数，以及结合关节角相关参数，作出关节运动能力评价；数据处理模块还包括虚拟现实训练子模块，用于将连续采集的深度图像转化为虚拟模型图像；显示模块，连接至所述数据处理模块，用于显示所述虚拟模型图像；以及存储模块，用于存储深度图像数据、关节点三维坐标数据和关节角相关参数数据等。

图2为本公开实施例基于深度相机和虚拟现实技术的康复功能评定装置结构示意图。结合图2对该康复功能评定装置的各个组成部分作出详细说明如下：

本实施例中，数据处理模块的功能是通过计算机2来实现的，也即数据处理模块是计算机2的功能组成部分；而虚拟现实训练子模块则是以软件程序的形式储存于计算机2内，即为虚拟现实软件，该虚拟现实软件可基于unity3d进行开发；存储模块可为计算机2的硬盘等常规存储设备。

深度相机1通过电缆7连接至计算机2，将其采集的深度图像信息传输至计算机2内进行图像处理和计算。

显示器3通过电缆8连接至计算机2，将虚拟模型图像通过显示器3直观地呈现给用户，该虚拟模型图像包括标准关节动作图像5和用户的实际关节动作图像6，其中该标准关节动作5可由治疗师做出，以保证关节动作的标准性。用户训练时，按照显示器3中的标准动作图像5进行运动，同时患者的实际动作图像6现实在显示器3中。

至此，本公开基于深度相机和虚拟现实技术的康复功能评定装置介绍完毕。基于上述康复功能评定装置，本公开还提供了一种基于深度相机和虚拟现实技术的康复功能评定方法，以下对本公开基于深度相机和虚拟现实技术的康复功能评定方法作详细介绍。

图3为本公开实施例基于深度相机和虚拟现实技术的康复功能评定方法流程图。如图3所示，作为一示例性实施例，本公开基于深度相机和虚拟现实技术的康复功能评定方法包括：

步骤a：采集关节标准动作的第一深度图像，提取第一深度图像中的关节点三维坐标，并根据该关节点三维坐标计算标准关节角相关参数，具体包括：

子步骤a1：通过深度相机1进行动作捕捉，根据图像模板匹配算法能够定位至关节点，该关节点为与关节相关的例如人体的头、躯干、四肢关节等重要特征部位，并得到各关节点的像素点坐标，由于图像模板匹配算法为现有的算法，且与本发明的创造性无关，故不作赘述；

子步骤a2：通过3d投影关系分析，计算各像素点坐标对应的关节点三维坐标，计算公式为：

其中，(x，y，z)为关节点的三维坐标，(i，j)为关节点的像素点坐标，d为深度信息，(δx，δy)为深度相机的畸变参数，(cx，cy)为深度图像中心像素点坐标，(fx，fy)为比例参数。

子步骤a3：计算标准关节角相关参数，本实施例中，该标准关节角相关参数包括在一次关节标准动作完成时间内，连续采集的第一深度图像中目标关节点的关节角度轨迹θ(t)以及θ(t)的最大值max{θ(t)}。θ(t)的计算过程如下：

如图4所示，图中包括目标关节点0，目标关节点0的上一关节点1和目标关节点0的下一关节点2，三者的连线形成了一关节角ψ，通过下述四个计算公式，即可计算得到ψ，而θ(t)即为t时刻采集的一第一深度图像中目标关节点的关节角ψ。

(1)

(2)

(3)

(4)

其中，(x0，y0，z0)为目标关节点的三维坐标；(x1，y1，z1)为目标关节点的上一关节点的三维坐标；(x2，y2，z2)为目标关节点的下一关节点的三维坐标；α为目标关节点和上一关节点之间的距离；b为目标关节点和下一关节点之间的距离；c为上一关节点和下一关节点之间的距离。

步骤b：将第一深度图像转化为虚拟模型图像，并将其向用户展示，这样可引导用户做出关节实际动作，可将深度相机1采集的连续的第一深度图像信息储存于电脑磁盘中，这样在后续使用过程中就无需多次采集同一个标准动作。

步骤c：采集关节实际动作的第二深度图像，提取第二深度图像中的关节点三维坐标，并根据该关节点三维坐标计算实际关节角相关参数。

本步骤中，在采集关节实际动作时，还包括将第二深度图像转化为虚拟模型图像，并向用户展示的步骤，这样有利于患者能够时刻看到自己的偏差，能够尽最大能力去进行评测，保证结果客观准确。

本步骤中，获取第二深度图像中的关节点三维坐标的具体操作与子步骤a1至a2相同，可参考子步骤a1至a2进行；

本步骤中，实际关节角参数包括：在一次关节实际动作完成时间内，连续采集的第二深度图像中目标关节点的关节角度轨迹的最大值以及目标关节点的角速度v(t)。其中，可参考子步骤a3中公式计算获得，即为t时刻采集的一第二深度图像中目标关节点的关节角ψ；而目标关节点的角速度的计算公式如下：

其中，为t时刻采集的该第二深度图像中的关节角度，ts为第二深度图像采集的时间间隔。

步骤d：结合标准关节角相关参数和实际关节角相关参数，作出关节运动能力评价。在本实施例中，该关节运动能力评价包括关节活动度指标评价以及fugl-meyer量表评定。

其中，关节活动度指标评价将目标关节点的作为关节活动度指标，包含以下步骤：

子步骤d1：针对目标关节重复实际关节动作n次，即为重复n次步骤c，n≥1，并计算目标关节点的值。

子步骤d2：对获取的n个值取平均值作为目标关节的关节活动度指标评价结果。

fugl-meyer量表评定过程包括：

子步骤d1’：针对目标关节重复实际关节动作n次，n≥1，获取n个目标关节点的值；

子步骤d2’：在一次关节动作的指定完成时间内，对所述fugl-meyer量表中对应的评定项目进行打分：若则该评定项目得分为0，若且v(t)≤0，则该评定项目得分为1，若且v(t)≠0，则该评定项目得分为2；

子步骤d3’：对获取的n个得分取平均值作为fugl-meyer量表目标关节的评定结果。

对不同的关节进行子步骤d1至d2的操作，以及进行子步骤d1’至d3’的操作，记录每个关节对应的关节活动度和fugl-meyer量表得分，即可作为用户运动能力的综合评价结果，并生成评定报告。

至此，本公开基于深度相机和虚拟现实技术的康复功能评定方法介绍完毕。

综上所述，本公开提供一种基于深度相机和虚拟现实技术的康复功能评定装置和方法，利用深度相机采集关节动作，并通过虚拟显示场景进行评定项目的指示和反馈，通过图像处理算法对用户的运动能力进行分析和评价，将评定过程量化，具有准确、快速的优点，并且整个过程无需他人参与，用户可根据指示完成，省时省力，节省人工和成本，可以再家庭等场合使用。

还需要说明的是，贯穿附图，相同的元素由相同或相近的附图标记来表示。在可能导致对本公开的理解造成混淆时，将省略常规结构或构造。并且图中各部件的形状和尺寸不反映真实大小和比例，而仅示意本公开实施例的内容。另外，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。

再者，单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。

说明书与权利要求中所使用的序数例如“第一”、“第二”、“第三”等的用词，以修饰相应的元件，其本身并不意味着该元件有任何的序数，也不代表某一元件与另一元件的顺序、或是制造方法上的顺序，该些序数的使用仅用来使具有某命名的一元件得以和另一具有相同命名的元件能做出清楚区分。

此外，除非特别描述或必须依序发生的步骤，上述步骤的顺序并无限制于以上所列，且可根据所需设计而变化或重新安排。并且上述实施例可基于设计及可靠度的考虑，彼此混合搭配使用或与其他实施例混合搭配使用，即不同实施例中的技术特征可以自由组合形成更多的实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。。

以上所述的具体实施例，对本公开的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本公开的具体实施例而已，并不用于限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。