一种基于机器智能的手部运动功能分析系统

1.本发明涉及手部运动评估领域，特别是涉及一种基于机器智能的手部运动功能分析系统。


背景技术：

2.中风，也被称为脑卒中和脑血管意外(cav)，它是一类导致脑功能迅速丧失的脑血液循环障碍性疾病。在全球范围内，卒中仍是世界上第二大死亡原因，同时也是死亡和残疾的第三大主要原因。随着全球人口的不断增多和老龄化现象的日趋严重，脑卒中的患病率和致残率预计仍会呈上升趋势。数据表明，全世界大概约有85％的中风患者存在手部功能障碍，60％的患者在接受治疗出院后上肢(尤其是手指和手腕)仍存在损伤。手部功能障碍导致患者无法完成简单的日常活动，如系鞋带，拧毛巾，捡拾，移动物体等。这些活动的丧失使其本身和家人的生活质量水平下降。相比于其它关节，手部在中风后的恢复要迟缓很多，上肢的屈肌模式影响了手的伸展，进而影响手的功能。根据手功能受损和评估结果，将病期分为六个阶段：1)软瘫期：手部包括各手指软弱无力；2)微动期：出现少许手指主动屈曲的微动作，但不能伸展；3)整体抓握期：手部出现整体勾状抓握但不能放松并且没有手指伸直动作；4)功能恢复前期：手部可以做侧捏动作，可以有拇指轻微放开动作，但并不能进行功能活动；5)功能恢复期：可以进行整体手掌的抓握，例如圆柱形抓握或球状抓握，虽然动作表现笨拙且手的功能有限，但可以进行随意的手指整体伸直；6)功能期：所有抓握的型式都在病人主动控制之下。
3.有一些研究开展了基于光学动作捕捉设备的手部康复评估(如发明专利“多维视觉手功能康复定量评估系统和评估方法”)，但仍然存在着改进的空间：1)使用基于多光学动作捕捉设备的定制工具进行数据采集，不便于在患者家庭、社区环境下开展数据采集和评定工作；2)直接使用光学动作捕捉设备提取的数据进行评定，影响了其评定的精度；3)提出没有经过临床验证的指标进行手功能康复评估，影响了其适用范围；4)使用固定的评分库或评分规则，影响了其后期维护和本地化工作。因此说明，现有的手部康复评估系统存在应用广泛性差以及评估准确性低的问题，对此，本发明提出一种基于机器智能的手部运动功能分析系统。


技术实现要素：

4.本发明的目的是提供一种基于机器智能的手部运动功能分析系统，能够解决现有的手部康复评估系统存在应用广泛性差以及评估准确性低的问题。
5.为实现上述目的，本发明提供了如下方案：
6.一种基于机器智能的手部运动功能分析系统，包括：数据采集模块，数据预处理模块，特征集构建模块和运动评估模块；
7.所述数据采集模块，用于采集目标患者执行预设运动任务时的手部运动数据，得到不同类型运动任务对应的手部运动数据集；所述预设运动任务包括多种类型运动任务；
所述手部运动数据集包括至少执行一次对应类型运动任务的手部运动数据；
8.所述数据预处理模块，用于对每一所述手部运动数据集提取手部各关节运动数据，并对所述手部各关节运动数据进行数据缺失值补充和数据去噪处理，得到预处理后的手部运动数据集；
9.所述特征集构建模块，用于对所述预处理后的手部运动数据集进行特征提取，得到执行每一类型运动任务时的手部运动特征；所述手部运动特征包括手掌与近节指骨的夹角、近节指骨与中节指骨的夹角，中节指骨与远节指骨的夹角以及各关节的运动范围；
10.运动评估模块，用于将每一所述手部运动特征分别输入到对应的神经网络模型中，得出每一类型运动任务的评分并将每一类型运动任务的评分求和得到所述目标患者的手部运动功能总得分。
11.根据本发明提供的具体实施例，本发明公开了以下技术效果：
12.本发明涉及一种基于机器智能的手部运动功能分析系统，包括数据采集模块，用于采集目标患者执行预设运动任务时的手部运动数据，得到不同类型运动任务对应的手部运动数据集；所述预设运动任务包括多种类型运动任务；所述手部运动数据集包括至少执行一次对应类型运动任务的手部运动数据；数据预处理模块，用于对每一所述手部运动数据集提取手部各关节运动数据，并对所述手部各关节运动数据进行数据缺失值补充和数据去噪处理，得到预处理后的手部运动数据集；特征集构建模块，用于对所述预处理后的手部运动数据集进行特征提取，得到执行每一类型运动任务时的手部运动特征；所述手部运动特征包括手掌与近节指骨的夹角、近节指骨与中节指骨的夹角，中节指骨与远节指骨的夹角以及各关节的运动范围；运动评估模块，用于将每一所述手部运动特征分别输入到对应的神经网络模型中，得出每一类型运动任务的评分并将每一类型运动任务的评分求和得到所述目标患者的手部运动功能总得分。通过对采集手部运动数据经预处理后进行特征的提取，从而基于提取的手部运动特征应用神经网络模型进行运动功能评估，提高了手部运动功能评估的准确性。
附图说明
13.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
14.图1为本发明实施例1提供的基于机器智能的手部运动功能分析系统框图；
15.图2为本发明实施例1提供的系统所需设备的连接示意图；
16.图3为本发明实施例1提供的数据采集模块界面图；
17.图4为本发明实施例1提供的数据预处理模块界面图；
18.图5为本发明实施例1提供的手部各关节示意图；
19.图6为本发明实施例1提供的手部运动特征示意图；
20.图7为本发明实施例1提供的手部实体关节示意图；
21.图8为本发明实施例1提供的手部关节夹角示意图；
22.图9为本发明实施例1提供的手指特征计算示意图；
23.图10为本发明实施例1提供的手指的几何图形示意图；
24.图11为本发明实施例1提供的特征筛选子模块的特征动态筛选过程示意图；
25.图12为本发明实施例1提供的运动评估模块界面图；
26.图13为本发明实施例1提供的康复评估报告模块界面图。
27.附图标记：
28.t1-数据采集模块；t2-数据预处理模块；t3-特征集构建模块；t4-运动评估模块；t5-康复评估报告模块；t6-维护模块。
具体实施方式
29.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
30.运动功能评定是观察患者康复情况，了解治疗效果的客观标准，也是脑卒中康复的重要内容和前提，它对康复治疗目标和方案制定起着指导作用，有利于康复效果的评测。手部(尤其是手指和手腕)精细运动的功能评定在康复治疗过程中占据着重要的地位。目前对于患者手部功能运动的评定，康复理疗师大多使用临床量表进行运动评定，主要包括brunnstorm偏瘫功能评价表，fugl-meyer评估表(fma)，wolf运动功能测试评定表(wolf motor function test，wmft)，b&b评定表(box and block test，bbt)等。但是这些临床量表存在一些局限性：1)记录、审查和分析过程需要耗费大量人力和时间；2)评定分析的主观性较强；3)灵活性差，需要标准化设备来完成评估；4)并没有完全针对于手部运动功能的常用评定表，结果可能会不够准确。因此，传感器被应用于手部运动评定中，但是常用的运动捕捉技术(如基于反光球的采集设备，基于机器视觉的采集设备)也存在着一些局限性：1)硬件要求较高导致成本费用过高；2)对环境的要求比较严格(如光照条件)。因此，在临床康复和社区康复的环境下，常用的运动捕捉技术及相关手部运动功能评定方案都展示出了不同方面的局限性。
31.本发明提出了一种基于机器智能的手部运动功能分析系统工具进行脑卒中患者手部运动功能评定，它可以很好地改善现有评估方法和系统在手部康复评定的局限性，也为脑卒中患者手部功能评定提供了新的思路和方法。本系统主要基于机器智能，其核心由三个系统构成：1)无标记点运动数据采集子系统，主要是通过使用单台基于红外摄像头和红外led的光学手势追踪设备采集手部精细动作数据；2)运动功能智能评估子系统，使用训练完备的手部评估模型来自动计算临床量表的评分；3)基于网络的数据储存、管理与传输子系统，实现数据的远程采集、管理和分享。
32.通过对卒中患者手部运动数据非接触式采集、基于数据和智能算法的功能评定，实现对手部功能的智能量化分析和自动打分；并且可以通过互联网将所采集的数据和评定结果传输给远程存储和管理系统，以实现异地数据查阅、康复评定与诊断。康复理疗师可以在远程系统上查阅患者数据，并参考患者的功能评价结果和运动录像，有目的地制定或修正康复训练计划。患者也可以通过远程系统，查阅自己评价结果，更好地了解康复情况，增强康复信心和主观能动性。
33.本发明的目的是提供一种基于机器智能的手部运动功能分析系统，能够解决现有的手部康复评估系统存在应用广泛性差以及评估准确性低的问题。
34.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
35.实施例1
36.如图1所示，本实施例提供一种基于机器智能的手部运动功能分析系统，包括：数据采集模块t1，数据预处理模块t2，特征集构建模块t3和运动评估模块t4；
37.所述数据采集模块t1，用于采集目标患者执行预设运动任务时的手部运动数据，得到不同类型运动任务对应的手部运动数据集；所述预设运动任务包括多种类型运动任务；所述手部运动数据集包括至少执行一次对应类型运动任务的手部运动数据；
38.在数据采集之前，首先检查受试者(目标患者)各个关节的活动范围以提高测试数据的准确性。
39.本实施例中，利用基于红外传感器原理的非接触式光学手势追踪设备采集目标患者执行预设运动任务时的手部运动数据。由于使用单台光学手势追踪设备，无需进行设备标定等前期操作。所述预设运动任务包括fma评估量表中包含的运动任务(以fma的评估任务为例，理疗师可以根据所选评定量表进行更换)。
40.如图2所示，在实际环境下划分出康复评估区域，安装测试所需设备。患者坐在桌子旁，观看一段康复评估的动作视频讲解，然后在计算机中运行定制的运动数据采集模块t1(如图3所示)，使用ultraleap stereo ir 170设备按照采用的fma评估量表所包含的7个运动任务进行手部运动数据的采集和数据集的构建。
41.fma量表从brunnstrom评测法的基础上发展而来，是一种累加积分量表。量表的手部评估部分主要针对手部运动功能、平衡、关节功能(0-2分，三个等级)。参与者需要通过完成fma量表规定的动作进行临床评估并获取得分(7项任务，如表1所示)，如：弯曲、伸展、对捏，三种抓握，根据临床测试的结果进行单项打分从而客观地评估患者手部运动情况。fma评估量表已被证明评测效度和可信度较高，能较实际地对脑卒中患者的手部功能进行评定，是临床上使用最多的方法。
42.表1传统fma7项手部评定任务以及评分细则
[0043][0044][0045]
手部动作数据由stereo ir 170进行捕捉采集，stereo ir 170是ultraleap公司研发的一款功耗低、尺寸小，低成本的光学手部跟踪捕捉设备。它可以识别27种手部元素，并以90hz的频率进行数据采集。同时，得益于其内置的深度算法，它可以很好地估计手部关节的三维坐标(xyz)。其次，发明者开发了一款运动数据采集模块t1(如图3所示)，该模块可以将采集的数据与相对应的帧数保存在计算机中，按照不同的评估任务进行数据分类，数据以csv.的格式进行保存。
[0046]
为了保证数据集的数据更充分，可以在构建手部运动数据集时，可以选择各种程度的脑卒中患者。当所有患者完成量表任务之后，每一位患者会生成7个不同的运动数据
集。
[0047]
本实施例中，采用了基于红外传感原理的非接触式光学手势追踪设备(首选但不限于ultraleap公司最新研发的stereo ir 170)进行运动数据的采集。以非接触红外成像设备作为数据采集的硬件设备，与传统的基于穿戴式传感器的数据采集设备相比(如数据手套等)，避免了穿戴不适、尺寸不合，中风严重的患者无法正常穿戴设备等缺陷。在数据采集过程中，患者的手部活动更加灵活，收集的数据更加精确，有利于准确了解患者的运动状态，保证运动功能评定的有效进行。另一方面，由于其单个设备无需调试，即插即用，避免了类似手部数据采集系统的前期标定步骤，从而也进一步实现了在患者家庭、社区环境下进行数据采集。
[0048]
所述数据预处理模块t2，用于对每一所述手部运动数据集提取手部各关节运动数据，并对所述手部各关节运动数据进行数据缺失值补充和数据去噪处理，得到预处理后的手部运动数据集。
[0049]
使用计算机对上述生成的运动数据集进行预处理，包含数据缺失值补充、过滤和分割处理，数据预处理模块t2的界面如图4所示。首先将stereo ir 170采集的每个数据集提取出20个关节的运动数据，包括拇指的掌指/远端指尖关节，其它四指的掌指关节，近/远端指间关节(如图5所示)。然后对提取的数据使用深度学习算法(datawig)进行缺失值的补充，并使用奇异谱分析法(singular spectrum analysis，ssa)对补充后的数据集进行去噪，最后根据患者重复运动的次数对数据集进行分割(去噪和分割功能都由“预处理”按钮完成，如图4所示)。
[0050]
具体的，所述数据预处理模块t2包括：
[0051]
数据提取子模块，用于对每一所述手部运动数据集提取手部各关节运动数据；所述手部各关节运动数据包括剔除手部指尖后的各关节的运动数据；
[0052]
数据缺失值补充和数据去噪处理子模块，用于利用深度学习算法进行关节运动数据的补充并利用奇异谱分析法对补充后的数据进行去噪，得到补充去噪数据集。
[0053]
本实施例中，采用的基于深度学习的缺失值补充方法同传统的缺失值填充方法相比，准确度提升较大。同时所采用的奇异谱分析法同其它滤波算法相比，准确度更高、稳定性更强，这使得降噪效果更好，运动数据更加平滑。经过数据预处理后得到的数据更能够体现出手部运动过程，从而有利于后续提取特征的准确性。
[0054]
为了过滤掉如由于生疏、紧张、疲劳等生理状态导致的异常动作数据，可以要求患者重复多次执行同一类型的预设任务，同时为了便于后续评估每一类型运动任务的评分，可以依据重复次数将数据集进行分割，得到多个子数据集。因此，所述数据预处理模块t2还包括：数据分割子模块；
[0055]
所述数据分割子模块，用于根据每一类型运动任务的执行次数对所述补充去噪数据集进行分割，得到所述执行次数个的数据子集；每一所述数据子集为所述预处理后的手部运动数据集。
[0056]
所述特征集构建模块t3，用于对所述预处理后的手部运动数据集进行特征提取，得到执行每一类型运动任务时的手部运动特征；所述手部运动特征包括手掌与近节指骨的夹角、近节指骨与中节指骨的夹角，中节指骨与远节指骨的夹角以及各关节的运动范围。
[0057]
从上述步骤预处理的数据中提取出相关运动学特征(如表2和图6所示)，比如手掌
和近节指骨的夹角，近节指骨和中节指骨的夹角，中节指骨与远节指骨的夹角等。发明者提出根据指骨间的夹角(θ1，θ2，θ3)和关节的运动范围作为部分特征值进行提取并协助完成后续的评估。其中手部实体关节示意图如图7所示，手部关节夹角示意图如图8所示，手指特征计算示意图如图9所示。
[0058]
表2是本发明所涉及运动学特征
[0059][0060]
手指的几何图形如图10所示，根据图10，所述手掌与近节指骨的夹角的计算公式为：
[0061][0062]
所述近节指骨与中节指骨的夹角的表达式为：
[0063][0064]
所述中节指骨与远节指骨的夹角的表达式为：
[0065][0066]
其中，将w、m、p、d、t分别表示手腕，掌指关节，近节指间关节，远节指间关节和指尖；wm、mp、pd、dt分别表示掌指骨，近节指骨，中节指骨和远节指骨。基于上述的手部运动特征能够最真实的体现出手部运动情况，从而更有利于评估的准确性。
[0067]
在构造特征集之前，需要利用multi-relieff算法进行动态筛选。首先使用
relieff算法计算各个特征(拇指的角度是θ1和θ3，其他手指的角度是θ1，θ2，θ3。关节的活动范围是图5中除了5指指尖以外的所有关节)的重要性权重，并基于此进行排序，删除权重值为负的特征，然后把剩余特征返回至relieff算法再次进行计算和排序，不断迭代直至所有特征的权重都为正值(仅一轮筛选无法保证筛选出的特征权重都为正值)，至此特征的动态筛选过程结束，最终得到具有患者个性化的特征数据库(每一类动作一个数据库)，具体如图11所示。经过动态的特征筛选能够得到最具有表征手部运动的特征，有利于后续评估的准确性，同时也避免了计算量带来的设备硬件要求。
[0068]
具体的，所述特征集构建模块t3还包括：特征筛选子模块；
[0069]
所述特征筛选子模块包括特征权重计算单元，用于利用relieff算法计算每一所述数据子集中提取的手部运动特征的重要性权重；
[0070]
排序单元，用于基于所述重要性权重进行特征排序；
[0071]
特征选择单元，用于删除权重值为负值的特征，并对剩余特征利用所述relieff算法计算重要性权重，并返回执行所述排序单元，直至提取的手部运动特征的权重值均为正值，得到执行每一类型运动任务时的手部运动特征。
[0072]
本实施例中，使用自研的multi-relieff算法(利用relieff进行特征权重计算，对各权重值进行排序，之后进行权重值正负的判断(如图11)，从而形成了不断循环重复执行的multi-relieff算法)进行特征的动态筛选提取，形成了患者的个性化特征库，从而进一步提升了评估的准确性。
[0073]
运动评估模块t4，用于每一所述手部运动特征分别输入到对应的神经网络模型(训练好的模型)中，得出每一类型运动任务的评分并将每一类型运动任务的评分求和得到所述目标患者的手部运动功能总得分。
[0074]
使用神经网络模型作为评估模型的核心。该神经网络模型包括输入层、隐藏层、输出层三部分。输入层神经元个数为运动学特征数目，输出层神经元个数为fma每个任务的3类不同评分：0代表完全丧失运动功能；1代表能按要求完成部分运动；2代表可以顺利完成任务。反向算法也被纳入使用的神经网络模型以计算处理后的神经元误差积累，从而提高预测的准确性。该评估模型采用“赢家通吃(winner takes all)”的评分原则，以选择发生概率最大的分数作为评估的最终分数。例如，某一任务的得分为0、1、2的可能性是10％，30％，60％，那么这个任务的最终评分为2。
[0075]
首先通过训练好的神经网络模型(一类运动任务一个模型)，根据构建的特征集进行自动化打分，然后对每项任务的最终得分进行求和得到本次评估的总分(如图12所示)。
[0076]
由于前述的内容中涉及到对目标患者多次重复执行同一类型运动任务并根据重复次数得到了多个数据子集，那么后续进行运动评估时则需要对每一数据子集单独的进行评分，并根据评分和运动录像删除由于异常生理状态产生的数据子集，因此，所述运动评估模块t4包括：
[0077]
子集评分子模块，用于对每一类型运动任务，将每一所述数据子集对应的所述手部运动特征分别输入到对应运动任务的神经网络模型中，得出每一所述数据子集对应的评分，并根据评分和运动录像删除由于异常生理状态产生的数据子集(同一类型运动任务下的各数据子集分别输入到同一个神经网络模型中，得到各子集对应的评分)。
[0078]
手部评估子模块，用于对每一类型运动任务，对正常数据子集对应的评分进行求
平均，得出每一类型运动任务的最终得分，并基于所有类型运动任务的最终得分进行求和，得到手部运动功能评估的总得分。
[0079]
康复理疗师可以根据数据储存、管理与传输模块(康复评估报告模块t5)，如图13所示，远程获取患者信息并存储，可以更方便管理患者的数据，避免数据丢失等影响康复进度，将计算得分、运动数据和录像作为参考依据(系统仅显示总得分，若查看单项得分需点开单条记录)对卒中患者的手部康复情况进行评定，汇总出一份个性化康复评估报告并将评定报告、训练计划、训练意见通过数据储存管理与传输模块远程发送给患者，供患者进一步有针对性地强化练习，增加了康复训练的针对性，提高了康复效果的有效性。医生仅需根据分数提供康复意见，这提高了工作效率，减少了患者和社会康复服务的开支(如有不同意见可根据相对应的运动录像进行人工评分和改正)。具体的，所述系统还包括康复评估报告模块t5；
[0080]
所述康复评估报告模块t5，用于根据所述目标患者的手部运动功能总得分和运动数据汇制个性化康复评估报告并发送至所述目标患者；所述康复评估报告包括手部康复评定报告、训练计划和训练意见。
[0081]
为了提高实际使用时评估模型的准确率，设置该评估系统积累患者的运动数据，定期采用k折交叉验证对每个评估模型的参数进行训练和更新。即保证评估的准确性，可以不断对评估模型即神经网络模型进行更新。因此，所述系统还包括维护模块t6；
[0082]
所述维护模块t6，用于当采集的新的手部运动数据到达预设数据量后，利用k折交叉验证法对每一类型运动任务对应的所述神经网络模型进行参数更新。
[0083]
本实施例的手部运动功能分析系统与传统手部运动捕捉和功能评估系统相对比，具有成本低、稳定性好、客观性强等优点，可以便捷地应用于医院、家庭、社区环境中，不具有应用环境的局限性，应用更广泛。采用的评估模型基于神经网络开发而成，具有优秀的分类和模式识别能力。同时构建有后期维护模块t6，通过在实际使用中积累的患者新的手部数据，定期更新模型的内部参数，提升其在实际使用中的精确度并不断提高本地人群的适应能力。
[0084]
本实施例针对脑卒中患者手部运动功能进行无接触式数据采集和自动化评定打分，方便在患者家庭和社区环境下开展相关工作，并利用机器智能较大幅度地提升了评定结果的准确性和后期维护的便捷性。康复理疗师可以根据每个动作的得分与评定的总分，结合运动数据和录像对患者进行进一步的功能评定，从而制定有针对性的干预措施。
[0085]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。