一种上肢运动障碍评估方法及装置

本发明涉及人机交互、计算机视觉，尤其涉及一种上肢运动障碍评估方法及装置。

背景技术：

1、上肢运动障碍是一种常见的神经系统疾病，由多种原因引起，如中风、帕金森病、脊髓损伤等。该疾病导致患者的上肢运动功能受损，对他们的日常生活和工作能力造成了严重影响。因此，准确评估和监测上肢运动障碍的程度，对于制定合理的康复治疗计划至关重要。

2、传统的上肢运动障碍评估方法主要基于医生的主观观察和患者的自我报告，这种方法存在主观性强、结果不一致等问题。另外，一些现有的评估装置仅能提供局部信息，无法全面、客观地评估患者的上肢运动功能。

3、目前已有一些研究涉及手势识别、图像处理和姿态估计等领域。一些研究利用深度学习算法和图像处理技术，实现了对手势的自动识别。其他研究则利用惯性测量单元(imu)采集手部的加速度和角速度信息，实现了手部姿态的估计。然而，这些方法存在一些局限性，如精度不高、信息不全面等问题。

4、因此，需要一种新的上肢运动障碍评估方法及装置，能够克服现有技术的不足，并能提供准确、全面的上肢运动障碍评估结果。

技术实现思路

1、本发明的目的是提供一种上肢运动障碍评估方法及装置，通过头戴式设备获取图像信息和惯性测量数据信息，并利用预设的特征提取模型对其进行处理，得到彩色图像特征信息和惯性测量特征信息。然后，将这些特征信息进行融合和处理，得到手部2d和3d姿态估计结果，从而实现对上肢运动障碍的准确评估，并对指尖运动轨迹进行数据分析，最后进行量化评分并记录分数。本发明的优点包括：准确性高、信息全面、操作方便等。该方法和装置可以被广泛应用于医疗机构、康复中心等场所，为医务人员提供准确的诊断和治疗工具，提高上肢运动障碍患者的康复效果和生活质量。

2、为了解决上述技术问题，本发明实施例第一方面公开了一种上肢运动障碍评估方法，所述方法包括：

3、s1，获取上肢运动障碍评估数据信息，所述上肢运动障碍评估数据信息包括头戴式设备获取的图像信息和数据手套获取的惯性测量数据信息；

4、所述头戴式设备获取的图像信息，包括深度图像信息和彩色图像信息；

5、s2，对所述头戴式设备获取的图像信息进行处理，得到手势识别结果；

6、s3，利用预设的第一特征提取模型，对所述彩色图像信息进行处理，得到彩色图像特征信息；

7、s4，利用预设的第二特征提取模型，对所述惯性测量数据信息进行处理，得到惯性测量特征信息；

8、所述第二特征提取模型包括4个卷积层和1个双向lstm循环层；

9、s5，对所述彩色图像特征信息和所述惯性测量特征信息进行特征融合，得到融合特征信息；

10、s6，对所述融合特征信息进行处理，得到手部2d姿态估计结果；

11、s7，对所述手部2d姿态估计结果进行处理，得到手部3d姿态估计结果；

12、s8，对所述手势识别结果和所述手部3d姿态估计结果进行融合，得到手势估计结果；

13、s9，将所述手势估计结果上传到云端。

14、作为一种可选的实施方式，在本发明实施例第一方面中，所述获取上肢运动障碍评估数据信息，包括：

15、s11，利用头戴式设备前方的双目深度相机，获取以所述双目深度相机为顶点的锥体范围内被测物体的两幅图像；

16、s12，对所述锥体范围内被测物体的两幅图像进行处理，得到深度图像信息；

17、s13，利用头戴式设备两侧的广角相机，根据光学原理获取彩色图像信息；

18、所述深度图像信息和彩色图像信息为头戴式设备获取的图像信息；

19、s14，使用手部的数据手套中的惯性测量单元获取惯性测量数据信息；

20、所述头戴式设备获取的图像信息和所述惯性测量数据信息为肢运动障碍评估数据信息。

21、作为一种可选的实施方式，在本发明实施例第一方面中，所述对所述头戴式设备获取的图像信息进行处理，得到手势识别结果，包括：

22、s21，当手部出现在所述双目深度相机的锥形范围内时，对所述深度图像信息进行处理，得到深度相机的手势识别结果；

23、所述深度相机的手势识别结果为手部21个关节点的3d坐标信息；

24、s22，当手部出现在所述广角相机的范围内时，对所述彩色图像信息进行处理，得到手部21个关节点的2d坐标信息；

25、s23，对所述手部21个关节点的2d坐标信息进行处理，得到广角相机的手势识别结果；

26、s24，当手部出现在所述广角相机与所述双目深度相机的视野重合范围内时，对所述深度相机的手势识别结果和所述广角相机的手势识别结果进行融合，得到手势识别结果。

27、作为一种可选的实施方式，在本发明实施例第一方面中，所述手部21个关节点为手部骨架的关节点；

28、所述手部骨架的关节点用21个3d关键点来描述，包括每根手指的三个指节和指尖4个3d关键点及手腕处的一个3d关键点；

29、每个3d关键点有3个自由度，输出维度是21×3。

30、作为一种可选的实施方式，在本发明实施例第一方面中，所述利用预设的第二特征提取模型，对所述惯性测量数据信息进行处理，得到惯性测量特征信息，包括：

31、利用所述第二特征提取模型的4个卷积层，对所述惯性测量数据信息进行处理，得到第一特征信息；

32、利用所述第二特征提取模型的1个双向lstm循环层，对所述第一特征信息进行处理，得到惯性测量特征信息。

33、作为一种可选的实施方式，在本发明实施例第一方面中，所述对所述融合特征信息进行处理，得到手部2d姿态估计结果，包括：

34、s61，利用预设的手部2d姿态估计模型的第一层图卷积，对所述融合特征信息进行处理，得到第一特征矩阵；

35、s62，利用预设的手部2d姿态估计模型的第二层图卷积，对所述第一特征矩阵进行处理，得到第二特征矩阵；

36、所述第二特征矩阵为手部2d姿态估计结果。

37、作为一种可选的实施方式，在本发明实施例第一方面中，所述对所述手部2d姿态估计结果进行处理，得到手部3d姿态估计结果，包括：

38、利用预设的手部3d姿态估计网络模型，对所述手部2d姿态估计结果进行处理，得到手部3d姿态估计结果；

39、所述手部3d姿态估计网络模型，包括图嵌入层、编码器和解码器；

40、所述图嵌入层的输出结果输入所述编码器；

41、所述编码器的输出结果输入所述解码器；

42、所述编码器包括两个编码块，每个编码块包括一个图池化层和一个第一图卷积层；

43、所述图池化层，用于减小图的尺寸以编码更高阶的特征，所述第一图卷积层用于从每个节点的一阶信息中聚合图结构中的拓扑信息；

44、所述解码器包括两个解码块，每个解码块包括一个图反池化层和一个第二图卷积层；

45、所述图反池化层用于将图恢复成高分辨率的数据结构；

46、所述第二图卷积层用于聚合来自邻居节点的信息。

47、本发明实施例第二方面公开了一种上肢运动障碍评估装置，所述装置包括：

48、数据获取模块，用于获取上肢运动障碍评估数据信息，所述上肢运动障碍评估数据信息包括头戴式设备获取的图像信息和数据手套获取的惯性测量数据信息；

49、所述头戴式设备获取的图像信息，包括深度图像信息和彩色图像信息；

50、手势识别模块，用于对所述头戴式设备获取的图像信息进行处理，得到手势识别结果；

51、彩色图像特征提取模块，用于利用预设的第一特征提取模型，对所述彩色图像信息进行处理，得到彩色图像特征信息；

52、惯性测量特征提起模块，用于利用预设的第二特征提取模型，对所述惯性测量数据信息进行处理，得到惯性测量特征信息；

53、所述第二特征提取模型包括4个卷积层和1个双向lstm循环层；

54、特征融合模块，用于对所述彩色图像特征信息和所述惯性测量特征信息进行特征融合，得到融合特征信息；

55、手部2d姿态估计模块，用于对所述融合特征信息进行处理，得到手部2d姿态估计结果；

56、手部3d姿态估计模块，用于对所述手部2d姿态估计结果进行处理，得到手部3d姿态估计结果；

57、手势估计模块，用于对所述手势识别结果和所述手部3d姿态估计结果进行融合，得到手势估计结果；

58、数据上传模块，用于将所述手势估计结果上传到云端。

59、作为一种可选的实施方式，在本发明实施例第二方面中，所述获取上肢运动障碍评估数据信息，包括：

60、s11，利用头戴式设备前方的双目深度相机，获取以所述双目深度相机为顶点的锥体范围内被测物体的两幅图像；

61、s12，对所述锥体范围内被测物体的两幅图像进行处理，得到深度图像信息；

62、s13，利用头戴式设备两侧的广角相机，根据光学原理获取彩色图像信息；

63、所述深度图像信息和彩色图像信息为头戴式设备获取的图像信息；

64、s14，使用手部的数据手套中的惯性测量单元获取惯性测量数据信息；

65、所述头戴式设备获取的图像信息和所述惯性测量数据信息为肢运动障碍评估数据信息。

66、作为一种可选的实施方式，在本发明实施例第二方面中，所述对所述头戴式设备获取的图像信息进行处理，得到手势识别结果，包括：

67、s21，当手部出现在所述双目深度相机的锥形范围内时，对所述深度图像信息进行处理，得到深度相机的手势识别结果；

68、所述深度相机的手势识别结果为手部21个关节点的3d坐标信息；

69、s22，当手部出现在所述广角相机的范围内时，对所述彩色图像信息进行处理，得到手部21个关节点的2d坐标信息；

70、s23，对所述手部21个关节点的2d坐标信息进行处理，得到广角相机的手势识别结果；

71、s24，当手部出现在所述广角相机与所述双目深度相机的视野重合范围内时，对所述深度相机的手势识别结果和所述广角相机的手势识别结果进行融合，得到手势识别结果。

72、作为一种可选的实施方式，在本发明实施例第二方面中，所述手部21个关节点为手部骨架的关节点；

73、所述手部骨架的关节点用21个3d关键点来描述，包括每根手指的三个指节和指尖4个3d关键点及手腕处的一个3d关键点；

74、每个3d关键点有3个自由度，输出维度是21×3。

75、作为一种可选的实施方式，在本发明实施例第二方面中，所述利用预设的第二特征提取模型，对所述惯性测量数据信息进行处理，得到惯性测量特征信息，包括：

76、利用所述第二特征提取模型的4个卷积层，对所述惯性测量数据信息进行处理，得到第一特征信息；

77、利用所述第二特征提取模型的1个双向lstm循环层，对所述第一特征信息进行处理，得到惯性测量特征信息。

78、作为一种可选的实施方式，在本发明实施例第二方面中，所述对所述融合特征信息进行处理，得到手部2d姿态估计结果，包括：

79、s61，利用预设的手部2d姿态估计模型的第一层图卷积，对所述融合特征信息进行处理，得到第一特征矩阵；

80、s62，利用预设的手部2d姿态估计模型的第二层图卷积，对所述第一特征矩阵进行处理，得到第二特征矩阵；

81、所述第二特征矩阵为手部2d姿态估计结果。

82、作为一种可选的实施方式，在本发明实施例第二方面中，所述对所述手部2d姿态估计结果进行处理，得到手部3d姿态估计结果，包括：

83、利用预设的手部3d姿态估计网络模型，对所述手部2d姿态估计结果进行处理，得到手部3d姿态估计结果；

84、所述手部3d姿态估计网络模型，包括图嵌入层、编码器和解码器；

85、所述图嵌入层的输出结果输入所述编码器；

86、所述编码器的输出结果输入所述解码器；

87、所述编码器包括两个编码块，每个编码块包括一个图池化层和一个第一图卷积层；

88、所述图池化层，用于减小图的尺寸以编码更高阶的特征，所述第一图卷积层用于从每个节点的一阶信息中聚合图结构中的拓扑信息；

89、所述解码器包括两个解码块，每个解码块包括一个图反池化层和一个第二图卷积层；

90、所述图反池化层用于将图恢复成高分辨率的数据结构；

91、所述第二图卷积层用于聚合来自邻居节点的信息。

92、本发明第三方面公开了另一种上肢运动障碍评估装置，所述装置包括：

93、存储有可执行程序代码的存储器；

94、与所述存储器耦合的处理器；

95、所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明实施例第一方面公开的上肢运动障碍评估方法中的部分或全部步骤。

96、本发明第四方面公开了一种计算机可存储介质，所述计算机可存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明实施例第一方面公开的上肢运动障碍评估方法中的部分或全部步骤。

97、与现有技术相比，本发明实施例具有以下有益效果：

98、本发明公开了一种上肢运动障碍评估方法及装置，该方法结合智能可穿戴设备和光惯融合技术，通过对手势轨迹的识别和数据分析，实现了对上肢运动能力的量化评估和记录。传统的上肢运动障碍评估方法存在许多限制，例如需要患者到医疗机构进行评估，费时费力。然而，本发明提供了一种更加便捷和实用的评估方法。借助智能可穿戴设备，患者只需佩戴头戴式设备，便可在家中或康复中心进行评估。这大大减轻了患者的负担和时间成本。

99、本发明采用了光惯融合的手势轨迹识别技术，通过光学图像和惯性测量数据的融合，提高了手势识别的准确性和稳定性。相比传统的单一传感器方法，光惯融合能够更全面地捕捉手势细节，为评估提供更准确的数据基础。在手势轨迹识别的基础上，本发明进行数据分析和量化评分。通过算法和模型的支持，将手势数据转化为可量化的评估结果。这使得医务人员能够更直观地了解患者的上肢运动功能状态。这些量化评分不仅为医生制定康复治疗计划提供了科学依据，还可以用于康复进展的监测和患者间的比较。

100、同时，本发明支持居家医疗。患者可以在家中进行自我评估和监测，无需频繁前往医疗机构。这对于长期康复和远程医疗具有重要意义。患者可以定期进行评估，了解自身康复进展，并与医生进行沟通和调整康复计划，从而更好地管理和改善上肢运动功能。

101、综上所述，本发明的上肢运动障碍评估方法及装置，通过智能可穿戴设备、光惯融合的手势轨迹识别和数据分析，为居家医疗提供了技术支持，有效促进疾病自查与医患沟通，对于上肢运动障碍的诊断和康复具有重要意义。