一种基于传感器融合和迁移学习的康复训练方法及系统

本发明涉及计算机辅助中风康复，尤其涉及一种基于传感器融合和迁移学习的康复训练方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

2、临床约75％的中风患者伴有不同程度的肢体运动功能障碍，严重影响患者生活状态。因此，安全有效的中风康复肢体训练对中风病人来说非常关键。在利用康复训练设备对中风病人进行肢体训练时，为了提高患者自主训练的积极性与康复训练动作的准确性，准确的肢体动作识别算法至关重要。

3、目前大部分肢体动作识别算法都是基于视频信号，如专利cn107301370a，利用kinect摄像头采集肢体动作的骨架数据流，包含了人体骨架关节点在三维空间中的坐标信息，提取骨架关节角描述符作为肢体动作的特征数据，将特征数据分类并采用随机森林分离器进行肢体动作识别，利用kinect骨架追踪的特点，解决了部分自遮挡的问题；专利cn109766782a，基于kinect传感器采集深度图像信息并使用svm模型进行训练，通过对用户多种肢体动作，如抬手、挥臂等肢体动作的识别，解决了之前局限的动静态手势识别问题，将手势延伸到肢体动作，对人机交互领域具有重大意义。

4、然而上述基于视频信号的动作识别算法数据获取操作复杂，便携性和趣味性较差，不能在日常生活场景中随时随地的对训练动作进行识别与反馈；并且视频信息只能反应动作的大致姿态，缺乏三维姿态角速度、加速度以及压力传感信息的获取，无法对康复训练中肢体动作的准确性做出精准判断；同时，现有技术中采用的深度学习算法，通常需要大量的数据进行训练。而在医疗识别领域中，由于涉及到病人隐私等原因，往往很难得到大量的优质的图像数据，因此难以取得好的效果。

技术实现思路

1、为克服上述现有技术的不足，本发明提供了一种基于传感器融合和迁移学习的康复训练方法及系统，基于由压力传感器和九轴姿态传感器构成的中风康复训练设备系统，具有便携性和趣味性，可以提高患者自主训练的积极性；同时结合迁移学习方法则可以大大提高对肢体动作的分类识别结果，提高了设备识别肢体康复训练动作的准确度，有效监测患者训练情况并提供反馈信息。

2、为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

3、一种基于传感器融合和迁移学习的康复训练方法，包括以下步骤：

4、选择一个康复训练动作进行训练，并获取康复训练动作数据；

5、对康复训练动作数据进行预处理，并划分训练集数据与测试集数据；

6、采用训练集数据对卷积神经网络进行预训练，建立康复训练动作神经网络模型；

7、采用测试集数据优化康复训练动作神经网络模型；

8、采用迁移学习方法建立和优化其它训练动作的康复训练动作神经网络模型，并保存每个模型的神经网络参数；

9、将实时监测的康复训练动作传感器数据输入到康复训练动作神经网络模型获得分类结果；

10、对分类结果进行打分反馈。

11、进一步地，使用九轴姿态传感器和三方向压力传感器获取康复训练动作数据。

12、进一步地，采用九轴姿态传感器获取训练动作的角度信息，以及采用三方向压力传感器获取训练动作的力信息。

13、进一步地，采用互补滤波器对获取的角度信息进行欧拉角解算，获得x、y、z三个方向的三维姿态角速度、三维姿态角加速度和姿态角度。

14、进一步地，采用三方向压力传感器获取三个方向的压力值并将其转化为电信号的幅度值。

15、进一步地，所述康复训练动作数据为十维数据，包括：三维姿态角速度、三维角加速度、姿态角度和三维压力幅度值。

16、进一步地，所述采用迁移学习方法建立和优化除预训练康复动作之外其它康复训练动作神经网络模型，具体为：将预训练模型的参数导出，然后冻结预训练模型全连接层前面的所有层,同时将全连接层参数随机初始化，换上新训练动作数据对模型重新训练。

17、一个或多个实施例提供了一种基于传感器融合和迁移学习的康复训练系统，包括：

18、训练数据获取模块，被配置为：选择一个康复训练动作进行训练，并获取康复训练动作数据；

19、预处理模块，被配置为：对康复训练动作数据进行预处理，并划分训练集数据与测试集数据；

20、预训练模块，被配置为：采用训练集数据对卷积神经网络进行预训练，建立康复训练动作神经网络模型；

21、优化模块，被配置为：采用测试集数据优化康复训练动作神经网络模型；

22、迁移训练模块，被配置为：采用迁移学习方法建立和优化除预训练康复动作外其它康复训练动作神经网络模型，并保存每个模型的神经网络参数；

23、分类模块，被配置为：将实时监测的康复训练动作传感器数据输入到康复训练动作神经网络模型获得分类结果；

24、反馈模块，被配置为：对分类结果进行打分反馈。

25、一个或多个实施例提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述所述的方法。

26、一个或多个实施例提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述所述的方法。

27、以上一个或多个技术方案存在以下有益效果：

28、本申请引入迁移学习的思路，首先基于传感器融合获取一种康复运动数据，训练并优化深度学习神经网络模型，然后利用迁移学习训练其它动作的神经网络模型，基于传感器融合和迁移学习思想降低了分类识别的成本与出错的概率，从而提升了中风康复肢体动作识别的准确度；在中风患者主动运动过程中能够较为准确的识别其康复动作是否和软件建议的动作一致并做出反馈，以更有效地促进中风患者早日康复。

技术特征：

1.一种基于传感器融合和迁移学习的康复训练方法，其特征在于，包括以下步骤：

2.如权利要求1所述的基于传感器融合和迁移学习的康复训练方法，其特征在于，使用九轴姿态传感器和三方向压力传感器获取康复训练动作数据。

3.如权利要求2所述的基于传感器融合和迁移学习的康复训练方法，其特征在于，采用九轴姿态传感器获取训练动作的角度信息，以及采用三方向压力传感器获取训练动作的力信息。

4.如权利要求3所述的基于传感器融合和迁移学习的康复训练方法，其特征在于，采用互补滤波器对获取的角度信息进行欧拉角解算，获得x、y、z三个方向的三维姿态角速度、三维姿态角加速度和姿态角度。

5.如权利要求2所述的基于传感器融合和迁移学习的康复训练方法，其特征在于，采用三方向压力传感器获取三个方向的压力值并将其转化为电信号的幅度值。

6.如权利要求2所述的基于传感器融合和迁移学习的康复训练方法，其特征在于，所述康复训练动作数据为十维数据，包括：三维姿态角速度、三维角加速度、姿态角度和三维压力幅度值。

7.如权利要求1所述的基于传感器融合和迁移学习的康复训练方法，其特征在于，所述采用迁移学习方法建立和优化除预训练康复动作之外的其它康复训练动作神经网络模型，具体为：将预训练模型的参数导出，先冻结预训练模型全连接层前面所有层，同时将全连接层参数随机初始化，换上新训练动作数据对模型重新训练。

8.一种基于传感器融合和迁移学习的康复训练系统，其特征在于，包括：

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的方法。

技术总结
本发明公开了一种基于传感器融合和迁移学习的康复训练方法及系统，利用传感器融合和迁移学习相结合的思想，建立中风康复肢体动作神经网络模型。与传统的机器学习等方法相比，降低了分类识别的成本与出错的概率，从而提升了中风康复肢体动作识别的准确度。在中风患者主动运动过程中能够较为准确的识别其康复动作是否和软件建议的动作一致并做出反馈，以更有效地促进中风患者早日康复。

技术研发人员：魏守水,陈蒙,梁业松,王颖,火蕊
受保护的技术使用者：山东大学
技术研发日：
技术公布日：2024/1/13