一种增强现实AR腕关节康复评估和训练系统的制作方法

本发明涉及一种康复医疗工具，具体涉及一种基于增强现实ar技术的腕关节康复评估和训练系统。

背景技术：

一只手臂的损失等于60％的人身体功能的损失，而手的损伤会造成手臂功能90％或54％的身体功能的损失。中枢神经系统具有高可塑性，特定的功能训练能促进中枢神经的重组和代偿，恢复肢体运动功能。

ar技术(augmentedreality，增强现实技术)是一种实时地计算摄像机的位置及角度并将相应数字化信息如文本、图像、视频、3d模型等虚拟对象叠加在现实中一个或多个对象上以达到对现实进行增强的一种技术，这种技术的目标是在屏幕上把虚拟世界叠加在现实世界并进行互动，其应用于手部康复在国外取得了一些成果，但治疗成本相对比较高，如美国伊利诺大学和加拿大渥太华大学开发的一个训练系统，患者需要佩带头盔式显示器；新加坡国立大学研制的虚拟弹奏钢琴增强现实系统需要无线数据手套；美国加州大学尔湾分校开发的康复系统需要投影设备；而在新西兰奥塔哥大学开发的系统中，患者需要将双手放在两个特制的黑盒子里，黑盒子里配置有摄像头捕获手部的运动，而且需要专门人员如治疗师控制该系统；墨西哥inaoe大学给出了一个相对低成本的、基于网络的解决方案，但需要两个摄像头和一台普通的电脑。

这些系统设备和软件成本高、缺乏灵活性和便捷性，有的系统需要专门的治疗师指导。目前国内工作处于实验室研发阶段，尚没有可用于临床医疗的价廉物美的相关设备和软件系统。

技术实现要素：

本发明的目的是提供一种基于增强现实ar技术的腕关节康复评估和训练系统，该系统解决了传统康复训练设备和现有系统缺乏灵活性和便捷性，且需要专门的治疗师指导，医疗成本比较高的问题，能够使病患自己进行训练，并对病患的训练进行智能评估和训练指导。

为了达到上述目的，本发明提供了一种增强现实ar腕关节康复评估和训练系统，该系统包含：传感器和移动智能设备；其中，所述传感器固定设置在病患患肢上，与移动智能设备无线连接，用于将实时采集的病患的动作数据传送给所述的移动智能设备；所述的移动智能设备接收所述动作数据进行处理和显示。

所述移动智能设备包括：无线连接模块，其用于与所述传感器无线连接，接收所述传感器采集并传送的动作数据并发送给存储器；存储器，其与所述无线连接模块连接，用于接收和保存所述无线连接模块发送的动作数据，并与该存储器中存储的历史动作数据、正常腕关节动作活动度评定数据和人工智能知识推理规则一起发送至处理模块；摄像头，其与处理模块连接，用于将实时采集的现实康复训练场景信息发送至处理模块；处理模块，其与所述存储器和摄像头均连接，用于接收所述摄像头实时采集并发送的现实康复训练场景信息及所述存储器发送的动作数据、正常腕关节动作活动度评定数据和人工智能知识推理规则，进行训练结果评估，并构建虚实融合场景用于训练的指导；以及显示屏，其与所述处理模块连接，用于接收所述处理模块处理后的虚实融合场景并进行显示。

其中，所述的处理模块包括：增强现实ar模块，其与所述摄像头和显示屏均连接，接收所述摄像头实时采集并发送的现实场景，结合现实场景注册跟踪，实现虚拟模型的构建，完成虚实融合场景的渲染，并同时传送至所述显示屏；和康复训练评估模块，其与所述存储器和增强现实ar模块均连接，用于接收所述存储器发送的动作数据、正常腕关节动作活动度评定数据和人工智能知识推理规则，将实时采集的病患的动作数据和正常腕关节动作活动度评定数据采用人工智能知识推理结合关节动作活动度rom(rangeofmotion，关节活动范围)评定进行康复评估，根据智能评估结果以设定虚拟的、数字化的康复指导训练运动数据，并将该运动信息发送至所述增强现实ar模块，以实现增强现实ar模块对虚实融合场景的构建。

优选地，正常腕关节动作包括掌屈、背屈、桡偏和尺偏。

优选地，正常腕关节掌屈背屈桡偏尺偏动作活动度rom评定数据包括：掌屈正常活动范围为0～90°，背屈正常活动范围为0～70°，桡偏正常活动范围为0～25°，尺偏正常活动范围为0～55°。

优选地，所述正常腕关节掌屈背屈活动可达到的正常最大角度分别为：掌屈90°、背屈70°；所述的正常腕关节桡偏尺偏活动可达到的正常最大角度分别为：桡偏25°，尺偏55°。

优选地，所述的康复训练评估模块与显示屏连接，用于对病患腕关节康复训练运动数据进行智能评估和实时判断，当患肢关节运动数据不在当前智能评估结果设定的康复指导训练运动数据的范围内，或者超出正常关节动作的最大活动角度，将警告信息发送至所述显示屏进行显示。

优选地，所述的无线连接模块为蓝牙模块。

优选地，所述的传感器为角度传感器或带有角度的多轴传感器。

优选地，所述移动智能设备通过无线连接与固定显示设备或另一移动智能设备传输，该固定显示设备包括：电视机、计算机屏幕和户外显示屏；所述移动智能设备包括：平板电脑、笔记本电脑和手机。

优选地，该系统还包含：独立的视频采集摄像头，该独立的视频采集摄像头代替所述移动智能设备的摄像头。

本发明的增强现实ar腕关节康复评估和训练系统，该系统解决了传统康复训练设备和现有系统缺乏灵活性和便捷性，且需要专门的治疗师指导，医疗成本比较高的问题，具有以下优点：

(1)本发明的系统通过将虚拟的、数字化的康复指导训练数据叠加到真实的病患训练场景，在支持精细化、一体化、可视化的评估和训练的同时，也能让病患能清晰地看到自己康复的成果；

(2)本发明系统的增强现实ar模块，能够根据人工智能评估结果设定虚拟的、数字化的康复指导训练数据并将其与真实的病患训练场景融合，然后可视化地呈现给病患，精准控制训练，同时纠正可能导致腕关节二次损伤的错误动作，鼓励病患的康复成果；

(3)本发明系统的康复训练评估模块采用人工智能知识推理结合关节动作活动度rom评定进行智能评估和实时判断，当患肢关节运动数据不在当前智能评估结果设定的康复指导训练运动数据范围内，或者超出正常关节动作的最大活动角度，该康复训练评估模块将警告信息发送至显示屏上，以纠正动作，避免腕关节的二次损伤；

(4)本发明的系统支持居家医疗，自我康复，设备小巧、易携带，价格低廉，医疗成本低，满足普通人群需求，能有效地缓解当前康复科室医疗资源紧张的状况。

附图说明

图1为本发明的增强现实ar腕关节康复评估和训练系统的结构示意图。

图2为本发明实施例1的系统在使用时虚实融合场景在显示屏上的显示图。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种增强现实ar腕关节康复评估和训练系统，其特征在于，该系统包含：传感器1和移动智能设备2。

其中，传感器1固定设置在病患患肢上，与移动智能设备2无线连接，用于将实时采集的病患的动作数据传送给移动智能设备2；移动智能设备2接收动作数据进行处理和显示，其可以为手机、平板电脑和笔记本电脑等移动电子设备。

移动智能设备2包括：无线连接模块22，其用于与传感器1无线连接，接收传感器1采集和传送的动作数据并发送给存储器23；存储器23，其与无线连接模块22连接，用于接收和保存无线连接模块22发送的动作数据，并与该存储器23中存储的历史动作数据、正常腕关节动作活动度评定数据和人工智能知识推理规则一起发送至处理模块21；摄像头25，其与处理模块21连接，用于将实时采集的现实康复训练场景信息发送至处理模块21；处理模块21，其与存储器23和摄像头25均连接，用于接收摄像头25实时采集并发送的现实康复训练场景信息及存储器23发送的动作数据、正常腕关节动作活动度评定数据和人工智能知识推理规则，进行训练结果评估，并同时构建虚实融合场景用于指导训练；以及显示屏24，其与处理模块21连接，用于接收处理模块21处理后的虚实融合场景并进行显示。

上述无线连接模块22为蓝牙4.0；处理模块21包含：cpu和gpu，其中，cpu为octacore1.4ghzmt6592cortex-a7，gpu为armmali-450mp4；存储器23包含：ram2gb，rom8gb，emmchynix_h26m42003gmr；摄像头25可选用s5k4e1gamipiraw，前置500万像素；显示屏24为触摸屏，选用cypress_tma463_ofile.15。

其中，处理模块21包括：增强现实ar模块212，其与摄像头25和显示屏24均连接，接收摄像头25实时采集并发送的现实场景，结合现实场景注册跟踪，实现虚拟模型的构建，完成虚实融合场景的渲染，并同时传送至显示屏24；和康复训练评估模块211，其与存储器23和增强现实ar模块212均连接，用于接收存储器23发送的动作数据、正常腕关节动作活动度评定数据和人工智能知识推理规则，将实时采集的病患的动作数据和正常腕关节动作活动度评定数据采用人工智能知识推理结合关节动作活动度rom评定进行康复评估，根据智能评估结果以设定虚拟的、数字化的康复指导训练运动数据，并将该运动信息发送至增强现实ar模块212，以实现增强现实ar模块212对虚拟模型的构建，完成虚实融合场景的渲染。

进一步地，康复评估可以采用人工智能知识推理结合关节动作活动度rom评定进行评估。rom是通过关节运动时所通过的运动弧(或转动的角度)评定运动系统功能状态的重要手段。

进一步地，正常腕关节动作包括掌屈、背屈、桡偏和尺偏。进一步地，正常腕关节掌屈背屈桡偏尺偏动作活动度rom评定数据包括：掌屈正常活动范围为0～90°，背屈正常活动范围为0～70°，桡偏正常活动范围为0～25°，尺偏正常活动范围为0～55°。

进一步地，正常腕关节掌屈背屈活动可达到的正常最大角度分别为：掌屈90°、背屈70°；正常腕关节桡偏尺偏活动可达到的正常最大角度分别为：桡偏25°，尺偏55°。

进一步地，康复训练评估模块211与显示屏24连接，用于对病患腕关节康复训练运动数据进行智能评估和实时判断，当患肢关节康复训练活动范围不在当前智能评估结果设定的康复指导训练运动数据的范围内，或者活动角度达到或超出了根据智能评估结果设定的康复指导训练运动数据的最大值，或超出正常关节动作的最大活动角度，就将警告信息发送至显示屏24进行显示。

进一步地，无线连接模块22为蓝牙模块。

进一步地，传感器1为角度传感器或带有角度的多轴传感器。

进一步地，传感器1固定设置在病患患肢的手背正上方。

进一步地，传感器1可采用bwt901bcl数字姿态传感器。

进一步地，移动智能设备2通过无线连接与电视机、台式计算机屏幕、个人笔记本电脑屏幕、平板电脑屏幕、手机屏幕，或户外显示屏传输。

进一步地，该系统还包含：独立的视频采集摄像头，其代替移动智能设备2的摄像头25。

更加具体地，通过以下实施例1对本发明提供的一种增强现实ar腕关节康复评估和训练系统进行详细说明。

实施例1

一种增强现实ar腕关节康复评估和训练系统，该系统包含：传感器1和移动智能设备2，该移动智能设备2为搭载了android系统的智能手机(如huaweihonor3x(g750-t01))，传感器1与移动智能设备2通过蓝牙连接，该传感器1通过直接贴附或者做成手环的形式佩戴于病患患肢的手背正上方，能够感应并读取病患腕关节运动的三轴(空间坐标系中x、y、z轴)角度实时数据。传感器1采用bwt901bcl数字姿态传感器。

移动智能设备2包含：处理模块21、无线连接模块22、存储器23、显示屏24和摄像头25。其中，无线连接模块22为蓝牙模块，其与传感器1连接，用于接收传感器1传送的动作数据并发送给存储器23。存储器23与无线连接模块22连接，其接收和保存无线连接模块22发送的动作数据，并与该存储器23中存储的历史动作数据、正常腕关节动作活动度评定数据和人工智能知识推理规则一起发送至处理模块21。摄像头25与处理模块21连接，将实时采集的现实康复训练场景信息发送至处理模块21。处理模块21与存储器23和摄像头25均连接，用于接收摄像头25实时采集并发送的现实康复训练场景信息和存储器23发送的动作数据、正常腕关节动作活动度rom评定数据和人工智能知识推理规则，进行训练结果评估，并同时构建虚实融合场景用于指导训练。显示屏24与处理模块21连接，其接收处理模块21处理后的虚实融合场景并进行显示。摄像头25为该移动智能设备2的前置摄像头。

上述存储器23中保存了历史动作数据。

上述存储器23中保存了正常的腕关节掌屈背屈桡偏尺偏动作活动度rom评定数据，包括：掌屈正常活动范围0～90°，背屈正常活动范围0～70°，桡偏正常活动范围0～25°，尺偏正常活动范围0～55°；正常腕关节掌屈可达到的最大活动角度90°、背屈可达到的最大活动角度70°；正常腕关节桡偏可达到的最大活动角度25°，尺偏可达到的最大活动角度55°。

上述存储器23中保存了人工智能知识推理规则。

上述处理模块21包括：增强现实ar模块212和康复训练评估模块211。其中，增强现实ar模块212与摄像头25和显示屏24均连接，其接收摄像头25实时采集并发送的现实场景，结合现实场景注册跟踪，实现虚拟模型的构建，完成虚实融合场景的渲染，并同时传送至显示屏24。康复训练评估模块211与存储器23和增强现实ar模块212均连接，其接收存储器23发送的动作数据、正常腕关节活动评定数据和人工智能知识推理规则，将实时采集的病患的动作数据和正常腕关节动作数据采用人工智能知识推理结合关节动作活动度rom评定进行康复评估，根据该智能评估结果以设定虚拟的、数字化的康复指导训练运动数据，并将该运动信息发送至增强现实ar模块212，以实现增强现实ar模块212对虚拟模型的构建并完成虚实融合场景的渲染。

在使用时，如图2所示，为本发明实施例1的系统在使用时虚实融合场景在显示屏上的显示图，处理模块21中的康复训练评估模块211采用人工智能知识推理结合关节动作活动度rom评定进行评估，根据智能评估结果设定第一虚拟对象3、第二虚拟对象4和第三虚拟对象5的数据，并作为康复指导的训练运动数据。处理模块21中的增强现实ar模块212结合传感器1感应并读取到的病患腕关节运动实时数据，存储器23中的历史动作数据、正常腕关节动作活动度评定数据和人工智能知识推理规则和摄像头25实时采集到的现实康复训练场景信息进行注册跟踪，由此完成对虚拟场景中第一虚拟对象3、第二虚拟对象4和第三虚拟对象5的建模和渲染，并和现实康复训练场景进行虚实场景融合显示在显示屏24上反馈给病患。

训练过程中，病患通过腕关节康复训练活动实现对第一虚拟对象3的控制，当病患腕关节康复训练活动范围不在根据智能评估结果设定的康复指导训练运动数据的范围内，即病患控制的第一虚拟对象3无法正确落到第二虚拟对象4或第三虚拟对象5设定的范围内，该康复训练评估模块211将警告信息发送至显示屏24上，以纠正动作，避免腕关节的二次损伤。

训练过程中，当病患控制的第一虚拟对象3的活动角度达到或超出了根据智能评估结果设定的康复指导训练运动数据即第二虚拟对象4或第三虚拟对象5的最大值，该康复训练评估模块211将警告信息发送至显示屏24上，以纠正动作，避免腕关节的二次损伤。

训练过程中，当病患控制的第一虚拟对象3的活动角度超出了正常腕关节动作活动可达到的最大活动角度，该康复训练评估模块211将警告信息发送至显示屏24上，以纠正动作，避免腕关节的二次损伤。

在完成一次康复训练之后，病患可以查看本次训练状况，结合康复训练周期内的训练状况进行对比，督促和激励病患更好的继续下一次腕关节康复训练。

综上所述，本发明的增强现实ar腕关节康复评估和训练系统能够使病患自己进行训练，并对病患的训练进行智能化的精细评估和指导。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。