一种面向中枢整合康复治疗技术的虚拟现实训练系统

1.本发明涉及虚实交互控制领域、辅助康复医学的技术领域，具体涉及一种面向中枢整合康复治疗技术的虚拟现实训练系统。


背景技术：

2.中枢整合康复技术是一种新的中风康复理念，是一种患者基于自身的认知能力，在医生与训练环境的刺激下，经过患者大脑中枢获取并整合当前的环境信息(听觉信息、视觉信息等)，理解当前的训练环境，进而激发患者进行主动运动的康复训练方法。基于中枢整合的康复理念中，康复训练环境的设置应接近日常生活活动(adl)，并且每个患者的康复训练环境不完全一致，医生需要依据患者不同的康复需求不断的调整训练环境，同时还要考虑到pt大厅(运动治疗大厅)人多、嘈杂的环境特点或者病房空间狭小、压抑的环境特点对患者的注意力和心理情绪的影响。
3.申请号为cn201810748613.1、发明名称为“一种基于虚拟现实和惯性动捕的脑卒中康复训练系统”将虚拟现实技术和动作捕捉技术结合并运用于中风病人的康复治疗过程，为中风病人的长期康复提供了一种新的途径。该发明中涉及的人体动作捕捉设备为穿戴式，穿戴不便且易引起中风患者排斥心理，该发明涉及的虚拟环境无法由医生依据患者康复需求进行动态配置和调整。
4.申请号为cn201910890197.3、发明名称为“一种基于虚拟现实技术的中风康复训练系统及其使用方法”涉及的人体数据采集为穿戴式，穿戴不便且易引起中风患者排斥心理，该发明强调了患者的家庭康复训练方法，忽略了康复训练的虚拟环境对患者的影响，并且不支持医生虚拟环境的动态配置调整。
5.申请号为cn202010249686.3、发明名称为“一种脑卒中的肢体功能评估和康复训练系统及方法”能够远程没有地域限制对各个不同的患者进行肢体功能评估和康复训练，并且能够实时观察到患者的实际动作状态，使医生有一个直观的判断，并且能够让医生跟患者实时互动，矫正错误姿势，提高训练动作的准确度，提高训练效果，并且让医生能直观的判断患者是否能够进一步加深加强训练程度，而且能将患者的动作全部记录在案，能够反复观察进行更加准确的判断，为下一步康复训练做出准确的预案。该方法中提到的人体动作捕捉装置为同样为穿戴式，易引起患者不适，训练环境为虚拟现实互动游戏，医生对训练游戏的控制或者配置自由度仍受到限制。
6.申请号为cn202010639300.x、发明名称为“一种基于虚拟现实的上肢智能康复系统”通过更人性化、智能化、低成本的交互体验，为运动障碍患者提供更加简易、舒适的运动康复环境，以提高患者康复效果，缩短患者康复时间；同时，根据本发明系统能够有效准确的将手臂运动和双手精细运动相融合，从而使得运动障碍患者可以更加综合有效地进行康复训练恢复。该系统同样限制了医生对虚拟环境的配置自由度。
7.申请号为cn202010752710.5、发明名称为“一种基于kinect的上肢主动康复训练方法”通过计算机控制器在直接目标性运动训练期间，为患者上肢提供持续的、精确的、丰
富的、无疲劳性的训练，能在不同的功能模式下计划要完成的任务，同时还包含了许多功能训练，将枯燥的训练变得趣味性，调动病人的主观能动性，它还能用于评估、记录运动的范围等。该系统同样限制了医生对虚拟环境的配置自由度。
8.基于以上当前已有的基于虚拟现实技术的针对脑卒中患者的康复训练方法普遍存在以下问题：
9.(1)、没有针对中枢整合康复理念进行虚拟训练环境的设计以及训练方法的开发。
10.(2)、医生无法依据患者的康复需求实时的动态配置调整虚拟训练环境。
11.(3)、康复训练虚拟环境的设计与日常生活活动相差较大，由于中风患者的认知能力较差，一部分患者无法将在训练环境中学习的训练动作应用于日常生活活动中。
12.(4)、患者与虚拟环境的交互感知设备为佩戴式，易引起患者的不适与排斥，影响康复效果。


技术实现要素：

13.针对上述技术问题，本发明的目的在于提供一种面向中风患者进行中枢整合康复治疗的虚拟现实训练系统，通过本发明的技术方案能够解决以下技术问题：
14.中枢整合康复治疗技术要求患者的康复训练环境接近于日常生活活动，并且训练环境具备与日常生活活动相似的多样化，同于需要满足患者康复需求的个性化。本发明基于虚拟现实技术开发虚拟环境来代替真实的训练环境，并实现虚拟环境的动态配置，能够解决患者康复训练环境所要求的多样化与个性化的问题。
15.中枢整合康复治疗技术强调患者康复训练的主动性，通过训练环境对患者的刺激，使患者能够在训练环境中主动的、下意识的进行运动。本发明通过对日常生活活动环境的仿真建模，设计具备视觉、听觉等多种感觉信息输出的虚拟环境，能够解决中枢整合康复治疗技术所要求的患者在训练环境的刺激下进行主动运动的问题。
16.虚拟环境设计接近日常生活活动，能够实现患者所学即所用，减少因为认知能力而产生的训练效果不佳的问题。
17.利用无需穿戴的体感传感器，使患者在进行康复训练时能够无负担地与虚拟环境实现自然交互。
18.基于无线局域网通信的主从系统，解决带线缆的vr头盔对中风患者运动的影响，包括线缆问题与因传输延迟导致的眩晕问题。
19.为实现上述目的，本发明是根据以下技术方案实现的：
20.一种面向中枢整合康复治疗技术的虚拟现实训练系统，其特征在于，包括：非穿戴的体感检测模块、pc主机端、vr一体机训练端、共享显示终端，所述体感检测模块与所述pc主机端通过数据线连接，所述pc主机端与所述vr一体机训练端模块通过无线局域网连接，所述vr一体机训练端模块与所述共享显示终端通过无线局域网连接。
21.所述pc主机端将场景配置参数和所述体感检测模块的数据传输至所述vr一体机训练端，所述vr一体机训练端将接收到的数据进行解析后再根据配置参数进行配置场景，患者依据配置场景在医生的辅助指导下进行康复治疗，患者康复训练的在虚拟环境中的第一人称视角实时显示在所述共享显示终端。
22.在上述技术方案中，所述体感检测模块包括第一光学传感器和第二光学传感器，
所述第一光学传感器采集中风患者的手势，并将采集到的数据传输至所述pc主机端进行数据处理与识别，使患者能够使用自然手势与虚拟环境进行交互，所述第二光学传感器采集患者的人体骨骼数据，并通过数据线将数据传输至所述pc主机端，所述pc主机端对数据进行平滑处理，并将数据在vr一体机训练端实时同步呈现。
23.在上述技术方案中，所述第一光学传感器选择leap motion体感控制器，所述第二光学传感器选择kinect传感器。
24.在上述技术方案中，所述pc主机端模块包括虚拟环境选择端、用户信息管理端、训练数据保存与处理端，所述虚拟环境选择端通过多个接近日常生活活动的虚拟环境组成，医生通过选择虚拟环境并根据患者的训练状况、康复需求进行虚拟环境的动态配置，所述用户信息管理端用于管理患者的基本身份信息，所述训练数据保存与处理端对患者康复治疗的环境配置信息以及训练数据进行存储和分析。
25.在上述技术方案中，所述虚拟环境选择端的配置参数包括影响患者心理、生理和认知方面的参数。
26.在上述技术方案中，所述vr一体机训练端使用unity3d进行虚拟衣、食、住、行的生活环境的开发，中风患者在虚拟环境中同样与虚拟环境对象进行自然交互。
27.在上述技术方案中，所述vr一体机训练端为vr头盔，患者通过佩戴vr头盔进行参与康复训练。
28.在上述技术方案中，所述共享显示终端是指将患者在vr一体机训练端的虚拟环境中的第一人称视角通过无线投屏的方式投影至显示屏。
29.本发明还提出了一种中枢整合康复治疗系统，其特征在于，包含上述的虚拟现实训练系统，用于脑卒中患者的康复训练。
30.本发明与现有技术相比，具有如下优点：
31.本发明是面向中枢整合康复治疗技术的，由于该技术是一种新的康复理念，在康复效果、见效时间上较其他康复训练方法均有比较大的优势。中枢整合康复治疗技术的训练环境要求为多样化的日常生活活动环境，并且由于患者的康复需求不同，每个患者的训练环境需具备个性化。目前社会上没有相关产品是针对中枢整合康复训练的，本发明能够使中枢整合康复治疗技术在社会上得到推广，使没有条件进行中枢整合康复治疗的医院能够更好的应用中枢整合康复治疗技术进行中风患者的康复治疗。加快脑卒中患者的后期康复治疗，使其能够恢复基本的日常生活能力，减轻家庭的经济负担和家人的心理负担，促进社会和谐。
32.其次，本发明中的虚拟环境动态配置方法，使得医生能够根据患者的康复需求进行个性化的虚拟环境配置，能够最大限度的依据患者的康复状况为患者配置较符合的训练任务和环境，使患者的康复训练能够与患者的运动能力较吻合。本发明已有在相关医院进行试用，确实能解决医院在训练环境上的设置难题。
33.最后，本发明中将中枢整合康复治疗技术与新一代信息技术结合起来，实现了训练数据的采集与保存，为后续进行医生进行患者康复效果的评估奠定了数据基础，实现评估的客观性。
附图说明
34.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
35.图1为本发明的虚拟现实训练系统的结构示意图；
36.图2为本发明的虚拟现实训练系统的动态配置过程示意图；
37.图3为本发明的虚拟现实训练系统的配置程序流程示意图；
38.图4为本发明的虚拟训练环境的设计流程示意图；
39.图5为本发明的pc主机端与vr一体机训练端的数据传输流程示意图；
40.图6为本发明的训练数据保存流程示意图；
41.图7为本发明的虚拟现实训练系统的整体框架示意图；
42.图8为本发明的虚拟现实训练系统临床模拟示意图。
具体实施方式
43.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
44.如图1所示，本发明提出的一种面向中枢整合康复治疗技术的虚拟现实训练系统，包括：非穿戴的体感检测模块、pc主机端、vr一体机训练端、共享显示终端，体感检测模块与pc主机端通过数据线连接，pc主机端与vr一体机训练端模块通过无线局域网连接，vr一体机训练端模块与共享显示终端通过无线局域网连接。
45.其中，pc主机端将场景配置参数和体感检测模块的数据传输至vr一体机训练端，vr一体机训练端将接收到的数据进行解析后再根据配置参数进行配置场景，患者依据配置场景在医生的辅助指导下进行康复治疗，患者康复训练的场景通过共享显示终端实时显示。
46.其中，在本发明的优选方案中，本领域技术人员根据需要可以选择其他类型的服务器替换pc主机端。
47.在本发明中，体感检测模块包括第一光学传感器和第二光学传感器，第一光学传感器选择leap motion体感控制器，第二光学传感器选择kinect传感器。第一光学传感器采集中风患者的手势，并将采集到的数据传输至所述pc主机端进行数据处理与识别，使患者能够使用自然手势与虚拟环境进行交互，所述第二光学传感器采集患者的人体骨骼数据，并通过数据线将数据传输至所述pc主机端，所述pc主机端对数据进行平滑处理，并将数据在vr一体机训练端实时同步呈现。
48.本发明所提及的leap motion体感控制器采用立体视觉原理，配备双摄像头的控制器如同人眼一样，能够对空间物体进行坐标定位，根据需要本领域技术人员可以采用其他不用于本发明所提及的其他体感控制器，对此不作限定。
49.本发明所提及的kinect传感器能够独立地管理音频和视频信息，这些信息都可以通过数据线连接进行访问，同样地，根据需要本领域技术人员可以采用其他不用于本发明
所提及的其他体感控制器，对此不作限定。
50.本发明的pc主机端包括虚拟环境选择端、用户信息管理端、训练数据保存与处理端，虚拟环境选择端通过多个接近日常生活活动的虚拟环境组成，医生通过选择虚拟环境并根据患者的训练状况、康复需求进行虚拟环境的动态配置，动态配置指的是医生能够根据患者的训练状况、康复需求为患者配置具备个性化的虚拟环境。用户信息管理端用于管理患者的基本身份信息，训练数据保存与处理端对患者康复治疗的环境配置信息以及训练数据进行存储和分析。其中，图2为本发明的动态配置过程示意图，图3为本发明的vr一体机训练端初始化虚拟环境的程序流程示意图。医生依据康复需求为患者选择虚拟环境并进行参数配置后，pc主机端将选择的虚拟环境及其配置的参数转换为xml文件，并通过局域网传输至vr一体机训练端，vr一体机训练端对xml文件进行解析后，根据虚拟环境的id匹配和初始化虚拟环境。
51.根据本发明的优选技术方案，虚拟环境选择端的配置参数包括影响患者心理、生理和认知方面的参数。其中，心理方面的参数包括训练环境亮度、天气、噪音、提示音，生理方面的参数包括患者能接受训练时长、训练的难度，认知方面的参数包括患者的理解能力方面的参数，包括听觉理解和视觉理解，听觉理解包括提示音的语言种类(普通话、粤语等)，视觉理解主要为ui的呈现种类(文字、图案、文字+图案等)。医生可以根据实际患者需求进行相应的动态配置。
52.本发明中的vr一体机训练端使用unity3d进行虚拟衣、食、住、行的生活环境的开发，中风患者在虚拟环境中同样与虚拟环境对象进行自然交互，同时实现天气、声音、行人、灯光的视觉或听觉呈现的控制，并开放接口实现用户的配置功能。
53.具体地，本发明的vr一体机训练端为vr头盔，中风患者通过佩戴vr头盔进行参与康复训练。
54.本发明的虚拟训练环境主要是对生活环境的模拟，对训练环境的设计不设置固定的难度等级，但是需要提供高自由度的配置功能。vr一体机训练端接收来之pc主机端的配置需求数据，对数据进行解析后，配置出相应的训练环境。以躲避行人场景为例，可供配置的有跑道的圈数、跑道出现人数、虚拟人出现的位置、移动的路径以及时间、提示音(粤语、普通话)等。虚拟训练环境主要设计流程如图4所示，具体包括环境模型的选择、环境配置参数的确定、参数控制脚本的设计、数据采集脚本的设计以及交互控制脚本的设计。
55.如图5所示为本发明的pc主机端到vr一体机训练端的数据传输流程，具体地，本发明是通过pc主机端将医生选择的虚拟环境和设置的配置参数、体感交互设备采集的体感数据，以xml数据格式序列化后将其传输至vr一体机训练端，vr一体机训练端对接收到的数据进行解析后，进行虚拟环境初始化与人体姿态同步。其中，虚拟环境的初始化主要是从接收到的数据里获取被选择的虚拟环境id编号，从虚拟环境库匹配相应的虚拟环境，并依据设置参数值进行虚拟环境的初始化；人体姿态的同步包括二维呈现与三维呈现，具体呈现形式因虚拟环境的不同而不同。
56.图6为本发明的训练数据保存流程示意图，具体地，训练数据在vr一体机训练端以xml数据格式临时保存，当训练结束时，xml临时训练数据便通过无线局域网通信从vr一体机训练端传输至pc主机端，保存在sql server数据库中。
57.在本发明中，共享显示终端是指将患者在vr一体机训练端的虚拟环境中的第一人
称视角通过无线投屏的方式投影至显示屏。其主要用于医生能够实时观察到患者训练的虚拟环境，以便实时做出指导。
58.图7为本发明的虚拟现实训练系统的整体框架的一个具体实施例，在本实施例中，该系统包括了vr一体机训练端和pc主机端；由此，可以看出，在vr一体机训练端中包括虚拟环境、虚拟环境库、临时数据库，其中虚拟环境具备高自由度的配置功能、数据采集功能、交互功能；在pc主机端中包括体感交互设备的数据采集、用户信息管理、训练数据分析与评估、以及配置vr一体机训练端虚拟环境的功能。
59.图8为本发明的虚拟现实训练系统临床模拟示意图，根据图8所示，中风患者正通过本发明的虚拟现实训练系统进行训练，并在实际临床中已进行试验。
60.本发明基于unity3d的虚拟环境的设计可以通过脚本控制开放虚拟环境的高自由度配置接口，医生可以根据所需，最大限度的配置针对不同患者的个性化训练环境。
61.采用光学体感传感器，能够使患者无需佩戴相关设备而实现与虚拟环境的自然交互。
62.本发明还提出了一种中枢整合康复治疗系统，包含上述的虚拟现实训练系统，用于脑卒中患者的康复训练。通过本发明的虚拟现实训练系统实现中枢整合康复治疗，本发明的中枢整合康复治疗系统事一种具体化、智能化的方法或者辅助中枢整合康复治疗技术实施的系统。
63.采用vr一体机作为患者的训练终端，并基于无线局域网实现pc主机端与vr一体机的通信。由于虚拟环境的渲染与显示处理在vr一体机中进行，故通过无线局域网进行的实时数据传输仅仅是人体的体感数据，所以vr一体机训练端不会出现类似于其他vr设备使用无线模式时具有的延迟眩晕问题。其他vr设备进行无线串流模式时，由于虚拟环境的渲染和显示处理在pc主机端完成，无线局域网需要传输大量的视频流数据，通常会出现严重的延迟眩晕问题。
64.以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。