一种基于多人交互虚拟现实的手功能训练与评估系统的制作方法

本发明涉及技术一种基于多人交互虚拟现实的手功能训练与评估系统，是一种结合多源传感器融合、多人交互虚拟现实的手功能训练与评估系统。

背景技术：

近年来，脑卒中（脑梗塞或脑溢血）、帕金森病、小儿脑瘫、多发性硬化等疾病困扰着越来越多的人群。对于上述人群而言，通常存在运动功能、认知和意识、言语等方面的障碍，术后普遍需要进行长期的康复治疗、训练和指导。

其中，手部（包括手指和手腕）功能的康复是一项非常重要的内容，因为手部在日常生活中的参与程度要显著高于身体的其他部位。然而，由于手部处于神经系统的末端，从临床康复理论上分析，手功能的康复更为困难，且需要的康复周期更长。

传统的手功能训练与评估系统通常分为两类：被动模式和主动模式。被动模式通常利用一些康复机器人、牵引设备、抗阻设备等完成；主动模式通常利用康复手套、功能性电刺激、生物反馈、情景交互训练、虚拟现实等技术来完成。

目前，市面上推出手功能训练与评估系统的公司包括广州一康医疗设备实业有限公司、嘉兴恒怡科技有限公司等。然而，上述公司的产品主要存在以下几个不足：

第一、在同一时间内，系统仅能供一名手功能异常者使用，即“一对一”训练模式，致使效率无法进一步提升；

第二、多名手功能异常者只能采用分时、分设备进行训练，无法在同一个训练场景下进行竞争性训练，即无法进一步提升手功能异常者的训练愿望。

此外，现有手功能训练与评估系统大多依赖一种类型的传感器（如：图像类型、运动类型、压力类型等），在多源传感器信息融合方面还有很多欠缺和不足。

因此，有必要设计一种新的基于多人交互虚拟现实的手功能训练与评估系统，以解决上述技术问题。

技术实现要素：

针对背景技术中存在的问题，本发明的目的是提供一种基于多人交互虚拟现实的手功能训练与评估系统，能够实现多名手功能异常者同时进行训练与评估，从而大大提升临床医生的工作效率。

本发明的技术方案是这样实现的：一种基于多人交互虚拟现实的手功能训练与评估系统，包括电源模块、主控制器模块、手部运动信息采集模块、信号传输模块、计算机、数据存储与管理模块、信号分析与处理模块、多人交互虚拟现实场景模块，其中，所述电源模块与主控制器模块和手部运动信息采集模块连接，主控制器模块与手部运动信息采集模块连接，主控制器模块通过信号传输模块与计算机连接，数据存储与管理模块和信号分析与处理模块分别与计算机连接，多人交互虚拟现实场景模块与信号分析与处理模块连接。

在上述技术方案中，所述手部运动信息采集模块包含图像信息采集、运动信息采集和压力信息采集。

在上述技术方案中，所述图像信息采集使用摄像头和红外探测器，运动信息采集使用加速度、陀螺仪、磁力计和弯曲传感器，压力信息采集使用薄膜压力传感器和压电传感器。

在上述技术方案中，所述信号传输模块包含有线传输和无线传输。

在上述技术方案中，所述有线传输为串口通讯和USB通讯。

在上述技术方案中，所述无线传输为蓝牙、ZigBee、Wifi和433。

在上述技术方案中，所述信号分析与处理模块包括时域分析、频域分析和非线性分析。

在上述技术方案中，所述时域分析为手指、手腕的弯曲角度、运动速度、和压力大小，频域分析为能量、频率分布，非线性分析为复杂网络、熵、平滑度和随机度。

在上述技术方案中，所述数据存储与管理模块用于实现整个系统中的用户信息数据、传感器数据的存储与管理。

在上述技术方案中，所述数据存储包括本地存储和云存储，数据管理包括数据添加、删除、修改和查询的管理操作。

本发明基于多人交互虚拟现实的手功能训练与评估系统，该系统通过手部运动信息采集模块，实时记录多名手功能异常者的手部运动信息。经过信号分析与处理后，利用手部运动信息采集模块与多人交互虚拟现实场景模块间的交互接口控制多人交互虚拟现实系统中对应的角色，实现多名手功能异常者在同一个虚拟现实场景中同时进行训练的功能，从而大大提升临床医生的工作效率。同时，该系统可以实现多名手功能异常者的实时交互，通过引入社交网络的功能，能够最大程度地促进其训练的愿望。

附图说明

图1为基于多人交互虚拟现实的手功能训练与评估系统原理框图；

图2为多人交互虚拟现实场景之一示意图；

图3为对指运动示意图；

图4为多人交互虚拟现实场景之二示意图；

图5为抓握运动示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明所述的一种基于多人交互虚拟现实的手功能训练与评估系统，包括电源模块、主控制器模块、手部运动信息采集模块、信号传输模块、计算机、数据存储与管理模块、信号分析与处理模块、多人交互虚拟现实场景模块。

其中，所述电源模块与主控制器模块和手部运动信息采集模块连接，主控制器模块与手部运动信息采集模块连接，主控制器模块通过信号传输模块与计算机连接，数据存储与管理模块和信号分析与处理模块分别与计算机连接，多人交互虚拟现实场景模块与信号分析与处理模块连接。

因此，该系统由硬件子系统和软件子系统两个部分组成。其中，硬件子系统包括主控制器模块、手部运动信息采集模块、信号传输模块、电源模块，用于实现手部运动信息的采集与传输；软件子系统包括信号分析与处理模块、多人交互虚拟现实场景、数据存储与管理模块用于实现信号的分析与处理、多人交互虚拟现实场景、数据存储与管理等。整个系统的工作步骤及数据流向详细描述如下：

（1）采集手功能异常者在执行手部运动过程中的手指和手腕运动信息；

根据手部运动信息采集模块工作原理的不同，手功能异常者与手部运动信息采集模块之间的交互方式也有所不同。例如：当手部运动信息采集模块选用图像类型，如摄像头或红外探测器时，手功能异常者的手部活动范围需要处于摄像头或红外探测器的有效工作范围内；当手部运动信息采集模块选用运动信息类型，如加速度、陀螺仪、磁力计、弯曲传感器等或压力类型如薄膜压力传感器、压电传感器等时，手功能异常者需要将手部运动信息采集模块佩戴在手部如手指、手腕、手背等。

（2）采集到的手指和手腕运动信息通过信号传输模块发送到计算机；

根据信号传输方式的不同，可以利用有线如串口通信、USB通信等或无线如Bluetooth、ZigBee、Wifi等传输协议。同时，由于需要实时、同步采集多名手功能异常者的手指和手腕运动信息，因此多个传感器源与计算机之间需要采用多点无线组网方式进行通信。

（3）在计算机端，信号分析与处理模块对采集到的传感器信息进行分析与处理，从而得出量化的手指和手腕运动特征；

具体的信号分析与处理方法包括但不局限于以下形式：时域分析（手指、手腕的弯曲角度、运动速度、压力大小等）、频域分析（能量、频率分布等）、非线性分析方法（复杂网络、熵、平滑度、随机度等）。

（4）利用上述步骤（3）中算出的手指和手腕运动特征来驱动、控制多人交互虚拟现实场景中对应的不同虚拟角色。

（5）数据存储与管理模块主要实现整个系统中数据，包括但不局限于用户信息数据、传感器数据等的存储与管理。数据存储包括但不局限于本地存储和云存储等形式，数据管理包括但不局限于数据添加、删除、修改、查询等管理操作。

上述步骤（4）中的多人交互虚拟现实场景主要功能是构建一个可以供多名手部功能异常者在同一场景下进行训练的场景，场景设计原则主要是模拟日常生活中的手部运动模式，包括但不局限于以下形式：抓握、对指、侧捏、手腕屈伸等。

以下结合附图2、图3、图4和图5对本发明进行具体实施方式进行分析：

实施案例一：

如图2所示，多人交互虚拟现实场景模拟大鱼吃小鱼场景，场景中共包含两个角色：A和B，即可供两名手功能异常者同时进行训练。手功能异常者需要完成的对指运动动作，如图3所示，即周期性地将拇指和食指相互靠近并接触。

手部运动信息采集模块采用运动类型，拇指和食指的运动采用弯曲传感器进行信号采集，采样频率为50Hz。手部运动信息采集模块与计算机之间采用ZigBee无线组网协议进行通信。信号分析与处理模块负责提取每次周期性对指运动过程中拇指和食指的弯曲角度，当超过一定的阈值时，即可认为完成一次有效的对指运动，从而驱动、控制虚拟现实场景中的大鱼（角色A或B）吃掉一个小鱼。两名手功能异常者需要在规定的时间内（例如：1分钟）尽可能多地有效完成对指运动，即控制大鱼尽可能多地吃掉小鱼。在游戏过程中，双方均可以实时地看到对方的运动情况。

实施案例二：

如图4所示，多人交互虚拟现实场景模拟摘苹果，场景中共包含四个角色：A、B、C和D，即可供四名手功能异常者同时进行训练。手功能异常者需要完成的抓握运动动作，如图5所示，即周期性地将四指并拢然后向手心聚集。

手部运动信息采集模块采用压力类型，抓握运动采用压力传感器进行信号采集，采样频率为50Hz。手部运动信息采集模块与计算机之间采用ZigBee无线组网协议进行通信。信号分析与处理模块负责提取每次周期性抓握运动过程中所产生的握力值，当超过一定的阈值时，即可认为完成一次有效的抓握运动，从而驱动、控制虚拟现实场景中的苹果掉落运动。四名手功能异常者需要在规定的时间内（例如：1分钟）尽可能多地有效完成抓握运动，即摘取尽可能多的苹果。在游戏过程中，每名手功能异常者均可以实时地看到其他人的实时运动情况。

本发明基于多人交互虚拟现实的手功能训练与评估系统，该系统通过手部运动信息采集模块，实时记录多名手功能异常者的手部运动信息。经过信号分析与处理后，利用手部运动信息采集模块与多人交互虚拟现实场景模块间的交互接口控制多人交互虚拟现实系统中对应的角色，实现多名手功能异常者在同一个虚拟现实场景中同时进行训练的功能，从而大大提升临床医生的工作效率。同时，该系统可以实现多名手功能异常者的实时交互，通过引入社交网络的功能，能够最大程度地促进其训练的愿望。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。