基于虚拟场景交互的康复训练机器人系统及其使用方法与流程

本发明涉及一种康复训练机器人技术，具体涉及一种基于虚拟场景交互的康复训练机器人系统及其使用方法。

背景技术：

康复训练机器人已成为康复医学工程与机器人领域跨学科的研究热点，而随着科技的进步，功能单一化的康复训练机器人已不能满足日益增长的康复训练的多种需要，功能更为强大的康复训练机器人系统已成为康复机器人新的发展方向。机器人辅助训练作为近十年来一种方兴未艾的智能化康复治疗技术，得到各发达国家的普遍重视。

康复训练机器人不仅可以将理疗师从医患一对一甚至多对一的繁重康复过程中解放出来，而且可以对因脑卒中(中风)和脊髓损伤等引起的肢体运动功能障碍患者进行安全可靠、自适应与针对性强的康复训练，通过定量运动、实时监测可以为患者提供更加科学的康复训练模式，将运动康复疗法通过自动化康复设备付诸实践，同时将虚拟现实技术与机器人技术相结合，通过多通道的信息反馈，激励中风患者实现主动的康复训练，对于提高肢体运动功能障碍患者的康复质量、促进患者的及早康复、减轻社会负担具有重要意义。

然而，现有的康复训练器机器人系统中多数缺乏情景交互能力，不利于患者积极主动地投入康复训练，而有情景交互的康复训练机器人系统中，多数仅针对康复训练机器人自身进行了简单的交互设计，交互系统由于信息捕获等原因非常依赖于自身硬件系统设计，而各个交互系统对于硬件要求并不相同，导致其移植性和拓展性非常差，同时，为了采集人体的运动信息，往往需要让患者佩戴上很多传感器设备，进而造成患者的心理抵触和身体不适。交互中仅采用视觉和听觉的现有康复训练机器人系统不足以带给患者逼真的沉浸感和交互体验，以至于不能更好地激励患者进行主动的康复训练。

技术实现要素：

发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种基于虚拟场景交互的康复训练机器人系统及其使用方法。

技术方案：本发明所述的一种基于虚拟场景交互的康复训练机器人系统，包括虚拟交互场景模块、视觉信息采集模块、生理参数采集模块、力测量模块、状态监控模块、指令生成模块和康复训练机器人，其中，虚拟交互场景模块为患者提供实时的视觉和听觉交互；视觉信息采集模块由摄像头实时采集患者的体感信息并作为虚拟交互场景模块的输入；生理参数采集模块实现患者康复训练过程中的实时生理信息采集；力测量模块负责检测患者康复训练过程中与康复训练机器人之间的各向作用力；状态监控模块实时监控整个康复训练过程，同时负责汇集生理参数采集模块采集到的患者生理参数、力测量模块测得的作用力以及康复训练机器人的运动状态并以友好的人机交互界面显示；指令生成模块由医生或基于专家系统开发的决策软件根据状态监控模块提供的信息或虚拟交互场景模块提供的虚拟场景交互信息及时生成虚拟交互场景模块和康复训练机器人所需的控制指令，并拥有紧急制动指令发布等保护功能；康复训练机器人负责实现主动康复情形下的力反馈输出和被动康复训练情形下牵引患者进行康复训练。

进一步的，所述虚拟交互场景模块根据患者自主意愿或者患者康复状态选择合适的场景，在虚拟交互场景中设有虚拟代理，可以实时响应患者的动作，虚拟交互场景模块根据视觉信息采集模块所采集的患者康复训练体感信息做出实时的交互响应，计算并输出虚拟代理与虚拟环境间的作用力关系，包括虚拟环境中虚拟代理的碰撞检测虚拟力信息给指令生成模块，作为生成康复训练机器人提供力反馈的指令所需的参考，并可以接收指令生成模块发出的场景或交互模式转换指令。

进一步的，所述视觉信息采集模块使用Kinect摄像头采集患者的体感信息，然后通过通信连接将其发送给虚拟交互场景模块。

进一步的，所述生理参数采集模块佩戴在患者身上，采集患者的生理参数，并将生理参数数据通过无线通信发送给状态监控模块。

进一步的，所述力测量模块包括测力传感器和放大接口电路(可以用现有的也可以用自己设计的，没有特殊要求)，实时测量患者与康复训练机器人之间的作用力，并将作用力信息通过无线通信发送给状态监控模块。

进一步的，所述状态监控模块汇集(这里意思是这个模块接收并显示很多信息)和显示患者生理参数、作用力数据以及康复训练机器人的运动状态，实时监控整个康复训练过程，并将所得信息发送给指令生成模块。

进一步的，所述指令生成模块根据状态监控模块提供的信息或虚拟交互场景模块提供的虚拟场景交互信息，由医生或基于专家系统开发的决策软件及时生成虚拟交互场景模块和康复训练机器人所需的控制指令，并拥有紧急制动指令发布功能。

进一步的，所述康复训练机器人实现主动康复情形下的力反馈输出和被动康复训练情形下牵引患者进行康复训练，并输出康复训练机器人的运动状态。

本发明还公开了一种虚拟场景交互的康复训练机器人系统的使用方法，具体包括以下步骤：

步骤1：患者正确使用康复训练机器人并佩戴生理参数采集模块，生理参数采集模块和视觉信息采集模块实时采集患者生理参数和体感信息并通过通信连接将其发送给虚拟交互场景模块；

步骤2：虚拟交互场景模块接收视觉信息采集模块发送的信息后，实时更新虚拟交互场景，提供实时的视觉和听觉交互的同时，计算虚拟代理与虚拟环境间的作用力关系，发送给指令生成模块，作为生成康复训练机器人提供力反馈的指令所需的参考；

步骤3：患者进行康复训练模式选择；

(1)如果选择进行主动的康复训练模式，康复训练机器人接收指令生成模块信息，实时输出反馈力；

(2)如果选择进行被动的康复训练模式，康复训练机器人根据轨迹规划牵引患者进行康复训练；

步骤4：康复训练机器人输出其运动状态，力测量模块实时测量康复训练过程中患者与康复训练机器人之间各向作用力，生理参数采集模块实现患者康复训练过程中的实时生理信息采集，三者数据通过无线通信发送给状态监控模块；

步骤5：状态监控模块接收力测量模块、生理参数采集模块及康复训练机器人输出的信息，以友好的人机交互界面汇集并显示，实时监控整个康复训练过程，并将所得信息发送给指令生成模块；

步骤6：指令生成模块由医生或基于专家系统开发的决策软件综合状态监控模块、虚拟交互场景模块发送的信息，及时生成虚拟交互场景模块和康复训练机器人所需的控制指令，并分别发送给虚拟交互场景模块和康复训练机器人；

步骤7：一次训练结束，康复训练机器人回归初始位置，各模块停止工作并断电，患者卸下生理参数采集模块。

有益效果：与现有技术相比，本发明具有以下优点：

(1)本发明采用实时的信息捕获、传递及控制指令生成与发布，控制过程连续、流畅，人机交互及时、友好，系统可实现稳定、安全的康复训练过程；

(2)本发明采用模块化的设计思路，在分析现有康复训练需要的基础上，设计了相关模块，并采用视觉方法采集患者的体感信息作为系统的输入信号，使得该系统不仅具有自身的扩展性，还使得本发明可以运用在更多的现有康复训练机器人上，可以非常方便地以很低的改造成本为康复训练机器人系统扩展相关功能；

(3)本发明中患者康复训练过程中可实时接收到多感官反馈：视觉、听觉和力触觉等，相比大多数康复机器人，所添加的力触觉反馈可以让患者康复训练过程中提高虚拟交互的沉浸感、真实感体验，人机交互方式友好、多样，可刺激患者进行主动的康复训练，提高康复训练效率，增强康复训练效果；

(4)本发明可实现患者康复训练过程中的多种相关参数监控，可进行安全可靠、自适应与针对性强的康复训练，通过定量运动、实时监测可以为患者提供更加科学的康复训练模式，将运动康复疗法通过自动化康复设备付诸实践，并能够保证患者康复训练过程的安全策略的实施。

综上所述，本发明采用模块化设计，使用视觉采集患者体感信息作为系统输入，不依赖于康复训练机器人硬件设计，可应用于不同康复训练机器人，扩展性和应用性强；同时含有视觉、听觉、力触觉反馈以及生理参数反馈作为指令生成参考，并且状态监控及指令发布模块进行实时更新监控；更加便捷有效有趣。

附图说明

图1为本发明的系统结构框图；

图2为本发明的使用场景示意图；

图3为本发明中虚拟交互场景模块中的一个场景截图。

具体实施方式

下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

如图1所示，本发明公开了一种基于虚拟场景交互的康复训练机器人系统，包括虚拟交互场景模块6、视觉信息采集模块1、生理参数采集模块8、力测量模块4、状态监控模块7、指令生成模块2和康复训练机器人5，其中：虚拟交互场景模块6为患者9提供实时的视觉和听觉交互，视觉信息采集模块1由摄像头实时采集患者9的体感信息并作为虚拟交互场景模块6的输入，生理参数采集模块8实现患者9康复训练过程中的实时生理信息采集，力测量模块4负责检测患者9康复训练过程中与康复训练机器人5之间的各向作用力，状态监控模块7实时监控整个康复训练过程，同时负责汇集生理参数采集模块8采集到的患者9生理参数、力测量模块4测得的作用力以及康复训练机器人5的运动状态并以友好的人机交互界面显示，指令生成模块2由医生或基于专家系统开发的决策软件根据状态监控模块7提供的信息或虚拟交互场景模块6提供的虚拟场景交互信息及时生成虚拟交互场景模块6和康复训练机器人5所需的控制指令，并拥有紧急制动指令发布等保护功能，康复训练机器人5负责实现主动康复情形下的力反馈输出和被动康复训练情形下牵引患者9进行康复训练。

虚拟交互场景模块6使用C#语言和Unity3D游戏引擎，开发有多种渐进式、目标导向型场景，可以根据患者9自主意愿或者患者康复状态选择合适的场景，在虚拟交互场景中设有虚拟代理，可以实时响应患者的动作，根据视觉信息采集模块1所采集的患者9康复训练体感信息做出实时的交互响应，能够计算并输出虚拟代理与虚拟环境间的作用力关系，包括虚拟环境中虚拟代理的碰撞检测虚拟力信息给指令生成模块2，作为生成康复训练机器人5提供力反馈的指令所需的参考，并可以接收指令生成模块2发出的场景或交互模式转换等指令，及时响应，如图3所示，该场景中虚拟代理即为虚拟人物，该场景可以让虚拟人物在其中进行漫游活动，而该虚拟人物可以实时响应患者9的动作。

视觉信息采集模块1使用Kinect摄像头，使用其骨骼追踪系统，实时采集患者9的姿态信息，通过通信连接将其发送给虚拟交互场景模块6。

生理参数采集模块8基于STM32F103微控制器开发，采用现有电源管理电路、血压、脉搏和血氧饱和度参数的采集调理电路、蓝牙通信电路等，佩戴在患者9身上，采集患者9的生理参数包括血压、脉搏、血氧等，并能够将其通过蓝牙3发送给状态监控模块7。

力测量模块4由使用应变片构造的测力传感器及接口电路组成，设置于图2中康复训练机器人5的下肢牵引装置中，用于测量患者9与康复训练机器人5之间作用于足部的作用力：压力、牵引力，并能够将其通过蓝牙3发送给状态监控模块7。

状态监控模块7使用蓝牙3接收并在Windows平台上以友好的人机交互界面汇集并显示生理参数采集模块8采集到的患者9生理参数，力测量模块4测得的作用力以及康复训练机器人5的运动状态，实时监控整个康复训练过程，并将所得信息发送给指令生成模块2。

指令生成模块2根据状态监控模块7提供的信息或虚拟交互场景模块6提供的虚拟场景交互信息，由医生或基于专家系统开发的决策软件及时生成虚拟交互场景模块6和康复训练机器人5所需的控制指令，并拥有紧急制动指令发布等保护功能。

状态监控模块7、指令生成模块2和虚拟交互场景模块6共用同一计算机10，利用分屏实现状态监控模块7、指令生成模块2与虚拟交互场景模块6的分离显示和操作。

康复训练机器人5采用末端牵引式轨迹规划控制下肢康复训练机器人，能够实现主动康复情形下的力反馈输出和被动康复训练情形下牵引患者9进行康复训练，并能够输出其运动状态，包括姿态、各部分运动位置、速度、加速度等，力反馈的由康复机器人驱动电机控制产生。

上述的基于虚拟场景交互的康复训练机器人系统的使用方法具体以下步骤：

步骤1：患者9正确使用康复训练机器人5，并佩戴生理参数采集模块8，视觉信息采集模块1采集信息，输出患者9体感信息并将其发送给虚拟交互场景模块6；

步骤2：虚拟交互场景模块6接收视觉信息采集模块1发送的信息，实时更新虚拟交互场景，提供实时的视觉和听觉交互的同时计算虚拟环境中的关系，发送给指令生成模块2，作为生成康复训练机器人5提供力反馈的指令所需的参考；

步骤3：患者9进行康复训练模式选择；

(1)如果选择进行主动的康复训练模式，康复训练机器人5接收指令生成模块2信息，实时输出反馈力；

(2)如果选择进行被动的康复训练模式，康复训练机器人5根据轨迹规划牵引患者9进行康复训练；

步骤4：康复训练机器人5输出其运动状态，力测量模块4实时测量康复训练过程中患者9与康复训练机器人5之间各向作用力，生理参数采集模块8实现患者9康复训练过程中的实时生理信息采集，三者数据通过蓝牙3发送给状态监控模块7；

步骤5：状态监控模块7接收力测量模块4、生理参数采集模块8及康复训练机器人5输出的信息，以友好的人机交互界面汇集并显示，实时监控整个康复训练过程，并将所得信息发送给指令生成模块2；

步骤6：指令生成模块2由医生或基于专家系统开发的决策软件，综合状态监控模块7、虚拟交互场景模块6发送的信息，及时生成虚拟交互场景模块6和康复训练机器人5所需的控制指令，并分别发送给虚拟交互场景模块6和康复训练机器人5；

步骤7：一次训练结束，康复训练机器人5回归初始位置，各模块停止工作并断电，患者9卸下生理参数采集模块8。