基于动作捕捉的远程遥感陪护机器人的方法、装置和系统与流程

本发明设计远程控制领域。特别地，本发明涉及一种基于动作捕捉的远程遥感陪护机器人的方法、装置和系统。

背景技术

近年来，由于医护人员的短缺，对病患人员的陪护需求与相关医疗资源相对紧张的矛盾日益明显。这进一步使得“看病难”问题日益突出。如何更灵活高效地分配有限的医疗陪护资源，从而最大程度提高人民群众就医效率及降低治疗成本是目前医疗问题的关键。

伴随着互联网技术的不断发展，越来越多的病患人员开始使用不同的移动终端通过互联网进行远程的就诊活动。然而为了使这一系列的远程医疗活动能够顺利地进行，必须配置具有相应的技术水平的陪护人员在旁边进行协助指导，甚至执行一些对要求较高的操作(例如静脉注射、创口清洗和包扎，以及外敷药物替换等)。这类专业性要求较高的操作往往需要一定的行业知识和相应的操作经验，以对操作过程本身及操作过程中可能出现的各种突发性意外及时地做出准确的应对。因此，病患人员本身或者在旁的普通人员未必可以胜任上述操作。这一方面限制了远程医疗的普及推广，另一方面也显著地提高了远程医疗的门槛。

技术实现要素：

本发明提供一种基于动作捕捉的远程遥感陪护机器人的方法、装置和系统，改进了现有远程医疗服务在陪护方面的缺陷，获得更全面地向病患提供治疗陪护服务的技术效果。

本发明的技术方案第一方面为一种基于动作捕捉的远程遥感陪护机器人的方法。上述方法包括：a、载入操作员的身体尺寸数据，建立虚拟的骨架模型，并且通过动作捕捉设备捕捉操作员的运动，然后将对应的动作部署到骨架模型上；b、通过在操作员身上的动捕力反馈服上的传感器，采集操作员的肢体力数值；c、将陪护机器人的五官感觉设备映射到操作员头部佩戴的vr头盔和感观传感设备上；d、根据已部署动作的骨架模型和采集的操作员的肢体力数值，转换为陪护机器人的肢体运动器的动作指令。

进一步地，上述方法的步骤a包括：通过三维扫描仪提取一个或多个操作员的肢体关节尺寸，建立自定义的用户数据组和多个对应的预选骨架模型。

进一步地，上述方法的步骤b包括：采集操作员的惯性姿态，记录惯性动作的维持时间。

进一步地，上述方法的步骤c包括：采集陪护机器人的手掌触感传感器的数据，然后反馈到操作员的手套的致动器中执行响应运动。

进一步地，上述方法的步骤d还包括以下子步骤：捕捉操作员的肢体动作和/或面部表情，转换为陪护机器人的人设特性关联的肢体动作数据、面部动作数据和角色混音数据；配置操作员的肢体动作和/或面部表情与陪护机器人的肢体动作和/或面部表情的实时同步。

进一步地，上述方法还包括以下步骤：使陪护机器人通过网络服务器远程连接动捕力反馈服、动作捕捉设备和vr头盔。

本发明的技术方案第二方面为一种基于动作捕捉的远程遥感陪护机器人的装置。该装置包括：第一模块，用于载入操作员的身体尺寸数据，建立虚拟的骨架模型，并且通过动作捕捉设备捕捉操作员的运动，然后将对应的动作部署到骨架模型上；第二模块，用于通过在操作员身上的动捕力反馈服上的传感器，采集操作员的肢体力数值；第三模块，用于将陪护机器人的五官感觉设备映射到操作员头部佩戴的vr头盔和感观传感设备上；第四模块，用于根据已部署动作的骨架模型和采集的操作员的肢体力数值，转换为陪护机器人的肢体运动器的动作指令。

进一步地，上述装置的第一模块通过三维扫描仪提取一个或多个操作员的肢体关节尺寸，建立自定义的用户数据组和多个对应的预选骨架模型。

进一步地，上述装置的第二模块采集操作员的惯性姿态，记录惯性动作的维持时间。

进一步地，上述装置的第三模块采集陪护机器人的手掌触感传感器的数据，然后反馈到操作员的手套的致动器中执行响应运动。

进一步地，上述装置的第四模块还包括以下子模块：捕捉模块，用于捕捉操作员的肢体动作和/或面部表情，转换为陪护机器人的人设特性关联的肢体动作数据、面部动作数据和角色混音数据；配置模块，用于配置操作员的肢体动作和/或面部表情与陪护机器人的肢体动作和/或面部表情能够实时同步。

进一步地，上述装置还包括第五模块，用于使陪护机器人通过网络服务器远程连接动捕力反馈服、动作捕捉设备和vr头盔。

本发明的技术方案第三方面为一种基于动作捕捉的远程遥感陪护机器人的系统。上述系统包括vr头盔、动捕力反馈服、动作捕捉设备、陪护机器人以及分别连接至vr头盔、动捕力反馈服、动作捕捉设备和陪护机器人的服务器。上述服务器实现以下步骤：a、载入操作员的身体尺寸数据，建立虚拟的骨架模型，并且通过动作捕捉设备捕捉操作员的运动，然后将对应的动作部署到骨架模型上；b、通过在操作员身上的动捕力反馈服上的传感器，采集操作员的肢体力数值；c、将陪护机器人的五官感觉设备映射到操作员头部佩戴的vr头盔和感观传感设备上；d、根据已部署动作的骨架模型和采集的操作员的肢体力数值，转换为陪护机器人的肢体运动器的动作指令。

进一步地，上述系统的服务器所执行的步骤a包括：通过三维扫描仪提取一个或多个操作员的肢体关节尺寸，建立自定义的用户数据组和多个对应的预选骨架模型。

进一步地，上述系统的服务器所执行的步骤b包括：采集操作员的惯性姿态，记录惯性动作的维持时间。

进一步地，上述系统的服务器所执行的步骤c包括：采集陪护机器人的手掌触感传感器的数据，然后反馈到操作员的手套的致动器中执行响应运动。

进一步地，上述系统的服务器所执行的步骤d还包括以下子步骤：捕捉操作员的肢体动作和/或面部表情，转换为陪护机器人的人设特性关联的肢体动作数据、面部动作数据和角色混音数据；配置操作员的肢体动作和/或面部表情与陪护机器人的肢体动作和/或面部表情的实时同步。

进一步地，上述系统的服务器还执行以下步骤：使陪护机器人通过网络服务器远程连接动捕力反馈服、动作捕捉设备和vr头盔。

进一步地，上述系统通过3d答应的方式定制生成陪护机器人的人形充气皮肤和面部外观。

进一步地，上述系统还包括用于为陪护机器人充电的无线充电站。

本发明的有益效果为：通过提供远程医疗的相应病患陪护方案，使得可远程执行专业要求度高的治疗或陪护操作，降低了医疗陪护的成本。

附图说明

图1所示为根据本发明的方法的总体流程图。

图2所示为根据本发明的装置和系统的示意图。

图3所示为根据本发明的应用实施例的示意图。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。

需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本文所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。

参考图1至图3。根据本发明的基于动作捕捉的远程遥感陪护机器人6的系统包括vr头盔1、动捕力反馈服2、动作捕捉设备3、陪护机器人6以及分别连接至vr头盔1、动捕力反馈服2、动作捕捉设备3和陪护机器人6的服务器4。该系统还包括用于为陪护机器人6充电的无线充电站。

可以通过3d答应的方式定制生成陪护机器人6，优选地生成人形充气皮肤和面部外观(比如可以定制成图3所示的萌系女主的样式，也可以定制为阿凡达的科幻样式)。在制作所述陪护机器人6时，例如按照如下步骤实施：s1、制作基于动作捕捉的远程遥感替身机器人的立体模型，并制作电路和3dcad加工图；s2、制作替身陪护机器人6的3d打印外壳，打印骨架，安装相关电子零部件；s3、写入陪护机器人6的驱动程序和客户端软件，并进行调试；s4、将陪护机器人6启动，并连接网络，用户远程进行动捕操作。在制作替身机器人的外壳，通过3d打印机进行打印工作，并打印其骨架和支架，并安装主板、摄像头、传感器、人形充气皮肤、骨架、马达、电源等。开发基于替身陪护机器人6的硬件驱动程序，并部署替身陪护机器人6的客户端软件，该软件可以允许玩家在远程通过动捕技术远程操作机器人，通过vr头盔1和传感器和刺激电极的引入，机器人所看到的画面和声音和触感都将回馈给远程的操作员或者玩家。操作员或者玩家穿戴上vr头盔1，戴上耳机，穿上动捕力反馈服2，并启动远程的替身陪护机器人6，并进行联网，这时操作员或者玩家的一举一动都将操作远程的替身机器人做出相应的动作，而机器人受到的触摸和感觉视觉听觉嗅觉都将回馈给远程的操作员或者玩家。

在一个实施例中，服务器4实现如图1所示步骤：

a、载入操作员的身体尺寸数据，建立虚拟的骨架模型5，并且通过动作捕捉设备3捕捉操作员的运动，然后将对应的动作部署到骨架模型5上；

b、通过在操作员身上的动捕力反馈服2上的传感器，采集操作员的肢体力数值；

c、将陪护机器人6的五官感觉设备映射到操作员头部佩戴的vr头盔1和感观传感设备上；

d、根据已部署动作的骨架模型5和采集的操作员的肢体力数值，转换为陪护机器人6的肢体运动器的动作指令。

其中，所述步骤a还包括：通过三维扫描仪提取一个或多个操作员的肢体关节尺寸，建立自定义的用户数据组和多个对应的预选骨架模型5。

其中，所述步骤b包括：采集操作员的惯性姿态，记录惯性动作的维持时间。

其中，所述步骤c包括：采集陪护机器人6的手掌触感传感器的数据，然后反馈到操作员的手套的致动器中执行响应运动。

其中，所述步骤d包括：捕捉操作员的肢体动作和/或面部表情，转换为陪护机器人6的人设特性关联的肢体动作数据、面部动作数据和角色混音数据；配置操作员的肢体动作和/或面部表情与陪护机器人6的肢体动作和/或面部表情能够实时同步。

优选地，可以使陪护机器人6通过网络服务器4远程连接动捕力反馈服2、动作捕捉设备3和vr头盔1。这样可以远程实现本地控制端和远程遥控端的操作。在一些实施例中，如图2所示，远程遥控端包括远程遥控充气机器人模块。本地控制端可以包括vr眼镜模块、计算机模块和惯性回馈动捕服模块。

应当认识到，本发明的方法实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、ram、rom等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。

计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。