基于机器人的闭环双向交互数字孪生系统及其构建方法

本技术实施例涉及数字孪生，特别涉及一种基于机器人的闭环双向交互数字孪生系统及其构建方法。

背景技术：

1、近年来，随着通信技术、传感器技术水平的提高以及计算机算力的提升，数字孪生技术作为一种多元融合信息化技术也随之得到了快速的发展，并为虚拟现实和计算机仿真等方面提供了相应的技术支持。传统的真实世界与虚拟世界存在一定的隔阂，而数字孪生作为连接真实世界和虚拟世界的介质，实现了智能化的虚拟现实融合。然而现有的数字孪生技术存在两方面的弊端，其中一方面是孪生技术大部分是开环的单向交互，无法实现准确的动态映射。另一方面是孪生技术的感知能力缺乏具有实时的响应和真实的交互感，特别是在触觉感知方面。

技术实现思路

1、本技术实施例提供一种基于机器人的闭环双向交互数字孪生系统及其构建方法，以数字孪生系统为媒介，机器人为载体，通过触觉反馈系统将用户手部的动作映射至数字孪生系统，在数字孪生系统中与虚拟物体进行交互，并给予相应的触觉反馈，数字孪生系统借助机器人为载体执行与用户同步的动作，对真实场景的物体做出相应的动作，进而实现虚实闭环双向交互的数字孪生系统。

2、为解决上述技术问题，本技术实施例提供一种基于机器人的双向交互数字孪生系统，包括：触觉反馈系统、机器人以及位于数字孪生系统中的虚拟端；触觉反馈系统、机器人均与数字孪生系统通信连接；触觉反馈系统穿戴于用户的手部，用于捕捉用户的手势信息；机器人位于真实场景中，且机器人的位置形态通过数字孪生系统与用户的位置形态同步；虚拟端包括位于虚拟场景中的虚拟手与虚拟物体；数字孪生系统通过用户的手势信息，在数字孪生环境中操控虚拟手与虚拟场景进行交互，获取虚拟手与虚拟物体的接触状态，并发送动作指令至触觉反馈系统，使用户与虚拟场景中的虚拟物体产生触觉交互；在真实场景中，机器人根据用户的手势信息通过数字孪生系统映射执行与用户的手势信息一致的动作，对真实场景中的真实物体的抓取，实现双向交互。

3、在一些示例性实施例中，触觉反馈系统包括穿戴式触觉反馈装置、姿态传感器和压力传感器；穿戴式触觉反馈装置为穿戴式指套结构，穿戴式触觉反馈装置采用体感控制器进行手势信息的捕捉；姿态传感器和压力传感器分别用于采集用户手指的主动按压力、姿态信息。

4、在一些示例性实施例中，体感控制器用于追踪用户的手部的位置和动作，并实时收集用户的手部的运动信息；在使用过程中，体感控制器以后台进程的方式运行在数字孪生系统上；体感控制器通过分析获取的运动信息，并将运动信息发送至数字孪生系统。

5、在一些示例性实施例中，体感控制器位于真实场景的中心。

6、在一些示例性实施例中，触觉反馈系统还包括执行机构，执行机构位于穿戴式触觉反馈装置上；执行机构包括振动马达和直流电机，线性马达用于产生振动以达到触觉反馈效果，表达手指与虚拟场景中物体的碰撞信息；直流电机用于产生力觉反馈效果。

7、在一些示例性实施例中，当用户与虚拟场景中的物体进行交互时，数字孪生系统获取虚拟手的物理抓取操作信息，并进行用户手部的姿态、位置的实时显示；当数字孪生系统中的虚拟手与虚拟物体接触时，利用层次包围盒碰撞检测算法检测手部接触状态，数字孪生系统发送动作指令至直流电机，直流电机控制振动马达产生振动，给予用户触觉反馈。

8、在一些示例性实施例中，机器人与真实场景、真实物体位于同一个空间；机器人的手部的活动自由度与用户手部的活动自由度相同，且机器人的手部能够执行与用户手部相同的动作；机器人的动作通过数字孪生系统控制，机器人执行由数字孪生系统下达的动作指令。

9、第二方面，本技术实施例还提供了一种基于机器人的闭环双向交互数字孪生系统的构建方法，包括以下步骤：通过数字孪生系统映射出真实场景以及真实场景中的需抓取的物体位置，并将机器人的位置形态与用户的位置形态同步；通过触觉反馈系统捕捉用户的手势信息，并基于手势信息，在数字孪生环境中操控虚拟手与虚拟场景进行交互；判断虚拟手与虚拟物体是否接触；若是，利用层次包围盒碰撞检测算法检测接触状态；若否，则不作处理；将虚拟手与虚拟物体的接触状态同步映射至真实场景中的机器人手部以及真实物体的接触状态；基于虚拟手与虚拟物体的接触状态，通过蓝牙发送动作指令至穿戴于用户手部的触觉反馈系统，使用户与虚拟场景中的虚拟物体产生触觉交互；在真实场景中，机器人根据用户的手势信息通过数字孪生系统映射执行与用户的手势信息一致的动作，对真实场景的真实物体进行抓取，实现双向交互。

10、在一些示例性实施例中，在操控虚拟手与虚拟场景进行交互之前，在通过触觉反馈系统捕捉用户的手势信息之后，还包括：搭建数字孪生环境；具体的，搭建数字孪生环境，包括：根据真实场景在数字孪生场景中映射出虚拟场景，并以真实场景中的某个物体作为抓取目标映射至虚拟场景中，用于虚拟手的抓取操作。

11、在一些示例性实施例中，在虚拟手进行物体抓取动作的时，通过虚拟手与虚拟物体之间的距离，判断是否需要将虚拟手转化为抓取状态；通过手指与虚拟物体之间的相对位置，判断虚拟物体是否已被抓取。

12、本技术实施例提供的技术方案至少具有以下优点：

13、本技术实施例提供一种基于机器人的闭环双向交互数字孪生系统及其构建方法，该系统包括：触觉反馈系统、机器人以及位于数字孪生系统中的虚拟端；触觉反馈系统、机器人均与数字孪生系统通信连接；触觉反馈系统穿戴于用户的手部，用于捕捉用户的手势信息；机器人位于真实场景中，且机器人的位置形态通过数字孪生系统与用户的位置形态同步；虚拟端包括位于虚拟场景中的虚拟手与虚拟物体；数字孪生系统通过用户的手势信息，在数字孪生环境中操控虚拟手与虚拟场景进行交互，获取虚拟手与虚拟物体的接触状态，并发送动作指令至触觉反馈系统，使用户与虚拟场景中的虚拟物体产生触觉交互；在真实场景中，机器人根据用户的手势信息通过数字孪生系统映射执行与用户的手势信息一致的动作，对真实场景中的真实物体的抓取，实现双向交互。

14、首先，本技术提供的基于机器人的虚实闭环双向交互数字孪生系统及其构建方法，在数字孪生的映射准确性方面，现有的数字孪生映射大部分体现在真实世界对孪生世界的映射，但缺乏孪生世界对现实世界的反馈。本技术以数字孪生系统为媒介，基于机器人为载体，信息从真实世界通过孪生系统映射到虚拟世界，再由机器人作为载体由虚拟世界反馈至真实世界。实现了孪生世界对真实世界可以产生一定的反馈和影响，进而形成了虚实闭环双向交互的数字孪生系统，从本质上提升了数字孪生系统的映射准确性。

15、其次，本技术的提供的基于机器人的虚实闭环双向交互数字孪生系统的构建方法，在数字孪生的感知能力方面，现有的数字孪生技术在视觉、听觉等方面均有着不错的感知能力，但仅涉及视觉和听觉的虚拟场景在与用户交互的能力方面是不足且受到限制的。本技术设计并实现了穿戴式手部触觉反馈系统，并应用数字孪生系统对虚拟场景和虚拟手进行数字孪生环境的搭建。建立虚拟手模型及实时跟踪显示，采用体感控制器捕捉虚拟手部姿态信息，并利用蓝牙进行数据信息通信，形成了虚实闭环双向交互的数字孪生系统。

16、另外，本技术提供的基于机器人的虚实闭环双向交互数字孪生系统，设计了穿戴式手部触觉反馈系统，在相应的数字孪生系统中阐述了其架构设计和需求分析、数字孪生场景的搭建、基于体感控制器的手势姿态解算、基于层次包围盒算法的碰撞检测以及蓝牙通信设计等关键技术。充分利用体感控制器和数字孪生系统的公共资源，通过蓝牙接口实现了数字孪生系统与手部触觉反馈装置的对接，实现了虚拟场景中的物体交互的功能。