一种基于伺服机构的主动力/触觉反馈系统及其工作方法与流程

本发明属于虚拟现实领域，尤其涉及力/触觉交互领域，是一种基于伺服机构的主动力/触觉反馈系统及其工作方法。

背景技术：

虚拟操作系统，如虚拟装配、虚拟维修、虚拟手术和虚拟驾驶等，可用于遥操作、对相关人员的培训等，具有成本较低、效率较高、安全性较高等优点。目前，对虚拟现实系统的研究多集中于视觉和听觉反馈，对力/触觉反馈的研究还不成熟，阻碍了沉浸感和交互性的进一步提升。

目前，力/触觉反馈设备主要包括穿戴式和桌面式两类。穿戴式设备包括外骨骼、数据手套等，如immersion公司的cybergrasp数据手套、dextarobotics公司的dexmo手套等，可以提供力反馈，但触觉反馈一般通过震动模拟，不能达到较好的效果；且穿戴式设备对人有一定的束缚，降低了沉浸感。桌面式设备包括forcedimension公司的omega系列和delta系列、sensable公司的phantomomni等，通过驱动并联机器人或小型串联机器人提供力觉反馈，通过末端手柄的触觉渲染提供触觉反馈，但这些设备安装位置固定，工作空间较小，用户手部只能在一个较小的空间范围对设备进行操作，进行较小空间范围内的交互。

为了实现较大范围内的交互，使手部可在较大的空间范围对工具或空间进行操作，南京航空航天大学研发的半虚拟现实座舱方案采用1：1的实物控制面板提供力/触觉反馈，可得到较大范围的交互，但实物面板体积较大，且上面控件设计固定，灵活性不佳，应用场景局限。美国国防部下属的stricom研发的基于topit(touchedobjectspositionedintime)技术，采用一个带有少量控件的伺服机械系统提供力/触觉反馈，相同种类的控件可由同一个实物控件模拟，简化了控制面板和操纵机构，且可通过改变软件模拟不同的种类的控制面板，但该机械系统体积仍较大，且控件的运动范围是一个二维平面区域，无法实现三维空间中的交互。此外，这两种方案仅能提供被动的阻挡，不能提供主动力觉反馈。

技术实现要素：

针对现有技术的不足，本发明提供一种基于伺服机构的主动力/触觉反馈系统，通过伺服机构跟踪手部运动，可实现大范围的力/触觉交互，且在交互中提供主动力觉反馈，适用于虚拟装配、虚拟手术和虚拟驾驶等多种应用场景。本发明还涉及上述一种基于伺服机构的主动力/触觉反馈系统的工作方法。

本发明解决其技术问题所采取的技术方案是：一种基于伺服机构的主动力/触觉反馈系统，由计算机、运动跟踪传感器和力/触觉反馈机构及其控制器组成。计算机由力觉渲染计算机、运动预测计算机和运动规划计算机三台计算机组成，力觉渲染计算机用于手部位姿计算、碰撞检测和手部进行操作时的实时碰撞响应与力觉生成，运动预测计算机用于手部与工具或控件接触前的手部运动轨迹预测，运动规划计算机用于手部与工具或控件接触前的力/触觉反馈机构运动规划；三台计算机之间由网线连接，通过ethernet协议通信，进行数据交换和计算同步。运动跟踪传感器与运动预测计算机相连，采集手部运动数据，包括手掌的位置和方向数据，以及每个手指关节的角度数据等，并送入运动预测计算机。力/触觉反馈机构由机械臂和滑轨组成，机械臂底座安装于滑轨之上；末端执行器带有工具，可根据不同应用更换工具种类，用于提供力/触觉反馈。力/触觉反馈机构置于用户正前方，其工作空间与用户手部运动产生交集；末端所带工具或控件在工作空间中的某点与手部进行交互。机械臂和滑轨连接一个控制器，控制器与力觉渲染计算机和运动规划计算机相连，接收计算机的控制指令，输出力矩信号驱动机械臂及滑轨的电机运动，并将运动信息反馈给计算机。

一种基于伺服机构的主动力/触觉反馈系统的工作方法，包括手部与工具或控件接触前的伺服运动和手部对工具或控件进行操作时的主动力/触觉反馈两个阶段。首先判断力/触觉反馈机构的工作阶段，再根据不同工作阶段执行相应的操作。

(1)判断力/触觉反馈机构工作阶段

用户手部运动时，运动跟踪传感器实时采集手部运动数据，送至力觉渲染计算机；力觉渲染计算机计算手部位姿，进行虚拟环境和虚拟手的图像渲染，并根据虚拟环境中虚拟手和虚拟工具或控件所处的位置，进行碰撞检测。手部未与特定的工具或控件接触时，力/触觉反馈机构处于伺服运动阶段，机械臂带动末端的工具或控件跟踪手部运动；手部与特定的工具或控件接触时，用户手部到达真实的交互点对工具或控件进行操作，力/触觉反馈机构处于主动力/触觉反馈阶段。

(2)伺服运动阶段

手部未与特定的工具或控件接触时，将手部运动数据送入运动预测计算机，根据以前及当前的手部运动数据，拟合手部运动曲线，并对手部未来运动轨迹进行预测，确定手与工具或控件接触的时刻tc、交互位置pc和交互方向qc，将数据送至运动规划计算机；运动规划计算机根据预测的tc、pc和qc，对力/触觉反馈机构进行运动规划，生成运动指令，送入控制器，驱动力/触觉反馈机构运动，使其末端执行器在tc时刻以交互方向qc达到预测的交互点pc。随着手部运动，预测的手部运动轨迹、交互时刻tc、交互点pc和交互方向qc不断更新，需要重新对力/触觉反馈机构进行运动规划，更新控制指令，预测的tc、pc和qc逐渐收敛于真实值。

(3)主动力/触觉反馈阶段

当用户手部到达真实的交互点对工具或控件进行操作时，用户可从虚拟显示设备中看到虚拟环境中虚拟手对虚拟工具或控件的操作，力/触觉反馈机构将相应的工具或控件以合适的方向送至手部操作的目标位置，提供与视觉相匹配的触觉反馈；同时，用户进行操作时，虚拟环境中手部与特定的工具或控件接触，力觉渲染计算机进行实时碰撞响应和力觉生成，驱动力/触觉反馈机构输出力，提供主动的力觉反馈。

与现有技术相比，本发明的有益效果是：

1.本发明基于伺服机构的主动力/触觉反馈系统，采用机械臂和滑轨组合而成的力/触觉反馈机构，工作空间较大，从而得到较大的交互区域，且机构本身所占体积较小。

2.本发明基于伺服机构的主动力/触觉反馈系统，应用过程包括手部与工具或控件接触前的伺服运动阶段和手部对工具或控件进行操作时的主动力/触觉反馈阶段，可实现更灵活、更大范围的力/触觉交互。

3.本发明基于伺服机构的主动力/触觉反馈系统，通过更换末端所带的工具，可提供不同的触觉体验，适用于虚拟装配、虚拟手术和虚拟驾驶等多种应用场景，系统柔性较强。

附图说明

图1为本发明基于伺服机构的主动力/触觉反馈系统结构示意图；

图2为本发明基于伺服机构的主动力/触觉反馈系统中力/触觉反馈机构结构示意图；

图3为本发明基于伺服机构的主动力/触觉反馈系统的工作方法流程图。

图中：1-计算机，2-运动跟踪传感器，3-力/触觉反馈机构，4-控制器，301-机械臂，302-滑轨，303-工具或控件

具体实施方式

如图1、2所示，一种基于伺服机构的主动力/触觉反馈系统，由计算机1、运动跟踪传感器2、和力/触觉反馈机构3及其控制器4组成。

计算机1包括力觉渲染计算机pc1，运动预测计算机pc2和运动规划计算机pc3。其中力觉渲染计算机pc1用于手部位姿计算、碰撞检测和手部进行操作时的实时碰撞响应与力觉生成，运动预测计算机pc2用于手部与工具或控件接触前的手部运动轨迹预测，运动规划计算机pc3用于手部与工具或控件接触前的力/触觉反馈机构运动规划。pc1、pc2和pc3之间由网线连接，通过ethernet协议通信，进行数据交换和计算同步。

运动跟踪传感器2与力觉渲染计算机pc1连接，采用用户手部佩戴的数据手套或设置于用户前方的视频跟踪设备，采集用户手部运动数据，包括手掌的位置和方向数据，以及每个手指关节的角度数据等，并送入pc1。

力/触觉反馈机构3包括机械臂301和滑轨302，如图2所示。上述机械臂301底座安装于滑轨302上。机械臂的末端执行器上安装有工具或控件303，根据不同应用场景切换工具或控件类型，为用户提供真实的触感。机械臂301采用六自由度机械臂，其末端可到达工作空间范围内任意位置和方向。滑轨302可采用单自由度或多自由度滑轨，扩大机械臂301的工作空间。将力/触觉反馈机构置于用户正前方，选择合适的距离，确保机械臂301的工作空间与用户手部的运动范围有交集，以实现与手部的交互。

控制器4用于实现对机械臂301及滑轨302的控制，采用单片机，与力觉渲染计算机pc1和运动规划计算机pc3连接，获取pc1和pc3发送的控制指令，驱动机械臂301及滑轨302的电机运动，并将运动信息反馈给pc1和pc3。

如图3所示，一种基于伺服机构的主动力/触觉反馈系统的工作方法，包括手部与工具或控件接触前的伺服运动和手部对工具或控件进行操作时的主动力/触觉反馈两个阶段。首先判断力/触觉反馈机构的工作阶段，再根据不同工作阶段执行相应的操作。具体步骤如下，其中(1)和(2)为力/触觉反馈机构的工作阶段判断步骤，(3)、(4)和(6)为伺服运动阶段步骤，(5)和(6)为主动力/触觉反馈步骤。

(1)用户手部运动，运动跟踪传感器2实时采集用户手部的运动数据，并将数据送入力觉渲染计算机pc1，转入(2)；

(2)力觉渲染计算机pc1计算手部位姿，渲染虚拟场景图像(包括手部图像)，根据手部与虚拟工具或控件在虚拟空间中所处的位置，对虚拟手和虚拟工具或控件进行碰撞检测，若虚拟手未与虚拟工具或控件接触，力/触觉反馈机构处于伺服运动阶段，转入(3)，否则力/触觉反馈机构处于主动力/触觉反馈阶段，转入(5)；

(3)运动预测计算机pc2根据以前及当前的手部运动数据，拟合手部运动曲线，并对手部未来运动轨迹进行预测，确定手部与力/触觉反馈机构末端所带工具或控件303接触的时间tc、交互位置pc和交互方向qc，将其送入运动规划计算机pc3，转入(4)；

(4)运动规划计算机pc3以根据预测的交互时间tc、交互位置pc和交互方向qc，对力/触觉反馈机构3进行运动规划，使其末端所带工具或控件303在tc到达pc，且方向为qc，然后生成运动指令送入控制器4，转入(6)；

(5)用户手部到达真实的交互点对工具或控件进行操作时，用户可通过虚拟显示设备看到虚拟场景中虚拟手对虚拟工具或控件的操作，力/触觉反馈机构将末端执行器所带的相应工具或控件303以合适的方向送至用户操作的目标位置，为用户提供与视觉相配合的触觉反馈，同时，力觉渲染计算机pc1进行实时碰撞响应和力觉生成，生成运动指令送入控制器4，转入(6)；

(6)控制器4根据传入的控制指令计算驱动电机的力矩，驱动机械臂301和滑轨302运动，转入(1)。