一种带有力/触觉反馈的虚拟现实飞机座舱系统的制作方法

本发明属于虚拟现实领域，尤其涉及虚拟仿真飞机座舱领域，是一种带有力/触觉反馈的虚拟现实飞机座舱系统。

背景技术：

飞行模拟器是对飞行员进行训练的主要工具，可缩短训练周期，降低训练成本，提高训练安全性。因此，对飞行模拟器的研究具有重要意义。

传统的全任务飞行模拟器采用大屏幕投影和1：1实物座舱，舱内设备(如控制面板、操纵机构等)均采用与真实座舱尺寸、外形一致的实物，飞行员可直接对其进行操控。此类飞行模拟器功能强大，逼真度高，但体积庞大、结构复杂，且不同型号的飞机需配备不同的模拟器。

虚拟现实飞机座舱以虚拟现实技术作为人机交互方式，用头盔显示器和运动跟踪设备取代了常规飞行模拟器的实物座舱及操纵机构，大大减小了占地面积，精简了结构，且在结构以及功能上具有较强的柔性。但同时也牺牲了力/触觉交互，不能获得较好的沉浸感和交互性。

南京航空航天大学研发的半虚拟现实座舱方案是按照“眼见为虚，手摸为实”原则构建的模拟座舱，取消舱内用于显示的部件实物，采用头盔显示器作为立体显示设备，但可触摸操作的部分均保持1：1的实物，为用户提供力/触觉反馈。该方案仍存在体积较大、灵活性不佳的问题，没有突出虚拟现实飞机座舱的优势。

美国国防部下属的stricom主持研发的基于topit(touchedobjectspositionedintime)技术的虚拟座舱系统，其中力/触觉反馈由topit技术实现。该方案是在用户面前设置一个机械系统，上面装有不同类型的控件(如按钮、旋钮、拨钮)，每一个控件可代表虚拟座舱中所有同类型的控件。在用户进行操作时，通过伺服系统将相应的控件送至用户操作的目标位置，提供力/触觉反馈。该方案可简化控制面板和操纵机构，且可通过改变软件模拟不同的种类的控制面板，但该机械系统体积仍较大，且控件的运动范围是一个平面，无法实现三维空间中的交互。

技术实现要素：

针对现有技术的不足，本发明提出一种带有力/触觉反馈的虚拟现实飞机座舱系统，保持虚拟现实飞机座舱轻便、灵活性强的优点，同时获得较好的力/触觉体验。

本发明带有力/触觉反馈的虚拟现实飞机座舱系统，为计算机、虚拟现实接口设备和人构成的三层人机闭环系统。

计算机采用基于网络的分布式结构，采用两台，分别为综合控制计算机与图像渲染计算机。综合控制计算机负责运动数据的处理、力/触觉反馈机构控制、飞行动力学解算和系统的通信与同步；图像渲染计算机用于虚拟场景的计算与渲染。

虚拟现实接口设备用于实现虚拟环境与人的连接，包括头盔显示器、运动跟踪传感器与力/触觉反馈系统。运动跟踪传感器包括头部运动跟踪传感器和手部运动跟踪传感器，采集用户的运动数据，送入计算机进行处理；头盔显示器将计算机生成的虚拟场景进行三维输出，为用户提供视觉反馈；力/触觉反馈系统包括机械臂、滑轨和控制器，机械臂底座安装在滑轨上，末端执行器带有一个装有不同类型控件的简化的控制面板，用于给用户提供力/触觉反馈。

虚拟座舱系统是人机闭环系统。人的头部、手部运动数据由运动跟踪传感器采集，送入综合控制计算机，计算出头部、手部的位置和姿态，并将数据送入图像渲染计算机。图像渲染计算机根据头部位姿数据进行视点变换，更新虚拟场景，并根据手部位姿数据更新虚拟场景中的虚拟手部图像。同时，综合控制计算机根据手部位姿数据进行实时手部轨迹预测，并对力/触觉反馈机构进行轨迹规划和轨迹生成，控制其运动。当用户有交互操作时，用户可在头盔显示器中看到虚拟环境中虚拟手对控制面板的操作；与此同时，力/触觉反馈系统带动机械臂末端的控制面板将对应的控件移动到用户操作的目标位置，提供与视觉相配合的力/触觉反馈。用户的操纵信号送入飞行动力学模型解算飞机运动参数，并送入图像渲染计算机，更新座舱外视景。图像渲染计算机计算生成的图像通过头盔显示器输出，为用户提供视觉反馈。

本发明的优点在于：

1、本发明带有力/触觉反馈的虚拟现实飞机座舱系统，用虚拟现实设备取代了传统的实物座舱，降低了成本，且取得较强的柔性，不改变硬件结构，只需改变软件即可对不同机型或不同飞行任务进行仿真。

2、本发明带有力/触觉反馈的虚拟现实飞机座舱系统，采用基于机械臂的力/触觉反馈系统，提供真实的力/触觉交互，提高了交互性和沉浸感，同时保持了虚拟现实飞机座舱轻便、灵活性强的优点。

3、本发明带有力/触觉反馈的虚拟现实飞机座舱系统，采用基于网络的分布式结构，可降低对硬件的性能要求。

附图说明

图1为本发明带有力/触觉反馈的虚拟现实飞机座舱系统整体三层结构示意图；

图2为本发明带有力/触觉反馈的虚拟现实飞机座舱系统应用流程图；

图3为本发明带有力/触觉反馈的虚拟现实飞机座舱系统中力/触觉反馈机构结构示意图。

图中：

1-计算机2-虚拟现实接口设备3-人

201-头盔显示器202-头部运动跟踪传感器203-手部运动跟踪传感器

204-机械臂205-滑轨206-控制器

207-控制面板

具体实施方式

下面结合附图对发明的技术方案进行详细说明：

本发明带有力/触觉反馈的虚拟现实飞机座舱系统，是由计算机1、虚拟现实接口设备2和人3构成的三层人机闭环系统，如图1所示。

所述计算机1采用基于网络的分布式结构，每台计算机作为一个计算节点。本发明中计算机采用两台，分别为综合控制计算机pc1与图像渲染计算机pc2；其中，综合控制计算机pc1负责运动数据的处理、力/触觉反馈机构控制、飞行动力学解算和系统的通信与同步；图像渲染计算机pc2用于虚拟场景的计算与渲染，虚拟场景包括座舱内部场景，舱外视景及虚拟手部。综合控制计算机pc1与图像渲染计算机pc2之间由网线连接，通过ethernet协议通信，进行数据交换和计算同步。

所述虚拟现实接口设备2用于实现虚拟场景与人的连接，采集用户的运动信息，送入计算机1进行处理后再反馈给用户，为用户提供视觉和力/触觉反馈。本发明中虚拟现实接口设备2包括头盔显示器201、运动跟踪传感器与力/触觉反馈机构。

其中，头盔显示器201与图像渲染计算机pc2相连，通过hdmi接口进行图像传输，将图像渲染计算机pc2生成的虚拟场景进行三维输出至用户；用户佩戴头盔显示器201，即可获取视觉反馈。

运动跟踪传感器包括头部运动跟踪传感器202与手部运动跟踪传感器203，两者均与综合控制计算机pc1相连。头部运动跟踪传感器包括陀螺仪和视频跟踪设备，实现用户头部姿态和位置数据的获取；其中，陀螺仪安装于用户头部，获取用户头部姿态数据；视频跟踪设备设置于用户头部前方，获取用户头部位置数据。手部运动跟踪传感器采用用户手部佩戴的数据手套或设置于用户前方的视频跟踪设备，实现用户手部运动数据采集，包括手掌的位置和方向数据，以及每个手指关节的角度数据等。

力/触觉反馈机构包括机械臂204、滑轨205与控制器206。其中，机械臂的末端执行器上安装有控制面板207，控制面板207上设计有不同种类的控件，为用户提供真实的触感。如图2所示，上述机械臂204底座安装于滑轨205上，滑轨205采用单自由度滑轨，可为机械臂204增加一个方向的自由度，扩大其可达工作空间。控制器206用于实现对机械臂204的控制，采用单片机，与综合控制计算机pc1连接，获取综合控制计算机pc1发送的控制指令，驱动机械臂204及滑轨205的电机运动，并将运动信息反馈给综合控制计算机pc1。将力/触觉反馈机构置于用户面前，选择合适的距离，确保机械臂204的工作空间与用户手部的运动范围产生交集，以实现与手部的交互。

本发明带有力/触觉反馈的虚拟现实飞机座舱系统，在应用时，如图2所示，流程如下：

(1)用户佩戴头盔显示器201，看到虚拟场景；同时，头部运动传感器202与手部运动传感器203实时采集用户头部与手部的运动数据。

(2)将头部运动数据送入综合控制计算机pc1，由综合控制计算机pc1计算头部的位置和姿态，将数据传输给图像渲染计算机pc2，由图像渲染计算机pc2根据头部位置与姿态数据进行视点变换，更新虚拟场景。

(3)将手部运动数据送入综合控制计算机pc1，由综合控制计算机pc1计算手部的位置和姿态，并将数据传输给图像渲染计算机pc2，由图像渲染计算机pc2根据手部的位姿更新虚拟场景中虚拟手部图像。根据手掌位置和方向数据更新虚拟手部在虚拟场景中的位置和方向；根据手指关节角度信息对虚拟手部进行变形，更新手势。同时，综合控制计算机pc1根据手部当前位置和以前的运动轨迹，对手部未来的运动轨迹进行实时预测，预测手部与力/触觉反馈机构的交互点的空间位置p和手部到达该点p的时间t，对力/触觉反馈机构进行轨迹规划和轨迹生成，并将控制指令发送给力/触觉反馈机构的控制器206，由控制器206驱动机械臂204及滑轨205运动，使末端执行器上的控制面板207上相应的控件可以在时间t到达交互点p，以此为用户提供力/触觉反馈。

(4)当用户对控制面板进行操作时，用户可在头盔显示器201中看到虚拟场景中虚拟手部对虚拟控制面板的操作，同时力/触觉反馈机构将末端执行器上的控制面板207中相应的控件送至用户操作的目标位置，为用户提供与视觉相配合的力/触觉反馈。根据检测到的手部位置和机械臂204位置对二者进行接触检测，并判断用户的操作类型，将用户的操纵信号送入综合控制计算机pc1，进行飞行动力学解算，计算飞机运动参数，并送入图像渲染计算机pc2，进行位姿、视点变换，更新虚拟场景中座舱外视景。