一种沉浸式虚拟现实维修与培训仿真系统的制作方法
【技术领域】
[0001] 本发明属于航天产品数字化设计与系统仿真领域，本发明涉及虚拟现实技术在虚 拟维修领域的应用。
【背景技术】
[0002] 虚拟现实（Virtual Reality,简称VR)技术是计算机图形学、人工智能、计算机网 络、信息处理等技术综合发展的产物。它利用计算机技术生成一种模拟环境，通过各种传感 设备是用户"投入"到模拟环境中，使用户自然地与环境直接交互。虚拟现实是一种计算机 界面技术。从本质上讲，虚拟现实就是一种先进的计算机用户接口，它通过给用户同时提供 诸如视觉、听觉、触觉等各种直观而又自然的实时交互手段，最大限度地方便用户的操作， 从而减轻用户的负担，提高整个系统的工作效率。
[0003] 利用虚拟现实环境开展虚拟维修仿真已有了不少系统，在汽车、飞机等领域开展 了应用。这些系统设计方案多种多样，多面临的问题和解决的问题也不尽相同。目前最常 用的维修仿真系统虽然基于三维模型开展，但多是在计算机屏幕上显示进行，缺乏三维真 实的沉浸感，在拟真度方面表现不够，无法真实有效地反映实际场景，营造不出沉浸式的三 维虚拟环境，通用性较差。
【发明内容】
[0004] 本发明的技术解决问题的目的在于：本发明的技术解决问题：克服现有技术的不 足，提供一种沉浸式的虚拟维修和虚拟培训系统，能够以直观、立体的方式来呈现培训和训 练场景及内容，达到参与者身临其境的目的。
[0005] 本发明的技术解决方案是：
[0006] -种沉浸式虚拟现实维修与培训仿真系统包括：位置跟踪子系统、三维模型数据 库、节点管理子系统、节点渲染子系统、投影子系统；
[0007] 三维模型数据库，存储三维模型数据，并将三维模型供节点管理子系统调用；
[0008] 位置跟踪子系统，获取使用者的空间位置信息，并将该信息输出到节点管理子系 统；所述的空间位置信息包括使用者的头部眼点位置和手部操作信息；
[0009] 节点管理子系统，从三维模型数据库中读取三维模型，将三维模型传递给节点渲 染子系统，并将位置跟踪子系统提供的使用者的头部眼点位置和手部操作信息，发送到节 点植染子系统；
[0010] 节点渲染子系统，在预设的显示范围内，将接收到的三维模型按照三维模型的左、 中、右、下四个部分进行渲染，渲染后的图像发送到投影子系统显示，从而使使用者看到整 个虚拟的三维模型；节点渲染子系统，根据接收到的使用者的头部眼点位置和手部操作信 息，得到人眼视野范围内应该显示的图像信息，将更新的图像发送至投影子系统；
[0011] 投影子系统，接收节点渲染子系统发送的图像信息，并进行显示，使使用者看到更 新后的三维模型图像。
[0012] 位置跟踪子系统包括位置处理主机、光学摄像机、跟踪刚体目标；
[0013] 跟踪刚体目标，固定在使用者的主要关节、头部和眼睛附近；
[0014] 光学摄像机发射红外光线，通过采集跟踪刚体目标反射的光线，将采集的数据传 递给位置处理主机；
[0015] 位置处理主机接收到数据之后，通过位置跟踪确定使用者的空间位置信息，并将 空间位置信息传递给节点管理子系统；
[0016] 投影子系统包括四台立体投影机和四个显示屏幕；
[0017] 四个显示屏幕分别呈现九十度，按照与使用者的位置，分别为左、中、右、下；四个 投影屏幕同时投影虚拟场景的一部分图像，共同组成一个完整的虚拟环境。
[0018] 本发明与现有技术相比具有如下优点：
[0019] (1)本发明实现了一个沉浸式的立体三维虚拟环境，为使用者开展虚拟培训和虚 拟维修提供了一个非常直观的平台，有利于人员对操作、训练过程的理解，增强参与感，能 够显著地提高培训或训练效果，。
[0020] (2)本发明通过节点管理子系统与节点渲染子系统的协同工作，实现了三维立体 场景图像的协同显示，为形成沉浸式的虚拟场景提供了技术基础，设计巧妙，实现简单，通 用性较强。
[0021] (3)本发明通过位置跟踪系统实现了对使用者头部、手部位置的实时捕捉，进一步 利用管理软件对使用者位置信息的处理实现了三维图像随着使用者位置的不同和操作信 息而做出实时反馈，实现了人机交互，将使用者对虚拟现实场景的"漫游浏览"感受升级为 "互动操作"，提高了虚拟培训和训练的真实感和接受程度。
【附图说明】
[0022] 图1为本发明的系统组成图；
[0023] 图2为本发明的位置跟踪实现流程示意图；
[0024] 图3为本发明目标点和定位点与摄像机位置坐标原理图；
[0025] 图4为本发明的投影子系统结构示意图；
[0026] 图5为本发明的投影子系统结构示意图。
【具体实施方式】
[0027] 下面结合附图对本发明【具体实施方式】做进一步介绍。
[0028] 如图1所示，本发明一种沉浸式虚拟现实维修与培训仿真系统，包括位置跟踪子 系统、三维模型数据库、节点管理子系统、节点渲染子系统、投影子系统；三维模型数据库， 主要存储三维模型数据，并将三维模型供节点管理子系统调用。为了满足视觉的真实感和 快速显示，三维模型采用三角面片形式，表面根据实际物体有金属、复合材料等不同的表面 材质。
[0029] 位置跟踪子系统，获取使用者的空间位置信息，并将该信息输出到节点管理子系 统；所述的空间位置信息包括使用者的头部眼点位置和手部操作信息；
[0030] 位置跟踪子系统包括位置处理主机、光学摄像机、跟踪刚体目标；
[0031] 跟踪刚体目标，固定在使用者的主要关节、头部和眼睛附近；用于标示使用者手部 位置和头部位置的跟踪刚体目标每一个都由两部分组成，一部分为目标点，另一部分为定 位点，定位点主要用来辅助确定目标点的运动轨迹。
[0032] 光学摄像机发射红外光线，通过采集跟踪刚体目标反射的光线，将采集的数据传 递给位置处理主机；
[0033] 位置处理主机接收到数据之后，通过位置跟踪确定使用者的空间位置信息，并将 空间位置信息传递给节点管理子系统；
[0034] 如图2、3所示，位置跟踪的具体实现方式如下：
[0035] (1)确定各参考点位置；参考点为光学摄像机的空间位置，本实施例中在使用者 头顶上方左前、左后、右前、右后四个位置各安装一个光学摄像机；
[0036] (2)获取K时刻各参考点到目标点和定位点瞬间距离；在初始时刻K，由光学摄 像机发出红外光，定位点和目标点反射光线，由光学摄像机接收，将信息传递回位置处理主 机，主机计算得出各参考点到目标点和定位点的瞬间距离；
[0037] (3)依据最大近似法获取K时刻目标点和定位点的空间坐标值；具体方式如下：
[0038] 设三维空间的η (η彡4)个参考点的坐标系为（X1, Y1, Z1)、（x2, y2, z2)、（x3, y3, Z3)… (xn, yn, zn)，目标点或定位点的坐标X设为（X, y, z)，点X到第1个、第2个、…、第η个参考 点的距离分别为屯、Cl1、…、屯，则根据空间两点间距离公式有方程组：
[0040] 上式中，从第一个方程开始分别减去最后一个方程并移项，可得非齐次线性方程 组：
[0046] 则可得目标点或定位点X的坐标为：
[0047] 夕=(1/4) lYb (4)进行时刻更新：K = K+i，i = i+t，t表示一个采样间隔时间， 初始时刻i = 〇 ;
[0048] (5)在K时刻，依据最大近似法获取K时刻目标点和定位点的空间坐标值；
[0049] (6)判断步骤（5)得到的定位点位置相对于步骤（3)中得到的定位点位置是否 发生变化，若未发生变化，进行步骤（7)，若发生了变化，则认为目标点发生平移，进入步骤 (10)；
[0050] (7)判断步骤（5)得到的目标点位置相对于步骤（3)中得到的目标点位置是否发 生变化，若未发生变化，则认为目标点未发生旋转或平移，进入步骤（12)，若发生了变化，则 认为目标点绕定位矢量坐标轴发生了旋转，进入步骤（8);
[0051] (8)根据目标点的位置和定位矢量坐标轴，计算目标点绕定位矢量坐标轴旋转的 角度；
[0052] (9)更新绕定位轴发生旋转后的目标点位置信息，进入步骤（12);
[0053] 更新绕定位轴发生旋转后的目标点位置信息的具体方式如下：
[0054] 三维空间里一个点绕矢量旋转后的新的点的坐标
[0055] 在三维空间里一个点绕X轴Y轴Z轴旋