飞行仿真模拟器虚实空间实时融合方法与流程

本发明涉及一种用于飞行仿真模拟的方法，属于教学或演示用具技术领域。

背景技术：

在混合模拟现实领域，目前应用比较多的是增强现实(augmentedreality，简称ar)技术，比如微软的hololens。它采用的技术方法是把虚拟空间融合到现实空间中来，是目前市面上比较接近混合现实的技术。其缺点是存在虚拟空间模型成像模糊不清楚，沉浸感不强等问题，而且虚实空间一致性差。ar技术主要应用在产品介绍、维修使用说明等领域。对于飞行仿真模拟等交互性比较强的领域不太适用。因此，寻求一种适用于飞行仿真模拟器的虚实空间实时融合方法是十分必要的。

技术实现要素：

本发明的目的在于针对现有技术之弊端，提供一种飞行仿真模拟器虚实空间实时融合方法，以提高虚实空间的一致性，获得理想的飞行仿真模拟效果。

本发明所述问题是以下述技术方案解决的：

一种飞行仿真模拟器虚实空间实时融合方法，所述方法首先使用kinect2摄像头系统实时获取仿真模拟器座舱多个方向的纹理图像和深度图像；然后通过三维模型生成计算机将这些图像数据进行融合，获取仿真模拟器座舱完整的三维立体模型；在仿真过程的每个周期内，仿真计算机将三维模型生成计算机实时生成的仿真模拟器座舱三维立体模型与虚拟环境进行融合并显示在vr头戴式设备上，实现对飞行过程的仿真。

上述飞行仿真模拟器虚实空间实时融合方法，建立飞机仿真模拟器座舱三维立体模型的具体步骤如下：

①利用白色的标记带在座舱的外沿做一圈标记，使用4个kinect2摄像头获取标记带内仿真模拟器座舱360度的图像信息，所述图像信息包括深度信息和颜色信息；

②前期处理计算机对深度信息和颜色信息进行畸变校正，并按照时间戳进行配对，然后将处理好的信息发送给三维模型生成计算机；

③三维模型生成计算机确定仿真模拟器座舱模型几何三角形的有效纹理：

由第二步的深度信息构成的几何模型n，目标颜色信息纹理图像ik(k＝1，2，3,4)，经过投影变换，找到几何三角形的有效纹理图像；

④确定几何三角形在有效纹理图像中的颜色：

根据时间戳找到模型与纹理图的对应关系，并用双线性插值法确定几何三角形在有效纹理图像中的rgb颜色；

⑤定义纹理图像的权重函数，定义不同视场纹理的法向量、边缘和深度权重，并通过复合权重对纹理图像进行融合处理，平滑物体表面的纹理色彩，消除纹理接缝；

⑥生成1:1比例的仿真模拟器座舱模型，并发送相应的mesh和纹理img图像到仿真计算机(即视频图像处理计算机)。

上述飞行仿真模拟器虚实空间实时融合方法，所述仿真模拟器座舱三维立体模型与虚拟环境在vr头戴式设备是的显示方法包括以下步骤：

a.在飞机三维模型座舱位置设置一个虚拟节点：vitual_cabin，vitual_cabin的默认朝向与重建座舱一致；

b.仿真过程中，三维模型生成计算机将生成的机舱mesh和纹理img图像实时发送到仿真计算机上；

c.仿真计算机每次刷新界面时，获取vitual_cabin的世界姿态矩阵；

d.销毁上一帧的机舱模型；

e.使用新得到机舱mesh重新创建机舱模型；

f.设置重建的机舱mesh的姿态矩阵为vitual_cabin的姿态矩阵；

g.设置重建的机舱纹理图像；

h.刷新仿真界面；

i.重复b-i的过程，实现虚实空间的一致性显示。

上述飞行仿真模拟器虚实空间实时融合方法，所述方法在建立飞机仿真模拟器座舱三维立体模型的过程中采用平面标靶技术寻找有效的纹理。

本发明生成的座舱模型跟仿真座舱完全一致，用户在vr头戴式设备中看到的座舱就是用户操作的仿真座舱。该方法有效提高了虚实空间的一致性，可获得理想的飞行仿真模拟效果，特别适用于飞行仿真模拟及其他交互性比较强的领域。

附图说明

下面结合附图对本发明作进一步详述。

图1为本发明的座舱模型实时生成流程；

图2为本发明的整体流程图；

图3(a)和图3(b)为本发明的两个整体效果图；

图4为本发明的架构图。

具体实施方式

本方法首创了实体三维实时重建技术与虚拟环境结合的方法，本方法需要实时进行座舱重建，还需标定座舱区域，实时地与虚拟环境进行融合。

本发明采用设备：

oculusrift/htcvive虚拟现实设备，

3d深度摄像头：kinect2(4个摄像头均匀安装在模拟器四周)，

三维模型前期处理计算机：处理器为酷睿i73.4ghz频率、16g内存、两个nvidiatitanx显卡(4台)，

三维模型生成计算机：处理器为酷睿i73.4ghz频率、16g内存、两个nvidiatitanx显卡，

视频图像处理计算机(即仿真计算机)，

本发明采用软件：

三维引擎：unigine或unity

本发明采用以下流程：

一、仿真模拟器座舱实时重建

使用白色的标记带在机舱的外沿做一圈标记，使用kinect2摄像头系统实时获取4个方向的纹理图像和深度图像，该系统获取多视场深度图像利用icp方法进行匹配，并应用soucy等方法完成数据融合获取完整的三维模型。本发明采用平面靶标对kinect2相机进行标定，标定相机的内部参数和外部参数，并利用标定获得的参数计算纹理图像ik和几何模型n之间的精确变换关系pk(k＝1，2，3,4)，通过如下步骤确定不同视场的权重，并利用定义的复合权重实现仿真模拟器座舱表面纹理色彩的自然过渡，最后由三维重建计算机合成一个1:1大小的、完整的三维立体模型。

1.使用4个kinect2摄像头，获取标记带内仿真模拟器座舱360度的图像信息。

2.前期处理计算机对单独采集的深度信息和颜色信息进行畸变校正处理，按照时间戳统一好配对深度和颜色信息。将处理好的深度和颜色信息发送给三维模型生成计算机。

3.三维模型生成计算机确定仿真模拟器座舱模型几何三角形的有效纹理，输入几何模型n，目标纹理图像ik(k＝1，2，3,4)，经过投影变换，找到几何三角形的有效纹理图像。

4.确定几何三角形在有效纹理图像中的颜色，根据时间戳找到模型与纹理图的对应关系，并用双线性插值法确定几何三角形在有效纹理图像中的rgb颜色。

5.定义纹理图像的权重函数。定义不同视场纹理的法向量、边缘和深度权重，并通过复合权重对纹理图像进行融合处理，平滑物体表面的纹理色彩，消除纹理接缝。

6.生成1:1比例的仿真模拟器座舱模型，发送相应的mesh和纹理img图像到视频图像处理计算机。

本流程采用4个kinect2摄像头获取标记带内的座舱模型深度数据和图像信息，采用icp方法匹配算法、soucy数据融算法对采集到的的数据进行实时重建，生成1:1的仿真模拟器座舱模型。

二、虚实空间一致性显示方法

1.在飞机三维模型座舱位置设置一个虚拟节点：vitual_cabin，此虚拟节点是实时重建的座舱模型放置到环境中的基准点。(vitual_cabin的默认朝向与重建座舱一致)

2.在仿真过程中，三维模型生成计算机将生成的机舱mesh和纹理img图像实时发送到仿真计算机上。

3.仿真计算机每次刷新界面时，获取vitual_cabin的世界姿态矩阵。

4.销毁上一帧的机舱模型。

5.使用新得到机舱mesh重新创建机舱模型。

6.设置重建的机舱mesh的姿态矩阵为vitual_cabin的姿态矩阵(座舱位置重设方法)。

7.设置重建的机舱纹理图像。

8.刷新仿真界面。

后续程序一致重复2-8的过程，就实现了虚实空间一致性的方法，达到混合现实的目标。

设备数据接口

vr头戴式设备需要连接至图形处理计算机(usb3.0接口进行定位数据传输和hdmi接口高速传输影像数据)和220v电源。头戴式设备上的3d摄像头和vr定位器需要usb3.0供电和数据传输。

4台三维前期处理计算机、三维模型生成计算机和视频图像处理计算机，通过千兆路由器相连接。

本方法生成的座舱模型跟仿真座舱完全一致，用户在vr眼睛中看到的座舱就是用户操作的仿真座舱。采用分布式的架构解决kinect和场景渲染共同消耗gpu的压力，深度信息和颜色信息根据时间戳同步融合，平面标靶技术寻找有效的纹理，双线性插值法确定有效的rgb颜色的方式解决了场景融合的问题。采用模型动态mesh和贴图的在1:1重建方法和虚拟座舱标记点位置姿态重设方法，实现了虚实空间的动态一致性效果。虚实空间一致性的方法，解决了带上vr眼镜看不到真实世界的问题。