本发明涉及飞行模拟器技术领域，具体涉及沉浸式飞行模拟器。
背景技术：
随着计算机技术的不断发展，在军事演习或者训练中越来越多地应用虚拟现实技术进行作战模拟。目前此类基于虚拟现实技术的飞行模拟器存在一些不足：虽然支持人体手部在虚拟场景实体化，无法实体化其他设备或人体其他部位；光照系统上只是在一定程度上模拟光照，和实际光照差异较大；头部运动跟踪技术不够先进；需要拼接几个固定视角的拍摄视频，拼接后的视频与裸眼观察内容在角度和深度上存在不易消除的误差，不能下视、视觉受限等问题。这些问题导致人与座舱交互模拟与实际模拟情况差异较大，沉浸感质量较差，降低了飞行模拟器的实用性。
技术实现要素：
为了解决现有技术中军事演习或训练中的飞行模拟器存在人与座舱交互模拟与实际模拟情况差异较大，沉浸感质量较差的问题，本发明提供一种能够解决上述问题的沉浸式飞行模拟器。
实现本发明目的的技术方案为：
沉浸式飞行模拟器，包括具有3d双目摄像装置的头戴式虚拟现实装置、追踪定位装置、视频处理装置、视景处理装置和显示装置，其中3d双目摄像装置与视频处理装置连接，视景处理装置分别与虚拟现实装置、追踪定位装置和显示装置连接。
进一步的技术方案，所述头戴式虚拟现实装置内设磁力计、陀螺仪和加速度计。
进一步的技术方案，所述视景处理装置内设有：
视景生成模块：生成包含战场信息的整个训练场或战场仿真场景；
立体视觉生成模块：将视景生成模块生成的仿真场景进行立体化；
虚拟现实视景追踪模块：根据六自由度信息设置立体视觉生成模块内的摄像机位置和姿态，模拟操作人员头部运动轨迹；
实景采集模块：调用摄像头软件开发工具包，创建虚拟相机对象，设置所需参数，进行实景采集；
前景抽取模块：用于将前景进行抽取；
视频压缩模块：将jpeg图像进行压缩；
虚拟现实虚实融合模块：通过技术处理后的视频融合到虚拟现实场景中，保证视频帧数和大小位置与虚拟场景适配。
所述前景抽取模块包括：2d四点纹理技术模块：用来获取前景视频图像的除深度外的位置信息；基于hough变换的深度图像连通域的轮廓提取模块：用来获取前景视频图像的深度信息；基于标记和肤色检测的抽取模块：用来获取非截取联通区域的肢体图像；基于模型遮罩和多重空间定位的前景抽取模块：基于2d四点纹理技术模块和轮廓提取模块中获取的信息提取前景图像，再融合基于模型遮罩和多重空间定位的前景抽取模块中的图像完成前景抽取。
进一步的技术方案，所述基于模型遮罩和多重空间定位的前景抽取模块利用真实摄像机六自由度信息和虚拟摄像机六自由度信息对视景进行等比例模型遮罩。
进一步的技术方案，所述视频压缩模块基于标准jpeg图像压缩框架进行优化，保证算法的兼容性。
进一步的技术方案，所述虚拟现实虚实融合模块通过三维几何注册与遮挡处理、边缘平滑过渡、插帧补偿、光照一致性、阴影合成处理后的视频融合到虚拟现实虚拟场景中，保证视频帧数和大小位置与虚拟场景适配。
进一步的技术方案，所述六自由度信息是指在追踪定位装置可追踪范围内，主要由追踪定位装置捕捉操作人员头部视频生成头位的六自由度信息；或由头戴式虚拟现实装置内置的磁力计、陀螺仪和加速度计获取头位的六自由度信息。
本发明的有益效果为：
本发明通过混合现实座舱技术，摄像头固定在虚拟现实头盔上的方式准确地实体化了人体部位和操作平台在虚拟场景中的空间位置，通过人体部位控制操作平台增加了现实触觉体验；视角采用跟随头部转动方式，更大地真实还原人类视角，尤其解决了某些直升机下视问题；并且实现了虚实光照一致性、畸变消除等技术难点。弥补了当前大型飞行模拟器系统存在的不足，提高了学员沉浸感、真实感，使模拟训练更好地贴近真实训练，增强了飞机模拟系统的实用性，以最小的代价巩固理论知识，提高操作与处置能力，以高度的沉浸感和临场感将单人和编队飞行训练转化为趣味性强的交互方式，并可突破训练场地限制及最大化利用室内空间，降低训练成本的同时提高训练安全和质量。
本发明的软件系统依托三维地理信息平台，综合利用三维立体建模、虚拟仿真、海量数据管理、三维空间分析等技术，以沉浸式体验下的训练信息全局共享、训练资源统一调配、科学辅助作战指挥为目标，集成了基于三维地理信息平台的信息处理、自动控制等多个高新技术领域的知识。其技术和武器技术仿真、武器系统仿真以及作战仿真等，已经在军队训练、武器装备研制、作战指挥和规划计划等方面发挥重要作用。
本发明运用混合现实技术，系统创建了虚实融合的飞行座舱视景，通过摄像头能够实现观看到人手等身体各个部位与座舱的自然交互，可以增强学员模拟飞行时对地形环境和座舱环境的感知能力。且本发明的系统结构简单，性价比高，除起飞降落等单机训练外，还可逼真地模拟真实的编队等多机科目训练，模拟真实战场环境，提供受训人员真实视觉、听觉、触觉等感受，在军事领域中应用可有效减少人员、物资损耗，降低训练成本，具有重要的应用和推广价值。
附图说明
图1为本发明实施例中沉浸式飞行模拟器的结构示意图
具体实施方式
图1用以解释本发明，但本发明不限于图1所示的范围内。
为了解决现有技术中座舱交互模拟与实际模拟情况差异较大，沉浸感质量较差的问题，本发明通过运用混合现实技术，系统创建了虚实融合的飞行座舱视景，通过摄像头能够实现观看到人手等身体各个部位与座舱的自然交互，可以增强学员模拟飞行时对地形环境和座舱环境的感知能力。
如图1所示，沉浸式飞行模拟器，包括具有3d双目摄像装置1的头戴式虚拟现实装置2、追踪定位装置3、视频处理装置4、视景处理装置5和显示装置，其中3d双目摄像装置与视频处理装置连接，视景处理装置分别与虚拟现实装置、追踪定位装置和显示装置连接。
头戴式虚拟现实装置内设磁力计、陀螺仪和加速度计。
具体的视景处理装置内设有：
视景生成模块：生成包含战场信息的整个训练场或战场仿真场景；
立体视觉生成模块：将视景生成模块生成的仿真场景进行立体化；
虚拟现实视景追踪模块：根据六自由度信息设置立体视觉生成模块内的摄像机位置和姿态，模拟操作人员头部运动轨迹；
实景采集模块：调用摄像头软件开发工具包，创建虚拟相机对象，设置所需参数，进行实景采集；
前景抽取模块：用于将前景进行抽取；
视频压缩模块：将jpeg图像进行压缩；
虚拟现实虚实融合模块：通过技术处理后的视频融合到虚拟现实场景中，保证视频帧数和大小位置与虚拟场景适配。
其中前景抽取模块包括：2d四点纹理技术模块：用来获取前景视频图像的除深度外的位置信息；基于hough变换的深度图像连通域的轮廓提取模块：用来获取前景视频图像的深度信息；基于标记和肤色检测的抽取模块：用来获取非截取联通区域的肢体图像；基于模型遮罩和多重空间定位的前景抽取模块：基于2d四点纹理技术模块和轮廓提取模块中获取的信息提取前景图像，再融合基于模型遮罩和多重空间定位的前景抽取模块中的图像完成前景抽取。
进一步的，基于模型遮罩和多重空间定位的前景抽取模块利用真实摄像机六自由度信息和虚拟摄像机六自由度信息对视景进行等比例模型遮罩。
进一步的，视频压缩模块基于标准jpeg图像压缩框架进行优化，保证算法的兼容性。
更进一步的，所述虚拟现实虚实融合模块通过三维几何注册与遮挡处理、边缘平滑过渡、插帧补偿、光照一致性、阴影合成处理后的视频融合到虚拟现实虚拟场景中，保证视频帧数和大小位置与虚拟场景适配。
优选的，所述六自由度信息是指在追踪定位装置可追踪范围内，主要由追踪定位装置捕捉操作人员头部视频生成头位的六自由度信息；或由头戴式虚拟现实装置内置的磁力计、陀螺仪和加速度计获取头位的六自由度信息。
具体的前景抽取步骤为：
1、多摄像机的标定包括内参、外参和畸变参数的获取；
2、标记检测定位视野中心；
3、将实景采集模块采集到的彩色视频根据算法抽取出前景座舱内部部分，基于hough变换的深度图像连通域的轮廓提取；
事先设计整个前景座舱的3d模型，并保存在文件中。模块初始化获取到前景座舱3d模型；
使用图形处理器(gpu)预处理深度图像，调用cudaapi产生视频遮罩，对深度太大的部分进行过滤；
将处理的彩色图像从gpu拷贝到cpu；
使用opencv对深度图像连通域进行分析，获取各连通域的边缘；
根据追踪定位器位置确定3d模型与学员头戴式设备三维坐标的对应关系，进而计算出当前3d双目摄像头在3d模型中的相对位置；
使用改进型的canny算子提取深度图像各连通域边缘像素点；
用hough变换获取直线段，减少边缘不平滑的现象，降低后面边缘判断的复杂度；
获取边缘点对应的以摄像头为原点的坐标；
判断某个连通域的边缘点是否在3d模型所在空间内，如果在，则连通域内的彩色图中对应点需要输出；如果不在，则输出按照3d模型边界切割的连通域中的点；
4、等比例模型遮罩和多重空间定位精确定位视频截取范围；
5、截取范围外皮肤检测采用改进后的椭圆肤色检测方法；
6、多视频拼接算法改进。
更具体的，立体视觉生成模块：拟采用unigine引擎将视景生成子系统生成的包含红军指挥信息、蓝军及威胁生成信息、地景、任务信息等整个训练或战场仿真场景进行立体(stereoscopic)化。
vr视景追踪模块：在追踪器可追踪范围内，主要由追踪器捕捉头部视频生成头位的六自由度信息。否则由头戴式设备内部的磁力计、陀螺仪和加速度计获取头部的六自由度信息。当六自由度信息采集到视景处理计算机中时，软件设置unigine内部的摄像机(camera)位置和姿态，模拟学员头部运动轨迹。而由于摄像机可观察的视场范围是固定的，镜片上产生的视景内容随之发生变化。
实景采集模块：实景采集模块基于开源的opencv库和nvidia的cuda，调用摄像头sdk，进行以下操作，创建虚拟相机对象，设置所需分辨率、帧数等参数，同时采用综合屏采集技术(综合屏是大块光滑透明材料组成，室外阳光和室内灯光在其上产生的反光、泛光效果会被摄像头拍摄并加强)。
当学员戴上vr头戴式设备，在视景计算机运行的虚拟训练或作战场景中，由3d双目摄像头拍摄的高清视频经过视频计算机处理后，生成模拟座舱部分、航电仪表部分和学员手部操作两杆两柄(驾驶杆和总距杆，左右武器手柄)与脚部操作两舵的部分。学员在座舱内的空间定位信息(含空间平动和空间转动)会被vr定位器捕捉并收集到视景计算机中，在显示系统软件运行处理实时更新到视景里，使学员产生驾驶实机的沉浸感。
本发明通过3d双目摄像装置改进相机近距离深度检测不精确：
利用原有左右眼视频产生深度和视差图，对两种图阈值化处理抽取出识别不良距离深度的前景，并用算法精准分析及预测近距离深度。
相机径向、切向畸变的实时校正：
实现实时算法将相机标定后检测切向畸变的范围，以灭点进行对主要为桶形畸变的径向畸变的自动校正。
实现左右眼融合仿真人眼视觉：
将视差图生成红蓝图，再进行畸变后处理，将双眼能观察到的内容截取出。
不在截取区的人体部位采用皮肤检测算法抽取。
虚拟现实技术与视频融合
虚实结合边缘/表面的光照与阴影一致化处理：
获取渲染引擎的边缘/表面的法线和各种光照效果，对虚实边缘和表面进行两种不同的处理，完成整个场景的一致化。
头部动作与视频图像变化同步：
头部定位插值处理位置和姿态，适配高频率振动和大幅度运动时的插帧算法实现，最终实现整体同步。
沉浸式体验增强及眩晕感改进：
基于以上两个功能增强沉浸式的视觉和听觉体验，对画面再处理消除一定的鱼眼效果和模拟人眼对焦部分像素模糊/锐化，增加有效视听的运动模糊与改进远近强度变化以改善虚拟场景和现实场景运动不一致带来的眩晕感。
本发明通过混合现实座舱技术，摄像头固定在虚拟现实头盔上的方式准确地实体化了人体部位和操作平台在虚拟场景中的空间位置，通过人体部位控制操作平台增加了现实触觉体验；视角采用跟随头部转动方式，更大地真实还原人类视角，尤其解决了某些直升机下视问题；并且实现了虚实光照一致性、畸变消除等技术难点。弥补了当前大型飞行模拟器系统存在的不足，提高了学员沉浸感、真实感，使模拟训练更好地贴近真实训练，增强了飞机模拟系统的实用性，以最小的代价巩固理论知识，提高操作与处置能力，以高度的沉浸感和临场感将单人和编队飞行训练转化为趣味性强的交互方式，并可突破训练场地限制及最大化利用室内空间，降低训练成本的同时提高训练安全和质量。
本发明的软件系统依托三维地理信息平台，综合利用三维立体建模、虚拟仿真、海量数据管理、三维空间分析等技术，以沉浸式体验下的训练信息全局共享、训练资源统一调配、科学辅助作战指挥为目标，集成了基于三维地理信息平台的信息处理、自动控制等多个高新技术领域的知识。其技术和武器技术仿真、武器系统仿真以及作战仿真等，已经在军队训练、武器装备研制、作战指挥和规划计划等方面发挥重要作用。
本发明运用混合现实技术，系统创建了虚实融合的飞行座舱视景，通过摄像头能够实现观看到人手等身体各个部位与座舱的自然交互，可以增强学员模拟飞行时对地形环境和座舱环境的感知能力。且本发明的系统结构简单，性价比高，除起飞降落等单机训练外，还可逼真地模拟真实的编队等多机科目训练，模拟真实战场环境，提供受训人员真实视觉、听觉、触觉等感受，在军事领域中应用可有效减少人员、物资损耗，降低训练成本，具有重要的应用和推广价值。
上述实施例仅为本发明具体实施例，但并不局限于实施例，凡在不脱离本发明构思的情况下，依本申请所做的等效修饰和现有技术添加均视为本发明技术范畴。