一种具有混合现实功能的模拟飞行座舱系统及其处理方法与流程

本发明涉及飞行模拟训练设施技术领域，尤其涉及一种具有混合现实功能的模拟飞行座舱系统及其处理方法。

背景技术：

虚拟现实是多种技术的综合，包括实时三维计算机图形技术，广角(宽视野)立体显示技术，对观察者头、眼和手的跟踪技术，以及触觉/力觉反馈、立体声、网络传输、语音输入输出技术等。随着虚拟现实的显示技术和模式识别的技术发展，体验者可以将现实世界的实际环境视觉和听觉由立体摄像头导入到数字世界中，并通过立体的头戴显示器让人的视觉神经产生出虚拟现实的数字世界。近些年来，虚拟现实技术已经广泛应用在飞行员的飞行模拟训练中，很好地降低训练成本，保证训练效果，且能减少飞行学员等受训人员的驾机培训时间。

公开号为CN101034503A的专利申请文件公开了一种轻型飞行模拟器，包括座舱系统和虚拟现实头盔，其中虚拟现实头盔作为视景设备，座舱内取消了仪表盘等所有显示部件的实物，所有可触摸操作的部分与舱内外的视景均通过计算机生成，然后通过虚拟现实头盔进行显示，计算机生成的图像包括座舱仪表板、开关、飞行员手部动作等，的座舱内取消了仪表盘等所有显示部件的实物，使得座舱系统的重量更轻，结构更为简单。

但是，在飞行模拟训练中，座舱系统中仪表、操作设备和综合显示系统的真实模拟对提升飞行员训练过程中的真实感和现场感显得尤为重要。不管是上述专利还是目前技术的发展，都没有把座舱内视景和虚拟现实信息结合起来，不能在立体的视觉体验中，精确无差别地融合舱内视景和虚拟现实信息，从而严重影响使用体验，阻碍技术广泛地应用。目前的问题主要体现在：

(1)无法实时并同时立体观测和操作现实环境和虚拟数字空间，摄 像模块捕捉的真实视景信息在与虚拟现实信息结合之前需要通过计算机进行大量的后期处理,有些后期处理工作甚至需要人工参与，从而造成一定的时间延迟，显示的画面和受训者的操作有偏差与延迟，影响训练效果；

(2)处理后的最终显示效果不够逼真，摄像模块捕捉的真实视景信息需经过计算机与人工进行后期处理，由于处理时间较短与技术问题，会导致最终图像的合成边沿毛刺噪声严重,严重影响图像的显示质量；

(3)受训者获取最终显示效果时，由于距离、拍摄景深等原因，虽然能判断物体的景深,但无法保证其与真实的距离、高度感相一致，影响参训者的正常操作，甚至会产生不安全和不舒适的体验。

因此，如何发明一种具有逼真的显示效果与较低的延迟时间的模拟飞行座舱系统及处理方法是本领域技术人员有待解决的技术难题。

技术实现要素：

本发明为要解决的技术问题提供了一种具有混合现实功能的模拟飞行座舱系统及系统的处理方法，该系统和方法能够快速地处理、修正与融合虚拟视景和环境实景的图像信息，参训者可以实时地观测到自己的操作动作，提高了图像显示的实时性，也使得图像显示的逼真效果大为提升，同时具有更好的舒适度和训练效果。

为解决上述技术问题，本发明所提供的技术方案如下：

一种具有混合现实功能的模拟飞行座舱系统，适用于仿真模拟飞行器的座舱，该座舱包括视窗区域与操作区域，所述视窗区域与操作区域之间为作为分隔线的红外边界；

该系统至少包括红外边界立体模式识别模块、立体图像数字化处理模块、虚拟视景生成模块、虚拟视景与实景融合模块；

其中，红外边界立体模式识别模块连接红外摄像头，红外边界立体模式识别模块对红外边界进行识别并上传至虚拟视景与实景融合模块；

所述立体图像数字化处理模块连接立体摄像头，立体图像数字化处理模块对环境实景的图像信息进行识别和编码并上传至虚拟视景与实景融合模块；

虚拟视景与实景融合模块连接用于生成虚拟视景信息的虚拟视景生 成模块，用于完成所有的虚拟视景和环境实景的图像的修正与后期处理以及在同一空间坐标系的融合。

本发明的具有混合现实功能的模拟飞行座舱系统，在视窗区域与操作区域之间设置了肉眼无法观测的红外边界，使得虚拟视景和环境实景之间具有明显的分界线，方便后期的图像处理；另外，红外边界作为操作区域的轮廓线，很容易通过建模计算出红外摄像头与操作区域的空间相对位置，对立体摄像头捕捉的环境实景的图像信息进行修正。

本发明的系统还包括高清显示模块，高清显示模块连接虚拟视景与实景融合模块，经虚拟视景与实景融合模块处理融合后的图像显示在高清显示模块中的显示屏上。

为区分视窗区域与操作区域，即形成虚拟视景和环境实景的分隔线，方便图像信息的修正和后期处理，具体方案为，使用若干LED红外灯排布形成红外边界，形成操作区域的轮廓线。

为方便图像信息的修正和后期处理，需要增加视窗区域与操作区域的色彩差异度，具体方案为，视窗区域内沿红外边界铺满绿幕。

为使参训者的操作体感更接近真实，优选的，操作区域内设有采用1：1的实物座舱模拟仿真的仪表、按键、油门与操纵杆。

进一步地，虚拟视景生成模块为计算机，红外边界立体模式识别模块、立体图像数字化处理模块、虚拟视景与实景融合模块与高清显示模块集成在基板上，所述基板置于头戴显示器内部，头戴显示器的外表面分别设有两个沿水平向居中的红外摄像头、位于两端的立体摄像头，以及用于安装高清显示模块的显示屏。

本发明另一方面还提供一种具有混合现实功能的模拟飞行座舱系统的处理方法，包括以下步骤：

S100系统各模块初始化；

S200捕捉环境实景与红外边界的图像信息，并判断环境实景真实的空间相对位置；

S300计算机建立对应的立体的虚拟视景；

S400对捕捉的图像信息进行空间相对位置的修正与后期处理，然后 高速混入立体的虚拟视景的图像信息；

S500最终将融合了环境实景与虚拟视景的立体图像在显示屏中输出。

其中，步骤S400中空间相对位置的修正具体为：红外摄像头捕捉的红外边界图像信息通过红外边界立体模式识别模块识别后，通过建模计算出红外摄像头与操作区域的真实的空间相对位置，对立体摄像头捕捉的环境实景的图像信息进行修正。

步骤S400中对捕捉的图像信息进行后期处理具体为：立体摄像头捕捉的图像信息以红外边界作为分隔线分为视窗区域与操作区域两个部分，高速混入对应的立体的虚拟视景的图像信息替换掉视窗区域的图像信息。

本发明的具有混合现实功能的模拟飞行座舱系统系统的处理方法和现有技术相比具有如下有益效果：

(1)视窗区域与操作区域之间设有由LED红外灯组成的红外边界，可以明显的区分虚拟视景和环境实景，不需要人工参与进行后期处理，极大降低了图像的处理时间，解决了现有技术中由于处理时间过长造成的动作与图像不同步的情况，提高了图像的实时性；

(2)虚拟视景和环境实景的边界极为明显，在进行图像的后期处理时的技术难度较小，可以很容易的在短时间内获得高质量的图像信息，解决了现有技术中由于处理难度较大或为缩短处理时间而造成的图像质量较差的问题，使得图像的最终显示效果更为逼真；

(3)红外边界形成了操作区域的轮廓线，通过红外摄像头进行捕捉测距，解决了现有技术中由于距离、拍摄景深等原因造成的操作区域与实际的距离、高度感不一致的问题，提高了参训者的训练效果和训练时的舒适度；

(4)座舱系统内操作区域内的仪表、按键和操纵杆等均采用1：1的实物座舱模拟仿真，使得参训者体感更接近真实效果，提高了参训者的训练效果。

附图说明

图1为实施例1的处理系统的结构示意图；

图2为实施例1的处理系统的结构示意图；

图3为实施例1的头盔的结构示意图；

图4为实施例1的座舱的结构示意图；

图5位实施例2的处理方法的步骤示意图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点表达得更加清楚明白，下面结合附图及具体实施例对本发明实施方式再作进一步详细的说明。

实施例1

图1为根据本发明实施方式的具有混合现实功能的模拟飞行座舱系统的结构示意图。该处理系统包括：红外边界立体模式识别模块10、立体图像数字化处理模块20、虚拟视景生成模块30、虚拟视景与实景融合模块40与高清显示模块50。

该处理系统可应用在座舱中，如图4所示，座舱包括操作区域1和视窗区域2。其中，操作区域1的轮廓线为由若干LED红外灯排布形成的红外边界3，肉眼无法直接额看到，同时该红外边界3还可作为环境实景与虚拟视景的明显分界线。操作区域1内设有采用1：1的实物座舱模拟仿真的仪表、按键、油门与操纵杆等，视窗区域2内沿红外边界3铺满绿幕21。

如图1和图2所示，红外边界立体模式识别模块10连接红外摄像头，红外边界立体模式识别模块10对红外摄像头捕捉的红外边界3的图像信息进行识别，通过识别红外边界3的轮廓线可以建模计算出红外摄像头与操作区域1的实际空间相对位置，然后将操作区域1的空间相对位置信息传输至虚拟视景与实景融合模块40，虚拟视景与实景融合模块40对立体摄像头捕捉的环境实景的图像信息进行修正。另外，红外边界3作为环境实景与虚拟视景的明显分界线，方便虚拟视景与实景融合模块40对环境实景的图像信息进行后期处理。

立体图像数字化处理模块20连接立体摄像头，立体图像数字化处理模块20对立体摄像头捕捉的环境实景的图像信息进行识别编码并上传至 虚拟视景与实景融合模块40。

虚拟视景生成模块30用于生成对应的虚拟视景信息并上传至虚拟视景与实景融合模块40。

虚拟视景与实景融合模块40分别连接红外边界立体模式识别模块10、立体图像数字化处理模块20与虚拟视景生成模块30，用于接收红外边界立体模式识别模块10、立体图像数字化处理模块20与虚拟视景生成模块30所传输的信息，同时完成所有的虚拟视景和环境实景的图像的修正与后期处理以及在同一空间坐标系的融合。

高清显示模块50连接虚拟视景与实景融合模块40，经虚拟视景与实景融合模块40处理融合后的图像显示在高清显示模块50中的显示屏上。

如图2和图3所示，本实施例的座舱系统中，红外边界立体模式识别模块10、立体图像数字化处理模块20、虚拟视景与实景融合模块40与高清显示模块50集成在基板上，其中，基板置于头戴显示器4的内部，头戴显示器4的外表面分别设有两个沿水平向居中的红外摄像头41、位于两端的立体摄像头42，以及用于安装高清显示模块50的显示屏43，虚拟视景生成模块30为场景计算机。

实施例2

一种具有混合现实功能的模拟飞行座舱系统的处理方法，如图5所示，包括以下步骤：

S100系统各模块初始化；

S200捕捉环境实景与红外边界的图像信息，并判断环境实景真实的空间相对位置；

S300计算机建立对应的立体的虚拟视景；

S400对捕捉的图像信息进行空间相对位置的修正与后期处理，然后高速混入立体的虚拟视景的图像信息；

S500最终将融合了环境实景与虚拟视景的立体图像在显示屏中输出。

其中红外摄像头捕捉的红外边界图像信息通过红外边界立体模式识别模块识别后，通过建模计算出红外摄像头与操作区域的实际空间相对位 置，虚拟视景与实景融合模块对立体摄像头捕捉的环境实景的图像信息进行修正。

立体摄像头捕捉的图像信息以红外边界作为分隔线分为视窗区域与操作区域两个部分，高速混入由虚拟视景生成模块生成的对应立体虚拟视景的图像信息替换掉视窗区域的图像信息。

综上所述，本发明的具有混合现实功能的模拟飞行座舱系统系统的处理方法，视窗区域与操作区域之间设有由LED红外灯组成的红外边界，可以明显的区分虚拟视景和环境实景，不需要人工参与进行后期处理，极大降低了图像的处理时间，解决了现有技术中由于处理时间过长造成的动作与图像不同步的情况，提高了图像的实时性。

虚拟视景和环境实景的边界极为明显，在进行图像的后期处理时的技术难度较小，可以很容易的在短时间内获得高质量的图像信息，解决了现有技术中由于处理难度较大或为缩短处理时间而造成的图像质量较差的问题，使得图像的最终显示效果更为逼真。

红外边界形成了操作区域的轮廓线，通过红外摄像头进行捕捉测距，解决了现有技术中由于距离、拍摄景深等原因造成的操作区域与实际的距离、高度感不一致的问题，提高了参训者的训练效果和训练时的舒适度。

座舱系统内操作区域内的仪表、按键和操纵杆等均采用1：1的实物座舱模拟仿真，使得参训者体感更接近真实效果，提高了参训者的训练效果。

以上所述实施例仅仅是本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。