一种增强现实的视景合成系统的制作方法

本专利涉及一种大视场实像视景显示系统，属于虚拟现实显示技术领域。

背景技术：

飞行视景系统是一类新型的飞行感知系统，能为飞行员提供可视化的飞行场景信息。相比传统上蓝下棕的“天地球”，明示视景系统能更直观地反映给飞行员更丰富的信息。目前飞行视景系统主要有合成视景系统(Synthetic Vision System，SVS)和增强视景系统(Enhanced Vision System，EVS)，二者都能利用机载传感设备生成特殊的视景场景，其中合成视景系统能基于数据库为飞行员构建一个完全虚拟的飞行场景，而增强视景系统是将机载传感设备(如红外摄像机、毫米波雷达)获得的外界场景信息显示在视景画面中。这两种视景方案均可提高飞行员对外界和飞机白身的感知程度，但其也各有不足:如合成视景系统需要携带大量数据库信息，而增强视景系统显示的传感器探测信息缺乏对信息重点的突出。

随着计算机技术的广泛应用与发展，一种新技术逐渐为大众了解，并日益成熟，这就是增强现实技术。增强现实技术是一种高级的计算可视化技术，利用计算机产生现实环境中不存在的虚拟对象，通过传感跟踪技术将虚拟对象准确“放置”在真实环境中，再借助显示设备将虚拟对象与真实环境融为一体，呈现给使用者一个感官效果真实的新环境。

针对合成视景和增强视景两种系统的不足，本专利提出一种基于增强现实技术的飞行视景系统，该系统为飞行员呈现出一个虚实结合的场景。与前两种视景系统相比，增强现实视景系统具有装载数据量小、显示直观等特点，能为飞行员提供更有效的信息。

技术实现要素：

本专利在视觉认知视点信息的基础上研究驾驶环境下增强现实的视觉认知建模，通过模块化层次稀疏网络，建立视觉认知稀疏深度可计算模型，所提出的模型，在较大尺度的上层为模块化深度网络，每个模块下层是具有较小尺度的分布式链接对象映 射系统。本专利基于视觉认知对增强现实应用背景下的人脑认知、特别是视觉认知建模方法进行研究。

增强现实视景系统的最终效果是：飞行员在屏幕上能看到真的机外场景，同时在特定的位置(如打击目标处、地形险要处等感兴趣区域)，能看到相应的虚拟信息(包括文字、符号、三维模型等)。对获取的外界图像实时叠加相应的可视化信息，使飞行员能同时了解飞机外部的环境，同时还能将关注的重点集中在特定的提示区域，与真实的场景融合显示也更加直观，便于理解。由于信息量较小、无需携带大量地形数据，因此信息的更新和传输也就更及时，更便于地面部门更新数据及在飞行过程中进行数据的实时交换。

机载跟踪设备提供飞机的位姿数据，以便用于定位虚拟物体，而白身携带的三维场景获取设备则用于获取目标点的真实场景信息(若获取的是图像、视频信息，则是三维场景信息在摄像设备中的二维投影；若是三维信息，则可直接输入)。本专利主要以采用二维图像信息形式获取真实场景。假设真实场景中有一个摄像机，真实世界中经过摄像机的投影将会受到成像面大小的限制被部分呈现在该成像面上。想象虚拟场景中也有一个摄像机，且该摄像机的成像特性等内部参数与真实世界中的摄像机一样，虚拟摄像机的位置和姿态也与真实摄像机的位置、姿态的相同，且虚拟场景中的三维场景的尺度与真实世界中完全一致，虚拟场景中也有一部分信息被投影至距虚拟摄像机距离为了的成像平面上。由于虚拟和真实世界中的摄像机的参数完全一致，摄像机相对于外部场景的位置和朝向也是一致的，因此虚拟和真实的场景完全匹配，如同用一个摄像机拍摄后看到的。

相应的增强现实的视景合成系统，其特征在于：包括多个投影机组和一个成像球幕，每个投影机组包括第一投影机和第二投影机；第一投影机和第二投影机投射在球幕上的图像在垂直方向上有重合区域，重合区域的两个图像融合成为连续图像；多个投影机组沿球幕圆周方向分布，布置在球幕上方，相邻两投影仪组投射到球幕上的画面在水平方向形成重合区域；成像球幕划分为若干块球瓣，球瓣之间无缝连接，球幕内表面喷涂增益漆。

进一步的增强现实的视景合成系统，其特征在于：所述成像球幕半径及大小依据实际显示系统设计要求的视场角大小确定，图像连续且布满整个球幕。

进一步的增强现实的视景合成系统，其特征在于：眼点位于球幕的球心位置，投影机投出的光线经球幕反射后射入眼点。

有益效果

本专利提出一种基于增强现实技术的视景合成系统，该系统为飞行员呈现出一个虚实结合的场景。与前两种视景系统相比，增强现实视景系统具有装载数据量小、显示直观等特点，能为飞行员提供更有效的信息。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1增强现实视景合成原理图；

图2视景合成系统工作流程图；

图3视觉认知建模方法研究流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

增强现实的视景合成系统，包括多个投影机组和一个成像球幕，每个投影机组包括第一投影机和第二投影机；第一投影机和第二投影机投射在球幕上的图像在垂直方向上有重合区域，重合区域的两个图像融合成为连续图像；多个投影机组沿球幕圆周方向分布，布置在球幕上方，相邻两投影仪组投射到球幕上的画面在水平方向形成重合区域；成像球幕划分为若干块球瓣，球瓣之间无缝连接，球幕内表面喷涂增益漆。

所述成像球幕半径及大小依据实际显示系统设计要求的视场角大小确定，图像连续且布满整个球幕。

眼点位于球幕的球心位置，投影机投出的光线经球幕反射后射入眼点。

结合相机模型具体介绍增强现实视景系统的工作流程。增强现实视景系统可以分成离线和实时在线两个过程。离线主要是对设备的标定；在线过程则是利用标定的数据结合传感器数据对场景进行跟踪与绘制。

离线标定过程:

标定的过程主要是确定真实摄像机的内参数，在此标定基础上才能确保虚拟图像与真实图像能够完全匹配。

标定的另一个方面是确定飞机位置和姿态与摄像机位置和姿态的相对关系。由于机载设备直接获得位置和姿态数据仅表征飞机的位置和姿态，并不能代表摄像机的位置和姿态，因此需要提前标定。若摄像机相对于飞机静止，则可以用该映射关系可以在后续的跟踪过程确定摄像机的旋转平移矩阵；若摄像机与飞机之问非相对静止，后续实时计算中仍需考虑它们两者之问的相对运动，以确定摄像机相对于世界坐标系的旋转平移矩阵。

实时在线跟踪过程:

建立世界坐标系(通常世界坐标系的原点设置在地球的球心，坐标系的z轴由圆心指向北极，XY车由构成的平面与赤道平面重合)，并在此基础上利用机载位置姿态传感器获得的飞机航向角、俯仰角、横滚角以及飞机经纬度、高度计算出当前摄像机的外参数，即摄像机的6个白由度信息，最终计算出摄像机的外参数矩阵M₂。

三维物体投影过程

真实空间中的三维点经过摄像机成像在其焦平面上；同时，虚拟空间根据摄像机的位置和姿态从数据库调取一定范围内的三维模型，这些三维模型点也在虚拟摄像机内外参数矩阵的作用下投影在虚拟的成像面上某位置(u,v),完成虚拟三维物体投影过程。

虚实融合过程:

以上步骤分别获取了真实世界和虚拟世界中的三维点信息对应的二维图像信息。设真实物体的某一点(X₁,Y₁,Z₁)投影于图像平面的(X₂,Y₂),若该位置上存在虚拟点，则这两点重合，虚实点就完成了匹配。渲染时，通常情况下(不考虑真实景物遮挡虚拟物 体，或为了突出虚拟信息)虚拟图像叠加于真实图像之上，因此可将真实场景作为背景，虚拟信息作为覆盖层显示于真实场景之上进行渲染，即可实现虚实融合。至此，整个增强现实视景的工作过程也全部完成。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。