一种月表虚拟场景构建方法及装置制造方法
【专利摘要】本发明公开了一种月球表面虚拟场景的构建方法，其包括：利用嫦娥三号全景左右相机在月球表面的探测点水平环拍和不同俯仰角获取多对影像，并利用所获取的多对影像进行全景镶嵌，得到月球表面的全景图像；构建月表虚拟场景模型；将构建的月表星空模型和月表地形地貌模型重投影到视平面；将重投影到视平面的月表星空模型和月表地形地貌模型进行三维实时渲染而产生视频信号，并将视频信号在柱幕投影屏幕上进行水平立体显示；通过图形工作站，对嫦娥三号降落相机图像数据进行数据预处理得到视频信号，并将得到的视频信号传输进投影显示系统，在地幕投影屏幕上进行垂直投影显示。
【专利说明】一种月表虚拟场景构建方法及装置
【技术领域】
[0001]本发明涉及虚拟现实技术及应用领域，特别是在三维显示环境下真实、快速模拟月球表面场景的方法及装置。
【背景技术】
[0002]利用月球车在复杂月球表面开展巡视探测，实现38万公里之外的月球车与地面上月球科学家、工程技术人员之间的信息交互，安全、准确地完成嫦娥三号月面巡视探测任务，必须建立月表场景虚拟现实人机交互系统，构建一个真实感强、沉浸感好、实时性高，集月表地形地貌、星空环境、时间信息为一体的三维可视化平台，辅助月球科学家全面了解月球车周围的探测环境。
[0003]但由于月球表面工作环境具有无法完全预知、不确定因素多、高度依赖视觉图像、任务时间紧等特点，再现月球车位置、月表地形地貌、太阳光照及星空环境，建立一个具有身临其境的、可进行交互操作的月表虚拟场景，快速获取月面探测的环境信息，一直是月面遥科学探测研究的一个难点问题。
[0004]目前的月面环境模拟，通常采用实物模拟的方式，在地面构建真空系统、热循环系统、月尘模拟系统、辐射环境模拟系统等，具备月表高低温循环、月尘、真空紫外、电子辐射等多个环境因素模拟能力。这些月球环境模拟系统大多服务于月球探测器的地面试验，由于采用实物模拟方式，普遍存在投资大，灵活性差，无法适应月球复杂多变的场景变化，也难以满足月球车月面巡视探测过程真实月表场景的模拟。
【发明内容】
[0005]有鉴于此，本发明提供了一种月表虚拟场景构建方法及装置，基于嫦娥三号全景相机双目立体图像数据、星表数据库和降落相机图像数据，结合图像数据实时处理、图像渲染和三维立体显示技术，创建交互的月表三维虚拟场景，实现快速、灵活地月面场景高精度模拟。
[0006]月表虚拟场景在投影显示系统的支持下，结合星空数据及时空信息，实现月球、地球、太阳及虚拟星空的实时显示；将全景相机左右两台相机月面360°环拍的镶嵌影像，通过柱幕投影系统进行水平立体显示，实现实时立体量测功能，获取月面科学探测点的位置和方位信息；同时利用降落过程中获取的降落相机图像，通过地幕投影系统进行垂直投影显示，模拟月面科学探测过程。本发明可以方便地实时了解月球车周围地形地貌环境，大大增强月表虚拟场景的真实度，使月球科学家能更真实的掌握月球车的探测位置和探测过程。
[0007]根据本发明一方面，其提供了一种月球表面虚拟场景的构建方法，其包括:
[0008]步骤1、利用嫦娥三号全景左右相机在月球表面的探测点水平环拍和不同俯仰角获取多对影像，并利用所获取的多对影像进行全景镶嵌，得到月球表面的全景图像；
[0009]步骤2、构建月表虚拟场景模型，包括根据星空数据构建随时间实时更新的月表星空模型；根据嫦娥三号全景图像确定全景图像映射到球面的纬度坐标和经度坐标，并将全景图像建立成金字塔结构，以构建月表地形地貌模型；
[0010]步骤3、将构建的月表星空模型和月表地形地貌模型重投影到视平面；
[0011]步骤4、将重投影到视平面的月表星空模型和月表地形地貌模型进行三维实时渲染而产生视频信号，并将视频信号在柱幕投影屏幕上进行水平立体显示；
[0012]步骤5、通过图形工作站，对嫦娥三号降落相机图像数据进行数据预处理得到视频信号，并将得到的视频信号传输进投影显示系统，在地幕投影屏幕上进行垂直投影显示。
[0013]根据本发明另一方面，其提供了一种月球表面虚拟场景的构建装置，其包括:
[0014]全景图像获取模块，利用嫦娥三号全景左右相机在月球表面的探测点水平环拍和不同俯仰角获取多对影像，并利用所获取的多对影像进行全景镶嵌，得到月球表面的全景图像；
[0015]月表虚拟场景模型构建模块，构建月表虚拟场景模型，包括根据星空数据构建随时间实时更新的月表星空模型；根据嫦娥三号全景图像确定全景图像映射到球面的纬度坐标和经度坐标，并将全景图像建立成金字塔结构，以构建月表地形地貌模型；
[0016]投影模块，将构建的月表星空模型和月表地形地貌模型重投影到视平面；
[0017]三维实时渲染模块，将重投影到视平面的月表星空模型和月表地形地貌模型进行三维实时渲染而产生视频信号，并将视频信号在柱幕投影屏幕上进行水平立体显示；
[0018]月表虚拟场景构建模块，通过图形工作站，对嫦娥三号降落相机图像数据进行数据预处理得到视频信号，并将得到的视频信号传输进投影显示系统，在地幕投影屏幕上进行垂直投影显示。
[0019]本发明与现有技术相比的优点在于:
[0020](I)利用星空数据库，太阳、地球和月球星历，月面经纬度和高程，精确解算出月球车、太阳和各天体的空间位置，实现了太阳高度角、方位角和月球车周围地物的月面位置与方位的实时解算，快速、灵活地构建月球表面光照、星空等虚拟场景；
[0021](2)利用嫦娥三号全景相机左右相机360°环拍镶嵌影像数据和降落相机图像数据，构建月球表面地形虚拟场景，克服了现有技术忽略部分因素和简化地形信息提取带来的模拟误差，提高了模拟精度和真实性，具备地形量测等交互功能。
[0022](3)利用四通道立体投影显示系统和地幕投影系统，建立了沉浸式月表虚拟环境。
[0023]本发明相对于现有技术，解决了月表虚拟场景构建方法的问题，能够快速、灵活地构建月球表面地形、光照、星空等虚拟场景，利用立体投影显示系统，可以为科学家和公众提供交互式、沉浸式月表虚拟环境。
【专利附图】
【附图说明】
[0024]图1本发明中月表虚拟场景构建方法的流程图；
[0025]图2是本发明中月表虚拟场景构建装置的硬件环境组成图；
[0026]图3是本发明中月表虚拟场景效果示意图。
【具体实施方式】
[0027]为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
[0028]本发明提出了一种月球表面虚拟场景的构建方法。以嫦娥三号月面软着陆区场景模拟过程为例，如图1所示，本发明的具体实施方法如下:
[0029]步骤1、全景图镶嵌；
[0030]嫦娥三号全景左右相机在月球表面的每个探测点水平360°环拍和不同俯仰角获取了 58对影像，即左右相机分别拍摄的58幅影像，针对全景相机序列图像光照不均、月表影像的特殊性等问题，采用基于SURF算法进行嫦娥三号全景相机图像全景镶嵌，得到月球表面的全景图像。
[0031]首先采用SURF算法提取每对影像的特征点，用SURF描述子的欧氏距离作为判定度量对每对影像进行特征匹配，得到每对影像的特征匹配点集合。
[0032]其次利用所得到的特征匹配点集合求取每对相邻影像间的变换矩阵，并利用Levenberg-Marquardt (列文伯格_马夸尔特法)非线性优化算法对所述变换矩阵进行优化，以提高变换矩阵的精度。变换矩阵的求取可采用论文《“吴凡路，刘建军，任鑫，李春来.嫦娥三号全景相机图像全景镶嵌方法的研究[J].光学学报，2014，34 (9):0915001》中的方法实现。
[0033]利用匹配点集合和优化后的变换矩阵进行相邻图像位置配准，最后采用基于线性插值的渐入渐出方法对图像重叠区域进行融合，实现月表图像的无缝镶嵌，得到嫦娥三号全景图像。具体镶嵌过程可采用《吴凡路，刘建军，任鑫，李春来.嫦娥三号全景相机图像全景镶嵌方法的研究[J].光学学报，2014，34(9):0915001》中记载的方法进行。
[0034]步骤2、月表虚拟场景建模
[0035](I)星空建模。本发明采用伊巴古星表数据，依巴谷星表数据基于的时空坐标系是J2000赤道坐标系，月表虚拟场景建模过程中，需要将j2000赤道坐标系转换为任意指定时刻的基于嫦娥三号着陆点为原点的月表地平坐标系。首先实时地将2000年I月I日的星表位置数据转换到当前指定时刻的瞬时月心赤道坐标系位置数据；由于恒星赤经和赤纬会因岁差(与恒星的自行)改变，所以通常指定某一特定的纪元作参考点。J2000赤道坐标系是以UTC时间2000年I月I日11:58:55.816的时间，为参考点，因此本发明选用了 2000年I月I日。然后，将瞬时月心赤道坐标系转换为基于嫦娥三号着陆点为原点的月表地平坐标系；最后将星空背景层映射至基于月表地平坐标系的天球面，完成随时间实时更新的月表星空模型构建。
[0036](2)构建月表地形地貌模型。首先根据嫦娥三号全景图像垂直视场角大小和相机光轴方向，确定全景图像坐标映射到天球面的纬度坐标，具体地:由相机光轴方向可以确定全景图像中心的纬度位置，再根据全景相机的视场角大小，计算全景图像角点的纬度坐标；再由全景图水平方向的图像边缘为正北方向，确定全景图像坐标映射到球面的经度坐标，具体地:全景图像是水平360度全景图像，正北方向对应的经度O度。通过已知图像边缘为正北方向，将其映射为经度O度，可以确定全景图像坐标映射到球面的经度坐标；同时考虑到全景图数据量较大，将全景图建立成金字塔结构，以提高高分辨率图像渲染的效率。其中，相机光轴方向由相机桅杆的俯仰决定，可以根据探测器下传的遥测参数确定。相机的视场角是相机本身的参数属性。相机是指左右两个全景相机，一台相机可以镶嵌为一张全景图。两台相机可以镶嵌为左右两张全景图。通过对左右两张图像立体显示，使用者可以看到具有景深的三维立体图像。
[0037]步骤3、投影转换
[0038]根据用户的相应动作实时地将天球上的可见部分从球面上重投影到视平面上是实现场景交互漫游的关键。本发明综合考虑到投影变形及投影于视平面的实时速度要求，采用球极投影方式实时的将投影于球面的星空及地形地貌模型重投影到视平面，完成实时显示及交互漫游功能。其中，投影是指将球面上的数据投影到视平面上(即显示屏幕)，然后进行实时渲染(绘制)。该步骤中球面上的数据，是指前文完成的建模的星空模型数据(由星表数据坐标转换得到)和月表地形地貌模型(由全景图像构成)。全景图像数据，为嫦娥三号获得。星表数据，是本领域中已知的数据。
[0039]步骤4、三维实时渲染
[0040]本发明基于OpenGL图形库，将重投影于视平面的模型实时渲染。三维实时渲染产生的视频信号传输到系统硬件。系统硬件中的信号传输流与控制流如图2所示。首先，基于月表虚拟环境软件和高效能图形工作站硬件，将显示屏幕从左到右依次划分为四个部分，输出具有重叠区的四路高清视频信号源；然后，四路视频信号经信号传输与控制系统传入视频信号同步矩阵，视频信号完成融合及立体信号同步；最后，经同步和融合过的视频信号传输进四台投影机，在柱幕投影屏幕上进行水平立体显示。
[0041]步骤5、月表虚拟场景构建
[0042]通过图形工作站，将经过数据预处理后的降落相机图像的视频信号传输进投影显示系统，在地幕投影屏幕上进行垂直投影显示。
[0043]本发明中，通过柱幕投影系统进行水平立体显示星空模型和月球车上用全景相机拍摄的地形地貌模型，通过地幕投影系统进行垂直投影显示降落过程中获取的降落相机图像，这个数据是从上往下俯看的地形地貌模型，最终构建月球车科学探测的月表虚拟场景(如图3)。
[0044]本发明还提供了一种月面虚拟场景构建装置(如图2所示)，其包括:立体投影显示系统和月表虚拟环境软件。
[0045]立体投影显示系统为月表虚拟环境软件服务，由4台平投投影机构成的柱幕投影系统和2台俯投投影机构成的地幕投影系统组成。投影系统包括信号产生系统，信号传输与控制系统，投影显示系统。柱幕投影显示系统为圆柱形环幕，弧长31米，圆弧半径15，屏幕高5.5米；地幕投影显示系统为长方形地幕，长18米，宽8.5米。
[0046]月表虚拟环境软件是整个系统的核心，基于以上月表虚拟场景构建方法，采用OpenGL技术研制。在立体投影显示系统的支持下，结合实时的星空数据，实现地外天体上的虚拟星空显示；基于大数据图像渲染引擎，采用快速实时投影方法，实现柱状投影、方位投影等多种形式的场景展示。月表虚拟现场场景可视化运行模式可实现预演模式、实时模式、事后回放分析模式等。该软件通过结合支持投影系统的硬件环境以立体的方式展现月球车周围地形地貌环境，根据时间实时更新星空环境，呈现了沉浸感强，交互性好，真实度高的虚拟月表环境。
[0047]以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【权利要求】
1.一种月球表面虚拟场景的构建方法，其包括: 步骤1、利用嫦娥三号全景左右相机在月球表面的探测点水平环拍和不同俯仰角获取多对影像，并利用所获取的多对影像进行全景镶嵌，得到月球表面的全景图像； 步骤2、构建月表虚拟场景模型，包括根据星空数据构建随时间实时更新的月表星空模型；根据嫦娥三号全景图像确定全景图像映射到球面的纬度坐标和经度坐标，并将全景图像建立成金字塔结构，以构建月表地形地貌模型； 步骤3、将构建的月表星空模型和月表地形地貌模型重投影到视平面； 步骤4、将重投影到视平面的月表星空模型和月表地形地貌模型进行三维实时渲染而产生视频信号，并将视频信号在柱幕投影屏幕上进行水平立体显示； 步骤5、通过图形工作站，对嫦娥三号降落相机图像数据进行数据预处理得到视频信号，并将得到的视频信号传输进投影显示系统，在地幕投影屏幕上进行垂直投影显示。
2.如权利要求1所述的方法，其中，步骤I中利用所获取的多对影像进行全景镶嵌具体包括: 采用SURF算法提取每对影像的特征点，用SURF描述子的欧氏距离作为判定度量对每对影像进行特征匹配，得到每对影像的特征匹配点集合； 求取相邻两幅图像间的变换矩阵，并利用非线性优化算法进行优化； 利用优化后的变换矩阵进行相邻图像位置配准，采用基于线性差值的渐入渐出方法对图像重叠区域进行融合、得到月球表面的全景图像。
3.如权利要求1所述的方法，其中，步骤2中月表星空模型如下构建: 实时地将2000年I月I日的星表位置数据转换到当前指定时刻的瞬时月心赤道坐标系位置数据； 将瞬时月心赤道坐标系转换为基于嫦娥三号着陆点为原点的月表地平坐标系； 将星空背景层映射至基于月表地平坐标系的天球面，完成随时间实时更新的月表星空模型构建。
4.如权利要求1所述的方法，其中，步骤2中月表地形地貌模型如下构建: 根据嫦娥三号全景图像垂直视场角大小和相机光轴方向，确定全景图像坐标映射到球面的纬度坐标； 由全景图水平方向的图像边缘为正北方向，确定全景图像坐标映射到球面的经度坐标； 将全景图建立成金字塔结构，以提高高分辨率图像渲染的效率。
5.如权利要求1所述的方法，其中，步骤3中采用球极投影方式实时的将投影于球面的星空模型及月球地形地貌模型重投影到视平面。
6.如权利要求1所述的方法，其中，步骤4具体包括: 将显示屏幕从左到右依次划分为四个部分，输出具有重叠区的四路视频信号源； 所述四路视频信号经信号传输与控制系统传入视频信号同步矩阵，四路视频信号完成融合及立体信号同步； 经同步和融合过的四路视频信号传输进四台投影机，在柱幕投影屏幕上进行水平立体显不O
7.一种月球表面虚拟场景的构建装置，其包括: 全景图像获取模块，利用嫦娥三号全景左右相机在月球表面的探测点水平环拍和不同俯仰角获取多对影像，并利用所获取的多对影像进行全景镶嵌，得到月球表面的全景图像； 月表虚拟场景模型构建模块，构建月表虚拟场景模型，包括根据星空数据构建随时间实时更新的月表星空模型；根据嫦娥三号全景图像确定全景图像映射到球面的纬度坐标和经度坐标，并将全景图像建立成金字塔结构，以构建月表地形地貌模型； 投影模块，将构建的月表星空模型和月表地形地貌模型重投影到视平面: 三维实时渲染模块，将重投影到视平面的月表星空模型和月表地形地貌模型进行三维实时渲染而产生视频信号，并将视频信号在柱幕投影屏幕上进行水平立体显示； 月表虚拟场景构建模块，通过图形工作站，对嫦娥三号降落相机图像数据进行数据预处理得到视频信号，并将得到的视频信号传输进投影显示系统，在地幕投影屏幕上进行垂直投影显示。
【文档编号】G06T15/00GK104463956SQ201410675795
【公开日】2015年3月25日 申请日期:2014年11月21日 优先权日:2014年11月21日
【发明者】刘建军, 高兴烨, 任鑫, 牟伶俐, 李春来 申请人:中国科学院国家天文台