一种结合空间全局3D视图和全景图片的空间展示方法与流程

本发明涉及利用电脑或者互联网的三维空间展示技术，通过结合空间的3D数据和全景图片达到对被展示空间从全局到细节的全方位展示方法。

背景技术：

已有的空间展示方法主要有全景图片展示和三维建模展示。全景图片缺少三维数据，场景表现缺乏全局的展示。而三维建模又分为基于测绘的人工测量数据建模和三维扫描建模。前者所制作的模型缺乏真实的结构和纹理信息，场景真实感不强；后者虽然空间结构构建有真实感，但纹理细节不够完善。因此，已有的空间展示方法可主要分为：(一)全景图片的展示，(二)场景的3D手工建模模型展示，(三)场景的3D扫描建模模型展示。在申请人检索的范围内，空间展示的方法可以见到有关方法(一)的现有文献如下：

中国专利文献CN201110426966公开的技术方案中，通过至少包括两个摄像头的全景摄像装置拍摄空间，其中所有摄像头镜头的视角之和形成大于或等于360度的球面视角，然后将拍摄到的图像传输至图像处理终端后利用图像处理软件对不同摄像头拍摄的画面结合处进行修饰，使不同摄像头拍摄的画面实现平滑结合，生成360°全景画面。由于没有空间的三维数据，缺乏场景全局的展示；

中国专利文献CN201210412995公开的技术方案中，将全景图像的照片进行透视处理以模拟为真实的3D场景，生成带有地图标志的文件集合。但该方法缺少真实的空间信息，沉浸感不强；

平青发表的“360度全景技术在数字博物馆的应用(数字技术与应用，2015年09期，87)”在中心处取点旋转摄像头拍摄空间有部分重叠的照片，用PS软件进行拼接制作全景图片，然后在插件上播放，用户只能按照程序设定浏览空间，不能实现交互式的用户体验；

中国专利文献CN201510167536.7公开的技术方案中，用高清摄像系统获取全景视频数据，通过视频拼接软件将得到的视频数据拼接成360度视频，最终效果是用户可以选择在二维地图和全景地图间进行切换，进而查看位置信息。它的缺点主要是二维地图只包含地理位置与地理名称，缺少实际地理图像，而三维全景视频流地图不仅对网络发布格式有要求，而且数据量大，数据网络加载时间长，视频全景播放的流畅性受网络宽带的影响较大；

中国专利文献CN200910127737.9公开的技术方案中，展现物品方法的特征在于：响应不同的操作指令以显示不同的序列图像或动画，观看者以不同的指令操作时使图像切换到相应角度的图像上，使观看者自由地多角度观看被拍摄物品。此种方法虽然拍摄的物品的角度多，采集的照片多，但照片式浏览的方式还是用二维图像展示物品，缺乏三维数据，场景切换不流畅。

中国专利文献CN200610053842.9公开的技术方案中，用普通相机产生序列静态图像，再应用软件技术将序列静态图像拼接成360度柱形环视全景图，由于该方法采用柱面全景图，所以该方法只能360度环视，不能多角度观看物体，又由于该方法缺少物体三维深度信息，不能构建出具有距离感的立体图。

中国专利文献CN201310084834.0)公开的技术方案中，首先利用高清位图采集设备获取360度全方向的影像资料，用先进的计算机图形图像技术，对前期位图进行加工处理，形成实景全图，再对实景全景图进行二次加工，串联各个环境下的全景图。在图像上添加交互接口，开发基于Kinect的人机交互界面，实现动作指令的智能化交互感受。此方法只能让使用者感受到信息量丰富的二维全景图的视觉体验，由于缺少三维数据信息，不能真实立体地还原场景。

有关方法(二)的现有文献如下：

刘军等发表的“文化遗址的三维真实感建模与虚拟展示技术(计算机工程，2010年20期，286—290)”三维激光扫描后采用投影域三角剖分技术精细建模，然后提出两步法进行纹理映射，虽然取得了较强的真实感，但由于误差的影响和塔身结合部位纹理的不完整性导致了整体空间细节的不精确。而对附属建筑采用的是在设计图的基础上借助3D Max 9.0构建了遗址场景，物体的形貌信息不完整，缺乏空间结构的真实信息；

中国专利文献CN201310207203.3公开的技术方案中，利用3D建模技术创建出房屋模型，配合使用虚拟摄像机可在房屋3D模型外部和内部空间上自由移动，并以相应位置的视角展示房屋3D模型，加上输入模块与控制模块的使用，实现人机互动，保证系统实现各种个性化的展示需求。此系统虽然能够将空间的三维数据与全景全部展现出来，但由于此系统使用纯手工3D建模的方法创建出房屋模型，空间的结构和纹理不是来自于实际物理空间，因此展现不真实，是动画片的展现效果。

有关方法(三)的现有技术文献如下

中国专利文献201310343113.7公开的技术方案中，提出基于球形投影的三维场景“两维图像”映射方法，将深度等更多的三维信息描述在两维全景图像及附带的描述文件中，从而突破了传统360度全景图只能展示不能沉浸式漫游、人机互动的缺陷。由于该系统利用场景管理模块分析房间和门的位置，自动生成若干观察点，浏览者只能从入口观察点开始，按照邻接关系切换观察的位置，而不能自主选择观察点，所以此系统不能给浏览者全方位的展示，不能适应各种个性化的展示需求。

高伟强等发表的“三维全景与三维激光扫描相结合的数字校园初期建设(数字技术与应用，2013年05期，106—108)”提出了将全景图片与激光扫描相结合得到三维空间全景图片的思路，但没有对方案做出具体说明。

通过分析上述文献可以看出，通过电脑或者网络对空间场景展示的三种主要方法各存在如下优缺点。

一、全景图片的展示

a)优点：空间的展示细腻真实，尤其是对细节的展现

b)缺点：场景的切换(全景图片)突兀，没有过渡；缺乏场景全局的展示，用户体验只见树木不见森林；缺少三维数据的支撑，场景信息不够丰富全面。

二、场景的3D手工建模模型展示(类似3Dmax手工绘图建模)

a)优点：空间的展示既有整体的全局展现，又有内部局部的细节展现。

b)缺点：由于空间的结构和纹理不是来自于实际物理空间，因此展现不真实，是动画片的展现效果。

三、场景的3D扫描建模模型展示

a)优点：空间的结构和纹理来源于实际物理空间，同样既有全局又有局部展现，展现真实感强。

b)缺点：由于扫描传感器的本身局限性，没有空间的全景图片，因此模型的细节缺失较严重，展现效果差强人意。

综上，提供一种综合全景图片展示和三维建模展示优点，空间的展示细腻真实，空间的展示既有整体的全局展现，又有内部局部的细节展现并克服各自方法空间的结构和纹理来源于实际物理空间，同样既有全局又有局部展现，展现真实感强的，达到完美的对真实空间的展示。

技术实现要素：

为解决上述问题本发明采用的技术方案是，提供一种结合空间全局3D视图和全景图片的空间展示方法，其特征是所述方法包括以下步骤：

1)3D建模，首先通过室内全景三维数据双轴自动采集装置采集待展示空间的深度信息数据和全景图片，利用基于多视角数据融合的3D建模方法将采集到的深度数据生成一个待展示空间的全局3D模型并将全景图片生成待展示空间的全局3D模型的材质贴图。所述待展示空间的全局3D模型以下简称3D模型

2)3D模型展示，利用三维图形库展现步骤1)生成的完成贴图的3D模型。

3)全景图片采集，在待展示空间以室内全景三维数据双轴自动采集装置采集多个预置观察点的全景图片同时记录各个观察点的准确空间3D坐标信息，以及相应的全景图片在3D模型中的包括零度角信息的旋转轴信息。

4)全景图片映射，利用3D全景映射算法将步骤3)得到的全景图片映射在步骤1)得到3D模型上。

5)3D模型展示模式与全景图片展示模式的切换，当从展现的3D模型上某点到与该点最接近的预置观察点的全景图片进行切换时，记录3D模型中的用户视角，并以该用户视角展现全景图片。当从该用户视角的全景照片切换回3D模型时，将切换到3D模型中的预置观察点上。

所述的一种结合空间全局3D视图和全景图片的空间展示方法，其特征是所述全景图片为立方体(Cube)图

所述的一种结合空间全局3D视图和全景图片的空间展示方法，其特征是所述步骤4)中所述3D全景映射算法具体包括以下步骤

4.1)定义二维的屏幕坐标系X/Y和三维的3D模型坐标系X′/Y′/Z′，所述的3D模型坐标系的方向同3D模型的方位始终保持一致，同时指定3D模型的重心作为3D模型坐标系原点O，定义Z′是3D模型的水平旋转轴，X′是3D模型的垂直旋转轴。

4.2)定义全景图片的水平旋转轴Z″和垂直旋转轴X″。将每个全景图片的水平旋转轴Z″与3D模型坐标系的水平旋转轴Z′进行方向对齐，同时将每个全景图片的垂直旋转轴X″和3D模型坐标系垂直旋转轴进行方向对齐，完成全景图片到3D模型的映射。

所述的一种结合空间全局3D视图和全景图片的空间展示方法，其特征是所述步骤5)具体包括以下步骤

5.1)3D模型展示模式到全景图片展示模式转换时，记录与用户在3D模型展示模式下选择区域最接近的预置观察点的观察方向和当前3D模型的水平偏角。所述水平偏角为3D模型坐标系的坐标轴X′和与屏幕坐标系X轴的夹角，

5.2)选出与用户选择区域最接近预置观察点的全景图片，并令全景图片的水平旋转角Q与步骤5.1)的水平偏角相等；

5.3)根据步骤5.2)中选出的全景图片的水平旋转角、屏幕的显示范围及需要的全景图片显示比例确定该全景图片在屏幕上显示的范围，将这部分全景图片展示出来，完成从3D模型展示模式到全景图片展示模式的转换。

5.4)逆运行步骤5.1)～5.3)，即可实现从全景图片展示模式到3D模型展示模式的切换。

所述的一种结合空间全局3D视图和全景图片的空间展示方法，其特征是所述室内全景三维数据双轴自动采集装置由采集全景图片和深度信息数据采集模块、水平旋转平台与俯仰旋转平台，能够同时采集全景图片和深度信息数据。

所述的一种结合空间全局3D视图和全景图片的空间展示方法，其特征是所述的三维图形库包括WebGL、本地OpenGL或Direct3D。

所述的一种结合空间全局3D视图和全景图片的空间展示方法，其特征是将整个全景图片的每个像素的计算过程都置于服务器端，将展示3D模型与全景图片的计算过程置于用户端，服务器端与用户端通过网络相连接，用户端安装支持WebGL接口的浏览器，运行在用户端浏览器的Javascript脚本会调用WebGL接口实现3D模型在屏幕上的展现；当从3D模型切换到全景图片时，通过WebGL的shader接口让3D模型逐渐模糊的同时让全景图片逐渐清晰。

与现有技术相比，本发明的优点包括：

1、用户不仅可以看到整个空间的3D格局，同时也可以看到高质量的空间局部细节。

2、3D模型与全景图片两种展示模式的切换非常平滑，使用户体验达到最佳。当从3D模型模式到全景图片模式进行切换时，由于视角的移动完全是正常的3D空间中的源位置到目的位置的移动，且源位置也是与用户鼠标点击的目标区域最近的一个预置观察点，所以与用户的预期一致，体验也就非常平滑，事实上，预置观察点越密，这种体验越平滑。在进行切换时用户很难区分自己看到的到底是3D模型的材质贴图还是全景图片，所以3D模型的材质贴图过渡到的全景图片的过程看起来仅仅是显示区域放大了而已，难以发现其中的区别。

3、从展现的具体技术实现来看，整个全景图片的的每个像素的计算过程都置于服务器端，将展示3D模型与全景图片的计算过程置于用户端，3D模型数据和全景图片数据可以分时加载，这样就会有效缩短数据网络加载时间，减小网络带宽对用户体验的影响，并有利于将用户端置于手机等移动终端设备上。

附图说明

图1为本发明一种实施例的全景图片的水平旋转轴和垂直旋转轴及其旋转方向示意图；

图2为本发明一种实施例的3D模型展示模式的原理示意图；

图3为本发明一种实施例的记录水平偏角的原理示意图；

图4为本发明一种实施例的确定全景图片展现范围的原理示意图。

具体实施方式

下面结合实施例及其附图进一步叙述本发明，此处提到的实现方法采用浏览器HTML5技术，同时也可以通过类OpenGL/Direct3D等技术实现，但本发明申请的权利要求保护范围不受实施具体技术方法的限制。

本发明提供的一种结合空间全局3D视图和全景图片的空间展示方法包括以下步骤：

1)3D建模，首先通过室内全景三维数据双轴自动采集装置采集待展示空间的深度信息数据和全景图片，利用基于多视角数据融合的3D建模方法将采集到的深度数据生成一个待展示空间的全局3D模型(以下简称3D模型)并将全景图片生成3D模型的材质贴图。

2)3D模型展示，利用三维图形库展现将步骤1)生成的完成贴图的3D模型。

3)全景图片采集，在待展示空间以室内全景三维数据双轴自动采集装置采集多个预置观察点的全景图片同时记录各个观察点的准确空间3D坐标信息，以及相应的全景图片在待展示空间的3D模型中的包括零度角信息的旋转轴信息。

4)全景图片映射，利用3D全景映射算法将步骤3)得到的全景图片映射在步骤1)得到3D模型上。

实施例

本实施例中，室内全景三维数据双轴自动采集装置包括水平旋转平台与俯仰旋转平台的三脚架，以及控制水平旋转角度的步进电机、控制俯仰旋转角度的步进电机和微软的Kinect，它们均为市购产品。Kinect安装在三角架上，可以通过控制步进电机调整其水平和俯仰旋转角度，以完成对待展示空间内全景图片和深度信息数据的采集。

本实施例中全景图片采用立方体(Cube)方式实现。在一个确定时刻全景图片只可以将其一部分(根据屏幕尺寸和显示比例)展现在屏幕上。用到的3D模型来自于申请人以Kinect的3D扫描方式建立的模型。

所述步骤4)中所述3D全景映射算法具体包括以下步骤

4.1)定义二维的屏幕坐标系X/Y和三维的3D模型坐标系X′/Y′/Z′，所述的3D模型坐标系的方向同3D模型的方位始终保持一致，同时指定3D模型的重心作为3D模型坐标系原点O，定义Z′为3D模型的水平旋转轴，X′为3D模型的垂直旋转轴。

4.2)定义全景图片的水平旋转轴Z″和垂直旋转轴X″。由于3D模型的深度信息数据和全景图片数据同时采集，因此将每个全景图片的水平旋转轴Z″和垂直旋转轴X″与3D模型坐标系的水平旋转轴Z′和垂直旋转轴X′进行方向对齐即可完成全景图片到3D模型的映射。所述全景图片的水平旋转轴和垂直旋转轴及其旋转方向示意图如图1所示

步骤5)中具体包括以下步骤

5.1)3D模型展示模式到全景图片展示模式转换时，记录与用户在3D模型展示模式下选择区域最接近的预置观察点C的观察方向和当前3D模型的水平偏角Q。所述水平偏角为3D模型坐标系的坐标轴X′和与屏幕坐标系X轴的夹角。3D模型展示模式的原理示意图如图2所示，记录水平偏角的原理示意图如图3所示

5.2)选出与用户选择区域最接近预置观察点的全景图片立方体图，并令全景图片的水平旋转角Q与步骤5.1)的水平偏角相等；

5.3)根据步骤5.2)中选出的全景图片的水平旋转角、屏幕的显示范围及需要的全景图片显示比例得到该全景图片应该在屏幕上显示的范围，将这部分全景图片展示出来，完成从空间3D模型展示到全景图片展示模式的转换。确定全景图片展现范围的原理示意图如图4所示。图中预置观察点C，全景图片展现范围为aa′之间的部分，全景图片的水平旋转角Q为3D模型坐标系的坐标轴X′和与屏幕坐标系X轴的夹角(等于3D模型坐标系的坐标轴Y′和与屏幕坐标系Y轴的夹角)

5.4)逆运行步骤5.1)～5.3)，即可实现从3D模型模式到全景图片模式的切换。

从实际实现效果来看，上述展现的效果非常理想，切换过程最大程度符合人类大脑思维习惯，达到了很好的空间观察用户体验。

本发明方法充分发挥了3D数据模型展示和全景展示的各自优点，并通过合理的算法将两种展示方法无缝的对接起来，达到了非常理想的效果。