一种基于智能穿戴设备的交互式虚拟校园漫游系统的制作方法

本发明属于对用于电脑制图的三维模型或图像的操作领域，具体涉及利用人机互动技术实现一种基于智能穿戴设备的交互式虚拟校园漫游系统。

背景技术：

虚拟现实是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真，使用户沉浸到该环境中。虚拟现实技术是仿真技术与计算机图形学、人机接口技术、多媒体技术、传感技术、网络技术等多种技术的集合，是一门富有挑战性的交叉技术前沿学科和研究领域。2014年，Facebook以20亿美元收购了虚拟现实设备制造商Oculus VR，引发了包括谷歌和微软在内的科技巨头斥巨资投资虚拟现实行业的热潮。截至目前为止，国内外多家IT相关企业积极投入到虚拟现实设备以及应用的研发中，包括阿里巴巴以52亿元人民币投资了创业公司Magic Leap，万达影院宣布未来两到三年将在全国影院推出100个VR体验区；软银以320亿美金正在收购ARM，6月份披露已为VR市场开发了全新的架构；三星斥巨资抢到了里约奥运会的VR独家直播权；谷歌发布了针对VR设备的平台Daydream等等。虚拟现实技术近年来发展迅速，可以应用到国防、教育、影视、游戏等领域，可以预计未来对虚拟现实的需求会越来越多，甚至会改变人类的生活沟通等方式。

近几年，国内外对虚拟现实的研究越来越多，有基于硬件层面的，如头盔设备，以HTC VIVE、SONY VR、Oculus VR为三大行业引领，另外有SumSang Gear VR、乐视等手机盒子在移动端的支持，VR硬件呈直线上升的趋势。同时，VR在内容的研发上也受到IT行业以及风投的重点关注，包括VR硬件厂商在内，多家企业纷纷进入VR内容的研发领域，总之，VR市场具有巨大的潜力。

虚拟现实在房地产演示、虚拟校园等空间展示项目上已经有了很多实例。已有多所大学开发了各自学校的虚拟校园系统，比如，西安交通大学、哈尔滨工业大学、常州工程职业技术学院等。虽然这些学校的虚拟校园系统实现的效果整体上类似，但在具体选用的技术和开发平台上还是有比较大的区别。有的采用全景技术实现虚拟校园，通过实地拍摄获取照片，利用软件拼合照片为全景图的方式，有的通过在VR-Platform中导入校园模型的方式构建。

通过研究发现，虚拟校园主要有2D和3D显示效果之分，2D主要是拍实景照另加360全景演示的方式；3D主要是先建模，再将模型导入到相应的引擎当中做交互。在虚拟校园的三维展示中存在的问题主要有两点，第一是校园模型量一般会很大，导致虚拟校园的运行包很大，这样系统运行时对电脑硬件就有很高的要求，容易造成比较严重的卡顿现象，影响用户的体验；第二，用户对体验的要求越来越高，键盘交互已经不能满足用户的需要，如何提高虚拟交互系统的沉浸感，这是急需改进的问题。

将头盔显示设备应用在校园展示系统中，尚无先例，这是本发明最大的创新点，通过头盔的应用，可以更好地解决虚拟系统沉浸感提高的难点。

技术实现要素：

本发明解决的技术问题是模型量很大时用户体验下降，以及如何提高虚拟交互系统的沉浸感的问题。

为解决上述问题，本发明提出一种基于智能穿戴设备的交互式虚拟校园漫游系统，以提高用户的沉浸感，实现虚拟校园漫游。

具体的技术方案为一种基于智能穿戴设备的交互式虚拟校园漫游系统，包括数据采集模块、三维建模模块、模型植入与交互模块、穿戴设备连接模块，数据采集模块根据施工CAD图绘制出校园的整体框架，然后通过对校园内的实体建筑物外形进行拍摄获得实体外观的材质，作为素材可以进行贴图使用；三维建模模块通过建模软件完成建模、贴图、渲染；模型植入与交互模块将上述建好的模型全部导入到三位视频系统中；穿戴设备连接模块完成头盔显示设备接口的连接，实现与头盔和手柄的交互。

进一步，上述的建模包含以下步骤：

(1)以底图为基础创建长方体墙体，墙体的长、宽、高几何信息须依据前期所采集的数据，在创建完成长方体后把其转化为可编辑多边形，先根据各楼层数量进行边连接操作，在划分完楼层后再根据实际情况对各层的的窗户进行划分，如果每一层的窗户相同等距则进行等分，否则调整连接参数，再次进行边连接，形成楼体外部轮廓；

(2)对多边形进行面删除操作，若该位置为门窗则将该面删除以便将制作好的门窗添加上去，每个面的位置可以使用挤出、插入命令进行调整，各个参数的调整应根据实际情况进行设置，对于各种墙体附加物也应在单独制作后添加上去；

(3)制作窗户、门等构件，根据门窗的实际大小创建平面，然后将平面转化为可编辑多边形，通过使用边连接、挤出、删除、贴图操作制作出门窗；

(4)将制作完成的门窗添加到相应位置，由于大部分的窗户是相同的，使用复制操作以提高建模效率。

作为优选，贴图时尽量对每个独立的物体进行整体贴图。

进一步，贴图时可以采用UVW展开的方式，同时制作法线贴图，以减少模型的体积，增强效果的真实感。

本发明的有益效果：

1，本发明在建模时，首先根据施工CAD图绘制出校园的整体框架，然后用相机对各个实体的建筑物外形进行拍摄，获得实体外观的材质，这样在确保模型量不是很大的前提下，既保障了模型的准确性又兼顾了模型的视觉效果。

2，在建模的工程中考虑到很多的建筑物的窗户是相同或者类似的，所以在实际的建模过程中不应单独创建每个窗户，而应在创建一个窗户后进行复制操作，这种方法快速简单，可以有效提高建模的效率。

附图说明

图1是虚拟校园漫游系统的整体开发流程示意图；

图2是虚拟校园漫游系统的模块示意图；

图3是虚拟校园漫游系统开发的关键步骤；

图4是基础数据采集的流程示意图；

图5是基于真实数据绘制三维虚拟校园模型的具体流程示意图；

图6是虚拟三维模型在研发平台中进行交互的开发流程示意图；

图7是用户使用软件的主要操作步骤；

图8是用户使用穿戴头盔和手柄操作软件的实际手绘示意图。

具体实施方式

现结合附图对本发明的具体实施方式做进一步详细的说明。

本发明漫游系统的模块组成如图2所示，包括数据采集模块、三维建模模块、模型植入与交互模块、穿戴设备连接模块。数据采集模块是根据施工CAD图绘制出校园的整体框架，在这里要特别注意对细节信息的获取，因为CAD图上是整体轮廓图，因此要用工具尺对细节信息进行获取，如门框等进行测量，以便在建模时更加精确，然后用相机对各个实体的建筑物外形进行拍摄，获得实体外观的材质，作为素材可以进行贴图使用，在这里必须进行多次拍摄，特别是细节处，这样可以对贴图细化，效果更加逼真；三维建模模块是在3Dmax软件中建模，贴图，渲染，这一步最为重要，需要注意三点：①建模的面数要尽量精简，把不需要的面全部删除；②对于一些复杂的模型，可以采用精简模型加贴图的方式，即先用多面数的模型进行贴图，将渲染后的效果图帖在精简后的模型上，这样效果和多面数模型相同，但是由于实际的模型面数精简，就可以减少程序包，提高运行速度；③贴图时，要对相机所拍摄的照片进行适当的处理，尽量提高逼真的还原效果；模型植入与交互模块，是将建好的模型全部导入到Unity3D中，使用c#和js实现交互，这里会出现贴图丢失的问题，需要重新进行适当的贴图处理，同时，由于Unity3D中，灯光渲染能力没有3Dmax中强，所以在3Dmax中建模时要考虑到这点，减少对灯光的使用，以免导入后出现问题。在Unity3D中，要尽量规范代码，以便后期修改；穿戴设备连接模块，起着连接头盔显示设备的接口的功能，实现与头盔和手柄的交互。

图1所示为虚拟校园漫游系统的整体开发流程示意图，具体步骤如下：

A1，通过校园CAD图采集基础数据信息。

通过CAD图获取基础的数据信息，包括校园总占地面积，绿化面积，篮球场和运动场面积、基础道路面积以及区域信息。区域信息包括各个楼宇之间的距离，每栋楼的标识，每栋楼的长宽高等。有些数据缺失，需要结合谷歌的卫星地图和实际测量的数据。这些基本的数据为之后的建模做准备。

A2，通过拍摄校园实体的外观装修材料，获得贴图材质。

用照相机在校园多处进行拍照，比如教学楼的外立面、运动场的塑胶跑道地面、道路上的水泥地或瓷砖地面等，目的是获得建模后的贴图素材。这里需要对所拍摄的照片进行适当的修改，比如亮度、饱和度，目的是在还原真实的条件下，尽量达到更好的视觉效果。

A3，通过三维建模技术，对校园进行三维虚拟建模，获得三维模型。

根据第一个阶段获得的数据，进行建模，学院楼整体十分规则，但各部分高程不一，因此对学院楼的建模宜采用多边形建模方式。建模时尽量减少模型的面数，从而减少最终程序的容量。模型完成后，将第二阶段所获得的图片应用为贴图，对模型进一步修饰。

在建模的工程中应注意：由于学院的许多窗户是相同或者类似的，所以在实际的建模过程中不应单独创建每个窗户，而应在创建一个窗户后进行复制操作。这种方法快速简单，可以有效提高建模的效率。具体的过程如下：

(1)以底图为基础创建长方体墙体，墙体的长、宽、高等几何信息须依据前期所采集的数据。在创建完成长方体后把其转化为可编辑多边形。先根据各楼层数量进行边连接操作，在划分完楼层后再根据实际情况对各层的的窗户进行划分。如果每一层的窗户是相同等距的便可以进行等分，否则就要调整连接参数：收缩、滑块。再次进行边连接后便形成了楼体外部轮廓。

(2)对多边形进行面删除操作：根据实际情况若该位置为门窗则将该面删除以便将制作好的门窗添加上去。每个面的位置可以使用挤出、插入命令进行调整，各个参数的调整应根据实际情况进行设置。对于各种墙体附加物也应在单独制作后添加上去。

(3)制作窗户、门等构件。根据门窗的实际大小创建平面，然后将平面转化为可编辑多边形，通过使用边连接、挤出、删除，贴图等操作制作出门窗。

(4)将制作完成的门窗添加到相应位置。由于大部分的窗户是相同的，应使用复制操作以提高建模效率。

同时，校园里会有很多模型，尽量对每个独立的物体进行整体贴图，比如对每栋教学楼或者多个教学楼进行整体贴图，可以采用UVW展开的方式，同时制作法线贴图，这样的做的目的是减少模型的体积，而且让效果更加真实。

A4，通过开发平台，载入三维校园模型，实现通过键盘操作与电脑的交互功能。

当在3Dmax中，将模型贴图完成后，整体导入到Unity3D软件中，通过c#和JS语言，实现交互，这里可以设置导航功能，设置好路线，让用户跟着路线漫游虚拟系统，也可以将校园中各个点设置为一个景点，用户可以通过键盘上对应的按键上下左右自由行走。

在这里需要注意的是，由于Unity3D默认的是单面渲染，在3Dmax中建模时要注意调整，否则会看到透明效果。另外，为了之后可以连接头盔，必须使用5.0以上的unity版本，否则不支持VR开发及调试。

A5，通过头戴显示设备的接口，实现通过头显和控制器对虚拟显示的人机交互功能。

这一步，将实现智能穿戴设备与应用程序之间的结合。首先需要在电脑上安装OculusVR的SDK，我们选择使用的是SDK0.6.0.1，电脑系统选择的是win7。因为目前这个SDK在win7上运行的较其他操作系统来说较为稳定。其余的便是头盔配置，不同型号有不同链接头盔屏幕的方法。然后，打开File->BuildSettings->Playsettings，把所要开发的平台下方找到Other Settings中的Virtual Reality Supported选中。完成至此，便可以直接使用头盔调试，头盔中所显示画面及游戏的画面。在这里我们同时在Unity3D中导入了Oculus SDK的开发者包，更好的调试摄像机与头盔的同步性。

这里要注意，win7sp1系统需要安装Windows6.1-KB2670838-x64这个系统更新文件。

本发明的具体实施方式参照图3，利用建筑图纸构建三维模型，用文理材质对模型进行贴图，模型之间进行一些简单的修改可以复用，将所建好的场景模型加载到Unity3D中，用编程语言进行交互使用。通过在电脑上安装OculusVR的SDK，与虚拟现实穿戴设备相连，输出到用户所佩戴的头盔画面中。

本发明采集数据模块的具体实施方式参照图4，首先通过图片数据采集，得到贴图所用的材质图。可以用照相机在校园多处进行拍照，比如教学楼的外立面、运动场的塑胶跑道地面、道路上的水泥地或瓷砖地面等，目的是获得建模后的贴图素材。这里需要可以结合参考图片，在PhotoShop中对所拍摄的照片进行适当的修改，比如亮度、饱和度，这样可以在还原真实的条件下，尽量达到更好的视觉效果。

另一方面，需要采集整体模型和独立模型的数据信息包括校园总占地面积，绿化面积，篮球场和运动场面积、基础道路面积以及区域信息。区域信息包括各个楼宇之间的距离，每栋楼的标识，每栋楼的长宽高等。有些数据缺失，需要结合谷歌的卫星地图和实际测量的数据。这些基本的数据可以为之后的建模做准备。这些需要借助CAD图,有些还需要用标尺特别进行测量。

本发明中三维建模模块的具体实施方式可以参照图5，首先，将CAD图导入3Dmax软件中，根据其中的基本数据，进行建模，虽然学院楼整体十分规则，但各部分高程不一，因此对学院楼的建模宜采用多边形建模方式。建模时尽量减少模型的面数，从而减少最终程序的容量。模型完成后，将数据采集模块获得的图片素材创建材质库，对模型进行贴图，最后对整体模型进行渲染输出。在建模的工程中应注意：由于学院的许多窗户是相同或者类似的，所以在实际的建模过程中不应单独创建每个窗户，而应在创建一个窗户后进行复制操作。这种方法快速简单，可以有效提高建模的效率。

本发明中，交互模块和与穿戴设备连接的模块的具体实施方式参照图6，将建好的模型整体导入到Unity3D软件中，但是由于Unity3D默认的是单面渲染，在3Dmax中建模时要注意调整，否则会看到透明效果。若有些模型的面出现丢失，还需要进行微调。然后，通过c#和JS语言，实现交互，包括设置导航功能，设置路线，让用户跟着路线漫游虚拟系统；将校园中各个点设置为一个景点，用户可以通过键盘上对应的按键上下左右自由行走。最后通过OculusVR的SDK，实现与虚拟现实穿戴设备的连接。为了之后可以连接头盔，必须使用5.0以上的unity版本，否则不支持VR开发及调试。

本发明中，典型的用户使用的具体过程如图7所示，用户打开软件，首先需要注册登录，接着对演示的模式进行选择，有穿戴设备的话，可以进入穿戴设备模式，这样可以戴着头盔，通过手柄在环境中自主漫游，沉浸感很强。若没有穿戴设备，也可以选择进入普通漫游模式，普通漫游模式下可以根据既定线路进行自动导航，也可以通过键盘的WASD键盘，进行手动导航，可以自主选择地点进行跳转。自动导航可设置为3个线路，由用户根据需要选择。

本发明中，用户使用本系统时的具体实现方式参照图8，头盔与电脑相连接，用户戴着头盔，操作手柄，欣赏头盔里所呈现的虚拟校园交互系统，通过手柄的操作，可以在场景中前后左右行走，通过头部的转动带着头盔的移动，引起视角的变化，在头盔的画面中可以得到实时的反映。

本发明提出了将智能穿戴设备头盔结合手柄运用在虚拟校园漫游系统中，将最新的技术实际地运用在实践中，不仅仅是虚拟校园，在其他类似的实验培训系统、房地产展示系统等，都可以借鉴此类思想方法。全国的学校，不管的是小学、中学或是大学都可以采用这样的虚拟校园模式，那么会方便学校的宣传，方便有需要的人足不出户就了解校园。