基于虚拟现实的文物3D展示方法与流程

本发明涉及虚拟现实技术领域，尤其涉及一种基于虚拟现实的文物3D展示方法。

背景技术：

中国是一个历史悠久，文化灿烂的国家，有着众多的世界文化遗产，闪烁着中国人民智慧和勤劳的光芒。而文物作为重要的历史文化遗产，不仅是历史的见证，更是有着重要的正史作用，借鉴作用以及教育作用。但由于管理不善，观念落后等原因，我国文物面临严峻的形势，主要表现在以下几个方面的问题：1.展出数量少，2.文物保护手段落后，3.迁址保护损害文物价值，4.陈列手段落后，5.文物展示受众面小，场地约束大；如何有效的保护和展示文物成为我们当下急需解决的问题。

虚拟现实(Virtual Reality)作为一种综合计算机图形技术、多媒体技术、传感器技术、人机交互技术、网络技术、立体显示技术以及仿真技术等多种科学技术而发展起来的计算机领域的新技术。虚拟现实技术是一种综合应用各种技术制造逼真的人工模拟环境，并能有效地模拟人在自然环境中的各种感知系统行为的高级的人机交互技术。随着虚拟现实技术的飞速发展，虚拟现实技术与行业应用的结合，为人们带来了感官的无限延伸，营造了一种全新的沉浸式体验，目前所涉及的研究应用领域已经包括军事、医学、心理学、教育、科研、商业、影视、娱乐、制造业、工程训练等。虚拟现实技术已经被公认为是21世纪重要的发展学科以及影响人们生活的重要技术之一。

虚拟现实技术拥有显著的三个特征，即沉浸感(Immersion)，交互性(Interaction)和构想性(Imagination)，围绕这三个特征的实际应用领域种类繁多，假若能够实现一种基于虚拟现实的文物3D展示方法，不仅可以有效的保护以及展示文物，并且可以通过虚拟现实独有的3I特性，与文物进行“真实”的交互体验，更为有效的传递文物的教育意义。

近年来，裸眼3D显示技术发展十分迅速，裸眼3D显示技术是无需佩戴任何辅助设备(如3D眼镜、头盔等)的情况下，通过光栅透镜等先进光学技术与特殊算法定制的视频片源即可让观众获得前所未有的“高真实度”视觉体验，是一种新型的图像显示技术。裸眼3D显示技术可以带给用户身临其境的3D体验感，让用户“过目不忘”。假若能够实现一种基于裸眼3D的文物3D展示方法，不仅可以有效的保护以及展示文物，并且可以通过与文物的互动，更为有效的传递文物的教育意义。

技术实现要素：

针对现有技术存在的不足之处，本发明的目的在于提供一种基于虚拟现实的文物3D展示方法，有效解决文物保护以及文物展示困难的技术问题。

本发明的目的通过下述技术方案实现：

一种基于虚拟现实的文物3D展示方法，其方法步骤如下：

A、采集待展示文物的模型数据以及彩色纹理数据；所述模型数据包含待展示文物的尺寸信息、形状信息以及材质信息，所述彩色纹理数据包含待展示文物的外表纹理信息以及颜色信息；

B、通过相关模型数据以及彩色纹理数据创建待展示文物的彩色三维模型；所述创建待展示文物的彩色三维模型的具体方法如下：

B1、采集到的模型数据构建待展示文物的三角网格模型；

B2、采集到的彩色纹理数据映射到待展示文物的三角网格模型上，创建待展示文物的彩色三维模型；

C、将待展示文物的彩色三维模型导入3D引擎软件系统中；

D、结合待展示文物的彩色三维模型在3D引擎软件系统中建立新的展示场景；

E、在3D引擎软件系统中设计便于待展示文物的彩色三维模型在展示场景中展示的交互动作模块；

F、在3D引擎软件系统的展示场景中添加虚拟现实模块；

G、所述3D引擎软件系统中集合彩色三维模型、展示场景、虚拟现实以及交互动作的展示数据结果，将最终展示数据结果传输到虚拟现实显示器中，所述虚拟现实显示器用于对文物展示场景进行虚拟展示，虚拟现实显示器支持展示的交互操作。

为了更好地实现本发明，所述步骤F中的虚拟现实模块为虚拟相机，所述步骤F的具体方法如下：在3D引擎软件系统的展示场景中创建若干台虚拟相机，并按照结构要求摆放虚拟相机，同时在每个虚拟相机上增加渲染贴图。

更进一步的技术方案是：所述步骤G中还包括如下方法：对每台虚拟相机在渲染贴图环境下进行虚拟摄像采样处理，并得到待展示文物虚拟现实的合成图像，该合成图像集合有彩色三维模型、展示场景、虚拟现实、交互动作以及渲染贴图环境，在所述3D引擎软件系统中创建裸眼3D显示模块，将合成图像输出到裸眼显示面板上，通过裸眼显示面板得到待展示文物的裸眼3D显示效果。

作为优选，所述步骤G在3D引擎软件系统的展示场景中创建八台虚拟相机，并按照平行聚焦式的方式摆放。

作为优选，所述步骤F的虚拟现实模块包括3D特效模块，所述3D特效模块包括3D模型模块和3D动画模块。

作为优选，所述步骤G的虚拟现实显示器为虚拟现实头戴显示器。

本发明较现有技术相比，具有以下优点及有益效果：

本发明不仅可以有效的保护和展示文物，并且可以通过虚拟现实独有的3I特性，与文物进行“真实”的交互体验，更为有效的传递文物的教育意义。

附图说明

图1为实施例一的原理结构框图；

图2为实施例二的原理结构框图。

具体实施方式

下面结合实施例对本发明作进一步地详细说明：

实施例一

如图1所示，一种基于虚拟现实的文物3D展示方法，其方法步骤如下：

步骤一、采集待展示文物的模型数据以及彩色纹理数据，其中模型数据包含文物的尺寸信息、形状信息以及材质信息，而纹理数据包含文物的外表纹理信息以及颜色信息。根据采集到的三维模型数据和纹理数据创建待展示文物的彩色三维模型。从而能够使用户通过待展示文物的彩色三维模型，全方位地了解文物的真实外观，实现文物的虚拟漫游及数字展示，为博物馆建设数字展示平台提供基础数据。

步骤二、通过相关模型数据以及彩色纹理数据创建待展示文物的彩色三维模型。根据尺寸信息，形状信息以及材质信息创建文物的三维模型，如此设计的好处在于，不仅能够让用户更加清楚地了解文物，而且还能在避免损伤文物的前提下，真实地还原出文物的形状和尺寸等，并保证采集的数据的完整性。根据彩色纹理数据进行光照和色彩还原，如此设计的好处在于能够使待展示文物的彩色三维模型的颜色更加符合待展示文物的真实色彩。

步骤三、将文物的彩色三维模型导入3D引擎软件系统(即图中的开发引擎)。这里我们的模型文件格式设置为Fbx格式，在3D引擎软件系统对Fbx格式的模型文件有着更好的兼容性，在3D引擎软件系统的Project视图下创建名为Model的文件夹，并将文物三维模型文件导入到3D引擎软件系统的Model文件夹之下，如此做的好处在于更加方便的管理以及调用文物三维模型文件。

步骤四、结合文物的彩色三维模型在3D引擎软件系统中建立新的展示场景。在3D引擎软件系统中将模型文件拖放到Hierarchy视图下，并同时在Hierarchy视图下创建所需要展示的场景，之后在Sence视图下对模型文件以及展示场景进行调整以及修改，最后在Game视图下得到良好的3D展示效果。如此做的好处在于建立虚拟场景，能够让用户更加真实，清楚的了解文物。

步骤五、在新建的展示场景中添加一组交互组件模块以实现展示场景的交互功能。交互组件模块中包括三种交互式功能模块：标签交互模块，触控交互模块和特效交互模块。

上述标签交互模块是通过添加3D Text以及Sprite组件可以在展示场景中添加文字图片信息。在标签交互模块中可以在指定的时间轴上显示或隐藏图文信息，也可以设置视角触发机制，让观众在转动虚拟现实头戴显示器时触发标签交互模块。本实施例中，在展示场景着色器中Shader可以设置以及添加需要展示的图文信息，直接将图文信息加载在展示场景中，并且给图文信息添加状态标签，当需要显示图文信息时将状态标签置为true平常为false。标签交互模块还可以在指定的的时间轴中设定图文信息在指定的时间内显示或隐藏，也可以配合虚拟现实头戴显示器设置视角触发机制来控制图文信息的状态标签。优选的本发明中，可以在虚拟现实头戴显示器的屏幕中心点进行射线检测，通过从虚拟现实头戴显示器的屏幕中心点向展示场景中发射透明射线来触动图文信息的状态标签，这样可以让观众在观看到指定内容时触发图文信息来对展示场景进行交互。

上述触控交互模块是可以在展示场景中添加3D图形界面，在3D图像界面上预置3D控件，通过设置3D控件的z轴数值调整3D控件在全景三维空间中的虚拟位置以匹配全景空间交互的真实感，并在3D图形界面上添加交互对话或场景序号用以对文物三维模型进行交互。然后在3D控件上加上虚拟现实头戴显示器的交互模块，将虚拟现实设备的动作投射在3D控件的触控响应中，观众可以通过虚拟现实头戴显示器的外设响应3D控件从而实现对展示场景的交互。

上述特效交互模块是可以在展示场景中添加3D特效，3D特效包括3D模型和3D动画等。特效交互模块可以在展示场景的着色器中编辑光影粒子特效，观众在对展示场景交互过程中可以响应3D特效。使用特效交互模块还可以在展示场景中添加模型动画，在交互过程中，观众可以在虚拟空间中和文物模型进行全方位交互，模型以预置模型动画的方式来响应观众的交互。本实施例中，特效交互模块可以使用动画模型等，在观众观看展示场景时，可以设定手势动画等来和观众进行互动。通过预置的模型动画来指导或者讲述文物模型没有表达的内容。在特效交互模块中，3D特效直接渲染在展示场景的着色器Shader中，并不影响观众和文物模型的交互并且可以通过添加响应事件来丰富观众的交互体验。

步骤六、在展示场景中心添加虚拟现实模块的具体方式为：在场景中为了模拟人双眼效果，在3D引擎软件系统里采用两个虚拟照相机来实现，分别设置左右两个照相机的Viewport Rect参数，左边照相机的Viewport Rect参数改成(0，0，0.5，1)，右边照相机的Viewport Rect参数改成(0.5，0，0.5，1)，此时将会在屏幕产生两个相同的场景，左右两个场景各占屏幕的一半，在虚拟现实头戴显示器中便能得到正确的3D立体效果显示。

步骤七、将最终输出的结果传输到虚拟现实头戴显示器，用户就可以在虚拟现实头戴显示器上对文物展示场景进行交互操作。在3D引擎软件系统中编译场景文件，点击3D引擎软件系统File菜单下的Build Settings，并将以上展示场景放入Scenes In Build选项栏，并选择Platform为Android，之后点击Build发布出Apk文件并将Apk文件输出到虚拟现实头戴显示器中，在虚拟现实头戴显示器中运行程序，用户便可以在虚拟现实头戴显示器上对文物展示场景进行交互操作，即实现一种基于虚拟现实的文物3D展示方法。

实施例二

如图2所示，一种基于虚拟现实的文物3D展示方法，其方法步骤如下：

步骤一、采集待展示文物的模型数据以及彩色纹理数据，其中模型数据包含文物的尺寸信息，形状信息以及材质信息，而纹理数据包含文物的外表纹理信息以及颜色信息。根据采集到的三维模型数据和纹理数据创建待展示文物的彩色三维模型。从而能够使用户通过待展示文物的彩色三维模型，全方位地了解文物的真实外观，实现文物的虚拟漫游及数字展示，为博物馆建设数字展示平台提供基础数据。

步骤二、通过相关模型数据以及彩色纹理数据创建待展示文物的彩色三维模型。根据尺寸信息，形状信息以及材质信息创建文物的三维模型，如此设计的好处在于，不仅能够让用户更加清楚地了解文物，而且还能在避免损伤文物的前提下，真实地还原出文物的形状和尺寸等，并保证采集的数据的完整性。根据彩色纹理数据进行光照和色彩还原，如此设计的好处在于能够使待展示文物的彩色三维模型的颜色更加符合待展示文物的真实色彩。

步骤三、将文物的彩色三维模型导入3D引擎软件系统(即图中的开发引擎)。这里我们的模型文件格式设置为Fbx格式，在3D引擎软件系统对Fbx格式的模型文件有着更好的兼容性，在3D引擎软件系统的Project视图下创建名为Model的文件夹，并将文物三维模型文件导入到Model文件夹之下，如此做的好处在于更加方便的管理以及调用文物三维模型文件。

步骤四、结合文物的彩色三维模型在3D引擎软件系统中建立新的展示场景。在3D引擎软件系统中将模型文件拖放到Hierarchy视图下，并同时在Hierarchy视图下创建所需要展示的场景，之后在Sence视图下对模型文件以及展示场景进行调整以及修改，最后在Game视图下得到良好的3D展示效果。如此做的好处在于建立虚拟场景，能够让用户更加真实，清楚的了解文物。

步骤五、编写程序实现文物三维模型展示场景的交互动作。将待展示的彩色三维模型的Fbx文件导入3D引擎软件系统，把C#/JavaScript代码脚本加在模型上。使用GUI控件，通过设置鼠标或键盘的操作路径对三维模型的展示动作进行设置。例如由点击鼠标左键触发“平移”，点击右键触发“旋转”，点击中键触发“缩放模型”。此时点击鼠标左键可360°自由旋转模型。展示界面可以设有“播放/暂停”、“上”、“下”、“左”、“右”、“复位”、“俯视”、“仰视”、“前视”、“后视”、“左视”和“右视”等按钮。将展示界面上的每个命令、鼠标或者键盘的操作过程对应设置三维模型的展示动作。本步骤为用户提供了基本的可交互操作，让用户自由浏览文物现状，与现场观看真实文物无任何差异。

步骤六、展示场景中创建多台虚拟相机，并按照一定的结构要求摆放，同时在每个相机上加渲染贴图。在3D引擎软件系统的Scene窗口创建八台虚拟相机，并将所有虚拟相机的坐标Position设置为(0，0，0)，旋转角度Rotation设置为(0，0，0)，尺寸大小Scale设置为(1，1，1)，然后调整每台相机之间的距离间隔为0.015，同时在Layer属性中添加新层PlaySence，修改八台摄像机的剔除遮罩Culling Mask属性为PlaySence，在八台虚拟相机的正前方创建零平面ZeroPlane，并设置其坐标Position设置为(0，0，15)，旋转角度Rotation设置为(270，0，0)，尺寸大小Scale设置为(1，1，1)，修改其属性将其隐藏，编写相关脚本实现八台摄像机聚焦于零平面的中心点，然后在Project中创建8张渲染贴图RenderTexture，将渲染贴图的Size修改为1920*1080，在每台虚拟相机的Target Texture属性中赋予不同的渲染贴图，使得每台摄像机对应一张渲染贴图。

步骤七、计算视点子像素映射矩阵，编写相应shader，对每台相机的渲染贴图进行采样处理，并得到合成图像。具体的计算方式如下：首先，确定2D显示屏上给定的RGB子像素应该取自哪个视点的RGB分量，下式给出了多视点子像素映射矩阵的计算公式：

其中，X为一个光栅周期在水平方向上覆盖RGB子像素的个数，(k，1)为RGB子像素的坐标位置，α为光栅轴相对于LCD显示屏垂直轴的倾斜夹角，k_off表示2D显示屏左上边缘与光栅单元边缘点的水平位移量，N_tot表示总视点个数，也就是参与合成的视差图像数量，根据上式可计算出2D显示屏上的每个子像素的灰度值应该取自于哪幅视差图像的相应坐标位置的灰度值，然后将视点映射矩阵编写到Shader中，利用Shader对相机渲染的多张渲染贴图进行子像素的采样处理，并将经过采样处理的多张视差图像相互叠加，得到最终的合成图像；

步骤八、创建3D引擎软件系统的裸眼3D显示模块，将合成图像输出到裸眼显示面板，得到正确的裸眼3D显示效果。显示部分的实现方式如下：创建新的单个虚拟相机及显示面板，调整虚拟相机的坐标Position设置为(-5，0，150)，旋转角度Rotation设置为(0，90，0)，尺寸大小Scale设置为(1，1，1)，在Layer属性中添加新层ShowSence，修改八台摄像机的剔除遮罩Culling Mask属性为ShowSence，同时修改起摄像方式为正交式，摄像角度调整为27，修改起深度Depth为1(新建相机默认为0)。然后调整显示面板的坐标Position设置为(0，0，100)，旋转角度Rotation设置为(90，-90，0)，尺寸大小Scale设置为(9.6，1，5.4)(匹配1080P分辨率的显示终端)，将其Layer属性修改为ShowSence，同时在显示面板创建材质球Material，通过材质球的Custom选项调用shader获取合成图像，将合成图像呈现在显示面板。最后，在程序中对待展示文物的三维模型进行交互操作，最终得到正确的裸眼3D文物交互效果展示，实现基于裸眼3D的文物3D展示方法。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。