交互式壁画修复系统的制作方法

本发明涉及虚拟现实技术领域，更具体地，涉及交互式壁画修复系统。

背景技术：

壁画是有形的文化遗产，具有很高的历史和艺术价值。然而很多壁画由于历史、自然和人为原因遭受了不同程度的破坏，存在疱疹、起甲、霉变、龟裂、酥碱、人为刻划、烟熏等病害。文物保护专家一直致力于通过物理和化学的手段对壁画进行实体修复。

但是实体修复存在以下缺陷：

首先，如果壁画的外观在修复过程中被大幅度改变，其艺术价值可能会受到损害甚至毁灭；其次，实体修复项目需要花费大量资金、时间和人力；最后，实体修复的工作通常需要较长的时间才能显现出明显的效果，且大多修复效果对普通人员来说并不直观。

技术实现要素：

本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的交互式壁画修复系统。

第一个方面，本发明实施例提供一种交互式壁画修复系统，包括：

场景展示装置，用于创建与壁画修复相关的多个虚拟场景，所述多个虚拟场景分别为展览场景、漫游场景、探索场景和壁画修复场景；

数据处理装置，用于调度所述多个虚拟场景、处理用户在各个所述虚拟场景中的交互操作以及提供所述虚拟场景中的引导信息；

修复交互装置，用于识别所述交互操作以及在所述壁画修复场景下，根据所述交互操作模拟壁画修复过程。

进一步地，所述数据处理装置具体包括：

场景调度模块，用于创建针对各个所述虚拟场景中的任务、将用户对所述任务的完成情况发送至用户引导模块；

所述用户引导模块，用于根据用户对所述任务的完成情况引导用户进入下一个虚拟场景或者执行下一个任务；

交互处理模块，用于检测用户在各个所述虚拟场景中的交互操作、模拟交互工具以及响应交互界面。

进一步地，所述场景展示装置具体包括：

场景构建模块，用于根据采集的数据源，利用3dsmax程序构建所述各个虚拟场景的三维模型；

材质添加模块，用于在所述三维模型的外部或内部添加材质贴图和光影效果；

壁画资源提供模块，用于在所述壁画修复场景下提供需要修复的壁画资源以及完好的壁画。

进一步地，所述修复交互装置具体包括：

操作识别模块，用于根据虚拟显示设备的手柄发射的射线以及扳机的按动方式识别交互操作；

遮罩模块，用于在壁画修复场景下，根据预设的交互操作，通过遮罩材质的方式模拟擦除的效果；

修复模块，用于以壁画原始图像和壁画线描图作为数据源，通过破损标注，图像分割和内容填充的步骤得到数字化修复后的结果。

进一步地，所述交互处理模块，具体包括：

行为检测单元，用于检测用户的操作姿态，以及当检测到用户的操作姿态正确时，产生响应的修复效果的反馈；

工具模拟单元，用于以虚拟显示设备的手柄实现修复工具的定位，将用户的操作以手柄的键位设置完成映射；

界面响应单元，用于在检测用户执行不同的操作后，将场景中的数字资源的状态进行相应的调整。

进一步地，所述数据源包括基础数据源和建模采集得到的数据源，所述基础数据源包括洞窟整体布局图、虚拟博物馆布局图和修复工具实物图；所述建模采集得到的数据源包括真实壁画图像和与修复工具相关的纹理图片。

进一步地，所述利用3dsmax程序构建所述各个虚拟场景的三维模型，具体为：

对于展览场景，采用半球法构建半球形的三维模型；对于修复场景，采用盒子法构建三维模型。

进一步地，所述材质添加模块具体包括：

贴图单元，用于选定需要添加材质的三维模型，通过修改器中的uvw贴图选项选取贴图的方式和位置，然后根据3dsmax程序中的材质编辑器选择材质参数及纹理参数，并根据选取的贴图的方式和位置加载选择的材质参数及纹理参数；

纹理烘焙单元，用于通过纹理烘焙方法在三维模型中添加光照和纹理效果、使用unity提供的聚光灯效果模拟在洞窟内使用手电筒的特效以及通过bloom全屏泛光特效，制作不同场景切换时的转场特效。

进一步地，所述材质添加模块还包括：

视频加载单元，用于根据avprovideo插件中的视频播放方法在各个虚拟场景中加载多媒体视频。

本发明实施例提供的交互式壁画修复系统，通过创建与壁画修复相关的多个虚拟场景，通过调度多个虚拟场景、处理用户在各个所述虚拟场景中的交互操作以及提供所述虚拟场景中的引导信息，识别交互操作以及在所述壁画修复场景下，根据所述交互操作模拟壁画修复过程，能够提供直观的修复过程和结果，并且整个过程通过虚拟显示实现，以数字化的手段被处理、储存和展示，具有可重复、易获取和便于推广传播等优势。此外，还能极大地增强用户的情境式学习体验。。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供交互式壁画修复系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例的交互式壁画修复系统的结构示意图，如图1所示，交互式壁画修复系统包括场景展示装置101、数据处理装置102和修复交互装置103，具体地：

场景展示装置101，用于创建与壁画修复相关的多个虚拟场景，所述多个虚拟场景分别为展览场景、漫游场景、探索场景和壁画修复场景。

需要说明的是，本发明实施例的场景展示装置通过创建多个虚拟场景，为后续进行多种场景的虚拟现实体验提供基础。本发明实施例的展览场景是一个虚拟的博物馆，从而让用户自由探索壁画所藏的环境，可选的，本发明实施例的壁画为莫高窟的壁画，因此展览场景即提供了虚拟的莫高窟博物馆的环境。

漫游场景是将用户从虚拟博物馆转移至一个完全模拟真实莫刚看的虚拟环境，洞窟中的墙壁和天花板上有设置有壁画，在该场景下用户可以在虚拟洞窟中欣赏精美的壁画。

探索场景的目的在于引导用户了解壁画的病害情况，在探索场景中提供了一个工作台来显示所有用于交互的工具，而只有在特定状态下需要的工具才会激活并显示给用户，当用户首次进入探索模式时，作为一种可选实施例，提供文本和音频提示用户激活工作台上的放大镜工具。然后，一幅菩萨壁画出现在用户面前，语音提醒用户使用放大镜查看壁画的病害介绍(主要为发霉和褪色)，介绍内容可以包括文本和短视频。在用户浏览了两种病害情况后，通知用户修复工具已经在工作台上被解锁，位于佛像旁边的虚拟任务板也同步更新，提醒用户当前的任务进度和未完成任务情况。

修复模式允许用户交互方式修复壁画，在工作台上提供了几个交互工具，让用户体验物理修复过程。这些工具包括修复用到的酒精、水、棉签、容器、毛笔和调色板。基于引导提醒、箭头提示和任务板，用户需要与每个工具交互并利用它们完成不同的修复任务。对于霉变修复，用户需要将酒精和水混合到一个容器中来模拟有机试剂的混合过程，然后用户应该将棉签浸入试剂中以修复霉变区域。修复动作模拟为在墙上作画的形式，所以用户应该像物理修复专家在现实中所做的那样，靠近壁画进行修复。用户在修复不同的病害时可以从控制器收到不同类型的反馈，如声音效果和不同级别的振动。褪色的修复过程是相似的，使用者用毛笔蘸取调色板上的颜料，然后在褪色区域上涂色。

数据处理装置102，用于调度多个虚拟场景、处理用户在各个所述虚拟场景中的交互操作以及提供所述虚拟场景中的引导信息。

需要说明的是，数据处理装置用于调度多个虚拟场景，由上述说明可知，本发明实施例对多个虚拟场景的显示顺序做出了限定，即先进入展览场景，再进入漫游场景，接着进入探索场景，最后进入壁画修复场景，因此数据处理装置会依次调度上述四个虚拟场景，并且处理用户在各个虚拟场景中的交互操作，比如在展览场景中，可以设置一个手电筒，通过处理用户对手电筒的交互操作实现手电筒照亮虚拟博物馆中的环境或者触发介绍文本。在不同的虚拟场景下，数据处理装置会提供不同的引导信息，例如在展览场景中，提供一个可点击的“进入洞穴”的按钮，用户可以点击进入漫游模式，而在漫游场景中，当用户查看虚拟洞穴中的壁画达到预设时间后，可以语音提示用户进入探索场景；在探索场景中，当用户浏览完两种病害情况后，通知用户修复工具已经在工作台上被解锁，位于佛像旁边的虚拟任务板也同步更新，提醒用户当前的任务进度和未完成任务情况；在壁画修复场景中，可以提醒用户所需的修复工具、修复工具的用途、修复进度等等。

修复交互装置103，用于识别所述交互操作以及在所述壁画修复场景下，根据所述交互操作模拟壁画修复过程。

具体地，本发明实施例使用steamvr这款插件完成虚拟场景中的定位功能支持，在通过运用htcvive设备的手柄发射射线触发事件，实现一系列的情景交互模拟功能。为了用户学习的成本更低，我们设计仅适用手柄的扳机完成所有的交互操作，按动扳机为选择操作，按住扳机可以执行修复的操作。在修复场景下，主要有壁画细节查看，工具选择，病害检查，壁画修复等交互功能。

本发明实施例的交互式壁画修复系统通过创建与壁画修复相关的多个虚拟场景，通过调度多个虚拟场景、处理用户在各个所述虚拟场景中的交互操作以及提供所述虚拟场景中的引导信息，识别交互操作以及在所述壁画修复场景下，根据所述交互操作模拟壁画修复过程，能够提供直观的修复过程和结果，并且整个过程通过虚拟显示实现，以数字化的手段被处理、储存和展示，具有可重复、易获取和便于推广传播等优势。此外，还能极大地增强用户的情境式学习体验。

在上述各实施例的基础上，作为一种可选实施例，所述数据处理装置具体包括：

场景调度模块，用于创建针对各个所述虚拟场景中的任务、将用户对所述任务的完成情况发送至用户引导模块。

需要说明的是，本发明实施例的每个虚拟场景中都有对应的任务存在，任务需要基于用户的交互操作来完成，例如，在展览模式下具有用手电筒照亮环境的任务，从而使得用户在第一个场景下了解虚拟现实的交互操作的基本规则，在漫游场景下，具有查看洞窟中壁画的任务，在探索模式下，具体查看壁画的病害的任务，在壁画修复场景下，具有修复壁画的任务。场景调度模块还用于将用户对各个任务的完成情况发送至用户引导模块。

所述用户引导模块，用于根据用户对所述任务的完成情况引导用户进入下一个虚拟场景或者执行下一个任务。

可以理解的是，虚拟场景中任务的个数可能是一个，也可能是多个，当用户完成了一个虚拟场景下的所有任务时，则引导用户进入下一个虚拟场景，当用户没有完成所有任务，则引导用户进入下一个任务。

交互处理模块，用于检测用户在各个所述虚拟场景中的交互操作、模拟交互工具以及响应交互界面。

具体地，不同的虚拟场景中的交互操作存在部分区别，比如在壁画修复场景中检测用户的视角与壁画的角度，操作工具和壁画的相对位置，用户是否进行抓取、释放、修复等操作，响应交互界面可以包括，例如在探索场景下用户查看病害标志后，弹出病害介绍的相关文本和视频，漫游场景下使用放大镜查看壁画细节时，会激活放大后的壁画细节图等等。

在上述各实施例的基础上，作为一种可选实施例，场景展示装置具体包括：

场景构建模块，用于根据采集的数据源，利用3dsmax程序构建所述各个虚拟场景的三维模型。

需要说明的是，洞窟三维场景的创建是十分重要的环节，三维模型的精细化程度在一定范围内将会对整个虚拟场景的渲染质量和可视化效果产生影响。以敦煌莫高窟为例，本发明实施例以敦煌壁画采集的真实数据为基础，采用3dsmax建模软件结合unity3d渲染引擎，完成洞窟内外虚拟环境模型构建和场景渲染，采用adobepremiere和photoshop制作场景所需要的图像和视频资源。

在三维模型的构建过程中，三维建模的方式要根据实体的类型来选择，选择恰当的建模方式，能够提高建模效率，模型更加简单实用，可视化效果更好。本发明实施例将3dsmax作为场景模型构建的工具，结合cad制图软件完成壁画洞窟场景及相关修复工具的建模。在构建场景时，根据获取的真实数据在3dsmax中建立模型，对构建的模型进行贴图等处理，优化场景及模型，完成虚拟场景构建。其中，真实准确的数据源对于搭建逼真的虚拟场景至关重要，大量的真实数据便于高效的建造出高质量的场景模型。本发明实施例的数据源主要分为两个方面：基础数据源和建模采集得到的数据源。基础数据源包括，洞窟整体布局图，虚拟博物馆布局图，修复工具实物图等。采集的数据源，包括壁画真实图像，修复工具相关的纹理图片等。壁画的数码照片是在莫高窟156/159/172/254/320由资深摄影师现场使用专业设备拍摄的。

在拍摄过程中，受到光照强度、拍摄的距离等因素影响，拍摄的照片往往会出现失真、比例失调等问题，可以使用photoshop软件对贴图照片做相应处理，提高贴图照片的质量，经过优化处理后的贴图文件一般保存为2的n次幂大小的.png和.jpg格式，用于进行贴图。用户需要修复的壁画资源由数字化壁画修复提供原始素材，数字化壁画修复主要以壁画原始图像和壁画线描图作为数据源，通过破损标注，图像分割和内容填充的步骤得到数字化修复后的结果。

材质添加模块，用于在所述三维模型的外部或内部添加材质贴图和光影效果。

具体地，本发明实施例的材质添加模块具体包括：

贴图单元，用于选定需要添加材质的三维模型，通过修改器中的uvw贴图选项选取贴图的方式和位置，然后根据3dsmax程序中的材质编辑器选择材质参数及纹理参数，并根据选取的贴图的方式和位置加载选择的材质参数及纹理参数。

需要说明的是，虚拟场景模型构建完成之后需要给模型的外部或者内部添加材质，展示不同的效果(如手电筒光锥的材质，修复所用试剂的材质等)。在3dsmax中通过材质编辑器能够用来对材质及纹理进行选择和整理。模型材质参数主要涉及blinn参数、以及贴图等，合理的设置参数才能更完整地表达物体本身的属性和特征。给模型添加材质贴图，能够使虚拟场景更加真实美观，更能贴近现实场景。选定需要添加材质的模型，通过修改器中的uvw贴图选项来选取贴图的方式、位置等，方便材质正确地添加到模型上，然后打开材质编辑器，选取要添加的材质、附贴图，为选择的模型指定材质，完成材质设置。

纹理烘焙单元，用于通过纹理烘焙方法在三维模型中添加光照和纹理效果、使用unity提供的聚光灯效果模拟在洞窟内使用手电筒的特效以及通过bloom全屏泛光特效，制作不同场景切换时的转场特效。

本发明实施例使用烘焙技术制造更生动的光影效果。纹理烘焙技术是通过贴图的方式来展现3dsmax中所提供的光照、纹理等信息，把烘焙后的贴图再贴回到场景中。在进行渲染烘焙前要对模型的命名进行核对，避免因为重复的命名导致烘焙后贴图覆盖，检查场景中模型的完整度，防止出现重面等现象，实现从多个角度对整个场景进行快速高效渲染。本文在完成室内场景模型构建后，对于室内场景模型采用lightingmap方式烘焙，通过这种方式烘焙之后能够得到比较清晰的物体细节特征以及光照贴图等。lightingmap烘焙方式的特点在于能保持清晰的材质纹理，适用于大面积墙面，室内外地面等。

本发明实施例使用unity提供的聚光灯效果模拟在洞窟内使用手电筒的特效，通过设置照射距离范围，照射角度等参数调节光效效果。通过bloom全屏泛光特效，制作不同场景切换时的转场特效。这种技术是游戏中常用的一种镜头效果，是一种比较廉价的“伪hdr”效果，使用了bloom效果后，画面的对比会得到增强，亮的地方曝光也会得到加强，画面也会呈现一种朦胧，梦幻的效果。具体步骤为第一步：先获取屏幕图像，然后对每个像素进行亮度检测，若大于某个阀值即保留原始颜色值，否则置为黑色；第二步：对上一步获取的图像，做一个模糊，通常使用高斯模糊。第三步：将模糊后的图片和原图片做一个加权和。

本发明实施例的材质添加模块还包括：视频加载单元，用于根据avprovideo插件中的视频播放方法在各个虚拟场景中加载多媒体视频。

具体地，本发明实施例在虚拟场景实现多媒体视频的加载，使用avprovideo插件中视频播放方法，在该插件内部封装了关于视频加载的方法streamingassets,通过加载该路径下streamingassetsfolder,可以快速找到相应path下存放的视频资源，并在unity3d引擎中，找到管理视频的接口文件，并封装成自己的类，可以根据相应要实现的功能来直接调用。将相应的视频资源保存在streamingassetsfolder文件夹下，实现了系统资源的外部存储和加载，系统通过外部调取，能够节省系统的内存空间，提高系统的运行速度和交互速度。当用户进入到教室场景后，运用vive手柄进行交互，用户将发射的激光指向播放按钮，并扣下扳机，播放事件触发，开始调用streamingassets方法加载视频，实现在沉浸式场景中进行视频播放，用户在一个三维的虚拟洞窟中可以观看播放的视频。

壁画资源提供模块，用于在所述壁画修复场景下提供需要修复的壁画资源以及完好的壁画。

在上述各实施例的基础上，作为一种可选实施例，修复交互装置具体包括：

操作识别模块，用于根据虚拟显示设备的手柄发射的射线以及扳机的按动方式识别交互操作。

具体地，本发明实施例使用steamvr这款插件完成虚拟场景中的定位功能支持，在通过运用htcvive设备的手柄发射射线触发事件，实现一系列的情景交互模拟功能。为了用户学习的成本更低，设计仅适用手柄的扳机完成所有的交互操作，按动扳机为选择操作，按住扳机可以执行修复的操作。在修复场景下，主要有壁画细节查看，工具选择，病害检查，壁画修复等交互功能。

其中壁画细节查看，工具选择等均使用控制器发射射线，然后进行碰撞检测的方式判定是否选中物体。为了方便用户的选择操作和提示用户的需求，在射线碰撞到交互物体时，通过shader特效和动画等方式提醒用户当前被选择的物体。如当用户选择桌面上的工具时，由于工具之间排列紧密，用户经常会发生误选的操作，我通过shader边缘光技术增强被选中物体的提示作用。具体原理为，根据当前视角方向，给物体上位于边缘的地方额外加一个光的效果。当视线方向v与法线方向n垂直时，这个法线对应的面就与视线方向平行，说明当前这个点对于当前视角来说，就处在边缘；而视线方向与法线方向一致时，这个法线对应的面就垂直于视线方向，说明当前是直视这个面。根据dot(n,v)来获得视线方向与法线方向的余弦值，通过这个值来区分该像素是否处在边缘，进而判断是否需要增加以及增加边缘光的强弱。此外，本发明实施例使用动画片段生成和状态机添加了若干动态效果。如提醒用户下一步操作对象的箭头，用于病害介绍信息激活的旋转控件，用户完成试剂融和时的仿真动画，病害图片的渐变切换效果等。

遮罩模块，用于在壁画修复场景下，根据预设的交互操作，通过遮罩材质的方式模拟擦除的效果。

需要说明的是，在壁画修复的交互功能实现中，本发明实施例利用shader编写了遮罩材质，通过叠加不同图层的壁画材质(完好的壁画图片在底层，带有病害的壁画图片在顶层)，然后添加带alpha通道的笔刷样式的材质用做遮罩。具体原理为获取这张遮罩的透明度，将该透明度和目标图片的透明度进行混合。

修复模块，用于以壁画原始图像和壁画线描图作为数据源，通过破损标注，图像分割和内容填充的步骤得到数字化修复后的结果

需要说明的是，当用户用笔刷修复壁画时，我们首先通过笔刷发射的射线计算射线与壁画的三维交点，然后将三维坐标转换为二维uv坐标，然后利用该坐标结合笔刷遮罩覆盖更新位于上层的壁画材质(带有病害的壁画)，以次来模拟擦除的效果。此外，我们还在用户修复壁画的操作过程中，加入了手柄震动和声音的反馈。

在上述各实施例的基础上，作为一种可选实施例，所述利用3dsmax程序构建所述各个虚拟场景的三维模型，具体为：

对于展览场景，采用半球法构建半球形的三维模型；对于修复场景，采用盒子法构建三维模型。

需要说明的是，半球形的三维模型是通过构建半球形的天空网格模型，为网格模型添加纹理，当摄像机视点在半球形网格模型内时，就能够实现天空效果。半球法方法制作的天空有更好的雾化效果，使场景更具真实感，适合模拟展览模式下的沙漠场景。盒子法(box)构建较为简单，加载速度更快。但是需要高质量贴图，各个面之间的纹理需要结合紧密，防止出现缝隙。适合修复模式下的洞窟内场景。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。