专利名称：一种古代建筑油饰彩画虚拟修复系统及其修复方法
技术领域：
本发明属于图像修复领域，涉及一种图像虚拟修复系统，尤其 是一种跨平台、多用户、交互式的古代建筑油饰彩画虚拟修复系统及 其修复方法。
背景技术：
很多具有重要历史意义和研究价值的古代彩画由于年代的远 久、未妥善保存或运输等原因，遭受到不同程度的损坏。如何有效地 保护古代彩画，针对受损部分进行修补，已成为一个十分迫切的问题。
针对现有技术中基于手工的传统修复工艺流程耗时长、工作量 大、主观性强， 一旦出错就很难修改等缺点，近年来基于计算机的数 字图像虚拟修复技术应运而生。但是对于传统彩画各种不同的残损区 域和损坏程度，如何保证所修复彩画的原真性及如何设计一种快速有 效的修复方法一直是科学界所关注的问题。在实际工程中，应考虑到 如何设计一个跨平台、多用户、交互式虚拟修复系统，并且要求它能 够对古代彩画的结构性和非结构性残损区域进行快速虚拟复原，同时 能够提供一个人机交互的编辑接口 ，使用户可通过标记操作对修补过 程进行有效地干预和指导。
发明内容
本发明的目的在于克服现有技术中手工修复的缺点，提供一种 古代建筑油饰彩画虚拟修复系统及其修复方法，该系统实现了一个多用户，交互式的虚拟数字图像修复平台，只要能连接到互联网的客户 端，都可以利用此系统，对需要修复的受损图像进行修复还原。而且 相比传统的虚拟修复方法，基于该系统的修复方法在修复质量和修复 效率上都有明显的提高。
本发明的目的是通过以下技术方案来解决的
这种古代建筑油饰彩画虚拟修复系统，包括连接于网络中的多 台客户端、WEB服务器和计算服务器，所述客户端至少包括注册登 陆模块、图像管理模块和客户端通信模块，所述图像管理模块包括添 加图像、删除图像、修复图像和将图像设为公开或者私有的子模块； 所述修复图像子模块是虚拟图像修复运算的人机交互接口，具有标记 待修复区域、标记结构线、标记样本区域和保存提交图像标记信息的 功能；所述客户端通信模块负责客户端与WEB服务器之间的通信；
所述WEB服务器至少包括接受图像标记信息模块、远程调用计 算服务模块和数据库管理模块，所述接受图像标记信息模块负责接受 并解析由客户端通过通信模块发送的图像标记信息，所述远程调用计 算服务模块将修复任务提交给计算服务器；所述数据库管理模块综合 系统的所有图像信息，所述图像信息包括来自客户端的图像信息、 WEB服务器上存储的图像信息以及计算服务器修复后的图像信息；
所述计算机服务器包括远程计算调用接受模块、图像修复模块 和保存修复结果模块，所述远程计算调用接受模块接受WEB服务器 的修复任务，并将修复任务传递给图像修复模块；所述图像修复模块 具有图像修复功能；所述保存修复结果模块将图像修复结果保存并返回给WEB服务器和客户端。
一种基于上述系统的古代建筑油饰彩画虚拟修复方法，具体包 括如下步骤
1) 首先，通过人机交互接口，用户先标记出图像的待修复区域， 然后选择性的标记出待修复区域的结构线或者待修复区域对应的样 本区域，再将图像标记信息以PNG的数据格式通过客户端通信模块 传送到WEB服务器；
2) WEB服务器接受图像标记信息模块接收并解析客户端的图 像标记信息，然后通过远程调用计算服务模块将修复任务提交给计算 服务器，计算服务器通过图像修复模块调用基于结构和样本的图像修 复方法；所述的基于结构和样本的图像修复方法具体为
首先判断图像的待修复区域中是否标记出结构线，如果有结构
线，先按照结构线修复方法修复出受损区^^的结构轮廓，再进行非结 构区域修复；所述结构线修复方法为将待修复结构曲线的最佳样本块 的搜索范围限定在结构线的延长部分；如果图像的待修复区域中没有 结构线，则直接进行非结构区域修复，所述非结构区域修复为基于样 本的图像修复方法；所述基于样本的图像修复方法为确定待修复区 域最高优先权的修补块，在待修复区域对应的样本区域中搜索最佳样 本块，并且拷贝最佳样本块的图像信息到修补块，之后更新修补块的 自信度，完成修复；
3) 计算服务器中的保存修复结果模块将图像修复结果保存并返 回给WEB服务器，WEB服务器再返回给客户端，客户端对修复前后图像进行比较，如果修复结果不一致，则返回步骤l)重新进行图 像修复。
以上所述的用户在标记图像的待修复区域过程中，每进行一次 标记都要以图层的形式进行保存，所述的图层是和待修复图像高宽相 等的布尔矩阵，标记部分为布尔真，非标记部分为布尔假。
以上提出的古代建筑油饰彩画虚拟修复系统及其修复方法，这 种修复方法是一种快速有效的古代建筑油饰彩画修复方法，它实现了 多用户，交互式的虚拟数字图像修复系统。该系统提供给用户一个开 放式的平台，只要能连接到互联网的用户，都可以利用此系统，对需 要修复的受损图像进行修复还原。本发明可以实现互联网远程联合协 调工作，给考古工作者带来工作上极大的方便。
图1是本发明的系统组织流程图2是本发明客户端修复图像子模块的图像标记和传输示意图； 图3是本发明的计算服务调度图； 图4是本发明的修复方法流程图； 图5是本发明修复过程中的结构线修复示意图。
具体实施例方式
图l给出了本发明的系统组织流程图，包括客户端、WEB服务 器和计算服务器。本系统以提供网络服务的形式运作，客户可以通过 客户端的网页浏览器登陆此系统，上传并且标记需要修复的图像，然 后提交给WEB服务器。WEB服务器通过远程方法调用计算服务器 来完成修复运算，然后将修复结果交由数据库存储管理，最后返回给客户。下面我们结合图1具体介绍系统的结构
客户端客户可以在客户端上使用注册登陆模块进行注册和登 陆，即通过浏览器注册页面，注册为本系统的一个用户，然后通过用 户名密码登陆本系统的图像管理模块。每个用户的图像管理模块都包 括一个图像收藏夹，里面存储有用户自己的图像文件，包括需要修复 的图像和系统修复后返回给客户的图像。同时，图像管理模块还包括 以下操作子模块添加图像、删除图像、修复图像、将图像设为公开 和将图像设为私有。通过添加图像子模块，用户可以从本机或者互联 网上传图像到WEB服务器的管理用户和图像的数据库中；通过删除 图像子模块，用户可以删除自己图像收藏夹里面的图像；通过修复图 像子模块，用户可以进入一个修复图像子模块，该子模块就是本系统 的修复图像的人机交互接口，用户可以对需要修复的图像进行待修复 区域标记，结构线标记和样本区域标记。具体的修复图像标记方法将 在下面"具体说明古代建筑油饰彩画虚拟修复方法的实现方法"中的 第(1)点"客户端修复图像子模块的修复图像标记方法"中说明。 标记完成后，修复的图像标记信息会通过客户端的通信模块以PNG 图层格式存储并发送到WEB服务器。具体的图像标记信息传输格式 和方式将在"具体说明古代建筑油饰彩画虚拟修复方法的实现方法" 中的第(2)点"客户端通信模块的标记数据传输"部分说明。通过 将图像设为公开，用户可以将自己图像收藏夹里面的图像和其他用户 进行共享；通过将图像设为私有，用户可以将自己共享的文件设为其 他用户不可见形式。WEB服务器包括接受图像标记信息模块、远程调用计算服务 模块和数据库管理模块，所述接受图像标记信息模块负责接受并解析 由客户端通过通信模块发送的图像标记信息，所述远程调用计算服务 模块将修复任务提交给计算服务器；所述数据库管理模块综合系统的
所有图像信息，所述图像信息包括来自客户端的图像信息、WEB服 务器上存储的图像信息以及计算服务器修复后的图像信息。WEB服 务器的功能具体为用户图像收藏夹里面的图像存储在WEB服务器 上的，因此用户在提交图像修复请求时，只要传输PNG格式的图像 修复标记信息和原图像修复的ID号即可。对应地，WEB服务器接受 到客户端的信息后，将修复标记信息进行解析，即将PNG数据转换 成位图的格式，然后调用计算服务器对标记后的图像进行修复计算。 系统中，WEB服务器通过RMI远程调用方法调用计算服务器，具体 远程调用方法将在WEB服务器端远程调用计算服务模块中详细说 明。用户和图像的信息由WEB服务器的数据库管理，该数据库的设 计采用Hibernate和Spring技术，实现Web开发持久层和业务层的优 化管理。Hibernate通过一种面向对象的查询语言有效地存储、更新、 删除数据库记录，而Spring (被称为轻量级容器)能有机制地把对象 搭配起来，从而实现一个强健的、持久的WEB数据库开发框架。
计算服务器包括远程计算调用接受模块、图像修复模块和保存 修复结果模块。当计算服务器接受WEB服务器的远程计算调用请求 后，计算服务器通过图像修复模块对客户提交的待修补图像进行修 复，然后将修复结果保存并且返回给WEB服务器，再由WEB服务器发送到客户端。计算服务器通过远程计算调用接受模块接收WEB 服务器发送的待修复图像的信息，将其包装成独立的运算单元，以队 列的形式等待图像修复模块进行图像修复运算。具体的调用方法将在
"具体说明古代建筑油饰彩画虚拟修复方法的实现方法"中的第(4)
点"计算服务器端图像修复模块的调用"部分说明。图像修复模块采
用的修复运算是由0++语言实现。图像修复完成后，计算服务器将图
像修复结果保存，并且将其返回至WEB服务器，由WEB服务器的
数据库来管理，接着WEB服务器可以将修复结果返回给客户。客户
可以査看图像的修复效果，对修复前和修复后的图像进行比较，如果
修复结果不理想，客户可以再次提交修复请求，重新进行修复工作，
以体现本系统多次、重复修复图像的功能。在整个过程中，客户图像
的存储、管理和修复都由服务器来完成，客户只需要提交修复要求便
可以离线等待，完全不占用客户端的运算资源。
下面我们结合附图来具体说明古代建筑油你彩画虚拟修复方法的 实现方法
(1)客户端修复图像子模块的修复图像标记方法用户登陆到本 系统的客户端界面后，可以对图像管理模块进行操作，其核心是修复 图像子模块的设计，因为它提供了虚拟图画修复运算的人机交互界 面。修复图像子模块实际上是一个具有图像标记功能的模块，该模块 功能上类似于一个画图板，由Flex3和Action script语言实现的。
当用户选择需要修复的图像，点击进入修复图像子模块后，便可 以利用该模块提供的图像标记工具箱(包括各种画图工具)进行如下 标记①受损图像的待修复区域；②用户根据先验知识确定的待修复区域的结构线；③用户根据先验知识确定的待修复区域对应的样本区 域。其中第一项受损图像的待修复区域是用户必须标记的，而其余两 项则可以进行选择性的标记。当待修复区域有很明显的结构线时，用 户的结构线标记不仅能提高修复运算的效率，而且对于修复质量也会 有很大的提高。同样的道理，对于受损区域对应的样本区域的指定也 会大幅度地提高彩画修复效率和质量。
(2)客户端通信模块的标记数据传输图像修复标记信息的存 储格式和传输至WEB服务器的方式如图2所示。用户在彩画修复标 记过程中，每进行一次标记都要进行保存。具体来讲，给定一幅受损 彩画，每当用户画出一个待修复区域时便要保存该标记。此标记信息 会以图层的形式记录，这里所谓的图层是一个和待修复图像高宽相等 的布尔矩阵，需要修复的区域值为布尔真，不需要修复的区域值为布 尔假。当用户根据先验知识，标记出待修复区域的结构线时，也要以 图层的形式保存，不同的结构线需要保存在不同的图层中。其中结构 线部分为布尔真，非结构线分布为布尔假。同样地，用户指定的每个 待修复区域的样本区域也需要分别保存在不同图层里。最后需要注意 的是，当勾画出待修复区域的结构线后，待修复区域就会被划分成几 个子区域，因此，用户需要指出每一个子区域对应的样本区域，每一 个对应关系将保存在不同图层里，如图2所示。
当这些标记信息以图层的形式保存后，用户便可以向WEB服务
器提交标记信息，然后由WEB服务器调用计算服务器对图像进行修 复。从客户端到WEB服务器的数据传输过程中，所有图层都被压縮 成PNG的格式进行传输。这种PNG的数据格式实现了以下两点传输 目的其一，它属于无损压縮，保证了用户提交的标记信息能够完整无损地传送到服务器端，从而保证修复算法按照用户标记的目的进行 处理。其二， PNG图像采用的压縮算法，对于标记信息对应的二值 图像具有非常高效的压縮率，极大地提高了传输数据的效率，降低了 对网络带宽和性能的要求。
(3) WEB服务器端远程调用计算服务模块标记数据传输到 WEB服务器端后，WEB服务器对此数据进行解析，然后调用计算服 务器对受损图像进行修复。计算服务器完成修复任务后，最终将修复 结果返回到WEB服务器及客服端。
WEB服务器与计算服务器之间的通信是通过RMI远程方法调用 来实现的。传统远程过程调用并不能很好地应用于分布式对象系统。 而Java的RMI技术则支持存储于不同地址空间的程序级对象之间 彼此进行通信，实现远程对象之间的无缝远程调用，因此本系统采用 RMI技术负责修复任务的调用和接受。
(4) 计算服务器端图像修复模块的调用图3给出了具体的图 像修复模块调用方案。当WEB服务器通过RMI远程调用方法将修补 任务提交给计算服务器后，计算调度服务程序将接受的任务包装成独 立的计算单元，并交由纯种管理器具体调度。计算单元进入管理器后，
被追加到计算单元队列中。最先进入队列的计算单元将最先被运行。 计算单元首先被包装成为专用线程，然后进行计算，在计算过程中随
时返回进度信息。计算完成后，线程通知管理器，管理器将该线程清 除，并把修补结果提交到服务器。其中WEB服务器可以配置任意数 目的运算服务器，这样WEB服务器便可以同时调用多个运算服务，从而保证这种设计可以支持多个用户同时使用修复服务。
考虑到彩画修复的效率，具体修复运算由0++语言实现，如图l
计算服务程序模块所示。为了解决Java语言与其他语言不兼容的问 题，系统采用JNI技术，用计算服务器端的Java程序调用修复运算 生成的动态链接库，从而成功地解决调用接口问题。在具体采用JNI 技术时，要求调用接口所传参数必须和0++修复算法的参数列表完全一致。
(5)计算服务器端图像修复模块计算服务器负责彩画修复运 算的队列管理和运行，当运算服务器开始执行一幅彩画的修复任务 时，其具体流程如图4所示，称其为基于结构和样本的图像修复方法 对于给定的任意一副图像，首先提取其损坏的区域，其实图像的 受损区域已经由用户在客户端标记模块中指定并且传输到运算服务 器。接着需要判断图像的受损区域中是否标记出结构线(由用户在客 户端标记模块中完成)，如果有结构线，先按照结构线修复方法修复 出受损区域的结构轮廓，反之则直接进入下一个流程。关于结构线修 复方法我们会结合图5在下一段中具体介绍。完成结构线修复后，开 始整个受损区域的修复。本修复方法以像素块为单位来进行，即将待 修复区域分成若干等大小的像素块，对于每个像素块根据其优先权按 顺序修复。因此一开始就要确定每个待修补块的优先权，然后有序地 进行修复。优先权的确定是根据修补块的自信度，也就是修补块中已 知区域的比例来确定的。修复过程中，为了提高修复的效率和可靠性， 我们可以利用用户提供的受损区域对应的样本区域信息。如果用户在提交修补请求时指出了待修补区域所对应的样本区域，那么我们在寻 找最佳样本块时则不必进行全局搜索，只需在指定的样本区域中寻找 即可。找到修补块的最佳样本块后将其拷贝到对应的待修补位置， 这样就完成了一个修补块的修复。接下来，继续更新各个块的自信度， 提取新的修补块，按照同样流程进行修复，直到修补完成。
图5给出了结构线修复的示意图，如果用户在提交修复请求时指 出了修复区域的结构线，那么修复算法将优先从缺失的结构轮廓开始
修补。图中參表示整个图像区域，而fi表示受损区域，根据先验知识，
用户可以标记出和图像未损坏区域的结构轮廓一致的结构线(红色、 蓝色、紫色线段)。要求标定的结构线必须是一条贯穿主要结构的曲 线，并且两端分别延长到图像已知区域，只要这样，结构修复方法才 能充分利用人工标定的结构线提供的指导信息，获取结构线恢复的样 本来源。在结构修复中，待修补的结构轮廓上的修补块的最佳样本来 源仅限制在用户画出的结构线的延长部分，即通过结构线上的搜索来 找出最佳样本块，最后拷贝到待修补的结构样本块的位置。这种修复 方法利用结构线的信息相似性，在提高缺失结构恢复效果的同时，极 大地优化了图像修复的时间复杂度。由于优先恢复了人眼最为敏感的 结构信息，尤其是显著结构，受损图像恢复的效果将得到非常可观的 改善。
本发明提出了一种快速有效的古代建筑油饰彩画修复方法，并且 实现了一个多用户，交互式的虚拟数字图像修复系统。该系统提供给 用户一个开放式的平台，只要能连接到互联网的用户，都可以利用此系统，对需要修复的受损图像进行修复还原,
权利要求
1. 一种古代建筑油饰彩画虚拟修复系统，包括连接于网络中的多台客户端、WEB服务器和计算服务器，其特征在于所述客户端至少包括注册登陆模块、图像管理模块和客户端通信模块，所述图像管理模块包括添加图像、删除图像、修复图像和将图像设为公开或者私有的子模块；所述修复图像子模块是虚拟图像修复运算的人机交互接口，具有标记待修复区域、标记结构线、标记样本区域和保存提交图像标记信息的功能；所述客户端通信模块负责客户端与WEB服务器之间的通信；所述WEB服务器至少包括接受图像标记信息模块、远程调用计算服务模块和数据库管理模块，所述接受图像标记信息模块负责接受并解析由客户端通过通信模块发送的图像标记信息，所述远程调用计算服务模块将修复任务提交给计算服务器；所述数据库管理模块综合系统的所有图像信息，所述图像信息包括来自客户端的图像信息、WEB服务器上存储的图像信息以及计算服务器修复后的图像信息；所述计算服务器包括远程计算调用接受模块、图像修复模块和保存修复结果模块，所述远程计算调用接受模块接受WEB服务器的修复任务，并将修复任务传递给图像修复模块；所述图像修复模块具有图像修复功能；所述保存修复结果模块将图像修复结果保存并返回给WEB服务器和客户端。
2. —种基于权利要求1所述系统的古代建筑油饰彩画虚拟修复方法，其特征在 于，具体包括如下步骤1) 首先，通过人机交互接口，用户先标记出图像的待修复区域，然后 选择性的标记出待修复区域的结构线或者待修复区域对应的样本区域，再将 图像标记信息以PNG的数据格式通过客户端通信模块传送到WEB服务器；2) WEB服务器接受图像标记信息模块接收并解析客户端的图像标记信息，然后通过远程调用计算服务模块将修复任务提交给计算服务器，计算服 务器通过图像修复模块调用基于结构和样本的图像修复方法；所述的基于结 构和样本的图像修复方法具体为首先判断图像的待修复区域中是否标记出结构线，如果有结构线，先按 照结构线修复方法修复出受损区域的结构轮廓，再进行非结构区域修复；所 述结构线修复方法为将待修复结构曲线的最佳样本块的搜索范围限定在结构 线的延长部分；如果图像的待修复区域中没有结构线，则直接进行非结构区 域修复，所述非结构区域修复为基于样本的图像修复方法；所述基于样本的 图像修复方法为确定待修复区域最高优先权的修补块，在待修复区域对应 的样本区域中搜索最佳样本块，并且拷贝最佳样本块的图像信息到修补块， 之后更新修补块的自信度，完成修复；3)计算服务器中的保存修复结果模块将图像修复结果保存并返回给 WEB服务器，WEB服务器再返回给客户端，客户端对修复前后图像进行比 较，如果修复结果不一致，则返回步骤l)重新进行图像修复。
3.根据权利要求2所述的古代建筑油饰彩画虚拟修复方法，其特征在于，用户 在标记图像的待修复区域过程中，每进行一次标记都要以图层的形式进行保 存，所述的图层是和待修复图像高宽相等的布尔矩阵，标记部分为布尔真， 非标记部分为布尔假。
全文摘要
本发明公开了一种古代建筑油饰彩画虚拟修复系统及其修复方法，该修复系统包括连接于网络中的多台客户端、WEB服务器和计算服务器，所述客户端至少包括注册登陆模块、图像管理模块和客户端通信模块；所述WEB服务器至少包括接受图像标记信息模块、远程调用计算服务模块和数据库管理模块；所述计算服务器包括远程计算调用接受模块、图像修复模块和保存修复结果模块。该系统提供了一种快速有效的古代建筑油饰彩画修复方法，并且实现了一个多用户，交互式的虚拟数字图像修复系统。该系统提供给用户一个开放式的平台，只要能连接到互联网的用户，都可以利用此系统，对需要修复的受损图像进行修复还原。
文档编号G06T5/00GK101504764SQ20091002097
公开日2009年8月12日 申请日期2009年1月19日 优先权日2009年1月19日
发明者张彦路, 张阳军, 牛彦植, 辉 王, 飞 王, 谢杰涛, 赵季中, 媛 韩 申请人:西安交通大学