一种基于内容感知层的敦煌壁画图像修复方法
本发明涉及图像修复技术领域，尤其涉及一种基于内容感知层的敦煌壁画图像修复方法。
背景技术：
对于历史年代久远的壁画，由于墙体不利于壁画的长期保存，会出现各种各样的破损，如褪色、变色、脱落等。传统的人力手工修复都是不可逆的操作，具有一定风险。而数字化的壁画修复由于不需要对原始作品进行直接处理，并且能按艺术需求对修复结果进行调整，从而让无损修复成为可能，可以提高修复的灵活度。
然而，目前传统领域的数字化图像修复方法，对于已知区域的应用基本都只限于平移，而如果引入尺度、旋转等变化，其计算复杂度将会呈级数上升。目前的方法难以提取远距离的图像内容区域和不规则区域的图像内容，对整体的协调性难以掌控。
技术实现要素：
本发明提供了一种基于内容感知层的敦煌壁画图像修复方法，用于解决现有图像修复方法修复效果较差的技术问题。
本发明提供了一种基于内容感知层的敦煌壁画图像修复方法，包括：
对预设敦煌壁画图像进行粗修复，得到粗修复图像；
对所述粗修复图像通过预设内容感知层进行精细化修复，得到精细化修复图像；
通过预设卷积通路对所述粗修复图像进行处理，得到近似原始图像；
采用所述精细化修复图像和所述近似原始图像生成修复图像。
可选地，所述对预设敦煌壁画图像进行粗修复，得到粗修复图像的步骤，包括：
通过预设粗修复卷积神经网络对预设敦煌壁画图像进行粗修复，得到粗修复图像。
可选地，所述对所述粗修复图像通过预设内容感知层进行精细化修复，得到精细化修复图像的步骤，包括：
确定所述粗修复图像中的待修复区域和已知区域；
提取所述待修复区域的像素特征；
根据所述像素特征，通过预设内容感知层在所述已知区域提取多个背景区域；
将所述待修复区域分别与多个所述背景区域进行匹配，得到区域相似度；
采用与所述待修复区域的所述区域相似度最高的背景区域，对所述待修复区域进行修复，得到精细化修复图像。
可选地，所述对所述粗修复图像通过预设内容感知层进行精细化修复，得到精细化修复图像的步骤，包括：
确定所述粗修复图像中的待修复区域和已知区域；
提取所述待修复区域的像素特征；
根据所述像素特征，通过预设内容感知层在所述已知区域提取多个背景区域；
将所述待修复区域分别与多个所述背景区域进行匹配，得到区域相似度；
在所述背景区域中提取背景像素特征；
基于所述区域相似度，在所述背景像素特征中确定所述像素特征对应的修复像素特征；
采用所述修复像素特征修复所述待修复区域，得到精细化修复图像。
可选地，所述基于所述区域相似度，在所述背景像素特征中确定所述像素特征对应的修复像素特征的步骤，包括：
基于所述区域相似度，计算所述像素特征与背景像素特征的像素相似度；
将所有所述背景区域中，与所述像素特征的所述像素相似度最高的背景像素特征，作为所述像素特征对应的修复像素特征。
本发明还提供了一种基于内容感知层的敦煌壁画图像修复装置，包括：
粗修复模块，用于对预设敦煌壁画图像进行粗修复，得到粗修复图像；
精细化修复模块，用于对所述粗修复图像通过预设内容感知层进行精细化修复，得到精细化修复图像；
近似原始图像生成模块，用于通过预设卷积通路对所述粗修复图像进行处理，得到近似原始图像；
修复图像生成模块，用于采用所述精细化修复图像和所述近似原始图像生成修复图像。
可选地，所述粗修复模块，包括：
粗修复子模块，用于通过预设粗修复卷积神经网络对预设敦煌壁画图像进行粗修复，得到粗修复图像。
可选地，所述精细化修复模块，包括：
第一区域确定子模块，用于确定所述粗修复图像中的待修复区域和已知区域；
第一像素特征提取子模块，用于提取所述待修复区域的像素特征；
第一背景区域提取子模块，用于根据所述像素特征，通过预设内容感知层在所述已知区域提取多个背景区域；
第一区域相似度计算子模块，用于将所述待修复区域分别与多个所述背景区域进行匹配，得到区域相似度；
第一精细化修复子模块，用于采用与所述待修复区域的所述区域相似度最高的背景区域，对所述待修复区域进行修复，得到精细化修复图像。
本发明还提供了一种电子设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行如上任一项所述的基于内容感知层的敦煌壁画图像修复方法。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行如上任一项所述的基于内容感知层的敦煌壁画图像修复方法。
从以上技术方案可以看出，本发明具有以下优点：本发明公开了一种基于内容感知层的敦煌壁画图像修复方法，并具体公开了：对预设敦煌壁画图像进行粗修复，得到粗修复图像；对所述粗修复图像通过预设内容感知层进行精细化修复，得到精细化修复图像；通过预设卷积通路对粗修复图像进行处理，得到近似原始图像；采用精细化修复图像和近似原始图像生成修复图像。本发明通过对敦煌壁画图像进行粗修复后，采用内容感知层对粗修复后的图像进行精细化修复，从而得到较为接近真实图像的精细化修复图像。再通过一条卷积通路来对粗修复图像进行其他形式的修复，得到接近真实图像的近似原始图像。最后通过对精细化修复图像和近似原始图像的协同处理，得到高质量的修复图像，从而实现对敦煌壁画图像的高质量修复。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种基于内容感知层的敦煌壁画图像修复方法；
图2为本发明另一实施例提供的一种基于内容感知层的敦煌壁画图像修复方法；
图3为本发明实施例提供的一种基于内容感知层的敦煌壁画图像修复装置的结构框图。
具体实施方式
本发明实施例提供了一种基于内容感知层的敦煌壁画图像修复方法，用于解决现有图像修复方法修复效果较差的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，图1为本发明实施例提供的一种基于内容感知层的敦煌壁画图像修复方法。
本发明提供的一种基于内容感知层的敦煌壁画图像修复方法，具体可以包括以下步骤：
步骤101，对预设敦煌壁画图像进行粗修复，得到粗修复图像；
在本发明实施例中，可以通过一个简单的粗修复卷积神经网络，通过不断对敦煌壁画图像的缺失区域进行修复来产生损失值，从而修复出一个比较模糊的结果，得到该敦煌壁画图像的粗修复图像。
在实际应用中，该粗网络可以使用重构损失进行训练。
步骤102，对粗修复图像通过预设内容感知层进行精细化修复，得到精细化修复图像；
在本发明实施例中，在将敦煌壁画图像进行粗修复后，还可以将其输入一个细网络进行精细化修复。该细修复网络包含了一个内容感知层，通过将粗修复图像作为内容感知层的输入，来从图像的已知区域中获取接近缺失区域的斑块，从而根据该斑块对缺失区域进行修复，得到精细化修复图像。
其中，该细网络可以通过重构损失、以及全局和局部的wgans(globalandlocalwassersteingans)损失进行训练。
步骤103，通过预设卷积通路对粗修复图像进行处理，得到近似原始图像；
在本发明实施例中，本发明还提出来一条与内容感知层通路平行的卷积通路来想象新的图像内容，从而结合精细化修复图像来得到更准确的修复图像。
步骤104，采用精细化修复图像和近似原始图像生成修复图像。
在获取到精细化修复图像和近似原始图像后，可以将两者输入一个解码器来产生修复图像。
本发明通过对敦煌壁画图像进行粗修复后，采用内容感知层对粗修复后的图像进行精细化修复，从而得到较为接近真实图像的精细化修复图像。再通过一条卷积通路来对粗修复图像进行其他形式的修复，得到接近真实图像的近似原始图像。最后通过对精细化修复图像和近似原始图像的协同处理，得到高质量的修复图像，从而实现对敦煌壁画图像的高质量修复。
请参阅图2，图2为本发明另一实施例提供的一种基于内容感知层的敦煌壁画图像修复方法的步骤流程图。具体可以包括以下步骤：
步骤201，通过预设粗修复卷积神经网络对预设敦煌壁画图像进行粗修复，得到粗修复图像；
步骤202，对粗修复图像通过预设内容感知层进行精细化修复，得到精细化修复图像；
在本发明一个示例中，步骤202可以包括以下子步骤：
s11，确定粗修复图像中的待修复区域和已知区域；
s12，提取待修复区域的像素特征；
s13，根据像素特征，通过预设内容感知层在已知区域提取多个背景区域；
s14，将待修复区域分别与多个背景区域进行匹配，得到区域相似度；
s15，采用与待修复区域的区域相似度最高的背景区域，对待修复区域进行修复，得到精细化修复图像。
在本发明实施例中，内容感知层可以用卷积的方式，来从已知的图像内容中匹配相似的背景区域，通过在全通道上使用softmax来找出最接近待修复区域的背景区域，从而使用该背景区域做反卷积从而重建待修复区域，得到精细化修复图像。
在具体实现中，首先利用内容感知层对已知区域进行特征提取。具体地，首先将缺失区域的像素特征匹配到周围已知背景。在背景中提取补丁，得到多个背景区域，并一一将其重塑为卷积滤波器。
为了将待修复区域与背景区域进行匹配，本发明可以采用归一化的内积来衡量，从而计算待修复区域与每一个背景区域的相似度，并进而确定相似度最高的背景区域为最接近待修复区域的背景区域，通过该相似度最高的背景区域对待修复区域进行修复，得到精细化修复图像。
其中，区域相似度可以根据以下公式计算得到：
其中，{fx，y}表征待修复区域，{bx′，y′}表征背景区域。sx，y，x′，y′表征区域相似度。
在计算得到区域相似度后，可以采用区域相似度最高的背景区域来修复待修复区域，得到精细化修复图像。
在实际应用中，内容感知层可以实现从离待修复区域较远的区域提取信息，不再局限于周围区域的特征信息。同时，内容感知层使得细网络不再限定于规则区域的图像内容提取，使得细网络能够提取出任意大小的图像内容进行判别是否与原图像更为接近。
在本发明另一个示例中，步骤202可以包括以下子步骤：
s21，确定粗修复图像中的待修复区域和已知区域；
s22，提取待修复区域的像素特征；
s23，根据像素特征，通过预设内容感知层在已知区域提取多个背景区域；
s24，将待修复区域分别与多个背景区域进行匹配，得到区域相似度；
s25，在背景区域中提取背景像素特征；
s26，基于区域相似度，计算像素特征与背景像素特征的像素相似度；
s27，将所有背景区域中，与像素特征的像素相似度最高的背景像素特征，作为像素特征对应的修复像素特征；
s28，采用修复像素特征修复待修复区域，得到精细化修复图像。
在本发明实施例中，内容感知层可以用卷积的方式，来从已知的图像内容中匹配相似的背景区域，通过在全通道上使用softmax来找出最接近待修复区域的背景区域，从而使用该背景区域做反卷积从而重建待修复区域，得到精细化修复图像。
在具体实现中，首先利用内容感知层对已知区域进行特征提取。具体地，首先将缺失区域的像素特征匹配到周围已知背景。在背景中提取补丁，得到多个背景区域，并一一将其重塑为卷积滤波器。
为了将待修复区域与背景区域进行匹配，本发明可以采用归一化的内积来衡量，从而计算待修复区域与每一个背景区域的相似度，并进而确定相似度最高的背景区域为最接近待修复区域的背景区域，通过该相似度最高的背景区域对待修复区域进行修复，得到精细化修复图像。
其中，区域相似度可以根据以下公式计算得到：
其中，{fx,y}表征待修复区域，{bx′,y′}表征背景区域。sx,y,x′,y′表征区域相似度。
在计算得到区域相似度后，可以进一步使用缩放的softmax沿x′,y′的维度权衡相似度，得到每个像素特征的与背景区域的背景像素特征的像素相似度。具体可采用以下公式实现：
其中，λ为常数；
最后，重新使用已提取的背景区域作为解卷积滤波器进行重建，若有重叠的像素，则取其平均值。
进一步地，在进行精细化修复后，可以通过传播来实现注意力的一致性。因为待修复区域的转变很可能对应着注意力的背景区域的等量转变。为了模拟和鼓励注意力地图的一致性，先进行左右传播，然后再进行内核大小为k的自顶而下的重建，以左右传播为例，得到新的注意力值为：
以上下传播为例，得到新的注意力值为：
其中，
步骤203，通过预设卷积通路对粗修复图像进行处理，得到近似原始图像；
在本发明实施例中，本发明还提出来一条与内容感知层通路平行的卷积通路来想象新的图像内容，从而结合精细化修复图像来得到更准确的修复图像。
值得注意的是，本发明通过全局和局部的wans进行细网络的训练。
全局和局部的wans使用em(earth-moverdistance)距离w(pr，pg)用于比较生成的和真实的数据分布。全局和局部的wans预测孔区域，因此梯度顺势仅应用于孔内的像素。通过梯度和输入掩码m的乘法实现得到：
其中，掩码值为0表示缺失像素，1表示其他区域的像素。然后使用像素级的l1损失函数与wgan对抗损失函数的加权和计算w(pr，pg)。
其中，∏(pr,pg)表示所有联合分布γ(x,y)的集合，其边界分别为pr和pg，直观上，像素级重建损失直接将待修复区域回归到当前的原始图像中，而wgans隐式学习匹配可能正确的图像，并用对抗性梯度训练生成器。由于两种损耗均以像素方式测量距离，因此组合损失更容易训练并使优化过程更稳定。
步骤204，采用精细化修复图像和近似原始图像生成修复图像。
在获取到精细化修复图像和近似原始图像后，可以将两者输入一个解码器来产生修复图像。
本发明通过对敦煌壁画图像进行粗修复后，采用内容感知层对粗修复后的图像进行精细化修复，从而得到较为接近真实图像的精细化修复图像。再通过一条卷积通路来对粗修复图像进行其他形式的修复，得到接近真实图像的近似原始图像。最后通过对精细化修复图像和近似原始图像的协同处理，得到高质量的修复图像，从而实现对敦煌壁画图像的高质量修复。
请参阅图3，图3为本发明实施例提供的一种基于内容感知层的敦煌壁画图像修复装置的结构框图。
本发明实施例提供了一种基于内容感知层的敦煌壁画图像修复装置，包括：
粗修复模块301，用于对预设敦煌壁画图像进行粗修复，得到粗修复图像；
精细化修复模块302，用于对粗修复图像通过预设内容感知层进行精细化修复，得到精细化修复图像；
近似原始图像生成模块303，用于通过预设卷积通路对粗修复图像进行处理，得到近似原始图像；
修复图像生成模块304，用于采用精细化修复图像和近似原始图像生成修复图像。
在本发明实施例中，粗修复模块301，包括：
粗修复子模块，用于通过预设粗修复卷积神经网络对预设敦煌壁画图像进行粗修复，得到粗修复图像。
在本发明实施例中，精细化修复模块302，包括：
第一区域确定子模块，用于确定粗修复图像中的待修复区域和已知区域；
第一像素特征提取子模块，用于提取待修复区域的像素特征；
第一背景区域提取子模块，用于根据像素特征，通过预设内容感知层在已知区域提取多个背景区域；
第一区域相似度计算子模块，用于将待修复区域分别与多个背景区域进行匹配，得到区域相似度；
第一精细化修复子模块，用于采用与待修复区域的区域相似度最高的背景区域，对待修复区域进行修复，得到精细化修复图像。
在本发明实施例中，精细化修复模块302，包括：
第二区域确定子模块，用于确定粗修复图像中的待修复区域和已知区域；
第二像素特征提取子模块，用于提取待修复区域的像素特征；
第二背景区域提取子模块，用于根据像素特征，通过预设内容感知层在已知区域提取多个背景区域；
第二区域相似度计算子模块，用于将待修复区域分别与多个背景区域进行匹配，得到区域相似度；
背景像素特征提取子模块，用于在背景区域中提取背景像素特征；
修复像素特征确定子模块，用于基于区域相似度，在背景像素特征中确定像素特征对应的修复像素特征；
第二精细化修复子模块，用于采用修复像素特征修复待修复区域，得到精细化修复图像。
在本发明实施例中，修复像素特征确定子模块，包括：
像素相似度计算单元，用于基于区域相似度，计算像素特征与背景像素特征的像素相似度；
修复像素特征计算单元，用于将所有背景区域中，与像素特征的像素相似度最高的背景像素特征，作为像素特征对应的修复像素特征。
本发明实施例还提供了一种电子设备，其特征在于，设备包括处理器以及存储器：
存储器用于存储程序代码，并将程序代码传输给处理器；
处理器用于根据程序代码中的指令执行本发明任一实施例的基于内容感知层的敦煌壁画图像修复方法。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行本发明任一实施例的基于内容感知层的敦煌壁画图像修复方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
- 还没有人留言评论。精彩留言会获得点赞！