基于深度学习的古代破损纺织品图像的复原方法及系统

1.本发明涉及深度学习和计算机视觉领域，尤其是基于深度学习的古代破损纺织品图像的复原方法及系统。


背景技术：

2.从现今留存下来的纺织品文物来看，古代先民们使用不同的纺织工艺来进行织造不同种类、不同材质、不同纹样的纺织品，并且从矿石、植物、动物等自然界中提取天然染料对织就的纺织品进行染色。这些精美的纺织品大多随墓葬出土，出土后的纺织品文物由于埋藏时间较长以及受到水蚀、霉菌、泥土、虫蛀等埋藏环境的影响，纺织品文物往往会出现扭曲、折叠、粘连、结构残缺、破损、褪色等问题。同时出土后的纺织品可能会带有污渍斑点，这些都影响了我们对古代纺织品文物的研究，需要专业的纺织品修复人员对其进行整理和修复。但是纺织品修复过程复杂繁琐，修复周期长，长时间的修复工作会导致纺织品文物的纤维强度下降，易发生脆化断裂，同时纺织品文物上的有害物质还会对修复人员的身体造成伤害。所以采用数字化的手法从古代纺织品文物的图像角度入手，引入深度学习的方法，对古代纺织品文物的图像进行修复是很有必要的。
3.然而，目前针对古代纺织品文物图像修复的方法均是基于纹理修复的criminisi算法，这种方法首先是计算优先权来决定待修复的破损区域的顺序，再锁定纺织品完好的部位作为样本块，利用样本块进行古代纺织品破损区域的填充，虽然可以对一些纺织品文物的图像进行修复，但是复原的纺织品文物图像的信息较为浅层，提取不到纺织品文物图像的深层特征，并且面对纺织品文物较大的破损时容易出现修复后的纺织品文物图像纹理混乱、边缘不连贯等问题。
4.因此，提出一种基于深度学习的古代破损纺织品图像的复原方法及系统，来解决现有技术存在的困难，是本领域技术人员亟需解决的问题。


技术实现要素：

5.有鉴于此，本发明提供了一种基于深度学习的古代破损纺织品图像的复原方法及系统，采用改进后的dcgan模型进行古代纺织品图像的修复。
6.为了实现上述目的，本发明采用如下技术方案：
7.基于深度学习的古代破损纺织品图像的复原方法，包括以下步骤：
8.s1.建立数据集：收集古代纺织品图像，得到古代纺织品图像数据集；
9.s2.获取训练数据集：将古代纺织品图像数据集的部分数据作为训练样本，对该训练样本中的真实古代纺织品图像进行预处理后得到加噪声的古代纺织品图像，将加噪声的古代纺织品图像和真实古代纺织品图像作为训练数据集；
10.s3.判别生成图像：将加噪声的古代纺织品图像，输入生成模型中进行反卷积，得到生成的古代纺织品图像的相似图像；将生成的古代纺织品图像的相似图像和真实古代纺织品图像输入到判别器中，用以判别生成的古代纺织品图像的相似图像的真假，若为假则
重新训练生成模型，若为真则修复成功，得到改进后的dcgan模型；
11.s4.图像修复：将待修复的古代纺织品图像数据输入到改进后的dcgan模型中，得到接近真实的古代纺织品图像。
12.上述的方法，可选的，s1建立数据集步骤具体包括以下内容：
13.对纺织品种类进行编码，得出下列三层概念体系：第一层为编织和刺绣；第二层为几何、动物、植物和景器物；第三层将第二层的进一步细化分类。
14.上述的方法，可选的，s2获取训练数据集包括以下步骤：
15.s2获取训练数据集包括以下步骤：
16.s201，对s2中训练数据集中的数据的结构进行自动检测，计算纹样组合重复的距离，选择最优步长；
17.s202，输入大小为n的随机向量z，将其映射成特征图；
18.s203，将步骤s202中的随机向量z通过卷积层1、卷积层2、卷积层3、卷积层4得到生成古代纺织品图像的相似图像g(z)。
19.上述的方法，可选的，s203具体包括：
20.s203具体包括以下步骤：卷积层1、卷积层2、卷积层3、卷积层4的卷积核的尺寸均为3
×
3，步长采用自适应的方式进行选取，输出层采用tanh激活函数，其它层采用relu激活函数。
21.上述的方法，可选的，s3中改进后的dcgan模型的损失函数选择交叉熵损失函数，其公式如下：
[0022][0023]
其中，x为真实的古代纺织品图像数据；z为输入的随机向量；p
data
为真实古代纺织品图像的数据分布；pz为生成的古代纺织品图像数据的分布；d(x)表示真实数据的判别结果；d(g(z))表示生成数据的判别结果。
[0024]
上述的方法，可选的，s3具体包括以下内容：
[0025]
训练时，先固定判别模型，训练生成模型，当生成模型生成的古代纺织品图像达到预设概率通过判别模型的判断后，再固定生成模型；进而训练判别模型，得到训练好的判别模型；训练好的生成模型与训练好的判别模型组成改进后的dcgan模型。
[0026]
可选的，基于深度学习的古代破损纺织品图像的复原系统，应用上述任一项的基于深度学习的古代破损纺织品图像的复原方法，包括：建立数据集模块、获取训练数据集模块、判别生成图像模块、图像修复模块；
[0027]
建立数据集模块：收集古代纺织品图像，得到古代纺织品图像数据集；
[0028]
获取训练数据集模块：与建立数据集模块输入端相连，将古代纺织品图像数据集的部分数据作为训练样本，对该训练样本中的真实古代纺织品图像进行预处理后得到加噪声的古代纺织品图像，将加噪声的古代纺织品图像和真实古代纺织品图像作为训练数据集；
[0029]
判别生成图像模块：将加噪声的古代纺织品图像，输入生成模型中进行反卷积，得到生成的古代纺织品图像的相似图像；将生成的古代纺织品图像的相似图像和真实古代纺织品图像输入到判别器中，用以判别生成的古代纺织品图像的相似图像的真假，若为假则
重新训练生成模型，若为真则修复成功，得到改进后的dcgan模型；
[0030]
图像修复模块：与判别生成古代纺织品图像的相似图像模块输入端相连，将待修复的古代纺织品图像数据输入到改进后的dcgan模型中，得到接近真实的古代纺织品图像。
[0031]
上述的系统，可选的，还包括用户图像上传模块：用户上传古代纺织品图像数据，收集待修复的古代纺织品图像。
[0032]
经由上述的技术方案可知，与现有技术相比，本发明的有益效果是：
[0033]
(1)本发明提出的基于深度学习的古代破损纺织品图像的复原方法及系统相比现有古代纺织品实物修复的方法来讲，可以减少修复的时间，纺织品脆弱易断裂，需要纺织品修复人员谨慎对待，人工对古代纺织品修复需要花费大量的时间，长时间的将古代纺织品暴露在空气中，会加速对纺织品的老化。从图像层面对古代纺织品进行数字化修复，也可以减少对古代纺织品的接触，避免直接接触古代纺织品实物，以防对纺织品的二次损毁。
[0034]
(2)本发明采用深度学习的方法，相较于传统的基于纹理修复的criminisi算法来说，可以提取到古代纺织品图像更高层次的特征值，能够修复更大破损的纺织品图像，且修复的效果更好。
[0035]
(3)本发明根据古代纺织品图像的纹样、刺绣、纺织工艺的结构具有重复性和规律性的特点，通过对古代纺织品的图像进行检测，计算可重复结构的距离，选取步长，采用自适应步长的改进后的深度卷积生成对抗网络模型(dcgan)，训练更稳定，收敛速度更快，改进了修复后纺织品图像边缘不连贯、纹理混乱等问题，可以修复古代纺织品图像更高层次的纹理、颜色、图案等特征值。
附图说明
[0036]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0037]
图1为本发明提供的方法流程图；
[0038]
图2为本发明提供的s2获取训练数据集的具体步骤；
[0039]
图3为本发明提供的系统框图；
[0040]
图4为本发明实施例提供的的生成模型结构图；
[0041]
图5为本发明实施例提供的判别模型结构图；
[0042]
图6为本发明实施例提供的图像修复对比图，其中6.1为待修复的古代纺织品图像，6.2为修复好的图像。
具体实施方式
[0043]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0044]
参照图1所示，本发明公开了基于深度学习的古代破损纺织品图像的复原方法，包
括以下步骤：
[0045]
s1.建立数据集：收集古代纺织品图像，得到古代纺织品图像数据集；
[0046]
s2.获取训练数据集：将古代纺织品图像数据集的部分数据作为训练样本，对该训练样本中的真实古代纺织品图像进行预处理后得到加噪声的古代纺织品图像，将加噪声的古代纺织品图像和真实古代纺织品图像作为训练数据集；
[0047]
s3.判别生成图像：将加噪声的古代纺织品图像，输入生成模型中进行反卷积，得到生成的古代纺织品图像的相似图像；将生成的古代纺织品图像的相似图像和真实古代纺织品图像输入到判别器中，用以判别生成的古代纺织品图像的相似图像的真假，若为假则重新训练生成模型，若为真则修复成功，得到改进后的dcgan模型；
[0048]
s4.图像修复：将待修复的古代纺织品图像数据输入到改进后的dcgan模型中，得到接近真实的古代纺织品图像。
[0049]
进一步的，s1、建立数据集的具体内容为：收集古代纺织品图像，由于可收集的古代纺织品图像数据较少，可以通过左右、上下翻转或裁剪等方式进行图像数据增强处理，修改图像尺寸为64
×
64，建立古代纺织品图像数据集。对纺织品种类进行编码，得出下列三层概念体系见表1所示的纺织品图像三层体系。纺织品纹样可以分成编织纹样和刺绣纹样，所以第一层为编织和刺绣；第二层则是根据纹样的主题、形状等特征概括为几何、动物、植物和景器物。第三层将第二层的意象类别进一步细化分类。纺织品纹样中出现的意象基本可以被覆盖。第三层的类别可以根据情况进行增减，对其它层级不会造成影响。
[0050]
表1
[0051][0052]
进一步的，参照图2所示，s2获取训练数据集步骤具体包括以下步骤：
[0053]
s201，对s2中训练数据集中的数据的结构进行自动检测，计算纹样组合重复的距离，选择最优步长；
[0054]
s202，输入大小为n的随机向量z，将其映射成特征图；
[0055]
s203，将步骤s202中的随机向量z通过卷积层1、卷积层2、卷积层3、卷积层4得到生成古代纺织品图像的相似图像g(z)。
[0056]
进一步的，s202.具体包括：输入大小为n的随机向量z，z为从标准正态分布采样的
潜在空间向量，将其映射成特征图。
[0057]
再进一步的，s203.具体包括：s203具体包括以下步骤：卷积层1、卷积层2、卷积层3、卷积层4的卷积核的尺寸均为3
×
3，步长采用自适应的方式进行选取，输出层采用tanh激活函数，其它层采用relu激活函数。
[0058]
更进一步的，s3中改进后的dcgan模型的损失函数选择交叉熵损失函数，其公式如下：
[0059][0060]
其中，x为真实的古代纺织品图像数据；z为输入的随机向量；p
data
为真实古代纺织品图像的数据分布；pz为生成的古代纺织品图像数据的分布；d(x)表示真实数据的判别结果；d(g(z))表示生成数据的判别结果。
[0061]
进一步的，s3.具体包括以下内容：
[0062]
训练时，先固定判别模型，训练生成模型，当生成模型生成的古代纺织品图像达到预设概率通过判别模型的判断后，再固定生成模型；进而训练判别模型，得到训练好的判别模型；
[0063]
训练好的生成模型与训练好的判别模型组成改进后的dcgan模型。
[0064]
与图1所述的方法相对应，本发明还公开了基于深度学习的古代破损纺织品图像的复原系统，用于对图1中方法的具体实现，本发明公开的基于深度学习的古代破损纺织品图像的复原系统可以应用计算机终端或各种移动设备中，其结构示意图如图3所示，具体包括：建立数据集模块、获取训练数据集模块、判别生成图像模块、图像修复模块；
[0065]
建立数据集模块：收集古代纺织品图像，得到古代纺织品图像数据集；
[0066]
获取训练数据集模块：与建立数据集模块输入端相连，将古代纺织品图像数据集的部分数据作为训练样本，对该训练样本中的真实古代纺织品图像进行预处理后得到加噪声的古代纺织品图像，将加噪声的古代纺织品图像和真实古代纺织品图像作为训练数据集；
[0067]
判别生成图像模块：将加噪声的古代纺织品图像，输入生成模型中进行反卷积，得到生成的古代纺织品图像的相似图像；将生成的古代纺织品图像的相似图像和真实古代纺织品图像输入到判别器中，用以判别生成的古代纺织品图像的相似图像的真假，若为假则重新训练生成模型，若为真则修复成功，得到改进后的dcgan模型；
[0068]
图像修复模块：与判别生成古代纺织品图像的相似图像模块输入端相连，将待修复的古代纺织品图像数据输入到改进后的dcgan模型中，得到接近真实的古代纺织品图像。
[0069]
进一步的，还包括用户图像上传模块：用户上传古代纺织品图像数据，收集待修复的古代纺织品图像。
[0070]
作为本发明的一个优选实施例，s2步骤具体包括：
[0071]
(1)对训练数据集中的古代纺织品图像的纹样、刺绣、纺织工艺的结构进行自动检测，计算可重复结构的距离，选择最优步长。
[0072]
(2)先将古代纺织品图像的rgb图像随机初始化，随机向量z为100。
[0073]
(3)然后构建生成模型，具体结构见图4所示，由一层全连接层，四层反卷积层组成，每一层都使用batchnorm层用以归一化，提高训练的速度和稳定性。其中卷积层1、卷积
层2、卷积层3、卷积层4的卷积核的尺寸均为3
×
3，步长采用自适应的方式选取，输出层采用tanh激活函数，其它层采用relu激活函数。
[0074]
(4)我们将随机向量z输入到生成模型中，先通过全连接层将随机向量放大，在通过四层反卷积将其变成64
×
64
×
3的生成图像g(z)。
[0075]
作为本发明的一个优选实施例，s3步骤具体包括：
[0076]
(1)先构建判别模型，具体结构见图5所示，由四层卷积层和一层全连接层组成，每一层都使用batchnorm层用以归一化。其中第一卷积层、第二卷积层、第三卷积层、第四卷积层的卷积核尺寸均为3
×
3，步长采用自适应的方式选取，判别模型中的每一个卷积层和一层全连接层的激活函数均为leakyrelu函数。
[0077]
进一步的，改进后的dcgan模型的损失函数选择交叉熵损失函数，其公式如下。
[0078][0079]
其中，x为真实的古代纺织品图像数据；z为输入的随机向量；p
data
为真实古代纺织品图像的数据分布；pz为生成的古代纺织品图像数据的分布；d(x)表示真实数据的判别结果，越趋近于1越好；d(g(z))表示生成数据的判别结果，越趋近于0越好。
[0080]
(2)将生成的古代纺织品图像的相似图像和真实古代纺织品图像输入到判别器中，四层卷积层主要是对图像进行压缩，再由全连接层进行一个二分类处理，输出结果为0到1之间，输出结果为0则为生成图像；输出结果为1则判定为真实图像。
[0081]
作为本发明的一个优选实施例，古代纺织品图像修复模型的训练步骤为：
[0082]
(1)训练时，先固定判别模型，训练生成模型，让生成模型通过随机向量z不断地生成古代纺织品的图像，当所生成的图像能够有50％的概率骗过判别模型时，停止生成模型的训练。
[0083]
(2)固定生成模型，训练判别模型，提高判别模型的鉴别能力，当鉴别模型能够更好地鉴别真实的古代纺织品图像和生成的纺织品图像后，停止判别模型的训练。
[0084]
(3)循环以上两个步骤，使得生成的图像越来越接近真实的古代纺织品的图像分布。
[0085]
作为本发明的一个优选实施例，将待修复的古代纺织品图像输入到改进后的dcgan模型中，得到修复后的古代纺织品图像，待修复的古代纺织品图像与修复后的对比图，见图6所示。
[0086]
以上，仅为本技术的具体实施方式。
[0087]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0088]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一
致的最宽的范围。