图像修复方法、装置、计算机设备、存储介质和程序产品与流程

1.本技术涉及图像处理技术领域，特别是涉及一种图像修复方法、装置、计算机设备、存储介质和程序产品。


背景技术：

2.图像修复是一种改善图像质量的处理技术，在科学研究和工程领域中被广泛应用。传统技术中，基于cnn(convolutional neural networks，卷积神经网络)结构的网络模型进行图像修复。然而，传统技术中基于cnn结构的网络模型在进行深层的网络计算时，会丢失所修复图像的特征，所得到的修复图像的修复质量较差。


技术实现要素：

3.基于此，有必要针对上述技术问题，提供一种能够提升图像修复的质量的图像修复方法、装置、计算机设备、存储介质和程序产品。
4.第一方面，本技术提供了一种图像修复方法。该方法包括：
5.获取目标缺损图像；
6.将该目标缺损图像输入至预先训练好的图像修复模型中，通过该图像修复模型中的下采样模块和特征提取模块分别对该目标缺损图像进行特征提取处理，将该下采样模块和该特征提取模块输出的特征图进行融合处理，并通过该图像修复模型中的上采样模块对融合处理后的特征图进行上采样处理，以输出目标修复图像；其中，该特征提取模块包括级联的第一特征提取层、第一分片层和第一连接层，该第一特征提取层用于进行空间特征提取，该分片层用于对该第一特征提取层输出的第一特征图进行分片处理，得到多个第二特征图，该第一连接层用于对该多个第二特征图进行连接处理并输出。
7.在其中一个实施例中，该特征提取模块包括级联的多个该第一特征提取层，各第一特征提取层由卷积层和激活层组成，且，各第一特征提取层中的卷积层的卷积核尺寸不同。
8.在其中一个实施例中，该第一分片层的处理过程包括：基于该第一特征图的尺寸参数，对该第一特征图进行第一分片处理，得到该多个第二特征图。
9.在其中一个实施例中，该第一连接层的处理过程包括：基于各第二特征图的通道参数，对各第二特征图进行连接处理并输出。
10.在其中一个实施例中，该下采样模块包括级联的多个第二特征提取层，且，各第二特征提取层由卷积层、激活层以及池化层依次级联组成；该第二特征提取层的处理过程包括：通过卷积层对输入的特征图进行卷积处理；通过激活层对卷积处理得到的特征图基于激活函数进行激活处理；通过池化层对激活处理得到的特征图进行最大池化处理，得到输出的特征图。
11.在其中一个实施例中，该上采样模块包括级联的多个上采样层，各上采样层由卷积层、激活层以及反卷积层依次级联组成；该上采样层的处理过程包括：通过卷积层对输入
的特征图进行卷积处理；通过激活层对卷积处理得到的特征图基于激活函数进行激活处理；通过反卷积层对激活处理得到的特征图进行反卷积处理，得到输出的图像。
12.在其中一个实施例中，该图像修复模型还包括预处理模块，该预处理模块包括级联的第二分片层、第二连接层以及第三特征提取层，该第三特征提取层由卷积层和激活层组成；该预处理模块用于对该目标缺损图像进行预特征提取处理，以使该下采样模块和该特征提取模块分别对预处理模块输出的特征图进行特征提取处理。
13.在其中一个实施例中，该图像修复模型的训练过程包括：获取训练图像集，该训练图像集包括多个模拟缺损图像；基于该训练图像集，采用focal loss损失函数和用adam梯度下降算法对初始图像修复模型进行训练，得到该图像修复模型。
14.在其中一个实施例中，该模拟缺损图像的获取过程包括：获取正常图像；
15.采用随机掩码生成掩码图像；将该正常图像与该掩码图像相乘，得到该模拟缺损图像。
16.第二方面，本技术还提供了一种图像修复装置。该装置包括：
17.获取模块，用于获取目标缺损图像；
18.提取模块，用于将该目标缺损图像输入至预先训练好的图像修复模型中，通过该图像修复模型中的下采样模块和特征提取模块分别对该目标缺损图像进行特征提取处理，将该下采样模块和该特征提取模块输出的特征图进行融合处理，并通过该图像修复模型中的上采样模块对融合处理后的特征图进行上采样处理，以输出目标修复图像；其中，该特征提取模块包括级联的第一特征提取层、第一分片层和第一连接层，该第一特征提取层用于进行空间特征提取，该分片层用于对该第一特征提取层输出的第一特征图进行分片处理，得到多个第二特征图，该第一连接层用于对该多个第二特征图进行连接处理并输出。
19.在其中一个实施例中，该特征提取模块包括级联的多个该第一特征提取层，各第一特征提取层由卷积层和激活层组成，且，各第一特征提取层中的卷积层的卷积核尺寸不同。
20.在其中一个实施例中，该提取模块包括分片处理子模块，分片处理子模块用于：基于该第一特征图的尺寸参数，对该第一特征图进行第一分片处理，得到该多个第二特征图。
21.在其中一个实施例中，该提取模块包括连接处理子模块，连接处理子模块用于：基于各第二特征图的通道参数，对各第二特征图进行连接处理并输出。
22.在其中一个实施例中，该下采样模块包括级联的多个第二特征提取层，且，各第二特征提取层由卷积层、激活层以及池化层依次级联组成；
23.该提取模块包括下采样处理子模块，下采样处理子模块用于：通过卷积层对输入的特征图进行卷积处理；通过激活层对卷积处理得到的特征图基于激活函数进行激活处理；通过池化层对激活处理得到的特征图进行最大池化处理，得到输出的特征图。
24.在其中一个实施例中，该上采样模块包括级联的多个上采样层，各上采样层由卷积层、激活层以及反卷积层依次级联组成；
25.该提取模块包括上采样处理子模块，上采样处理子模块用于：通过卷积层对输入的特征图进行卷积处理；通过激活层对卷积处理得到的特征图基于激活函数进行激活处理；通过反卷积层对激活处理得到的特征图进行反卷积处理，得到输出的图像。
26.在其中一个实施例中，该图像修复模型还包括预处理模块，该预处理模块包括级
联的第二分片层、第二连接层以及第三特征提取层，该第三特征提取层由卷积层和激活层组成；该预处理模块用于对该目标缺损图像进行预特征提取处理，以使该下采样模块和该特征提取模块分别对预处理模块输出的特征图进行特征提取处理。
27.在其中一个实施例中，该装置还包括训练模块，训练模块用于：获取训练图像集，该训练图像集包括多个模拟缺损图像；基于该训练图像集，采用focal loss损失函数和用adam梯度下降算法对初始图像修复模型进行训练，得到该图像修复模型。
28.在其中一个实施例中，该装置还包括生成模块，生成模块用于：获取正常图像；采用随机掩码生成掩码图像；将该正常图像与该掩码图像相乘，得到该模拟缺损图像。
29.第三方面，本技术还提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行该计算机程序时实现上述第一方面任一项所述的方法的步骤。
30.第四方面，本技术还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面中任一项所述的方法的步骤。
31.第五方面，本技术还提供了一种计算机程序产品，该计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面中任一项所述的方法的步骤。
32.上述图像修复方法、装置、计算机设备、存储介质和程序产品，通过获取目标缺损图像，并将该目标缺损图像输入至预先训练好的图像修复模型中，从而通过该图像修复模型中的下采样模块和特征提取模块分别对该目标缺损图像进行特征提取处理，然后将该下采样模块和该特征提取模块输出的特征图进行融合处理，并通过该图像修复模型中的上采样模块对融合处理后的特征图进行上采样处理，得到该图像修复模型输出目标修复图像，实现对目标缺损图像的修复处理。其中，由于该特征提取模块包括级联的第一特征提取层、第一分片层和第一连接层，该第一特征提取层用于进行空间特征提取，从而增加特征的非线性，提升图像修复模型的网络表达能力，得到图像的空间特征信息；该分片层用于对该第一特征提取层输出的第一特征图进行分片处理，得到多个第二特征图，该第一连接层用于对该多个第二特征图进行连接处理并输出；将下采样模块和该特征提取模块输出的特征图进行融合处理，在提升修复处理效率的同时，获取到了包含丰富的空间特征信息的特征图，通过将特征提取模块输出的包含有空间特征信息的特征图与下采样模块输出的特征图进行融合处理了，提升对目标缺损图像的修复效果。
附图说明
33.图1为一个实施例中图像修复方法的流程示意图；
34.图2为一个实施例中特征提取模块的结构示意图；
35.图3为一个实施例中下采样模块的结构示意图；
36.图4为一个实施例中第二特征提取层处理过程的流程示意图；
37.图5为一个实施例中上采样模块的结构示意图；
38.图6为一个实施例中上采样层处理过程的流程示意图；
39.图7为一个实施例中图像修复模型的结构示意图；
40.图8为一个实施例中图像修复模型训练过程的流程示意图；
41.图9为另一个实施例中图像修复模型的结构示意图；
42.图10为一个实施例中图像修复装置的结构框图；
43.图11为一个实施例中计算机设备的内部结构图。
具体实施方式
44.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
45.图像复原是一种改善图像质量的处理技术，是图像处理研究领域中的热点问题，在科学研究和工程领域中被广泛应用。在图像修复的过程中，传统的cnn结构的网络在进行深层的网络时，会丢失图像的特征信息，而图像修复的效果也会随之变差。
46.基于此，本技术实施例提供了一种图像修复方法，基于该图像修复方法可以提升修复图像的质量，得到修复结果更好的修复图像。
47.在一个实施例中，如图1所示，提供了一种图像修复方法，本技术实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。其中，终端可以为个人计算机、笔记本电脑、智能手机或平板电脑等，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本技术实施例中，该图像修复方法包括以下步骤：
48.步骤101，获取目标缺损图像。
49.步骤102，将该目标缺损图像输入至预先训练好的图像修复模型中，通过该图像修复模型中的下采样模块和特征提取模块分别对该目标缺损图像进行特征提取处理，将该下采样模块和该特征提取模块输出的特征图进行融合处理，并通过该图像修复模型中的上采样模块对融合处理后的特征图进行上采样处理，以输出目标修复图像。其中，该特征提取模块包括级联的第一特征提取层、第一分片层和第一连接层，该第一特征提取层用于进行空间特征提取，该分片层用于对该第一特征提取层输出的第一特征图进行分片处理，得到多个第二特征图，该第一连接层用于对该多个第二特征图进行连接处理并输出。
50.其中，该目标缺损图像指需要进行修复处理以更加清晰和完整的图像，例如，该目标缺损图像可以为老旧照片或者褪色图像等，通过对该目标缺损图像进行修复处理，从而得到该目标缺损图像对应的更加完整清晰的修复后的图像。例如，在开展怀旧活动的场景中，设计到很多老照片，其因为存放多年已经有部分区域残损，则需要对该老旧照片进行修复。本技术实施例中，通过将目标缺损图像输入指预先训练好的图像修复模型中，通过该图像修复模型对目标缺损图像进行特征提取以及修复，输出该目标缺损图像对应的目标修复图像。
51.具体的，该图像修复模型包含下采样模块和特征提取模块。该图像修复模型通过该下采样模块对该目标缺损图像进行下采样处理，得到该下采样模块输出的特征图，降低图像中特征的维度并保留有效信息，提升模型处理效率。同时，图像修复模型通过该特征提取模块对目标缺损图像进行特征提取处理，从而获取目标缺损图像在下采样模块处理过程中损失的空间特征，使得目标缺损图像中的空间特征信息可以保留，从而保证修复处理的质量。
52.分别通过该下采样模块以及特征提取模块对目标缺损图像进行处理后，将该下采
样模块以及特征提取模块分别输出的特征图进行融合处理，得到融合特征图像。从而通过上采样模块对该融合特征图像进行上采样处理，恢复该融合特征图像的大小，得到与目标缺损图像尺寸大小一致的目标修复图像。由此，在对图像进行下采样处理的同时，还保留了图像的空间特征信息，提升了图像修复的效果。由于下采样模块中进行了池化处理，其丢弃了目标缺损图像的大量空间特征，因此，通过融合处理，对特征图进行加权，使得修复效果明显。具体的，可基于注意力机制确定该特征提取模块的结构，以使得该特征提取模块主要用于对目标缺损图像进行空间特征信息的提取。
53.该特征提取模块包括级联的第一特征提取层、第一分片层和第一连接层，其中，该第一特征提取层主要通过卷积处理提取目标缺损图像的空间特征，得到包含有空间特征信息的第一特征图，并且通过激活处理增加了空间特征的非线性，由此提升图像修复模型的表达能力。然后，该特征提取模块通过第一分片层对提取了空间特征的第一特征图进行分片处理得到多个第二特征图，并通过第一连接层对多个第二特征图进行连接处理，达到下采样的目的的同时，保留了图像中丰富的空间特征信息。其中，可选的，该空间特征信息例如指图像的颜色、层次或关联性等特征。
54.可选的，该图像修复模型可在获取目标缺损图像后，对该目标缺损图像先进行预先特征处理，并将预先特征处理得到的特征图分别输入至下采样模块以及特征提取模块，以是该下采样模块以及特征提取模块对该通过预先特征处理得到的特征图进行特征提取处理。
55.上述图像修复方法中，通过获取目标缺损图像，并将该目标缺损图像输入至预先训练好的图像修复模型中，从而通过该图像修复模型中的下采样模块和特征提取模块分别对该目标缺损图像进行特征提取处理，然后将该下采样模块和该特征提取模块输出的特征图进行融合处理，并通过该图像修复模型中的上采样模块对融合处理后的特征图进行上采样处理，得到该图像修复模型输出目标修复图像，实现对目标缺损图像的修复处理。其中，由于该特征提取模块包括级联的第一特征提取层、第一分片层和第一连接层，该第一特征提取层用于进行空间特征提取，从而增加特征的非线性，提升图像修复模型的网络表达能力，并得到图像的空间特征信息；该分片层用于对该第一特征提取层输出的第一特征图进行分片处理，得到多个第二特征图，该第一连接层用于对该多个第二特征图进行连接处理并输出；将下采样模块和该特征提取模块输出的特征图进行融合处理，在提升修复处理效率的同时，获取到了包含丰富的空间特征信息的特征图像，提升对目标缺损图像的修复效果。
56.在一个实施例中，如图2所示，其示出了本技术实施例提供的一种特征提取模块的结构示意图。该特征提取模块包括级联的多个第一特征提取层，各第一特征提取层由卷积层和激活层组成，且，各第一特征提取层中的卷积层的卷积核尺寸不同。
57.其中，可选的，该特征提取模块可包括多个第一特征提取层，且各第一特征提取层级联，示例性的，图2中以两个第一特征提取层进行示意。以图2为例，将特征提取模块的输入图像作为该第一个第一特征提取层的输入图像，通过第一个第一特征提取层对该输入图像基于第一卷积核进行卷积处理后再进行激活处理，得到第一个第一特征提取层输出的特征图；将该第一个第一特征提取层输出的特征图作为第二个第一特征提取层的输入，对其基于第二卷积核进行卷积处理后再进行激活处理得到该第二个第一特征提取层输出的特
征图，以进一步通过第一分片层对该第二个第一特征提取层输出的特征图进行分片处理的，并通过第一连接层进行连接处理。其中，卷积核指图像处理时，给定输入图像，输入图像中一个小区域中像素加权平均后成为输出图像中的每个对应像素，其中权值由一个函数定义，这个函数称为卷积核，卷积核可用尺寸衡量，本技术实施例中，各第一特征提取层中的卷积层的卷积核的尺寸不同。可选的，第一卷积核的尺寸可以为1
×
1，第二卷积核的尺寸可以为3
×
3。可选的，各第二特征提取层中的激活层通过激活函数实现激活处理，当然，也可采用其它可以实现对图像的激活处理的方法进行激活处理。
58.本技术实施例中，通过设置多个进行特征提取的第一特征提取层，且各第一特征提取层中均包含有卷积层和激活层。通过卷积层进行卷积处理，从而可以提取输入该第一特征提取层的图像的空间特征，进一步的，通过激活层进行激活处理，增加了图像中空间特征的非线性，在提取图像的空间特征的同时，也可以提升图像修复模型的表达能力。
59.在一个实施例中，该第一分片层的处理过程包括：基于该第一特征图的尺寸参数，对该第一特征图进行第一分片处理，得到该多个第二特征图。
60.其中，特征提取模块包含第一特征提取层、第一分片层以及第一连接层。第一特征提取层对目标缺损图像进行空间特征提取后输出包含有空间特征信息的第一特征图。将该第一特征图输入至第一分片层，第一分片层基于该第一特征图的尺寸参数对该第一特征图进行第一分片处理，得到多个第二特征图。其中，图像的大小通常可以用通道数、长、宽等参数表示，本技术实施例中，该尺寸参数可以为长和宽。例如，将通道数记为c，将长记为h，将宽记为w，示例性的，若第一特征图的大小为c
×h×
w，对第一特征图基于尺寸参数进行分片处理，即根据长和宽对第一特征图进行分片处理，分成通道数不变，长和宽相同的四个第二特征图，各第二特征图与第一特征图的通道数相同，但长和宽与第一特征图不同，例如，分片处理后得到的各第二特征图的大小为c
×
h/2
×
w/2。
61.本技术实施例中，通过第一分片层基于尺寸参数对第一特征图进行分片处理，可以使得第一特征图中的完整区域的特征图像对待修复的缺损区域的特征图像进行帮助性修复，且对空间特征的损耗极小，从而为获取高质量的目标修复图像提供特征信息。
62.在一个实施例中，该第一连接层的处理过程包括：基于各第二特征图的通道参数，对各第二特征图进行连接处理并输出。
63.具体的，该特征提取模块还通过第一连接层将各第二特征图基于通道参数进行连接处理并输出。将该第一连接层的输出作为该特征提取模块的输出。其中，该通道参数即为图像的通道数。以上文中得到四个第二特征图且各第二特征图的大小为c
×
h/2
×
w/2为例，对各第二特征图进行连接处理，即将四个第二特征图在通道数维度上进行叠加处理，从而使得叠加后得到的特征图与单个第二特征图相比，通道数变为原来的四倍，长和宽不变，即连接处理得到的特征图的大小为4c
×
h/2
×
w/2。
64.本技术实施例中，由于特征提取模块进使用了卷积处理和类似矩阵的拼接和分片，其对图像的空间特征信息的损耗极小，将该基于注意力机制的特征提取模块输出的特征图与下采样模块输出的特征图进行融合处理，很好的修复了下采样处理过程中图像的空间特征受损的缺陷。
65.在一个实施例中，如图3所示，其示出了本技术实施例提供的一种下采样模块的结构示意图。该下采样模块包括级联的多个第二特征提取层，且，各第二特征提取层由卷积
层、激活层以及池化层依次级联组成。示例性的，图3中以三个第二特征提取层为例，本技术实施例中，第二特征提取层的具体个数可根据实际情况而定，在此不做具体限定。其中，对于每一特征提取层来说，其均包含级联的卷积层、激活层以及池化层。
66.请参考图4，其示出了本技术实施例提供的一种第二特征提取层处理过程的流程示意图。第二特征提取层的处理过程包括：
67.步骤401，通过卷积层对输入的特征图进行卷积处理。
68.可选的，各第二特征提取层中的卷积层的卷积核的尺寸可以为3
×
3，可选的，各第二特征提取层中的卷积层的卷积核的尺寸也可以不同。
69.步骤402，通过激活层对卷积处理得到的特征图基于激活函数进行激活处理。
70.该激活层可基于激活函数对卷积处理得到的特征图进行激活处理，可选的，该激活函数可以为线性整流函数(linear rectification function，relu)，当然，还可以基于其他激活函数或者其他可实现激活处理作用的方法对卷积处理得到的特征图进行激活处理。
71.步骤403，通过池化层对激活处理得到的特征图进行最大池化处理，得到输出的特征图。
72.其中，该池化层主要用于对激活处理得到的特征图进一步进行最大池化处理，以对所处理的图像进行降维处理和去除冗余信息，从而可以简化模型处理过程的复杂度，减小计算量和设备内存消耗。换言之，该池化层可以为最大池化层，以实现最大池化处理。
73.池化核是池化层实现池化处理的重要参数，其相当于一个过滤器，基于预设尺寸的池化核进行池化处理，可以让图像的特征更加集中。可选的，各第二特征提取层中的池化层的池化核的尺寸均可以为2
×
2，或者，可选的，各第二特征提取层中的池化层的池化核的尺寸也可以不同。
74.以该下采样模块包括级联的三个第二特征提取层且各第二特征提取层的卷积层的卷积核尺寸为3
×
3、各第二特征提取层的池化层的池化核的尺寸为2
×
2以及各激活层采用线性整流函数进行激活处理为例，将输入该下采样模块的特征图的大小记为4c
×
h/2
×
w/2，该下采样模块的处理过程包括：
75.将该下采样模块获取的特征图作为第一个第二特征提取层的输入，该第一个第二特征提取层对该特征图进行卷积处理、激活处理以及最大池化处理，输出大小为4c
×
h/4
×
w/4的特征图。将该第一个第二特征提取层输出的特征图作为第二个第二特征提取层的输入，该第二个第二特征提取层对获取的特征图进行卷积处理、激活处理以及最大池化处理，输出大小为8c
×
h/8
×
w/8的特征图。将该第二个第二特征提取层输出的特征图作为第三个第二特征提取层的输入，该第三个第二特征提取层对其进行卷积处理、激活处理以及最大池化处理，输出大小为16c
×
h/16
×
w/16的特征图，该第三个第二特征提取层的输出记为该下采样模块的输出。由此，该下采样模块实现对输入的特征图的下采样处理。
76.本技术实施例中，通过下采样模块对输入的特征图进行下采样处理，以降低特征的维度并保留图像中的有效信息，其可以一定程度上避免过度拟合，简化模型计算过程中的复杂度，提升模型的运行效率。
77.在一个实施例中，如图5所示，其示出了本技术实施例提供的一种上采样模块的结构示意图。该上采样模块包括级联的多个上采样层，各上采样层由卷积层、激活层以及反卷
积层依次级联组成。示例性的，图5中以四个上采样层为例，本技术实施例中，上采样模块中上采样层的具体个数可根据实际情况而定，在此不做具体限定。其中，对于每一上采样层来说，其均包含级联的卷积层、激活层以及反卷积层。上采样模块主要用于对下采样模块和特征提取模块输出的特征图进行融合处理所得到的特征图进行上采样处理，以恢复图像的大小。
78.请参考图6，其示出了本技术实施例提供的一种上采样层处理过程的流程示意图。上采样层的处理过程包括：
79.步骤601，通过卷积层对输入的特征图进行卷积处理。
80.将该上采样层的输入作为该卷积层的输入，通过卷积层对输入的特征图进行卷积处理。可选的，各上采样层中的卷积层的卷积核的尺寸可以为3
×
3，可选的，各上采样层中的卷积层的卷积核的尺寸也可以不同。
81.步骤602，通过激活层对卷积处理得到的特征图基于激活函数进行激活处理。
82.可选的，激活层进行激活处理所使用的激活函数可以为线性整流函数，当然，还可以基于其他激活函数或者其他可实现激活处理作用的方法对卷积处理得到的特征图进行激活处理。
83.步骤603，通过反卷积层对激活处理得到的特征图进行反卷积处理，得到输出的图像。
84.其中，经过下采样处理得到的特征图相比于目标缺损图像有所缩小，为恢复图像尺寸，需要上采样模块中的各上采样层对特征图进行上采样处理。
85.反卷积处理与卷积处理的作用相反，主要用于将卷积处理得到的低维特征映射成高维输入，可实现对输入的特征图的上采样。也即，经过下采样处理得到的特征图相比于目标缺损图像是缩小的，为使得在图像修复处理后得到与目标缺损图像大小相同的目标修复图像，则需要通过上采样模块中的上采样层实现上采样处理，恢复图像的大小。
86.可选的，各上采样层中的反卷积层的反卷积核的尺寸均可以为2
×
2，可选的，各反卷积层的反卷积核的尺寸可以不同。
87.以该上采样模块包括级联的四个上采样层且各上采样层中的卷积层的卷积核尺寸为3
×
3、各上采样层的反卷积层的反卷积核的尺寸为2
×
2以及各激活层的激活函数为线性整流函数为例，将融合处理得到的特征图，也即该上采样模块输入的特征图的大小记为32c
×
h/16
×
w/16，该上采样模块的处理过程包括：
88.将该上采样模块获取的特征图作为第一个上采样层的输入，第一个上采样层对其进行卷积处理、激活处理以及反卷积处理后，输出大小为8c
×
h/8
×
w/8的特征图；将该第一个上采样层输出的特征图输入至第二个上采样层进行卷积处理、激活处理以及反卷积处理后，输出大小为4c
×
h/4
×
w/4的特征图；将该第二个上采样层输出的特征图输入至第三个上采样层进行卷积处理、激活处理以及反卷积处理后，输出大小为2c
×
h/2
×
w/2的特征图；将该第三个上采样层输出的特征图输入至第四个上采样层进行卷积处理、激活处理以及反卷积处理后，输出大小为c
×h×
w的特征图，该大小为c
×h×
w的特征图即为目标修复图像。
89.本技术实施例中，通过上采样模块对经过融合处理得到的特征图进行上采样，使得图像尺寸可以恢复，最后一个上采样层的输出即为该目标修复图像，使得该目标修复图像与目标缺损图像在大小相同的同时更加清晰和完整。
90.在一个实施例中，如图7所示，其示出了本技术实施例提供的一种图像修复模型的结构示意图。该图像修复模型还包括预处理模块，该预处理模块包括级联的第二分片层、第二连接层以及第三特征提取层，该第三特征提取层由卷积层和激活层组成。该预处理模块用于对该目标缺损图像进行预特征提取处理，以使该下采样模块和该特征提取模块分别对预处理模块输出的特征图进行特征提取处理。
91.其中，该图像修复模型还包括预处理模块，将目标缺损图像作为该预处理模块的输入，该预处理模块通过第二分片层对目标缺损图像进行分片处理，得到多个第一中间特征图，再经过第二连接层对该多个第一中间特征图进行拼接处理得到第二中间特征图，再经过第三特征提取层对该第二中间特征图进行特征提取处理。由此，下采样模块和特征提取模块主要对该预处理模块所输出的特征图进行进一步的特征提取处理。也即，该预处理模块通过分片处理的拼接处理可以实现对目标缺损图像的一次下采样的过程，其中，分片和拼接的处理，其相比于传统的直接通过卷积处理和池化处理实现下采样，并未对目标缺损图像中的空间特征造成损失，保留图像的空间特征信息。
92.可选的，该第三特征提取层中的卷积层的卷积核的尺寸可以为3
×
3，可选的，该第三特征提取层中的激活层可采用激活函数实现激活处理。
93.以第三特征提取层中的卷积层的卷积核的尺寸为3
×
3、目标缺损图像大小为c
×h×
w为例，预处理模块的处理过程包括：
94.通过第二分片层对目标缺损图像进行分片处理，得到四个大小为c
×
h/2
×
w/2的第一中间特征图，将该四个第一中间特征图输入至第二连接层进行拼接处理，得到第二连接层输出的大小为4c
×
h/2
×
w/2的第二中间特征图，将该第二中间特征图输入至第三特征提取层进行卷积处理后再进行激活处理，得到大小为4c
×
h/2
×
w/2的特征图，即该预处理模块的输出。
95.该预处理模块通过分片处理的拼接处理可以实现对目标缺损图像的一次下采样的过程，其中，分片和拼接的处理，其相比于传统的直接通过卷积处理和池化处理实现下采样，并未对目标缺损图像中的空间特征造成损失，充分保留了图像的空间特征信息。
96.在一个实施例中，如图8所示，其示出了本技术实施例提供的一种图像修复模型训练过程的流程示意图。该图像修复模型的训练过程包括：
97.步骤801，获取训练图像集，该训练图像集包括多个模拟缺损图像。
98.其中，该训练图像集主要用于对初始图像修复模型进行训练，从而得到该图像修复模型。该模拟缺损图像的获取过程包括：先获取正常图像；并采用随机掩码生成掩码图像；然后将该正常图像与该掩码图像相乘，得到该模拟缺损图像。
99.其中，正常图像指清晰完整的无需进行图像修复的图像。掩码图像是基于随机掩码生成的，该掩码图像的大小与正常图像的大小相同，通过将掩码图像与正常图像相乘，即可使随机掩码模拟正常图像中的缺损区域，得到模拟缺损图像，以基于该模拟缺损图像以及与模拟缺损图像对应的正常图像不断训练初始图像修复模型，得到训练好的图像修复模型。
100.步骤802，基于该训练图像集，采用focal loss损失函数和用adam梯度下降算法对初始图像修复模型进行训练，得到该图像修复模型。
101.其中，由于待修复的缺损图像中缺损区域的大小和完整区域的大小不同，二者所
占有的区域不均衡，将待修复的缺损图像中的完整区域记为正样本，将待修复的缺损图像中的缺损区域记为负样本，可通过focal loss损失函数解决正样本和负样本不平衡的问题，从而提升模型迭代的效率，提升模型修复结果的质量。
102.具体的，该focal loss损失函数如下：
[0103][0104]
其中，fl为损失函数，α和γ为调节参数。其中，α取值范围为0到1之间，可选的，α取值为0.9，这样可以增加负样本的权重，减少正样本的权重。γ取值范围为大于0，可选的，γ取值为2。p表示最终计算得到的是否为正常区域的概率，如果p越大，说明该样本越容易修复，对应的损失函数越小，降低了易修复样本的权重，如果p越小，说明该样本越难修复，对应的损失函数越大，提升了缺损样本的权重，达到正负平衡。
[0105]
另外，初始图像修复模型训练过程中可使用adam的梯度下降算法，以尽快找到损失函数下降的方向，从而加快模型的收敛，减少训练时间。
[0106]
其中，adam指adam优化器，adam优化器的处理过程包括：
[0107]
1、计算目标函数f关于当前参数的梯度，其中，目标函数即为该focal loss损失函数：
[0108]
其中，表示对m
t
的函数求偏导得到梯度g
t
；经过多次训练分别得到多个历史梯度，即g1，g2，
……
，g
t
。
[0109]
2、根据历史梯度计算一阶动量和二阶动量：
[0110]
一阶动量m
t
＝φ(g1，g2，
……
，g
t
)；二阶动量v
t
＝φ(g1，g2，
……
，g
t
)，其中，φ(g1，g2，
……
，g
t
)表示包含g1,g2,...,g
t
参数的函数，g
t
表示第t次更新模型参数时所计算得到的梯度。
[0111]
3、计算当前时刻的下降梯度：
[0112]
其中，h
t
表示当前时刻的下降梯度；α为学习率；
[0113]
4、根据下降梯度进行参数更新：w
t+1
＝w
t-h
t
，其中，w
t+1
表示通过梯度下降后的模型的参数，w
t
是通过梯度下降前的模型的参数。
[0114]
其中，可选的，adam优化处理过程中的两个超参数β1和β2的值可分别为0.9和0.999。
[0115]
在一个实施例中，如图9所示，其示出了本技术实施例提供的另一种图像修复模型的结构示意图。其中，block为分片处理，从concat为连接处理，conv为卷积处理，relu为激活函数，maxpool为最大池化处理，up-conv为反卷积处理。具体的，收集正常的图像并使用随机掩码制作缺失图像，根据多个制作的缺失图像形成训练集，通过该训练集训练图像修复模型。如图9所示，该图像修复的处理过程包括：
[0116]
输入大小为c
×h×
w的样本图像x，对样本图像经过block层分成四片大小为c
×
h/2
×
w/2的特征图，然后通过concat层进行分片的拼接，得到大小为4c
×
h/2
×
w/2的特征图。其中，分片并拼接的过程实现了一次特征图像下采样的过程，该过程通过图像的分片和拼接的方式不会对图像的空间特征造成损失，相比直接通过卷积和池化进行下采样有很大的优点。然后对拼接得到的特征图进行卷积处理和激活处理，得到大小为4c
×
h/2
×
w/2的特
征图。
[0117]
接下来进入两个分支，一个分支进行正常的下采样，另外一个分支是注意力机制分支，最后两个分支所输出的特征图进行拼接处理，然后经过一系列上采样处理得到最后的修复图像。具体的，下采样分支中，包括三个下采样层，每个下采样层均对输入的图像进行卷积处理、激活处理以及最大池化处理。经过三个下采样层进行下采样处理后，得到大小为16c
×
h/16
×
w/16的特征图。注意力机制分支是对下采样分支的加权，从而为下采样分支增加特征图像中损失的空间特征信息。具体的，注意力机制分支中，首先对所输入的特征图先进行两层的卷积的特征提取，增加空间特征的非线性，从而提高网络的表达能力，然后对提取后的包含空间特征信息的特征图进行分片处理(对特征图的宽和高进行分片，分成通道数不变，长和宽相同的四个分片特征图)和拼接处理(将四个分片特征图在通道数维度上进行叠加，从而使拼接后的特征图像通道数变为原来的四倍，长和宽不变)，达到下采样的目的，得到注意力机制分支所输出的大小为16c
×
h/16
×
w/16的特征图。其中，block层可以使图像中完整区域的空间特征对待修复区域的空间特征进行帮助性修复，注意力机制分支只使用了卷积和矩阵的拼接和分片，对空间特征损耗极小。
[0118]
通过将注意力机制分支所输出的特征图与下采样分支所输出的特征图进行拼接处理，得到拥有丰富空间特征信息的大小为32c
×
h/16
×
w/16的特征图，下采样分支和注意力分支的拼接可以很好的修复图像下采样的过程中空间特征受损的缺陷，从而提高图像修复的效果，下采样分支中的池化层会丢弃大量的空间特征，因此，通过拼接处理使用注意力机制分支做特征加权，会有明显的图像修复效果。
[0119]
最后，该模型包括四个上采样层，各上采样层均包括卷积层、激活层以及反卷积层，通过四个级联的上采样层将拼接处理得到的特征图通四个级联的上采样层进行上采样处理，得到大小为c
×h×
w的修复图像。
[0120]
并且，该图像修复模型训练过程中使用focal loss损失函数，以解决需要修复的图像中缺损区域太小，导致正样本(图像中的完整区域)和负样本(图像中的缺损区域)不平衡，从而使得模型准确率不高的问题，提升模型的准确率。同时，训练过程中使用adam梯度下降算法，以为了加快生产网络的收敛，减少训练时间。
[0121]
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0122]
基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的图像修复方法的图像修复装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像修复装置实施例中的具体限定可以参见上文中对于图像修复方法的限定，在此不再赘述。
[0123]
在一个实施例中，如图10所示，提供了一种图像修复装置，该图像修复装置1000包括：获取模块1001和提取模块1002，其中：
[0124]
获取模块1001，用于获取目标缺损图像；
[0125]
提取模块1002，用于将该目标缺损图像输入至预先训练好的图像修复模型中，通过该图像修复模型中的下采样模块和特征提取模块分别对该目标缺损图像进行特征提取处理，将该下采样模块和该特征提取模块输出的特征图进行融合处理，并通过该图像修复模型中的上采样模块对融合处理后的特征图进行上采样处理，以输出目标修复图像；其中，该特征提取模块包括级联的第一特征提取层、第一分片层和第一连接层，该第一特征提取层用于进行空间特征提取，该分片层用于对该第一特征提取层输出的第一特征图进行分片处理，得到多个第二特征图，该第一连接层用于对该多个第二特征图进行连接处理并输出。
[0126]
在一个实施例中，该特征提取模块包括级联的多个该第一特征提取层，各第一特征提取层由卷积层和激活层组成，且，各第一特征提取层中的卷积层的卷积核尺寸不同。
[0127]
在一个实施例中，该提取模块1002包括分片处理子模块，分片处理子模块用于：基于该第一特征图的尺寸参数，对该第一特征图进行第一分片处理，得到该多个第二特征图。
[0128]
在一个实施例中，该提取模块1002包括连接处理子模块，连接处理子模块用于：基于各第二特征图的通道参数，对各第二特征图进行连接处理并输出。
[0129]
在一个实施例中，该下采样模块包括级联的多个第二特征提取层，且，各第二特征提取层由卷积层、激活层以及池化层依次级联组成；该提取模块1002包括下采样处理子模块，下采样处理子模块用于：通过卷积层对输入的特征图进行卷积处理；通过激活层对卷积处理得到的特征图基于激活函数进行激活处理；通过池化层对激活处理得到的特征图进行最大池化处理，得到输出的特征图。
[0130]
在一个实施例中，该上采样模块包括级联的多个上采样层，各上采样层由卷积层、激活层以及反卷积层依次级联组成；该提取模块1002包括上采样处理子模块，上采样处理子模块用于：通过卷积层对输入的特征图进行卷积处理；通过激活层对卷积处理得到的特征图基于激活函数进行激活处理；通过反卷积层对激活处理得到的特征图进行反卷积处理，得到输出的图像。
[0131]
在一个实施例中，该图像修复模型还包括预处理模块，该预处理模块包括级联的第二分片层、第二连接层以及第三特征提取层，该第三特征提取层由卷积层和激活层组成；该预处理模块用于对该目标缺损图像进行预特征提取处理，以使该下采样模块和该特征提取模块分别对预处理模块输出的特征图进行特征提取处理。
[0132]
在一个实施例中，该图像修复装置还包括训练模块，该训练模块用于：获取训练图像集，该训练图像集包括多个模拟缺损图像；基于该训练图像集，采用focal loss损失函数和用adam梯度下降算法对初始图像修复模型进行训练，得到该图像修复模型。
[0133]
在一个实施例中，该图像修复装置还包括生成模块，该生成模块用于：获取正常图像；采用随机掩码生成掩码图像；将该正常图像与该掩码图像相乘，得到该模拟缺损图像。
[0134]
上述图像修复装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0135]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易
失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像修复数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像修复方法。
[0136]
本领域技术人员可以理解，图11中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0137]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
[0138]
获取目标缺损图像；将该目标缺损图像输入至预先训练好的图像修复模型中，通过该图像修复模型中的下采样模块和特征提取模块分别对该目标缺损图像进行特征提取处理，将该下采样模块和该特征提取模块输出的特征图进行融合处理，并通过该图像修复模型中的上采样模块对融合处理后的特征图进行上采样处理，以输出目标修复图像；其中，该特征提取模块包括级联的第一特征提取层、第一分片层和第一连接层，该第一特征提取层用于进行空间特征提取，该分片层用于对该第一特征提取层输出的第一特征图进行分片处理，得到多个第二特征图，该第一连接层用于对该多个第二特征图进行连接处理并输出。
[0139]
在一个实施例中，该特征提取模块包括级联的多个该第一特征提取层，各第一特征提取层由卷积层和激活层组成，且，各第一特征提取层中的卷积层的卷积核尺寸不同。
[0140]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0141]
基于该第一特征图的尺寸参数，对该第一特征图进行第一分片处理，得到该多个第二特征图。
[0142]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0143]
基于各第二特征图的通道参数，对各第二特征图进行连接处理并输出。
[0144]
在一个实施例中，该下采样模块包括级联的多个第二特征提取层，且，各第二特征提取层由卷积层、激活层以及池化层依次级联组成；处理器执行计算机程序时还实现以下步骤：通过卷积层对输入的特征图进行卷积处理；通过激活层对卷积处理得到的特征图基于激活函数进行激活处理；通过池化层对激活处理得到的特征图进行最大池化处理，得到输出的特征图。
[0145]
在一个实施例中，该上采样模块包括级联的多个上采样层，各上采样层由卷积层、激活层以及反卷积层依次级联组成；在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过卷积层对输入的特征图进行卷积处理；通过激活层对卷积处理得到的特征图基于激活函数进行激活处理；通过反卷积层对激活处理得到的特征图进行反卷积处理，得到输出的图像。
[0146]
在一个实施例中，该图像修复模型还包括预处理模块，该预处理模块包括级联的第二分片层、第二连接层以及第三特征提取层，该第三特征提取层由卷积层和激活层组成；该预处理模块用于对该目标缺损图像进行预特征提取处理，以使该下采样模块和该特征提取模块分别对预处理模块输出的特征图进行特征提取处理。
[0147]
在一个实施例中，在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取训练图像集，该训练图像集包括多个模拟缺损图像；基于该训练图像集，采用focal loss
损失函数和用adam梯度下降算法对初始图像修复模型进行训练，得到该图像修复模型。
[0148]
在一个实施例中，在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取正常图像；采用随机掩码生成掩码图像；将该正常图像与该掩码图像相乘，得到该模拟缺损图像。
[0149]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0150]
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0151]
需要说明的是，本技术实施例确定的方法和装置可用于金融领域在图像的修复处理场景中，也可用于除金融领域之外的任意领域进行图像的修复处理，本技术实施例确定的方法和装置的应用领域不做限定。
[0152]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
[0153]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0154]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。