一种多尺度图像修复方法、存储介质及终端

1.本发明涉及图像修复技术领域，尤其涉及一种多尺度图像修复方法、存储介质及终端。


背景技术：

2.目前，在很多场景下需要对大范围信息缺失的图像进行修复，现有基于卷积神经网络的方法在建立长距离区域相关性方面无效，由于缺失像素太多，这些方法不能获取到远距离的图像像素信息，图像修复效果差。
3.一些方法通过在网络中添加其它的全局特征提取模块来改善上述问题，但这会大大增加模型的复杂度，耗费巨额计算资源，且在一些特定场景下对大范围缺失像素的修复效果也不佳。
4.除此之外，随着生成网络(包括生成对抗网络和变分自编码器vae)被用于图像修复领域，该类方法对大范围信息缺失图像的修复性能有了较大提高，但由于这些方法通常使用了跳跃连接和压缩维度操作，无法充分利用到原始图像丰富的语义信息和空间信息，且压缩维度操作会损失一定的图像信息，导致本来修复效果不佳的大尺度信息缺失图像更加难以修复。


技术实现要素：

5.本发明提供一种多尺度图像修复方法、存储介质及终端，以解决图像修复中存在的因跳跃连接和压缩维度操作带来的无法充分利用图像原始信息的技术问题。
6.为解决上述问题，本发明提供一种多尺度图像修复方法，所述修复方法包括：
7.步骤s
100
：获取原始真实图像与对应的二值缺损掩膜，构建待修复图像数据集，以及对应的原始真实图像数据集，并将所述待修复图像数据集按照预设比例划分为训练集和测试集；
8.步骤s
200
：构建多尺度极化自注意力生成对抗网络，所述生成对抗网络由生成器g和判别器d构成，并在所述生成器g的不同尺度上嵌入极化自注意力机制模块，所述极化自注意力机制模块包含通道自注意力分支和空间自注意力分支，所述通道自注意力分支和空间自注意力分支通过并行方式进行连接；
9.步骤s
300
：设置网络模型超参数，使用待修复图像训练集对所述多尺度极化自注意力机制生成对抗网络模型进行训练和建模，采用损失函数来优化网络结构参数；
10.步骤s
400
：采用待修复图像测试集对所述多尺度极化自注意力生成对抗修复模型进行测试，通过计算修复后的图像和原始真实图像之间的评价指标来评价模型的修复性能。
11.进一步的，在步骤s
100
中，所述获取原始真实图像与对应的二值缺损掩膜具体包括：
12.步骤s
101
：从图像修复数据集和mask掩膜数据集中构建用于图像修复的缺失像素
图像数据集，并对图像进行初步的预处理；
13.步骤s
102
：掩膜和真实图像通过像素乘法得到缺失像素图像数据集，将该数据集中的图像和mask掩膜一同输入到模型的生成器中。
14.进一步的，在步骤s
200
中，所述生成器由编码器和解码器构成，所述编码器和所述解码器之间添加跳跃连接，所述跳跃连接上添加多尺度特征融合模块，所述编码器不断地提取原始图像的不同层级的特征图，得到原始图像的深层特征；所述多尺度特征融合模块将不同尺寸的特征图进行特征融合，提供给所述解码器的反卷积层，对融合后的特征图进行像素预测。
15.进一步的，所述多尺度特征融合模块的内部由卷积层分支和反卷积层分支构成，
16.所述卷积层分支通过对输入的特征图进行卷积、归一化和激活函数激活，得到更深层次的特征图；
17.所述反卷积层分支通过对输入的特征图进行两层反卷积、归一化和激活函数激活，得到尺度更大的特征图；
18.将这两条分支的相同大小的特征图进行拼接融合，得到空间和语义信息都丰富的输出特征图。
19.进一步的，在步骤s
200
中，建模过程中，判别器d采用对抗损失函数算法，在对抗训练过程中通过对多个损失函数之和进行优化，得到多尺度极化自注意力生成对抗修复模型。
20.进一步的，在步骤s
300
中，所述使用待修复图像训练集对所述多尺度极化自注意力机制生成对抗网络模型进行训练和建模具体包括：
21.将待修复图像和对应的掩膜图像同时输入到所述生成器g中，同时提取它们的特征；
22.所述生成器g从待修复图像中提取原始图像整体特征，并尽可能地生成与真实图像相似的修复后的图像；
23.所述判别器d判断输入的图像数据是真实图像还是来自所述生成器g生成的修复后图像，并将损失结果通过梯度反馈送回所述生成器g，所述生成器g根据结果继续生成修复效果更好的图像；
24.经过大量的训练迭代次数，所述生成器g生成修复效果更好的图像。
25.进一步的，所述像素级注意力模块的具体实现包括：
26.分别提取输入特征图的前景和背景像素块，测量背景和前景像素块的相似性，通过计算归一化内积来进行像素值匹配；
27.像素块匹配完成后，使用激活函数来计算权重，得到注意力权重，然后将得到的注意力权重和原始的输入特征图进行拼接；
28.将得到的拼接特征图输入到改进的极化自注意力机制模块中，得到输出图像。
29.进一步的，所述极化自注意力机制模块包含通道自注意力分支和空间自注意力分支，
30.所述通道自注意力分支的具体实现包括：将输入的特征图输入到通道自注意力分支层，经多层卷积运算后得到通道自注意力权重，与输入特征图进行乘法运算；
31.所述空间自注意力分支的具体实现包括：将输入的特征图输入到空间自注意力分
支层，经池化操作和多层卷积运算后得到空间自注意力权重，与输入特征图进行乘法运算；
32.将通道自注意力分支和空间自注意力分支的结果进行融合，得到极化自注意力结构的修复后输出图像。
33.进一步的，所述损失函数包括：对抗损失函数l
adv
、感知损失函数l
perceptual
、风格损失函数l
style
、总变差损失函数l
tv
、孔洞损失函数l
hole
以及验证损失函数l
valid
；具体为：
34.对抗损失函数定义为：
[0035][0036]
其中：d(
·
)表示对括号中的图像进行判别，d(i
gt
)表示对输入到判别器的真实图像进行判别，d(i
pred
)表示对输入到判别器的修复图像进行判别，bceloss(
·
)表示计算二分类交叉熵损失；
[0037]
感知损失函数表达式为：
[0038][0039]
风格损失函数表达式为：
[0040][0041]
总变差损失函数表达式为：
[0042][0043]
孔洞损失函数表达式为：
[0044][0045]
验证损失函数表达式为：
[0046][0047]
总损失函数表达式为：l＝α1l
adv
+α2l
perceptual
+α3l
style
+α4l
tv
+α5l
hole
+α6l
valid
[0048]
其中：分别表示提取到的真实图像和修复图像的第i层特征图，hi,wi,ci表示提取到第i层特征图的高度、宽度和通道数目，|
·
|1表示计算l1范数，分别表示真实图像、修复图像第i层的特征图与其转置的乘积，i
x,y
表示图像中(x，y)位置的像素值，i
x+1,y
表示图像中(x+1，y)位置的像素值，i
x,y+1
表示图像中(x，y+1)位置的像素值，e(
·
)表示求均值，i，j，k分别表示真实图像或修复图像的高度、宽度和通道数，度和通道数，分别代表真实图像和修复图像孔洞区域的像素值，分别代表真实图像和修复图像孔洞区域的像素值，分别代表真实图像和修复图像有效区域的像素值，{α1,α2...,α6}表示各个损失在总损失函数中所占的权重。
[0049]
进一步的，所述评价指标包括：峰值信噪比psnr、结构相似性ssim和l1损失；具体
为：
[0050]
峰值信噪比psnr函数表达式为：
[0051][0052][0053]
结构相似性ssim函数表达式为：
[0054][0055]
c1＝(k1(2
n-1))2,c2＝(k2(2
n-1))2ꢀꢀ
(21)
[0056]
l1损失函数表达式为：
[0057]
l1loss＝l
valid
+l
hole
ꢀꢀ
(22)
[0058]
其中：mse(
·
)表示计算均方误差，x(i,j)、y(i,j)分别表示修复图像和真实图像(i,j)位置的像素值，n表示图片像素用n位二进制表示，μ
x
、μy分别表示x、y的均值，分别表示x、y的方差，σ
xy
表示x和y的协方差，c1和c2是两个不为零的常数，k1和k2默认值为0.01和0.03，l
valid
、l
hole
即为训练时的验证损失和孔洞损失。
[0059]
本发明的第二目的在于提供一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述所述的多尺度图像修复方法的步骤。
[0060]
本发明的第三目的在于一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述所述的多尺度图像修复方法的步骤。
[0061]
本发明与现有技术相比具有显著的优点和有益效果，具体体现在以下方面：
[0062]
1、本发明使用生成对抗网络作为图像修复模型的骨干网络，并在生成器中加入像素级注意力模块，网络通过聚焦缺失区域与非缺失区域的注意力，以及缺失区域内部的自注意力来获取待修复图像特征的内部联系，实现了像素级的精细修复，为缺失信息图像重建提供了有效途径；
[0063]
2、本发明在图像生成过程中的像素级注意力模块中加入极化注意力机制，避免过多的通道和空间维度压缩操作，使得原始图像信息损失较小，利于修复；
[0064]
3、本发明在生成器中采用跳跃连接，充分利用原始图像的浅层空间信息和深层语义信息，增强图像高层次语义信息的表达和修复效率，同时避免了模式坍塌；
[0065]
4、本发明修复模型的跳跃连接上加入了多尺度特征融合模块，能够有效结合不同层级的原始图像深层特征信息，通过跳跃连接将该信息共享到网络后层，提高对大尺度缺失图像的修复精度。
附图说明
[0066]
图1为本发明实施例中于极化自注意力机制的多尺度图像修复方法的程序流程图；
[0067]
图2为本发明实施例中基于极化自注意力机制的多尺度图像修复框架图；
[0068]
图3为本发明实施例中基于生成对抗网络的图像修复原理图；
[0069]
图4为本发明实施例中多尺度特征融合方法模块的结构图；
[0070]
图5为本发明实施例中像素级注意力模块的结构图；
[0071]
图6为本发明实施例中极化自注意力机制模块的结构图。
具体实施方式
[0072]
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
[0073]
请参阅图1所示，本发明实施例提供了一种多尺度图像修复方法，所述修复方法包括如下步骤：
[0074]
步骤s
100
：获取原始真实图像与对应的二值缺损掩膜，构建待修复图像数据集，以及对应的原始真实图像数据集，并将所述待修复图像数据集按照预设比例划分为训练集和测试集。
[0075]
本发明选择paris streetview的训练数据集，来训练所述模型中的生成器和判别器，选择paris streetview中的测试集，来构造本发明实施例中所需的测试集，以用于测试模型的泛化性能。
[0076]
paris streetview通用数据集已经划分好训练集和测试集，它将图像按照一定比例分成训练集与测试集，两部分中不包含相同的图像，训练集用于训练图像修复模型，测试集用于测试训练好的图像修复模型的修复效果。
[0077]
需要特别说明的是，数据集包含的真实图像和mask数据集中的不同掩膜率掩膜组合构成新的训练测试数据集，掩膜率越大，则表示图像缺失像素点越多。
[0078]
所述多尺度图像修复方法中数据处理方式如下：
[0079]
第一，paris streetview数据集中图像的尺寸大小并非统一，故本发明重新调整paris streetview中训练数据集和测试数据集中的图像尺寸大小为256*256；
[0080]
第二，生成各种掩膜率类型的二值掩码(mask)；
[0081]
第三，将二值掩码(mask)乘上训练数据集中重新调整大小后的图像上生成待修复图像，待修复图像和尺寸调整后的图像(真实图像)作为模型的输入；将二值掩码(mask)乘上测试数据集中重新调整大小后的图像上生成测试图像,使用该测试图像，可测试其模型的泛化性能。
[0082]
对于训练过程，首先应当准备原图和掩膜，所述原图和掩膜图像的大小应不小于256*256，对于原图和掩膜图像，首先应当进行尺寸调整，通过适当裁剪使图像尺寸变为256*256。
[0083]
步骤s
200
：构建多尺度极化自注意力生成对抗网络，所述生成对抗网络由生成器g和判别器d构成，并在所述生成器g的不同尺度上嵌入像素级注意力层，其中采用极化自注意力机制模块建立权重优化，所述极化自注意力机制模块包含通道自注意力分支和空间自注意力分支，所述通道自注意力分支和空间自注意力分支通过并行方式进行连接。
[0084]
步骤s
300
：设置网络模型超参数，使用待修复图像训练集对所述多尺度极化自注意力机制生成对抗网络模型进行训练和建模，采用对抗性损失、感知损失、风格损失、总变差损失、孔洞损失和验证损失6个联合损失函数来优化网络结构参数；
[0085]
步骤s
400
：采用待修复图像测试集对所述多尺度极化自注意力生成对抗修复模型进行测试，通过计算修复后的图像和原始真实图像之间的峰值信噪比psnr、结构相似性ssim和l1损失三个评价指标来评价模型的修复性能。
[0086]
具体地，在步骤s
200
中，所述生成器由编码器和解码器构成，所述编码器和所述解码器之间添加跳跃连接，所述跳跃连接上添加多尺度特征融合模块，所述编码器不断地提取原始图像的不同层级的特征图，得到原始图像的深层特征；所述多尺度特征融合模块将不同尺寸的特征图进行特征融合，提供给所述解码器的反卷积层，对融合后的特征图进行像素预测。
[0087]
请参阅图2所示，所述生成对抗网络由生成器g(generator)和判别器d(discriminator)这两部分构成，生成器g由编码器和解码器构成，编码器和解码器的结构基本对称。
[0088]
编码器包括8个编码特征提取模块组成，所述编码特征提取模块由编码卷积层-归一化层-激活函数组成。
[0089]
每个编码卷积层之后进行批量归一化操作并通过激活函数激活，随着卷积层数的增加，通过大量的卷积操作，不断地提取原始图像的不同层级的特征，得到原始图像的深层特征。例如：提取的特征逐渐由基于颜色、纹理低级特征到基于图像语义信息的高级抽象特征进化。
[0090]
由此，在模型的编码器中，利用前8个卷积层结构进行特征提取，每经过一个卷积层，特征图的大小减半，直至特征图大小降为1*1，通过编码操作，将输入的缺损图像压缩为不同尺度的特征图。
[0091]
解码器由8个解码特征映射模块、2个像素级注意力模块和2个多尺度特征融合模块组成，其中，所述解码特征映射模块由反卷积层-归一化-激活函数组成。
[0092]
解码器通过8个反卷积层进行图像的重建，每经过一个反卷积层，特征图的大小增大一倍，直复原为输入图像的大小(256*256)。
[0093]
对解码器中每个像素级注意力模块前得到的特征图进行加权重和卷积操作，在图像修复的过程中与真实图像通过联合损失进行重建，在图像重建的过程中与真实图像进行对比，从而逐渐控制待修复图像的生成过程，进而使训练过程更加稳定。
[0094]
生成器g的作用是从缺失了像素点的待修复图像中提取原始图像的整体特征，并尽可能地生成与真实图像相似的修复后的图像；
[0095]
判别器d的作用是判断输入的图像数据是真实图像还是来自生成器生成的修复后图像，并将结果通过梯度反馈送回生成器，生成器根据损失结果继续生成修复效果更好的图像。
[0096]
通过生成器g与判别器d之间的博弈，经过大量的训练迭代次数，可以使生成器g生成的图像修复效果非常好。
[0097]
请参阅图2所示，在本发明的实施例当中，在前8个卷积层和后8个反卷积层之间，第3和4个卷积层后跟有一个初始化模块和多尺度特征融合模块，用于学习特征图内的长远依赖关系，获得重要关注区域。在后8个反卷积层中，第5、6和7反卷积层间分别跟有一个像素级注意力模块，以生成质量更好的修复图像。
[0098]
由此，本发明实施例中的生成器中利用多层卷积层来提取深层和浅层特征，并且
通过跳跃连接和多尺度特征融合模块将不同尺寸的特征图进行特征融合，提供给解码器d的对应反卷积层，对融合后的特征图进行像素预测。
[0099]
请参阅图2所示，在本发明的实施例当中，判别器包括5个特征判别模块，所述特征判别模块由判别卷积层-归一化-激活函数组成。
[0100]
生成器g和判别器d的卷积层之后都加入批量归一化操作，对卷积之后的特征图进行批量归一化处理，加快网络收敛。
[0101]
需要说明的是，人类的注意力机制(attention mechanism)是从直觉中得到，它是人类利用有限的注意力资源从大量信息中快速筛选出高价值信息的手段。深度学习中的注意力机制借鉴了人类的注意力思维方式，被广泛的应用在自然语言处理、图像分类及语音识别等各种不同类型的深度学习任务中，并取得了显著的成果。
[0102]
请参阅图2所示，本实例在解码器模块的第5、6和7反卷积层间加入像素级注意力模块，所述像素级注意力模块中使用的极化自注意力机制包含通道自注意力分支与空间自注意力分支，所述通道自注意力分支与空间自注意力分支以并行的方式连接，生成的特征图需要经过通道自注意力分支与空间自注意力分支，使网络模型通过已知区域的特征信息和未知区域内部的自注意力两个维度进行图像修复，从而实现高精度和高效率的待修复图像的缺失区域重建。
[0103]
请参阅图5所示，提出的模型在像素级注意力模块中使用了注意力机制，
[0104]
像素级注意力模块的工作原理为：
[0105]
首先，分别提取输入特征图的前景和背景像素块，测量背景和前景像素块的相似性，通过计算归一化内积来进行像素值匹配。
[0106]
(1)掩码图像进入注意力机制关注层后，首先将背景区域与前景区域区分开，并将背景区域划分为多个3
×
3的补丁块。
[0107]
(2)将大小3
×
3的背景补丁块整合为3
×
3的卷积核，并对前景区域进行相应的卷积操作，得到对应的多个重建前景。
[0108]
(3)通过计算各个重建前景与目标前景区域的内积值得到两者之间的相似性。
[0109]
其次，像素块匹配完成后，使用激活函数来计算权重，得到注意力权重，然后将得到的注意力权重和原始的输入特征图进行拼接。
[0110]
(4)通过softmax函数归一化后，得到各个背景补丁块在前景区域上对应的注意力得分。
[0111]
最后，将得到的拼接特征图输入到改进的极化自注意力模块中，得到输出图像。
[0112]
(5)以得到的注意力得分为权值，加权叠加各个重建前景，得到最终背景区域信息对前景区域的重建结果，参与最后图像修复的过程。
[0113]
通过以上方式，来更精细地对缺失的像素值进行修复。
[0114]
具体地，请参阅图6所示，在本发明的实施例当中，所述极化自注意力机制模块包含通道自注意力分支和空间自注意力分支，
[0115]
所述通道自注意力分支的具体实现包括：将输入的特征图输入到通道自注意力分支层，经多层卷积运算后得到通道自注意力权重，与输入特征图进行乘法运算；
[0116]
所述空间自注意力分支的具体实现包括：将输入的特征图输入到空间自注意力分支层，经池化操作和多层卷积运算后得到空间自注意力权重，与输入特征图进行乘法运算；
[0117]
将通道自注意力分支和空间自注意力分支的结果进行融合，得到极化自注意力结构的修复后输出图像。
[0118]
由此，极化自注意力机制的加入是为了解决现有图像修复技术存在的过多降维度操作导致的信息损失问题。相比于其他注意力的方法，本发明实施例中使用的极化自注意力在空间维度和通道维度都没有进行很大程度的压缩(在空间维度上保持原大小，在通道维度上保持原通道一半的大小)，并将复杂度也保持在了一个比较小的水平，能够在减少模型复杂度的情况下有效地减少原始图像的信息损失，进而提高对图像修复的性能。
[0119]
具体地，在本发明的实施例当中，多尺度图像修复方法在构建模型并进行模型训练时，一共使用了6个损失函数来反向传播，不断改进优化模型，以提高图像修复的结果。
[0120]
所述6个损失函数包括：对抗损失函数l
adv
、感知损失函数l
perceptual
、风格损失函数l
style
、总变差损失函数l
tv
、孔洞损失函数l
hole
以及验证损失函数l
valid
；具体为：
[0121]
对抗损失函数定义为：
[0122][0123]
其中：d(
·
)表示对括号中的图像进行判别，d(i
gt
)表示对输入到判别器的真实图像进行判别，d(i
pred
)表示对输入到判别器的修复图像进行判别，bceloss(
·
)表示计算二分类交叉熵损失；
[0124]
感知损失函数表达式为：
[0125][0126]
风格损失函数表达式为：
[0127][0128]
总变差损失函数表达式为：
[0129][0130]
孔洞损失函数表达式为：
[0131][0132]
验证损失函数表达式为：
[0133][0134]
总损失函数表达式为：l＝α1l
adv
+α2l
perceptual
+α3l
style
+α4l
tv
+α5l
hole
+α6l
valid
[0135]
其中：分别表示利用卷积网络提取到的真实图像和修复图像第i层特征图，
[0136]hi
,wi,ci表示提取到第i层特征图的高度、宽度和通道数目，|
·
|1表示计算l1范数，
[0137]
分别表示真实图像、修复图像第i层的特征图与其转置的乘积，
[0138]ix,y
表示图像中(x，y)位置的像素值，i
x+1,y
表示图像中(x+1，y)位置的像素值，i
x,y+1
表示图像中(x，y+1)位置的像素值，
[0139]
e(
·
)表示求均值，i，j，k分别表示真实图像或修复图像的高度、宽度和通道数，
[0140]
分别代表真实图像和修复图像孔洞区域的像素值，分别代表真实图像和修复图像有效区域的像素值，
[0141]
{α1,α2...,α6}表示各个损失在总损失函数中所占的权重。
[0142]
具体地，在本发明的实施例当中，使用3个评价指标来对修复后图像的修复效果进行度量，所述3个评价指标包括：峰值信噪比psnr、结构相似性ssim和l1损失；具体为：
[0143]
峰值信噪比psnr函数表达式为：
[0144][0145][0146]
结构相似性ssim函数表达式为：
[0147][0148]
c1＝(k1(2
n-1))2,c2＝(k2(2
n-1))2ꢀꢀ
(10)
[0149]
l1损失函数表达式为：
[0150]
l1loss＝l
valid
+l
hole
ꢀꢀ
(11)
[0151]
其中：mse(
·
)表示计算均方误差，x(i,j)、y(i,j)分别表示修复图像和真实图像(i,j)位置的像素值，n表示图片像素用n位二进制表示，
[0152]
μ
x
、μy分别表示x、y的均值，
[0153]
分别表示x、y的方差，
[0154]
σ
xy
表示x和y的协方差，
[0155]
c1和c2是两个常数，避免除零，k1和k2默认值为0.01和0.03，
[0156]
l
valid
、l
hole
即为训练时的验证损失和孔洞损失。
[0157]
基于上述任一示例性实施例，本发明的又一示例性实施例提供一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行所述的多尺度图像修复方法的步骤。
[0158]
基于上述任一示例性实施例，本发明的又一示例性实施例提供一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行所述的多尺度图像修复方法的步骤。
[0159]
基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得装置执行本发明各个实施例所述方法的全部或部分步骤。
[0160]
而前述的存储介质包括：u盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
[0161]
虽然本公开披露如上，但本公开的保护范围并非仅限于此。本领域技术人员在不脱离本公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。