一种结构与纹理相互促成的图像修复方法

本发明属于自然图像处理领域，特别涉及一种结构与纹理相互促成的图像修复方法。

背景技术：

1、图像修复旨在根据受损图像中的已知区域来预测生成图像中的未知区域，从而合成视觉上合理的高质量图像。图像修复被广泛应用于图像编辑、老照片修复、目标移除等任务上。然而，生成合理的图像内容是极具挑战性的。

2、目前，图像修复方法主要分为传统方法和基于深度学习的方法。传统的方法主要包括基于扩散的方法和基于小块的方法。基于扩散的方法的思路是通过变分问题推导出迭代算法，达到将图像已知区域的边界像素扩散到未知区域的目的。基于小块的方法旨在已知区域寻找与未知区域最相关的小块，以复制小块的方式来填补缺失区域。但是，这些传统方法只能在图像水平上机械推理，并不能挖掘到图像的高级语义特征，对填补更大缺失区域的图像效果不理想。

3、近几年来，随着深度学习和神经网络的发展和应用，基于深度学习的图像修复方法弥补了传统方法的不足，并取得了更优的性能。其中，卷积神经网络和生成对抗网络在图像修复任务中被广泛应用。pathak等人提出第一个基于深度学习的修复方法，设计了上下文编码器，采用编码器-解码器结构，在其中嵌入了通道全连接层提升网络预测能力，同时，他们将对抗训练应用于该网络，使图像更加清晰。自此，众多研究者在上下文编码器的基础上进行改进。一些研究者以卷积神经网络为工具，寻求更好的特征表示和特征推理方法。iizuka等人通过堆叠多层空洞卷积来捕获更远距离的上下文信息。wang等人用不同大小的卷积核提取图像的多尺度特征。zeng等人用上下文转换模块来搜集更多样的上下文信息，并实现了对上下文信息的自适应筛选。一些研究者将传统方法的思路用到深度方法中。例如，yu等人构建了由粗修复和精修复两个阶段组成的两阶段框架，并引入上下文注意力，通过计算特征块之间的余弦相似度，将已知区域最相关的特征块聚合到未知区域中，实现特征恢复。随后，liu等人针对上下文注意力机制语义不连贯的问题，提出了语意连贯注意力机制，使图像的局部细节更加平滑。然而，以上方法都缺乏结构先验知识的指导，导致生成的图像具有不正确的结构。

4、近几年来，一些研究者探寻合理的结构先验工具。在2019年，nazeri等人提出了edgeconnect，首次将边缘引入到图像修复任务中。其主要思路为：第一阶段先对受损的边缘进行修复，并将修复好的边缘作为结构先验，来指导第二阶段图像纹理细节的修复。同年，ren等人提出了structureflow，将边缘保留的平滑结构图像作为结构先验，并应用于两阶段模型中。然而，这些两阶段的架构存在弊端，其在第一阶段得到合理的结构先验是非常困难的，不合理的结构先验会对后续图像修复的效果造成不良影响。随后，一系列新颖的一阶段模型被提出，意图在特征图的层面上对图像的结构和纹理进行建模。li等人提出了视觉结构渐进重建网络，采用一个编码器-解码器结构，在重建边缘的同时，对图像进行修复。在2020年，liu等人提出了结构和纹理互编码器网络，意图利用大分辨率的低级特征来合成图像的纹理，小分辨率的高级特征来重构图像的结构。然而，这些方法结构与纹理共享一个编码-解码网络，会造成图像结构和纹理的杂糅和混乱。在2021年，一些研究者提出了双编码器-单解码器的网络，其利用两个编码器分别编码图像的结构和纹理信息，并在一个共享的解码器中将二者进行融合。然而，以上结构-纹理建模方法存在一个共同的问题，他们没有将结构和纹理之间的关系考虑全面。结构重建和纹理合成两个过程是相对分离的，两者是无法获取互补信息的，这对保持结构和纹理的一致性是不利的。

5、已有方法有以下的劣势：第一，传统的图像修复方法不能捕获到图像的深层语义特征；第二，基于特征表示和特征推理的方法不能获取正确的结构先验指导；第三，在已有的结构-纹理建模方法中，没有将结构和纹理之间的关系考虑全面，两者相对分离，很难相互获取指导性信息，对保持结构与纹理的一致性不利。

6、为此，本技术的观点在于结构重建和纹理合成之间应该保持信息互通和双向影响，用以保证两者之间的一致性，同时又可以达到结构和纹理相互促进生成的效果。

技术实现思路

1、本发明的目的是提供一种结构与纹理相互促成的图像修复方法。此方法遵循生成对抗网络的基本框架，包括双分支并行耦合生成器和双分支鉴别器两部分。双分支并行耦合生成器利用两个支流分别重建结构和合成纹理，在此过程中，两个支流进行频繁的双向交互，使结构和纹理相互获取互补信息，形成结构指导纹理合成，纹理促进结构重建的模式，同时，两者的频繁交互实现了结构和纹理的相互感知，精准地保证了两者之间的一致性。双分支鉴别器分别从结构和纹理两个方面对生成器生成的图像进行真假鉴别，含有结构对抗和纹理对抗两个过程，监督生成器生成结构和纹理都合理的图像。

2、为了实现上述目的，本发明提供了如下技术方案：

3、一种结构与纹理相互促成的图像修复方法，包括如下步骤：

4、步骤a、搭建双分支并行耦合生成器的网络框架：

5、双分支并行耦合生成器以边缘作为结构表示，以图像作为纹理表示，对图像的结构和纹理进行建模；该框架包含并行的结构支流和纹理支流；结构支流以受损边缘ein、受损灰度图像yin和二值掩码m为输入，旨在重建受损的结构，其中，所述二值掩码中，0代表未受损区域，1代表受损区域；纹理支流是以受损图像iin和二值掩码m为输入，旨在为受损区域合成纹理细节；与此同时，在两个支流之间嵌入两种特征交互机制，即结构-纹理交互单元stiu和基于空间域和通道域的交互模块scim，用以实现结构特征和纹理特征的双向交互，使两者能够相互获取到互补信息，来增强自身特征；

6、双分支并行耦合生成器包括四个部分：1、结构-纹理交互的编码器stie；2、结构-纹理远距离交互stdi；3、结构-纹理交互的解码器stid；4、结构-纹理融合stf；

7、其中，结构-纹理交互的编码器stie包括结构编码器se、纹理编码器te和3个结构-纹理交互单元stiu；其中，结构编码器se和纹理编码器te都包含3层卷积层，结构编码器se提取结构特征，纹理编码器te提取纹理特征，且结构特征和纹理特征通过结构-纹理交互单元stiu进行双向交互、提取互补信息；结构-纹理交互的编码器stie的步骤表示为如下公式：

8、

9、在公式1中，i＝1,2,3；是se中第i层卷积层输出的结构特征；是te中第i层卷积层输出的纹理特征；和分别是se和te中第i层卷积层；和都是增强后的结构特征；和都是增强后的纹理特征；为stie中第i个结构-纹理交互单元；“||”指按通道维度拼接操作；按照以上方式，计算出和两者随后被输出下述的结构-纹理远距离交互；

10、结构-纹理远距离交互stdi包括结构瓶颈层sb、纹理瓶颈层tb和4个scim；结构瓶颈层sb和纹理瓶颈层tb都由4个残差空洞卷积模块rdcb组成，通过残差空洞卷积模块rdcb能够利用不同的空洞卷积层来搜索上下文信息，分别捕获结构和纹理的上下文信息；基于空间域和通道域的交互模块scim分别在空间域和通道域上对捕获的结构特征和纹理特征进行关注，实现结构-纹理的远距离交互；结构-纹理远距离交互stdi的模式表示为以下形式：

11、

12、在公式2中，j＝1,2,3,4；是sb中第j个rdcb输出的远距离结构特征；是tb中第j个rdcb输出的远距离纹理特征；和分别为sb和tb中第j个残差空洞卷积模块；和都是增强后的远距离结构特征；和都是增强后的远距离纹理特征；scimj(·，·)是第j个基于空间域和通道域的交互模块；通过以上方式，计算出和两者随后被输入到下述的结构-纹理交互的解码器；

13、结构-纹理交互的解码器stid包括结构解码器sd、纹理解码器td和3个stiu；结构解码器sd和纹理解码器td都包含2层卷积层和2层反卷积层，分别对结构和纹理进行恢复；结构-纹理交互单元stiu用来对结构和纹理进行交互；具体地，结构解码器sd和纹理解码器td中的第一层卷积层用来对和进行整合，分别得出和随后过程的表达方式如下：

14、

15、在公式3中，k＝1,2,3；和都是增强后的结构特征；和都是增强后的纹理特征；是stid中第k个结构-纹理交互单元；是sd中第k层卷积层输出的结构特征；是sd中第k+1层卷积层输出的结构特征；是td中第k层卷积层输出的纹理特征；是td中第k+1层卷积层输出的纹理特征；和是sd和td中第k+1层卷积层；按照以上方式得出被恢复的结构特征和纹理特征

16、同时，在结构-纹理交互的解码器stid中构建了结构特征金字塔和纹理特征金字塔；

17、在得出恢复好的结构特征和纹理特征后，嵌入一个结构-纹理交互单元来对两者进行融合，表示为以下形式：

18、

19、在公式4中，f1和f2是两个融合后的特征；stiustf(·，·)为结构-纹理交互单元；为被恢复的结构特征；为被恢复的纹理特征；

20、最后，两融合特征被按通道维度拼接，输入到输出层来生成最后的预测图像iout；

21、步骤b、结构-纹理双向交互模块的设计：

22、由步骤a看出，两个结构-纹理双向交互机制被嵌入到结构支流和纹理支流之间，分别是结构-纹理交互单元stiu和基于空间域和通道域的交互模块scim；结构-纹理交互单元stiu和基于空间域和通道域的交互模块scim都遵循以下形式：

23、

24、在公式5中，和分别是交互增强后的结构特征和纹理特征；s和t分别是结构特征和纹理特征；f(·)和g(·)是可学习的权重，控制着结构(纹理)信息对纹理(结构)信息的权衡；代表逐元素相加；⊙代表逐元素相乘；

25、在结构-纹理交互单元stiu中，f(·)和g(·)的表达形式如下：

26、

27、在公式6中，wf和wg为门控权重；σ为sigmoid函数；conv3×3(·)是卷积核大小为3的卷积层；s和t分别是结构特征和纹理特征；

28、在基于空间域和通道域的交互模块scim中，f(·)和g(·)都是通过空间关注和通道关注来实现，表示为以下形式：

29、

30、在公式7中，pf和pg为空间关注的门控权重；qf和qg为通道关注的门控权重；σ为sigmoid函数；conv5×5(·)是卷积核大小为5的卷积层；avgpool(·)和maxpool(·)分别指的是平均池化操作和最大池化操作；mlp(·)是多层感知机；s和t分别是结构特征和纹理特征；

31、步骤c、构建双分支鉴别器：

32、双分支鉴别器旨在将生成图像iout和真实图像i区分开，包括并行的结构鉴别器和纹理鉴别器，分别对图像的结构和纹理进行真假判别；其中，结构鉴别器和纹理鉴别器都包含5层卷积层，并在末尾接一个sigmoid函数；

33、纹理鉴别器以生成图像iout或真实图像i为输入，能够输出对两者的纹理得分tfake和ttrue；对结构鉴别器而言，首先通过边缘检测器提取生成图像iout的生成边缘eout，以此作为生成图像的结构表示；结构鉴别器以生成边缘eout或真实边缘e为输入，输出两者的结构得分sfake和strue；其中，边缘检测器通过一个残差网络模块实现的；以上过程表达为：

34、tfake＝ds(eout),ttrue＝ds(e),sfake＝dt(iout),strue＝dt(i).     公式8

35、公式8中，tfake为纹理鉴别器对生成图像纹理的评分；ttrue为纹理鉴别器对真实图像纹理的评分；sfake为结构鉴别器对生成图像结构的评分；strue为结构鉴别器对真实图像结构的评分；ds和dt分别为结构鉴别器和纹理鉴别器；iout为生成图像；i为真实图像；eout为生成边缘；e为真实边缘；

36、随后，生成图像纹理和结构得分tfake和sfake按通道维度拼接，得出总得分x1，真实图像纹理和结构得分ttrue和strue按通道维度拼接，得出总得分x2，这两个得分将用于后续对抗损失的计算；

37、步骤d、网络的训练：

38、步骤b中设计的两个结构-纹理交互机制被嵌入到步骤a中的双分支并行耦合生成器中，实现结构特征与纹理特征之间的双向交互，使得结构和纹理能够相互促成、相互贡献，从而双分支并行耦合生成器能够生成结构和纹理都合理的图像；步骤c中的双分支鉴别器对双分支并行耦合生成器生成的图像的真假进行打分判别，监督生成器的生成质量，进一步激发生成器的生成潜能；

39、首先，计算对抗损失，对双分支鉴别器的网络参数进行更新；然后，冻结双分支鉴别器的网络参数，计算l1重建损失、感知损失、风格损失、对抗损失以及金字塔损失，对双分支并行耦合生成器的网络参数进行更新；按照这种训练方式，鉴别器的判别能力不断提升，生成器的生成能力也不断提升，从而生成更合理的图像。

40、步骤d中，对抗损失涉及生成器和鉴别器的生成对抗过程；所述过程表示为：

41、

42、公式9中，log(·)是对数函数；x1和x2分别是鉴别器对生成图像和真实图像的打分；iout为生成图像；i为真实图像；eout为生成边缘；e为真实边缘；与生成对抗网络的思路相同，通过上式，实现生成器和鉴别器对抗生成的效果。

43、与现有技术相比，本发明的有益效果在于：

44、本发明提出了新颖的双分支并行耦合生成器，利用两个支流分别进行结构重建和纹理合成，与此同时，结构支流和纹理支流相互沟通、相互指导，有效地保证了结构与纹理的一致性。

45、本发明采用新颖的双分支鉴别器对图像的结构和纹理分别进行判别打分，以此来监督生成器的生成过程。按照这种生成对抗的过程，生成器就可以生成具有更合理的结构和更清晰的纹理的图像。

46、综上所述，在双分支并行耦合生成器中，结构与纹理的频繁双向交互可以实现两者的相互感知，精准地保证结构和纹理的一致性，且促成结构指导纹理，纹理促成结构的模式。在双分支鉴别器中，对生成图像的结构和纹理分别进行鉴别打分，提升了鉴别过程的全面性。