图像修复方法、装置、计算机设备及存储介质与流程

本申请实施例涉及图像处理技术领域，特别涉及一种图像修复方法、装置、计算机设备及存储介质。

背景技术：

随着图像处理技术的快速发展，人们已经将深度学习的方法应用到了图像修复技术中，并可以得到许多图像修复模型。

其中，对于图像修复过程，由于其是一个生成式的过程，大多数深度学习中也采用了对抗生成式网络来作为图像修复模型的训练网络。目前，在图像修复模型的训练过程中，图像特征的提取对于模型的训练是至关重要的。其中，采用的对抗式生成网络在对图像特征进行提取时，采用的是单尺度的卷积网络，从而可以较好地针对一个特定场景建立模型。

但是，单尺度的提取图像特征会将其他图像特征丢弃，导致图像修复模型的训练过程中图像特征提取不完整，得到的修复图像中修复区域与其他区域的适配性较低，降低了图像修复的效果。

技术实现要素：

本申请实施例提供了一种图像修复方法、装置、计算机设备及存储介质，可以提高修复图像中修复区域与其他区域的适配性，增加图像修复的效果。所述技术方案如下：

一方面，本申请实施例提供了一种图像修复方法，所述方法包括：

获取待修复图像；

根据所述待修复图像和图像修复模型，对所述待修复图像进行修复，所述图像修复模型中包括至少两个分支结构，所述至少两个分支结构用于提取所述目标图像矩阵的不同特征尺度的特征，所述目标图像矩阵包含所述待修复图像的各个像素点的参数。

另一方面，本申请实施例提供了一种图像修复装置，所述装置包括：

图像获取模块，用于获取待修复图像；

图像修复模块，用于根据所述待修复图像和图像修复模型，对所述待修复图像进行修复，所述图像修复模型中包括至少两个分支结构，所述至少两个分支结构用于提取所述目标图像矩阵的不同特征尺度的特征，所述目标图像矩阵包含所述待修复图像的各个像素点的参数。

另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包含处理器和存储器，所述处理器用于，

获取待修复图像；

根据所述待修复图像和图像修复模型，对所述待修复图像进行修复，所述图像修复模型中包括至少两个分支结构，所述至少两个分支结构用于提取所述目标图像矩阵的不同特征尺度的特征，所述目标图像矩阵包含所述待修复图像的各个像素点的参数。

另一方面，本申请实施例提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述一个方面的图像修复方法。

本申请实施例提供的技术方案可以至少包含如下有益效果：

获取待修复图像；根据待修复图像和图像修复模型，对待修复图像进行修复，图像修复模型中包括至少两个分支结构，至少两个分支结构用于提取目标图像矩阵的不同特征尺度的特征，目标图像矩阵包含待修复图像的各个像素点的参数。在本申请中，通过不同的分支结构可以提取目标图像矩阵中不同特征尺度的特征，并通过结合多个尺度的特征对待修复图像进行修复，增加了图像修复模型训练过程中特征的提取的完整性，使得本申请得到的修复图像中修复区域与其他区域的适配性更高，增加了图像修复的效果。

附图说明

图1是本申请一示例性实施例提供的一种计算机设备的示意图；

图2是本申请一示例性实施例提供的一种图像修复方法的方法流程图；

图3是本申请一示例性实施例提供的一种图像修复模型的训练方法的方法流程图；

图4是本申请一示例性实施例涉及的一种分支结构的结构示意图；

图5是本申请一示例性实施例涉及的一种编码网络的结构示意图；

图6是本申请一示例性实施例涉及的一种解码网络的结构示意图；

图7是本申请一示例性实施例涉及的判别网络的结构示意图；

图8是本申请一示例性实施例提供的一种图像修复方法的方法流程图；

图9是本申请一示例性实施例提供的一种图像修复模型的结构示意图；

图10是本申请一示例性实施例提供的图像修复装置的结构框图；

图11是本申请一示例性实施例提供的一种计算机设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本申请提供的方案，可以用于人们在日常生活中使用终端时，通过在终端的可触摸显示屏中执行触摸操作，使得终端执行该触摸操作对应的响应的现实场景中，为了便于理解，下面首先对本申请实施例涉及的一些名词以及应用场景进行简单介绍。

图像修复技术，即利用受损图像中其余存在的信息，填补其中的受损区域，或从完整的图像中将多于物体去除并修补该物体对应的图像区域，使得修复后的图像接近或达到原始图像的视觉效果。

mse(meansquareerror)：均方误差函数，即求两个对象之间的欧氏距离。

随着深度学习的进步，许多机器学习模型都可以采用深度学习的方法进行训练，从而得到具有指定功能的机器学习模型。其中，图像修复模型的训练也可以通过深度学习方法得到。

请参考图1，其示出了本申请一示例性实施例提供的一种计算机设备的示意图。如图1所示，其中包含了计算机设备110。

可选的，该计算机设备110可以是提供有模型训练功能的计算机设备。比如，该计算机设备110可以是手机、平板电脑、笔记本电脑、台式计算机等。

可选的，计算机设备110中可以通过深度学习的方式训练出具有指定功能的模型。例如，在图像修复模型的训练方面，由于图像修复过程是一个生成式的过程，大多数深度学习中也采用了对抗生成式网络来作为图像修复模型的训练网络。其中，由于上述采用的对抗式生成网络在对图像特征进行提取时，采用的是单尺度的卷积网络，造成对其他图像特征的丢弃，导致图像修复模型的训练过程中图像特征提取不完整，使得按照该图像修复模型得到的修复图像中修复区域与其他区域的适配性较低，降低了图像修复的效果。

为了提高修复图像中修复区域与其他区域的适配性，提高图像修复模型的修复效果，增加图像修复的效果，本申请实施例提供了一种图像修复方法，可以通过不同尺度的卷积网络提取多个尺度的图像特征，实现训练图像修复模型时特征提取的完整性，从而增加图像修复的效果。

请参考图2，其示出了本申请一示例性实施例提供的一种图像修复方法的方法流程图。该方法可以用于图1所示的计算机设备中，如图2所示，该图像修复方法可以包括如下几个步骤。

步骤201，获取待修复图像。

可选的，待修复图像可以是计算机设备中任意一个需要修复的图像。比如，计算机设备中预先存储有破损的图像，或者，其他计算机设备或者终端将需要进行修复的图像发送给该计算机设备。

步骤202，根据待修复图像和图像修复模型，对待修复图像进行修复，图像修复模型中包括至少两个分支结构，至少两个分支结构用于提取目标图像矩阵的不同特征尺度的特征，目标图像矩阵包含待修复图像的各个像素点的参数。

可选的，计算机设备可以将待修复图像输入至图形修复模型中，从而通过该图像修复模型对待修复图形进行修复，得到修复图像。其中，图像修复模型包含有至少两个分支结构，这至少两个分支结构可以对图形修复模型中的目标图像矩阵进行特征提取。需要说明的是，至少两个分支结构中有任意两个分支结构提取的特征不同即可，即，比如，至少两个分支结构中包含5个分支结构，其中3个分支结构提取的特征是相同的，其他两个分支结构提取的特征与这三个分支结构提取的特征不同。

综上所述，获取待修复图像；根据待修复图像和图像修复模型，对待修复图像进行修复，图像修复模型中包括至少两个分支结构，至少两个分支结构用于提取目标图像矩阵的不同特征尺度的特征，目标图像矩阵包含待修复图像的各个像素点的参数。在本申请中，通过不同的分支结构可以提取目标图像矩阵中不同特征尺度的特征，并通过结合多个尺度的特征对待修复图像进行修复，增加了图像修复模型训练过程中特征的提取的完整性，使得本申请得到的修复图像中修复区域与其他区域的适配性更高，增加了图像修复的效果。

在一种可能实现的方式中，计算机设备中预先存储有目标数据集，计算机设备可以根据该目标数据集预先生成各个原始图像，从而构成图像修复模型训练时的训练数据集。计算机设备可以先通过该训练数据集训练好图像修复模型，并将训练好的图像修复模型存储在自身，从而对待修复图像进行修复。

请参考图3，其示出了本申请一示例性实施例提供的一种图像修复模型的训练方法的方法流程图。该方法可以用于图1所示的计算机设备中，如图3所示，该图像修复模型的训练方法可以包括如下几个步骤。

步骤301，对目标数据集中的图像进行剪裁，获取至少两个固定大小的原始图像。

可选的，目标数据集可以是计算机设备中预先存储的图像集合。其中，目标数据集中的各个图像的大小可以相同。比如，目标数据集中的各个图像的分辨率可以均为2048*1080，或者，目标数据集中的各个图像的分辨率可以均为2000*2000，或者，目标数据集中的各个图像的分辨率可以均为4000*4000等等，本申请实施例对此并不加以限定。可选的，目标数据集也可以采用现有的数据集，比如：div2k数据集等。

可选的，计算机设备可以将目标数据集中的各个图像进行随机裁剪，随机生成固定大小的图像，将这些固定大小的图像获取为原始图像，组成训练数据集。例如，目标数据集中的各个图像的分辨率均为2048*1080，计算机设备可以将目标数据集中的各个图像进行随机裁剪生成多个分辨率为300*300的图像，这些分辨率为300*300的图像便是原始图像，组成了图像修复模型的训练数据集。

步骤302，根据第一原始图像，获取第一受损图像。

其中，第一原始图像是至少两个固定大小的原始图像中的任意一个原始图像。

可选的，计算机设备可以根据第一原始图像生成第一掩膜图像，然后根据掩膜图像和原始图像，生成第一受损图像。即，对应上述任意一个原始图像，计算机设备都可以生成对应的一个mask图像，然后生成对应的一个受损图像。

在一种可能实现的方式中，计算机设备可以根据上述得到的原始图像，再随机生成与原始图像的分辨率大小一致的mask图像。比如，对于其中任意一个300*300的原始图像，计算机设备也可以生成一个300*300的mask图像。其中，mask图像中的受损区域的形状可以为任意形状(比如：圆、椭圆、正方形、三角形、正多边形等规则形状，或者，各个边长均不相等的不规则形状)，mask图像中的受损区域位置也可以任意(比如在图像的中部或边缘等)。即，掩膜图像是根据原始图像随机生成的。

可选的，计算机设备可以根据得到的各个mask图像和各个原始图像，生成对应的受损图像。在一种可能实现的方式中，在mask图像中，受损区域的像素值为255，其余区域的像素值为0，计算机设备可以根据公式1来生成受损图像。其中，公式1如下：

iin＝iori*(1–m/255)【1】；

其中，iin代表受损图像的像素值，iori代表原始图像的像素值，m代表mask图像的像素值。

计算机设备可以通过上述公式1计算出需要生成的受损图像的各个像素点的像素值，从而得到受损图像。即，受损图像是根据掩膜图像和原始图像生成的。

步骤303，对第一受损图像生成第一修复图像。

在一种可能实现的方式中，计算机设备可以利用第一受损图像和第一掩膜图像，获取第一目标图像矩阵，并通过至少两个分支结构提取第一目标图像矩阵的目标特征，根据得到的第一目标图像矩阵的目标特征，获取对应的修复图像。其中，第一目标图像矩阵中包含第一受损图像的各个像素点的参数和第一掩膜图像的各个像素点的参数，至少两个分支结构可以提取第一目标图像矩阵不同特征尺度的特征。

在一种可能实现的方式中，计算机设备可以根据第一受损图像，获取第一受损图像的参数矩阵；根据第一掩膜图像，获取第一掩膜图像的参数矩阵；并将第一受损图像的参数矩阵和第一掩膜图像的参数矩阵进行拼接，获取第一目标图像矩阵。其中，参数矩阵可以指示对应的图像的各个像素点的参数。可选的，该参数可以是各个像素点的像素值、色温值、亮度值中的至少一个。

例如，以该参数是各个像素点的像素值为例，计算机设备可以对应受损图像建立第一受损图像的参数矩阵，该参数矩阵中的各个值可以指示第一受损图像的各个像素点的像素值。比如，对于上述得到的300*300的某个原始图像来说，如果该原始图像采用rgb(redgreenblue，红、绿、蓝)表示每个像素点的像素值，此处第一受损图像的参数矩阵可以是300*300*3的矩阵。对于300*300的mask图像来说，如果上述将mask图像的各个像素值直接用255或者0来表示，那么，此处得到的第一mask图像的参数矩阵可以是300*300*1的矩阵。可选的，计算机设备可以将这两个参数矩阵进行拼接，从而得到300*300*4的矩阵，即第一目标图像矩阵。

可选的，此处的拼接可以是矩阵之间的级联方式实现，或者，通过调用concat函数实现。

计算机设备可以通过第一分支结构，提取第一目标图像矩阵的第一目标特征。其中，第一分支结构是至少两个分支结构中的任意一个分支结构。

即，计算机设备通过设计不同的分支结构提取从不同的特征尺度提取第一目标图像矩阵的特征。可选的，计算机设备在得到上述第一目标图像矩阵之后，可以利用至少两个分支结构来提取第一目标图像矩阵的特征，实现从不同的特征尺度提取第一目标图像矩阵的特征。其中，至少两个分支结构可以是预先设计在图像修复模型的训练过程中的。

可选的，第一分支结构中包含至少一个卷积层模块、至少一个空洞卷积层模块以及至少一个上采样模块。此处通过第一分支结构提取目标图形矩阵时，可以是通过第一分支结构中的至少一个卷积层模块、至少一个空洞卷积层模块以及至少一个上采样模块，对第一目标图像矩阵进行处理获取第一目标特征。

请参考图4，其示出了本申请一示例性实施例涉及的一种分支结构的结构示意图。如图4所示，其中包含了卷积层401，空洞卷积层402，上采样层403。其中，该分支结构可以通过自身包含的各个卷积层，空洞卷积层以及上采样层获取第一目标图像矩阵的第一目标特征。

可选的，第一分支结构中包含的各个卷积核大小均相同；并且，不同的分支结构中各自包含的卷积核大小不同。比如，上述至少两个分支结构中包含两个分支结构，分支结构一中包含的各个卷积核大小均相同(比如均为7*7，或者均为5*5)，分支结构二中包含的各个卷积核大小也相同(比如均为8*8，或者均为4*4)。但是，分支结构一和分支结构二中的卷积核大小不同。比如，分支结构一中包含的各个卷积核大小如果是7*7，那么分支结构二中包含的各个卷积核大小便不能是7*7。

在一种可能实现的方式中，本申请中涉及的至少两个分支结构的数量为3(分别为分支结构一、分支结构二、分支结构三)举例，各个分支结构中包含的至少一个卷积层模块、至少一个空洞卷积层模块以及至少一个上采样模块可以如下；

其中，分支结构一可以由如下顺序的各个层构成：

卷积层1：卷积核数量为32，卷积核大小为7x7，步长为1；

卷积层2：卷积核数量为64，卷积核大小为7x7，步长为2；

卷积层3：卷积核数量为64，卷积核大小为7x7，步长为1；

卷积层4：卷积核数量为128，卷积核大小为7x7，步长为2；

卷积层5：卷积核数量为128，卷积核大小为7x7，步长为1；

卷积层6：卷积核数量为128，卷积核大小为7x7，步长为1；

空洞卷积层1：卷积核数量为128，卷积核大小为7x7，步长为1，膨胀率为2；

空洞卷积层2：卷积核数量为128，卷积核大小为7x7，步长为1，膨胀率为4；

空洞卷积层3：卷积核数量为128，卷积核大小为7x7，步长为1，膨胀率为8；

空洞卷积层4：卷积核数量为128，卷积核大小为7x7，步长为1，膨胀率为16；

卷积层7：卷积核数量为128，卷积核大小为7x7，步长为1；

卷积层8：卷积核数量为128，卷积核大小为7x7，步长为1；

上采样：使用最近邻上采样，将特征图的尺寸转换为原始图像的大小。

分支结构二可以由如下顺序的各个层构成：

卷积层1：卷积核数量为32，卷积核大小为5x5，步长为1；

卷积层2：卷积核数量为64，卷积核大小为5x5，步长为2；

卷积层3：卷积核数量为64，卷积核大小为5x5，步长为1；

卷积层4：卷积核数量为128，卷积核大小为5x5，步长为2；

卷积层5：卷积核数量为128，卷积核大小为5x5，步长为1；

卷积层6：卷积核数量为128，卷积核大小为5x5，步长为1；

空洞卷积层1：卷积核数量为128，卷积核大小为5x5，步长为1，膨胀率为2；

空洞卷积层2：卷积核数量为128，卷积核大小为5x5，步长为1，膨胀率为4；

空洞卷积层3：卷积核数量为128，卷积核大小为5x5，步长为1，膨胀率为8；

空洞卷积层4：卷积核数量为128，卷积核大小为5x5，步长为1，膨胀率为16；

卷积层7：卷积核数量为128，卷积核大小为5x5，步长为1；

卷积层8：卷积核数量为128，卷积核大小为5x5，步长为1；

上采样1：使用最近邻上采样，将特征图的尺寸转换为原始图像的大小的一半；

卷积层9：卷积核数量为64，卷积核大小为5x5，步长为1；

上采样2：使用最近邻上采样，将特征图的尺寸转换为原始图像的大小。

在分支结构三中，各个层的卷积核大小为5*5，其他与分支结构二的各个层均相同。从而实现分支结构一提取一个特征尺度的特征，分支结构二提取另一个特征尺度的特征，分支结构三提取又一个特征尺度的特征，这三个分支结构的特征尺度均不相同。在一种可能实现的方式中，分支结构三可以与分支结构二的各个层完全相同。即，分支结构一提取一个特征尺度的特征，分支结构二和分支结构三提取同一个特征尺度的特征。需要说明的是，上述各个分支结构中的卷积层的数量可以随意变化，空洞卷积层的数量也可以随意变化，上采样的次数也可以随意变化。另外，各个卷积层中卷积核的数量、卷积核的大小、步长也可以随意变化，各个空洞卷积层中卷积核的数量、卷积核的大小、步长、膨胀率也可以随意变化，本申请实施例对此并不加以限定。

计算机设备可以将各个第一目标特征进行拼接，获取目标特征。

可选的，计算机设备可以将各个分支结构得到的各个第一目标特征进行拼接，得到目标特征。例如，计算机设备将多个分支结构输出的特征在最后一维拼接，得到目标特征。其中，此处的拼接方式也可以通过矩阵之间的级联方式实现，或者，通过调用concat函数实现。

可选的，上述过程可以看做是通过图像修复模型中编码网络模块实现的，请参考图5，其示出了本申请一示例性实施例涉及的一种编码网络的结构示意图。如图5所示，其中包含了图像输入模块501，第一分支结构502，第二分支结构503，第三分支结构504以及输出特征模块505。其中，图像输入模块501可以得到输入的图像的目标图像矩阵，并将目标图像矩阵输入至各个分支结构中。第一分支结构502，第二分支结构503，第三分支结构504可以各自获取各自尺度的特征。输出特征模块505可以将各个分支结构输出的特征在最后一维拼接起来得到目标特征。

可选的，计算机设备可以根据目标特征获取修复图像。即计算机设备可以根据得到的目标特征对图像进行修复，从而得到修复图像。可选的，此过程可以看做是通过图像修复模型中解码网络模块实现的，请参考图6，其示出了本申请一示例性实施例涉及的一种解码网络的结构示意图。如图6所示，其中包含了第一卷积层601，第二卷积层602。解码网络模块接收到目标特征后，可以通过第一卷积层和第二卷积层实现对图像的修复，并输出修复图像。

在一种可能实现的方式中，图6中的两个卷积层的结构可以如下：

第一卷积层601：卷积核数量为16，卷积核大小为5x5，步长为1；

第二卷积层602：卷积核数量为3，卷积核大小为5x5，步长为1。

步骤304，根据第一修复图像以及第一原始图像计算损失函数。

在一种可能实现的方式中，根据第一判别网络计算第一欧式距离，第一欧式距离是第一修复图像与第一原始图像之间的欧式距离；根据第二判别网络计算第二欧式距离，第二欧式距离是第一修复图像的受损区域与第一原始图像的受损区域之间的欧式距离；将第一欧式距离与第二欧式距离的和作为损失函数。

其中，第一修复图像的受损区域是第一修复图像中修复的区域，对应第一原始图像中的受损区域。

可选的，第一判别网络可以通过mse函数计算第一修复图像与第一原始图像之间的mse，第二判别网络也可以通过mse函数计算第一修复图像的受损区域与第一原始图像的受损区域之间的mse，计算机设备可以将两者的和作为损失函数，对修复图像进行评估。

请参考图7，其示出了本申请一示例性实施例涉及的判别网络的结构示意图。如图7所示，其中包含了各个卷积层701，全连接层702。其中，卷积层701和全连接层702的数量可以根据实际需求设置，本申请实施例对此并不加以限定。

其中，在图7所示的判别网络中，各个卷积层701和全连接层702的结构可以如下所示：

卷积层1：卷积核数量为32，卷积核大小为3x3，步长为2；

卷积层2：卷积核数量为64，卷积核大小为3x3，步长为2；

卷积层3：卷积核数量为128，卷积核大小为3x3，步长为2；

卷积层4：卷积核数量为256，卷积核大小为3x3，步长为2；

卷积层5：卷积核数量为512，卷积核大小为3x3，步长为2；

全连接：输出为0或者1,0代表假，1代表真。

可选的，图7所示的判别网络可以表示第一判别网络的结构，也可以表示第二判别网络的结构。

步骤305，根据损失函数，对图像修复模型进行迭代训练，直至图像修复模型收敛。

在一种可能实现的方式中，计算机设备可以根据得到的损失函数，使用adam优化器对图像修复模型进行迭代训练，直至图像修复模型收敛，保存训练好的模型。比如，如果损失函数小于某个阈值时，说明修复图像的质量足够，可以将该模型作为最终的图像修复模型。其中，对应优化器的使用本申请实施例也不加以限定。即，根据每个原始图像和其对应的每个掩膜图像执行上述模型训练过程，从而得到收敛的图像修复模型。

综上所述，在本申请的模型训练过程中，正是由于至少两个分支结构中包含的两个分支结构中各自包含的各个卷积核大小不同，可以通过不同的分支结构可以提取目标图像矩阵中不同特征尺度的特征，并通过拼接多个尺度的特征获取目标特征，最终输出修复的图像，从而对图像修复模型进行训练，增加了图像修复模型训练过程中特征的提取的完整性，提高了训练得到的图像修复模型的鲁棒性。

另外，本申请中还采用了第一判别网络计算修复图片和原始图片的欧式距离，爱用第二判别网络计算修复图片的局部(受损区域)和原始图像的局部(受损区域)的欧式距离，提高了修复图片的局部修复的准确性，提高了图像修复模型的精准度。

在一种可能实现的方式中，计算机设备通过上述图3所示的训练方法将图像修复模型训练后，在对图像修复过程中，直接调用该图像修复模型即可。

请参考图8，其示出了本申请一示例性实施例提供的一种图像修复方法的方法流程图。该方法可以用于图1所示的计算机设备中，如图8所示，该图像修复方法可以包括如下几个步骤。

步骤801，获取待修复图像。

可选的，本步骤中获取待修复图像的方式可以参照上述步骤201中的描述，此处不再赘述。

步骤802，根据待修复图像，获取掩膜图像。

可选的，本步骤中，根据待修复图像获取掩膜图像的方式可以参照上述步骤302中根据第一原始图像生成第一掩膜图像的方式，此处不再赘述。

步骤803，根据待修复图像和掩膜图像，获取目标图像矩阵，目标图像矩阵包含待修复图像的各个像素点的参数。

其中，本步骤中获取目标图像矩阵的方式可以参照上述步骤303中根据第一受损图像和第一掩膜图像的获取方式，此处不再赘述。那么，此处目标图像矩阵中也会包含掩膜图像的各个像素点的参数。

步骤804，通过至少两个分支结构，获取目标图像矩阵的目标特征，至少两个分支结构用于提取目标图像矩阵的不同特征尺度的特征。

其中，本步骤中获取目标图像矩阵的目标特征的方式可以参照上述步骤303中通过第一分支结构，提取第一目标图像矩阵的第一目标特征，并将各个第一目标特征进行拼接获取目标特征的方式，此处不再赘述。

步骤805，根据目标特征获取修复图像。

可选的，本步骤中获取修复图像的方式也可以参照上述步骤303中生成第一修复图像的方式，此处不再赘述。

综上所述，获取待修复图像；根据待修复图像和图像修复模型，对待修复图像进行修复，图像修复模型中包括至少两个分支结构，至少两个分支结构用于提取目标图像矩阵的不同特征尺度的特征，目标图像矩阵包含待修复图像的各个像素点的参数。在本申请中，通过不同的分支结构可以提取目标图像矩阵中不同特征尺度的特征，并通过结合多个尺度的特征对待修复图像进行修复，增加了图像修复模型训练过程中特征的提取的完整性，使得本申请得到的修复图像中修复区域与其他区域的适配性更高，增加了图像修复的效果。

请参考图9，其示出了本申请一示例性实施例提供的一种图像修复模型的结构示意图。如图9所示，其中包含了编码网络模块901，解码网络模块902，修复图像模块903。

其中，编码网络模块901和解码网络模块902执行的步骤可以参照上述步骤303中的描述，修复图像模块903执行的步骤可以参照上述步骤304和305中的描述；此处不再赘述。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

请参考图10，其示出了本申请一示例性实施例提供的图像修复装置的结构框图。该图像修复装置可以用于计算机设备中，以执行图2或者图8所示实施例提供的方法中由计算机设备执行的全部或者部分步骤。该图像修复装置可以包括如下几个模块：

图像获取模块1001，用于获取待修复图像；

图像修复模块1002，用于根据所述待修复图像和图像修复模型，对所述待修复图像进行修复，所述图像修复模型中包括至少两个分支结构，所述至少两个分支结构用于提取所述目标图像矩阵的不同特征尺度的特征，所述目标图像矩阵包含所述待修复图像的各个像素点的参数。

综上所述，获取待修复图像；根据待修复图像和图像修复模型，对待修复图像进行修复，图像修复模型中包括至少两个分支结构，至少两个分支结构用于提取目标图像矩阵的不同特征尺度的特征，目标图像矩阵包含待修复图像的各个像素点的参数。在本申请中，通过不同的分支结构可以提取目标图像矩阵中不同特征尺度的特征，并通过结合多个尺度的特征对待修复图像进行修复，增加了图像修复模型训练过程中特征的提取的完整性，使得本申请得到的修复图像中修复区域与其他区域的适配性更高，增加了图像修复的效果。

可选的，所述图像修复模块1002，包括：第一获取单元，第二获取单元，第三获取单元和第四获取单元；

所述第一获取单元，用于根据所述待修复图像，获取掩膜图像；

所述第二获取单元，用于根据所述待修复图像和所述掩膜图像，获取目标图像矩阵；

所述第三获取单元，用于通过所述至少两个分支结构，获取所述目标图像矩阵的目标特征；

所述第四获取单元，用于根据所述目标特征获取修复图像。

可选的，所述所述第三获取单元，包括：特征获取子单元和特征拼接子单元；

所述特征获取子单元，用于通过第一分支结构，提取所述目标图像矩阵的第一目标特征，所述第一分支结构是所述至少两个分支结构中的任意一个分支结构；

所述特征拼接子单元，用于将各个分支结构得到的各自的第一目标特征进行拼接，获取所述目标特征。

可选的，所述第一分支结构中包含至少一个卷积层模块、至少一个空洞卷积层模块以及至少一个上采样模块；

所述特征获取子单元，用于通过所述第一分支结构中的所述至少一个卷积层模块、所述至少一个空洞卷积层模块以及所述至少一个上采样模块，对所述目标图像矩阵进行处理获取所述第一目标特征。

可选的，所述第一分支结构中包含的各个卷积核大小均相同；并且，

不同的分支结构中各自包含的卷积核大小不同。

可选的，所述第二获取单元，包括：第一参数获取子单元，第二参数获取子单元和矩阵获取子单元；

所述第一参数获取子单元，用于根据所述待修复图像，获取所述待修复图像的参数矩阵；

所述第二参数获取子单元，用于根据所述掩膜图像，获取所述掩膜图像的参数矩阵；

所述矩阵获取子单元，用于将所述待修复图像的参数矩阵和所述掩膜图像的参数矩阵进行拼接，获取所述目标图像矩阵。

可选的，所述装置还包括：第一获取模块和训练模块；

所述第一获取模块，用于对目标数据集中的图像进行剪裁，获取至少两个固定大小的原始图像；

所述训练模块，用于利用各个所述原始图像训练所述图像修复模型。

可选的，所述训练模块，包括：受损图像获取单元，修复图像生成单元，损失函数计算单元和训练单元；

所述受损图像获取单元，用于根据第一原始图像，获取第一受损图像，所述第一原始图像是所述至少两个固定大小的原始图像中的任意一个原始图像；

所述修复图像生成单元，用于对所述第一受损图像生成第一修复图像；

所述损失函数计算单元，用于根据所述第一修复图像以及所述第一原始图像计算损失函数；

所述训练单元，用于根据所述损失函数，对所述图像修复模型进行迭代训练，直至所述图像修复模型收敛。

可选的，所述所述损失函数计算单元，包括：第一计算单元，第二计算单元和损失函数获取单元；

所述第一计算单元，用于根据第一判别网络计算第一欧式距离，所述第一欧式距离是所述第一修复图像以及所述第一原始图像之间的欧式距离；

所述第二计算单元，用于根据第二判别网络计算第二欧式距离，所述第二欧式距离是所述第一修复图像的受损区域与所述第一原始图像的受损区域之间的欧式距离；

所述损失函数获取单元，用于将所述第一欧式距离与所述第二欧式距离的和作为所述损失函数。

请参考图11，其示出了本申请一示例性实施例提供的一种计算机设备的结构示意图。该计算机设备1100可以包括：处理器1101、接收器1102、发射器1103、存储器1104和总线1105。

处理器1101包括一个或者一个以上处理核心，处理器1101通过运行软件程序以及模块，从而执行各种功能应用以及信息处理。

接收器1102和发射器1103可以实现为一个通信组件，该通信组件可以是一块通信芯片。该通信芯片也可以称为收发器。

存储器1104通过总线1105与处理器1101相连。

存储器1104可用于存储计算机程序，处理器1101用于执行该计算机程序，以实现上述方法实施例中的计算机设备执行的各个步骤。

此外，存储器1104可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，易失性或非易失性存储设备包括但不限于：磁盘或光盘，电可擦除可编程只读存储器(electricallyerasableprogrammableread-onlymemory，eeprom)，可擦除可编程只读存储器(erasableprogrammablereadonlymemory，eprom)，静态随时存取存储器(staticrandomaccessmemory，sram)，只读存储器(readonlymemory，rom)，磁存储器，快闪存储器，可编程只读存储器(programmablereadonlymemory，prom)。

在示例性实施例中，所述计算机设备包括处理器和存储器；

所述处理器用于，

获取待修复图像；

根据所述待修复图像和图像修复模型，对所述待修复图像进行修复，所述图像修复模型中包括至少两个分支结构，所述至少两个分支结构用于提取所述目标图像矩阵的不同特征尺度的特征，所述目标图像矩阵包含所述待修复图像的各个像素点的参数。

在一种可能的实现方式中，所述处理器用于，

根据所述待修复图像，获取掩膜图像；

根据所述待修复图像和所述掩膜图像，获取目标图像矩阵；

通过所述至少两个分支结构，获取所述目标图像矩阵的目标特征；

根据所述目标特征获取修复图像。

在一种可能的实现方式中，所述处理器用于，

通过第一分支结构，提取所述目标图像矩阵的第一目标特征，所述第一分支结构是所述至少两个分支结构中的任意一个分支结构；

将各个分支结构得到的各自的第一目标特征进行拼接，获取所述目标特征。

在一种可能的实现方式中，所述第一分支结构中包含至少一个卷积层模块、至少一个空洞卷积层模块以及至少一个上采样模块；

所述处理器用于，

通过所述第一分支结构中的所述至少一个卷积层模块、所述至少一个空洞卷积层模块以及所述至少一个上采样模块，对所述目标图像矩阵进行处理获取所述第一目标特征。

在一种可能的实现方式中，所述第一分支结构中包含的各个卷积核大小均相同；并且，

不同的分支结构中各自包含的卷积核大小不同。

在一种可能的实现方式中，所述处理器用于，

根据所述待修复图像，获取所述待修复图像的参数矩阵；

根据所述掩膜图像，获取所述掩膜图像的参数矩阵；

将所述待修复图像的参数矩阵和所述掩膜图像的参数矩阵进行拼接，获取所述目标图像矩阵。

在一种可能的实现方式中，所述处理器还用于，

对目标数据集中的图像进行剪裁，获取至少两个固定大小的原始图像；

利用各个所述原始图像训练所述图像修复模型。

在一种可能的实现方式中，所述处理器用于，

根据第一原始图像，获取第一受损图像，所述第一原始图像是所述至少两个固定大小的原始图像中的任意一个原始图像；

对所述第一受损图像生成第一修复图像；

根据所述第一修复图像以及所述第一原始图像计算损失函数；

根据所述损失函数，对所述图像修复模型进行迭代训练，直至所述图像修复模型收敛。

在一种可能的实现方式中，所述处理器用于，

根据第一判别网络计算第一欧式距离，所述第一欧式距离是所述第一修复图像以及所述第一原始图像之间的欧式距离；

根据第二判别网络计算第二欧式距离，所述第二欧式距离是所述第一修复图像的受损区域与所述第一原始图像的受损区域之间的欧式距离；

将所述第一欧式距离与所述第二欧式距离的和作为所述损失函数。

本申请实施例还提供了一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上各个实施例所述的图像修复方法。

本申请实施例还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的图像修复方法。

需要说明的是：在上述实施例提供的图像修复方法中，由计算机设备执行的步骤仅以上述各实施例进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读存储介质中或者作为计算机可读存储介质上的一个或多个指令或代码进行传输。计算机可读存储介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。