图像处理方法、装置、电子设备及存储介质与流程

本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术：

在图像处理应用中，美颜已经成为一项必不可少的技术，通过对图像进行美颜，可以使得图像中人物等对象的瑕疵更少。

相关技术中，针对瑕疵的美颜算法一般可以分为两步，一是瑕疵检测，二是瑕疵填充。当前瑕疵检测方法一般较快且效果稳定，而瑕疵填充主要包括以下两种：patchmatch(区域匹配)和inpainting(补全)。其中，patchmatch的方式需要结合参考图像或者目标图像的非瑕疵区域对目标图像(需要进行瑕疵填充的图像)进行全图搜索和匹配，然后填充，计算量巨大且随瑕疵个数线性增加将无法实时，只能在拍照等不要求实时的场景使用；inpainting方法可以根据目标图像自身或图像库信息来补全待填充区域，虽然速度相较于前者较快，但是填充后为纯色色块，导致填充后的图像缺失纹理、视觉不和谐；因此，相关技术中存在图像瑕疵填充处理速度慢、填充效果差的问题。

技术实现要素：

本公开提供一种对象图像处理方法、装置及系统，以至少解决相关技术中图像瑕疵填充处理速度慢、填充效果差的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种图像处理方法，包括：

获取包含目标对象的待处理图像；

对所述待处理图像进行目标对象检测，得到目标对象区域图像；

对所述目标对象区域图像进行瑕疵检测，得到目标对象瑕疵掩膜图像；

将所述目标对象区域图像和所述目标对象瑕疵掩膜图像输入第一图像瑕疵填充网络，对所述目标对象区域图像的瑕疵区域进行填充处理，得到初始对象填充图像；

将所述初始对象填充图像和所述目标对象瑕疵掩膜图像输入第二图像瑕疵填充网络，对所述初始对象填充图像的瑕疵区域进行填充处理，得到目标对象填充图像；

基于所述目标对象填充图像对所述待处理图像进行修正，得到目标对象图像。

可选的，所述第一图像瑕疵填充网络包括第一编码网络和第一解码网络，所述将所述目标对象区域图像和所述目标对象瑕疵掩膜图像输入第一图像瑕疵填充网络，对所述目标对象区域图像的瑕疵区域进行填充处理，得到初始对象填充图像包括：

将所述目标对象区域图像和所述目标对象瑕疵掩膜图像输入所述第一编码网络，利用所述第一编码网络对所述目标对象区域图像和所述目标对象瑕疵掩膜图像进行特征抽象，得到瑕疵填充特征信息；

将所述瑕疵填充特征信息输入所述第一解码网络，利用所述第一解码网络对所述瑕疵填充特征信息进行对象重建处理，得到所述初始对象填充图像。

可选的，所述第二图像瑕疵填充网络包括第二编码网络和第二解码网络；所述第二编码网络包括第一编码分支网络和第二编码分支网络；

所述将所述初始对象填充图像和所述目标对象瑕疵掩膜图像输入第二图像瑕疵填充网络，对所述初始对象填充图像的瑕疵区域进行填充处理，得到目标对象填充图像包括：

将所述初始对象填充图像和所述目标对象瑕疵掩膜图像输入所述第一编码分支网络，利用所述第一编码分支网络对所述初始对象填充图像和所述目标对象瑕疵掩膜图像进行全局特征抽象，得到全局特征信息；

将所述初始对象填充图像和所述目标对象瑕疵掩膜图像输入所述第二编码分支网络，利用所述第二编码分支网络对所述初始对象填充图像和所述目标对象瑕疵掩膜图像进行局部特征搜索，得到局部特征信息，所述局部特征信息表征所述初始对象填充图像的瑕疵区域预设范围内的图像纹理和/或颜色信息；

将所述全局特征信息和所述局部特征信息输入所述第二解码网络，利用所述第二解码网络对所述全局特征信息和所述局部特征信息进行对象重建处理，得到当前初始对象填充图像。

可选的，所述基于所述目标对象填充图像对所述待处理图像进行修正，得到目标对象图像包括：

确定所述待处理图像中的瑕疵区域位置信息；

获取所述目标对象填充图像中与所述瑕疵区域位置信息对应的图像块；

基于所述瑕疵区域位置信息，将所述待处理图像中的瑕疵区域替换为所述对应的图像块，得到所述目标对象图像；

或，

确定所述待处理图像中的目标对象位置信息；

基于所述目标对象位置信息，将所述待处理图像中的目标对象区域图像替换为所述目标对象填充图像，得到所述目标对象图像。

可选的，在基于所述目标对象填充图像对所述待处理图像进行修正，得到目标对象图像之前，所述方法还包括：

将所述目标对象填充图像和所述目标对象瑕疵掩膜图像输入第三图像瑕疵填充网络，对所述目标对象填充图像的瑕疵区域进行填充处理，得到当前目标对象填充图像；

所述基于所述目标对象填充图像对所述待处理图像进行修正，得到目标对象图像包括：基于所述当前目标对象填充图像对所述待处理图像进行修正，得到所述目标对象图像。

可选的，当所述第三图像瑕疵填充网络包括至少两个按序依次连接的图像瑕疵填充子网络时，所述将所述目标对象填充图像和所述目标对象瑕疵掩膜图像输入第三图像瑕疵填充网络，对所述目标对象填充图像的瑕疵区域进行填充处理，得到当前目标对象填充图像包括：

遍历所述至少两个按序依次连接的图像瑕疵填充子网络，在遍历到每个图像瑕疵填充子网络时，将所述当前目标对象填充图像和所述目标对象瑕疵掩膜图像输入当前遍历到的图像瑕疵填充子网络，对所述当前目标对象填充图像的瑕疵区域进行填充处理，得到更新后目标对象填充图像；将所述当前目标对象填充图像替换为所述更新后目标对象填充图像。

可选的，当所述包含目标对象的待处理图像包括：视频中的包含目标对象的当前帧图像，且所述当前帧图像具有对应的前一帧图像时，在对所述目标对象区域图像进行瑕疵检测，得到目标对象瑕疵掩膜图像之后，所述方法还包括：

对所述当前帧图像对应的目标对象区域图像和所述当前帧图像的前一帧图像对应的目标对象区域图像进行对象一致性检测；

当所述对象一致性检测通过时，获取所述当前帧图像的前一帧图像对应的目标对象填充图像；

将所述前一帧图像的目标对象填充图像、所述当前帧图像对应的目标对象区域图像和所述当前帧图像对应的对象瑕疵掩膜图像输入第四图像瑕疵填充网络，对所述目标对象区域图像的瑕疵区域进行填充处理，得到所述当前帧图像对应的初始对象填充图像；

将所述当前帧图像对应的初始对象填充图像、所述前一帧图像对应的目标对象填充图像和所述当前帧图像对应的对象瑕疵掩膜图像输入第五图像瑕疵填充网络，得到所述当前帧图像对应的目标对象填充图像；

基于所述当前帧图像的目标对象填充图像对所述当前帧图像进行修正，得到所述当前帧图像对应的目标对象图像。

根据本公开实施例的第二方面，提供一种图像处理装置，包括：

待处理图像获取模块，被配置为执行获取包含目标对象的待处理图像；

目标对象检测模块，被配置为执行对所述待处理图像进行目标对象检测，得到目标对象区域图像；

第一瑕疵检测模块，被配置为执行对所述目标对象区域图像进行瑕疵检测，得到目标对象瑕疵掩膜图像；

第一瑕疵填充处理模块，被配置为执行将所述目标对象区域图像和所述目标对象瑕疵掩膜图像输入第一图像瑕疵填充网络，对所述目标对象区域图像的瑕疵区域进行填充处理，得到初始对象填充图像；

第二瑕疵填充处理模块，被配置为执行将所述初始对象填充图像和所述目标对象瑕疵掩膜图像输入第二图像瑕疵填充网络，对所述初始对象填充图像的瑕疵区域进行填充处理，得到目标对象填充图像；

第一图像修正模块，被配置为执行基于所述目标对象填充图像对所述待处理图像进行修正，得到目标对象图像。

可选的，所述第一图像瑕疵填充网络包括第一编码网络和第一解码网络，所述第一瑕疵填充处理模块包括：

特征抽象单元，被配置为执行将所述目标对象区域图像和所述目标对象瑕疵掩膜图像输入所述第一编码网络，利用所述第一编码网络对所述目标对象区域图像和所述目标对象瑕疵掩膜图像进行特征抽象，得到瑕疵填充特征信息；

第一对象重建处理单元，被配置为执行将所述瑕疵填充特征信息输入所述第一解码网络，利用所述第一解码网络对所述瑕疵填充特征信息进行对象重建处理，得到所述初始对象填充图像。

可选的，所述第二图像瑕疵填充网络包括第二编码网络和第二解码网络；所述第二编码网络包括第一编码分支网络和第二编码分支网络；所述第二瑕疵填充处理模块包括：

第一全局特征抽象单元，被配置为执行将所述初始对象填充图像和所述目标对象瑕疵掩膜图像输入所述第一编码分支网络，利用所述第一编码分支网络对所述初始对象填充图像和所述目标对象瑕疵掩膜图像进行全局特征抽象，得到全局特征信息；

第一局部特征搜索单元，被配置为执行将所述初始对象填充图像和所述目标对象瑕疵掩膜图像输入所述第二编码分支网络，利用所述第二编码分支网络对所述初始对象填充图像和所述目标对象瑕疵掩膜图像进行局部特征搜索，得到局部特征信息，所述局部特征信息表征所述初始对象填充图像的瑕疵区域预设范围内的图像纹理和/或颜色信息；

第二对象重建处理单元，被配置为执行将所述全局特征信息和所述局部特征信息输入所述第二解码网络，利用所述第二解码网络对所述全局特征信息和所述局部特征信息进行对象重建处理，得到当前初始对象填充图像。

可选的，所述第一图像修正模块包括：

瑕疵区域位置信息确定单元，被配置为执行确定所述待处理图像中的瑕疵区域位置信息；

图像块获取单元，被配置为执行获取所述目标对象填充图像中与所述瑕疵区域位置信息对应的图像块；

第一图像替换单元，被配置为执行基于所述瑕疵区域位置信息，将所述待处理图像中的瑕疵区域替换为所述对应的图像块，得到所述目标对象图像；

或，

目标对象位置信息确定单元，被配置为执行确定所述待处理图像中的目标对象位置信息；

第二图像替换单元，被配置为执行基于所述目标对象位置信息，将所述待处理图像中的目标对象区域图像替换为所述目标对象填充图像，得到所述目标对象图像。

可选的，所述装置还包括：

第三瑕疵填充处理模块，被配置为执行将所述目标对象填充图像和所述目标对象瑕疵掩膜图像输入第三图像瑕疵填充网络，对所述目标对象填充图像的瑕疵区域进行填充处理，得到当前目标对象填充图像；

所述第一图像修正模块还被配置为执行基于所述当前目标对象填充图像对所述待处理图像进行修正，得到所述目标对象图像。

可选的，当所述第三图像瑕疵填充网络包括至少两个按序依次连接的图像瑕疵填充子网络时，所述第三瑕疵填充处理模块包括：

第一遍历单元，被配置为执行遍历所述至少两个按序依次连接的图像瑕疵填充子网络；

第一瑕疵填充处理子单元，被配置为执行在遍历到每个图像瑕疵填充子网络时，将所述当前目标对象填充图像和所述目标对象瑕疵掩膜图像输入当前遍历到的图像瑕疵填充子网络，对所述当前目标对象填充图像的瑕疵区域进行填充处理，得到更新后目标对象填充图像；

第三图像替换单元，被配置为执行将所述当前目标对象填充图像替换为所述更新后目标对象填充图像。

可选的，当所述包含目标对象的待处理图像包括：视频中的包含目标对象的当前帧图像，且所述当前帧图像具有对应的前一帧图像时，所述装置还包括：

对象一致性检测检测模块，被配置为执行在对所述目标对象区域图像进行瑕疵检测，得到目标对象瑕疵掩膜图像之后，对所述当前帧图像对应的目标对象区域图像和所述当前帧图像的前一帧图像对应的目标对象区域图像进行对象一致性检测；

目标对象填充图像获取模块，被配置为执行当所述对象一致性检测通过时，获取所述当前帧图像的前一帧图像对应的目标对象填充图像；

第七瑕疵填充处理模块，被配置为执行将所述前一帧图像的目标对象填充图像、所述当前帧图像对应的目标对象区域图像和所述当前帧图像对应的对象瑕疵掩膜图像输入第四图像瑕疵填充网络，对所述目标对象区域图像的瑕疵区域进行填充处理，得到所述当前帧图像对应的初始对象填充图像；

第八瑕疵填充处理模块，被配置为执行将所述当前帧图像对应的初始对象填充图像、所述前一帧图像对应的目标对象填充图像和所述当前帧图像对应的对象瑕疵掩膜图像输入第五图像瑕疵填充网络，得到所述当前帧图像对应的目标对象填充图像；

第二图像修正模块，被配置为执行基于所述当前帧图像的目标对象填充图像对所述当前帧图像进行修正，得到所述当前帧图像对应的目标对象图像。

根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如上述第一方面中任一项所述的方法。

根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行本公开实施例的第一方面中任一所述方法。

根据本公开实施例的第五方面，提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例的第一方面中任一所述方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

通过对需要进行瑕疵填充的待处理图像进行目标对象检测，以及对检测出的目标对象区域图像进行瑕疵检测，可以得到精准区分待处理图像的瑕疵区域和非瑕疵区域的目标对象瑕疵掩膜图像；然后，结合第一图像瑕疵填充网络和目标对象瑕疵掩膜图像对目标对象区域图像的瑕疵区域进行初步的填充处理，得到初始对象填充图像，实现初步的目标对象图像重建后，结合第二图像瑕疵填充网络和目标对象瑕疵掩膜图像对初始对象填充图像的瑕疵区域再次进行填充处理，实现精细化的目标对象图像重建；可以增加图像瑕疵填充网络对对象区域图像的瑕疵区域进行填充处理时的图像特征信息，同时通过对象瑕疵掩膜图像，可以精准定位目标对象区域图像的瑕疵区域，大大提高瑕疵填充的精准性，可以快速获取符合对象纹理、颜色、视觉和谐的目标对象填充图像，有效改善了瑕疵填充效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1根据一示例性实施例示出的一种应用环境的示意图；

图2是根据一示例性实施例示出的一种图像瑕疵填充网络确定方法的流程图；

图3是根据一示例性实施例示出的一种第一神经网络的部框图；

图4是根据一示例性实施例示出的一种第一神经网络的框图；

图5是根据一示例性实施例示出的一种第二神经网络的部分框图；

图6是根据一示例性实施例示出的一种第二神经网络的框图；

图7是根据一示例性实施例示出的一种训练第一神经网络和第二神经网络，得到第一图像瑕疵填充网络和第二图像瑕疵填充网络的流程图；

图8是根据一示例性实施例示出的一种计算第一损失信息的流程图；

图9是根据一示例性实施例示出的一种图像处理方法的流程图；

图10是根据一示例性实施例示出的一种图像处理方法的流程图；

图11是根据一示例性实施例示出的一种图像处理方法的流程图；

图12是根据一示例性实施例示出的一种图像处理装置框图；

图13是根据一示例性实施例示出的一种用于图像处理的电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

请参阅图1，图1根据一示例性实施例示出的一种应用环境的示意图，如图1所示，该应用环境可以包括服务器01和终端02。

在一个可选的实施例中，服务器01可以用于确定能够进行图像瑕疵填充处理的图像瑕疵填充网络。具体的，服务器01可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(contentdeliverynetwork，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。

在一个可选的实施例中，终端02可以结合服务器01确定出的图像瑕疵填充网络进行图像瑕疵处理。具体的，终端02可以包括但不限于智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实(augmentedreality，ar)/虚拟现实(virtualreality，vr)设备、智能可穿戴设备等类型的电子设备。可选的，电子设备上运行的操作系统可以包括但不限于安卓系统、ios系统、linux、windows等。

此外，需要说明的是，图1所示的仅仅是本公开提供的图像处理方法的一种应用环境，在实际应用中，还可以包括其他应用环境，例如图像瑕疵填充网络的确定，也可以在终端02上实现。

本说明书实施例中，上述服务器01以及终端02可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

图2是根据一示例性实施例示出的一种图像瑕疵填充网络确定方法的流程图，如图2所示，图像瑕疵填充网络确定方法可以应用于服务器、终端等电子设备中，包括以下步骤。

在步骤s201中，获取样本对象区域图像和样本对象区域图像对应的目标样本填充图像。

在一个可选的实施例中，获取的样本对象区域图像可以包括至少两个作为第一待训练神经网络的训练数据的对象区域图像，每个对象区域图像对应一个目标样本填充图像。可选的，每个对象区域图像可以为从一个样本对象图像中提取的对象所在区域的图像。具体的，样本对象图像可以为包括本身具有瑕疵的对象的图像。在实际应用中，对象可以结合实际应用场景确定，例如一些人物的拍摄场景中，对象可以为面部；再例如一些饰品的拍摄场景中，对象可以为用于展示饰品的手部，颈部等。或者一些服饰的拍摄场景中，对象可以为服饰等，本说明书实施例中对象可以包括但不限于面部、手部、腿部、颈部、服饰，具体的可以实际应用场景对应更多的对象。

在一个具体的实施例中，当对象为面部时，瑕疵可以包括但不限于痘痘、伤疤、胎记、斑、痘印等。在另一个具体的实施例中，当对象为手部时，瑕疵可以包括但不限于伤疤、胎记等。在另一个具体的实施例中，当对象为服饰时，瑕疵可以包括但不限于污渍、褶皱等。

在一个可选的实施例中，目标样本填充图像可以为预先结合ps等技术对对应的对象区域图像的瑕疵区域进行填充处理，得到的瑕疵区域被填充好的图像。

在步骤s203中，对样本对象区域图像进行瑕疵检测，得到样本瑕疵掩膜图像；

可选的，本说明书实施例中样本瑕疵掩膜图像可以为样本对象区域图像对应的瑕疵掩膜图像，本说明书实施例中，瑕疵掩膜图像可以为二值图像，例如瑕疵部分是白色，非瑕疵部分是黑色的图像。

在一个可选的实施例中，对样本对象区域图像进行瑕疵检测可以结合深度学习的方法，具体的，当结合深度学习的方法进行瑕疵检测时，可以以大量具有瑕疵的对象区域图像和对应的瑕疵掩膜图像为训练数据，对神经网络进行训练得到瑕疵检测网络，该瑕疵检测网络可以用于以一个新的对象区域图像(对象本身具有瑕疵)为输入，进行瑕疵检测，得到对应的瑕疵掩膜图像。相应的，对样本对象区域图像进行瑕疵检测，得到样本瑕疵掩膜图像可以包括基于瑕疵检测网络对样本对象区域图像进行瑕疵检测，得到样本瑕疵掩膜图像。

此外，在实际应用中，对样本对象区域图像进行瑕疵检测并不仅限于上述的结合深度学习的方法，在实际应用中还可以结合其他方式，例如结合图像梯度计算，检测出瑕疵区域等。

在步骤s205中，将样本对象区域图像和样本瑕疵掩膜图像输入第一神经网络，对样本对象区域图像的瑕疵区域进行填充处理，得到样本对象区域图像对应的初始样本填充图像。

本说明书实施例中，第一待训练神经网络可以包括第一神经网络，在一个具体的实施例中，参照图3，图3是根据一示例性实施例示出的一种第一神经网络的部框图。具体的，第一神经网络可以包括第一待训练编码网络和第一待训练解码网络；第一待训练编码网络可以包括卷积层和池化层(图3中仅示出卷积层)，用于特征抽象，第一待训练解码网络可以包括卷积层和上采样层组成(图3中仅示出卷积层)，用于进行对象重建。相应的，将样本对象区域图像和样本瑕疵掩膜图像输入第一神经网络，对样本对象区域图像的瑕疵区域进行填充处理，得到样本对象区域图像对应的初始样本填充图像可以包括：将样本对象区域图像和样本瑕疵掩膜图像输入第一待训练编码网络，利用第一待训练编码网络对样本对象区域图像和样本瑕疵掩膜图像进行特征抽象，得到样本瑕疵填充特征信息；将样本瑕疵填充特征信息输入第一待训练解码网络，利用第一待训练解码网络对样本瑕疵填充特征信息进行对象重建处理，得到样本对象区域图像对应的初始样本填充图像。

在实际应用中，数据往往不是线性可分的，为了引入非线性因数，可以在神经网络中引入激活层。另外，为了防止神经网络训练过程中梯度爆炸和梯度消失，可以在神经网络中引入归一化层。相应的，本说明书实施例中，第一神经网络的每个卷积层之后可以依次连接归一化层和激活层。

本说明书实施例中，第一神经网络中包括的卷积层、池化层和上采样层的数量可以结合实际应用需求进行设置。在一个具体的实施例中，如图4所示，图4是根据一示例性实施例示出的一种第一神经网络的框图。具体的，图中的卷积模块可以包括依次连接的卷积层、归一化层和激活层。具体的，卷积层、归一化层、激活层、池化层的大小以及上采样层的上采样倍数可以结合实际应用需求设置。可选的，图4中，输入可以为小分辨率的图像，例如384*384样本对象区域图像和384*384样本瑕疵掩膜图像，从输入开始第一待训练编码网络可以依次包括5*5的卷积模块、2*2的池化层、3*3的卷积模块、3*3的卷积模块、2*2的池化层、3*3的卷积模块、3*3的卷积模块；第一待训练解码网络依次可以包括3*3的卷积模块、3*3的卷积模块、2倍上采样倍数的上采样层、3*3的卷积模块、3*3的卷积模块、2倍上采样倍数的上采样层、3*3的卷积模块。经过上述第一待训练编码网络和第一待训练解码网络可以得到384*384的初始样本填充图像。

在步骤s207中，将初始样本填充图像和样本瑕疵掩膜图像输入第二神经网络，对初始样本填充图像的瑕疵区域进行填充处理，得到样本对象区域图像对应的预测样本填充图像。

本说明书实施例中，第一待训练神经网络还可以包括第二神经网络，在一个具体的实施例中，如图5所示，图5是根据一示例性实施例示出的一种第二神经网络的部分框图。具体的，第二神经网络可以包括第二待训练编码网络和第二待训练解码网络；其中，第二待训练编码网络可以包括第一待训练编码分支网络和第二待训练编码分支网络；具体的，第二待训练编码网络可以包括卷积层和池化层(图5中仅示出卷积层)，其中，第一待训练编码分支网络可以用于进行全局特征抽象，第二待训练编码分支网络可以用于进行局部特征搜索；第二待训练解码网络可以包括卷积层和上采样层(图5中仅示出卷积层)，第二待训练解码网络可以将第一待训练编码分支网络和第二待训练编码分支网络的信息融合后进行对象重建。相应的，将初始样本填充图像和样本瑕疵掩膜图像输入第二神经网络，对初始样本填充图像的瑕疵区域进行填充处理，得到样本对象区域图像对应的预测样本填充图像可以包括：将初始样本填充图像和样本瑕疵掩膜图像输入第一待训练编码分支网络，利用第一待训练编码分支网络对初始样本填充图像和样本瑕疵掩膜图像进行全局特征抽象，得到全局样本特征信息；将初始样本填充图像和样本瑕疵掩膜图像输入第二待训练编码分支网络，利用第二待训练编码分支网络对初始样本填充图像和样本瑕疵掩膜图像进行局部特征搜索，得到样本局部特征信息；将样本全局特征信息和样本局部特征信息输入第二待训练解码网络，利用第二待训练解码网络对样本全局特征信息和样本局部特征信息进行对象重建处理，得到预测样本填充图像。

本说明书实施例中，局部特征搜索可以为对初始样本填充图像的瑕疵区域附近(即预设范围内)进行纹理和/或颜色特征的搜索。相应的，上述样本局部特征信息表征初始样本填充图像的瑕疵区域预设范围内的图像纹理和/或颜色信息。通过在对象重建处理过程中融入局部特征搜索得到的局部特征信息可以大大提高被填充区域(瑕疵区域)在视觉上跟附近区域的和谐性。

在实际应用中，数据往往不是线性可分的，为了引入非线性因数，可以在神经网络中引入激活层。另外，为了防止神经网络训练过程中梯度爆炸和梯度消失，可以在神经网络中引入归一化层。相应的，本说明书实施例中，第二神经网络的每个卷积层之后可以依次连接归一化层和激活层。

在一个可选的实施例中，在第二待训练解码网络中，可以先对样本全局特征信息和样本局部特征信息进行融合，得到融合特征信息；然后，基于融合特征信息进行对象重建处理。可选的，对样本全局特征信息和样本局部特征信息进行融合可以为将样本全局特征信息和样本局部特征信息进行拼接处理。

本说明书实施例中，第二神经网络中包括的卷积层、池化层和上采样层的数量可以结合实际应用需求进行设置。在一个具体的实施例中，如图6所示，图6是根据一示例性实施例示出的一种第二神经网络的框图。具体的，图6中的卷积模块可以包括依次连接的卷积层、归一化层和激活层。具体的，卷积层、归一化层、激活层、池化层的大小以及上采样层的上采样倍数可以结合实际应用需求设置。可选的，图6中，输入可以为小分辨率的图像，例如384*384初始样本填充图像和384*384样本瑕疵掩膜图像，从输入开始第二待训练编码网络的第一待训练编码分支网络可以依次包括5*5的卷积模块、2*2的池化层、3*3的卷积模块、3*3的卷积模块、2*2的池化层、3*3的卷积模块、3*3的卷积模块、3*3的卷积模块、3*3的卷积模块；第二待训练编码分支网络可以依次包括5*5的卷积模块、2*2的池化层、3*3的卷积模块、3*3的卷积模块、2*2的池化层、3*3的卷积模块、3*3的卷积模块；第二待训练解码网络可以依次包括拼接模块、3*3的卷积模块、3*3的卷积模块、3*3的卷积模块、2倍上采样倍数的上采样层、3*3的卷积模块、3*3的卷积模块、2倍上采样倍数的上采样层、3*3的卷积模块。经过上述第二待训练编码网络和第二待训练解码网络可以得到384*384的预测样本填充图像。

本说明书实施例中，在利用第一神经网络对样本对象区域图像的瑕疵区域进行填充处理，得到初始样本填充图像后，再结合第二神经网络对初始样本填充图像的瑕疵区域进行再次填充，通过上述两个编码+解码结构的神经网络，可以提高抽象样本对象区域图像语义的能力，并实现精细化的样本对象区域图像重建，可以保证即使是小分辨率的输入图像，也能充分提取图像特征信息，改善填充效果，实现整个网络在一个固定的较小的分辨率上进行，大大提高瑕疵填充的处理速度。且在进行瑕疵填充过程中结合样本瑕疵掩膜图像，可以实现瑕疵填充过程中对待填充区域(瑕疵区域)的定位，进而提高瑕疵填充的精准性，改善填充效果。

在步骤s209中，根据样本对象区域图像对应的初始样本填充图像、预测样本填充图像和目标样本填充图像，训练第一神经网络和第二神经网络，得到第一图像瑕疵填充网络和第二图像瑕疵填充网络。

在一个可选的实施例中，如图7所示，图7是根据一示例性实施例示出的一种根据样本对象区域图像对应的初始样本填充图像、预测样本填充图像和目标样本填充图像，训练第一神经网络和第二神经网络，得到第一图像瑕疵填充网络和第二图像瑕疵填充网络方法的流程图，具体的，该方法的步骤可以包括：

在步骤s701中，根据样本对象区域图像对应的初始样本填充图像和目标样本填充图像，计算第一损失信息；

本说明书实施例中，第一损失信息可以表征初始样本填充图像和目标样本填充图像间的差异程度，第一损失信息的数值大小与第一神经网络的鲁棒性成反比。第二损失信息可以表征预测样本填充图像和目标样本填充图像间的差异程度，第二损失信息的数值大小与第二神经网络的鲁棒性成反比。

在一个可选的实施例中，第一损失信息和第二损失信息均可以包括回归损失、分类损失和感知损失。相应的，如图8所示，图8是根据一示例性实施例示出的一种计算第一损失信息方法的流程图，具体可以包括：

在步骤s7011中，基于第一回归损失函数计算样本对象区域图像对应的初始样本填充图像和目标样本填充图像间的第一回归损失；

本说明书实施例中，第一回归损失函数可以包括但不限于l2损失函数(均方误差)、l1(损失函数平均绝对误差)、huber损失函数(平滑平均绝对误差)等回归损失函数。第一回归损失可以表征初始样本填充图像与目标样本填充图像在每个像素点上的差异程度。

在步骤s7013中，基于第一分类损失函数计算初始样本填充图像对应的第一分类损失；

本说明书实施例中，第一分类损失函数可以包括但不限于逻辑损失函数、hinge(铰链)损失函数、指数损失函数等分类损失函数。第一分类损失可以表征初始样本填充图像的分布和目标样本填充图像的分布之间的距离。具体的，第一神经网络在训练过程中，可以输出初始样本填充图像的是否为真实图像的预测标签，假设真实图像对应的标签为1，非真实图像对应的标签为0，由于初始样本填充图像本身是样本对象区域图像进行特征抽象和对象重建后的图像，故初始样本填充图像的真实标签为0。相应的，可以基于第一分类损失函数计算初始样本填充图像的预测标签和真实标签间的损失，得到第一分类损失。

在另一个可选的实施例中，为了更好的降低初始样本填充图像的分布和目标样本填充图像的分布之间的距离，第一分类损失除上述输出对应的损失(初始样本填充图像的预测标签和真实标签间的损失)外，还可以包括输入对应的损失，相应的，可以基于第一分类损失函数计算样本对象区域图像的预测标签和真实标签(由于样本对象区域图像为真实的图像，样本对象区域图像的真实标签为1)间的损失。可选的，可以将输出对应的损失和输入对应的损失进行相加，得到第一分类损失。另外，也可以输出对应的损失和输入对应的损失进行平均加权处理，得到第一分类损失。

在步骤s7015中，基于第一预设神经网络，计算样本对象区域图像对应的初始样本填充图像和目标样本填充图像间的第一感知损失；

本说明书实施例中，第一感知损失可以表征初始样本填充图像和目标样本填充图像在语义上的差异程度。在一个可选的实施例中，第一预设神经网络可以为包括预设数量的卷积层的神经网络，用于提取样本对象区域图像对应的初始样本填充图像和目标样本填充图像的特征信息，然后，基于预设回归损失函数来计算初始样本填充图像的特征信息和目标样本填充图像的特征信息间的损失，得到第一感知损失。

在一个可选的实施例中，第一预设神经网络可以为用于进行对象识别的神经网络。本说明书实施例中，通过用于进行对象识别的神经网络来提取样本对象区域图像对应的初始样本填充图像和目标样本填充图像的特征信息，可以提高提取的特征信息表征对象的能力，进而更好的提高初始样本填充图像和目标样本填充图像在语义上的相似性，有效提高训练好的图像瑕疵填充网络填充瑕疵的效果。

在步骤s7017中，根据第一回归损失、第一分类损失和第一感知损失，确定第一损失信息。

在一个可选的实施例中，可以将第一回归损失、第一分类损失和第一感知损失相加作为第一损失信息。在另一个可选的实施例中，可以将第一回归损失第一分类损失和第一感知损失进行平均加权处理，得到第一损失信息。

在步骤s703中，根据预测样本填充图像和目标样本填充图像，计算第二损失信息；

在一个可选的实施例中，根据预测样本填充图像和目标样本填充图像，计算第二损失信息可以包括：基于第二回归损失函数计算样本对象区域图像对应的预测样本填充图像和目标样本填充图像间的第二回归损失；基于第二分类损失函数计算预测样本填充图像对应的第二分类损失；基于第二预设神经网络，计算样本对象区域图像对应的预测样本填充图像和目标样本填充图像间的第二感知损失；根据第二回归损失、第二分类损失和第二感知损失，确定第二损失信息。

本说明书实施例中，根据样本对象区域图像对应的预测样本填充图像和目标样本填充图像，计算第二损失信息的具体细化可参见计算第一损失信息的具体细化，在此不再赘述。

在步骤s705中，根据第一损失信息和第二损失信息确定第三损失信息。

在一个可选的实施例中，输入第一待训练神经网络的样本对象区域图像为至少两个用于作为训练数据的对象区域图像，相应的，可以将每个对象区域图像对应的第一损失信息和对应的第二损失信息相加，得到该对象区域图像对应的第三损失信息。

在步骤s707中，根据第三损失信息训练第一神经网络和第二神经网络，得到第一图像瑕疵填充网络和第二图像瑕疵填充网络。

在一个可选的实施例中，根据第三损失信息训练第一神经网络和第二神经网络，得到第一图像瑕疵填充网络和第二图像瑕疵填充网络可以包括，判断第三损失信息是否满足预设条件；当第三损失信息中未满足预设条件时，基于梯度下降法调整第一神经网络和第二神经网络中的网络参数，基于调整网络参数后的第一神经网络和第二神经网络重复上述瑕疵填充学习、计算第一损失信息、计算第二损失信息和确定第三损失信息的步骤；当第三损失信息满足预设条件时，将当前的第一神经网络作为图像瑕疵填充网络，将当前的第二神经网络作为第二图像瑕疵填充网络。

在一个可选的实施例中，第一损失信息满足预设条件可以为输入第一待训练神经网络(第一神经网络)的样本对象区域图像中预设百分比的对象区域图像对应的第三损失信息小于等于指定阈值，或前后两次训练过程中对应的第三损失信息总量(即损失值总和)与上一次训练学习后对应的第三损失信息总量间的差值小于一定阈值。本说明书实施例中，预设百分比和指定阈值可以为结合实际训练需求进行设置。

本说明书实施例中，在第一待训练神经网络训练过程中，以回归损失、分类损失和感知损失作为损失信息，可以让第一待训练神经网络输出的预测的瑕疵填充图像与目标样本填充图像在每个像素点上尽可能近似，且预测的瑕疵填充图像的分布和目标样本填充图像的分布之间的距离尽可能逼近；且预测的瑕疵填充图像和目标样本填充图像在语义上更加相似，进而可以有效提高训练好的图像瑕疵填充网络填充瑕疵的效果。

此外，需要说明的是，本说明书实施例中第一待训练神经网络并不仅限于上述的网络结构，在实际应用中还可以包括其他变体形式的神经网络，例如包括更多的神经网络等。

在一个可选的实施例中，第一待训练神经网络还可以包括第三神经网络，相应的，在步骤s209之前，上述方法还可以包括：

将预测样本填充图像和样本瑕疵掩膜图像输入第三神经网络，对预测样本填充图像的瑕疵区域进行填充处理，得到当前预测样本填充图像；

将第一神经网络对应的初始样本填充图像和第二神经网络对应的预测样本填充图像作为样本对象区域图像对应的初始样本填充图像；

相应的，步骤s209可以包括：根据样本对象区域图像对应的初始样本填充图像、当前预测样本填充图像和目标样本填充图像，训练第一神经网络、第二神经网络和第三神经网络，得到第一图像瑕疵填充网络、第二图像瑕疵填充网络和第三图像瑕疵填充网络。

本说明书实施例中，第三神经网络的网络结构和训练过程的具体细化可以参见上述第二神经网络，在此不再赘述。

在一个可选的实施例中，第三神经网络包括至少两个按序依次连接的子神经网络，相应的，将预测样本填充图像和样本瑕疵掩膜图像输入第三神经网络，对预测样本填充图像的瑕疵区域进行填充处理，得到当前预测样本填充图像可以包括：遍历至少两个按序依次连接的子神经网络，在遍历到每个子神经网络时，将当前预测样本填充图像和本瑕疵掩膜图像输入当前遍历到的子神经网络，对当前预测样本填充图像的瑕疵区域进行填充处理，得到更新后预测样本填充图像；将当前预测样本填充图像替换为更新后预测样本填充图像；将第一神经网络对应的初始样本填充图像、第二神经网络对应的预测样本填充图像和第三神经网络中除最后一个子神经网络对应的更新后预测样本填充图像作为样本对象区域图像对应的初始样本填充图像。

本说明书实施例中，第三神经网络中每个子神经网络的网络结构和训练过程的具体细化可以参见上述第二神经网络，在此不再赘述。

此外，需要说明的是，在实际应用中，可以针对不同对象的不同瑕疵训练不同的图像瑕疵填充网络，以便不同应用场景下对包含不同对象的不同瑕疵的填充处理需求。

由上述本说明书实施例提供的技术方案可见，本说明书中结合深度学习算法来训练得到用于进行瑕疵填充的图像瑕疵填充网络(至少包括第一图像瑕疵填充网络和第二图像瑕疵填充网络)，训练过程中，在利用第一神经网络对样本对象区域图像的瑕疵区域进行填充处理，得到初始样本填充图像后，再结合第二神经网络对初始样本填充图像的瑕疵区域进行再次填充，可以提高抽象样本对象区域图像语义的能力，并实现精细化的样本对象区域图像重建，可以保证即使是小分辨率的输入图像，也能充分提取图像特征信息，改善填充效果，实现整个网络在一个固定的较小的分辨率上进行，大大提高瑕疵填充的处理速度。且在进行瑕疵填充过程中结合样本瑕疵掩膜图像，可以实现瑕疵填充过程中对待填充区域(瑕疵区域)的定位，进而提高瑕疵填充的精准性，改善填充效果。

基于上述训练好的图像瑕疵填充网络，以下介绍本说明书实施例提供的图像处理方法的实施例。图9是根据一示例性实施例示出的一种图像处理方法的流程图。图像处理方法可以应用于终端等电子设备中，包括以下步骤。

在步骤s901中，获取包含目标对象的待处理图像。

本说明书实施例中，待处理图像可以包括本身具有瑕疵的目标对象的图像。具体的，待处理图像中的对象可以包括一个或多个。在实际应用中，待处理图像可以为单个图像，也可以为视频中的每个帧图像。在一个可选的实施例中，待处理图像可以为实时获取，例如，在拍照场景中，响应于拍摄指令，获取摄像设备当前检测到的包含目标对象的图像；或在实时视频直播，视频通话场景中，待处理图像可以为实时视频中检测到的每个帧包含目标对象的图像。

在步骤s903中，对待处理图像进行目标对象检测，得到目标对象区域图像。

在一个可选的实施例中，对待处理图像进行目标对象检测可以结合深度学习的方法，具体的，可以结合预先训练好的对象检测网络来对待处理图像进行目标对象检测，得到该待处理图像对应的目标对象区域图像。

具体的，对象检测网络可以结合训练图像和对应的对象标签对预设的神经网络进行对象检测训练得到。具体的，训练图像可以包括包含对象的图像和不包含对象的图像。相应的，包含对应的图像对应的对象标签可以为对象所在区域的位置标签，不包含对象的图像对应的对象标签可以为对象所在区域为空的标签(在实际应用中，可以用0来表示对象所在区域为空)。

在步骤s905中，对目标对象区域图像进行瑕疵检测，得到目标对象瑕疵掩膜图像。

本说明书实施例中，对目标对象区域图像进行瑕疵检测的具体细化可以参见上述对样本对象区域图像进行瑕疵检测的具体细化，在此不再赘述。

在步骤s907中，将目标对象区域图像和目标对象瑕疵掩膜图像输入第一图像瑕疵填充网络，对目标对象区域图像的瑕疵区域进行填充处理，得到初始对象填充图像。

本说明书实施例中，第一图像瑕疵填充网络可以包括第一编码网络和第一解码网络，其中，第一编码网络可以为训练好的第一待训练编码网络；第一解码网络可以为训练好的第一待训练解码网络。相应的，将目标对象区域图像和目标对象瑕疵掩膜图像输入第一图像瑕疵填充网络，对目标对象区域图像的瑕疵区域进行填充处理，得到初始对象填充图像可以包括：将目标对象区域图像和目标对象瑕疵掩膜图像输入第一编码网络，利用第一编码网络对目标对象区域图像和目标对象瑕疵掩膜图像进行特征抽象，得到瑕疵填充特征信息；将瑕疵填充特征信息输入第一解码网络，利用第一解码网络对瑕疵填充特征信息进行对象重建处理，得初始对象填充图像。

本说明书实施例中，利用第一图像瑕疵填充网络对目标对象区域图像进行特征抽象后在进行对象重建处理，可以实现对目标对象区域图像的瑕疵区域的初步填充。

在步骤s909中，将初始对象填充图像和目标对象瑕疵掩膜图像输入第二图像瑕疵填充网络，对初始对象填充图像的瑕疵区域进行填充处理，得到目标对象填充图像。

本说明书实施例中，目标对象填充图像可以为对目标对象区域图像的瑕疵区域进行填充后的图像。在一个可选的实施例中，第二图像瑕疵填充网络可以包括第二编码网络和第二解码网络，其中，第二编码网络可以为训练好的第二待训练编码网络，第二解码网络可以为训练好的第二待训练解码网络；可选的，第二编码网络可以包括第一编码分支网络和第二编码分支网络；相应的，第一编码分支网络可以为训练好的第一待训练编码分支网络；第二编码分支网络可以为训练好的第二待训练编码分支网络。相应的，将初始对象填充图像和目标对象瑕疵掩膜图像输入第二图像瑕疵填充网络，对初始对象填充图像的瑕疵区域进行填充处理，得到目标对象填充图像可以包括：将初始对象填充图像和目标对象瑕疵掩膜图像输入第一编码分支网络，利用第一编码分支网络对初始对象填充图像和目标对象瑕疵掩膜图像进行全局特征抽象，得到全局特征信息；将初始对象填充图像和目标对象瑕疵掩膜图像输入第二编码分支网络，利用第二编码分支网络对初始对象填充图像和目标对象瑕疵掩膜图像进行局部特征搜索，得到局部特征信息；将全局特征信息和局部特征信息输入第二解码网络，利用第二解码网络对全局特征信息和局部特征信息进行对象重建处理，得到当前初始对象填充图像。

在一个可选的实施例中，在第二解码网络中，可以先对全局特征信息和局部特征信息进行融合，得到融合特征信息；然后，基于融合特征信息进行对象重建处理。可选的，对全局特征信息和局部特征信息进行融合可以为将全局特征信息和局部特征信息进行拼接处理。

本说明书实施例中，局部特征搜索可以为对初始对象填充图像的瑕疵区域附近(即预设范围内)进行纹理和/或颜色特征的搜索。相应的，上述局部特征信息可以表征初始对象填充图像的瑕疵区域预设范围内的图像纹理和/或颜色信息。通过在对象重建处理过程中融入局部特征搜索得到的局部特征信息可以大大提高被填充区域(瑕疵区域)在视觉上跟附近区域的和谐性，获取符合对象纹理、颜色、视觉和谐的目标对象填充图像。

本说明书实施例中，通过对需要进行瑕疵填充的目标对象区域图像，结合第一图像瑕疵填充网络和目标对象瑕疵掩膜图像对目标对象区域图像的瑕疵区域进行初步的填充，得到初始对象填充图像，实现初步的目标对象图像重建后，结合第二图像瑕疵填充网络和目标对象瑕疵掩膜图像对初始对象填充图像的瑕疵区域再次进行填充，实现精细化的目标对象图像重建，同时在填充过程中结合目标对象瑕疵掩膜图像，可以精准定位目标对象区域图像和初始对象填充图像的瑕疵区域，大大提高瑕疵填充的精准性，有效改善填充效果。

在步骤s911中，基于目标对象填充图像对待处理图像进行修正，得到目标对象图像。

在一个可选的实施例中，可以将目标对象填充图像来替换待处理图像中的目标对象区域图像。相应的，基于目标对象填充图像对待处理图像进行修正，得到目标对象图像可以包括：确定待处理图像中的目标对象位置信息；基于目标对象位置信息，将待处理图像中的目标对象区域图像替换为目标对象填充图像，得到目标对象图像。

在另一个可选的实施例中，也可以将目标对象区域图像中填充好的瑕疵区域来替换待处理图像中的瑕疵区域。相应的，基于目标对象区域图像对待处理图像进行修正，得到目标对象图像可以包括：确定待处理图像中的瑕疵区域位置信息；获取目标对象填充图像中与瑕疵区域位置信息对应的图像块；基于瑕疵区域位置信息，将待处理图像中的瑕疵区域替换为对应的图像块，得到目标对象图像。

在一个可选的实施例中，为了更好的改善瑕疵填充的效果，在基于目标对象填充图像对待处理图像进行修正，得到目标对象图像之前，上述方法还可以包括：将目标对象填充图像和目标对象瑕疵掩膜图像输入第三图像瑕疵填充网络，对目标对象填充图像的瑕疵区域进行填充处理，得到当前目标对象填充图像；

相应的，基于目标对象填充图像对待处理图像进行修正，得到目标对象图像可以包括：基于当前目标对象填充图像对待处理图像进行修正，得到目标对象图像。

在一个可选的实施例中，当上述第三图像瑕疵填充网络包括至少两个按序依次连接的图像瑕疵填充子网络时，将目标对象填充图像和目标对象瑕疵掩膜图像输入第三图像瑕疵填充网络，对目标对象填充图像的瑕疵区域进行填充处理，得到当前目标对象填充图像包括：

遍历至少两个按序依次连接的图像瑕疵填充子网络，在遍历到每个图像瑕疵填充子网络时，将当前目标对象填充图像和目标对象瑕疵掩膜图像输入当前遍历到的图像瑕疵填充子网络，对当前目标对象填充图像的瑕疵区域进行填充处理，得到更新后目标对象填充图像；将当前目标对象填充图像替换为更新后目标对象填充图像。

由上述本说明书实施例提供的技术方案可见，本说明书中通过对需要进行瑕疵填充的待处理图像进行目标对象检测，以及对检测出的目标对象区域图像进行瑕疵检测，可以得到精准区分待处理图像的瑕疵区域和非瑕疵区域的目标对象瑕疵掩膜图像；并将该目标对象瑕疵掩膜图像和目标对象区域图像一起作为预先训练好的图像瑕疵填充网络(至少包括第一图像瑕疵填充网络和第二图像瑕疵填充网络)的输入，在图像瑕疵填充网络中对目标对象区域图像的瑕疵区域进行填充处理，不仅可以增加图像瑕疵填充网络对对象区域图像的瑕疵区域进行填充处理时的图像特征信息，同时通过对象瑕疵掩膜图像，可以精准定位对象区域图像的瑕疵区域，大大提高瑕疵填充的精准性，可以快速获取符合对象纹理、颜色、视觉和谐的目标对象填充图像，有效改善了瑕疵填充效果。

在一个具体的实施例中，以视频场景为例，上述包含目标对象的待处理处理可以为视频中包含目标对象的当前帧图像。请参阅图10，图10是根据一示例性实施例示出的一种图像处理方法的流程图，可以包括以下步骤。

在步骤s1010中，获取当前帧图像。

在步骤s1020中，对当前帧图像进行目标对象检测，得到当前帧图像对应的目标对象区域图像。

在步骤s1030中，对当前帧图像对应的目标对象区域图像进行瑕疵检测，得到当前帧图像对应的目标对象瑕疵掩膜图像。

在步骤s1040中，将当前帧图像对应的目标对象瑕疵掩膜图像和对应的目标对象瑕疵掩膜图像输入第一图像瑕疵填充网络，对该目标对象瑕疵掩膜图像的瑕疵区域进行填充处理，得到当前帧图像对应的初始对象填充图像。

在步骤s1050中，将当前帧图像对应的初始对象填充图像和对应的目标对象瑕疵掩膜图像输入第二图像瑕疵填充网络，对该初始对象填充图像的瑕疵区域进行填充处理，得到当前帧图像对应的目标对象填充图像。

在步骤s1060中，基于当前帧图像对应的目标对象填充图像对当前帧图像进行修正，得到当前帧图像对应的目标对象图像。

在一个可选的实施例中，可以针对视频中每个帧图像进行瑕疵填充处理，得到每个帧图像对应的填充好瑕疵的目标对象图像。

在另一个可选的实施例中，当上述当前帧图像具有对应的前一帧图像时，可以结合当前帧图像的前一帧图像的目标对象填充图像来进行当前帧图像的瑕疵填充。具体的，如图11所示，图11是根据一示例性实施例示出的另一种图像瑕疵处理方法的流程图。在步骤s1030之后，上述还可以包括：

在步骤s1070中，对当前帧图像对应的对象区域图像和当前帧图像的前一帧图像对应的目标对象区域图像进行对象一致性检测。

在步骤s1080中，当对象一致性检测通过时，获取当前帧图像的前一帧图像对应的目标对象区域图像。

在步骤s1090中，将前一帧图像的目标对象填充图像、当前帧图像对应的目标对象区域图像和当前帧图像对应的对象瑕疵掩膜图像输入第四图像瑕疵填充网络，对目标对象区域图像的瑕疵区域进行填充处理，得到当前帧图像的初始对象填充图像。

在步骤s1100中，将当前帧图像的初始对象填充图像、前一帧图像的目标对象填充图像和当前帧图像对应的对象瑕疵掩膜图像输入第五图像瑕疵填充网络，得到当前帧图像的目标对象填充图像。

在步骤s1110中，基于当前帧图像的目标对象填充图像对当前帧图像进行修正，得到当前帧图像对应的目标对象图像。

本说明书实施例中，一致性检测可以用来识别当前帧图像中的对象和当前帧图像的前一帧图像中的对象是否是同一对象；可选的，可以通过计算当前帧图像对应的目标对象区域图像和当前帧图像的前一帧图像对应的目标对象区域图像间的相似度；当相似度大于一定阈值，对象一致性检测通过，即识别出当前帧图像中的对象和当前帧图像的前一帧图像的对象是同一对象，相应的，可以在进行瑕疵填充处理时，引入前一帧图像的目标对象区域图像，进而增加图像瑕疵填充网络对对象区域图像的瑕疵区域进行填充处理时的图像特征信息，可以更好的获取符合对象纹理、颜色、视觉和谐的目标对象填充图像，有效改善了瑕疵填充效果。

本说明书实施例中，第四图像瑕疵填充网络和第五图像瑕疵填充网络可以为预先训练好的可以用于进行瑕疵填充处理的神经网络。在一个可选的实施例中，第四图像瑕疵填充网络和第五图像瑕疵填充网络可以采用下述方法训练得到：

1)获取样本对象区域帧图像、样本对象区域帧图像对应的第一目标样本填充帧图像和样本对象区域帧图像中每一帧图像前一帧图像对应的第二目标样本填充帧图像；

2)对样本对象区域帧图像进行瑕疵检测，得到样本瑕疵掩膜帧图像；

3)将样本对象区域帧图像、样本瑕疵掩膜帧图像和第二目标样本填充帧图像输入第四神经网络，对样本对象区域帧图像的瑕疵区域进行填充处理，得到样本对象区域帧图像对应的初始样本填充帧图像；

4)将初始样本填充帧图像、样本瑕疵掩膜帧图像和第二目标样本填充帧图像输入第五神经网络，对初始样本填充帧图像的瑕疵区域进行填充处理，得到样本对象区域帧图像对应的预测样本填充帧图像；

5)根据样本对象区域帧图像对应的初始样本填充帧图像、预测样本填充帧图像和第一目标样本填充帧图像，训练第四神经网络和第五神经网络，得到第四图像瑕疵填充网络和第五图像瑕疵填充网络。

可选的，样本对象区域帧图像可以包括至少两个作为第二待训练神经网络的训练数据的对象区域帧图像，每个对象区域帧图像可以为从视频数据提取的一帧图像中的对象所在区域的图像。样本对象区域帧图像对应的第一目标样本填充帧图像可以为预先结合ps等技术对对应的对象区域帧图像的瑕疵区域进行填充处理，得到的瑕疵区域被填充好的图像；样本对象区域帧图像中每一帧图像前一帧图像对应的第二目标样本填充帧图像可以为预先结合ps等技术对每一帧图像前一帧图像对应的对象区域帧图像的瑕疵区域进行填充处理，得到的瑕疵区域被填充好的图像。

可选的，第四神经网络的网络结构和训练过程的具体细化可参见上述第一神经网络的网络结构和训练过程的具体细化，区别主要在于第四神经网络的输入与第一神经网络的输入不同。可选的，第五神经网络的网络结构和训练过程的具体细化可参见上述第二神经网络的网络结构和训练过程的具体细化，区别主要在于第五神经网络的输入与第二神经网络的输入不同。相应的，可以将训练好的第四神经网络作为第四图像瑕疵填充网络，可以将训练好的第五神经网络作为第五图像瑕疵填充网络。

可选的，第二待训练神经网络并不仅限于上述的网络结构，在实际应用中还可以包括其他变体形式的神经网络，例如包括更多的神经网络等。具体的，第二待训练神经网络包括更多的神经网络的具体细化可以参见上述第一待训练神经网络包括更多神经网络的具体细化，在此不再赘述。

可选的，当第二待训练神经网络包括更多的神经网络时，在对当前帧图像进行瑕疵填充处理过程中，也可以结合更多的图像瑕疵填充网络，以更好的获取符合对象纹理、颜色、视觉和谐的目标对象填充图像，改善瑕疵填充效果。

此外，当当前帧图像为视频图像的第一帧图像，或一致性检测未通过时，可以结合图10对应的实施例对当前帧图像的瑕疵区域进行填充处理。

本实施例中，在视频场景下，结合对前后两帧图像的对象一致性检测，在对象一致性检测通过时，对当前帧图像的瑕疵区域的填充处理过程中引入前一帧图像对应的目标对象区域图像，进而增加图像瑕疵填充网络对当前帧图像对应的目标对象区域图像的瑕疵区域进行填充处理时的图像特征信息，可以更好的获取符合对象纹理、颜色、视觉和谐的目标对象填充图像，有效改善了瑕疵填充效果。

图12是根据一示例性实施例示出的一种图像瑕疵填充网络确定装置框图。参照图12，该装置包括：

待处理图像获取模块1210，被配置为执行获取包含目标对象的待处理图像；

目标对象检测模块1220，被配置为执行对待处理图像进行目标对象检测，得到目标对象区域图像；

第一瑕疵检测模块1230，被配置为执行对目标对象区域图像进行瑕疵检测，得到目标对象瑕疵掩膜图像；

第一瑕疵填充处理模块1240，被配置为执行将目标对象区域图像和目标对象瑕疵掩膜图像输入第一图像瑕疵填充网络，对目标对象区域图像的瑕疵区域进行填充处理，得到初始对象填充图像；

第二瑕疵填充处理模块1250，被配置为执行将初始对象填充图像和目标对象瑕疵掩膜图像输入第二图像瑕疵填充网络，对初始对象填充图像的瑕疵区域进行填充处理，得到目标对象填充图像；

第一图像修正模块1260，被配置为执行基于目标对象填充图像对待处理图像进行修正，得到目标对象图像。

可选的，第一图像瑕疵填充网络包括第一编码网络和第一解码网络，第一瑕疵填充处理模块1240包括：

特征抽象单元，被配置为执行将目标对象区域图像和目标对象瑕疵掩膜图像输入第一编码网络，利用第一编码网络对目标对象区域图像和目标对象瑕疵掩膜图像进行特征抽象，得到瑕疵填充特征信息；

第一对象重建处理单元，被配置为执行将瑕疵填充特征信息输入第一解码网络，利用第一解码网络对瑕疵填充特征信息进行对象重建处理，得到初始对象填充图像。

可选的，第二图像瑕疵填充网络包括第二编码网络和第二解码网络；第二编码网络包括第一编码分支网络和第二编码分支网络；第二瑕疵填充处理模块1250包括：

第一全局特征抽象单元，被配置为执行将初始对象填充图像和目标对象瑕疵掩膜图像输入第一编码分支网络，利用第一编码分支网络对初始对象填充图像和目标对象瑕疵掩膜图像进行全局特征抽象，得到全局特征信息；

第一局部特征搜索单元，被配置为执行将初始对象填充图像和目标对象瑕疵掩膜图像输入第二编码分支网络，利用第二编码分支网络对初始对象填充图像和目标对象瑕疵掩膜图像进行局部特征搜索，得到局部特征信息，该局部特征信息表征初始对象填充图像的瑕疵区域预设范围内的图像纹理和/或颜色信息；

第二对象重建处理单元，被配置为执行将全局特征信息和局部特征信息输入第二解码网络，利用第二解码网络对全局特征信息和局部特征信息进行对象重建处理，得到当前初始对象填充图像。

可选的，上述第一图像修正模块1260包括：

瑕疵区域位置信息确定单元，被配置为执行确定待处理图像中的瑕疵区域位置信息；

图像块获取单元，被配置为执行获取目标对象填充图像中与瑕疵区域位置信息对应的图像块；

第一图像替换单元，被配置为执行基于瑕疵区域位置信息，将待处理图像中的瑕疵区域替换为对应的图像块，得到目标对象图像；

或，

目标对象位置信息确定单元，被配置为执行确定待处理图像中的目标对象位置信息；

第二图像替换单元，被配置为执行基于目标对象位置信息，将待处理图像中的目标对象区域图像替换为目标对象填充图像，得到目标对象图像。

可选的，装置还包括：

第三瑕疵填充处理模块，被配置为执行将目标对象填充图像和目标对象瑕疵掩膜图像输入第三图像瑕疵填充网络，对目标对象填充图像的瑕疵区域进行填充处理，得到当前目标对象填充图像；

第一图像修正模块1260还被配置为执行基于当前目标对象填充图像对待处理图像进行修正，得到目标对象图像。

可选的，当第三图像瑕疵填充网络包括至少两个按序依次连接的图像瑕疵填充子网络时，第三瑕疵填充处理模块包括：

第一遍历单元，被配置为执行遍历至少两个按序依次连接的图像瑕疵填充子网络；

第一瑕疵填充处理子单元，被配置为执行在遍历到每个图像瑕疵填充子网络时，将当前目标对象填充图像和目标对象瑕疵掩膜图像输入当前遍历到的图像瑕疵填充子网络，对当前目标对象填充图像的瑕疵区域进行填充处理，得到更新后目标对象填充图像；

第三图像替换单元，被配置为执行将当前目标对象填充图像替换为更新后目标对象填充图像。

可选的，上述装置还包括：

第一样本图像获取模块，被配置为执行获取样本对象区域图像和样本对象区域图像对应的目标样本填充图像；

第二瑕疵检测模块，被配置为执行对样本对象区域图像进行瑕疵检测，得到样本瑕疵掩膜图像；

第四瑕疵填充处理模块，被配置为执行将样本对象区域图像和样本瑕疵掩膜图像输入第一神经网络，对样本对象区域图像的瑕疵区域进行填充处理，得到样本对象区域图像对应的初始样本填充图像；

第五瑕疵填充处理模块，被配置为执行将初始样本填充图像和样本瑕疵掩膜图像输入第二神经网络，对初始样本填充图像的瑕疵区域进行填充处理，得到样本对象区域图像对应的预测样本填充图像；

第一神经网络训练模块，被配置为执行根据样本对象区域图像对应的初始样本填充图像、预测样本填充图像和目标样本填充图像，训练第一神经网络和第二神经网络，得到第一图像瑕疵填充网络和第二图像瑕疵填充网络。

可选的，第一神经网络包括第一待训练编码网络和第一待训练解码网络；第四瑕疵填充处理模块包括：

特征抽象单元，被配置为执行将样本对象区域图像和样本瑕疵掩膜图像输入第一待训练编码网络，利用第一待训练编码网络对样本对象区域图像和样本瑕疵掩膜图像进行特征抽象，得到样本瑕疵填充特征信息；

第三对象重建处理单元，被配置为执行将样本瑕疵填充特征信息输入第一待训练解码网络，利用第一待训练解码网络对样本瑕疵填充特征信息进行对象重建处理，得到样本对象区域图像对应的初始样本填充图像。

可选的，第二神经网络包括第二待训练编码网络和第二待训练解码网络，第二待训练编码网络包括第一待训练编码分支网络和第二待训练编码分支网络；第五瑕疵填充处理模块包括：

第二全局特征抽象单元，被配置为执行将初始样本填充图像和样本瑕疵掩膜图像输入第一待训练编码分支网络，利用第一待训练编码分支网络对初始样本填充图像和样本瑕疵掩膜图像进行全局特征抽象，得到全局样本特征信息；

第二局部特征搜索单元，被配置为执行将初始样本填充图像和样本瑕疵掩膜图像输入第二待训练编码分支网络，利用第二待训练编码分支网络对初始样本填充图像和样本瑕疵掩膜图像进行局部特征搜索，得到样本局部特征信息，该样本局部特征信息表征初始样本填充图像的瑕疵区域预设范围内的图像纹理和/或颜色信息；

第四对象重建处理单元，被配置为执行将样本全局特征信息和样本局部特征信息输入第二待训练解码网络，利用第二待训练解码网络对样本全局特征信息和样本局部特征信息进行对象重建处理，得到预测样本填充图像。

可选的，第一神经网络训练模块包括：

第一损失信息计算单元，被配置为执行根据样本对象区域图像对应的初始样本填充图像和目标样本填充图像，计算第一损失信息；

第二损失信息计算单元，被配置为执行根据预测样本填充图像和目标样本填充图像，计算第二损失信息；

第三损失信息确定单元，被配置为执行根据第一损失信息和第二损失信息确定第三损失信息；

第一神经网络训练子单元，被配置为执行根据第三损失信息训练第一神经网络和第二神经网络，得到第一图像瑕疵填充网络和第二图像瑕疵填充网络。

可选的，在根据样本对象区域图像对应的初始样本填充图像、预测样本填充图像和目标样本填充图像，训练第一神经网络和第二神经网络，得到第一图像瑕疵填充网络和第二图像瑕疵填充网络之前，上述装置还包括：

第六瑕疵填充处理模块，被配置为执行将预测样本填充图像和样本瑕疵掩膜图像输入第三神经网络，对预测样本填充图像的瑕疵区域进行填充处理，得到当前预测样本填充图像；

第一初始样本填充图像确定模块，被配置为执行将第一神经网络对应的初始样本填充图像和第二神经网络对应的预测样本填充图像作为样本对象区域图像对应的初始样本填充图像；

第一神经网络训练模块还被配置为执行根据样本对象区域图像对应的初始样本填充图像、当前预测样本填充图像和目标样本填充图像，训练第一神经网络、第二神经网络和第三神经网络，得到第一图像瑕疵填充网络、第二图像瑕疵填充网络和第三图像瑕疵填充网络。

可选的，当第三神经网络包括至少两个按序依次连接的子神经网络时，将预测样本填充图像和样本瑕疵掩膜图像输入第三神经网络，对预测样本填充图像的瑕疵区域进行填充处理，得到当前预测样本填充图像包括：

第二遍历单元，被配置为执行遍历至少两个按序依次连接的子神经网络；

第二瑕疵填充处理子单元，被配置为执行在遍历到每个子神经网络时，将当前预测样本填充图像和本瑕疵掩膜图像输入当前遍历到的子神经网络，对当前预测样本填充图像的瑕疵区域进行填充处理，得到更新后预测样本填充图像；

第四图像替换单元，被配置为执行将当前预测样本填充图像替换为更新后预测样本填充图像；

第二初始样本填充图像确定模块，被配置为执行将第一神经网络对应的初始样本填充图像、第二神经网络对应的预测样本填充图像和第三神经网络中除最后一个子神经网络对应的更新后预测样本填充图像作为样本对象区域图像对应的初始样本填充图像。

可选的，当包含目标对象的待处理图像包括：视频中的包含目标对象的当前帧图像，且当前帧图像具有对应的前一帧图像时，上述装置还包括：

对象一致性检测检测模块，被配置为执行在对目标对象区域图像进行瑕疵检测，得到目标对象瑕疵掩膜图像之后，对当前帧图像对应的目标对象区域图像和当前帧图像的前一帧图像对应的目标对象区域图像进行对象一致性检测；

目标对象填充图像获取模块，被配置为执行当对象一致性检测通过时，获取当前帧图像的前一帧图像对应的目标对象填充图像；

第七瑕疵填充处理模块，被配置为执行将前一帧图像的目标对象填充图像、当前帧图像对应的目标对象区域图像和当前帧图像对应的对象瑕疵掩膜图像输入第四图像瑕疵填充网络，对目标对象区域图像的瑕疵区域进行填充处理，得到当前帧图像对应的初始对象填充图像；

第八瑕疵填充处理模块，被配置为执行将当前帧图像对应的初始对象填充图像、前一帧图像对应的目标对象填充图像和当前帧图像对应的对象瑕疵掩膜图像输入第五图像瑕疵填充网络，得到当前帧图像对应的目标对象填充图像；

第二图像修正模块，被配置为执行基于当前帧图像的目标对象填充图像对当前帧图像进行修正，得到当前帧图像对应的目标对象图像。

可选的，上述装置还包括：

第二样本图像获取模块，被配置为执行获取样本对象区域帧图像、样本对象区域帧图像对应的第一目标样本填充帧图像和样本对象区域帧图像中每一帧图像前一帧图像对应的第二目标样本填充帧图像；

第三瑕疵检测模块，被配置为执行对样本对象区域帧图像进行瑕疵检测，得到样本瑕疵掩膜帧图像；

第七瑕疵填充处理模块，被配置为执行将样本对象区域帧图像、样本瑕疵掩膜帧图像和第二目标样本填充帧图像输入第四神经网络，对样本对象区域帧图像的瑕疵区域进行填充处理，得到样本对象区域帧图像对应的初始样本填充帧图像；

第八瑕疵填充处理模块，被配置为执行将初始样本填充帧图像、样本瑕疵掩膜帧图像和第二目标样本填充帧图像输入第五神经网络，对初始样本填充帧图像的瑕疵区域进行填充处理，得到样本对象区域帧图像对应的预测样本填充帧图像；

第二神经网络训练模块，被配置为执行根据样本对象区域帧图像对应的初始样本填充帧图像、预测样本填充帧图像和第一目标样本填充帧图像，训练第四神经网络和第五神经网络，得到第四图像瑕疵填充网络和第五图像瑕疵填充网络。

关于实施例中的装置，其中各个模块、单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图13是根据一示例性实施例示出的一种用于图像处理的电子设备的框图，该电子设备可以是终端，其内部结构图可以如图13所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像瑕疵填充网络确定或图像瑕疵处理的方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图13中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在示例性实施例中，还提供了一种电子设备，包括：处理器；用于存储该处理器可执行指令的存储器；其中，该处理器被配置为执行该指令，以实现如本公开实施例中的图像处理方法。

在示例性实施例中，还提供了一种存储介质，当该存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本公开实施例中的图像处理方法。

在示例性实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例中的图像处理方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。