图像处理模型的训练方法、图像处理方法及装置与流程

1.本技术涉及图像处理技术领域，尤其涉及一种图像处理模型的训练方法、图像处理方法及装置。


背景技术：

2.随着各种数字仪器和数码产品的普及，图像和视频已成为人类活动中最常用的信息载体，它们包含着物体的大量信息，成为人们获取外界原始信息的主要途径。然而，在图像的获取、传输和存贮过程中常常会受到各种噪声的干扰和影响而使得图像降质，并且图像预处理算法的好坏又直接关系到后续图像处理的效果，如图像分割、目标识别、边缘提取等，所以为了获取高质量数字图像，很有必要对图像进行去噪处理，以在保持原始信息的完整性(即主要特征)的同时，又能去除信号中无用的信息。
3.目前，常用的去噪方法是利用噪声估计图像作为输入，通过权衡对均布噪声的抑制和细节的保持，实现对图像的去噪。但是，这种去噪方式对局部模糊的图像去噪的效果较差。


技术实现要素：

4.本技术实施例的目的是提供一种图像处理模型的训练方法、图像处理方法及装置，用于解决现有的去噪方法对局部模糊的图像去噪的效果较差的问题。
5.为了实现上述目的，本技术实施例采用下述技术方案：
6.第一方面，本技术实施例提供一种图像处理模型的训练方法，包括：
7.利用原始样本图像、所述原始样本图像对应的局部擦除图像及基准去噪图像，对待训练模型进行模型迭代训练，得到图像处理模型；
8.其中，所述待训练模型包括第一分支去噪网络、第二分支去噪网络和融合网络；每次模型迭代训练的具体实现方式均有：
9.所述第一分支去噪网络基于所述基准去噪图像，对所述原始样本图像进行去噪处理，得到第一去噪图像；
10.所述第二分支去噪网络对所述局部擦除图像进行去噪处理，得到第二去噪图像；
11.所述融合网络对所述第一去噪图像和所述第二去噪图像进行融合处理，得到第三去噪图像；
12.基于所述第一去噪图像、所述第二去噪图像、所述第三去噪图像以及所述基准去噪图像，调整所述待训练模型的模型参数。
13.可以看出，本技术实施例中，采用包含融合网络和两条分支去噪网络的待训练模型，基于半监督学习方法，由第一分支去噪网络基于原始样本图像及其对应的基准去噪图像进行有监督学习，通过从整体角度学习原始样本图像中的重要信息，得到整体效果上的第一去噪图像；由第二条分支去噪网络基于原始样本图像对应的局部擦除图像进行无监督学习，由于局部擦除图像相较于原始样本图像缺失了局部数据，使得第二分支去噪网络能
够通过随机性地能够学习局部擦除图像的、具有代表性的特征，得到局部效果上的第二去噪图像，从而能够为第一分支去噪网络的有监督学习提供更多的指向性信息及多样性信息；由融合网络对有监督学习的效果和无监督学习的效果进行融合，得到相应的第三去噪图像；进一步，基于各条分支去噪网络及融合网络各自得到的去噪图像以及原始样本图像对应的基准去噪图像，调整待训练模型的模型参数，通过进行多次上述模型迭代训练，使得待训练模型能够分别从图像整体和局部对原始样本图像进行理解和学习，提炼出有指向性且多样性的图像特征而具备更优的去噪能力，从而得到的图像处理模型无论是对整体模糊的图像还是局部模糊的图像，都具有较好的去噪效果。
14.第二方面，本技术实施例提供一种图像处理方法，包括：
15.获取待处理图像；
16.通过图像处理模型对所述待处理图像进行去噪处理，得到去噪图像集合，其中，所述去噪图像集合包括第四去噪图像、第五去噪图像以及第六去噪图像中的至少一者，所述图像处理模型包括第一分支去噪网络、第二分支去噪网络和融合网络，所述第一分支去噪网络用于对所述待处理图像进行去噪处理得到所述第四去噪图像，所述第二分支去噪网络用于对所述待处理图像进行去噪处理得到所述第五去噪图像，所述融合网络用于对所述第四去噪图像和所述第五去噪图像进行融合处理得到所述第六去噪图像，所述图像处理模型是基于第一方面所述的图像处理模型的训练方法训练得到的；
17.基于所述去噪图像集合，确定所述待处理图像对应的目标去噪图像。
18.可以看出，本技术实施例中，通过图像处理模型即可实现对待处理图像的去噪处理，实现简单快捷，效率高；此外，在图像处理模型的训练过程中，采用包含融合网络和两条分支去噪网络的待训练模型，基于半监督学习方法，由第一分支去噪网络基于原始样本图像及其对应的基准去噪图像进行有监督学习，通过从整体角度学习原始样本图像中的重要信息，得到整体效果上的第一去噪图像；由第二条分支去噪网络基于原始样本图像对应的局部擦除图像进行无监督学习，由于局部擦除图像相较于原始样本图像缺失了局部数据，使得第二分支去噪网络能够通过随机性地能够学习局部擦除图像的、具有代表性的特征，得到局部效果上的第二去噪图像，从而能够为第一分支去噪网络的有监督学习提供更多的指向性信息及多样性信息；由融合网络对有监督学习的效果和无监督学习的效果进行融合，得到相应的第三去噪图像；进一步，基于各条分支去噪网络及融合网络各自得到的去噪图像以及原始样本图像对应的基准去噪图像，调整待训练模型的模型参数，通过进行多次上述模型迭代训练，使得待训练模型能够分别从图像整体和局部对原始样本图像进行理解和学习，提炼出有指向性且多样性的图像特征而具备更优的去噪能力，从而得到的图像处理模型无论是对整体模糊的图像还是局部模糊的图像，都具有较好的去噪效果，进而利用训练得到的图像处理模型对待处理图像进行去噪处理，可以得到高质量的去噪图像。
19.第三方面，本技术实施例提供一种图像处理模型的训练装置，包括：
20.训练单元，用于利用原始样本图像以及所述原始样本图像对应的局部擦除图像及基准去噪图像，对待训练模型进行模型迭代训练，得到图像处理模型；
21.其中，所述待训练模型包括第一分支去噪网络、第二分支去噪网络和融合网络；每次模型训练的具体实现方式均有：
22.所述第一分支去噪网络基于所述基准去噪图像，对所述原始样本图像进行去噪处
理，得到第一去噪图像；
23.所述第二分支去噪网络对所述局部擦除图像进行去噪处理，得到第二去噪图像；
24.所述融合网络对所述第一去噪图像和所述第二去噪图像进行融合处理，得到第三去噪图像；
25.基于所述第一去噪图像、所述第二去噪图像、所述第三去噪图像以及所述基准去噪图像，调整所述待训练模型的模型参数。
26.第四方面，本技术实施例提供图像处理装置，包括：
27.第一获取单元，用于获取待处理图像；
28.第一去噪单元，用于通过图像处理模型对所述待处理图像进行去噪处理，得到去噪图像集合，其中，所述去噪图像集合包括第四去噪图像、第五去噪图像以及第六去噪图像中的至少一者，所述图像处理模型包括第一分支去噪网络、第二分支去噪网络和融合网络，所述第一分支去噪网络用于对所述待处理图像进行去噪处理得到所述第四去噪图像，所述第二分支去噪网络用于对所述待处理图像进行去噪处理得到所述第五去噪图像，所述融合网络用于对所述第四去噪图像和所述第五去噪图像进行融合处理得到所述第六去噪图像，所述图像处理模型是基于第一方面所述的图像处理模型的训练方法训练得到的；
29.第二获取单元，用于基于所述去噪图像集合，确定所述待处理图像对应的目标去噪图像。
30.第五方面，本技术实施例提供一种电子设备，包括：
31.处理器；
32.用于存储所述处理器可执行指令的存储器；
33.其中，所述处理器被配置为执行所述指令，以实现如第一方面所述的方法。
34.第六方面，本技术实施例提供一种计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如第一方面所述的方法。
附图说明
35.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
36.图1为本技术的一个实施例提供的一种图像处理模型的训练方法的流程示意图；
37.图2为本技术的一个实施例提供的一种待训练模型的结构示意图；
38.图3为本技术的另一个实施例提供的一种待训练模型的结构示意图；
39.图4为本技术的又一个实施例提供的一种待训练模型的结构示意图；
40.图5为本技术的一个实施例提供的一种第一生成网络的结构示意图；
41.图6为本技术的一个实施例提供的一种图像处理方法的流程示意图；
42.图7为本技术的一个实施例提供的一种图像处理模型的训练装置的结构示意图；
43.图8为本技术的一个实施例提供的一种图像处理装置的结构示意图；
44.图9为本技术的一个实施例提供的一种电子设备的结构示意图。
具体实施方式
45.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
46.本说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应理解，这样使用的数据在适当情况下可以互换，以便本技术实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，本说明书和权利要求书中“和/或”表示所连接对象的至少其中之一，字符“/”一般表示前后关联对象是一种“或”的关系。
47.为了解决现有的去噪方法对局部模糊的图像去噪的效果较差的问题，本技术实施例提出了一种图像处理模型的训练方法，采用包含融合网络和两条分支去噪网络的待训练模型，基于半监督学习(semi-supervised learning，ssl)方法，由其中一条分支去噪网络基于原始样本图像及其对应的基准去噪图像进行有监督学习，通过从整体角度学习原始样本图像中的重要信息，得到整体效果上的第一去噪图像；由另一条分支去噪网络基于原始样本图像对应的局部擦除图像进行无监督学习，由于局部擦除图像相较于原始样本图像缺失了局部数据，使得该条分支去噪网络能够通过随机性地能够学习局部擦除图像的、具有代表性的特征，得到局部效果上的第二去噪图像，从而能够为有监督学习提供更多的指向性信息及多样性信息；由融合网络对有监督学习的效果和无监督学习的效果进行融合，得到相应的第三去噪图像；进一步，基于各条分支去噪网络及融合网络各自得到的去噪图像以及原始样本图像对应的基准去噪图像，调整待训练模型的模型参数，通过进行多次上述模型迭代训练，使得待训练模型能够分别从图像整体和局部对原始样本图像进行理解和学习，提炼出有指向性且多样性的图像特征而具备更优的去噪能力，从而得到的图像处理模型无论是对整体模糊的图像还是局部模糊的图像，都具有较好的去噪效果。
48.本技术实施例还提出了一种图像处理方法，通过上述训练得到的图像处理模型对待处理图像进行去噪处理，可以提高图像去噪效果。
49.应理解，本技术实施例提供的图像处理模型的训练方法和图像处理方法均可以由电子设备或安装在电子设备中的软件执行。此处所谓的电子设备可以包括终端设备，比如智能手机、平板电脑、笔记本电脑、台式计算机、智能语音交互设备、智能家电、智能手表、车载终端、飞行器等；或者，电子设备还可以包括服务器，比如独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。
50.以下结合附图，详细说明本技术各实施例提供的技术方案。
51.请参考图1，为本技术的一个实施例提供的一种图像处理模型的训练方法的流程示意图，该方法可以包括如下步骤：
52.s102，利用原始样本图像、原始样本图像对应的局部擦除图像及基准去噪图像，对待训练模型进行模型迭代训练，得到图像处理模型。
53.本技术实施例中，原始样本图像可以包括局部模糊图像和整体模糊图像。其中，局部模糊图像是指图像的局部区域模糊的图像，比如以人脸图像为例，局部模糊图像可以是背景清晰、但人脸模糊的图像；整体模糊图像是指图像整体上模糊不清的图像。原始样本图
像对应的基准去噪图像是指对原始样本图像进行去噪处理后的、作为基准的清晰图像。
54.原始样本图像对应的局部擦除图像是指对原始样本图像的局部区域进行数据擦除后所得的图像，例如图2所示的局部擦除图像。具体而言，局部擦除图像可以包括第一局部擦除图像和第二局部擦除图像，其中，第一局部擦除图像为对原始样本图像的指定区域进行数据擦除得到，示例地，原始样本图像为局部模糊的图像，第一局部擦除图像则可以为对原始样本图像的模糊区域进行数据擦除得到的图像；第二局部擦除提箱为对原始样本图像进行随机数据擦除得到。
55.本技术实施例中，为了使训练得到的图像处理模型无论对局部模糊的图像还是整体模糊的图像，都具有较好的去噪效果，如图2所示，待训练模型可以包括融合网络和两条分支去噪网络(即第一分支去噪网络和第二分支去噪网络)，从而基于原始样本图像对应的基准去噪图像，分别从整体角度和局部角度对原始样本图像进行理解和学习，提炼出有指向性且多样性的图像特征而具备更优的去噪能力。
56.具体而言，在上述s102中，每次模型迭代训练的具体实现方式均有：
57.s121，第一分支去噪网络基于原始样本图像对应的基准去噪图像，对原始样本图像进行去噪处理，得到第一去噪图像。
58.第一分支去噪网络可基于原始样本图像及其对应的基准去噪图像进行有监督学习，通过从整体角度学习原始样本图像中的重要信息，得到整体效果上的第一去噪图像。示例地，如图2所示，可以将原始样本图像及其对应的基准去噪图像输入第一分支去噪网络，由此得到第一去噪图像。
59.本技术实施例中，第一分支去噪网络可以具有任意适当的结构，具体可根据实际需要进行设置，本技术实施例对此不作限定。
60.可选地，如图3所示，第一分支去噪网络可以包括第一卷积层和第一生成网络。其中，第一卷积层用于基于原始样本图像对应的基准去噪网络对原始样本图像进行卷积处理，得到第一纹理特征；第一生成网络用于基于第一纹理特征确定第一目标特征，以及基于第一目标特征生成第一去噪图像。
61.示例地，第一卷积层可以包括3*3卷积核。第一生成网络可以将第一纹理特征作为第一目标特征，而后基于第一目标特征生成第一去噪图像。
62.可以理解，采用上述架构的第一分支去噪网络，实现简单，可以减少有监督学习过程的复杂度，有利于提高模型训练效率。
63.可选地，如图4所述，第一分支去噪网络还可以包括第一残差层。其中，第一残差层用于基于原始样本图像和局部擦除图像，生成残差图像；第一卷积层还用于对残差图像进行卷积处理得到第二纹理特征；在基于第一纹理特征确定第一目标特征方面，第一生成网络具体用于基于第一纹理特征与第二纹理特征之间的相似度，对第一纹理特征和第二纹理特征进行融合，得到第一目标特征。
64.示例地，第一卷积层可以包括3*3卷积核。第一卷积层的数量可以根据实际需要进行设置，比如第一卷积层的数量为两个，一个第一卷积层用于基于原始样本图像对应的基准去噪图像，对原始样本图像进行卷积处理，得到第一纹理特征，另一个第一卷积层用于对残差图像进行卷积处理得到第二纹理特征。
65.示例地，第一残差层可以对原始样本图像及其局部擦除图像进行相减处理，得到
残差图像，该残差图像用于表征原始样本图像及其对应的局部擦除图像在各个像素点上的图像特征之间的差异。
66.示例地，第一生成网络可基于第一纹理特征与第二纹理特征之间的相似度，分别确定第一纹理特征和第二纹理特征各自对应的权重，而后按照确定出的权重，对第一纹理特征和第二纹理特征进行加权求和，得到第一目标特征。更为具体地，若第一纹理特征与第二纹理特征之间的相似度超过预设相似度阈值(比如0.6)，则将第二纹理特征对应的权重设置为第一权重(比如4)；若第一纹理特征与第二纹理特征之间的相似度小于预设相似度阈值，则将第二纹理特征对应的权重设置为小于第一权重的第二权重(比如0)，由此，可以突出原始样本图像中模糊区域的第二纹理特征，使得第一分支去噪网络能够在有监督学习过程中更加关注到原始样本图像中的模糊区域，从而有利于提高训练所得的图像处理模型对局部模糊的图像去噪的效果。
67.进一步地，第一分支去噪网络还可以包括目标卷积层，目标卷积层可以对第一生成网络输出的第一去噪图像进行降维，以降低计算复杂度，减少第一去噪图像中的冗余信息造成的模型训练误差，从而有利于提高对待训练模型的训练效率和训练效果。示例地，目标卷积层可以包括1*1*3卷积核。
68.可以理解的是，在上述图4所示的第一分支去噪网络中，还引入了第一残差层基于原始样本图像和局部擦除图像生成残差图像，以及在第一生成网络在生成第一去噪图像时，还考虑了第一纹理特征与第二纹理特征之间的相似度，有利于第一分支去噪网络从原始样本图像中提炼和突出模糊区域的图像信息，从而有利于提高第一分支去噪网络的去噪效果。
69.在上述本技术实施例的第一分支去噪网络中，第一生成网络具有基于输入的特征生成相应的第一去噪图像的能力。第一生成网络可以具有任意适当的结构，具体可根据实际需要进行设置，本技术实施例对此不作限定。可选地，如图5所示，第一生成网络包括第三卷积层、第四卷积层、第一融合层、第二融合层以及n(n为大于1的整数)个特征提取模块，n个特征提取模块、n个中间输出特征以及n个最终输出特征之间一一对应。
70.其中，n个特征提取模块中的第1个特征提取模块，用于对第一目标特征进行特征提取，得到第1个特征提取模块对应的中间输出特征及最终输出特征；n个特征提取模块中的第i(i为整数且2≤i≤n)个特征提取模块，用于对第i-1个特征提取模块对应的最终输出特征进行特征提取，得到第i个特征提取模块对应的中间输出特征及最终输出特征；第三卷积层用于对n个特征提取模块中的第n个特征提取模块对应的最终输出特征进行卷积处理，得到第一候选特征；第一融合层用于对n个中间输出特征进行融合处理，得到融合中间特征；第四卷积层用于对融合中间特征进行卷积处理，得到第二候选特征；第二融合层用于对第一候选特征和第二候选特征进行融合处理，得到第二目标特征，以及基于第二目标特征生成第一去噪图像。
71.示例地，第三卷积层的数量可以为一个或多个，比如2个，图5仅以第三卷积层的数量为1个示意。第三卷积层可以包括3*3卷积核。
72.示例地，第四卷积层的数量可以为一个或多个，比如1个，图5仅以第四卷积层的数量为1个示意。第四卷积层可以包括1*1卷积核，以对融合中间特征进行降维，以降低计算复杂度，减少融合中间特征中的冗余信息造成的模型训练误差，从而有利于提高对待训练模
型的训练效率和训练效果。
73.进一步地，第一生成网络还可以包括目标卷积层，目标卷积层可以对第二融合层得到的第一去噪图像进行降维，以降低计算复杂度，减少该第一去噪图像中的冗余信息造成的模型训练误差，从而有利于提高对待训练模型的训练效率和训练效果。示例地，目标卷积层可以包括1*1*3卷积核。在此情况下，目标卷积层降维后得到的第一去噪图像即可作为最终的第一去噪图像。
74.可以理解的是，依次经过n个特征提取模块和第三卷积层后所得的第一候选特征较为平滑，依次经过n个特征提取模块、第一融合层以及第四卷积层后所得的第二候选特征的维度较低，通过将第一候选特征和第二候选特征进行融合后并将融合所得的第一去噪图像用于训练待训练模型，有利于提高待训练模型的收敛速度和性能。
75.本技术实施例的上述特征提取模块可以采用任意适当的、具有特征提取功能的结构，具体可根据实际需要进行设置，本技术实施例对此不作限定。可选地，如图5所示，n个特征提取模块中的每个特征提取模块可以包括下采样层、上采样层、第二残差层、第五卷积层以及第三残差层。
76.其中，第1个特征提取模块的下采样层用于对第一目标特征进行下采样，得到第1个特征提取模块对应的下采样特征；第i个特征特征提取模块的下采样层用于对第i-1个特征提取模块对应的最终输出特征进行下采样，得到第i个特征提取模块对应的下采样特征。实际应用中，下采样层的步长可以根据实际需要进行设置，例如下采样层的步长可以设置为大于1的整数。
77.n个特征提取模块中的第j(j为整数且1≤j≤n)个特征提取模块的上采样层，用于对第j个特征提取模块对应的下采样特征进行上采样，得到第j个特征提取模块对应的上采样特征。实际应用中，上采样层可以是亚像素卷积层，计算量小。
78.第1个特征提取模块的第二残差层用于对第一目标特征和第1个特征提取模块对应的上采样特征进行减残差处理，得到第1个特征提取模块对应的中间输出特征；第i个特征提取模块的第二残差层用于对第i-1个特征提取模块对应的最终输出特征和第i个特征提取模块对应的上采样特征进行减残差处理，得到第i个特征提取模块对应的中间输出特征。需要说明的是，减残差处理可以理解为是相减，也即对两个输入的特征进行相减处理，也即对同一图像中相同位置的特征进行相减处理。
79.第j个特征提取模块的第五卷积层用于对第j个特征提取模块对应的中间输出特征进行卷积处理，得到第j个特征提取模块对应的中间卷积特征。
80.第1个特征提取模块的第三残差层用于对第一目标特征和第1个特征提取模块对应的卷积特征进行加残差处理，得到第1个特征提取模块对应的最终输出特征；第i个特征提取模块的第三残差层用于对第i-1个特征提取模块的最终输出特征和第i个特征提取模块对应的中间卷积特征进行加残差处理，得到第i个特征提取模块对应的最终输出特征。需要说明的是，加残差处理可以理解为是相加，也即对两个输入的特征进行相加处理，也即对同一图像中相同位置的特征进行相加处理。
81.可以理解的是，对于每个特征提取模块而言，输入的特征经过下采样及上采样后，不仅可以使输出的特征包含更加全面丰富的图像信息，还可以将原始样本图像中的主频信息提取出来；通过第二残差层对输入的特征进行减残差处理，可以去除输入的特征中不明
显的特征；通过第五卷积层对输入的特征进行卷积处理，可以起到对输入的特征进行纹理特征提取及平滑作用，但这个过程中可能会丢失主频信息；通过第三残差层对输入的特征进行加残差处理，可以起到对丢失的主频信息进行补充的作用。
82.s122，第二分支去噪网络对原始样本图像对应的局部擦除图像进行去噪处理，得到第二去噪图像。
83.本技术实施例中，可以由第二分支去噪网络对原始样本图像对应的局部擦除图像进行无监督学习，由于局部擦除图像相较于原始样本图像缺失了局部数据，使得第二分支去噪网络能够通过随机性地能够学习局部擦除图像的、具有代表性的特征，得到局部效果上的第二去噪图像，从而能够为有监督学习提供更多的指向性信息及多样性信息。
84.具体而言，如图2所示，可以将原始样本图像对应的局部擦除图像输入第二分支去噪网络，由此得到第二去噪图像。在一种可选的实现方式中，上述s122具体可实现为：第二分支去噪网络基于始样本图像对应的第一局部擦除图像和第二局部擦除图像进行去噪处理，得到相应的第二去噪图像。
85.在另一种可选的实现方式中，为了提升第二分支去噪网络的鲁棒性，上述s122具体可实现为：若待训练模型不满足预设迭代稳定条件，则第二分支去噪网络对原始样本图像对应的第一局部擦除图像进行去噪处理，，得到第二去噪图像；若待训练模型满足预设迭代稳定条件，则第二分支去噪网络对原始样本图像对应的第二局部擦除图像进行去噪处理，得到第二去噪图像。
86.其中，预设迭代稳定条件可以根据实际需要进行设置，例如预设迭代稳定条件可以包括待训练模型当前的去噪损失相较于上一次迭代所得的去噪损失的变化值小于预设阈值等。需要说明的是，待训练模型的去噪损失的计算过程及参数调整过程将在下文进行详细描述。
87.本技术实施例中，第二分支去噪网络可以具有任意适当的结构，具体可根据实际需要进行设置，本技术实施例对此不作限定。可选地，如图3和图4所示，第二分支去噪网络包括第二卷积层和第二生成网络，第二卷积层用于对局部擦除图像进行卷积处理，得到第三纹理特征；第二生成网络用于基于第三纹理特征生成第二去噪图像。
88.示例地，第二卷积层可以包括3*3卷积核。
89.可以理解，采用上述架构的第二分支去噪网络，实现简单，可以减少无监督学习过程的复杂度，有利于提高模型训练效率。
90.可选地，第二分支去噪网络还可以包括目标卷积层，目标卷积层可以对第二生成网络输出的第二去噪图像进行降维后得到最终的第二去噪图像，以降低计算复杂度，减少第二去噪图像中的冗余信息造成的模型训练误差，从而有利于提高对待训练模型的训练效率和训练效果。示例地，目标卷积层可以包括1*1*3卷积核。
91.上述本技术实施例的第二分支去噪网络中，第二生成网络可以具有任意适当的结构，具体可根据实际需要进行设置，本技术实施例对此不作限定。实际应用中，第二生成网络可以与第一生成网络具有不同的网络结构，或者第二生成网络也可以与第一生成网络具有相同的网络结构。
92.较为优选地，为确保第一生成网络与第二生成网络具有一致的去噪效果，第一生成网络与第二生成网络具有相同的网络结构，比如图3或图4所示的网络结构。在此情形下，
第二生成网络基于第三纹理特征生成第二去噪图像的具体实现过程与上述第一生成网络基于第一纹理特征生成第一去噪图像的具体实现过程类似，在此不再详细展开。
93.s123，融合网络对第一去噪图像和第二去噪图像进行融合处理，得到第三去噪图像。
94.由于第一去噪图像是第一分支去噪网络从整体角度对原始样本图像进行去噪处理所得的图像，第二去噪图像是第二分支去噪网络从局部角度对局部擦除图像进行去噪处理所得的图像，为有效融合通过两种不同角度的去噪效果，使得第二分支去噪网络的无监督学习能够充分为第一分支去噪网络的有监督学习提供更多的指向性信息及多样性信息，可由融合网络对第一去噪图像和第二去噪图像进行融合处理。
95.具体而言，可将第一去噪图像和第二去噪图像输入待训练模型的融合网络，得到第三去噪图像。
96.本技术实施例中，融合网络可具有任意适当的结构，具体可根据实际需要进行设置，本技术实施例对此不作限定。可选地，如图3和图4所示，融合网络可以包括目标融合层和目标卷积层，其中，目标融合层用于对第二分支网络得到的第一去噪图像和第二分支网络得到的第二去噪图像进行融合，得到第三去噪图像；目标卷积层用于对该第三去噪网络进行卷积处理，得到最终的第三去噪图像。
97.示例地，目标融合层可以对输入的第一去噪图像和第二去噪图像进行相加，也即对两个图像中相同位置的特征进行相加处理，实现第一去噪图像和第二去噪图像的融合。
98.示例地，目标卷积层可以包括1*1*3卷积核，从而可以对目标融合层得到的第三去噪图像进行降维，以降低计算复杂度，减少第三去噪图像中的冗余信息造成的模型训练误差，从而有利于提高对待训练模型的训练效率和训练效果。
99.s124，基于第一去噪图像、第二去噪图像、第三去噪图像以及基准去噪图像，调整待训练模型的模型参数。
100.本技术实施例中，待训练模型的模型参数具体可以包括但不限于第一分支去噪网络、第二分支去噪网络以及融合网络各自的模型参数。对于待训练模型中的各个网络而言，该网络的模型参数具体可以包括但不限于该网络的各网络层中的节点(如神经元)数量、不同网络层中的节点之间的连接关系以及连接边权重、各网络中的节点对应的偏置等。
101.由于待训练模型中的各个网络得到的去噪图像与原始样本图像对应的基准去噪图像之间的差异，能够反映待训练模型的训练效果，基于此，为使训练得到的图像处理模型具有较好的去噪效果，在一种可选的实现方式中，上述s124可以包括如下步骤：
102.步骤a1，基于第一去噪图像、第二去噪图、第三去噪图像以及原始样本图像对应的基准去噪图像，确定待训练模型的去噪损失。
103.其中，待训练模型的去噪损失用于表示待训练模型对原始样本图像及其局部擦除图像进行半监督学习过程中所产生的去噪损失，其具体可以表示待训练模型针对原始样本图像得到的去噪图像与原始样本图像对应的基准去噪图像之间的差异。
104.考虑到待训练模型中的每个网络都可能带来上述差异，并且，不同结构的网络带来的上述差异可能不同，基于此，为确保确定出的去噪损失能够准确表示上述差异，从而确保训练出的图像处理模型的去噪效果，可针对不同结构的待训练模型，采用相应的方式确定待训练模型的去噪损失。
105.可选地，针对上述图3所示的待训练模型，上述步骤a1具体可实现为：
106.步骤a11，基于第一去噪图像和原始样本图像对应的基准去噪图像，确定第一去噪损失。
107.其中，第一去噪损失用于表示第一分支去噪网络对原始样本图像进行有监督学习所产生的去噪损失，其具体可以表示第一去噪图像与原始样本图像对应的基准去噪图像之间的差异。
108.示例地，第一去噪损失可通过如下公式(1)确定：
109.loss1＝||i
hr-i1||2(1)
110.其中，loss1表示第一去噪损失，i1表示第一去噪图像，i
hr
表示原始样本图像对应的基准去噪图像。
111.步骤a12，基于第二去噪图像和第一去噪图像，确定第二去噪损失。
112.其中，第二去噪损失用于表示第二分支去噪网络对原始样本图像对应的局部擦除图像进行无监督学习所产生的去噪损失，其具体可以表示第二去噪图像与第一去噪图像之间的差异性和关联性。可选地，第一去噪损失可以包括第一去噪图像与第二去噪图像之间的均方误差以及第一去噪图像与第二去噪图像之间的相似度。
113.示例地，上述均方误差可通过如下公式(2)确定：
[0114][0115]
其中，loss2表示第一去噪图像与第二去噪图像之间的均方误差，i2表示第二去噪图像，i1表示第一去噪图像，n表示原始样本图像的数量。
[0116]
第一去噪图像与第二去噪图像之间的相似度用于表示第一去噪图像与第二去噪图像之间的关联性，示例地，该相似度可通过如下公式(3)确定。
[0117]
loss4＝k1·
p(i1,i2)+k2·
(1-ssim(i1+i2))(3)
[0118]
其中，loss4表示第一去噪图像与第二去噪图像之间的相似度；i1表示第一去噪图像；i2表示第二去噪图像；p(i1,i2)表示第一去噪图像与第二去噪图像之间的皮尔森相关系数；p表示皮尔森相关系数；ssim(i1+i2)表示第一去噪图像与第二去噪图像之间的结构相似度，其和人类视觉系统(humanvisualsystem，hvs)类似，对局部结构变化的感知敏感；k1表示皮尔森相关系数对应的权重；k2表示结构相似度对应的权重，k1和k2可根据实际需要进行设置，本技术实施例对此不作限定。
[0119]
步骤a13，基于第三去噪图像和原始样本图像对应的基准去噪图像，确定第三去噪损失。
[0120]
其中，第三去噪损失用于表示融合网络对第一分支去噪网络的学习结果和第二分支去噪网络的学习结果进行融合所产生的损失，其具体可以表示第三去噪图像与原始样本图像对应的基准去噪图像之间的差异。
[0121]
示例地，上述第三去噪损失可通过如下公式(4)确定：
[0122]
loss3＝||i
hr-ir||2(4)
[0123]
其中，loss3表示第三去噪损失，i
hr
表示原始样本图像对应的基准去噪图像，ir表示第三去噪图像。
[0124]
步骤a14，基于第一去噪损失、第二去噪损失以及第三去噪损失，确定待训练模型
的去噪损失。
[0125]
示例地，待训练模型的去噪损失可通过如下公式(5)确定：
[0126]
loss1＝λ1loss1+λ2loss2+λ3loss3+λ4loss4(5)
[0127]
其中，loss1表示待训练模型的去噪损失，loss1表示第一去噪损失，loss2表示第二去噪损失，loss3表示第一去噪图像与第二去噪图像之间的均方误差，loss4表示第一去噪图像与第二去噪图像之间的相似度，λ1表示第一去噪损失对应的权重，λ2表示第二去噪损失对应的权重，λ3表示第一去噪图像与第二去噪图像之间的均方误差，λ4表示第一去噪图像与第二去噪图像之间的相似度对应的权重，λ1、λ2、λ3和λ4均可以根据实际需要进行设置，本技术实施例对各个权重的取值不作限定。
[0128]
可以理解的是，针对图3所示的待训练模型，通过上述方式确定待训练模型的去噪损失，考虑了待训练模型中的不同网络所产生的去噪损失，不仅能够准确反映出待训练模型在对原始样本图像及其局部擦除图像进行半监督学习时产生的去噪损失，还有利于利用第二分支去噪网络的无监督学习任务为第一分支去噪网络的有监督学习任务提供更多的指向性信息及多样性信息，使得待训练模型能够分别从图像整体和局部对原始样本图像进行理解和学习，提炼出有指向性且多样性的图像特征而具备更优的去噪能力，从而得到的图像处理模型无论是对整体模糊的图像还是局部模糊的图像进行去噪，都具有较好的去噪效果，所得的去噪图像更加真实。
[0129]
可选地，针对上述图4所示的待训练模型，上述步骤a1具体可实现为：
[0130]
步骤b11，基于第一去噪图像和原始样本图像对应的基准去噪图像，确定第一去噪损失。
[0131]
步骤b11的具体实现方式与上述步骤a11的具体实现方式类似，具体可参见上述步骤a11的描述，在此不再详细展开。
[0132]
步骤b12，基于第二去噪图像和第一去噪图像，确定第二去噪损失。
[0133]
步骤b12的具体实现方式与上述步骤a12的具体实现方式类似，具体可参见上述步骤a12的描述，在此不再详细展开。
[0134]
步骤b13，基于第三去噪图像和原始样本图像对应的基准去噪图像，确定第三去噪损失。
[0135]
步骤b13的具体实现方式与上述步骤a13的具体实现方式类似，具体可参见上述步骤a13的描述，在此不再详细展开。
[0136]
步骤b14，基于第一纹理特征与第二纹理特征之间的相似度，确定残差损失。
[0137]
其中，残差损失用于表示残差图像与原始样本图像之间的差异。示例地，残差损失可以通过如下公式(6)确定：
[0138][0139]
其中，loss5表示残差损失，ic表示残差图像，i
ca1
表示目标原始样本图像，m表示目标原始样本图像的数量。需要说明的是，针对输入第一分支去噪网络的各个原始样本图像，如果该原始样本图像对应的第一纹理特征与残差图像的第二纹理特征之间的相似度超过预设相似度阈值，那么，该原始样本图像即为目标原始样本图像。
[0140]
步骤b15，基于第一去噪损失、第二去噪损失、第三去噪损失以及残差损失之间的
加权和，确定待训练模型的去噪损失。
[0141]
示例地，待训练模型的去噪损失可通过如下公式(7)确定：
[0142]
loss2＝λ1loss1+λ2loss2+λ3loss3+λ4loss4+λ5loss5(7)
[0143]
其中，loss2表示待训练模型的去噪损失，loss1表示第一去噪损失，loss2表示第二去噪损失，loss3表示第一去噪图像与第二去噪图像之间的均方误差，loss4表示第一去噪图像与第二去噪图像之间的相似度，loss5表示残差损失，λ1表示第一去噪损失对应的权重，λ2表示第二去噪损失对应的权重，λ3表示第一去噪图像与第二去噪图像之间的均方误差，λ4表示第一去噪图像与第二去噪图像之间的相似度对应的权重，λ5表示残差损失对应的权重，λ1、λ2、λ3、λ4和λ5均可以根据实际需要进行设置，本技术实施例对各个权重的取值不作限定。
[0144]
可以理解的是，针对图4所示的待训练模型，通过上述方式确定待训练模型的去噪损失，一方面考虑了待训练模型中的不同网络所产生的去噪损失，不仅能够准确反映出待训练模型在对原始样本图像及其局部擦除图像进行半监督学习时产生的去噪损失，还有利于利用第二分支去噪网络的无监督学习任务为第一分支去噪网络的有监督学习任务提供更多的指向性信息及多样性信息；另一方面还考虑了第一分支去噪图像在对原始样本图像进行有监督学习的过程中可能会丢失高频信息(比如表征图像属性的信息)，通过第一纹理特征与第二纹理特征之间的相似度确定残差损失，将该残差损失纳入待训练模型的去噪损失中，使得待训练模型的迭代训练过程中能够通过对原始样本图像及其局部擦除图像之间的残差图像的学习，起到对丢失的高频信息进行补充的作用；由此，使得待训练模型能够分别从图像整体和局部对原始样本图像进行充分理解和学习，提炼出有指向性且多样性的图像特征而具备更优的去噪能力，从而得到的图像处理模型无论是对整体模糊的图像还是局部模糊的图像，都具有较好的去噪效果。
[0145]
步骤a2，基于待训练模型的去噪损失，调整待训练模型的模型参数。
[0146]
可选地，可采用反向传播算法，以使待训练模型的去噪损失下降为目标，基于待训练模型的去噪损失反向逐层调整待训练模型中各网络的模型参数。
[0147]
本技术实施例在此示出了上述s124的一种具体实现方式。当然，应理解，上述s124也可以采用其它的方式实现，本技术实施例对此不作限定。
[0148]
需要说明的是，上述过程仅为一次模型迭代训练过程，实际应用中，可能需要对待训练模型进行多次模型迭代训练，因而可重复执行上述步骤s121至s124多次，直至满足预设训练停止条件，由此得到最终的图像处理模型。其中，预设训练停止条件可以包括图像处理模型的去噪损失小于预设损失阈值或者迭代训练次数达到预设次数阈值等，本技术实施例对此不作限定。
[0149]
具体而言，在上述步骤a2之后，重复执行上述s121至步骤a2多次，直至待训练模型满足预设训练停止条件，以得到图像处理模型。
[0150]
更为具体地，在首次对待训练模型进行迭代训练时，将原始样本图像及其对应的第一局部擦除图像作为待训练模型的输入，执行上述s121至步骤a2；在上述步骤a2之后，判断待训练模型是否满足预设训练停止条件；若待训练模型不满足预设训练停止条件，则进一步判断待训练模型是否满足预设迭代稳定条件，若待训练模型不满足预设迭代稳定条件，则继续将原始样本图像及其对应的第一局部擦除图像作为待训练模型的输入，再次执行上述s121至步骤a2；若待训练模型满足预设迭代稳定条件，则将原始样本图像及其对应
的第二局部擦除图像作为待训练模型的输入，再次执行上述s121至步骤a2；重复上述过程，直至待训练模型满足预设训练停止条件，进一步将最后一次迭代训练所得的待训练模型作为最终用于进行图像去噪的图像处理模型。
[0151]
本技术实施例提供的图像处理模型的训练方法，采用包含融合网络和两条分支去噪网络的待训练模型，基于半监督学习方法，由第一分支去噪网络基于原始样本图像及其对应的基准去噪图像进行有监督学习，通过从整体角度学习原始样本图像中的重要信息，得到整体效果上的第一去噪图像；由第二条分支去噪网络基于原始样本图像对应的局部擦除图像进行无监督学习，由于局部擦除图像相较于原始样本图像缺失了局部数据，使得第二分支去噪网络能够通过随机性地能够学习局部擦除图像的、具有代表性的特征，得到局部效果上的第二去噪图像，从而能够为第一分支去噪网络的有监督学习提供更多的指向性信息及多样性信息；由融合网络对有监督学习的效果和无监督学习的效果进行融合，得到相应的第三去噪图像；进一步，基于各条分支去噪网络及融合网络各自得到的去噪图像以及原始样本图像对应的基准去噪图像，调整待训练模型的模型参数，通过进行多次上述模型迭代训练，使得待训练模型能够分别从图像整体和局部对原始样本图像进行理解和学习，提炼出有指向性且多样性的图像特征而具备更优的去噪能力，从而得到的图像处理模型无论是对整体模糊的图像还是局部模糊的图像，都具有较好的去噪效果。
[0152]
上述实施例介绍了图像处理模型的训练方法，通过上述训练方法可训练出具有图像去噪功能的图像处理模型，该图像处理模型能够应用于不同的应用场景，例如包括但不限于图像分割、目标识别、边缘提取等。示例地，以图像分割场景为例，在对待处理图像进行图像分割之前，可通过上述训练方法训练得到的图像处理模型对待处理图像进行去噪处理，得到目标去噪图像，进一步对目标去噪图像进行图像分割，有利于提高图像分割的准确性。
[0153]
本技术实施例还提供一种图像处理方法，能够基于图1所示方法训练得到的图像处理模型对待处理图像进行去噪处理。下面对该去噪过程进行详细说明。
[0154]
请参考图6，为本技术的一个实施例提供的一种图像处理方法的流程示意图，该方法可以包括如下步骤：
[0155]
s602，获取待处理图像。
[0156]
s604，通过图像处理模型对待处理图像进行去噪处理，得到去噪图像集合。
[0157]
其中，所述去噪图像集合包括第四去噪图像、第五去噪图像以及第六去噪图像中的至少一者，所述图像处理模型包括第一分支去噪网络、第二分支去噪网络和融合网络，所述第一分支去噪网络用于对所述待处理图像进行去噪处理得到所述第四去噪图像，所述第二分支去噪网络用于对所述待处理图像进行去噪处理得到所述第五去噪图像，所述融合网络用于对所述第四去噪图像和所述第五去噪图像进行融合处理得到所述第六去噪图像，所述图像处理模型是基于上述图像处理模型的训练方法训练得到的。
[0158]
s606，基于去噪图像集合，确定待处理图像对应的目标去噪图像。
[0159]
可选地，可以将去噪图像集合中的任一去噪图像，确定为待处理图像对应的目标去噪图像。可选地，也可以对去噪图像集合中的去噪图像进行融合处理，而后将融合处理所得的图像确定为待处理图像对应的目标去噪图像。
[0160]
通过本技术实施例的图像处理方法，通过图像处理模型即可实现对待处理图像的
去噪处理，实现简单快捷，效率高；此外，在图像处理模型的训练过程中，采用包含融合网络和两条分支去噪网络的待训练模型，基于半监督学习方法，由第一分支去噪网络基于原始样本图像及其对应的基准去噪图像进行有监督学习，通过从整体角度学习原始样本图像中的重要信息，得到整体效果上的第一去噪图像；由第二条分支去噪网络基于原始样本图像对应的局部擦除图像进行无监督学习，由于局部擦除图像相较于原始样本图像缺失了局部数据，使得第二分支去噪网络能够通过随机性地能够学习局部擦除图像的、具有代表性的特征，得到局部效果上的第二去噪图像，从而能够为第一分支去噪网络的有监督学习提供更多的指向性信息及多样性信息；由融合网络对有监督学习的效果和无监督学习的效果进行融合，得到相应的第三去噪图像；进一步，基于各条分支去噪网络及融合网络各自得到的去噪图像以及原始样本图像对应的基准去噪图像，调整待训练模型的模型参数，通过进行多次上述模型迭代训练，使得待训练模型能够分别从图像整体和局部对原始样本图像进行理解和学习，提炼出有指向性且多样性的图像特征而具备更优的去噪能力，从而得到的图像处理模型无论是对整体模糊的图像还是局部模糊的图像，都具有较好的去噪效果，进而利用训练得到的图像处理模型对待处理图像进行去噪处理，可以得到高质量的去噪图像。
[0161]
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0162]
此外，与上述图1所示的图像处理模型的训练方法相对应地，本技术实施例还提供一种图像处理模型的训练装置。请参考图7，为本技术的一个实施例提供的一种图像处理模型的训练装置700的结构示意图，该装置700包括：
[0163]
训练单元710，用于利用原始样本图像以及所述原始样本图像对应的局部擦除图像及基准去噪图像，对待训练模型进行模型迭代训练，得到图像处理模型；
[0164]
其中，所述待训练模型包括第一分支去噪网络、第二分支去噪网络和融合网络；每次模型训练的具体实现方式均有：
[0165]
所述第一分支去噪网络基于所述基准去噪图像，对所述原始样本图像进行去噪处理，得到第一去噪图像；
[0166]
所述第二分支去噪网络对所述局部擦除图像进行去噪处理，得到第二去噪图像；
[0167]
所述融合网络对所述第一去噪图像和所述第二去噪图像进行融合处理，得到第三去噪图像；
[0168]
基于所述第一去噪图像、所述第二去噪图像、所述第三去噪图像以及所述基准去噪图像，调整所述待训练模型的模型参数。
[0169]
可选地，所述训练单元基于所述第一去噪图像、所述第二去噪图像、所述第三去噪图像以及所述基准去噪图像，调整所述待训练模型的模型参数，包括：
[0170]
基于所述第一去噪图像、所述第二去噪图像、所述第三去噪图像以及所述基准去噪图像，确定所述待训练模型的去噪损失；
[0171]
基于所述待训练模型的去噪损失，调整所述待训练模型的模型参数。
[0172]
可选地，所述局部擦除图像包括第一局部擦除图像和第二局部擦除图像，所述第
一局部擦除图像为对所述原始样本图像的指定区域进行数据擦除得到，所述第二局部擦除图像为对所述原始样本图像进行随机数据擦除得到；
[0173]
所述所述第二分支去噪网络对所述局部擦除图像进行去噪处理，得到第二去噪图像，包括：
[0174]
若所述待训练模型不满足预设迭代稳定条件，则所述第二分支去噪网络对所述第一局部擦除图像进行去噪处理，得到第二去噪图像；
[0175]
若所述待训练模型满足所述预设迭代稳定条件，则所述第二分支去噪网络对所述第二局部擦除图像进行去噪处理，得到第二去噪图像。
[0176]
可选地，所述第一分支去噪网络包括第一卷积层和第一生成网络；
[0177]
所述第一卷积层用于基于所述基准去噪图像对所述原始样本图像进行卷积处理，得到第一纹理特征；
[0178]
所述第一生成网络用于基于所述第一纹理特征确定第一目标特征，以及基于所述第一目标特征生成所述第一去噪图像。
[0179]
可选地，所述第一分支去噪网络还包括第一残差层；
[0180]
所述第一残差层用于基于所述原始样本图像和所述局部擦除图像，生成残差图像；
[0181]
所述第一卷积特征还用于对所述残差图像进行卷积处理，得到第二纹理特征；
[0182]
在基于所述第一纹理特征确定第一目标特征方面，所述第一生成网络具体用于基于所述第一纹理特征与所述第二纹理特征之间的相似度，对所述第一纹理特征和所述第二纹理特征进行融合处理，得到所述第一目标特征。
[0183]
可选地，所述训练单元基于所述第一去噪图像、所述第二去噪图像、所述第三去噪图像以及所述基准去噪图像，确定所述待训练模型的去噪损失，包括：
[0184]
基于所述第一去噪图像和所述基准去噪图像，确定第一去噪损失；
[0185]
基于所述第二去噪图像和所述第一去噪图像，确定第二去噪损失；
[0186]
基于所述第三去噪图像和所述基准去噪图像，确定第三去噪损失；
[0187]
基于所述第一去噪损失、所述第二去噪损失以及所述第三去噪损失，确定所述待训练模型的去噪损失。
[0188]
可选地，所述训练单元基于所述第一去噪图像、所述第二去噪图像、所述第三去噪图像以及所述基准去噪图像，确定所述待训练模型的去噪损失，还包括：
[0189]
基于所述第一纹理特征与所述第二纹理特征之间的相似度，确定残差损失；
[0190]
所述训练单元基于所述第一去噪损失、所述第二去噪损失以及所述第三去噪损失，确定所述待训练模型的去噪损失，具体包括：
[0191]
基于所述第一去噪损失、所述第二去噪损失、所述第三去噪损失以及所述残差损失之间的加权和，确定所述待训练模型的去噪损失。
[0192]
可选地，所述第一生成网络包括：第三卷积层、第四卷积层、第一融合层、第二融合层以及n个特征提取模块，所述n个特征提取模块、n个中间输出特征以及n个最终输出特征之间一一对应，n为大于1的整数；
[0193]
所述n个特征提取模块中的第1个特征提取模块，用于对所述第一目标特征进行特征提取，得到所述第1个特征提取模块对应的中间输出特征及最终输出特征；
[0194]
所述n个特征提取模块中的第i个特征提取模块，用于对第i-1个特征提取模块对应的最终输出特征进行特征提取，得到所述第i个特征提取模块对应的中间输出特征及最终输出特征，其中，i为整数，且2≤i≤n；
[0195]
所述第三卷积层用于对所述n个特征提取模块中的第n个特征提取模块对应的最终输出特征进行卷积处理，得到第一候选特征；
[0196]
所述第一融合层用于对所述n个中间输出特征进行融合处理，得到融合中间特征；
[0197]
所述第四卷积层用于对所述融合中间特征进行卷积处理，得到第二候选特征；
[0198]
所述第二融合层用于对所述第一候选特征和所述第二候选特征进行融合处理得到第二目标特征，以及基于所述第二目标特征生成所述第一去噪图像。
[0199]
可选地，所述n个特征提取模块中的每个特征提取模块包括下采样层、上采样层、第二残差层、第五卷积层以及第三残差层；
[0200]
所述第1个特征提取模块的下采样层用于对所述第一目标特征进行下采样，得到所述第1个特征提取模块对应的下采样特征；所述第i个特征提取模块的下采样层用于对所述第i-1个特征提取模块对应的最终输出特征进行下采样，得到所述第i个特征提取模块对应的下采样特征；
[0201]
所述n个特征提取模块中的第j个特征提取模块的上采样层，用于对所述第j个特征提取模块对应的下采样特征进行上采样，得到所述第j个特征提取模块对应的上采样特征，其中，j为整数，且1≤j≤n；
[0202]
所述第1个特征提取模块的第二残差层用于对所述第一目标特征和所述第1个特征提取模块对应的上采样特征进行减残差处理，得到所述第1个特征提取模块对应的中间输出特征；所述第i个特征提取模块的第二残差层用于对所述第i-1个特征提取模块对应的最终输出特征和所述第i个特征提取模块对应的上采样特征进行减残差处理，得到所述第i个特征提取模块对应的中间输出特征；
[0203]
所述第j个特征提取模块的第五卷积层用于对所述第j个特征提取模块对应的中间输出特征进行卷积处理，得到所述第j个特征提取模块对应的中间卷积特征；
[0204]
所述第1个特征提取模块的第三残差层用于对所述第一目标特征和所述第1个特征提取模块对应的卷积特征进行加残差处理，得到所述第1个特征提取模块对应的最终输出特征；所述第i个特征提取模块的第三残差层用于对所述第i-1个特征提取模块的最终输出特征和所述第i个特征提取模块对应的中间卷积特征进行加残差处理，得到所述第i个特征提取模块对应的最终输出特征。
[0205]
可选地，所述第二分支去噪网络包括第二卷积层和第二生成网络；
[0206]
所述第二卷积层用于对所述局部擦除图像进行卷积处理，得到第三纹理特征；
[0207]
所述第二生成网络用于基于所述第三纹理特征生成所述第二去噪图像。
[0208]
可选地，所述第二生成网络与所述第一生成网络具有相同的网络结构。
[0209]
本技术实施例提供的图像处理模型的训练装置，采用包含融合网络和两条分支去噪网络的待训练模型，基于半监督学习方法，由第一分支去噪网络基于原始样本图像及其对应的基准去噪图像进行有监督学习，通过从整体角度学习原始样本图像中的重要信息，得到整体效果上的第一去噪图像；由第二条分支去噪网络基于原始样本图像对应的局部擦除图像进行无监督学习，由于局部擦除图像相较于原始样本图像缺失了局部数据，使得第
二分支去噪网络能够通过随机性地能够学习局部擦除图像的、具有代表性的特征，得到局部效果上的第二去噪图像，从而能够为第一分支去噪网络的有监督学习提供更多的指向性信息及多样性信息；由融合网络对有监督学习的效果和无监督学习的效果进行融合，得到相应的第三去噪图像；进一步，基于各条分支去噪网络及融合网络各自得到的去噪图像以及原始样本图像对应的基准去噪图像，调整待训练模型的模型参数，通过进行多次上述模型迭代训练，使得待训练模型能够分别从图像整体和局部对原始样本图像进行理解和学习，提炼出有指向性且多样性的图像特征而具备更优的去噪能力，从而得到的图像处理模型无论是对整体模糊的图像还是局部模糊的图像，都具有较好的去噪效果。
[0210]
显然，本技术实施例提供的图像处理模型的训练装置可以作为上述图1所示的图像处理模型的训练方法的执行主体，因此能够实现图像处理模型的训练方法在图1所实现的功能。由于原理相同，在此不再重复说明。
[0211]
此外，与上述图6所示的图像处理方法相对应地，本技术实施例还提供一种图像处理装置。请参考图8，为本技术的一个实施例提供的一种图像处理装置800的结构示意图，该装置800包括：
[0212]
第一获取单元810，用于获取待处理图像；
[0213]
第一去噪单元820，用于通过图像处理模型对所述待处理图像进行去噪处理，得到去噪图像集合，其中，所述去噪图像集合包括第四去噪图像、第五去噪图像以及第六去噪图像中的至少一者，所述图像处理模型包括第一分支去噪网络、第二分支去噪网络和融合网络，所述第一分支去噪网络用于对所述待处理图像进行去噪处理得到所述第四去噪图像，所述第二分支去噪网络用于对所述待处理图像进行去噪处理得到所述第五去噪图像，所述融合网络用于对所述第四去噪图像和所述第五去噪图像进行融合处理得到所述第六去噪图像，所述图像处理模型是基于本技术实施例所述的图像处理模型的训练方法训练得到的；
[0214]
第二获取单元830，用于基于所述去噪图像集合，确定所述待处理图像对应的目标去噪图像。
[0215]
本技术实施例提供的图像处理装置，通过图像处理模型即可实现对待处理图像的去噪处理，实现简单快捷，效率高；此外，在图像处理模型的训练过程中，采用包含融合网络和两条分支去噪网络的待训练模型，基于半监督学习方法，由第一分支去噪网络基于原始样本图像及其对应的基准去噪图像进行有监督学习，通过从整体角度学习原始样本图像中的重要信息，得到整体效果上的第一去噪图像；由第二条分支去噪网络基于原始样本图像对应的局部擦除图像进行无监督学习，由于局部擦除图像相较于原始样本图像缺失了局部数据，使得第二分支去噪网络能够通过随机性地能够学习局部擦除图像的、具有代表性的特征，得到局部效果上的第二去噪图像，从而能够为第一分支去噪网络的有监督学习提供更多的指向性信息及多样性信息；由融合网络对有监督学习的效果和无监督学习的效果进行融合，得到相应的第三去噪图像；进一步，基于各条分支去噪网络及融合网络各自得到的去噪图像以及原始样本图像对应的基准去噪图像，调整待训练模型的模型参数，通过进行多次上述模型迭代训练，使得待训练模型能够分别从图像整体和局部对原始样本图像进行理解和学习，提炼出有指向性且多样性的图像特征而具备更优的去噪能力，从而得到的图像处理模型无论是对整体模糊的图像还是局部模糊的图像，都具有较好的去噪效果，进而
利用训练得到的图像处理模型对待处理图像进行去噪处理，可以得到高质量的去噪图像。
[0216]
显然，本技术实施例提供的图像处理装置可以作为上述图6所示的图像处理方法的执行主体，因此能够实现图像处理方法在图6所实现的功能。由于原理相同，在此不再重复说明。
[0217]
图9是本技术的一个实施例电子设备的结构示意图。请参考图9，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(random-access memory，ram)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
[0218]
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是isa(industry standard architecture，工业标准体系结构)总线、pci(peripheral component interconnect，外设部件互连标准)总线或eisa(extended industry standard architecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
[0219]
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
[0220]
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成图像处理模型的训练装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
[0221]
利用原始样本图像、所述原始样本图像对应的局部擦除图像及基准去噪图像，对待训练模型进行模型迭代训练，得到图像处理模型；
[0222]
其中，所述待训练模型包括第一分支去噪网络、第二分支去噪网络和融合网络；每次模型迭代训练的具体实现方式均有：
[0223]
所述第一分支去噪网络基于所述基准去噪图像，对所述原始样本图像进行去噪处理，得到第一去噪图像；
[0224]
所述第二分支去噪网络对所述局部擦除图像进行去噪处理，得到第二去噪图像；
[0225]
所述融合网络对所述第一去噪图像和所述第二去噪图像进行融合处理，得到第三去噪图像；
[0226]
基于所述第一去噪图像、所述第二去噪图像、所述第三去噪图像以及所述基准去噪图像，调整所述待训练模型的模型参数。
[0227]
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成图像处理装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
[0228]
获取待处理图像；
[0229]
通过图像处理模型对所述待处理图像进行去噪处理，得到去噪图像集合，其中，所述去噪图像集合包括第四去噪图像、第五去噪图像以及第六去噪图像中的至少一者，所述图像处理模型包括第一分支去噪网络、第二分支去噪网络和融合网络，所述第一分支去噪网络用于对所述待处理图像进行去噪处理得到所述第四去噪图像，所述第二分支去噪网络用于对所述待处理图像进行去噪处理得到所述第五去噪图像，所述融合网络用于对所述第
四去噪图像和所述第五去噪图像进行融合处理得到所述第六去噪图像；
[0230]
基于所述去噪图像集合，确定所述待处理图像对应的目标去噪图像。
[0231]
上述如本技术图1所示实施例揭示的图像处理模型的训练装置执行的方法或者上述如本技术图6所示的图像处理装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
[0232]
该电子设备还可执行图1的方法，并实现图像处理模型的训练装置在图1所示实施例的功能，或者，该电子设备还可执行图6的方法，并实现图像处理装置在图6所示实施例的功能，本技术实施例在此不再赘述。
[0233]
当然，除了软件实现方式之外，本技术的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
[0234]
本技术实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图1所示实施例的方法，并具体用于执行以下操作：
[0235]
利用原始样本图像、所述原始样本图像对应的局部擦除图像及基准去噪图像，对待训练模型进行模型迭代训练，得到图像处理模型；
[0236]
其中，所述待训练模型包括第一分支去噪网络、第二分支去噪网络和融合网络；每次模型迭代训练的具体实现方式均有：
[0237]
所述第一分支去噪网络基于所述基准去噪图像，对所述原始样本图像进行去噪处理，得到第一去噪图像；
[0238]
所述第二分支去噪网络对所述局部擦除图像进行去噪处理，得到第二去噪图像；
[0239]
所述融合网络对所述第一去噪图像和所述第二去噪图像进行融合处理，得到第三去噪图像；
[0240]
基于所述第一去噪图像、所述第二去噪图像、所述第三去噪图像以及所述基准去噪图像，调整所述待训练模型的模型参数。
[0241]
本技术实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子
设备执行时，能够使该便携式电子设备执行图6所示实施例的方法，并具体用于执行以下操作：
[0242]
获取待处理图像；
[0243]
通过图像处理模型对所述待处理图像进行去噪处理，得到去噪图像集合，其中，所述去噪图像集合包括第四去噪图像、第五去噪图像以及第六去噪图像中的至少一者，所述图像处理模型包括第一分支去噪网络、第二分支去噪网络和融合网络，所述第一分支去噪网络用于对所述待处理图像进行去噪处理得到所述第四去噪图像，所述第二分支去噪网络用于对所述待处理图像进行去噪处理得到所述第五去噪图像，所述融合网络用于对所述第四去噪图像和所述第五去噪图像进行融合处理得到所述第六去噪图像；
[0244]
基于所述去噪图像集合，确定所述待处理图像对应的目标去噪图像。
[0245]
总之，以上所述仅为本技术的较佳实施例而已，并非用于限定本技术的保护范围。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。
[0246]
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
[0247]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0248]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0249]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。