图像处理方法、模型训练方法、装置、设备及存储介质与流程

1.本技术涉及人工智能领域，特别涉及一种图像处理方法、模型训练方法、装置、设备及存储介质。


背景技术：

2.随着计算机技术的发展，为了追求更加良好的图像显示效果，对图像分辨率提出了更高要求。
3.在相关技术中，图像中的色彩变化剧烈的区域携带有丰富的高频信息，通过提取描述图像的高频信息，对低分辨率图像进行重新映射，得到高分辨率图像。
4.然而，图像中还携带有其他特征信息没有被充分利用，如何充分利用图像中携带的特征信息，提高图像分辨率是亟待解决的问题。


技术实现要素：

5.本技术提供了一种图像处理方法、模型训练方法、装置、设备及存储介质，所述技术方案如下：
6.根据本技术的一方面，提供了一种图像处理方法，所述方法包括：
7.获取第一分辨率图像；
8.对所述第一分辨率图像进行特征提取处理，得到所述第一分辨率图像的高频特征，所述高频特征用于描述所述第一分辨率图像中的高频信息；
9.对所述第一分辨率图像进行特征提取处理，得到所述第一分辨率图像的降质特征，所述降质特征用于描述所述第一分辨率图像在降质特征空间中的噪声损失信息；
10.根据所述第一分辨率图像的所述高频特征和所述降质特征，重构得到第二分辨率图像，所述第二分辨率图像的分辨率高于所述第一分辨率图像。
11.根据本技术的另一方面，提供了一种图像处理模型的训练方法，所述图像处理模型包括降质提取网络和高频提取网络；所述方法包括：
12.获取样本图像对，所述样本图像对包括第一样本图像和第二样本图像，所述第一样本图像的分辨率小于所述第二样本图像；
13.调用所述高频提取网络对所述第一样本图像进行特征提取处理，得到第一样本图像的预测高频特征；
14.调用所述降质提取网络对所述第一样本图像进行特征提取处理，得到第一样本图像的预测降质特征；
15.根据所述第一样本图像的所述预测高频特征和所述预测降质特征，重构得到预测图像，所述预测图像的分辨率高于所述第一样本图像；
16.根据所述预测图像和所述第二样本图像之间的误差，对所述图像处理模型进行训练，得到训练后的图像处理模型。
17.根据本技术的另一方面，提供了一种图像处理装置，所述装置包括：
18.获取模块，用于获取第一分辨率图像；
19.提取模块，用于对所述第一分辨率图像进行特征提取处理，得到所述第一分辨率图像的高频特征，所述高频特征用于描述所述第一分辨率图像中的高频信息；
20.所述提取模块，还用于对所述第一分辨率图像进行特征提取处理，得到所述第一分辨率图像的降质特征，所述降质特征用于描述所述第一分辨率图像在降质特征空间中的噪声损失信息；
21.重构模块，用于根据所述第一分辨率图像的所述高频特征和所述降质特征，重构得到第二分辨率图像，所述第二分辨率图像的分辨率高于所述第一分辨率图像。
22.在本技术的一个可选设计中，所述装置基于图像处理模型执行，所述降质特征是由所述图像处理模型中的降质提取网络提取得到的，所述降质提取网络包括编码子网络和降质编码本；
23.所述提取模块还用于：
24.调用所述编码子网络对所述第一分辨率图像进行编码处理，得到所述第一分辨率图像的编码特征；
25.根据所述降质编码本和所述编码特征，对所述编码特征对应的编码特征空间进行约束处理，得到所述降质特征，所述降质特征对应有所述降质特征空间。
26.在本技术的一个可选设计中，所述编码子网络包括像素编码子网络和/或块编码子网络；所述编码特征包括像素编码特征和/或块编码特征；
27.所述提取模块还用于：
28.调用所述像素编码子网络基于第一感受野，对所述第一分辨率图像进行编码处理，得到所述像素编码特征；
29.和/或，
30.调用所述块编码子网络基于第二感受野，对所述第一分辨率图像进行编码处理，得到所述块编码特征，所述第一感受野小于所述第二感受野。
31.在本技术的一个可选设计中，所述装置基于图像处理模型执行，所述高频特征是由所述图像处理模型中的高频提取网络提取得到的；
32.所述提取模块还用于：
33.调用所述高频提取网络对所述第一分辨率图像进行提取处理，得到所述第一分辨率图像的高频特征。
34.在本技术的一个可选设计中，所述装置基于图像处理模型执行，所述图像处理模型包括重构网络；
35.所述重构模块还用于：
36.调用所述重构网络对所述第一分辨率图像的所述高频特征和所述降质特征进行重构处理，得到所述第二分辨率图像。
37.在本技术的一个可选设计中，所述图像处理模型还包括融合网络；
38.所述重构模块还用于：
39.调用所述融合网络根据自注意力机制对所述高频特征和所述降质特征进行融合处理，得到融合特征；
40.调用所述重构网络对所述融合特征进行重构处理，得到所述第二分辨率图像。
41.根据本技术的另一方面，提供了一种图像处理模型的训练装置，所述图像处理模型包括降质提取网络和高频提取网络；所述装置包括：
42.获取模块，用于获取样本图像对，所述样本图像对包括第一样本图像和第二样本图像，所述第一样本图像的分辨率小于所述第二样本图像；
43.提取模块，用于调用所述高频提取网络对所述第一样本图像进行特征提取处理，得到第一样本图像的预测高频特征；
44.所述提取模块，还用于调用所述降质提取网络对所述第一样本图像进行特征提取处理，得到第一样本图像的预测降质特征；
45.重构模块，用于根据所述第一样本图像的所述预测高频特征和所述预测降质特征，重构得到预测图像，所述预测图像的分辨率高于所述第一样本图像；
46.训练模块，用于根据所述预测图像和所述第二样本图像之间的误差，对所述图像处理模型进行训练，得到训练后的图像处理模型。
47.根据本技术的另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上方面所述的图像处理方法和/或模型训练方法。
48.根据本技术的另一方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上方面所述的图像处理方法和/或模型训练方法。
49.根据本技术的另一方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中，处理器从所述计算机可读存储介质读取并执行所述计算机指令，以实现上述如上方面所述的图像处理方法和/或模型训练方法。
50.本技术提供的技术方案带来的有益效果至少包括：
51.通过提取图像携带的降质信息，描述对图像在降质特征空间中的噪声损失信息，充分提取了第一分辨率图像中携带的噪声损失情况，描述了第一分辨率图像中的噪声对图像的影响，拓展了第一分辨率图像的特征提取方式，拓展了重构第二分辨率图像过程中的依据，提高了图像分辨率放大的效果。
附图说明
52.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
53.图1是本技术一个示例性实施例提供的计算机系统的示意图；
54.图2是本技术一个示例性实施例提供的图像处理模型的示意图；
55.图3是本技术一个示例性实施例提供的图像处理方法的流程图；
56.图4是本技术一个示例性实施例提供的图像处理方法的流程图；
57.图5是本技术一个示例性实施例提供的图像处理方法的流程图；
58.图6是本技术一个示例性实施例提供的对第一分辨率图像进行编码处理的示意图；
59.图7是本技术一个示例性实施例提供的图像处理方法的流程图；
60.图8是本技术一个示例性实施例提供的图像处理方法的流程图；
61.图9是本技术一个示例性实施例提供的图像处理方法的流程图；
62.图10是本技术一个示例性实施例提供的图像处理模型的训练方法的流程图；
63.图11是本技术一个示例性实施例提供的图像处理装置的结构框图；
64.图12是本技术一个示例性实施例提供的图像处理模型的训练装置的结构框图；
65.图13是本技术一个示例性实施例提供的服务器的结构框图。
66.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
具体实施方式
67.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
68.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
69.在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
70.需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本技术中涉及到的第一分辨率图像、第二分辨率图像、样本图像对等信息都是在充分授权的情况下获取的。
71.应当理解，尽管在本公开可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一参数也可以被称为第二参数，类似地，第二参数也可以被称为第一参数。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
72.人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解
智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
73.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
74.机器学习(machine learning，ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
75.图1示出了本技术一个实施例提供的计算机系统的示意图。该计算机系统可以实现成为图像处理方法和/或模型训练方法的系统架构。该计算机系统可以包括：终端100和服务器200。终端100可以是诸如手机、平板电脑、车载终端(车机)、可穿戴设备、pc(personal computer，个人计算机)、无人预定终端等电子设备。终端100中可以安装运行目标应用程序的客户端，该目标应用程序可以是图像处理方法和/或模型训练方法的应用程序，也可以是提供有图像处理方法和/或模型训练方法的功能的其他应用程序，本技术对此不作限定。另外，本技术对该目标应用程序的形式不作限定，包括但不限于安装在终端100中的app(application，应用程序)、小程序等，还可以是网页形式。服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。服务器200可以是上述目标应用程序的后台服务器，用于为目标应用程序的客户端提供后台服务。
76.本技术实施例提供的图像处理方法和/或模型训练方法，各步骤的执行主体可以是计算机设备，所述计算机设备是指具备数据计算、处理和存储能力的电子设备。以图1所示的方案实施环境为例，可以由终端100执行图像处理方法和/或模型训练方法(如终端100中安装运行的目标应用程序的客户端执行该图像处理方法和/或模型训练方法)，也可以由服务器200执行该图像处理方法和/或模型训练方法，或者由终端100和服务器200交互配合执行，本技术对此不作限定。
77.此外，本技术技术方案可以和区块链技术相结合。例如，本技术所公开的图像处理方法和/或模型训练方法，其中涉及的一些数据(第一分辨率图像、样本图像对等数据)可以保存于区块链上。终端100和服务器200之间可以通过网络进行通信，如有线或无线网络。
78.接下来，对本技术中的图像处理模型进行介绍：
79.图2示出了本技术一个实施例提供的图像处理模型的示意图。
80.示例性的，图像处理方法是基于图像处理模型400执行的。
81.示例性的，图像处理模型包括高频提取网络410、降质提取网络420、重构网络430。
82.计算机设备获取第一分辨率图像402。通过调用图像处理模型400对第一分辨率图像402进行图像超分辨率处理，将第一分辨率图像402的分辨率进行扩大，得到第二分辨率图像440，第二分辨率图像440经过分辨率扩大后，对图像细节进行补充，提升了第二分辨率
图像440的清晰。第二分辨率图像440的分辨率高于第一分辨率图像402。
83.在一个示例中，调用高频提取网络410对第一分辨率图像402进行特征提取处理，得到第一分辨率图像402的高频特征410a，高频特征410a用于描述第一分辨率图像402中的高频信息；示例性的，第一分辨率图像402中色彩产生剧烈变化的区域携带有丰富的高频信息。
84.示例性的，降质提取网络420包括：编码子网络422、降质编码本424。调用编码子网络422对第一分辨率图像402进行特征提取处理，进行编码处理，得到第一分辨率图像402的编码特征；进一步的，根据降质编码本和编码特征，对编码特征对应的编码特征空间进行约束处理，得到降质特征410b，降质特征410b对应有降质特征空间。
85.基于自注意力机制对高频特征410a和所述降质特征410b进行融合处理，得到融合特征410c。进一步的，调用重构网络430对融合特征410c进行重构处理，得到所述第二分辨率图像440。
86.接下来，通过以下实施例对图像处理方法和图像处理模型进行进一步介绍：
87.图3示出了本技术一个示例性实施例提供的图像处理方法的流程图。该方法可以由计算机设备执行。该方法包括：
88.步骤510：获取第一分辨率图像；
89.示例性的，第一分辨率图像可以是计算机设备拍摄得到的图像，也可以是经过传输得到的图像，本实施例对第一分辨率图像的获取方式不做出任何限制。进一步的，本技术的实施例中第一分辨率图像和第二分辨率图像仅用于区分图像的分辨率不同，并不用于指示第一分辨率图像的具体分辨率数值，本技术对第一分辨率图像的分辨率数值不做出任何限制性规定。
90.步骤520：对第一分辨率图像进行特征提取处理，得到第一分辨率图像的高频特征；
91.示例性的，高频特征用于描述第一分辨率图像中的高频信息；在一个示例中第一分辨率图像中色彩变化剧烈的区域携带有丰富的高频信息。第一分辨率图像的高频信息用于指示第一分辨率图像的色彩变化情况，具体的，高频信息和第一分辨率图像的色彩变化剧烈程度呈现正相关关系。
92.示例性的，高频信息用于指示频率变化快的信息，比如高频信息用于指示第一分辨率图像的频率变化程度，高频信息和第一分辨率图像的频率变化程度呈现正相关关系。对于一个灰度图像在图像相邻区域之间的灰度相差很大频率变化快，携带有丰富的高频信息。在图像中的图像主体和图像背景之间的边缘区域色彩变化快，携带有丰富的高频信息。
93.步骤530：对第一分辨率图像进行特征提取处理，得到第一分辨率图像的降质特征；
94.示例性的，降质特征用于指示第一分辨率图像中的降采样信息、噪声信息、模糊信息中的至少之一。降质特征描述有第一分辨率图像中受到降采样、噪声、模糊等处理对第一分辨率图像的影响。示例性的，降质特征可以直接从第一分辨率图像中提取，也可以是在对比第一分辨率图像和预测第一分辨率图像进行升采样之后得到的升采样图像之间的区别之后间接提取的。本实施例对提取降质特征的方式不做出任何限制性规定。
95.示例性的，降质特征用于描述第一分辨率图像在降质特征空间中的噪声损失信
息；示例性的，降质特征对应有降质特征空间，第一分辨率图像对应有第一特征空间，降质特征空间是在第一特征空间的基础上经过约束的特征空间。示例性的，降质特征空间是第一特征空间的一部分，对第一特征空间进行约束，缩小得到降质特征空间。
96.需要说明的是，本实施例中的特征提取处理，包括提取高频特征和降质特征中的至少之一，可以是调用人工神经网络构建的模型实现的，也可以是经过统计处理或其他方式计算得到的，本实施例对特征提取的具体方式不做出任何限制性规定。
97.步骤540：根据第一分辨率图像的高频特征和降质特征，重构得到第二分辨率图像。
98.示例性的，根据高频特征和降质特征，将第一分辨率图像映射为第二分辨率图像，实现对第一分辨率图像的分辨率进行扩大，得到第二分辨率图像。示例性的，第二分辨率图像的分辨率高于第一分辨率图像。
99.综上所述，本实施例提供的方法，通过提取图像携带的降质信息，描述对图像在降质特征空间中的噪声损失信息，充分提取了第一分辨率图像中携带的噪声损失情况，描述了第一分辨率图像中的噪声对图像的影响，拓展了第一分辨率图像的特征提取方式，拓展了重构第二分辨率图像过程中的依据，提高了图像分辨率放大的效果。
100.图4示出了本技术一个示例性实施例提供的图像处理方法的流程图。该方法可以由计算机设备执行。在图3示出的实施例中，步骤530可以实现为步骤532和步骤534：
101.步骤532：调用编码子网络对第一分辨率图像进行编码处理，得到第一分辨率图像的编码特征；
102.示例性的，图像处理方法基于图像处理模型执行的，降质特征是由图像处理模型中的降质提取网络提取得到的，降质提取网络用于提取降质特征。在一个示例中，降质提取网络包括编码子网络和降质编码本；
103.示例性的，编码网络用于对第一分辨率图像进行编码处理，编码得到第一分辨率图像的编码特征，编码特征用于表示第一分辨率图像中携带的深层特征表示。需要说明的是，编码网络可以基于不同的感受野对第一分辨率图像中携带的深层特征表示进行编码提取。
104.步骤534：根据降质编码本和编码特征，对编码特征对应的编码特征空间进行约束处理，得到降质特征；
105.示例性的，降质编码本用于对编码特征进行约束，在降质编码本中提取得到编码特征对应的降质特征。示例性的，降质编码本是用于约束编码特征对应的第一特征空间的编码本，示例性的，降质编码本携带有n个降质特征，分局编码特征在降质编码本的n个降质特征中查找简直特征，或根据n个降质特征和编码特征，生成新的降质特征。
106.在一种实现方式中，降质编码本是构建的得到的，在图像处理模型的训练过程中训练得到的编码本。示例性的，降质特征对应有降质特征空间，降质特征空间是对第一特征空间经过约束后得到的特征空间。
107.在一个具体的示例中，降质编码本是用于约束编码特征对应的第一特征空间的编码本；降质编码本的大小为n*c，其中，n表示降质编码本中的特征数量，c表示降质编码本中的特征的长度。示例性的，在降质编码本中查找编码特征对应的降质特征。在一种实现方式中，可以直接在降质编码本中查找和编码特征最接近的特征。也可以对降质编码本进行线
性变化处理，根据自适应方式查找降质编码本中的降质特征，对编码特征的特征空间进行约束。在一个示例中，降质特征对应的降质特征空间的空间基数量和降质编码本中的特征数量相同，均为n个。示例性的，降质特征空间是包括n个降质编码本的降质特征的特征空间，降质特征空间是根据n个降质特征构建的，降质特征空间是降质编码本中的全部特征表示对应的特征空间。
108.n个降质特征是降质特征空间的空间基，空间基用于构建降质特征空间。
109.在一个具体的示例中，对根据降质编码本和编码特征得到降质特征进行介绍：
110.fq'＝mlp(fq)；
111.fk'＝mlp(b)；
112.f
qk
'＝softmax(fq'*fk'
t
)；
113.fd＝f
qk
'*b；
114.其中，fq表示编码特征，b表示降质编码本，softmax表示归一化函数；fd表示降质特征；fq'表示经过线性变化层处理的编码特征，fk'表示经过线性变化层处理的降质编码本，f
qk
'为中间变量，mlp表示线性变换层。
115.综上所述，本实施例提供的方法，通过编码子网络对图像中携带的深层特征进行编码提取；基于降质编码本对编码特征对应的编码特征空间进行约束，得到约束后的降质特征空间对应有降质特征；描述了对图像在降质特征空间中的噪声损失信息，描述了第一分辨率图像中的噪声对图像的影响，拓展了第一分辨率图像的特征提取方式，拓展了重构第二分辨率图像过程中的依据，提高了图像分辨率放大的效果。
116.图5示出了本技术一个示例性实施例提供的图像处理方法的流程图。该方法可以由计算机设备执行。在图3示出的实施例中，步骤532可以实现为步骤532a和步骤532b：
117.步骤532a：调用像素编码子网络基于第一感受野，对第一分辨率图像进行编码处理，得到像素编码特征；
118.示例性的，编码子网络包括像素编码子网络和块编码子网络；编码特征包括像素编码特征和块编码特征。
119.在本实施例中，像素编码子网络基于像素对应的第一感受野，对第一分辨率图像进行编码处理，得到像素编码特征。第一感受野用于指示像素编码子网络对第一分辨率图像进行编码处理时，输出的像素编码特征映射在第一分辨率图像上的区域大小。
120.在一种具体的实现方式中，像素编码子网络实现为像素编码层和第一池化层，像素编码层用于对第一分辨率图像进行编码处理，通过像素卷积得到像素卷积信息。调用第一池化层对第一分辨率图像的像素卷积信息进行平均池化处理，得到像素编码特征。
121.步骤532b：调用块编码子网络基于第二感受野，对第一分辨率图像进行编码处理，得到块编码特征；
122.在本实施例中，块编码子网络基于对第一分辨率图像裁剪得到的图像块对应的第二感受野，对第一分辨率图像进行编码处理，得到块编码特征。第二感受野用于指示块编码子网络对第一分辨率图像进行编码处理时，输出的块编码特征映射在第一分辨率图像上的区域大小。
123.可以理解的，第一感受野小于第二感受野。
124.在一种具体的实现方式中，块编码子网络实现为块编码层和第二池化层，块编码
层用于对第一分辨率图像进行编码处理，通过块卷积得到块卷积信息。调用第一池化层对第一分辨率图像的块卷积信息进行平均池化处理，得到块编码特征。
125.需要说明的是，本实施例中仅示例性的介绍了编码子网络包括像素编码子网络和块编码子网络的情况。本领域技术人员可以理解，在一种实现方式中，编码子网络包括像素编码子网络或块编码子网络；相应的，编码特征包括像素编码特征或块编码特征。
126.进一步的，在本实施例中，编码特征包括像素编码特征和块编码特征。编码特征可以直接包括像素编码特征和块编码特征，编码特征也可以将像素编码特征和块编码特征进行融合处理，间接携带像素编码特征和块编码特征。具体的，通过对像素编码特征和块编码特征进行拼接，得到编码特征，编码特征间接携带有像素编码特征和块编码特征。通过对像素编码特征和块编码特征利用计算方式进行融合，得到编码特征，编码特征间接携带有像素编码特征和块编码特征。
127.综上所述，本实施例提供的方法，通过不同感受野对第一分辨率图像中携带的深层特征进行编码提取；充分考虑了第一分辨率图像中的整体和局部携带的不同深层特征。提升了对第一分辨率图像进行编码处理提取特征的效果，为描述对图像在降质特征空间中的噪声损失信息，描述第一分辨率图像中的噪声对图像的影响奠定了基础；拓展了第一分辨率图像的特征提取方式，拓展了重构第二分辨率图像过程中的依据，提高了图像分辨率放大的效果。
128.图6示出了本技术一个示例性实施例提供的对第一分辨率图像进行编码处理的示意图。
129.示例性的，图6示例性的示出了对第一分辨率图像460进行编码处理，得到第一分辨率图像460的编码特征460a。
130.第一分辨率图像460是计算机设备获取的，在本实施例中，对第一分辨率图像460进行了裁剪处理，得到了第一分辨率图像460的16个像素块。可以理解的，这里的裁剪方式仅仅是一种示例性描述，可以裁剪为更多或更少的像素块。
131.一方面的，对第一分辨率图像460进行块卷积处理，得到第一分辨率图像460的块卷积信息462。示例性的，块卷积处理的感受野是对第一分辨率图像460进行裁剪处理得到的像素块。对块卷积信息462进行平均池化处理，得到块编码特征462a。
132.另一方面的，对第一分辨率图像460进行像素卷积处理，得到第一分辨率图像460的像素卷积信息464。示例性的，像素卷积处理的感受野是对第一分辨率图像460中国的像素点。对像素卷积信息464进行平均池化处理，得到像素编码特征464a。
133.对块编码特征462a和像素编码特征464a进行拼接处理，得到编码特征460a。
134.在一个示例中，为了对降质特征进行分类，编码器只保留降质特征的相关特征，而忽略内容信息。降质特征空间和第一分辨率图像的图像内容空间之间的直接交互将引入干扰。在没有明确考虑内容信息的情况下，降质特征在sr网络中的纹理信息无关，会导致伪影。
135.图7示出了本技术一个示例性实施例提供的图像处理方法的流程图。该方法可以由计算机设备执行。在图3示出的实施例中，步骤520可以实现为步骤522：
136.步骤522：调用高频提取网络对第一分辨率图像进行提取处理，得到第一分辨率图像的高频特征；
137.示例性的，图像处理方法基于图像处理模型执行的，高频特征是由图像处理模型中的高频提取网络提取得到的，高频提取网络用于提取高频特征。
138.在一个示例中，本实施例中的高频提取网络是人工神经网络构建得到的网络。在一种实现方式中，高频提取网络包括但不限于如下模型中的至少之一：
139.前馈神经网络(feedforward neural network)、卷积神经网络(convolutional neural network，cnn)、全连接神经网络(fully convolutional networks，fcn)、生成对抗网络(generative adversarial network，gan)、反馈神经网络(feedback neural network)、循环神经网络(recurrent neural network，rnn)、长短期记忆网络(long short-term memory，lstm)、残差网络(resnet)。
140.示例性的，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
141.需要说明的是，本实施例中仅示例性介绍了图像处理模型中的高频提取网络，本领域技术人员可以理解，在另一个示例中，图像处理模型的网络结构可以进行叠加，与上文或下文中示例展示的图像处理模型重新组合成为新的模型。
142.综上所述，本实施例提供的方法，通过调用高频提取网络对第一分辨率图像中的高频特征；充分获取了第一分辨率图像中变化剧烈的区域，为实现第一分辨率图像的超分辨率奠定了基础，保证了图像分辨率放大的效果。
143.图8示出了本技术一个示例性实施例提供的图像处理方法的流程图。该方法可以由计算机设备执行。在图3示出的实施例中，步骤540可以实现为步骤542：
144.步骤542：调用重构网络对第一分辨率图像的高频特征和降质特征进行重构处理，得到第二分辨率图像；
145.示例性的，重构网络用于根据第一分辨率图像的特征表示，将第一分辨率图像映射为第二分辨率图像，得到第二分辨率图像。在本实施例中，可以直接对高频特征和降质特征进行重构处理，得到第二分辨率图像；也可以将高频特征和降质特征先进行融合处理，对处理得到的特征表示进行重构，间接对高频特征和降质特征进行重构处理，得到第二分辨率图像。
146.在本实施例的一个可选实现方式中，如图9所示，本实施例中的步骤542可以实现为步骤542a、步骤542b：
147.步骤542a：调用融合网络根据自注意力机制对高频特征和降质特征进行融合处理，得到融合特征；
148.示例性的，融合网络用于基于注意力机制对高频特征和降质特征进行融合处理。在一个具体的实例中，对高频特征和降质特征进行融合处理的方式：
149.f
sr
'＝mlp(mean_pool_2d(f
sr
))；
150.fd'＝mlp(fd)；
151.f
qk
'＝softmax(f
sr
'*fd'
t
)；
152.fo＝γ*mlp(fd)*f
qk
'
t
+fd；
153.θ＝mlp(fo)；
[0154][0155]
其中，f
sr
表示高频特征，fd表示降质特征，mean_pool_2d表示将一个二维的图像特征进行空间维度上的平均后得到一个一维特征，f
sr
'表示经过线性变化层处理的高频特征，fd'表示经过线性变化层处理的降质特征，softmax表示归一化函数；γ表示超参数，θ表示动态卷积的核参数，动态卷积的核参数与高频特征f
sr
再进行卷积得到高频特征与降质特征融合后的融合特征
[0156]
示例性的，在一种可选实现方式中，可以直接将fo表示为融合特征。不计算动态卷积的核参数。
[0157]
步骤542b：调用重构网络对融合特征进行重构处理，得到第二分辨率图像；
[0158]
示例性的，将高频特征和降质特征先进行融合处理，调用重构网络对处理得到的特征表示进行重构，间接对高频特征和降质特征进行重构处理，得到第二分辨率图像。
[0159]
综上所述，本实施例提供的方法，通过自注意力机制，充分保证了对高频特征和降质特征进行融合处理的效果，通过重构网络，将融合特征进行重构得到第二分辨率图像，拓展了重构第二分辨率图像过程中的依据，提高了图像分辨率放大的效果。
[0160]
在一个示例中，通过对公开的图像数据集进行图像处理，对本技术的图像处理方法进行验证，得到如下表所示的实验效果。
[0161]
表一
[0162]
方法set5set14bsd100urban100srsvd34.51/0.878731.10/0.858129.71/0.799328.08/0.7965ikc35.30/0.938131.48/0.879730.50/0.854528.62/0.8689manet35.98/0.942031.95/0.884530.97/0.865129.61/0.8880han26.83/0.791923.21/0.688825.11/0.661322.42/0.6571dip28.19/0.793925.66/0.699925.03/0.676222.97/0.6737kernel gan+zssr-23.92/0.689825.28/0.639521.97/0.6582han+correction28.61/0.801326.22/0.729226.88/0.711625.31/0.7109dasr35.30/0.936031.30/0.868330.46/0.850728.66/0.8654本方法36.13/0.942532.09/0.881430.96/0.861529.51/0.8828
[0163]
在表一中，第二分辨率图像的分辨率是第一分辨率图形的两倍，在第一分辨率图像中未加入噪声。
[0164]
在表一中，子空间限制的奇异值分解(subspace-restricted singular value decompositions，srsvd)、迭代内核校正(iterative kernel correction，ikc)、相互仿射网络(mutual affine net，manet)为有降质监督的图像处理方式。
[0165]
异构图注意网络(heterogeneous graph attention network，han)、深度图像先验网络(deep image prior，dip)、内核生成对抗网络和零学习超分辨率(kernel generative adversarial network“zero shot”super-resolution，kernel gan+zssr)、异构图注意网络和修正(heterogeneous graph attention network correction，han+
correction)、退化的自适应超分辨率(degradation-adaptive super-resolution，dasr)和本技术示出的图像处理方法为无降质监督的图像处理方式。
[0166]
表一中示出了对set5、set14、bsd100、urban100四个公开数据集的处理结果。具体的，对于表一中的第一个统计内容“34.51/0.8787”用于指示srsvd方式对set5公开数据集的进行图像处理的统计结果，其中，34.51表示峰值信噪比(peak signal-to-noise ratio，psnr)，0.8787表示结构相似性(similarity structural index measure，ssim)。
[0167]
可以理解的，本方法的处理结果优于其他无降质监督的图像处理方式；对采用降质监督的图像处理方式的性能实现了部分超越。
[0168]
表二
[0169]
方法set5set14bsd100urban100ikc32.94/0.910429.14/0.816228.36/0.781426.34/0.8049manet33.69/0.918429.81/0.827028.81/0.793227.39/0.8331han23.71/0.617122.31/0.587823.21/0.565320.34/0.5311dip27.51/0.774025.03/0.667424.60/0.649922.23/0.6450dasr33.43/0.915129.57/0.818728.58/0.784626.83/0.8174本方法33.81/0.919229.95/0.827528.81/0.792227.44/0.8329
[0170]
在表二中，第二分辨率图像的分辨率是第一分辨率图形的第三倍，在第一分辨率图像中未加入噪声。可以理解的，本方法的处理结果优于其他无降质监督的图像处理方式；对采用降质监督的图像处理方式的性能实现了部分超越。
[0171]
表三
[0172]
方法set5set14bsd100urban100ikc31.08/0.878127.83/0.766327.12/0.723325.16/0.7609manet31.54/0.887628.28/0.772727.36/0.730725.66/0.7760han21.71/0.594120.42/0.493721.48/0.490119.01/0.4676dip26.71/0.741724.52/0.636024.34/0.616021.85/0.6155kernel gan+zssr
‑‑
18.24/0.368916.80/0.3960han+correction24.31/0.635724.44/0.634124.01/0.600522.32/0.6368dasr31.45/0.885928.12/0.770327.24/0.728425.28/0.7636本方法31.63/0.888528.31/0.774627.38/0.731125.75/0.7783
[0173]
在表三中，第二分辨率图像的分辨率是第一分辨率图形的第四倍，在第一分辨率图像中未加入噪声。可以理解的，本方法的处理结果优于其他无降质监督的图像处理方式；对采用降质监督的图像处理方式的性能实现了部分超越。
[0174]
表四
[0175]
方法set5set14bsd100urban100ikc27.23/0.787725.55/0.671725.15/0.623623.31/0.6697manet27.58/0.791525.75/0.674425.30/0.626223.57/0.6760han20.88/0.424518.91/0.290121.01/0.488119.31/0.3552dip18.60/0.269518.14/0.239217.90/0.207318.82/0.3476
kernel gan+zssr
‑‑
19.56/0.458213.65/0.1136han+correction19.21/0.228118.21/0.247819.25/0.423119.01/0.3500dasr27.48/0.790725.56/0.672325.25/0.626123.30/0.6663本方法27.70/0.794725.81/0.675725.33/0.627723.60/0.6761
[0176]
在表四中，第二分辨率图像的分辨率是第一分辨率图形的第四倍，在第一分辨率图像中加入有噪声，噪声等级为15。可以理解的，本方法的处理结果优于其他无降质监督的图像处理方式；对采用降质监督的图像处理方式的性能实现了部分超越。
[0177]
图10示出了本技术一个示例性实施例提供的图像处理模型的训练方法的流程图。该方法可以由计算机设备执行。该方法包括：
[0178]
步骤610：获取样本图像对；
[0179]
示例性的，样本图像对包括第一样本图像和第二样本图像，第一样本图像的分辨率小于第二样本图像；第一样本图像和第二样本图像具有相同或相似的的图像内容。
[0180]
示例性的，样本图像对可以是计算机设备拍摄得到的图像，也可以是经过传输得到的图像，本实施例对样本图像对的获取方式不做出任何限制。进一步的，本技术的实施例中第一样本图像和第二样本图像仅用于区分图像的分辨率不同，并不用于指示第一样本图像和第二样本图像的具体分辨率数值。
[0181]
步骤620：调用高频提取网络对第一样本图像进行特征提取处理，得到第一样本图像的预测高频特征；
[0182]
示例性的，高频特征用于描述第一样本图像中的高频信息；在一个示例中第一样本图像中色彩变化剧烈的区域携带有丰富的高频信息。
[0183]
示例性的，高频信息用于指示频率变化快的信息，对于一个灰度图像在图像相邻区域之间的灰度相差很大频率变化快，携带有丰富的高频信息。在图像中的图像主体和图像背景之间的边缘区域色彩变化快，携带有丰富的高频信息。
[0184]
步骤630：调用降质提取网络对第一样本图像进行特征提取处理，得到第一样本图像的预测降质特征；
[0185]
示例性的，降质特征用于描述第一样本图像中受到降采样、噪声、模糊等处理对图像的影响。示例性的，降质特征可以直接从第一样本图像中提取，也可以是在对比第一样本图像和预测第一样本图像进行升采样之后得到的升采样图像之间的区别之后间接提取的。本实施例对提取降质特征的方式不做出任何限制性规定。
[0186]
步骤640：根据第一样本图像的预测高频特征和预测降质特征，重构得到预测图像，预测图像的分辨率高于第一样本图像；
[0187]
示例性的，根据高频特征和降质特征，将第一样本图像映射为预测图像，实现对第一样本图像的分辨率进行扩大，得到预测图像。示例性的，预测图像的分辨率高于第一样本图像。
[0188]
步骤650：根据预测图像和第二样本图像之间的误差，对图像处理模型进行训练，得到训练后的图像处理模型；
[0189]
示例性的，对图像处理模型进行训练用于减小预测图像和第二样本图像之间的误差。示例性的，采用后向传播方式进行图像处理模型的训练。
[0190]
综上所述，本实施例提供的方法，通过提取图像携带的降质信息，描述对图像在降
质特征空间中的噪声损失信息，充分提取了第一分辨率图像中携带的噪声损失情况，描述了第一分辨率图像中的噪声对图像的影响，拓展了第一分辨率图像的特征提取方式，拓展了重构第二分辨率图像过程中的依据，提高了图像分辨率放大的效果。
[0191]
在一个示例中，为了实现更有效和准确的无监督退化预测(unsupervised degradation prediction，udp)对于超分辨率(super-resolution，sr)网络是否需要降质特征，本领域技术人员可以通过实验理解得出，降质特征无法提高网络性能，甚至影响超分辨率的效果。示例性的，超分辨率网络用于指示对图像进行超分辨率处理的网络，比如上文中的图像处理模型。
[0192]
在一个示例中，为了对降质特征进行分类，编码器只保留降质特征的相关特征，而忽略内容信息。降质特征空间和第一分辨率图像的图像内容空间之间的直接交互将引入干扰。在没有明确考虑内容信息的情况下，降质特征在sr网络中的纹理信息无关，会导致伪影。
[0193]
一方面的，内容信息可以作为sr网络的线索，内容信息有助于解决降质特征空间和第一分辨率图像的图像内容空间之间的干扰。通过轻量级的基于补丁的编码器(lightweight patch-based encoder，lpe)同时提取内容信息和降质特征。促进了内容信息的提取，且引入斑块退化一致性。另一方面的，将特征在sr网络中进行自适应融合，实现了基于内容的融合。另一方面的，通过主元分析将核表示投影到低维，使网络更容易学习降至特征与sr之间的关系。为了进行端到端的训练，引入了基于码本的空间压缩模块(codebook-based space compress module，csc)来限制降质特征空间的基数，减少冗余。
[0194]
在一个示例中，在基于块的卷积(patch-wise convolution)网络和基于像素(pixel-wise convolution)的卷积网络结合的编码子网络中。基于块提取第一分辨率图像中的高层语义信息，为缩小降质特征与超分网络特征之间的域差异奠定了基础。
[0195]
在一个示例中，可学习的降质编码本(learnable degradation codebook)，编码子网络编码提取得到的编码特征根据降质编码本的内容，再提取出对应的降质特征(degradation embedding)。通过降质编码本，有效地约束降质特征空间的范围，为降质特征与高频特征之间有效地结合奠定基础。
[0196]
在一个示例中，基于自注意力机制下动态卷积(self-attention dynamic convolution)的特征融合模块，降质特征会参考高频特征，通过自注意力机制生成对应的动态卷积参数，再与高频特征进行融合，将降质特征有效地对高频特征进行修正。
[0197]
在一个示例中，一种无监督信息的超分辨率模型，超分辨率模型包含三个模块，分别是基于像素与块卷积的双分支编码网络、可学习的降质编码本、自注意力的动态卷积特征融合模块。
[0198]
输入的低清图像为x，经过超分辨率模型进行处理得到输出高清的高分辨率图像y。基于像素与块卷积的双分支编码网络根据输入的低清图像x，提取出对应的编码特征fq。编码特征fq从可学习的降质编码本中提取对应的降质特征fd。同时，超分特征提取网络对输入x提取出对应的超分特征f
sr
。然后再通过自注意力的动态卷积特征融合模块，将降质特征fd与超分特征f
sr
进行融合，得到融合后的融合特征f
sr
'，将这个融合特征f
sr
'输入到超分重构网络中，得到最终的高分辨率图像y。
[0199]
1.基于像素与块卷积的双分支编码网络：
[0200]
基于像素与块卷积的双分支编码网络分为两个分支：第一个分支为像素卷积分支，对每个像素点都会产生对应的特征，像素卷积分支与传统的编码器一致，像素卷积分支会提取局部的细节，帮助预测降质特征。第二个分支为块卷积分支，块卷积分支将低清图像x切分成一个个块，每一个块通过卷积得到一个特征，快速提取到全局的内容感知信息。最后将两个分支的特征进行连接，得到最终的编码特征fq。
[0201]
示例性的，基于像素与块卷积的双分支编码网络用于快速提取低清图像的全局内容感知信息。可以理解的具有其他实现方式提取全局内容感知信息，如使用翻译(transformer)结构，空洞卷积结构替代。
[0202]
2.可学习的降质编码本：
[0203]
直接把编码特征fq送入到超分网络中进行融合，而编码特征空间范围大，在融合时容易不稳定，需要约束编码特征空间，通过一种可学习的降质编码本来约束编码特征空间。
[0204]
随机初始化一个大小为n
×
c的降质编码本b，n代表编码本特征个数，c代表每个特征的长度，对于根据降质编码本和编码特征fq找到对应的降质特征，可以直接找到降质编码本中最接近编码特征的特征，也可以为了实现反向传播训练，避免编码本不可学习，可以根据一种自适应的编码本的特征提取方式。
[0205]
示例性的，可学习的降质编码本可以是随机初始化得到的，也可以是先进行k-means聚类得到一个已知的编码本。将已知的编码本固定，根据编码特征从已知的编码本再去选择降质特征。
[0206]
3.自注意力的动态卷积特征融合模块：
[0207]
在降质特征fd与超分特征f
sr
融合时，可以直接将降质特征生成动态卷积的核参数，再直接与超分特征进行卷积；也可以为了保证降质特征与超分特征的融合。采用自注意力的动态卷积特征融合模块。
[0208]
本领域普通技术人员可以理解，上述实施例可以独立实施，也可以将上述实施例进行自由组合，组合出新的实施例实现本技术的图像处理方法和/或模型训练方法。
[0209]
图11示出了本技术一个示例性实施例提供的图像处理装置的框图。该装置包括：
[0210]
获取模块810，用于获取第一分辨率图像；
[0211]
提取模块820，用于对所述第一分辨率图像进行特征提取处理，得到所述第一分辨率图像的高频特征，所述高频特征用于描述所述第一分辨率图像中的高频信息；
[0212]
所述提取模块820，还用于对所述第一分辨率图像进行特征提取处理，得到所述第一分辨率图像的降质特征，所述降质特征用于描述所述第一分辨率图像在降质特征空间中的噪声损失信息；
[0213]
重构模块830，用于根据所述第一分辨率图像的所述高频特征和所述降质特征，重构得到第二分辨率图像，所述第二分辨率图像的分辨率高于所述第一分辨率图像。
[0214]
在本技术的一个可选设计中，所述装置基于图像处理模型执行，所述降质特征是由所述图像处理模型中的降质提取网络提取得到的，所述降质提取网络包括编码子网络和降质编码本；
[0215]
所述提取模块820还用于：
[0216]
调用所述编码子网络对所述第一分辨率图像进行编码处理，得到所述第一分辨率
图像的编码特征；
[0217]
根据所述降质编码本和所述编码特征，对所述编码特征对应的编码特征空间进行约束处理，得到所述降质特征，所述降质特征对应有所述降质特征空间。
[0218]
在本技术的一个可选设计中，所述编码子网络包括像素编码子网络和/或块编码子网络；所述编码特征包括像素编码特征和/或块编码特征；
[0219]
所述提取模块820还用于：
[0220]
调用所述像素编码子网络基于第一感受野，对所述第一分辨率图像进行编码处理，得到所述像素编码特征；
[0221]
和/或，
[0222]
调用所述块编码子网络基于第二感受野，对所述第一分辨率图像进行编码处理，得到所述块编码特征，所述第一感受野小于所述第二感受野。
[0223]
在本技术的一个可选设计中，所述装置基于图像处理模型执行，所述高频特征是由所述图像处理模型中的高频提取网络提取得到的；
[0224]
所述提取模块820还用于：
[0225]
调用所述高频提取网络对所述第一分辨率图像进行提取处理，得到所述第一分辨率图像的高频特征。
[0226]
在本技术的一个可选设计中，所述装置基于图像处理模型执行，所述图像处理模型包括重构网络；
[0227]
所述重构模块830还用于：
[0228]
调用所述重构网络对所述第一分辨率图像的所述高频特征和所述降质特征进行重构处理，得到所述第二分辨率图像。
[0229]
在本技术的一个可选设计中，所述图像处理模型还包括融合网络；
[0230]
所述重构模块830还用于：
[0231]
调用所述融合网络根据自注意力机制对所述高频特征和所述降质特征进行融合处理，得到融合特征；
[0232]
调用所述重构网络对所述融合特征进行重构处理，得到所述第二分辨率图像。
[0233]
需要说明的一点是，上述实施例提供的装置在实现其功能时，仅以上述各个功能模块的划分进行举例说明，实际应用中，可以根据实际需要而将上述功能分配由不同的功能模块完成，即将设备的内容结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
[0234]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述；各个模块执行操作取得的技术效果与有关该方法的实施例中的技术效果相同，此处将不做详细阐述说明。
[0235]
图12示出了本技术一个示例性实施例提供的图像处理模型的训练装置的框图。所述图像处理模型包括降质提取网络和高频提取网络；该装置包括：
[0236]
获取模块840，用于获取样本图像对，所述样本图像对包括第一样本图像和第二样本图像，所述第一样本图像的分辨率小于所述第二样本图像；
[0237]
提取模块850，用于调用所述高频提取网络对所述第一样本图像进行特征提取处理，得到第一样本图像的预测高频特征；
[0238]
所述提取模块850，还用于调用所述降质提取网络对所述第一样本图像进行特征提取处理，得到第一样本图像的预测降质特征；
[0239]
重构模块860，用于根据所述第一样本图像的所述预测高频特征和所述预测降质特征，重构得到预测图像，所述预测图像的分辨率高于所述第一样本图像；
[0240]
训练模块870，用于根据所述预测图像和所述第二样本图像之间的误差，对所述图像处理模型进行训练，得到训练后的图像处理模型。
[0241]
需要说明的一点是，上述实施例提供的装置在实现其功能时，仅以上述各个功能模块的划分进行举例说明，实际应用中，可以根据实际需要而将上述功能分配由不同的功能模块完成，即将设备的内容结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
[0242]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述；各个模块执行操作取得的技术效果与有关该方法的实施例中的技术效果相同，此处将不做详细阐述说明。
[0243]
本技术实施例还提供了一种计算机设备，该计算机设备包括：处理器和存储器，存储器中存储有计算机程序；所述处理器，用于执行所述存储器中的所述计算机程序以实现上述各方法实施例提供的图像处理方法和/或模型训练方法。
[0244]
可选地，该计算机设备为服务器。示例地，图13是本技术一个示例性实施例提供的服务器的结构框图。
[0245]
通常，服务器2300包括有：处理器2301和存储器2302。
[0246]
处理器2301可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器2301可以采用数字信号处理(digital signal processing，dsp)、现场可编程门阵列(field-programmable gate array，fpga)、可编程逻辑阵列(programmable logic array，pla)中的至少一种硬件形式来实现。处理器2301也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中央处理器(central processing unit，cpu)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器2301可以在集成有图像处理器(graphics processing unit，gpu)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器2301还可以包括人工智能(artificial intelligence，ai)处理器，该ai处理器用于处理有关机器学习的计算操作。
[0247]
存储器2302可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器2302还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器2302中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器2301所执行以实现本技术中方法实施例提供的图像处理方法和/或模型训练方法。
[0248]
在一些实施例中，服务器2300还可选包括有：输入接口2303和输出接口2304。处理器2301、存储器2302和输入接口2303、输出接口2304之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与输入接口2303、输出接口2304相连。输入接口2303、输出接口2304可被用于将输入/输出(input/output，i/o)相关的至少一个外围设备连接到处理器2301和存储器2302。在一些实施例中，处理器2301、存储器2302和输入接口
2303、输出接口2304被集成在同一芯片或电路板上；在一些其他实施例中，处理器2301、存储器2302和输入接口2303、输出接口2304中的任意一个或两个可以在单独的芯片或电路板上实现，本技术实施例对此不加以限定。
[0249]
本领域技术人员可以理解，上述示出的结构并不构成对服务器2300的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
[0250]
在示例性实施例中，还提供了一种芯片，所述芯片包括可编程逻辑电路和/或程序指令，当所述芯片在计算机设备上运行时，用于实现上述方面所述的图像处理方法和/或模型训练方法。
[0251]
在示例性实施例中，还提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器从计算机可读存储介质读取并执行该计算机指令，以实现上述各方法实施例提供的图像处理方法和/或模型训练方法。
[0252]
在示例性实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现上述各方法实施例提供的图像处理方法和/或模型训练方法。
[0253]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0254]
本领域技术人员应该可以意识到，在上述一个或多个示例中，本技术实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
[0255]
以上所述仅为本技术的可选实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。