一种图像处理方法、装置、设备及存储介质与流程

1.本技术实施例涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、设备及存储介质。


背景技术：

2.随着视频和图像超解析技术的快速发展，基于深度学习的方法相比传统方法展现了巨大的优势，也快速成为了视频和图像超解析技术领域的研究热点。
3.现有的基于深度神经网络的超解析方法中，无论是侧重于生成更逼真视觉效果的基于生成对抗网络(generative adversarial networks，gan)方法，还是侧重于更高客观指标的基于全卷积神经网络方法，均需要人工参与设计特定的网络架构，而且在网络测试训练过程中可能还伴随大量的架构超参数调节工作，最终往往也只能取得次优的视频和图像重建效果。
4.申请内容
5.本技术实施例提供一种图像处理方法、装置、设备及存储介质，提升图像的重建质量。
6.第一方面，本技术实施例提供了一种图像处理方法，包括：
7.获取待处理图像；
8.将所述待处理图像输入卷积神经网络，得到所述卷积神经网络输出的目标图像，所述目标图像的分辨率大于所述待处理图像的分辨率；
9.其中，所述卷积神经网络中所包含的第一卷积神经子网络包含输入层和中间层，所述输入层所包含的输入节点对输入信息的第一操作的操作方式是输入层候选操作方式中加权概率最大的操作方式，所述中间层所包含的中间节点对输入信息的第二操作的操作方式是中间层候选操作方式中加权概率最大的操作方式。
10.第二方面，本技术实施例提供了一种图像处理装置，包括：
11.图像获取模块，用于获取待处理图像；
12.目标图像确定模块，用于将所述待处理图像输入卷积神经网络，得到所述卷积神经网络输出的目标图像，所述目标图像的分辨率大于所述待处理图像的分辨率；
13.其中，所述卷积神经网络中所包含的第一卷积神经子网络包含输入层和中间层，所述输入层所包含的输入节点对输入信息的第一操作的操作方式是输入层候选操作方式中加权概率最大的操作方式，所述中间层所包含的中间节点对输入信息的第二操作的操作方式是中间层候选操作方式中加权概率最大的操作方式。
14.第三方面，本技术实施例提供了一种计算机设备，包括：
15.处理器；
16.存储器，用于存储一个或多个程序；
17.当所述一个或多个程序被所述处理器执行时，使得所述处理器实现如第一方面所述的图像处理方法。
18.第四方面，本技术实施例提供了一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如第一方面所述的图像处理方法。
19.本技术实施例提供了一种图像处理方法、装置、设备及存储介质，将获取的待处理图像输入卷积神经网络，得到所述卷积神经网络输出的目标图像，其中，卷积神经网络中所包含的第一卷积神经子网络包含输入层和中间层，所述输入层所包含的输入节点对输入信息的第一操作的操作方式是输入层候选操作方式中加权概率最大的操作方式，所述中间层所包含的中间节点对输入信息的第二操作的操作方式是中间层候选操作方式中加权概率最大的操作方式。本方案将输入层候选操作方式中加权概率最大的操作方式作为输入节点对输入信息的操作方式，以及将中间层候选操作方式中加权概率最大的操作方式作为中间节点对输入信息的操作方式，得到卷积神经网络，在利用该卷积神经网络将低分辨率的待处理图像重建为高分辨率的目标图像时，提高了图像的重建质量。
附图说明
20.图1为本技术实施例提供的一种图像处理方法的流程图；
21.图2为本技术实施例提供的一种第一卷积神经子网络的示意图；
22.图3为本技术实施例提供的另一种图像处理方法的流程图；
23.图4为本技术实施例提供的一种初始第一卷积神经子网络的示意图；
24.图5为本技术实施例提供的一种节点间操作方式确定的第一卷积神经子网络的示意图；
25.图6为本技术实施例提供的一种卷积神经网络的示意图；
26.图7为本技术实施例提供的一种图像处理装置的结构图；
27.图8为本技术实施例提供的一种计算机设备的结构图。
具体实施方式
28.下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本技术，而非对本技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本技术相关的部分而非全部结构。此外，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
29.图1为本技术实施例提供的一种图像处理方法的流程图，本实施例可适用于图像超分辨率重建的情况，例如可以将低分辨率的图像重建为高分辨率的图像。在将低分辨率图像重建为高分辨率图像时，可以将多张低分辨率图像合成一张高分辨率图像，也可以根据单张低分辨率图像得到高分辨率图像，本实施例以后者为例。该方法可以由图像处理装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在笔记本、云端服务器或掌上电脑等计算机设备中。参考图1，该方法可以包括如下步骤：
30.s110、获取待处理图像。
31.待处理图像可以是低分辨率的图片或视频，以将低分辨率的图片或视频转换为高分辨率的图片或视频。其中，低分辨率的图片或视频可以是原始的图片或视频，也可以是经过预处理的图片或视频，本实施例以预处理后的图片或视频作为待处理图像为例，可以提高图像的重建效果。预处理可以包括但不限于滤波、降噪等操作。
32.s120、将所述待处理图像输入卷积神经网络，得到所述卷积神经网络输出的目标图像，所述目标图像的分辨率大于所述待处理图像的分辨率。
33.其中，所述卷积神经网络中所包含的第一卷积神经子网络包含输入层和中间层，所述输入层所包含的输入节点对输入信息的第一操作的操作方式是输入层候选操作方式中加权概率最大的操作方式，所述中间层所包含的中间节点对输入信息的第二操作的操作方式是中间层候选操作方式中加权概率最大的操作方式。
34.本实施例的卷积神经网络用于将低分辨率的图像转换为高分辨率的图像，因此也可以称为超解析网络或超分辨率神经网络。第一卷积神经子网络是卷积神经网络的组成部分，也可以称为cell或block，主要用于提取待处理图像的图像特征。示例性的，参考图2，图2为本技术实施例提供的一种第一卷积神经子网络的示意图。第一卷积神经子网络包含输入层、和中间层，还包括输出层，输入层、中间层和输出层的层数以及每一层包含的节点数量可以根据实际需求设置。例如图2所示的第一卷积神经子网络中输入层包含两层，中间层包含四层，输出层包含一层。每一层包含一个节点，不同的节点位于不同的层，例如node0和node1分别位于第一层和第二层，作为输入节点，node2-node 5分别位于第三层-第六层，作为中间节点，node 6位于第七层，作为输出节点。每个节点代表一种数据状态，具有关联的两个节点通过执行某种操作可以将图像数据由一种状态转换为另一种状态，例如node0上的图像数据执行跳过连接操作后可以输出至node2，再如node0上的图像数据执行3x3深度分离卷积操作后可以输出至node5。不同节点间的操作方式可以相同也可以不同。实际应用时卷积神经网络中可以包含多个第一卷积神经子网络，当包含多个第一卷积神经子网络时，这多个第一卷积神经子网络可以重复堆叠。其中node0表示前前个第一卷积神经子网络的输出，node1表示前一个第一卷积神经子网络的输出，初始的第一卷积神经子网络中node0和node1的数据相同，均为待处理图像的图像数据。本实施例中图像数据可以以张量tensor形式(b,d,h,w)表示，其中，b表示待处理图像的数量，d表示深度，h表示待处理图像的高度，w表示待处理图像的宽度。
35.以卷积神经网络包括多个第一卷积神经子网络为例，当前第一卷积神经子网络的输入信息为前一个第一卷积神经子网络和前前一个第一卷积神经子网络的输出。中间节点的输入可以是一个或多个，当存在多个时，输入信息可以来均自输入节点，例如图2中node5的输入信息均来自输入节点node0和node1,也可以部分来自输入节点，部分来自其他中间节点，例如中间节点node3的输入信息分别来自输入节点node1和中间节点node2。本实施例的中间节点以包含两个输入为例，不仅可以降低第一卷积神经子网络结构的复杂性和网络算力，还可以提高图像的重建效果。第一操作是输入节点对输入信息执行的操作，第二操作是中间节点对输入信息执行的操作。候选操作方式是预先设定的用于改变数据状态的操作方式，可选的，候选操作方式可以包括但不限于无连接、3x3平均池化操作、3x3最大池化操作、跳过连接操作、3x3深度分离卷积操作、5x5深度分离卷积操作、3x3带孔卷积操作，空洞尺寸为2以及5x5带孔卷积操作，空洞尺寸为2。输入层候选操作方式为输入节点和中间节点之间对应的候选操作方式，中间层候选操作方式为中间节点之间对应的候选操作方式，输入层候选操作方式和中间层候选操作方式可以相同也可以不同，本实施例以相同为例。
36.每一种操作方式对应一个加权概率，该加权概率可以用该操作方式对应的架构超参数表征，并符合softmax函数形式，输入层候选操作方式对应的加权概率与中间层候选操
作方式对应的加权概率可以不同。本实施例中输入节点对输入信息的操作方式采用输入层候选操作方式中加权概率最大的操作方式以及中间节点对输入信息的操作方式采用中间层候选操作方式中加权概率最大的操作方式，可以保证第一卷积神经子网络的结构最优，进而保证重建后的图像的质量最优。需要说明的是，中间层中用于对输入信息执行第二操作的节点可以是部分中间节点，也可以是全部中间节点。例如图2中的中间节点node4和中间节点node5不对输入信息执行第二操作，中间节点node2和中间节点node3对输入信息执行第二操作。
37.第一卷积神经子网络的输出节点用于组合中间节点的输出结果，并将组合结果传递给卷积神经网络的其他子网络，例如可以传递给上采样子网络，通过上采样子网络完成图像的重建。组合方式可以根据实际情况选择，例如可以将中间节点的输出结果按逐元素求和方式计算输出，也可以沿某一维度进行拼接输出，从而将四种图像数据组合为一种图像数据。如图2所示，当中间节点存在多个输入时，该中间节点也可以将多个输入组合得到一种图像数据，然后输出至输出节点，组合方式与输出节点类似。
38.具体的，可以将所述待处理图像输入所述第一卷积神经子网络，使所述第一卷积神经子网络的输入节点对输入信息进行第一操作，得到第一操作结果，并发送给所述第一卷积神经子网络的中间节点；通过所述中间节点对接收的输入信息进行第二操作，得到第二操作结果，并将所述中间节点的输出结果发送给所述输出节点；对所述输出节点输出的结果进行上采样处理，得到所述目标图像。
39.本技术实施例提供一种图像处理方法，将获取的待处理图像输入卷积神经网络，得到所述卷积神经网络输出的目标图像，其中，卷积神经网络中所包含的第一卷积神经子网络包含输入层和中间层，输入层所包含的输入节点对输入信息的第一操作的操作方式是输入层候选操作方式中加权概率最大的操作方式，中间层所包含的中间节点对输入信息的第二操作的操作方式是中间层候选操作方式中加权概率最大的操作方式。该方法将输入层候选操作方式中加权概率最大的操作方式作为输入节点对输入信息的操作方式，以及将中间层候选操作方式中加权概率最大的操作方式作为中间节点对输入信息的操作方式，得到卷积神经网络，在利用该卷积神经网络将低分辨率的待处理图像重建为高分辨率的目标图像时，提高了图像的重建质量。
40.在获取待处理图像之前，需要先确定第一卷积神经子网络的结构，也即确定第一卷积神经子网络中关联节点之间的操作方式，在一种情况下，可以通过训练第一卷积子神经网络得到关联节点之间的操作方式，从而得到第一卷积神经子网络的结构。示例性的，参考图3，图3为本技术实施例提供的另一种图像处理方法的流程图。
41.s210、将训练样本输入初始卷积神经网络，使所述第一卷积神经子网络的输入节点对接收的输入信息进行第一混合加权操作。
42.其中，所述第一混合加权操作的操作方式根据所述输入层候选操作方式和对应的加权概率确定。可选的，可以对低分辨率的原始图像进行随机裁剪形成patch，然后再随机进行如水平翻转、垂直翻转、90度旋转等数据增强处理，得到训练样本，以训练第一卷积神经子网络。在一种情况下，可以将神经架构搜索(neural architecture search,nas)技术与卷积神经网络结合，自动搜索节点间的最优操作方式，保证第一卷积神经子网络的结构最优，从而提升图像的重建效果，例如可以提升目标图像与真实的高分辨率图像的相似度，
改善峰值信噪比。可选的，可以采用混合加权的方式搜索最优的操作方式，混合加权是将架构超参数以加权概率的形式和候选操作方式组合起来。混合加权意味着第一卷积神经子网络内部任意节点间不再是单一的操作方式，而是所有候选操作方式的混合加权。第一卷积神经子网络的训练需依赖于完整的卷积神经网络，本实施例将节点间的操作方式为混合加权操作方式的卷积神经网络称为初始卷积神经网络。示例性的，可以采用如下公式得到混合加权操作结果：
[0043][0044]
其中，表示混合加权操作结果，o(x)表示关联节点间的单一操作方式，o为候选操作集合，ak为第k种操作方式对应的架构超参数，为不同关联节点间操作方式对应的加权系数，符合softmax函数形式，表示第k种操作方式的加权概率，取值[0,1]。本实施例以包含八种候选操作方式为例，则对应八个加权概率，相应的，任意关联节点之间对应八种候选操作方式，同一组关联节点间八种候选操作方式对应的八个加权概率的和为1。示例性的，参考图4，图4为本技术实施例提供的一种初始第一卷积神经子网络的示意图，为了便于查看，图4中关联节点间的候选操作方式以三种为例。同一组关联节点间包含的三个箭头，代表三种候选操作方式。第一混合加权操作的操作方式是对输入节点与中间节点之间所有的候选操作方式进行混合加权得到的操作方式，输入节点对输入信息执行第一混合加权操作，得到第一混合加权结果，并传输给中间节点。
[0045]
s220、将所述输入节点输出的第一混合加权操作结果发送给所述中间节点，使所述中间节点对接收的输入信息进行第二混合加权操作，以及将所述中间节点的输出结果发送给所述第一卷积神经子网络的输出节点。
[0046]
其中，所述第二混合加权操作的操作方式根据所述中间节点候选操作方式和对应的加权概率确定。第二混合加权操作的操作方式是对关联的中间节点之间所有候选操作方式进行混合加权得到的操作方式，过程与第一混合加权操作类似。如图4所示，以中间节点node2和中间节点node3为例，中间节点node2对接收的输入信息进行组合，然后执行第二混合加权操作，并将第二混合操作结果发送给中间节点node3。第二混合加权操作的操作方式中各候选操作方式对应的加权概率与第一混合加权操作的操作方式中各候选操作方式对应的加权概率可以不同。训练过程中，第二混合加权操作的操作方式中各候选操作方式对应的加权概率与第一混合加权操作的操作方式中各候选操作方式对应的加权概率可以改变。中间节点的输出结果是中间节点组合接收的输入信息得到的结果，例如图2中中间节点node3将中间节点node2和输入节点node1的输出结果组合后发送给输出节点node6，中间节点node5将输入节点node0和输入节点node1的输出结果组合后发送给输出节点node6。输出节点node6对中间节点node2、中间节点node3、中间节点node4和中间节点node5的输出结果进行组合，得到输出结果，并发送给初始卷积神经网络的后续部分。
[0047]
s230、对所述输出节点输出的结果进行上采样处理，得到上采样图像。
[0048]
上采样用于将输出节点输出的结果进行放大处理，得到高分辨率的图像，即上采样图像，上采样图像用于训练第一卷积神经子网络的架构超参数。输出节点将中间节点发
送的结果组合后发送给初始卷积神经网络的后续部分，实现图像放大。可选的，可以对输出节点输出的结果进行3x3的卷积操作，并将卷积结果称为feature map，然后通过pixelshuffle(2)对feature map进行放大，得到验证图像。其中，3x3的卷积操作用于防止放大过程中图像质量变化剧烈，pixelshuffle(2)表示张量[height,width,4*depth]变换到[2*height,2*width,depth]，即在保持张量数据总量不变的情况下，通过压缩深度维度来扩展空间维度的一种张量形状变换方式。pixelshuffle的功能也可以用deconvolution代替。本实施例不限定卷积和放大的次数，例如可以对输出节点输出的结果进行一次卷积和放大得到上采样图像，也可以经过多次卷积和放大得到上采样图像。
[0049]
s240、当所述上采样图像满足预设条件时，将满足预设条件的上采样图像对应的输入层候选操作方式中加权概率最大的候选操作方式作为所述第一操作的操作方式，以及中间层候选操作方式中加权概率最大的候选操作方式作为第二操作的操作方式，得到所述第一卷积神经子网络。
[0050]
训练第一卷积神经子网络，即确定第一卷积神经子网络中混合加权操作方式对应的架构超参数，当上采样图像满足预设条件时，即认为训练结束。由于初始卷积神经网络中不仅包括混合加权操作方式对应的架构超参数，还包括卷积操作对应的权重系数，权重参数也会影响图像的重建效果，因此可以对权重系数和架构超参数进行训练，相应的，预设条件可以包括训练样本在当前权重参数下得到的上采样图像与真实图像的权重损失值趋于第一收敛条件，在当前架构超参数下对应的架构损失值趋于第二收敛条件。其中，第一收敛条件可以是权重损失值的下降量逐渐减小趋于平稳，不再下降；第二收敛条件可以是架构损失值的下降量逐渐减小趋于平稳，不再下降。具体的，第一卷积神经子网络的训练过程可以包括：
[0051]
固定所述初始卷积神经网络的初始架构超参数不变，根据所述验证图像与所述训练样本对应的真实图像，确定所述初始卷积神经网络的权重损失值；
[0052]
根据所述权重损失值调整所述初始卷积神经网络的权重参数；
[0053]
固定前次更新的权重参数不变，根据所述训练样本确定所述初始卷积神经网络的架构损失值，并根据所述架构损失值调整所述初始卷积神经网络的架构超参数；
[0054]
当所述初始卷积神经网络的权重损失值满足第一收敛条件且且架构损失值满足第二收敛条件时，确定所述上采样图像满足预设条件。
[0055]
本实施例中初始卷积神经网络的初始架构超参数即为第一卷积神经子网络中混合加权操作方式中包含的初始架构超参数。本实施例在训练第一卷积神经子网络时，交替更新权重参数和架构超参数。为了完成对第一卷积神经子网络的训练，本实施例将训练样本划分为训练集和验证集，训练集用于在训练期间训练权重参数，验证集用于在训练期间验证第一卷积神经子网络的训练效果，还用于训练架构超参数。
[0056]
可选的，可以先固定初始架构超参数不变，利用训练集的单个批次数据通过初始卷积神经网络前向传播实现从低分辨率到高分辨率的映射，计算输出高分辨率图像与真实高分辨率图像的权重损失值loss1，然后利用权重损失值loss1通过初始卷积神经网络反向传播计算权重参数的梯度，进而更新一次权重参数。权重参数更新以后，固定前次更新的权重参数不变，利用验证集的单个批次数据通过初始卷积神经网络前向传播计算得到架构损失值loss2，再通过初始卷积神经网络反向传播计算架构超参数的梯度，完成更新一次架构
超参数。然后交替执行上述过程，直至权重损失值loss1满足第一收敛条件，架构损失值loss2满足第二收敛条件。训练结束后，可以将权重损失值loss1和架构损失值loss2满足条件所对应的混合加权操作中由架构超参数表征的一组加权概率中的最大值对应的操作方式确定为对应节点间的操作方式。
[0057]
示例性的，参考图5，图5为本技术实施例提供的一种节点间操作方式确定的第一卷积神经子网络的示意图。其中，sep_conv_3x3表示3x3深度分离卷积操作，dil_conv_3x3表示3x3带孔卷积操作，空洞尺寸为2，skip_connect表示跳过连接操作，avg_pool_3x3表示3x3平均池化操作。第一卷积神经子网络的结构确定后，可以利用该第一卷积神经子网络重新构建完整的卷积神经网络，构建方式与初始卷积神经网络相同，只不过当前构建的卷积神经网络中第一卷积神经子网络的结构不再是混合加权结构，而是固定的最优结构。需要说明的是，初始卷积神经网络中包含的第一卷积神经子网络的数量与后续基于确定结构的第一卷积神经网络构建的卷积神经网络中第一卷积神经网络的数量可以不同，考虑到在搜索期间，第一卷积神经子网络需要计算混合加权，比较耗费内存，通常情况下，初始卷积神经网络中第一卷积神经子网络的数量较小，为了进一步提升图像的重建效果，后续基于确定结构的第一卷积神经子网络构建的卷积神经网络中第一卷积神经网络的数量可以更多。针对重新构建的卷积神经网络需要从头训练权重系数，此时使用的是结构确定的第一卷积神经子网络，不存在架构超参数，该训练过程与传统的基于全卷积神经网络的训练过程类似，此处不再赘述。
[0058]
s250、获取待处理图像。
[0059]
s260、将所述待处理图像输入卷积神经网络，得到所述卷积神经网络输出的目标图像。
[0060]
示例性的，参考图6，图6为本技术实施例提供的一种卷积神经网络的示意图，该训练好的卷积神经网络包含n个第一卷积神经子网络，n的大小可以根据实际需要设置，图6以经过两次放大为例。待出处理图像经过预处理后输入第一卷积神经子网络，经过多个第一卷积神经子网络重复堆叠后，进行两次卷积和放大处理，之后再经过一次卷积操作得到目标图像。其中，后续的卷积和放大即为上述实施例所述的上采样。
[0061]
本技术实施例提供一种图像处理方法，在上述实施例的基础上，首先将神经架构搜索方式与卷积神经网络相结合，利用混合加权的方式搜索关联节点间的最优操作方式，从而得到最优的第一卷积神经子网络结构，然后基于结构确定的第一卷积神经子网络重新构建卷积神经网络，经过训练确定重新构建的卷积神经网络的权重参数，然后利用训练好的卷积神经网络实现图像的超分辨率重建，不仅提高了超分辨率重建的效果，而且有效降低了网络算力。
[0062]
除了可以采用上述混合加权的方式搜索最优的第一卷积神经子网络的架构，还可以采用其他的方式，例如rnn(循环神经网络)控制器基于强化学习方法来搜索第一卷积神经子网络的架构。
[0063]
图7为本技术实施例提供的一种图像处理装置的结构图，该装置可以执行上述实施例提供的图像处理方法，参考图7，该装置可以包括：
[0064]
图像获取模块31，用于获取待处理图像；
[0065]
目标图像确定模块32，用于将所述待处理图像输入卷积神经网络，得到所述卷积
神经网络输出的目标图像，所述目标图像的分辨率大于所述待处理图像的分辨率；
[0066]
其中，所述卷积神经网络中所包含的第一卷积神经子网络包含输入层和中间层，所述输入层所包含的输入节点对输入信息的第一操作的操作方式是输入层候选操作方式中加权概率最大的操作方式，所述中间层所包含的中间节点对输入信息的第二操作的操作方式是中间层候选操作方式中加权概率最大的操作方式。
[0067]
本技术实施例提供一种图像处理装置，将获取的待处理图像输入卷积神经网络，得到所述卷积神经网络输出的目标图像，其中，卷积神经网络中所包含的第一卷积神经子网络包含输入层和中间层，输入层所包含的输入节点对输入信息的第一操作的操作方式是输入层候选操作方式中加权概率最大的操作方式，中间层所包含的中间节点对输入信息的第二操作的操作方式是中间层候选操作方式中加权概率最大的操作方式。该装置将输入层候选操作方式中加权概率最大的操作方式作为输入节点对输入信息的操作方式，以及将中间层候选操作方式中加权概率最大的操作方式作为中间节点对输入信息的操作方式，得到卷积神经网络，在利用该卷积神经网络将低分辨率的待处理图像重建为高分辨率的目标图像时，提高了图像的重建质量。
[0068]
在上述实施例的基础上，该装置还包括：
[0069]
输入模块，用于在获取待处理图像之前，将训练样本输入初始卷积神经网络，使所述第一卷积神经子网络的输入节点对接收的输入信息进行第一混合加权操作，所述第一混合加权操作的操作方式根据所述输入层候选操作方式和对应的加权概率确定；
[0070]
发送模块，用于将所述输入节点输出的第一混合加权操作结果发送给所述中间节点，使所述中间节点对接收的输入信息进行第二混合加权操作，以及将所述中间节点的输出结果发送给所述第一卷积神经子网络的输出节点，所述第二混合加权操作的操作方式根据所述中间节点候选操作方式和对应的加权概率确定；
[0071]
上采样模块，用于对所述输出节点输出的结果进行上采样处理，得到上采样图像；
[0072]
操作方式确定模块，用于当所述上采样图像满足预设条件时，将满足预设条件的上采样图像对应的输入层候选操作方式中加权概率最大的候选操作方式作为所述第一操作的操作方式，以及中间层候选操作方式中加权概率最大的候选操作方式作为第二操作的操作方式，得到所述第一卷积神经子网络。
[0073]
在上述实施例的基础上，目标图像确定模块32，具体用于：
[0074]
将所述待处理图像输入所述第一卷积神经子网络，使所述第一卷积神经子网络的输入节点对输入信息进行第一操作，得到第一操作结果，并发送给所述第一卷积神经子网络的中间节点；
[0075]
通过所述中间节点对接收的输入信息进行第二操作，得到第二操作结果，并将所述中间节点的输出结果发送给所述输出节点；
[0076]
对所述输出节点输出的结果进行上采样处理，得到所述目标图像。
[0077]
在上述实施例的基础上，所述加权概率根据对应操作方式对应的架构超参数确定；
[0078]
所述上采样图像满足预设条件，包括：
[0079]
固定所述初始卷积神经网络的初始架构超参数不变，根据所述上采样图像与所述训练样本对应的真实图像，确定所述初始卷积神经网络的权重损失值；
access memory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是机器人，个人计算机，服务器，或者网络设备等)执行本技术上述实施例所述的图像处理方法。