图像超分辨率模型训练方法、装置、计算机设备和介质与流程

1.本申请涉及图像处理技术领域，特别是涉及一种图像超分辨率模型训练方法、装置、计算机设备和存储介质。


背景技术：

2.随着图像处理技术的发展，出现了一种将低分辨率的图像重建成高分辨率图像的图像超分辨率技术，从而满足了高清显示的需求，在医学诊断成像，安全监控成像和卫星成像等任务中广泛应用。
3.目前，图像超分辨率处理可以通过将低分辨率图片输入预先训练的超分辨率模型，通过模型输出对应的高分辨率图像，这种模型通常是利用低分辨率图像的图像块和高分辨率图像的图像块的一对一的映射关系设置的损失函数进行模型训练，因此得到的高分辨率图像可能会存在细节缺失的现象。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种图像超分辨率模型训练方法、装置、计算机设备和存储介质。
5.一种图像超分辨率模型训练方法，所述方法包括：
6.获取第一分辨率样本图像，以及与所述第一分辨率样本图像匹配的第二分辨率样本图像；其中，第一分辨率低于第二分辨率；
7.将所述第一分辨率样本图像以及所述第二分辨率样本图像，输入当前神经网络模型；所述当前神经网络模型用于将所述第一分辨率样本图像切分成多个第一分辨率图像块，以及将所述第二分辨率样本图像切分成多个第二分辨率图像块，形成基准真相图像块库，并基于各第一分辨率图像块对应的第二分辨率图像块，输出所述各第一分辨率图像块对应的预测图像块；
8.基于所述各第一分辨率图像块对应的预测图像块，以及所述各第一分辨率图像块对应的第二分辨率图像块，从基准真相图像块库中选取所述各第一分辨率图像块对应的基准图像块；
9.根据所述各第一分辨率图像块对应的基准图像块以及所述各第一分辨率图像块对应的预测图像块，获取当前神经网络模型的损失值，根据所述损失值对所述当前神经网络模型进行训练，当所述当前神经网络模型满足预设条件时，得到图像超分辨率模型。
10.在其中一个实施例中，所述根据所述各第一分辨率图像块对应的基准图像块以及所述各第一分辨率图像块对应的预测图像块，获取当前神经网络模型的损失值，包括：确定当前第一分辨率图像块对应的当前基准图像块，以及所述当前第一分辨率图像块对应的当前预测图像块；根据所述当前基准图像块的像素与所述当前预测图像块的像素的损失值，得到所述当前第一分辨率图像块对应的损失值；获取各第一分辨率图像块对应的损失值，根据所述各第一分辨率图像块对应的损失值的平均值得到所述当前神经网络模型的损失
值。
11.在其中一个实施例中，所述根据所述当前基准图像块的像素与所述当前预测图像块的像素的损失值，得到所述当前第一分辨率图像块对应的损失值，包括：根据所述当前基准图像块的像素与所述当前预测图像块的像素的损失值，得到所述当前第一分辨率图像块对应的第一损失值；对所述当前预测图像块进行下采样处理，并获取下采样处理后的当前预测图像块对应的像素与所述当前第一分辨率图像块的像素的损失值，作为所述当前第一分辨率图像块对应的第二损失值；根据所述第一损失值以及所述第二损失值得到所述当前第一分辨率图像块对应的损失值。
12.在其中一个实施例中，所述根据所述第一损失值以及所述第二损失值得到所述当前低分辨率图像块对应的损失值，包括：获取所述当前预测图像块对应的像素标准差；若所述像素标准差大于预设的像素标准差阈值，则获取所述当前神经网络模型对应的生成器与判别器之间的第三损失值；根据所述第一损失值、所述第二损失值，以及所述第三损失值得到所述当前第一分辨率图像块对应的损失值。
13.在其中一个实施例中，所述基于所述各第一分辨率图像块对应的预测图像块，以及所述各第一分辨率图像块对应的第二分辨率图像块，从基准真相图像块库中选取所述各第一分辨率图像块对应的基准图像块，包括：获取基准真相图像块库中各第二分辨率图像块的像素与所述当前第一分辨率图像块对应的当前第二分辨率图像块的像素之间的第一欧几里得距离，以及获取所述各第二分辨率图像块的像素与所述当前第一分辨率图像块对应的当前预测图像块的像素之间的第二欧几里得距离；根据所述第一欧几里得距离，以及所述第二欧几里得距离，得到针对所述各第二分辨率图像块的相似度函数；将所述相似度函数的函数值最小对应的第二分辨率图像块，作为所述当前第一分辨率图像块对应的基准图像块。
14.在其中一个实施例中，所述根据所述第一欧几里得距离，以及所述第二欧几里得距离，得到针对所述各第二分辨率图像块的相似度函数，包括：获取与所述第一欧几里得距离对应的第一权重，以及与所述第二欧几里得距离对应的第二权重；利用所述第一权重以及所述第二权重，对所述第一欧几里得距离以及所述第二欧几里得距离进行加权求和处理，得到所述相似度函数。
15.在其中一个实施例中，所述得到图像超分辨率模型之后，还包括：获取待超分辨率处理的第一分辨率图像；将所述第一分辨率图像输入所述图像超分辨率模型，通过所述图像超分辨率模型输出所述第一分辨率图像对应的第二分辨率图像。
16.一种图像超分辨率模型训练装置，所述装置包括：
17.样本图像获取模块，用于获取第一分辨率样本图像，以及与所述第一分辨率样本图像匹配的第二分辨率样本图像；其中，第一分辨率低于第二分辨率；
18.网络模型输入模块，用于将所述第一分辨率样本图像以及所述第二分辨率样本图像，输入当前神经网络模型；所述当前神经网络模型用于将所述第一分辨率样本图像切分成多个第一分辨率图像块，以及将所述第二分辨率样本图像切分成多个第二分辨率图像块，形成基准真相图像块库，并基于各第一分辨率图像块对应的第二分辨率图像块，输出所述各第一分辨率图像块对应的预测图像块；
19.基准图像获取模块，用于基于所述各第一分辨率图像块对应的预测图像块，以及
所述各第一分辨率图像块对应的第二分辨率图像块，从基准真相图像块库中选取所述各第一分辨率图像块对应的基准图像块；
20.网络模型训练模块，用于根据所述各第一分辨率图像块对应的基准图像块以及所述各第一分辨率图像块对应的预测图像块，获取当前神经网络模型的损失值，根据所述损失值对所述当前神经网络模型进行训练，当所述当前神经网络模型满足预设条件时，得到图像超分辨率模型。
21.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
22.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
23.上述图像超分辨率模型训练方法、装置、计算机设备和存储介质，获取第一分辨率样本图像，以及与第一分辨率样本图像匹配的第二分辨率样本图像；其中，第一分辨率低于第二分辨率；将第一分辨率样本图像以及第二分辨率样本图像，输入当前神经网络模型；当前神经网络模型用于将第一分辨率样本图像切分成多个第一分辨率图像块，以及将第二分辨率样本图像切分成多个第二分辨率图像块，形成基准真相图像块库，并基于各第一分辨率图像块对应的第二分辨率图像块，输出各第一分辨率图像块对应的预测图像块；基于各第一分辨率图像块对应的预测图像块，以及各第一分辨率图像块对应的第二分辨率图像块，从基准真相图像块库中选取各第一分辨率图像块对应的基准图像块；根据各第一分辨率图像块对应的基准图像块以及各第一分辨率图像块对应的预测图像块，获取当前神经网络模型的损失值，根据损失值对当前神经网络模型进行训练，当当前神经网络模型满足预设条件时，得到图像超分辨率模型。本申请通过在基准真相图像块库中的多个第二分辨率图像块中找到对应的基准图像块，并利用基准图像块与模型输出的预测图像块进行损失值计算以训练模型，相比于现有技术直接通过第一分辨率图像块与第二分辨率图像块一对一映射进行模型训练，本申请的模型考虑了一对多映射的情形，实现了重建的图像动态地匹配最优的监督对象，从而恢复更多的图像细节。
附图说明
24.图1为一个实施例中图像超分辨率模型训练方法的流程示意图；
25.图2为一个实施例中获取当前神经网络模型的损失值的流程示意图；
26.图3为一个实施例中获取当前第一分辨率图像块对应损失值的流程示意图；
27.图4为一个实施例中选取基准图像块的流程示意图；
28.图5为一个应用实例中网络模型的算法流程示意图；
29.图6为一个应用实例中最佳伙伴监督的算法流程示意图；
30.图7为一个应用实例中图像超分辨率处理的结果示意图；
31.图8为一个实施例中图像超分辨率模型训练装置的结构框图；
32.图9为一个实施例中计算机设备的内部结构图。
具体实施方式
33.为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对
本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
34.在一个实施例中，如图1所示，提供了一种图像超分辨率模型训练方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
35.步骤s101，终端获取第一分辨率样本图像，以及与第一分辨率样本图像匹配的第二分辨率样本图像；其中，第一分辨率低于第二分辨率。
36.其中，第一分辨率样本图像指的是预先采集的用于训练图像超分辨率模型的低分辨率样本图像，而第二分辨率样本图像则是与采集的低分辨率样本图像对应的高分辨率样本图像。具体来说，终端可以预先采集用于训练的低分辨率样本图像，以及其对应的高分辨率图像，分别作为第一分辨率样本图像以及第二分辨率样本图像。
37.步骤s102，终端将第一分辨率样本图像以及第二分辨率样本图像，输入当前神经网络模型；当前神经网络模型用于将第一分辨率样本图像切分成多个第一分辨率图像块，以及将第二分辨率样本图像切分成多个第二分辨率图像块，形成基准真相图像块库，并基于各第一分辨率图像块对应的第二分辨率图像块，输出各第一分辨率图像块对应的预测图像块；
38.当前神经网络模型则指的是当前正在训练中的网络模型，该模型可以将输入的第一分辨率样本图像以及第二分辨率样本图像，分别切分成多个图像块，作为第一分辨率图像块，即低分辨率的图像块，以及第二分辨率图像块，即高分辨率的图像块。并且还可以将切分得到的所有第二分辨率图像块，组成基准真相图像块库，同时还可以通过模型输出预测得到的每一个切分得到的第一分辨率图像块对应的满足第二分辨率的预测图像块。
39.当终端得到第一分辨率样本图像与第二分辨率样本图像后，可以将其输入当前正在训练的当前神经网络模型，由神经网络模型对第一分辨率样本图像与第二分辨率样本图像进行切分，得到第一分辨率图像块以及第二分辨率图像块，并且利用得到的第一分辨率图像块以及其对应的第二分辨率图像块，输出模型预测的预测图像块，同时，还可以将得到的第二分辨率图像块，组合形成基准真相图像块库。
40.步骤s103，终端基于各第一分辨率图像块对应的预测图像块，以及各第一分辨率图像块对应的第二分辨率图像块，从基准真相图像块库中选取各第一分辨率图像块对应的基准图像块。
41.基准图像块指的是终端从基准真相图像块库中选取的与第一分辨率图像块对应的图像块，因此该图像块可能是任意一个由第二分辨率样本图像切分后得到的第二分辨率图像块，各第一分辨率图像块对应的第二分辨率图像块则指的是分别与每一个第一分辨率图像块一一对应的第二分辨率图像块。具体来说，终端在得到每一个第一分辨率图像块对应的预测图像块，以及其一一对应的第二分辨率图像块，可以从基准真相图像块库中的图像块中分别找到每一个第一分辨率图像块对应的基准图像块，该基准图像块可以是同时满足与通过模型输出的预测图像块，以及与一一对应的第二分辨率图像块都满足高相似度的基准真相图像块库中的图像块。
42.例如，第一分辨率图像块可以包括，图像块a、图像块b、图像块c以及图像块d，其一
一对应的第二分辨率图像块则可以分别是：图像块a、图像块b、图像块c以及图像块d，那么基准真相图像块库则可以是由图像块a、图像块b、图像块c以及图像块d组成。当终端需要得到图像块a对应的基准图像块时，首先可以通过当前神经网络模型输出得到图像块a对应的预测图像块a’，之后再利用预测图像块a’，以及图像块a对应的第二分辨率图像块，即图像块a，从基准真相图像块库中得到一个与预测图像块a’以及图像块a都满足高相似度的图像块作为图像块a对应的基准图像块。
43.步骤s104，终端根据各第一分辨率图像块对应的基准图像块以及各第一分辨率图像块对应的预测图像块，获取当前神经网络模型的损失值，根据损失值对当前神经网络模型进行训练，当当前神经网络模型满足预设条件时，得到图像超分辨率模型。
44.最后，终端可以根绝得到的每一个第一分辨率图像块对应的基准图像块，以及预测图像块，计算损失值从而得到当前神经网络模型的损失值，并且利用当前神经网络模型的损失值对神经网络模型进行模型训练，直到当前神经网络模型满足某个预先设定的条件，例如可以是当前神经网络模型的损失值小于某个预先设定的损失值阈值，或者当前神经网络模型的训练次数达到了预先设定的训练次数时，则可以将当前神经网络模型设定为最终的图像超分辨率模型。
45.上述图像超分辨率模型训练方法中，终端获取第一分辨率样本图像，以及与第一分辨率样本图像匹配的第二分辨率样本图像；其中，第一分辨率低于第二分辨率；将第一分辨率样本图像以及第二分辨率样本图像，输入当前神经网络模型；当前神经网络模型用于将第一分辨率样本图像切分成多个第一分辨率图像块，以及将第二分辨率样本图像切分成多个第二分辨率图像块，形成基准真相图像块库，并基于各第一分辨率图像块对应的第二分辨率图像块，输出各第一分辨率图像块对应的预测图像块；基于各第一分辨率图像块对应的预测图像块，以及各第一分辨率图像块对应的第二分辨率图像块，从基准真相图像块库中选取各第一分辨率图像块对应的基准图像块；根据各第一分辨率图像块对应的基准图像块以及各第一分辨率图像块对应的预测图像块，获取当前神经网络模型的损失值，根据损失值对当前神经网络模型进行训练，当当前神经网络模型满足预设条件时，得到图像超分辨率模型。本申请通过在基准真相图像块库中的多个第二分辨率图像块中找到对应的基准图像块，并利用基准图像块与模型输出的预测图像块进行损失值计算以训练模型，相比于现有技术直接通过第一分辨率图像块与第二分辨率图像块一对一映射进行模型训练，本申请的模型考虑了一对多映射的情形，实现了重建的图像动态地匹配最优的监督对象，从而恢复更多的图像细节。
46.在一个实施例中，如图2所示，步骤s104可以进一步包括：
47.步骤s201，终端确定当前第一分辨率图像块对应的当前基准图像块，以及当前第一分辨率图像块对应的当前预测图像块。
48.其中，当前第一分辨率图像块可以是第一分辨率样本图像切分出来得到的任意一个第一分辨率图像块，终端可以确定当前第一分辨率图像块对应的基准图像块，作为当前基准图像块，以及将当前第一分辨率图像块通过模型输出得到的预测图像块，作为当前预测图像块。
49.步骤s202，终端根据当前基准图像块的像素与当前预测图像块的像素的损失值，得到当前第一分辨率图像块对应的损失值。
50.之后，终端则可以根据当前基准图像块的像素，以及当前预测图像块的像素，计算像素的损失值，并将像素的损失值作为当前第一分辨率图像块对应的损失值。
51.步骤s203，终端获取各第一分辨率图像块对应的损失值，根据各第一分辨率图像块对应的损失值的平均值得到当前神经网络模型的损失值。
52.最后，终端可以通过步骤s201到步骤s202的方式确定所有当前第一分辨率图像块对应的损失值，从而得到每一个第一分辨率图像块对应的损失值，并通过计算每一个损失值的平均值的方式，利用得到的损失值的平均值计算最终的当前神经网络模型的损失值。
53.进一步地，如图3所示，步骤s202可以进一步包括：
54.步骤s301，终端根据当前基准图像块的像素与当前预测图像块的像素的损失值，得到当前第一分辨率图像块对应的第一损失值。
55.其中，第一损失值指的是当前基准图像块与当前预测图像块之间得到的损失值，具体来说，终端得到当前基准图像块的像素以及当前预测图像块的像素之后，可以计算当前基准图像块与当前预测图像块之间的像素损失，作为当前第一分辨率图像块对应的第一损失值。
56.步骤s302，终端对当前预测图像块进行下采样处理，并获取下采样处理后的当前预测图像块对应的像素与当前第一分辨率图像块的像素的损失值，作为当前第一分辨率图像块对应的第二损失值。
57.其中，第二损失值是由前预测图像块下采样处理后得到的像素与当前第一分辨率图像块的像素之间的损失值，由于步骤s103中得到的预测图像块是第一分辨率图像块通过模型输出的分辨率达到第二分辨率的图像块，本步骤中，可以通过下采样的方式将预测图像块的分辨率从第二分辨率降回至第一分辨率，之后则可以计算下采样处理后的预测图像块和原来的第一分辨率图像块之间的像素损失，作为当前第一分辨率图像块对应的第二损失值。
58.例如，当前第一分辨率图像块a所处的分辨率为第一分辨率，其通过输入当前神经网络模型，从而输出得到满足第二分辨率的当前预测图像块a’，本步骤中可以将当前预测图像块a’通过下采样处理的方式将其从第二分辨率降回至满足第一分辨率的图像块a’，并计算图形块a’与图像块a之间的像素损失，作为图像块a对应的第二损失值。
59.步骤s303，终端根据第一损失值以及第二损失值得到当前第一分辨率图像块对应的损失值。
60.最终，终端可以根据步骤s301中得到的当前第一分辨率图像块对应的第一损失值，以及步骤s302中得到的当前第一分辨率图像块对应的第二损失值，得到当前第一分辨率图像块对应的最终损失值，例如可以通过将第一损失值与第二损失值进行求和的方式，得到最终的当前第一分辨率图像块对应的损失值。
61.进一步地，步骤s303可以进一步包括：终端获取当前预测图像块对应的像素标准差；若像素标准差大于预设的像素标准差阈值，则获取当前神经网络模型对应的生成器与判别器之间的第三损失值；根据第一损失值、第二损失值，以及第三损失值得到当前第一分辨率图像块对应的损失值。
62.本实施例中，神经网络模型可以是生成式对抗网络模型，该模型由生成器和判别器组成，生成器用于将第一分辨率的图像重建成第二分辨率的图像，而判别器则是用于判
断生成的图像是否自然真实，通过生成式对抗网络模型生成的图片可以提高图片的真实性。而由于生成模型可能会生成假细节从而破坏图像的自然性，本实施例中，只对纹理丰富的区域引入对抗学习策略，而纹理的丰富程度则可以用图像块的像素标准差表征。
63.具体来说，在步骤s303中，终端可以进一步获取当前预测图像块对应的像素标准差，如果像素标准差大于某个预先设定的像素标准差阈值，则可以表明该图像块属于纹理丰富的区域，因此会在图像块中引入对抗学习的策略，而如果像素标准差小于或者等于某个预先设定的像素标准差阈值，则可以表明该图像块不属于纹理丰富的区域，因此则不在该图像块中引入对抗学习的策略。而引入对抗学习策略的方式可以是在损失函数中引入新的生成器与判别器之间的第三损失值进行表征，因此本步骤中，终端仅仅在当前预测图像块对应的像素标准差大于预设的像素标准差阈值时，才获取生成器与判别器之间的第三损失值，并基于第一损失值、第二损失值以及第三损失值，得到最终的当前第一分辨率图像块对应的损失值。
64.例如，当前第一分辨率图像块对应的损失值可以通过以下公式进行计算：
65.l＝λ1l
bb
+λ2l
bp
+λ3l
g
66.其中，l
bb
表示第一损失值，l
bp
表示第二损失值，l
g
则表示第三损失值，λ1,λ2,λ3分别表示第一损失值、第二损失值以及第三损失值对应的损失权重。
67.上述实施例中，终端可以根据每一个第一分辨率图像块的损失值的平均值计算当前神经网络模型的损失值，而每一个第一分辨率图像块的损失值则可以通过其对应的基准图像块的像素与预测图像块的像素的第一损失值，以及预测图像块下采样处理后的像素与第一分辨率图像块的第二损失值得到，从而可以保证生成预测图像块结果的真实性。同时，对于像素标准差大于像素标准差阈值的预测图像块，还可以将当前神经网络模型对应的生成器与判别器之间的第三损失值作为其对应的损失值的一部分，通过引入区域感知对抗策略，可以进一步保证生成的预测图像块的自然性。
68.在一个实施例中，如图4所示，步骤s103可以进一步包括：
69.步骤s401，终端获取基准真相图像块库中各第二分辨率图像块的像素与当前第一分辨率图像块对应的当前第二分辨率图像块的像素之间的第一欧几里得距离，以及获取各第二分辨率图像块的像素与当前第一分辨率图像块对应的当前预测图像块的像素之间的第二欧几里得距离。
70.其中，第一欧几里得距离指的是基准真相图像块库中任意一个第二分辨率图像块的像素与当前第一分辨率图像块一一对应的当前第二分辨率图像块的像素之间的欧几里得距离，而第二欧几里得距离指的是基准真相图像块库中任意一个第二分辨率图像块的像素与当前预测图像块的像素之间的欧几里得距离。
71.具体来说，终端可以将组成基准真相图像块库中的每一个第二分辨率图像块的像素，分别与当前第二分辨率图像块的像素，以及当前预测图像块的像素计算欧几里得距离，作为第一欧几里得距离与第二欧几里得距离。
72.步骤s402，终端根据第一欧几里得距离，以及第二欧几里得距离，得到针对各第二分辨率图像块的相似度函数；
73.步骤s403，终端将相似度函数的函数值最小对应的第二分辨率图像块，作为当前第一分辨率图像块对应的基准图像块。
74.像素的欧几里得距离可以用于反映两个图像块之间的相似程度，其中欧几里得距离越小，其表征的相似程度则越高。因此，为了使基准图像块可以满足与当前预测图像块和一一对应的当前第二分辨率图像块同时保持高相似性，本实施例中，可以利用第一欧几里得距离与第二欧几里得距离构造每一个第二分辨率图像块的相似度函数，并将相似度函数值最小的第二分辨率图像块作为当前第一分辨率图像块对应的基准图像块。
75.进一步地，步骤s402可以进一步包括：终端获取与第一欧几里得距离对应的第一权重，以及与第二欧几里得距离对应的第二权重；利用第一权重以及第二权重，对第一欧几里得距离以及第二欧几里得距离进行加权求和处理，得到相似度函数。
76.另外，第一欧几里得距离与第二欧几里得距离对计算相似度的重要程度也可以由所不同，因此终端可以分别获取与第一欧几里得距离对应的权重，作为第一权重，以及与第二欧几里得距离对应的权重，作为第二权重，并利用第一权重和第二权重对第一欧几里得距离以及第二欧几里得距离进行加权求和处理，从而得到最终的相似度函数。
77.例如：用于获取当前第一分辨率图像块对应的基准图像块可以通过如下算法实现：
[0078][0079]
其中，g表示基准真相图像块库，g表示基准真相图像块库中任意一个第二分辨率图像块的像素，g
i
表示当前第二分辨率图像块的像素，表示第一欧几里得距离，表示当前预测图像块的像素，表示第二欧几里得距离，α,β则分别表示第一权重和第二权重。
[0080]
本实施例中，基准图像块可以通过基准真相图像块库中任意一个第二分辨率图像块的像素与第一分辨率图像块对应的第二分辨率图像块的像素之间的第一欧几里得距离，以及基准真相图像块库中任意一个第二分辨率图像块的像素与预测图像块的像素之间的第二欧几里得距离得到的相似度函数的最小值得到，可以保证基准图像块与第二分辨率图像块以及预测图像块均保持高相关性，从而保证了基准图像块的获取精度。
[0081]
在一个实施例中，步骤s104之后，还可以包括：终端获取待超分辨率处理的第一分辨率图像；将第一分辨率图像输入图像超分辨率模型，通过图像超分辨率模型输出第一分辨率图像对应的第二分辨率图像。
[0082]
图像超分辨率模型训练完成后，则可以通过该模型实现图像的超分辨率处理，而第一分辨率图像则指的是需要进行超分辨率处理的低分辨率图像，具体来说，终端可以将需要进行超分辨率处理的第一分辨率图像输入训练好的图像超分辨率模型，并通过图像超分辨率模型输出第一分辨率图像对应的高分辨率图像，作为第二分辨率图像。
[0083]
本实施例中，通过将需要进行超分辨率处理的第一分辨率图像输入至图像超分辨率模型，并输出对应的第二分辨率图像，能够实现了重建的第二分辨率图像动态地匹配最优的监督对象，从而恢复更多的图像细节。
[0084]
在一个应用实例中，提供了一种用于图像超分辨率的最佳伙伴对抗生成学习方法，不同于传统技术中学习一对一的低分辨率图像和高分辨率图像的映射，本应用实例在
训练过程中允许重建的图像动态地匹配最优的监督对象，从而恢复更多的图像细节。此外，本应用实例还提出了一种新的区域感知对抗学习策略，指导模型自适应地生成更真实自然的纹理和细节。本应用实例的具体实现可如下所示：
[0085]
本应用实例的网络模型由生成器(g)和判别器(d)两部分构成，其算法流程可如图5所示。生成器用于将低分辨率的图像重建成高分辨率的图像。判别器包含全局判别器(dg)和区域判别器(dl)两部分，前者用于判断生成的图像是否整体看起来自然真实，后者用于判断图像的局部区域是否看起来自然真实。
[0086]
本应用实例提出了两种新的学习策略，一是最佳伙伴监督，二是区域感知对抗。
[0087]
(一)最佳伙伴监督
[0088]
在超分辨率任务中，如图6(a)所示，对于自然图像的一个低分辨率图像块，存在着多个与之对应的高分辨率图像块，因此这是一个一对多的映射。然而，现有的方法在学习过程中都只考虑了一对一的映射关系。如图6(b)所示，当前最常用的两个损失函数，均方误差(mse)和平均绝对误差(mae)，都只考虑了一对一的映射。针对这个问题，本应用实例提出了最佳伙伴监督策略，如图6(c)。对于当前预测的图像块，本应用实例不再预定义一对一的映射，而是在由基准真相图像块库中寻找与之最优的匹配，要求此匹配与预测的图像块和原本对应的基准真相图像块同时保持高相似性，这个过程可以表示为：
[0089][0090]
其中，表示当前预测的第i块高分辨率图像块，g
i
表示预定义好的一对一的基准真相图像块，g表示基准真相图像块库，g表示表示基准真相图像块库g中任意一个图像块，g
i*
是我们找到的最优匹配的结果，α和β是相关的参数。最后，本发明将此匹配作为监督，使用平均绝对误差计算损失优化模型。此外，我们还引入了重映射损失函数用于保证结果的真实性，即希望网络预测的高分辨率图像再次下采样后与原本输入的低分辨率图像保持一致。这里的重映射损失函数也是平均绝对误差损失函数。
[0091]
最后，本应用实例将此匹配作为监督，使用平均绝对误差计算损失优化模型。此外，还引入了重映射损失函数用于保证结果的真实性。
[0092]
网络训练过程中总的损失函数表示为：
[0093]
l＝λ1l
bb
+λ2l
bp
+λ3l
g
[0094]
其中，l
bb
是上文提到的最佳伙伴监督损失函数，l
bp
是重映射损失函数，l
g
是标准的对抗生成网络损失函数，λ1、λ2和λ3是相关参数。
[0095]
(二)区域感知对抗
[0096]
为了减轻对抗生成模型生成的假细节破坏图像的自然性，本应用实例提出了区域感知对抗学习策略。考虑到图像中平滑的区域不需要增加过多的纹理，本发明提出只在纹理丰富的区域引入对抗学习策略。如图5所示，两个判别器只作用于纹理丰富的松鼠和岩石区域，而在平滑的背景区域不做任何处理。
[0097]
最终形成的图像超分辨率处理结果则可以如图7所示，相比于现有的技术，本应用实例能够重建纹理丰富且真实自然的高分辨率图像，在量化和可视化指标上都取得了优异的结果。
[0098]
应该理解的是，虽然本申请的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0099]
在一个实施例中，如图8所示，提供了一种图像超分辨率模型训练装置，包括：样本图像获取模块801、网络模型输入模块802、基准图像获取模块803和网络模型训练模块804，其中：
[0100]
样本图像获取模块801，用于获取第一分辨率样本图像，以及与第一分辨率样本图像匹配的第二分辨率样本图像；其中，第一分辨率低于第二分辨率；
[0101]
网络模型输入模块802，用于将第一分辨率样本图像以及第二分辨率样本图像，输入当前神经网络模型；当前神经网络模型用于将第一分辨率样本图像切分成多个第一分辨率图像块，以及将第二分辨率样本图像切分成多个第二分辨率图像块，形成基准真相图像块库，并基于各第一分辨率图像块对应的第二分辨率图像块，输出各第一分辨率图像块对应的预测图像块；
[0102]
基准图像获取模块803，用于基于各第一分辨率图像块对应的预测图像块，以及各第一分辨率图像块对应的第二分辨率图像块，从基准真相图像块库中选取各第一分辨率图像块对应的基准图像块；
[0103]
网络模型训练模块804，用于根据各第一分辨率图像块对应的基准图像块以及各第一分辨率图像块对应的预测图像块，获取当前神经网络模型的损失值，根据损失值对当前神经网络模型进行训练，当当前神经网络模型满足预设条件时，得到图像超分辨率模型。
[0104]
在一个实施例中，网络模型训练模块804，进一步用于确定当前第一分辨率图像块对应的当前基准图像块，以及当前第一分辨率图像块对应的当前预测图像块；根据当前基准图像块的像素与当前预测图像块的像素的损失值，得到当前第一分辨率图像块对应的损失值；获取各第一分辨率图像块对应的损失值，根据各第一分辨率图像块对应的损失值的平均值得到当前神经网络模型的损失值。
[0105]
在一个实施例中，网络模型训练模块804，进一步用于根据当前基准图像块的像素与当前预测图像块的像素的损失值，得到当前第一分辨率图像块对应的第一损失值；对当前预测图像块进行下采样处理，并获取下采样处理后的当前预测图像块对应的像素与当前第一分辨率图像块的像素的损失值，作为当前第一分辨率图像块对应的第二损失值；根据第一损失值以及第二损失值得到当前第一分辨率图像块对应的损失值。
[0106]
在一个实施例中，网络模型训练模块804，进一步用于获取当前预测图像块对应的像素标准差；若像素标准差大于预设的像素标准差阈值，则获取当前神经网络模型对应的生成器与判别器之间的第三损失值；根据第一损失值、第二损失值，以及第三损失值得到当前第一分辨率图像块对应的损失值。
[0107]
在一个实施例中，基准图像获取模块803，进一步用于获取基准真相图像块库中各第二分辨率图像块的像素与当前第一分辨率图像块对应的当前第二分辨率图像块的像素之间的第一欧几里得距离，以及获取各第二分辨率图像块的像素与当前第一分辨率图像块
对应的当前预测图像块的像素之间的第二欧几里得距离；根据第一欧几里得距离，以及第二欧几里得距离，得到针对各第二分辨率图像块的相似度函数；将相似度函数的函数值最小对应的第二分辨率图像块，作为当前第一分辨率图像块对应的基准图像块。
[0108]
在一个实施例中，基准图像获取模块803，进一步用于获取与第一欧几里得距离对应的第一权重，以及与第二欧几里得距离对应的第二权重；利用第一权重以及第二权重，对第一欧几里得距离以及第二欧几里得距离进行加权求和处理，得到相似度函数。
[0109]
在一个实施例中，图像超分辨率模型训练装置，还包括：超分辨率处理模块，用于获取待超分辨率处理的第一分辨率图像；将第一分辨率图像输入图像超分辨率模型，通过图像超分辨率模型输出第一分辨率图像对应的第二分辨率图像。
[0110]
关于图像超分辨率模型训练装置的具体限定可以参见上文中对于图像超分辨率模型训练方法的限定，在此不再赘述。上述图像超分辨率模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0111]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、运营商网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像超分辨率模型训练方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0112]
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0113]
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
[0114]
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
[0115]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read
‑
only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存
储器(dynamic random access memory，dram)等。
[0116]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0117]
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。