图像超分辨率方法、图像超分辨率模型训练方法和装置与流程

1.本公开涉及图像处理技术领域，尤其涉及一种图像超分辨率方法、图像超分辨率模型训练方法、装置、电子设备及存储介质。


背景技术：

2.随着图像处理技术的发展，出现了一种用于将观察到的低分辨率图像重建出相应的高分辨率图像，来提高原有图像分辨率的图像超分辨率处理技术，该技术可以满足图像高清显示的需求，因此在监控设备、卫星图像和医学影像等领域都有重要的应用价值。
3.相关技术中，目前对图像进行超分辨率处理，主要是利用预先训练的超分辨率模型实现，通过将低分辨率图片输入至超分辨率模型中，由超分辨率模型输出对应的高分辨率图像，该模型在训练时通常将低分辨率图像输入模型中，通过模型输出针对低分辨率图像的超分辨率处理预测结果，并利用该预测结果与真实的高分辨率图像构造损失函数，从而实现模型的训练。然而，在低分辨率图像中图像细节往往处于缺失的状态，因此直接训练出的图像超分辨率的模型进行图像超分辨率处理，对图像细节的处理效果较差。


技术实现要素：

4.本公开提供一种图像超分辨率方法、图像超分辨率模型训练方法、装置、电子设备及存储介质，以至少解决相关技术中图像超分辨率处理对图像细节的处理效果差的问题。本公开的技术方案如下：
5.根据本公开实施例的第一方面，提供一种图像超分辨率方法，包括：
6.获取原始分辨率图像；
7.将所述原始分辨率图像输入训练完成的图像超分辨率模型，得到与所述原始分辨率图像匹配的目标分辨率图像；所述训练完成的图像超分辨率模型为基于原始分辨率样本图像、所述原始分辨率样本图像匹配的目标分辨率样本图像，以及中间分辨率样本图像训练得到；其中，原始分辨率低于目标分辨率，所述中间分辨率样本图像根据所述原始分辨率样本图像和所述目标分辨率样本图像得到；中间分辨率介于所述原始分辨率和所述目标分辨率之间；
8.将所述目标分辨率图像，作为所述原始分辨率图像的超分辨率处理结果。
9.在一示例性实施例中，图像超分辨率方法，还包括：获取原始分辨率样本图像，以及与所述原始分辨率样本图像匹配的目标分辨率样本图像；根据所述原始分辨率样本图像，以及所述目标分辨率样本图像，得到中间分辨率样本图像；将所述原始分辨率样本图像输入待训练的图像超分辨率模型，得到与所述原始分辨率样本图像对应的中间分辨率预测图像，以及目标分辨率预测图像；利用所述中间分辨率预测图像与所述中间分辨率样本图像之间的差异，以及所述目标分辨率预测图像与所述目标分辨率样本图像之间的差异，对所述待训练的图像超分辨率模型进行训练，得到所述训练完成的图像超分辨率模型。
10.在一示例性实施例中，所述利用所述中间分辨率预测图像与所述中间分辨率样本
图像之间的差异，以及所述目标分辨率预测图像与所述目标分辨率样本图像之间的差异，对所述待训练的图像超分辨率模型进行训练，得到训练完成的图像超分辨率模型，包括：基于所述中间分辨率样本图像与所述中间分辨率预测图像，得到第一损失值，以及基于所述目标分辨率样本图像与所述目标分辨率预测图像，得到第二损失值；利用所述第一损失值以及所述第二损失值，对所述待训练的图像超分辨率模型进行训练，得到所述训练完成的图像超分辨率模型。
11.在一示例性实施例中，所述待训练的图像超分辨率模型，包括第一图像超分辨率子模型，以及第二图像超分辨率子模型；所述将所述原始分辨率样本图像输入待训练的图像超分辨率模型，得到与所述原始分辨率样本图像对应的中间分辨率预测图像，以及目标分辨率预测图像，包括：将所述原始分辨率样本图像输入所述第一图像超分辨率子模型，得到第一图像特征；基于所述第一图像特征得到所述中间分辨率预测图像；将所述第一图像特征输入所述第二图像超分辨率子模型，得到第二图像特征；基于所述第二图像特征得到所述目标分辨率预测图像。
12.在一示例性实施例中，利用所述第一损失值以及所述第二损失值对所述待训练的图像超分辨率模型进行训练，包括：利用所述第一损失值以及所述第二损失值，对所述第一图像超分辨率子模型进行训练，以及利用所述第二损失值，对所述第二图像超分辨率子模型进行训练。
13.在一示例性实施例中，所述第一图像超分辨率子模型的数量为多个；所述将所述原始分辨率样本图像输入所述第一图像超分辨率子模型，得到第一图像特征，包括：获取当前第一图像超分辨率子模型；在所述当前第一图像超分辨率子模型为多个所述第一图像超分辨率子模型中的首个第一图像超分辨率子模型的情况下，将所述原始分辨率样本图像输入所述当前第一图像超分辨率子模型，得到所述当前第一图像超分辨率子模型对应的第一图像特征；在所述当前第一图像超分辨率子模型不是所述首个第一图像超分辨率子模型的情况下，将所述当前第一图像超分辨率子模型的上一个第一图像超分辨率子模型对应的第一图像特征输入所述当前第一图像超分辨率子模型，得到所述当前第一图像超分辨率子模型对应的第一图像特征。
14.在一示例性实施例中，所述将所述第一图像特征输入所述第二图像超分辨率子模型，得到第二图像特征，包括：将多个所述第一图像超分辨率子模型中最后一个第一图像超分辨率子模型对应的第一图像特征输入所述第二图像超分辨率子模型，得到所述第二图像特征。
15.在一示例性实施例中，所述中间分辨率样本图像的数量为多个，各个中间分辨率样本图像分别与各个当前第一图像超分辨率子模型相匹配；所述基于所述第一图像特征得到所述中间分辨率预测图像，包括：基于各个当前第一图像超分辨率子模型对应的第一图像特征，得到所述各个当前第一图像超分辨率子模型分别对应的中间分辨率预测图像；基于所述中间分辨率样本图像与所述中间分辨率预测图像，得到第一损失值，包括：基于所述各个当前第一图像超分辨率子模型分别对应的中间分辨率预测图像，以及所述各个当前第一图像超分辨率子模型分别匹配的中间分辨率样本图像，得到所述各个当前第一图像超分辨率子模型分别对应的第一损失值。
16.在一示例性实施例中，所述根据所述原始分辨率样本图像，以及所述目标分辨率
样本图像，得到中间分辨率样本图像，包括：对所述原始分辨率样本图像进行上采样处理，得到与所述原始分辨率样本图像对应的上采样图像；获取所述上采样图像针对待生成的中间分辨率样本图像的第一影响权重，以及所述目标分辨率样本图像针对所述待生成的中间分辨率样本图像的第二影响权重；按照所述第一影响权重以及所述第二影响权重，对所述上采样图像以及所述目标分辨率样本图像进行加权处理，得到所述中间分辨率样本图像。
17.在一示例性实施例中，所述待生成的中间分辨率样本图像的数量为多个；所述获取所述上采样图像针对待生成的中间分辨率样本图像的第一影响权重，以及所述目标分辨率样本图像针对所述待生成的中间分辨率样本图像的第二影响权重，包括：获取待生成的当前中间分辨率样本图像在多个所述待生成的中间分辨率样本图像中的样本图像排序；根据所述样本图像排序，确定所述上采样图像针对所述待生成的当前中间分辨率样本图像的第一影响权重，以及所述目标分辨率样本图像针对所述待生成的当前中间分辨率样本图像的第二影响权重。
18.根据本公开实施例的第二方面，提供一种图像超分辨率模型训练方法，包括：
19.获取原始分辨率样本图像，以及与所述原始分辨率样本图像匹配的目标分辨率样本图像，其中，原始分辨率低于目标分辨率；
20.根据所述原始分辨率样本图像，以及所述目标分辨率样本图像，得到中间分辨率样本图像；其中，中间分辨率介于所述原始分辨率和所述目标分辨率之间；
21.将所述原始分辨率样本图像输入待训练的图像超分辨率模型，得到与所述原始分辨率样本图像对应的中间分辨率预测图像，以及目标分辨率预测图像；
22.基于所述中间分辨率样本图像与所述中间分辨率预测图像，得到第一损失值，以及基于所述目标分辨率样本图像与所述目标分辨率预测图像，得到第二损失值；
23.利用所述第一损失值以及所述第二损失值对所述待训练的图像超分辨率模型进行训练，得到训练完成的图像超分辨率模型。
24.在一示例性实施例中，所述待训练的图像超分辨率模型，包括第一图像超分辨率子模型，以及第二图像超分辨率子模型；所述将所述原始分辨率样本图像输入待训练的图像超分辨率模型，得到与所述原始分辨率样本图像对应的中间分辨率预测图像，以及目标分辨率预测图像，包括：将所述原始分辨率样本图像输入所述第一图像超分辨率子模型，得到第一图像特征；基于所述第一图像特征得到所述中间分辨率预测图像；将所述第一图像特征输入所述第二图像超分辨率子模型，得到第二图像特征；基于所述第二图像特征得到所述目标分辨率预测图像。
25.在一示例性实施例中，所述利用所述第一损失值以及所述第二损失值对所述待训练的图像超分辨率模型进行训练，包括：利用所述第一损失值以及所述第二损失值，对所述第一图像超分辨率子模型进行训练，以及利用所述第二损失值，对所述第二图像超分辨率子模型进行训练。
26.在一示例性实施例中，所述第一图像超分辨率子模型的数量为多个；所述将所述原始分辨率样本图像输入所述第一图像超分辨率子模型，得到第一图像特征，包括：获取当前第一图像超分辨率子模型；在所述当前第一图像超分辨率子模型为多个所述第一图像超分辨率子模型中的首个第一图像超分辨率子模型的情况下，将所述原始分辨率样本图像输入所述当前第一图像超分辨率子模型，得到所述当前第一图像超分辨率子模型对应的第一
图像特征；在所述当前第一图像超分辨率子模型不是所述首个第一图像超分辨率子模型的情况下，将所述当前第一图像超分辨率子模型的上一个第一图像超分辨率子模型对应的第一图像特征输入所述当前第一图像超分辨率子模型，得到所述当前第一图像超分辨率子模型对应的第一图像特征。
27.在一示例性实施例中，所述将所述第一图像特征输入所述第二图像超分辨率子模型，得到第二图像特征，包括：将多个所述第一图像超分辨率子模型中最后一个第一图像超分辨率子模型对应的第一图像特征输入所述第二图像超分辨率子模型，得到所述第二图像特征。
28.在一示例性实施例中，所述中间分辨率样本图像的数量为多个，各个中间分辨率样本图像分别与各个当前第一图像超分辨率子模型相匹配；所述基于所述第一图像特征得到所述中间分辨率预测图像，包括：基于各个当前第一图像超分辨率子模型对应的第一图像特征，得到所述各个当前第一图像超分辨率子模型分别对应的中间分辨率预测图像；基于所述中间分辨率样本图像与所述中间分辨率预测图像，得到第一损失值，包括：基于所述各个当前第一图像超分辨率子模型分别对应的中间分辨率预测图像，以及所述各个当前第一图像超分辨率子模型分别匹配的中间分辨率样本图像，得到所述各个当前第一图像超分辨率子模型分别对应的第一损失值。
29.根据本公开实施例的第三方面，提供一种图像超分辨率装置，包括：
30.原始图像获取单元，被配置为执行获取原始分辨率图像；
31.目标图像获取单元，被配置为执行将所述原始分辨率图像输入训练完成的图像超分辨率模型，得到与所述原始分辨率图像匹配的目标分辨率图像；所述训练完成的图像超分辨率模型为基于原始分辨率样本图像、所述原始分辨率样本图像匹配的目标分辨率样本图像，以及中间分辨率样本图像训练得到；其中，原始分辨率低于目标分辨率，所述中间分辨率样本图像根据所述原始分辨率样本图像和所述目标分辨率样本图像得到；中间分辨率介于所述原始分辨率和所述目标分辨率之间；
32.处理结果获取单元，被配置为执行将所述目标分辨率图像，作为所述原始分辨率图像的超分辨率处理结果。
33.在一示例性实施例中，图像超分辨率装置，还包括：超分辨率模型训练单元，被配置为执行获取原始分辨率样本图像，以及与所述原始分辨率样本图像匹配的目标分辨率样本图像；根据所述原始分辨率样本图像，以及所述目标分辨率样本图像，得到中间分辨率样本图像；将所述原始分辨率样本图像输入待训练的图像超分辨率模型，得到与所述原始分辨率样本图像对应的中间分辨率预测图像，以及目标分辨率预测图像；利用所述中间分辨率预测图像与所述中间分辨率样本图像之间的差异，以及所述目标分辨率预测图像与所述目标分辨率样本图像之间的差异，对所述待训练的图像超分辨率模型进行训练，得到所述训练完成的图像超分辨率模型。
34.在一示例性实施例中，所述超分辨率模型训练单元，进一步被配置为执行基于所述中间分辨率样本图像与所述中间分辨率预测图像，得到第一损失值，以及基于所述目标分辨率样本图像与所述目标分辨率预测图像，得到第二损失值；利用所述第一损失值以及所述第二损失值，对所述待训练的图像超分辨率模型进行训练，得到所述训练完成的图像超分辨率模型。
35.在一示例性实施例中，待训练的图像超分辨率模型，包括第一图像超分辨率子模型，以及第二图像超分辨率子模型；所述超分辨率模型训练单元，进一步被配置为执行将所述原始分辨率样本图像输入所述第一图像超分辨率子模型，得到第一图像特征；基于所述第一图像特征得到所述中间分辨率预测图像；将所述第一图像特征输入所述第二图像超分辨率子模型，得到第二图像特征；基于所述第二图像特征得到所述目标分辨率预测图像。
36.在一示例性实施例中，所述超分辨率模型训练单元，进一步被配置为执行利用所述第一损失值以及所述第二损失值，对所述第一图像超分辨率子模型进行训练，以及利用所述第二损失值，对所述第二图像超分辨率子模型进行训练。
37.在一示例性实施例中，所述第一图像超分辨率子模型的数量为多个；所述超分辨率模型训练单元，进一步被配置为执行获取当前第一图像超分辨率子模型；在所述当前第一图像超分辨率子模型为多个所述第一图像超分辨率子模型中的首个第一图像超分辨率子模型的情况下，将所述原始分辨率样本图像输入所述当前第一图像超分辨率子模型，得到所述当前第一图像超分辨率子模型对应的第一图像特征；在所述当前第一图像超分辨率子模型不是所述首个第一图像超分辨率子模型的情况下，将所述当前第一图像超分辨率子模型的上一个第一图像超分辨率子模型对应的第一图像特征输入所述当前第一图像超分辨率子模型，得到所述当前第一图像超分辨率子模型对应的第一图像特征。
38.在一示例性实施例中，所述超分辨率模型训练单元，进一步被配置为执行将多个所述第一图像超分辨率子模型中最后一个第一图像超分辨率子模型对应的第一图像特征输入所述第二图像超分辨率子模型，得到所述第二图像特征。
39.在一示例性实施例中，所述中间分辨率样本图像的数量为多个，各个中间分辨率样本图像分别与各个当前第一图像超分辨率子模型相匹配；所述超分辨率模型训练单元，进一步被配置为执行基于各个当前第一图像超分辨率子模型对应的第一图像特征，得到所述各个当前第一图像超分辨率子模型分别对应的中间分辨率预测图像；以及被配置为执行基于所述各个当前第一图像超分辨率子模型分别对应的中间分辨率预测图像，以及所述各个当前第一图像超分辨率子模型分别匹配的中间分辨率样本图像，得到所述各个当前第一图像超分辨率子模型分别对应的第一损失值。
40.在一示例性实施例中，所述超分辨率模型训练单元，进一步被配置为执行对所述原始分辨率样本图像进行上采样处理，得到与所述原始分辨率样本图像对应的上采样图像；获取所述上采样图像针对待生成的中间分辨率样本图像的第一影响权重，以及所述目标分辨率样本图像针对所述待生成的中间分辨率样本图像的第二影响权重；按照所述第一影响权重以及所述第二影响权重，对所述上采样图像以及所述目标分辨率样本图像进行加权处理，得到所述中间分辨率样本图像。
41.在一示例性实施例中，所述待生成的中间分辨率样本图像的数量为多个；所述超分辨率模型训练单元，进一步被配置为执行获取待生成的当前中间分辨率样本图像在多个所述待生成的中间分辨率样本图像中的样本图像排序；根据所述样本图像排序，确定所述上采样图像针对所述待生成的当前中间分辨率样本图像的第一影响权重，以及所述目标分辨率样本图像针对所述待生成的当前中间分辨率样本图像的第二影响权重。
42.根据本公开实施例的第四方面，提供一种图像超分辨率模型训练装置，包括：
43.样本图像获取单元，被配置为执行获取原始分辨率样本图像，以及与所述原始分
辨率样本图像匹配的目标分辨率样本图像，其中，原始分辨率低于目标分辨率；
44.中间样本获取单元，被配置为执行根据所述原始分辨率样本图像，以及所述目标分辨率样本图像，得到中间分辨率样本图像；其中，中间分辨率介于所述原始分辨率和所述目标分辨率之间；
45.预测图像获取单元，被配置为执行将所述原始分辨率样本图像输入待训练的图像超分辨率模型，得到与所述原始分辨率样本图像对应的中间分辨率预测图像，以及目标分辨率预测图像；
46.模型损失获取单元，被配置为执行基于所述中间分辨率样本图像与所述中间分辨率预测图像，得到第一损失值，以及基于所述目标分辨率样本图像与所述目标分辨率预测图像，得到第二损失值；
47.模型训练单元，被配置为执行利用所述第一损失值以及所述第二损失值对所述待训练的图像超分辨率模型进行训练，得到训练完成的图像超分辨率模型。
48.在一示例性实施例中，所述待训练的图像超分辨率模型，包括第一图像超分辨率子模型，以及第二图像超分辨率子模型；所述预测图像获取单元，进一步被配置为执行将所述原始分辨率样本图像输入所述第一图像超分辨率子模型，得到第一图像特征；基于所述第一图像特征得到所述中间分辨率预测图像；将所述第一图像特征输入所述第二图像超分辨率子模型，得到第二图像特征；基于所述第二图像特征得到所述目标分辨率预测图像。
49.在一示例性实施例中，所述模型训练单元，进一步被配置为执行利用所述第一损失值以及所述第二损失值，对所述第一图像超分辨率子模型进行训练，以及利用所述第二损失值，对所述第二图像超分辨率子模型进行训练。
50.在一示例性实施例中，所述第一图像超分辨率子模型的数量为多个；所述预测图像获取单元，进一步被配置为执行获取当前第一图像超分辨率子模型；在所述当前第一图像超分辨率子模型为多个所述第一图像超分辨率子模型中的首个第一图像超分辨率子模型的情况下，将所述原始分辨率样本图像输入所述当前第一图像超分辨率子模型，得到所述当前第一图像超分辨率子模型对应的第一图像特征；在所述当前第一图像超分辨率子模型不是所述首个第一图像超分辨率子模型的情况下，将所述当前第一图像超分辨率子模型的上一个第一图像超分辨率子模型对应的第一图像特征输入所述当前第一图像超分辨率子模型，得到所述当前第一图像超分辨率子模型对应的第一图像特征。
51.在一示例性实施例中，所述预测图像获取单元，进一步被配置为执行将多个所述第一图像超分辨率子模型中最后一个第一图像超分辨率子模型对应的第一图像特征输入所述第二图像超分辨率子模型，得到所述第二图像特征。
52.在一示例性实施例中，所述中间分辨率样本图像的数量为多个，各个中间分辨率样本图像分别与各个当前第一图像超分辨率子模型相匹配；所述预测图像获取单元，进一步被配置为执行基于各个当前第一图像超分辨率子模型对应的第一图像特征，得到所述各个当前第一图像超分辨率子模型分别对应的中间分辨率预测图像；所述模型损失获取单元，进一步被配置为执行基于所述各个当前第一图像超分辨率子模型分别对应的中间分辨率预测图像，以及所述各个当前第一图像超分辨率子模型分别匹配的中间分辨率样本图像，得到所述各个当前第一图像超分辨率子模型分别对应的第一损失值。
53.根据本公开实施例的第五方面，提供一种电子设备，包括：处理器；用于存储所述
处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如第一方面中任一项实施例所述的图像超分辨率方法，或者如第二方面中任一项实施例所述的图像超分辨率模型训练方法。
54.根据本公开实施例的第六方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如第一方面中任一项实施例所述的图像超分辨率方法，或者如第二方面中任一项实施例所述的图像超分辨率模型训练方法。
55.根据本公开实施例的第七方面，提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被电子设备的处理器执行时，使得所述电子设备能够执行如第一方面中任一项实施例所述的图像超分辨率方法，或者如第二方面中任一项实施例所述的图像超分辨率模型训练方法。
56.本公开的实施例提供的技术方案至少带来以下有益效果：
57.通过获取原始分辨率图像；将原始分辨率图像输入训练完成的图像超分辨率模型，得到与原始分辨率图像匹配的目标分辨率图像；训练完成的图像超分辨率模型为基于原始分辨率样本图像、原始分辨率样本图像匹配的目标分辨率样本图像，以及中间分辨率样本图像训练得到；其中，原始分辨率低于目标分辨率，中间分辨率样本图像根据原始分辨率样本图像和目标分辨率样本图像得到；中间分辨率介于原始分辨率和目标分辨率之间；将目标分辨率图像，作为原始分辨率图像的超分辨率处理结果。本公开在对图像超分辨率模型进行训练时，除了利用原始分辨率样本图像以及目标分辨率样本图像，还进一步引入了分辨率处于原始分辨率和目标分辨率之间的中间分辨率样本图像进行模型训练，从而提高了图像超分辨率模型的模型精度，进而提高图像细节的处理效果。
58.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
59.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
60.图1是根据一示例性实施例示出的一种图像超分辨率方法的流程图。
61.图2是根据一示例性实施例示出的训练图像超分辨率模型的流程图。
62.图3是根据一示例性实施例示出的图像超分辨率模型得到预测图像的流程图。
63.图4是根据一示例性实施例示出的得到第一图像特征的流程图。
64.图5是根据一示例性实施例示出的得到中间分辨率样本图像的流程图。
65.图6是根据一示例性实施例示出的图像超分辨率模型训练方法的流程图。
66.图7是根据一示例性实施例示出的视频超分辨率模型的训练方法的流程图。
67.图8是根据一示例性实施例示出的残差模块的串联结构示意图。
68.图9是根据一示例性实施例示出的一种图像超分辨率装置的框图。
69.图10是根据一示例性实施例示出的一种图像超分辨率模型训练装置的框图。
70.图11是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
71.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
72.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
73.还需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
74.图1是根据一示例性实施例示出的一种图像超分辨率方法的流程图，如图1所示，图像超分辨率方法用于终端中，包括以下步骤。
75.在步骤s101中，获取原始分辨率图像。
76.其中，原始分辨率图像指的是需要进行图像超分辨率处理的原始图像，该图像的分辨率为原始分辨率。具体来说，当需要对处于原始分辨率的图像进行图像超分辨率处理时，用户可以向其终端触发用于执行图像超分辨率处理的处理请求，此时终端则可以对该请求进行响应，从而得到需要进行图像超分辨率处理的原始分辨率图像。
77.在步骤s102中，将原始分辨率图像输入训练完成的图像超分辨率模型，得到与原始分辨率图像匹配的目标分辨率图像；训练完成的图像超分辨率模型为基于原始分辨率样本图像、原始分辨率样本图像匹配的目标分辨率样本图像，以及中间分辨率样本图像训练得到；其中，原始分辨率低于目标分辨率，中间分辨率样本图像根据原始分辨率样本图像和目标分辨率样本图像得到；中间分辨率介于原始分辨率和所述目标分辨率之间。
78.目标分辨率图像则指的是由训练完成的图像超分辨率模型，对原始分辨率图像进行超分辨率处理后，输出得到的处于目标分辨率的图像，该目标分辨率要大于原始分辨率。而图像超分辨率模型则指的是用于对图像进行超分辨率处理的模型，该模型可以将图像的分辨率由原始分辨率，提高至目标分辨率，并且，该模型可以由处于原始分辨率的样本图像，即原始分辨率样本图像，该样本图像对应的处于目标分辨率的图像，即目标分辨率样本图像，以及由原始分辨率样本图像和目标分辨率样本图像得到的，处于中间分辨率的样本图像，即中间分辨率样本图像训练得到，其中中间分辨率为处于原始分辨率和目标分辨率之间的某一个分辨率。
79.例如，原始分辨率可以是分辨率a，而目标分辨率则可以是分辨率b，其中分辨率a小于分辨率b，在进行图像超分辨率模型的训练时，终端可以采集样本图像1对应于分辨率a的图像a1作为原始分辨率图像，还可以采集该图像对应于分辨率b的图像b1作为目标分辨率图像，并且终端可以基于样本图像a1以及图像b1，得到该图像1对应于分辨率c的图像c1作为中间分辨率样本图像，并且分辨率c处于分辨率a与分辨率b之间，并且在进行图像超分辨率模型的训练时，则可以利用图像a1、图像b1以及图像c1进行图像超分辨率模型的训练，而并非仅采用图像a1与图像b1进行图像超分辨率模型的训练。
80.而在训练完成图像超分辨率模型后，则可以进一步地将需要进行图像超分辨率处理的原始分辨率图像输入至该训练完成的图像超分辨率模型，由图像超分辨率模型输出得到该原始分辨率图像对应的目标分辨率图像。
81.在步骤s103中，将目标分辨率图像，作为原始分辨率图像的超分辨率处理结果。
82.最后，终端还可以进一步将步骤s102中，由图像超分辨率模型的目标分辨率图像，作为对原始分辨率图像进行超分辨率处理的处理结果。
83.上述图像超分辨率方法中，通过获取原始分辨率图像；将原始分辨率图像输入训练完成的图像超分辨率模型，得到与原始分辨率图像匹配的目标分辨率图像；训练完成的图像超分辨率模型为基于原始分辨率样本图像、原始分辨率样本图像匹配的目标分辨率样本图像，以及中间分辨率样本图像训练得到；其中，原始分辨率低于目标分辨率，中间分辨率样本图像根据原始分辨率样本图像和目标分辨率样本图像得到；中间分辨率介于原始分辨率和目标分辨率之间；将目标分辨率图像，作为原始分辨率图像的超分辨率处理结果。本公开在对图像超分辨率模型进行训练时，除了利用原始分辨率样本图像以及目标分辨率样本图像，还进一步引入了分辨率处于原始分辨率和目标分辨率之间的中间分辨率样本图像进行模型训练，从而提高了图像超分辨率模型的模型精度，进而提高图像细节的处理效果。
84.在一示例性实施例中，如图2所示，图像超分辨率方法，还可以包括：
85.在步骤s201中，获取原始分辨率样本图像，以及与原始分辨率样本图像匹配的目标分辨率样本图像。
86.其中，原始分辨率样本图像为处于原始分辨率的样本图像，而目标分辨率样本图像则指的是处于目标分辨率的样本图像。具体来说，终端可以采集某个图像作为样本图像，并且将该样本图像在原始分辨率对应的图像作为原始分辨率样本图像，以及将该样本图像在目标分辨率对应的图像作为目标分辨率样本图像。
87.在步骤s202中，根据原始分辨率样本图像，以及目标分辨率样本图像，得到中间分辨率样本图像。
88.中间分辨率样本图像则指的是处于中间分辨率的样本图像，中间分辨率样本图像的分辨率要大于原始分辨率样本图像的分辨率，并小于目标分辨率样本图像的分辨率。具体来说，终端在得到某个样本图像对应的原始分辨率样本图像，以及目标分辨率样本图像后，则可以进一步基于上述原始分辨率样本图像以及目标分辨率样本图像，得到该样本图像对应于中间分辨率的中间分辨率样本图像。
89.在步骤s203中，将原始分辨率样本图像输入待训练的图像超分辨率模型，得到与原始分辨率样本图像对应的中间分辨率预测图像，以及目标分辨率预测图像。
90.待训练的图像超分辨率模型则指的是需要进行训练的图像超分辨率模型，该模型可以基于输入的原始分辨率样本图像，输出得到相应的处于中间分辨率的预测图像，以及处于目标分辨率的预测图像。而中间分辨率预测图像则指的是，由待训练的图像超分辨率模型输出得到的，与输入的原始分辨率样本图像对应的处于中间分辨率的预测图像，目标分辨率预测图像则指的是由该模型训练得到的，与输入的原始分辨率样本图像对应的处于目标分辨率的预测图像。具体来说，终端可以将步骤s201采集得到的原始分辨率样本图像输入至需要进行训练的图像超分辨率模型中，由该模型输出得到该原始分辨率样本图像对应于中间分辨率的预测图像，即中间分辨率预测图像，以及该原始分辨率样本图像对应于
目标分辨率的预测图像，即目标分辨率预测图像。
91.在步骤s204中，利用中间分辨率预测图像与中间分辨率样本图像之间的差异，以及目标分辨率预测图像与目标分辨率样本图像之间的差异，对待训练的图像超分辨率模型进行训练，得到训练完成的图像超分辨率模型。
92.最后，终端还可以进一步计算由图像超分辨率模型输出的中间分辨率预测图像，与步骤s202中得到的中间分辨率样本图像之间的图像差异，以及计算由图像超分辨率模型输出的目标分辨率预测图像，与步骤s201中得到的目标分辨率样本图像之间的图像差异，从而利用上述差异进行模型训练，从而得到训练完成的图像超分辨率模型。
93.本实施例中，终端可以采集处于原始分辨率的原始分辨率样本图像，以及该原始分辨率样本图像对应的处于目标分辨率的目标分辨率样本图像，并且可以根据上述原始分辨率样本图像和目标分辨率样本图像，得到中间分辨率样本图像，进而利用原始分辨率样本图像、中间分辨率样本图像以及目标分辨率样本图像进行图像超分辨率模型的训练，从而可以提高训练得到的图像超分辨率模型的模型精度。
94.进一步地，步骤s204可以进一步包括：基于中间分辨率样本图像与中间分辨率预测图像，得到第一损失值，以及基于目标分辨率样本图像与目标分辨率预测图像，得到第二损失值；利用第一损失值以及第二损失值，对待训练的图像超分辨率模型进行训练，得到训练完成的图像超分辨率模型。
95.第一损失值指的是由中间分辨率样本图像与中间分辨率预测图像，通过预先构建的第一损失函数计算得到的损失值，而第二损失值则是由目标分辨率样本图像与目标分辨率预测图像，通过预先构建的第二损失函数计算得到的损失值，第一损失函数与第二损失函数可以具有相同的表现形式，也可以具有不同的表现形式。
96.具体来说，在终端得到中间分辨率样本图像、中间分辨率预测图像、目标分辨率样本图像以及目标分辨率预测图像后，则可以分别根据中间分辨率样本图像和中间分辨率预测图像，得到训练的图像超分辨率模型对应的第一损失值，以及根据目标分辨率样本图像和目标分辨率预测图像，得到该模型对应的第二损失值，从而可以基于第一损失值和第二损失值实现对图像超分辨率模型的训练，来更新图像超分辨率模型的模型参数，从而得到训练完成的图像超分辨率模型。
97.本实施例中，终端可以分别基于中间分辨率样本图像与中间分辨率预测图像，得到第一损失值，以及基于目标分辨率样本图像与目标分辨率预测图像，得到第二损失值，从而可以利用第一损失值和第二损失值实现图像超分辨率模型的训练，从而可以进一步提高训练得到的图像超分辨率模型的准确性。
98.进一步地，待训练的图像超分辨率模型，包括第一图像超分辨率子模型，以及第二图像超分辨率子模型；如图3所示，步骤s203可以进一步包括：
99.在步骤s301中，将原始分辨率样本图像输入第一图像超分辨率子模型，得到第一图像特征。
100.本实施例中，需要进行训练的图像超分辨率模型可以由两个子网络模型组成，分别是第一图像超分辨率模型，以及第二图像超分辨率子模型，其中，第一图像超分辨率子模型用于得到中间分辨率样本图像，而第二图像超分辨率子模型则是用于得到目标分辨率预测图像。第一图像特征则指的是由第一图像超分辨率模型提取得到的图像特征，本实施例
中，终端可以将原始分辨率样本图像输入至待训练的图像超分辨率模型中的第一图像超分辨率子模型中，并通过第一图像超分辨率子模型得到对应的第一图像特征。
101.在步骤s302中，基于第一图像特征得到中间分辨率预测图像。
102.在步骤s301得到第一图像特征后，终端还可以进一步利用提取出的第一图像特征，得到相应的中间分辨率预测图像，例如可以是将第一图像特征输入至上采样层进行像素重排，从而得到第一图像特征对应的预测图像，作为中间分辨率预测图像。
103.在步骤s303中，将第一图像特征输入第二图像超分辨率子模型，得到第二图像特征。
104.而第二图像特征则指的是由第二图像超分辨率子模型提取得到的图像特征，在步骤s301通过第一图像超分辨率子模型输出得到第一图像特征后，还可以进一步的将输出的第一图像特征作为第二图像超分辨率子模型的输入，通过第二图像超分辨率子模型进行进一步的特征提取，从而得到相应的第二图像特征。
105.在步骤s304中，基于第二图像特征得到目标分辨率预测图像。
106.在步骤s303得到第二图像特征后，终端还可以进一步利用提取出的第二图像特征，得到相应的目标分辨率预测图像，例如可以是将第二图像特征输入至上采样层进行像素重排，从而得到第二图像特征对应的预测图像，作为目标分辨率预测图像。
107.本实施例中，图像超分辨率模型可以由两个子网络模型组成，分别是第一图像超分辨率子模型，以及第二图像超分辨率子模型，其中第一图像超分辨率子模型可以基于输入的原始分辨率样本图像，得到第一图像特征，并可以进一步基于第一图像特征得到相应的中间分辨率预测图像，而第二图像超分辨率子模型则可以基于第一图像超分辨率子模型输出的第一图像特征进行进一步的特征提取得到第二图像特征，从而利用第二图像特征得到目标分辨率预测图像，通过将图像超分辨率模型划分为第一图像超分辨率子模型以及第二图像超分辨率子模型，并且利用上述子模型的输出结果分别得到中间分辨率预测图像，以及目标分辨率预测图像，可以提高得到的中间分辨率预测图像，以及目标分辨率预测图像的准确性。
108.另外，利用第一损失值以及第二损失值，对待训练的图像超分辨率模型进行训练，可以进一步包括：利用第一损失值以及第二损失值，对第一图像超分辨率子模型进行训练，以及利用第二损失值，对第二图像超分辨率子模型进行训练。
109.本实施例中，在得到第一损失值以及第二损失值后，可以利用第一损失值以及第二损失值，分别对第一图像超分辨率子模型以及第二图像超分辨率子模型进行训练。其中，第一图像超分辨率子模型是基于第一损失值以及第二损失值训练得到，终端可以利用第一损失值与第二损失值对第一图像超分辨率子模型进行梯度更新，来实现针对第一图像超分辨率子模型的训练，而第二图像超分辨率子模型是基于第二损失值训练得到，可以是利用第二损失值对第二图像超分辨率子模型进行梯度更新，来实现针对第二图像超分辨率子模型的训练。
110.本实施例中，在得到第一损失值以及第二损失值后，则可以分别基于第一损失值以及第二损失值对第一图像超分辨率子模型进行训练，以及基于第二损失值对第二图像超分辨率子模型进行训练，从而可以提高训练得到的第一图像超分辨率子模型以及第二图像超分辨率子模型的模型精度。
111.在一示例性实施例中，第一图像超分辨率子模型的数量为多个；如图4所示，步骤s301可以进一步包括：
112.在步骤s401中，获取当前第一图像超分辨率子模型。
113.本实施例中，用于输出中间分辨率预测图像的第一图像超分辨率子模型的数量可以是多个，例如可以包括：第一图像超分辨率子模型1、第一图像超分辨率子模型2，以及第一图像超分辨率子模型3，分别用于输出3种不同分辨率的中间分辨率预测图像，可以是第一图像超分辨率子模型1用于输出分辨率1的中间分辨率预测图像，而第一图像超分辨率子模型2用于输出分辨率2的中间分辨率预测图像，第一图像超分辨率子模型3则用于输出分辨率3的中间分辨率预测图像，而当前第一图像超分辨率子模型则是上述多个第一图像超分辨率子模型中的任意一个，可以是第一图像超分辨率子模型1，也可以是第一图像超分辨率子模型2或者第一图像超分辨率子模型3。
114.在步骤s402中，在当前第一图像超分辨率子模型为多个第一图像超分辨率子模型中的首个第一图像超分辨率子模型的情况下，将原始分辨率样本图像输入当前第一图像超分辨率子模型，得到当前第一图像超分辨率子模型对应的第一图像特征。
115.本实施例中，上述多个第一图像超分辨率子模型具有固定的网络连接顺序，例如可以是第一图像超分辨率子模型1连接第一图像超分辨率子模型2，而第一图像超分辨率子模型2则连接第一图像超分辨率子模型3，那么终端则可以判断每个第一图像超分辨率子模型的连接顺序。如果步骤s401中得到的当前第一图像超分辨率子模型为首个第一图像超分辨率子模型，例如是第一图像超分辨率子模型1时，终端则可以将原始分辨率样本图像输入至该当前第一图像超分辨率子模型，从而得到当前第一图像超分辨率子模型对应的第一图像特征。即可以是将原始分辨率样本图像输入第一图像超分辨率子模型1，由第一图像超分辨率子模型1得到对应的第一图像特征1。
116.在步骤s403中，在当前第一图像超分辨率子模型不是首个第一图像超分辨率子模型的情况下，将当前第一图像超分辨率子模型的上一个第一图像超分辨率子模型对应的第一图像特征输入当前第一图像超分辨率子模型，得到当前第一图像超分辨率子模型对应的第一图像特征。
117.而如果步骤s401中得到的当前第一图像超分辨率子模型，不是首个第一图像超分辨率子模型，则可以进一步地将当前第一图像超分辨率子模型的上一个第一图像超分辨率子模型对应的第一图像特征输入当前第一图像超分辨率子模型，从而得到当前第一图像超分辨率子模型对应的第一图像特征。
118.例如，如果当前第一图像超分辨率子模型为第一图像超分辨率子模型2，那么终端则可以将第一图像超分辨率子模型1得到的第一图像特征1输入第一图像超分辨率子模型2，从而通过第一图像超分辨率子模型2得到相应的第一图像特征2，而如果当前第一图像超分辨率子模型为第一图像超分辨率子模型3，那么终端则可以将第一图像超分辨率子模型2得到的第一图像特征2输入第一图像超分辨率子模型3，从而通过第一图像超分辨率子模型3得到相应的第一图像特征3。
119.本实施例中，第一图像超分辨率子模型的数量可以是多个，本实施例中，可以通过多个第一图像超分辨率子模型，分别提取得到多个相应的第一图像特征，并且如果不是首个第一图像超分辨率子模型，还可以将上一第一图像超分辨率子模型输出的第一图像特
征，作为输入得到相应的第一图像特征，通过上述方式，可以进一步提高提取得到的第一图像特征的准确性。
120.进一步地，步骤s303可以进一步包括：将多个第一图像超分辨率子模型中最后一个第一图像超分辨率子模型对应的第一图像特征输入第二图像超分辨率子模型，得到第二图像特征。
121.具体来说，如果第一图像超分辨率子模型的数量为多个时，在将第一图像特征输入至第二图像超分辨率子模型时，可以先从上述多个第一图像超分辨率子模型中，确定连接顺序为最后一个的第一图像超分辨率子模型，并且将该第一图像超分辨率子模型提取得到的第一图像特征输入至上述第二图像超分辨率子模型中，从而可以通过第二图像超分辨率子模型，得到相应的第二图像特征。
122.例如，多个第一图像超分辨率子模型可以包括：第一图像超分辨率子模型1、第一图像超分辨率子模型2，以及第一图像超分辨率子模型3，其中第一图像超分辨率子模型3的连接顺序为最后一个，那么终端则可以将第一图像超分辨率子模型3提取得到的第一图像特征3，作为第二图像超分辨率子模型的输入，从而得到第二图像特征。
123.本实施例中，在第一图像超分辨率子模型的数量为多个时，还可以将最后一个第一图像超分辨率子模型提取得到的第一图像特征，作为第二图像超分辨率子模型的输入，从而可以进一步提高提取得到的第二图像特征的准确性。
124.在一示例性实施例中，中间分辨率样本图像的数量为多个，各个中间分辨率样本图像分别与各个当前第一图像超分辨率子模型相匹配；步骤s302可以进一步包括：基于各个当前第一图像超分辨率子模型对应的第一图像特征，得到各个当前第一图像超分辨率子模型分别对应的中间分辨率预测图像；基于中间分辨率样本图像与中间分辨率预测图像，得到第一损失值，可以进一步包括：基于各个当前第一图像超分辨率子模型分别对应的中间分辨率预测图像，以及各个当前第一图像超分辨率子模型分别匹配的中间分辨率样本图像，得到各个当前第一图像超分辨率子模型分别对应的第一损失值。
125.本实施例中，终端通过得到原始分辨率样本图像，以及目标分辨率样本图像得到的中间分辨率样本图像的数量为多个，分别对应于该样本图像不同的中间分辨率，各个中间分辨率样本图像的也和各个第一图像超分辨率子模型相匹配。例如，第一图像超分辨率子模型可以包括：第一图像超分辨率子模型1、第一图像超分辨率子模型2，以及第一图像超分辨率子模型3，那么终端得到的中间分辨率样本图像也可以包括：中间分辨率样本图像1、中间分辨率样本图像2以及中间分辨率样本图像3。同时，终端通过第一图像超分辨率子模型得到的中间分辨率预测图像的数量也可以是多个，即分别利用各个第一图像超分辨率子模型对应的第一图像特征，从而得到各个第一图像超分辨率子模型对应的中间分辨率预测图像。之后，终端可以进一步根据各个第一图像超分辨率子模型对应的中间分辨率预测图像，以及各个第一图像超分辨率子模型匹配的中间分辨率样本图像，则可以得到各个第一图像超分辨率子模型分别对应的第一损失值。
126.例如，第一图像超分辨率子模型可以包括：第一图像超分辨率子模型1、第一图像超分辨率子模型2，以及第一图像超分辨率子模型3，并且上述第一图像超分辨率子模型分别匹配有中间分辨率样本图像1、中间分辨率样本图像2以及中间分辨率样本图像3。终端在得到每一个第一图像超分辨率子模型对应的第一图像特征后，则可以分别进一步得到各个
第一图像特征对应的中间分辨率预测图像，即分别得到中间分辨率预测图像1、中间分辨率预测图像2以及中间分辨率预测图像3。并且终端还可以分别计算中间分辨率预测图像1与中间分辨率样本图像1的第一损失值，作为第一图像超分辨率子模型1对应的第一损失值，以及计算中间分辨率预测图像2与中间分辨率样本图像2的第一损失值，作为第一图像超分辨率子模型2对应的第一损失值，并且计算中间分辨率预测图像3与中间分辨率样本图像3的第一损失值，作为第一图像超分辨率子模型3对应的第一损失值，通过上述方式，则可以得到每一个第一图像超分辨率子模型对应的第一损失值。
127.本实施例中，通过设置与各个第一图像超分辨率子模型相匹配的中间分辨率样本图像，则可以计算得到各个第一图像超分辨率子模型对应的第一损失值，通过上述方式，则可以实现针对多个第一图像超分辨率子模型的训练，从而进一步提高训练得到的图像超分辨率模型的精度。
128.在一示例性实施例中，如图5所示，步骤s202可以进一步包括：
129.在步骤s501中，对原始分辨率样本图像进行上采样处理，得到与原始分辨率样本图像对应的上采样图像。
130.其中，上采样处理可以用于将图像进行尺寸放大，而上采样图像则是对原始分辨率样本图像进行上采样处理后得到的图像，本实施例中，由于原始分辨率样本图像的图像尺寸与目标分辨率样本图像的图像尺寸有所不同，因此在进行中间分辨率样本图像的获取过程中，可以先通过上采样处理，将原始分辨率样本图像放大成目标分辨率样本图像的图像尺寸，从而得到上采样图像。
131.在步骤s502中，获取上采样图像针对待生成的中间分辨率样本图像的第一影响权重，以及目标分辨率样本图像针对待生成的中间分辨率样本图像的第二影响权重。
132.其中，待生成的中间分辨率样本图像指的是需要得到的中间分辨率样本图像，而第一影响权重指的是上采样图像对上述中间分辨率样本图像的影响权重，第二影响权重则指的是目标分辨率样本图像对上述中间分辨率样本图像的影响权重，上述第一影响权重与第二影响权重可以是预先进行设置。具体来说，终端可以获取预先设置的第一影响权重以及第二影响权重，从而分别得到上采样图像针对待生成的中间分辨率样本图像的影响权重，以及得到目标分辨率样本图像针对待生成的中间分辨率样本图像的影响权重。
133.在步骤s503中，按照第一影响权重以及第二影响权重，对上采样图像以及目标分辨率样本图像进行加权处理，得到中间分辨率样本图像。
134.最后，得到第一影响权重以及第二影响权重后，则可以基于上述第一影响权重以及第二影响权重，对对上采样图像以及目标分辨率样本图像进行加权处理，从而输出得到中间分辨率样本图像。
135.本实施例中，可以通过上采样的方式得到原始分辨率样本图像对应的上采样图像，并且可以基于上采样图像针对中间分辨率样本图像的第一影响权重，以及目标分辨率样本图像针对中间分辨率样本图像的第二影响权重，对上采样图像以及目标分辨率样本图像进行加权处理，从而可以得到精确的中间分辨率样本图像。
136.进一步地，待生成的中间分辨率样本图像的数量为多个；步骤s502可以进一步包括：获取待生成的当前中间分辨率样本图像在多个待生成的中间分辨率样本图像中的样本图像排序；根据样本图像排序，确定上采样图像针对待生成的当前中间分辨率样本图像的
第一影响权重，以及目标分辨率样本图像针对待生成的当前中间分辨率样本图像的第二影响权重。
137.本实施例中，需要生成的中间分辨率样本图像的数量可以是多个，并且各个中间分辨率样本图像对应于不同的中间分辨率，待生成的当前中间分辨率样本图像则指的是上述需要生成的中间分辨率样本图像中的任意一个，而样本图像排序则指的是待生成的当前中间分辨率样本图像，在多个待生成的当前中间分辨率样本图像中的排序，例如可以是按照中间分辨率的大小关系进行排序。本实施例中，上采样图像针对生成的不同中间分辨率样本图像具有不同的第一影响权重，同时目标分辨率样本图像针对生成的不同中间分辨率样本图像也可以具有不同的第二影响权重，并且第一影响权重以及第二影响权重可以与中间分辨率样本图像在多个待生成的当前中间分辨率样本图像中相适应。终端通过得到每一个待生成的当前中间分辨率样本图像对应的样本图像排序，则可以基于上述样本图像排序，得到相适应的每一个第一影响权重以及第二影响权重。
138.例如，针对待生成的中间分辨率样本图像1，终端可以预先设置有对应的第一影响权重为第一影响权重1，同时对应的第二影响权重为第二影响权重1，而针对待生成的中间分辨率样本图像2，终端可以预先设置有对应的第一影响权重为第一影响权重2，同时对应的第二影响权重为第二影响权重2，从而终端可以基于每一个待生成的当前中间分辨率样本图像在多个待生成的中间分辨率样本图像中的样本图像排序，从而得到与每一个待生成的当前中间分辨率样本图像所匹配的第一影响权重以及第二影响权重。
139.本实施例中，终端可以基于每一个需要生成的中间分辨率样本图像，在多个需要生成的中间分辨率样本图像中的排序，来确定相对应的第一影响权重以及第二影响权重，从而可以使生成的需要生成的多个中间分辨率样本图像，具有不同的中间分辨率，进一步提高多个中间分辨率样本图像的生成效率。
140.图6是根据一示例性实施例示出的一种图像超分辨率模型训练方法的流程图，如图6所示，图像超分辨率方法用于终端中，包括以下步骤。
141.在步骤s601中，获取原始分辨率样本图像，以及与原始分辨率样本图像匹配的目标分辨率样本图像，其中，原始分辨率低于目标分辨率。
142.其中，原始分辨率样本图像指的是处于原始分辨率的样本图像，而目标分辨率样本图像则指的是该样本图像对应的处于目标分辨率的图像，其中，原始分辨率要低于目标分辨率。本实施例中，终端可以采集某一个样本图像在原始分辨率对应的图像作为原始分辨率样本图像，以及将该样本图像在目标分辨率对应的图像作为目标分辨率样本图像。
143.在步骤s602中，根据原始分辨率样本图像，以及目标分辨率样本图像，得到中间分辨率样本图像；其中，中间分辨率介于原始分辨率和目标分辨率之间。
144.中间分辨率样本图像则指的是该样本图像对应的处于中间分辨率的图像，中间分辨率样本图像的分辨率要大于原始分辨率样本图像的分辨率，并小于目标分辨率样本图像的分辨率。具体来说，终端在得到某个样本图像对应的原始分辨率样本图像，以及目标分辨率样本图像后，则可以进一步基于上述原始分辨率样本图像以及目标分辨率样本图像，得到该样本图像对应于中间分辨率的中间分辨率样本图像。
145.在步骤s603中，将原始分辨率样本图像输入待训练的图像超分辨率模型，得到与原始分辨率样本图像对应的中间分辨率预测图像，以及目标分辨率预测图像。
146.待训练的图像超分辨率模型则指的是需要进行训练的图像超分辨率模型，该模型可以基于输入的原始分辨率样本图像，输出得到相应的处于中间分辨率的预测图像，以及处于目标分辨率的预测图像。而中间分辨率预测图像则指的是，由待训练的图像超分辨率模型输出得到的，与输入的原始分辨率样本图像对应的处于中间分辨率的预测图像，目标分辨率预测图像则指的是由该模型训练得到的，与输入的原始分辨率样本图像对应的处于目标分辨率的预测图像。具体来说，终端可以将步骤s601采集得到的原始分辨率样本图像输入至需要进行训练的图像超分辨率模型中，由该模型输出得到该原始分辨率样本图像对应于中间分辨率的预测图像，即中间分辨率预测图像，以及该原始分辨率样本图像对应于目标分辨率的预测图像，即目标分辨率预测图像。
147.在步骤s604中，基于中间分辨率样本图像与中间分辨率预测图像，得到第一损失值，以及基于目标分辨率样本图像与所述目标分辨率预测图像，得到第二损失值。
148.第一损失值指的是由中间分辨率样本图像与中间分辨率预测图像，通过预先构建的第一损失函数计算得到的损失值，而第二损失值则是由目标分辨率样本图像与目标分辨率预测图像，通过预先构建的第二损失函数计算得到的损失值。具体来说，在终端得到中间分辨率样本图像、中间分辨率预测图像、目标分辨率样本图像以及目标分辨率预测图像后，则可以分别根据中间分辨率样本图像和中间分辨率预测图像，得到训练的图像超分辨率模型对应的第一损失值，以及根据目标分辨率样本图像和目标分辨率预测图像，得到该模型对应的第二损失值。
149.在步骤s605中，利用第一损失值以及第二损失值对待训练的图像超分辨率模型进行训练，得到训练完成的图像超分辨率模型。
150.最后，终端则可以进一步基于步骤s604中得到的第一损失值和第二损失值实现对图像超分辨率模型的训练，来更新图像超分辨率模型的模型参数，从而得到训练完成的用于对图像进行超分辨率处理的图像超分辨率模型。
151.上述图像超分辨率模型训练方法中，通过获取原始分辨率样本图像，以及与原始分辨率样本图像匹配的目标分辨率样本图像，其中，原始分辨率低于目标分辨率；根据原始分辨率样本图像，以及目标分辨率样本图像，得到中间分辨率样本图像；其中，中间分辨率介于原始分辨率和目标分辨率之间；将原始分辨率样本图像输入待训练的图像超分辨率模型，得到与原始分辨率样本图像对应的中间分辨率预测图像，以及目标分辨率预测图像；基于中间分辨率样本图像与中间分辨率预测图像，得到第一损失值，以及基于目标分辨率样本图像与目标分辨率预测图像，得到第二损失值；利用第一损失值以及第二损失值对待训练的图像超分辨率模型进行训练，得到训练完成的图像超分辨率模型。本公开在对图像超分辨率模型进行训练时，除了利用原始分辨率样本图像以及目标分辨率样本图像，还进一步引入了分辨率处于原始分辨率和目标分辨率之间的中间分辨率样本图像进行模型训练，从而提高了图像超分辨率模型的模型精度，进而提高图像细节的处理效果。
152.在一示例性实施例中，待训练的图像超分辨率模型，包括第一图像超分辨率子模型，以及第二图像超分辨率子模型；步骤s603可以进一步包括：将原始分辨率样本图像输入第一图像超分辨率子模型，得到第一图像特征；基于第一图像特征得到中间分辨率预测图像；将第一图像特征输入所述第二图像超分辨率子模型，得到第二图像特征；基于第二图像特征得到所述目标分辨率预测图像。
153.本实施例中，需要进行训练的图像超分辨率模型可以由两个子网络模型组成，分别是第一图像超分辨率模型，以及第二图像超分辨率子模型，其中，第一图像超分辨率子模型用于得到中间分辨率样本图像，而第二图像超分辨率子模型则是用于得到目标分辨率预测图像。
154.第一图像特征则指的是由第一图像超分辨率模型提取得到的图像特征，本实施例中，终端可以将原始分辨率样本图像输入至待训练的图像超分辨率模型中的第一图像超分辨率子模型中，并通过第一图像超分辨率子模型得到对应的第一图像特征，之后还可以进一步利用提取出的第一图像特征，得到相应的中间分辨率预测图像，例如可以是将第一图像特征输入至上采样层进行像素重排，从而得到第一图像特征对应的预测图像，作为中间分辨率预测图像。
155.而第二图像特征则指的是由第二图像超分辨率子模型提取得到的图像特征，在通过第一图像超分辨率子模型输出得到第一图像特征后，还可以进一步的将输出的第一图像特征作为第二图像超分辨率子模型的输入，通过第二图像超分辨率子模型进行进一步的特征提取，从而得到相应的第二图像特征，并且进一步利用提取出的第二图像特征，得到相应的目标分辨率预测图像，例如可以是将第二图像特征输入至上采样层进行像素重排，从而得到第二图像特征对应的预测图像，作为目标分辨率预测图像。
156.本实施例中，图像超分辨率模型可以由两个子网络模型组成，分别是第一图像超分辨率子模型，以及第二图像超分辨率子模型，其中第一图像超分辨率子模型可以基于输入的原始分辨率样本图像，得到第一图像特征，并可以进一步基于第一图像特征得到相应的中间分辨率预测图像，而第二图像超分辨率子模型则可以基于第一图像超分辨率子模型输出的第一图像特征进行进一步的特征提取得到第二图像特征，从而利用第二图像特征得到目标分辨率预测图像，通过将图像超分辨率模型划分为第一图像超分辨率子模型以及第二图像超分辨率子模型，并且利用上述子模型的输出结果分别得到中间分辨率预测图像，以及目标分辨率预测图像，可以提高得到的中间分辨率预测图像，以及目标分辨率预测图像的准确性。
157.在一示例性实施例中，步骤s605可以进一步包括：利用第一损失值以及第二损失值，对第一图像超分辨率子模型进行训练，以及利用第二损失值，对第二图像超分辨率子模型进行训练。
158.本实施例中，在得到第一损失值以及第二损失值后，可以利用第一损失值以及第二损失值，分别对第一图像超分辨率子模型以及第二图像超分辨率子模型进行训练。其中，第一图像超分辨率子模型是基于第一损失值以及第二损失值训练得到，终端可以利用第一损失值与第二损失值对第一图像超分辨率子模型进行梯度更新，来实现针对第一图像超分辨率子模型的训练，而第二图像超分辨率子模型是基于第二损失值训练得到，可以是利用第二损失值对第二图像超分辨率子模型进行梯度更新，来实现针对第二图像超分辨率子模型的训练。
159.本实施例中，在得到第一损失值以及第二损失值后，则可以分别基于第一损失值以及第二损失值对第一图像超分辨率子模型进行训练，以及基于第二损失值对第二图像超分辨率子模型进行训练，从而可以提高训练得到的第一图像超分辨率子模型以及第二图像超分辨率子模型的模型精度。
160.在一示例性实施例中，第一图像超分辨率子模型的数量为多个；将原始分辨率样本图像输入第一图像超分辨率子模型，得到第一图像特征，可以进一步包括：获取当前第一图像超分辨率子模型；在当前第一图像超分辨率子模型为多个第一图像超分辨率子模型中的首个第一图像超分辨率子模型的情况下，将原始分辨率样本图像输入所述当前第一图像超分辨率子模型，得到当前第一图像超分辨率子模型对应的第一图像特征；在当前第一图像超分辨率子模型不是首个第一图像超分辨率子模型的情况下，将当前第一图像超分辨率子模型的上一个第一图像超分辨率子模型对应的第一图像特征输入当前第一图像超分辨率子模型，得到当前第一图像超分辨率子模型对应的第一图像特征。
161.本实施例中，用于输出中间分辨率预测图像的第一图像超分辨率子模型的数量可以是多个，分别用于输出3种不同分辨率的中间分辨率预测图像，并且上述多个第一图像超分辨率子模型具有固定的网络连接顺序。如果得到的当前第一图像超分辨率子模型为首个第一图像超分辨率子模型，终端则可以将原始分辨率样本图像输入至该当前第一图像超分辨率子模型，从而得到当前第一图像超分辨率子模型对应的第一图像特征。而如果得到的当前第一图像超分辨率子模型不是首个第一图像超分辨率子模型，则可以进一步地将当前第一图像超分辨率子模型的上一个第一图像超分辨率子模型对应的第一图像特征输入当前第一图像超分辨率子模型，从而得到当前第一图像超分辨率子模型对应的第一图像特征。
162.本实施例中，第一图像超分辨率子模型的数量可以是多个，本实施例中，可以通过多个第一图像超分辨率子模型，分别提取得到多个相应的第一图像特征，并且如果不是首个第一图像超分辨率子模型，还可以将上一第一图像超分辨率子模型输出的第一图像特征，作为输入得到相应的第一图像特征，通过上述方式，可以进一步提高提取得到的第一图像特征的准确性。
163.在一示例性实施例中，将第一图像特征输入第二图像超分辨率子模型，得到第二图像特征，包括：将多个第一图像超分辨率子模型中最后一个第一图像超分辨率子模型对应的第一图像特征输入第二图像超分辨率子模型，得到第二图像特征。
164.具体来说，如果第一图像超分辨率子模型的数量为多个时，在将第一图像特征输入至第二图像超分辨率子模型时，可以先从上述多个第一图像超分辨率子模型中，确定连接顺序为最后一个的第一图像超分辨率子模型，并且将该第一图像超分辨率子模型提取得到的第一图像特征输入至上述第二图像超分辨率子模型中，从而可以通过第二图像超分辨率子模型，得到相应的第二图像特征。
165.本实施例中，在第一图像超分辨率子模型的数量为多个时，还可以将最后一个第一图像超分辨率子模型提取得到的第一图像特征，作为第二图像超分辨率子模型的输入，从而可以进一步提高提取得到的第二图像特征的准确性。
166.在一示例性实施例中，中间分辨率样本图像的数量为多个，各个中间分辨率样本图像分别与各个当前第一图像超分辨率子模型相匹配；基于第一图像特征得到所述中间分辨率预测图像，可以进一步包括：基于各个当前第一图像超分辨率子模型对应的第一图像特征，得到各个当前第一图像超分辨率子模型分别对应的中间分辨率预测图像；步骤s604可以进一步包括：基于各个当前第一图像超分辨率子模型分别对应的中间分辨率预测图像，以及各个当前第一图像超分辨率子模型分别匹配的中间分辨率样本图像，得到各个当
前第一图像超分辨率子模型分别对应的第一损失值。
167.本实施例中，终端通过得到原始分辨率样本图像，以及目标分辨率样本图像得到的中间分辨率样本图像的数量为多个，分别对应于该样本图像不同的中间分辨率，各个中间分辨率样本图像的也和各个第一图像超分辨率子模型相匹配。同时，终端通过第一图像超分辨率子模型得到的中间分辨率预测图像的数量也可以是多个，即分别利用各个第一图像超分辨率子模型对应的第一图像特征，从而得到各个第一图像超分辨率子模型对应的中间分辨率预测图像。之后，终端可以进一步根据各个第一图像超分辨率子模型对应的中间分辨率预测图像，以及各个第一图像超分辨率子模型匹配的中间分辨率样本图像，则可以得到各个第一图像超分辨率子模型分别对应的第一损失值。
168.本实施例中，通过设置与各个第一图像超分辨率子模型相匹配的中间分辨率样本图像，则可以计算得到各个第一图像超分辨率子模型对应的第一损失值，通过上述方式，则可以实现针对多个第一图像超分辨率子模型的训练，从而进一步提高训练得到的图像超分辨率模型的精度。
169.在一示例性实施例中，提供了一种视频超分辨率模型的训练方法，通过引入渐进式的损失函数，降低每次重建的难度，从而降低了超分辨解空间的大小。在渐进式的解空间优化下，视频超分辨网络可以在近似相同的规模下取得更好的结果。该方案的具体流程可如图7所示，包括以下步骤：
170.首先将视频超分辨网络拆分为了两个子网络。具体来讲，该视频超分辨网络为n层残差模块的串联结构，每个残差模块包含了两个2d卷积，一个激活函数relu，结构图8所示。
171.其中每个2d卷积层均采用了3x3的卷积核。本实施例会将n个残差模块拆成两个深度为n/2的子网络，每个网络的更新由不同的目标图像来约束。对于第一个子网络，它的约束目标是将低分辨图像用插值上采样后并以0.5的权重与真实高分辨图像加权得到。加权后的结果会比真实的高分辨图像在一些细节上损失，但是比直接的低分图像要好。对于超分辨而言，不同的区域有不同的难易程度。所以较为平坦的区域并不用特别清晰的细节，而对于难的区域希望细节尽量清晰，这样就能让网络在优化时更加关注到难区域的重建。将第一个子网络的输出结果送入第二个子网络中，得到的结果由真实的高分辨图像来监督。可以发现，在网络的第一次优化时，解空间明显会比直接用真实高分辨的解空间要小，而随后渐进式的扩大到大的解空间中。即相当于把一个难的问题拆解为了两个步骤，先解第一个问题再解下一个问题。
172.另外，第一个子网络的优化目标，这里采用了0.5的加权权重，这里也可以根据不同的训练场景改变权重大小。其次递进的次数可以变改。例如随着网络规模的加深，也可以采用更多次递进。若采用了更多次递进，那么加权的权重也要变大。例如采用3次递进时，建议第一次的权重为0.3，第二次为0.6，第三次则为真实的高分辨图像。
173.本实施例提出了一种渐进式的损失函数来构建超分辨率模型的方法，可以让神经网络在规模近似不变的情况下取得更好的结果。本实施例将原有的解优化问题拆解为多次优化的过程，不同的优化过程采用不同的优化目标来监督，使得网络可以在学习时经过由易到难的过程，从而可以提高超分辨率的处理效果。
174.应该理解的是，虽然图a-图y的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步
骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图a-图y中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
175.可以理解的是，本说明书中上述方法的各个实施例之间相同/相似的部分可互相参见，每个实施例重点说明的是与其他实施例的不同之处，相关之处参见其他方法实施例的说明即可。
176.图9是根据一示例性实施例示出的一种图像超分辨率装置的框图。参照图9，该装置包括原始图像获取单元901，目标图像获取单元902和处理结果获取单元903。
177.原始图像获取单元901，被配置为执行获取原始分辨率图像；
178.目标图像获取单元902，被配置为执行将原始分辨率图像输入训练完成的图像超分辨率模型，得到与原始分辨率图像匹配的目标分辨率图像；训练完成的图像超分辨率模型为基于原始分辨率样本图像、原始分辨率样本图像匹配的目标分辨率样本图像，以及中间分辨率样本图像训练得到；其中，原始分辨率低于目标分辨率，中间分辨率样本图像根据原始分辨率样本图像和目标分辨率样本图像得到；中间分辨率介于原始分辨率和目标分辨率之间；
179.处理结果获取单元903，被配置为执行将目标分辨率图像，作为原始分辨率图像的超分辨率处理结果。
180.在一示例性实施例中，图像超分辨率装置，还包括：超分辨率模型训练单元，被配置为执行获取原始分辨率样本图像，以及与原始分辨率样本图像匹配的目标分辨率样本图像；根据原始分辨率样本图像，以及目标分辨率样本图像，得到中间分辨率样本图像；将原始分辨率样本图像输入待训练的图像超分辨率模型，得到与原始分辨率样本图像对应的中间分辨率预测图像，以及目标分辨率预测图像；利用中间分辨率预测图像与中间分辨率样本图像之间的差异，以及目标分辨率预测图像与目标分辨率样本图像之间的差异，对待训练的图像超分辨率模型进行训练，得到训练完成的图像超分辨率模型。
181.在一示例性实施例中，超分辨率模型训练单元，进一步被配置为执行基于中间分辨率样本图像与中间分辨率预测图像，得到第一损失值，以及基于目标分辨率样本图像与目标分辨率预测图像，得到第二损失值；利用第一损失值以及第二损失值，对待训练的图像超分辨率模型进行训练，得到训练完成的图像超分辨率模型。
182.在一示例性实施例中，待训练的图像超分辨率模型，包括第一图像超分辨率子模型，以及第二图像超分辨率子模型；超分辨率模型训练单元，进一步被配置为执行将原始分辨率样本图像输入第一图像超分辨率子模型，得到第一图像特征；基于第一图像特征得到中间分辨率预测图像；将第一图像特征输入第二图像超分辨率子模型，得到第二图像特征；基于第二图像特征得到目标分辨率预测图像。
183.在一示例性实施例中，超分辨率模型训练单元，进一步被配置为执行利用第一损失值以及第二损失值，对第一图像超分辨率子模型进行训练，以及利用第二损失值，对第二图像超分辨率子模型进行训练。
184.在一示例性实施例中，第一图像超分辨率子模型的数量为多个；超分辨率模型训
练单元，进一步被配置为执行获取当前第一图像超分辨率子模型；在当前第一图像超分辨率子模型为多个第一图像超分辨率子模型中的首个第一图像超分辨率子模型的情况下，将原始分辨率样本图像输入当前第一图像超分辨率子模型，得到当前第一图像超分辨率子模型对应的第一图像特征；在当前第一图像超分辨率子模型不是首个第一图像超分辨率子模型的情况下，将当前第一图像超分辨率子模型的上一个第一图像超分辨率子模型对应的第一图像特征输入当前第一图像超分辨率子模型，得到当前第一图像超分辨率子模型对应的第一图像特征。
185.在一示例性实施例中，超分辨率模型训练单元，进一步被配置为执行将多个第一图像超分辨率子模型中最后一个第一图像超分辨率子模型对应的第一图像特征输入第二图像超分辨率子模型，得到第二图像特征。
186.在一示例性实施例中，中间分辨率样本图像的数量为多个，各个中间分辨率样本图像分别与各个当前第一图像超分辨率子模型相匹配；超分辨率模型训练单元，进一步被配置为执行基于各个当前第一图像超分辨率子模型对应的第一图像特征，得到各个当前第一图像超分辨率子模型分别对应的中间分辨率预测图像；以及被配置为执行基于各个当前第一图像超分辨率子模型分别对应的中间分辨率预测图像，以及各个当前第一图像超分辨率子模型分别匹配的中间分辨率样本图像，得到各个当前第一图像超分辨率子模型分别对应的第一损失值。
187.在一示例性实施例中，超分辨率模型训练单元，进一步被配置为执行对原始分辨率样本图像进行上采样处理，得到与原始分辨率样本图像对应的上采样图像；获取上采样图像针对待生成的中间分辨率样本图像的第一影响权重，以及目标分辨率样本图像针对待生成的中间分辨率样本图像的第二影响权重；按照第一影响权重以及第二影响权重，对上采样图像以及目标分辨率样本图像进行加权处理，得到中间分辨率样本图像。
188.在一示例性实施例中，待生成的中间分辨率样本图像的数量为多个；超分辨率模型训练单元，进一步被配置为执行获取待生成的当前中间分辨率样本图像在多个待生成的中间分辨率样本图像中的样本图像排序；根据样本图像排序，确定上采样图像针对待生成的当前中间分辨率样本图像的第一影响权重，以及目标分辨率样本图像针对待生成的当前中间分辨率样本图像的第二影响权重。
189.图10是根据一示例性实施例示出的一种图像超分辨率模型训练装置的框图。参照图10，该装置包括样本图像获取单元1001，中间样本获取单元1002，预测图像获取单元1003，模型损失获取单元1004和模型训练单元1005。
190.样本图像获取单元1001，被配置为执行获取原始分辨率样本图像，以及与原始分辨率样本图像匹配的目标分辨率样本图像，其中，原始分辨率低于目标分辨率；
191.中间样本获取单元1002，被配置为执行根据原始分辨率样本图像，以及目标分辨率样本图像，得到中间分辨率样本图像；其中，中间分辨率介于原始分辨率和目标分辨率之间；
192.预测图像获取单元1003，被配置为执行将原始分辨率样本图像输入待训练的图像超分辨率模型，得到与原始分辨率样本图像对应的中间分辨率预测图像，以及目标分辨率预测图像；
193.模型损失获取单元1004，被配置为执行基于中间分辨率样本图像与中间分辨率预
测图像，得到第一损失值，以及基于目标分辨率样本图像与目标分辨率预测图像，得到第二损失值；
194.模型训练单元1005，被配置为执行利用第一损失值以及第二损失值对待训练的图像超分辨率模型进行训练，得到训练完成的图像超分辨率模型。
195.在一示例性实施例中，待训练的图像超分辨率模型，包括第一图像超分辨率子模型，以及第二图像超分辨率子模型；预测图像获取单元1003，进一步被配置为执行将原始分辨率样本图像输入第一图像超分辨率子模型，得到第一图像特征；基于第一图像特征得到中间分辨率预测图像；将第一图像特征输入第二图像超分辨率子模型，得到第二图像特征；基于第二图像特征得到所述目标分辨率预测图像。
196.在一示例性实施例中，模型训练单元1005，进一步被配置为执行利用第一损失值以及第二损失值，对第一图像超分辨率子模型进行训练，以及利用第二损失值，对第二图像超分辨率子模型进行训练。
197.在一示例性实施例中，第一图像超分辨率子模型的数量为多个；预测图像获取单元1003，进一步被配置为执行获取当前第一图像超分辨率子模型；在当前第一图像超分辨率子模型为多个第一图像超分辨率子模型中的首个第一图像超分辨率子模型的情况下，将原始分辨率样本图像输入当前第一图像超分辨率子模型，得到当前第一图像超分辨率子模型对应的第一图像特征；在当前第一图像超分辨率子模型不是首个第一图像超分辨率子模型的情况下，将当前第一图像超分辨率子模型的上一个第一图像超分辨率子模型对应的第一图像特征输入当前第一图像超分辨率子模型，得到当前第一图像超分辨率子模型对应的第一图像特征。
198.在一示例性实施例中，预测图像获取单元1003，进一步被配置为执行将多个第一图像超分辨率子模型中最后一个第一图像超分辨率子模型对应的第一图像特征输入第二图像超分辨率子模型，得到第二图像特征。
199.在一示例性实施例中，中间分辨率样本图像的数量为多个，各个中间分辨率样本图像分别与各个当前第一图像超分辨率子模型相匹配；预测图像获取单元1003，进一步被配置为执行基于各个当前第一图像超分辨率子模型对应的第一图像特征，得到各个当前第一图像超分辨率子模型分别对应的中间分辨率预测图像；模型损失获取单元1004，进一步被配置为执行基于各个当前第一图像超分辨率子模型分别对应的中间分辨率预测图像，以及各个当前第一图像超分辨率子模型分别匹配的中间分辨率样本图像，得到各个当前第一图像超分辨率子模型分别对应的第一损失值。
200.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
201.图11是根据一示例性实施例示出的一种用于图像超分辨率或者用于图像超分辨率模型训练的电子设备1100的框图。例如，电子设备1100可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。
202.参照图11，电子设备1100可以包括以下一个或多个组件：处理组件1102、存储器1104、电源组件1106、多媒体组件1108、音频组件1110、输入/输出(i/o)的接口1112、传感器组件1114以及通信组件1116。
203.处理组件1102通常控制电子设备1100的整体操作，诸如与显示、电话呼叫、数据通
信、相机操作和记录操作相关联的操作。处理组件1102可以包括一个或多个处理器1120来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1102可以包括一个或多个模块，便于处理组件1102和其他组件之间的交互。例如，处理组件1102可以包括多媒体模块，以方便多媒体组件1108和处理组件1102之间的交互。
204.存储器1104被配置为存储各种类型的数据以支持在电子设备1100的操作。这些数据的示例包括用于在电子设备1100上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器1104可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)、电可擦除可编程只读存储器(eeprom)、可擦除可编程只读存储器(eprom)、可编程只读存储器(prom)、只读存储器(rom)、磁存储器、快闪存储器、磁盘、光盘或石墨烯存储器。
205.电源组件1106为电子设备1100的各种组件提供电力。电源组件1106可以包括电源管理系统，一个或多个电源，及其他与为电子设备1100生成、管理和分配电力相关联的组件。
206.多媒体组件1108包括在所述电子设备1100和用户之间的提供输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1108包括前置摄像头和/或后置摄像头。当电子设备1100处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是固定的光学透镜系统或具有焦距和光学变焦能力。
207.音频组件1110被配置为输出和/或输入音频信号。例如，音频组件1110包括麦克风(mic)，当电子设备1100处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1104或经由通信组件1116发送。在一些实施例中，音频组件1110还包括扬声器，用于输出音频信号。
208.i/o接口1112为处理组件1102和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
209.传感器组件1114包括一个或多个传感器，用于为电子设备1100提供各个方面的状态评估。例如，传感器组件1114可以检测到电子设备1100的打开/关闭状态，组件的相对定位，例如所述组件为电子设备1100的显示器和小键盘，传感器组件1114还可以检测电子设备1100或电子设备1100组件的位置改变，用户与电子设备1100接触的存在或不存在，设备1100方位或加速/减速和电子设备1100的温度变化。传感器组件1114可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1114还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1114还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。
210.通信组件1116被配置为便于电子设备1100和其他设备之间有线或无线方式的通信。电子设备1100可以接入基于通信标准的无线网络，如wifi，运营商网络(如2g、3g、4g或5g)，或它们的组合。在一个示例性实施例中，通信组件1116经由广播信道接收来自外部广
播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1116还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
211.在示例性实施例中，电子设备1100可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
212.在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器1104，上述指令可由电子设备1100的处理器1120执行以完成上述方法。例如，计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
213.在示例性实施例中，还提供一种计算机程序产品，所述计算机程序产品中包括指令，上述指令可由电子设备1100的处理器1120执行以完成上述方法。
214.需要说明的，上述的装置、电子设备、计算机可读存储介质、计算机程序产品等根据方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。
215.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
216.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。