一种图像处理方法、装置、设备和存储介质与流程

1.本公开实施例涉及计算机技术，尤其涉及一种图像处理方法、装置、设备和存储介质。


背景技术：

2.随着计算机技术的快速发展，往往需要对图像进行有损压缩，以便大幅度降低图像大小，进而降低传输成本。然而，有损压缩方式会导致图像出现失真情况，比如图像模糊，伪影，毛刺等，从而需要在图像编码器的前端或者图像解码器的后端对图像进行质量增强等处理操作。
3.目前，在图像预处理阶段或者图像后处理阶段通常是基于固定的一种图像预处理方式或者图像后处理方式，对业务场景中的每个图像进行图像处理。然而，由于不同图像往往具有不同的失真情况，从而利用固定的一种图像预处理方式或者图像后处理方式进行图像处理，无法有效保证图像处理效果。


技术实现要素：

4.本公开提供一种图像处理方法、装置、设备和存储介质，以实现图像的个性化处理，提高了图像处理的灵活性，保证了图像处理效果，并且也提高了图像处理效率。
5.第一方面，本公开实施例提供了一种图像处理方法，包括：
6.获取在目标图像处理阶段中待处理的第一图像，其中，所述目标图像处理阶段为图像预处理阶段或者图像后处理阶段；
7.将所述第一图像输入至所述目标图像处理阶段对应的目标图像处理模型中进行图像处理，其中，所述目标图像处理模型为目标图像预处理模型或者目标图像后处理模型，其中，所述目标图像预处理模型是预先基于样本图像和所述样本图像对应的第一标签图像进行训练获得的，所述第一标签图像是基于多种图像预处理方式确定出的；所述目标图像后处理模型是预先基于样本图像和所述样本图像对应的第二标签图像进行训练获得的，所述第二标签图像是基于多种图像后处理方式确定出的；
8.根据所述目标图像处理模型的输出，获得处理后的第二图像。
9.第二方面，本公开实施例还提供了一种图像处理装置，包括：
10.第一图像获取模块，用于获取在目标图像处理阶段中待处理的第一图像，其中，所述目标图像处理阶段为图像预处理阶段或者图像后处理阶段；
11.图像处理模块，用于将所述第一图像输入至所述目标图像处理阶段对应的目标图像处理模型中进行图像处理，其中，所述目标图像处理模型为目标图像预处理模型或者目标图像后处理模型，其中，所述目标图像处理模型是预先基于样本图像和所述样本图像对应的第一标签图像进行训练获得的，所述第一标签图像是基于多种图像预处理方式确定出的；所述目标图像后处理模型是预先基于样本图像和所述样本图像对应的第二标签图像进行训练获得的，所述第二标签图像是基于多种图像后处理方式确定出的；
12.第二图像获取模块，用于根据所述目标图像处理模型的输出，获得处理后的第二图像。
13.第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：
14.一个或多个处理器；
15.存储装置，用于存储一个或多个程序，
16.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例任一所述的图像处理方法。
17.第四方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例任一所述的图像处理方法。
18.本公开实施例的技术方案，通过预先基于目标图像处理阶段对应的多种图像处理方式确定样本图像对应的标签图像，该标签图像是对样本图像进行图像处理的最优图像。根据样本图像和相应的标签图像进行模型训练，可以获得目标图像处理阶段对应的目标图像处理模型，使得目标图像处理模型可以具有多种图像处理方式的处理能力，比如目标图像预处理模型可以具有多种图像预处理方式的处理能力，目标图像后处理模型可以具有多种图像后处理方式的处理能力。通过将待处理的第一图像输入至预先训练好的目标图像处理阶段对应的目标图像处理模型中，该目标图像处理模型可以采用与第一图像相匹配的图像处理方式对第一图像进行图像处理，获得图像处理后的第二图像，从而利用目标图像处理模型，可以针对每个待处理图像选择最匹配的图像处理方式进行图像处理，实现了图像处理的个性化处理，提高了图像处理的灵活性，保证了图像处理效果。同时，利用目标图像处理阶段对应的目标图像处理模型也可以更加快速地进行图像预处理或者图像后处理，提高了图像处理效率。
附图说明
19.结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
20.图1是本公开实施例所提供的一种图像处理方法流程示意图；
21.图2是本公开实施例所提供的图像预处理阶段对应的图像处理流程示图；
22.图3是本公开实施例所提供的图像后处理阶段对应的图像处理流程示图；
23.图4是本公开实施例所提供的另一种图像处理方法流程示意图；
24.图5是本公开实施例所提供的另一种图像处理方法流程示意图；
25.图6是本公开实施例所提供的目标图像处理模型的结构示意图；
26.图7是本公开实施例所提供的一种图像处理装置的结构示意图；
27.图8是本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
28.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这
里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
29.应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
30.本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
31.需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
32.需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
33.本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
34.可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。
35.图1为本公开实施例所提供的一种图像处理方法的流程示意图，本公开实施例适用于对图像进行图像处理的情况，该方法可以由图像处理装置来执行，该装置可以通过软件和/或硬件的形式实现，可选的，通过电子设备来实现，该电子设备可以是移动终端、pc端或服务器等。
36.如图1所示，图像处理方法具体包括以下步骤：
37.s110、获取在目标图像处理阶段中待处理的第一图像，其中，目标图像处理阶段为图像预处理阶段或者图像后处理阶段。
38.其中，第一图像可以是指需要进行图像处理的图像，即因图像压缩而导致存在失真情况的图像。第一图像可以是指在图像预处理阶段，在编码图像之前需要进行预处理的图像，比如服务器中用户请求查看的单个图像或者一段视频中的每个图像帧。第一图像也可以是指在图像后处理阶段，在解压图像之后需要进行后处理的图像，比如客户端中用户请求展示的单个图像或者一段视频中的每个图像帧。图像预处理阶段可以是指在图像编码之前进行图像处理的阶段。图像后处理阶段可以是指在图像解码之后进行图像处理的阶段。
39.s120、将第一图像输入至目标图像处理阶段对应的目标图像处理模型中进行图像处理。
40.其中，目标图像处理模型为目标图像预处理模型或者目标图像后处理模型，其中，目标图像预处理模型是预先基于样本图像和样本图像对应的第一标签图像进行训练获得的，第一标签图像是基于多种图像预处理方式确定出的；目标图像后处理模型是预先基于样本图像和样本图像对应的第二标签图像进行训练获得的，第二标签图像是基于多种图像后处理方式确定出的。
41.其中，目标图像处理模型可以是用于对图像进行质量增强的，任意一种网络架构
的神经网络模型。例如，目标图像处理模型可以是具有u型结构的图像处理网络模型，比如unet神经网络模型。
42.需要说明的是，图像预处理阶段对应目标图像预处理模型。图像后处理阶段对应的目标图像后处理模型。其中，图像预处理阶段对应的图像预处理方式可以包括但不限于：数字化方式、几何变换方式、归一化方式、去冗余方式、平滑方式、去压缩方式和去噪方式中的至少两个预处理方式。去冗余方式可以通过guetzli编解码器在图像去除冗余，提升图像质量。平滑方式可以是指用于减少图像中像素的突变和毛刺等失真现象的方式。去压缩方式可以是通过利用卷积网络模型作为去压缩失真标签的打分步骤。去噪方式可以是通过滤波器消除噪音，比如，均值滤波器和中点滤波器等。图像后处理阶段对应的图像后处理方式可以包括但不限于：去冗余方式、纹理增强方式、锐化方式、去压缩方式和去噪方式中的至少两个后处理方式。纹理增强方式可以是指利用突出图像纹理达到增强图像质量的处理方法。锐化方式可以是指提高图像清晰度或者焦距程度，使图像特定区域的色彩更加鲜明。
43.在本实施例中，目标图像预处理模型是预先基于样本图像和样本图像对应的第一标签图像进行训练获得的。第一标签图像可以是直接利用多种图像预处理方式依次对样本图像进行多次处理后得到的图像，例如，第一标签图像可以是通过去冗余方式、平滑方式、去压缩方式和去噪方式对样本图像进行多次处理后得到的图像，以使获得的第一标签图像为图像预处理阶段对应的质量最优的图像，进而提高目标图像预处理模型的处理效果。目标图像预处理模型的训练过程可以为：将样本图像输入至待训练的图像预处理模型中，获得待训练的图像预处理模型输出的输出图像，并可以基于训练函数、输出图像和第一标签图像，确定出训练误差，将训练误差反向传播至待训练的图像预处理模型中，调整该图像预处理模型中的模型参数，直到满足预设收敛条件，比如迭代次数达到预设次数或者训练误差收敛时，确定该图像预处理模型训练结束，此时可以将训练结束的图像预处理模型作为图像预处理阶段对应的目标图像预处理模型，从而使得训练好的目标图像预处理模型可以具有多种图像预处理方式的处理能力，从而利用该目标图像预处理模型可以更加准确地进行图像预处理操作，提高压缩图像的图像质量。
44.同理，目标图像后处理模型也可以是预先基于样本图像和样本图像对应的第二标签图像进行训练得到的。第二标签图像可以是直接利用多种图像后处理方式依次对样本图像进行多次处理后得到的图像，例如，第二标签图像可以是通过纹理增强方式、锐化方式和去压缩方式对样本图像进行多次处理后得到的图像，以使获得的第二标签图像为图像后处理阶段对应的质量最优的图像，进而提高目标图像后处理模型的处理效果。目标图像后处理模型的训练过程可以为：将样本图像输入至待训练的图像后处理模型中，获得待训练的图像后处理模型输出的输出图像，并可以基于训练函数、输出图像和第二标签图像，确定出训练误差，将训练误差反向传播至待训练的图像后处理模型中，调整该图像后处理模型中的模型参数，直到满足预设收敛条件，比如迭代次数达到预设次数或者训练误差收敛时，确定该图像后处理模型训练结束，此时可以将训练结束的图像后处理模型作为图像后处理阶段对应的目标图像后处理模型，从而使得训练好的图像后处理阶段对应的目标图像后处理模型可以具有多种图像后处理方式的处理能力，从而利用该目标图像后处理模型可以更加准确地进行图像后处理操作，提高压缩图像的图像质量。
45.具体的，在图像预处理阶段时，可以将待处理的第一图像输入至预先训练好的目
标图像预处理模型中，该目标图像预处理模型可以采用与该第一图像相匹配的预处理方式对该第一图像进行图像预处理，从而利用目标图像预处理模型，可以针对每个待处理图像选择最匹配的图像预处理方式进行图像预处理，实现了图像预处理阶段内图像预处理的个性化处理，提高了图像处理的灵活性，保证了图像处理效果。同时，利用目标图像预处理模型也可以更加快速地进行图像预处理操作，提高了图像处理效率。
46.在图像后处理阶段时，可以将待处理的第一图像输入至预先训练好的目标图像后处理模型中，该目标图像后处理模型可以采用与该第一图像相匹配的后处理方式对该第一图像进行图像后处理，从而利用目标图像后处理模型，可以针对每个待处理图像选择最匹配的图像后处理方式进行图像后处理，实现了图像后处理阶段内图像后处理的个性化处理，提高了图像处理的灵活性，保证了图像处理效果。同时，目标图像后处理模型也可以更加快速地进行图像后处理操作，提高了图像处理效率。
47.s130、根据目标图像处理模型的输出，获得处理后的第二图像。
48.其中，第二图像可以是指第一图像经过目标图像处理模型图像处理后获得的图像。
49.具体的，在图像预处理阶段时，根据目标图像预处理模型的输出，获得图像预处理后的第二图像。在图像后处理阶段时，根据目标图像后处理模型的输出，获得图像后处理后的第二图像。
50.本公开实施例的技术方案，通过预先基于目标图像处理阶段对应的多种图像处理方式确定样本图像对应的标签图像，该标签图像是对样本图像进行图像处理的最优图像。根据样本图像和相应的标签图像进行模型训练，可以获得目标图像处理阶段对应的目标图像处理模型，使得目标图像处理模型可以具有多种图像处理方式的处理能力，比如目标图像预处理模型可以具有多种图像预处理方式的处理能力，目标图像后处理模型可以具有多种图像后处理方式的处理能力。通过将待处理的第一图像输入至预先训练好的目标图像处理阶段对应的目标图像处理模型中，该目标图像处理模型可以采用与第一图像相匹配的图像处理方式对第一图像进行图像处理，获得图像处理后的第二图像，从而利用目标图像处理模型，可以针对每个待处理图像选择最匹配的图像处理方式进行图像处理，实现了图像处理的个性化处理，提高了图像处理的灵活性，保证了图像处理效果。同时，利用目标图像处理阶段对应的目标图像处理模型也可以更加快速地进行图像预处理或者图像后处理，提高了图像处理效率。
51.在上述实施例的基础上，s110可以包括：基于客户端发送的图像查看请求，确定图像查看请求对应的第一图像；在获得处理后的第二图像之后，还包括：对第二图像进行图像编码处理，并将编码处理后的第三图像发送至客户端。
52.其中，第三图像可以是指第二图像经过编码处理后获得的图像。具体地，上述图像处理方式可以应用到在服务器中进行图像预处理的场景中。如图2所示，服务器根据客户端发送的图像查看请求，将图像查看请求所请求查看的图像作为待处理的第一图像。将第一图像输入至目标图像预处理模型中进行图像预处理阶段内的图像预处理，根据目标图像预处理模型的输出，获得图像预处理阶段处理后的第二图像。利用图像编码器对获得的第二图像进行编码处理，获得编码处理后的第三图像，并将该第三图像发送至客户端，以使客户端可以对第三图像进行解码后展示。服务器通过图像编码可以降低图像大小，进而节省传
输成本。通过在图像进行编码处理前，增加图像预处理阶段的图像预处理，可以在提升编码处理后的第三图像的压缩比的同时尽可能避免失真情况，从而获得码率较小且质量较高的第三图像，进而保证用户的观看体验。
53.在上述实施例的基础上，s110还可以包括：接收编码处理后的第四图像；对第四图像进行图像解码处理，并将解码处理后的第五图像作为待处理的第一图像；在获得处理后的第二图像之后，还包括：展示第二图像。
54.其中，第四图像可以是指对原有图像进行编码处理后获得的图像。例如，第四图像可以是指服务器发送的，在图像预处理阶段进行图像预处理后并进行编码处理的第三图像，以便对同一图像同时进行图像预处理操作和图像后处理操作，进一步提高了图像质量。第四图像也可以是指服务器直接对用户请求查看的图像进行编码后获得的图像，其并未进行图像预处理操作，以便仅对该图像进行图像后处理操作，进一步提高图像处理效率。
55.在本实施例中，图像可以在图像预处理阶段进行图像预处理后，再在图像后处理阶段进行图像后处理。或者，图像可以不进行图像预处理阶段图像预处理，直接在图像后处理阶段进行图像后处理。
56.具体地，上述图像处理方式可以应用到在客户端中进行图像后处理的场景中。如图3所示，接收服务器发送的编码处理后的第四图像。客户端对第四图像进行解码处理，获得解码后的第五图像，并将该第五图像确定为待处理的第一图像。将第一图像输入至目标图像后处理模型中，根据目标图像后处理模型的输出，获得图像后处理阶段处理后的第二图像，将该第二图像在客户端的显示区域进行展示。通过图像在图像后处理阶段的图像后处理，可以得到质量更高的图像，从而提升了用户的观看体验。
57.图4为本公开实施例所提供的另一种图像处理方法的流程示意图，本公开实施例在上述公开实施例的基础上，对第一标签图像和第二标签图像的确定过程进行了详细描述。其中与上述各公开实施例相同或相应的术语的解释在此不再赘述。
58.如图4所示，图像处理方法具体包括以下步骤：
59.s410、对多种图像预处理方式进行排列组合，获得各个预处理方式组。
60.其中，每个预处理方式组包括至少一种图像预处理方式。例如，预处理方式组可包括由单个去冗余方式组成的处理方式组、由去冗余方式+平滑方式组成的处理方式组、或者由平滑方式+去冗余方式组成的处理方式组等。
61.具体地，针对图像预处理阶段，对多种图像预处理方式进行排列组合，获得图像预处理阶段对应的各个预处理方式组。在对多种图像预处理方式进行排序组合时可以通过调整处理方式的数量和前后顺序，穷举出不同的所有预处理方式组。
62.s420、基于每个预处理方式组中的图像预处理方式，对样本图像进行图像预处理，获得预处理后的候选图像。
63.具体地，针对图像预处理阶段，基于图像预处理阶段对应的每个预处理方式组中的图像预处理方式，对图像预处理阶段对应的样本图像进行图像预处理，获得图像预处理阶段对应的预处理后的候选图像。
64.s430、基于候选图像进行图像质量评估，并基于图像质量评估结果，从各个候选图像中确定出第一标签图像。
65.具体地，针对图像预处理阶段，可以对图像预处理阶段对应的预处理后的候选图
像进行vqscore画质评估，并基于vqscore画质评估结果，将vqscore画质评估最优结果对应的候选图像确定为图像预处理阶段对应的第一标签图像。
66.s440、根据样本图像和样本图像对应的第一标签图像进行模型训练，获得图像预处理阶段对应的目标图像预处理模型。
67.s450、对多种图像后处理方式进行排列组合，获得各个后处理方式组。
68.其中，每个后处理方式组包括至少一种图像后处理方式。例如，后处理方式组可包括由单个锐化方式组成的处理方式组、由纹理增强方式+锐化方式组成的处理方式组、或者由锐化方式+去压缩方式组成的处理方式组等。
69.具体地，针对图像后处理阶段，对多种图像后处理方式进行排列组合，获得图像后处理阶段对应的各个后处理方式组。在对多种图像后处理方式进行排序组合时可以通过调整处理方式的数量和前后顺序，穷举出不同的所有后处理方式组。
70.s460、基于每个后处理方式组中的图像后处理方式，对样本图像进行图像后处理，获得后处理后的候选图像。
71.具体地，针对图像后处理阶段，基于图像后处理阶段对应的每个后处理方式组中的图像后处理方式，对图像后处理阶段对应的样本图像进行图像后处理，获得图像后处理阶段对应的后处理后的候选图像。
72.s470、基于候选图像进行图像质量评估，并基于图像质量评估结果，从各个候选图像中确定出第二标签图像。
73.具体地，针对图像后处理阶段，可以对图像后处理阶段对应的后处理后的候选图像进行vqscore画质评估，并基于vqscore画质评估结果，将vqscore画质评估最优结果对应的候选图像确定为图像后处理阶段对应的第二标签图像。
74.s480、根据样本图像和样本图像对应的第二标签图像进行模型训练，获得图像后处理阶段对应的目标图像后处理模型。
75.需要说明的是，在本实施例中，对步骤s410-s440与步骤s450-s480的执行先后顺序不进行限定，步骤序号仅用区别不同步骤。在本实施例中，可以先执行步骤s410-s440，后执行步骤s450-s480，也可以先执行步骤s450-s480，后执行步骤s410-s440。
76.s490、获取在目标图像处理阶段中待处理的第一图像。
77.s491、将第一图像输入至目标图像处理阶段对应的目标图像处理模型中进行图像处理。
78.s492、根据目标图像处理模型的输出，获得处理后的第二图像。
79.本公开实施例的技术方案，通过对多种图像预处理方式进行排列组合，获得图像预处理阶段对应的各个预处理方式组。基于每个预处理方式组中的图像预处理方式，对样本图像进行图像预处理，获得预处理后的候选图像。基于候选图像进行图像质量评估，并基于图像质量评估结果，从各个候选图像中确定出第一标签图像，从而通过排序组合的方式可以更加准确地确定出质量最优的第一标签图像，进而基于该第一标签图像进行模型训练，可以获得训练好的目标图像预处理模型，同理，也可以基于第二标签图像获取训练好的目标图像后处理模型，从而可以进一步提高了处理图像的灵活性。
80.在上述实施例的基础上，s430可以包括：对每个候选图像进行图像编码处理，确定每个候选图像对应的压缩图像；确定每个压缩图像对应的图像质量分数和图像压缩比；基
于图像质量分数和图像压缩比，确定每个压缩图像对应的目标质量分数；将目标质量分数最高的压缩图像作为第一标签图像。
81.其中，压缩图像可以是指候选图像进行编码处理后的图像。目标质量分数可以用于表征每个候选图像的质量高低。例如，目标质量分数越高，则表明相应的候选图像的质量越高。图像压缩比可以是指压缩后的图像大小与压缩前的图像大小之间的比值。
82.具体地，针对每一个候选图像，可以对每一个候选图像进行图像编码处理，可以获得每个候选图像对应的压缩图像。每个压缩图像对应的图像质量分数可以是基于图像的美观、亮度、纹理、清晰度等参数进行人工打分获得的。每个压缩图像对应的图像压缩比可以基于压缩后的图像大小和压缩前的图像大小进行确定。针对每一个压缩图像，可以基于图像质量分数对应的第一权重值和图像压缩比对应的第二权重值，对压缩图像对应的图像质量分数和图像压缩比进行加权相加，获得的相加结果作为该压缩图像对应的目标质量分数，从而可以平衡图像质量分数和图像压缩比的量级，进而可以提升图像压缩的压缩比，也可以提升图像的主观质量，进一步提高评估的准确性。本实施例可以将目标质量分数最高的压缩图像作为第一标签图像，从而可以获得质量最优的第一标签图像，从而利用训练后的图像预处理模型可以提升图像质量的同时提升图像传统编解码器的压缩比。
83.需要说明的是，第二标签图像的确定过程与第一标签图像的确定过程相同，此处不再赘述。利用训练后的图像后处理模型也可以提升图像质量的同时提升图像传统编解码器的压缩比。
84.在上述实施例的基础上，确定每个压缩图像对应的图像质量分数，可以包括：将每个压缩图像输入至预设图像质量评估模型中进行图像质量评估，根据预设图像质量评估模型的输出，获得压缩图像对应的图像质量分数。
85.其中，预设图像质量评估模型可以是预先设置的，用于对图像质量高低进行评估的神经网络模型。预设图像质量评估模型可以是预先基于样本图像和样本图像对应的质量分数标签进行训练获得的，以便保证预设图像质量评估模型的评估准确性。其中，样本图像对应的质量分数标签可以是通过人工基于图像的美观、亮度、纹理和清晰度等参数进行打标的获得的。
86.具体地，将每个压缩图像输入至预先训练好的预设图像质量评估模型中进行图像质量评估，并基于预设图像质量评估模型的输出，可以更加准确地获得每个压缩图像对应的图像质量分数。通过预设图像质量评估模型，可以更加准确地对压缩图像进行自动的图像质量评估，无需人工参与，从而可以进一步提升图像质量分数确定的准确性和效率。
87.图5为本公开实施例所提供的另一种图像处理方法的流程示意图，本公开实施例在上述公开实施例的基础上，对将第一图像输入至目标图像处理阶段对应的目标图像处理模块中进行图像处理进行了详细描述，其中，目标图像处理模型(即目标图像预处理模型或者目标图像后处理模型)可以包括：具有u型结构的图像处理子模型和图像融合子模型。与上述各公开实施例相同或相应的术语的解释在此不再赘述。
88.s510、获取在目标图像处理阶段中待处理的第一图像。
89.s520、将第一图像输入至目标图像处理模型中的具有u型结构的图像处理子模型中进行图像的特征采样处理，获得处理后的中间图像。
90.其中，具有u型结构的图像处理子模型可以包括但不限于unet神经网络模型。中间
图像可以是指对第一图像进行特征采样处理后获得的特征图像。
91.具体地，如图6所示，将第一图像输入至具有u型结构的图像处理子模型中，以使该图像处理子模型可以先利用两层下采样网络对第一图像进行下采样处理，再利用两层上采样网络对下采样后的图像进行上采样处理，而且下采样后的图像与上采样图像进行跨越连接，从而可以结合上下文和位置信息进行特征融合，获得更加准确的中间图像并进行输出。例如，图6中的卷积操作可以是利用3
×
3的卷积核进行的操作。上采样操作可以是利用2
×
2的卷积核进行的操作。下采样操作可以是利用3
×
3的卷积核和2
×
2步长进行的操作。
92.s530、将第一图像和中间图像输入至图像融合子模型中进行图像的特征融合，获得融合后的第二图像。
93.具体地，将第一图像和获得的中间图像输入至图像融合子模型中，使得图像融合子模型对第一图像和中间图像进行图像特征融合，获得融合后质量更优的第二图像并进行输出。
94.示例性地，s530可以包括：将第一图像和中间图像输入至图像融合子模型中，以使图像融合子模型将第一图像和中间图像中的同一像素点对应的像素值进行相加，获得相加后的第二图像。
95.具体地，如图6所示，将第一图像和中间图像输入至图像融合子模型中，使得图像融合子模型将第一图像和中间图像中位于同一像素点对应的像素值进行像素值相加，并将相加后的图像作为第二图像。通过相加的融合方式可以构建出一个残差网络，从而可以提升图像拟合速度，进而对具有图像处理子模型和图像融合子模型这种网络架构的目标图像处理模型而言，可以提高模型训练速度。
96.s540、根据目标图像处理模型的输出，获得处理后的第二图像。
97.本公开实施例的技术方案，通过将第一图像输入至图像处理子模型中进行图像的特征采样处理，获得处理后的中间图像。将第一图像和中间图像输入至图像融合子模型中进行第一图像和中间图像中同一像素点的像素值融合，获得融合后的第二图像，从而利用具有图像处理子模型和图像融合子模型这种网络架构的目标图像处理模型而言，可以提高模型训练速度，并且也可以提高图像处理效率和处理准确性。
98.图7为本公开实施例所提供的一种图像处理装置的结构示意图，如图7所示，该装置具体包括：第一图像获取模块710、图像处理模块720和第二图像获取模块730。
99.其中，第一图像获取模块710，用于获取在目标图像处理阶段中待处理的第一图像，其中，所述目标图像处理阶段为图像预处理阶段或者图像后处理阶段。图像处理模块720，用于将所述第一图像输入至所述目标图像处理阶段对应的目标图像处理模型中进行图像处理，其中，所述目标图像处理模型为目标图像预处理模型或者目标图像后处理模型，其中，所述目标图像预处理模型是预先基于样本图像和所述样本图像对应的第一标签图像进行训练获得的，所述第一标签图像是基于多种图像预处理方式确定出的；所述目标图像后处理模型是预先基于样本图像和所述样本图像对应的第二标签图像进行训练获得的，所述第二标签图像是基于多种图像后处理方式确定出的。第二图像获取模块730，用于根据所述目标图像处理模型的输出，获得处理后的第二图像。
100.本公开实施例的技术方案，通过预先基于目标图像处理阶段对应的多种图像处理方式确定样本图像对应的标签图像，该标签图像是对样本图像进行图像处理的最优图像。
根据样本图像和相应的标签图像进行模型训练，可以获得目标图像处理阶段对应的目标图像处理模型，使得目标图像处理模型可以具有多种图像处理方式的处理能力，比如目标图像预处理模型可以具有多种图像预处理方式的处理能力，目标图像后处理模型可以具有多种图像后处理方式的处理能力。通过将待处理的第一图像输入至预先训练好的目标图像处理阶段对应的目标图像处理模型中，该目标图像处理模型可以采用与第一图像相匹配的图像处理方式对第一图像进行图像处理，获得图像处理后的第二图像，从而利用目标图像处理模型，可以针对每个待处理图像选择最匹配的图像处理方式进行图像处理，实现了图像处理的个性化处理，提高了图像处理的灵活性，保证了图像处理效果。同时，利用目标图像处理阶段对应的目标图像处理模型也可以更加快速地进行预处理或者图像后处理，提高了图像处理效率。
101.在上述实施例的基础上，图像处理装置，还包括：第一标签图像确定模块，该第一标签图像确定模块可以包括：
102.处理方式组确定单元，用于对多种图像预处理方式进行排列组合，获得各个预处理方式组，其中，每个所述预处理方式组包括至少一种图像预处理方式；
103.候选图像确定单元，用于基于每个所述预处理方式组中的图像预处理方式，对所述样本图像进行图像预处理，获得预处理后的候选图像；
104.第一标签图像确定单元，用于基于候选图像进行图像质量评估，并基于图像质量评估结果，从各个候选图像中确定出第一标签图像。
105.在上述实施例的基础上，第一标签图像确定单元，包括：
106.图像编码处理子单元，用于对每个所述候选图像进行图像编码处理，确定每个所述候选图像对应的压缩图像；
107.图像质量分数确定子单元，用于确定每个压缩图像对应的图像质量分数和图像压缩比；
108.目标质量分数确定子单元，用于基于图像质量分数和图像压缩比，确定每个压缩图像对应的目标质量分数；
109.第一标签图像确定子单元，用于将目标质量分数最高的候选图像作为第一标签图像。
110.在上述实施例的基础上，图像质量分数确定子单元，具体用于：
111.将每个压缩图像输入至预设图像质量评估模型中进行图像质量评估，其中，预设图像质量评估模型是预先基于样本图像和样本图像对应的质量分数标签进行训练获得的；
112.根据预设图像质量评估模型的输出，获得压缩图像对应的图像质量分数。
113.在上述实施例的基础上，目标图像处理模型包括：具有u型结构的图像处理子模型和图像融合子模型；
114.图像处理模块720，包括：
115.中间图像确定单元，用于将第一图像输入至图像处理子模型中进行图像的特征采样处理，获得处理后的中间图像；
116.第二图像确定单元，用于将第一图像和中间图像输入至图像融合子模型中进行图像的特征融合，获得融合后的第二图像。
117.在上述实施例的基础上，第二图像确定单元，具体用于：将第一图像和中间图像输
入至图像融合子模型中，以使图像融合子模型将第一图像和中间图像中的同一像素点对应的像素值进行相加，获得相加后的第二图像。
118.在上述实施例的基础上，图像处理装置，还可以包括：第一图像确定模块。第一图像确定模块用于：基于客户端发送的图像查看请求，确定所述图像查看请求对应的第一图像；
119.相应地，图像处理装置，还可以包括：第三图像确定模块。第三图像确定模块用于：对所述第二图像进行图像编码处理，并将编码处理后的第三图像发送至所述客户端。
120.在上述实施例的基础上，图像处理装置，还可以包括：第五图像确定模块。第五图像确定模块用于：接收编码处理后的第四图像；对所述第四图像进行图像解码处理，并将解码处理后的第五图像作为待处理的第一图像；
121.相应地，图像处理装置，还可以包括：第二图像展示模块。第二图像展示模块用于：展示所述第二图像。
122.本公开实施例所提供的图像处理装置可执行本公开任意实施例所提供的图像处理方法，具备执行方法相应的功能模块和有益效果。
123.值得注意的是，上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本公开实施例的保护范围。
124.图8为本公开实施例所提供的一种电子设备的结构示意图。下面参考图8，其示出了适于用来实现本公开实施例的电子设备(例如图8中的终端设备或服务器)800的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。图8示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
125.如图8所示，电子设备800可以包括处理装置(例如中央处理器、图形处理器等)801，其可以根据存储在只读存储器(rom)802中的程序或者从存储装置808加载到随机访问存储器(ram)803中的程序而执行各种适当的动作和处理。在ram 803中，还存储有电子设备800操作所需的各种程序和数据。处理装置801、rom 802以及ram 803通过总线804彼此相连。编辑/输出(i/o)接口805也连接至总线804。
126.通常，以下装置可以连接至i/o接口805：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置806；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置807；包括例如磁带、硬盘等的存储装置808；以及通信装置809。通信装置809可以允许电子设备800与其他设备进行无线或有线通信以交换数据。虽然图8示出了具有各种装置的电子设备800，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
127.特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置809从网络上被下载和安装，或者从存储装置808被安装，或者从rom802被安装。在该计算机程序被处理装置801执行时，执行本公开实
施例的方法中限定的上述功能。
128.本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
129.本公开实施例提供的电子设备与上述实施例提供的图像处理方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例与上述实施例具有相同的有益效果。
130.本公开实施例提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例所提供的图像处理方法。
131.需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
132.在一些实施方式中，客户端、服务器可以利用诸如http(hypertext transfer protocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“lan”)，广域网(“wan”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
133.上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
134.上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：
135.上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取在目标图像处理阶段中待处理的第一图像，其中，所述目标图像处理阶段为图像预处理阶段或者图像后处理阶段；将所述第一图像输入至所述目标图像处理阶段对应的目标图像处理模型中进行图像处理，其中，所述目标图像处理模型为目标图像预处理模型或者目标图像后处理模型，其中，所述目标图像预处理模型是预先基于样本图像和所述样本图像对应的第一标签图像进行训练获得的，所述第一标签图像是基于多种图像预处理方式确定出的；所述目标图像后处理模型是预先基于样本图像和所
述样本图像对应的第二标签图像进行训练获得的，所述第二标签图像是基于多种图像后处理方式确定出的；根据所述目标图像处理模型的输出，获得处理后的第二图像。
136.可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
137.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
138.描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
139.本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑设备(cpld)等等。
140.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
141.根据本公开的一个或多个实施例，【示例一】提供了一种图像处理方法，包括：
142.获取在目标图像处理阶段中待处理的第一图像，其中，所述目标图像处理阶段为图像预处理阶段或者图像后处理阶段；
143.将所述第一图像输入至所述目标图像处理阶段对应的目标图像处理模型中进行图像处理，其中，所述目标图像处理模型为目标图像预处理模型或者目标图像后处理模型，
其中，所述目标图像预处理模型是预先基于样本图像和所述样本图像对应的第一标签图像进行训练获得的，所述第一标签图像是基于多种图像预处理方式确定出的；所述目标图像后处理模型是预先基于样本图像和所述样本图像对应的第二标签图像进行训练获得的，所述第二标签图像是基于多种图像后处理方式确定出的；
144.根据所述目标图像处理模型的输出，获得处理后的第二图像。
145.根据本公开的一个或多个实施例，【示例二】提供了一种图像处理方法，还包括：
146.可选的，基于多种图像预处理方式确定所述第一标签图像，包括：
147.对多种图像预处理方式进行排列组合，获得各个预处理方式组，其中，每个所述预处理方式组包括至少一种图像预处理方式；
148.基于每个所述预处理方式组中的图像预处理方式，对所述样本图像进行图像预处理，获得预处理后的候选图像；
149.基于所述候选图像进行图像质量评估，并基于图像质量评估结果，从各个所述候选图像中确定出所述第一标签图像。
150.根据本公开的一个或多个实施例，【示例三】提供了一种图像处理方法，还包括：
151.可选的，所述基于所述候选图像进行图像质量评估，并基于图像质量评估结果，从各个所述候选图像中确定出所述第一标签图像，包括：
152.对每个所述候选图像进行图像编码处理，确定每个所述候选图像对应的压缩图像；
153.确定每个所述压缩图像对应的图像质量分数和图像压缩比；
154.基于所述图像质量分数和所述图像压缩比，确定每个所述压缩图像对应的目标质量分数；
155.将所述目标质量分数最高的压缩图像对应的候选图像作为第一标签图像。
156.根据本公开的一个或多个实施例，【示例四】提供了一种图像处理方法，还包括：
157.可选的，所述确定每个所述压缩图像对应的图像质量分数，包括：
158.将每个所述压缩图像输入至预设图像质量评估模型中进行图像质量评估，其中，所述预设图像质量评估模型是预先基于样本图像和所述样本图像对应的质量分数标签进行训练获得的；
159.根据所述预设图像质量评估模型的输出，获得所述压缩图像对应的图像质量分数。
160.根据本公开的一个或多个实施例，【示例五】提供了一种图像处理方法，还包括：
161.可选的，所述目标图像处理模型包括：具有u型结构的图像处理子模型和图像融合子模型；
162.所述将所述第一图像输入至所述目标图像处理阶段对应的目标图像处理模型中进行图像处理，包括：
163.将所述第一图像输入至所述图像处理子模型中进行图像的特征采样处理，获得处理后的中间图像；
164.将所述第一图像和所述中间图像输入至所述图像融合子模型中进行图像的特征融合，获得融合后的第二图像。
165.根据本公开的一个或多个实施例，【示例六】提供了一种图像处理方法，还包括：
166.可选的，所述将所述第一图像和所述中间图像输入至所述图像融合子模型中进行图像的特征融合，获得融合后的第二图像，包括：
167.将所述第一图像和所述中间图像输入至所述图像融合子模型中，以使所述图像融合子模型将所述第一图像和所述中间图像中的同一像素点对应的像素值进行相加，获得相加后的第二图像。
168.根据本公开的一个或多个实施例，【示例七】提供了一种图像处理方法，还包括：
169.可选的，在目标图像处理阶段为图像预处理阶段时，所述获取在目标图像处理阶段中待处理的第一图像，包括：
170.基于客户端发送的图像查看请求，确定所述图像查看请求对应的第一图像；
171.在所述获得处理后的第二图像之后，还包括：
172.对所述第二图像进行图像编码处理，并将编码处理后的第三图像发送至所述客户端。
173.根据本公开的一个或多个实施例，【示例八】提供了一种图像处理方法，还包括：
174.可选的，在目标图像处理阶段为图像后处理阶段时，所述获取在目标图像处理阶段中待处理的第一图像，包括：
175.接收编码处理后的第四图像；
176.对所述第四图像进行图像解码处理，并将解码处理后的第五图像作为待处理的第一图像；
177.在所述获得处理后的第二图像之后，还包括：
178.展示所述第二图像。
179.根据本公开的一个或多个实施例，【示例九】提供了一种图像处理装置，包括：
180.第一图像获取模块，用于获取在目标图像处理阶段中待处理的第一图像，其中，所述目标图像处理阶段为图像预处理阶段或者图像后处理阶段；
181.图像处理模块，用于将所述第一图像输入至所述目标图像处理阶段对应的目标图像处理模型中进行图像处理，其中，所述目标图像处理模型为目标图像预处理模型或者目标图像后处理模型，其中，所述目标图像处理模型是预先基于样本图像和所述样本图像对应的第一标签图像进行训练获得的，所述第一标签图像是基于多种图像预处理方式确定出的；所述目标图像后处理模型是预先基于样本图像和所述样本图像对应的第二标签图像进行训练获得的，所述第二标签图像是基于多种图像后处理方式确定出的；
182.第二图像获取模块，用于根据所述目标图像处理模型的输出，获得处理后的第二图像。
183.以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
184.此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公
开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
185.尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。