图像处理方法、装置和电子设备与流程

1.本发明涉及深度学习的技术领域，尤其是涉及一种图像处理方法、装置和电子设备。


背景技术：

2.随着多媒体技术的发展，网络数据呈现爆炸式增长，例如图片、视频、文字等。图像或视频作为信息传播的主要载体，在图像或视频采集、编码、传输等环节通常面临着很多质量损失。低质量图像或视频会严重降低人眼视觉观感，因此，在视频或图像被观看者观看之前通常会对视频或图像进行画质增强。
3.画质增强方法包括但不限于对比度增强、边缘增强、色彩增强、去除噪声等。现有的画质增强方法主要分为两类：一类是传统方法，如直方图均衡等算法，它们通常是针对某一具体场景或问题而设计的算法，比如去噪算法通常主要关注于图像或视频中各种噪声并加以去除，而不需要关注色彩、对比度等场景。另一类是基于深度学习的方法，其主要是从大量已标注数据中进行学习并应用到其他数据中，相比传统方法，深度学习方法泛化性更好，且可以同时对画质的多个场景和维度进行增强处理。
4.现有基于深度学习的画质增强方法在神经网络模型训练的过程中尽可能让神经网络模型去逼近已知高清图像，训练完成的神经网络模型一般具有较高的客观指标，例如psnr(peak signal to noise ratio，峰值信噪比)，但是主观指标通常并不能达到较为理想的效果。也即客观指标和主观指标并不完全是正相关，客观指标高的未必主观指标就一定好。因此，现有的画质增强方法泛化性较差，主观指标和客观指标难以同时达到理想的效果。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种图像处理方法、装置和电子设备，以提高泛化性，使得主观指标和客观指标同时达到理想的效果。
6.第一方面，本发明实施例提供了一种图像处理方法，包括：获取目标图像；将目标图像输入预先训练完成的画质增强模型中，获得画质增强模型输出的画质增强图像；其中，画质增强模型的损失函数基于客观评价模型的损失函数和主观评价模型的损失函数确定，客观评价模型是基于图像的客观指标进行训练得到的，主观评价模型是基于图像的主观指标进行训练得到的。
7.在本发明较佳的实施例中，上述画质增强模型通过以下步骤训练：基于预设的图像样本集合确定当前样本和当前样本对应的标准样本；对于每一个当前样本，均执行以下训练操作：将当前样本输入至画质增强模型中，输出画质增强样本；基于画质增强样本和标准样本确定当前样本的损失值；根据当前样本的损失值调整画质增强模型的参数；当训练操作满足预设的训练结束条件时，将当前训练得到的画质增强模型确定为训练好的画质增强模型。
8.在本发明较佳的实施例中，上述基于画质增强样本和标准样本确定当前样本的损失值的步骤，包括：基于画质增强样本和标准样本确定主观评价模型的第一损失值；基于画质增强样本和标准样本确定客观评价模型的第二损失值；通过以下损失函数确定当前样本的损失值：loss＝w*l0+(1
‑
w)*lqa；其中，loss为当前样本的损失值，w为损失函数权重，l0为第二损失值，lqa为第一损失值。
9.在本发明较佳的实施例中，上述将当前样本输入至画质增强模型中，输出画质增强样本的步骤之后，方法还包括：将画质增强样本和标准样本分别输入主观评价模型，输出画质增强样本对应的第一主观分数和标准样本对应的第二主观分数；基于画质增强样本和标准样本确定主观评价模型的第一损失值的步骤，包括：如果qa(e(lr))
‑
qa(hr)＞＝0，lqa＝0；其中，lr为当前样本，e(lr)为画质增强样本，qa(e(lr))为第一主观分数；hr为标准样本，qa(hr)为第二主观分数；如果qa(e(lr))
‑
qa(hr)＜0并且qa(e(lr))
‑
qa(hr)＞＝t，lqa＝
‑
1/t*(qa(e(lr))
‑
qa(hr))^2；其中，t为预设阈值；如果qa(e(lr))
‑
qa(hr)＜t，lqa＝qa(hr)
‑
qa(e(lr))。
10.在本发明较佳的实施例中，上述方法还包括：记录画质增强模型训练过程中的迭代次数；通过以下算式计算损失函数权重：w＝exp(
‑
x^2)，其中，x为画质增强模型训练过程中的迭代次数。
11.在本发明较佳的实施例中，上述主观评价模型通过以下步骤训练：基于预设的主观指标图像集合训练主观评价模型；其中，主观指标图像集合的图像样本标注有主观评分值；主观评分值表征主观指标图像集合的图像样本的主观指标。
12.在本发明较佳的实施例中，上述基于预设的主观指标图像集合训练主观评价模型的步骤，包括：基于预设的主观指标图像集合确定当前主观样本和当前主观样本对应的主观评分值；对于每一个当前主观样本，均执行以下主观训练操作：将当前主观样本输入至主观评价模型中，输出当前主观样本对应的当前主观分数；基于主观评分值和当前主观分数确定当前主观样本的损失值；根据当前主观样本的损失值调整主观评价模型的参数；当主观训练操作满足预设的主观训练结束条件时，将当前训练得到的主观评价模型确定为训练好的主观评价模型。
13.第二方面，本发明实施例还提供一种图像处理装置，包括：图像获取模块，用于获取目标图像；画质增强模块，用于将目标图像输入预先训练完成的画质增强模型中，获得画质增强模型输出的画质增强图像；其中，画质增强模型的损失函数基于客观评价模型的损失函数和主观评价模型的损失函数确定，客观评价模型是基于图像的客观指标进行训练得到的，主观评价模型是基于图像的主观指标进行训练得到的。
14.第三方面，本发明实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述的图像处理方法的步骤。
15.第四方面，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述的图像处理方法的步骤。
16.本发明实施例带来了以下有益效果：
17.本发明实施例提供的一种图像处理方法、装置和电子设备，预先训练完成包含客
观评价模型和主观评价模型的画质增强模型，将待进行画质增强的目标图像输入至画质增强模型中，画质增强模型输出画质增强图像。画质增强模型可以综合考虑客观指标和主观指标，因此，画质增强图像的主观指标和客观指标可以同时达到理想的效果，上述方法具有良好的泛用性。
18.本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。
19.为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
20.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
21.图1为本发明实施例提供的一种图像处理方法的流程图；
22.图2为本发明实施例提供的一种主观评价模型的训练方法的流程图；
23.图3为本发明实施例提供的一种画质增强模型的训练方法的流程图；
24.图4为本发明实施例提供的一种图像处理装置的结构示意图；
25.图5为本发明实施例提供的另一种图像处理装置的结构示意图；
26.图6为本发明实施例提供的另一种图像处理装置的结构示意图；
27.图7为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
28.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
29.目前，现有的画质增强方法主要分为两类：一类是传统方法，另一类是基于深度学习的方法。其中，传统方法的泛用性较差，不能同时对画质的多个场景和维度进行增强处理。深度学习的方法的客观指标一般较好，但是主观指标可能较差，主观指标和客观指标难以同时达到理想的效果。基于此，本发明实施例提供的一种图像处理方法、装置和电子设备，该技术可以应用于服务器、计算机、相机、手机、平板电脑等多种设备中，该技术可采用相应的软件和硬件实现，以下对本发明实施例进行详细介绍。
30.为便于对本实施例进行理解，首先对本发明实施例所公开的一种图像处理方法进行详细介绍。
31.本实施例提供了一种图像处理方法，参见图1所示的一种图像处理方法的流程图，该图像处理方法包括如下步骤：
32.步骤s100，获取目标图像。
33.目标图像可以为待进行画质增强的图像，可以直接将一个图像作为目标图像，也
可以从视频中提取目标图像，例如：从视频中提取一个视频帧，将提取的视频帧作为目标图像。一般来说，目标图像可以指质量较低的图像，例如：像素数较低、对比度较低、画质较差、噪声较多等。又或者，视频在采集、编码、传输等环节出现了质量损失，从出现质量损失的视频中提取的图像可以作为目标图像。
34.步骤s102，将目标图像输入预先训练完成的画质增强模型中，获得画质增强模型输出的画质增强图像；其中，画质增强模型的损失函数基于客观评价模型的损失函数和主观评价模型的损失函数确定，客观评价模型是基于图像的客观指标进行训练得到的，主观评价模型是基于图像的主观指标进行训练得到的。
35.本实施例中可以预先训练完成画质增强模型，其中，画质增强模型的损失函数基于客观评价模型的损失函数和主观评价模型的损失函数确定。由于客观评价模型是基于图像的客观指标进行训练得到的，那么客观评价模型可以用于提升目标图像的客观指标。客观指标可一直通过对图像进行运算得到的指标：例如：对比度、亮度、噪点数量、psnr等。
36.在训练客观评价模型时，样本训练集中的样本可以预先标注对应的客观指标的数值，将样本输入训练中的客观评价模型，输出训练后的样本，计算训练后样本的客观指标，并将训练后样本的客观指标与训练集中的样本对应的客观指标进行对比，以调整客观评价模型的参数。
37.由于主观评价模型是基于图像的主观指标(主观指标也可以称为主观质量)进行训练得到的，那么主观评价模型可以用于提升目标图像的主观指标。主观指标是指难以通过量化计算的方式得到的指标，简单来说，主观指标可以理解为人眼观看图像的感受，如果人眼观看图像的感受比较好(即“人工感觉图像比较好看”)，则可以认为图像的主观指标较好。例如：可以通过人工打分的方式评价图像的主观指标，例如：可以人工对图案进行打分，人眼观看图像的感受越好，则分数越高。
38.在训练主观评价模型时，样本训练集中的样本可以预先标注对应的主观指标的数值，将样本输入训练中的主观评价模型，输出训练后的样本以及训练后的样本的主观指标的数值，将训练后样本的主观指标的数值与训练集中的样本对应的主观指标的数值进行对比，以调整主观评价模型的参数。
39.综上，客观评价模型可以用于提升目标图像的客观指标，主观评价模型可以用于提升目标图像的主观指标，由于画质增强模型的损失函数基于客观评价模型的损失函数和主观评价模型的损失函数确定，则画质增强模型可以同时提升目标图像的主观指标和客观指标。
40.本发明实施例提供的一种图像处理方法，预先训练完成包含客观评价模型和主观评价模型的画质增强模型，将待进行画质增强的目标图像输入至画质增强模型中，画质增强模型输出画质增强图像。画质增强模型可以综合考虑客观指标和主观指标，因此，画质增强图像的主观指标和客观指标可以同时达到理想的效果，上述方法具有良好的泛用性。
41.本实施例提供了另一种图像处理方法，该方法在上述实施例的基础上实现；本实施例重点描述训练主观评价模型的具体实施方式。本实施例中的主观评价模型可以为无参考图像的质量评价模型，即主观评价模型的样本集合(即本实施例中的主观指标图像集合)中样本并没有参考图像，只需要标注主观指标的数值(即本实施例中的主观评分值)。因此，可以通过下述步骤训练主观评价模型：基于预设的主观指标图像集合训练主观评价模型；
其中，主观指标图像集合的图像样本标注有主观评分值；主观评分值表征主观指标图像集合的图像样本的主观指标。
42.举例来说，主观指标图像集合训练可以包含100张图像样本，预先由人工标注这100张图像样本的主观评分值(主观评分值可以为0
‑
100之间)。在进行主观评价模型的训练时，主观评价模型输出图像样本的当前主观分数，根据当前主观分数与主观评分值的差异调整主观评价模型的参数。
43.基于上述描述，参见图2所示的一种主观评价模型的训练方法的流程图，本实施例中的主观评价模型的训练方法包括如下步骤：
44.步骤s200，基于预设的主观指标图像集合确定当前主观样本和当前主观样本对应的主观评分值。
45.每次训练主观评价模型时从主观指标图像集合可以提取一个当前主观样本，由于主观指标图像的样本均标注有主观评分值，因此可以确定当前主观样本对应的主观评分值。例如，提取当前主观样本a和当前主观样本a对应的主观评分值95分。
46.步骤s202，对于每一个当前主观样本，均执行以下主观训练操作：将当前主观样本输入至主观评价模型中，输出当前主观样本对应的当前主观分数。
47.训练主观评价模型的操作可以称为主观训练操作，将当前主观样本输入i，至主观评价模型qa中，可以输出该当前主观样本对应的当前主观分数qa(i)。qa(i)越大可以表示当前主观样本的主观质量越好。其中，主观评价模型包括但不限于深度学习模型，如deepiqa等。
48.步骤s204，基于主观评分值和当前主观分数确定当前主观样本的损失值。
49.可以根据预先设定的损失函数，以及主观评分值和当前主观分数确定当前主观样本的损失值，损失函数可以为l1范数损失函数(l1
‑
loss)或l2范数损失函数(l2
‑
loss)等。
50.步骤s206，根据当前主观样本的损失值调整主观评价模型的参数。
51.确定当前主观样本的损失值之后，可以根据损失值调整主观评价模型的参数，以使主观评价模型输出的当前主观样本对应的当前主观分数更加接近当前主观样本对应的主观评分值。
52.步骤s208，当主观训练操作满足预设的主观训练结束条件时，将当前训练得到的主观评价模型确定为训练好的主观评价模型。
53.主观训练结束条件可以为：损失值收敛、训练次数达到预设次数、训练集合中的样本全部训练完毕等。当主观训练操作满足预设的主观训练结束条件时，可以认为主观评价模型的训练结束，将当前训练得到的主观评价模型确定为训练好的主观评价模型。
54.本发明实施例提供的上述方法，主观评价模型可以为无参考图像的质量评价模型，主观指标图像集合的图像样本标注有主观评分值，基于预设的主观指标图像集合训练主观评价模型。主观评价模型由此可以实现对主观指标进行训练，以提高图像的主观质量。
55.本实施例提供了另一种图像处理方法，该方法在上述实施例的基础上实现；本实施例重点描述训练画质增强模型的具体实施方式。如图3所示的一种画质增强模型的训练方法的流程图，本实施例中的画质增强模型的训练方法包括如下步骤：
56.步骤s300，基于预设的图像样本集合确定当前样本和当前样本对应的标准样本。
57.画质增强模型的样本集合(即本实施例中的图像样本集合)包含样本对应的标准
样本，其中，上述标准样本可以为高清晰度的高清样本。在从图像样本集合提取当前样本时，可以确定当前样本对应的标准样本。其中，图像样本集合中的样本可以为低质量的图像，标准样本可以为高质量的图像。
58.步骤s302，对于每一个当前样本，均执行以下训练操作：将当前样本输入至画质增强模型中，输出画质增强样本。
59.将当前样本输入至画质增强模型中，画质增强模型可以输出当前样本对应的画质增强样本，画质增强样本可以理解为对当前样本进行画质增强后的样本，画质增强样本与当前样本相比质量更好。
60.步骤s304，基于画质增强样本和标准样本确定当前样本的损失值。
61.在画质增强模型输出当前样本对应的画质增强样本之后，可以基于画质增强样本和标准样本确定当前样本的损失值。由于画质增强模型的损失函数基于客观评价模型的损失函数和主观评价模型的损失函数确定，因此当前样本的损失值可以通过步骤a1
‑
步骤a3根据主观评价模型的第一损失值和客观评价模型的第二损失值确定：
62.步骤a1，基于画质增强样本和标准样本确定主观评价模型的第一损失值。
63.当前样本lr经过画质增强模型e后，画质增强模型e输出画质增强样本e(lr)。之后，画质增强样本e(lr)和标准样本hr可以分别输入主观评价模型，例如：将画质增强样本和标准样本分别输入主观评价模型，输出画质增强样本对应的第一主观分数和标准样本对应的第二主观分数。
64.其中，画质增强样本e(lr)输入主观评价模型，输出画质增强样本e(lr)的第一主观分数qa(e(lr))；标准样本hr输入主观评价模型，输出标准样本hr的第二主观分数qa(hr)，则第一损失值lqa可以通过以下形式表示：
65.如果qa(e(lr))
‑
qa(hr)＞＝0，lqa＝0；
66.如果qa(e(lr))
‑
qa(hr)＜0并且qa(e(lr))
‑
qa(hr)＞＝t，lqa＝
‑
1/t*(qa(e(lr))
‑
qa(hr))^2；其中，t为预设阈值；
67.如果qa(e(lr))
‑
qa(hr)＜t，lqa＝qa(hr)
‑
qa(e(lr))。
68.如果qa(e(lr))
‑
qa(hr)＞＝0，则说明画质增强样本e(lr)的第一主观分数qa(e(lr))大于或者等于标准样本hr的第二主观分数qa(hr)，则可以认为画质增强样本e(lr)的主观指标要好于标准样本hr的主观指标或者画质增强样本e(lr)的主观指标与标准样本hr的主观指标相同，此时的损失值lqa＝0，则认为无需调整主观评价模型。
69.如果qa(e(lr))
‑
qa(hr)＜0并且qa(e(lr))
‑
qa(hr)＞＝t，其中，t为预设阈值(t的取值为小于0的实数)，此时说明画质增强样本e(lr)的第一主观分数qa(e(lr))虽然小于标准样本hr的第二主观分数qa(hr)，但是差距不远，则损失值lqa＝
‑
1/t*(qa(e(lr))
‑
qa(hr))^2。损失值较小，则认为只需要对主观评价模型进行微调。
70.如果qa(e(lr))
‑
qa(hr)＜t，则画质增强样本e(lr)的第一主观分数qa(e(lr))远小于标准样本hr的第二主观分数qa(hr)，差距较大，此时损失值lqa＝qa(hr)
‑
qa(e(lr))，损失值较大，则认为需要对主观评价模型进行大幅度调整。
71.本发明实施例提供的上述方法，可以通过画质增强样本和标准样本确定主观评价模型的第一损失值，损失函数为分段函数，根据不同的区间采用不同的损失函数，代表了不同的含义，从而对主观评价模型进行不同幅度的调整，可以准确地调整主观评价模型。
72.步骤a2，基于画质增强样本和标准样本确定客观评价模型的第二损失值。
73.客观评价模型的损失函数可以为单个损失函数，也可以为多个损失函数。其中，客观评价模型的损失函数基于l1范数损失函数和/或l2范数损失函数确定。如果客观评价模型的损失函数为单个损失函数，则可以为l1范数损失函数或者l2范数损失函数，如果客观评价模型的损失函数为多个损失函数，则可以为l1范数损失函数和l2范数损失函数的组合。
74.步骤a3，通过以下损失函数确定当前样本的损失值：loss＝w*l0+(1
‑
w)*lqa；其中，loss为当前样本的损失值，w为损失函数权重，l0为第二损失值，lqa为第一损失值。
75.损失函数权重w可以为预设的固定值，取值范围可以是(0,1]，如果w不等于0，则可以认为是第二损失值l0和第一损失值lqa加权的形式得到当前样本的损失值loss；如果w＝0，则loss＝lqa，此时可以认为是直接将第一损失值lqa作为当前样本的损失值loss。
76.此外，本发明实施例还可以记录画质增强模型训练过程中的迭代次数，根据上述迭代次数计算损失函数权重w，可以通过下述步骤执行：记录画质增强模型训练过程中的迭代次数；通过以下算式计算损失函数权重：w＝exp(
‑
x^2)，其中，x为画质增强模型训练过程中的迭代次数。
77.通过记录画质增强模型训练过程中的迭代次数x，随时调整损失函数权重w，此时损失函数权重w的取值范围是0
‑
1，随着迭代次数的增加，w的值越来越小。
78.步骤s306，根据当前样本的损失值调整画质增强模型的参数。
79.在确定当前样本的损失值之后，可以调整画质增强模型的参数。通过调整参数，从而提高画质增强模型输出的画质增强图像的主观指标和客观指标。
80.步骤s308，当训练操作满足预设的训练结束条件时，将当前训练得到的画质增强模型确定为训练好的画质增强模型。
81.训练结束条件一般为收敛条件，即画质增强模型到达预先设定的收敛条件时，可以认为训练结束，将当前训练得到的画质增强模型确定为训练好的画质增强模型。除此以外，还可以将训练次数达到阈值，图像样本的全部样本完成训练等作为训练结束条件。
82.本发明实施例提供的上述方法，旨在解决现有画质增强算法增强后的图像或视频主观效果较差的问题。本发明实施例提出了一种基于质量评价的画质增强方法，将质量评价模型作为画质增强算法的损失函数的一部分并指导画质增强模型进行训练和学习。该方式中，通过将质量评价模型应用于画质增强算法中，可以显著提升图像或视频主观效果，从而解决现有画质增强模型效果较差的问题，使得画质增强图像的主观指标和客观指标可以同时达到理想的效果。
83.对应于上述方法实施例，本发明实施例提供了一种图像处理装置，参见图4所示的一种图像处理装置的结构示意图，该图像处理装置包括：
84.图像获取模块41，用于获取目标图像；
85.画质增强模块42，用于将目标图像输入预先训练完成的画质增强模型中，获得画质增强模型输出的画质增强图像；其中，画质增强模型的损失函数基于客观评价模型的损失函数和主观评价模型的损失函数确定，客观评价模型是基于图像的客观指标进行训练得到的，主观评价模型是基于图像的主观指标进行训练得到的。
86.本发明实施例提供的一种图像处理装置，预先训练完成包含客观评价模型和主观
评价模型的画质增强模型，将待进行画质增强的目标图像输入至画质增强模型中，画质增强模型输出画质增强图像。画质增强模型可以综合考虑客观指标和主观指标，因此，画质增强图像的主观指标和客观指标可以同时达到理想的效果，上述方法具有良好的泛用性。
87.参见图5所示另一种图像处理装置的结构示意图，该图像处理装置还包括：画质增强模型训练模块43，上述画质增强模型训练模块43与图像获取模块41连接，上述画质增强模型训练模块43，用于基于预设的图像样本集合确定当前样本和当前样本对应的标准样本；对于每一个当前样本，均执行以下训练操作：将当前样本输入至画质增强模型中，输出画质增强样本；基于画质增强样本和标准样本确定当前样本的损失值；根据当前样本的损失值调整画质增强模型的参数；当训练操作满足预设的训练结束条件时，将当前训练得到的画质增强模型确定为训练好的画质增强模型。
88.上述画质增强模型训练模块，用于基于画质增强样本和标准样本确定主观评价模型的第一损失值；基于画质增强样本和标准样本确定客观评价模型的第二损失值；通过以下损失函数确定当前样本的损失值：loss＝w*l0+(1
‑
w)*lqa；其中，loss为当前样本的损失值，w为损失函数权重，l0为第二损失值，lqa为第一损失值。
89.上述画质增强模型训练模块，还用于将画质增强样本和标准样本分别输入主观评价模型，输出画质增强样本对应的第一主观分数和标准样本对应的第二主观分数；上述画质增强模型训练模块，还用于如果qa(e(lr))
‑
qa(hr)＞＝0，lqa＝0；其中，lr为当前样本，e(lr)为画质增强样本，qa(e(lr))为第一主观分数；hr为标准样本，qa(hr)为第二主观分数；如果qa(e(lr))
‑
qa(hr)＜0并且qa(e(lr))
‑
qa(hr)＞＝t，lqa＝
‑
1/t*(qa(e(lr))
‑
qa(hr))^2；其中，t为预设阈值；如果qa(e(lr))
‑
qa(hr)＜t，lqa＝qa(hr)
‑
qa(e(lr))。
90.上述画质增强模型训练模块，还用于记录画质增强模型训练过程中的迭代次数；通过以下算式计算损失函数权重：w＝exp(
‑
x^2)，其中，x为画质增强模型训练过程中的迭代次数。
91.参见图6所示另一种图像处理装置的结构示意图，该图像处理装置还包括：主观评价模型训练模块44，上述主观评价模型训练模块44与图像获取模块41连接，上述主观评价模型训练模块44，用于基于预设的主观指标图像集合训练主观评价模型；其中，主观指标图像集合的图像样本标注有主观评分值；主观评分值表征主观指标图像集合的图像样本的主观指标。
92.上述主观评价模型训练模块，用于基于预设的主观指标图像集合确定当前主观样本和当前主观样本对应的主观评分值；对于每一个当前主观样本，均执行以下主观训练操作：将当前主观样本输入至主观评价模型中，输出当前主观样本对应的当前主观分数；基于主观评分值和当前主观分数确定当前主观样本的损失值；根据当前主观样本的损失值调整主观评价模型的参数；当主观训练操作满足预设的主观训练结束条件时，将当前训练得到的主观评价模型确定为训练好的主观评价模型。
93.本发明实施例所提供的图像处理装置，其实现原理及产生的技术效果和前述图像处理方法实施例相同，为简要描述，图像处理装置实施例部分未提及之处，可参考前述图像处理方法实施例中相应内容。
94.本发明实施例还提供了一种电子设备，用于运行上述图像处理方法；参见图7所示的一种电子设备的结构示意图，该电子设备包括存储器100和处理器101，其中，存储器100
用于存储一条或多条计算机指令，一条或多条计算机指令被处理器101执行，以实现上述图像处理方法。
95.进一步地，图7所示的电子设备还包括总线102和通信接口103，处理器101、通信接口103和存储器100通过总线102连接。
96.其中，存储器100可能包含高速随机存取存储器(ram，random access memory)，也可能还包括非不稳定的存储器(non
‑
volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是isa总线、pci总线或eisa总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
97.处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field
‑
programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施例的方法的步骤。
98.本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述图像处理方法，具体实现可参见方法实施例，在此不再赘述。
99.本发明实施例所提供的图像处理方法、装置和电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。
100.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和/或装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
101.另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
102.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计
算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
103.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
104.最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。