图像质量的确定方法、装置、终端及存储介质与流程

1.本技术涉及计算机视觉技术领域，具体而言，涉及一种图像质量的确定方法、装置、终端及存储介质。


背景技术：

2.图像质量检测是计算机视觉领域中的一项基本任务，其目的是评估图像的质量表现(如图1所示的图像质量描述图)。通常情况下，通过对图像质量进行分类，经确定图像的质量类型后，基于图像质量类型实现图像的质量检测。
3.目前，对于图像质量的确定主要采用深度学习方法，而深度学习方法主要分为score-based、rank-based和multi-task。其中，score-based方法是最为简单的方法，其方法结构如图2所示，网络输出为一个0到1的图像质量得分，并通过得分判定图像质量。rank-based则是由直接的分数回归转变为学习图片的质量排名，如图3所示，通过人工模拟失真类型的方法，通过两阶段的训练方式：训练质量排名-》回归质量分数，得到图像质量得分以确定图像质量。multi-task是期望通过多任务学习的方式增加挖掘图像质量的额外监督信息，辅助质量的评估。
4.但是，深度学习方法对模型训练的场景具有依赖性，导致无法同时对其他场景下的图像进行质量的确定。


技术实现要素：

5.本技术的主要目的在于提供一种图像质量的确定方法、装置、终端及存储介质，以解决相关技术中存在无法适用于其他场景下的图像质量的确定的问题。
6.为了实现上述目的，第一方面，本技术提供了一种图像质量的确定方法，包括：
7.接收原始图像；
8.对原始图像进行预处理，得到多个子图像；
9.利用第一场景图像数据集和第二场景图像数据集对初始孪生网络模型进行训练，确定目标孪生网络模型，其中，第一场景图像数据集包括第一场景图像对应的图像质量数据；
10.基于多个子图像和目标孪生网络模型，确定原始图像的图像质量。
11.在一种可能的实现方式中，对原始图像进行预处理，得到多个子图像，包括：
12.将原始图像进行格式转换，得到格式转换后的原始图像；
13.利用预设滑窗对格式转换后的原始图像进行滑窗处理，得到多个子图像。
14.在一种可能的实现方式中，利用第一场景图像数据集和第二场景图像数据集对初始孪生网络模型进行训练，确定目标孪生网络模型，包括：
15.将第一场景图像数据集和第二场景图像数据集进行融合，得到融合数据集；
16.对融合数据集中的数据进行提取，得到第一融合数据集和第二融合数据集，其中，第一融合数据集中包含的第一场景图像数据的数量大于第二场景图像数据集中的数据的
数量，第二融合数据集中包含的第二场景图像数据的数量大于第二场景图像数据集中的数据的数量；
17.将第二场景图像数据集和第一融合数据集中的数据输入到初始孪生网络模型中的第一网络中，得到第一输出结果，并同时将第二场景图像数据集和第二融合数据集中的数据输入到初始孪生网络模型中的第二网络中，得到第二输出结果；
18.基于第一输出结果、第二输出结果和预设损失函数，确定目标孪生网络模型。
19.在一种可能的实现方式中，第一输出结果包括第二场景图像数据集对应的子第一输出结果和第一融合数据集对应的子第二输出结果，第二输出结果包括第二场景图像数据集对应的子第三输出结果和第二融合数据集对应的子第四输出结果；
20.基于第一输出结果、第二输出结果和预设函数，确定目标孪生网络模型，包括：
21.分别基于子第一输出结果和子第三输出结果，确定子第五输出结果和子第六输出结果；
22.利用预设损失函数对子第一输出结果、子第二输出结果、子第三输出结果、子第四输出结果、子第五输出结果和子第六输出结果进行迭代更新，得到初始拟合结果；
23.在初始拟合结果满足预设拟合结果的情况下，将初始孪生网络模型作为目标孪生网络模型。
24.在一种可能的实现方式中，分别基于子第一输出结果和子第三输出结果，确定子第五输出结果和子第六输出结果，包括：
25.分别选取子第一输出结果和子第三输出结果中分值最高的图像对应的图像质量类型，得到第一图像质量类型和第二图像质量类型；
26.将第一图像质量类型、第一图像质量类型对应的分值、标签数据以及阈值作为子第五输出结果；
27.将第二图像质量类型、第二图像质量类型对应的分值、标签数据以及阈值作为子第六输出结果。
28.在一种可能的实现方式中，预设损失函数包括第一损失函数、第二损失函数、第三损失函数、第四损失函数和第五损失函数，所初始拟合结果包括第一拟合结果、第二拟合结果、第三拟合结果、第四拟合结果和第五拟合结果；
29.利用预设损失函数对子第一输出结果、子第二输出结果、子第三输出结果、子第四输出结果、子第五输出结果和子第六输出结果进行迭代更新，得到初始拟合结果，包括：
30.将子第二输出结果、第一图像质量类型以及第一图像质量类型对应的标签数据输入第一损失函数，得到第一拟合结果；
31.将子第三输出结果、第一图像质量类型以及第一图像质量类型对应的分值、阈值输入第二损失函数，得到第二拟合结果；
32.将子第一输出结果、第二图像质量类型以及第二图像质量类型对应的分值、阈值输入第三损失函数，得到第三拟合结果；
33.将子第四输出结果、第二图像质量类型以及第二图像质量类型对应的标签数据输入第四损失函数，得到第四拟合结果；
34.将子第一输出结果和子第三输出结果输入第五损失函数，得到第五拟合结果。
35.在一种可能的实现方式中，基于多个子图像和目标孪生网络模型，确定原始图像
的图像质量，包括：
36.将多个子图像输入目标孪生网络模型中的第一网络，得到多个目标结果，其中，多个子图像与多个目标结果一一对应；
37.从多个目标结果中的每个目标结果中提取图像质量类型对应的分值，得到多个子图像中的每个子图像对应的图像质量类型对应的分值；
38.将每个子图像对应的图像质量类型对应的分值与预设标准分值进行比较，确定每个子图像对应的图像质量类型；
39.基于每个子图像对应的图像质量类型，确定原始图像的图像质量。
40.在一种可能的实现方式中，原始图像为rgb图像。
41.第二方面，本发明实施例提供了一种图像质量的确定装置，包括：
42.图像接收模块，用于接收原始图像；
43.图像预处理模块，用于对原始图像进行预处理，得到多个子图像；
44.模型训练模块，用于利用第一场景图像数据集和第二场景图像数据集对初始孪生网络模型进行训练，确定目标孪生网络模型，其中，第一场景图像数据集包括第一场景图像对应的图像质量数据；
45.图像质量确定模块，用于基于多个子图像和目标孪生网络模型，确定原始图像的图像质量。
46.第三方面，本发明实施例提供了一种终端，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上任一种图像质量的确定方法的步骤。
47.第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上任一种图像质量的确定方法的步骤。
48.本发明实施例提供了一种图像质量的确定方法、装置、终端及存储介质，包括：接收原始图像，然后对原始图像进行预处理，得到多个子图像，再利用第一场景图像数据集和第二场景图像数据集对初始孪生网络模型进行训练，确定目标孪生网络模型，最后基于多个子图像和目标孪生网络模型，确定原始图像的图像质量。本发明的目标孪生网络模型包括两个网络模型，两个网络模型通过互相监督学习，增强了两个网络对不同场景下图像数据的泛化能力，此外，目标孪生网络模型可支持不同尺寸的图像的质量检测。当原始图像为任意场景图像时，目标孪生网络模型均能有效输出其图像质量类型，且不会因图像尺寸问题影响图像质量的确定，提高了图像质量确定的准确性。
附图说明
49.构成本技术的一部分的附图用来提供对本技术的进一步理解，使得本技术的其它特征、目的和优点变得更明显。本技术的示意性实施例附图及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
50.图1是本发明实施例提供的一种图像质量概念的描述图；
51.图2是本发明实施例提供的采用score-based方法进行图像质量检测的实现流程图；
52.图3是本发明实施例提供的采用rank-based方法进行图像质量检测的实现流程图；
53.图4是本发明实施例提供的一种图像质量的确定方法的实现流程图；
54.图5是本发明实施例提供的对图像进行滑窗处理的原理示意图；
55.图6是本发明实施例提供的对初始孪生网络模型进行训练的网络处理的实现流程图；
56.图7是本发明实施例提供的对初始孪生网络模型进行训练中的多损失函数融合的实现流程图；
57.图8是本发明实施例提供的一种图像质量的确定装置的结构示意图；
58.图9是本发明实施例提供的终端的示意图。
具体实施方式
59.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
60.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
61.应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
62.应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
63.应当理解，在本发明中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含a、b和c”、“包含a、b、c”是指a、b、c三者都包含，“包含a、b或c”是指包含a、b、c三者之一，“包含a、b和/或c”是指包含a、b、c三者中任1个或任2个或3个。
64.应当理解，在本发明中，“与a对应的b”、“与a相对应的b”、“a与b相对应”或者“b与a相对应”，表示b与a相关联，根据a可以确定b。根据a确定b并不意味着仅仅根据a确定b，还可以根据a和/或其他信息确定b。a与b的匹配，是a与b的相似度大于或等于预设的阈值。
65.取决于语境，如在此所使用的“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。
66.下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
67.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图通过具体实施例来进行说明。
68.在一个实施例中，如图4所示，提供了一种图像质量的确定方法，包括以下步骤：
69.步骤s401：接收原始图像；
70.步骤s402：对原始图像进行预处理，得到多个子图像。
71.对于图像的预处理，本发明先将原始图像进行格式转换，得到格式转换后的原始图像，然后利用预设滑窗对格式转换后的原始图像进行滑窗处理，得到多个子图像。
72.下面以原始图像为rgb图像为例来说明图像的预处理过程，具体地，假设rgb图像的输入形状为(h，w，3)，其中，h表示rgb图像的高，w表示rgb图像的宽和3表示rgb图像的通道数为3。由于rgb图像需要输入目标孪生网络模型，因此，此处需要将rgb图像进行格式转换(维度转换)，以使格式转换后的rgb图像满足目标孪生网络模型所需要的输入数据的格式。本技术采用totensor操作，将输入形状为(h，w，3)的rgb图像转换为形状为(1，3，h，w)的图像，由于针对图像质量的现有技术并不能有效地支持图片的多尺度，本发明的期望是尽量不通过resize的方式对格式转换后的图像进行缩放，而是通过划分patch的方法对图片进行裁剪。
73.如图5所示，通过我们设定的patch_size对格式转换后的rgb图像进行滑窗处理，将图片分割为多个patch，即多个子图像后再输入目标孪生网络。这样可以在不损失原图精度的情况下进行预测，另外在训练过程中为了模拟我们的预处理方法，采取了对原始随机裁剪的方式。
74.步骤s403：利用第一场景图像数据集和第二场景图像数据集对初始孪生网络模型进行训练，确定目标孪生网络模型。
75.其中，第一场景图像数据集包括第一场景图像对应的图像质量数据，图像质量数据是指通过在第一场景图像上设置标签而得到的标签数据。
76.由于针对图像质量的现有技术对数据及场景具有依赖性，本发明采取了一种基于孪生网络的多模型融合模块以支持通用ocr等各种场景的预测，减轻模型对训练集的过拟合。另外本发明所采取的方法并非以质量得分的形式表现，而是通过人工设定失真的类别(即图像质量的类型)，针对预先设定的类别做识别。
77.下面结合图6所示的初始孪生网络模型阐述确定目标孪生网络模型的过程：
78.首先将第一场景图像数据集和第二场景图像数据集进行融合，得到融合数据集。在训练上本发明使用了域自适应的方法，将数据集分为第一场景图像数据集(也称源数据集，source set)和第二场景图像数据集(也称目标数据集，target set)，源数据集的特点是标注数据量多，目标数据集的特点是标注数据量很少，甚至没有标注。而这样设计的目的是我们期望更快速且有效率地进行数据扩充，且能够提升模型迁移的效率。比如我们的源数据集中有大量标注但场景单一的图片，也就是说源数据集中的图像为第一场景图像，但我们希望训练好的模型不光可以在与源数据集相同场景下做预测，还可以在其他场景上做预测。
79.由此我们引入了目标数据集，在训练时采用孪生网络的方式，使两个数据集的数据分别经过两个网络，网络的输出经过互相监督模块(mutual module)，建立两个数据集之间的联系。使得输出的模型可以扩充到更多样的场景当中。训练之前通过mixup将来自两个
域的数据集进行处理，即源数据集和目标数据集进行融合，得到融合数据集(图6中所示的mix module)。其中，mixup的计算公式如下：
80.im＝α*is+(1-α)*i
t
81.其中，α(alpha)为随机数，范围是0到1之间，一般是人工设置的比如0.3、0.5等，i_s是源数据集中的一张图片，i_t是目标数据集中的一张图片，i_m是两张图片mixup的结果。
82.数据进行融合后，分别通过两个模型(net1和met2)及互相监督模块(mutual module)，更加增强模型对源数据集和目标数据集的泛化能力。由于源数据集对应的第一场景图像均包含标签数据，但是目标数据集对应的第二场景图像包含标签数据的情况很少，为了实现初始孪生模型中的两个网络模型的监督效果，在对初始孪生模型进行训练时，将不同的数据输入两个网络模型中，为后续的拟合提供条件。
83.基于不同网络模型输入数据的不同，需先对融合数据集中的数据进行提取，得到第一融合数据集和第二融合数据集，然后将第二场景图像数据集和第一融合数据集中的数据输入到初始孪生网络模型中的第一网络(即第一网络模型net1)中，得到第一输出结果，并同时将第二场景图像数据集和第二融合数据集中的数据输入到初始孪生网络模型中的第二网络(即第二网络模型net2)中，得到第二输出结果。其中，第一融合数据集中包含的第一场景图像数据的数量大于第二场景图像数据集中的数据的数量，第二融合数据集中包含的第二场景图像数据的数量大于第二场景图像数据集中的数据的数量。
84.当将上述数据输入至初始孪生网络模型的两个网络模型中后，两个网络模型分别输出第一输出结果、第二输出结果，然后基于第一输出结果、第二输出结果和预设函数，确定目标孪生网络模型。其中，第一输出结果包括第二场景图像数据集对应的子第一输出结果o_s和第一融合数据集对应的子第二输出结果m_s，第二输出结果包括第二场景图像数据集对应的子第三输出结果o_t和第二融合数据集对应的子第四输出结果m_t。其中，o_s和o_t此时输出的形状为(b，c)，其中，b表示batch(模型训练时一次输入模型中图像数目)，c表示失真类别数(即图像质量类型的数目)。
85.而基于第一输出结果、第二输出结果和预设函数，确定目标孪生网络模型，首先需要分别基于子第一输出结果o_s和子第三输出结果o_t，确定子第五输出结果和子第六输出结果，具体的，分别选取子第一输出结果o_s和子第三输出结果o_t中分值最高的图像对应的图像质量类型，得到第一图像质量类型p_s和第二图像质量类型p_t，此处是对子第一输出结果o_s和子第三输出结果o_t在c维度上取最大(top1)，也就是说，遍历子第一输出结果o_s和子第三输出结果o_t中所有图像质量类型对应的分值，分别在子第一输出结果o_s和子第三输出结果o_t中查找分值最高的图像对应的图像质量类型。然后将第一图像质量类型p_s、第一图像质量类型对应的分值s_s、标签数据y_s以及阈值t_s作为子第五输出结果；将第二图像质量类型p_t、第二图像质量类型对应的分值s_t、标签数据y_s以及阈值t_t作为子第六输出结果。
86.当确定全部参数后，可通过预设损失函数进行参数的迭代更新，当参数迭代更新后，则对初始孪生网络模型训练完成，即得到目标孪生网络模型。下面结合图7来阐述通过预设损失函数实现参数迭代更新的过程，具体如下：
87.首先利用预设损失函数对子第一输出结果o_s、子第二输出结果m_s、子第三输出结果o_t、子第四输出结果m_t、子第五输出结果和子第六输出结果进行迭代更新，得到初始
拟合结果。具体的，利用预设损失函数对子第一输出结果o_s、子第二输出结果m_s、子第三输出结果o_t、子第四输出结果m_t、第一图像质量类型p_s、第一图像质量类型对应的分值s_s、标签数据y_s以及阈值t_s，以及第二图像质量类型p_t、第二图像质量类型对应的分值s_t、标签数据y_s以及阈值t_t进行迭代更新，得到初始拟合结果。其中，预设损失函数包括第一损失函数loss1、第二损失函数loss2、第三损失函数loss3、第四损失函数loss4和第五损失函数loss5，初始拟合结果包括第一拟合结果、第二拟合结果、第三拟合结果、第四拟合结果和第五拟合结果。
88.进一步地，确定第一拟合结果、第二拟合结果、第三拟合结果、第四拟合结果和第五拟合结果具体如下：
89.由于目标数据集没有人工标签，下面公式中的第一图像质量类型p_s和第二图像质量类型p_t作为伪标签。
90.(1)将子第二输出结果m_s、第一图像质量类型p_s以及第一图像质量类型对应的标签数据y_s输入第一损失函数loss1，得到第一拟合结果。其中，第一拟合结果即loss1对应的值。loss1的计算公式具体如下：
[0091][0092]
其中，b表示batch，即模型训练时一次输入模型中图像数目，i为第i张图像，α(alpha)为mixup的参数，范围是0到1之间，一般是人工设置的比如0.3、0.5等。
[0093]
(2)将子第三输出结果o_t、第一图像质量类型p_s以及第一图像质量类型对应的分值s_s、阈值t_s输入第二损失函数loss2，得到第二拟合结果。其中，第二拟合结果即loss2对应的值。loss2的计算公式具体如下：
[0094][0095]
其中，b表示batch，即模型训练时一次输入模型中图像数目，i为第i张图像。
[0096]
(3)将子第一输出结果o_s、第二图像质量类型p_t以及第二图像质量类型对应的分值s_t、阈值t_t输入第三损失函数loss3，得到第三拟合结果。其中，第三拟合结果即loss3对应的值。loss3的计算公式具体如下：
[0097][0098]
其中，b表示batch，即模型训练时一次输入模型中图像数目，i为第i张图像。
[0099]
(4)将子第四输出结果m_t、第二图像质量类型p_t以及第二图像质量类型对应的标签数据y_s输入第四损失函数loss4，得到第四拟合结果。其中，第四拟合结果即loss4对应的值。loss4的计算公式具体如下：
[0100]
[0101]
其中，b表示batch，即模型训练时一次输入模型中图像数目，i为第i张图像，α(alpha)为mixup的参数，范围是0到1之间，一般是人工设置的比如0.3、0.5等。
[0102]
(5)将子第一输出结果o_s和子第三输出结果o_t输入第五损失函数loss5，得到第五拟合结果。其中，第五拟合结果即loss5对应的值。loss5的计算公式具体如下：
[0103][0104]
其中，b表示batch，即模型训练时一次输入模型中图像数目，i为第i张图像。
[0105]
通过上述预设损失函数，得到初始拟合结果后，需要在初始拟合结果满足预设拟合结果的情况下，将初始孪生网络模型作为目标孪生网络模型。
[0106]
步骤s404：基于多个子图像和目标孪生网络模型，确定原始图像的图像质量。
[0107]
当通过上述步骤确定目标孪生网络模型后，需将多个子图像输入目标孪生网络模型中的第一网络，得到多个目标结果，其中，多个子图像与多个目标结果一一对应。然后从多个目标结果中的每个目标结果中提取图像质量类型对应的分值，得到多个子图像中的每个子图像对应的图像质量类型对应的分值，再将每个子图像对应的图像质量类型对应的分值与预设标准分值进行比较，确定每个子图像对应的图像质量类型，最后基于每个子图像对应的图像质量类型，确定原始图像的图像质量。
[0108]
本发明实施例提供了一种图像质量的确定方法，包括：接收原始图像，然后对原始图像进行预处理，得到多个子图像，再利用第一场景图像数据集和第二场景图像数据集对初始孪生网络模型进行训练，确定目标孪生网络模型，最后基于多个子图像和目标孪生网络模型，确定原始图像的图像质量。本发明的目标孪生网络模型包括两个网络模型，两个网络模型通过互相监督学习，增强了两个网络对不同场景下图像数据的泛化能力，此外，目标孪生网络模型可支持不同尺寸的图像的质量检测。当原始图像为任意场景图像时，目标孪生网络模型均能有效输出其图像质量类型，且不会因图像尺寸问题影响图像质量的确定，提高了图像质量确定的准确性。
[0109]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0110]
以下为本发明的装置实施例，对于其中未详尽描述的细节，可以参考上述对应的方法实施例。
[0111]
图8示出了本发明实施例提供的一种图像质量的确定装置的结构示意图，为了便于说明，仅示出了与本发明实施例相关的部分，一种图像质量的确定装置包括图像接收模块81、图像预处理模块82、模型训练模块83和图像质量确定模块84，具体如下：
[0112]
图像接收模块81，用于接收原始图像；
[0113]
图像预处理模块82，用于对原始图像进行预处理，得到多个子图像；
[0114]
模型训练模块83，用于利用第一场景图像数据集和第二场景图像数据集对初始孪生网络模型进行训练，确定目标孪生网络模型，其中，第一场景图像数据集包括第一场景图像对应的图像质量数据；
[0115]
图像质量确定模块84，用于基于多个子图像和目标孪生网络模型，确定原始图像
的图像质量。
[0116]
在一种可能的实现方式中，图像预处理模块82包括：
[0117]
格式转换子模块，用于将原始图像进行格式转换，得到格式转换后的原始图像；
[0118]
滑窗处理子模块，用于利用预设滑窗对格式转换后的原始图像进行滑窗处理，得到多个子图像。
[0119]
在一种可能的实现方式中，模型训练模块83包括：
[0120]
数据融合子模块，用于将第一场景图像数据集和第二场景图像数据集进行融合，得到融合数据集；
[0121]
数据提取子模块，用于对融合数据集中的数据进行提取，得到第一融合数据集和第二融合数据集，其中，第一融合数据集中包含的第一场景图像数据的数量大于第二场景图像数据集中的数据的数量，第二融合数据集中包含的第二场景图像数据的数量大于第二场景图像数据集中的数据的数量；
[0122]
网络处理子模块，用于将第二场景图像数据集和第一融合数据集中的数据输入到初始孪生网络模型中的第一网络中，得到第一输出结果，并同时将第二场景图像数据集和第二融合数据集中的数据输入到初始孪生网络模型中的第二网络中，得到第二输出结果；
[0123]
函数处理子模块，用于基于第一输出结果、第二输出结果和预设损失函数，确定目标孪生网络模型。
[0124]
在一种可能的实现方式中，第一输出结果包括第二场景图像数据集对应的子第一输出结果和第一融合数据集对应的子第二输出结果，第二输出结果包括第二场景图像数据集对应的子第三输出结果和第二融合数据集对应的子第四输出结果；
[0125]
函数处理子模块包括：
[0126]
计算单元，用于分别基于子第一输出结果和子第三输出结果，确定子第五输出结果和子第六输出结果；
[0127]
参数更新单元，用于利用预设损失函数对子第一输出结果、子第二输出结果、子第三输出结果、子第四输出结果、子第五输出结果和子第六输出结果进行迭代更新，得到初始拟合结果；
[0128]
拟合单元，用于在初始拟合结果满足预设拟合结果的情况下，将初始孪生网络模型作为目标孪生网络模型。
[0129]
在一种可能的实现方式中，计算单元包括：
[0130]
图像选取子单元，用于分别选取子第一输出结果和子第三输出结果中分值最高的图像对应的图像质量类型，得到第一图像质量类型和第二图像质量类型；
[0131]
第一输出结果确定子单元，用于将第一图像质量类型、第一图像质量类型对应的分值、标签数据以及阈值作为子第五输出结果；
[0132]
第二输出结果确定子单元，用于将第二图像质量类型、第二图像质量类型对应的分值、标签数据以及阈值作为子第六输出结果。
[0133]
在一种可能的实现方式中，预设损失函数包括第一损失函数、第二损失函数、第三损失函数、第四损失函数和第五损失函数，所初始拟合结果包括第一拟合结果、第二拟合结果、第三拟合结果、第四拟合结果和第五拟合结果；
[0134]
参数更新单元包括：
processing unit，简称：cpu)，还可以是其他通用处理器、数字信号处理器(英文：digital signal processor，简称：dsp)、专用集成电路(英文：application specific integrated circuit，简称：asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
[0151]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。