图像增强模型的训练、图像增强方法、装置及电子设备与流程

1.本发明涉及图像处理技术领域，具体涉及图像增强模型的训练、图像增强方法、装置及电子设备。


背景技术：

2.移动端设备在环境光源极弱时所拍摄的图像往往会存在画面死黑、噪声较多等问题，一方面由于画面的死黑现象，导致显示端图像画面的质量较差，无法显示画面中的有效内容，影响人们对画面的主观感受；另一方面会影像后续基于图像的智能算法分析。其中，通过低照条件下的图像增强技术能够在提升图像亮度的同时减少图像中的噪声，还原图像信息，改善图像的感官感受，能够呈现出画面本身的有效信息，同时提高了后续相关智能算法的性能。
3.近几年，深度学习技术推动了图像增强领域的发展，取得了巨大的进步。一般情况下，基于深度学习的低照模型包含着数亿级别的参数量，且需要对整图进行图像增强，一般图像数据尺寸都较大，但终端设备的内存占用往往是有限的，无法加载模型的参数和图像数据。基于此，现有技术在实际部署推断时直接使用分块
‑
推断
‑
拼接的方法，以降低内存的占用情况，缓解内存拷贝的压力。然而，采用这一方法处理得到的图像画面由于卷积的作用会出现较明显的分割线，即边界效应较明显，影响图像画面的增强效果。


技术实现要素：

4.有鉴于此，本发明实施例提供了一种图像增强模型的训练、图像增强方法、装置及电子设备，以解决图像增强处理后边界效应较明显的问题。
5.根据第一方面，本发明实施例提供了一种图像增强模型的训练方法，包括：
6.获取第一样本图像块、与所述第一样本图像块对应的第二样本图像块以及翻转样本图像块，所述第二样本图像块的分辨率高于所述第一样本图像块，所述翻转样本图像块为所述第一样本图像块翻转得到的；
7.将所述第一样本图像块以及所述第一翻转样本图像块输入图像增强模型中，得到第一目标图像块以及翻转图像块；
8.对所述翻转图像块进行翻转，得到翻转目标图像块；
9.基于所述第一目标图像块、所述第二样本图像块以及所述翻转目标图像块进行损失函数计算，更新所述图像增强模型的参数，确定目标图像增强模型。
10.本发明实施例提供的图像增强模型的训练方法，通过对第一样本图像块进行翻转得到翻转样本图像块，在模型的卷积处理过程中，第一样本图像块与翻转样本图像块对应的补零位置不同，再基于第一样本图像块与翻转样本图像块对应的第一目标图像块以及翻转目标图像块进行损失函数的计算，能够提高目标图像增强模型对图像块边界处细节的恢复、减少噪声，解决边界效应的问题。
11.结合第一方面，在第一方面第一实施方式中，所述将所述第一样本图像块以及所
述第一翻转样本图像块输入图像增强模型中，得到第一目标图像块以及翻转图像块，包括：
12.获取预设图像增强模型，所述预设图像增强模型是基于所述第一样本图像块以及所述第二样本图像块训练得到的；
13.利用所述预设图像增强模型初始化所述图像增强模型，所述图像增强模型与所述预设图像增强模型相同；
14.将所述第一样本图像块与所述第一翻转样本图像块输入所述图像增强模型中，得到所述第一目标图像块以及翻转图像块。
15.本发明实施例提供的图像增强模型的训练方法，先获取预设图像增强模型，利用预设图像增强模型指导图像增强模型的训练，将预设图像增强模型作为先验知识指导图像增强模型，使得图像增强模型在预设图像增强模型基础上微调去消除边界效应，减少网络的学习难度，提高网络收敛效果。
16.结合第一方面第一实施方式，在第一方面第二实施方式中，所述基于所述第一目标图像块、所述第二样本图像块以及所述翻转目标图像块进行损失函数计算，更新所述图像增强模型的参数，确定目标图像增强模型，包括：
17.利用所述第一目标图像块与所述翻转目标图像块进行损失函数计算，得到第一损失函数值；
18.利用所述第二样本图像块分别与所述第一目标图像块以及所述翻转目标图像块进行损失函数计算，得到第二损失函数值以及第三损失函数值；
19.基于所述第一损失函数值、所述第二损失函数值以及所述第三损失函数值，确定分块损失；
20.利用所述分块损失更新所述图像增强模型的参数，确定所述目标图像增强模型。
21.本发明实施例提供的图像增强模型的训练方法，分别利用第一目标图像块与翻转目标图像块的差异、第一目标图像块与第二样本图像块、以及翻转目标图像块与第二样本图像块进行损失函数计算，结合了第一样本图像块以及翻转目标图像块自身的损失，以及第一样本图像块与翻转图像块之间的差异，提高了分块损失的准确性，进而可以消除目标图像增强模型的边界效应。
22.结合第一方面第二实施方式，在第一方面第三实施方式中，所述获取预设图像增强模型，包括：
23.将所述第一样本图像块输入低照图像增强模型中，得到增强样本图像块；
24.基于所述增强样本图像块以及所述第二样本图像块进行损失函数计算，更新所述低照图像增强模型的参数，确定所述预设图像增强模型。
25.本发明实施例提供的图像增强模型的训练方法，先训练得到预设图像增强模型的目的是优先保证低照图像的增强效果，从而使得利用预设图像增强模型的参数进行初始化的图像增强模型具有低照图像增强效果，从而在此基础上，对图像增强模型进行训练得到的目标图像增强模型可以在保证低照图像增强效果的同时，实现消除低照增强图像的边界效应。
26.结合第一方面第三实施方式，在第一方面第四实施方式中，所述基于所述增强样本图像块以及所述第二样本图像块进行损失函数计算，更新所述低照图像增强模型的参数，确定所述预设图像增强模型，包括：
27.利用所述增强样本图像块与所述第二样本图像块的像素差异，计算像素损失函数值；
28.利用所述增强样本图像块与所述第二样本图像块的特征差异，计算特征损失函数值；
29.利用所述增强样本图像块的像素统计值与所述第二样本图像块的像素统计值，计算图像质量损失函数值；
30.基于所述像素损失函数值、所述特征损失函数值以及所述图像质量损失函数值，确定目标损失；
31.利用所述目标损失更新所述低照图像增强模型的参数，确定所述预设图像增强模型。
32.本发明实施例提供的图像增强模型的训练方法，利用像素损失函数值在像素级别上对图像进行约束，利用特征损失函数值在颜色以及细节等方面对图像进行约束，利用图像质量损失函数值对图像的整体质量进行约束，使得图像的风格更加符合人眼的感官感受，提高了目标损失的准确性，进而保证了预设图像增强模型的图像增强效果。
33.根据第二方面，本发明实施例还提供了一种图像增强方法，包括：
34.获取待处理图像；
35.对所述待处理图像进行分块，得到至少一个待处理图像块；
36.将所述至少一个待处理图像块输入目标图像增强模型中，得到与各个待处理图像块对应的目标图像块，所述目标图像增强模型是根据本发明第一方面，或第一方面任一项实施方式中所述的图像增强模型的训练方法训练得到的；
37.对所述目标图像块进行拼接，得到目标图像。
38.本发明实施例提供的图像增强方法，通过分块以及边界约束的方式训练得到的目标图像增强模型，可以有效地解决现有的图像增强算法存在内存占用较大、分块
‑
推断
‑
拼接时存在的边界效应问题，能够提高对图像块边界处细节的恢复、减少噪声。
39.根据第三方面，本发明实施例还提供了一种图像增强模型的训练装置，包括：
40.第一获取模块，用于获取第一样本图像块、与所述第一样本图像块对应的第二样本图像块以及翻转样本图像块，所述第二样本图像块的分辨率高于所述第一样本图像块，所述翻转样本图像块为所述第一样本图像块翻转得到的；
41.第一输入模块，用于将所述第一样本图像块以及所述第一翻转样本图像块输入图像增强模型中，得到第一目标图像块以及翻转图像块；
42.翻转模块，用于对所述翻转图像块进行翻转，得到翻转目标图像块；
43.第一更新模块，用于基于所述第一目标图像块、所述第二样本图像块以及所述翻转目标图像块进行损失函数计算，更新所述图像增强模型的参数，确定目标图像增强模型。
44.本发明实施例提供的图像增强模型的训练装置，通过对第一样本图像块进行翻转得到翻转样本图像块，在模型的卷积处理过程中，第一样本图像块与翻转样本图像块对应的补零位置不同，再基于第一样本图像块与翻转样本图像块对应的第一目标图像块以及翻转目标图像块进行损失函数的计算，能够提高目标图像增强模型对图像块边界处细节的恢复、减少噪声，解决边界效应的问题。
45.根据第四方面，本发明实施例还提供了一种图像增强装置，包括：
46.第二获取模块，用于获取待处理图像；
47.分块模块，用于对所述待处理图像进行分块得到至少一个待处理图像块；
48.第二输入模块，用于将所述至少一个待处理图像块输入目标图像增强模型中，得到与各个待处理图像块对应的目标图像块，所述目标图像增强模型是根据本发明第一方面或第一方面任一项实施方式中所述的图像增强模型的训练方法训练得到的；
49.拼接模块，用于对所述目标图像块进行拼接，得到目标图像。
50.本发明实施例提供的图像增强装置，通过分块以及边界约束的方式训练得到的目标图像增强模型，可以有效地解决现有的图像增强算法存在内存占用较大、分块
‑
推断
‑
拼接时存在的边界效应问题，能够提高对图像块边界处细节的恢复、减少噪声。
51.根据第五方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的图像增强模型的训练方法，或执行第二方面所述的图像增强方法。
52.根据第六方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的图像增强模型的训练方法，或第二方面所述的图像增强方法。
附图说明
53.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
54.图1是根据本发明实施例的图像增强模型的训练方法的流程图；
55.图2是根据本发明实施例的图像增强模型的训练方法的流程图；
56.图3是根据本发明实施例的分块训练的流程图；
57.图4是根据本发明实施例的图像增强模型的训练方法的流程图；
58.图5是根据本发明实施例的分块训练的分块细节图；
59.图6a是根据本发明实施例的预设图像增强模型的网络结构图；
60.图6b是根据本发明实施例的预设图像增强模型中残差块的网络结构图；
61.图7是根据本发明实施例的图像增强方法的流程图；
62.图8a
‑
图8b是现有图像增强方法与本发明实施例中图像增强方法的图像增强结果的示意图；
63.图9是根据本发明实施例的图像增强模型的训练装置的结构框图；
64.图10是根据本发明实施例的图像增强装置的结构框图；
65.图11是本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
66.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例
中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
67.作为本发明实施例提供的图像增强的一个可选的应用场景，在视频监控下，由于天气等原因可能会导致前端图像采集设备所采集到的图像质量不佳，此时就需要对其进行图像增强处理，以便于后续的图像分析处理。
68.本发明实施例提供的图像增强方法，采用的是分块
‑
推断
‑
拼接的方式对采集到的图像进行增强处理。具体地，先对采集到的图像进行分块，再将其输入至目标图像增强模型中进行图像增强处理，再对图像增强处理后的图像块进行拼接，即可得到与采集到的图像对应的图像增强结果。
69.其中，所述的图像增强方法可以是运行在前端图像采集设备中，也可以运行在后台服务器中，或者运行在其他电子设备中，在此对图像增强方法的具体应用对象并不做任何限制，具体可以依据实际情况进行相应的设置。
70.当图像增强方法应用在前端图像采集设备中时，前端图像采集设备采集到图像之后，就直接对其进行图像增强处理，并将图像增强处理后的结果。进一步地，后续可以将图像增强后的结果发送给第三方设备进行分析等处理。
71.当图像增强方法应用在后台服务器中时，前端图像采集设备与后台服务器连接。前端图像采集设备采集到图像，并将其发送给后台服务器。后台服务器利用本发明实施例所述的图像增强方法对其进行图像增强处理，得到图像增强处理后的结果。进一步地，后台服务器可以在图像增强处理结果的基础上进行分析等处理，也可以将其发送给第三方设备进行处理等等。
72.关于图像增强方法以及目标图像增强模型的具体细节将在下文中进行详细描述。
73.根据本发明实施例，提供了一种图像增强模型的训练方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
74.在本实施例中提供了一种图像增强模型的训练方法，可用于上述的电子设备，如电脑、手机、前端图像采集设备、平板电脑等，图1是根据本发明实施例的图像增强模型的训练方法的流程图，如图1所示，该流程包括如下步骤：
75.s11，获取第一样本图像块、与第一样本图像块对应的第二样本图像块以及翻转样本图像块。
76.其中，所述第二样本图像块的分辨率高于所述第一样本图像块，所述翻转样本图像块为所述第一样本图像块翻转得到的。
77.具体地，第一样本图像块为低质量图像块，第二样本图像块为与低质量图像块对应的高质量图像块。第一样本图像块与第二样本图像块可以通过对抗网络生成的，也可以是通过其他方法得到的，在此对其并不做任何限制。所述的图像块是通过对完整的图像进行划分得到的，例如，对于图像a进行划分，可以得到2个图像块，也可以得到4个图像块。
78.翻转样本图像块为对第一样本图像块翻转得到，例如，可以翻转90
°
，或翻转180
°
，或翻转270
°
等等，在此对其翻转角度并不做任何限制，只需保证翻转前后的图像块的形状
及尺寸保持不变。
79.s12，将第一样本图像块以及第一翻转样本图像块输入图像增强模型中，得到第一目标图像块以及翻转图像块。
80.图像增强模型可以是基于uresnet网络构建，也可以是基于其他网络构建，或者是利用其他已经训练好的图像增强模型初始化后得到的，具体根据实际需求进行相应的设置。
81.电子设备将第一样本图像块以及第一翻转样本图像块输入图像增强模型中，利用图像增强模型分别对输入的图像块进行图像增强处理，得到第一目标图像块以及翻转图像块。
82.关于该步骤具体将在下文中进行详细描述。
83.s13，对翻转图像块进行翻转，得到翻转目标图像块。
84.电子设备对翻转图像块进行翻转，例如，翻转样本图像块是对第一样本图像块顺时针翻转90
°
后得到的，那么电子设备对翻转图像块逆时针翻转90
°
后得到翻转目标图像块。即，电子设备沿与形成翻转样本图像块的翻转反方向对翻转图像块进行翻转，得到所述的翻转目标图像块。
85.s14，基于第一目标图像块、第二样本图像块以及翻转目标图像块进行损失函数计算，更新图像增强模型的参数，确定目标图像增强模型。
86.电子设备可以利用第一目标图像块与第二样本图像块，计算图像增强模型的图像增强损失；再利用第一目标图像块、第二样本图像块以及翻转目标图像块，计算图像增强模型的分块损失；最后结合图像增强损失与分块损失，更新图像增强模型的参数，确定目标图像增强模型。例如，若图像增强模型是同时进行图像增强以及边界效应的训练，那么，就需要分别计算对应于图像增强的图像增强损失，以及对应于边界效应的分块损失；再基于图像增强损失与分块损失，确定目标图像增强模型。
87.若图像增强模型是利用已经训练得到的图像增强模型初始化后得到的，那么，电子设备仅需要利用利用第一目标图像块、第二样本图像块以及翻转目标图像块，计算图像增强模型的分块损失；利用分块损失更新图像增强模型的参数，确定目标图像增强模型。
88.关于该步骤具体将在下文中进行详细描述。
89.本实施例提供的图像增强模型的训练方法，通过对第一样本图像块进行翻转得到翻转样本图像块，在模型的卷积处理过程中，第一样本图像块与翻转样本图像块对应的补零位置不同，再基于第一样本图像块与翻转样本图像块对应的第一目标图像块以及翻转目标图像块进行损失函数的计算，能够提高目标图像增强模型对图像块边界处细节的恢复、减少噪声，解决边界效应的问题。
90.在本实施例中提供了一种图像增强模型的训练方法，可用于上述的电子设备，如电脑、手机、前端图像采集设备、平板电脑等，图2是根据本发明实施例的图像增强模型的训练方法的流程图，如图2所示，该流程包括如下步骤：
91.s21，获取第一样本图像块、与所述第一样本图像块对应的第二样本图像块以及翻转样本图像块。
92.其中，所述第二样本图像块的分辨率高于所述第一样本图像块，所述翻转样本图像块为所述第一样本图像块翻转得到的。
93.详细请参见图1所示实施例的s11，在此不再赘述。
94.s22，将第一样本图像块以及第一翻转样本图像块输入图像增强模型中，得到第一目标图像块以及翻转图像块。
95.具体地，上述s22可以包括：
96.s221，获取预设图像增强模型。
97.其中，所述预设图像增强模型是基于所述第一样本图像块以及所述第二样本图像块训练得到的。
98.具体地，预设图像增强模型是事先训练好的图像增强模型。其在训练过程中，是针对图像增强进行的。关于预设图像增强模型的具体训练过程，具体将在下文中进行详细描述。
99.s222，利用预设图像增强模型初始化图像增强模型。
100.其中，所述图像增强模型与所述预设图像增强模型相同。
101.图3示出了预设图像增强模型指导图像增强模型的训练示意图，具体地，利用预设图像增强模型初始化图像增强模型。其中，图像增强模型的结构与参数均与预设图像增强模型相同。
102.s223，将第一样本图像块与第一翻转样本图像块输入图像增强模型中，得到第一目标图像块以及翻转图像块。
103.为下文描述方便，将第一样本图像块称之为图像块a，将第一翻转样本图像块称之为图像块b，其中图像块b是图像块a通过翻转得到的。
104.电子设备将图像块a与图像块b分别输入到图像增强模型中，得到对应的第一目标图像块以及翻转图像块。所述的第一目标图像块即为图3中的增强图像块a，翻转图像块即为图3中的增强图像块b。需要说明的是，后续在进行分块损失的计算之前，需要先对增强图像块b进行翻转，得到翻转目标图像块。
105.具体地，图5示出了图像增强模型的处理示意图。图像块a经过图像增强模型处理后得到图像块a’；图像块a先进行翻转得到图像块b，再将图像块b经过图像增强模型处理后，得到图像块b’，最后再对图像块b’进行翻转，得到翻转图像块。
106.s23，对翻转图像块进行翻转，得到翻转目标图像块。
107.电子设备对增强图像块b进行翻转，得到翻转目标图像块，即增强图像块b’。
108.关于具体的翻转处理方式请参见图1所示实施例的s13，在此不再赘述。
109.s24，基于第一目标图像块、第二样本图像块以及翻转目标图像块进行损失函数计算，更新图像增强模型的参数，确定目标图像增强模型。
110.如上文所述，图像增强模型是利用预设图像增强模型初始化得到的，那么，对于图像增强模型的训练过程而言，其仅需要关注边界效应。因此，在图像增强模型对应的损失函数计算中，可以仅包括分块损失。
111.具体地，上述s24可以包括：
112.s241，利用第一目标图像块与翻转目标图像块进行损失函数计算，得到第一损失函数值。
113.电子设备可以计算第一目标图像块与翻转目标图像块的差异，得到第一损失函数值。例如，可以采用如下公式计算第一损失函数值：
114.l1＝|y
a
‑
y
b
|；
115.其中，y
a
为图像块a经过图像增强模型的输出像素值，y
b
为图像块b经过图像增强模型输出再进行翻转后的输出像素值。
116.可选地，由于图像块之间可能存在重叠区域，在进行第一损失函数值之前，可以先分别去除重叠区域再计算第一损失函数值。
117.s242，利用第二样本图像块分别与第一目标图像块以及翻转目标图像块进行损失函数计算，得到第二损失函数值以及第三损失函数值。
118.电子设备可以利用第一目标图像块与第二样本图像块的差异，得到第二损失函数值；利用翻转目标图像块与第二样本图像块的差异，得到第三损失函数值。
119.例如，可以采用如下公式计算第二损失函数值以及第三损失函数值：
[0120][0121][0122]
其中，y
a
为图像块a经过图像增强模型的输出像素值，y
b
为图像块b经过图像增强模型输出再进行翻转后的输出像素值，为第二样本图像块的像素值。
[0123]
s243，基于第一损失函数值、第二损失函数值以及第三损失函数值，确定分块损失。
[0124]
电子设备可以计算第一损失函数值、第二损失函数值以及第三损失函数值之和，确定分块损失；电子设备也可以计算第一损失函数值、第二损失函数值以及第三损失函数值的加权和，确定分块损失，等等。在此对分块损失的具体计算方式并不做任何限定，只需保证电子设备是基于第一损失函数值、第二损失函数值以及第三损失函数值进行计算的即可。
[0125]
s244，利用分块损失更新图像增强模型的参数，确定目标图像增强模型。
[0126]
电子设备在计算得到分块损失之后，在此基础上对图像增强模型的参数进行更新，以确定目标图像增强模型。
[0127]
本实施例提供的图像增强模型的训练方法，先获取预设图像增强模型，利用预设图像增强模型指导图像增强模型的训练，将预设图像增强模型作为先验知识指导图像增强模型，使得图像增强模型在预设图像增强模型基础上微调去消除边界效应，减少网络的学习难度，提高网络收敛效果。进一步地，分别利用第一目标图像块与翻转目标图像块、第一目标图像块与第二样本图像块、以及翻转目标图像块与第二样本图像块进行损失函数计算，结合了第一样本图像块以及翻转目标图像块自身的损失，以及第一样本图像块与翻转图像块之间的差异，提高了了分块损失的准确性，进而可以消除目标图像增强模型的边界效应。
[0128]
由于图像增强模型中的卷积网络中的卷积操作具有感受野的特性，当前像素的输出和周围相邻的像素是相关的，因此直接采用分块后图像进行推断，然后再将结果进行拼接会存在严重的边界效应。一般来说，可以通过裁剪出较大的重叠区域来缓解边界效应，但是这种方法一般要求的重叠区域较大(重叠区域越大，重复计算的数值越多，计算资源浪费)，且无法解决内存占用的情况。通过本发明提出的基于分块训练的方式，能够解决分块
‑
推断
‑
拼接带来的边界效应，且分块时无需重叠。分块训练采用的图像增强模型与预设图像
增强所使用的网络结构相同，且使用预设图像增强模型作为分块训练的初始化参数，再此基础上进行微调，最终确定出目标图像增强模型。
[0129]
在本实施例的一些可选实施方式中，对预设图像增强模型的训练过程进行详细描述。具体地，上述s221可以包括：
[0130]
(1)将第一样本图像块输入低照图像增强模型中，得到增强样本图像块。
[0131]
低照图像增强模型可以是基于uresnet模型构建的，也可以是基于其他模型构建的，在此对其并不做任何限制。
[0132]
电子设备将第一样本图像块输入低照图像增强模型中，通过低照图像增强模型的处理，即可得到增强样本图像块。
[0133]
(2)基于增强样本图像块以及第二样本图像块进行损失函数计算，更新低照图像增强模型的参数，确定预设图像增强模型。
[0134]
电子设备利用增强样本图像块与第二样本图像块进行损失函数的计算，在损失函数的计算过程中，可以从像素级别计算损失函数，也可以从图像整体上计算损失函数等等。
[0135]
作为本实施例的一种可选实施方式，所述预设图像增强模型训练所采用的损失函数值可以包括三部分，分别为像素损失、特征损失以及图像质量损失，具体地，上述s221的步骤(2)可以包括：
[0136]
2.1)利用增强样本图像块与第二样本图像块的像素差异，计算像素损失函数值。
[0137]
像素损失函数值可以采用如下公式计算得到：
[0138][0139]
其中，y为第一样本图像块经过图像增强模型后的输出像素值，即，增强样本图像块的像素值，为第二样本图像块的像素值。
[0140]
2.2)利用增强样本图像块与第二样本图像块的特征差异，计算特征损失函数值。
[0141]
增强样本图像块与第二样本图像块的特征差异，可以是电子设备利用特征提取网络分别对增强样本图像块以及第二样本图像块进行特征提取，分别得到对应的特征向量，再计算两个特征向量的差异，即可得到所述的特征损失函数值。
[0142]
可选地，特征损失函数值可以采用如下公式计算得到：
[0143][0144]
其中，为网络提取的特征向量，一般为vgg16的网络结构提取的特征向量。通过高层语义损失函数的约束，能够得到更加真实的增强后的输出图像，保留细节和颜色纹理。
[0145]
2.3)利用增强样本图像块的像素统计值与第二样本图像块的像素统计值，计算图像质量损失函数值。
[0146]
所述的像素统计值可以是灰度平均值，也可以是灰度标准差值，等等，具体可以根据实际需求进行相应的设置，在此对其并不做任何限制。
[0147]
可选地，图像质量损失函数值可以采用如下公式计算得到：
[0148][0149]
其中，c1、c2为系数，u
y
为增强样本图像块的灰度平均值，为第二样本图像块的灰
度平均值，σ
y
为增强样本图像块的灰度标准差值，为第二样本图像块的灰度标准差值。
[0150]
2.4)基于像素损失函数值、特征损失函数值以及图像质量损失函数值，确定目标损失。
[0151]
例如，可以如下公式计算目标损失
[0152][0153]
其中，为像素损失函数值，为特征损失函数值，为图像质量损失函数值，α1、α2、α3分别为对应的权重。
[0154]
2.5)利用目标损失更新低照图像增强模型的参数，确定预设图像增强模型。
[0155]
电子设备在计算得到目标损失之后，基于所述的目标损失更新低照图像增强模型的参数，以确定预设图像增强模型。
[0156]
利用像素损失函数值在像素级别上对图像进行约束，利用特征损失函数值在颜色以及细节等方面对图像进行约束，利用图像质量损失函数值对图像的整体质量进行约束，使得图像的风格更加符合人眼的感官感受，提高了目标损失的准确性，进而保证了预设图像增强模型的图像增强效果。
[0157]
在本实施例的另一些可选实施方式中，如图4所示，在获取到原始图像之后，还需要对原始图像进行数据预处理，得到相应的图像块。可选地，对所获取到的原始图像的处理过程如下：
[0158]
(1)将不同cmos传感器采集到的不同光照、不同场景以及不同曝光时间的原始raw数据，按照场景对其进行分类；然后通过曝光时间的长短将同组数据划分为低质量和高质量的图像数据。其中，低质量的数据图像画面较黑、噪声较多，高质量的数据图像画面亮、细节清晰、噪声小，低质量的数据图像是网络的输入数据，高质量的数据图像是网络需要拟合的目标。
[0159]
(2)将上述原始图像raw数据进行预处理操作，即黑电平校正、乘以数字增益，粗略地提升图像的亮度、raw数据的归一化、bayer的重排、将图像进行水平镜像、垂直镜像以及随机翻转90
°
等数据增广，提高模型的鲁棒性。
[0160]
(3)在经过数据预处理之后，对其进行分块，得到第一样本图像块以及第二样本图像块，再对第一样本图像块进行翻转，得到翻转样本图像块。
[0161]
具体地，不同的cmos传感器获得的raw数据的黑电平、有效位数是不一样的，通过对数据进行预处理操作能够稳定模型的训练并且提升模型的鲁棒性。一般情况下低照图像增强算法的输出是8bit，数值范围在0
‑
255之间，而cmos传感器数据一般是12bit或16bit，数值范围在0
‑
4095或0
‑
65535之间，直接使用原始的raw数据进行训练会增加自编码器调优的难度，因为从原始的12bit或16bit学习到8bit的映射范围较大，图像增强模型的训练极容易陷入局部最优或不收敛。因此，通过对raw数据进行相关的预处理操作，得到归一化后的数据，其数值范围在0
‑
1之间，网络的输出的数值范围也固定在0
‑
1之间，然后再经过系数的相乘转换为255，可以减少训练的难度，使图像增强模型更易收敛。
[0162]
在本实施例的另一些可选实施方式中，如图6a所示，图像增强模型或者低照图像增强模型可以基于uresnet构建，通过去除uresnet中的跨层连接，能够较好地去除图像的噪声，保留图像的细节。其中，图像增强模型或者低照图像增强模型的网络结构如图6a所
示。该网络结构中的残差块的网络结构，可以如图6b所示，当然也可以采用其他网络结构的残差块，在此对其并不做任何限制。
[0163]
本发明实施例提供的图像增强模型的训练方法，通过图像增强模型自适应地实现图像的去噪和增量，在训练过程中加入对边界的约束，实现在分块
‑
推断
‑
拼接时消除边界效应，降低内存大额占用情况，缓解内存拷贝压力。在终端设备上，实现实时地低照图像增强。
[0164]
具体地，首先通过将传感器获得的原始bayer数据作为图像增强模型的训练样本，能够最大限度地保留图像的信息，避免后续的数字图像处理操作引入额外的噪声，影像图像的质量，并且能够提高图像增强模型训练的稳定性；接着通过对原始传感器的数据进行预处理操作能够提高图像增强算法的泛化能力，解决因传感器不同而导致的模型泛化能力较差的问题；然后通过损失函数训练低照图像增强模型，对图像的细节纹理以及颜色信息进行约束实现图像的增强；最后将调优后得到的预设图像增强模型，通过引入分块训练损失损失函数进一步地对预设图像增强模型进行微调。在微调过程中，改变训练方式，在相邻块之间对边界处进行约束，消除拼接时的边界效应，能够在实现分块的推断，减少内存占用的开销，实现在终端设备上的实时图像增强且不影响增强后的图像效果。
[0165]
本发明实施例利用不同的cmos传感器采集不同场景、不同光照以及不同曝光时间下的原始数据，保证了数据的多样性；然后对上述数据进行黑电平校正、乘数字增益以及归一化等预处理操作，混合cmos传感器数据的训练，解决了低照图像增强模型的泛化能力的问题，保证预设图像增强模型训练的稳定性；接着构建低照图像增强模型的结构，通过预处理后的输入数据的训练以及损失函数的约束，对低照图像增强模型的参数值进行反复迭代调优，使得训练得到的预设图像增强模型在提亮的同时，细节恢复的更加准确、噪声更少；最后通过对上述调优后得到的预设图像增强模型进行进一步地迭代调优，改变训练的方式，使用损失函数对输入的两个图像块的边界处进行约束，消除直接采用分块
‑
推断
‑
拼接时产生的边界效应，在减少内存占用的同时，保证了图像的增强效果。
[0166]
其中，目标图像增强模型的训练过程具体包括如下步骤：
[0167]
步骤a：首先，将不同cmos传感器采集到的不同光照、不同场景以及不同曝光时间的原始raw数据，按照场景对其进行分类，然后通过曝光时间的长短将同组数据划分为低质量和高质量的图像数据，其中低质量的数据图像画面较黑、噪声较多，高质量的数据图像画面亮、细节清晰、噪声小，低质量的数据图像是网络的输入数据，高质量的数据图像是网络需要拟合的目标；
[0168]
步骤b：接着，将上述原始图像raw数据进行预处理操作，即黑电平矫正、乘以数字增益，粗略地提升图像的亮度、raw数据的归一化、bayer的重排、将图像进行水平镜像、垂直镜像以及随机翻转90度等数据增广，提高模型的鲁棒性；
[0169]
步骤c：其次，构建低照图像增强模型以及损失函数，使用encode—decode的方式作为低照图像增强模型的架构，低照图像增强模型不采用跨层连接，不同尺度下的图像细节不一致，且网络浅层的输出图像的噪声大于深层网络的输出图像，跨层连接的增加会使得增强后的图像噪声较大，损失函数包括像素级别的损失函数、图像高层语义的损失函数以及图像质量的损失函数，分别在像素级别上、颜色以及细节方面对增强后的图像进行约束，实现图像的增亮、噪声的去除且保留了图像的细节以及颜色信息；
[0170]
步骤d：然后，将步骤b中预处理后的raw数据进行分块，作为上述低照图像增强模型的输入，对上述低照图像增强模型进行训练调优，得到最优的预设图像增强模型的网络参数；
[0171]
步骤e：最后，构建与步骤c中相同的模型结构作为图像增强模型，将步骤d中训练调优后的预设图像增强模型对图像增强模型进行初始化，改变训练的方式，将训练的raw数据进行翻转，得到原始raw数据a和翻转后的数据b，然后将a和b分别经过图像增强模型进行训练，使用像素级的损失函数对图像增强模型进行训练调优，对相邻块之间的分界处进行约束，在减少内存占用的同时保留了其低照增强的效果，实现在终端设备上的实时低照增强。
[0172]
根据本发明实施例，提供了一种图像增强方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0173]
在本实施例中提供了一种图像增强方法，可用于上述的电子设备，如电脑、手机、平板电脑等，图7是根据本发明实施例的图像增强方法的流程图，如图7所示，该流程包括如下步骤：
[0174]
s31，获取待处理图像。
[0175]
待处理图像可以是电子设备采集到的，也可以是电子设备从其他地方获取到的等等，在此对电子设备获取待处理图像的方式并不做任何限制。
[0176]
s32，对待处理图像进行分块，得到至少一个待处理图像块。
[0177]
电子设备对待处理图像进行分块，得到至少一个待处理图像块，具体分块的数量可以根据实际需求进行相应的设置。例如，可以通过有重叠区域的裁剪操作完成，分块n的数值可任意指定，一般为2的倍数，n越小，边界效应去除的效果越不明显，但计算量小；n越大，边界效应去除的效果越明显，但计算量大。例如，n可以为32或64。
[0178]
s33，将至少一个待处理图像块输入目标图像增强模型中，得到与各个待处理图像块对应的目标图像块。
[0179]
其中，所述目标图像增强模型是根据上述任一项实施方式中所述的图像增强模型的训练方法训练得到的。关于目标图像增强模型的具体训练过程，可以参见上述图1或图2实施例中的详细描述，在此不再赘述。
[0180]
电子设备将至少一个待处理图像块输入到目标图像增强模型中，利用目标图像增强模型对各个待处理图像块进行图像增强处理，得到与各个待处理图像块对应的目标图像块。
[0181]
s34，对目标图像块进行拼接，得到目标图像。
[0182]
电子设备在对待处理图像进行划分时，可以记录各个待处理图像块在待处理图像中的位置，再利用各个待处理图像块的位置对目标图像块进行拼接，得到目标图像。
[0183]
例如，图8a以及图8b分别示出了利用现有的图像增强方法以及本发明实施例中提供的图像增强方法对待处理图像进行增强后的示意图。对比图8a与图8b可以看出，图8b中消除了边界效应，提高了图像增强的质量。
[0184]
本实施例提供的图像增强方法，通过分块以及边界约束的方式训练得到的目标图
像增强模型，可以有效地解决现有的图像增强算法存在内存占用较大、分块
‑
推断
‑
拼接时存在的边界效应问题，能够提高对图像块边界处细节的恢复、减少噪声。
[0185]
作为本实施例的一个具体应用实例，所述的图像增强方法应用在前端图像采集设备中，例如，应用于车辆卡口场景下的低照图像增强。图像采集设备采集到图像之后，先对其进行分块，得到多个图像块；再利用本发明实施例中所述的图像增强方法对各个图像块进行图像增强处理，最后再对图像增强后的图像块进行拼接，得到增强后的图像。
[0186]
本发明实施例提供的图像增强方法通过端对端的框架，实现了在低照度下的图像增强，有效地提高了图像增强方法对图像细节的恢复，并且能够将目标图像增强模型部署在终端设备上，在减少了内存的开销的同时保证了图像的增强效果，消除了分块推断导致的边界效应，具有较高的实时性。
[0187]
在本实施例中还提供了一种图像增强模型的训练装置以及图像增强装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
[0188]
本实施例提供一种图像增强模型的训练装置，如图9所示，包括：
[0189]
第一获取模块41，用于获取第一样本图像块、与所述第一样本图像块对应的第二样本图像块以及翻转样本图像块，所述第二样本图像块的分辨率高于所述第一样本图像块，所述翻转样本图像块为所述第一样本图像块翻转得到的；
[0190]
第一输入模块42，用于将所述第一样本图像块以及所述第一翻转样本图像块输入图像增强模型中，得到第一目标图像块以及翻转图像块；
[0191]
翻转模块43，用于对所述翻转图像块进行翻转，得到翻转目标图像块；
[0192]
第一更新模块44，用于基于所述第一目标图像块、所述第二样本图像块以及所述翻转目标图像块进行损失函数计算，更新所述图像增强模型的参数，确定目标图像增强模型。
[0193]
本实施例还提供了一种图像增强装置，如图10所示，包括：
[0194]
第二获取模块51，用于获取待处理图像；
[0195]
分块模块52，用于对所述待处理图像进行分块得到至少一个待处理图像块，并对所述至少一个待处理图像块进行翻转，得到至少一个待处理翻转图像块；
[0196]
第二输入模块53，用于将所述至少一个待处理图像块以及所述至少一个待处理翻转图像块输入目标图像增强模型中，得到与各个待处理图像块对应的目标图像块，所述目标图像增强模型是根据本发明第一方面或第一方面任一项实施方式中所述的图像增强模型的训练方法训练得到的；
[0197]
拼接模块54，用于对所述目标图像块进行拼接，得到目标图像。
[0198]
本实施例中的图像增强模型的训练装置以及图像增强装置是以功能单元的形式来呈现，这里的单元是指asic电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
[0199]
上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
[0200]
本发明实施例还提供一种电子设备，具有上述图9所示的图像增强模型的训练装置，或图10所示的图像增强装置。
[0201]
请参阅图11，图11是本发明可选实施例提供的一种终端的结构示意图，如图11所示，该电子设备可以包括：至少一个处理器61，例如cpu(central processing unit，中央处理器)，至少一个通信接口63，存储器64，至少一个通信总线62。其中，通信总线62用于实现这些组件之间的连接通信。其中，通信接口63可以包括显示屏(display)、键盘(keyboard)，可选通信接口63还可以包括标准的有线接口、无线接口。存储器64可以是高速ram存储器(random access memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non
‑
volatile memory)，例如至少一个磁盘存储器。存储器64可选的还可以是至少一个位于远离前述处理器61的存储装置。其中处理器61可以结合图9或10所描述的装置，存储器64中存储应用程序，且处理器61调用存储器64中存储的程序代码，以用于执行上述任一方法步骤。
[0202]
其中，通信总线62可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。通信总线62可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0203]
其中，存储器64可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random
‑
access memory，缩写：ram)；存储器也可以包括非易失性存储器(英文：non
‑
volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard disk drive，缩写：hdd)或固态硬盘(英文：solid
‑
state drive，缩写：ssd)；存储器64还可以包括上述种类的存储器的组合。
[0204]
其中，处理器61可以是中央处理器(英文：central processing unit，缩写：cpu)，网络处理器(英文：network processor，缩写：np)或者cpu和np的组合。
[0205]
其中，处理器61还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application
‑
specific integrated circuit，缩写：asic)，可编程逻辑器件(英文：programmable logic device，缩写：pld)或其组合。上述pld可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：cpld)，现场可编程逻辑门阵列(英文：field
‑
programmable gate array，缩写：fpga)，通用阵列逻辑(英文：generic array logic,缩写：gal)或其任意组合。
[0206]
可选地，存储器64还用于存储程序指令。处理器61可以调用程序指令，实现如本技术图1和2实施例中所示的图像增强模型的训练方法，或图7所示实施例中所示的图像增强方法。
[0207]
本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的图像增强模型的训练方法，或图像增强方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(read
‑
only memory，rom)、随机存储记忆体(random access memory，ram)、快闪存储器(flash memory)、硬盘(hard disk drive，缩写：hdd)或固态硬盘(solid
‑
state drive，ssd)等；所述存储介质还可以包括上述种类的存储器的组合。
[0208]
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。