一种基于深度学习的图像增强方法、装置、设备及介质与流程

1.本技术涉及图像处理技术领域，尤其涉及一种基于深度学习的图像增强方法、装置、设备及介质。


背景技术：

2.在交通监控场景中采集车辆的图像时，通常会打开补光灯，以便采集到车辆内部的信息。但是受车牌的材质和表面性质等因素影响，车牌对补光灯强光的反射程度会比车身强烈。并且，在图像采集设备的图像感应器采集到原始(raw)图像之后，为了使输出的图像更加符合人眼的要求，图像采集设备通常会采用图像信号处理(image signal processor，isp)流程对该raw图像进行处理。
3.在isp流程中，通常存在一些提高图像亮度或者增加图像曝光度的操作，但是由于在采集raw图像时，该raw图像中的车牌区域的亮度就已经高于其他区域的亮度，再经过isp流程之后，输出的图像中车牌区域会过度曝光。
4.图1为正常曝光的车牌图像，图2为过度曝光的车牌图像，根据图1和图2可知，过度曝光的车牌图像的背景色变浅变淡，甚至丢失颜色信息而呈现白色，即导致输出的图像中车牌区域失真。


技术实现要素：

5.本技术提供了一种基于深度学习的图像增强方法、装置、设备及介质，用以解决现有技术中在采用isp流程对车辆的raw图像进行处理之后，输出的图像中车牌区域失真的问题。
6.本技术实施例提供了一种基于深度学习的图像增强方法，所述方法包括：
7.获取样本集中任一样本图像对，其中所述样本图像对包括第一样本图像和所述第一样本图像对应的不失真的第二样本图像；
8.将所述第一样本图像和所述第二样本图像输入到原始图像增强模型中，获取所述原始图像增强模型对所述第一样本图像处理后输出的第三样本图像；确定所述第三样本图像和所述第二样本图像的损失值；根据所述损失值，对所述原始图像增强模型的参数进行调整，得到训练好的神经网络模型；
9.通过训练好的神经网络模型对实际图像进行图像增强。
10.进一步地，所述第一样本图像的确定方法包括：
11.获取所述第一样本图像对应的原始raw图像；
12.对所述raw图像进行直接变换，确定第一rgb图像；
13.对所述raw图像进行去马赛克插值处理，确定第二rgb图像；
14.对所述第二rgb图像进行数字增益操作和伽马校正操作，得到第三rgb图像；
15.将根据第一预处理操作或第二预处理操作进行处理后的所述第一rgb图像和第三rgb图像合并，得到第一样本图像。
16.进一步地，所述第一子预处理操作包括随机高斯模糊操作、随机高斯噪声操作和随机颜色增强操作中的至少一种。
17.进一步地，所述对所述raw图像进行直接变换，确定第一rgb图像包括：
18.根据所述raw图像的每个像素点对应的分量，确定每个通道对应的子图像，将每个所述子图像中对应像素点的像素值作为第一rgb图像中该像素点对应分量的像素值。
19.进一步地，所述确定每个通道对应的子图像之后，所述方法还包括：
20.针对每个子图像，根据预先保存的每个通道对应的卷积核，确定该子图像对应的通道对应的目标卷积核；采用所述目标卷积核，对该子图像进行卷积操作。
21.进一步地，所述第二子预处理操作包括随机高斯模糊操作、随机高斯噪声操作、随机透视变换操作和随机颜色增强操作中的至少一种。
22.进一步地，所述对所述raw图像进行去马赛克插值处理之前，所述方法还包括：
23.对所述raw图像进行减去黑电平操作、降噪操作和白平衡处理操作。
24.进一步地，所述第二样本图像的确定方法包括：
25.采用预设的图像增强算法，对所述第二rgb图像进行处理；
26.将经过图像增强算法进行处理后第二rgb图像和所述第三rgb图像进行图像融合，得到第二样本图像。
27.进一步地，所述将经过图像增强算法进行处理后第二rgb图像和所述第三rgb图像进行图像融合，得到第二样本图像包括：
28.识别所述第三rgb图像中车牌区域对应的第一子rgb图像和所述第二rgb图像中车牌区域对应的第二子rgb图像；
29.用所述第二子rgb图像替换所述第一子rgb图像，并将替换后得到图像作为所述第二样本图像。
30.进一步地，所述确定所述第三样本图像和所述第二样本图像的损失值包括：
31.根据所述第三样本图像、所述第二样本图像以及l1损失函数，确定第一损失值；
32.将第二样本图像和第三样本图像分别进行超分辨测试序列vgg处理；
33.根据vgg处理后的第二样本图像和第三样本图像以及所述l1损失函数，计算第二损失值；
34.将所述第一损失值和第二损失值的和值，确定为所述第三样本图像和所述第二样本图像的损失值。
35.本技术实施例还提供了一种基于深度学习的图像增强装置，所述装置包括：
36.获取模块，用于获取样本集中任一样本图像对，其中所述样本图像对包括第一样本图像和所述第一样本图像对应的不失真的第二样本图像；
37.训练模块，用于将所述第一样本图像和所述第二样本图像输入到原始图像增强模型中，获取所述原始图像增强模型对所述第一样本图像处理后输出的第三样本图像；确定所述第三样本图像和所述第二样本图像的损失值；根据所述损失值，对所述原始图像增强模型的参数进行调整，得到训练好的图像增强模型；
38.图像增强模块，用于通过训练好的图像增强模型对实际图像进行图像增强。
39.进一步地，所述获取模块，具体用于获取所述第一样本图像对应的原始raw图像；对所述raw图像进行直接变换，确定第一rgb图像；对所述raw图像进行去马赛克插值处理，
确定第二rgb图像；对所述第二rgb图像进行数字增益操作和伽马校正操作，得到第三rgb图像；将根据第一预处理操作或第二预处理操作进行处理后的所述第一rgb图像和第三rgb图像合并，得到第一样本图像。
40.进一步地，所述获取模块，具体用于根据所述raw图像的每个像素点对应的分量，确定每个通道对应的子图像，将每个所述子图像中对应像素点的像素值作为第一rgb图像中该像素点对应分量的像素值。
41.进一步地，所述获取模块，还用于针对每个子图像，根据预先保存的每个通道对应的卷积核，确定该子图像对应的通道对应的目标卷积核；采用所述目标卷积核，对该子图像进行卷积操作。
42.进一步地，所述获取模块，还用于对所述raw图像进行减去黑电平操作、降噪操作和白平衡处理操作。
43.进一步地，所述获取模块，具体用于采用预设的图像增强算法，对所述第二rgb图像进行处理；将经过图像增强算法进行处理后第二rgb图像和所述第三rgb图像进行图像融合，得到第二样本图像。
44.进一步地，所述获取模块，具体用于识别所述第三rgb图像中车牌区域对应的第一子rgb图像和所述第二rgb图像中车牌区域对应的第二子rgb图像；用所述第二子rgb图像替换所述第一子rgb图像，并将替换后得到图像作为所述第二样本图像。
45.进一步地，所述训练模块，具体用于根据所述第三样本图像、所述第二样本图像以及l1损失函数，确定第一损失值；将第二样本图像和第三样本图像分别进行超分辨测试序列vgg处理；根据vgg处理后的第二样本图像和第三样本图像以及所述l1损失函数，计算第二损失值；将所述第一损失值和第二损失值的和值，确定为所述第三样本图像和所述第二样本图像的损失值。
46.本技术实施例还提供了一种电子设备，所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如上述中任一所述基于深度学习的图像增强方法的步骤。
47.本技术实施例还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上述中任一所述基于深度学习的图像增强方法的步骤。
48.在本技术实施例中，获取样本集中任一样本图像对，其中该样本图像对包括第一样本图像和该第一样本图像对应的不失真的第二样本图像，将该第一样本图像和该第二样本图像输入到原始图像增强模型中，获取该原始图像增强模型对该第一样本图像处理后输出的第三样本图像；确定该第三样本图像和该第二样本图像的损失值；根据该损失值，对该原始图像增强模型的参数进行调整，得到训练好的图像增强模型，通过训练好的图像增强模型对实际图像进行图像增强。由于在本技术实施例中，采用第一样本图像和该第一样本图像对应的不失真的第二样本图像对原始图像增强模型进行训练，使得训练完成的图像增强模型可以输出不失真的图像。
附图说明
49.为了更清楚地说明本技术的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域的普
通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
50.图1为正常曝光的车牌图像；
51.图2为过度曝光的车牌图像；
52.图3为本技术实施例提供的一种基于深度学习的图像增强过程示意图；
53.图4a为本技术实施例提供的raw图像的每个像素点对应的分量的示意图；
54.图4b为本技术实施例提供的基于图4a的raw图像得到的r通道对应的子图像；
55.图4c为本技术实施例提供的基于图4a的raw图像得到的g通道对应的子图像；
56.图4d为本技术实施例提供的基于图4a的raw图像得到的b通道对应的子图像；
57.图5a为本技术实施例提供的r通道对应的卷积核；
58.图5b为本技术实施例提供的g通道对应的卷积核；
59.图5c为本技术实施例提供的b通道对应的卷积核；
60.图6为本技术实施例提供的isp流程示意图；
61.图7a为本技术实施例提供的第一子rgb图像的示意图；
62.图7b为本技术实施例提供的第二子rgb图像的示意图；
63.图7c为本技术实施例提供的基于图7a的第一子rgb图像和图7b的第二子rgb图像得到的第二样本图像的示意图；
64.图8为本技术实施例提供的一种基于深度学习的图像增强装置结构示意图；
65.图9为本技术实施例提供的一种电子设备结构示意图。
具体实施方式
66.为了使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
67.为了避免图像失真，提高图像的真实性，本技术实施例提供了一种基于深度学习的图像增强方法、装置、设备及介质。
68.实施例1：
69.图3为本技术实施例提供的一种基于深度学习的图像增强过程示意图，该过程包括：
70.s301：获取样本集中任一样本图像对，其中所述样本图像对包括第一样本图像和所述第一样本图像对应的不失真的第二样本图像。
71.本技术实施例提供的基于深度学习的图像增强方法应用于电子设备，该电子设备可以是图像采集设备、pc或者服务器等设备。
72.在对原始图像增强模型进行训练时，预先确定进行训练的样本集，在本技术实施例中，该样本集中包含很多样本图像对，该样本图像对包括：第一样本图像以及该第一样本图像对应的不失真的第二样本图像。其中该第二样本图像可以是对第一样本图像进行处理之后，得到的不失真的图像，还可以是直接采集到的该第一样本图像对应的不失真图像。
73.s302：将所述第一样本图像和所述第二样本图像输入到原始图像增强模型中，获取所述原始图像增强模型对所述第一样本图像处理后输出的第三样本图像；确定所述第三
样本图像和所述第二样本图像的损失值；根据所述损失值，对所述原始图像增强模型的参数进行调整，得到训练好的图像增强模型。
74.在本技术实施例中，为了对原始图像增强模型进行训练，将该样本图像对，也就是第一样本图像以及该第一样本图像对应的不失真的第二图像，输入到原始图像增强模型中，获得原始图像增强模型对该第一样本图像处理后输出的第三样本图像。
75.为了不断的优化训练中的原始图像增强模型，需要针对该原始图像增强模型中的损失函数，对该原始图像增强模型的参数进行更新，在本技术实施例中，为了使得生成的第三样本图像不失真，在本技术实施例中，可以根据该第三样本图像、第二样本图像以及l1损失函数，确定损失值。具体的，可以采用以下公式确定损失值：
76.l(x，y)＝l＝{l1，
……
，ln}
t
，ln＝|x
n-yn|；
77.其中，l表示损失值，n表示原始图像增强模型单次输入的第一样本图像的像素点的数量，xn表示原始图像增强模型输出的第三样本图像的第n个像素点的像素值，yn表示第二样本图像的第n个像素点的像素值，ln表示第三样本图像的第n个像素点的像素值与第二样本图像的第n个像素点的像素值的差值的绝对值。
78.在本技术实施例中，在获得第二样本图像和第三样本图像的损失值后，根据该损失值，对原始图像增强模型的参数进行调整。
79.在本技术实施例中，当满足收敛条件时，确定模型训练完成，具体的收敛条件可以是，该原始图像增强模型输出的第三样本图像与对应的第二样本图像的损失值小于预设阈值的数量达到设定的数量阈值，则认为该原始图像增强模型训练完成；或模型训练的迭代次数达到预设的次数，则认为该原始图像增强模型训练完成。具体使用过程中可以根据需要灵活设置收敛条件。
80.s303：通过训练好的图像增强模型对实际图像进行图像增强。
81.在本技术实施例中，当原始图像增强模型训练完成后，可将实际图像输入到训练好的图像增强模型中，由该图像增强模型输出该实际图像对应的图像增强后的图像。
82.由于在本技术实施例中，采用第一样本图像和该第一样本图像对应的不失真的第二样本图像对原始图像增强模型进行训练，使得训练得到的图像增强模型可以输出不失真的图像。
83.实施例2：
84.为了确定第一样本图像，在上述实施例的基础上，在本技术实施例中，所述第一样本图像的确定方法包括：
85.获取所述第一样本图像对应的原始raw图像；
86.对所述raw图像进行直接变换，确定第一rgb图像；
87.对所述raw图像进行去马赛克插值处理，确定第二rgb图像；
88.对所述第二rgb图像进行数字增益操作和伽马校正操作，得到第三rgb图像；
89.将根据第一预处理操作或第二预处理操作进行处理后的所述第一rgb图像所述第一rgb图像和第三rgb图像进行合并，得到第一样本图像。
90.在本技术实施例中，由于图像采集设备采集到的raw图像为单通道的图像，而为了使输出的图像更加符合人眼的要求，在本技术实施例中，会将单通道的raw图像转换为三通道的rgb图像。具体的，对该raw图像进行直接变换，得到第一rgb图像。
91.为了使有限的raw图像生成丰富多样的第一样本图像，提高模型对不同场景的适用性，在本技术实施例中，在基于raw图像确定了第一rgb图像后，还可以根据预先保存的第一预处理操作或第二预处理操作，对该第一rgb图像进行处理。
92.此外，在本技术实施例中，在将raw图像转化为rgb图像时，还可以是对raw图像进行去马赛克差值处理，得到第二rgb图像。其中，进行去马赛克差值处理的过程为现有技术，在此不再赘述。
93.在本技术实施例中，在确定了第二rgb图像后，为了使原始图像增强模型输出的第三样本图像除车牌区域外的其他区域亮度和曝光度高，提高第三样本图像的图像质量，还会对该第二rgb图像进行曝光操作，提高第二rgb图像的亮度和曝光度。具体的，对该第二rgb图像进行数字增益操作和伽马校正操作，得到第三rgb图像。
94.为了使原始图像增强模型输出的第三样本图像更加准确，在本技术实施例中，第一rgb图像中的每个像素点和第三rgb图像中的每个像素点是一一对应的，在得到了第一rgb图像和第三rgb图像后，确定该第一rgb图像的rgb三个通道的子图像，及第二rgb图像的rgb三个通道的子图像，将每个子图像作为第一样本图像的一个子图像。基于此，该第一样本图像为一个六通道的图像。
95.需要说明的是，在本技术实施例中，该第三rgb图像也可以是raw图像经过isp流程处理得到的。
96.实施例3：
97.为了增加第一样本图像的多样性，使得基于第一样本图像训练得到的模型适用于各种场景，在上述各实施例的基础上，在本技术实施例中，所述第一子预处理操作包括随机高斯模糊操作、随机高斯噪声操作和随机颜色增强操作中的至少一种。
98.为了使有限的raw图像生成丰富多样的第一样本图像，提高模型对不同场景的适用性，在本技术实施例中，在基于raw图像确定了第一rgb图像后，还可以根据预先保存的第一子预处理操作，对该第一rgb图像进行处理。其中，该第一子预处理操作可以是随机高斯模糊操作、随机高斯噪声操作和随机颜色增强操作中的至少一种。
99.其中，随机高斯模糊操作即对第一rgb图像进行高斯模糊处理，高斯模糊处理的相关参数如核卷积尺寸、二维高斯分布的期望与方差等，在预设的范围内随机选取；随机高斯噪声操作即在第一rgb图像中增加高斯噪声，高斯噪声的相关参数如高斯分布的期望与方差等，在预设的范围内随机选取；随机颜色增强即是将第一rgb图像的每个通道对应的子图像的像素点的像素值乘上一个缩放系数，该缩放系数在预设的范围内随机选取。
100.实施例4：
101.为了实现将raw图像转换为rgb图像，在上述各实施例的基础上，在本技术实施例中，所述对所述raw图像进行直接变换，确定第一rgb图像包括：
102.根据所述raw图像的每个像素点对应的分量，确定每个通道对应的子图像，将每个所述子图像中对应像素点的像素值作为第一rgb图像中该像素点对应分量的像素值。
103.具体的，在对raw图像进行直接变换，确定第一rgb图像时，确定raw图像的每个像素点对应的分量，将对应的分量不是r分量的像素点的像素值置0，对应的分量为r分量的像素点的像素值保持不变，得到r通道对应的子图像；同样的，将对应的分量不是g分量的像素点的像素值置0，对应的分量为g分量的像素点的像素值保持不变，得到g通道对应的子图
像；将对应的分量不是b分量的像素点的像素值置0，对应的分量为b分量的像素点的像素值保持不变，得到b通道对应的子图像。从而得到rgb三个通道的子图像，再将每个子图像中对应像素点的像素值作为第一rgb图像中该像素点对应分量的像素值。
104.图4a为本技术实施例提供的raw图像的每个像素点对应的分量的示意图，如该图4a所示，在该raw图像中任意彼此相邻的四个像素点中，有一个像素点对应的分量为r分量，有两个像素点对应的分量为g分量，剩下一个像素点对应的分量为b分量。每个分量对应的像素点的排序方式不同，其对应的raw图像的格式也不同，其中raw图像的格式通常包括：rggb、bggr、gbrg和grbg。其中，图4a所示的raw图像为rggb格式的raw图像。
105.图4b为本技术实施例提供的基于图4a的raw图像得到的r通道对应的子图像，如该图4b所示，对应的分量不是r分量的像素点的像素值置0，对应的分量为r分量的像素点的像素值保持不变。
106.图4c为本技术实施例提供的基于图4a的raw图像得到的g通道对应的子图像，如该图4c所示，对应的分量不是g分量的像素点的像素值置0，对应的分量为g分量的像素点的像素值保持不变。
107.图4d为本技术实施例提供的基于图4a的raw图像得到的b通道对应的子图像，如该图4d所示，对应的分量不是b分量的像素点的像素值置0，对应的分量为b分量的像素点的像素值保持不变。
108.为了对第一rgb图像进行优化，在上述各实施例的基础上，在本技术实施例中，所述确定每个通道对应的子图像之后，所述将每个所述子图像中对应像素点的像素值作为第一rgb图像中该像素点对应分量的像素值之前，所述方法还包括：
109.针对每个子图像，根据预先保存的每个通道对应的卷积核，确定该子图像对应的通道对应的目标卷积核；采用所述目标卷积核，对该子图像进行卷积操作。
110.在基于上述实施例确定的第一rgb图像中每个通道对应的子图像中，存在大量像素值为0的像素点，后续若是需要对该第一rgb图像进行缩放处理，由于存在大量像素值为0的像素点，会导致缩放后的第一rgb图像严重失真。为了后续更好的对第一rgb图像进行处理，在本技术实施例中，针对每个子图像，根据预先保存的每个通道对应的卷积核，确定该子图像对应的通道对应的目标卷积核；采用该目标卷积核，对该子图像进行卷积操作。
111.图5a为本技术实施例提供的r通道对应的卷积核，如图5a所示，该r通道对应的卷积核为3*3的卷积核，该卷积核为{0.25，0.50，0.25，0.50，1.00，0.50，0.25，0.50，0.25}。
112.图5b为本技术实施例提供的g通道对应的卷积核，如图5b所示，该g通道对应的卷积核为3*3的卷积核，该卷积核为{0.00，0.25，0.00，0.25，1.00，0.25，0.00，0.25，0.00}。
113.图5c为本技术实施例提供的b通道对应的卷积核，如图5c所示，该b通道对应的卷积核为3*3的卷积核，该卷积核为{0.25，0.50，0.25，0.50，1.00，0.50，0.25，0.50，0.25}。
114.实施例5：
115.为了增加第一样本图像的多样性，使得基于第一样本图像训练得到的模型适用于各种场景，在上述各实施例的基础上，在本技术实施例中，所述第二子预处理操作包括随机高斯模糊操作、随机高斯噪声操作、随机透视变换操作和随机颜色增强操作中的至少一种。
116.为了使有限的raw图像生成丰富多样的第一样本图像，提高模型对不同场景的适用性，在本技术实施例中，在基于raw图像确定了第一rgb图像后，还可以根据预先保存的第
二子预处理操作，对该第一rgb图像进行处理。其中，该第二子预处理操作可以是随机高斯模糊操作、随机高斯噪声操作、随机透视变换操作和随机颜色增强操作中的至少一种。
117.其中，随机高斯模糊操作即对第一rgb图像进行高斯模糊处理，高斯模糊处理的相关参数如核卷积尺寸、二维高斯分布的期望与方差等，在预设的范围内随机选取；随机高斯噪声操作即在第一rgb图像中增加高斯噪声，高斯噪声的相关参数如高斯分布的期望与方差等，在预设的范围内随机选取；随机透视变换即对第一rgb图像进行透视变换，透视变换的相关参数在预设的范围内随机选取；随机颜色增强即是将第一rgb图像的每个通道对应的子图像的像素点的像素值乘上一个缩放系数，该缩放系数在预设的范围内随机选取。
118.需要说明的是，在本技术实施例中，若第二子预处理操作包括随机透视变换操作，则在将第一rgb图像和第三rgb图像，进行合并得到第一样本图像，之前，需要将该第三rgb图像也进行相同的随机透视变换操作。
119.实施例6：
120.为了对raw图像进行优化，在上述各实施例的基础上，在本技术实施例中，所述对所述raw图像进行去马赛克插值处理之前，所述方法还包括：
121.对所述raw图像进行减去黑电平操作、降噪操作和白平衡处理操作。
122.在本技术实施例中，在基于raw图像确定第三rgb图像时，是基于isp流程对raw图像进行处理得到的，其中该isp流程包括减去黑电平操作、降噪操作、白平衡处理操作、去马赛克差值处理、数字增益操作和伽马校正操作。其中去马赛克差值处理可以将raw图像转换第二rgb图像，数字增益操作和伽马校正操作可以使第二rgb图像的亮度增强，得到第三rgb图像。
123.在本技术实施例中，在对raw图像进行去马赛克插值处理之前，还可以对raw图像进行减去黑电平操作、降噪操作和白平衡处理操作。
124.图6为本技术实施例提供的isp流程示意图，如该图6所示，该isp流程包括减去黑电平操作、降噪操作、白平衡处理操作、去马赛克差值处理、数字增益操作和伽马校正操作。
125.实施例7：
126.为了确定第二样本图像，在上述各实施例的基础上，在本技术实施例中，所述第二样本图像的确定方法包括：
127.采用预设的图像增强算法，对所述第二rgb图像进行处理；
128.将经过图像增强算法进行处理后第二rgb图像和所述第三rgb图像进行图像融合，得到第二样本图像。
129.在本技术实施例中，第二rgb图像没有经过数字增益操作和伽马校正操作，所以第二rgb图像中车牌区域的曝光程度低，颜色和细节信息丰富，为了使颜色和细节信息更加丰富，使得第二样本图像的真实性更高，可以采用预设的图像增强算法对该第二rgb图像进行图像增强。其中该图像增强算法可以是任何对车牌图像具有增强效果的图像处理算法。
130.在本技术实施例中，经过图像增强算法处理后的第二rgb图像中的车牌区域的曝光程度低，颜色和细节信息更加丰富，第三rgb图像中除车牌区域外的其他区域的亮度和曝光度高，更加清楚。再将经过图像增强算法进行处理后第二rgb图像和第三rgb图像进行图像融合，得到第二样本图像。
131.为了确定第二样本图像，在上述各实施例的基础上，在本技术实施例中，所述将经
过图像增强算法进行处理后第二rgb图像和所述第三rgb图像进行图像融合，得到第二样本图像包括：
132.识别所述第三rgb图像中车牌区域对应的第一子rgb图像和所述第二rgb图像中车牌区域对应的第二子rgb图像；
133.用所述第二子rgb图像替换所述第一子rgb图像，并将替换后得到图像作为所述第二样本图像。
134.在本技术实施例中，第二rgb图像没有经过数字增益操作和伽马校正操作，所以第二rgb图像中车牌区域的曝光程度低，颜色和细节信息丰富，为了使颜色和细节信息更加丰富，使得第二样本图像的真实性更高，可以采用预设的图像增强算法对该第二rgb图像进行图像增强。其中该图像增强算法可以是任何对车牌图像具有增强效果的图像处理算法。
135.在本技术实施例中，经过图像增强算法处理后的第二rgb图像中的车牌区域的曝光程度低，颜色和细节信息更加丰富，第三rgb图像中除车牌区域外的其他区域的亮度和曝光度高，更加清楚。基于此，可以识别该第三rgb图像中车牌区域对应的第一子rgb图像和该第二rgb图像中车牌区域对应的第二子rgb图像。由于该第三rgb图像和第二rgb图像均来源于raw图像，所以该第三rgb图像和第二rgb图像的分辨率相同，则可以用该第二子rgb图像替换该第一子rgb图像，并将替换后得到图像作为第二样本图像。
136.其中，在本技术实施例中，可以采用预设的车牌定位算法或人工标记方法，识别第三rgb图像中车牌区域对应的第一子rgb图像和第二rgb图像中车牌区域对应的第二子rgb图像。
137.图7a为本技术实施例提供的第一子rgb图像的示意图，如图7a所示，采用预设的车牌定位算法或人工标记方法，识别第三rgb图像中车牌区域对应的第一子rgb图像。
138.图7b为本技术实施例提供的第二子rgb图像的示意图，如图7b所示，采用预设的车牌定位算法或人工标记方法，识别第二rgb图像中车牌区域对应的第二子rgb图像。
139.图7c为本技术实施例提供的基于图7a的第一子rgb图像和图7b的第二子rgb图像得到的第二样本图像的示意图，如图7c所示，第三rgb图像中的第一子rgb图像修改为第二子rgb图像，并将修改后的第三rgb图像作为第二样本图像。
140.此外，在本技术实施例中，若第二rgb图像的亮度低于预设阈值，还可以对第二rgb图像进行数字增益操作和伽马校正操作，提高第二rgb图像的亮度。但是需要说明的是，本次数字增益操作和伽马校正操作的参数不能高于对第二rgb图像进行数字增益操作和伽马校正操作，得到第三rgb图像时的参数，即在确定第二样本图像时使用的第二rgb图像的亮度和曝光度低于第三rgb图像的亮度和曝光度。
141.实施例8：
142.为了计算第三样本图像和第二样本图像的损失值，在上述实施例的基础上，在本技术实施例中，所述确定所述第三样本图像和所述第二样本图像的损失值包括：
143.根据所述第三样本图像、所述第二样本图像以及l1损失函数，确定第一损失值；
144.将第二样本图像和第三样本图像分别进行超分辨测试序列vgg处理；
145.根据vgg处理后的第二样本图像和第三样本图像以及所述l1损失函数，计算第二损失值；
146.将所述第一损失值和第二损失值的和值，确定为所述第三样本图像和所述第二样
本图像的损失值。
147.在本技术实施例中，为了更好的确定第三样本图像和第二样本图像的损失值，可以基于该第三样本图像、该第二样本图像以及l1损失函数，确定该第三样本图像和第二样本图像的第一损失值。并且，还可以将第二样本图像和第三样本图像分别进行超分辨测试序列(visual geometry grou，vgg)处理，再根据vgg处理后的第二样本图像、第三样本图像以及l1损失函数，计算第二损失值。其中，计算第二损失值的方法与计算第一损失值的方法相同，在此不再赘述。
148.在确定了第一损失值和第二损失值之后，在本技术实施例中，将该第一损失值和第二损失值的和值确定为第二样本图像和第三样本图像的损失值。
149.此外，在本技术实施例中，还可以在电子设备中预先配置好第一损失值对应的第一权重，和第二损失值对应的第二权重，在基于第一损失值和第二损失值，确定总损失值时，先将该第一损失值和第二损失值乘上各自对应的权重，再计算总损失值。其中，第一损失值和第二损失值对应的权重，可以由技术人员根据实际的训练效果自行设置。
150.实施例9：
151.图8为本技术实施例提供的一种基于深度学习的图像增强装置结构示意图，该装置包括：
152.获取模块801，用于获取样本集中任一样本图像对，其中所述样本图像对包括第一样本图像和所述第一样本图像对应的不失真的第二样本图像；
153.训练模块802，用于将所述第一样本图像和所述第二样本图像输入到原始图像增强模型中，获取所述原始图像增强模型对所述第一样本图像处理后输出的第三样本图像；确定所述第三样本图像和所述第二样本图像的损失值；根据所述损失值，对所述原始图像增强模型的参数进行调整，得到训练好的神经网络模型；
154.图像增强模块803，用于通过训练好的神经网络模型对实际图像进行图像增强。
155.在一种可能的实施方式中，所述获取模块801，具体用于获取所述第一样本图像对应的原始raw图像；对所述raw图像进行直接变换，确定第一rgb图像；对所述raw图像进行去马赛克插值处理，确定第二rgb图像；对所述第二rgb图像进行数字增益操作和伽马校正操作，得到第三rgb图像；将根据第一预处理操作或第二预处理操作进行处理后的所述第一rgb图像和第三rgb图像合并，得到第一样本图像。
156.在一种可能的实施方式中，所述获取模块801，具体用于根据所述raw图像的每个像素点对应的分量，确定每个通道对应的子图像，将每个所述子图像中对应像素点的像素值作为第一rgb图像中该像素点对应分量的像素值。
157.在一种可能的实施方式中，所述获取模块801，还用于针对每个子图像，根据预先保存的每个通道对应的卷积核，确定该子图像对应的通道对应的目标卷积核；采用所述目标卷积核，对该子图像进行卷积操作。
158.在一种可能的实施方式中，所述获取模块801，还用于对所述raw图像进行减去黑电平操作、降噪操作和白平衡处理操作。
159.在一种可能的实施方式中，所述获取模块801，具体用于采用预设的图像增强算法，对所述第二rgb图像进行处理；将经过图像增强算法进行处理后第二rgb图像和所述第三rgb图像进行图像融合，得到第二样本图像。
160.在一种可能的实施方式中，所述获取模块801，具体用于识别所述第三rgb图像中车牌区域对应的第一子rgb图像和所述第二rgb图像中车牌区域对应的第二子rgb图像；用所述第二子rgb图像替换所述第一子rgb图像，并将替换后得到图像作为所述第二样本图像。
161.在一种可能的实施方式中，所述训练模块802，具体用于根据所述第三样本图像、所述第二样本图像以及l1损失函数，确定第一损失值；将第二样本图像和第三样本图像分别进行超分辨测试序列vgg处理；根据vgg处理后的第二样本图像和第三样本图像以及所述l1损失函数，计算第二损失值；将所述第一损失值和第二损失值的和值，确定为所述第三样本图像和所述第二样本图像的损失值。
162.实施例10：
163.在上述实施例的基础上，本技术实施例还提供了一种电子设备，图9为本技术实施例提供的一种电子设备结构示意图，如图9所示，包括：处理器91、通信接口92、存储器93和通信总线94，其中，处理器91，通信接口92，存储器93通过通信总线94完成相互间的通信；
164.存储器93中存储有计算机程序，当程序被处理器91执行时，使得处理器91执行如下步骤：
165.获取样本集中任一样本图像对，其中所述样本图像对包括第一样本图像和所述第一样本图像对应的不失真的第二样本图像；
166.将所述第一样本图像和所述第二样本图像输入到原始图像增强模型中，获取所述原始图像增强模型对所述第一样本图像处理后输出的第三样本图像；确定所述第三样本图像和所述第二样本图像的损失值；根据所述损失值，对所述原始图像增强模型的参数进行调整，得到训练好的神经网络模型；
167.通过训练好的神经网络模型对实际图像进行图像增强。
168.在一种可能的实施方式中，所述第一样本图像的确定方法包括：
169.获取所述第一样本图像对应的原始raw图像；
170.对所述raw图像进行直接变换，确定第一rgb图像；
171.对所述raw图像进行去马赛克插值处理，确定第二rgb图像；
172.对所述第二rgb图像进行数字增益操作和伽马校正操作，得到第三rgb图像；
173.将根据第一预处理操作或第二预处理操作进行处理后的所述第一rgb图像和第三rgb图像合并，得到第一样本图像。
174.在一种可能的实施方式中，所述第一子预处理操作包括随机高斯模糊操作、随机高斯噪声操作和随机颜色增强操作中的至少一种。
175.在一种可能的实施方式中，所述对所述raw图像进行直接变换，确定第一rgb图像包括：
176.根据所述raw图像的每个像素点对应的分量，确定每个通道对应的子图像，将每个所述子图像中对应像素点的像素值作为第一rgb图像中该像素点对应分量的像素值。
177.在一种可能的实施方式中，所述确定每个通道对应的子图像之后，所述方法还包括：
178.针对每个子图像，根据预先保存的每个通道对应的卷积核，确定该子图像对应的通道对应的目标卷积核；采用所述目标卷积核，对该子图像进行卷积操作。
179.在一种可能的实施方式中，所述第二子预处理操作包括随机高斯模糊操作、随机高斯噪声操作、随机透视变换操作和随机颜色增强操作中的至少一种。
180.在一种可能的实施方式中，所述对所述raw图像进行去马赛克插值处理之前，所述方法还包括：
181.对所述raw图像进行减去黑电平操作、降噪操作和白平衡处理操作。
182.在一种可能的实施方式中，所述第二样本图像的确定方法包括：
183.采用预设的图像增强算法，对所述第二rgb图像进行处理；
184.将经过图像增强算法进行处理后第二rgb图像和所述第三rgb图像进行图像融合，得到第二样本图像。
185.在一种可能的实施方式中，所述将经过图像增强算法进行处理后第二rgb图像和所述第三rgb图像进行图像融合，得到第二样本图像包括：
186.识别所述第三rgb图像中车牌区域对应的第一子rgb图像和所述第二rgb图像中车牌区域对应的第二子rgb图像；
187.用所述第二子rgb图像替换所述第一子rgb图像，并将替换后得到图像作为所述第二样本图像。
188.在一种可能的实施方式中，所述确定所述第三样本图像和所述第二样本图像的损失值包括：
189.根据所述第三样本图像、所述第二样本图像以及l1损失函数，确定第一损失值；
190.将第二样本图像和第三样本图像分别进行超分辨测试序列vgg处理；
191.根据vgg处理后的第二样本图像和第三样本图像以及所述l1损失函数，计算第二损失值；
192.将所述第一损失值和第二损失值的和值，确定为所述第三样本图像和所述第二样本图像的损失值。
193.由于上述电子设备解决问题的原理与基于深度学习的图像增强相似，因此上述电子设备的实施可以参见方法的实施例，重复之处不再赘述。
194.上述电子设备提到的通信总线可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口92用于上述电子设备与其他设备之间的通信。存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
195.上述处理器可以是通用处理器，包括中央处理器、网络处理器(network processor，np)等；还可以是数字指令处理器(digital signal processing，dsp)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
196.实施例11：
197.在上述各实施例的基础上，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质内存储有可由处理器执行的计算机程序，当程序在处理器上运行时，使
得处理器执行时实现如下步骤：
198.获取样本集中任一样本图像对，其中所述样本图像对包括第一样本图像和所述第一样本图像对应的不失真的第二样本图像；
199.将所述第一样本图像和所述第二样本图像输入到原始图像增强模型中，获取所述原始图像增强模型对所述第一样本图像处理后输出的第三样本图像；确定所述第三样本图像和所述第二样本图像的损失值；根据所述损失值，对所述原始图像增强模型的参数进行调整，得到训练好的神经网络模型；
200.通过训练好的神经网络模型对实际图像进行图像增强。
201.在一种可能的实施方式中，所述第一样本图像的确定方法包括：
202.获取所述第一样本图像对应的原始raw图像；
203.对所述raw图像进行直接变换，确定第一rgb图像；
204.对所述raw图像进行去马赛克插值处理，确定第二rgb图像；
205.对所述第二rgb图像进行数字增益操作和伽马校正操作，得到第三rgb图像；
206.将根据第一预处理操作或第二预处理操作进行处理后的所述第一rgb图像和第三rgb图像合并，得到第一样本图像。
207.在一种可能的实施方式中，所述第一子预处理操作包括随机高斯模糊操作、随机高斯噪声操作和随机颜色增强操作中的至少一种。
208.在一种可能的实施方式中，所述对所述raw图像进行直接变换，确定第一rgb图像包括：
209.根据所述raw图像的每个像素点对应的分量，确定每个通道对应的子图像，将每个所述子图像中对应像素点的像素值作为第一rgb图像中该像素点对应分量的像素值。
210.在一种可能的实施方式中，所述确定每个通道对应的子图像之后，所述方法还包括：
211.针对每个子图像，根据预先保存的每个通道对应的卷积核，确定该子图像对应的通道对应的目标卷积核；采用所述目标卷积核，对该子图像进行卷积操作。
212.在一种可能的实施方式中，所述第二子预处理操作包括随机高斯模糊操作、随机高斯噪声操作、随机透视变换操作和随机颜色增强操作中的至少一种。
213.在一种可能的实施方式中，所述对所述raw图像进行去马赛克插值处理之前，所述方法还包括：
214.对所述raw图像进行减去黑电平操作、降噪操作和白平衡处理操作。
215.在一种可能的实施方式中，所述第二样本图像的确定方法包括：
216.采用预设的图像增强算法，对所述第二rgb图像进行处理；
217.将经过图像增强算法进行处理后第二rgb图像和所述第三rgb图像进行图像融合，得到第二样本图像。
218.在一种可能的实施方式中，所述将经过图像增强算法进行处理后第二rgb图像和所述第三rgb图像进行图像融合，得到第二样本图像包括：
219.识别所述第三rgb图像中车牌区域对应的第一子rgb图像和所述第二rgb图像中车牌区域对应的第二子rgb图像；
220.用所述第二子rgb图像替换所述第一子rgb图像，并将替换后得到图像作为所述第
二样本图像。
221.在一种可能的实施方式中，所述确定所述第三样本图像和所述第二样本图像的损失值包括：
222.根据所述第三样本图像、所述第二样本图像以及l1损失函数，确定第一损失值；
223.将第二样本图像和第三样本图像分别进行超分辨测试序列vgg处理；
224.根据vgg处理后的第二样本图像和第三样本图像以及所述l1损失函数，计算第二损失值；
225.将所述第一损失值和第二损失值的和值，确定为所述第三样本图像和所述第二样本图像的损失值。
226.由于上述计算机可读存储介质解决问题的原理与基于深度学习的图像增强相似，因此上述计算机可读存储介质的实施可以参见方法的实施例，重复之处不再赘述。
227.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
228.本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
229.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
230.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
231.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。