一种图像处理方法、存储介质及终端设备与流程

1.本发明涉及图像处理技术领域，特别涉及一种图像处理方法、存储介质及终端设备。


背景技术：

2.现有的全面屏终端普遍包括显示面板区域以及摄像头区域，摄像头区域位于显示面板区域的顶部，这样虽然可以增大屏占比，但是摄像头区域还是会占用部分显示区域，无法真实达到全面屏。因而，为了实现全面屏终端需要在显示面板下安装成像系统，现有显示面板普遍包括基板以及偏光片等，而当光线通过显示面板时，显示面板一方面折射光线而使得光线透射率低，另一方显示面板会吸收光线，这样会影响拍摄得到的图像质量，例如，拍摄得到的图像色彩与拍摄场景不符以及图像噪声增多等。


技术实现要素：

3.本发明要解决的技术问题在于，针对现有技术的不足，提供一种图像处理方法、存储介质及终端设备。
4.为了解决上述技术问题，本发明所采用的技术方案如下：
5.一种图像处理方法，所述方法包括：
6.获取待处理图像集，其中，所述待处理图像集包括多张图像；
7.根据所述待处理图像集，生成所述待处理图像集对应的去噪图像；
8.将所述去噪图像输入至以已训练的第一图像处理模型，通过所述图像处理模型对所述去噪图像进行去偏色处理，得到所述去噪图像对应的处理后图像；
9.将所述处理后图像输入至以已训练的第二图像处理模型，通过所述第二图像处理模型对所述处理后图像进行去重影处理，以得到输出图像。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的图像处理方法中的步骤。
11.一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
12.所述通信总线实现处理器和存储器之间的连接通信；
13.所述处理器执行所述计算机可读程序时实现如上任一所述的图像处理方法中的步骤。
14.有益效果：与现有技术相比，本发明提供了一种图像处理方法、存储介质以及终端设备，所述图像处理方法包括获取待处理图像集，根据所述待处理图像集，生成所述待处理图像集对应的去噪图像；将所述去噪图像输入至以已训练的图像处理模型，通过所述图像处理模型生成所述去噪图像对应的输出图像。本发明是首先获取多张图像，并根据多张图像来生成一张去噪图像，在采用基于训练图像集进行深度学习得到已训练的图像处理模型
来调整去噪图像的图像颜色，这样使得可以提高输出图像的色彩质量以及噪声质量，从而提高图像质量。
附图说明
15.图1为本发明提供的图像处理方法的一个应用场景图。
16.图2为本发明提供的图像处理方法的一个实施例的流程图。
17.图3为本发明提供的图像处理方法的一个实施例中步骤s20的流程图。
18.图4为本发明提供的图像处理方法的一个实施例中临近图像块的获取过程的流程图。
19.图5为本发明提供的图像处理方法的一个实施例中指定区域的一个示例图。
20.图6为本发明提供的图像处理方法的一个实施例中第二权重参数的计算过程的流程图。
21.图7为本发明提供的图像处理方法的一个实施例中第一图像处理模型的训练过程的流程图。
22.图8为本实施例提供的图像处理方法一个实施例中第一图像的一个示例图。
23.图9为本实施例提供的图像处理方法一个实施例中第二图像的一个示例图。
24.图10为本实施例提供的图像处理方法一个实施例中确定对齐方式的过程的流程图。
25.图11为本实施例提供的图像处理方法一个实施例中的第一预设网络模型的一个原理示意图。
26.图12为本实施例提供的图像处理方法一个实施例中的第一预设网络模型的工作流程图。
27.图13为本实施例提供的图像处理方法一个实施例中步骤m10的流程图。
28.图14为本实施例提供的图像处理方法一个实施例中步骤m11的流程图。
29.图15为本实施例提供的图像处理方法一个实施例中步骤m12的流程图。
30.图16为本实施例提供的图像处理方法中去噪图像的一个示例图。
31.图17为本实施例提供的图像处理方法中去噪图像对应的处理后图像的一个示例图。
32.图18为本发明提供的图像处理方法的一个实施例中第二图像处理模型的训练过程的流程图。
33.图19为本发明提供的图像处理方法的一个实施例中第二预设网络模型的结构示意图。
34.图20为本发明提供的图像处理方法的一个实施例中步骤l200的流程图。
35.图21为本发明提供的图像处理方法的一个实施例中处理后图像的一个示例图。
36.图22为本发明提供的图像处理方法的一个实施例中处理后图像对应输出图像的一个示例图。
37.图23为本发明提供的终端设备的结构原理图。
具体实施方式
38.本发明提供一种图像处理方法、存储介质及终端设备，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
39.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
40.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
41.发明人经过研究发现，为了实现终端设备的全面屏，需要将终端设备的前置摄像头安装在显示面板下方。而现有显示面板普遍包括基板以及偏光片等，而当光线通过显示面板时，显示面板一方面折射光线而使得光线透射率低，另一方显示面板会吸收光线，这样会影响拍摄得到的图像质量，例如，拍摄得到的图像色彩与拍摄场景不符、图像噪声增多以及图像影像模糊等。
42.为了解决上述问题，在本发明实施例中，首先获取包含多张图像的待处理图像集，并根据待处理图像集生成去噪图像；然后已训练的第一图像处理模型对所述去噪图像进行去偏色处理，以得到处理后图像，再将处理后图像输入至已训练的第二图像处理模型，通过第二图像处理模型对应所述处理后图像进行去重影处理。可见，本发明实施例中，通过采集多张图像来得到去噪图像，然后通过第一图像处理模型来对去噪图像的图像色彩进行调整，最后再通过第二图像处理模型对应去偏色处理后的处理后图像进行去重影处理，这样可以提高图像质量。
43.举例说明，本发明实施例可以应用到如图1所示的场景。在该场景中，首先，终端设备1可以采集待处理图像集，并将所述待处理图像集输入服务器2，以使得服务器2依据所述待处理图像集得到输出图像，之后再将输出图像传输至终端设备，以使得终端设备可以获取并显示输出图像。服务器2可以预先存储有已训练的第一图像处理模型和第二图像处理模型，并响应终端设备1的输入的待处理图像集，根据所述待处理图像集，生成所述待处理图像集对应的去噪图像；将所述去噪图像输入至以已训练的第一图像处理模型，通过所述第一图像处理模型生成所述去噪图像对应的处理后图像，最后通过第二图像模型生成所述处理后图像对应的输出图像。
44.可以理解的是，在上述应用场景中，虽然将本发明实施方式的动作描述为部分由终端设备1执行、部分由服务器2执行，但是这些动作也可以完全由服务器2执行，或者完全由终端设备1执行。本发明在执行主体方面不受限制，只要执行了本发明实施方式所公开的
动作即可。
45.进一步，可以将所述图像处理方法用于处理通过具有屏下成像系统(如，屏下摄像头)的终端设备拍摄的照片。例如，将通过具有屏下成像系统(如，屏下摄像头)的终端设备拍摄的照片以得到待处理图像集，之后根据待处理图像集生成去噪图像，然后将去噪图像作为输入项输入所述已训练的第一图像处理模型，通过所述已训练的第一图像处理模型对该照片进行去偏色处理，以得到处理后图像，最后通过第二图像模型生成所述处理后图像对应的输出图像，从而可以快速对拍摄图片进行去噪、图像色彩以及重影进行调整，以提高屏下摄像头拍摄的照片的图像质量。当然，在实际应用中，所述图像处理方法可作为一个图像处理功能模块配置于具有屏下成像系统(如，屏下摄像头)的终端设备，当具有屏下成像系统(如，屏下摄像头)的终端设备拍摄到照片时，启动所述图像处理功能，通过所述图像处理功能终端设备拍摄的照片进行去图像处理，使得具有屏下成像系统(如，屏下摄像头)的终端设备处理后的高质量照片，使得具有屏下成像系统(如，屏下摄像头)的终端设备可以直接输出高质量照片。
46.需要注意的是，上述应用场景仅是为了便于理解本发明而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。
47.下面结合附图，通过对实施例的描述，对发明内容作进一步说明。
48.本实施提供了一种图像处理方法，如图2所示，所述方法包括：
49.s10、获取待处理图像集。
50.具体地，所述待处理图像集包括至少两张图像，所述待处理图像集中的各张图像的获取方式可以包括：通过成像系统(如，屏下摄像头等)拍摄得到的、外部设备(如，智能手机等)发送得到的，以及通过网络(如，百度等)。在本实施例的中，所述待处理图像集包含的各张图像均为低曝光图像，并且所述待处理图像集中各去噪图像均是通过成像系统(如，照相机、摄像机、屏下摄像头等)拍摄的得到，并且各去噪图像属于相同的色彩空间(如，rgb色彩空间以及yuv色彩空间等)相同。例如，所述各去噪图像均是通过屏下摄像头拍摄得到，并且基础图像和各张临近图像均属于rgb色彩空间。
51.进一步，所述待处理图像集中的各待处理图像对应的拍摄场景均相同，并且各待处理图像的拍摄参数也可以相同，其中，所述拍摄参数可以包括环境照度以及曝光参数，其中，所述曝光参数可以包括光圈、开门速度、感光度、对焦以及白平衡等。当然，在实际应用中，所述拍摄参数还可以拍摄角度以及拍摄范围等。
52.进一步，由于在不同的环境照度下，成像系统拍摄的图像的噪声程度不同，例如，当环境照度低时，成像系统拍摄得到的图像携带的噪声较多，当环境照度高时，成像系统拍摄得到的图像携带的噪声较少。特别是对于屏下成像系统，由于显示面板对不同光线强度的吸收强度不同，并且显示面板对光线的吸收程度与光线强度为非线性光线(例如，当环境照度低时，光线强度低，显示面板吸收光线的比例高，当环境照度高时，光线强度高，显示面板吸收光线的比例低)，这使得屏下成像系统拍摄得到图像a的噪声强度高于图像b的噪声强度，其中，图像a对应的环境光强度小于图像a对应的环境光强度。由此，对于噪声强度不同的图像，可以采用不同数量的图像进行合成，例如，噪声强度高图像需要的图像数量大于噪声强度低图像需要的图像数量。相应的，所述待处理图像集包含的去噪图像的图像数量可以为根据所述待处理图像集对应的拍摄参数确定的，其中，所述拍摄参数至少包括包括
环境照度。
53.此外，为了根据环境照度确定待处理图像的图像数量，可以预先设定环境照度区间与待处理图像的图像数量的对应关系。在获取到环境照度后，首先确定环境照度所处环境照度区间，在根据该对应关系确定该环境照度区间对应的待处理图像的图像数量，以得到待处理图像的图像数量。例如，所述环境照度区间与待处理图像的图像数量的对应关系为：当环境照度区间为[0.5,1)时，待处理图像的图像数量对应8；当环境照度为[1,3)时，待处理图像的图像数量对应7；当环境照度为[3,10)时，待处理图像的图像数量对应6；当环境照度区间为[10,75)时，待处理图像的图像数量对应5；当环境照度区间为[75,300)时，待处理图像的图像数量对应4，当环境照度区间为[300,1000)时，待处理图像的图像数量对应3；当环境照度为[1000,5000)时，待处理图像的图像数量对应2。
[0054]
进一步，在本实施例的一个实现方式中，所述待处理图像集为通过屏下成像系统拍摄得到，所述待处理图像集包含的待处理图像的图像数量是根据所述屏下成像系统拍摄图像时的环境照度确定。其中，所述环境照度可以在屏下成像系统启动时获取到的，也可以是根据拍摄得到的第一帧图像获取到，还可以是通过预先拍摄得到的预设数量的图像，再根据拍摄得到的预设数量的图像中任一张图像确定。
[0055]
在本实施例的一个实现方式中，所述环境照度为在屏下成像系统启动时获取到的。相应的，所述待处理图像集的获取过程可以为：当屏下成像系统启动时，获取环境照度，并根据获取到环境照度确定待处理图像集包含的图像的第一图像数量，并通过屏下成像系统连续获取第一图像数量的图像，以得到所述待处理图像集。其中，所述第一图像数量可以根据预设设置的环境照度与待处理图像的图像数量的对应关系确定的。
[0056]
在本实施例的一个实现方式中，所述环境照度是根据拍摄得到的第一帧图像获取到。相应的，所述待处理图像集的获取过程可以为：首先通过屏下成像系统获取第一帧图像，再获取第一帧图像的iso值，并根据所述iso值确定第一帧图像对应的环境照度，最后根据获取到环境照度确定待处理图像集包含的图像的第二预设图像数量，并通过屏下成像系统再连续获取第二图像数量减一张图像，以得到所述待处理图像集。
[0057]
在本实施例的一个实现方式中，所述环境照度通过预先拍摄得到的预设数量的图像，再根据拍摄得到的预设数量的图像中任一张图像确定。所述待处理图像集的获取过程可以为：预先首先通过屏下成像系统获取预设数量的图像，并在获取到图像中随机选取一张第三预设图像，获取第三预设图像的iso值，并根据所述iso值确定第三预设图像对应的环境照度，最后根据获取到环境照度确定待处理图像集所包含图像的图像数量(即第三图像数量)。此外，由于已经获取到预设数量的图像，从而可以将预设数量与第三图像数量进行比较，若所述预设数量小于第三图像数量，则通过屏下成像系统再连续获取第四图像数量张图像，其中，第四图像数量等于第三图像数量减预设数量；若所述预设数量等于所述第三图像数量，则完成所述待处理图像集获取操作；若所述预设数量大于第三图像数量，则在获取到预设数量的图像中随机选取第三图像数量张图像，以得到所述待处理图像集。
[0058]
进一步，在本实施例的一个实现方式，在所述预设数量大于第三图像数量，为了使得待处理图像集包括第三预设图像，可以将所述第三预设图像添加至所述待处理图像集，之后再在获取到的图像中选取第三图像数量减一张图像。同时为了使得待处理图像集中的图像与第三预设图像连续，可以按照拍照顺序选取待处理图像集包含的图像。
[0059]
举例说明：假设预设数量为5，5张图像按照拍摄顺序分别记为图像a、图像b、图像c、图像d以及图像e，第三图像数量为3，第三预设图像为按照拍摄时间顺序为3的图像c，那么按照拍摄顺序选取到的图像分别为图像b和图像d，从而所述待处理图像集包括图像b、图像c以及图像d。当然，在实际应用中，可以优先选取按照拍摄顺序从第三预设图像依次向前选取，当位于第三预设图像前的图像数量不够时，按照拍摄顺序从第三预设图像依次向后选取；也可以先向后选取，在向后的图像数量不够时，向前选取；还可以是其他选取方法，这里不做具体限制，只要是可以选取到第四图像数量的图像的方式均可以。
[0060]
s20、根据所述待处理图像集，生成所述待处理图像集对应的去噪图像。
[0061]
具体地，所述待处理图像集包括一基础图像和至少一张临近图像，其中，所述基础图像为待处理图像集中各待处理图像的图像基准，各临近图像可以以所述基础图像为参考基准与所述基础图像进行合成。由此，在根据所述待处理图像集生成去噪图像之前，需要在待处理图像集中选取一张图像作为基础图像，并将待处理图像集中除基础图像外的所有图像作为基础图像的临近图像。
[0062]
进一步，由于待处理图像集包括一张基础图像和至少一张临近图像，从而需要在获取到图像中选取基础图像。其中，所述基础图像可以为按照获取顺序位于第一的图像，也可以是待处理图像集中任一张图像，还可以是待处理图像集中清晰度最高的一张图像。在本实施例中，所述基础图像为处理图像集中清晰度最高的一张图，即所述基础图像的清晰度大于或者等于任意一张临近图像的清晰度。
[0063]
进一步，在本实施例的一个实现方式中，所述基础图像的确定过程可以：在获取到待处理图像集包含的所有图像后，获取各图像的清晰度，并将获取到各清晰度进行比较，以选取清晰度最大的图像，并将选取到的图像作为基础图像。其中，所述图像的清晰度可以理解为图像中地物边界(或物体边界)上的像素点的像素值和与该地物边界(或物体边界)相邻的像素点的像素值之间的差值；可以理解的是，若图像中地物边界(或物体边界)上的像素点的像素值和与该地物边界(或物体边界)相邻的像素点的像素值之间的差值越大，则说明该图像的清晰度越高，反之，若图像中地物边界(或物体边界)上的像素点的像素值和与该地物边界(或物体边界)相邻的像素点的像素值之间的差值越小，则说明该图像的清晰度越低。也就是说，基础图像的清晰度高于各临近图像的清晰度，可以理解为，针对于每一张临近图像，基础图像中地物边界(或物体边界)上的像素点的像素值和与该地物边界(或物体边界)相邻的像素点的像素值之间的差值，大于该临近图像中地物边界(或物体边界)上的像素点的像素值和与该地物边界(或物体边界)相邻的像素点的像素值之间的差值。
[0064]
为便于理解，接下来针对基础图像的清晰度高于临近图像的清晰度进行举例说明。假设待处理图像集包括图像a和一张图像b，且该图像a和该图像b中的图像内容是完全一样的，其中，该图像a和该图像b中均包括像素点a和像素点b，像素点a为图像中地物边界(或物体边界)上的像素点，而像素点b为与该地物边界(或物体边界)相邻的像素点；若图像a中像素点a的像素值与像素点b的像素值之间的差值为10，而该图像b中像素点a的像素值与像素点b的像素值之间的差值为30，则可以认为该图像b的清晰度高于该训练图像a的清晰度，因此，可以将该图像a作为该待处理图像集中的基础图像，将该图像b作为该待处理图像集中的临近图像。
[0065]
进一步，在本实施例的一个实现方式中，在根据清晰度在待处理图像集中选取基
础图像时，待处理图像集中存在多张清晰度相同的图像(记为图像c)，并且每张图像c的清晰度均不小于待处理图像集中的任一张图像的清晰度，那么所述多张图像c均可以作为基础图像。此时，可以在获取到多张图像c中随机选取一张图像c作为基础图像，也可以按照拍摄顺序，在多张图像c中选取位于第一位的图像c作为基础图像，还可以按照拍摄顺序，在多张图像c中选取位于最后一位的图像c作为基础图像。
[0066]
进一步，在本实施例的一个实现方式中，如图3所示，所述根据所述待处理图像集，生成所述待处理图像集对应的去噪图像具体包括：
[0067]
s21、将所述基础图像划分为若干基础图像块,分别确定各基础图像在各临近图像中对应的临近图像块；
[0068]
s22、确定各个基础图像块分别对应的权重参数集；其中，基础图像块对应的权重参数集包括第一权重参数和第二权重参数，第一权重参数为基础图像块的权重参数，第二权重参数为临近图像中与基础图像块对应的临近图像块的权重参数；
[0069]
s23、根据所述待处理图像集以及各个基础图像块分别对应的权重参数集，确定去噪图像。
[0070]
具体地，在所述步骤s21中，所述基础图像块为所述基础图像的部分图像区域，并且所述若干基础图像块拼接后会形成所述基础图像。所述将基础图像划分为若干基础图像块指的是将所述基础图像作为一个区域，将所述区域划分为若干个子区域，每个子区域对应的图像区域为一个基础图像块，其中，将所述区域划分为若干个子区域可以为将所述区域等分为若干区域。例如，可以将8*8的基础图像分割成4个4*4的基础图像块。当然，在实际应用中，本实施例中的将基础图像划分为若干基础图像块的方法，可以根据具体的场景灵活选择，只要可以划分得到若干基础图像块的方法均可以。所述临近图像块为基础图像在临近图像中对应的图像块，所述临近图像块的图像块大小与所述临近图像块所对应的基础图像块的大小相同，并且所述临近图像块携带图像内容与所述基础图像块携带的图像内容相同。所述确定该基础图像块分别在每张临近图像中对应的临近图像块指的是在临近图像块的指定区域内选取与基础图像块相似度最高的图像块，其中，所述指定区域为根据基础图像块在基础图像中所处区域确定的。
[0071]
进一步，在本实施例的一个实现方式中，如图4所示，所述分别确定各基础图像在各临近图像中对应的临近图像块具体包括：
[0072]
a10、确定该基础图像块在基础图像中的区域范围，并根据所述区域范围确定临近图像中的指定区域；
[0073]
a20、根据该基础图像块在指定区域内选取临近图像块，其中，所述临近图像块为指定区域内与基础图像块相似性最高的图像块，并且临近图像块的图像尺寸与基础图像块的图像尺寸相等。
[0074]
具体地，所述区域范围指的是基础图像块在基础图像中所处的区域边界像素点的像素坐标形成的坐标点集合，例如，所述基础图像块为基础图像中的正方形区域，并且基础图像块的四个顶点的坐标点分别为(10,10)、(10,20)、(20,10)以及(20,20)，那么所述基础图像块对应的区域范围可以为{(10,10)、(10,20)、(20,10)以及(20,20)}。
[0075]
所述指定区域为临近图像中的图像区域，基础图像块对应的区域范围可以与指定区域对应的区域范围相对应，即当临近图像与基础图像建立映射时，指定区域对应的区域
范围与基础图像块对应的区域范围相对应。例如，在基础图像中，基础图像块对应的区域范围可以为{(10,10)、(10,20)、(20,10)以及(20,20)}，在临近图像中，指定区域对应的区域范围可以为{(10,10)、(10,20)、(20,10)以及(20,20)}，那么基础图像块对应的区域范围可以与指定区域对应的区域范围相对应。此外，基础图像块对应的区域范围也可以与指定区域的子区域对应的区域范围相对应，即当临近图像与基础图像建立映射时，指定区域对应的区域范围中存在一个子区域，该子区域的区域范围与基础图像块对应的区域范围相对应。例如，基础图像块在基础图像中所占的图像区域对应的区域范围可以为{(10,10)、(10,20)、(20,10)以及(20,20)}，如图5所示，指定区域在临近图像中所占的图像区域12对应的区域范围可以为{(9,9)、(9,21)、(21,9)以及(21,21)}，那么指定区域包含子区域11，该子区域11的区域范围为{(10,10)、(10,20)、(20,10)以及(20,20)}，该子区域11对应的区域范围与基础图像块对应的区域范围相对应。
[0076]
进一步，在本实施例的一个实现方式中，所述基础图像块对应的区域范围也可以与指定区域的子区域对应的区域范围相对应，并且所述指定区域为通过将区域范围对应的坐标点集合中各坐标点沿横纵或纵轴向远离区域范围的方向平移预设数值得到，其中，区域范围为基础图像块对应的区域范围。例如，基础图像块对应的区域范围可以为{(10,10)、(10,20)、(20,10)以及(20,20)}，预设数值为5，那么指定区域的区域范围为{(5,5)、(5,25)、(25,5)以及(25,25)}。此外，不同的临近图像对应的预设数值可以不同，并且各临近图像对应的预设数值可以根据该临近图像相对于基础图像的位移确定。其中，所述预设数值的确定过程可以为：针对于每一张临近图像，分别计算基础图像和该临近图像在行列方向上的投影，根据该临近图像对应的投影以及基础图像对应的投影，确定该临近图像相对于基础图像在行列上的位移，并根据该位移作为该临近图像对应的预设数值，其中，该位移可以采用sad算法计算得到。
[0077]
进一步，在所述步骤s22中，所述权重参数集中第二权重参数的数量与待处理图像集中的临近图像的数量相同，并且权重参数集中第二权重参数与待处理图像集中的临近图像一一对应。每张临近图像中均至少包括一个与基础图像块对应的临近图像块，并且每个临近图像块对应基础图像块均分别存在一个第二权重参数。由此，权重参数集包括一个第一权重参数以及至少一个第二权重参数，并且每个第二权重参数对应一个临近图像中与基础图像块对应的临近图像块。其中，所述第一权重参数可以为预先设置，用于表示基础图像块与其本身的相似程度；所述第二权重参数为根据基础图像块与其对应的临近图像进行得到。
[0078]
由此，在本实施例的一个可能实现方式中，所述确定各个基础图像块分别对应的权重参数集具体包括：
[0079]
针对每个基础图像块，确定该基础图像块对应的各临近图像块的第二权重参数，以及，获取该基础图像块对应的第一权重参数，以得到该基础图像块对应的权重参数集。
[0080]
具体地，对于每个基础图像块，均对应至少一个临近图像块，其中，该基础图像对应的临近图像块的数量以基础图像对应的临近图像的数量相等。而对于该基础图像对应的每个临近图像块，该临近图像块均对应一第二权重参数，从而基础图像块对应的第二权重参数的数量与待处理图像集中的临近图像的图像数量相等。此外，所述第二权重参数为根据基础图像块与临近图像块的相似度计算得到。相应的，在本实施例的一个实现方式中，如
图6所示，所述计算该基础图像块对应的各临近图像块的第二权重参数具体包括：
[0081]
b10、针对每个临近图像块，计算该基础图像块与该临近图像块的相似度值；
[0082]
b20、根据所述相似度值计算该临近图像块的第二权重参数。
[0083]
具体地，所述相似度指的是所述基础图像块与临近图像块的相似度，临近图像块是根据基础图像块在临近图像中确定，并且临近图像块的图像大小与基础图像块的大小相同，从而基础图像块中包含的各像素点与临近图像块包含的各像素点为一一对应的，对于基础图像块中的每个像素点，在临近图像块中均可以找到一个与该像素点对应的像素点。由此，所述相似度可以根据基础图像块包含的各像素点的像素值与临近图像块包含的各像素点的像素值计算得到的。
[0084]
其中，根据基础图像块包含的各像素点的像素值与临近图像块包含的各像素点的像素值计算相似度的具体过程可以为：读取基础图像块包含的各像素点分别对应的第一像素值，以及临近图像块包含的各像素点分别对应的第二像素值；针对于每一个第一像素值，计算该第一像素值与其对应的第二像素值的差值；再根据计算得到的所有差值来计算基础图像块和临近图像块的相似度值，其中，相似度值可以为计算得到的各差值的绝对值的均值，，例如，计算得到第一像素值a和第二像素值a的差值，以及，第一像素值b和第二像素值b的差值，那么，可以根据第一像素值a和第二像素值a的差值，以及，第一像素值b和第二像素值b的差值确定基础图像块和临近图像块的相似度，具体地，该相似度值可以为第一像素值a和第二像素值a的差值的绝对值，与第一像素值b和第二像素值b的差值的绝对值之间的均值；因此，所述相似度值越大，说明基础图像块与临近图像块的相似性越低，反之，所述相似度值越小，说明基础图像块与临近图像块的相似性越高。
[0085]
同时在本实施例中，对于基础图像的每个基础图像块和其对应的临近图像块和其对应的临近图像块和的相似度d
i
的计算公式可以为：
[0086][0087]
其中，j为像素索引，j＝1,2，...，m，m为基础图像块包含的像素点的数量(临近图像块与基础图像块包括的像素点数量相同)，为基础图像块中第j个像素点的像素值；为临近图像块中与基础图像块中第j个像素点对应的像素点的像素值，i表示第i个基础图像块，i＝1,2，...，n，n为基础图像块的数量。
[0088]
进一步，根据所述相似度值的计算公式可以知道，所述相似度值与待处理图像集中图像的图像噪声强度，以及基础图像块的图像内容与临近图像块的图像内容的差异相关，具体地，当图像噪声强度高或者础图像块的图像内容与临近图像块的图像内容的差异大时，相似度值大；反之，当图像噪声强度低且础图像块的图像内容与临近图像块的图像内容的差异小时，相似度值小。那么，采用相似度值大的临近图像块进行后续合成操作，会使得合成效果差，从而在获取到基础图像块与各临近图像块的相似度值，可以根据各临近图像块对应的相似度值为各临近图像块配置第二权重参数，所述第二权重参数与相似度值负相关，即相似度值越大，第二权重参数越小；反之，相似度值越小，第二权重参数越大。这样通过为相似度低的临近图像分配较低的权重值，防止融合后出现拖影等失真问题。
[0089]
示例性地，在本实施例的一个实现方式中，所述根据所述相似度值计算该临近图像块的第二权重参数具体包括：
[0090]
c10、当所述相似度值小于或等于第一阈值时，将第一预设参数作为该临近图像块的第二权重参数；
[0091]
c20、当所述相似度值大于第一阈值，且小于或等于第二阈值时，根据所述相似度值、所述第一阈值及所述第二阈值计算该临近图像块的第二权重参数；
[0092]
c30、当所述相似度值大于第二阈值时，将预设第二预设参数作为该临近图像块的第二权重参数。
[0093]
需要说明的是，本实施例中，b20可以仅包括c10、c20和c30中的任意一个步骤、任意两个步骤或者全部步骤，即在本实施例中，b20可以包括c10和/或c20和/或c30。
[0094]
具体地，所述第一阈值和第二阈值均是用于衡量基础图像块与临近图像块的相似度，所述第二阈值大于第一阈值，那么，当相似度值小于第一阈值时，根据相似度值与相似度的关系可以得知，基础图像块与临近图像块的相似度性高，从而临近图像块对应的第二权重参数值大，当相似度值大于第二阈值时，根据相似度值与相似度的关系可以得知，基础图像块与临近图像块的相似度性低，从而临近图像块对应的第二权重参数值小。由此可知，第一预设参数大于第二预设参数，并且根据所述相似度值、所述第一阈值及所述第二阈值计算该临近图像块的计算得到第三参数位于第一预设参数和第二预设参数之间。
[0095]
进一步，在实施例的一个实现方式中，所述第三参数的计算过程可以为：首先计算相似度值与第二阈值的第一差值，再计算第一阈值与第二阈值的第二差值，然后再计算第一差值和第二差值的比值，并将所述比值作为临近图像块的第二权重参数。此外，由第三参数的计算过程可以得到，第三参数的取值范围为0-1，而第一预设参数大于第三参数，第二预设参数小于第三参数，从而可以将第一预设参数设置为1，第二预设参数设置为0。从而，所述第二权重参数与相似度值的对应关系的表达至可以为：
[0096][0097]
其中，w
i
为第二权重参数，t1为第一阈值，t2为第二阈值，d
i
为相似度值i表示第i个基础图像块，i＝1,2，...，n，n为基础图像块的数量。
[0098]
当然，值得说明的，相似度与权重系数呈正相关，即基础图像与临近图像的相似度越高，临近图像块对应的权重系数越大，反之，基础图像与临近图像的相似度越低，临近图像块对应的权重系数越低。而对于基础图像块而言，基础图像块确定相似度的比较对象为基础图像块本身，那么基础图像块与其自身的相似度大于或者等于临近图像块与基础图像块的相似度，相应的，第一权重参数大于或者等于第二权重系数。同时，由于第二权重参数的计算公式可以看出，第二权重系数最大为1，那么在本实施例的一个实现方式中，所述基础图像块对应的第一权重系数可以等于第二权重参数的最大值，即第一权重参数为1。
[0099]
进一步，所述第一阈值和第二阈值可以是预先设置，也可以是根据该基础图像块对应临近图像块的相似度值确定的。在本实施中，所述第一阈值和第二阈值是根据该基础图像块对应各临近图像块的相似度值确定的。所述第一阈值和第二阈值的确定过程可以为：分别获取各临近图像块的相似度值，分别计算各相似度值的均值以及标准差，再根据均
值以及标准差计算第一阈值和第二阈值，这样通过个临近图像块的相似度值确定第一阈值和第二阈值，可以使得第一阈值和第二阈值根据各临近图像的相似度值来自适应调整，从而可以使得第一阈值和第二阈值根据各临近图像的噪声强度来自适应调整，避免了因第一阈值和第二阈值过大而造成图像去噪效果差，以及因第一阈值和第二阈值过小而造成的图像模糊，从而在保证图像去噪效果基础上，提高了图像的清晰度。
[0100]
进一步，在本实施例的一个实现方式中，所述第一阈值t1和第二阈值t2的计算公式分别为：
[0101]
t1＝μ+s
min
×
σ
[0102]
t2＝μ+s
max
×
σ
[0103][0104][0105]
其中，s
min
和s
max
为常数，d
max
为常数，l表示d
i
<d
max
的临近图像块的数量，i＝1,2，...，l。
[0106]
此外，待处理图像集中图像的图像噪声强度以及临近图像块的选取的准确性对相似度值的影响中，临近图像块的选取的准确性可以引起相似度值的大幅度变化，从而当临近图像块与基础图像块的相似度值大于预设值d
max
时，默认为基础图像块的图像内容与临近图像块的图像内容差异过大，将该临近图像块作为无效临近图像块(即，丢弃该无效临近图像块，不将该无效临近图像块作为基础图像块的临近图像块)。从而，对于d
i
≥d
max
的临近图像块，则可以认为基础图像块的图像内容与临近图像块的图像内容差异过大，从而无需确定该临近图像块对应的第一阈值和第二阈值，提高了基础图像块对应的权重参数集的计算速度。同时，与基础图像块的图像内容差异大的临近图像块，可以避免图像内容差大的临近图像块在图像融合时产生拖影，而造成输出图像失真的问题。
[0107]
进一步，在所述步骤s23中，所述输出图像是由若干输出图像块拼接而成的，输出图像块是根据基础图像块、基础图像块对应的临近图像块以及基础图像块对应的权重参数集计算得到，例如，对于基础图像块中每一像素点，获取该像素点的第一像素值，以及各临近图像块中与该像素点对应的像素点的第二像素值，然后将各临近图像块对应的第二权重参数以及基础图像对应的第一权重参数作为加权系数，将第一像素值和各第二像素值进行加权处理，以得到输出图像块中的每个像素点的像素值。由此，在根据待处理图像集和各基础图像块对应的权重参数集确定输出图像时，可以针对于每一个基础图像块，将该基础图像块与其对应的各临近图像块进行加权以得到该基础图像块对应的输出图像块，其中，在基础图像块与各临近图像块加权过程中，基础图像块的加权系数为权重参数集中的第一权重系统，各临近图像块的加权系数为权重参数集中各临近图像块分别对应的第二权重参数。此外，在计算得到各输出图像块后，根据计算得到的各输出图像块生成所述输出图像，其中，根据输出图像块生成输出图像可以是采用各输出图像块替换基础图像中与其对应的基础图像块的方式，或者，可以是将各输出图像块进行拼接得到输出图像的。
[0108]
举例说明：假设待处理图像集包括一张基础图像和4张临近图像，那么对于每个基
础图像块，该基础图像块对应四个临近图像块，分别记为第一临近图像块、第二临近图像块、第三临近图像块和第四临近图像块，并且按照拍摄顺序的排序为：基础图像块、第一临近图像块、第二临近图像块、第三临近图像块和第四临近图像块；那么在确定基础图像块对应的输出图像块时，对于基础图像块中的每个像素点，将该像素点的像素值为a、第一临近图像块中与该像素点对应的像素点的像素值为b、第二临近图像块中与该像素点对应的像素点的像素值为c、第三临近图像块中与该像素点对应的像素点的像素值为d，第四临近图像块中与该像素点对应的像素点的像素值为e，并且基础图像块对应的第一权重参数为a，第一临近图像块对应的第二权重参数为b，第二临近图像块对应的第二权重参数为c，第三临近图像块对应的第二权重参数为d，第四临近图像块对应的第二权重参数为e，那么该像素点对应的输出像素点的像素值＝(a*a+b*b+c*c+d*d+e*e)/5。
[0109]
s30、将所述去噪图像输入至以已训练的第一图像处理模型，通过所述图像处理模型对所述去噪图像进行去偏色处理，得到所述去噪图像对应的处理后图像。
[0110]
具体地，所述去噪图像为根据待处理图像集生成的，所述第一图像处理模型可是处理所述去噪图像的图像设备(例如，配置屏下摄像头的手机)预先训练的，也可以是由其他训练好后将第一图像处理模型对应的文件移植到图像设备中。此外，图像设备可以将所述第一图像处理模型可作为一个图像处理功能模块，当图像设备获取到去噪图像时，启动所述图像处理功能模块，将去噪图像输入至第一图像处理模型。
[0111]
进一步，所述第一图像处理模型为基于训练图像集训练得到的，如图7所示，所述第一图像处理模型的训练过程可以为：
[0112]
m10、第一预设网络模型根据训练图像集中第一图像，生成所述第一图像对应的生成图像，其中，所述训练图像集包括多组训练图像组，每一组训练图像组包括第一图像和第二图像，第一图像为对应第二图像的偏色图像；
[0113]
m20、所述第一预设网络模型根据所述第一图像对应的第二图像和所述第一图像对应的生成图像，对模型参数进行修正，并继续执行根据所述训练图像集中的下一训练图像组中的第一图像，生成所述第一图像对应的生成图像的步骤，直至所述第一预设网络模型的训练情况满足预设条件，以得到所述图像处理模型。
[0114]
具体地，在所述步骤m10中，所述第一预设网络模型可以采用深度网络学习模型，所述训练图像集包括多组具有不同图像内容的训练图像组，每一组训练图像组均包括第一图像和第二图像，第一图像为对应第二图像的偏色图像。其中，所述第一图像为对应第二图像的偏色图像指的是第一图像与第二图像相对应，第一图像和第二图像呈现同一图像场景，并且所述第一图像中满足预设偏色条件的第一目标像素点的数量满足预设数量条件。可以理解的是，第二图像为正常显示图像，第一图像中存在若干满足预设偏色条件的第一目标像素点，并且若干第一目标像素点的数量满足预设条件。例如，第二图像为如图9所示的图像，第一图像为如图8所示的图像，其中，第一图像的图像内容与第二图像的图像内容相同，但在第一图像中苹果对应的呈现的色彩与第二图像中苹果呈现的色彩不同，例如，在图8中，第一图像中苹果在第一图像中呈现的色彩为绿色偏蓝色；在图9中，第二图像中苹果在第二图像中呈现的色彩为深绿色。
[0115]
进一步，所述预设偏色条件为第一图像中第一目标像素点的显示参数与第二图像中第二目标像素点的显示参数之间的误差满足预设误差条件，所述第一目标像素点与所述
第二目标像素点之间具有一一对应关系。其中，所述显示参数为用于反映像素点对应的色彩的参数，例如，所述显示参数可以为像素点的rgb值，其中，r值为红色通道值、g值为绿色通道值、b值为蓝色通道值；也可以为像素点的hsl值，其中，h值为色相值，l为亮度值，s为饱和度值。此外，当显示参数为像素点的rgb值时，第一图像和第二图像中任一像素点的显示参数均包括r值、g值和b值三个显示参量；当显示显示为像素点的hls值，第一图像和第二图像中任一像素点的显示参数均包括h值、l值和s值三个显示参量。
[0116]
所述预设误差条件用于衡量第一目标像素点是否为满足预设偏色条件的像素点，其中，所述预设误差条件为预设误差阈值，误差满足预设误差条件为误差大于或等于预设误差阈值。此外，所述显示参数包括若干显示参数，例如显示参数为像素点的rgb值，显示参数包括r值、g值和b值三个显示参，当显示参数为像素点的hsl值时，显示参数包括h值、l值和s值三个显示参量。由此，所述误差可以为显示参数中各显示参量的误差最大值，也可以为显示参数中各显示参量的误差的最小值，还可以是所有显示参量的误差平均值。例如，这里以显示参数为像素点的rgb值进行说明，第一目标像素点的显示参数为(55,86,108)，第二目标像素点的显示参数为(58,95,120)，那么各显示参量的误差值分为3,9以及12；由此，当第一目标像素点与第二目标像素点的误差为各显示参量的误差最大值时，该误差为12；当第一目标像素点与第二目标像素点的误差为各显示参量的误差最小值时，该误差为3；当第一目标像素点与第二目标像素点的误差为所有显示参量的误差平均值时，该误差为8；需要说明的是，在一种可能的实现方式中，也可以仅参考rgb中一个参数(例如r、g或b)或任意两个参数的误差，当显示参数为像素点的hsl值时，同理。
[0117]
进一步，用于与第一目标像素点计算误差的第二目标像素点与第一目标显示点之间存在一一对应关系。可以理解的是，对于第一目标像素点，第二图像中存在唯一的第二目标像素点与第一目标像素点对应，其中，第一目标像素点与第二目标像素点对应指的是第一目标像素点在第一图像中的像素位置，与第二目标像素点在第二图像中的像素位置相对应。例如，第一目标像素点在第一图像中的像素位置为(5,6)，第二目标像素点在第二图像中的像素位置为(5,6)。此外，所述第一目标像素点可以为第一图像中任一像素点，也可以是第一图像中目标区域中任一像素点，其中，所述目标区域可以为第一图像中物品所处区域，其中，所述物品所处区域可以为人或物在图像中对应的区域。例如，如图8所示，所述目标区域为第一图像中苹果所处区域。也就是说，第一图像中可以全部像素点与第二图像相比较出现偏色，即第一图像中全部像素点均为第一目标像素点，也可以只有一部分像素点与第二图像相比较出现偏色，即第一图像中部分像素点为第一目标像素点，例如，当一图像中只有部分区域(例如图中苹果对应的区域)中的像素点与第二图像相比较出现偏色时，该图像也可以理解为对应第二图像的偏色图像，即第一图像。
[0118]
进一步，所述第一图像和第二图像相对应指的是第一图像的图像尺寸与第二图像的图像尺寸相等，并且所述第一图像和第二图像对应相同的图像场景。所述第一图像和第二图像对应相同的图像场景指的是第一图像携带的图像内容与第二图像携带的图像内容的相似度达到预设阈值，所述第一图像的图像尺寸与第二图像的图像尺寸相同，以使得当第一图像和第二图像重合时，第一图像携带的物体对第二图像中与其对应的物体的覆盖率达到预设条件。其中，所述预设阈值可以为99％，所述预设条件可以为99.5％等。在实际应用中，所述第一图像可以是通过屏下成像系统拍摄得到；所述第二图像可以是通过正常屏
上成像系统(如，屏上摄像头)拍摄得到，也可以是通过网络(如，百度)获取到，还可以是通过其他外部设备(如，智能手机)发送的。
[0119]
在本实施例的一个可能实现方式中，所述第二图像为通过正常屏上成像系统拍摄得到，所述第二图像和第一图像的拍摄参数相同。其中，所述拍摄参数可以包括成像系统的曝光参数，所述曝光参数可以包括光圈、快门速度、感光度、对焦以及白平衡等。当然，在实际应用中，所述拍摄参数还可以包括环境光、拍摄角度以及拍摄范围等。例如，所述第一图像为如图8所示的通过屏下摄像头拍摄一场景得到的图像，第二图像为如图9所示的通过屏上摄像头拍摄该场景得到的图像。
[0120]
进一步，在本实施例的一个实现方式中，为了减少第一图像和第二图像的图像差异对第一预设网络模型训练的影响，所述第一图像的图像内容和第二图像的图像内容可以完全相同。即所述第一图像和第二图像具有相同图像内容指的是第一图像具有的物体内容与第二图像具有的物体内容相同，所述第一图像的图像尺寸与第二图像的图像尺寸相同，并且当第一图像和第二图像重合时，第一图像具有的物体可以覆盖第二图像中与其对应的物体。
[0121]
举例说明：所述第一图像的图像尺寸为400*400，第一图像的图像内容为一个圆，并且第一图像中圆的圆心在第一图像中的位置为(200，200)、半径长度为50像素。那么，所述第二图像的图像尺寸为400*400，第二图像的图像内容也为一个圆，第二图像中圆的圆心在第二图像中的位置为(200，200)，半径为50像素；当第一图像放置于第二图像上并与第二图像重合时，所述第一图像覆盖所述第二图像，并且第一图像中的圆与第二图像的圆上下重叠。
[0122]
进一步，当第二图像为通过正常屏上成像系统拍摄得到时，由于第一图像和第二图像是通过两个不同的成像系统拍摄得到，而在更换成像系统时，可能会造成屏上成像系统和屏下成像系统的拍摄角度和/或拍摄位置的变化，使得第一图像和第二图像在空间上存在不对齐的问题。由此，在本实施例的一个可能实现方式中，在通过屏上成像系统拍摄第二图像以及通过屏下成像系统拍摄第一图像时，可以将屏上成像系统和屏下成像系统设置于同一固定架上，将屏上成像系统和屏下成像系统并排布置在固定架上，并保持屏上成像系统和屏下成像系统相接触。同时，将屏上成像系统和屏下成像系统分别与无线设置(如，蓝牙手表等)相连接，通过无线设置触发屏上成像系统和屏下成像系统的快门，这样可以减少拍摄过程中屏上成像系统和屏下成像系统的位置变化，提高第一图像和第二图像在空间上的对齐性。当然，屏上成像系统和屏下成像系统的拍摄时间和拍摄范围均相同。
[0123]
此外，虽然在第一图像和第二图像的拍摄过程中，可以通过固定屏下成像系统和屏上成像系统的拍摄位置、拍摄角度、拍摄时间以及曝光系数等。但是，由于环境参数(如，光线强度、风吹动成像系统等)，屏下成像系统拍摄得到的第一图像和屏上成像系统拍摄得到的第二图像在空间上还可能存在不对齐的问题。由此，在将训练图像集中第一图像输入第一预设网络模型之前，可以训练图像集中的各训练图像组中的第一图像和第二图像进行对齐处理，从而在本实施例的一个实现方式中，所述第一预设网络模型根据训练图像集中第一图像，生成所述第一图像对应的生成图像之前还包括：
[0124]
n100、针对所述训练图像集中每组训练图像组，将该组训练图像组中的第一图像与所述第一图像对应的第二图像进行对齐处理，得到与所述第二图像对齐的对齐图像，并
将所述对齐图像作为第一图像。
[0125]
具体地，所述针对所述训练图像集中每组训练图像组指的是对训练图像集中每一组训练图像组均执行对齐处理，所述对齐处理可以是在获取到训练图像集之后，分别对每一组训练图像组进行对齐处理，以得到对齐后的训练图像组，并在所有组训练图像组对齐后执行将每一组训练图像组中的第一图像输入第一预设网络模型的步骤；当然也可以是在将每一组训练图像组中的第一图像输入第一预设网络模型之前，对该组训练图像组进行对齐处理，以得到该组训练图像对应的对齐后的训练图像组，之后将对齐后的训练图像组中的第一图像输入第一预设网络模型。在本实施例中，所述对齐处理是在获取到训练图像集后，分别对每一组训练图像组进行，并在所有训练图像组完成对齐处理后，在执行将训练图像集中第一图像输入第一预设网络模型的操作。
[0126]
进一步，在将第一图像与第二图像进行对应处理的过程中，将第一图像作为参考图像，第二图像作为基准图像，其中，对齐处理是以基准图像为基准。可以理解的是，所述将该组训练图像组中的参考图像与所述参考图像对应的基准图像进行对齐处理为所述将该组训练图像组中的参考图像与所述参考图像对应的基准图像进行对齐处理，并且所述将该组训练图像组中的参考图像与所述参考图像对应的基准图像进行对齐处理可以为以基础图像为基准，将参考图像中像素点与基础图像中与其对应的像素点对齐，以使得参考图像中像素点与基准图像中像素点的对齐率可以达到预设值，例如，99％等。其中，所述参考图像中像素点与基准图像中与其对应的像素点对齐指的是：对于参考图像中的参考像素点和基准图像中与参考像素点相对应的基准像素点，若参考像素点对应的像素坐标与基准像素点对应的像素坐标相同，那么参考像素点与基准像素点对齐；若参考像素点对应的像素坐标与基准像素点对应的像素坐标不相同，那么参考像素点与基准像素点对齐。所述对齐图像指的通过对参考图像进行对齐处理得到图像，并且对齐图像中每个像素点与基准图像中其对应的像素点的像素坐标相同。此外，在得到对齐图像后，采用所述对齐图像替换其对应的参考图像以更新训练图像组，以使得更新后的训练图像组中的参考图像和基准图像在空间上对齐。
[0127]
进一步，由于不同组训练图像组中的参考图像和基准图像的对齐程度不同，从而可以在实现对齐的基础上，针对不同对齐程度的参考图像和基准图像可以采用不同的对齐方式，以使得各组训练图像组均可以采用复杂度低的对齐方式进行对齐处理。由此，在本实施例的一个实现方式中，如图10所示，所述将该组训练图像组中的参考图像与所述参考图像对应的基准图像进行对齐处理具体包括：
[0128]
n11、获取该组训练图像组中的参考图像与所述参考图像对应的基准图像之间的像素偏差量；
[0129]
n12、根据所述像素偏差量确定所述参考图像对应的对齐方式，并采用所述对齐方式将所述参考图像与所述基准图像进行对齐处理。
[0130]
具体地，所述像素偏差量指的是参考图像中参考像素点与基准图像中与该参考像素点对应的基准像素点不对齐的参考像素点的总数量。所述像素偏差量可以通过获取参考图像中各参考像素点的参考坐标，以及基准图像中各基准像素点的基准坐标，然后将参考像素点的参考坐标与其对应的基准像素点的基准坐标进行比较，若参考坐标与基准坐标相同，则判定参考像素点与其对应的基准像素点对齐；若参考坐标与基准坐标不相同，则判定
参考像素点与其对应的基准像素点不对齐，最后获取所有不对齐的参考像素点的总数量，以得到所述像素偏差量。例如，当所述参考图像中的参考像素点的参考坐标为(200,200)，基准图像中与所述参考像素点对应的基准像素点的基准坐标为(201,200)时，所述参考像素点与基准像素点不对齐，不对齐的参考像素点的总数量加一；当所述参考图像中的参考像素点的参考坐标为(200,200)，基准图像中与所述参考像素点对应的基准像素点的基准坐标为(200,200)时，所述参考像素点与基准像素点对齐，不对齐的参考像素点的总数量不变。
[0131]
进一步，为了确定像素偏差量与对齐方式的对应关系，可以需要设置偏差量阈值，在获取到参考图像的像素偏差量时，可以通过将获取到的像素偏差量与预设偏差量阈值进行比较，以确定像素偏差量对应的对齐方式。由此，在本实施例的一个实现方式中，所述根据所述像素偏差量确定所述述参考图像对应的对齐方式，并采用所述对齐方式将所述参考图像与所述基准图像进行对齐处理具体包括：
[0132]
n121、当所述像素偏差量小于或等于预设偏差量阈值时，根据所述参考图像与所述基准图像的互信息，以所述基准图像为基准对所述参考图像进行对齐处理；
[0133]
n122、当所述像素偏差量大于所述预设偏差量阈值时，提取所述参考图像的参考像素点集和所述基准图像的基准像素点集，所述参考像素点集包含所述参考图像中的若干参考像素点，所述基准像素点集包括所述基准图像中的若干基准像素点，所述基准像素点集中的基准像素点与所述参考像素点集中的参考像素点一一对应；针对所述参考像素点集中每个参考像素点，计算该参考像素点与其对应的基准像素点的坐标差值，并根据该参考像素点对应的坐标差值对该参考像素点进行位置调整，以将该参考像素点与该参考像素点对应的基准像素点对齐。
[0134]
具体地，所述预设偏差量阈值为预先设置，例如，预设偏差量阈值为20。所述当所述像素偏差量小于或等于预设偏差量阈值时指的是当将所述像素偏差量与所述预设偏差量阈值时，所述像素偏差量小于等于预设偏差量阈值。而当所述像素偏差量小于等于预设偏差量阈值时，说明参考图像和基准图像在空间上的偏差较小，此时可以采用根据所述参考图像与所述基准图像的互信息对参考图像和基准图像进行对齐。在本实施例中，以所述参考图像和其对应的基准图像之间互信息对参考图像和基准图像进行对齐的过程可以采用图像配准方法，所述图像配准方法中以互信息作为度量准则，通过优化器对度量准则迭代进行优化以得到对齐参数，通过所述配准所述对齐参数的配准器将参考图像与基准图像进行对齐，这保证参考图像与基准图像的对齐效果的基础，降低了参考图像与基准图像对齐的复杂性，从而提高了对齐效率。在本实施例中，所述优化器主要采用平移和旋转变换，以通过所述平移和旋转变换来优化度量准则。
[0135]
进一步，所述像素偏差量大于所述预设偏差量阈值，说明参考图像和基准图像在空间上不对齐程度较高，此时需要着重考虑对齐效果。从而此时可以采用通过选取参考图像中的参考像素点集和基准图像中基准像素点集的方式对参考图像和基准图像进行对齐。所述参考像素点集的参考像素点与基准像素点集中基准像素点一一对应，以使得对于参考像素点集中的任一参考像素点，在基准像素点集中均可以找到一个基准像素点，所述基准像素点在基准图像中的位置与参考像素点在参考图像中的位置相对应。此外，所述参考像素点集和基准像素点集可以是在获取到参考像素点集/基准像素点集后，根据参考像素点
与基准像素点的对应关系确定基准像素点集/参考像素点集，例如，所述参考像素点集通过在参考图像中随机选取多个参考像素点的方式生成，基准像素点则是根据参考像素点集包含的各参考像素点确定的。
[0136]
同时在本实施例中，所述参考像素点集和基准像素点集均是通过尺度不变特征变换(scale-invariant feature transform，sift)的方式获取得到，即所述参考像素点集中参考像素点为参考图像中第一sift特征点，所述基准像素点集中基准像素点为基准图像的第二sift特征点。相应的，所述计算该参考像素点与其对应的基准像素点的坐标差值为将参考像素点中第一sift特征点与基准像素点集中第二sift特征点进行点对点匹配，以得到各第一sift特征点与其对应的各第二sift特征点的坐标差值，并根据该第一sift特征点对应的坐标差值对该第一sift特征点进行位置变换，以将该参考像素点与该第一sift特征点对应的第二sift特征点对齐，从而使得参考图像中第一sift特征点与基准图像中第二sift特征点位置相同，从而实现了参考图像与基准图像的对齐。
[0137]
进一步，在本实施例的一个实现方式中，如图11、12和图13所示，所述第一预设网络模型包括下采样模块100以及变换模块200，相应的，所述第一预设网络模型根据训练图像集中第一图像，生成所述第一图像对应的生成图像可以具体包括：
[0138]
m11、将所述训练图像集中第一图像输入所述下采样模块，通过所述下采样模块得到所述第一图像对应的双边网格以及所述第一图像对应的指导图像，其中，所述指导图像的分辨率与所述第一图像的分辨率相同；
[0139]
m12、将所述指导图像、所述双边网格以及所述第一图像输入所述变换模块，通过变换模块生成所述第一图像对应的生成图像。
[0140]
具体地，所述双边网格10为在二维图像的像素坐标中增加一维代表像素强度的维度而得到的三维双边网格，其中，所述三维双边网络的三维分别为二维图像的像素坐标中横轴和纵轴，以及增加的代表像素强度的维度。所述指导图像为通过对第一图像进行像素级操作得到的，所述指导图像50的分辨率与所述第一图像的分辨率相同，例如，所述指导图像50为所述第一图像对应的灰阶图像。
[0141]
进一步，由于所述下采样模块100用于输出第一图像对应的双边网格10和指导图像50，从而所述下采样模块100包括下采样单元70和卷积单元30，所述下采样单元70用于输出所述第一图像对应的双边网格10，所述卷积单元30用于输出所述第一图像对应的指导图像50。相应的，如图11、12和图14所示，所述将所述训练图像集中第一图像输入所述下采样模块，通过所述下采样模块得到所述第一图像对应的双边网格参数以及所述第一图像对应的指导图像具体包括：
[0142]
m111、将所述训练图像集中第一图像分别输入所述下采样单元以及所述卷积单元；
[0143]
m112、通过所述下采样单元得到所述第一图像对应的双边网格，并通过所述卷积单元得到所述第一图像对应的指导图像。
[0144]
具体地，所述下采样单元70用于对第一图像进行下采样，以得到第一图像对应的特征图像，并根据所述特征图像生成所述第一图像对应的双边网格，特征图像的空间通道数大于第一图像的空间通道数。所述双边网格是根据所述特征图像的局部特征和全局特征生成的，其中，所述局部特征为从图像局部区域中抽取的特征，例如，边缘、角点、线、曲线和
属性区域等，在本实施例中，所述局部特征可以为区域颜色特征。所述全局特征指的是表示整幅图像属性的特征，例如，颜色特征、纹理特征和形状特征。在本实施例中，所述全局特征可以为整幅图像的颜色特征。
[0145]
进一步，在本实施例的一个可能实现方式中，所述下采样单元70包括下采样层、局部特征提取层、全局特征提取层以及全连接层，所述局部特征提取层连接于所述下采样层与全连接层之间，所述全局特征提取层连接于下采样层与全连接层之间，并且所述全局特征提取层与所述局部特征提取层并联。由此可知，第一图像作为输入项输入下采样层，经过下采样层输出特征图像；下采样层的特征图像分别输入至局部特征提取层和全局特征提取层，局部特征提取层提取特征图像的局部特征，全局特征提取层提取特征图像的全局特征；局部特征提取层输出的局部特征和全局特征提取层输出的全局特征分别输入全连接层，以通过全连接层输出第一图像对应的双边网格。此外，在本实施例的一个可能实现方式中，所述下采样层包括下采样卷积层和四个第一卷积层，第一卷积层的卷积核为1*1，步长为1；所述局部特征提取层可以包括两个第二卷积层，两个第二卷积层的卷积核均为3*3，步长均为1；所述全局特征提取层可以包括两个第三卷积层和三个全连接层，两个第三卷积层的卷积核均为3*3，步长均为2。
[0146]
进一步，所述卷积单元30包括第四卷积层，第一图像输入第四卷积层，经过第四卷积层输入指导图像，其中，所述指导图像与第一图像的分辨率相同。例如，第一图像为彩色图像，所述第四卷积层对第一图像进行像素级操作，以使得指导图像为第一图像的灰阶图像。
[0147]
举例说明：第一图像i输入下采样卷积层，经过下采样卷积层输出256x256大小的三通道低分辨率图像，256x256大小的三通道低分辨率图像依次经过四个第一卷积层，得到16x16大小的64通道特征图像；16x16大小的64通道特征图像输入局部特征提取层得到局部特征l，16x16大小的64通道特征图像输入全局特征提取层得到全局特征；局部特征和全局特征输入全连接层，经过全连接层输出双边网格。此外，将第一图像输入至卷积单元，经过卷积单元输入第一图像对应的指导图像。
[0148]
进一步，所述在本实施例的一个实现方式中，所述变换模块200包括切分单元40以及变换单元50，相应的，如图11、12和15所示，所述将所述指导图像、所述双边网格以及所述第一图像输入所述变换模块，通过变换模块生成所述第一图像对应的生成图像具体包括：
[0149]
m121、将所述指导图像输入所述切分单元，通过所述切分单元对所述双边网格进行切分，以得到所述第一图像中各像素点的颜色变换矩阵；
[0150]
m122、将所述第一图像以及所述第一图像中各像素点的颜色变换矩阵输入所述变换单元，通过所述变换单元生成所述第一图像对应的生成图像。
[0151]
具体地，所述切分单元40包括上采样层，所述上采样层的输入项为指导图像和双边网格，通过所述指导图像对双边网格进行上采样，以得到第一图像中各像素点的颜色变换矩阵。其中，所述上采样层的上采样过程可以为将所述双边网格参考指导图进行上采样，以得到第一图像中各像素点的颜色变换矩阵。此外，所述变换单元60的输入项为各像素点的颜色变换矩阵以及第一图像，通过各像素点的颜色变换矩阵对第一图像中其对应的像素点的颜色进行变换，以得到所述第一图像对应的生成图像。
[0152]
进一步，在所述步骤m20中，所述预设条件包括损失函数值满足预设要求或者训练
次数达到预设次数。所述预设要求可以是根据第一图像处理模型的精度来确定，这里不做详细说明，所述预设次数可以为第一预设网络模型的最大训练次数，例如，5000次等。由此，在第一预设网络模型输出生成图像，根据所述生成图像以及所述第二图像来计算第一预设网络模型的损失函数值，在计算得到损失函数值后，判断所述损失函数值是否满足预设要求；若损失函数值满足预设要求，则结束训练；若损失函数值不满足预设要求，则判断所述第一预设网络模型的训练次数是否达到预测次数，若未达到预设次数，则根据所述损失函数值对所述第一预设网络模型的网络参数进行修正；若达到预设次数，则结束训练。这样通过损失函数值和训练次数来判断第一预设网络模型训练是否结束，可以避免因损失函数值无法达到预设要求而造成第一预设网络模型的训练进入死循环。
[0153]
进一步，由于对第一预设网络模型的网络参数进行修改是在第一预设网络模型的训练情况未满足预设条件(即，损失函数值未满足预设要求并且训练次数未达到预设次数)，从而在根据损失函数值对所述第一预设网络模型的网络参数进行修正后，需要继续对网络模型进行训练，即继续执行将训练图像集中的第一图像输入第一预设网络模型的步骤。其中，继续执行将训练图像集中第一图像输入第一预设网络模型中的第一图像为未作为输入项输入过第一预设网络模型的第一图像。例如，训练图像集中所有第一图像具有唯一图像标识(例如，图像编号)，第一次训练输入的第一图像为图像标识与第二次训练输入的第一图像的图像标识不同，如，第一次训练输入的第一图像的图像编号为1，第二次训练输入的第一图像的图像编号为2，第n次训练输入的第一图像的图像编号为n。当然，在实际应用中，由于训练图像集中的第一图像的数量有限，为了提高第一图像处理模型的训练效果，可以依次将训练图像集中的第一图像输入至第一预设网络模型以对第一预设网络模型进行训练，当训练图像集中的所有第一图像均输入过第一预设网络模型后，可以继续执行依次将训练图像集中的第一图像输入至第一预设网络模型的操作，以使得训练图像集中的训练图像组按循环输入至第一预设网络模型。
[0154]
此外，对于不同曝光度下拍摄的图像的高光部分的扩散程度不同，从而屏下成像系统在不同光线强度下拍摄的图像的高光部分的扩散程度不同，从而使得屏下成像系统拍摄得到的图像质量不同。由此，在对第一图像处理模型进行训练时，可以获取多个训练图像集，每个训练图像集对应不同的曝光度，并采用每个训练图像集对第一预设网络模型进行训练，以得到每个训练图像集对应的模型参数。这样采用具有相同曝光度的第一图像作为训练样本图像，可以提高网络模型的训练速度，同时使得不同曝光度对应不同的模型参数，在采用第一图像处理模型对具有偏色的待处理图像进行处理时，可以根据去噪图像对应的曝光度选取相应的模型参数，抑制各曝光度下图像高光部分的扩散，以提高去噪图像对应的处理后图像的图像质量。
[0155]
进一步，在本实施例的一个实现方式中，所述训练图像集包括若干训练子图像集，每个训练子图像集包括若干组训练样本图像组，若干训组训练图像组中的任意两组训练样本图像组中的第一图像的曝光度相同(即对于每组训练图像组而言，该组中的每组训练样本图像组中的第一图像的曝光度均相同)，若干组训练图像组中的每组训练样本图像组中的第二图像的曝光度均处于预设范围内，任意两个训练子图像集中的第一图像的曝光度不相同。其中，所述第二图像的曝光度的预设范围可以根据曝光时间和iso(现有的手机的光圈为固定值)确定，所述曝光度的预设范围表示在无需曝光补偿下拍摄图像的曝光度，屏上
摄像头在曝光度的预设范围内的第一曝光度下拍摄得到的第二图像为正常曝光图像，这通过采用正常曝光图像作为第二图像，可以使得根据训练图像集训练得到的第一图像处理模型输出的图像具有正常曝光度，从而使得第一图像处理模型具有提亮的功能。例如，当输入图像处理模的图像a为低曝光度的图像，那么图像a通过所述第一图像处理模型处理后，可以使得输出图像a的曝光度为正常曝光度，从而提高了图像a的图像亮度。
[0156]
举例说明：假设图像的曝光度包括5个等级，分别记为0,-1,-2,-3和-4，其中，所述曝光度随着曝光度等级的降低而增强，例如，曝光等级0对应的曝光度低于曝光等级-4对应的曝光度。所述训练图像集可以包括5个训练子图像集，分别记为第一训练子图像集、第二训练子图像集、第三训练子图像集、第四训练子图像集以及第五训练子图像集，所述第一训练子图像集包含的每组训练图像组中第一图像的曝光度对应0等级，第二图像为曝光度在预设范围内的图像；所述第二训练子图像集包含的每组训练图像组中第一图像的曝光度对应-1等级，第二图像为曝光度在预设范围内的图像；所述第三训练子图像集包含的每组训练图像组中第一图像的曝光度对应-2等级，第二图像为曝光度在预设范围内的图像；所述第四训练子图像集包含的每组训练图像组中第一图像的曝光度对应-3等级，第二图像为曝光度在预设范围内的图像；所述第五训练子图像集包含的每组训练图像组中第一图像的曝光度对应-4等级，第二图像为曝光度在预设范围内的图像。当然，值得说明的，所述第一训练子图像集、第二训练子图像集、第三训练子图像集、第四训练子图像集以及第五训练子图像集包含的训练图像组的数量可以相同，也可以不同。例如，所述第一训练子图像集、第二训练子图像集、第三训练子图像集、第四训练子图像集以及第五训练子图像集均包括5000组训练图像组。
[0157]
此外，针对于每个训练子图像集，该训练子图像集为第一预设网络模型的一个训练图像集，通过该训练子图像集对第一预设网络模型进行训练，以得到该训练子图像集对应的模型参数。其中，该训练子图像集作为训练图像集对第一预设网络模型进行训练的过程包括：所述第一预设网络模型根据训练子图像集中第一图像，生成第一图像对应的生成图像；所述第一预设网络模型根据所述第一图像对应的第二图像和所述第一图像对应的生成图像，对模型参数进行修正，并且第一预设网络模型继续执行根据训练子图像集中第一图像，生成第一图像对应的生成图像的步骤，直至所述第一预设网络模型的训练情况满足预设条件，以得到该训练子图像对应的模型参数，具体地可以参数步骤m10和步骤m20，这里就不再赘述。
[0158]
进一步，每个训练子图像集对所述第一预设网络模型的训练过程为相互独立，即分别采用每个训练子图像集对所述第一预设网络模型进行训练。同时，分别采用个训练子图像集对所述第一预设网络模型进行训练可以得到若干模型参数，每个模型参数均为根据一个训练子图像集训练得到，并且任意两个模型参数各自对应的训练子图像集互不相同。由此可知，第一图像处理模型对应若干模型参数，若干模型参数与若干训练子图像集一一对应。
[0159]
举例说明：以上述训练样本图像包括第一训练子图像集、第二训练子图像集、第三训练子图像集、第四训练子图像集以及第五训练子图像集为例，那么第一图像处理模型包括5个模型参数，分别记为第一模型参数、第二模型参数、第三模型参数、第四模型参数以及第五模型参数，其中，第一模型参数对应第一训练子图像集，第二模型参数对应第二训练子
图像集，第三模型参数对应第三训练子图像集，第四模型参数对应第四训练子图像集，第五模型参数对应第五训练子图像集。
[0160]
进一步，当训练图像集包括若干训练子图像集时，第一预设网络模型根据每个训练子图像集进行训练。这里以训练图像集包括5个训练子图像集为例加以说明。采用第一训练子图像集、第二训练子图像集、第三训练子图像集、第四训练子图像集以及第五训练子图像集分别对第一预设网络模型进行训练的过程可以为：首先采用第一训练子图像集对第一预设网络模型进行训练，得到第一训练子图像集对应的第一模型参数，之后再采用第二训练子图像集对第一预设网络模型进行训练，得到第二训练子图像集对应的第二模型参数，依次类推得到第五训练子图像集对应的第五模型参数。
[0161]
此外，当使用同一个第一预设网络模型对多个训练子图像集分别进行训练时，会存在各个训练子图像集对于第一预设网络模型的模型参数产生影响的问题，举例来说，假设训练子图像集a包括1000组训练图像组，训练子图像集b包括200组训练图像组，那么，先用训练子图像集a对第一预设网络模型进行训练，再紧接着用训练子图像集b对第一预设网络模型进行训练所得到的该训练子图像集b所对应的模型参数，与仅用训练子图像集b对第一预设网络模型进行训练所得到的该训练子图像集b所对应的模型参数，是不同的。
[0162]
故此，在本实施例的一种实现方式中，第一预设网络模型在训练完一训练子图像集之后，可以先对该第一预设网络模型进行初始化，再使用该初始化后的第一预设网络模型对下一训练子图像集进行训练。举例来说，第一预设网络模型根据第一训练子图像集进行训练，得到第一训练子图像集对应的第一模型参数后，所述第一预设网络模型可以进行初始化，以使得用于训练第二模型参数的第一预设网络模型的初始模型参数以及模型结构均与用于训练第一模型参数的第一预设网络模型相同，当然，在训练第三模型参数、第四模型参数和第五模型参数之前，均可以对第一预设网络模型进行初始化，以使得每个训练子图像集对应的第一预设网络模型的初始模型参数以及模型结构均相同。当然，在实际应用中，第一预设网络模型根据第一训练子图像集进行训练，得到第一训练子图像集对应的第一模型参数后，也可以直接采用基于第一训练子图像集训练后的第一预设网络模型(配置第一模型参数)对第二训练子图像集进行训练，以得到第二训练子图像集对应的第二模型参数，继续执行第一预设网络模型(配置第二模型参数)根据第三训练子图像集进行训练的步骤，直至第五训练子图像集训练完毕，得到第五训练子图像集对应的第五模型参数。
[0163]
此外，第一训练子图像集、第二训练子图像集、第三训练子图像集、第四训练子图像集以及第五训练子图像集均包括一定数量的训练图像组，以使得每组训练子图像均可以满足第一预设网络模型的训练需求。当然，在实际应用中，在基于每一训练子图像集对第一预设网络模型进行训练时，可以循环将该训练子图像集中的训练图像组输入至第一预设网络模型，以对所述第一预设网络模型进行训练，使得第一预设网络模型满足预设要求。
[0164]
进一步，在本实施例的一个实现按时，所述获取包含各个训练子图像集的训练样本的获取过程可以为：首先将屏下成像系统设置为第一曝光度，通过屏下成像系统获取第一训练子图像集中的第一图像，以及通过屏上成像系统获取第一训练子图像集中和第一图像对应的第二图像；在第一训练子图像集获取完成后，将屏下成像系统设置为第二曝光度，通过屏下成像系统和屏上成像系统获取第二训练子图像集中第一图像和第一图像对应的第二图像；在第二训练子图像集获取完成后；继续执行设置屏下成像系统的曝光度以及获
取训练子图像集的步骤，直至获取到训练图像集包含的所有训练子图像集。其中，训练图像集包含的每个训练子图像集包含的训练图像组的数量可以相同，也可以不相同。在本实施例的一个实现方式中，所述训练图像集包含的每个训练子图像集包含的训练图像组的数量可以相同，例如，每个训练子图像集包含的训练图像组的数量为5000。
[0165]
进一步，由于各训练子图像集均对应不同的曝光度，从而在获取到每个训练子图像集对应的模型参数后，针对于每个训练子图像集，可以将该训练子图像集对应的模型参数与该训练子图像集对应的曝光度相关联，以建立曝光度与模型参数的对应关系。这样在采用第一图像处理模型对去噪图像进行处理时，可以先获取去噪图像的曝光度，再根据曝光度确定去噪图像对应的模型参数，然后将去噪图像对应的模型参数配置于第一预设网络模型，以得到去噪图像对应的第一图像处理模型，以便于采用该第一图像处理模型对去噪图像进行处理。这样对于不同曝光度的去噪图像可以确定配置不同网络参数的第一图像处理模型，并采用去噪图像对应的第一图像处理模型对去噪图像进行处理，避免曝光度对偏色的影响，从而可以提高去除去噪图像的偏色的效果。此外，所述第二图像可以为采用正常曝光度，使得所述第一图像处理模型输出的输出图像为正常曝光度，对去噪图像起到提亮的效果。
[0166]
进一步，由第一图像处理模型的生成过程可以知道，在本实施例的一种可能实现方式中，所述第一图像处理模型包括可以若干模型参数，并且每个模型参数均对应一个曝光度。因此，在该实现方式中，在获取到去噪图像后，可以先检测所述第一图像处理模型包括的模型参数的数量，当模型参数的数量为一个时，直接将所述去噪图像输入到所述第一图像处理模型内，以通过所述图像处理对去噪图像进行处理；当模型参数为多个时，可以先获取去噪图像的曝光度，再根据曝光度确定该去噪图像对应的模型参数，将该去噪图像对应的模型参数配置于所述第一图像处理模型，以对图像处理参数配置的模型参数进行更新，并将去噪图像输入更新后第一图像处理模型。
[0167]
进一步，在本实施例的一个实现方式中，所述第一图像处理模型对应若干模型参数，每个模型参数均为根据一个训练子图像集训练得到的，并且任意两个模型参数各自分别对应的训练子图像集互不相同(例如，模型参数a对应的训练子图像集与模型参数b对应的训练子图像集是不同的)。相应的，所述将所述去噪图像输入至以已训练的第一图像处理模型具体包括：
[0168]
a101、提取所述去噪图像的曝光度。
[0169]
具体地，所述曝光度为图像采集装置的感光元件被光线照射的程度，用于反映成像时的曝光程度。所述去噪图像可以为rgb三通道图像，所述去噪图像的曝光度为根据去噪图像的高光区域确定的，所述高光区域包含的各像素点的r(即红色通道)值、g(即绿色通道)值以及b(即蓝色通道)值中至少存在一个值大于预设阈值。当然，在实际应用中，所述去噪图像还可以是y通道图像或者贝尔格式图像，而当所述去噪图像为y通道图像或者贝尔格式图像(raw格式)时，在提取所述去噪图像之前，需要将所述y通道图像或者贝尔格式图像转换为rgb三通道图像，以便于根据去噪图像的红色通道r值、绿色通道g值以及蓝色通道b值确定去噪图像的高光区域。
[0170]
进一步，在本实施例的一个实现方式中，所述提取所述去噪图像的曝光度具体包括：
[0171]
h10、根据所述去噪图像中各像素点的红色通道r值、绿色通道g值以及蓝色通道b值确定满足预设条件的第一像素点，其中，所述预设条件为r值、g值以及b值中至少一个值大于预设阈值；
[0172]
h20、根据满足预设条件的所有第一像素点确定所述去噪图像的高光区域，并根据所述高光区域确定所述去噪图像的曝光度。
[0173]
具体地，所述去噪图像为rgb三通道图像，从而对于去噪图像中的每个像素点，该像素点均包括红色通道r值、绿色通道g值和蓝色通道b值，即对于去噪图像中的每个像素点，均可以获取到该像素点的红色通道r值、绿色通道g值以及蓝色通道b值。由此，在提取所述去噪图像的曝光的过程中，首先针对于每个去噪图像的每个像素点，获取该像素点的红色通道r值、绿色通道g值以及蓝色通道b值，之后再分别将各像素点的r值、g值以及b值分别与预设阈值进行比较，以获取去噪图像中满足预设条件的第一像素点。所述预设条件为预设条件为r值、g值以及b值中至少一个值大于预设阈值，第一像素点满足预设条件指的是第一像素点的r值大于预设阈值，第一像素点的g值大于预设阈值，第一像素点的b值大于预设阈值，第一像素点的r值和g值均大于预设阈值，第一像素点的r值和b值均大于预设阈值，第一像素点的g值和b值均大于预设阈值，或者第一像素点的r值、b值和g值均大于预设阈值。
[0174]
进一步，在获取到满足预设条件的所有第一像素点后，将获取到所有第一像素点记为第一像素点集，第一像素点集中存在相邻的像素点，也存在不相邻的像素点，其中，像素点相邻指的是像素点在去噪图像中的位置相邻，所述不相邻指的是像素点在去噪图像中的位置不相邻，所述位置相邻指的在待处理的像素坐标中，相邻两个像素点的横坐标和纵坐标中存在一个相同。例如，第一像素点集中包括像素点(100,101)、像素点(100,100)，像素点(101,101)以及像素点(200,200)，那么像素点(100,101)、像素点(100,100)为相邻像素点，并且像素点(100,101)、像素点(101,101)为相邻像素点，而像素点(100,101)、像素点(100,100)和像素点(101,101)和像素点(200,200)均为不相邻像素点。
[0175]
进一步，所述高光区域根据第一像素点集中相邻像素点构成的连通区域，即高光区域包含的每个第一像素点的像素值均满足预设条件。由此，在本实施例一个实现方式中，所述根据满足预设条件的所有第一像素点确定所述去噪图像的高光区域具体包括：
[0176]
l10、获取所述满足预设条件的所有第一像素点所形成的连通区域，并在获取到的所有连通区域进行选取满足预设规则的目标区域，其中，所述预设规则为目标区域中的第一像素点的r值、g值和b值中大于预设阈值的r值、g值和/或b值的类型相同；
[0177]
l20、计算筛选得到的各目标区域分别对应的面积，并选取面积最大的目标区域作为高光区域。
[0178]
具体地，所述连通区域是第一像素点集中所有相邻第一像素点形成的闭合区域，所述连通区域包含的每个像素点均为第一像素点，并且对于连通区域内的每个第一像素点a，连通区域内至少一个第一像素点b与该第一像素点a相邻。同时，针对于第一像素点集中去除该连通区域包含的第一像素点外的每个第一像素点c，该第一像素点c与连通区域内的任一第一像素点a均不相邻。例如，第一像素点集中包括像素点(100,101)、像素点(100,100)、像素点(101,100)、像素点(101,101)、像素点(100,102)以及像素点(200,200)，那么，像素点(100,101)、像素点(100,100)、像素点(101,100)、像素点(101,101)、像素点(100,102)形成一个连通区域。
[0179]
此外，由于去噪图像的连通区域是有光源形成，并且光源会产生光线颜色相同。从而在获取到去噪图像包含的所有连通区域后，可以根据各连通区域对应的区域颜色对连通区域进行选取。由此，在获取到去噪图像的连通区域后，判断连通区域内各第一像素点的r值、g值和b值中第一像素点的r值、g值和b值中大于预设阈值的r值、g值和/或b值的类型是否相同，以判断连通区域是否满足预设规则。所述类型相同指的是对于两个第一像素点，分别记为像素点a和像素点b，若像素点a为r值大于预设阈值，那么像素点b也只有r值大于预设阈值；若像素点a的r值和g值均大于预设阈值，那么像素点b也只有r值和g值大于预设阈值；若像素点a的r值、g值和b值均大于预设阈值，那么像素点b的r值、g值和b值均大于预设阈值。所述类型不同指的是，对于两个第一像素点，分别记为像素点c和像素点d,若像素点c为v值(v值可以为r值，g值，b值中一种)大于预设阈值，那么像素点d中v值小于或等于预设阈值，或者像素点d中v值大于预设阈值且至少存在一个m值(m值为r值，g值和b值中去除v值外的两个值中一个)大于预设阈值。例如，像素点c的r值大于预设阈值，像素点d的r值小于等于预设阈值，那么像素点c和像素点d的类型不同；再如，像素点c的r值大于预设阈值，像素点d的r值大于预设阈值，并且像素点d的g值大于预设阈值，那么像素点c和像素点d的类型不同。本实施例中，所述预设规则为各连通区域中的第一像素点的r值、g值和b值中大于预设阈值的r值、g值和/或b值的类型相同。
[0180]
进一步，由于去噪图像中可能包括多个目标区域，从而在获取到目标区域后，可以根据目标区域的面积对目标区域进行筛选以得到高光区域。其中，所述目标区域的面积指的是目标区域在去噪图像中所在区域的面积，所述面积是在去噪图像的像素坐标系内计算的。在获取到各目标区域的面积后，可以将各目标区域的面积进行比较，并选取面积最大的目标区域，将所述目标区域作为高光区域，这样将面积最大的目标区域作为高光区域，可以获取到去噪图像中亮度面积最大的区域，根据亮度面积最大的区域确定曝光度，可以提高曝光度的准确性。
[0181]
进一步，在本实施例的一个实现方式中，所述根据所述高光区域确定所述去噪图像的曝光度具体包括：
[0182]
p10、计算所述高光区域的第一面积以及去噪图像的第二面积；
[0183]
p20、根据所述第一面积和第二面积的比值确定所述去噪图像对应的曝光度。
[0184]
具体地，所述去噪图像的第二面积指的是根据去噪图像的图像尺寸计算得到，例如，去噪图像的图像尺寸为400*400，那么去噪图像的图像面积为400*400＝160000。所述高光区域的第一面积为高光区域在去噪图像的像素坐标系中区域面积，例如，高光区域为边长为20的正方形区域，那么高光区域的第一面积为20*20＝400。
[0185]
进一步，为了根据第一面积和第二面积的比值确定曝光度，预先设定了比值区间与曝光度的对应关系，在获取到比值后，首先取得比值所处比值区域，在根据该对应关系确定该比值区间对应曝光度，以得到去噪图像的曝光度。例如，所述比值区间与曝光度的对应关系为：当区间为[0,1/100)时，曝光度对应0等级；当区间为[1/100,1/50)时，曝光度对应-1等级；当区间为[1/50,1/20)时，曝光度对应-2等级；当区间为[1/20,1/50)时，曝光度对应-3等级；当区间为[1/20,1]时，曝光度对应-4等级。那么当第一面积与第二面积的比值为1/10时，该比值处于区间[1/20,1]，从而该去噪图像对应的曝光度为-4等级。
[0186]
a102、根据所述曝光度确定所述去噪图像对应的模型参数，并采用所述模型参数
更新所述第一图像处理模型的模型参数。
[0187]
具体地，在第一图像处理模型训练时建立了曝光度与模型参数的对应关系，从而在获取到去噪图像的曝光度后，可以根据曝光度与模型参数的对应关系确定该曝光度对应的模型参数，其中，所述曝光度指的是曝光度等级，即所述曝光度与模型参数的对应关系为曝光度等级与模型参数的对应关系。此外，由上述可以知道，每个曝光等级对应一个比值区间，那么在获取到去噪图像后，可以获取去噪图像中高光区域的区域面积与图像面积的比值，并确定所述比值所处的比值区间，再根据比值区域确定去噪图像对应的曝光等级，最后根据曝光等级确定去噪图像对应的模型参数，从而得到去噪图像对应的模型参数。此外，在获取到曝光度对应的模型参数后，采用获取到的模型参数更新第一图像处理模型配置的模型参数，以更新第一图像处理模型，即获取到的模型参数所对应的第一图像处理模型。
[0188]
a103、将所述去噪图像输入至更新后的第一图像处理模型。
[0189]
具体地，将去噪图像作为更新后的第一图像处理模型的输入项，并将去噪图像输出至更新后的第一图像处理模型对去噪图像进行处理。可以理解的是，所述待处理图像对应的图像处理模型的模型参数为根据所述待处理图像的曝光度确定模型参数，并且该模型参数为通过对预设网络模型进行训练得到的模型参数，这样可以保证更新后的图像处理模型对待处理图像处理的精确度。
[0190]
进一步，在本实施例的一个实现方式中，所述通过所述第一图像处理模型生成所述去噪图像对应的输出图像指的是将所述去噪图像作为所述第一图像处理模型的输入项输入至所述第一图像处理模型中，通过所述第一图像处理模型调整所述去噪图像的图像色彩，以得到输出图像，其中，所述输出图像为所述待去噪图像对应的去偏色处理后的图像。例如，如图16所示的去噪图像通过所述图像处理图像后得到如图17所示的输出图像。
[0191]
进一步，由所述第一图像处理模型的训练过程可以知道，所述第一图像处理模型包括下采样模块以及变换模块，从而在通过第一图像处理模型对应待处理图像进行处理时，需要依次通过下采样模块以及变换模块进行处理。相应的，所述第一图像处理模型包括；所述通过所述第一图像处理模型生成所述去噪图像对应的输出图像具体包括：
[0192]
a201、将所述去噪图像输入所述下采样模块，通过所述下采样模块得到所述待处理图像对应的双边网格以及所述待处理图像对应的指导图像，其中，所述指导图像的分辨率与所述待处理图像的分辨率相同；
[0193]
a202、将所述指导图像、所述双边网格以及所述去噪图像输入所述变换模块，通过变换模块生成所述去噪图像对应的输出图像。
[0194]
具体地，所述下采样模块的输入项为去噪图像，输出项为待去噪图像对应的双边网格以及指导图像，所述变换模块的输入项为指导图像、双边网格以及待处理图像，输出项为输出图像。其中，所述下采样模块的结构与第一预设网络模型中的下采样模块的结构相同，具体可以参照第一预设网络模型中的下采样模块的结构的说明。所述第一图像处理模型的下采样模块的对待处理图像的处理与第一预设网络模型中的下采样模块对第一图像的处理过程相同，从而所述步骤a201的具体执行过程可以参照步骤m11。同样的，所述变换模块的结构与第一预设网络模型中的变换模块的结构相同，具体可以参照第一预设网络模型中的变换模块的结构的说明。所述第一图像处理模型的变换模块的对待处理图像的处理与第一预设网络模型中的变换模块对第一图像的处理过程相同，从而所述步骤a202的具体
执行过程可以参照步骤m12。
[0195]
进一步，在本实施例的一个实现方式中，所述下采样模块包括下采样单元以及卷积单元。相应的，所述将所述去噪图像输入所述下采样模块，通过所述下采样模块得到所述去噪图像对应的双边网格以及所述待处理图像对应的指导图像具体包括：
[0196]
a2011、将所述去噪图像分别输入所述下采样单元以及所述卷积单元；
[0197]
a2012、通过所述下采样单元得到所述去噪图像对应的双边网格，并通过所述卷积单元得到所述待处理图像对应的指导图像。
[0198]
具体地，所述下采样单元的输入项为去噪图像，输出项为双边网格，所述卷积单元的输入项为去噪图像，输出项为指导图像。其中，其中，所述下采样单元的结构与第一预设网络模型中的下采样单元的结构相同，具体可以参照第一预设网络模型中的下采样单元的结构的说明。所述第一图像处理模型的下采样单元的对待处理图像的处理与第一预设网络模型中的下采样单元对第一图像的处理过程相同，从而所述步骤a2011的具体执行过程可以参照步骤m111。同样的，所述卷积单元的结构与第一预设网络模型中的卷积单元的结构相同，具体可以参照第一预设网络模型中的卷积单元的结构的说明。所述第一图像处理模型的卷积单元的对去噪图像的处理与第一预设网络模型中的卷积单元对第一图像的处理过程相同，从而所述步骤a2012的具体执行过程可以参照步骤m112。
[0199]
进一步，在本实施例的一个实现方式中，所述变换模块包括切分单元以及变换单元。相应的，所述将所述指导图像、所述双边网格以及所述待处理图像输入所述变换模块，通过变换模块生成所述去噪图像对应的输出图像具体包括：
[0200]
a2021、将所述指导图像输入所述切分单元，通过所述切分单元对所述双边网格进行切分，以得到所述待处理图像中各像素点的颜色变换矩阵；
[0201]
a2022、将所述去噪图像以及所述待处理图像中各像素点的颜色变换矩阵输入所述变换单元，通过所述变换单元生成所述去噪图像对应的输出图像。
[0202]
具体地，所述切分单元的输入项为指导图像和双边网格，输出项为待处理图像中各像素点的颜色变换矩阵，所述变换单元的输入项为去噪图像和去噪图像中各像素点的颜色变换矩阵，输出项为输出图像。其中，其中，所述切分单元的结构与第一预设网络模型中的切分单元的结构相同，具体可以参照第一预设网络模型中的切分单元的结构的说明。所述第一图像处理模型的切分单元对待处理图像对应的双边网格以及指导图像的处理，与第一预设网络模型中的下采样单元对第一图像对应的双边网格以及指导图像的处理过程相同，从而所述步骤a2021的具体执行过程可以参照步骤m121。同样的，所述变换单元的结构与第一预设网络模型中的变换单元的结构相同，具体可以参照第一预设网络模型中的变换单元的结构的说明。所述第一图像处理模型的变换单元基于待处理图像中各像素点的颜色变换矩阵对待处理图像的处理与第一预设网络模型中的变换单元基于第一图像中各像素点的颜色变换矩阵对第一图像的处理过程相同，从而所述步骤a2022的具体执行过程可以参照步骤m122。
[0203]
可以理解的是，第一图像处理模型在训练过程中对应的网络结构，与在应用过程(去除待处理图像携带的偏色)中所对应的网络结构相同。例如，在训练的过程中，第一图像处理模型包括下采样模块和变换模块，那么相应地，在通过第一图像处理模型对去噪图像进行去偏色处理时，第一图像处理模型也包括下采样模块和变换模块。
[0204]
例如，在训练过程中，第一图像处理模型的下采样模块包括下采样单元以及卷积单元，变换模块包括切分单元和变换单元；相应地，在通过第一图像处理模型对去噪图像进行去偏色处理时，下采样模块也可以包括下采样单元以及卷积单元，变换模块包括切分单元和变换单元；并且在应用过程中，每一层的工作原理与在训练过程中每一层的工作原理相同，因此，第一图像处理模型应用过程中的每一层神经网络的输入输出情况可以参见第一图像处理模型的训练过程中的相关介绍，这里不再赘述。
[0205]
与现有技术相比，本发明提供了一种图像处理方法、存储介质以及终端设备，所述图像处理方法包括获取待处理图像集，根据所述待处理图像集，生成所述待处理图像集对应的去噪图像；将所述去噪图像输入至以已训练的第一图像处理模型，通过所述第一图像处理模型生成所述去噪图像对应的输出图像。本发明是首先获取多张图像，并根据多张图像来生成一张去噪图像，在采用基于训练图像集进行深度学习得到已训练的第一图像处理模型来调整去噪图像的图像颜色，这样使得可以提高输出图像的色彩质量以及噪声质量，从而提高图像质量。
[0206]
s40、将所述处理后图像输入至以已训练的第二图像处理模型，通过所述第二图像处理模型对所述处理后图像进行去重影处理，以得到输出图像。
[0207]
具体地，所述第二图像处理模型可是处理所述待处理图像集的图像设备(例如，配置屏下摄像头的手机)预先训练的，也可以是由其他训练后将第二图像处理模型对应的文件移植到图像设备中。此外，图像设备可以将所述第二图像处理模型可作为一个去重影功能模块，当图像设备获取到处理后图像时，启动所述去重影功能模块，将待处理图像输出至第二图像处理模型。
[0208]
进一步，在本实施例的一个实现方式中，如图18所示，所述第二图像处理模型的训练过程可以包括：
[0209]
l100、第二预设网络模型根据所述训练图像集中第三图像，生成所述第三图像对应的生成图像。
[0210]
具体地，所述第二预设网络模型可以采用深度学习网络模型，所述训练图像集包括多组具有不同图像内容的训练图像组，每一组训练图像组均包括第三图像和第四图像，第三图像与第四图像相对应，它们呈现的是同一图像场景，第四图像为正常显示的图像(即原始图像)，第三图像的图像内容与第四图像对应但图像内容中的物体出现重影或者与重影类似的模糊效果。其中，所述重影指的是图像中的物体周围形成了虚像，例如，可以包括图像中物体的边缘出现一重或多重轮廓或虚像的情况，举例来说，当图像中的物体出现了双重影像(即出现物体边缘出现一重轮廓或虚像)时，其中，像素值较小的一列影像可以理解为物体的实像，像素值较大的另一列影像可以理解为物体的轮廓或虚像。
[0211]
进一步所述第三图像和第四图像对应相同的图像场景。所述第三图像和第四图像对应相同的图像场景指的是第三图像携带的图像内容与第四图像携带的图像内容的相似度达到预设阈值，所述第三图像的图像尺寸与第四图像的图像尺寸相同，以使得当第三图像和第四图像重合时，第三图像携带的物体对第四图像中与其对应的物体的覆盖率达到预设条件。其中，所述预设阈值可以为99％，所述预设条件可以为99.5％等。
[0212]
此外，在本实施例的一个实现方式中，为了减少第三图像和第四图像的图像差异对第二预设网络模型训练的影响，所述第三图像的图像内容和第四图像的图像内容可以完
全相同。例如，所述第三图像为图像尺寸为600*800的具有重影的图像，第三图像的图像内容为一个正方形，并且第三图像中正方形的四个顶点在第三图像中的位置分别为(200，300)、(200,400)，(300,400)以及(300,300)。那么，所述第四图像的图像尺寸为600*800的未具有重影的图像，第四图像的图像内容为一个正方形，第四图像中正方形的四个顶点在第四图像中的位置分别为(200，300)、(200,400)，(300,400)以及(300,300)，当第三图像放置于第四图像上并与第四图像重合时，所述第三图像覆盖所述第四图像，并且第三图像中的正方形与第四图像的正方形上下重叠。
[0213]
进一步，所述第四图像可以是通过正常拍摄得到的图像，例如将屏下成像系统中的显示面板移除后由屏下摄像头拍摄的图像，或者通过制作不带数据线和扫描线等遮光结构的实验性质的显示面板替代实际的显示面板，然后利用其作为屏下成像系统的显示面板而由屏下摄像头拍摄的图像，也可以是通过网络(如，百度)获取的图像，还可以是通过其他外部设备(如，智能手机)发送的图像。所述第三图像可以为通过屏下成像系统(例如，屏下摄像头)拍摄得到，也可以是通过对第四图像进行处理得到。所述对第四图像进行处理指的是在第四图像上形成重影，在一种可能的实现方式中，在处理的过程中可以同时保持第四图像的图像尺寸以及图像内容不变。
[0214]
在本实施例的一个实现方式中，所述第三图像为通过屏下成像系统拍摄得到，所述第三图像和第四图像的拍摄参数相同，并且所述第三图像对应的拍摄场景与第四图像的拍摄场景相同。例如，所述第三图像为如图21所示的通过屏下摄像头拍摄一场景得到的图像，其因显示面板内遮光结构的影响导致图像内容较为模糊，第四图像为如图22所示的正常显示的图像。同时在实施例的一个可能实现方式中，所述拍摄参数可以包括成像系统的曝光参数，其中，所述曝光参数可以包括光圈、开门速度、感光度、对焦以及白平衡等。当然，在实际应用中，所述拍摄参数还可以包括环境光、拍摄角度以及拍摄范围等。
[0215]
进一步，当所述第三图像为通过屏下成像系统拍摄得到的图像时，由于第三图像和第四图像可以是通过两个不同的成像系统拍摄，而在更换成像系统时，可能会造成拍摄位置或拍摄角度的变化，使得所述第三图像和第四图像在空间上存在不对齐的问题。由此，在所述第二预设网络模型根据训练图像集中第三图像，生成所述第三图像对应的生成图像之前还包括：
[0216]
m10、针对所述训练图像集中每组训练图像组，将该组训练图像组中的第三图像与所述第三图像对应的第四图像进行对齐处理，得到与所述第四图像对齐的对齐图像，并将所述对齐图像作为第三图像。
[0217]
具体地，所述针对所述训练图像集中每组训练图像组指的是对训练图像集中每一组训练图像组均执行对齐处理，所述对齐处理可以是在获取到训练图像集之后，分别对每一组训练图像组进行对齐处理，以得到对齐后的训练图像组，并在所有组训练图像组对齐后执行将每一组训练图像组中的第三图像输入第二预设网络模型的步骤；当然也可以是在将每一组训练图像组中的第三图像输入第二预设网络模型之前，对该组训练图像组进行对齐处理，以得到该组训练图像对应的对齐后的训练图像组，之后将对齐后的训练图像组中的第三图像输入第二预设网络模型。在本实施例中，所述对齐处理是在获取到训练图像集后，分别对每一组训练图像组进行，并在所有训练图像组完成对齐处理后，在执行将训练图像集中第三图像输入第二预设网络模型的操作。此外，值得说明，将第三图像与所述第三图
像对应的第四图像进行对齐处理的处理过程与将参考图像与所述基准图像进行对齐处理的过程相同，这里就是将第三图像作为参考图像，将第四图像作为基准图像，因而这里就不对将第三图像与第四图像的进行对齐的过程做详细说明，具体可以参照上述将参考图像与基准图像进行对齐的过程的说明。
[0218]
进一步，在本实施例的一个实现方式中，如图19所示，所述第二预设网络模型包括编码器和解码器；所述第二预设网络模型根据训练图像集中第三图像，生成所述第三图像对应的生成图像具体包括：
[0219]
l101、将所述训练图像集中第三图像输入所述编码器，通过所述编码器得到所述第三图像的特征图像，其中，所述特征图像的图像尺寸小于所述第三图像的图像尺寸；
[0220]
l102、将所述特征图像输入所述解码器，通过所述解码器输出所述生成图像，其中，所述生成图像的图像尺寸等于第三图像的图像尺寸。
[0221]
具体地，所述第二预设网络模型采用解码-编码结构，所述解码-编码结构为卷积神经网络cnn结构，其中，所述编码器1000用于将输入图像转换为图像空间尺寸小于输入图像并且通道数多于输入图像的特征图像，所述解码器2000用于将特征图像转换为与输入图像的图像尺寸相同的生成图像。在本实施例中，所述编码器包括依次布置的第一冗余学习层101以及下采样层102，训练图像组中第三图像输入至第一冗余学习层101，通过第一冗余学习层101输出与第三图像的图像尺寸相同的第一特征图；第一特征图像作为下采样层102的输入项输入下采样层102，通过下采样层102对第一特征图像进行下采样以输出所述第三图像对应的第二特征图像(第二特征图像为通过编码器生成的第三图像的特征图像)，其中，第二特征图像的图像尺寸小于第三图像的图像尺寸。所述解码器2000包括依次布置的上采样层201和第二冗余学习层202，所述编码器1000输出的特征图像输入至上采样层201，通过上采样层201进行上采样后输出第三特征图像，第三特征图像输入至第二冗余学习层202，经过第二冗余学习层202后输出生成图像，其中，所述生成图像的图像尺寸与第三图像的图像尺寸相同。本实施通过采用编码器-解码器的结构，可以对第二预设网络模型进行多尺度的训练，从而可以提高训练得到的第二图像处理模型的去重影效果。
[0222]
进一步，如图19所示，所述第一冗余学习层101包括第一卷积层11以及以第一冗余学习模块12，所述下采样层102包括第一编码冗余学习模块110和第二编码冗余学习模块120，第一编码冗余学习模块110包括第一下采样卷积层13和第二冗余学习模块14，第二编码冗余学习模块120包括第二下采样卷积层15和第三冗余学习模块16。其中，所述第一卷积层11的输入项为第三图像，并对第三图像进行采样以得到第第一特征图像，并将所述第一特征图像输入至第一冗余学习模块12进行特征提取，经过第一冗余学习模块12的第一特征图像依次通过第一下采样卷积层、第二冗余学习模块14、第二下采样卷积层15和第三冗余学习模块16进行下采样，以得到第二特征图像。由此可知，所述第一卷积层11对第三图像进行采样，所述第一下采样卷积层13和第二下采样卷积层15均用于对输入其的特征图像进行下采样，所述第一冗余学习模块12、第二冗余学习模块14和第三冗余学习模块16用于提取图像特征。此外，在本实施例的一种可能的实现方式中，所述第一下采样卷积层13和第二下采样卷积层15可以均为采用步长为2的卷积层，所述第一冗余学习模块12、第二冗余学习模块14和第三冗余学习模块16均包括依次布置的三个冗余学习块，所述三个冗余学习块依次提取输入图像的图像特征。
[0223]
举例说明：假设第三图像为256*256的图像，第三图像通过输入层输入第一冗余学习层101，经过第一冗余学习层101后输出256*256的第一特征图像；第一特征图像输入第一编码冗余学习模块110的第一下采样卷积层13，经过第一下采样卷积层13处理后图像大小为128*128的第四特征图像，第四特征图像经过第一编码冗余学习模块110的第一冗余学习模块14进行特征提取；经过第一冗余学习模块110的第四特征图像输入第二编码冗余学习模块120的第二下采样卷积层15，经过第二下采样卷积层15处理后图像大小为64*64的第二特征图像，第二特征图像经过第二编码冗余学习模块120的第二冗余学习模块16进行特征提取。
[0224]
进一步，如图19所示，所述上采样层201包括第一解码冗余学习模块210和第二解码冗余学习模块220，第一解码冗余学习模块210包括第四冗余学习模块21和第一上采样卷积层22，第二解码冗余学习模块220包括第五冗余学习模块23和第二上采样卷积层24，所述第二冗余学习层202包括第六冗余学习模块25和第二卷积层26。其中，所述第一上采样卷积层22的输入项为第一特征图像，输入第一特征图像依次通过第四冗余学习模块21、第一上采样卷积层22、第五冗余学习模块23和第二上采样卷积层24进行上采样以得到第三特征图像，并将所述第三特征图像输入至第六冗余学习模块25，通过第六冗余学习模块25进行特征提取后的第三特征图像输入至第二卷积层26，通过第二卷积层26得到生成图像。由此可知，所述第一上采样卷积层22和第二上采样卷积层24用于对输入其的特征图像进行上采样，所述第四冗余学习模块21、第五冗余学习模块23以及第六冗余学习模块25均用于提取图像特征，所述第二卷积层26用于对输入其内的特征图像进行采样。在本实施例的一个可能的实现方式中，所述第一上采样卷积层22和第二上采样卷积层24均为步长为2的反卷积层，所述第四冗余学习模块21、第五冗余学习模块23以及第六冗余学习模块25均包括三个冗余学习块，所述三个冗余学习块依次提取输入图像的图像特征。此外，所述第一冗余学习层101中冗余学习模块的第三个冗余学习块与所述第二冗余学习层202中冗余学习模块的第一个冗余学习块跳跃连接，所述第一编码冗余学习模块110中冗余学习模块的第三个冗余学习块与所述第二解码冗余学习模块220中冗余学习模块的第一个冗余学习块跳跃连接。
[0225]
举例说明：假设第三图像为256*256的图像经过上述编码器1000得到64*64的第二特征图像，64*64的第二特征图像输入经过第一解码冗余学习模块210的第四冗余学习模块21进行特征提取，经过特征提取的64*64的第二特征图像输入第一解码冗余学习模块210的第一上采样层22，经过第一上采样层22输出的图像大小为128*128的第五特征图像，第五特征图像经过第二解码冗余学习模块220的第五冗余学习模块23进行特征提取；经过第五冗余学习模块23的第五特征图像输出第二解码冗余学习模块220的第二上采样卷积层24，经过第二上采样卷积层24处理后图像大小为256*256的第三特征图像，第三特征图像输入第二冗余学习层202，经过第二冗余学习层202后输出256*256的生成图像。
[0226]
进一步，所述编码器和解码器包括的第一卷积层、第二卷积层、第一上采样卷积层、第二上采样卷积层、第一下采用卷积层和第二下采用卷积层均使用线性整流函数作为激活函数且卷积核均为5*5，这样可以提高各层的梯度传递效率，并且经过多次的反向传播，梯度幅度变化小，提高了训练的生成器的准确性，同时还可以增大网络的感受野。
[0227]
l200、所述第二预设网络模型根据所述第三图像对应的第四图像和所述第三图像
对应的生成图像，对模型参数进行修正，并继续执行根据训练图像集中的下一训练图像组中的第三图像，生成所述第三图像对应的生成图像的步骤，直至所述第二预设网络模型的训练情况满足预设条件，以得到所述第二图像处理模型。
[0228]
具体地，所述对所述第二预设网络模型进行修正指的是对所述第二预设网络模型的模型参数进行修正，直至所述模型参数满足预设条件。所述预设条件包括损失函数值满足预设要求或者训练次数达到预设次数。所述预设要求可以是根据第二图像处理模型的精度来确定，这里不做详细说明，所述预设次数可以为第二预设网络模型的最大训练次数，例如，4000次等。由此，在第二预设网络模型输出生成图像，根据所述生成图像以及所述第四图像来计算第二预设网络模型的损失函数值，在计算得到损失函数值后，判断所述损失函数值是否满足预设要求；若损失函数值满足预设要求，则结束训练；若损失函数值不满足预设要求，则判断所述第二预设网络模型的训练次数是否达到预测次数，若未达到预设次数，则根据所述损失函数值对所述第二预设网络模型的网络参数进行修正；若达到预设次数，则结束训练。这样通过损失函数值和训练次数来判断第二预设网络模型训练是否结束，可以避免因损失函数值无法达到预设要求而造成第二预设网络模型的训练进入死循环。
[0229]
进一步，由于对第二预设网络模型的网络参数进行修改是在第二预设网络模型的训练情况未满足预设条件(例如，损失函数值未满足预设要求并且训练次数未达到预设次数)，从而在根据损失函数值对所述第二预设网络模型的网络参数进行修正后，需要继续对网络模型进行训练，即继续执行将训练图像集中的第三图像输入第二预设网络模型的步骤。其中，继续执行将训练图像集中第三图像输入第二预设网络模型中的第三图像可以为未作为输入项输入过第二预设网络模型的第三图像。例如，训练图像集中所有第三图像具有唯一图像标识(例如，图像编号)，第一次训练输入第二预设网络模型的第三图像的图像标识与第二次训练输入第二预设网络模型的第三图像的图像标识不同，如，第一次训练输入第二预设网络模型的第三图像的图像编号为1，第二次训练输入第二预设网络模型的第三图像的图像编号为2，第n次训练输入第二预设网络模型的第三图像的图像编号为n。当然，在实际应用中，由于训练图像集中的第三图像的数量有限，为了提高第二图像处理模型的训练效果，可以依次将训练图像集中的第三图像输入至第二预设网络模型以对第二预设网络模型进行训练，当训练图像集中的所有第三图像均输入过第二预设网络模型后，可以继续执行依次将训练图像集中的第三图像输入至第二预设网络模型的操作，以使得训练图像集中的训练图像组按循环输入至第二预设网络模型。需要说明的是，在将第三图像输入第二预设网络模型训练的过程中，可以按照各个第三图像的图像编号顺序输入，也可以不按照各个第三图像的图像编号顺序输入，当然，可以重复使用同一张第三图像对第二预设网络模型进行训练，也可以不重复使用同一张第三图像对第二预设网络模型进行训练，在本实施例中，不对“继续执行将训练图像集中的第三图像输入第二预设网络模型的步骤”的具体实现方式进行限定。
[0230]
进一步，在本实施例的一个实现方式中，所述损失函数值为结构相似性损失函数和内容双向损失函数计算得到的。相应的，如图20所示，所述第二预设网络模型根据所述第三图像对应的第四图像和所述第三图像对应的生成图像，对所述第二预设网络模型的模型参数进行修正，并继续执行根据训练图像集中第三图像，生成所述第三图像对应的生成图像的步骤，直至所述第二预设网络模型的训练情况满足预设条件，以得到已训练的第二图
像处理模型具体包括：
[0231]
l201、根据所述第三图像对应的第四图像和所述第三图像对应的生成图像计算所述第二预设网络模型对应的结构相似性损失函数值和内容双向损失函数值；
[0232]
l202、根据所述结构相似性损失函数值和所述内容双向损失函数值得到所述第二预设网络模型的总损失函数值；
[0233]
l203、基于所述总损失函数值训练所述第二预设网络模型，并继续执行将第二预设训练图像集中的下一训练图像组中的第三图像输入第二预设网络模型的步骤，直至所述第二预设网络模型的训练情况满足预设条件，以得到已训练的第二图像处理模型。
[0234]
具体地，所述第二预设网络模型采用结构相似性指数(structural similarity index，ssim)损失函数和基于vgg(visual geometry group network，vgg网络)提取特征的内容双向(contextual bilateral loss,cobi)损失函数的结合作为损失函数。那么，在计算所述第二预设网络模型的损失函数值时，可以分别计算结构相似性损失函数值和内容双向损失函数值，再根据所述结构相似性损失函数值和内容双向损失函数值计算第二预设网络模型中损失函数值。在本实施例中，所述第二预设网络模型的总损失函数值＝a*结构相似性损失函数值+b*内容双向损失函数值，所述a和b为权重系数。例如，所述权重系数a和权重系数b均为1，那么所述第二预设网络模型的总损失函数值＝结构相似性损失函数值+内容双向损失函数值。此外，在本实施例中，在采用总损失函数值对第二预设网络模型进行训练时采用随机梯度下降法对第二预设网络模型进行训练，其中，训练的初始网络参数设为0.0001，并且网络参数在修正时采用指数衰减的方式进行修正。
[0235]
进一步，所述结构相似性损失函数值用于衡量生成图像与第四图像之间结构的相似性，所述结构相似性损失函数值越大，生成图像与第四图像的相似性越高，反之，所述结构相似性损失函数值越小，生成图像与第四图像的相似性越低。因此，结构相似性损失函数值对局部结构变化较敏感，更接近于人眼的感知系统，从而可以提高第二预设网络模型的精确性。在本实施例中，所述结构相似性损失函数值对应的结构相似性损失函数的表达式可以为：
[0236][0237]
其中，μ
x
为生成图像中所有像素点的像素值的平均值，μ
y
为第二图像中所有像素点的像素值的平均值，σ
x
为生成图像中所有像素点的像素值的方差，σ
y
为第二图像中所有像素点的像素值的方差，σ
xy
为生成图像与第二图像的协方差。
[0238]
进一步，所述内容双向损失函数值为通过基于vgg特征的cobi损失函数计算得到，所述基于vgg特征的cobi损失函数通过分别提取生成图像与第四图像的若干组vgg特征，并且针对生成图像的每个第一vgg特征，在第四图像的第二vgg特征中搜索与该第一vgg特征接近的第二vgg特征匹配，最后计算每个第一vgg特征与其匹配的第二vgg特征的距离和，以得到内容双向损失函数值，这样通过内容双向损失函数对双边距离进行搜索，考虑了第一vgg特征与其匹配的第二vgg特征在空间上的损失，从而可以避免第三图像和第四图像未完全对齐产生的影响，提高了第二预设网络模型训练的速度以及准确性。此外，在搜索所述第一vgg特征匹配的第二vgg特征时，根据第一vgg特征和第二vgg特征的距离和位置关系两个方面确定内容双向损失函数值，提高了匹配的精确性，从而进一步降低第三图像和第四图
像不对齐对第二预设网络模型训练的影响。在本实施例中，所述内容双向损失函数的表达式可以为：
[0239][0240]
其中,d为生成图像的vvg特征与第二图像的vvg特征之间的余弦距离，d
′
为生成图像的vvg特征与第二图像的vvg特征之间的空间位置距离，n为生成图像的vvg特征的特征数量，ω
s
为权重系数。
[0241]
n200、通过所述第二图像处理模型对所述处理后图像进行去重影处理，并将去重影处理后图像作为处理后图像。
[0242]
具体地，所述通过所述第二图像处理模型对所述待处理图像进行去重影指的是将所述待处理图像作为所述第二图像处理模型的输入项输入至所述第二图像处理模型中，通过所述第二图像处理模型去除所述待处理图像的重影，以得到处理后图像，其中，所述处理后图像为所述待处理图像对应的通过第二图像处理模型处理得到的图像。可以理解的是，待处理图像为输出图像对应的具有重影的图像，即输出图像与待处理图像相对应，它们呈现的是同一图像场景，输出图像为正常显示的图像，待处理图像的图像内容与输出图像对应，但待处理图像内容中的物体出现重影或者与重影类似的模糊效果。例如，如图21所示的待处理图像通过所述图像处理图像后得到如图22所示的输出图像。
[0243]
进一步，由所述第二图像处理模型的训练过程可以知道，所述第二图像处理模型包括编码器和解码器，从而在通过第二图像处理模型对应待处理图像进行处理时，需要分别通过编码器和解码器进行处理。相应的，所述通过所述第二图像处理模型对所述待处理图像进行去重影，以得到所述待处理图像对应的处理后图像具体包括：
[0244]
n201、将所述待处理图像输入所述编码器，通过所述编码器得到所述待处理图像的特征图像，其中，所述特征图像的图像尺寸小于所述待处理图像的图像尺寸；
[0245]
n202、将所述特征图像输入所述解码器，通过所述解码器输出所述待处理图像对应的处理后图像，其中，所述处理后图像的图像尺寸等于所述待处理图像的图像尺寸。
[0246]
具体地，所述编码器将输入的待处理图像转换为图像空间尺寸小于输入图像并且通道数多于输入图像的特征图像，并将所述特征图像输入至解码器，所述解码器将输入的特征图像转换为与待处理图像的图像尺寸相同的生成图像。其中，所述编码器的结构与第二预设网络模型中的编码器的结构相同，具体可以参照第二预设网络模型中的编码器的结构的说明。所述第二图像处理模型的编码器的对待处理图像的处理与第二预设网络模型中的编码器对第三图像的处理过程相同，从而所述步骤n201的具体执行过程可以参照步骤l101。同样的，所述解码器的结构与第二预设网络模型中的解码器的结构相同，具体可以参照第二预设网络模型中的解码器的结构的说明。所述第二图像处理模型的解码器的对待处理图像对应的特征图像的处理与第二预设网络模型中的解码器对第三图像对应的特征图像的处理过程相同，从而所述步骤n202的具体执行过程可以参照步骤l202。
[0247]
可以理解的是，第二图像处理模型在训练过程中对应的网络结构，与在应用过程(去除处理后图像携带的重影)中所对应的网络结构相同。例如，在训练的过程中，第二图像处理模型包括编码器和编码器，那么相应地，在通过第二图像处理模型去除处理后图像携带的重影时，第二图像处理模型也包括编码器和编码器。
[0248]
进一步地，例如，在训练过程中，第二图像处理模型的编码器包括所述编码器包括第一冗余学习层和下采样层，解码器包括上采样层和第二冗余学习层；相应地，在通过第二图像处理模型去除处理后图像携带的重影时，编码器也可以包括第一冗余学习层和下采样层，解码器包括上采样层和第二冗余学习层；并且在应用过程中，每一层的工作原理与在训练过程中每一层的工作原理相同，因此，第二图像处理模型应用过程中的每一层神经网络的输入输出情况可以参见第二图像处理模型的训练过程中的相关介绍，这里不再赘述。
[0249]
为了进一步提高图像处理方法得到的输出图像的图像质量，在获取到输出图像后，还可以对所述输出图像进行后处理，其中，所述后处理可以包括锐化处理以及降噪处理等。相应的，所述通过所述第二图像处理模型对所述处理后图像进行去重影处理，以得到输出图像之后，所述方法还包括：
[0250]
对所述处理后图像进行锐化以及降噪处理，并将锐化以及降噪后的输出图像作为所述待处理图像对应的输出图像。
[0251]
具体地，所述锐化处理指的是补偿输出图像的轮廓、增强输出图像的边缘及灰度跳变的部分，以提高处理后图像的图像质量。其中，所述锐化处理可以采用现有的锐化处理方法，例如，高通滤波方法等。所述降噪处理指的是去除图像中的噪声，提高图像的信噪比。其中，所述降噪处理可以采用现有的降噪算法或已训练的降噪网络模型等，例如，所述降噪处理采用高斯低通滤波方法等。
[0252]
基于上述图像处理方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的图像处理方法中的步骤。
[0253]
基于上述图像处理方法，本发明还提供了一种终端设备，如图23所示，其包括至少一个处理器(processor)31；显示面板31；以及存储器(memory)32，还可以包括通信接口(communications interface)33和总线34。其中，处理器30、显示面板31、存储器32和通信接口33可以通过总线34完成相互间的通信。显示面板31设置为显示初始设置模式中预设的用户引导界面。通信接口33可以传输信息。处理器30可以调用存储器32中的逻辑指令，以执行上述实施例中的方法。
[0254]
此外，上述的存储器32中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
[0255]
存储器32作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器30通过运行存储在存储器32中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
[0256]
存储器32可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
[0257]
此外，上述存储介质以及终端中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
[0258]
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
[0259]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。