一种图像处理方法、存储介质及终端设备与流程

1.本发明涉及图像处理技术领域，特别涉及一种图像处理方法、存储介质及终端设备。


背景技术：

2.现有的全面屏终端普遍包括显示面板区域以及摄像头区域，摄像头区域位于显示面板区域的顶部，这样虽然可以增大屏占比，但是摄像头区域还是会占用部分显示区域，无法真实达到全面屏。因而，为了实现全面屏终端需要在显示面板下安装成像系统，而当光线通过显示面板时，显示面板会吸收光线，使得成像系统接收到的光子数量减少，图像信噪比降低，使得图像出现严重的噪声。


技术实现要素：

3.本发明要解决的技术问题在于，针对现有技术的不足，提供一种图像处理方法、存储介质及终端设备，以解决现有屏下成像系统拍摄图像存在噪声的问题。
4.为了解决上述技术问题，本发明所采用的技术方案如下：
5.一种图像处理方法，其包括：
6.获取待处理图像集，其中，所述待处理图像集包括基础图像以及至少一张临近图像；
7.将所述基础图像划分为若干基础图像块,分别确定各基础图像在各临近图像中对应的临近图像块；
8.确定各个基础图像块分别对应的权重参数集；其中，基础图像块对应的权重参数集包括第一权重参数和第二权重参数，第一权重参数为基础图像块的权重参数，第二权重参数为临近图像中与基础图像块对应的临近图像块的权重参数；
9.根据所述待处理图像集以及各个基础图像块分别对应的权重参数集，确定输出图像。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的图像处理方法中的步骤。
11.一种终端设备，其包括：处理器和存储器；所述存储器上存储有可被所述处理器执行的计算机可读程序；所述处理器执行所述计算机可读程序时实现如上任一所述的图像处理方法中的步骤。
12.有益效果：与现有技术相比，本发明提供了一种图像处理方法、存储介质及终端设备，所述方法通过将基础图像划分为若干基础图像块，获取各基础图像块的权重参数集，根据待处理图像集以及各个基础图像块对应的权重参数集，确定输出图像，其中，所述基础图像块对应的权重参数集包括基础图像块的第一权重参数和临近图像中与基础图像块对应的临近图像块的第二权重参数。由此可知，本发明通过将基础图像划分为若干基础图像块，
并根据基础图像块的第一权重参数和各临近图像块的第二权重参数将基础图像和临近图像处理为一张输出图像，这样可以通过基础图像块与临近图像块融合，增加输出图像中每个像素位置所接收到的光子数量，减少输出图像携带的图像噪声，从而提高输出图像的图像质量。
附图说明
13.图1为本发明提供的一种图像处理方法的一个实施例的流程图。
14.图2为本发明提供的一种图像处理方法的一个实施例中临近图像块的获取过程的流程图。
15.图3为本发明提供的一种图像处理方法的一个实施例中指定区域的一个示例图。
16.图4为本发明提供的一种图像处理方法的一个实施例中第二权重参数的计算过程的流程图。
17.图5为本发明提供的一种图像处理方法的一个实施例中对输出图像进行去重影过程的流程图。
18.图6为本发明提供的一种图像处理方法的一个实施例中图像处理模块的训练过程的流程图。
19.图7为本实施例提供的一种图像处理模型的训练方法的第一图像的一个示例图。
20.图8为本实施例提供的一种图像处理模型的训练方法的第二图像的一个示例图。
21.图9为本实施例提供的一种图像处理模型的训练方法的中确定对齐方式的过程的流程图。
22.图10为本实施例提供的一种图像处理模型的训练方法的中步骤l10的流程图。
23.图11为本实施例提供的一种图像处理模型的训练方法的中预设网络模型的结构示意图。
24.图12为本实施例提供的一种图像处理模型的训练方法的中步骤l20的流程图。
25.图13为本实施例提供的一种图像处理方法中输出图像的一个示例图。
26.图14为本实施例提供的一种图像处理方法中去重影处理后的输出图像的一个示例图。
27.图15为本发明提供的一种终端的结构原理图。
具体实施方式
28.本发明提供一种图像处理方法、存储介质及终端设备，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
29.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措
辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
30.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
31.发明人经过研究发现，为了实现终端设备的全面屏，需要将终端设备的成像系统(如，摄像头)安装在显示面板下方。而现有显示面板内普遍包括基板以及偏光片等。那么当光线穿过显示面板时，显示面板会吸收光线，使得成像系统接收到的光子数量减少，图像信噪比降低，使得图像出现严重的噪声，进而影响终端拍摄图像的图像质量。
32.为了解决上述问题，在本发明实施例中，获取包括基础图像以及至少一张临近图像的待处理图像集，并将基础图像划分为若干基础图像块，之后根据每一张临近图像确定各基础图像块对应的权重参数集，再根据待处理图像集以及各个基础图像块对应的权重参数集确定输出图像。可见，本发明实施例中，通过将基础图像划分为若干基础图像块，再确定各基础图像块对应的权重参数集，所述权重参数集包括基础图像块对应的第一权重参数和临近图像中与基础图像块对应的临近图像块的权重参数，再根据各基础图像块对应的权重系数将基础图像与至少一张临近图像进行处理，得到输出图像，这样可以通过基础图像块与临近图像块的进行图像补偿，减少输出图像携带的图像噪声，从而提高输出图像的图像质量。
33.举例说明，本发明实施例可以应用到终端设备上，终端设备可以获取包含基础图像以及至少一张临近图像的待处理图像集，并将所述基础图像划分为若干基础图像块；然后确定各基础图像块对应的第一权重参数以及各临近图像中与基础图像块对应的临近图像块的第二权重参数，并根据第一权重参数和各第二权重参数形成各基础图像块对应的权重参数集，最后根据所述待处理图像集以及各个基础图像块分别对应的权重参数集，确定输出图像。
34.可以理解的是，在上述应用场景中，虽然将本发明实施方式的动作描述为由终端设备执行，但是这些动作也可以部分由终端设备执行(例如，获取待处理图像集，将待处理图像集发送至服务器)、部分由服务器(例如，响应终端设备发送的待处理图像集，将基础图像划分为若干图像块，确定各个基础图像块分别对应的权重参数集以及根据所述待处理图像集以及各个基础图像块分别对应的权重参数集，确定输出图像，以及将输出图像发送至终端设备)执行，或者完全由终端设备执行。本发明在执行主体方面不受限制，只要执行了本发明实施方式所公开的动作即可。
35.下面结合附图，通过对实施例的描述，对发明内容作进一步说明。
36.本实施例提供了一种图像处理方法，如图1所示，所述方法包括：
37.s10、获取待处理图像集。
38.具体地，所述待处理图像集包括至少两张图像，至少两张图像中一张图像作为基础图像，除该基础图像外的所有图像作为该基础图像的临近图像，即所述待处理图像包括一张基础图像和至少一张临近图像，这样以便于后续通过将基础图像和至少一张临近图像进行多帧合成，以得到输出图像。其中，所述基础图像为多张图像合成的基准，使得临近图
像可以以所述基础图像为参考基准与所述基础图像合成。在本实施例中，所述待处理图像集包含的各张图像均为低曝光图像，并且所述待处理图像集包括的基础图像和各临近图像可以均是通过成像系统(如，照相机、摄像机、屏下摄像头等)拍摄的得到，并且所述基础图像和各张临近图像均属于相同的色彩空间(如，rgb色彩空间以及yuv色彩空间等)相同。例如，所述基础图像和各张临近图像均是通过屏下摄像头拍摄得到，并且基础图像和各张临近图像均属于rgb色彩空间。
39.进一步，由于后续是通过将基础图像和各临近图像进行合成的方式来确定输出图像，因此，所述基础图像对应的拍摄场景和各临近图像对应的拍摄场景均相同。此外，所述基础图像和各临近图像的拍摄参数可以相同，所述拍摄参数可以包括环境照度以及曝光参数，其中，所述曝光参数可以包括光圈、开门速度、感光度、对焦以及白平衡等。当然，在实际应用中，所述拍摄参数还可以拍摄角度以及拍摄范围等。
40.进一步，由于在不同的环境照度下，成像系统拍摄的图像的噪声程度不同，例如，当环境照度低时，成像系统拍摄得到的图像携带的噪声较多，当环境照度高时，成像系统拍摄得到的图像携带的噪声较少。特别是对于屏下成像系统，由于显示面板对不同光线强度的吸收强度不同，并且显示面板对光线的吸收程度与光线强度为非线性光线(例如，当环境照度低时，光线强度低，显示面板吸收光线的比例高，当环境照度高时，光线强度高，显示面板吸收光线的比例低)，这使得屏下成像系统拍摄得到图像a的噪声强度高于图像b的噪声强度，其中，图像a对应的环境光强度小于图像b对应的环境光强度。此外，对于噪声强度不同的图像，可以采用不同数量的图像进行合成，例如，噪声强度高图像需要的图像数量大于噪声强度低图像需要的图像数量。由此，所述待处理图像集包含的临近图像的图像数量为根据所述待处理图像集对应的拍摄参数确定的，其中，所述拍摄参数可以包括环境照度。
41.此外，为了根据环境照度确定临近图像的图像数量，可以预先设定环境照度区间与临近图像的图像数量的对应关系。在获取到环境照度后，首先确定环境照度所处环境照度区间，在根据该对应关系确定该环境照度区间对应的临近图像的图像数量，以得到临近图像的图像数量。例如，所述环境照度区间与临近图像的图像数量的对应关系为：当环境照度区间为[0.5,1)时，临近图像的图像数量对应7；当环境照度为[1,3)时，临近图像的图像数量对应6；当环境照度为[3,10)时，临近图像的图像数量对应5；当环境照度区间为[10,75)时，临近图像的图像数量对应4；当环境照度区间为[75,300)时，临近图像的图像数量对应3，当环境照度区间为[300,1000)时，临近图像的图像数量对应2；当环境照度为[1000,5000)时，临近图像的图像数量对应1。
[0042]
进一步，在本实施例的一个实现方式中，所述待处理图像集为通过屏下成像系统拍摄得到，所述待处理图像集包含的临近图像的图像数量是根据所述屏下成像系统拍摄图像时的环境照度确定。其中，所述环境照度可以在屏下成像系统启动时获取到的，也可以是根据拍摄得到的第一帧图像获取到，还可以是通过预先拍摄得到的预设数量的图像，再根据拍摄得到的预设数量的图像中任一张图像确定。
[0043]
在本实施例的一个实现方式中，所述环境照度为在屏下成像系统启动时获取到的。相应的，所述待处理图像集的获取过程可以为：当屏下成像系统启动时，获取环境照度，并根据获取到环境照度确定待处理图像集包含的图像的第一图像数量，并通过屏下成像系统连续获取第一图像数量，以得到所述待处理图像集。其中，所述第一图像数量可以根据预
设设置的环境照度与临近图像的图像数量的对应关系确定第二图像数量计算得到，所述第一图像数量等于第二图像数量减一，这是由于待处理图像集包含一张基础图像。
[0044]
在本实施例的一个实现方式中，所述环境照度是根据拍摄得到的第一帧图像获取到。相应的，所述待处理图像集的获取过程可以为：首先通过屏下成像系统获取第一帧图像，再获取第一帧图像的iso值，并根据所述iso值确定第一帧图像对应的环境照度，最后根据获取到环境照度确定待处理图像集包含的图像的第三预设图像数量，并通过屏下成像系统再连续获取第二图像数量减一张图像，以得到所述待处理图像集。
[0045]
在本实施例的一个实现方式中，所述环境照度通过预先拍摄得到的预设数量的图像，再根据拍摄得到的预设数量的图像中任一张图像确定。所述待处理图像集的获取过程可以为：预先首先通过屏下成像系统获取预设数量的图像，并在获取到图像中随机选取一张第三预设图像，获取第三预设图像的iso值，并根据所述iso值确定第三预设图像对应的环境照度，最后根据获取到环境照度确定待处理图像集所包含的图像的图像数量(即第四图像数量)。此外，由于已经获取到预设数量的图像，从而可以将预设数量与第四图像数量进行比较，若所述预设数量小于第四图像数量，则通过屏下成像系统再连续获取第五图像数量张图像，其中，第五图像数量等于第四图像数量减预设数量；若所述预设数量等于所述第四图像数量，则完成所述待处理图像集获取操作；若所述预设数量大于第四图像数量，则在获取到预设数量的图像中随机选取第四图像数量长图像，以得到所述待处理图像集。
[0046]
进一步，在本实施例的一个实现方式，在所述预设数量大于第四图像数量，为了使得待处理图像集包括第三预设图像，可以将所述第三预设图像添加至所述待处理图像，之后再在获取到的图像中选取第四图像数量减一张图像。同时为了使得待处理图像集中的图像与第三预设图像连续，可以按照拍照顺序选取待处理图像集包含的图像。
[0047]
举例说明：假设预设数量为5，5张图像按照拍摄顺序分别记为图像a、图像b、图像c、图像d以及图像e，第四图像数量为3，第三预设图像为按照拍摄时间顺序为3的图像c，那么按照拍摄顺序选取到的图像分别为图像b和图像d，从而所述待处理图像集包括图像b、图像c以及图像d。当然，在实际应用中，可以优先选取按照拍摄顺序从第三预设图像依次向前选取，当位于第三预设图像前的图像数量不够时，按照拍摄顺序从第三预设图像依次向后选取；也可以先向后选取，在向后的图像数量不够时，向前选取；还可以是其他选取方法，这里不做具体限制，只要是可以选取到第四图像数量的图像的方式均可以。
[0048]
进一步，在获取到待处理图像集后，由于待处理图像集包括一张基础图像和至少一张临近图像，从而需要在获取到图像中选取基础图像。其中，所述基础图像可以为按照获取顺序位于第一的图像，也可以是待处理图像集中任一张图像，还可以是待处理图像集中清晰度最高的一张图像。在本实施例中，所述基础图像为处理图像集中清晰度最高的一张图，即所述基础图像的清晰度大于或者等于任意一张临近图像的清晰度。
[0049]
进一步，在本实施例的一个实现方式中，所述基础图像的确定过程可以：在获取到待处理图像集包含的所有图像后，获取各图像的清晰度，并将获取到各清晰度进行比较，以选取清晰度最大的图像，并将选取到的图像作为基础图像。其中，所述图像的清晰度可以理解为图像中地物边界(或物体边界)上的像素点的像素值和与该地物边界(或物体边界)相邻的像素点的像素值之间的差值；可以理解的是，若图像中地物边界(或物体边界)上的像素点的像素值和与该地物边界(或物体边界)相邻的像素点的像素值之间的差值越大，则说
明该图像的清晰度越高，反之，若图像中地物边界(或物体边界)上的像素点的像素值和与该地物边界(或物体边界)相邻的像素点的像素值之间的差值越小，则说明该图像的清晰度越低。也就是说，基础图像的清晰度高于各临近图像的清晰度，可以理解为，针对于每一张临近图像，基础图像中地物边界(或物体边界)上的像素点的像素值和与该地物边界(或物体边界)相邻的像素点的像素值之间的差值，大于该临近图像中地物边界(或物体边界)上的像素点的像素值和与该地物边界(或物体边界)相邻的像素点的像素值之间的差值。
[0050]
为便于理解，接下来针对基础图像的清晰度高于临近图像的清晰度进行举例说明。假设待处理图像集包括图像a和一张图像b，且该图像a和该图像b中的图像内容是完全一样的，其中，该图像a和该图像b中均包括像素点a和像素点b，像素点a为图像中地物边界(或物体边界)上的像素点，而像素点b为与该地物边界(或物体边界)相邻的像素点；若图像a中像素点a的像素值与像素点b的像素值之间的差值为10，而该图像b中像素点a的像素值与像素点b的像素值之间的差值为30，则可以认为该图像b的清晰度高于该训练图像a的清晰度，因此，可以将该图像a作为该待处理图像集中的基础图像，将该图像b作为该待处理图像集中的临近图像。
[0051]
进一步，在本实施例的一个实现方式中，在根据清晰度在待处理图像集中选取基础图像时，待处理图像集中存在多张清晰度相同的图像(记为图像c)，并且每张图像c的清晰度均不小于待处理图像集中的任一张图像的清晰度，那么所述多张图像c均可以作为基础图像。此时，可以在获取到多张图像c中随机选取一张图像c作为作为基础图像，也可以按照拍摄顺序，在多张图像c中选取位于第一位的图像c作为基础图像，还可以按照拍摄顺序，在多张图像c中选取位于最后一位的图像c作为基础图像。
[0052]
s20、将所述基础图像划分为若干基础图像块,分别确定各基础图像在各临近图像中对应的临近图像块。
[0053]
具体地，所述基础图像块为所述基础图像的部分图像区域，并且所述若干基础图像块拼接后会形成所述基础图像。所述将基础图像划分为若干基础图像块指的是将所述基础图像作为一个区域，将所述区域划分为若干个子区域，每个子区域对应的图像区域为一个基础图像块，其中，将所述区域划分为若干个子区域可以为将所述区域等分为若干区域。例如，可以将8*8的基础图像分割成4个4*4的基础图像块。当然，在实际应用中，本实施例中的将基础图像划分为若干基础图像块的方法，可以根据具体的场景灵活选择，只要可以划分得到若干基础图像块的方法均可以。
[0054]
s30、确定各个基础图像块分别对应的权重参数集；其中，基础图像块对应的权重参数集包括第一权重参数和第二权重参数，第一权重参数为基础图像块的权重参数，第二权重参数为临近图像中与基础图像块对应的临近图像块的权重参数。
[0055]
具体地，所述权重参数集中第二权重参数的数量与待处理图像中临近图像的数量相同，并且权重参数集中第二权重参数与待处理图像中临近图像一一对应。每张临近图像中均至少包括一个与基础图像块对应的临近图像块，并且每个临近图像块对应基础图像块均分别存在一个第二权重参数。由此，权重参数集包括一个第一权重参数以及至少一个第二权重参数，并且每个第二权重参数对应一个临近图像中与基础图像块对应的临近图像块。所述第一权重参数可以为预先设置，用于表示基础图像块与其本身的相似程度。
[0056]
此外，由于第二权重参数为临近图像中与基础图像块对应的临近图像块的权重参
数，从而在获取第二权重参数的过程中，需要确定临近图像中与基础图像块对应的临近图像块。从而，在本实施例的一个实现方式中，所述确定各个基础图像块分别对应的权重参数集具体包括：
[0057]
针对每个基础图像块，确定该基础图像块对应的各临近图像块的第二权重参数，以及，获取该基础图像块对应的第一权重参数，以得到该基础图像块对应的权重参数集
[0058]
具体地，所述临近图像块为基础图像在临近图像中对应的图像块，所述临近图像块的图像块大小与所述临近图像块所对应的基础图像块的大小相同，并且所述临近图像块携带图像内容与所述基础图像块携带的图像内容相同。所述确定该基础图像块分别在每张临近图像中对应的临近图像块指的是在临近图像块的指定区域内选取与基础图像块相似度最高的图像块，其中，所述指定区域为根据基础图像块在基础图像中所处区域确定的。
[0059]
相应的，如图2所示，所述确定该基础图像块分别在每张临近图像中对应的临近图像块的过程可以为：
[0060]
a10、确定该基础图像块在基础图像中的区域范围，并根据所述区域范围确定临近图像中的指定区域；
[0061]
a20、根据该基础图像块在指定区域内选取临近图像块，其中，所述临近图像块为指定区域内与基础图像块相似性最高的图像块，并且临近图像块的图像尺寸与基础图像块的图像尺寸相等。
[0062]
具体地，所述区域范围指的是基础图像块在基础图像中所处的区域边界像素点的像素坐标形成的坐标点集合，例如，所述基础图像块为基础图像中的正方形区域，并且基础图像块的四个顶点的坐标点分别为(10,10)、(10,20)、(20,10)以及(20,20)，那么所述基础图像块对应的区域范围可以为{(10,10)、(10,20)、(20,10)以及(20,20)}。
[0063]
所述指定区域为临近图像中的图像区域，基础图像块对应的区域范围可以与指定区域对应的区域范围相对应，即当临近图像与基础图像建立映射时，指定区域对应的区域范围与基础图像块对应的区域范围相对应。例如，在基础图像中，基础图像块对应的区域范围可以为{(10,10)、(10,20)、(20,10)以及(20,20)}，在临近图像中，指定区域对应的区域范围可以为{(10,10)、(10,20)、(20,10)以及(20,20)}，那么基础图像块对应的区域范围可以与指定区域对应的区域范围相对应。此外，基础图像块对应的区域范围也可以与指定区域的子区域对应的区域范围相对应，即当临近图像与基础图像建立映射时，指定区域对应的区域范围中存在一个子区域，该子区域的区域范围与基础图像块对应的区域范围相对应。例如，基础图像块在基础图像中所占的图像区域对应的区域范围可以为{(10,10)、(10,20)、(20,10)以及(20,20)}，如图3所示，指定区域在临近图像中所占的图像区域12对应的区域范围可以为{(9,9)、(9,21)、(21,9)以及(21,21)}，那么指定区域包含子区域11，该子区域11的区域范围为{(10,10)、(10,20)、(20,10)以及(20,20)}，该子区域11对应的区域范围与基础图像块对应的区域范围相对应。
[0064]
进一步，在本实施例的一个实现方式中，所述基础图像块对应的区域范围也可以与指定区域的子区域对应的区域范围相对应，并且所述指定区域为通过将区域范围对应的坐标点集合中各坐标点沿横纵或纵轴向远离区域范围的方向平移预设数值得到，其中，区域范围为基础图像块对应的区域范围。例如，基础图像块对应的区域范围可以为{(10,10)、(10,20)、(20,10)以及(20,20)}，预设数值为5，那么指定区域的区域范围为{(5,5)、(5,
25)、(25,5)以及(25,25)}。此外，不同的临近图像对应的预设数值可以不同，并且各临近图像对应的预设数值可以根据该临近图像相对于基础图像的位移确定。其中，所述预设数值的确定过程可以为：针对于每一张临近图像，分别计算基础图像和该临近图像在行列方向上的投影，根据该临近图像对应的投影以及基础图像对应的投影，确定该临近图像相对于基础图像在行列上的位移，并根据该位移作为该临近图像对应的预设数值，其中，该位移可以采用sad算法计算得到。
[0065]
进一步，在获取到基础图像块对应的各临近图像块后，计算基础图像块对应的临近图像块的第二权重参数，所述第二权重参数为根据基础图像块与临近图像块的相似度计算得到。相应的，在本实施例的一个实现方式中，如图4所示，所述计算该基础图像块对应的各临近图像块的第二权重参数具体包括：
[0066]
b10、针对每个临近图像块，计算该基础图像块与该临近图像块的相似度值；
[0067]
b20、根据所述相似度值计算该临近图像块的第二权重参数。
[0068]
具体地，所述相似度指的是所述基础图像块与临近图像块的相似度，临近图像块是根据基础图像块在临近图像中确定，并且临近图像块的图像大小与基础图像块的大小相同，从而基础图像块中包含的各像素点与临近图像块包含的各像素点为一一对应的，对于基础图像块中的每个像素点，在临近图像块中均可以找到一个与该像素点对应的像素点。由此，所述相似度可以根据基础图像块包含的各像素点的像素值与临近图像块包含的各像素点的像素值计算得到的。
[0069]
其中，根据基础图像块包含的各像素点的像素值与临近图像块包含的各像素点的像素值计算相似度的具体过程可以为：读取基础图像块包含的各像素点分别对应的第一像素值，以及临近图像块包含的各像素点分别对应的第二像素值；针对于每一个第一像素值，计算该第一像素值与其对应的第二像素值的差值；再根据计算得到的所有差值来计算基础图像块和临近图像块的相似度值，其中，相似度值可以为计算得到的各差值的绝对值的均值，，例如，计算得到第一像素值a和第二像素值a的差值，以及，第一像素值b和第二像素值b的差值，那么，可以根据第一像素值a和第二像素值a的差值，以及，第一像素值b和第二像素值b的差值确定基础图像块和临近图像块的相似度，具体地，该相似度值可以为第一像素值a和第二像素值a的差值的绝对值，与第一像素值b和第二像素值b的差值的绝对值之间的均值；因此，所述相似度值越大，说明基础图像块与临近图像块的相似性越低，反之，所述相似度值越小，说明基础图像块与临近图像块的相似性越高。
[0070]
同时在本实施例中，对于基础图像的每个基础图像块和其对应的临近图像块和其对应的临近图像块和的相似度d
i
的计算公式可以为：
[0071][0072]
其中，j为像素索引，j＝1,2，...，m，m为基础图像块包含的像素点的数量(临近图像块与基础图像块包括的像素点数量相同)，为基础图像块中第j个像素点的像素值；为临近图像块中与基础图像块中第j个像素点对应的像素点的像素值，i表示第i个基础图像块，i＝1,2，...，n，n为基础图像块的数量。
[0073]
进一步，根据所述相似度值的计算公式可以知道，所述相似度值与待处理图像中图像的图像噪声强度，以及基础图像块的图像内容与临近图像块的图像内容的差异相关，具体地，当图像噪声强度高或者础图像块的图像内容与临近图像块的图像内容的差异大时，相似度值大；反之，当图像噪声强度低且础图像块的图像内容与临近图像块的图像内容的差异小时，相似度值小。那么，采用相似度值大的临近图像块进行后续合成操作，会使得合成效果差，从而在获取到基础图像块与各临近图像块的相似度值，可以根据各临近图像块对应的相似度值为各临近图像块配置第二权重参数，所述第二权重参数与相似度值负相关，即相似度值越大，第二权重参数越小；反之，相似度值越小，第二权重参数越大。这样通过为相似度低的临近图像分配较低的权重值，防止融合后出现拖影等失真问题。
[0074]
示例性地，在本实施例的一个实现方式中，所述根据所述相似度值计算该临近图像块的第二权重参数具体包括：
[0075]
c10、当所述相似度值小于或等于第一阈值时，将第一预设参数作为该临近图像块的第二权重参数；
[0076]
c20、当所述相似度值大于第一阈值，且小于或等于第二阈值时，根据所述相似度值、所述第一阈值及所述第二阈值计算该临近图像块的第二权重参数；
[0077]
c30、当所述相似度值大于第二阈值时，将预设第二预设参数作为该临近图像块的第二权重参数。
[0078]
需要说明的是，本实施例中，b20可以仅包括c10、c20和c30中的任意一个步骤、任意两个步骤或者全部步骤，即在本实施例中，b20可以包括c10和/或c20和/或c30。
[0079]
具体地，所述第一阈值和第二阈值均是用于衡量基础图像块与临近图像块的相似度，所述第二阈值大于第一阈值，那么，当相似度值小于第一阈值时，根据相似度值与相似度的关系可以得知，基础图像块与临近图像块的相似度性高，从而临近图像块对应的第二权重参数值大，当相似度值大于第二阈值时，根据相似度值与相似度的关系可以得知，基础图像块与临近图像块的相似度性低，从而临近图像块对应的第二权重参数值小。由此可知，第一预设参数大于第二预设参数，并且根据所述相似度值、所述第一阈值及所述第二阈值计算该临近图像块的计算得到第三参数位于第一预设参数和第二预设参数之间。
[0080]
进一步，在实施例的一个实现方式中，所述第三参数的计算过程可以为：首先计算相似度值与第二阈值的第一差值，再计算第一阈值与第二阈值的第二差值，然后再计算第一差值和第二差值的比值，并将所述比值作为临近图像块的第二权重参数。此外，由第三参数的计算过程可以得到，第三参数的取值范围为0-1，而第一预设参数大于第三参数，第二预设参数小于第三参数，从而可以将第一预设参数设置为1，第二预设参数设置为0。从而，所述第二权重参数与相似度值的对应关系的表达至可以为：
[0081][0082]
其中，w
i
为第二权重参数，t1为第一阈值，t2为第二阈值，d
i
为相似度值i表示第i个基础图像块，i＝1,2，...，n，n为基础图像块的数量。
[0083]
当然，值得说明的，相似度与权重系数呈正相关，即基础图像与临近图像的相似度
越高，临近图像块对应的权重系数越大，反之，基础图像与临近图像的相似度越低，临近图像块对应的权重系数越低。而对于基础图像块而言，基础图像块确定相似度的比较对象为基础图像块本身，那么基础图像块与其自身的相似度大于或者等于临近图像块与基础图像块的相似度，相应的，第一权重参数大于或者等于第二权重系数。同时，由于第二权重参数的计算公式可以看出，第二权重系数最大为1，那么在本实施例的一个实现方式中，所述基础图像块对应的第一权重系数可以等于第二权重参数的最大值，即第一权重参数为1。
[0084]
进一步，所述第一阈值和第二阈值可以是预先设置，也可以是根据该基础图像块对应临近图像块的相似度值确定的。在本实施中，所述第一阈值和第二阈值是根据该基础图像块对应各临近图像块的相似度值确定的。所述第一阈值和第二阈值的确定过程可以为：分别获取各临近图像块的相似度值，分别计算各相似度值的均值以及标准差，再根据均值以及标准差计算第一阈值和第二阈值，这样通过个临近图像块的相似度值确定第一阈值和第二阈值，可以使得第一阈值和第二阈值根据各临近图像的相似度值来自适应调整，从而可以使得第一阈值和第二阈值根据各临近图像的噪声强度来自适应调整，避免了因第一阈值和第二阈值过大而造成图像去噪效果差，以及因第一阈值和第二阈值过小而造成的图像模糊，从而在保证图像去噪效果基础上，提高了图像的清晰度。
[0085]
进一步，在本实施例的一个实现方式中，所述第一阈值t1和第二阈值t2的计算公式分别为：
[0086]
t1＝μ+s
min
×
σ
[0087]
t2＝μ+s
max
×
σ
[0088][0089][0090]
其中，s
min
和s
max
为常数，d
max
为常数，l表示d
i
<d
max
的临近图像块的数量，i＝1,2，...，l。
[0091]
此外，在待处理图像中图像的图像噪声强度以及临近图像块的选取的准确性对相似度值的影响中，临近图像块的选取的准确性可以引起相似度值的大幅度变化，从而当临近图像块与基础图像块的相似度值大于预设值d
max
时，默认为基础图像块的图像内容与临近图像块的图像内容差异过大，将该临近图像块作为无效临近图像块(即，丢弃该无效临近图像块，不将该无效临近图像块作为基础图像块的临近图像块)。从而，对于d
i
≥d
max
的临近图像块，则可以认为基础图像块的图像内容与临近图像块的图像内容差异过大，从而无需确定该临近图像块对应的第一阈值和第二阈值，提高了基础图像块对应的权重参数集的计算速度。同时，与基础图像块的图像内容差异大的临近图像块，可以避免图像内容差大的临近图像块在图像融合时产生拖影，而造成输出图像失真的问题。
[0092]
s40、根据所述待处理图像集以及各个基础图像块分别对应的权重参数集，确定输出图像。
[0093]
具体地，所述输出图像是由若干输出图像块拼接而成的，输出图像块是根据基础图像块、基础图像块对应的临近图像块以及基础图像块对应的权重参数集计算得到，例如，
对于基础图像块中每一像素点，获取该像素点的第一像素值，以及各临近图像块中与该像素点对应的像素点的第二像素值，然后将各临近图像块对应的第二权重参数以及基础图像对应的第一权重参数作为加权系数，将第一像素值和各第二像素值进行加权处理，以得到输出图像块中的每个像素点的像素值。由此，在根据待处理图像集和各基础图像块对应的权重参数集确定输出图像时，可以针对于每一个基础图像块，将该基础图像块与其对应的各临近图像块进行加权以得到该基础图像块对应的输出图像块，其中，在基础图像块与各临近图像块加权过程中，基础图像块的加权系数为权重参数集中的第一权重系统，各临近图像块的加权系数为权重参数集中各临近图像块分别对应的第二权重参数。此外，在计算得到各输出图像块后，根据计算得到的各输出图像块生成所述输出图像，其中，根据输出图像块生成输出图像可以是采用各输出图像块替换基础图像中与其对应的基础图像块的方式，或者，可以是将各输出图像块进行拼接得到输出图像的。
[0094]
举例说明：假设待处理图像集包括一张基础图像和4张临近图像，那么对于每个基础图像块，该基础图像块对应四个临近图像块，分别记为第一临近图像块、第二临近图像块、第三临近图像块和第四临近图像块，并且按照拍摄顺序的排序为：基础图像块、第一临近图像块、第二临近图像块、第三临近图像块和第四临近图像块；那么在确定基础图像块对应的输出图像块时，对于基础图像块中的每个像素点，将该像素点的像素值为a、第一临近图像块中与该像素点对应的像素点的像素值为b、第二临近图像块中与该像素点对应的像素点的像素值为c、第三临近图像块中与该像素点对应的像素点的像素值为d，第四临近图像块中与该像素点对应的像素点的像素值为e，并且基础图像块对应的第一权重参数为a，第一临近图像块对应的第二权重参数为b，第二临近图像块对应的第二权重参数为c，第三临近图像块对应的第二权重参数为d，第四临近图像块对应的第二权重参数为e，那么该像素点对应的输出像素点的像素值＝(a*a+b*b+c*c+d*d+e*e)/5。
[0095]
本实施例通过待处理图像集中的基础图像划分为若干基础图像块，之后根据每一张临近图像确定各基础图像块对应的权重参数集，再根据待处理图像集以及各个基础图像块对应的权重参数集确定输出图像。可见，本发明实施例中，通过将基础图像划分为若干基础图像块，再确定各基础图像块对应的权重参数集，所述权重参数集包括基础图像块对应的第一权重参数和临近图像中与基础图像块对应的临近图像块的权重参数，再根据各基础图像块对应的权重系数将基础图像与至少一张临近图像进行处理，得到输出图像，这样可以通过基础图像块与临近图像块的进行图像补偿，减少输出图像携带的图像噪声，从而提高输出图像的图像质量。
[0096]
进一步，由于输出图像是由各输出图像块拼接而成的，而在各输出图像块之间可能会出现重叠或者输出图像块与输出图像块之间的边界模糊的问题，从而在得到输出图像后，还可以对输出图像进行后处理。所述后处理可以包括空域降噪，相应的，所述根据所述待处理图像集以及各个基础图像块分别对应的权重参数集，确定输出图像之后还包括：
[0097]
对所述输出图像进行空域降噪，并将空域降噪后得到的图像作为输出图像。
[0098]
具体地，所述空域降噪指的是对于输出图像中的每个像素点，基于围绕该像素点的区域内的多个近邻像素点，对该像素点应用滤波技术。其中，所述滤波技术可以为双边滤波技术，在双边方法中，图像中每个像素处的像素值由来自基于围绕该像素点的区域内的多个近邻像素点的加权平均值代替。所述基于围绕该像素点的区域内的多个近邻像素点指
的是围绕该像素点的区域内包含的部分像素点，或者全部像素点。在本实施例的中，所述多个近邻像素点为围绕该像素点的区域内的全部像素点，例如，该像素点对应的多个近邻像素点为围绕该像素点的3*3网格区域中除该像素点外的所有像素点。
[0099]
进一步，虽然通过基础图像和至少一张临近图像合成生成的输出图像，可以去除图像携带噪声，但是输出图像中还可能会存在噪声，特别是对于室外夜景或者室内灯光较暗的情况下拍摄的图像。从而，在本实施例的一个实现方式中，为了进一步降低图像的噪声强度，所述后处理还可以包括锐化以及降噪处理。相应的，所述根据所述待处理图像集以及各个基础图像块分别对应的权重参数集，确定输出图像之后还包括：
[0100]
对所述输出图像分别进行锐化以及降噪处理，并将锐化以及降噪处理后的图像作为输出图像。
[0101]
具体地，所述锐化处理指的是补偿处理后的图像的轮廓、增强处理后的图像的边缘及灰度跳变的部分，以提高处理后图像的图像质量。其中，所述锐化处理可以采用现有的锐化处理方法，例如，高通滤波方法等。所述降噪处理指的是去除图像中的噪声，提高图像的信噪比。其中，所述降噪处理可以采用现有的降噪算法或已训练的降噪网络模型等，例如，所述降噪处理采用高斯低通滤波方法等。当然，在实际应用中，在所述后处理包括空域降噪时，所述锐化以及降噪处理可在所述空域降噪之后，也可以在所述空域降噪之前。在本实施例的一个可能实现方式中，所述锐化以及降噪处理可在所述空域降噪之后。
[0102]
进一步，由于通过基础图像和至少一种临近图像合成生成的输出图像，可以去除图像携带噪声，但是输出图像中还可能会存在重影，其中，所述重影指的是图像中的物体周围形成了虚像，例如，可以包括图像中物体的边缘出现一重或多重轮廓或虚像的情况，举例来说，当图像中的物体出现了双重影像(即出现物体边缘出现一重轮廓或虚像)时，其中，像素值较小的一列影像可以理解为物体的实像，像素值较大的另一列影像可以理解为物体的轮廓或虚像。。从而，在本实施例的一个实现方式中，所述后处理还可以包括去重影操作，相应的，如图5所示，所述根据所述待处理图像集以及各个基础图像块分别对应的权重参数集，确定输出图像之后还包括：
[0103]
n10、将所述输出图像输入至以已训练的图像处理模型，其中，所述图像处理模块基于预设训练图像集训练得到的，所述训练图像集包括多组训练图像组，每一组训练图像组包括第一图像和第二图像，第一图像为第二图像对应的具有重影的图像。
[0104]
具体地，所述输出图像可以为通过基础图像和至少一种临近图像合成生成的输出图像，也可以是经过空域降噪的输出图像，还可以是经过锐化以及降噪处理的输出图像。在本实施例中，所述输出图像为通过基础图像和至少一种临近图像合成生成，并经过空域降噪后得到是输出图像。例如，所述输出图像为人物图像，该人物图像根据屏下成像系统连续拍摄的五张图像合成得到且经常空域降噪，其中，所述连续拍摄可以是通过成像系统的连拍功能对同一场景的连拍，也可以是对于同一场景，通过每间隔预设时间点击一次拍摄按键而形成的连续拍摄，所述预设实际时间可以为0.5秒等。在本实施例中，所述连续拍摄为通过成像系统的连拍功能实现的。
[0105]
此外，所述图像处理模型可是处理所述待处理图像的图像设备(例如，配置屏下摄像头的手机)预先训练的，也可以是由其他训练后将图像处理模型对应的文件移植到图像设备中。此外，图像设备可以将所述图像处理模型可作为一个去重影功能模块，当图像设备
获取到输出图像时，启动所述去重影功能模块，将待处理图像输出至图像处理模型。
[0106]
进一步，在本实施例的一个实现方式中，如图6所示，所述图像处理模型的训练过程可以包括：
[0107]
l10、预设网络模型根据所述训练图像集中第一图像，生成所述第一图像对应的生成图像。
[0108]
具体地，所述预设网络模型为深度学习网络模型，所述训练图像集包括多组具有不同图像内容的训练图像组，每一组训练图像组均包括第一图像和第二图像，第一图像与第二图像相对应，它们呈现的是同一图像场景，第二图像为正常显示的图像(即原始图像)，第一图像的图像内容与第二图像对应但图像内容中的物体出现重影或者与重影类似的模糊效果。其中，所述重影指的是图像中的物体周围形成了虚像，例如，可以包括图像中物体的边缘出现一重或多重轮廓或虚像的情况，举例来说，当图像中的物体出现了双重影像(即出现物体边缘出现一重轮廓或虚像)时，其中，像素值较小的一列影像可以理解为物体的实像，像素值较大的另一列影像可以理解为物体的轮廓或虚像。
[0109]
进一步，所述第一图像和第二图像对应相同的图像场景。所述第一图像和第二图像对应相同的图像场景指的是第一图像携带的图像内容与第二图像携带的图像内容的相似度达到预设阈值，所述第一图像的图像尺寸与第二图像的图像尺寸相同，以使得当第一图像和第二图像重合时，第一图像携带的物体对第二图像中与其对应的物体的覆盖率达到预设条件。其中，所述预设阈值可以为99％，所述预设条件可以为99.5％等。
[0110]
此外，在本实施例的一个实现方式中，为了减少第一图像和第二图像的图像差异对预设网络模型训练的影响，所述第一图像的图像内容和第二图像的图像内容可以完全相同。例如，所述第一图像为图像尺寸为600*800的具有重影的图像，第一图像的图像内容为一个正方形，并且第一图像中正方形的四个顶点在第一图像中的位置分别为(200，300)、(200,400)，(300,400)以及(300,300)。那么，所述第二图像的图像尺寸为600*800的图像，第二图像的图像内容为一个正方形，第二图像中正方形的四个顶点在第二图像中的位置分别为(200，300)、(200,400)，(300,400)以及(300,300)，当第一图像放置于第二图像上并与第二图像重合时，所述第一图像覆盖所述第二图像，并且第一图像中的正方形与第二图像的正方形上下重叠。
[0111]
进一步，所述第二图像可以是通过正常拍摄得到的图像，例如将屏下成像系统中的显示面板移除后由屏下摄像头拍摄的图像，或者通过制作不带数据线和扫描线等遮光结构的实验性质的显示面板替代实际的显示面板，然后利用其作为屏下成像系统的显示面板而由屏下摄像头拍摄的图像，也可以是通过网络(如，百度)获取的图像，还可以是通过其他外部设备(如，智能手机)发送的图像。所述第一图像可以为通过屏下成像系统(例如，屏下摄像头)拍摄得到，也可以是通过对第二图像进行处理得到。所述对第二图像进行处理指的是在第二图像上形成重影，在一种可能的实现方式中，在处理的过程中可以同时保持第二图像的图像尺寸以及图像内容不变。
[0112]
在本实施例的一个实现方式中，所述第一图像为通过屏下成像系统拍摄得到，所述第一图像和第二图像的拍摄参数相同，并且所述第一图像对应的拍摄场景与第二图像的拍摄场景相同。例如，所述第一图像为如图7所示的通过屏下摄像头拍摄一场景得到的图像，其因显示面板内遮光结构的影响导致图像内容较为模糊，第二图像为如图8所示的正常
显示的图像。同时在实施例的一个可能实现方式中，所述拍摄参数可以包括成像系统的曝光参数，其中，所述曝光参数可以包括光圈、开门速度、感光度、对焦以及白平衡等。当然，在实际应用中，所述拍摄参数还可以包括环境光、拍摄角度以及拍摄范围等。
[0113]
进一步，当所述第一图像为通过屏下成像系统拍摄得到的图像时，由于第一图像和第二图像是通过两个不同的成像系统拍摄得到，而在更换成像系统时，可能会造成屏上成像系统和屏下成像系统的拍摄角度和/或拍摄位置的变化，使得第一图像和第二图像在空间上存在不对齐的问题。由此，在本实施例的一个可能实现方式中，在通过屏上成像系统拍摄第二图像以及通过屏下成像系统拍摄第一图像时，可以将屏上成像系统和屏下成像系统设置于同一固定架上，将屏上成像系统和屏下成像系统并排布置在固定架上，并保持屏上成像系统和屏下成像系统相接触。同时，将屏上成像系统和屏下成像系统分别与无线设置(如，蓝牙手表等)相连接，通过无线设置触发屏上成像系统和屏下成像系统的快门，这样可以减少拍摄过程中屏上成像系统和屏下成像系统的位置变化，提高第一图像和第二图像在空间上的对齐性。当然，屏上成像系统和屏下成像系统的拍摄时间和拍摄范围均相同。
[0114]
此外，虽然在第一图像和第二图像的拍摄过程中，可以通过固定屏下成像系统和屏上成像系统的拍摄位置、拍摄角度、拍摄时间以及曝光系数等。但是，由于环境参数(如，光线强度、风吹动成像系统等)，屏下成像系统拍摄得到的第一图像和屏上成像系统拍摄得到的第二图像在空间上还可能存在不对齐的问题。由此，在将训练图像集中第一图像输入预设网络模型之前，可以训练图像集中的各训练图像组中的第一图像和第二图像进行对齐处理。从而，在本实施例的一个实现方式中，所述预设网络模型根据所述训练图像集中第一图像，生成所述第一图像对应的生成图像之前还包括：
[0115]
m10、针对所述训练图像集中每组训练图像组，将该组训练图像组中的第一图像与所述第一图像对应的第二图像进行对齐处理，得到与所述第二图像对齐的对齐图像，并将所述对齐图像作为第一图像。
[0116]
具体地，所述针对所述训练图像集中每组训练图像组指的是对训练图像集中每一组训练图像组均执行对齐处理，所述对齐处理可以是在获取到训练图像集之后，分别对每一组训练图像组进行对齐处理，以得到对齐后的训练图像组，并在所有组训练图像组对齐后执行将每一组训练图像组中的第一图像输入预设网络模型的步骤；当然也可以是在将每一组训练图像组中的第一图像输入预设网络模型之前，对该组训练图像组进行对齐处理，以得到该组训练图像对应的对齐后的训练图像组，之后将对齐后的训练图像组中的第一图像输入预设网络模型。在本实施例中，所述对齐处理是在获取到训练图像集后，分别对每一组训练图像组进行，并在所有训练图像组完成对齐处理后，在执行将训练图像集中第一图像输入预设网络模型的操作。
[0117]
进一步，所述将该组训练图像组中的第一图像与所述第一图像对应的第二图像进行对齐处理指的是将以第二图像为基准，将第一图像中像素点与第二图像中与其对应的像素点对齐，以使得第一图像中像素点与第二图像中像素点的对齐率可以达到预设值，例如，99％等。其中，所述第一图像中像素点与第二图像中与其对应的像素点对齐指的是：对于第一图像中的第一像素点和第二图像中与第一像素点相对应的第二像素点，若第一像素点对应的像素坐标与第二像素点对应的像素坐标相同，那么第一像素点与第二像素点对齐；若第一像素点对应的像素坐标与第二像素点对应的像素坐标不相同那么第一像素点与第二
像素点对齐。所述对齐图像指的通过对第一图像进行对齐处理得到图像，并且对齐图像中每个像素点与第二图像中其对应的像素点的像素坐标相同。此外，在得到对齐图像后，采用所述对齐图像替换其对应的第一图像以更新训练图像组，以使得更新后的训练图像组中的第一图像和第二图像在空间上对齐。
[0118]
进一步，由于不同组训练图像组中的第一图像和第二图像的对齐程度不同，从而可以在实现对齐的基础上，针对不同对齐程度的第一图像和第二图像可以采用不同的对齐方式，以使得各组训练图像组均可以采用复杂度低的对齐方式进行对齐处理。由此，在本实施例的一个实现方式中，如图9所示，所述将该组训练图像组中的第一图像与所述第一图像对应的第二图像进行对齐处理具体包括：
[0119]
m11、获取该组训练图像组中的第一图像与所述第一图像对应的第二图像之间的像素偏差量；
[0120]
m12、根据所述像素偏差量确定所述第一图像对应的对齐方式，并采用所述对齐方式将所述第一图像与所述第二图像进行对齐处理。
[0121]
具体地，所述像素偏差量指的是第一图像中第一像素点与第二图像中与该第一像素点对应的第二像素点不对齐的第一像素点的数量。所述像素偏差量可以通过获取第一图像中各第一像素点的第一坐标，以及第二图像中各第二像素点的第二坐标，然后将第一像素点的第一坐标与其对应的第二像素点的第二坐标进行比较，若第一坐标与第二坐标相同，则判定第一像素点与其对应的第二像素点对齐；若第一坐标与第二坐标不相同，则判定第一像素点与其对应的第二像素点不对齐，最后获取所有不对齐的第一像素点的数量，以得到所述像素偏差量。例如，当所述第一图像中的第一像素点的第一坐标为(100,100)，第二图像中与所述第一像素点对应的第二像素点的第二坐标为(101,100)时，所述第一像素点与第二像素点不对齐，不对齐第一像素点的数量加一；当所述第一图像中的第一像素点的第一坐标为(100,100)，第二图像中与所述第一像素点对应的第二像素点的第二坐标为(100,100)是，所述第一像素点与第二像素点对齐，不对齐第一像素点的不变。
[0122]
进一步，为了确定像素偏差量与对齐方式的对应关系，可以需要设置偏差量阈值，在获取到第一图像的像素偏差量时，可以通过将获取到的像素偏差量与预设偏差量阈值进行比较，以确定像素偏差量对应的对齐方式。由此，在本实施例的一个实现方式中，所述根据所述像素偏差量确定所述述第一图像对应的对齐方式，并采用所述对齐方式将所述第一图像与所述第二图像进行对齐处理具体包括：
[0123]
m121、当所述像素偏差量小于或等于预设偏差量阈值时，根据所述第一图像与所述第二图像的互信息，以所述第二图像为基准对所述第一图像进行对齐处理；
[0124]
m122、当所述像素偏差量大于所述预设偏差量阈值时，提取所述第一图像的第一像素点集和所述第二图像的第二像素点集，所述第一像素点集包含所述第一图像中的若干第一像素点，所述第二像素点集包括所述第二图像中的若干第二像素点，所述第二像素点集中的第二像素点与所述第一像素点集中的第一像素点一一对应；针对所述第一像素点集中每个第一像素点，计算该第一像素点与其对应的第二像素点的坐标差值，并根据该第一像素点对应的坐标差值对该第一像素点进行位置调整，以将该第一像素点与该第一像素点对应的第二像素点对齐。
[0125]
具体地，所述预设偏差量阈值为预先设置，例如，预设偏差量阈值为20。所述当所
述像素偏差量小于或等于预设偏差量阈值时指的是当将所述像素偏差量与所述预设偏差量阈值时，所述像素偏差量小于等于预设偏差量阈值。而当所述像素偏差量小于等于预设偏差量阈值时，说明第一图像和第二图像在空间上的偏差较小，此时可以采用根据所述第一图像与所述第二图像的互信息对第一图像和第二图像进行对齐。在本实施例中，以所述第一图像和其对应的第二图像之间互信息对第一图像和第二图像进行对齐的过程可以采用图像配准方法，所述图像配准方法中以互信息作为度量准则，通过优化器对度量准则迭代进行优化以得到对齐参数，通过所述配准所述对齐参数的配准器将第一图像与第二图像进行对齐，这保证第一图像与第二图像的对齐效果的基础，降低了第一图像与第二图像对齐的复杂性，从而提高了对齐效率。在本实施例中，所述优化器主要采用平移和旋转变换，以通过所述平移和旋转变换来优化度量准则。
[0126]
进一步，所述像素偏差量大于所述预设偏差量阈值，说明第一图像和第二图像在空间上不对齐程度较高，此时需要着重考虑对齐效果。从而此时可以采用通过选取第一图像中的第一像素点集和第二图像中第二像素点集的方式对第一图像和第二图像进行对齐。所述第一像素点集的第一像素点与第二像素点集中第二像素点一一对应，以使得对于第一像素点集中的任一第一像素点，在第二像素点集中均可以找到一个第二像素点，所述第二像素点在第二图像中的位置与第一像素点在第一图像中的位置相对应。此外，所述第一像素点集和第二像素点集可以是在获取到第一像素点集/第二像素点集后，根据第一像素点与第二像素点的对应关系确定第二像素点集/第一像素点集，例如，所述第一像素点集通过在第一图像中随机选取多个第一像素点的方式生成，第二像素点则是根据第一像素点集包含的各第一像素点确定的。
[0127]
同时在本实施例中，所述第一像素点集和第二像素点集均是通过尺度不变特征变换(scale-invariant feature transform，sift)的方式获取得到，即所述第一像素点集中第一像素点为第一图像中第一sift特征点，所述第二像素点集中第二像素点为第二图像的第二sift特征点。相应的，所述计算该第一像素点与其对应的第二像素点的坐标差值为将第一像素点中第一sift特征点与第二像素点集中第二sift特征点进行点对点匹配，以得到各第一sift特征点与其对应的各第二sift特征点的坐标差值，并根据该第一sift特征点对应的坐标差值对该第一sift特征点进行位置变换，以将该第一像素点与该第一sift特征点对应的第二sift特征点对齐，从而使得第一图像中第一sift特征点与第二图像中第二sift特征点位置相同，从而实现了第一图像与第二图像的对齐。
[0128]
进一步，在本实施的一个实现方式中，所述第一图像为通过对第二图像进行预处理得到的具有重影的图像，并且第一图像和第二图像的图像尺寸和图像内容均相同，这样可以提高第一图像对应的场景和成像参数与第二图像对应的场景和成像参数的相似程度，而通过场景相似程度高的训练图像组对预设网络模型进行训练，可以提高预设网络模型的训练速度以及训练得到的图像处理模型的处理效果。
[0129]
进一步，所述对所述第二图像进行预处理的具体过程可以为：首先根据遮光结构生成灰度图，其次根据所述灰度图生成点扩散函数，最后根据点扩散函数和第二图像生成第一图像。也就是说，所述第一图像为根据第二图像和点扩散函数生成的，所述点扩散函数为根据按照遮光结构生成的灰度图生成的。所述点扩散函数psf(point spread function)用于描述成像系统对点光源或点对象的响应，所述点扩散函数为成像系统光传递函数的空
间域形成的。
[0130]
进一步，所述遮光结构可以包括终端设备的显示面板的信号线路、电容线以及电源线等。所述信号线路可以包括若干数据线(如，s1，s2，...，sn，其中，n为正整数)和若干扫描线(如，g1，g2，...，gm，其中，m为正整数)，所述若干数据线与若干扫描线横纵交错布置而形成多个网格。所述信号线路形成的多个网格与显示面板配置的多个像素点相对应，当光线通过显示面板时，光线可以透射每个像素点，而无法透射遮光结构，而使得照射在遮光结构上的光线产生衍射。那么当成像系统设置于显示面板下方时，位于成像系统上方的显示面板内的若干遮光结构及像素点会出现在拍摄区域内，而在成像系统拍摄时，位于成像系统上方的遮光结构会造成拍摄图像产生重影等模糊不清的问题。由此，在对第二图像进行处理时，根据遮光结构来生成的灰度图对应的点扩散函数对第二图像进行处理，来生成第二图像对应的具有重影的第一图像，这样可以保证第一图像对应的图像内容和成像参数与第二图像对应的图像内容和成像参数的相同，从而提高图像处理模型的训练速度以及训练得到的图像处理模型的处理效果。需要强调的是，第一图像和第二图像的图像尺寸也可以存在一定的误差范围，即第一图像和第二图像的图像尺寸也可以有所区别。其中，两张图像的图像内容相同可以理解为仅指两张图像中各自所包含的物体(比如图像中的人、物、背景)相同，但并不表示各个物体分别在这两张图像中的画质是相同的，即图像内容相同可以说明两张图像中各自所包含的物体(比如图像中的人、物、背景)相同，但不能说明各个物体分别在这两张图像中的画质是相同的。
[0131]
例如，屏上成像系统为具有屏上摄像头的终端设备，假设屏下成像系统配置于所述遮光结构对应的显示面板下方，那么，可以根据所述遮光结构(例如包括所述信号线路)对应的灰度图。当然，在实际应用中，可以直接获取显示面板对应的全部遮光结构，也可以获取显示面板对应的遮光结构的部分区域，再通过所述部分区域模拟得到显示面板的全部遮光结构，只要可以获取到避光结构即可。
[0132]
进一步，在所述第一图像为通过对第二图像进行预处理得到的图像时，所述训练图像组的获取过程可以为：首先获取终端显示面板的信号线路，并在所述信号线路中选取信号线路区域，其次确定所述信号线路区域对应的灰度图，根据所述灰度图以及夫琅禾费衍射公式生成点扩散函数；再通过所述屏上成像系统拍摄第二图像，并将第二图像与点扩散函数做卷积以得到第二图像对应的第一图像；最后将第二图像与根据第二图像生成的第一图像进行关联，得到训练图像组。当然，在实际应用中，在通过屏上成像系统拍摄第二图像时，可以获取多张第二图像，之后再将每张第二图像依次与点扩散函数做卷积，依次得到每张第二图像对应的第一图像，从而得到多组训练图像组，这样可以在拍摄得到所有训练图像组需要的第二图像后，再通过计算得到每张第二图像对应的第一图像，以提高训练图像组的获取速度。
[0133]
此外，在本实施例的一个实现方式中，由于不同的显示面板对应的信号线路包含的网格尺寸可以不同，从而在生成灰度图时，可以获取多个显示面板的信号线路，并根据每个信号线路生成一张灰度图，对于获取第二图像可以在生成的多个灰度图中随机选取一张灰度图，并通过选取到的灰度图对应的点扩散函数对第二图像进行处理以得到该第二图像对应的第一图像，这样可以提高图像处理模型训练的去重影的效果。
[0134]
进一步，在本实施例的一个实现方式中，如图10和11所示，所述预设网络模型包括
编码器和解码器；所述预设网络模型根据训练图像集中第一图像，生成所述第一图像对应的生成图像具体包括：
[0135]
l11、将所述训练图像集中第一图像输入所述编码器，通过所述编码器得到所述第一图像的特征图像，其中，所述特征图像的图像尺寸小于所述第一图像的图像尺寸；
[0136]
l12、将所述特征图像输入所述解码器，通过所述解码器输出所述生成图像，其中，所述生成图像的图像尺寸等于第一图像的图像尺寸。
[0137]
具体地，所述预设网络模型采用解码-编码结构，所述解码-编码结构为卷积神经网络cnn结构，其中，所述编码器100用于将输入图像转换为图像空间尺寸小于输入图像并且通道数多于输入图像的特征图像，所述解码器200用于将特征图像转换为与输入图像的图像尺寸相同的生成图像。在本实施例中，所述编码器包括依次布置的第一冗余学习层101以及下采样层102，训练图像组中第一图像输入至第一冗余学习层101，通过第一冗余学习层101输出与第一图像的图像尺寸相同的第一特征图；第一特征图像作为下采样层102的输入项输入下采样层102，通过下采样层102对第一特征图像进行下采样以输出所述第一图像对应的第二特征图像(第二特征图像为通过编码器生成的第一图像的特征图像)，其中，第二特征图像的图像尺寸小于第一图像的图像尺寸。所述解码器200包括依次布置的上采样层201和第二冗余学习层202，所述编码器100输出的特征图像输入至上采样层201，通过上采样层201进行上采样后输出第三特征图像，第三特征图像输入至第二冗余学习层202，经过第二冗余学习层202后输出生成图像，其中，所述生成图像的图像尺寸与第一图像的图像尺寸相同。本实施通过采用编码器-解码器的结构，可以对预设网络模型进行多尺度的训练，从而可以提高训练得到的图像处理模型的去重影效果。
[0138]
进一步，如图11所示，所述第一冗余学习层101包括第一卷积层11以及以第一冗余学习模块12，所述下采样层102包括第一编码冗余学习模块110和第二编码冗余学习模块120，第一编码冗余学习模块110包括第一下采样卷积层13和第二冗余学习模块14，第二编码冗余学习模块120包括第二下采样卷积层15和第三冗余学习模块16。其中，所述第一卷积层11的输入项为第一图像，并对第一图像进行采样以得到第第一特征图像，并将所述第一特征图像输入至第一冗余学习模块12进行特征提取，经过第一冗余学习模块12的第一特征图像依次通过第一下采样卷积层、第二冗余学习模块14、第二下采样卷积层15和第三冗余学习模块16进行下采样，以得到第二特征图像。由此可知，所述第一卷积层11对第一图像进行采样，所述第一下采样卷积层13和第二下采样卷积层15均用于对输入其的特征图像进行下采样，所述第一冗余学习模块12、第二冗余学习模块14和第三冗余学习模块16用于提取图像特征。此外，在本实施例的一种可能的实现方式中，所述第一下采样卷积层13和第二下采样卷积层15可以均为采用步长为2的卷积层，所述第一冗余学习模块12、第二冗余学习模块14和第三冗余学习模块16均包括依次布置的三个冗余学习块，所述三个冗余学习块依次提取输入图像的图像特征。
[0139]
举例说明：假设第一图像为256*256的图像，第一图像通过输入层输入第一冗余学习层101，经过第一冗余学习层101后输出256*256的第一特征图像；第一特征图像输入第一编码冗余学习模块110的第一下采样卷积层13，经过第一下采样卷积层13输出图像大小为128*128的第四特征图像，第四特征图像经过第一编码冗余学习模块110的第一冗余学习模块14进行特征提取；经过第一冗余学习模块110的第四特征图像输入第二编码冗余学习模
块120的第二下采样卷积层15，经过第二下采样卷积层15输出图像大小为64*64的第二特征图像，第二特征图像经过第二编码冗余学习模块120的第二冗余学习模块16进行特征提取。
[0140]
进一步，如图11所示，所述上采样层201包括第一解码冗余学习模块210和第二解码冗余学习模块220，第一解码冗余学习模块210包括第四冗余学习模块21和第一上采样卷积层22，第二解码冗余学习模块220包括第五冗余学习模块23和第二上采样卷积层24，所述第二冗余学习层202包括第六冗余学习模块25和第二卷积层26。其中，所述第一上采样卷积层22的输入项为第一特征图像，输入第一特征图像依次通过第四冗余学习模块21、第一上采样卷积层22、第五冗余学习模块23和第二上采样卷积层24进行上采样以得到第三特征图像，并将所述第三特征图像输入至第六冗余学习模块25，通过第六冗余学习模块25进行特征提取后的第三特征图像输入至第二卷积层26，通过第二卷积层26得到生成图像。由此可知，所述第一上采样卷积层22和第二上采样卷积层24用于对输入其的特征图像进行上采样，所述第四冗余学习模块21、第五冗余学习模块23以及第六冗余学习模块25均用于提取图像特征，所述第二卷积层26用于对输入其内的特征图像进行采样。在本实施例的一个可能的实现方式中，所述第一上采样卷积层22和第二上采样卷积层24均为步长为2的反卷积层，所述第四冗余学习模块21、第五冗余学习模块23以及第六冗余学习模块25均包括三个冗余学习块，所述三个冗余学习块依次提取输入图像的图像特征。此外，所述第一冗余学习层101中冗余学习模块的第三个冗余学习块与所述第二冗余学习层202中冗余学习模块的第一个冗余学习块跳跃连接，所述第一编码冗余学习模块110中冗余学习模块的第三个冗余学习块与所述第二解码冗余学习模块220中冗余学习模块的第一个冗余学习块跳跃连接。
[0141]
举例说明：假设第一图像为256*256的图像经过上述编码器100得到64*64的第二特征图像，64*64的第二特征图像输入经过第一解码冗余学习模块210的第四冗余学习模块21进行特征提取，经过特征提取的64*64的第二特征图像输入第一解码冗余学习模块210的第一上采样层22，经过第一上采样层22输出的图像大小为128*128的第五特征图像，第五特征图像经过第二解码冗余学习模块220的第五冗余学习模块23进行特征提取；经过第五冗余学习模块23的第五特征图像输出第二解码冗余学习模块220的第二上采样卷积层24，经过第二上采样卷积层24输出图像大小为256*256的第三特征图像，第三特征图像输入第二冗余学习层202，经过第二冗余学习层202后输出256*256的生成图像。
[0142]
进一步，所述编码器和解码器包括的第一卷积层、第二卷积层、第一上采样卷积层、第二上采样卷积层、第一下采用卷积层和第二下采用卷积层均使用线性整流函数作为激活函数且卷积核均为5*5，这样可以提高各层的梯度传递效率，并且经过多次的反向传播，梯度幅度变化小，提高了训练的生成器的准确性，同时还可以增大网络的感受野。
[0143]
l20、所述预设网络模型根据所述第一图像对应的第二图像和所述第一图像对应的生成图像，对所述预设网络模型的模型参数进行修正，并继续执行根据训练图像集中的下一训练图像组中的第一图像，生成所述第一图像对应的生成图像的步骤，直至所述预设网络模型的训练情况满足预设条件，以得到已训练的图像处理模型。
[0144]
具体地，所述对所述预设网络模型进行修正指的是对所述预设网络模型的模型参数进行修正，直至所述模型参数满足预设条件。所述预设条件包括损失函数值满足预设要求或者训练次数达到预设次数。所述预设要求可以是根据图像处理模型的精度来确定，这
里不做详细说明，所述预设次数可以为预设网络模型的最大训练次数，例如，4000次等。由此，在预设网络模型输出生成图像，根据所述生成图像以及所述第二图像来计算预设网络模型的损失函数值，在计算得到损失函数值后，判断所述损失函数值是否满足预设要求；若损失函数值满足预设要求，则结束训练；若损失函数值不满足预设要求，则判断所述预设网络模型的训练次数是否达到预测次数，若未达到预设次数，则根据所述损失函数值对所述预设网络模型的网络参数进行修正；若达到预设次数，则结束训练。这样通过损失函数值和训练次数来判断预设网络模型训练是否结束，可以避免因损失函数值无法达到预设要求而造成预设网络模型的训练进入死循环。
[0145]
进一步，由于对预设网络模型的网络参数进行修改是在预设网络模型的训练情况未满足预设条件(例如，损失函数值未满足预设要求并且训练次数未达到预设次数)，从而在根据损失函数值对所述预设网络模型的网络参数进行修正后，需要继续对网络模型进行训练，即继续执行将训练图像集中的第一图像输入预设网络模型的步骤。其中，继续执行将训练图像集中第一图像输入预设网络模型中的第一图像可以为未作为输入项输入过预设网络模型的第一图像。例如，训练图像集中所有第一图像具有唯一图像标识(例如，图像编号)，第一次训练输入预设网络模型的第一图像的图像标识与第二次训练输入预设网络模型的第一图像的图像标识不同，如，第一次训练输入预设网络模型的第一图像的图像编号为1，第二次训练输入预设网络模型的第一图像的图像编号为2，第n次训练输入预设网络模型的第一图像的图像编号为n。当然，在实际应用中，由于训练图像集中的第一图像的数量有限，为了提高图像处理模型的训练效果，可以依次将训练图像集中的第一图像输入至预设网络模型以对预设网络模型进行训练，当训练图像集中的所有第一图像均输入过预设网络模型后，可以继续执行依次将训练图像集中的第一图像输入至预设网络模型的操作，以使得训练图像集中的训练图像组按循环输入至预设网络模型。需要说明的是，在将第一图像输入预设网络模型训练的过程中，可以按照各个第一图像的图像编号顺序输入，也可以不按照各个第一图像的图像编号顺序输入，当然，可以重复使用同一张第一图像对预设网络模型进行训练，也可以不重复使用同一张第一图像对预设网络模型进行训练，在本实施例中，不对“继续执行将训练图像集中的第一图像输入预设网络模型的步骤”的具体实现方式进行限定。
[0146]
进一步，在本实施例的一个实现方式中，所述损失函数值为结构相似性损失函数和内容双向损失函数计算得到的。相应的，如图12所示，所述预设网络模型根据所述第一图像对应的第二图像和所述第一图像对应的生成图像，对所述预设网络模型的模型参数进行修正，并继续执行根据训练图像集中第一图像，生成所述第一图像对应的生成图像的步骤，直至所述预设网络模型的训练情况满足预设条件，以得到已训练的图像处理模型具体包括：
[0147]
l21、根据所述第一图像对应的第二图像和所述第一图像对应的生成图像计算所述预设网络模型对应的结构相似性损失函数值和内容双向损失函数值；
[0148]
l22、根据所述结构相似性损失函数值和所述内容双向损失函数值得到所述预设网络模型的总损失函数值；
[0149]
l23、基于所述总损失函数值训练所述预设网络模型，并继续执行将预设的训练图像集中第一图像输入预设网络模型的步骤，直至所述预设网络模型的训练情况满足预设条
件，以得到已训练的图像处理模型。
[0150]
具体地，所述预设网络模型采用结构相似性指数(structural similarity index，ssim)损失函数和基于vgg(visual geometry group network，vgg网络)提取特征的内容双向(contextual bilateral loss,cobi)损失函数的结合作为损失函数。那么，在计算所述预设网络模型的损失函数值时，可以分别计算结构相似性损失函数值和内容双向损失函数值，再根据所述结构相似性损失函数值和内容双向损失函数值计算预设网络模型中损失函数值。在本实施例中，所述预设网络模型的总损失函数值＝a*结构相似性损失函数值+b*内容双向损失函数值，所述a和b为权重系数。例如，所述权重系数a和权重系数b均为1，那么所述预设网络模型的总损失函数值＝结构相似性损失函数值+内容双向损失函数值。此外，在本实施例中，在采用总损失函数值对预设网络模型进行训练时采用随机梯度下降法对预设网络模型进行训练，其中，训练的初始网络参数设为0.0001，并且网络参数在修正时采用指数衰减的方式进行修正。
[0151]
进一步，所述结构相似性损失函数值用于衡量生成图像与第二图像之间结构的相似性，所述结构相似性损失函数值越大，生成图像与第二图像的相似性越高，反之，所述结构相似性损失函数值越小，生成图像与第二图像的相似性越低。因此，结构相似性损失函数值对局部结构变化较敏感，更接近于人眼的感知系统，从而可以提高预设网络模型的精确性。在本实施例中，所述结构相似性损失函数值对应的结构相似性损失函数的表达式可以为：
[0152]
其中，μ
x
为生成图像中所有像素点的像素值的平均值，μ
y
为第二图像中所有像素点的像素值的平均值，σ
x
为生成图像中所有像素点的像素值的方差，σ
y
为第二图像中所有像素点的像素值的方差，σ
xy
为生成图像与第二图像的协方差。
[0153]
进一步，所述内容双向损失函数值为通过基于vgg特征的cobi损失函数计算得到，所述基于vgg特征的cobi损失函数通过分别提取生成图像与第二图像的若干组vgg特征，并且针对生成图像的每个第一vgg特征，在第二图像的第二vgg特征中搜索与该第一vgg特征接近的第二vgg特征匹配，最后计算每个第一vgg特征与其匹配的第二vgg特征的距离和，以得到内容双向损失函数值，这样通过内容双向损失函数对双边距离进行搜索，考虑了第一vgg特征与其匹配的第二vgg特征在空间上的损失，从而可以避免第一图像和第二图像未完全对齐产生的影响，提高了预设网络模型训练的速度以及准确性。此外，在搜索所述第一vgg特征匹配的第二vgg特征时，根据第一vgg特征和第二vgg特征的距离和位置关系两个方面确定内容双向损失函数值，提高了匹配的精确性，从而进一步降低第一图像和第二图像不对齐对预设网络模型训练的影响。在本实施例中，所述内容双向损失函数的表达式可以为：
[0154][0155]
其中,d为生成图像的vvg特征与第二图像的vvg特征之间的余弦距离，d
′
为生成图像的vvg特征与第二图像的vvg特征之间的空间位置距离，n为生成图像的vvg特征的特征数量，ω
s
为权重系数。
[0156]
n20、通过所述图像处理模型对所述输出图像进行去重影处理，并将去重影处理后图像作为输出图像。
[0157]
具体地，所述通过所述图像处理模型对所述输出图像进行去重影指的是将所述输出图像作为所述图像处理模型的输入项输入至所述图像处理模型中，通过所述图像处理模型去除所述输出图像的重影，以得到去重影图像，其中，所述去重影图像为所述输出图像通过所述图像处理模型得到的图像。可以理解的是，待处理图像为输出图像对应的具有重影的图像，即输出图像与待处理图像相对应，它们呈现的是同一图像场景，输出图像为正常显示的图像，待处理图像的图像内容与输出图像对应，但待处理图像内容中的物体出现重影或者与重影类似的模糊效果。例如，如图13所示的待处理图像通过所述图像处理图像后得到如图14所示的输出图像。
[0158]
进一步，由所述图像处理模型的训练过程可以知道，所述图像处理模型包括编码器和解码器，从而在通过图像处理模型对应待处理图像进行处理时，需要分别通过编码器和解码器进行处理。相应的，所述通过所述图像处理模型对所述待处理图像进行去重影，以得到所述待处理图像对应的输出图像具体包括：
[0159]
n21、将所述待处理图像输入所述编码器，通过所述编码器得到所述待处理图像的特征图像，其中，所述特征图像的图像尺寸小于所述待处理图像的图像尺寸；
[0160]
n22、将所述特征图像输入所述解码器，通过所述解码器输出所述待处理图像对应的输出图像，其中，所述输出图像的图像尺寸等于所述待处理图像的图像尺寸。
[0161]
具体地，所述编码器将输入的待处理图像转换为图像空间尺寸小于输入图像并且通道数多于输入图像的特征图像，并将所述特征图像输入至解码器，所述解码器将输入的特征图像转换为与待处理图像的图像尺寸相同的生成图像。其中，所述编码器的结构与预设网络模型中的编码器的结构相同，具体可以参照预设网络模型中的编码器的结构的说明。所述图像处理模型的编码器的对待处理图像的处理与预设网络模型中的编码器对第一图像的处理过程相同，从而所述步骤n21的具体执行过程可以参照步骤l11。同样的，所述解码器的结构与预设网络模型中的解码器的结构相同，具体可以参照预设网络模型中的解码器的结构的说明。所述图像处理模型的解码器的对待处理图像对应的特征图像的处理与预设网络模型中的解码器对第一图像对应的特征图像的处理过程相同，从而所述步骤n22的具体执行过程可以参照步骤l22。
[0162]
可以理解的是，图像处理模型在训练过程中对应的网络结构，与在应用过程(去除输出图像携带的重影)中所对应的网络结构相同。例如，在训练的过程中，图像处理模型包括编码器和编码器，那么相应地，在通过图像处理模型去除输出图像携带的重影时，图像处理模型也包括编码器和编码器。
[0163]
进一步地，例如，在训练过程中，图像处理模型的编码器包括所述编码器包括第一冗余学习层和下采样层，解码器包括上采样层和第二冗余学习层；相应地，在通过图像处理模型去除输出图像携带的重影时，编码器也可以包括第一冗余学习层和下采样层，解码器包括上采样层和第二冗余学习层；并且在应用过程中，每一层的工作原理与在训练过程中每一层的工作原理相同，因此，图像处理模型应用过程中的每一层神经网络的输入输出情况可以参见图像处理模型的训练过程中的相关介绍，这里不再赘述。
[0164]
此外，可以理解的，在通过基础图像与各临近图像合成输出图像后进行后处理包
括空域降噪、锐化和降噪处理以及去重影处理时，所述空域降噪可以在去重影处理之前，所述锐化和降噪处理可以在去重影处理之后。当然，在实际应用中，所述空域降噪、锐化和降噪处理以及去重影处理还可以按照其他顺序进行，只要可以达到去噪和去重影的效果即可。
[0165]
基于上述图像处理方法，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述实施例所述的图像处理方法中的步骤。
[0166]
基于上述图像处理方法，本发明还提供了一种终端，如图15所示，其包括至少一个处理器(processor)31；显示面板31；以及存储器(memory)32，还可以包括通信接口(communications interface)33和总线34。其中，处理器30、显示面板31、存储器32和通信接口33可以通过总线34完成相互间的通信。显示面板31设置为显示初始设置模式中预设的用户引导界面。通信接口33可以传输信息。处理器30可以调用存储器32中的逻辑指令，以执行上述实施例中的方法。
[0167]
此外，上述的存储器32中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
[0168]
存储器32作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器30通过运行存储在存储器32中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
[0169]
存储器32可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
[0170]
此外，上述存储介质以及终端中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
[0171]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。