一种图像处理方法、电子设备以及计算机可读存储介质与流程

本技术涉及图像处理，尤其涉及一种图像处理方法、电子设备以及计算机可读存储介质。

背景技术：

1、在拍照的场景中，常由于光线较暗、镜头或被拍摄物体移动导致拍摄得到的图像存在降质的问题，此处降质包含噪声、模糊、jpeg压缩及降采样。为了能够拍摄到清晰的图像，目前智能手机、电脑等电子设备中配置有去降质算法，通过去降质算法将拍摄得到的降质图像恢复为清晰的图像。

2、目前的去降质算法一般是通过在图像中恢复缺失或损坏的信息来减轻或消除图像的降质效果，从而使得图像变得清晰。然而，降质的图像中通常存在噪声、或图像信息缺失过多等问题，导致无法准确的恢复图像中缺失或损坏的信息，尤其无法恢复图像中的细节，因此存在去降质效果不好的问题。

技术实现思路

1、有鉴于此，本技术提供了一种图像处理方法、电子设备以及计算机可读存储介质，能够将降质图像恢复为带有图像细节的清晰图像，提高图像质量和显示效果。

2、第一方面，本技术提供一种图像处理方法，应用于电子设备，方法包括：显示第一界面，第一界面包括第一控件；响应于对第一控件的操作，获取第一待处理图像，第一待处理图像的清晰度小于第一阈值；在第二界面中显示对第一待处理图像进行增强处理后的先验重建图像，先验重建图像的清晰度大于第一待处理图像的清晰度；其中，先验重建图像是基于先验图像对第一待处理图像进行增强处理得到的图像，先验图像为与第一待处理图像包括相同被拍摄对象，且清晰度大于第二阈值的图像，先验重建图像中包括先验图像中包含的被拍摄对象的特征。

3、其中，第一待处理图像的清晰度小于第一阈值可以是指将降质的图像作为需要先验重建的图像。基于上述过程，电子设备可以获取清晰度小于第一阈值的第一待处理图像，并基于先验图像对第一待处理图像进行增强处理，以得到更清晰的先验重建图像，提高图像质量和显示效果。

4、在第一方面的一种可能的实现方式中，基于先验图像对第一待处理图像进行增强处理得到先验重建图像的过程包括：将先验图像与第一待处理图像对齐，得到第二待处理图像；融合第一待处理图像与第二待处理图像，得到先验重建图像。

5、其中，图像对齐可以包括关键点对齐和\或光流对齐。

6、将先验图像与第一待处理图像对齐后，可以保证第二待处理图像中既包括先验图像中的内容也包括第一待处理图像中的内容，并且，先验图像中的内容与第一待处理图像中的相同或相似的内容在第二待处理图像中的位置相同，以便于将第一待处理图像与第二待处理图像更好的融合，并得到清晰的先验重建图像。

7、在第一方面的一种可能的实现方式中，将先验图像与第一待处理图像对齐，得到第二待处理图像，包括：将先验图像与第一待处理图像进行关键点对齐，得到第三待处理图像；将第三待处理图像与第一待处理图像进行光流对齐，得到第二待处理图像。

8、将先验图像与第一待处理图像进行关键点对齐，可以实现物理意义的对齐，之后，再将关键点对齐得到的第三待处理图像与第一待处理图像进行光流对齐，可以使得到的第二待处理图像中的图像纹理更清晰。

9、在第一方面的一种可能的实现方式中，融合第一待处理图像与第二待处理图像，得到先验重建图像，包括：基于注意力机制融合第一待处理图像与第二待处理图像，得到先验重建图像。

10、注意力机制可以将多个特征融合为一起，并在融合过程将注意力集中在需要注意的部分，以减少来自其他部分的影响。

11、在第一方面的另一种可能的实现方式中，基于先验图像对第一待处理图像进行增强处理得到先验重建图像的过程包括：将先验图像以及第一待处理图像输入至先验重建模型，以获得先验重建图像；先验重建模型为基于训练样本集训练得到，先验重新模型具备基于先验图像将低分辨率图像恢复为高分辨率图像的功能；其中，训练样本集包括多组训练样本，每组训练样本包括清晰度小于第三阈值的第一图像、清晰度大于第四阈值的第一图像、以及与第一图像包括相同被拍摄对象且清晰度大于第五阈值的第二图像。

12、一些示例中，低分辨率图像指图像清晰度较低的降质图像或者上述第一待处理图像，高分辨率图像指图像清晰度较高的先验重建图像。

13、其中，清晰度小于第三阈值的第一图像以及清晰度大于第四阈值的第一图像均是第一图像，其区别为清晰度不同。此处的第三阈值与第四阈值用于区分两个第一图像之间的清晰度，第三阈值与第四阈值之间的关系可以根据实际情况来确定。例如，在为了保证清晰度大于第四阈值的第一图像比清晰度小于第三阈值的第一图像更清晰，可以使得第三阈值小于或等于第四阈值。

14、先验重建模型是基于训练样本集预先训练好的，电子设备可以直接利用先验重建模型将低分辨率图像恢复为高分辨率图像，提高效率。并且，为了保证先验重建模型可以将低分辨率图像准确的恢复为高分辨率图像，可以基于多组包括降质的第一图像、清晰的第一图像以及清晰的第二图像的训练样本训练先验重建模型，提高先验重建模型的准确性。

15、在第一方面的一种可能的实现方式中，第一图像与第二图像为不同光照条件下拍摄得到的。

16、利用在不同光照条件下拍摄得到的第一图像与第二图像训练先验重建模型，可以保证先验重建模型输出的准确性以及鲁棒性。

17、在第一方面的一种可能的实现方式中，第一图像中的被拍摄对象与第二图像中的被拍摄对象的姿态不同。

18、在第一图像中的被拍摄对象与第二图像中的被拍摄对象的姿态不同的情况下，可以保证先验重建模型基于输入的包括处于不同姿态的被拍摄对象的低分辨率图像以及先验图像，准确的输出高分辨率图像，从而提高图像的质量以及显示效果。

19、在第一方面的一种可能的实现方式中，获取先验图像的过程，包括：识别第一待处理图像中被拍摄对象的人物身份；基于人物身份在第三图像中确定先验图像，第三图像为清晰度大于第二阈值的图像。

20、在一些实施例中，被拍摄对象可以是人物、动物等。在一些情况下，被拍摄对象也可以是可被识别的其他物体，例如，标志性的风景、建筑、人偶等。

21、其中，电子设备可以根据人脸识别技术识别被拍摄对象的人物身份。在被拍摄对象为动物或其他物体的情况下，电子设备可以根据图像识别技术实现被拍摄对象的人物身份的识别过程。

22、在电子设备获取到第一待处理图像后，可以根据第一待处理图像中被拍摄对象的人物身份来确定相应的先验图像，从而保证先验图像中的被拍摄对象与第一待处理图像中的被拍摄对象相同，继而保证电子设备能够利用先验图像对第一待处理图像进行先验重建过程，以得到清晰的先验重建图像。

23、在第一方面的一种可能的实现方式中，第一界面用于展示图像，第一界面中包括第一待处理图像，第一控件为图像增强控件，图像增强控件用于基于先验图像对第一待处理图像进行增强处理获取先验重建图像。

24、用户可以通过对第一界面中的第一控件进行操作，以使电子设备可以基于先验图像对第一待处理图像进行增强处理获取先验重建图像，提高图像质量以及显示效果。

25、第二方面，本技术提供一种电子设备，所述电子设备包括显示屏、存储器和一个或多个处理器；所述显示屏、所述存储器和所述处理器耦合；所述显示屏用于显示所述处理器生成的图像，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；当所述处理器执行所述计算机指令时，使得所述电子设备执行如第一方面及其任一种可能的设计方式所述的方法。

26、第三方面，本技术提供一种计算机可读存储介质，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如上第一方面及其任一种可能的设计方式所述的方法。

27、第四方面，本技术提供一种计算机程序产品，包括计算机程序/指令，当计算机程序/指令在电子设备上运行时，使得所述电子设备执行如上第一方面及其任一种可能的设计方式所述的方法。

28、第五方面，本技术提供一种装置，该装置包含在电子设备中，该装置具有实现上述方面及可能的实现方式中任一方法中电子设备行为的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括至少一个与上述功能相对应的模块或单元。例如，分配模块或单元，扫描模块或单元，回收模块或单元，移动模块或单元和存储模块或单元等。

29、第六方面，本技术实施例提供了一种芯片系统，该芯片系统包括处理器，还可以包括存储器，用于实现上述第一方面提供的任意一种方法。该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。

30、可以理解地，上述提供的第二方面及其任一种可能的设计方式所述的电子设备，第三方面所述的计算机可读存储介质，以及第四方面所述的计算机程序产品均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。