图像处理方法及其相关设备与流程

本技术涉及图像处理领域，具体地，涉及一种图像处理方法及其相关设备。

背景技术：

1、在暗光环境下拍照（或者视频）时，比如，在夜景环境下拍照，由于电子设备的进光量较少导致拍摄得到的图像亮度低、对比度低、噪声较大。为了提升图像质量和颜色，减小图像的噪声，通常会进行光照增强和颜色校正，以及去噪处理；但是，利用现有的处理方法处理后，容易使得处理后的图像产生伪纹理，并且处理后的图像可能还会出现色彩还原不足、暗区涂抹感严重、去噪能力差等问题。

2、因此，在暗光环境下对拍摄的图像进行处理时，如何提高图像的质量成为一个亟需解决的问题。

技术实现思路

1、本技术提供了一种图像处理方法及其相关设备，对暗光环境下拍摄的图像分高低信噪比区域进行处理，能够避免图像产生伪纹理，可以降低噪声，提高亮度、对比度、颜色等信息。

2、第一方面，提供了一种图像处理方法，应用于电子设备，该方法包括：

3、显示第一界面，所述第一界面包括第一控件；

4、检测到对所述第一控件的第一操作；

5、响应于所述第一操作，获取原始图像，所述原始图像为暗光环境下采集的图像；

6、确定所述原始图像对应的信噪比分布图；

7、利用目标网络模型对所述原始图像和所述信噪比分布图进行处理，得到拍摄图像，其中，所述目标网络模型用于结合所述信噪比分布图包括的高信噪比区域和低信噪比区域，对所述原始图像分区域进行处理，所述拍摄图像与所述原始图像包括的内容对应且所述拍摄图像的质量比所述原始图像更高。

8、在本技术的实施例中，通过确定暗光环境下拍摄的原始图像的信噪比分布图，将信噪比分布图划分为高信噪比区域和低信噪比区域后，结合信噪比分布图包括的高信噪比区域和低信噪比区域对原始图像利用目标网络模型进行处理，能够避免处理后的图像产生伪纹理，降低其噪声，提高亮度、对比度、颜色等信息。

9、结合第一方面，在第一方面的某些实现方式中，所述确定所述原始图像对应的信噪比分布图，包括：

10、对所述原始图像进行滤波，得到滤波后的原始图像；

11、确定所述原始图像和所述滤波后的原始图像之间的差值的绝对值，得到所述信噪比分布图。

12、在一种实施例中，滤波可以包括均值滤波、中值滤波、双边滤波、高斯滤波等。

13、在该实现方式中，通过对原始图像进行滤波，可以将原始图像中包括的纹理信息抹平，仅保留原始图像中的语义结构。

14、结合第一方面，在第一方面的某些实现方式中，所述方法还包括：

15、根据信噪比分布图和预设阈值，确定所述高信噪比区域和所述低信噪比区域。

16、在该实现方式中，通过结合预设阈值进行比较，可以划分出高信噪比区域和低信噪比区域。

17、结合第一方面，在第一方面的某些实现方式中，所述目标网络模型包括第一目标网络模型、第二目标网络模型、第三目标网络模型和第四目标网络模型；

18、所述利用目标网络模型对所述原始图像和所述信噪比分布图进行处理，得到拍摄图像，包括：

19、利用第一目标网络模型提取所述原始图像的特征信息；

20、针对对应所述高信噪比区域的所述原始图像的特征信息，利用第二目标网络模型进行处理，得到高信噪比区域局部图像；

21、针对对应所述低信噪比区域的所述原始图像的特征信息，利用第三目标网络模型进行处理，得到低信噪比区域局部图像；

22、将所述高信噪比区域局部图像和所述低信噪比区域局部图像拼接后，利用第四目标网络模型进行处理，得到拍摄图像。

23、在该实现方式中，针对暗光环境下拍摄的原始图像，如果利用原始图像的全局信息进行处理，计算量非常大，因此，本技术首先结合信噪比分布图，区分出高信噪比区域和低信噪比区域；然后，针对高信噪比区域和低信噪比区域分两个支路进行不同的处理；然后，再将处理后的数据拼接、利用第四目标网络模型融合后，生成拍摄图像。

24、结合第一方面，在第一方面的某些实现方式中，所述第三目标网络模型基于transformer网络模型训练而成。

25、在该实现方式中，对于低信噪比区域而言，往往存在着信息量少，以及噪声大的问题，因此，本技术通过采用transformer网络模型能利用非局部信息来进行学习的特点来进行学习融合，从而使得处理后的低信噪比区域的特征信息能达到更好的增强、降噪效果。

26、结合第一方面，在第一方面的某些实现方式中，所述第二目标网络模型和第四目标网络模型均基于卷积神经网络模型训练而成。

27、在该实现方式中，对于高信噪比区域而言，相对于低信噪比区域信息量多，噪声小，因此，本技术通过采用简单的卷积神经网络模型进行快速处理，也能达到更好的增强、降噪效果。

28、结合第一方面，在第一方面的某些实现方式中，所述第二目标网络模型包括三层卷积层，所述第四目标网络模型包括两层卷积层。

29、在该实现方式中，由于融合处理的精度要求相对高信噪比区域进行处理的精度要求较低，因此，结合网络模型进行实现时，第四目标网络模型包括的卷积层数量可以少于第二目标网络模型的数量，换句话说，第四目标网络模型的处理能力可以低于第二目标网络模型的处理能力。

30、结合第一方面，在第一方面的某些实现方式中，所述目标网络模型的参数是根据预测图像与标签图像之间的差异通过反向传播算法进行迭代得到的；

31、所述预测图像是指将训练图像输入初始网络模型得到的图像，所述初始网络模型是训练前的目标网络模型；所述标签图像和所述训练图像包括的内容对应，且所述标签图像的质量比所述训练图像更高。

32、结合第一方面，在第一方面的某些实现方式中，所述方法还包括：

33、检测到第二操作，所述第二操作用于指示开启所述电子设备的暗光场景模式，所述暗光场景模式是指所述电子设备的进光量小于预设进光量阈值的拍摄模式。

34、结合第一方面，在第一方面的某些实现方式中，所述第一界面是指所述电子设备的主屏界面，所述主屏界面包括相机应用程序，所述第一控件是指所述相机应用程序对应的控件。

35、在一种可能的实现方式中，所述第一操作是指点击所述相机应用程序的操作。

36、结合第一方面，在第一方面的某些实现方式中，所述第一界面是指拍照界面，所述第一控件是指用于指示拍照的控件。

37、在一种可能的实现方式中，所述第一操作是指点击所述用于指示拍照的控件的操作。

38、结合第一方面，在第一方面的某些实现方式中，所述第一界面是指视频通话界面，所述第一控件是指用于指示视频通话的控件。

39、在一种可能的实现方式中，所述第一操作是指点击所述用于指示视频通话的控件的操作。

40、上述以第一操作为点击操作为例进行举例说明；第一操作还可以包括语音指示操作，或者其它的指示电子设备进行拍照或者视频通话的操作；上述为举例说明，并不对本技术作任何限定。

41、第二方面，提供一种图像处理装置，所述图像处理装置包括一个或多个处理器和存储器；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述图像处理装置执行：

42、显示第一界面，所述第一界面包括第一控件；

43、检测到对所述第一控件的第一操作；

44、响应于所述第一操作，获取原始图像，所述原始图像为暗光环境下采集的图像；

45、确定所述原始图像对应的信噪比分布图；

46、利用目标网络模型对所述原始图像和所述信噪比分布图进行处理，得到拍摄图像，其中，所述目标网络模型用于结合所述信噪比分布图包括的高信噪比区域和低信噪比区域，对所述原始图像分区域进行处理，所述拍摄图像与所述原始图像包括的内容对应且所述拍摄图像的质量比所述原始图像更高。

47、第三方面，提供了一种图像处理装置，包括用于执行第一方面中任一种方法的模块/单元。

48、第四方面，提供了一种图像处理装置，所述图像处理装置包括：一个或多个处理器和存储器；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述图像处理装置执行第一方面中的任一种图像处理方法。

49、第五方面，提供了一种芯片系统，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行第一方面中的任一种方法。

50、第六方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面中的任一种方法。

51、第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面中的任一种方法。

52、在本技术的实施例中，针对暗光环境下拍摄的原始图像，如果利用原始图像的全局信息进行处理，计算量非常大，因此，本技术首先结合信噪比分布图，区分出高信噪比区域和低信噪比区域；然后，针对高信噪比区域和低信噪比区域进行不同的处理。

53、基于此，对于低信噪比区域而言，往往存在着信息量少，以及噪声大的问题，因此，本技术通过采用transformer网络模型能利用非局部信息来进行学习的特点来进行学习融合，从而使得处理后的低信噪比区域的特征信息能达到更好的增强、降噪效果。对于高信噪比区域而言，相对于低信噪比区域信息量多，噪声小，因此，本技术通过采用简单的卷积神经网络模型进行快速处理，也能达到更好的增强、降噪效果。

54、本技术处理后的拍摄图像相对于现有技术处理后的图像来说，不会产生伪纹理、暗区不会出现涂抹感、色彩还原较强、去噪能力也较强。