图像处理方法及其相关设备与流程

1.本技术涉及图像处理领域，尤其涉及一种图像处理方法及其相关设备。


背景技术：

2.随着电子设备的广泛使用，使用电子设备进行拍照已经成为人们生活中的一种日常行为方式。以电子设备为手机为例，随之出现了多种算法以提升图像质量，例如，多帧图像融合。
3.在一些高动态范围场景(high dynamic range，hdr)或光线较暗的场景中，例如在夜景场景中，由于场景中的光照较低，所以，手机在拍摄成像时，会利用白色闪光灯进行补光，对应生成白色闪光图像，然后，将白色闪光图像和未补光时拍摄的环境光图像进行融合，以提升最终得到的融合图像的质量。其中，白色闪光图像和环境光图像为对同一待拍摄场景拍摄的图像。
4.但是，由于白色闪光图像和环境光图像所包括的各个颜色通道的响应不匹配，难以配准，因而生成的融合图像的颜色将会出现偏差、色温也不准，相关技术对此无法有效解决。由此，如何对闪光灯补光时采集的闪光图像和未补光时采集的环境光图像进行有效配准，以及如何校正利用闪光灯补光时采集的图像的颜色，成为了一个亟需解决的问题。


技术实现要素：

5.本技术提供一种图像处理方法及其相关设备，能够对光照较低的场景，或者从高动态范围的场景中利用闪光灯补光时所采集到的图像的颜色、色温进行校正，提升质量，从而提高用户体验。
6.为达到上述目的，本技术采用如下技术方案：
7.第一方面，提供一种图像处理方法，该方法包括：
8.检测到第一操作；响应于所述第一操作，开启所述相机；确定符合第一预设条件，采集多帧图像，所述多帧图像包括环境光图像和深红闪光图像，所述环境光图像为所述闪光灯未开启时所述相机拍摄的图像，所述深红闪光图像为所述闪光灯开启时所述相机拍摄的图像；根据所述多帧图像，得到第一目标图像。
9.其中，闪光灯发深红光时所对应的波长范围例如为660nm至700nm。
10.本技术实施例提供了一种图像处理方法，通过利用深红闪光灯进行补光，采集闪光灯发深红光时对应的深红闪光图像，以及采集未闪光时对应的环境光图像，将包括深红闪光图像和环境光图像的多帧图像进行处理，从而可以有效改善从暗光场景，或者从高动态范围的场景中采集的多帧图像进行融合后的图像颜色和色温。
11.在第一方面一种可能的实现方式中，根据所述多帧图像，得到第一目标图像，包括：
12.确定所述深红闪光图像对应的第一红色通道图像、第一绿色通道图像和第一蓝色通道图像，以及所述环境光图像对应的第二红色通道图像；
13.根据所述第一红色通道图像和所述第二红色通道图像，确定曝光增益值；
14.根据所述第一绿色通道图像和所述曝光增益值，确定绿色通道增强图像；
15.根据所述第一蓝色通道图像和所述曝光增益值，确定蓝色通道增强图像；
16.根据所述第一红色通道图像、所述绿色通道增强图像和所述蓝色通道增强图像，确定所述第一目标图像。
17.其中，第一红色通道图像用于表示深红闪光图像包括的每个像素中的红色通道信号所形成的图像，第一绿色通道图像用于表示深红闪光图像包括的每个像素中的绿色通道信号所形成的图像，第一蓝色通道图像用于表示深红闪光图像包括的每个像素中的蓝色通道信号所形成的图像。第二红色通道图像用于表示环境光图像包括的每个像素中的红色通道信号所形成的图像。
18.在该实现方式中，由于闪光灯打开时发出的光是深红光，仅对红色通道会造成影响，对绿色通道和蓝色通道不会造成影响，因此，可以通过第一红色通道图像和第二红色通道图像来确定闪光灯打开时亮度增大的倍数，进而可以将该增大倍数引用到没有增大的其他颜色通道上去，以对后续图像的颜色和色调进行校正。
19.在第一方面一种可能的实现方式中，所述方法还包括：
20.确定所述环境光图像对应的第二绿色通道图像和第二蓝色通道图像；
21.将所述第一绿色通道图像与所述第二绿色通道图像进行配准，将所述第一蓝色通道图像与所述第二蓝色通道图像进行配准；
22.根据所述第一绿色通道图像和所述曝光增益值，确定绿色通道增强图像，包括：
23.根据配准后的所述第一绿色通道图像和所述曝光增益值，确定绿色通道增强图像；
24.根据所述第一蓝色通道图像和所述曝光增益值，确定蓝色通道增强图像，包括：
25.根据配准后的所述第一蓝色通道图像和所述曝光增益值，确定蓝色通道增强图像。
26.其中，第二绿色通道图像用于表示环境光图像包括的每个像素中的绿色通道信号所形成的图像，第二蓝色通道图像用于表示环境光图像包括的每个像素中的蓝色通道信号所形成的图像。
27.在该实现方式中，由于闪光灯打开时发出的光是深红光，仅对红色通道会造成影响，对绿色通道和蓝色通道不会造成影响，因此，可以直接将第一绿色通道图像和第二绿色通道图像进行配准，将第一蓝色通道图像和第二蓝色通道图像进行配准，以提高后续图像的质量。
28.在第一方面一种可能的实现方式中，根据所述多帧图像，得到第一目标图像，包括：
29.确定所述深红闪光图像对应的第一红色通道图像和第一绿蓝通道图像，以及所述环境光图像对应的第二红色通道图像；
30.根据所述第一红色通道图像和所述第二红色通道图像，确定曝光增益值；
31.根据所述第一绿蓝通道图像和所述曝光增益值，确定绿蓝通道增强图像；
32.根据所述第一红色通道图像和所述绿蓝通道增强图像，确定所述第一目标图像。
33.其中，第一红色通道图像用于表示深红闪光图像包括的每个像素中的红色通道信
号所形成的图像，第一绿蓝通道图像用于表示深红闪光图像包括的每个像素中的绿色通道信号和蓝色通道信号所形成的图像。第二红色通道图像用于表示环境光图像包括的每个像素中的红色通道信号所形成的图像。
34.在该实现方式中，由于闪光灯打开时发出的光是深红光，仅对红色通道会造成影响，对绿蓝通道不会造成影响，因此，可以通过第一红色通道图像和第二红色通道图像来确定闪光灯打开时亮度增加的倍数，进而可以将该增大倍数引用到没有增大的其他颜色通道上去，以对后续图像的颜色进行校正。此处，由于闪光灯补的光对绿色通道和蓝色通道均没有影响，因此，可以在对深红闪光图像和环境光图像进行拆分时，将绿色通道和蓝色通道设置为一个能携带两个通道信息的绿蓝通道图像，以减少后续计算量，降低功耗。
35.在第一方面一种可能的实现方式中，所述方法还包括：
36.确定所述环境光图像对应的第二绿蓝通道图像；
37.将所述第一绿蓝通道图像与所述第二绿蓝通道图像进行配准；
38.根据所述第一绿蓝通道图像和所述曝光增益值，确定绿蓝通道增强图像；
39.根据配准后的所述第一绿蓝通道图像和所述曝光增益值，确定绿蓝通道增强图像。
40.其中，第二绿蓝通道图像用于表示环境光图像包括的每个像素中的绿色通道信号和蓝色通道信号所形成的图像。
41.在该实现方式中，由于闪光灯打开时发出的光是深红光，仅对红色通道会造成影响，对绿色通道和蓝色通道不会造成影响，因此，可以直接将第一绿蓝通道图像和第二绿蓝通道图像进行配准，以提高后续图像的质量。
42.在第一方面一种可能的实现方式中，所述方法还包括：
43.对所述环境光图像和所述第一目标图像进行色调映射，确定第二目标图像。
44.在该方式中，通过对第一目标图像和环境光图像进行色调映射，使得融合后的第二目标图像可以为非线性的rgb图像，以提高用户的视觉体验。
45.在第一方面一种可能的实现方式中，根据所述第一红色通道图像和所述第二红色通道图像，确定曝光增益值，包括：
46.确定所述第一红色通道图像中所有红色通道信号的均值为第一值；
47.确定所述第二红色通道图像中所有红色通道信号的均值为第二值；
48.确定所述第一值和所述第二值的比值为所述曝光增益值。
49.在第一方面一种可能的实现方式中，所述配准为klt(kanade-lucas-tomasi)、sift(scale-invariant feature transform)、光流法等中的任意一种。
50.第二方面，提供了一种图像处理装置，该装置包括用于执行以上第一方面或第一方面的任意可能的实现方式中各个步骤的单元。
51.第三方面，提供了一种电子设备，包括：一个或多个处理器和存储器；
52.存储器与一个或多个处理器耦合，述存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，一个或多个处理器调用计算机指令以使得电子设备执行如第一方面或第一方面的任意可能的实现方式中提供的图像处理方法中进行处理的步骤。
53.第四方面，提供了一种芯片，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有芯片的设备执行如如第一方面或第一方面的任意可能的实现方式中提供的
图像处理方法中进行处理的步骤。
54.第五方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被处理器执行时，使处理器执行如第一方面或第一方面的任意可能的实现方式中提供的图像处理方法中进行处理的步骤。
55.第六方面，提供了一种计算机程序产品，计算机程序产品包括存储了计算机程序的计算机可读存储介质，计算机程序使得计算机执行如第一方面或第一方面的任意可能的实现方式中提供的图像处理方法中进行处理的步骤。
56.第二方面至第六方面的有益效果，可以参考上述第一方面的有益效果，在此不再赘述。
附图说明
57.图1是本技术实施例提供的一种应用场景；
58.图2是本技术实施例提供的一种通道响应的示意图；
59.图3是相关技术提供的一种图像处理方法的流程示意图；
60.图4是本技术实施例提供的一种图像处理方法的流程示意图；
61.图5是本技术实施例提供的另一种通道响应的示意图；
62.图6是本技术实施例提供的另一种图像处理方法的流程示意图；
63.图7是本技术实施例提供的另一种图像处理方法的流程示意图；
64.图8是本技术实施例提供的另一种图像处理方法的流程示意图；
65.图9是一种适用于本技术的电子设备的硬件系统的示意图；
66.图10是一种适用于本技术的电子设备的软件系统的示意图；
67.图11为本技术实施例提供的一种图像处理装置的结构示意图；
68.图12为申请实施例提供的一种芯片的结构示意图。
具体实施方式
69.下面将结合附图，对本技术中的技术方案进行描述。
70.在本技术实施例的描述中，除非另有说明，“/”表示或的意思，例如，a/b可以表示a或b；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，在本技术实施例的描述中，“多个”是指两个或多于两个。
71.以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
72.首先，对本技术实施例中的部分用语进行解释说明，以便于本领域技术人员理解。
73.1、rgb(red，green，blue)颜色空间，或rgb域，指的是一种与人的视觉系统结构相关的颜色模型。根据人眼睛的结构，将所有颜色都当作是红色、绿色和蓝色的不同组合。
74.2、yuv颜色空间，指的是一种颜色编码方法，y表示亮度(luminance或luma)，u和v表示的则是色度(chrominance或chroma)。上述rgb颜色空间着重于人眼对色彩的感应，yuv
颜色空间则着重于视觉对亮度的敏感程度，rgb颜色空间和yuv颜色空间可以互相转换。
75.3、像素值，指的是位于rgb颜色空间的彩色图像中每个像素对应的一组颜色分量。例如，每个像素对应一组三基色分量，其中，三基色分量分别为红色分量r、绿色分量g和蓝色分量b。
76.4、拜耳格式图像(bayer image)，即基于拜耳格式彩色滤波阵列的图像传感器输出的图像。该图像中的多种颜色的像素以拜耳格式进行排布。其中，拜耳格式图像中的每个像素仅对应一种颜色的通道信号。示例性的，由于人的视觉对绿色较为敏感，所以，可以设定绿色像素(对应绿色通道信号的像素)占全部像素的50％，蓝色像素(对应蓝色通道信号的像素)和红色像素(对应红色通道信号的像素)各占全部像素的25％。其中，拜耳格式图像的最小重复单元为：一个红色像素、两个绿色像素和一个蓝色像素以2
×
2的方式排布。其中，以拜耳格式进行排布的图像可以认为其位于raw域。
77.5、配准(image registration)，指的是在同一区域内以不同成像手段所获得的不同图像的地理坐标的匹配。其中，包括几何纠正、投影变换与统一比例尺三方面的处理。
78.6、亮度(lighting value，lv)值，用于估计环境亮度，其具体计算公式如下：
[0079][0080]
其中，exposure为曝光时间，aperture为光圈大小，iso为感光度，luma为xyz颜色空间中，y的平均值。
[0081]
7、动态范围(dynamic range)值，用于表示通过摄像头获取的预览图像中过曝区域所占整个图像的比例信息。
[0082]
以上是对本技术实施例所涉及的名词的简单介绍，以下不再赘述。
[0083]
随着电子设备的广泛使用，使用电子设备进行拍照已经成为人们生活中的一种日常行为方式。以电子设备为手机为例，随之出现了多种算法以提升图像质量，例如，多帧图像融合。
[0084]
在一些高动态范围场景或光线较暗的场景中，例如在夜景场景中，由于场景中的光照较低，所以，手机在拍摄成像时，会利用白色闪光灯进行补光，对应生成白色闪光图像，然后，将白光闪光图像和未补光时拍摄的环境光图像进行融合，以提升最终得到的融合图像的质量。其中，白色闪光图像和环境光图像为对同一待拍摄场景拍摄的图像。
[0085]
但是，一方面，由于白色闪光图像和环境光图像之间的亮度差异比较大，另一方面，白色闪光图像所包括的各个颜色通道的亮度比例和环境光图像所包括的各个颜色通道的亮度比例不同，或者说，响应不匹配，从而导致白色闪光图像和环境光图像难以配准，进而导致融合算法失效，使得生成的融合图像的颜色将会出现偏差、色温也不准，还有可能出现鬼影(artifact)等问题。
[0086]
示例性的，图1示出了一种本技术实施例适用的应用场景。图2示出了一种通道响应示意图。
[0087]
如图1中的(a)所示，在该夜景场景中，路灯发出的光为黄光，照射的地面和墙面等均反射黄光，此时，若不开闪光灯进行拍摄，得到的环境光图像中灯光照射的区域相应均为黄色，整体色温偏暖。但是，若开了白色闪光灯进行补光，如图1中的(b)所示，白光对待拍摄环境进行了照射，将会使得整个光线亮度得以提成，其次，整个色温将由暖偏冷。
[0088]
示例性的，当打开白色闪光灯进行补光时，电子设备拍摄得到的白色闪光图像所包含的三基色分量(第二蓝色分量b2、第二绿色分量g2和第二红色分量r2)的通道响应分布如图2中的(a)所示。未打开闪光灯进行补光时，电子设备拍摄得到的环境光图像所包含的三基色分量(第一蓝色分量b1、第一绿色分量g1和第一红色分量r1)的通道响应分布如图2中的(b)所示。
[0089]
由此可见，白色闪光图像和环境光图像中同种颜色的通道响应分布均不相同，基于此，若将各个颜色通道响应不匹配的白色闪光图像和环境光图像进行配准，由于配准方式是基于图像局部区域的亮度所进行配准的，因此，白色闪光图像和环境光图像将难以配准。
[0090]
对此，图3示出了现有技术提供的一种图像处理方法的流程示意图。
[0091]
如图3所示，现有技术中，为了后续方便白色闪光图像和环境光图像进行融合，首先，会将白色闪光图像和环境光图像进行配准，那么，在进行配准之前，由于白色闪光图像和环境光图像的光照差异比较大，因此，还会先确定白光闪光图像对应的第一灰阶图像，及环境光图像对应的第二灰阶图像；然后，将第一灰阶图像和第二灰阶图像调整至相似的灰阶范围中或者说相似的动态范围中；再根据调整后的第一灰阶图像，确定白色闪光图像对应的第一中间图像，以及根据调整后的第二灰阶图像，确定环境光图像对应的第二中间图像，使该第一中间图像和第二中间图像中的特征在配准时，配准算法从该第一中间图像和第二中间图像中提取特征的数量与空间分布更为相似，进而提升配准算法的配准质量。
[0092]
其中，在确定第一白色闪光图像和第一环境光图像各自对应的灰阶图像时，可以利用以下公式(一)进行确定。
[0093]
q(λ)＝r(λ)
×
r+g(λ)
×
g+b(λ)
×bꢀꢀꢀ
公式(一)
[0094]
其中，r、g和b用于指示白色闪光图像或环境光图像中任意一个像素对应的红色分量、绿色分量和蓝色分量；q用于指示相同位置处像素对应的灰阶值；r(λ)、g(λ)和b(λ)用于指示红色分量、绿色分量和蓝色分量分别对应的权重。在该公式(一)中，r(λ)、g(λ)和b(λ)三个权重的比例是固定不变的。
[0095]
利用上述方式，虽然可以确定出白色闪光图像和环境光各自对应的灰阶图像，并调整至相似的灰度范围中，但是其相当于是对红色分量、绿色分量和蓝色分量的整体进行了一个调整。这样，即使调整后的第一中间图像和调整后的第二中间图像某一相同位置处所对应的灰阶值相同，第一中间图像和第二中间图像分别对应的红色分量、绿色分量和蓝色分量中相同颜色的分量还是不相同的。所以，在将第一中间图像和第二中间图像进行配准时，由于相同颜色对应的分量还是不相同，换句话说，由于同种颜色通道响应还是不匹配的，这样配准还是不够准确，影响融合后的目标图像的质量。而且，还会导致融合之后的目标图像产生偏色或伪色等问题。例如，如图2中的(c)所示，为融合后的图像所包括的三基色分量(第三蓝色分量b3、第三绿色分量g3和第三红色分量r3)的通道响应分布。
[0096]
此外，虽然电子设备打开白色闪光灯进行补光时，可以提高待拍摄场景中的光照强度，但是，白色闪光灯发出的白光对应的色温与环境光的色温却不同，从而导致补光时获取的白色闪光图像与未补光时获取的环境光图像之间的色温不同。那么，利用该两个色温不同的白色闪光图像和环境光图像后续进行融合时，得到的融合图像的色温相对于真实环境中的色温也是不准确的。
[0097]
有鉴于此，本技术实施例提供了一种图像处理方法，通过利用深红闪光灯进行补光，采集闪光灯发深红光时对应的深红闪光图像，以及采集未闪光时对应的环境光图像；然后，将包括深红闪光图像和环境光图像的多帧图像进行配准和融合处理，通过提升配准算法的准确性以及调整每种颜色通道的曝光增益，从而可以有效改善从暗光场景，或者从高动态范围的场景中采集的多帧图像进行融合后的图像颜色和色温。
[0098]
应理解，上述图1所示的场景为对应用场景的举例说明，并不对本技术的应用场景进行任何限制。本技术实施例提供的图像处理方法可以应用但不限于以下场景中：
[0099]
拍摄图像、录制视频、视频通话、视频会议应用、长短视频应用、视频直播类应用、视频网课应用、智能运镜应用场景、系统相机录像功能录制视频、视频监控以及智能猫眼等拍摄类场景等。
[0100]
下面结合附图对本技术实施例提供的图像处理方法进行详细介绍。
[0101]
图4示出了本技术实施例提供的一种图像处理方法的流程图。该方法应用于包括相机和闪光灯的电子设备。该闪光灯开启时发深红光。深红闪光对人眼友好，视觉刺激小。
[0102]
可选地，闪光灯发深红光时，对应的内部结构可以包括白色光源和深红滤光片，利用白色光源发的白光照射深红滤光片，透过的深红光将作为闪光灯对外出射的光线。或者，闪光灯对应的内部结构可以包括深红二极管，深红二极管用于发射深红光。
[0103]
其中，闪光灯发深红光时所对应的波长范围例如为660nm至700nm，当然，也可以为其他波长范围，本技术实施例对此不进行任何限制。
[0104]
如图4所示，本技术实施例提供的图像处理方法可以包括以下s110至s160。下面对这些步骤进行详细的描述。
[0105]
s110、获取多帧图像。多帧图像包括环境光图像和深红闪光图像。
[0106]
其中，环境光图像为闪光灯未开启时相机拍摄的图像，深红闪光图像为闪光灯开启时相机拍摄的图像。
[0107]
在一些实施例中，电子设备中可以包括一个或多个图像传感器，那么，电子设备可以控制该一个或多个图像传感器进行拍摄，从而得到多帧图像。在另一些实施例中，无论电子设备中是否包括图像传感器，电子设备都可以从本地存储或者从其他设备获取多帧图像。例如，用户可以通过第一电子设备d1拍摄得到多帧图像，然后将该多帧图像发送给第二电子设备d2，第二电子设备d2在接收到该多帧图像之后，可以执行本技术实施例提供的图像处理方法以进行图像处理。当然，在实际应用过程中，电子设备还可以通过其他方式来获取多帧图像，本技术实施例对此不进行任何限制。
[0108]
电子设备在获取多帧图像之前，还可以先对待拍摄场景进行判断，判断是否需要对待拍摄场景进行拍摄，需要时再采集多帧图像。
[0109]
示例性的，电子设备可以判断待拍摄场景是否为暗光场景或高动态范围(high dynamic range，hdr)场景。当确定待拍摄场景为暗光场景或hdr场景时，再针对待拍摄场景采集多帧图像。当不是暗光场景或hdr场景时，则不采集多帧图像。
[0110]
其中，可以根据亮度(lv)值来确定暗光场景，该过程具体可以包括：当待拍摄场景对应的亮度值小于亮度值阈值时，则确定该场景为暗光场景，否则，确定该场景非暗光场景。此处，示例的亮度值小于亮度值阈值，即为第一预设条件，换句话说，只有符合该第一预设条件时，电子设备才会采集多帧图像。
[0111]
另外，还可以根据动态范围(dynamic range，dr)值来确定hdr场景，该过程具体可以包括：当待拍摄场景对应的动态范围值大于预设动态范围值时，则确定该场景为hdr场景，否则，确定该场景非hdr场景。当然，也可以利用其它方式来判断是否需要采集多帧图像，本技术实施例对此不进行任何限制。此处，示例的动态范围值大于预设动态范围值，即为第一预设条件，换句话说，只有符合该第一预设条件时，电子设备才会采集多帧图像。
[0112]
通过在采集多帧图像之前，利用第一预设条件来对待拍摄场景进行判断，可以在众多场景中筛选出暗光场景和高动态范围场景，仅对暗光场景和高动态范围场景，利用深红闪光灯进行补光，并利用本技术实施例提供的方法进行处理，以更好的解决这两种场景下利用白色闪光灯补光时出现的问题，进而提高在该两种场景下获取的融合图像的质量。相对的，对其他场景则无需调用本技术实施例提供的图像处理方法，可以减少功耗，降低成本。
[0113]
应理解，多帧图像可以是直接由图像传感器生成的图像，也可以是由对该图像进行一种或多种处理操作之后得到的图像。
[0114]
应理解，多帧图像包括2帧及2帧以上的图像。当多帧图像包括2帧以上的图像时，可以包括1帧环境光图像和多帧深红闪光图像，或者，也可以包括多帧环境光图像和1帧深红闪光图像，或者，也可以包括多帧环境光图像和多帧深红闪光图像。本技术实施例对此不进行任何限制。其中，多帧图像可以均为拜尔格式图像，也即，均为raw域的图像。或者，多帧图像可以均为rgb图像，也即，均为位于rgb域的图像。图4以多帧图像均为rgb图像为例进行说明。
[0115]
应理解，多帧图像是对同一待拍摄场景连续拍摄的图像。当连续进行拍摄时，可以先开启闪光灯采集深红闪光图像，再关闭闪光灯采集环境光图像，或者，也可以先不开启闪光采集环境光图像，再打开闪光采集深红闪光图像。对此，本技术实施例不进行任何限制。
[0116]
s120、确定深红闪光图像中各个颜色分别对应的第一单通道图像，以及确定环境光图像中各个颜色分别对应的第二单通道图像。
[0117]
其中，第一单通道图像用于表示深红闪光图像包括的每个像素中属于同一种颜色的通道信号所形成的图像，第二单通道图像用于表示环境光图像包括的每个像素中属于同一种颜色的通道信号的所形成的图像。
[0118]
应理解，深红闪光图像和环境光图像为rgb图像，深红闪光图像和环境光图像中的每个像素均包括三基色分量，也即每个像素均包括红色通道信号、绿色通道信号和蓝色通道信号。
[0119]
由此，确定的深红闪光图像中各个颜色分别对应的第一单通道图像包括第一红色通道图像、第一绿色通道图像和第一蓝色通道图像，其中，第一红色通道图像用于表示深红闪光图像包括的每个像素中的红色通道信号所形成的图像，第一绿色通道图像用于表示深红闪光图像包括的每个像素中的绿色通道信号所形成的图像，第一蓝色通道图像用于表示深红闪光图像包括的每个像素中的蓝色通道信号所形成的图像。可以理解为，第一红色通道图像中的每个像素仅对应深红闪光图像中相同位置处的红色通道信号，第一绿色通道图像中的每个像素仅对应深红闪光图像中相同位置处的绿色通道信号，第一蓝色通道图像中的每个像素仅对应深红闪光图像中相同位置处的蓝色通道信号。也可以理解为，深红闪光图像被拆分成了三个包含不同通道信息的图像。
[0120]
确定的环境光图像中各个颜色分别对应的第二通道图像包括第二红色通道图像、第二绿色通道图像和第二蓝色通道图像，其中，第二红色通道图像用于表示环境光图像包括的每个像素中的红色通道信号所形成的图像，第二绿色通道图像用于表示环境光图像包括的每个像素中的绿色通道信号所形成的图像，第二蓝色通道图像用于表示环境光图像包括的每个像素中的蓝色通道信号所形成的图像。可以理解为，第二红色通道图像中的每个像素仅对应环境光图像中相同位置处的红色通道信号，第二绿色通道图像中的每个像素仅对应环境光图像中相同位置处的绿色通道信号，第二蓝色通道图像中的每个像素仅对应环境光图像中相同位置处的蓝色通道信号。也可以理解为，环境光图像被拆分成了三个包含不同通道信息的图像。
[0121]
s130、确定第一红色通道图像和第二红色通道图像之间的曝光增益值。
[0122]
可选地，通过确定第一红色通道图像中所有红色通道信号的均值为第一值，以及确定第二红色通道图像中所有红色通道信号的均值为第二值，然后，确定第一值和第二值之间的倍数作为曝光增益值。
[0123]
当然，也可以通过确定其他数值的比值来确定曝光增益值，比如，通过确定第一红色通道图像中所有红色通道信号的众数为第一值，确定第二红色通道图像中所有红色通道信号的众数为第二值，然后，确定第一值和第二值之间的倍数作为曝光增益值，上述仅为一种示例，本技术实施例对此不进行任何限制。
[0124]
应理解，由于闪光灯打开时发出的光是深红光，仅对红色通道会造成影响，对绿色通道和蓝色通道不会造成影响，因此，可以通过第一红色通道图像和第二红色通道图像来确定闪光灯打开时亮度增大的倍数，进而可以将该增大倍数引用到没有增大的其他颜色通道上去，以对后续图像的颜色和色调进行校正。
[0125]
s140、将第一绿色通道图像与第二绿色通道图像进行配准，将第一蓝色通道图像与第二蓝色通道图像进行配准。
[0126]
可选地，配准方法可以为klt(kanade-lucas-tomasi)、sift(scale-invariant feature transform)、光流法等等。
[0127]
应理解，由于闪光灯打开时发出的光是深红光，对红色通道会产生明显增益，而对绿色通道和蓝色通道不会产生影响或产生的影响可忽略不计，因此，此处可以直接将第一绿色通道图像和第二绿色通道图像进行配准，将第一蓝色通道图像和第二蓝色通道图像进行配准，以提高后续图像的质量。
[0128]
s150、将曝光增益值应用于配准后的第一绿色通道图像上，得到绿色通道增强图像；将曝光增益值应用于配准后的第一蓝色通道图像上，得到蓝色通道增强图像。根据第一红色通道图像、绿色通道增强图像和蓝色通道增强图像，得到第一目标图像。
[0129]
应理解，将曝光增益值应用于配准后的第一绿色通道图像上，也就是说，将配准后的第一绿色通道图像中的每个绿色通道信号乘以曝光增益值，以与红色通道信号进行同等倍数的扩大。
[0130]
将曝光增益值应用于配准后的第一蓝色通道图像上，也就是说，将配准后的第一蓝色通道图像中的每个蓝色通道信号乘以曝光增益值，以与红色通道信号进行同等倍数的扩大。
[0131]
此处，将绿色通道和蓝色通道均按照红色通道的扩大倍数进行同等扩大，可以校
正第一目标图像的色温，使第一目标图像的色调与环境光图像的色调保持一致。
[0132]
示例性的，图5示意出了一种通道响应示意图。其中，横轴为亮度，纵轴为统计频率。
[0133]
如图5中的(b)所示，为闪光灯未打开时，采集的环境光图像所对应的通道响应示意图，从图中可以看出，采集的环境光图像中的红色分量(r1)、绿色分量(g1)和蓝色分量(b1)分布一致，颜色比较正常。
[0134]
如图5中的(a)所示，为闪光灯打开时，采集的深红闪光图像所对应的通道响应示意图，从图中可以看出，由于闪光灯对环境进行了深红光的补充，导致采集的深红闪光图像中红色分量(r2)相对于绿色分量(g2)和蓝色分量(b2)来说，相对较亮，色调偏暖。
[0135]
基于此，从环境光图像中提取对应的第二红色通道图像，如图5中的(d)所示，仅用于表示环境光图像中每个像素中的红色通道信息；从深红闪光图像中提取对应的第一红色通道图像，如图5中的(c)所示，仅用于表示深红闪光图像中每个像素中的红色通道信息。
[0136]
然后，根据第二红色通道图像和第一红色通道图像，可以确定出曝光增益值，再将该曝光增益值应用在深红闪光图像中的绿色通道和蓝色通道上，使其增大相同的倍数，由此，可以得到如图5中的(e)所示的第一目标图像，该第一目标图像包括的红色分量(r2/r3)、绿色分量(r3)和蓝色分量(b3)与环境光图像的色调将保持一致。
[0137]
s160、对第一目标图像和环境光图像进行色调映射(tone mapping)，确定第二目标图像。
[0138]
色调映射指对图像颜色进行映射变换，例如，可以通过色调映射调整第一目标图像和环境光图像中相同位置处的像素同一颜色通道的权重，使得融合后的第二目标图像色彩变化更加细腻，而经过色调映射处理后的第二目标图像也可以更好的表达原图里的信息与特征。
[0139]
此处，当利用曝光增益值对配准后的第一绿色通道信号和配准后的第一蓝色通道信号均进行增大之后，根据第一红色通道图像、绿色通道增强图像和蓝色通道增强图像得到的第一目标图像色调虽然可以与环境光图像的色调保持一致，但是，该过程是线性的变化，得到的第一目标图像仅满足电子设备的显示需求，不符合人眼的观看需求，可以认为第一目标图像是线性的rgb图像，因此，还需要对第一目标图像和环境光图像进行色调映射，使得融合后的第二目标图像可以为非线性的rgb图像，以提高用户的视觉体验。
[0140]
应理解，第二目标图像将被作为拍摄图像进行在电子设备的界面上进行显示，或者，仅进行存储，具体可以根据需要进行传输，本技术实施例对此不进行任何限制。
[0141]
还应理解，上述过程仅为一种示例，具体可以根据需要进行顺序上的调整，当然，还可以增加或减少步骤，本技术实施例对此不进行任何限制。
[0142]
本技术实施例提供了一种图像处理方法，通过利用发深红光的闪光灯进行补光，采集深红闪光图像，以及在闪光灯不发光时，采集环境光图像；然后，基于深红闪光图像对应的第一红色通道图像和环境光图像对应的第二红色通道图像，确定有补光时，红色通道信号所对应的曝光增益值；再将该曝光增益值应用于深红闪光图像对应的绿色通道和蓝色通道上，将该两个通道提高相同倍数，得到绿色通道增强图像和蓝色通道增强图像；然后，再将基于第一红色通道图像和绿色通道增强图像、蓝色通道增强图像确定的第一目标图像，再结合环境光图像进行色调映射处理，从而可以得到与环境光图像色调一致、高动态范
围的第二目标图像，从而可以避免在暗光场景或高动态范围场景中，采集的图像出现偏色、伪色和色温不准的问题。
[0143]
图6示出了本技术实施例提供的另一种图像处理方法的流程图。该方法应用于包括相机和闪光灯的电子设备，该闪光灯开启时发深红光。
[0144]
如图6所示，本技术实施例提供的图像处理方法可以包括以下s210至s260。下面对这些步骤进行详细的描述。
[0145]
s210、获取多帧图像。多帧图像包括环境光图像和深红闪光图像。
[0146]
此处，针对s210的描述与上述s110的描述相同，在此不再赘述。
[0147]
s220、确定深红闪光图像对应的第一红色通道图像和第一绿蓝通道图像，以及确定环境光图像对应的第二红色通道图像和第二蓝绿通道图像。
[0148]
应理解，深红闪光图像和环境光图像为rgb图像，深红闪光图像和环境光图像中的每个像素均包括三基色分量，也即每个像素均包括红色通道信号、绿色通道信号和蓝色通道信号。
[0149]
其中，第一红色通道图像用于表示深红闪光图像包括的每个像素中的红色通道信号所形成的图像，第一绿蓝通道图像用于表示深红闪光图像包括的每个像素中的绿色通道信号和蓝色通道信号所形成的图像。可以理解为，第一红色通道图像中的每个像素仅对应于深红闪光图像中相同位置处的红色通道信号，第一绿蓝通道图像中的每个像素对应于深红闪光图像中相同位置处的绿色和蓝色两个通道信号。也可以理解为，深红闪光图像被拆分成了两个包含不同通道信息的图像。
[0150]
第二红色通道图像用于表示环境光图像包括的每个像素中的红色通道信号所形成的图像，第二绿蓝通道图像用于表示环境光图像包括的每个像素中的绿色通道信号和蓝色通道信号所形成的图像。可以理解为，第二红色通道图像中的每个像素仅对应于环境光图像中相同位置处的红色通道信号，第二绿蓝通道图像中的每个像素对应于环境光图像中相同位置处的绿色和蓝色两个通道信号。也可以理解为，环境光图像被拆分成了两个包含不同通道信息的图像。
[0151]
s230、确定第一红色通道图像和第二红色通道图像之间的曝光增益值。
[0152]
其中，确定曝光增益值的方法可以参考s130中的描述，在此不再赘述。
[0153]
应理解，由于闪光灯打开时发出的光是深红光，仅对红色通道会造成影响，对绿蓝通道不会造成影响，因此，可以通过第一红色通道图像和第二红色通道图像来确定闪光灯打开时亮度增加的倍数，进而可以将该增大倍数引用到没有增大的其他颜色通道上去，以对后续图像的颜色进行校正。此处，由于闪光灯补的光对绿色通道和蓝色通道均没有影响，因此，可以在对深红闪光图像和环境光图像进行拆分时，将绿色通道和蓝色通道设置为一个能携带两个通道信息的绿蓝通道图像，以减少后续计算量，降低功耗。
[0154]
s240、将第一绿蓝通道图像与第二绿蓝通道图像进行配准。
[0155]
其中，配准方法可以参考s140中的描述，在此不再赘述。
[0156]
应理解，由于闪光灯打开时发出的光是深红光，仅对红色通道会造成影响，对绿色通道和蓝色通道不会造成影响，因此，可以直接将第一绿蓝通道图像和第二绿蓝通道图像进行配准，以提高后续图像的质量。
[0157]
s250、将曝光增益值应用于配准后的第一绿蓝通道图像上，得到绿蓝通道增强图
像。根据第一红色通道图像和绿蓝通道增强图像，得到第一目标图像。
[0158]
应理解，将曝光增益值应用于配准后的第一绿蓝通道图像上，也就是说，将配准后的第一绿蓝通道图像中的每个绿色通道信号和蓝色通道信号均乘以曝光增益值，以与红色通道信号进行同等比例的倍数的扩大。
[0159]
此处，将绿色通道和蓝色通道均按照红色通道的扩大倍数进行同等扩大，可以校正第一目标图像的色温，使第一目标图像中的色调与环境光图像的色调保持一致。
[0160]
s260、对第一目标图像和环境光图像进行色调映射，确定第二目标图像。
[0161]
其中，色调映射的方法可以参考s160中的描述，在此不再赘述。
[0162]
此处，当利用曝光增益值对配准后的第一绿蓝通道图像进行增大之后，根据第一红色通道图像和绿蓝通道增强图像得到的第一目标图像色调虽然可以与环境光图像的色调保持一致，但是，该过程是线性的变化，得到的第一目标图像仅满足电子设备的显示需求，不符合人眼的观看需求，可以认为第一目标图像是线性的rgb图像，因此，还需要对第一目标图像和环境光图像进行色调映射，使得融合后的第二目标图像可以为非线性的rgb图像，以提高用户的视觉体验。
[0163]
应理解，第二目标图像将被作为拍摄图像进行在电子设备的界面上进行显示，或者，仅进行存储，具体可以根据需要进行传输，本技术实施例对此不进行任何限制。
[0164]
还应理解，上述过程仅为一种示例，具体可以根据需要进行顺序上的调整，当然，还可以增加或减少步骤，本技术实施例对此不进行任何限制。
[0165]
本技术实施例提供了一种图像处理方法，通过利用发深红光的闪光灯进行补光，采集深红闪光图像，以及在闪光灯不发光时，采集环境光图像；然后，基于深红闪光图像对应的第一红色通道图像和环境光图像对应的第二红色通道图像，确定有补光时，红色通道信号所对应的曝光增益值；再将该曝光增益值应用于深红闪光图像对应的绿色通道和蓝色通道上，将该两个通道提高相同倍数，得到绿蓝通道增强图像；然后，再将基于第三蓝色通道图像和绿蓝通道增强图像确定的第一目标图像，结合环境光图像进行色调映射处理，得到与环境光图像色调一致、高动态范围的第二目标图像，从而可以避免在暗光场景或高动态范围场景中，采集的图像出现偏色、伪色和色温不准的问题。
[0166]
图7示出了本技术实施例提供的又一种图像处理方法的流程图。该方法应用于包括相机和闪光灯的电子设备。该闪光灯开启发深蓝光。
[0167]
可选地，闪光灯发深蓝光时，对应的内部结构可以包括白色光源和深蓝滤光片，利用白色光源发的白光照射深蓝滤光片，透过的深蓝光将作为闪光灯对外出射的光线。或者，闪光灯对应的内部结构可以包括深蓝二极管，深蓝二极管用于发射深蓝光。
[0168]
其中，闪光灯发深蓝光时所对应的波长范围例如为450nm至490nm，当然，也可以为其他波长范围，本技术实施例对此不进行任何限制。
[0169]
如图7所示，本技术实施例提供的图像处理方法可以包括以下s310至s360。下面对这些步骤进行详细的描述。
[0170]
s310、获取多帧图像。多帧图像包括环境光图像和深蓝闪光图像。
[0171]
其中，深蓝闪光图像为闪光灯开启时相机拍摄的图像。
[0172]
其他介绍可以参考上述s110的描述，在此不再赘述。
[0173]
s320、确定深蓝闪光图像中各个颜色分别对应的第三单通道图像，以及确定环境
光图像各个颜色分别对应的第二单通道图像。
[0174]
其中，第三单通道图像用于表示深蓝闪光图像包括的每个像素中属于同一种颜色的通道信号所形成的图像。
[0175]
应理解，深蓝闪光图像为rgb图像，深蓝闪光图像中的每个像素均包括三基色分量，也即每个像素均包括红色通道信号、绿色通道信号和蓝色通道信号。
[0176]
由此，确定的深蓝闪光图像中各个颜色分别对应的第三单通道图像包括第三红色通道图像、第三绿色通道图像和第三蓝色通道图像，其中，第三红色通道图像用于表示深蓝闪光图像包括的每个像素中的红色通道信号所形成的图像，第三蓝色通道图像用于表示深蓝闪光图像包括的每个像素中的蓝色通道信号所形成的图像。可以理解为，第三红色通道图像中的每个像素仅对应深蓝闪光图像中相同位置处的蓝色通道信号，第三绿色通道图像中的每个像素仅对应的深蓝闪光图像中的相同位置处的绿色通道信号，第三蓝色通道图像中的每个像素仅对应深蓝闪光图像中相同位置处的蓝色通道信号。也可以理解为，深蓝闪光图像被拆分成了三个通道颜色不同的图像。
[0177]
其中介绍可以参考上述s120中的描述，在此不再赘述。
[0178]
s330、确定第三蓝色通道图像和第二蓝色通道图像之间的曝光增益值。
[0179]
确定曝光增益值的方法可以参考上述s130中的描述，在此不再赘述。
[0180]
应理解，由于闪光灯打开时发出的光是深蓝光，仅对蓝色通道会造成影响，对红色通道和蓝色通道不会造成影响，因此，可以通过第三蓝色通道图像和第二蓝色通道图像来确定闪光灯打开时亮度增大的倍数，进而可以将该增大倍数引用到没有增大的其他颜色通道上去，以对后续图像的颜色和色调进行校正。
[0181]
s340、将第三红色通道图像和第二红色通道图像进行配准，将第三绿色通道图像和第二绿色通道图像进行配准。
[0182]
配准的方法可以参考上述s140中的描述，在此不再赘述。
[0183]
应理解，由于闪光灯打开时发出的光是深蓝光，仅对蓝色通道会造成影响，对红色通道和绿色通道不会造成影响，因此，可以直接将第三红色通道图像和第二红色通道图像进行配准，将第三绿色通道图像和第二绿色通道图像进行配准，以提高后续图像的质量。
[0184]
s350、将曝光增益值应用于配准后的第三红色通道图像上，得到红色通道增强图像；将曝光增益值应用于配准后的第三绿色通道图像上，得到绿色通道增强图像。根据第三蓝色通道图像、红色通道增强图像和绿色通道增强图像，得到第三目标图像。
[0185]
应理解，将曝光增益应用于配准后的第三红色通道图像上，也就是说，将配准后的第三红色通道图像中的每个红色通道信号乘以曝光增益值，以与蓝色通道信号进行同等倍数的扩大。
[0186]
将曝光增益值应用于配准后的第三绿色通道图像上，也就是说，将配准后的第三绿色通道图像中的每个绿色通道信号乘以曝光增益值，以与蓝色通道信号进行同等倍数的扩大。
[0187]
此处，将红色通道和绿色通道均按照蓝色通道的扩大倍数进行同等扩大，可以校正第三目标图像的色温，使第三目标图像的色调与环境观图像的色调保持一致。
[0188]
s360、对第三目标图像和环境光图像进行色调映射，确定第四目标图像。
[0189]
具体描述可以参考上述s160中的描述，在此不再赘述。
[0190]
应理解，第四目标图像将被作为拍摄图像进行在电子设备的界面上进行显示，或者，仅进行存储，具体可以根据需要进行传输，本技术实施例对此不进行任何限制。
[0191]
还应理解，上述过程仅为一种示例，具体可以根据需要进行顺序上的调整，当然，还可以增加或减少步骤，本技术实施例对此不进行任何限制。
[0192]
本技术实施例提供了一种图像处理方法，通过利用发深蓝光的闪光灯进行补光，采集深蓝闪光图像，以及在闪光灯不发光时，采集环境光图像；然后，基于深蓝闪光图像对应的第三蓝色通道图像和环境光图像对应的第二蓝色通道图像，确定有补光时，蓝色通道信号所对应的曝光增益值；再将该曝光增益值应用于深蓝闪光图像对应的红色通道和绿色通道上，将该两个通道提高相同倍数，得到红色通道增强图像和绿色通道增强图像；然后，再将基于第三蓝色通道图像和红色通道增强图像、绿色通道增强图像确定的第三目标图像，再结合环境光图像进行色调映射处理，从而可以得到与环境光图像色调一致、高动态范围的第四目标图像，从而可以避免在暗光场景或高动态范围场景中，采集的图像出现偏色、伪色和色温不准的问题。
[0193]
图8示出了本技术实施例提供的又一种图像处理方法的流程图像。该方法应用于包括相机和闪光灯的电子设备。该闪光灯开启发深蓝光。
[0194]
如图8所示，本技术实施例提供的图像处理方法可以包括以下s410至s460。下面对这些步骤进行详细的描述。
[0195]
s410、获取多帧图像。多帧图像包括环境光图像和深蓝闪光图像。
[0196]
其中，深蓝闪光图像为闪光灯开启时相机拍摄的图像。
[0197]
其他介绍可以参考上述s110的描述，在此不再赘述。
[0198]
s420、确定深蓝闪光图像对应的第三蓝色通道图像和第三红绿通道图像，以及确定环境光图像对应的第二蓝色通道图像和第二红绿通道图像。
[0199]
应理解，深蓝闪光图像和环境光图像为rgb图像，深蓝闪光图像和环境光图像中的每个像素均包括三基色分量，也即每个像素均包括红色通道信号、绿色通道信号和蓝色通道信号。
[0200]
其中，第三蓝色通道图像用于表示深蓝闪光图像包括的每个像素中的蓝色通道信号所形成的图像，第三红绿通道图像用于表示深蓝闪光图像包括的每个像素中的红色通道信号和绿色通道信号所形成的图像。可以理解为，第三蓝色通道图像中的每个像素对应于深蓝闪光图像中相同维持处的蓝色通道信号，第三红绿通道图像中的每个像素对应于深蓝闪光图像中相同位置处的红色和绿色两个通道信号。也可以理解为，深蓝闪光图像被拆分成了两个包含不同通道信息的图像。
[0201]
第二蓝色通道图像用于表示环境光图像包括的每个像素中的蓝色通道信号所形成的图像，第二红绿通道图像用于表示环境光图像包括的每个像素中的红色通道信号和绿色通道信号所形成的图像。可以理解为，第二蓝色通道图像中的每个像素仅对应于环境光图像中相同位置处的蓝色通道信号，第二红绿通道图像中的每个像素对应于环境光图像中相同位置处的红色和绿色两个通道信号。也可以理解为，环境光图像被拆分成了两个包含不同通道信息的图像。
[0202]
s430、确定第三蓝色通道图像和第二蓝色通道图像之间的曝光增益值。
[0203]
其中，确定曝光增益值的方法可以参考s130中的描述，在此不再赘述。
[0204]
应理解，由于闪光灯打开时发出的光是深蓝光，仅对蓝色通道会造成影响，对绿蓝通道图像不会造成影响，因此，可以通过第三蓝色通道图像和第二蓝色通道图像来确定闪光灯打开时亮度增加的倍数，进而可以将该增大倍数引用到没有增大的其他颜色通道上去，以对后续图像的颜色进行校正。此处，由于闪光灯补的光对红色通道和绿色通道均没有影响，因此，可以在对深红闪光图像和环境光图像进行拆分时，将红色通道和绿色通道设置为一个能携带两个通道信息的红绿通道图像，以减少后续计算量，降低功耗。
[0205]
s440、将第三红绿通道图像与第二红绿通道图像进行配准。
[0206]
其中，配准方法可以参考s140中的描述，在此不再赘述。
[0207]
应理解，由于闪光灯打开时发出的光是深蓝光，仅对蓝色通道会造成影响，对红色通道和绿色通道不会造成影响，因此，可以直接将第三红绿通道图像和第二红绿通道图像进行配准，以提高后续图像的质量。
[0208]
s450、将曝光增益值应用于配准后的第三红绿通道图像上，得到红绿通道增强图像。根据第三蓝色通道图像和红绿通道增强图像，得到第三目标图像。
[0209]
应理解，将曝光增益值应用于配准后的第三红绿通道图像上，也就是说，将配准后的第三红绿通道图像中的每个红色通道信号和绿色通道信号均乘以曝光增益值，以与蓝色通道信号进行同等比例的倍数的扩大。
[0210]
此处，将红色通道和绿色通道均按照蓝色通道的扩大倍数进行同等扩大，可以校正第三目标图像的色温，使第三目标图像中的色调与环境光图像的色调保持一致。
[0211]
s460、对第三目标图像和环境光图像进行色调映射，确定第四目标图像。
[0212]
其中，色调映射的方法可以参考s160中的描述，在此不再赘述。
[0213]
此处，当利用曝光增益值对配准后的第三红绿通道图像进行增大之后，根据第三蓝色通道图像和红绿通道增强图像得到的第三目标图像色调虽然可以与环境光图像的色调保持一致，但是，该过程是线性的变化，得到的第三目标图像仅满足电子设备的显示需求，不符合人眼的观看需求，可以认为第三目标图像是线性的rgb图像，因此，还需要对第三目标图像和环境光图像进行色调映射，使得融合后的第四目标图像可以为非线性的rgb图像，以提高用户的视觉体验。
[0214]
应理解，第四目标图像将被作为拍摄图像进行在电子设备的界面上进行显示，或者，仅进行存储，具体可以根据需要进行传输，本技术实施例对此不进行任何限制。
[0215]
还应理解，上述过程仅为一种示例，具体可以根据需要进行顺序上的调整，当然，还可以增加或减少步骤，本技术实施例对此不进行任何限制。
[0216]
本技术实施例提供了一种图像处理方法，通过利用发深蓝光的闪光灯进行补光，采集深蓝闪光图像，以及在闪光灯不发光时，采集环境光图像；然后，基于深蓝闪光图像对应的第三蓝色通道图像和环境光图像对应的第二蓝色通道图像，确定有补光时，蓝色通道信号所对应的曝光增益值；再将该曝光增益值应用于深蓝闪光图像对应的红色通道和绿色通道上，将该两个通道提高相同倍数，得到红绿通道增强图像；然后，再将基于第三蓝色通道图像和红绿通道增强图像确定的第三目标图像，结合环境光图像进行色调映射处理，得到与环境光图像色调一致、高动态范围的第四目标图像，从而可以避免在暗光场景或高动态范围场景中，采集的图像出现偏色、伪色和色温不准的问题。
[0217]
基于上述可知，在光照度较低的夜景环境中，若直接进行拍摄，得到的图像质量会
非常差，那么，在现有技术中，通常会利用白色闪光灯进行补光，并利用现有的图像处理方法，对采集的多帧图像(包括白色闪光图像和环境光图像)进行融合处理。此时，由于光照度较低，白色闪光进行的白色光的补光，使得融合图像的每种颜色通道的增益不同，从而使得融合图像中的部分区域出现了偏色、色温改变的问题，进而导致用户体验非常不好。
[0218]
而当利用本技术实施例提供的深红闪光灯进行补光，并利用本技术实施例提供的图像处理方法对多帧图像(包括深红闪光图像和环境光图像)进行处理时，此时，由于深红闪光图像相对于环境光图像仅改变了红色通道信息，因此，可以通过确定红色通道的增长倍数，来对其他颜色通道进行同等倍数的扩大，由此，可以很好地还原出真实场景的颜色和色温，避免出现偏色、伪色和色温不准等问题，提高融合之后的得到的目标图像的质量，提高用户体验。
[0219]
上文结合图1至图8详细描述了本技术实施例提供的图像处理方法以及相关的显示界面和效果图；下面将结合图9至图12详细描述本技术实施例提供的电子设备、装置和芯片。应理解，本技术实施例中的电子设备、装置和芯片可以执行前述本技术实施例的各种图像处理方法，即以下各种产品的具体工作过程，可以参考前述方法实施例中的对应过程。
[0220]
图9示出了一种适用于本技术的电子设备的结构示意图。电子设备100可以用于实现上述方法实施例中描述的方法。
[0221]
电子设备100可以是手机、智慧屏、平板电脑、可穿戴电子设备、车载电子设备、增强现实(augmented reality，ar)设备、虚拟现实(virtual reality，vr)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本、个人数字助理(personal digital assistant，pda)、投影仪等等，本技术实施例对电子设备100的具体类型不作任何限制。
[0222]
电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，usb)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，sim)卡接口195等。其中传感器模块180可以包括压力传感器180a，陀螺仪传感器180b，气压传感器180c，磁传感器180d，加速度传感器180e，距离传感器180f，接近光传感器180g，指纹传感器180h，温度传感器180j，触摸传感器180k，环境光传感器180l，骨传导传感器180m等。
[0223]
需要说明的是，图9所示的结构并不构成对电子设备100的具体限定。在本技术另一些实施例中，电子设备100可以包括比图9所示的部件更多或更少的部件，或者，电子设备100可以包括图9所示的部件中某些部件的组合，或者，电子设备100可以包括图9所示的部件中某些部件的子部件。图9示的部件可以以硬件、软件、或软件和硬件的组合实现。
[0224]
处理器110可以包括一个或多个处理单元。例如，处理器110可以包括以下处理单元中的至少一个：应用处理器(application processor，ap)、调制解调处理器、图形处理器(graphics processing unit，gpu)、图像信号处理器(image signal processor，isp)、控制器、视频编解码器、数字信号处理器(digital signal processor，dsp)、基带处理器、神经网络处理器(neural-network processing unit，npu)。其中，不同的处理单元可以是独立的器件，也可以是集成的器件。
[0225]
控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
[0226]
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
[0227]
电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
[0228]
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
[0229]
电子设备100通过gpu，显示屏194，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏194和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
[0230]
显示屏194用于显示图像，视频等。
[0231]
isp用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给isp处理，转化为肉眼可见的图像。isp可以对图像的噪点、亮度和色彩进行算法优化，isp还可以优化拍摄场景的曝光和色温等参数。在一些实施例中，isp可以设置在摄像头193中。
[0232]
摄像头193用于捕获图像或视频。可以通过应用程序指令触发开启，实现拍照功能，如拍摄获取任意场景的图像。摄像头可以包括成像镜头、滤光片、图像传感器等部件。物体发出或反射的光线进入成像镜头，通过滤光片，最终汇聚在图像传感器上。图像传感器主要是用于对拍照视角中的所有物体(也可称为待拍摄场景、目标场景，也可以理解为用户期待拍摄的场景图像)发出或反射的光汇聚成像；滤光片主要是用于将光线中的多余光波(例如除可见光外的光波，如红外)滤去；图像传感器主要是用于对接收到的光信号进行光电转换，转换成电信号，并输入处理器130进行后续处理。其中，摄像头193可以位于电子设备100的前面，也可以位于电子设备100的背面，摄像头的具体个数以及排布方式可以根据需求设置，本技术不做任何限制。
[0233]
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
[0234]
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，mpeg)1、mpeg2、mpeg3和mpeg4。
[0235]
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储
器件，闪存器件，通用闪存存储器(universal flash storage，ufs)等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备100的各种功能应用以及数据处理。
[0236]
内部存储器121还可以存储本技术实施例提供的图像处理方法的软件代码，当处理器110运行所述软件代码时，执行图像处理方法的流程步骤，得到清晰度较高的图像。
[0237]
内部存储器121还可以存储拍摄得到的图像。
[0238]
外部存储器接口120可以用于连接外部存储卡，例如micro sd卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐等文件保存在外部存储卡中。
[0239]
当然，本技术实施例提供的图像处理方法的软件代码也可以存储在外部存储器中，处理器110可以通过外部存储器接口120运行所述软件代码，执行图像处理方法的流程步骤，得到清晰度较高的图像。电子设备100拍摄得到的图像也可以存储在外部存储器中。
[0240]
应理解，用户可以指定将图像存储在内部存储器121还是外部存储器中。比如，电子设备100当前与外部存储器相连接时，若电子设备100拍摄得到1帧图像时，可以弹出提示信息，以提示用户将图像存储在外部存储器还是内部存储器；当然，还可以有其他指定方式，本技术实施例对此不进行任何限制；或者，电子设备100检测到内部存储器121的内存量小于预设量时，可以自动将图像存储在外部存储器中。
[0241]
电子设备100可以通过音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，以及应用处理器等实现音频功能。例如音乐播放，录音等。
[0242]
压力传感器180a用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180a可以设置于显示屏194。压力传感器180a的种类很多，例如可以是电阻式压力传感器、电感式压力传感器或电容式压力传感器。电容式压力传感器可以是包括至少两个具有导电材料的平行板，当力作用于压力传感器180a，电极之间的电容改变，电子设备100根据电容的变化确定压力的强度。当触摸操作作用于显示屏194时，电子设备100根据压力传感器180a检测所述触摸操作。电子设备100也可以根据压力传感器180a的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令；当触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。
[0243]
陀螺仪传感器180b可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180b确定电子设备100围绕三个轴(即，x轴、y轴和z轴)的角速度。陀螺仪传感器180b可以用于拍摄防抖。例如，当快门被按下时，陀螺仪传感器180b检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180b还可以用于导航和体感游戏等场景。
[0244]
气压传感器180c用于测量气压。在一些实施例中，电子设备100通过气压传感器180c测得的气压值计算海拔高度，辅助定位和导航。
[0245]
磁传感器180d包括霍尔传感器。电子设备100可以利用磁传感器180d检测翻盖皮套的开合。在一些实施例中，当电子设备100是翻盖机时，电子设备100可以根据磁传感器180d检测翻盖的开合。电子设备100可以根据检测到的皮套的开合状态或翻盖的开合状态，
设置翻盖自动解锁等特性。
[0246]
加速度传感器180e可检测电子设备100在各个方向上(一般为x轴、y轴和z轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。加速度传感器180e还可以用于识别电子设备100的姿态，作为横竖屏切换和计步器等应用程序的输入参数。
[0247]
距离传感器180f用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，例如在拍摄场景中，电子设备100可以利用距离传感器180f测距以实现快速对焦。
[0248]
接近光传感器180g可以包括例如发光二极管(light-emitting diode，led)和光检测器，例如，光电二极管。led可以是红外led。电子设备100通过led向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到反射光时，电子设备100可以确定附近存在物体。当检测不到反射光时，电子设备100可以确定附近没有物体。电子设备100可以利用接近光传感器180g检测用户是否手持电子设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180g也可用于皮套模式或口袋模式的自动解锁与自动锁屏。
[0249]
环境光传感器180l用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180l也可用于拍照时自动调节白平衡。环境光传感器180l还可以与接近光传感器180g配合，检测电子设备100是否在口袋里，以防误触。
[0250]
指纹传感器180h用于采集指纹。电子设备100可以利用采集的指纹特性实现解锁、访问应用锁、拍照和接听来电等功能。
[0251]
温度传感器180j用于检测温度。在一些实施例中，电子设备100利用温度传感器180j检测的温度，执行温度处理策略。例如，当温度传感器180j上报的温度超过阈值，电子设备100执行降低位于温度传感器180j附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子设备100对电池142加热，以避免低温导致电子设备100异常关机。在其他一些实施例中，当温度低于又一阈值时，电子设备100对电池142的输出电压执行升压，以避免低温导致的异常关机。
[0252]
触摸传感器180k，也称为触控器件。触摸传感器180k可以设置于显示屏194，由触摸传感器180k与显示屏194组成触摸屏，触摸屏也称为触控屏。触摸传感器180k用于检测作用于其上或其附近的触摸操作。触摸传感器180k可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180k也可以设置于电子设备100的表面，并且与显示屏194设置于不同的位置。
[0253]
骨传导传感器180m可以获取振动信号。在一些实施例中，骨传导传感器180m可以获取人体声部振动骨块的振动信号。骨传导传感器180m也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器180m也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180m获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器180m获取的血压跳动信号解析心率信息，实现心率检测功能。
[0254]
按键190包括开机键和音量键。按键190可以是机械按键，也可以是触摸式按键。电子设备100可以接收按键输入信号，实现于案件输入信号相关的功能。
[0255]
马达191可以产生振动。马达191可以用于来电提示，也可以用于触摸反馈。马达191可以对作用于不同应用程序的触摸操作产生不同的振动反馈效果。对于作用于显示屏194的不同区域的触摸操作，马达191也可产生不同的振动反馈效果。不同的应用场景(例如，时间提醒、接收信息、闹钟和游戏)可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
[0256]
指示器192可以是指示灯，可以用于指示充电状态和电量变化，也可以用于指示消息、未接来电和通知。
[0257]
在本技术实施例中，摄像头193可以捕获多帧图像，处理器110对该多帧图像进行图像处理，图像处理可以包括色调映射等，通过该图像处理，得到具有较好的色彩效果的目标图像。然后，处理器110可以控制显示屏194呈现处理后的目标图像，该目标图像即为光照度较低的场景下或高动态范围场景下拍摄得到的图像。
[0258]
上文详细描述了电子设备100的硬件系统，下面介绍电子设备100的软件系统。软件系统可以采用分层架构、事件驱动架构、微核架构、微服务架构或云架构，本技术实施例以分层架构为例，示例性地描述电子设备100的软件系统。
[0259]
如图10所示，采用分层架构的软件系统分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，软件系统可以分为五层，从上至下分别为应用层210、应用框架层220、硬件抽象层230、驱动层240以及硬件层250。
[0260]
应用层210可以包括相机、图库，还可以包括日历、通话、地图、导航、wlan、蓝牙、音乐、视频、短信息等应用程序。
[0261]
应用框架层220为应用层210的应用程序提供应用程序访问接口和编程框架。
[0262]
例如，应用框架层包括相机访问接口，该相机访问接口用于通过相机管理和相机设备来提供相机的拍摄服务。
[0263]
应用框架层220中的相机管理用于管理相机。相机管理可以获取相机的参数，例如判断相机的工作状态等。
[0264]
应用框架层220中的相机设备用于提供不用相机设备以及相机管理之间的数据访问接口。
[0265]
硬件抽象层230用于将硬件抽象化。比如，硬件抽象层可以包相机硬件抽象层以及其他硬件设备抽象层；相机硬件抽象层中可以包括相机设备1、相机设备2等；相机硬件抽象层可以与相机算法库相连接，相机硬件抽象层可以调用相机算法库中的算法。
[0266]
驱动层240用于为不同的硬件设备提供驱动。比如，驱动层可以包括相机驱动；数字信号处理器驱动以及图形处理器驱动。
[0267]
硬件层250可以包括传感器、图像信号处理器、数字信号处理器、图形处理器以及其他硬件设备。其中，传感器可以包括传感器1、传感器2等，还可以包括深度传感器(time of flight，tof)和多光谱传感器等，对此，本技术实施例没有任何限制。
[0268]
下面结合显示拍照场景，示例性说明电子设备100的软件系统的工作流程。
[0269]
当用户在触摸传感器180k上进行单击操作时，相机app被单击操作唤醒后，通过相机访问接口调用相机硬件抽象层的各个相机设备。示例性的，相机硬件抽象层可以通过向相机设备驱动下发调用某一摄像头的指令，同时相机算法库开始加载本技术实施例所利用的图像处理方法。
[0270]
当硬件层的传感器被调用时，例如，调用某一摄像头中的传感器1获取环境光图像；当硬件层的闪光灯和传感器被调用时，获取深红闪光图像。将该多帧图像(包括环境光图像和深红闪光图像)经图像信号处理器处理后返回给硬件抽象层，利用加载的相机算法库中的图像处理方法进行配准、色调映射等处理，生成第二目标图像。
[0271]
将得到的第二目标图像经相机硬件抽象层、相机访问接口发送回相机应用进行显示和存储。
[0272]
下面将结合图11详细描述本技术的装置实施例。应理解，本技术实施例中的装置可以执行前述本技术实施例的各种方法，即以下各种产品的具体工作过程，可以参考前述方法实施例中的对应过程。
[0273]
图11是本技术实施例提供的一种图像处理装置300的结构示意图。该图像处理装置300包括获取模块310与处理模块320。
[0274]
其中，处理模块320用于检测到第一操作；响应于第一操作，开启相机；确定是否符合第一预设条件。
[0275]
获取模块310用于在符合第一预设条件时，采集多帧图像，多帧图像包括环境光图像和深红闪光图像，环境光图像为闪光灯未开启时相机拍摄的图像，深红闪光图像为闪光灯开启时所述相机拍摄的图像。
[0276]
处理模块320用于根据多帧图像，得到第一目标图像。
[0277]
可选地，作为一种实施例，处理模块320还用于：
[0278]
确定深红闪光图像对应的第一红色通道图像、第一绿色通道图像和第一蓝色通道图像，以及环境光图像对应的第二红色通道图像；根据第一红色通道图像和第二红色通道图像，确定曝光增益值；根据第一绿色通道图像和曝光增益值，确定绿色通道增强图像；根据第一蓝色通道图像和曝光增益值，确定蓝色通道增强图像；根据第一红色通道图像、绿色通道增强图像和蓝色通道增强图像，确定第一目标图像。
[0279]
可选地，作为一种实施例，处理模块320还用于：确定环境光图像对应的第二绿色通道图像和第二蓝色通道图像；将第一绿色通道图像与第二绿色通道图像进行配准，将第一蓝色通道图像与第二蓝色通道图像进行配准；根据配准后的第一绿色通道图像和曝光增益值，确定绿色通道增强图像；根据配准后的第一蓝色通道图像和曝光增益值，确定蓝色通道增强图像。
[0280]
可选地，作为一种实施例，处理模块320还用于：确定深红闪光图像对应的第一红色通道图像和第一绿蓝通道图像，以及环境光图像对应的第二红色通道图像；根据第一红色通道图像和第二红色通道图像，确定曝光增益值；根据第一绿蓝通道图像和曝光增益值，确定绿蓝通道增强图像；根据第一红色通道图像和绿蓝通道增强图像，确定第一目标图像。
[0281]
可选地，作为一种实施例，处理模块320还用于：确定环境光图像对应的第二绿蓝通道图像；将第一绿蓝通道图像与第二绿蓝通道图像进行配准；根据第一绿蓝通道图像和曝光增益值，确定绿蓝通道增强图像；根据配准后的第一绿蓝通道图像和曝光增益值，确定绿蓝通道增强图像。
[0282]
可选地，作为一种实施例，处理模块320还用于：对环境光图像和第一目标图像进行色调映射，确定第二目标图像。
[0283]
可选地，作为一种实施例，处理模块320还用于：确定第一红色通道图像中所有红
色通道信号的均值为第一值；确定第二红色通道图像中所有红色通道信号的均值为第二值；确定第一值和第二值的比值为曝光增益值。
[0284]
可选地，配准为klt(kanade-lucas-tomasi)、sift(scale-invariant feature transform)、光流法等中的任意一种。
[0285]
需要说明的是，上述图像处理装置300以功能模块的形式体现。这里的术语“模块”可以通过软件和/或硬件形式实现，对此不作具体限定。
[0286]
例如，“模块”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit，asic)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。
[0287]
因此，在本技术的实施例中描述的各示例的单元，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0288]
本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机指令；当所述计算机可读存储介质在折叠屏夹角的确定装置上运行时，使得该图像处理装置300执行前述所示的图像处理方法。
[0289]
所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。
[0290]
本技术实施例还提供了一种包含计算机指令的计算机程序产品，当其在图像处理装置300上运行时，使得图像处理装置300可以执行前述所示的图像处理方法。
[0291]
图12为本技术实施例提供的一种芯片的结构示意图。图12所示的芯片可以为通用处理器，也可以为专用处理器。该芯片包括处理器401。其中，处理器401用于支持图像处理装置300执行前述所示的技术方案。
[0292]
可选的，该芯片还包括收发器402，收发器402用于接受处理器401的控制，用于支持图像处理装置300执行前述所示的技术方案。
[0293]
可选的，图12所示的芯片还可以包括：存储介质403。
[0294]
需要说明的是，图12所示的芯片可以使用下述电路或者器件来实现：一个或多个现场可编程门阵列(field programmable gate array，fpga)、可编程逻辑器件(programmable logic device，pld)、控制器、状态机、门逻辑、分立硬件部件、任何其他适合的电路、或者能够执行本技术通篇所描述的各种功能的电路的任意组合。
[0295]
上述本技术实施例提供的电子设备、图像处理装置300、计算机存储介质、计算机程序产品、芯片均用于执行上文所提供的方法，因此，其所能达到的有益效果可参考上文所
提供的方法对应的有益效果，在此不再赘述。
[0296]
应理解，上述只是为了帮助本领域技术人员更好地理解本技术实施例，而非要限制本技术实施例的范围。本领域技术人员根据所给出的上述示例，显然可以进行各种等价的修改或变化，例如，上述检测方法的各个实施例中某些步骤可以是不必须的，或者可以新加入某些步骤等。或者上述任意两种或者任意多种实施例的组合。这样的修改、变化或者组合后的方案也落入本技术实施例的范围内。
[0297]
还应理解，上文对本技术实施例的描述着重于强调各个实施例之间的不同之处，未提到的相同或相似之处可以互相参考，为了简洁，这里不再赘述。
[0298]
还应理解，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0299]
还应理解，本技术实施例中，“预先设定”、“预先定义”可以通过在设备(例如，包括电子设备)中预先保存相应的代码、表格或其他可用于指示相关信息的方式来实现，本技术对于其具体的实现方式不做限定。
[0300]
还应理解，本技术实施例中的方式、情况、类别以及实施例的划分仅是为了描述的方便，不应构成特别的限定，各种方式、类别、情况以及实施例中的特征在不矛盾的情况下可以相结合。
[0301]
还应理解，在本技术的各个实施例中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。
[0302]
最后应说明的是：以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何在本技术揭露的技术范围内的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。