频闪图像处理方法、装置、电子设备和可读存储介质与流程

1.本技术属于图像处理技术领域，具体涉及一种频闪图像处理方法、装置、电子设备和可读存储介质。


背景技术：

2.在相关技术中，在受频闪灯光影响的拍摄环境下，容易拍摄出频闪图片，即图片中出现黑白条纹。
3.为了克服该问题，相关技术中可以通过硬件估计出当前频闪灯光的闪光频率，通过设置快门时间为频闪周期的1或2倍，以避免拍摄出的图片出现的色带(banding)现象。
4.但是，在拍摄运动的物体的时候，需要通过提升快门速度来提高拍摄图像的清晰度，而用于克服拍摄出的图片出现的banding现象的快门时间不能够满足拍摄运动物体的快门时间，当运动物体的运动速度过快时，会使图像中的运动物体模糊，无法满足快速运动物体的拍摄清晰需求。
5.此外，相关技术中还可以采用深度学习的原始图像文件(raw)域图像处理方案，针对全图进行色带(banding)消除处理，该方案中是对全图进行banding消除。但是，banding条纹区域因为亮度教暗，所以其噪声较大，若对全图进行banding消除，容易使得banding消除后亮度教暗区域的噪声暴露及丢失原图画质。
6.综上，相关技术中的去闪屏的方法的性能较差。


技术实现要素：

7.本技术实施例的目的是提供一种频闪图像处理方法、装置、电子设备和可读存储介质，能够在消除图像中的banding条纹的过程中，降低亮度教暗区域的噪声暴露，以及减少原图画质的丢失，从而具有良好的去频闪条纹(debanding)效果。
8.第一方面，本技术实施例提供了一种频闪图像处理方法，该方法包括：
9.获取频闪光源下拍摄得到的第一图像，所述第一图像包括色带，所述第一图像为原始raw域图像；
10.对所述第一图像进行高低频图像分离，得到第一高频图像和第一低频图像；
11.根据所述第一低频图像，确定目标掩码，其中，所述目标掩码中的掩码值与所述掩码值在所述第一低频图像中对应的区域的亮度以及色带程度负相关；
12.根据所述目标掩码对所述第一低频图像中的色带进行过滤处理，得到第二低频图像，其中，所述第二低频图像中位于第一区域内的raw域数值比所述第一低频图像中位于第二区域内的raw域数值大，所述第一区域包括色带所在区域且不包括暗区所在区域，所述暗区为亮度值小于预设亮度阈值的区域，所述第一区域与所述第二区域对应；
13.将所述第二低频图像和所述第一高频图像进行叠加处理，得到输出图像。
14.第二方面，本技术实施例提供了一种频闪图像处理装置，该装置包括：
15.获取模块，用于获取频闪光源下拍摄得到的第一图像，所述第一图像包括色带，所
述第一图像为原始raw域图像；
16.第一处理模块，用于对所述第一图像进行高低频图像分离，得到第一高频图像和第一低频图像；
17.确定模块，用于根据所述第一低频图像，确定目标掩码，其中，所述目标掩码中的掩码值与所述掩码值在所述第一低频图像中对应的区域的亮度以及色带程度负相关；
18.第二处理模块，用于根据所述目标掩码对所述第一低频图像中的色带进行过滤处理，得到第二低频图像，其中，所述第二低频图像中位于第一区域内的raw域数值比所述第一低频图像中位于第二区域内的raw域数值大，所述第一区域包括色带所在区域且不包括暗区所在区域，所述暗区为亮度值小于预设亮度阈值的区域，所述第一区域与所述第二区域对应；
19.第三处理模块，用于将所述第二低频图像和所述第一高频图像进行叠加处理，得到输出图像。
20.第三方面，本技术实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
21.第四方面，本技术实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
22.第五方面，本技术实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
23.第六方面，本技术实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
24.在本技术实施例中，在频闪光源下拍摄到带有色带的第一图像时，可以将该图像分为高频图像和低频图像，并基于目标掩码对所述第一低频图像中的色带进行过滤处理，该过滤过程可以理解为对第一低频图像中的色带(banding)区域(即banding所在区域)中的色带/频闪条纹进行去除的过程，即去频闪条纹(debanding)过程。该debanding过程中，通过调节目标掩码的掩码值可以降低对原图本身的黑色区域和阴影区域的debanding力度，从而减少debanding过程中对原图本身的黑色区域和阴影区域造成的噪声暴露，以及减少原图画质的丢失。此外，由于debanding过程中，增大了banding区域的raw域数值，使得第二低频图像中banding区域(即第一区域)的raw域数值相对增大，即高频图像中banding区域的raw域数值相对减小，这样，在将banding区域的raw域数值增大后的第二低频图像与banding区域的raw域数值未改变的高频图像进行叠加处理时，就会使得高频图像在banding区域的占比降低，进而使得最终得到的输出图像既能够通过高频图像保持非banding区域的清晰度，又能够通过debanding后的低频图像保持banding区域的debanding效果，从而实现了根据banding强度改变高低频信息之间的比例，达到自适应降噪的目的。
附图说明
25.图1是本技术实施例提供的一种频闪图像处理方法的流程图；
26.图2是本技术实施例提供的一种频闪图像处理方法的数据处理过程的示意图；
27.图3是均值raw图的处理过程示意图；
28.图4是预设色带识别模型的结构示意图；
29.图5是本技术实施例提供的另一种频闪图像处理方法的流程图；
30.图6是本技术实施例提供的一种频闪图像处理装置的结构示意图；
31.图7是本技术实施例提供的一种电子设备的结构示意图；
32.图8是本技术实施例提供的一种电子设备的硬件结构示意图。
具体实施方式
33.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本技术保护的范围。
34.本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
35.下面结合附图，通过具体的实施例及其应用场景对本技术实施例提供的频闪图像处理方法、装置、电子设备和可读存储介质进行详细地说明。
36.请参阅图1，本技术实施例提供的频闪图像处理方法，其执行主体可以是电子设备，例如：手机或者照相机等，或者，其执行主体可以是平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(mobile internet device，mid)、增强现实(augmented reality，ar)/虚拟现实(virtual reality，vr)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本或者个人数字助理(personal digital assistant，pda)等，还可以为服务器、网络附属存储器(network attached storage，nas)、个人计算机(personal computer，pc)、电视机(television，tv)、柜员机或者自助机等，本技术实施例不作具体限定。
37.如图1所示，本技术实施例提供的频闪图像处理方法可以包括以下步骤：
38.步骤101、获取频闪光源下拍摄得到的第一图像，所述第一图像包括色带，所述第一图像为原始raw域图像。
39.在本实施例中，上述第一图像可以包括一张图像或至少两张图像。其中，在第一图像包括至少两张图像的情况下，其中至少一张为具有色带，且需要去除该色带的图像。在第一图像包括一张图像的情况下，该图像为具有色带的图像，本技术实施例提供的频闪图像处理方法用于去除该图像中的色带。
40.步骤102、对所述第一图像进行高低频图像分离，得到第一高频图像和第一低频图像。
41.其中，第一低频图像可以理解为第一图像中清晰程度较低的部分图像内容，第一高频图像可以为第一图像中清晰程度较高的部分图像内容。
42.可选地，所述对所述第一图像进行高低频图像分离，得到第一高频图像和第一低
频图像，包括：
43.对所述第一图像进行均值滤波处理，得到第一低频图像；
44.基于所述第一低频图像对所述第一图像进行图像去除处理，得到第一高频图像。
45.本实施方式中，上述第一低频图像通过对第一图像(raw域图像)进行均值滤波得到，例如：对第一图像进行核大小为5
×
5的均值滤波，得到第一低频图像，该第一低频图像可以是raw域的单通道图像。而上述第一高频图像则是将第一图像减去第一低频图像得到的raw域图像。
46.在实施中，上述第一低频图像与第一高频图像的占比可以是1:1，1:2或者2:1等等，在此不作具体限定。
47.步骤103、根据所述第一低频图像，确定目标掩码，其中，所述目标掩码中的掩码值与所述掩码值在所述第一低频图像中对应的区域的亮度负以及色带程度负相关。
48.在实施中，目标掩码与第一低频图像的维度可以相同，目标掩码中的每一个掩码值可以对应第一低频图像中的一个像素，此时，所述目标掩码中的掩码值与所述掩码值在所述第一低频图像中对应的区域，可以是所述目标掩码中的掩码值所对应的第一低频图像中的像素。
49.当然，目标掩码与第一低频图像的维度也可以不同，此时，所述目标掩码中的掩码值与所述掩码值在所述第一低频图像中对应的区域，可以是所述目标掩码中的掩码值所对应的第一低频图像中的至少一个像素或者一个像素的部分，在此不作具体限定。
50.在一种实施方式中，可以通过按照频闪光源的闪光频率对应的快门频率拍摄得到不带banding的图像，然后将该图像与具有banding的图像进行比较，得到banding区域，以及banding区域中各个像素位置对应的banding程度；此外，还可以根据第一低频图像中的黑电平数值，确定第一低频图像中的暗区(即亮度小于或等于预设亮度阈值的区域)以及暗区中各个像素位置对应的亮度，这样，便可以根据该暗区和banding区域共同确定目标掩码，以使所述目标掩码中的掩码值与对应区域的亮度负相关，且与对应区域的色带程度负相关，这样，在利用目标掩码进行去频闪的过程中，能够实现自适应降噪，以及降低暗区的去频闪的程度的目的，提升了处理后的图像画质，避免了频闪消除程度过重的问题。
51.当然，在实际应用中，也可以通过其他方式来获取具有banding的图像中的banding区域和/或暗区，例如：通过ai网络模型来分析得到具有banding的图像中的banding区域和/或暗区，在此不作具体限定。
52.步骤104、根据所述目标掩码对所述第一低频图像中的色带进行过滤处理，得到第二低频图像，其中，所述第二低频图像中位于第一区域内的raw域数值比所述第一低频图像中位于第二区域内的raw域数值大，所述第一区域包括色带所在区域且不包括暗区所在区域，所述暗区为亮度值小于预设亮度阈值的区域，所述第一区域与所述第二区域对应。
53.在实施中，上述第一区域可以是第二低频图像中的banding区域，上述第二区域可以是第一低频图像中的banding区域，所述第一区域与所述第二区域对应可以是：在第一低频图像与第二低频图像尺寸相同的情况下，所述第一区域在第二低频图像中的位置与所述第二区域在第一低频图像中的位置相同，例如：若将第一低频图像与第二低频图像叠加，则第一区域与第二区域重叠。
54.步骤105、将所述第二低频图像和所述第一高频图像进行叠加处理，得到输出图
像。
55.在实施中，在利用目标掩码对所述第一低频图像中的色带(非暗区)进行过滤处理后，会使得到的第二低频图像中除了暗区外的色带所在区域的raw域数值增大，这样，在将第二低频图像和所述第一高频图像进行叠加处理时，能够降低第一高频图像在该除了暗区外的色带所在区域的raw域数值的占比，从而使得到的输出图像中，更多的保留第二低频图像中进行了debanding后的色带区域，减小第一高频图像中的banding对输出图像的影响，这样，能够使输出图像既能够保留第一高频图像中的高频内容(例如：需要采用高频对运动物体进行拍摄时，可以通过第一高频图像来提升输出图像中运动物体对应的像素内容的清晰程度，又能够通过提升第二低频图像在debanding区域的raw域数值的占比，从而实现debanding效果)。
56.值得提出的是，上述得到的输出图像可以是raw域图像，也可以是rgb等其他格式的图像，例如：假设执行本技术实施例提供的频闪图像处理方法的设备为手机、相机等具有摄像功能的设备，则该设备在将所述第二低频图像和所述第一高频图像进行叠加处理，得到消除频闪后的raw图后，可以将该消除频闪后的raw图返回相机链路，经过图像信号处理(image signal processing，isp)仿真将该raw图转化为rgb图像后，通过显示等方式将rgb图返回给用户。
57.作为一种可选的实施方式，所述第一图像包括第一子图像(为了便于说明，以下实施例中将第一子图像标记为input1)和第二子图像(为了便于说明，以下实施例中将第二子图像标记为input2)，所述第一子图像基于第一快门频率拍摄得到，所述第二子图像基于第二快门频率拍摄得到，所述第一快门频率与拍摄对象的运动速度相关，所述第二快门频率与所述频闪光源的闪光频率相关。
58.其中，基于与所述频闪光源的闪光频率相关的第二快门频率，可以是闪光频率的1倍或2倍，这样，可以使第二子图像中不具有banding条纹。
59.在实际应用中，灯光的闪光频率通常为60hz或50hz，则第二快门频率可以是60hz或50hz的1倍或2倍，例如：以闪光频率为60hz为例，第二快门频率对应的快门速度可以是1/120(s)或1/60(s)。
60.在实施中，可以通过检测或者接收指示等方式，获取灯光的闪光频率。
61.但是，该第二快门频率通常无法满足所要拍摄的快速运动物体的需求，例如：当运动物体的运动速度过快时，会出现运动物体模糊的现象，无法满足快速运动物体的拍摄清晰需求。基于此，上述第一快门频率可以是与拍摄对象的运动速度相匹配的快门频率，基于该第一快门频率可以清晰的拍摄运动的拍摄对象，即第一子图像中的拍摄对象清晰。
62.在拍摄得到第一子图像和第二子图像之后，可以分别对第一子图像和第二子图像进行高低频分离，并使用第一子图像和第二子图像分离得到的两个低频图像来确定目标掩码，然后，利用目标掩码对从第一子图像中分离得到的低频图像进行debanding处理，并将从第一子图像中分离得到的高频图像(具有清晰的拍摄对象)与debanding后的低频图像进行叠加，得到输出图像。
63.作为一种可选的实施方式，所述对所述第一图像进行高低频图像分离，得到第一高频图像和第一低频图像，包括：
64.对所述第一子图像(input1)进行高低频图像分离，得到第一子高频图像(为了便
于说明，以下实施例中将第一子高频图像标记为input1_g)和第一子低频图像(为了便于说明，以下实施例中将第一子低频图像标记为input1_d)；
65.对所述第二子图像(input2)进行高低频图像分离，得到第二子高频图像(为了便于说明，以下实施例中将第二子高频图像标记为input2_g)和第二子低频图像(为了便于说明，以下实施例中将第二子低频图像标记为input2_d)；
66.其中，所述第一高频图像包括所述第一子高频图像和所述第二子高频图像，所述第一低频图像包括所述第一子低频图像和所述第二子低频图像。
67.本实施方式中，通过将不具有banding的第二子高频图像与具有banding的第一子低频图像进行对比，便可以得到banding区域。例如：如图2所示，本技术实施例的数据处理过程可以包括：根据input1_d和input2_d确定banding区域掩码
→
根据input1_d中的亮度较暗区域的暗区掩码和banding区域掩码来确定目标掩码
→
采用目标掩码对input1_d进行debanding处理
→
将input1_g与debanding处理后的input1_d进行叠加处理，得到输出图像(以下标记为output)。
68.可选地，在所述第一低频图像的存储格式为gbrg的情况下，所述根据所述第一低频图像，确定目标掩码，包括：
69.根据对所述第一子低频图像input1_d中的四种类型的数据(如：gr、g、b、gr)在通道上进行堆积处理后的raw图，确定第一子低频图像对应的均值raw图(为了便于说明，以下实施例中将均值raw图标记为input1_d_avg)，所述均值raw图包括平均值处理后的g通道数据、平均值处理后的b通道数据和平均值处理后的r通道数据，所述g通道数据根据所述第一子低频图像中的gr通道数据和gb通道数据的平均值确定；
70.根据所述均值raw图的黑电平数值和最大位数，对所述均值raw图进行归一化处理，得到归一化raw图(为了便于说明，以下实施例中将归一化raw图标记为raw图(x))；
71.根据所述归一化raw图中的像素值小于或者等于第一预设阈值(为了便于说明，以下实施例中将第一预设阈值标记为s)的区域，确定第一掩码(为了便于说明，以下实施例中将第一掩码标记为z)，其中，所述第一掩码中的掩码值越小，表示对应区域的亮度越低；
72.将所述第一子低频图像和所述第二子低频图像在通道上进行拼接后，得到中间图像；
73.将所述中间图像输入预设色带识别模型，得到第二掩码(为了便于说明，以下实施例中将第二掩码标记为mask)，其中，所述第二掩码中的掩码值越小，表示对应区域的色带越重；
74.根据所述第一掩码调整所述第二掩码，得到目标掩码(为了便于说明，以下实施例中将目标掩码标记为maskz)。
75.其中，所述根据所述第一低频图像，确定目标掩码的步骤，可以包括以下过程：
76.1、假设input1和input2的raw图的大小为w
×
h。input1_d为raw域的单通道图像，会存在特定的bayer格式，本实施例中假设为gbrg格式。如图3所示，首先对raw图进行pack操作，将4个不同类型的数据(gr、gb、r、b)在通道上堆叠在一起，然后对其中的gr和gb两个通道求均值得到平均的g通道，最后将gbr三通道的数值求平均得到均值raw图(input1_d_avg)，input1_d_avg的大小为w/2
×
h/2。
77.2、将均值raw图进行归一化处理，减去raw图黑电平数值，然后除以该均值raw图的
最大位数(2
bit
位)，得到取值为0～1之间的归一化后的raw图(x)。
78.3、根据需要或拍摄场景设定暗区抑制的第一预设阈值s，对x进行以下计算：
[0079][0080]
其中，x为输入的归一化后的图像，s为第一预设阈值(即暗区抑制阈值)，clamp()表示数值截取，通过上述公式计算，可以将归一化后的raw图中的截取至0-1之间。其中，当x中的像素值大于s时，表示当前该位置的亮度无需抑制，是正常的亮度范围；当x中的像素值低于s时，表示该位置处于暗区，后续该区域的banding消除需要降低消除程度，并且亮度变化是平滑连续的，数值越小，表示该点越暗。
[0081]
由于指数函数的负数区间均匀的过渡范围很小，可以采用多次求指数值扩大数值渐变区间和范围，使得最终的第一掩码z的取值范围遍布0～1之间。例如：可以采用以下公式进行n次重复的求指数数值，得到第一掩码z：
[0082]
z＝repeat(2y,n)
[0083]
4、将input1_d和input2_d通过pack操作后，在通道上进行拼接，归一化并且调整尺寸(resize)到w
×
h大小后，输入预设色带识别模型，便可以获取该预设色带识别模型输出的第二掩码(banding条纹mask)。该预设色带识别模型的模型结构可以如图4所示，该预设色带识别模型输出的掩码的大小可以是w
×h×
4，该第二掩码中的掩码值越小表示该位置的banding程度越重，反之掩码值越大表示该位置的banding程度越轻，若掩码值等于1则表示该位置不存在banding，在此之后，可以将该banding条纹mask resize到w/2
×
h/2
×
4大小。
[0084]
5、根据z对预设色带识别模型得出的banding条纹mask进行暗区调整操作，得到目标掩码maskz。其中，z中的掩码值越小(接近0)表示该点越暗，越大(接近1)表示该点越亮，而mask中的掩码值越小(接近0)表示该位置banding越重，反之越大(接近1)表示程度越轻。
[0085]
可选地，在上述过程5之前，还可以对第二掩码中的两个g通道的raw域数值进行求平均处理，这样，可以使gr和gb的相对比例保持一致，避免后续banding消除后导致raw图出现网格现象。
[0086]
所述根据所述第一低频图像，确定目标掩码，还包括：
[0087]
获取所述第二掩码中与gr数据通道对应的第一掩码值；
[0088]
获取所述第二掩码中与gb数据通道对应的第二掩码值；
[0089]
根据所述第一掩码值和所述第二掩码值的平均值，更新所述第二掩码中与所述gr数据通道和所述gr数据通道对应的掩码值；
[0090]
所述根据所述第一掩码调整所述第二掩码，得到目标掩码，包括：
[0091]
根据所述第一掩码调整更新后的所述第二掩码，得到目标掩码。
[0092]
例如：通过以下公式来更新所述第二掩码中与所述gr数据通道和所述gr数据通道对应的掩码值：
[0093][0094]
mask[gr]＝mask[gb]
[0095]
其中，mask[gr]表示第一掩码值，mask[gb]表示第二掩码值。
[0096]
本实施方式中，可以通过对第二掩码中的两个g通道的raw域数值进行求平均处理，可以避免后续banding消除后导致raw图出现网格现象。
[0097]
可选地，所述根据所述第一掩码调整所述第二掩码，得到目标掩码，包括：
[0098]
根据所述第一掩码减小所述第二掩码中与目标区域对应的掩码值，得到目标掩码，其中，所述第一掩码中，与所述目标区域对应的掩码值小于或者等于第二预设阈值，且所述第二掩码中，与所述目标区域对应的掩码值小于或者等于第三预设阈值。
[0099]
例如：采用以下公式来确定目标掩码maskz：
[0100]
maskz＝1-(1-mask)
×z[0101]
上述公式中，通过将mask取反之后与z逐像素相乘再取反，相当于是banding区域并且位于暗区时，该位置的掩码值就会被缩小，而非暗区则与banding条纹mask中的掩码值保持不变。
[0102]
在得到上述maskz后，可以将input1_d逐像素除以maskz，得到消除banding后的第二低频图像(为了便于说明，以下实施例中，将第二低频图像标记为input1
dz
)。例如：可以通过以下公式来确定input1
dz
：
[0103]
input1
dz
＝input1_d/maskz[0104]
由于maskz中的掩码值在0～1之间，基于上述公式，可以放大input1
dz
中banding区域的像素值。
[0105]
此时，上述将所述第二低频图像和所述第一高频图像进行叠加处理，得到输出图像，可以表示为以下公式：
[0106]
output＝input1
dz
+input1_g
[0107]
值得提出的是，由于input1
dz
中banding区域的像素值有所放大，而input1_g中的像素值与banding消除前保持一致，这样，在两者叠加后，相当于减小了output中的高频细节的占比，从而达到banding区域降噪的目的。此外，该高低频降噪的方法仅作用于非暗区的banding区域，不会影响图像中非banding区域的清晰度，从而能够实现自适应对banding区域进行噪声抑制。
[0108]
需要说明的是，在实际应用中，低频图像input1_d为raw域的单通道图像，会存在特定的bayer格式，例如：gbrg、rggb、bggr等。本技术实施例提供的频闪图像处理方法以gbrg格式的raw域图像为例进行举例说明，但是，在实施中，本技术实施例提供的频闪图像处理方法，也可以应用于rggb、bggr等其他格式的raw域图像，且可以采用与上述gbrg格式的raw域图像相似的处理过程得到目标掩码，在此不作具体限定。
[0109]
在本技术实施例中，在频闪光源下拍摄到带有色带的第一图像时，可以将该图像分为高频图像和低频图像，并基于目标掩码对所述第一低频图像中的色带进行过滤处理，该过滤过程中，通过调节目标掩码的掩码值可以降低对原图本身的黑色区域和阴影区域的debanding力度，从而减少debanding过程中对原图本身的黑色区域和阴影区域造成的噪声暴露，以及减少原图画质的丢失。此外，由于debanding过程中，增大了banding区域的raw域数值，使得第二低频图像中banding区域的raw域数值相对增大，即高频图像中banding区域的raw域数值相对减小，这样，在将banding区域的raw域数值增大后的第二低频图像与banding区域的raw域数值未改变的高频图像进行叠加处理时，就会使得高频图像在banding区域的占比降低，进而使得最终得到的输出图像既能够通过高频图像保持非
banding区域的清晰度，又能够通过debanding后的低频图像保持banding区域的debanding效果，从而实现了根据banding强度改变高低频信息之间的比例，达到自适应降噪的目的。
[0110]
请参阅图5，是本技术实施例提供的另一种频闪图像处理方法，如图5所示，该方法可以包括以下步骤：
[0111]
步骤501、获取用户拍摄的带频闪的raw图；
[0112]
步骤502、对raw图进行高低频分离，得到低频图像和高频图像；
[0113]
步骤503、根据低频图像确定暗区掩码z；
[0114]
步骤504、采用预设色带识别模型对低频图像进行识别，确定banding条纹mask；
[0115]
步骤505、根据暗区掩码z调整banding条纹mask，得到目标掩码maskz；
[0116]
步骤506、采用maskz对低频图像进行banding消除，得到input1
dz
；
[0117]
步骤507、添加高频图像信息到input1
dz
中，得到输出图像output；
[0118]
步骤508、输出output。
[0119]
本技术实施例中，通过高低频图像分离，可以在去频闪后抑制banding区域的噪声，并且同时基于低频图像确定和banding区域的过程中，可以避免图像细节属性对于去频闪算法的负面影响，使得预测的频闪区域更加平滑均匀；其次是根据原始图像的暗区，输出一个平滑的暗区掩码，根据banding消除网络预测的mask区域自动控制暗区的去除程度，保留原始画质的同时降低噪声。整个过程可以在相机链路中实现，可以在用户拍摄时自动消除频闪并拍摄出清晰的照片。
[0120]
本技术实施例提供的频闪图像处理方法，执行主体可以为频闪图像处理装置。本技术实施例中以频闪图像处理装置执行频闪图像处理方法为例，说明本技术实施例提供的频闪图像处理装置。
[0121]
请参阅图6，本技术实施例提供的频闪图像处理600可以包括以下模块：
[0122]
获取模块601，用于获取频闪光源下拍摄得到的第一图像，所述第一图像包括色带，所述第一图像为原始raw域图像；
[0123]
第一处理模块602，用于对所述第一图像进行高低频图像分离，得到第一高频图像和第一低频图像；
[0124]
确定模块603，用于根据所述第一低频图像，确定目标掩码，其中，所述目标掩码中的掩码值与所述掩码值在所述第一低频图像中对应的区域的亮度以及色带程度负相关；
[0125]
第二处理模块604，用于根据所述目标掩码对所述第一低频图像中的色带进行过滤处理，得到第二低频图像，其中，所述第二低频图像中位于第一区域内的raw域数值比所述第一低频图像中位于第二区域内的raw域数值大，所述第一区域包括色带所在区域且不包括暗区所在区域，所述暗区为亮度值小于预设亮度阈值的区域，所述第一区域与所述第二区域对应；
[0126]
第三处理模块605，用于将所述第二低频图像和所述第一高频图像进行叠加处理，得到输出图像。
[0127]
可选的，第一处理模块602，包括：
[0128]
第一处理单元，用于对所述第一图像进行均值滤波处理，得到第一低频图像；
[0129]
第二处理单元，用于基于所述第一低频图像对所述第一图像进行图像去除处理，得到第一高频图像。
[0130]
可选的，所述第一图像包括第一子图像和第二子图像，所述第一子图像基于第一快门频率拍摄得到，所述第二子图像基于第二快门频率拍摄得到，所述第一快门频率与拍摄对象的运动速度相关，所述第二快门频率与所述频闪光源的闪光频率相关；
[0131]
第一处理模块602，包括：
[0132]
第三处理单元，用于对所述第一子图像进行高低频图像分离，得到第一子高频图像和第一子低频图像；
[0133]
第四处理单元，用于对所述第二子图像进行高低频图像分离，得到第二子高频图像和第二子低频图像；
[0134]
其中，所述第一高频图像包括所述第一子高频图像和所述第二子高频图像，所述第一低频图像包括所述第一子低频图像和所述第二子低频图像。
[0135]
可选的，确定模块603，包括：
[0136]
第一确定单元，用于根据对所述第一子低频图像中的四种类型的数据在通道上进行堆积处理后的raw图，确定第一子低频图像对应的均值raw图，所述均值raw图包括平均值处理后的g通道数据、平均值处理后的b通道数据和平均值处理后的r通道数据，所述g通道数据根据所述第一子低频图像中的gr通道数据和gb通道数据的平均值确定；
[0137]
第五处理单元，用于根据所述均值raw图的黑电平数值和最大位数，对所述均值raw图进行归一化处理，得到归一化raw图；
[0138]
第二确定单元，用于根据所述归一化raw图中的像素值小于或者等于第一预设阈值的区域，确定第一掩码，其中，所述第一掩码中的掩码值越小，表示对应区域的亮度越低；
[0139]
第六处理单元，用于将所述第一子低频图像和所述第二子低频图像在通道上进行拼接后，得到中间图像；
[0140]
第七处理单元，用于将所述中间图像输入预设色带识别模型，得到第二掩码，其中，所述第二掩码中的掩码值越小，表示对应区域的色带越重；
[0141]
调整单元，用于根据所述第一掩码调整所述第二掩码，得到目标掩码。
[0142]
可选的，所述调整单元，具体用于：
[0143]
根据所述第一掩码减小所述第二掩码中与目标区域对应的掩码值，得到目标掩码，其中，所述第一掩码中，与所述目标区域对应的掩码值小于或者等于第二预设阈值，且所述第二掩码中，与所述目标区域对应的掩码值小于或者等于第三预设阈值。
[0144]
可选的，确定模块603，包括：
[0145]
第一获取单元，用于获取所述第二掩码中与gr数据通道对应的第一掩码值；
[0146]
第二获取单元，用于获取所述第二掩码中与gb数据通道对应的第二掩码值；
[0147]
更新单元，用于根据所述第一掩码值和所述第二掩码值的平均值，更新所述第二掩码中与所述gr数据通道和所述gr数据通道对应的掩码值；
[0148]
所述调整单元，具体用于：
[0149]
根据所述第一掩码调整更新后的所述第二掩码，得到目标掩码。
[0150]
本技术实施例中的频闪图像处理装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(mobile internet device，mid)、增强现实(augmented reality，ar)/虚拟现实
(virtual reality，vr)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本或者个人数字助理(personal digital assistant，pda)等，还可以为服务器、网络附属存储器(network attached storage，nas)、个人计算机(personal computer，pc)、电视机(television，tv)、柜员机或者自助机等，本技术实施例不作具体限定。
[0151]
本技术实施例中的频闪图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本技术实施例不作具体限定。
[0152]
本技术实施例提供的频闪图像处理装置能够实现图1至图5所示方法实施例实现的各个过程，且能够取得相同的有益效果，为避免重复，这里不再赘述。
[0153]
可选地，如图7所示，本技术实施例还提供一种电子设备700，包括处理器701和存储器702，存储器702上存储有可在所述处理器701上运行的程序或指令，该程序或指令被处理器701执行时实现上述频闪图像处理方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0154]
需要说明的是，本技术实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
[0155]
图8为实现本技术实施例的一种电子设备的硬件结构示意图。
[0156]
该电子设备800包括但不限于：射频单元801、网络模块802、音频输出单元803、输入单元804、传感器805、显示单元806、用户输入单元807、接口单元808、存储器809、以及处理器810等部件。
[0157]
本领域技术人员可以理解，电子设备800还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器810逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图8中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
[0158]
其中，输入单元804，用于获取频闪光源下拍摄得到的第一图像，所述第一图像包括色带，所述第一图像为原始raw域图像；
[0159]
处理器810，用于对所述第一图像进行高低频图像分离，得到第一高频图像和第一低频图像；
[0160]
处理器810，还用于根据所述第一低频图像，确定目标掩码，其中，所述目标掩码中的掩码值与所述掩码值在所述第一低频图像中对应的区域的亮度以及色带程度负相关；
[0161]
处理器810，还用于根据所述目标掩码对所述第一低频图像中的色带进行过滤处理，得到第二低频图像，其中，所述第二低频图像中位于第一区域内的raw域数值比所述第一低频图像中位于第二区域内的raw域数值大，所述第一区域包括色带所在区域且不包括暗区所在区域，所述暗区为亮度值小于预设亮度阈值的区域，所述第一区域与所述第二区域对应；
[0162]
处理器810，还用于将所述第二低频图像和所述第一高频图像进行叠加处理，得到输出图像。
[0163]
可选地，处理器810执行的所述对所述第一图像进行高低频图像分离，得到第一高
频图像和第一低频图像，包括：
[0164]
对所述第一图像进行均值滤波处理，得到第一低频图像；
[0165]
基于所述第一低频图像对所述第一图像进行图像去除处理，得到第一高频图像。
[0166]
可选地，所述第一图像包括第一子图像和第二子图像，所述第一子图像基于第一快门频率拍摄得到，所述第二子图像基于第二快门频率拍摄得到，所述第一快门频率与拍摄对象的运动速度相关，所述第二快门频率与所述频闪光源的闪光频率相关；
[0167]
处理器810执行的所述对所述第一图像进行高低频图像分离，得到第一高频图像和第一低频图像，包括：
[0168]
对所述第一子图像进行高低频图像分离，得到第一子高频图像和第一子低频图像；
[0169]
对所述第二子图像进行高低频图像分离，得到第二子高频图像和第二子低频图像；
[0170]
其中，所述第一高频图像包括所述第一子高频图像和所述第二子高频图像，所述第一低频图像包括所述第一子低频图像和所述第二子低频图像。
[0171]
可选地，处理器810执行的所述根据所述第一低频图像，确定目标掩码，包括：
[0172]
根据对所述第一子低频图像中的四种类型的数据在通道上进行堆积处理后的raw图，确定第一子低频图像对应的均值raw图，所述均值raw图包括平均值处理后的g通道数据、平均值处理后的b通道数据和平均值处理后的r通道数据，所述g通道数据根据所述第一子低频图像中的gr通道数据和gb通道数据的平均值确定；
[0173]
根据所述均值raw图的黑电平数值和最大位数，对所述均值raw图进行归一化处理，得到归一化raw图；
[0174]
根据所述归一化raw图中的像素值小于或者等于第一预设阈值的区域，确定第一掩码，其中，所述第一掩码中的掩码值越小，表示对应区域的亮度越低；
[0175]
将所述第一子低频图像和所述第二子低频图像在通道上进行拼接后，得到中间图像；
[0176]
将所述中间图像输入预设色带识别模型，得到第二掩码，其中，所述第二掩码中的掩码值越小，表示对应区域的色带越重；
[0177]
根据所述第一掩码调整所述第二掩码，得到目标掩码。
[0178]
可选地，处理器810执行的所述根据所述第一掩码调整所述第二掩码，得到目标掩码，包括：
[0179]
根据所述第一掩码减小所述第二掩码中与目标区域对应的掩码值，得到目标掩码，其中，所述第一掩码中，与所述目标区域对应的掩码值小于或者等于第二预设阈值，且所述第二掩码中，与所述目标区域对应的掩码值小于或者等于第三预设阈值。
[0180]
可选地，处理器810执行的所述根据所述第一低频图像，确定目标掩码，还包括：
[0181]
获取所述第二掩码中与gr数据通道对应的第一掩码值；
[0182]
获取所述第二掩码中与gb数据通道对应的第二掩码值；
[0183]
根据所述第一掩码值和所述第二掩码值的平均值，更新所述第二掩码中与所述gr数据通道和所述gr数据通道对应的掩码值；
[0184]
所述根据所述第一掩码调整所述第二掩码，得到目标掩码，包括：
[0185]
根据所述第一掩码调整更新后的所述第二掩码，得到目标掩码。
[0186]
本技术实施例提供的电子设备800能够实现如图6所示频闪图像处理装置中各模块执行的过程，且能够取得相同的有益效果，为避免重复，在此不再赘述。
[0187]
应理解的是，本技术实施例中，输入单元804可以包括图形处理器(graphics processing unit，gpu)8041和麦克风8042，图形处理器8041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元806可包括显示面板8061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板8061。用户输入单元807包括触控面板8071以及其他输入设备8072中的至少一种。触控面板8071，也称为触摸屏。触控面板8071可包括触摸检测装置和触摸控制器两个部分。其他输入设备8072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
[0188]
存储器809可用于存储软件程序以及各种数据。存储器809可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器809可以包括易失性存储器或非易失性存储器，或者，存储器809可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic ram，dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddrsdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synch link dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，drram)。本技术实施例中的存储器809包括但不限于这些和任意其它适合类型的存储器。
[0189]
处理器810可包括一个或多个处理单元；可选的，处理器810集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器810中。
[0190]
本技术实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述频闪图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0191]
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器rom、随机存取存储器ram、磁碟或者光盘等。
[0192]
本技术实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述频闪图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0193]
应理解，本技术实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
[0194]
本技术实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述频闪图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0195]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本技术实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
[0196]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台电子设备(可以是手机，计算机，服务器，或者网络设备等)执行本技术各个实施例所述的方法。
[0197]
上面结合附图对本技术的实施例进行了描述，但是本技术并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本技术的启示下，在不脱离本技术宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本技术的保护之内。