图像模糊处理方法、装置、电子设备和存储介质与流程

本发明涉及图像处理，尤其涉及一种图像模糊处理方法、装置、电子设备和存储介质。

背景技术：

1、在各种图像分割或图像分析场景下，用于分割或分析的图像样本通常需要使用较为清晰的图像，以避免出现漏检或误检的情况。然而，在很多情形下摄像头会由于曝光过程中自身抖动或拍摄对象运动等原因导致拍摄的图像是模糊的，因此为了保证下游任务的效果，需要对图像样本进行去模糊操作。

2、目前采用的图像去模糊处理方式多采用深度学习技术，利用清晰-模糊图像对对深度学习网络进行训练，使得深度学习网络能够自主学习清晰图像和模糊图像之间的映射关系，从而习得将模糊图像转换为清晰图像的能力。然而，深度学习网络的训练效果依赖于训练样本的量级，训练样本越多模型训练的效果将会越好，否则模型将会出现过拟合现象，导致去模糊效果欠佳。然而，现有的模糊图像数据集中的样本数难以满足当前参数量庞大的深度学习网络的训练需求，而通过实际拍摄的方式产生模糊图像的方式工作量过大、样本收集的效率过低。有鉴于此，如何便捷地生成所需量的模糊图片，是目前需要解决的问题。遗憾的是，当前模糊图像的生成方法通过单一模糊算法（例如高斯模糊）将清晰图像转换为模糊图像，其生成的模糊图像的模式过于单一，与真实环境中复杂的模糊图像之间的差异过大，导致由此种数据训练的模型在真实场景中的去模糊效果不理想。

技术实现思路

1、本发明提供一种图像模糊处理方法、装置、电子设备和存储介质，用以解决现有技术中生成的模糊图像的模式过于单一，与真实环境中复杂的模糊图像之间的差异过大的缺陷。

2、本发明提供一种图像模糊处理方法，包括：

3、获取摄像头拍摄的连续多个原始图像，并确定每个原始图像中的饱和像素；任一图像中的饱和像素是归一化像素值为1的像素；

4、基于各个原始图像中的饱和像素的像素值与各个原始图像中的饱和像素在相邻原始图像中对应的像素的像素值，对所述连续多个原始图像进行帧插值处理，得到多个插值图像；任一原始图像中的饱和像素的像素值与所述任一原始图像中的相应饱和像素在相邻原始图像中对应的像素的像素值之间的差异越大，所述任一原始图像与所述相邻原始图像之间的插值图像越多；

5、将所述原始图像和插值图像转换为raw格式后进行像素值平均化处理，得到第一模糊图像；

6、基于所述每个原始图像中的饱和像素的位置，对所述第一模糊图像进行饱和像素合成处理，得到第二模糊图像；

7、向所述第二模糊图像中增加噪声，得到第三模糊图像，并将所述第三模糊图像转换为srgb格式，得到最终模糊图像。

8、根据本发明提供的一种图像模糊处理方法，基于所述每个原始图像中的饱和像素的位置，对所述第一模糊图像进行饱和像素合成处理，得到第二模糊图像，具体包括：

9、基于所述每个原始图像中的饱和像素的位置，建立所述每个原始图像分别对应的饱和像素掩膜；

10、基于所述每个原始图像分别对应的饱和像素掩膜，确定所述每个原始图像共同对应的潜在饱和像素掩膜；其中，潜在饱和像素掩膜中像素的位置位于至少一个原始图像对应的饱和像素掩膜区域内；

11、加强所述第一模糊图像中位于所述潜在饱和像素掩膜区域内的像素的像素值，以合成所述第一模糊图像中的饱和像素，得到第二模糊图像。

12、根据本发明提供的一种图像模糊处理方法，加强所述第一模糊图像中位于所述潜在饱和像素掩膜区域内的像素的像素值，以合成所述第一模糊图像中的饱和像素，得到第二模糊图像，具体包括：

13、基于预设系数对所述潜在饱和像素掩膜中各像素的像素值进行缩放，得到饱和像素合成图；

14、叠加所述第一模糊图像和所述饱和像素合成图中相同位置的像素值，得到第二模糊图像。

15、根据本发明提供的一种图像模糊处理方法，将所述第三模糊图像转换为srgb格式，得到最终模糊图像，具体包括：

16、基于多个特征提取模块对所述第三模糊图像进行图像特征编码，得到所述第三模糊图像的深度特征向量；

17、选取所述连续多个原始图像中的中间原始图像，作为参考图像；

18、对所述参考图像进行高斯模糊后，基于两个特征提取模块提取高斯模糊后的参考图像的颜色特征编码；

19、将所述第三模糊图像的深度特征向量与所述高斯模糊后的参考图像的颜色特征编码融合，得到所述第三模糊图像的颜色特征向量；

20、基于一个特征提取模块、卷积模块和上采样模块对所述第三模糊图像的颜色特征向量进行处理，得到srgb格式的最终模糊图像。

21、根据本发明提供的一种图像模糊处理方法，将所述第三模糊图像的深度特征向量与所述高斯模糊后的参考图像的颜色特征编码融合，得到所述第三模糊图像的颜色特征向量，具体包括：

22、将所述第三模糊图像的深度特征向量与所述高斯模糊后的参考图像的颜色特征编码进行点乘，得到所述第三模糊图像的颜色关联向量；

23、将所述第三模糊图像的深度特征向量与所述第三模糊图像的颜色关联向量进行融合，得到所述第三模糊图像的颜色特征向量。

24、根据本发明提供的一种图像模糊处理方法，将所述原始图像和插值图像转换为raw格式，具体包括：

25、基于多个特征提取模块对任一图像进行图像特征编码，得到所述任一图像的深度特征向量；所述任一图像为原始图像或插值图像；

26、基于卷积模块对所述任一图像的深度特征向量进行卷积运算，得到所述任一图像的转换图像；

27、对所述任一图像的转换图像进行采样，去除所述任一图像的转换图像的颜色通道，以将所述任一图像转换为raw格式。

28、根据本发明提供的一种图像模糊处理方法，所述特征提取模块包含多个串联的双重注意力模块以及卷积模块；其中，任一双重注意力模块中包含空间注意力模块和通道注意力模块；首个双重注意力模块的输入端与所述卷积模块的输出端之间建立了跃层连接。

29、本发明还提供一种图像模糊处理装置，包括：

30、饱和像素获取单元，用于获取摄像头拍摄的连续多个原始图像，并确定每个原始图像中的饱和像素；任一图像中的饱和像素是归一化像素值为1的像素；

31、帧插值单元，用于基于各个原始图像中的饱和像素的像素值与各个原始图像中的饱和像素在相邻原始图像中对应的像素的像素值，对所述连续多个原始图像进行帧插值处理，得到多个插值图像；任一原始图像中的饱和像素的像素值与所述任一原始图像中的相应饱和像素在相邻原始图像中对应的像素的像素值之间的差异越大，所述任一原始图像与所述相邻原始图像之间的插值图像越多；

32、第一模糊单元，用于将所述原始图像和插值图像转换为raw格式后进行像素值平均化处理，得到第一模糊图像；

33、第二模糊单元，用于基于所述每个原始图像中的饱和像素的位置，对所述第一模糊图像进行饱和像素合成处理，得到第二模糊图像；

34、第三模糊单元，用于向所述第二模糊图像中增加噪声，得到第三模糊图像，并将所述第三模糊图像转换为srgb格式，得到最终模糊图像。

35、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述图像模糊处理方法。

36、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述图像模糊处理方法。

37、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述图像模糊处理方法。

38、本发明提供的图像模糊处理方法、装置、电子设备和存储介质，通过搜索摄像头连续拍摄的多个原始图像中的饱和像素，利用任一原始图像中的饱和像素的像素值与相应饱和像素在相邻原始图像中对应的像素的像素值之间的差异来控制相邻原始图像之间帧插值的插值密度，可以尽可能保证通过将转换为raw格式的原始图像和插值图像进行像素值平均化所得到的第一模糊图像中的潜在饱和像素点的像素值强度不被上述平均化操作过度弱化，在此基础上对第一模糊图像进行饱和像素合成处理时，可以避免第一模糊图像中的潜在饱和像素点在合成过程中被忽略，从而提升饱和像素的合成效果以及整个模糊图像合成的效果，基于每个原始图像中的饱和像素的位置，对第一模糊图像进行饱和像素合成处理，得到第二模糊图像后，向第二模糊图像中增加噪声，得到第三模糊图像，并将第三模糊图像转换为srgb格式，得到最终模糊图像，拉近了最终模糊图像与真实模糊图像之间的差异，有助于提升图像去模糊模型的训练效果。