基于逆ISP的RAW域雾气数据仿真方法

本技术涉及光学成像领域和图像处理，特别涉及一种基于逆isp的raw域雾气数据仿真方法。

背景技术：

1、雾气是户外拍摄时常见的天气之一，1924年koschmieder提出了一个传统的用于解释雾气的物理模型，如图1所示。其中到达相机传感器的光线分为两部分，一部分为经过雾气衰减的物体反射光，一部分为大气散射光，这两部分的比例由相机传感器和物体之间散射介质的光学厚度所控制。由于雾气的散射作用，拍摄图像的对比度下降、目标物细节丢失，对后续的机器视觉算法带来了较多挑战。

2、相关技术中，基于监督学习的去雾算法通常需要匹配清晰图像和雾气图像进行模型训练，并且现有的仿真雾气数据集是利用清晰的rgbd数据并基于koschmieder大气退化模型进行雾气数据的仿真。

3、然而，相关技术中，由于光照变化、物体运动等因素，实际拍摄同一场景的清晰和雾气数据对几乎是难以实现的，并且直接在rgb数据上进行雾气合成的方法与真实的雾气场景成像过程是不符的，未考虑到传感器噪声随其表面接收辐照度的变化及图像处理过程中对传感器信号的非线性变换，难以真实模拟雾气场景的成像结果，亟待改善。

技术实现思路

1、本技术提供一种基于逆isp的raw域雾气数据仿真方法，以解决相关技术中，由于光照变化、物体运动等因素，实际拍摄同一场景的清晰和雾气数据对几乎难以实现，并且直接在rgb数据上进行雾气合成的方法与真实的雾气场景成像过程不符，未考虑到传感器噪声随其表面接收辐照度的变化及图像处理过程中对传感器信号的非线性变换，无法模拟雾气成像过程中噪声影响等问题。

2、本技术第一方面实施例提供一种基于逆isp的raw域雾气数据仿真方法，包括以下步骤：输入rgb图像，经过逆isp过程得到对应的raw图像；基于所述raw图像和深度图，通过预设大气退化模型在所述raw图像上进行加雾，以进行目标物和大气散射光的线性响应，得到所述线性响应结果；基于所述线性响应结果，加入传感器噪声后得到raw域的雾气仿真模型，并通过统一散粒噪声和读出噪声得到高斯分布，以进行噪声合成，得到雾气raw图像；以及将所述雾气raw图像进行isp处理，以得到真实雾气rgb图像。

3、可选地，在本技术的一个实施例中，所述逆isp过程的色调映射和逆色调映射的公式为：

4、t(x)＝3x2-2x3，

5、

6、其中，x为进行色调映射前的图像像素值，y为进行逆色调映射前的图像像素值；

7、所述逆isp过程的gamma变换和逆gamma变换的公式为：

8、γ(x)＝max(x,∈＝10-8)1/2.2，

9、γ-1(y)＝max(y,∈＝10-8)2.2，

10、其中，x为进行gamma变换前的图像像素值，y为进行逆gamma变化前的图像像素值。

11、可选地，在本技术的一个实施例中，所述进行目标物和大气散射光的线性响应的计算公式为：

12、i(x)＝j(x)e-β·d(x)+a[1-e-β·d(x)]，

13、其中，x为所述图像中像素点的位置，j(x)为清晰图像中像素点x处的像素值，d(x)为深度图中像素点x处的深度值，a为大气光，β为大气衰减系数，e-β·d(x)为场景的透射图。

14、可选地，在本技术的一个实施例中，所述raw域的雾气仿真模型的计算公式为：

15、i(x)＝j(x)e-β·d(x)+a[1-e-β·d(x)]+n，

16、其中，x为所述图像中像素点的位置，j(x)为所述清晰图像中像素点x处的像素值，d(x)为所述深度图中像素点x处的深度值，a为所述大气光，β为所述大气衰减系数，e-β·d(x)为所述场景的透射图，n为传感器噪声项。

17、可选地，在本技术的一个实施例中，所述雾气raw图像的高斯分布的公式为：

18、q～n(μ＝m,σ2＝λread+λshotm)，

19、其中，λread和λshot分别为所述传感器的模拟增益ga和数字增益gd决定的参数，m为无噪图像像素强度。

20、本技术第二方面实施例提供一种基于逆isp的raw域雾气数据仿真方法，包括：输入模块，用于输入rgb图像，经过逆isp过程得到对应的raw图像；获取模块，用于基于所述raw图像和深度图，通过预设大气退化模型在所述raw图像上进行加雾，以进行目标物和大气散射光的线性响应，得到所述线性响应结果；仿真模块，用于基于所述线性响应结果，加入传感器噪声后得到raw域的雾气仿真模型，并通过统一散粒噪声和读出噪声得到高斯分布，以进行噪声合成，得到雾气raw图像；以及处理模块，用于将所述雾气raw图像进行isp处理，以得到真实雾气rgb图像。

21、可选地，在本技术的一个实施例中，所述逆isp过程的色调映射和逆色调映射的公式为：

22、t(x)＝3x2-2x3，

23、

24、其中，x为进行色调映射前的图像像素值，y为进行逆色调映射前的图像像素值；

25、所述逆isp过程的gamma变换和逆gamma变换的公式为：

26、γ(x)＝max(x,∈＝10-8)1/2.2，

27、γ-1(y)＝max(y,∈＝10-8)2.2，

28、其中，x为进行gamma变换前的图像像素值，y为进行逆gamma变化前的图像像素值。

29、可选地，在本技术的一个实施例中，所述进行目标物和大气散射光的线性响应的计算公式为：

30、i(x)＝j(x)e-β·d(x)+a[1-e-β·d(x)]，

31、其中，x为所述图像中像素点的位置，j(x)为清晰图像中像素点x处的像素值，d(x)为深度图中像素点x处的深度值，a为大气光，β为大气衰减系数，e-β·d(x)为场景的透射图。

32、可选地，在本技术的一个实施例中，所述raw域的雾气仿真模型的计算公式为：

33、i(x)＝(x)e-β·d(x)+a[1-e-β·d(x)]+n，

34、其中，x为所述图像中像素点的位置，j(x)为所述清晰图像中像素点x处的像素值，d(x)为所述深度图中像素点x处的深度值，a为所述大气光，β为所述大气衰减系数，e-β·d(x)为所述场景的透射图，n为传感器噪声项。

35、可选地，在本技术的一个实施例中，所述雾气raw图像的高斯分布的公式为：

36、q～n(μ＝m,σ2＝λread+λshotm)，

37、其中，λread和λshot分别为所述传感器的模拟增益ga和数字增益gd决定的参数，m为无噪图像像素强度。

38、本技术第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于逆isp的raw域雾气数据仿真方法。

39、本技术第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，该程序被处理器执行时实现如上的基于逆isp的raw域雾气数据仿真方法。

40、本技术实施例可以输入场景的rgb数据及深度图，输出雾气raw数据或雾气rgb数据，考虑到成像过程中传感器接收的辐照度对传感器噪声的影响，因而与实际拍摄雾气场景的成像过程更接近，并且可以根据数据的后续应用选择输出雾气raw图像或者雾气rgb图像，为后续的应用提供了更多的数据选择。由此，解决了相关技术中，由于光照变化、物体运动等因素，实际拍摄同一场景的清晰和雾气数据对几乎难以实现，并且直接在rgb数据上进行雾气合成的方法与真实的雾气场景成像过程不符，未考虑到传感器噪声随其表面接收辐照度的变化及图像处理过程中对传感器信号的非线性变换，无法模拟雾气成像过程中噪声影响等问题。

41、本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。