一种图像融合方法与流程

本发明涉及图像处理，具体涉及一种图像融合方法。

背景技术：

1、在实际的图像拍摄过程中，由于不同的材质或者不同的景深，不同聚焦深度的图像的聚焦面相差很大，进而无法做到同时清晰成像。为了实现不同聚焦程度或者不同曝光的图像集合的融合，从而实现物体不同尺度的清晰成像。该技术广泛应用于工业领域的高精度检测、测量和表面质量分析等场景。

2、随着图像处理技术的发展，采用高质量的图像帮助人类感知现实世界变得更加可行。例如，多曝光图像、高动态范围等都属于图像增强技术，可以提供出色的细节信息和理想的纹理信息。然而，高动态范围需要额外的处理，例如生成向低动态范围的图像转换以及在普通显示器上的可视化等。而对于不同聚焦程度或者不同曝光的图像，若采用图像融合的方式的话，则不仅不需要中间过程的处理，而且还能够极大地提升图像处理的效率和质量。

3、当前的图像融合主要是通过对不同对焦程度图像，进行亮度、饱和度和色调等方面进行融合处理，获取不同图像、不同像素位置的加权系数，将加权系数进行归一化处理后进行加权求和。但是，此种方法在图像的边缘处的融合效果较差，具有混影、锯齿等缺陷，因而无法满足高精密测量等方面的检测要求。

4、另一种常用的方法是将低动态范围图像转化为高动态范围图像，进行高动态范围的图像融合处理。获取高动态范围后，需要进行色调变换等操作，再转换为低动态范围的数据，满足后续工业场景的检测要求。但是，此种方法需要进行多次图像的转换，在每次转换过程中都带来误差损失，叠加后误差损失较大。

5、因此，针对现有技术的不足有必要进行改进。

技术实现思路

1、本发明主要解决的技术问题是提供一种图像融合方法，以实现不同聚焦程度或者不同曝光的图像数据的融合处理。

2、根据第一方面，一种实施例中提供一种图像融合方法。该图像融合方法包括：

3、获取多张待融合图像；其中，所述待融合图像是对同一场景采用不同的曝光度和/或不同的景深而获得的图像；

4、计算得出每张所述待融合图像的权重图，基于所述权重图计算得到权重高斯金字塔；其中，所述权重图用于表示每张所述待融合图像中各像素点在图像融合时的融合系数，所述权重高斯金字塔为所述权重图的高斯金字塔；

5、计算得出每张所述待融合图像的图像高斯金字塔，基于所述图像高斯金字塔计算得出图像拉普拉斯金字塔；基于所述图像高斯金字塔和权重高斯金字塔得到加权高斯图像金字塔；基于所述图像拉普拉斯金字塔和权重高斯金字塔得到混合拉普拉斯金字塔；

6、基于所述加权高斯图像金字塔和混合拉普拉斯金字塔得到与所述多张待融合图像对应的融合图像。

7、一实施例中，所述权重图为归一化权重图，所述融合系数为归一化融合系数；其中，所述计算每张所述待融合图像的权重图，包括：

8、获取每张所述待融合图像的对比度权重、饱和度权重和/或亮度权重；

9、根据以所述对比度权重为底的幂函数、以所述饱和度权重为底的幂函数和/或以所述亮度权重为底的幂函数计算每张所述待融合图像中各像素点在所述图像融合时的融合系数；

10、对每张所述待融合图像中各像素点在所述图像融合时的融合系数进行归一化，以得到每张所述待融合图像中各像素点在图像融合时的归一化融合系数；基于所述归一化融合系数得到每张所述待融合图像的权重图。

11、一实施例中，所述待融合图像的对比度权重i″k,i,j(x,y)的表达式为：

12、

13、

14、其中，所述i表示所述待融合图像，所述i″k,i,j(x,y)表示第k张所述待融合图像中位于第i行和第j列的像素点的对比度权重，所述表示卷积运算或者相关运算。

15、一实施例中，所述待融合图像的饱和度权重sk,i,j的表达式为：

16、

17、

18、其中，所述和分别表示第k张所述待融合图像中位于第i行第j列的像素点的蓝色通道、绿色通道和红色通道的数值，所述sk,i,j表示第k张所述待融合图像中位于第i行和第j列的像素点的饱和度权重。

19、一实施例中，所述待融合图像的亮度权重的表达式为：

20、

21、其中，所述σ为预设的第一权重系数，所述μ为预设的第二权重系数，所述ek,i,j表示第k张所述待融合图像中位于第i行和第j列的像素点的亮度权重。

22、一实施例中，所述待融合图像中各像素点在图像融合时的融合系数的表达式为：

23、

24、其中，所述ck,i,j为所述i″k,i,j的绝对值，所述wc、ws和we分别为所述ck,i,j、sk,i,j和ek,i,j的加权指数。

25、一实施例中，所述归一化融合系数的表达式为：

26、

27、其中，所述norm(wk,i,j)表示第k张所述待融合图像中位于第i行和第j列的像素点的归一化融合系数。

28、一实施例中，所述加权高斯图像金字塔的最顶层的表达式为：

29、

30、其中，所述表示第k张所述待融合图像的所述权重高斯金字塔中第l层的归一化权重高斯图像中位于第i行和第j列的像素点的数值，所述表示第k张所述待融合图像的所述图像高斯金字塔中第l层的高斯图像中位于第i行和第j列的像素点的数值，所述k表示所述待融合图像的总数量，所述sl,i,j表示与所述k张所述待融合图像对应的所述加权高斯图像金字塔中第l层的加权高斯图像中位于第i行和第j列的像素点的数值，所述l的取值为(n-1)，所述n为所述加权高斯图像金字塔的总层数，所述加权高斯图像金字塔的最底层为第0层，所述权重高斯金字塔中第l层为所述加权高斯图像金字塔的最顶层。

31、一实施例中，所述加权高斯图像金字塔中从第(n-2)层至第0层的加权高斯图像是分别依次通过以下步骤得到的：

32、对位于当前层的上一层的加权高斯图像进行上采样得到对应的上采样结果，对所述对应的上采样结果进行高斯滤波处理而得到所述当前层的加权高斯图像；其中，所述当前层依次是指所述第(n-2)层至第0层，所述加权高斯图像金字塔的最底层为所述第0层。

33、一实施例中，所述混合拉普拉斯金字塔的表达式为：

34、

35、其中，所述表示第k张所述待融合图像的所述权重高斯金字塔中第m层的归一化权重高斯图像中位于第i行和第j列的像素点的数值，所述表示第k张所述待融合图像的所述图像拉普拉斯金字塔中第m层的拉普拉斯图像中位于第i行和第j列的像素点的数值，所述k表示所述待融合图像的总数量，所述bm,i,j表示与所述k张所述待融合图像对应的所述混合拉普拉斯金字塔中第m层的混合拉普拉斯图像中位于第i行和第j列的像素点的数值，所述m的取值范围为0至(m-1)，所述m为所述混合拉普拉斯金字塔的总层数，所述m等于n减1，所述n为所述加权高斯图像金字塔的总层数。

36、一实施例中，所述混合拉普拉斯图像金字塔中第(m-1)层的混合拉普拉斯图像是通过将所述第k张待融合图像的所述图像拉普拉斯金字塔中的第(m-1)层与所述第k张待融合图像的权重高斯金字塔中的第(m-1)层相乘而得到所述第k张待融合图像的顶层相乘结果，再将所有所述待融合图像的顶层相乘结果相加而得到的；

37、所述混合拉普拉斯图像金字塔中从第(m-2)层至第0层的混合拉普拉斯图像是分别依次通过以下步骤得到的：

38、将所述第k张待融合图像的图像拉普拉斯金字塔中的当前层的拉普拉斯图像与所述第k张待融合图像的权重高斯金字塔中的当前层的归一化权重高斯图像相乘而得到所述第k张待融合图像的混合拉普拉斯图像金字塔中所述当前层的相乘结果，再将所有所述待融合图像的所述当前层的相乘结果相加而得到的；其中，所述当前层依次是指所述第(m-2)层至第0层，所述混合拉普拉斯图像金字塔的最底层为所述第0层。

39、一实施例中，基于所述加权高斯图像金字塔和混合拉普拉斯金字塔得到与所述多张待融合图像对应的融合图像，包括：

40、所述加权高斯图像金字塔的总层数为n，所述混合拉普拉斯金字塔的总层数为m，与所述混合拉普拉斯图像金字塔中各层对应的融合子图像是分别依次通过以下方式得到的：

41、对与所述待融合图像对应的所述加权高斯图像金字塔中的第n层进行上采样而得到加权高斯上采样结果，将所述加权高斯上采样结果进行高斯滤波处理而得到对应的低频高斯图像，将所述对应的低频高斯图像与所述混合拉普拉斯金字塔中第m层的混合拉普拉斯图像进行相加而得到与所述混合拉普拉斯图像金字塔中第m层对应的融合子图像；

42、将所述混合拉普拉斯图像金字塔中第m层对应的融合子图像进行上采样而得到对应的低频融合子图像，将所述对应的低频融合子图像与所述混合拉普拉斯图像金字塔中第(m-1)层对应的混合拉普拉斯图像相加而得到与所述混合拉普拉斯图像金字塔中第(m-1)层对应的融合子图像；其中，所述n的取值依次为(n-1)至1，所述m的取值依次为(m-1)至1，所述m等于n减1，所述加权高斯图像金字塔和混合拉普拉斯图像的最底层均为第0层；

43、对与所述混合拉普拉斯图像金字塔中所述第0层对应的融合子图像进行重构而得到所述融合图像。

44、一实施例中，所述图像拉普拉斯金字塔的表达式为：

45、

46、其中，所述gi表示所述图像高斯金字塔中第i层的高斯图像，gi+1表示所述图像高斯金字塔中第i+1层的高斯图像，upsample表示向上采样，k表示对应的高斯核，表示卷积运算或者相关运算。

47、根据第二方面，一种实施例中提供一种计算机可读存储介质。该计算机可读存储介质包括程序。所述程序能够被处理器执行以实现如本文中任一实施例所述的交互方法。

48、本技术的有益效果是：

49、本技术所提供的图像融合方法主要是为了实现不同聚焦程度或者不同曝光的图像数据的融合处理；本技术所提供的图像融合方法不仅能够适应不同曝光图像的输入的场景，而且还能够适应不同聚焦程度的图像的融合处理，具有广泛的场景适应性。