基于模糊推理系统的红外与可见光图像融合方法及系统

本发明涉及图像融合，尤其涉及基于模糊推理系统的红外与可见光图像融合方法及系统。

背景技术：

1、红外与可见光图像融合作为一种像素级融合任务在多传感器图像融合领域备受关注，在目标检测、目标跟踪等领域中有典型的应用。其中，可见光图像与人类视觉系统一致，可以提供具有高空间分辨率和清晰度的纹理细节，但易受光照、雾等复杂天气条件的影响。红外图像通过感知红外光谱中的辐射获得，能够根据辐射差异将目标与背景分离，一定程度上可抵抗恶劣天气干扰，但细节信息少、分辨率低，现有的红外可见光图像融合方法可以分为基于深度学习的方法、基于稀疏表示的方法和基于变换域的方法。其中，基于深度学习的方法对图像的分解和图像不同成分的特征关注较少。基于稀疏表示的方法仅考虑了图像的基础特征，对红外图像的视觉显著信息关注较少，容易导致融合图像亮度丢失。此外，基于稀疏表示方法的计算复杂度较高，字典学习较为耗时。基于变换域的方法可有效识别红外图像中的显著辐射目标，但是对图像中的模糊和不确定边缘决策精度低。因此，红外可见融合可同时突出红外图像的显著目标和可见图像的结构细节，提高对同一场景图像描述的全面性，促进后续视觉任务的完成。

技术实现思路

1、为了解决上述技术问题，本发明的目的是提供基于模糊推理系统的红外与可见光图像融合方法及系统，能够通过充分提取图像中的有效信息对图像进行融合处理，在融合图像中充分保留原图像的有用特征，提高图像的融合精度。

2、本发明所采用的第一技术方案是：基于模糊推理系统的红外与可见光图像融合方法，包括以下步骤：

3、获取红外图像和可见光图像；

4、通过svb-ls滤波器分别对红外图像和可见光图像进行图像分解处理，得到红外图像分解结果和可见光图像分解结果，所述红外图像分解结果包括红外图像的基础层和红外图像的结构层，所述可见光图像分解结果包括可见光图像的基础层和可见光图像的结构层；

5、对红外图像的结构层和可见光图像的结构层进行显著特征检测，得到红外图像的结构显著层、红外图像的结构非显著层、可见光图像的结构显著层和可见光图像的结构非显著层；

6、基于模糊逻辑推理对红外图像的结构显著层和可见光图像的结构显著层进行融合处理，得到预融合的结构显著层融合图像；

7、基于直觉模糊集的度量方法对红外图像的结构非显著层和可见光图像的结构非显著层进行融合处理，得到预融合的结构非显著层融合图像；

8、基于能量的规则对红外图像的基础层和可见光图像的基础层进行融合处理，得到预融合的基础层融合图像；

9、将预融合的结构显著层融合图像、预融合的结构非显著层融合图像和预融合的基础层融合图像进行相加融合处理，得到最终的图像融合结果。

10、进一步，所述svb-ls滤波器包括bitonic滤波器和最小二乘模型，所述通过svb-ls滤波器分别对红外图像和可见光图像进行图像分解处理，得到红外图像分解结果和可见光图像分解结果这一步骤，其具体包括：

11、通过bitonic滤波器分别对红外图像和可见光图像进行梯度平滑处理，得到平滑后的红外图像和平滑后的可见光图像；

12、将平滑后的红外图像和平滑后的可见光图像嵌入至最小二乘模型，引入svb-ls滤波器目标函数进行最小值求解，得到红外图像的基础层和可见光图像的基础层；

13、分别对红外图像与红外图像的基础层进行作差计算处理、可见光图像与可见光图像的基础层进行作差计算处理，得到红外图像的结构层和可见光图像的结构层。

14、进一步，所述通过bitonic滤波器分别对红外图像和可见光图像进行梯度平滑处理，得到平滑后的红外图像和平滑后的可见光图像这一步骤，其具体包括：

15、构建一个秩滤波器；

16、基于秩滤波器，对红外图像和可见光图像分别进行形态学打开和形态学关闭操作处理，得到形态学打开后的红外图像、形态学关闭后的红外图像、形态学打开后的可见光图像和形态学关闭后的可见光图像；

17、对形态学打开后的红外图像和形态学关闭后的红外图像进行加权计算，得到红外图像加权计算结果；

18、对形态学打开后的可见光图像和形态学关闭后的可见光图像进行加权计算，得到可见光图像加权计算结果；

19、分别计算红外图像加权计算结果与红外图像之间的差值和可见光图像加权计算结果与可见光图像之间的差值，得到红外图像的误差值和可见光图像的误差值；

20、基于红外图像的误差值对红外图像进行平滑处理，得到初步平滑后的红外图像；

21、基于可见光图像的误差值对可见光图像进行平滑处理，得到初步平滑后的可见光图像；

22、分别对初步平滑后的红外图像和初步平滑后的可见光图像依次进行傅里叶变换和逆变换处理，得到平滑后的红外图像和平滑后的可见光图像。

23、进一步，所述基于模糊逻辑推理对红外图像的结构显著层和可见光图像的结构显著层进行融合处理，得到预融合的结构显著层融合图像这一步骤，其具体包括：

24、分别计算红外图像的结构显著层和可见光图像的结构显著层的水平梯度值与垂直梯度值，得到红外图像的结构显著层的水平梯度值、红外图像的结构显著层的垂直梯度值、可见光图像的结构显著层的水平梯度值和可见光图像的结构显著层的垂直梯度值；

25、将红外图像的结构显著层的水平梯度值、红外图像的结构显著层的垂直梯度值、可见光图像的结构显著层的水平梯度值和可见光图像的结构显著层的垂直梯度值输入至模糊推理系统；

26、基于模糊推理系统，通过0均值高斯隶属函数将红外图像的结构显著层的水平梯度值、红外图像的结构显著层的垂直梯度值、可见光图像的结构显著层的水平梯度值和可见光图像的结构显著层的垂直梯度值映射至[0，1]间，得到红外图像的结构显著层的0均值高斯隶属度和可见光图像的结构显著层的0均值高斯隶属度；

27、基于红外图像的结构显著层的0均值高斯隶属度和可见光图像的结构显著层的0均值高斯隶属度，定义三角隶属度函数和设计模糊推理系统的推理规则，确定红外图像的结构显著层的像素点输出和可见光图像的结构显著层的像素点输出；

28、基于红外图像的结构显著层的像素点输出和可见光图像的结构显著层的像素点输出，通过centroid法计算，得到红外图像的显著特征图和可见光图像的显著特征图；

29、分别对红外图像的显著特征图和可见光图像的显著特征图进行二值化处理，得到红外图像显著特征的决策图和可见光图像显著特征的决策图；

30、分别对红外图像的决策图和可见光图像的决策图进行引导滤波处理，得到红外图像的特征最终决策图和可见光图像的特征最终决策图；

31、将红外图像的特征决策图和可见光图像的特征决策图分别与红外图像的结构层和可见光图像的结构层相乘再相加，得到预融合的结构显著层融合图像。

32、进一步，所述设计模糊推理系统的推理规则这一步骤，其具体包括：

33、判断红外图像的结构显著层的水平梯度值和红外图像的结构显著层的垂直梯度值在同一像素点处是否均为0，若均为0则输出红外图像的结构显著层的像素点为黑色，若均不为0则输出红外图像的结构显著层的像素点为白色；

34、判断可见光图像的结构显著层的水平梯度值和可见光图像的结构显著层的垂直梯度值在同一像素点处是否均为0，若均为0则输出可见光图像的结构显著层的像素点为黑色，若均不为0则输出可见光图像的结构显著层的像素点为白色。

35、进一步，所述将将红外图像的特征决策图和可见光图像的特征决策图行分别与红外图像的结构层和可见光图像的结构层相乘再进行相加，得到预融合的结构显著层融合图像这一步骤的表达式为：

36、

37、上式中，fs,n表示预融合的结构显著层融合图像，表示红外图像的显著特征决策图，表示可见光图像的显著特征决策图，表示红外图像的结构层，表示可见光图像的结构层。

38、进一步，所述基于直觉模糊集的度量方法对红外图像的结构非显著层和可见光图像的结构非显著层进行融合处理，得到预融合的结构非显著层融合图像这一步骤，其具体包括：

39、通过三角隶属度函数对红外图像的结构非显著层和可见光图像的结构非显著层进行模糊化处理，得到模糊化后的红外图像的结构非显著层和模糊化后的可见光图像的结构非显著层；

40、对三角隶属度函数进行转换处理，得到直觉模糊推理隶属度矩阵；

41、基于直觉模糊推理隶属度矩阵对模糊化后的红外图像的结构非显著层和模糊化后的可见光图像的结构非显著层进行相似度测量，得到红外图像的结构非显著层的相似度矩阵和可见光图像的结构非显著层的相似度矩阵；

42、分别对红外图像的结构非显著层的相似度矩阵和可见光图像的结构非显著层的相似度矩阵进行卷积处理，得到卷积后的红外图像的结构非显著层和卷积后的可见光图像的结构非显著层；

43、对卷积后的红外图像的结构非显著层和卷积后的可见光图像的结构非显著层进行融合处理，得到预融合的结构非显著层融合图像。

44、进一步，所述对卷积后的红外图像的结构非显著层和卷积后的可见光图像的结构非显著层进行融合处理，得到预融合的结构非显著层融合图像这一步骤的表达式为：

45、

46、

47、

48、上式中，fs,r表示预融合的结构非显著层融合图像，表示红外图像的结构非显著层，表示可见光图像的结构非显著层，scac表示直觉模糊集a和c的卷积相似度矩阵，scbc表示直觉模糊集b和c的卷积相似度矩阵。

49、进一步，所述基于能量的规则对红外图像的基础层和可见光图像的基础层进行融合处理的表达式具体如下所示：

50、

51、上式中，fe表示预融合的基础层融合图像，表示红外图像的基础层，表示可见光图像的基础层。

52、本发明所采用的第二技术方案是：基于模糊推理系统的红外与可见光图像融合系统，包括：

53、图像获取模块，用于获取红外图像和可见光图像；

54、图像分解模块，用于通过svb-ls滤波器分别对红外图像和可见光图像进行图像分解处理，得到红外图像分解结果和可见光图像分解结果，所述红外图像分解结果包括红外图像的基础层和红外图像的结构层，所述可见光图像分解结果包括可见光图像的基础层和可见光图像的结构层；

55、图像结构层检测模块，用于对红外图像的结构层和可见光图像的结构层进行显著特征检测，得到红外图像的结构显著层、红外图像的结构非显著层、可见光图像的结构显著层和可见光图像的结构非显著层；

56、图像结构显著层融合模块，基于模糊逻辑推理对红外图像的结构显著层和可见光图像的结构显著层进行融合处理，得到预融合的结构显著层融合图像；

57、图像结构非显著层融合模块，基于直觉模糊集的度量方法对红外图像的结构非显著层和可见光图像的结构非显著层进行融合处理，得到预融合的结构非显著层融合图像

58、图像基础层融合模块，基于能量的规则对红外图像的基础层和可见光图像的基础层进行融合处理，得到预融合的基础层融合图像；

59、最终图像融合模块，用于将预融合的结构显著层融合图像、预融合的结构非显著层融合图像和预融合的基础层融合图像进行相加融合处理，得到最终的图像融合结果。

60、本发明方法及系统的有益效果是：本发明通过获取红外与可见光图像，进一步通过svb-ls滤波器对两张图像进行滤波处理，获取两张待融合图像的基础层和结构层，同时考虑源图像的全局和结构特征，快速有效地进行“结构-基础”分解，进一步为了充分提取结构层中的纹理、边缘等信息，设计了基于模糊推理系统的显著结构特征提取算法，通过模糊推理系统，有效处理模糊和不确定信息，并推理和决策显著边缘，考虑到剩余结构层中的剩余细节信息，引入直觉模糊集相似性度量方法，利用其更强的不确定性和模糊性表达能力，对结构和细节模糊特征进行提取和度量，最后，利用基于能量的规则融合含有丰富能量和对比度信息的基础层。结合预融合的显著结构层、剩余结构层和基础层可得到最终的融合图像。