一种基于改进的多尺度变换分解的目标增强与融合方法

本发明属于图像融合以及目标识别，涉及一种基于改进的多尺度变换分解的目标增强与融合方法。

背景技术：

1、本世纪以来，随着军事目标检测、医疗传染防控、工业无损检测等科研领域热分析需求不断的增强，红外成像在军工、民生与工业等领域中应用越来越多。红外探测器依据红外成像将人眼无法感知的红外辐射转变为图像信息。红外辐射能够显示自然界中温度超过绝对零度的物体，相关应用已慢慢渗透到了人们生活中。

2、目前热成像主要用于大目标追踪，然而，实际应用中经常需要对近距离的小目标进行分析与识别。例如：红外热成像可以对疾病进行早期筛查和诊断；可为材料缺陷及性能表征提供检测手段；还可以研究集成电路封装性能，观测集成芯片工作时的温度变化和检测微型电路的缺陷与故障等。

3、红外和可见光图像融合被广泛应用于医学成像、遥感、目标识别与检测领域，不仅能避免同类传感器收集信息形成冗余，导致浪费传输带宽和存储空间；还能收集分布在不同类别传感器采集的各种信息，进而获得单一且丰富的融合图像。

4、拉普拉斯金字塔最初用于将两个预先采集的源图像分别分解为低频带和高频带。对于高频带的融合，执行常见的“最大绝对”融合规则；利用分解后的红外低频信息确定低频带的融合权重，并突出目标。同时，引入正则化参数，以温和的方式控制红外特征的比例，可根据需求进一步调整。再使用拉普拉斯金字塔(laplacian pyramid，lp)的逆变换来重建融合图像。与其他常用的多尺度变换(multiscale transform，mst)分解方法相比，这些图像表现出更好的视觉效果和客观度量值。本技术致力于提出改进的红外和可见光图像融合方法。

技术实现思路

1、本发明的目的在于针对现有可见光和红外双光融合图像方法存在复杂度高、融合效果有待提升的技术缺陷，提出了一种基于改进的多尺度变换分解的目标增强与融合方法，所述方法采用改进的目标增强多尺度变换(multiscale transform，mst)，选用了4层lp分解对原图像进行分解；还提出了一种新的融合权重计算方法对分解后的图像进行融合。该融合权重解决了平均融合规则导致的初始能量信息的部分损失以及融合结果对比度较低等问题。

2、为了实现上述目的，本发明采取如下技术方案：

3、一种基于改进的多尺度变换分解的目标增强与融合方法，依托于基于改进的多尺度变换分解的目标增强与融合系统，包括图像采集模块、mst分解模块及图像融合模块；

4、所述图像采集模块，包括可见光图像采集单元以及红外图像采集单元；所述mst分解模块，包括高斯金字塔序列生成单元、高斯金字塔扩展序列生成单元及拉普拉斯金字塔序列生成单元；所述图像融合模块，包括低频融合单元以及高频融合单元；

5、图像采集模块与mst分解模块相连，mst分解模块与图像融合模块相连；

6、所述可见光图像采集单元以及红外图像采集单元分别与mst分解模块的高斯金字塔序列生成单元相连；所述高斯金字塔序列生成单元与高斯金字塔扩展序列生成单元相连；所述高斯金字塔序列生成单元及高斯金字塔扩展序列生成单元与拉普拉斯金字塔序列生成单元相连；所述拉普拉斯金字塔序列生成单元与图像融合模块的低频融合单元以及高频融合单元相连；

7、所述图像采集模块中的可见光图像采集单元采集可见光源图像，红外图像采集单元采集红外源图像；所述可见光源图像和红外源图像的视场相同；

8、mst分解模块中高斯金字塔序列生成单元的输入为图像采集模块采集的视场相同的可见光源图像和红外源图像，输出为高斯金字塔序列；所述高斯金字塔序列包括n层图像，通过将可见光或红外源图像执行若干次高斯滤波和隔行二次采样产生；

9、mst分解模块中高斯金字塔扩展序列生成单元的输入为高斯金字塔序列生成单元生成的高斯金字塔序列，输出为高斯金字塔扩展序列；

10、所述高斯金字塔扩展序列通过对高斯金字塔的高层序列进行插值和扩展，依次生成更低层对应图像，直至得到高斯金字塔扩展序列，具体为：将高斯金字塔扩展序列的第n层作为高斯金字塔的第n层；设定i＝n，将高斯金字塔扩展序列的第i层图像隔行隔列填零，进行尺寸扩充；再将尺寸扩充后的图像进行高斯滤波后乘以4，生成高斯金字塔扩展序列的第i层；cc：将i减1并更新i，重复将高斯金字塔扩展序列的第i层图像隔行隔列填零，进行尺寸扩充后的图像进行高斯滤波后乘以4，生成高斯金字塔扩展序列的第i层；判断i是否为0，若为0，则生成了高斯金字塔扩展序列；否则循环执行“将i减1并更新i，重复将高斯金字塔扩展序列的第i层图像隔行隔列填零，进行尺寸扩充后的图像进行高斯滤波后乘以4，生成高斯金字塔扩展序列的第i层”；直至判断i为0，即生成了高斯金字塔扩展序列；

11、mst分解模块中的拉普拉斯金字塔扩展序列生成单元的输入为高斯金字塔序列及高斯金字塔扩展序列，输出为拉普拉斯金字塔序列；

12、所述拉普拉斯金字塔序列，包括n层图像且依据高斯金字塔序列及高斯金字塔扩展序列生成，具体过程为：拉普拉斯金字塔序列的第n层即高斯金字塔序列的第n层，对应低频图像，该低频图像代表图像的大部分平滑区域，该低频图像中包含的低频信息反映源图像的像素强度分布；拉普拉斯金字塔序列的第i层由高斯金字塔序列的第i层减去高斯金字塔扩展序列的第i+1层得到；所述i的取值范围为0到n-1；所述高频图像，包括拉普拉斯金字塔的n-1层图像，具体为：第0空间频率层图像、第1空间频率层图像直至第n-1空间频率层图像；所述高频图像中的各层图像包括源图像中的纹理细节信息；所述低频图像对应拉普拉斯金字塔第n空间频率层图像；所述低频图像包含源图像的背景和大部分能量；

13、所述图像融合模块中低频融合单元的输入为拉普拉斯金字塔序列的第n空间频率层图像，包括红外低频图像lan和可见光低频图像lbn，输出为低频融合图像lfn；

14、所述低频融合图像，生成的过程具体为：对红外低频图像lan的像素值取绝对值并归一化，得到矩阵p；对矩阵p依据sλ(α)＝α―1/λ进行非线性变换得到矩阵c；再分别将红外低频图像和可见光低频图像依据c*lan+(1―c)*lbn进行加权融合，得到低频融合图像lfn；所述图像lfn对应于重构后的第n层图像in；所述α对应红外或可见光低频图像的像素值；λ表示低频非线性变换参数，其取值范围为0.01到1；

15、所述图像融合模块中高频融合单元的输入为mst分解后的高频信息，即拉普拉斯金字塔序列的第0空间频率层图像、第1空间频率层图像直至第n-1空间频率层图像；输出为高频融合图像，该高频融合图像利用最大-绝对原理依据：

16、0≤l≤n―1；对mst分解后的高频信息进行融合得到，即对每个空间频率层对应的红外高频图像和可见光高频图像中各点像素值大小进行对比，取较大像素值作为最后高频融合的结果；所述l的取值范围为0到n-1；lal对应红外高频图像中拉普拉斯金字塔序列的第l层；lbl对应可见光高频图像中拉普拉斯金字塔序列的第l层；lfl为高频信息融合后的第l层拉普拉斯金字塔序列；il为高频信息融合后的第l层高频融合图像，等于融合图像的拉普拉斯金字塔扩展序列的第l+1层与第l层拉普拉斯金字塔序列的和；

17、所述基于改进的多尺度变换分解的目标增强与融合方法，包括：

18、s1、采集相同视场的可见光和红外源图像并构建图像数据集；

19、所述源图像表示为包含r行和c列像素的阵列i0，每个像素值表示相对位置的强度；

20、s2、分别对图像数据集中的可见光及红外源图像进行mst分解，获得高斯金字塔序列和拉普拉斯金字塔序列；

21、所述高斯金字塔序列及拉普拉斯金字塔序列均包括n层图像；拉普拉斯金字塔序列的第n层称为低频图像，该低频图像代表图像的大部分平滑区域，该低频图像中包含的低频信息反映源图像的像素强度分布；

22、拉普拉斯金字塔序列的第0到第n-1层称为高频图像；即所述高频图像，包括拉普拉斯金字塔的n-1层图像，具体为：第0空间频率层图像、第1空间频率层图像直至第n-1空间频率层图像；所述高频图像中的各层图像包括源图像中的纹理细节信息；所述低频图像对应拉普拉斯金字塔第n空间频率层图像；所述低频图像包含源图像的背景和大部分能量；

23、s2包括如下子步骤：

24、s21、将源图像执行若干次高斯滤波和隔行二次采样产生高斯金字塔序列；

25、所述高斯金字塔序列中的每层空间频率层图像由前一空间频率层图像生成；

26、源图像为第0空间频率层；将源图像执行一次高斯滤波和隔行二次采样产生第一空间频率层图像；随后，对第一空间频率层图像进行滤波和二次采样获得第二空间频率层图像；重复执行高斯滤波和隔行二次采样，直至获取第n空间频率层图像；所有的空间频率层图像称为高斯金字塔序列；所述高斯金字塔序列中的每层空间频率层图像由前一空间频率层图像生成；

27、s22、通过对高斯金字塔的高层序列进行插值和扩展，依次生成更低层对应的图像，最终得到高斯金字塔扩展序列，具体为：

28、s22a、将高斯金字塔扩展序列的第n层作为高斯金字塔的第n层；

29、s22b、设定i＝n，将高斯金字塔扩展序列的第i层图像隔行隔列填零，进行尺寸扩充；再将尺寸扩充后的图像进行高斯滤波后乘以4，生成高斯金字塔扩展序列的第i层；

30、所述高斯滤波与s21中的高斯滤波相同；

31、s22c、将i减1并更新i，重复将高斯金字塔扩展序列的第i层图像隔行隔列填零，进行尺寸扩充后的图像进行高斯滤波后乘以4，生成高斯金字塔扩展序列的第i层；

32、s22d、判断i是否为0，若为0，跳至s22e，否则跳至s22c；

33、至此，从s22a到s22d，完成了依托高斯金字塔序列生成了高斯金字塔扩展序列；

34、s23、依据s21生成的高斯金字塔序列及s22生成的高斯金字塔扩展序列，生成拉普拉斯金字塔序列，具体为：拉普拉斯金字塔序列的第n层即高斯金字塔序列的第n层，对应低频图像；拉普拉斯金字塔序列的第i层由高斯金字塔序列的第i层减去高斯金字塔扩展序列的第i+1层得到；所述i的取值范围为0到n-1；

35、拉普拉斯金字塔序列的第0到n-1层，对应高频图像；

36、s3、融合可见光和红外图像mst分解后的低频信息，得到低频融合图像；

37、所述低频信息为拉普拉斯金字塔序列的第n层，包括红外低频图像和可见光低频图像；

38、s3具体为：对红外低频图像的像素值取绝对值并归一化，得到矩阵p；对矩阵p进行非线性变换得到矩阵c；再分别将红外低频图像和可见光低频图像依据矩阵c进行加权融合，得到低频融合图像；

39、所述非线性变换的表达式为：sλ(α)＝α―1/λ；

40、所述非线性变换将取值范围在[0,1]的变量映射到[0，1]，用于调整低频红外图像与低频红外光图像的相对大小；所述α对应红外或可见光低频图像的像素值；λ表示低频非线性变换参数，其取值范围为0.01到1；

41、所述非线性变换得到的矩阵c的各点代表对应位置的红外低频图像和可见光图像融合的权重，c的取值越大，融合部分的红外部分越显著；

42、所述将红外低频图像和可见光低频图像依据矩阵c进行加权融合，具体为：

43、根据矩阵c的每个位置的元素的大小对应可见光低频图像与红外低频图像的对应位置的融合权重：

44、in＝lfn＝c*lan+(1―c)*lbn

45、lan对应红外低频图像，lbn对应可见光低频图像；lfn为低频融合图像，该图像等于重构后的第n层图像in；

46、s4、利用最大-绝对原理对mst分解后的高频信息进行融合，得到高频融合图像：

47、0≤l≤n―1；且

48、所述s4中利用最大-绝对原理对mst分解后的高频信息进行融合，具体为：对每个空间频率层对应的红外高频图像和可见光高频图像中各点像素值大小进行对比，取较大像素值作为最后高频融合的结果，使得该空间频率层最终融合图像很大程度保留对应空间频率层源高频图像的细节信息；所述图像的细节信息为梯度信息；所述l的取值范围为0到n-1；lal对应红外高频图像中拉普拉斯金字塔序列的第l层；lbl对应可见光高频图像中拉普拉斯金字塔序列的第l层；lfl为高频信息融合后的第l层拉普拉斯金字塔序列；il为高频信息融合后的第l层高频融合图像，等于融合图像的拉普拉斯金字塔扩展序列的第l+1层与第l层拉普拉斯金字塔序列的和；

49、所述s4中利用最大-绝对原理对mst分解后的高频信息进行融合，是在不同尺度、空间分辨率和分解层的融合；在每个空间频率层上分别融合，所述每个空间频率层即分解层携带不同频带的特定边缘特征和细节。

50、有益效果

51、所述一种基于改进的多尺度变换分解的目标增强与融合方法，与现有增强与融合方法相比，具有如下有益效果：

52、1.所述方法融合的图像不仅纹理特征丰富且有效增加了热成像目标的清晰度；

53、2.所述方法所得结果的性能指标大部分都优于传统方法，同时利用四层lp分解，平均运行速度仅为20毫秒，说明此方法可以运用到实际系统中。