基于nsct域底层视觉特征的可见光和红外图像融合算法
【技术领域】
[0001] 本发明设及一种基于非下采样轮廓波变换(NSCT)域底层视觉特征的可见光和红 外图像融合算法，属于图像融合数据处理技术领域。
【背景技术】
[0002] 在图像处理领域，图像融合是一项很有发展前景的研究。图像融合技术通过综合 同一场景的多传感器图像或者不同场景的同一传感器图像的有用信息来合成一幅复合图 像。而合成的复合图像具有前者所有的特征信息，更适合用于后期的处理和研究。一个高效 的融合方法可W根据实际需求处理多通道信息。运些优势使得图像融合在很多领域里都特 别受欢迎。例如，遥感成像，计算机视觉，侦查，监控等领域。尤其是可见光和红外图像的融 合，在军事领域中起到了很重要的作用。
[0003] 随着图像融合研究的不断深入，很多的学者提出了很多的图像融合算法。根据对 输入图像的处理方式的不同，主流的红外和可见光图像融合算法主要分为五类:基于置换 的技术，基于分割技术，基于神经网络技术，基于数学形态学技术和基于多尺度变换技术。 基于置换的技术在融合中容易引起光谱的变形。基于分割的技术过分依赖于分割算法，而 通常一个好的图像分割算法往往是不容易得到的。基于神经网络的算法需要人工设置大量 的参数。基于数学形态学的算法在图像融合中也发挥着很重要的作用，但是一些原始图像 中的细节可能会在最终的融合结果中被平滑。和W上四类算法相比，多尺度变换方法更符 合人眼的视觉特征。
[0004] 多尺度变换对图像融合来说是一项有效的方法。近年来，多尺度变换方法已经在 很多图像融合的研究中得到广泛的应用，尤其是可见光和红外图像的融合。一些常见的多 尺度变换有拉普拉斯金字塔化P)变换，金字塔变换(PT),离散小波变换(DWT)，静态小波变 换(SWT)，轮廓波变换(CT)，曲波变换(CVT)和非下采样轮廓波变换(NSCT)等。然而，拉普拉 斯金字塔变换，金字塔变换和静态小波变换都无法很好地保存源图像的空间细节信息并且 容易导致块效应。离散小波变换由于不能捕捉源图像中的静态特征而导致在融合图像中出 现"吉布斯"现象。曲波变化也不能捕捉到源图像中的空间信息。对于轮廓波变换来说，由于 在分解中存在上采样和下采样操作，缺乏平移不变性，容易导致混频现象。而非下采样轮廓 波变换取消了上下采样操作，从而克服了运一缺点。
[0005] 在图像融合中，除了融合工具之外，有效的融合规则也至关重要。近年来，有很多 的学者提出了很多有效的基于多尺度变换的融合算法。大概可W分为=类:基于单个像素 的，基于窗口的和基于区域的。基于单个像素的融合最常见的规则是"绝对值最大选择"策 略;基于窗口的融合规则主要是根据当前像素的活跃水平，而活跃水平由窗口内像素之间 的关系来度量，常见的活跃因子包括绝对分量和（SML )、空间频率(SF )、对比度(Contras t) 等等;基于区域的融合方法的基本思想就是对不同子带系数进行分割，然后选择更清晰的 区域进行融合。对于多尺度融合方法来说，清晰度因子在提高融合性能方面至关重要，通常 传统的清晰度因子是基于单个图像局部特征设计的。实际上，人眼视觉系统主要是靠图像 的底层特征来理解一幅图像的，也就是说由清晰度运一个底层特征所反映的视觉信息是非 常有限的。
【发明内容】
[0006] 本发明的目的在于针对现有技术的缺点和不足，提出了一种基于NSCT域底层视觉 特征的可见光和红外图像融合技术方案。
[0007] 本发明所采用的技术方案是一种基于NSCT域底层视觉特征的可见光和红外图像 融合算法，包括W下步骤：
[0008] 步骤1，输入可见光和红外图像并进行NSCT变换，分别得到可见光图像和红外图像 的子带系数，所述子带系数包括低频子带系数和高频子带系数；
[0009] 步骤2,根据可见光和红外图像低频子带系数的相位一致性、邻域空间频率和邻域 能量信息计算融合图像的低频子带系数；
[0010] 计算可见光和红外图像低频子带系数的相位一致性：
[0011]
[0012]
[0013] 快的、快的分别表示可见光和红外图像在像素点(x，y)的低频子带系 数的相位一致性，L表示低频，V巧日IR分别表示可见光和红外图像，n={0，l，...，J-l}，k = (0，1，. . .，K-1}，J和K分别表示可见光和红外图像在傅里叶频域分解的尺度数量和方向数 量，0k表示滤波器的方向角，片,.,,（-V，1')、Alw (-v，.r)分别表示可见光和红外图像像素点（x，y) 的低频子带系数在第n尺度，0k方向角的傅里叶频域的局部能量，每.,,.fii知y)、端,。4 (.、-，封 分别表示可见光和红外图像像素点（x，y)的低频子带系数在第n尺度，0k方向角的傅里叶频 域的局部振幅信息，e为正常量；
[0014] 计貸可化化巧針外阁像化频子带系敬的巧间稠率：
[0015]
[0016]
[0017] SCMvi (X，y)、SCMir(X，y)分另懐示可见光图像和红外图像在像素点（X，y)的低频子 带系数的空间频率，山"^，7)、山〇^^，7)分别表示可见光图像、红外图像在像素点^，7)的 低频子带系数，山刊片日，7日）、山1^义日，7日)分别表示可见光图像、红外图像在像素点(刪7〇)的 低频子带系数，Qo表示预设的邻域，（xo，yo)表示W像素点（x，y)为中屯、的邻域Qo内任意一 点' ；
[0018] 将可见光和红外图像中所有像素的低频子带系数的空间频率构成矩阵并计算可 见光和红外图像低频子带系数的邻域空间频率LSCMviU,y)，LSCMiR(x,y);
[0019] 计算可见光和红外图像低频子带系数的邻域能量：
[0020]
[0021]
[0022] 161^山7)、1^6化^义，7)分别表示可见光图像、红外图像在像素点山7)的低频子 带系数的邻域能量，山￥1(针111，7+]1)、山1[?(针111，7+]1)分别表示可见光图像、红外图像在像素 点(x+m，y+n)的低频子带系数，M XN表示预设的邻域大小，（x+m，y+n)表示W (X，y)为中屯、的 邻域M X N内任意一点；
[0023] 计算可见光和红外图像低频子带系数的像素活跃水平：
[0024] NAMvi(x,y) = [PCL'vi(x,y)]ax [LSCMvi(x,y)]ex [LENvi(x,y)]Y
[002引 NAMiR(x,y) = |iPCL,iR(x,y)!rx [LSCMiR(x,y)]0X [LENiR(x,y)]Y
[0026] NAMvI(x，y)、NAMIR(x，y)分别表示可见光和红外图像在像素点(x，y)的低频子带系 数的活跃水平，a、e、丫分别表示相位一致性信息、邻域空间频率和邻域能量的权重；
[0027] 将可见光和红外图像中所有像素的低频子带系数的活跃水平构成矩阵，设置滑动 窗口 Q 1，计算可见光和红外图像的低频子带系数的融合权重：
[002引
[0029]
[0030] LmapviU,y)、LmapiR(x,y)表示可见光和红外图像在像素点(x,y)的低频子带系数 的融合权重，XXY表不滑动窗口Ql大小，LsumvI(x,y)、LsumIR(x,y)分别表不可见光和红外 图像在滑动窗口 Q 1内活跃水平较大的像素数量；
[0031]
[0032]
[0033] 「]表示集合的势，（x〇，y〇)表示滑动窗口 Qi内任意一点；
[0034] 计算融合图像低频子带系数lL,F(x，y):
[003引 lL,F(x,y) = lL,vi(x,y) XLmapvi(x,y)+lL,iR(x,y) XLmapiR(x,y);
[0036] 步骤3,根据可见光和红外图像高频子带系数的相位一致性信息、清晰度和图像亮 度计算融合图像的高频子带系数；
[0037] 计算可见光和红外图像高频子带系数的相位一致性：
[00；3 引
[0039]
[0040] 巧苗f:(為妨，fG/托.V)分别表示可见光和红外图像在像素点（x，y)的第I尺度、 第P方向高频子带的相位一致性信息，1和P分别表示高频子带系数的尺度和方向， 斟芯i(.Y，3；)、鸟品,托3；)分别表示可见光和红外图像像素点（x，y)的第1尺度、第P方向高频 子带系数在第11尺度、01^方向角的傅里叶频域的局部能量，杂^1&知，乂>、^4知，的分别表 示可见光和红外图像像素点（x，y)的第1尺度、第P方向高频子带系数在第n尺度、0k方向角 的傅里叶频域的局部振幅，e是正常量；
[0041] 计算可见光和红外图像高频子带系数的清晰度：
[0042]
[0043]
[0044] ，挪），iVSM；/(A，y。):分别表示可见光和红外图像在像素点（xo，yo)的第 1尺度、第P方向的高频子带系数的清晰度，H表示高频子带系数，/註T(A-，y)，媒分别 表示可见光和红外图像在像素点（x，y)的第1尺度，第P方向的高频子带系数， /敵知，斯;），培苗(?，拘)分别表示可见光和红外图像在像素点(xo，yo)的第1尺度，第P方向 的高频子带系数，〇2表示预设的领域，^0,70)表示^^，7)为中屯、的预设领域〇2内任意一 占. '?、、，
[0045] 计算可见光和红外图像在像素(x，y)第1尺度，第P方向的高频子带系数的像素活 跃水平：
[004引 V..V)、WM;/(a：..v)分别表示可见光和红外图像在像素点(x，y)的第1层、
[0046]
[0047] 第P方向的高频子带系数的活跃水平