基于nsst的可见光与红外图像融合方法及系统的制作方法
【专利摘要】本发明提供一种基于NSST的可见光与红外图像融合方法及系统，包括输入可见光和红外图像并进行NSST变换，分别得到可见光图像和红外图像的子带系数，所述的子带系数包括低频子带系数和高频子带系数；求低频子带系数的邻域平均能量，计算各子区域的区域能量特征值，采用基于区域能量特征值的加权策略计算融合图像的低频子带系数；采用基于四阶相关系数的匹配策略计算融合图像的高频子带系数；进行NSST反变换，得到融合图像。本发明能够更好地保留图像边缘和纹理等细节信息，有效地综合红外图像的目标信息与可见光图像的细节信息。
【专利说明】基于NSST的可见光与红外图像融合方法及系统
【技术领域】
[0001] 本发明属于图像处理数据融合【技术领域】，设计一种基于非下采样化earlet变换 (NSST)的可见光与红外图像融合方法及系统。
【背景技术】
[000引图像融合技术将源自不同传感器的同一目标或场景的图像进行综合处理，剔除冗 余信息且尽可能保留互补信息，可W获得信息更丰富、更可靠的融合图像。红外与可见光图 像融合是图像融合领域的一个重要应用，红外图像表征特定场景向外福射能量的差异，具 有良好目标指示性，但对亮度变化不敏感、对比度较低。可见光图像噪声低、清晰度高，含较 丰富的细节信息。因此将该两种图像进行融合，有利于综合红外图像良好的目标特性和可 见光图像丰富的细节信息。
[0003] 近年来，多尺度分析方法在图像融合领域取得许多研究成果。多尺度分析方法发 展经历了小波变换，Contourlet变换、非下采样Contourlet变换等。小波变换对点奇异目 标函数可实现最优表示，但其方向有限性未能较好地表示线奇异函数，使之不能简单推广 到二维。Contourlet变换有效弥补了小波变换的缺陷，可W更好地表示二维甚至更高维奇 异性问题，但其不具备平移不变性易导致混频现象。为较好实现平移不变性，A L化nha等 学者提出了非下采样Contourlet变换（NSCT)，其兼具Contourlet的变换的优势，且具有平 移不变性。相比NSCT，近几年兴起的剪切波变换（shearlet transform, ST)融合法虽然具 有更灵活的结构、更高的计算效率和更理想的图像融合效果，然而其并不具备平移不变性。 非下义样剪切波变换（non-subsampled shearlet transform, NSST)作为ST的改进型模 型，具有优越的图像处理性能。
[0004] 图像融合过程中，NSST虽能较好地完成分解与重构任务，但高频与低频子带系数 融合规则的设计也同样起到重要作用。传统的融合规则即低频平均加权与高频绝对值取大 将会导致融合图像对比度下降。邓承志等在低频部分采用基于粒子群优化算法的加权系数 融合规则，考虑到不同传感器低频成分的差异，但在高频部分直接用加权局部能量取大值 法，没有考虑邻域内像素间的相互影响，而且迭代运算速度较快，精度很难把握。叶传奇等 在处理高频部分时考虑到邻域内像素间的相关性，采用基于区域方差的选择策略，低频分 量采用基于区域相似度的融合策略，融合效果有所改进，但其存在一定的模糊度。
【发明内容】
[0005] 本发明的目的在于针对现有技术的缺点和不足，提出一种基于NSST的可见光与 红外图像融合技术方案。
[0006] 本发明所采用的技术方案是一种基于NSST的可见光与红外图像融合方法，包括 W下步骤：
[0007] 步骤1，输入可见光和红外图像并进行NSST变换，分别得到可见光图像和红外图 像的子带系数，所述的子带系数包括低频子带系数和高频子带系数；
[000引步骤2,根据可见光图像和红外图像的低频子带系数，采用基于区域能量特征值的 加权策略计算融合图像的低频子带系数，实现如下，
[0009] 对可见光图像和红外图像每个像素，分别按照W下原则求低频子带系数的邻域平 均能量，
【权利要求】
1. 一种基于NSST的可见光与红外图像融合方法，其特征在于，包括以下步骤： 步骤1，输入可见光和红外图像并进行NSST变换，分别得到可见光图像和红外图像的 子带系数，所述的子带系数包括低频子带系数和高频子带系数； 步骤2,根据可见光图像和红外图像的低频子带系数，采用基于区域能量特征值的加权 策略计算融合图像的低频子带系数，实现如下， 对可见光图像和红外图像每个像素，分别按照以下原则求低频子带系数的邻域平均能 量，
其中，C^(OT+x，H+ _y)、C4(m. +x，《 + >〇分别表示红外图像、可见光图像中像素 (m+x，n+y)的低频子带系数；Evis(m，n)、Einf(m，n)分别表示可见光图像、红外图像在像素点 (m，n)处的邻域平均能量，XXY为预设的邻域大小，（m+x，n+y)为像素点（m，n)的邻域内任 一占. 对可见光图像和红外图像，分别按照同样的方式将图像中所有像素的低频子带系数的 邻域平均能量构成邻域能量矩阵，将得到的相应邻域能量矩阵划分成若干个互不重叠的独 立子区域，并计算各子区域的区域能量特征值；然后，根据见光图像和红外图像中各子区域 的区域能量特征值，按区域能量特征值的加权策略计算融合图像中相应子区域的低频子带 系数，实现如下， 设图像中某像素点（m，n)属于第i个子区域，根据第i个子区域的融合权值求取融合 图像中该像素点的低频子带系数如下，
其中，<、(夂"）分别表示红外图像、可见光图像中像素（m，n)的低频子带系 数;^^、?^分别表示红外图像、可见光图像第1个子区域的融合权值，定义如下， Wvisji=Ervis,i/(Ervi^i+E' inf；i) Winf，i-Einf，i/(Evis,i+Einf,i) 其中，E'vis，i、E'inti分别表示可见光图像和红外图像第i个子区域的区域能量特征 值； 步骤3,根据可见光图像和红外图像的高频子带系数，采用基于四阶相关系数的匹配策 略计算融合图像的高频子带系数，实现如下， 设置一个滑动窗口，在滑动窗口遍历到任一位置时计算可见光图像和红外图像的高频 子带系数在滑动窗口内的四阶相关系数F，设滑动窗口遍历到任一位置时的窗口中心为图 像某像素点（m，n)， 当F>th时，融合图像的高频子带系数求取如下，
其中，C,㈨，")、和〇,?)分别表示红外图像、可见光图像和融合图像在像 素点（m，n)的高频子带系数，th为预设阈值； 步骤4,根据步骤2、3所得融合图像的低频子带系数和高频子带系数，进行NSST反变 换，得到融合图像。
2. 根据权利要求1所述的基于NSST的可见光与红外图像融合方法，其特征在于：步骤 2中，可见光图像和红外图像第i个子区域的区域能量特征值E'vis，i、E'inti求取如下， 设第i个子区域的中心为图像中某像素点（m，n)，定义如下，
其中，邻域平均能量Evis(m+a,n+b)、Einf (m+a,n+b)分别表示可见光图像、红外图像在像 素点（m+a，n+b)处的邻域平均能量，MXN为预设的子区域大小，（m+a，n+b)为第i个子区域 内任一点。
3. 根据权利要求1或2所述的基于NSST的可见光与红外图像融合方法，其特征在于： 步骤3中，四阶相关系数F的计算方式如下，
其中，+ + + + 〇分别表示红外图像和可见光图像中像素 (m+m'，n+n')的高频子带系数，yinf、yvis分别表示红外图像和可见光图像的高频子带 系数在滑动窗口的均值，M'XN'为预设的滑动窗口大小，（m+m'，n+n')为以像素点 (m，n)为中心的滑动窗口内任一点。
4. 一种基于NSST的可见光与红外图像融合系统，其特征在于，包括以下模块： NSST变换模块，用于输入可见光和红外图像并进行NSST变换，分别得到可见光图像和 红外图像的子带系数，所述的子带系数包括低频子带系数和高频子带系数； 低频子带系数融合模块，用于根据可见光图像和红外图像的低频子带系数，采用基于 区域能量特征值的加权策略计算融合图像的低频子带系数，实现如下， 对可见光图像和红外图像每个像素，分别按照以下原则求低频子带系数的邻域平均能 量，
其中，Ct(/? +X." + .V)、（4(m+X." + .V)分别表示红外图像、可见光图像中像素 (m+x，n+y)的低频子带系数；Evis(m，n)、Einf(m，n)分别表示可见光图像、红外图像在像素点 (m，n)处的邻域平均能量，XXY为预设的邻域大小，（m+x，n+y)为像素点（m，n)的邻域内任 一占. 对可见光图像和红外图像，分别按照同样的方式将图像中所有像素的低频子带系数的 邻域平均能量构成邻域能量矩阵，将得到的相应邻域能量矩阵划分成若干个互不重叠的独 立子区域，并计算各子区域的区域能量特征值；然后，根据见光图像和红外图像中各子区域 的区域能量特征值，按区域能量特征值的加权策略计算融合图像中相应子区域的低频子带 系数，实现如下， 设图像中某像素点（m，n)属于第i个子区域，根据第i个子区域的融合权值求取融合 图像中该像素点的低频子带系数_ (m，n)如下， (^^0 =xC':Jm,n)+WinlixC1ml (m,n) 其中，Ct,(m./2)、（7丨,、(/?.〃)分别表示红外图像、可见光图像中像素（m， n)的低频子带系 数;^^、?^分别表示红外图像、可见光图像第1个子区域的融合权值，定义如下， Wvisji=Ervis,i/(Ervi^i+E' inf；i) Winf，i-Einf，i/(Evis,i+Einf,i) 其中，E'vis，i、E'inti分别表示可见光图像和红外图像第i个子区域的区域能量特征 值； 高频子带系数融合模块，用于根据可见光图像和红外图像的高频子带系数，采用基于 四阶相关系数的匹配策略计算融合图像的高频子带系数，实现如下， 设置一个滑动窗口，在滑动窗口遍历到任一位置时计算可见光图像和红外图像的高频 子带系数在滑动窗口内的四阶相关系数F，设滑动窗口遍历到任一位置时的窗口中心为图 像某像素点（m，n)， 当F>th时，融合图像的高频子带系数求取如下，
其中，Ct(?，")、和分别表示红外图像、可见光图像和融合图像在像素 点（m，n)的高频子带系数，th为预设阈值； NSST反变换模块，用于根据低频子带系数融合模块和高频子带系数融合模块所得融合 图像的低频子带系数和高频子带系数，进行NSST反变换，得到融合图像。
5. 根据权利要求1所述的基于NSST的可见光与红外图像融合方法，其特征在于：低 频子带系数融合模块中，可见光图像和红外图像第i个子区域的区域能量特征值E'vis，i、 E'inti求取如下， 设第i个子区域的中心为图像中某像素点（m，n)，定义如下，
其中，邻域平均能量Evis(m+a,n+b)、Einf (m+a,n+b)分别表示可见光图像、红外图像在像 素点（m+a，n+b)处的邻域平均能量，MXN为预设的子区域大小，（m+a，n+b)为第i个子区域 内任一点。
6. 根据权利要求1或2所述的基于NSST的可见光与红外图像融合方法，其特征在于： 高频子带系数融合模块中，四阶相关系数F的计算方式如下，
其中，〇 + +心分别表示红外图像和可见光图像中像素 (m+m'，n+n')的高频子带系数，yinf、yvis分别表示红外图像和可见光图像的高频子带 系数在滑动窗口的均值，M'XN'为预设的滑动窗口大小，（m+m'，n+n')为以像素点 (m，n)为中心的滑动窗口内任一点。
【文档编号】G06T5/50GK104504673SQ201410849724
【公开日】2015年4月8日 申请日期:2014年12月30日 优先权日:2014年12月30日
【发明者】邵振峰, 杨如红 申请人:武汉大学