一种基于混合模型的图像融合方法
【专利摘要】本发明公开了一种基于混合模型的图像融合方法，包括以下步骤：首先通过IHS变换将彩色图像从RGB空间变换到IHS空间，进而通过NSCT理论形成了高频和低频两个部分。然后再采用绝对值选大法和第二类切比雪夫多项式分别对高频部分和低频部分进行融合。最后再利用反变换以及强度反变换得到融合结果，并通过IHS逆变换得到最终的RGB融合图像。本发明的方法相比于其他现有的融合方法，具有信息量丰富、清晰度高等优点。
【专利说明】
-种基于混合模型的图像融合方法
技术领域
[0001] 本发明设及一种图像融合方法，具体设及一种基于混合模型的图像融合方法，属 于图像处理技术领域。
【背景技术】
[0002] 图像融合是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和 计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像，W提高 图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分 辨率，利于监测。图像融合的方法可分为两类:基于多分辨率分解和基于估计理论。
[0003] 基于多分辨率分解的图像融合步骤可分为:首先将原图像分别变换到一定的变换 域上，然后在变换域上设计一定的融合规则，根据运些规则创建变换域上的融合图像，最后 再逆变换得到最终的融合图像。其中小波变换W其良好的时频分析特性，而被广泛地应用 于各个领域的图像融合。但由于小波变换在方向性和各向异性上的缺陷，基于Contourlet 变换的融合方法应运而生。近来有学者提出一种通过Contourlet变换的多尺度几何分析的 多模态图像融合，具有较高的亮度、对比度和更详细的视觉信息。但是，Contourlet变换因 下采样而存在着不满足平移不变性和频谱泄露、混叠等缺陷，所W有学者在基于非下采样 Contourlet变换理论即NSCT理论的上进行图像融合，并且取得不错的效果。
[0004] 系统与人眼强烈感知红、绿、蓝Ξ原色的事实能很好的匹配，但是RGB模型和其他 类似的彩色模型不能很好的适应世界上人所识别的颜色，即提出了 HSI(色调、饱和度和强 度)彩色模型。IHS空间是图像融合中比较经典的方法，其彩色空间的编码方法又被称为亮 度-色相-饱和度法。基于HIS空间和NSCT模型的第二类切比雪夫正交多项式算法具有较高 的细节保持。
【发明内容】
[0005] 本发明所要解决的技术问题在于克服现有技术的不足，提供一种基于混合模型的 图像融合方法，该方法相比于现有其他的融合方法，具有信息量丰富、清晰度高等优点。
[0006] 为实现发明目的，本发明采用W下技术方案：
[0007] -种基于混合模型的图像融合方法，包括如下步骤：
[000引步骤(1):利用HISS角变换将图像的RGB空间转换成HIS空间；
[0009] 步骤(2):在HIS空间中使用NSCT变换将图像中的I分量进行分频，得到高频部分和 低频部分；
[0010] 步骤（3):分别对高频部分和低频部分进行融合，然后使用NSCT反变换得到1/分 量；
[0011] 步骤(4):用1/分量替换图像中的I分量，最后利用HIS逆变换把图像的HIS空间转 换成RGB空间，得到融合结果。
[0012] 上述步骤（1)所述的利用HISS角变换将图像的RGB空间转换成HIS空间通过下式 计算：
[0013]
[0014] 上述步骤(2)所述的将I分量进行分频得到高频和低频是通过NSCT变换进行多分 辨率分解得到。
[0015] 上述步骤(3)所述的高频部分采用绝对值选大法进行融合，低频部分用第二类切 比雪夫正交多项式进行融合，差分绝对值选大法的其基本思想是:选取相邻3个像素(或像 素累加值)两两相减，即两两作差分，取3个值的绝对值最大者为差分绝对值最大法结果;作 为本发明的核屯、第二类切比雪夫正交多项式融合算法如下：
[0016] 在多尺度领域假设图像偏移或者噪声服从第二类切比雪夫正交多项式的混合模 型，应用期望值最大算法估计出融合图像。图像的成像模型为：
[0017] Ζ?(1)=β?8(1)+ει(1)
[001引其中i = l，2,…，q为传感器的序号，1表示图像经过NSCT变换分解后的图像位置。Ζ 为传感器的实际成像的图像，S为真实的场景，β表示传感器的挑选因子，0￡{-1，0，1}，6表 示随机扰动或噪声，贝化阶混合第二类切比雪夫正交多项式混合模型为：
[0024] 其中 Σwj = l，χe[0，l]，KN是余弦展开式中的截断点，KN-Nl/s，l/se[0.2,0.33]， 迭代步骤如下：
[0025] Step 1初始化，初始化真实场景s(l)如下：
[0026]
[0027]其中wi=l/q，使0=1，代表能反映真实场景中的传感器，然后再用K-means进行初 始化分割，得到师,1。
[002引step 2 E步，计算条件概率密度函数化11化（1))，公式如下：
[0029]
[0030] 式中k = l，2，...，K;i = l，2，...，q;l = l，2，...，L。
[0031] Step 3 Μ步，将似然函数最大化迭代更新参数值。
[0032] (1)更新参数βι，使得护1选择Q最大，即：
[0033]
[0034] (2)根据护1，重新计算gk,ii(Zi(l))，然后再重新计算使得S(j)更新为S'(j)
[0035]
[0036] (3)重新计算条件概率密度函数阱,ii(Zi(l))，W及S'(j)、w'k,i、a'k,i,j:
[0037]
[00；3 引
[0039] St邱4重复Step2、Step3直到参数达到最大似然估计值。
[0040] 上述步骤(4)所述的用1/分量替换图像中的I分量，最后利用HIS逆变换得到融合 结果图。逆变换公式如下：
[0041]
[0042] 本发明的优点和有益效果：
[0043] 1、一般从传感器得到的图像都是有噪声的，通过融合来降低噪声，本发明的方法 噪声的含量小，不容易导致局部细节丢失；
[0044] 2、本发明所述的方法融合结果的平均梯度值大，相比于其他的算法，本发明获得 的图像更加的清晰；在边缘强度方面，本发明获得的图像边缘信息更加丰富;赌值大，交叉 赌小，本发明获得的图像的细节信息更为丰富且融合结果与源图像之间的差异很小；峰值 信噪比的值高，图像的质量和融合效果好;而且本发明算法在图像局部信息的保持度比较 好；
[0045] 3、本发明的图像融合方法可W根据需要综合处理多源通道的信息，从而有效地提 高了图像信息的利用率、系统对目标探测识别地可靠性及系统的自动化程度。消除多传感 器信息之间可能存在的冗余和矛盾，W增强影像中信息透明度，改善解译的精度、可靠性W 及使用率，W形成对目标的清晰、完整、准确的信息描述。
[0046] 4、本发明的图像融合方法可W应用在很多方面，比如医学、遥感、计算机视觉、气 象预报及军事目标识别等方面。
【附图说明】
[0047] 图1为本发明基于混合模型的图像融合方法的步骤流程图，
[0048] 图2为采用差分绝对值选大法所截取的小区域图像及像素坐标。
【具体实施方式】
[0049] 为了使本发明的目的、技术方案及优点更加清楚明白，W下结合附图及实施例，对 本发明进行进一步的详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明， 并不用于限定本发明。
[0050] 如图1所示，为本发明的一种基于混合模型的图像融合方法，具体步骤如下：
[0051] 步骤(1):利用HISS角变换将图像的RGB空间转换成HIS空间；
[0052] 步骤(2):在HIS空间中使用NSCT变换将图像中的I分量进行分频，得到高频部分和 低频部分；
[0053] 步骤（3):分别对高频部分和低频部分进行融合，然后使用NSCT反变换得到1/分 量；
[0054] 步骤(4):用1/分量替换图像中的I分量，最后利用HIS逆变换把图像的HIS空间转 换成RGB空间，得到融合结果。
[0055] 本发明选定两幅彩色RBG图像，步骤（1)所述的利用HISS角变换将图像的RGB空间 转换成HIS空间通过下式计算：
[0056]
(1,)
[0057] 步骤(2)所述的将I分量进行分频得到高频和低频是通过NSCT进行多分辨率分解 得到。
[0058] 步骤(3)所述的高频部分采用绝对值选大法进行融合，低频部分用第二类切比雪 夫正交多项式进行融合，第二类切比雪夫正交多项式融合算法如下：
[0059] 在多尺度领域假设图像偏移或者噪声服从第二类切比雪夫正交多项式的混合模 型，应用期望值最大算法估计出融合图像。图像的成像模型为：
[0060] Ζ?(1)=β?8(1)+ει(1) (2)
[0061] 其中i = l，2,…，q为传感器的序号，1表示图像经过NSCT分解后的图像位置。Ζ为传 感器的实际成像的图像，S为真实的场景，β表示传感器的挑选因子，0￡{-1，〇，1}，6表示随 机扰动或噪声，贝化阶混合第二类切比雪夫正交多项式混合模型为：
[0065] 第二类切比雪夫正交多项式混合模型的概率密度函数为：
[0066]
(5)
[0067]其中 Σwj = l，χe[0，l]，KN是余弦展开式中的截断点，KNsNl/s，l/se[0.2,0.33]， 再使用EM算法来迭代模型中的参数，迭代步骤如下：
[0068] Step 1初始化，初始化真实场景s(l)如下：
[0069]
烦
[0070] 其中Wi= 1/q，使β= 1，代表能反映真实场景中的传感器，然后再用K-means进行初 始化分割，得到师,1。
[oow step 2 E步，计算条件概率密度函数阱,ii化（1))，公式如下：
[007^
(7)
[0073] 式中k = l，2，...，K;i = l，2，...，q;l = l，2，...，L。
[0074] Step 3 Μ步，将似然函数最大化迭代更新参数值。
[00对 （1)更新参数βι，使得β/1选择Q最大，即
[0076]
[0082] St邱4重复Step2、Step3直到参数达到最大似然估计值。
[0083] 对于高频部分采用差分绝对值选大法进行融合，差分绝对值选大法的其基本思想 是:选取相邻3个像素(或像素累加值)两两相减，即两两作差分，取3个值的绝对值最大者为 差分绝对值最大法结果。图2所示为差分坐标图。差分绝对值最大法可W描述为：
[0084] D(i)=max{ |P(i+l)-P(i) I，|P(i)-P(i-l) I，|P(i-l)-P(i+l) I} (12)
[0085] 式中D(i)差分最大值；i为小区域横坐标，i = l，2，-，w-l;w为小区域宽度（W像素 为单位）;P( i)为坐标i所在列灰度值之和，可W表示为： 隣]
(1扣
[0087] 式中h为小区域高度m像素为单位）；Cx为小区域中屯、的横坐标，i = l，2,…W。由 于采用了两次平移和差分，差分绝对值最大法增强了微弱信号。为克服其在一定程度上将 导致虚假信号的缺点，在从D( i)中选取目标峰值点前先对式(12)进行平滑滤波：
[0088]
(14)
[0089] 式中r为步长，通常取2，i = l，2，…w-l。
[0090] 步骤(4)所述的用1/分量替换图像中的I分量，最后利用HIS逆变换得到融合结果 图。逆变换公式如下：
[0091]
(1巧
[0092] W上所述，仅为本发明较佳的【具体实施方式】。当然，本发明还可有其它多种实施 例，在不背离本发明精神及其实质的情况下，任何熟悉本技术领域的技术人员，当可根据本 发明作出各种相应的等效改变和变形，都应属于本发明所附的权利要求的保护范围。
【主权项】
1. 一种基于混合模型的图像融合方法，其特征在于，包括以下步骤： 步骤（1 )、利用HI S三角变换将图像的RGB空间转换成HI S空间； 步骤(2 )、在HI S空间中使用NSCT变换将图像中的I分量进行分频，得到高频部分和低频 部分； 步骤(3)、分别对高频部分和低频部分进行融合，然后使用NSCT反变换得到V分量； 步骤(4)、用1'分量替换图像中的I分量，最后利用HIS逆变换把图像的HIS空间转换成 RGB空间，得到融合结果。2. 根据权利要求书1所述的一种基于混合模型的图像融合方法，其特征在于，步骤（1) 所述的利用HIS三角变换将图像的RGB空间转换成HIS空间，通过下式计算：3. 根据权利要求书1所述的一种基于混合模型的图像融合方法，其特征在于，步骤(2) 所述的将I分量进行分频得到高频部分和低频部分是由NSCT变换进行多分辨率分解得到。4. 根据权利要求书1所述的一种基于混合模型的图像融合方法，其特征在于，步骤(3) 所述的高频部分采用绝对值选大法进行融合，低频部分用第二类切比雪夫正交多项式进行 融合，所述第二类切比雪夫正交多项式融合算法如下： 在多尺度领域假设图像偏移或者噪声服从第二类切比雪夫正交多项式的混合模型，应 用期望值最大算法估计出融合图像。图像的成像模型为： Zi(l) =Pis(l)+ei(l) 其中i = l，2,…，q为传感器的序号，1表示图像经过NSCT变换分解后的图像位置。Z为传 感器的实际成像的图像，s为真实的场景，β表示传感器的挑选因子，06{-1，〇，1}，￡表示随 机扰动或噪声，则k阶混合第二类切比雪夫正交多项式混合模型为：根据下式，再使用EM算法来迭代模型中的参数：其中2￥产1^[[〇，1]，心是余弦展开式中的截断点，&?#/8，1^^[〇.2,0.33]，迭代 步骤如下： Step 1初始化，初始化真实场景s(l)如下：其中Wi = 1/q，使β= 1，代表能反映真实场景中的传感器，然后再用κ-means进行初始化 分割，得到Wk,i; Step 2 E步，计算条件概率密度函数gk.nUKl))，公式如下：式中 1?=1，2，···，Κ;? = 1，2，···，α;1 = 1，2，···，?; Step 3 Μ步，将似然函数最大化迭代更新参数值 (1) 更新参数&，使得f i选择Q最大，即：(2) 根据β、，重新计算gk.uUKl))，然后再重新计算使得s(j)更新为Slj)(3) 通过下式重新计算条件概率密度函数gk.nUKl))，以及Step 4重复Step2、Step3直到参数达到最大似然估计值。5.根据权利要求书1所述的一种基于混合模型的图像融合方法，其特征在于，步骤(4) 所述的用口分量替换图像中的I分量，最后利用HIS逆变换得到融合结果图，所述逆变换公 式如下：
【文档编号】G06T5/50GK105825491SQ201610153364
【公开日】2016年8月3日
【申请日】2016年3月17日
【发明人】陈超, 刘志, 闫青, 李强
【申请人】江苏科技大学