基于显著性检测与改进双通道的自适应融合方法及装置与流程

本发明涉及图像融合领域，特别涉及一种基于显著性检测与改进双通道的自适应融合方法及装置。

背景技术：

图像融合是信息融合的一个重要分支，它将来自相同场景的多源图像按照某种规则融合成一幅新的图像，因此可以对该场景进行更为准确和更为全面的描述。红外与可见光融合是目前应用最为广泛的异源图像融合，红外传感器通过探测物体自身的热辐射生成图像，能够显示隐藏的热目标，受外界干扰因素影响较小；可见光成像传感器是通过捕获物体的反射生成图像，具有高分辨率的细节信息；将两者结合使用，可有效地突出目标，增加图像的理解力。

目前针对红外与可见光融合，学者们提出了许多方法，特别是针对像素级的红外和可见光图像融合。多尺度分解(mga)是一种相对简单而且容易获得图像特征的融合方法。源图像通过多尺度的分解，形成不同尺度、不同方向的子带图像，通过对这些子带处理，最终就能获得相应的融合图像。轮廓波变换、非下采样轮廓波变换(nsct)、双树复小波变换(dtcwt)、剪切波变换(st)、非下采样剪切波变换(nsst)等都是目前较为常用的多尺度分解工具，但在这些众多的方法中，由于nsst分解速度最快、分解效果最为精细，因此受到很多研究者的青睐。nsst在方向局部化阶段，采用局部化小尺寸剪切滤波器，能够避免块效应和弱化吉布斯振铃现象，减少频谱的混叠现象，提高时域卷积计算效率。

图像在经过多尺度变换后，通常会对分解后的低频图像采用加权求和的融合规则，而对于红外图像和可见光图像融合时，由于两者低频分量的光谱特性差异较大，权值的简单平均规则会使融合图像对比度降低。我们希望融合后的图像能够在人眼敏感的可见光视觉背景下，自适应的将隐藏的或者显著的红外目标及区域信息融入其中，这样既不会导致融合图像重构不自然，而且很好地保留了源图像中显著目标的信息。achanta等人提出了一种基于调频法(ft)的显著性检测方法，该方法可以对图像中显著性目标及区域较为精准地识别，从而形成相应的显著图。由于显著图包含了图像灰度值在空间分布的权重信息，因此利用它作为权重函数，可以将低频融合从加权平均变为加权自适应，有效地融合了图像中的显著信息，提高了融合效果。

高频子带由于包含了图像的边缘信息，往往采用“绝对值最大”的规则指导融合，其中较大的绝对值对应于更显著的纹理特征，但这容易丢失源图像的冗余信息。pcnn是一种新型的人工神经网络模型，由于其具有全局耦合和神经元脉冲同步的特点，已经被广泛应用于图像融合。然而传统pcnn模型的连接强度往往是恒定的，并且外界刺激一般采用单个像素值，为了弥补这些缺陷，需要对现有传统pcnn模型进行改进，并且充分利用局部图像信息，有效提取图像细节。

技术实现要素：

本发明实施例提供了一种基于显著性检测与改进双通道的自适应融合方法及装置，可以更好地表达图像的特征，取得了较好的融合效果。

一方面，本发明提供了一种基于显著性检测与改进双通道的自适应融合方法，所述方法包括：

获取来自同一场景并进行图像配准的红外图像和可见光图像；

利用非下采样剪切波变换nsst算法对所述红外图像和所述可见光图像进行多尺度分解得到低频子带系数和高频子带系数；

针对低频子带系数采用基于ft算法进行自适应加权融合得到低频融合系数，对高频子带系数采用改进的双通道pcnn模型进行优化处理得到高频融合系数；

利用nsst逆变换重构低频融合系数和高频融合系数得到融合图像。

另一方面，本发明还提供了一种基于显著性检测与改进双通道的自适应融合装置，所述装置包括：

图像配准单元，用于获取来自同一场景并进行图像配准的红外图像和可见光图像；

多尺度分解单元，用于利用非下采样剪切波变换nsst算法对所述红外图像和所述可见光图像进行多尺度分解得到低频子带系数和高频子带系数；

融合系数处理单元，用于针对低频子带系数采用基于ft算法进行自适应加权融合得到低频融合系数，对高频子带系数采用改进的双通道pcnn模型进行优化处理得到高频融合系数；

融合单元，用于利用nsst逆变换重构低频融合系数和高频融合系数得到融合图像。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明提供的基于显著性检测与改进双通道的自适应融合方法及装置，通过nsst作为多尺度分解工具，将图像分解为一个低频子带和一系列高频子带；利用ft算法指导低频子带图像的自适应加权融合；最后利用改进的双通道pcnn模型对高频子带优化处理，可以更好地表达图像的特征，取得了较好的融合效果。

附图说明

图1(a)为本发明实施例中的基于显著性检测与改进双通道的自适应融合方法的流程图；

图1(b)为本发明实施例中的基于显著性检测与改进双通道的自适应融合方法的流程示意图；

图2为本发明实施例中的基于显著性检测与改进双通道的自适应融合方法中ft算法的示意图；

图3为本发明实施例中的基于显著性检测与改进双通道的自适应融合方法中红外图像与可见光图像的显著图提取示例示意图；

图4为本发明实施例中的基于显著性检测与改进双通道的自适应融合方法中融合实验效果对比图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

结合图1(a)和图1(b)所示，本发明实施例中提供了一种基于显著性检测与改进双通道的自适应融合方法，所述方法包括：

s101、获取来自同一场景并进行图像配准的红外图像和可见光图像。

选取来自同一场景并且经过严格配准的大小均为505×510的红外图像与可见光图像，对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。

s102、利用非下采样剪切波变换nsst算法对所述红外图像和所述可见光图像进行多尺度分解得到低频子带系数和高频子带系数。

本发明实施例中分别采用matlab仿真软件中‘maxflat’和[2，2，3，3]作为nsst的方向滤波器和金字塔滤波器，利用局部非采样剪切变换lnsst分别对所述红外图像和所述可见光图像进行多尺度分解分别形成低频子带系数和高频子带系数其中l是分解层数，k是每层分解方向的数量，(i,j)代表像素元的位置。

s103、针对低频子带系数采用基于ft算法进行自适应加权融合得到低频融合系数，对高频子带系数采用改进的双通道pcnn模型进行优化处理得到高频融合系数。

结合图2所示，针对低频子带采用基于ft算法进行自适应加权融合，高频子带采用改进的双通道pcnn模型进行优化处理。

低频融合规则：

1.采用ft算法分别对红外图像和可见光图像进行显著性探测，分别形成加权系数矩阵。

2.利用相应的加权矩阵分别指导基于红外显著性与可见光显著性的自适应加权融合。

3.采用一种区域能量的方式将两组融合系数进行合并，输出最终的低频融合系数。

高频融合规则：

1.令改进的双通道pcnn(id-pcnn)模型中各参数初始化，并采用方向梯度和算子(sdg)作为计算神经元的链接强度。

2.计算高频子带系数的改进空间频率msf，并作为id-pcnn模型的外界刺激。

3.迭代公式神经元内部参数，直到所有神经元都被点火。

4.输出最终的高频融合系数。

s104、利用nsst逆变换重构低频融合系数和高频融合系数得到融合图像。

本发明提供的基于显著性检测与改进双通道的自适应融合方法，采用nsst作为多尺度变换工具对图像进行多尺度分解，nsst在分解阶段去除了采样操作，使其具备了平移不变性；同时在方向局部化阶段，局部化小尺寸剪切滤波器能够避免频谱混叠现象，使图像分解与重建效果更加好。针对低频子带与高频子带之间的不同，采用不同的融合规则对其进行处理。图像的低频分量代表了图像的主要能量，是图像的近似部分，因此低频分量的融合规则决定最终的融合效果，采用基于ft算法的显著性检测指导低频子带融合，将低频融合从加权平均变为加权自适应，避免异源图像光谱特性不兼容的缺点，有效地融合了图像中的显著信息，提高了融合效果。高频分量利用自适应双通道pcnn模型作为融合规则，由于该模型能够反映图像边缘、纹理细节的改变，因此高频系数所代表的纹理细节能更全面的还原到融合图像中。

低频融合规则

结合图2和图3所示，在步骤s103中，所述针对低频子带系数采用基于ft算法进行自适应加权融合得到低频融合系数，具体包括：

图3(a)为本发明实施例中的基于显著性检测与改进双通道的自适应融合方法中相同场景的红外图像示意图，图3(b)为本发明实施例中的基于显著性检测与改进双通道的自适应融合方法中相同场景的可见光图像示意图，图3(c)为本发明实施例中的基于显著性检测与改进双通道的自适应融合方法中红外图像显著图，图3(d)为本发明实施例中的基于显著性检测与改进双通道的自适应融合方法中可见光图像显著图，采用ft算法分别对红外图像和可见光图像进行显著性探测，生成相应的显著图sir与svi，然后再将两幅图的灰度值进行归一化，分别形成第一加权系数矩阵s1与第二加权系数矩阵s2，其中显著性检测的公式如下：

s(x,y)＝||iμ-iwhc||；(1)

因为采用lab空间，因此每个像素都是一个[l,a,b]^t向量，其中iμ是图像特征向量的平均值，iwhc是相应的图像像素向量在像素位置(x,y)经过高斯模糊滤波后的值，║·║采用欧式距离计算，dog过滤器被定义为：

其中σ1和σ2是高斯函数的标准偏差，dog滤波器是一个简单的带通滤波器，低频截止值wlc由σ1确定，而高频截止值whc由σ2控制，通过选择合适的σ1和σ2值，提取的显著图能够保留预期的空间频率特征。为了尽可能保留所有其他频率，σ1的值被设置为无穷大。另一方面，使用较小的σ2值来消除高频噪声和纹理。

利用第一加权系数矩阵s1与第二加权系数矩阵s2分别指导基于红外显著性与可见光显著性的自适应加权融合，具体表达式为：

其中c^irl,k(i,j)与c^vil,k(i,j)分别代表红外图像与可见光图像在(i,j)处的低频子带系数，l是分解层数，k是每层分解方向的数量，c¹l,k(i,j)与c²l,k(i,j)分别表示基于红外显著性检测与可见光显著性检测的自适应加权融合系数。

由于两组融合系数都包含了自适应加权的融合结果，可以采用一种区域能量的方式将两组融合系数进行合并，该方法可以在自适应加权的基础上进一步融合红外图像和可见光图像的显著性信息，使图像融的合效果更加完美，具体地：

计算两组自适应加权融合系数的区域能量：

其中ω(m,n)代表为以像素(i,j)为中心定义的一个窗口，取3×3窗口，e¹l,k(i,j)与e²l,k(i,j)分别代表两组自适应加权融合系数在窗口内的区域能量；

计算两组低频系数的相似性；

其中阈值t的范围在[0.3,0.4]之间，当m^1,2l,k(i,j)<t时，表明两组系数的相关性差，其中区域能量值大表示该区域包含更丰富的显著性信息，则更大的系数为融合系数，采用如下合并规则：

当m^1,2l,k(i,j)<t，说明二者重要程度相当，两个区域都包含相当重要的显著性信息。由于两组融合系数是经过自适应加权融合而得来，因此在系数合并时，即使采用加权平均的策略也并不影响融合效果：

其中w(i,j)代表系数合并时的权重系数，通过以上的方法，我们相当于对低频分量进行了二次融合，这样不但将解决了图像对比度偏低的问题，同时又将两幅源图像的显著性信息很好地结合。

高频融合规则

进一步地，在步骤s103中，所述对高频子带系数采用改进的双通道pcnn模型进行优化处理得到高频融合系数，具体包括：

计算改进的空间频率msf作为双通道pcnn的外界刺激，具体表达式如下：

其中msf、rf、cf、mdf、sdf分别表示行频频、列频率、主角频率和辅助对角线频率，m×n采取3×3的窗口；

将分解后的高频子带系数输入到改进双通道pcnn模型中，其中改进双通道pcnn模型的表达式如下：

接收域：

其中s¹ij和s²ij表示两幅图像的像素元分别在(i,j)处归一化的灰度值，将其作为外界刺激直接输入到接收域，lij代表链接输入，yij表示内部处理后神经元的外部输出；

信息融合域：

其中信息融合域域通过判读两幅图像神经元内部项uij的大小，来决定最终输出的uij，β¹ij和β²ij代表两幅图像相应的链接强度，反映了人眼视觉系统对图像中不同特征区域反应的强烈程度，是整个模型中最重要的参数；

脉冲域：

其中θij是阈值函数；δ是动态阈值的下降幅度，可以认为是0.01，以确保动态阈值的衰减速率是轻微的；vθ决定了神经元的阈值，因此应该设置一个相对较大的值，例如10；

像素元点火次数：

其中，n代表迭代次数，tij表示每个像素元ij的点火次数，准确地表达了像素元的点火次数信息,很好地解决迭代次数n的自适应问题；

自适应链接强度：

sdg(i,j)＝▽ch+▽cv+▽cmd+▽cvd；(24)

其中cl^k(i,j)表示经过nsst分解后的高频子带系数，l是分解层数，k是每层分解方向的数量，sdg代表像素元(i,j)处的方向梯度和，与表示水平与垂直方向上的梯度变化，与表示对角线方向的梯度变化，链接强度可以根据方向梯度之和自适应调整，使得pcnn模型有效地保留了图像细节，提高了图像的融合性能。

迭代公式(17)～(29)直到所有神经元都被点火，计算uij(n),lij(n),θij(n),tij(n),yij(n)，融合系数的规则如下：

一般地，图像融合结果的性能可以通过主观和客观的方式进行评价。在大多数情况下，融合结果之间的差异不大，则难以用主观方式正确地评价融合结果。因此，在客观质量评价的基础上对融合效果进行评价也是非常必要的，本方案中选取了以下5个客观质量指标作为评判标准：1.平均梯度(avg)2.信息熵(ie)3.边缘信息保留量(q^ab/f)4.标准差(sd)。详细地说，avg用来体现图像中的微小细节反差和纹理变化特征；ie可以直接用来衡量图像信息的丰富程度；sd用来反应像素灰度值的分布状况；q^ab/f评价从源图像传递到融合图像的边缘信息量。对于这5个指标，数值越大代表性能越好。

结合图4所示，为了直观展示本发明的基于显著性检测与改进双通道的自适应融合方法，对多种融合算法进行仿真，采用基于nsst-sf-pcnn的融合算法、基于gff的融合算法、基于cnn的融合算法、基于ife-vip的融合算法、基于gtf的融合算法等作为对比，融合效果图详见图4(a)-(h)。

表1表示不同算法的评价指标对比。

其中图4(c)与图4(e)没有很好地还原树木的纹理细节，图4(g)与图4(f)的图像对比度偏低，图4(d)的观感相对较好，但是与图4(h)相比，图像整体的边缘细节与树木的纹理均不如本文算法，因此本文算法所得的融合图像对比度最高，而且保留的背景信息最多，观感最佳。与主观观感相似，在评价参数中，除q^ab/f值略低于cnn算法，其它参数值均保持领先，本文算法在图像灰度值分布、边缘细节、清晰度等方面优于其他算法，并且拥有较好的观感，并且融合后的图像对比度较好，整体灰度值过渡自然，拥有较佳的观感。

对应地，本发明提供了一种基于显著性检测与改进双通道的自适应融合装置，所述装置包括：

图像配准单元，用于获取来自同一场景并进行图像配准的红外图像和可见光图像；

多尺度分解单元，用于利用非下采样剪切波变换nsst算法对所述红外图像和所述可见光图像进行多尺度分解得到低频子带系数和高频子带系数；

融合系数处理单元，用于针对低频子带系数采用基于ft算法进行自适应加权融合得到低频融合系数，对高频子带系数采用改进的双通道pcnn模型进行优化处理得到高频融合系数；

融合单元，用于利用nsst逆变换重构低频融合系数和高频融合系数得到融合图像。

可选地，所述图像配准单元具体用于：

分别获取同一场景的红外图像和可见光图像；

对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。

可选地，所述多尺度分解单元具体用于：

利用非采样剪切变换nsst分别对所述红外图像和所述可见光图像进行多尺度分解分别形成低频子带系数和高频子带系数其中l是分解层数，k是每层分解方向的数量，(i,j)代表像素元的位置。

可选地，所述融合系数处理单元具体用于：

采用ft算法分别对红外图像和可见光图像进行显著性探测，生成相应的显著图sir与svi，然后再将两幅图的灰度值进行归一化，分别形成第一加权系数矩阵s1与第二加权系数矩阵s2；

利用第一加权系数矩阵s1与第二加权系数矩阵s2分别指导基于红外显著性与可见光显著性的自适应加权融合，具体表达式为：

其中c^irl,k(i,j)与c^vil,k(i,j)分别代表红外图像与可见光图像在(i,j)处的低频子带系数，l是分解层数，k是每层分解方向的数量，c1^l,k(i,j)与c2^l,k(i,j)分别表示基于红外显著性检测与可见光显著性检测的自适应加权融合系数；

计算两组自适应加权融合系数的区域能量：

其中ω(m,n)代表为以像素(i,j)为中心定义的一个窗口，取3×3窗口，e¹l,k(i,j)与e²l,k(i,j)分别代表两组自适应加权融合系数在窗口内的区域能量；

计算两组低频系数的相似性；

其中阈值t的范围在[0.3,0.4]之间，当m^1,2l,k(i,j)<t时，表明两组系数的相关性差，其中区域能量值大表示该区域包含更丰富的显著性信息，则更大的系数为融合系数，采用如下合并规则：

当m^1,2l,k(i,j)<t，说明二者重要程度相当，两个区域都包含相当重要的显著性信息。由于两组融合系数是经过自适应加权融合而得来，因此在系数合并时，即使采用加权平均的策略也并不影响融合效果：

其中w(i,j)代表系数合并时的权重系数，通过以上的方法，我们相当于对低频分量进行了二次融合，这样不但将解决了图像对比度偏低的问题，同时又将两幅源图像的显著性信息很好地结合。

可选地，所述融合系数处理单元具体用于：

计算改进的空间频率msf作为双通道pcnn的外界刺激，具体表达式如下：

其中msf、rf、cf、mdf、sdf分别表示行频频、列频率、主角频率和辅助对角线频率，m×n采取3×3的窗口；

将分解后的高频子带系数输入到改进双通道pcnn模型中，其中改进双通道pcnn模型的表达式如下：

接收域：

fij¹(n)＝sij¹(n)；(17)

fij²(n)＝sij²(n)；(18)

其中s¹ij和s²ij表示两幅图像的像素元分别在(i,j)处归一化的灰度值，将其作为外界刺激直接输入到接收域，lij代表链接输入，yij表示内部处理后神经元的外部输出；

信息融合域：

uij(n)＝max{f¹ij(n)(1+βij¹lij(n)),f²ij(n)(1+βij²lij(n))}；(20)

其中信息融合域域通过判读两幅图像神经元内部项uij的大小，来决定最终输出的uij。β¹ij和β²ij代表两幅图像相应的链接强度；

脉冲域：

θij(n)＝θij(n-1)-δ+vθyij(n)；(22)

其中θij是阈值函数；δ是动态阈值的下降幅度，vθ决定神经元的阈值；

像素元点火次数：

其中，n代表迭代次数，tij表示每个像素元ij的点火次数；

自适应链接强度：

sdg(i,j)＝▽ch+▽cv+▽cmd+▽cvd；(24)

β(i,j)＝sdg(i,j)；(29)

其中cl^k(i,j)表示经过nsst分解后的高频子带系数，l是分解层数，k是每层分解方向的数量，sdg代表像素元(i,j)处的方向梯度和，与表示水平与垂直方向上的梯度变化，与表示对角线方向的梯度变化；

迭代公式(17)～(29)直到所有神经元都被点火，计算uij(n),lij(n),θij(n),tij(n),yij(n)，融合系数的规则如下：

本发明提供的基于显著性检测与改进双通道的自适应融合装置，通过nsst作为多尺度分解工具，将图像分解为一个低频子带和一系列高频子带；利用ft算法指导低频子带图像的自适应加权融合；最后利用改进的双通道pcnn模型对高频子带优化处理，可以更好地表达图像的特征，取得了较好的融合效果。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(rom，readonlymemory)、随机存取存储器(ram，randomaccessmemory)、磁盘或光盘等。

以上对本发明所提供的一种基于显著性检测与改进双通道的自适应融合方法及装置进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。