基于平移不变剪切波和栈式自编码的图像融合方法与流程

本发明涉及一种基于平移不变剪切波和栈式自编码的图像融合方法,是图像处理技术领域的一项融合方法，在军事应用及临床医学诊断等中有广泛的应用。

背景技术：

由于单幅图像所含的信息有限，往往无法满足实际的应用。图像融合是一种将多个传感器采集到的关于同一场景的图像经过融合算法的处理合成一幅图像的技术，融合后的图像能有效的结合多幅待融合图像的优点，从而更适合人的视觉感知。图像融合大约是在二十世纪七十年代被提出的，近年来，由于多传感器技术的迅速发展，图像融合在军事侦察、医疗诊断和遥感等领域有了广泛的应用。

图像融合的方法大致可以划分为空域中的图像融合和变换域中的图像融合。空域中的图像融合指的是直接对图像的像素点进行融合的方法，主要包括了加权图像融合和基于主成分分析的图像融合，此类融合方法没有复杂的变换，一般实时性较高，但是它们有一个共同的缺点，那就是融合后的图像存在畸变。变换域中的图像融合一般指的是对图像做多尺度分解，然后对各子带系数进行融合的方法，多尺度分解的工具包括了小波变换(DWT)、平稳小波变化(SWT)、轮廓波变换(CT)、非下采样轮廓波变化(NSCT)、剪切波变换(ST)、平移不变剪切波变换(SIST)等。DWT是Mallat在1989年提出的，具有时频局域化、多分辨率等优点、但是它能捕捉的方向信息有限而且存在吉布斯振荡现象。Rockinger提出了SWT可以抑制DWT的吉布斯振荡现象，但是SWT的高频子带仍只有水平、垂直和对角这三个方向。Minh N.Do提出的CT具有很强的方向选择能力，但是CT因其变换的过程中存在下采样的操作，故缺乏平移不变性。Cunha提出的NSCT使用了非下采样的滤波器，具备平移不变性。Guo等人提出了ST，相比CT，ST计算的效率更高，且没有方向数目的限制，然而ST由于采用了下采样滤波器而不具备平移不变性。Easley等人提出的SIST采用了非下采样金字塔分解，具备了平移不变的特性，使得它在图像融合领域有了更好的发展前景。

融合规则的设计决定图像融合效果好坏。基于变换域的图像融合主要步骤是设计一个合适的方案将各层子带系数进行融合，从而得到更符合人类视觉感知的融合图像。此步骤包含了两个基本的问题：融合策略的选择和活动测度的选取。

常用的子带系数融合规则包括了绝对值取大和加权取平均。绝对值取大指的是选择活动测度大的子带系数作为融合后的子带系数。加权取平均的规则根据活动测度来计算对应子带系数的权值然后将子带系数加权融合。加权取平均的方法能更好的保留待融合图像的有用信息，而绝对值取大的融合规则能提升融合图像的对比度。

活动测度的设计也可以理解为像素或子带系数的特征选取，要求能从某一个角度准确的反应数据的特性。在基于主成分分析(PCA)的融合方法中，He等人首先由波段低分辨率图像间相关系数矩阵的特征值和特征向量求得主分量，然后再对波段高分辨率图像进行灰度拉伸并使之与主分量具有相同的均值和方差，最后用此高分辨率图像代替主分量并利用PCA逆变换获得融合后的图像。张量(tensor)对高维数据的描述有着突出的表现，在图像融合的应用中也有了很好的效果。Liang等人首先用高阶奇异值分解工具将图像进行分解，然后将系数的1范数作为活动测度来构建了融合规则。稀疏表示可以将复杂的数据用字典元素的线性组合来描述，在图像融合中已经有了广泛的应用。Yang等人首先将图像分割成重叠的小块，然后将图像小块分解得到稀疏系数，最后针对稀疏系数来设计融合规则。近几年，深度学习的方法在计算机视觉领域的应用取得了巨大的成功，深度学习的方法擅长从复杂的数据集中发掘出分层的特征，但由于图像融合的实际应用中缺乏足够的带标签的训练集，卷积神经网络(CNN)等监督学习的方法在图像融合中尚未有应用的先例，而栈式自编码(SAE)作为一种无监督学习的深度神经网络，符合了图像融合应用的场景。通过将多层自编码(AE)的栈式叠加得到的SAE网络不仅能够发掘图像的分层特征，而且如果对隐层神经元设置稀疏约束(SSAE)，还能使提取到的特征具有稀疏性，更符合图像融合应用的需求。

技术实现要素：

本发明的目的是针对上述现有技术的不足，提出了一种基于平移不变剪切波和栈式自编码网络的图像融合算法，以保护图像的细节、增强图像对比度和轮廓边缘，改善其视觉效果，提高图像融合的质量。本发明具体技术方案如下：

1)首先对待融合的两幅图像进行SIST变换，分解得到低频子带和高频子带

2)针对低频子带系数和高频子带系数设计不同的融合规则：

2.1)低频子带系数包含了图像的基础信息，因此和使用取平均的策略融合：

图像经过了SIST分解得到的低频子带系数里包含了图像的主要能量信息，它是原图像的近似分量，本文采用了取平均的方法融合低频子带系数，即

其中，和分别别表示原图像A、B以及融合图像F在点(x，y)出对应的低频系数。

2.2)高频子带系数包含了细节信息，和使用基于SSAE特征取大的融合规则：高频子带系数包含了图像的纹理信息。SSAE作为一种深度学习方法，很擅长从复杂数据集里学习高维结构特征。考虑到这些因素，本发明提出了一种基于SSAE特征的融合规则，首先将待融合子带分块，将小块转成向量后作为训练数据训练一个两层的SSAE网络，后利用此网络对待融合小块进行编码得到特征接着对求空间频率用取大的规则融合小块，其中s∈{A，B}；

最后对所有的融合向量先转换成矩阵的形式，然后采用滑动窗口变换的逆变换得到融合系数矩阵在重叠区域采用取平均的策略。

3)利用SIST逆变换得到融合后的图像。

本发明相对比现有医学图像融合方法具有如下的优点：

1、本发明采用基于平移不变剪切波变换(SIST)作为多尺度分解工具，相比于小波变换(DWT)，SIST能捕捉更多的方向信息且消除了伪吉布斯现象；相比于平稳小波变换(SWT)，SIST得到的高频子带方向数更多；相比于轮廓波变换(CT)缺乏平移不变性的问题，SIST不存在下采样的操作，故具备了平移不变性；相比于非下采样轮廓波变换(NSCT)，SIST没有方向数的限制，且计算的效率更高。

2、本发明采用栈式编码器(SSAE)作为特征提取工具，相比于主成分分析(PCA)，SSAE是一种数据驱动的特征提取工具，它可以从输入图像学习独特的规则，从而提取出比人工设计的特征更具代表性的特征；相比于张量(tensor)和脉冲耦合神经网络(PCNN)，SSAE作为深度网络可以提取出分层特征，比tensor和PCNN更加适合图像数据表示。

3、本发明在构造活动测度时引入了空间频率，相比直接使用SSAE特征，引入空间频率后的活动测度局部对比度更强，能更好地表示原图的特征；可以更大限度的保护图像的边缘和纹理信息。

附图说明：

图1是整体本发明的整体融合框架图。

图2是平移不变剪切波变换的结构图。

图3是单层稀疏自动编码器的结构图。

图4是栈式自编码器的结构图。

图5是高频系数子带融合规则示意图。

图6(a)和(b)是本发明第一个实施例的待融合多聚焦图像；(c)是基于GP的融合图像；(d)是基于DWT的融合图像；(e)是基于stDWT的融合图像；(f)是基于PCNN的融合图像；(g)是基于N-PCNN的融合图像；(h)是基于SR的融合图像；(i)是本发明方法的融合图像。

图7(a)是本发明一个实施例的待融合可见光图像；(b)是本发明一个实施例的待融合红外图像；(c)是基于GP的融合图像；(d)是基于DWT的融合图像；(e)是基于stDWT的融合图像；(f)是基于PCNN的融合图像；(g)是基于N-PCNN的融合图像；(h)是基于SR的融合图像；(i)是本发明方法的融合图像。

图8(a)是本发明一个实施例的待融合CT图像；(b)是本发明一个实施例的待融合MRI图像；(c)是基于GP的融合图像；(d)是基于DWT的融合图像；(e)是基于stDWT的融合图像；(f)是基于PCNN的融合图像；(g)是基于N-PCNN的融合图像；(h)是基于SR的融合图像；(i)是本发明方法的融合图像。

具体实施方式：

下面对本发明的实施例结合附图作详细说明，本实施例在以本发明技术方案为前提下进行，如图1所示，详细的实施方式和具体的操作步骤如下：

步骤1，对待融合的两幅多聚焦图像使用SIST变换进行分解，图像分解后得到低频子带和高频子带其中尺度分解LP选用“maxflat”，方向滤波器组选用“pmaxflat”，方向分解参数设置为[3,4,5]；

步骤2，低频子带系数融合和高频子带系数融合：

1)对低频子带系数采用取平均的融合策略：

其中，和分别别表示原图像A、B以及融合图像F在点(x，y)出对应的低频系数。

2)对高频子带系数采用基于SSAE和空间频率的融合规则进行融合：

2.1)将高频子带利用滑动窗口技术分成num个小块，其中s∈{A，B}：

2.2)将所有小块转变成向量其中1＜k＜num，并利用它们作为训练集训练第一个自编码网络：

自编码网络训练目标是得到一组最优的权值和偏置值，使自编码网络的重构误差最小。作为第一层自动编码器的输入x和输出：

利用梯度下降算法求解最优的W^1，1和b^1，1：

步骤1：设置l＝1；

步骤2：设置W^l，1：＝0,b^l，1：＝0,ΔW^l，1：＝0,Δb^l，1：＝0；

步骤3：计算编码器的重构误差

步骤4：whileJ(W^l，1，b^l，1)＞10^-6：

for i＝1to m:

计算和

更新W^l，1和b^l，1：

其中W^l，1和b^l，1为权值矩阵和偏置，ΔW^l，1和Δb^l，1分别为W^l，1和b^l，1的增量，J(W^l，1，b^l，1)为重构误差，是Kullback-Leibler(KL)距离，是隐层神经元的平均激活度，ρ为稀疏系数，β是稀疏惩罚项的系数，α是更新速率，m是最大迭代次数。

得到W^1，1和b^1，1的最优值后，对进行编码得到第一层编码器的隐层激活值a^s，1(k)：

其中W^1，1和b^1，1分别为第一层编码器的权值矩阵和偏置。

得到第一层自动编码器的隐层激活值a^s，1后，将它作为第二层自动编码器的输入和输出，再利用求W^1，1和b^1，1同样的方法可以解得最优W^2，1和b^2，1。得到W^2，1和b^2，1后求得第二层编码器的隐层激活值a^s，2，并以a^s，2作为小块的特征

2.3)为增强特征的区分度，引入空间频率。具体的，以空间频率的值作为活动测度；

其中，是特征向量在位置(i，j)处的值，其中1＜i＜M，1＜j＜N，M为特征向量的行数，N为特征向量的列数。k是小块的序号，1＜k＜num。

2.4)对于每一对和利用空间频率取大的规则融合；

2.5)对融合向量采用滑动窗口变换的逆变换得到融合系数矩阵在重叠区域采用取平均的策略。

步骤3，利用SIST逆变换得到。

实验条件与方法：

硬件平台为：Intel(R)处理器，CPU主频1.80GHz，内存1.0GB；

软件平台为：MATLAB R2016a；实验中采用三组已配准的源图像，即多聚焦图像、红外-可见光图像和医学图像，图像大小均为256×256，tif格式。多聚焦源图像见图6(a)和图6(b)，图6(a)为左侧聚焦的图像，图6(b)为右侧聚焦的图像。红外-可见光图像见图7(a)和图7(b)，图7(a)为可见光图像，图7(b)为红外图像。医学图像见图8(a)和图8(b)，图8(a)为CT图像，图8(b)为MRI图像。

仿真实验：

为了验证本发明的可行性和有效性，采用了多聚焦图像、红外-可见光图像和医学图像这三组图像测试，融合结果如图6、图7和图8所示。

仿真一：遵循本发明的技术方案，对多聚焦源图像(见图6(a)和图6(b))进行融合，通过图6(c)-图6(i)的分析可以看出：本发明在多聚焦图像融合的实验中实现了两个小钟的表盘区域都聚焦的目标，在表盘刻度和文字处最清晰，融合结果没有引入额外的噪声，整体上主观视觉效果最好。

仿真二：遵循本发明的技术方案，对红外-可见光源图像(见图7(a)和图7(b))进行融合，通过图7(c)-图7(i)的分析可以看出：本发明在红外-可见光源图像融合的实验中实现了将所有红外目标的保存到了融合图像的目标，这是红外-可见光图像融合中最为重要的任务，此外在图像的背景处(如树木的枝叶)，本发明能提供最为清晰的纹理细节信息。

仿真三：遵循本发明的技术方案，对医学源图像(见图8(a)和图8(b))进行融合，通过图8(c)-图8(i)的分析可以看出：本发明在医学源图像融合的实验中实现了将所有骨骼轮廓和组织信息都保留到融合结果中的目标，从整体来看，本发明的融合结果在骨骼处对比度最高，在组织处提供的信息最为丰富且清晰。

表1、表2和表3给出了三种数据集利用各种融合方法实验结果的客观评价指标，其中加粗的数据表示对应的评价指标为最优值。GP为基于高斯梯度金字塔分解的图像融合方法，DWT为基于离散小波分解的图像融合方法，strDWT为基于结构张量和离散小波分解的图像融合方法，PCNN为基于脉冲耦合神经网络的图像融合方法，N-PCNN为基于非下采样轮廓波变换和脉冲耦合神经网络的图像融合方法，SR为基于系数表示的图像融合方法，Porposed为本发明提出的融合方法。实验选用信息熵(EN)、平均梯度(AG)、边缘转换率(Qabf)、边缘强度(EI)、互信息(MI)、标准差(SD)作为客观评价指标。

由表1、表2和表3的数据表明，本发明方法所获得的融合图像在信息熵、平均梯度、互信息和标准差等客观评价指标上要优于其它的融合方法。信息熵反应的是图像携带信息量的多少，其值说明融合图像中包含的信息量越大，融合效果越好；平均梯度反应的是图像的清晰度，其值越大视觉效果越好；边缘转换率反应的是待融合图像的边缘信息转移到融合图像中的程度，其值越接近1视觉效果越好；边缘强度衡量的是图像边缘细节的丰富程度，其值越大则主观效果越好；互信息反应的是待融合图像和融合图像之间信息的相关程度，其值越大视觉效果越好；标准差反应的是图像灰度相比于灰度均值的离散程度，其值越大则灰度级越分散，则视觉效果越好。

表1多聚焦图像融合结果客观评价指标

表2红外-可见光图像融合结果客观评价指标

表3医学图像融合结果客观评价指标

从各仿真实验的融合结果可以看出，本发明的融合图像全局清晰，融合图像信息丰富。无论是从主观人类视觉感知上还是客观评价指标上都能证明本发明的有效性。