一种基于判别字典学习的多源图像融合去噪的方法与流程

本发明涉及一种基于判别字典学习的多源图像融合去噪的方法，属于数字图像处 理技术领域。

背景技术：

图像融合是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计 算机技术处理等，最大限度的提取各自信道中的有利信息并去除冗余信息，最后综合 生成高质量的图像，来提高图像信息的利用率、改善计算机解译精度和可靠性、提升 源图像的光谱分辨率和光谱利用率。现已应用到日常生活的方方面面，小到医疗方面 的医学成像、小区的安全监控等应用，大到国家的航空航天、军事国防等领域。

近年来，图像融合技术受到了研究者的广泛关注，并提出了许多融合方法。大多 数的融合方法都是像素级的，像素级的融合方法大致可分为两类——基于空间域变换 的融合算法和基于变换域变换的融合算法。基于空间域变换的融合算法将亮度值作为 特征进行融合，可通过分块或分割的方法把图像分成多个小区域，选择空间频率、梯 度能量等作为衡量区域显著度的活动级测量准则，之后利用“系数平均值”、“系数取大” 等融合规则进行区域融合；它充分利用了图像的结构信息指导融合，因此可以克服像 素级融合对噪声敏感等缺点，但仍存在块效应等问题。基于变换域变换的融合算法将 图像在变换域的系数作为显著性特征进行融合，包括基于多分辨率分析的方法，以金 字塔变换、小波变换、多尺度几何分析为代表。由于图像的显著性特征在变换域比在 空间域能更好地被描述，因此变换域算法相对空间域算法性能更好，但其算法耗时、 效率较低。不过，随着计算机软硬件性能的提高，这一问题将逐步被弱化。而近几年 来，随着压缩感知技术的兴起，基于稀疏表示的图像融合技术被推向了一个新的高度。 其中，判别式字典学习算法由于解决了解析式字典自适应能力和表达能力差的缺点， 因此得到了较为广泛的应用，在当前的图像融合方法中，大多数研究都是假设待融合 的多源图像是在清晰无噪的情况下取得的，这类算法通常功能单一，不能直接对不同 环境条件下所采集的多源图像即可能含有噪声的多源图像进行融合处理。

技术实现要素：

本发明的目的在于提供一种基于判别字典学习的多源图像融合去噪的方法，用以 解决现有技术对于多源图像去噪融合困难的问题。

本发明的技术方案：首先采集多源图像作为训练样本，通过K-SVD算法先对训练 样本学习得到初始卡通字典和初始纹理字典，为了提高字典的判别性和表达能力，通 过引入加权核范数约束提出一种新的字典学习模型，根据提出的字典学习方法利用初 始字典和训练样本学习，得到卡通字典和纹理字典；然后利用MCA算法将待融合的多 源含噪图像分解得到卡通成分和纹理成分，通过对卡通成分引入加权Schatten稀疏核 范数约束，对纹理成分添加灰度直方图梯度保护提出一种新的图像分解模型，确保不 同成分成功分离，对此模型进行迭代，得到卡通稀疏编码系数和纹理稀疏编码系数； 最后，根据对应成分的稀疏编码系数l1范数值最大原则来选取融合图像的编码系数， 分别融合得到卡通成分和纹理成分，最后将两部分相加后便得到最终的融合去噪图像。

本发明基于判别字典学习的多源图像融合去噪的方法，具体操作步骤如下：

(1)首先构建字典学习的训练样本：从互联网上收集一张以上的灰度图像作为训 练样本，然后以滑动窗口的形式采集训练样本的数据，每个窗口(n×n)采集到数据作 为一个列向量(n²×1)，n为滑动窗口的大小，将采集到的数据通过MCA算法分解，得 到卡通训练数据和纹理训练数据，所有采集到的卡通训练数据和纹理训练数据为两个 n²维的矩阵，然后通过K-SVD算法对两个训练数据学习，得到初始卡通字典Dc1和初 始纹理字典Dt1，再引入加权核范数约束提出一种新的字典学习模型进行训练，得到卡 通字典Dc和纹理字典Dt，新的字典学习模型目标函数如式(1)所示：

式(1)中，X＝[x1,x2,…,xN]∈R^m×n，X为滑动窗口采集的数据作为列向量组成的 矩阵，R为空间域，X大小为n²，其中向量xi(i＝1,2,…,N)为X中第i个原子，N为 滑动窗口的个数，矩阵Ac＝[ac,1,ac,2,…,ac,N]，At＝[at,1,at,2,…,at,N]，分别表示卡通样 本数据所对应的卡通稀疏编码系数和纹理样本数据对应的纹理稀疏编码系数，ac,i和at,i分别为卡通训练数据和纹理训练数据在字典Dc和字典Dt下第i个原子对应的稀疏编码 向量，T为矩阵的转置，矩阵DcAc为从X中分离出来的卡通成分，矩阵DtAt为从X中 分离出来的纹理成分，||·||F为F范数运算符，||·||2为l2范数运算符，||·||ω,*为加权核范数 运算符，||·||1为l1范数运算符，||·||²为范数的平方运算符；

(2)目标函数式(1)的求解，需要通过交替迭代算法，求解一个变量时，将其 他变量固定，首先求解At的最优解，将Dc、Dt和Ac固定，其中Dc、Dt视为初始字典 Dc1和Dt1，求解At的目标函数可写为：

为便于求解，式(2)引入一个辅助变量矩阵使得式(2)可写为 以下式(3)：

利用交替迭代法，辅助变量矩阵可通过下式求解：

将式(4)通过OMP算法求解，得到后，通过式(5)来求解最优的At，

通过OMP算法对式(5)求解At，得到At的最优解，

同理求解Ac的最优解，引入一个辅助变量矩阵使得和Ac分别 通过求解最小化问题(6)和(7)得到；

式(6)通过WNMM算法求解，式(7)通过OMP算法求解，得到Ac的最优解，

求解Ac和At后，通过式(8)对卡通字典Dc求解

针对式(8)，引入辅助变量Xc，使得Xc＝DcAc，式(8)可写为

由此求解辅助变量Xc和最优Dc的目标函数分别为式(10)和式(11)，

Xc通过WNMM算法求解，公式(11)的解析解如下：

同理求解最优字典Dt，引入辅助变量Xt和Y1，使得Xt＝DtAt，Y1＝Dt，目标函数 如下：

采用交替迭代算法，通过式(14)来分别获得以上三个变量的最优解：

Xt通过OMP算法求解，Y1和Dt的解析解如下所示：

其中，I1和I2为两个单位矩阵，大小分别与和一致，

上述所有的求解过程均需要进行迭代更新获得最优解，其中，第一次迭代时所输 入的两个字典为通过K-SVD算法学习得到的初始卡通字典Dc1和初始纹理字典Dt1，通 过公式(12)得到卡通字典Dc后，将其代入公式(13)～(15)求解其他变量，引入 的辅助变量均设为0，第二次迭代，所有变量为第一次迭代更新后得到的数据，以此类 推进行迭代更新；

(3)取待融合的两张图像，首先对两张图像添加高斯白噪声，然后以滑动窗口的 形式采集添加高斯白噪声后两张图像的数据，每个窗口(n×n)采集到数据作为一个列 向量(n²×1)，n为滑动窗口的大小，将采集的数据通过MCA算法分解，得到卡通训练 数据和纹理训练数据，卡通训练数据和纹理训练数据为两个n²维的矩阵，对卡通训练 数据引入加权Schatten稀疏核范数约束，对纹理训练数据添加灰度直方图梯度保护， 引入一种新的图像分解模型，新的图像分解模型的目标函数如式(16)所示，

式(16)中，Y∈R^M为滑动窗口采集的待融合的两张图像的数据作为列向量组成 的矩阵，R为空间域，矩阵Dc∈R^M×K，为步骤(2)求得的M行K列的卡通字典，矩 阵Dt∈R^M×K，为步骤(2)求得的M行K列的纹理字典，矩阵Zc＝[zc,1,zc,2,…,zc,N]， Zc∈R^K×N代表K行N列的卡通稀疏编码系数，矩阵Zt＝[zt,1,zt,2,…,zt,N]，Zt∈R^K×N代 表K行N列的纹理稀疏编码系数，λ1是平衡参数且是一个常数为1，E(▽DtZt)为梯度 图，E是一种增强算子，用于保持卡通信息的强度，▽为梯度算子，hE为E(▽DtZt)的 直方图，hd为▽DtZt的期望直方图，||·||F为F范数运算符，为加权Schatten稀疏 核范数运算符，||·||1为l1范数运算符，||·||²为范数的平方；

(4)同理，目标函数式(16)的求解，需要通过交替迭代算法，首先固定Zt求解 Zc，求解式如下：

引入辅助变量矩阵Ic和U，令Ic＝DcZc，U＝Ic，求解式为：

U和Ic通过WSNM算法更新迭代求解，式子如下：

更新求出U和Ic后，通过OMP算法通过下式求解Zc，

得到Zc后，将Zc固定，再求解Zt，引入辅助变量矩阵It，令It＝DtZt，求解式如 下：

先固定Zt，求解It，求解公式如下：

通过GHP算法求解出E(▽DtZt)，并用G表示求解结果，代入上式(22)，It有如 下形式的解析解：

It＝(▽^T▽+I)^-1(▽^TG+DtAt) (23)

上式中I为单位矩阵，大小与▽^T▽一致，得到It后，Zt的求解式如下：

用OMP算法来求解，得到Zt；

上述所有的求解过程均需要进行迭代更新获得最优解，其中，第一次迭代时，引 入的辅助变量Ic和It初值为通过MCA算法分解得到卡通训练数据和纹理训练数据，U 初值为0，第二次迭代，所有变量都是更新的，以此类推进行迭代更新；

(5)设和为步骤(4)得到的矩阵Zc和Zt的原子中最大的原子，根据对应 成分的稀疏编码系数l1范数值最大原则，通过式(25)和(26)选择融合图像不同成 分的编码系数；

式(25)中，是矩阵Zc的第i个向量，式(26)中，是矩阵Zt的第i个向 量，在获得和后，则然后将两张 去噪后的图像进行融合，融合后的卡通成分和纹理成分分别为和因此融 合后图像的块向量构成的矩阵为用matlab函数将矩阵重新 排成图像，得到最终的融合去噪图像YF。

所述步骤(1)中滑动窗口的大小n为8。

所述步骤(1)中灰度图像的边缘细节信息丰富。

所述步骤(2)的迭代次数为10次，步骤(4)的迭代次数为15次。

本发明的有益效果是：

1、本发明的图像融合去噪的方法对含噪声的多源图像的去噪效果较好。

2、本发明针对噪声图像的融合，传统方法是先去噪后再融合，这样做不仅会丢失 更多的图像信息而且还会引入虚假信息传递到融合结果中，影响融合图像的视觉效果， 本发明中同时实现图像的融合与去噪，避免了虚假信息的传递，还能减少耗时，提升 融合结果的性能。

3、本发明提出的图像融合的方法相比其他方法融合性能明显提升。

附图说明

图1是本发明方法的流程图；

图2是本发明待融合的两张图像；

图3是本发明添加噪声的待融合的两张图像；

图4是不同方法获得的融合去噪图像，其中A为采用ASR方法获得的融合去噪图 像，B为采用KIM获得的融合去噪图像，C为NSCT获得的融合去噪图像，D为NSCT-SR 获得的融合去噪图像，E为Zhu-KSVD获得的融合去噪图像，F为采用本发明方法获 得的融合去噪图像。

具体实施方式

下面通过附图和实施例对本发明作进一步详细说明，但本发明的保护范围不局限 于所述内容。

实施例1：如图1所示，本发明提出了一种基于判别字典学习的多源图像融合去噪 的方法，首先采集多源图像作为训练样本，通过K-SVD算法先对训练样本学习初始卡 通字典和初始纹理字典，为了提高字典的判别性和表达能力，通过引入加权核范数约 束提出了一种新的字典学习模型，根据提出的字典学习方法利用初始字典和训练样本 学习得到卡通字典和纹理字典；然后利用MCA算法将待融合的多源图像分解得到卡通 成分和纹理成分，此时分解得到的不同成分是比较不彻底的，通过对卡通成分引入加 权Schatten稀疏核范数约束，对纹理成分添加灰度直方图梯度保护提出一种新的图像 分解模型，确保不同成分成功分离，对此模型进行迭代得到卡通稀疏编码系数和纹理 稀疏编码系数；最后，根据对应成分的稀疏编码系数l1范数值最大原则来选取融合图 像的编码系数，分别融合得到卡通成分和纹理成分，最后将两部分相加后便得到最终 的融合图像。

具体步骤如下：

(1)首先构建字典学习的训练样本：从互联网上收集一张以上的灰度图像作为训 练样本，然后以滑动窗口的形式采集训练样本的数据，每个窗口(n×n)采集到数据作 为一个列向量(n²×1)，n为滑动窗口的大小，本实施例n为8，将采集到的数据通过 MCA算法分解，得到卡通训练数据和纹理训练数据，所有采集到的卡通训练数据和纹 理训练数据为两个n²维的矩阵，然后通过K-SVD算法对两个训练数据学习，得到初始 卡通字典Dc1和初始纹理字典Dt1，再引入加权核范数约束提出一种新的字典学习模型 进行训练，得到卡通字典Dc和纹理字典Dt，新的字典学习模型目标函数如式(1)所 示：

式(1)中，X＝[x1,x2,…,xN]∈R^m×n，X为滑动窗口采集的数据作为列向量组成的 矩阵，R为空间域，X大小为n²，其中向量xi(i＝1,2,…,N)为X中第i个原子，N为 滑动窗口的个数，矩阵Ac＝[ac,1,ac,2,…,ac,N]，At＝[at,1,at,2,…,at,N]，分别表示卡通样 本数据所对应的卡通稀疏编码系数和纹理样本数据对应的纹理稀疏编码系数，ac,i和at,i分别为卡通训练数据和纹理训练数据在字典Dc和字典Dt下第i个原子对应的稀疏编码 向量，T为矩阵的转置，矩阵DcAc为从X中分离出来的卡通成分，矩阵DtAt为从X中 分离出来的纹理成分，||·||F为F范数运算符，||·||2为l2范数运算符，||·||ω,*为加权核范数 运算符，||·||1为l1范数运算符，||·||²为范数的平方运算符；

(2)目标函数式(1)的求解，目标函数式(1)关于变量Dc、Dt、Ac、At是非 凸的，无法直接用凸优化的方法对其进行优化求解，需要通过交替迭代算法，求解一 个变量时，将其他变量固定，首先求解At的最优解，将Dc、Dt和Ac固定，其中Dc、Dt视为初始字典Dc1和Dt1，求解At的目标函数可写为：

为便于求解，式(2)引入一个辅助变量矩阵令式(2)可写为以 下式(3)：

利用交替迭代法，辅助变量矩阵可通过下式求解：

这是一个典型的l1范数优化问题，将式(4)通过OMP算法求解，得到后，通 过式(5)来求解最优的At，

通过OMP算法对式(5)求解At，得到At的最优解，

同理求解Ac的最优解，引入一个辅助变量矩阵使得和Ac分别 通过求解最小化问题(6)和(7)得到；

式(6)通过WNMM算法求解，式(7)通过OMP算法求解，得到Ac的最优解，

求解Ac和At后，通过式(8)对卡通字典Dc求解

针对式(8)，引入辅助变量Xc，使得Xc＝DcAc，式(8)可写为

由此求解辅助变量Xc和最优Dc的目标函数分别为式(10)和式(11)，

Xc通过WNMM算法求解，公式(11)的解析解如下：

同理求解最优字典Dt，引入辅助变量Xt和Y1，使得Xt＝DtAt，Y1＝Dt，目标函数 如下：

采用交替迭代算法，通过式(14)来分别获得以上三个变量的最优解：

Xt通过OMP算法求解，Y1和Dt的解析解如下所示：

其中，I1和I2为两个单位矩阵，大小分别与和一致，

上述所有的求解过程均需要进行迭代更新获得最优解，其中，第一次迭代时所输 入的两个字典为通过K-SVD算法学习得到的初始卡通字典Dc1和初始纹理字典Dt1，通 过公式(12)得到卡通字典Dc后，将其代入公式(13)～(15)求解其他变量，引入 的辅助变量均设为0，第二次迭代，所有变量为第一次迭代更新后得到的数据，以此类 推进行迭代更新，本实施例迭代次数为10次；

(3)取待融合的两张图像，如图2所示，首先对两张图像添加噪声水平为10的 高斯白噪声，如图3所示，然后以滑动窗口的形式采集添加高斯白噪声后两张图像的 数据，每个窗口(n×n)采集到数据作为一个列向量(n²×1)，n为滑动窗口的大小，n为 8，将采集的数据通过MCA算法分解，得到卡通训练数据和纹理训练数据，卡通训练 数据和纹理训练数据为两个n²维的矩阵，对卡通训练数据引入加权Schatten稀疏核范 数约束，对纹理训练数据添加灰度直方图梯度保护，引入一种新的图像分解模型，新 的图像分解模型的目标函数如式(16)所示，

式(16)中，Y∈R^M为滑动窗口采集的待融合的两张图像的数据作为列向量组成 的矩阵，R为空间域，矩阵Dc∈R^M×K，为步骤(2)求得的M行K列的卡通字典，矩 阵Dt∈R^M×K，为步骤(2)求得的M行K列的纹理字典，矩阵Zc＝[zc,1,zc,2,…,zc,N]， Zc∈R^K×N代表K行N列的卡通稀疏编码系数，矩阵Zt＝[zt,1,zt,2,…,zt,N]，Zt∈R^K×N代 表K行N列的纹理稀疏编码系数，λ1是平衡参数且是一个常数为1，E(▽DtZt)为梯度 图，E是一种增强算子，用于保持卡通信息的强度，▽为梯度算子，hE为E(▽DtZt)的 直方图，hd为▽DtZt的期望直方图，||·||F为F范数运算符，为加权Schatten稀疏 核范数运算符，||·||1为l1范数运算符，||·||²为范数的平方；

(4)同理，目标函数式(16)的求解，需要通过交替迭代算法，首先固定Zt求解 Zc，求解式如下：

引入辅助变量矩阵Ic和U，令Ic＝DcZc，U＝Ic，求解式为：

U和Ic通过WSNM算法更新迭代求解，式子如下：

更新求出U和Ic后，通过OMP算法通过下式求解Zc，

得到Zc后，将Zc固定，再求解Zt，引入辅助变量矩阵It，令It＝DtZt，求解式如 下：

先固定Zt，求解It，求解公式如下：

这是标准的最小二乘问题，通过GHP算法求解出E(▽DtZt)，并用G表示求解结 果，代入上式(22)，It有如下形式的解析解：

It＝(▽^T▽+I)^-1(▽^TG+DtAt) (23)

上式中I为单位矩阵，大小与▽^T▽一致，得到It后，Zt的求解式如下：

用OMP算法来求解，得到Zt；

上述所有的求解过程均需要进行迭代更新获得最优解，其中，第一次迭代时，引 入的辅助变量Ic和It初值为通过MCA算法分解得到卡通训练数据和纹理训练数据，U 初值为0，第二次迭代，所有变量都是更新的，以此类推进行迭代更新，迭代次数为 15次；

(5)设和为步骤(4)得到的矩阵Zc和Zt的原子中最大的原子，根据对应 成分的稀疏编码系数l1范数值最大原则，通过式(25)和(26)选择融合图像不同成 分的编码系数；

式(25)中，是矩阵Zc的第i个向量，式(26)中，是矩阵Zt的第i个向 量，在获得和后，则然后将两张 去噪后的图像进行融合，融合后的卡通成分和纹理成分分别为和因此融 合后图像的块向量构成的矩阵为用matlab函数将矩阵重新 排成图像，得到最终的融合去噪图像YF，如图4中F所示，图像视觉效果较好，去噪 效果好。

实施例2：采用传统的ASR、KIM、NSCT、NSCT-SR和Zhu-KSVD方法对实施 例1的添加噪声后的图像进行融合去噪，并用QMI、QG和QP对去噪结果进行评价，与本 发明方法进行对比，表1为传统方法与本发明方法的去噪指标对比表，

表1传统方法与本发明方法的去噪指标对比表

本图像融合去噪效果的评价包括主观视觉效果和客观参数指标两方面综合评价。 主观效果靠人眼观察，由3位图像处理学科的专家对图像融合结果进行评价；客观评 价使用互信息QMI、基于梯度的评价指标QG和基于相位一致性的指标QP这三个参数 来衡量融合效果。其中，QMI是一种基于信息论的评价方法，它是对两个随机变量相关 性的一种定量测量，反映融合图像继承源图像信息量的大小，一般值越大反映融合效 果越好；QG通过度量融合图像继承源图像边缘细节信息的程度来评价融合结果，取值 范围是0～1，越接近1表明融合图像的边缘特性越好，QP是用来衡量源图像中显著性 特征保留到融合图像的程度，数值越大，融合结果的质量越好，由表1得出，本发明 方法与传统方法相比QMI值最大，QG最接近1，QP值最大，从图4看出，不同的方法 具有不同的融合性能，整体上讲，本方法不仅能实现图像去噪，且在融合时没有丢失 图像原有信息和引入虚假信息，保留了待融合图像的热目标与背景信息，对比度更强， 具有更好的视觉效果。