一种基于自学习神经单元的图像融合方法与流程

本发明属于图像融合领域，涉及一种基于自学习神经单元的图像融合方法，在军事，遥感，以及计算机等领域中有广泛地应用。

背景技术：

随着图像融合技术的迅速发展以及在军用、遥感等市场中的广泛应用，多源图像融合技术受到研发人员的重视。在过去几年内，各种图像融合方法被提出。传统的基于多尺度变换mst融合方法在变换域上以多尺度的方式对图像进行处理，具体包含求解源图像对应的变换域，按照人工设计的融合规则融合图像，逆变换得最终图像。融合方法有基于拉普拉斯变换lap(laplacetransform)的融合方法，基于非下采样contourlet变换和稀疏表示的融合算法以及基于离散小波变换dwt(discretewavelettransform)的融合算法等。这些融合算法采用分解系数的绝对值来计算活动测量图，接着采用max或加权平均规则融合。由于现实环境的复杂性与实际需求的多样性，如噪声、误差等，权重分配具备较大的限制性与不可适应性。人工设计的融合规则通常面临特征判据和融合规格的设计的难题，即基于哪些特征作为图像中活动测度的判别依据，并且根据这些活动测度的判别设计融合规则实现多源图像的有效融合。

近年来，深度学习技术凭其强大的特征提取与数据建模能力，在计算机视觉，图像处理和模式识别领域获得显著的突破。本发明提出了新的融合神经单元，利用损失函数去驱动融合神经单元的自适应地进行权重的合理分配，获得了较优的融合结果，提高了融合图像的质量。

技术实现要素：

本发明的目的是针对上述现有技术的不足，提出一种用于图像融合的自学习神经单元，以解决活动水平测量和融合规则设计的问题，通过损失函数驱动融合神经单元以最佳方式联合获得活动水平测量和权重分配，增强图像清晰度，改善视觉效果，提高融合图像的质量。

本发明解决其技术问题所采用的技术方案如下：

一种基于自学习神经单元的图像融合方法，首先将待融合的红外与可见光图像进入maskr-cnn进行处理，得到相应的掩码图像，掩码矩阵，类别信息，得分信息。然后搭建自编码网络，稀疏赋值融合层权重，加入最小/最大约束与l1正则项，再计算融合图像与源图像的结构相似度ssim,互信息mi损失函数，最后训练神经网络，调整参数；具体包括以下步骤：

步骤一、将待融合的红外图像与可见光图像输入maskr-cnn网络进行处理，得到相应的掩码图像、掩码矩阵、类别信息和得分信息，并获取所需强化的掩码区域；

步骤二、搭建自编码网络，利用卷积神经网络cnn进行图像特征的选取、融合、重构；

步骤三、采用基于编码层特征的卷积融合规则进行融合；

3.1)初始化融合层的卷积权重，并进行稀疏赋值；

3.2)采用最小/最大范数权值约束对融合层权重进行约束；

3.3)采用l1正则项对融合层权重进行惩罚；

步骤四、采用结构相似度ssim、互信息mi损失函数迭代网络并优化参数；

4.1)计算融合图像与源图像的结构相似度ssim；

4.2)计算maskr-cnn掩码区域映射于融合图像与源图像的结构相似度ssim；

4.3)计算融合图像与源图像的互信息mi；

步骤五、训练神经网络，调整参数，获取最终的融合图像。

进一步的，所述步骤二中，所述的自编码网络包括编码层融合层和解码层。编码层由经典卷积神经网络vgg19的前4层组成，包括三个卷积层和一个最大池化层，权重初始化使用经典卷积神经网络vgg19的预定义权重。融合层包括一个concatenate层与一个1*1的卷积层。解码层是编码层的镜面映射，包含三个卷积层和一个上采样层，最后接一个卷积层输出。

进一步的，所述步骤3.1)的具体过程如下：

a.根据编码层最后一个卷积层获取的结果，融合层的concatenate层将红外与可见光的结果拼接，后接1*1的卷积层。

b.将1*1卷积层的第k个滤波器通道的第i个与i+p个权重和初始化为，其中，i,k＝0，1，2…d，p＝d-1-d，d为每个滤波器通道的1*1滤波器数量；

进一步的，所述步骤3.2)的具体过程为：

根据红外图像与可见光图像融合中适用的均值融合规则，两张图像的融合系数之和需要为1。由于cnn网络训练中，采用relu激活函数，易出现其中k为卷积后的通道数，j为d个1*1滤波器的序号。因此我们对于d个1*1进行最小/最大范数权值约束。

首先，计算第k个通道d个1*1卷积层权重的和接着将sumw截断至(min，max)范围内：

其中，min为输入权值的最小范数，范围为(-1.0,1.0)，max为输入权值的最大范数，范围为(-1.0,1.0)；j表示滤波器的序号，j＝0,1,2…d-1；

然后计算权值在(min,max)范围内的的缩放区域。

其中rate为强制执行约束的比例，范围为[0,1]，严格执行约束，将权值重新调整至rate*sumarea+(1-rate)*sumw。如果rate<1.0意味权值将在每一步重新调整以缓慢移动到所需间隔内的值。epsilon是模糊因素，范围为(0.0,1.0)，避免分母为0，网络迭代为nan。

最后将第k个通道的每一个权值约束至zoomarea范围，并依次对每个通道执行此操作。

进一步的，所述步骤3.3)的具体过程为：

正则化是结构风险最小化的一种策略实现，能够有效降低过拟合，使权重分布较为离散。1*1卷积层的正则项为：

其中，r为正则项数值，初始值为0，l1为正则项系数，为第k个通道第j个1*1滤波器的数值，d为1*1卷积层滤波器通道数；

损失函数实际上包含了两个方面：一个是训练样本误差。一个是正则项数值r。l1正则化是在原来的损失函数基础上加上正则项数值r。网络最终的损失函数为：

l＝ein+r

其中ein为网络训练样本误差，r为正则项数值。

进一步的，所述步骤4.1)的具体过程为：

首先分别计算源图像x，源图像y，融合图像f的均值μx，μy，μf,方差σx,σy，σf

其中，xi、yi、fi分别为源图像x，源图像y，融合图像f的第i个像素的数值，n为图像x，y，f的总像素数量；然后分别计算融合图像f与图像x、图像y的结构相似度ssim。

其中，c1，c2为常数，通常取c1＝(k1*l)^2,c2＝(k2*l)^2,c3＝c2/2,一般地k1＝0.01,k2＝0.03,l＝255，避免网络训练时nan。

进一步的，所述步骤4.2)的具体过程为：

首先根据步骤1选取的掩码区域mq(q为掩码区域的序号)，将其分别映射至源图像与融合图像中，分别得到与

接着与步骤4.1类似，对于与与计算相应的ssim值。

进一步的，所述步骤4.3)的具体过程为：

首先计算源图像x,源图像y，融合图像f的边际熵：

其中p(x),p(y),p(f)分别表示源图像x，源图像y，融合图像f的边际概率分布函数。

接着分别计算源图像x,源图像y与融合图像f的联合熵：

其中，p(x，f)、p(y，f)分别表示源图像x，源图像y与融合图像f的联合概率密度函数。

然后分别计算源图像x,源图像y与融合图像f的互信息mi：

mi(x，f)＝h(x)+h(f)-h(x，f)

mi(y，f)＝h(y)+h(f)-h(y，f)

最后计算最终的互信息mi：

本发明的有益效果：

1，本发明采用用于图像融合的自学习神经单元的方法，相比传统手工选取融合参数，人工设计融合规则，自学习神经单元能够自主学习融合参数，充分融合源图像的强特征，背景信息等，得到信息量更丰富，质量更好的融合图像。

2，本发明预处理采用maskr-cnn网络对待融合图像进行实例分割，类别判定等，能够获取图像的前景与背景信息，具有可人工筛选，定向强化，能够满足多种应用场景的需求。

3，本发明采用自编码神经网络，可以无监督地提取图像特征，自适应融合，更好的重构，避免丢失细节，从而增加图像的信息量和可解释性。

附图说明

图1是一种用于图像融合的自学习神经单元的流程图。

图2是本发明卷积神经网络cnn网络结构图。

图3是待融合红外图像、待融合可见光图像、融合结果图。其中，(a)是本发明一个实施例的待融合红外图像；(b)是本发明一个实施例的待融合可见光图像；(c)是基于dtcwt的融合图像；(d)是基于cvt的融合图像；(e)是基于nsct的融合图像；(f)是基于dc变换的融合图像；(g)是基于gf变换的融合图像；(h)是基于pcnn的融合图像；(i)是本发明方法的融合图像。

具体实施方式

下面对本发明的一个实施例(ir-vis红外与可见光图像)结合附图作详细说明，本实施例在以本发明技术方案为前提下进行，如图1所示，详细的实施方式和具体的操作步骤如下：

步骤1，对红外与可见光图像进行maskr-cnn处理，得到相应的掩码图像，掩码矩阵，类别信息，得分信息。根据人眼主观判定分类信息的正确性及需求，获取红外图像类别信息为”person”的掩码矩阵。

步骤2，搭建自编码网络，利用卷积神经网络cnn网络进行图像特征的选取，融合，重构。自编码网络包含编码层、融合层和解码层三个部分。编码层由经典卷积神经网络vgg19的前4层组成，包含三个卷积层和一个最大池化层，权重初始化使用vgg19的预定义权重。融合层包含一个concatenate层与一个1*1的卷积层。解码层是编码层的镜面映射，包含三个卷积层和一个上采样层，最后接一个卷积层输出。

步骤3，采用基于编码层特征的卷积融合规则进行融合

3.1初始化融合层的卷积权重，稀疏赋值：

a.根据编码层最后一个卷积层获取的结果，将红外与可见光的结果拼接，后接1*1的卷积层。

b.将1*1卷积层的滤波器数值设置为0.5，保证第i个w与第i+128个w对应为0.5融合

其中k为1*1卷积层的滤波器的数量，

3.2对于融合层权重进行约束，采用最小/最大范数权值约束：

根据红外可见光图像融合中适用的均值融合规则，两张图像的融合系数之和需要为1。由于cnn网络训练中，采用relu激活函数，易出现其中j为256个1*1滤波器的序号。因此我们对于256个1*1进行最小/最大范数权值约束。

首先，我们计算第k个通道256个1*1卷积层的和接着将sumw截断至(min，max)范围内

其中min为输入权值的最小范数，数值为0，max为输入权值的最大范数，数值为1,j表示滤波器的序号，j＝0,1,2…255；

然后计算其余权值的缩放范围。

其中rate为强制执行约束的比例，数值为1.0，严格执行约束，将权值重新调整至rate*sumarea+(1-rate)*sumw。epsilon的值为1e-3，避免分母为0，网络迭代为nan。

最后将第k个通道的每一个权值约束至zoomarea范围。

3.3对于融合层权重进行惩罚，采用l1正则项：

正则化是结构风险最小化的一种策略实现，能够有效降低过拟合，使权重分布较为离散。1*1卷积层的正则项为：

其中，r为正则项数值，初始值为0，l1为正则项系数，数值为0.3，为第k个通道第j个1*1滤波器的数值；

损失函数实际上包含了两个方面：一个是训练样本误差。一个是正则项数值r。l1正则化是在原来的损失函数基础上加上正则项数值r。网络最终的损失函数为：

l＝ein+r

其中ein为网络训练样本误差，r为正则项数值。

步骤4，采用ssim,mi损失函数，迭代网络，优化参数

4.1计算融合图像与源图像的结构相似度ssim：

首先分别计算源图像x，源图像y，融合图像f的均值μx，μy，μf,方差σx,σy，σf

其中，xi、yi、fi分别为源图像x，源图像y，融合图像f的第i个像素的数值，n为图像x，y，f的总像素数量；

然后分别计算融合图像f与图像x图像y的结构相似度ssim。

其中c1，c2值为1e-6，避免网络训练时nan.

4.2计算maskr-cnn掩码区域映射于融合图像与源图像的结构相似度ssim：

首先根据步骤1选取的掩码区域mq，q(为掩码区域的序号，将其分别映射至源图像与融合图像中，分别得到与与。

接着与步骤4.1类似，计算相应的ssim值。

4.3计算融合图像与源图像的互信息mi：

首先计算源图像x,源图像y，融合图像f的边际熵

其中p(x),p(y),p(f)分别表示源图像x，源图像y，融合图像f的边际概率分布函数

接着分别计算源图像x,源图像y与融合图像f的联合熵

其中p(x,f),p(y,f)分别表示源图像x，源图像y与融合图像f的联合概率密度函数

然后分别计算源图像x,源图像y与融合图像f的互信息mi

mi(x，f)＝h(x)+h(f)-h(x，f)

mi(y，f)＝h(y)+h(f)-h(y，f)

最后计算最终的互信息mi

步骤5，训练网络，调整参数，获取最终的融合图像

仿真实验

为了验证本发明的可行性和有效性，采用红外与可见光两张图像，大小为480×640，如图3中(a)和(b)所示，根据本发明方法进行融合实验。

综上所述，通过图3的融合结果比较可以看出：本发明方法所得融合图像最大程度地忠于原始信息，更好地保持了待融合图像中的强信息，背景信息，有效避免了目标丢失，因而图像的主观视觉效果最好，即融合结果更理想。

表1给出了采用各种融合方法所得融合结果的客观评价指标。其中，数据加粗表明对应的红外与可见光图像融合方法所得评价指标取值最优。

表1基于各种融合方法的融合性能比较

表1中通过清晰度、边缘强度、空间频率、mi、qabf和en来衡量融合图像的质量，进而验证本发明融合方法的可行性和有效性。

由表1数据可知，本发明方法所获得的融合图像在清晰度，边缘强度，空间频率，熵客观评价指标上要优于其它融合方法。清晰度可敏感的反应出图像中图像微小细节和纹理变换特征，用来评价图像的相对清晰度，清晰度越高则说明图像融合效果越好；边缘强度用于衡量图像细节的丰富程度，边缘强度值越大，则融合图像的边缘越清晰，效果越好；空间频率用于衡量图像像素的活动水平，其值越大，则图像越清晰；互信息用于衡量两个域变量间的依赖性，互信息值越大，融合图像保留源图像的信息量更丰富；qabf利用sobel边缘检测算子来衡量有多少边缘信息从源图像转移到了融合图像，可综合评价源图像与融合图像之间的结构相似度，其值越接近1，说明图像融合效果越好；熵值是一种图像特征的统计形式，反映了图像中平均信息量的多少，熵值越大，则图像中信息量越丰富。